特許 7061671 デジタル画像の対象領域の少なくとも１つの形状を生成する方法および装置ならびに機械学習システムを訓練するための訓練データを生成する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-20

(45)【発行日】2022-04-28

(54)【発明の名称】デジタル画像の対象領域の少なくとも１つの形状を生成する方法および装置ならびに機械学習システムを訓練するための訓練データを生成する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220421BHJP

   A61B 5/00 20060101ALI20220421BHJP

【ＦＩ】

G06T7/00 350B

A61B5/00 G

【請求項の数】 22

(21)【出願番号】P 2020536730

(86)(22)【出願日】2018-09-12

(65)【公表番号】

(43)【公表日】2020-11-19

(86)【国際出願番号】 US2018050737

(87)【国際公開番号】W WO2019055555

(87)【国際公開日】2019-03-21

【審査請求日】2020-03-11

(31)【優先権主張番号】62/557,737

(32)【優先日】2017-09-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】516001591

【氏名又は名称】ナントミクス，エルエルシー

(74)【代理人】

【識別番号】110002572

【氏名又は名称】特許業務法人平木国際特許事務所

(72)【発明者】

【氏名】ソン，ビン

(72)【発明者】

【氏名】ジェイバー，ムスタファ

【審査官】宮島 潤

(56)【参考文献】

【文献】特表２０１６－５１８８１３（ＪＰ，Ａ）

【文献】特表２０１７－５１６９９２（ＪＰ，Ａ）

【文献】特開２０１７－１２９９９０（ＪＰ，Ａ）

【文献】https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780635，Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification，2016 IEEE Conference on Computer Vision and Pattern Recognition，IEEE，2016年06月27日，2424-2433

【文献】Alexander Senf, et al.，Comparison of One-Class SVM and Two-Class SVM for Fold Recognition，International Conference on Neural Information，2006年10月06日，https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.94.5565&rep=rep1&type=pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ９／００ － ９／４０

Ｇ０６Ｔ １１／６０ － １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ － １９／２０

Ａ６１Ｂ ５／００ － ５／０１

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／００ － ６／１４

Ｇ０１Ｎ ３３／４８ － ３３／９８

Ｇ０６Ｔ １／１６１ － １／１６６

(57)【特許請求の範囲】

【請求項1】

デジタル画像の対象領域の少なくとも１つの形状を生成する方法であって、
前記方法はコンピュータが実行するものであり、
画像処理エンジンによって、データ記憶装置に格納された生体サンプルのデジタル組織画像へのアクセスを得るステップと、
前記画像処理エンジンによって、前記デジタル組織画像を画像パッチの一群にタイルのように重ねずに並べるステップと、
前記画像処理エンジンによって、前記画像パッチの一群の各パッチから複数の特徴を取得するステップであって、前記複数の特徴が、次元として前記複数の特徴を含む多次元特徴空間におけるベクトルを定義する、ステップと、
前記画像処理エンジンによって、前記画像パッチの一群のパッチのユーザ選択および対象クラスのユーザ選択の入力を受け付けるステップと、
前記パッチの一群の他のパッチの前記ベクトルに訓練された分類器を適用することによって、前記他のパッチを、前記パッチのユーザ選択と同じ対象クラスに属する又は属さないに分類するステップと、
少なくとも部分的に、前記分類するステップの結果に基づいて、１つ又は複数の対象領域を識別するステップと、
を含む、方法。

【請求項2】

前記デジタル組織画像をタイルのように重ねずに並べる前記ステップが、均一なサイズ及び均一な形状の画像パッチを生成することを含む、請求項１に記載の方法。

【請求項3】

前記均一なサイズ及び均一な形状の画像パッチが、
ａ． １，０００ピクセル×１，０００ピクセル以下、
ｂ． ４００ピクセル×４００ピクセル以下、または
ｃ． ２５６ピクセル×２５６ピクセル以下、
の正方形パッチを含む、請求項２に記載の方法。

【請求項4】

前記デジタル組織画像をタイルのように重ねずに並べる前記ステップが、非均一なサイズ及び形状の画像パッチを生成することを含む、請求項１に記載の方法。

【請求項5】

前記画像パッチの一群が、重なり合わないパッチを含む、請求項１に記載の方法。

【請求項6】

前記訓練された分類器が、サポートベクトルマシンを含む、請求項１に記載の方法。

【請求項7】

前記訓練された分類器が、サポートベクトルマシンを含み、前記サポートベクトルマシンを訓練するために使用される訓練パッチが、第２のサポートベクトルマシンによって生成される、請求項１に記載の方法。

【請求項8】

前記第２のサポートベクトルマシンが、前記パッチのユーザ選択を含む訓練パッチによって訓練され、データを１つのクラスに分類する１クラスサポートベクトルマシンである、
請求項７に記載の方法。

【請求項9】

前記サポートベクトルマシンが、データを２つのクラスに分類する２クラスサポートベクトルマシンであり、前記第２のサポートベクトルマシンが、前記パッチのユーザ選択を含む訓練パッチによって訓練され、データを１つのクラスに分類する１クラスサポートベクトルマシンである、
請求項７に記載の方法。

【請求項10】

前記特徴を取得するステップが、特徴抽出処理を実行する訓練された画像処理ニューラルネットワークに各パッチを提出することを含み、前記特徴抽出処理が、既知のオブジェクトの画像に対して訓練済みである、請求項１に記載の方法。

【請求項11】

前記画像処理ニューラルネットワークが、畳み込みニューラルネットワークである、請求項１０に記載の方法。

【請求項12】

前記画像処理ニューラルネットワークが、少なくとも１，０００，０００個の画像に対して訓練済みであり、前記様々な既知のオブジェクトが、少なくとも１，０００個の異なるクラスの既知のオブジェクトに属するオブジェクトを含む、
請求項１０に記載の方法。

【請求項13】

前記既知のオブジェクトの過半数が、生体サンプルのデジタル組織画像ではない、請求項１０に記載の方法。

【請求項14】

前記既知のオブジェクトの全てが、生体サンプルのデジタル組織画像ではない、請求項１０に記載の方法。

【請求項15】

前記既知のオブジェクトの全てが、前記パッチのユーザ選択と同じ前記対象クラスに存在しない、請求項１０に記載の方法。

【請求項16】

コンピューティングデバイスに、ディスプレイ上に前記対象領域の形状をレンダリングさせるステップをさらに含む、請求項１に記載の方法。

【請求項17】

前記対象領域の形状が、少なくとも１つの組織マスクを含む、請求項１に記載の方法。

【請求項18】

前記対象クラスが、少なくとも１つの癌クラスを含む、請求項１に記載の方法。

【請求項19】

前記対象クラスが、以下の組織の種類：異常組織、良性組織、悪性組織、骨組織、皮膚組織、神経組織（ｎｅｒｖｅ ｔｉｓｓｕｅ）、間質組織、筋肉組織、結合組織、瘢痕組織、リンパ組織、脂肪、上皮組織、神経組織（ｎｅｒｖｏｕｓ ｔｉｓｓｕｅ）、又は血管の少なくとも１つを含む、請求項１に記載の方法。

【請求項20】

前記デジタル組織画像が、組織サンプルスライドのスライド画像を含む、
請求項１に記載の方法。

【請求項21】

デジタル画像の対象領域の少なくとも１つの形状を生成する装置であって、
ソフトウェア命令を保存する、非一時的コンピュータ可読メモリと、
前記非一時的コンピュータ可読メモリと結合されたプロセッサであって、前記ソフトウェア命令の実行時に、
データ記憶装置に格納された生体サンプルのデジタル組織画像へのアクセスを得るステップと、
前記デジタル組織画像を画像パッチの一群にタイルのように重ねずに並べるステップと、
前記画像パッチの一群の各パッチから複数の特徴を取得するステップであって、前記複数の特徴が、次元として前記複数の特徴を含む多次元特徴空間におけるベクトルを定義する、ステップと、
前記画像パッチの一群のパッチのユーザ選択および対象クラスのユーザ選択の入力を受け付けるステップと、
前記パッチの一群の他のパッチの前記ベクトルに訓練された分類器を適用することによって、前記他のパッチを、前記パッチのユーザ選択と同じ対象クラスに属する又は属さないに分類するステップと、
少なくとも部分的に、前記分類するステップの結果に基づいて、１つ又は複数の対象領域を識別するステップと、
を行うプロセッサと、
を含む、装置。

【請求項22】

機械学習システムを訓練するための訓練データを生成する方法であって、
前記方法はコンピュータが実行するものであり、
画像処理エンジンによって、データ記憶装置に格納された生体サンプルのデジタル組織画像へのアクセスを得るステップと、
前記画像処理エンジンによって、前記デジタル組織画像を画像パッチの一群にタイルのように重ねずに並べるステップと、
前記画像処理エンジンによって、前記画像パッチの一群の各パッチから複数の特徴を取得するステップであって、前記複数の特徴が、次元として前記複数の特徴を含む多次元特徴空間におけるベクトルを定義する、ステップと、
前記画像処理エンジンによって、前記画像パッチの一群のパッチのユーザ選択および対象クラスのユーザ選択の入力を受け付けるステップと、
前記パッチの一群の他のパッチの前記ベクトルに訓練された一般分類器を適用することによって、前記他のパッチを、前記パッチのユーザ選択と同じ対象クラスに属する又は属さないに分類するステップと、
前記画像処理エンジンによって、前記パッチのユーザ選択と、前記パッチの一群の前記他のパッチとの分類に基づいて、前記機械学習システムの訓練データを生成するステップと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１７年９月１２日に出願された米国仮特許出願第６２／５５７，７３７号明細書の優先権を主張するものであり、２０１７年１０月２３日に出願された米国特許出願第１５／７９１，２０９号明細書及び２０１６年１０月２１日に出願された米国仮特許出願第６２／４１１，２９０号明細書（それぞれ米国特許商標局に出願）に関連するものである。

【0002】

序論
この技術は、一般に認識に関し、幾つかの実施形態に関しては、画像認識に関する。幾つかの実施形態では、本技術は、組織病理学（組織が病変しているか否かを決定し、及び／又は病変した組織を調べるための組織の顕微鏡検査）に関する。組織は、例えば、乳房のしこり、腸、腎臓、肝臓、子宮内膜、肺、胸、リンパ節、筋肉、神経、皮膚、睾丸、甲状腺などの検体を含む身体の部分から除去される。

【背景技術】

【0003】

幾つかの実施形態では、この開示技術は、デジタル画像内の対象領域を識別すること、例えば、背景シーンから前景オブジェクトを識別すること、又はデジタル組織病理学画像内の癌細胞を識別することに関する。癌細胞の癌の種類は、乳癌、膀胱癌、脳腫瘍、肺癌、膵臓癌、皮膚癌、大腸癌、前立腺癌、胃癌、肝臓癌、子宮頸癌、食道癌、白血病、非ホジキンリンパ腫、腎臓癌、子宮癌、胆管癌、骨肉腫、卵巣癌、胆嚢癌、消化管癌、口腔癌、咽喉癌、眼癌、骨盤内癌、脊椎癌、睾丸癌、膣癌、外陰癌、及び甲状腺癌を含み得るが、必ずしもこれらに限定されない。対象領域／対象クラスは、より広くてもよく、異常組織、良性組織、悪性組織、骨組織、皮膚組織、神経組織（ｎｅｒｖｅ ｔｉｓｓｕｅ）、間質組織、筋肉組織、結合組織、瘢痕組織、リンパ組織、脂肪、上皮組織、神経組織（ｎｅｒｖｏｕｓ ｔｉｓｓｕｅ）、及び血管を含み得る。

【0004】

組織は、生検、手術、又は剖検を含む複数の設定で被験者から収集され得る。組織が被験者から除去された後、これらの組織は、組織の腐敗を防ぐために、ホルマリンなどの固定液中に配置されることによって化学的固定の準備が行われる。次いで、組織は、冷凍されるか、或いは溶けたロウの中に入れられる。次いで、組織の切片がカットされ、スライド上に配置される

【0005】

組織の切片がスライド上に置かれると、病理学者は、顕微鏡を通してスライドを見て、組織が例えば病変しているか否かを決定し、もし病変している場合には、病気のステージを決定する。例えば、病理学者は、乳房のしこりが、乳癌細胞を含むか否かを決定することができ、乳癌細胞を含む場合には、病理学者は、癌のグレード及び／又はステージを決定することができる。病理学者は、組織が病変しているか否か以外の組織に関する決定も行い得る。例えば、病理学者は、組織がリンパ球を含むか否かを決定することができる。しかし、これらの決定は、多くの場合、信頼性を欠き、費用がかかり、時間がかかり、一般に、誤った決定の可能性を最小限に抑えるために複数の病理学者による検証を必要とする点で、これらの決定には技術的問題がある。

【0006】

この技術的問題に対する解決策の１つは、組織のデジタル画像が病変しているか否かを決定するように、並びに病気の種類（例えば、乳癌）及びステージ（例えば、ステージ３）を決定するようにニューラルネットワーク（又は他の機械学習システム）を訓練することによって、癌の種類及び／又はグレードなどの組織特性を決定するためにコンピュータビジョンを使用することである。しかし、この手法には、例えば、病気ごとに大量の訓練データを必要とする（例えば、様々な癌の大量の陽性及び陰性の訓練パッチが必要とされる）点において技術的問題がある。

【発明の概要】

【課題を解決するための手段】

【0007】

本発明の幾つかの実施形態は、上記の技術的問題を解決し、組織が病変している可能性が高いか否かを決定するために、病理学者又は他の人若しくは団体などからの限られた入力と組み合わせて、ニューラルネットワーク、より詳細には、畳み込みニューラルネットワーク及びサポートベクトルマシンを用いる技術的解決策を提供する。

【0008】

特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を含む。１つ又は複数のカラー図面を有する本特許又は特許出願公開のコピーは、依頼及び必要手数料の支払に応じて、米国特許商標局によって提供されるだろう。

【図面の簡単な説明】

【0009】

【図1】本発明のある実施形態の１つ又は複数の局面を実装し得る分散コンピュータシステムのブロック図を示す。

【図2】本発明のある実施形態の１つ又は複数の局面を実装し得る電子デバイスのブロック図を示す。

【図3】本発明のある実施形態の１つ又は複数の局面を実装し得る電子デバイスのアーキテクチャ図を示す。

【図4A】本発明のある実施形態の１つ又は複数の局面を実装し得る一般深層学習アーキテクチャを示す。

【図4B】本発明のある実施形態の１つ又は複数の局面を実装し得る従来のニューラルネットワークの層を示す。

【図4C】本発明のある実施形態の１つ又は複数の局面を実装し得るデバイスのハードウェアアーキテクチャ図を示す。

【図5A】本発明のある実施形態の１つ又は複数の局面を実装し得る電子デバイスによって実施されるプロセスを示す。

【図5B】図５Ａのつづきである。

【図5C】図５Ｂのつづきである。

【図5D】図５Ｃのつづきである。

【図6A】本発明のある実施形態の１つ又は複数の局面による、２つのクラスのオブジェクトを示す。

【図6B】図６Ａのオブジェクトのニューラルネットワークの分類結果を示す。

【図6C】本発明のある実施形態の１つ又は複数の局面による、２つのクラスのオブジェクトを示す。

【図6D】図６Ｃのオブジェクトのニューラルネットワークの分類結果を示す。

【図7A】本発明のある実施形態の１つ又は複数の局面を実装する電子デバイスによって処理される組織の複数のパッチを示す図を示す。

【図7B】図７Ａのつづきである。

【図7C】図７Ｂのつづきである。

【図8】本発明のある実施形態の１つ又は複数の局面による、放射基底関数（ＲＢＦ）カーネルを有する１クラスサポートベクトルマシン（ＳＶＭ）を示す。

【図9A】本発明のある実施形態の１つ又は複数の局面による、２クラスＳＶＭを示す。

【図9B】図９Ａのつづきである。

【図10A】本発明のある実施形態の１つ又は複数の局面に対する、２クラスＳＶＭによる分析に続く陽性パッチの描写を示す。

【図10B】本発明のある実施形態の１つ又は複数の局面を実装する電子デバイスによって生成された対象領域の周囲の凸包を示す図を示す。

【図11A】本発明のある実施形態の１つ又は複数の局面を実装する電子デバイスによって生成されたグラフィカルユーザインタフェース上に示されるスライド画像を示す。

【図11B】図１１Ａのつづきである。

【図11C】図１１Ｂのつづきである。

【図11D】図１１Ｃのつづきである。

【図11E】図１１Ｄのつづきである。

【図11F】図１１Ｅのつづきである。

【図11G】図１１Ｆのつづきである。

【図11H】図１１Ｇのつづきである。

【図11I】図１１Ｈのつづきである。

【発明を実施するための形態】

【0010】

上記の図面を参照して本発明を説明するが、図面は、例示的であることが意図されたものであり、本発明は、本発明の精神の範囲内の他の実施形態を企図する。

【0011】

例示として本発明が実施され得る具体的な実施形態を示す添付の図面を参照して、これより本発明を以下により完全に説明する。しかし、本発明は、多くの異なる形態で具現化されることが可能であり、本明細書に記載する実施形態に限定されると解釈されるものではない。むしろ、これらの実施形態は、本開示が詳細且つ完全なものとなり、及び当業者に本発明の範囲を完全に伝えるように提供されるものである。中でも、本発明は、デバイス又は方法として具現化され得る。それに応じて、本発明は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェア及びハードウェアの局面を組み合わせた実施形態の形を取り得る。従って、以下の詳細な説明は、限定的な意味で解釈されるものではない。

【0012】

本明細書及び特許請求の範囲全体を通して、以下の用語は、文脈上明らかに他の意味を規定する場合を除き、本明細書と明示的に関連する意味を持つ。本明細書で使用する「一実施形態では」、「ある実施形態では」などのフレーズは、同じ実施形態を指す場合もあるが、必ずしもそうではない。さらに、本明細書で使用する「別の実施形態では」というフレーズは、異なる実施形態を指す場合もあるが、必ずしもそうではない。従って、以下に記載するように、本発明の様々な実施形態は、本発明の範囲又は精神から逸脱することなく、容易に組み合わせることができる。

【0013】

さらに、本明細書で使用するように、「又は」という用語は、両立的な「又は」オペレータであり、文脈上明らかに他の意味を規定する場合を除き、「及び／又は」という用語と同等である。「～に基づく」という用語は、排他的ではなく、文脈上明らかに他の意味を規定する場合を除き、記載されていない追加のファクタに基づくことを許容する。さらに、本明細書全体を通して、「ａ」、「ａｎ」、及び「ｔｈｅ」の意味は、複数の言及を含む。「～の中に（ｉｎ）」の意味は、「～の中に（ｉｎ）」及び「～の上に（ｏｎ）」を含む。

【0014】

本明細書の記載は、広範囲にわたる概要であることが意図されたものではなく、そのため、概念は、明瞭さ及び簡潔さのために簡略化される場合があることに留意されたい。

【0015】

本出願に記載するどのプロセスも、どのような順序で行われてもよく、プロセスのステップの何れも省略し得る。プロセスは、他のプロセス又は他のプロセスのステップと組み合わせられてもよい。

【0016】

図１は、本発明が実施され得る環境の一実施形態のコンポーネントを示す。本発明を実施するために全てのコンポーネントが必要とされるわけではなく、これらのコンポーネントの配置及び種類のバリエーションが、本発明の精神又は範囲から逸脱することなく作成され得る。図示するように、システム１００は、１つ又は複数のローカルエリアネットワーク（「ＬＡＮ」）／広域ネットワーク（「ＷＡＮ」）１１２、１つ又は複数の無線ネットワーク１１０、１つ又は複数の有線又は無線クライアントデバイス１０６、モバイル又は他の無線クライアントデバイス１０２～１０６、サーバ１０７～１０９、光学顕微鏡システム１１１、レーザ１１３を含み、１つ又は複数のデータ記憶装置又はデータベースを含んでもよく、又はそれらと通信することができる。様々なクライアントデバイス１０２～１０６には、例えば、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、タブレット、セルフォン、スマートフォンなどが含まれ得る。サーバ１０７～１０９には、例えば、１つ又は複数のアプリケーションサーバ、コンテンツサーバ、検索サーバ、ウェブサーバ、グラフィックスプロセッシングユニット（ＧＰＵ）サーバなどが含まれ得る。

【0017】

光学顕微鏡システム１１１は、顕微鏡、接眼レンズアセンブリ、カメラ、スライドプラットフォーム、及び図２に示すような電子デバイス２００のコンポーネントを含み得る。図１は、ネットワーク１１２と通信可能に結合された光学顕微鏡システム１１１を示すが、サーバ１０７～１０９の何れか又は全て、無線ネットワーク１１０、及び／又はクライアントデバイス１０２～１０６の何れかに結合されてもよい。

【0018】

ネットワーク１１２に接続され得るレーザ１１３は、癌細胞（又は他の種類の細胞）があると思われる組織部分をカットするために使用され得る。

【0019】

図２は、本発明の一実施形態による双方向ビデオ生成及びレンダリングのシステム及び方法の１つ又は複数の局面を実装し得る電子デバイス２００のブロック図を示す。電子デバイス２００のインスタンスには、サーバ（例えば、サーバ１０７～１０９）、光学顕微鏡システム１１１、及びクライアントデバイス（例えば、クライアントデバイス１０２～１０６）が含まれ得る。一般に、電子デバイス２００は、プロセッサ／ＣＰＵ２０２、メモリ２３０、電源２０６、及び入出力（Ｉ／Ｏ）コンポーネント／デバイス２４０（例えばグラフィカルユーザインタフェースを提供するために操作可能となり得る、例えば、マイクロホン、スピーカ、ディスプレイ、スマートフォンディスプレイ、タッチスクリーン、キーボード、マウス、キーパッド、ＧＰＳコンポーネントなど）を含み得る。

【0020】

ユーザは、電子デバイス２００のタッチスクリーンを用いて入力を提供し得る。タッチスクリーンは、例えば、ユーザが自身の指などのユーザの身体の一部でタッチスクリーンにタッチしているか否かを決定することによって、ユーザが入力を提供しているか否かを決定し得る。電子デバイス２００は、電子デバイス２００の上述の要素を接続する通信バス２０４も含み得る。ネットワークインタフェース２１４は、受信機及び送信機（又は送受信機）と、無線通信のための１つ又は複数のアンテナとを含み得る。

【0021】

プロセッサ２０２は、任意の種類の処理デバイス（例えば、中央処理装置（ＣＰＵ））の１つ又は複数を含み得る。また、例えば、プロセッサは、中央処理論理又は他の論理でもよく、１つ又は複数の機能又は動作を行うための、或いは１つ又は複数の他のコンポーネントから１つ又は複数の機能又は動作を生じさせるためのハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含み得る。また、所望のアプリケーション又は必要性に基づいて、中央処理論理又は他の論理は、例えば、ソフトウェア制御マイクロプロセッサ、個別論理（例えば、特定用途向け集積回路（ＡＳＩＣ））、プログラマブル／プログラム化論理デバイス、命令などを有するメモリデバイス、又はハードウェアで具現化された組み合わせ論理を含み得る。さらに、論理は、ソフトウェアとして完全に具現化されてもよい。電子デバイス２００は、ＧＰＵ（不図示）、ディスプレイデバイスへの出力向けのフレームバッファにおける画像の作成及び処理を加速させるためにメモリの操作及び変更を行うように設計された専用電子回路も含み得る。

【0022】

ランダムアクセスメモリ（ＲＡＭ）２１２及び読出し専用メモリ（ＲＯＭ）２３２を含み得るメモリ２３０は、任意の種類のメモリデバイス（例えば、一次（ＣＰＵによって直接アクセス可能である）又は二次（ＣＰＵによって間接的にアクセス可能である）ストレージデバイス（例えば、フラッシュメモリ、磁気ディスク、光ディスクなど））の１つ又は複数によって可能にされ得る。ＲＡＭは、オペレーティングシステム２２１と、データストレージ２２４（１つ又は複数のデータベースを含み得る）と、プログラム及び／又はアプリケーション２２２（例えば、デジタル組織病理学及び顕微解剖プログラム２２３のソフトウェア局面を含み得る）とを含み得る。ＲＯＭ２３２は、電子デバイスの基本入出力システム（ＢＩＯＳ）２２０も含み得る。

【0023】

プログラム２２３は、本発明の実施形態による方法及びシステムを実装するため又は容易にするために必要な全てのプログラミング、アプリケーション、アルゴリズム、ソフトウェア、及び他のツールを広く含むこと、又は表すことを意図したものである。双方向ビデオ生成及びレンダリングプログラムのシステム及び方法の要素は、単一のサーバコンピュータ上に存在してもよく、又は複数のコンピュータ、サーバ、デバイス又は団体（広告主、パブリッシャー、データプロバイダなどを含み得る）に配布されてもよい。双方向ビデオ生成及びレンダリングプログラムのシステム及び方法が、複数のコンピュータ、サーバ、デバイス、又は団体に配布される場合、このような複数のコンピュータは、例えば図１に示すように通信する。

【0024】

電源２０６は、１つ又は複数の電力コンポーネントを含み、電子デバイス２００への電力の供給及び管理を容易にする。

【0025】

入出力（Ｉ／Ｏ）インタフェース２４０を含む入出力コンポーネントは、例えば、電子デバイス２００のあらゆるコンポーネントと、外部デバイスのコンポーネント（例えば、ネットワーク又はシステム１００の他のデバイスのコンポーネント）と、エンドユーザとの間の通信を容易にするためのあらゆるインタフェースを含み得る。例えば、このようなコンポーネントは、受信機、送信機、送受信機、及び１つ又は複数の入出力インタフェースの統合でもよいネットワークカードを含み得る。例えば、ネットワークカードは、ネットワークの他のデバイスとの有線又は無線通信を容易にし得る。無線通信の場合、アンテナが、このような通信を容易にし得る。また、入出力インタフェース２４０の幾つか及びバス２０４は、電子デバイス２００のコンポーネント間の通信を容易にすることができ、一例では、プロセッサ２０２によって行われる処理を軽減することができる。

【0026】

電子デバイス２００がサーバである場合、それは、例えば有線又は無線ネットワークを介して信号の送信又は受信が可能となり得る、或いは例えば物理的メモリ状態としてのメモリ内で信号の処理又は保存が可能となり得るコンピューティングデバイスを含み得る。サーバは、ネットワークを介して、１つ又は複数のアプリケーション（例えば、双方向ビデオ生成及びレンダリングのシステム及び方法の局面）を別のデバイスに提供するための構成を含むアプリケーションサーバでもよい。また、アプリケーションサーバは、例えば、双方向ビデオ生成及びレンダリングのシステム及び方法の例示的局面の運営のためのユーザインタフェースを提供することができるウェブサイトをホスティングし得る。

【0027】

双方向ビデオ生成及びレンダリングのシステム及び方法の実装の局面を容易にする際などに、有線及び／又は無線ネットワーク上でデータの送信、受信、及び処理を行うことが可能なコンピューティングデバイスもサーバとして機能することができる。従って、サーバとして機能するデバイスには、専用ラックマウント式サーバ、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、前述のデバイスの１つ又は複数を組み合わせた集積デバイスなどのデバイスが含まれ得る。

【0028】

サーバは、構成及び能力において大きく異なり得るが、サーバは、一般に、１つ又は複数の中央処理装置、メモリ、大規模データストレージ、電源、有線又は無線ネットワークインタフェース、入出力インタフェース、及びＷｉｎｄｏｗｓ（登録商標） Ｓｅｒｖｅｒ、Ｍａｃ ＯＳ Ｘ、Ｕｎｉｘ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤなどのオペレーティングシステムを含む。

【0029】

サーバは、例えば、双方向ビデオ生成及びレンダリングの例示的システム及び方法の局面を容易にする際などに、１つ又は複数のネットワークを介して、データ又はコンテンツを別のデバイスに提供するように構成された、又はそれを行うための構成を含むデバイスを含み得る。例えば、ウェブサイトｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍなどのウェブサイトをホスティングする際に、１つ又は複数のサーバが使用され得る。１つ又は複数のサーバは、例えば、ビジネスサイト、情報サイト、ソーシャルネットワーキングサイト、教育サイト、Ｗｉｋｉ、金融サイト、政府サイト、個人サイトなどの各種サイトをホスティングし得る。

【0030】

サーバは、例えば、ウェブサービス、第三者サービス、オーディオサービス、ビデオサービス、電子メールサービス、ＨＴＴＰ又はＨＴＴＰＳサービス、インスタントメッセージング（ＩＭ）サービス、ショートメッセージサービス（ＳＭＳ）サービス、マルチメディアメッセージングサービス（ＭＭＳ）サービス、ファイル転送プロトコル（ＦＴＰ）サービス、ボイスオーバーアイピー（ＶＯＩＰ）サービス、カレンダリングサービス、電話サービスなど（これらは全て、双方向ビデオ生成及びレンダリングの例示的システム及び方法の例示的局面と協働し得る）の各種サービスも提供し得る。コンテンツは、例えば、テキスト、画像、音声、動画などを含み得る。

【0031】

双方向ビデオ生成及びレンダリングのシステム及び方法の例示的局面では、クライアントデバイスには、例えば、有線及び／又は無線ネットワーク上でデータの送信及び受信を行うことが可能などのようなコンピューティングデバイスも含まれ得る。このようなクライアントデバイスには、デスクトップコンピュータ、並びにセルラー電話、スマートフォン、ディスプレイポケットベル、無線周波（ＲＦ）デバイス、赤外線（ＩＲ）デバイス、携帯型情報端末（ＰＤＡ）、ハンドヘルドコンピュータ、ＧＰＳ対応デバイスタブレットコンピュータ、センサ装備デバイス、ラップトップコンピュータ、セットトップボックス、ウェアラブルコンピュータ、前述のデバイスの１つ又は複数を組み合わせた集積デバイスなどのポータブルデバイスが含まれ得る。

【0032】

双方向ビデオ生成及びレンダリングの例示的システム及び方法において使用され得るようなクライアントデバイスは、能力及び特徴に関して多岐にわたり得る。例えば、セルフォン、スマートフォン、又はタブレットは、数字キーパッドと、テキストのみが表示され得る数行のモノクロ液晶表示（ＬＣＤ）ディスプレイとを有し得る。別の例では、ウェブ対応クライアントデバイスが、物理的又は仮想キーボード、データストレージ（フラッシュメモリ又はＳＤカードなど）、加速度計、ジャイロスコープ、ＧＰＳ又は他の位置認識能力、並びにテキスト及びグラフィックスの両方が表示され得る２Ｄ又は３Ｄのタッチセンサ式カラースクリーンを有し得る。

【0033】

例えば、双方向ビデオ生成及びレンダリングの例示的システム及び方法において使用され得るようなクライアントデバイス１０２～１０６などのクライアントデバイスは、Ｗｉｎｄｏｗｓ、ｉＯＳ、又はＬｉｎｕｘなどのパーソナルコンピュータオペレーティングシステム、及びｉＯＳ、Ａｎｄｒｏｉｄ（登録商標）、Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ（登録商標）などのモバイルオペレーティングシステムを含む各種オペレーティングシステムを走らせ得る。クライアントデバイスは、別のコンピューティングデバイスからデータを送信又は受信するように構成された１つ又は複数のアプリケーションを走らせるために使用され得る。クライアントアプリケーションは、テキストコンテンツ、マルチメディア情報などの提供及び受信を行い得る。クライアントアプリケーションは、ウェブページのブラウジング、ウェブサーチエンジンの使用、スマートフォンに保存された様々なアプリとのインタラクション、電子メール、ＳＭＳ、又はＭＭＳによるメッセージの送信及び受信、ゲーム（ファンタジースポーツリーグなど）のプレイ、広告の受信、ローカルで保存又はストリームされたビデオの視聴、又はソーシャルネットワークへの参加などのアクションを行うことができる。

【0034】

双方向ビデオ生成及びレンダリングのシステム及び方法の例示的局面において、例えば、ネットワーク１１０又は１１２などの１つ又は複数のネットワークは、サーバ及びクライアントデバイスを他のコンピューティングデバイスに結合し得る（無線ネットワークを介してクライアントデバイスへを含む）。ネットワークは、ある電子デバイスから別の電子デバイスへと情報の通信を行うためのコンピュータ可読媒体のどのような形式も用いることが可能にされ得る。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、直接接続（ユニバーサルシリアルバス（ＵＳＢ）ポートを用いるなど）、他の形式のコンピュータ可読媒体、又はこれらの任意の組み合わせに加えて、インターネットを含み得る。相互接続されたＬＡＮのセット（異なるアーキテクチャ及びプロトコルに基づくものを含む）に対して、ルータが、ＬＡＮ間のリンクとして機能し、データがあるＬＡＮから別のＬＡＮへと送信されることを可能にする。

【0035】

ＬＡＮ内の通信リンクは、ツイストペア線又は同軸ケーブルを含み得るが、ネットワーク間の通信リンクは、アナログ電話回線、ケーブル回線、光回線、Ｔ１、Ｔ２、Ｔ３、及びＴ４を含む完全又は部分的専用デジタル回線、デジタル総合サービス網（ＩＳＤＮ）、デジタル加入者回線（ＤＳＬ）、衛星リンクを含む無線リンク、光ファイバリンク、又は当業者に公知の他の通信リンクを利用し得る。さらに、リモートコンピュータ及び他の関連の電子デバイスが、モデム及び電話回線を介してＬＡＮ又はＷＡＮにリモートで接続されてもよい。

【0036】

双方向ビデオ生成及びレンダリングの例示的システム及び方法において見られるような無線ネットワーク１１０などの無線ネットワークは、デバイスをネットワークに結合することができる。無線ネットワークは、スタンドアロンアドホックネットワーク、網目状ネットワーク、無線ＬＡＮ（ＷＬＡＮ）ネットワーク、セルラーネットワークなどを用い得る。

【0037】

無線ネットワークは、無線ラジオリンクなどによって接続された端末、ゲートウェイ、ルータなどの自律システムをさらに含み得る。これらのコネクタは、無線ネットワークのトポロジーが急激に変化し得るように、自由に及びランダムに移動し、任意にコネクタを編成するように構成されてもよい。無線ネットワークは、第２（２Ｇ）、第３（３Ｇ）、第４（４Ｇ）世代を含む複数のアクセス技術、セルラーシステム用のロングタームエボリューション（ＬＴＥ）無線アクセス、ＷＬＡＮ、無線方式ルータ（ＷＲ）メッシュなどをさらに用い得る。２Ｇ、２．５Ｇ、３Ｇ、４Ｇなどのアクセス技術及び未来のアクセスネットワークは、様々な度合いのモビリティを備えたクライアントデバイスなどのクライアントデバイスに対する広域カバレージを可能にし得る。例えば、無線ネットワークは、Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＧＳＭ）（登録商標）、Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ（ＵＭＴＳ）、Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅｓ（ＧＰＲＳ）、Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ（ＥＤＧＥ）、３ＧＰＰ（登録商標） Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、ＬＴＥ Ａｄｖａｎｃｅｄ、Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ（ＷＣＤＭＡ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１ｂ／ｇ／ｎなどの無線ネットワークアクセス技術を用いた無線接続を可能にし得る。無線ネットワークには、それによって情報がクライアントデバイス及び別のコンピューティングデバイス、ネットワークなどの間を移動し得る事実上どのような無線通信機構も含まれ得る。

【0038】

インターネットプロトコル（ＩＰ）が、デジタル通信ネットワークに参加するネットワーク上でデータ通信パケットを送信するために使用されてもよく、インターネットプロトコル（ＩＰ）には、ＴＣＰ／ＩＰ、ＵＤＰ、ＤＥＣｎｅｔ、ＮｅｔＢＥＵＩ、ＩＰＸ、Ａｐｐｌｅｔａｌｋなどのプロトコルが含まれ得る。インターネットプロトコルのバージョンは、ＩＰｖ４及びＩＰｖ６を含む。インターネットは、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク、及びローカルエリアネットワーク間でパケットが通信されることを可能にし得る長距離公衆網を含む。パケットは、それぞれが固有のローカルネットワークアドレスを有するサイトへとネットワークのノード間で送信され得る。データ通信パケットは、インターネットにより、ユーザサイトからインターネットに接続されたアクセスノードを介して送られ得る。パケットは、ターゲットサイトのサイトアドレスがパケットのヘッダに含まれる場合には、ネットワークに接続されたターゲットサイトへとネットワークノードを通して転送され得る。インターネット上で通信される各パケットは、ターゲットアドレス及びターゲットサイトへと接続するためのネットワーク経路の可用性に応じてパケットを切り替えるゲートウェイ及びサーバによって決定された経路を通して送られ得る。

【0039】

パケットのヘッダは、例えば、送信元ポート（１６ビット）、宛先ポート（１６ビット）、シーケンス番号（３２ビット）、確認番号（３２ビット）、データオフセット（４ビット）、予約（６ビット）、チェックサム（１６ビット）、緊急ポインタ（１６ビット）、オプション（長さが８ビットの倍数の様々なビット数）、パディング（全てゼロから成る場合があり、ヘッダが３２ビット境界上で終わるような幾つかのビットを含む）を含み得る。上記のそれぞれのビット数は、より大きくても、或いはより小さくてもよい。

【0040】

双方向ビデオ生成及びレンダリングの例示的システム及び方法において使用され得るような「コンテンツ配信ネットワーク」又は「コンテンツ配布ネットワーク」（ＣＤＮ）は、一般に、コンテンツプロバイダを代表してコンテンツ、ストリーミングメディア、及びアプリケーションの保存、キャッシング、又は送信などの様々なサービスを容易にするように設計されたソフトウェア、システム、プロトコル、及び技術と共に、１つ又は複数のネットワークによってリンクさせた自律コンピュータの一群を含む分散コンピュータシステムを指す。このようなサービスは、限定されないが、「クラウドコンピューティング」、分散ストレージ、ＤＮＳリクエストハンドリング、プロビジョニング、データモニタリング及び報告、コンテンツターゲティング、個人化、及びビジネスインテリジェンスを含む補助技術を利用し得る。ＣＤＮは、第三者を代表して、全体的に又は部分的に第三者のウェブサイトインフラストラクチャの操作及び／又は管理を団体が行うことも可能にし得る。

【0041】

ピアツーピア（又はＰ２Ｐ）コンピュータネットワークは、主に、ネットワークの参加者の計算能力及び処理能力に依存する（それを所与の専用サーバのセットに集結させるのではなく）。Ｐ２Ｐネットワークは、一般的に、主にアドホック接続によりノードを接続するために使用される。純粋なピアツーピアネットワークは、クライアント又はサーバの概念を持たないが、ネットワーク上の他のノードに対して「クライアント」及び「サーバ」の両方として同時に機能する同一のピアノードのみを有する。

【0042】

本発明の一実施形態は、デジタル組織病理学及び顕微解剖に関連したシステム、方法、及びコンピュータプロセッサによって実行され得るコンピュータプログラム論理を有形的に保存する１つ又は複数の非一時的コンピュータ可読ストレージ媒体を含む。

【0043】

上述の通り、組織サンプル（「サンプル」）が、病変している、又は具体的に癌に罹患しているなどの特定の特性を有するか否かに関して詳しく調べるため及び決定を行うために様々な病理学者に完全に依存する方法は、信頼性を欠き、費用がかかり、又は時間がかかり得る。一方、決定がニューラルネットワークによってのみ行われる場合、病気の種類及びグレードなどの様々な組織特性ごとに、大量の訓練データ（陽性及び陰性の訓練データの両方を含む）が必要となり得るが、これは、収集が困難である。例えば、このような訓練データの生成は、多数の画像について、このような画像が、特定の病気又はサンプルの画像の他の特性に対して陽性又は陰性であるかに関して、一人又は複数の病理学者から入力を受け取る必要があり得る。

【0044】

本発明の一実施形態は、サンプルが病変しているか否かを決定することを含む。以下に記載する実施形態は、具体的に癌に言及する。しかし、本発明の実施形態は、サンプルの他の特性に関する決定を行うために使用されてもよい。例えば、本発明の実施形態は、サンプルが他の病気又は病気のグレードを示すか否かを決定するために使用することができる。別の例として、本発明の実施形態は、サンプルがリンパ球を含むか否かを決定するために使用することができる。

【0045】

本発明の実施形態は、画像の１つ又は複数のパッチが癌の特定の種類又はグレードに対して陽性又は陰性であるかに関して、コンピュータビジョン及び一人又は複数の病理学者からの入力を用いて、サンプルが癌性であるか否かを決定することに関する。他の実施形態は、サンプル（例えば、画像、音、パターンなど）が、基準（例えば、人、物体、音、パターンなどを認識するための基準）を満たすことに対して陽性又は陰性であるかを認識することに関する。

【0046】

コンピュータビジョンは、１つ又は複数のデジタル画像からの有用な情報の自動抽出、分析、及び理解に関する。例えば、コンピュータビジョンを使用して、写真中の人の年齢を、デジタル画像中のこの人の顔の位置を決定し、この人の両眼の位置を決定し、及びこの人の瞳孔間距離を測定することによって決定することができる。

【0047】

機械学習の分野では、畳み込みニューラルネットワーク（「ＣＮＮ」）は、コンピュータビジョンの分野で使用され得る人工ニューラルネットワークである。Ｃｈｒｉｓｔｉａｎ Ｓｚｅｇｅｄｙらによる論文「Ｒｅｔｈｉｎｋｉｎｇ ｔｈｅ Ｉｎｃｅｐｔｉｏｎ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」（ａｒＸｉｖ：１５１２．００５６７ｖ３［ｃｓ．ＣＶ］１１ Ｄｅｃ ２０１５）は、コンピュータビジョンにおけるＣＮＮの使用を論じる。

【0048】

図３は、本発明の一実施形態の１つ又は複数の局面を実装し得る電子デバイスのアーキテクチャ図を示す。図３は、デジタル画像を処理して対象領域３２１を出力する画像処理エンジン３０１を含む。画像処理エンジン３０１は、タイル生成エンジン３０３、特徴抽出エンジン３０５、ユーザ選択エンジン３０７、ＳＶＭ訓練エンジン３０８、分類エンジン３０９、及びグループ化エンジン３１７を含む。画像処理エンジン３０１は、ＣＮＮ３１９、デジタル組織画像データベース３２３、訓練パッチデータベース３０２Ｆ及び３０２Ｊ、陽性１クラスサポートベクトルマシン（ＳＶＭ）３１１、陰性１クラスＳＶＭ３１３、及び２クラスＳＶＭ３１５に結合される（例えば、通信する）。画像処理エンジン３０１は、他のデジタル画像を分類するようにＣＮＮ３２９を訓練するための訓練データとして画像処理エンジン３０１の出力を利用することができるＣＮＮ３２９にも結合される。

【0049】

図４Ａは、ＣＮＮの深層学習アーキテクチャを示す。ＣＮＮは、図４Ｂに示すように複数の層と、各層において複数のパラメータ（入力サイズ）とを有する。図４Ｂは、層の種類、パッチサイズ、及び各層の入力サイズに関する情報を含む。パラメータの値は、ＣＮＮの出力を決定する。

【0050】

ＣＮＮ３１９は、組織サンプルの画像（又はこのような画像のパッチ）の入力が提供され、ＣＮＮ３１９は、出力として、複数（例えば、２０４８個）の画像特徴値（すなわち、特徴抽出又は視覚的記述子の特徴表現）を提供し得る。このような出力は、線形層からのものであるだろう。図４Ｂにおいて線形層の真下に示されるソフトマックス層は、使用される必要がない場合があり、ＣＮＮ３１９のアーキテクチャから除去されてもよい。組織サンプルの画像は、スライド画像、具体的にはデジタル組織病理学画像でもよい。

【0051】

図５Ａは、本発明のある実施形態の１つ又は複数の局面を実装し得る電子デバイスによって実施されるプロセスを示す。より詳細には、図５Ａは、組織学の技師が組織サンプルをスライスすることから始まり、技師がシステムによって癌性（又は別の病気）であると決定されたサンプル部分をサンプルからカットすることで終了するエンドツーエンドハイレベルプロセスを示す。図４Ｃに示すハードウェアアーキテクチャ図を参照する。図４Ｃは、簡単にするために、特定のハードウェアを省略していることを理解されたい。例えば、図４Ｃは、ネットワーク、スイッチ、ルータなどを示していない。しかし、当業者は、クライアントがネットワークを介してサーバ又は他のクライアントに接続され、サーバが、ネットワークを介してサーバに接続されることを理解するだろう。すなわち、例えば、図４Ｃのクライアント４０１及び４０３は、図１のクライアントデバイス１０２～１０６、光学顕微鏡システム１１１、又はレーザ１１３の何れであってもよく、図４Ｃのサーバ４０５、４０７、４０９、及び４１１は、図１のサーバ１０７～１０９であってもよい。別の方法では、以下に記載する処理の何れも、任意の他のデバイス上で行われ得る（例えば、ウェブサーバ上で生じる処理が、代わりにＧＰＵサーバ上で行われ得る）。

【0052】

図５Ａのステップ５００Ａでは、組織学の技師が、塊の組織サンプルを受け取り、この組織サンプルを薄く及び厚くスライスする。薄いスライスを用いてスキャンを行い、薄いスライスの関連部分が識別されると、厚いスライスが、顕微解剖に使用される。技師は、例えば、病院、診療所、研究所などにいる場合がある。

【0053】

ステップ５００Ｂでは、技師は、例えばヘマトキシリン及びエオシン（Ｈ＆Ｅ）を用いて薄いスライスを染色し、デジタル組織画像（ホールスライド画像（ＷＳＩ）とも呼ばれる）を生成するためにＨ＆Ｅガラススライドをスキャンする。スキャニングには、２００，０００×２００，０００解像度スキャナを使用し得る。単一ＷＳＩは、サイズが約５ＧＢとなり得る。

【0054】

ステップ５００Ｃでは、クライアント４０１又はクライアント４０３を使用して、技師は、ＷＳＩをウェブサーバ４０５にアップロードする（複数のウェブサーバが存在し得るが、簡単にするために１つのみを示す）。次いで、ウェブサーバ４０５は、複数のＷＳＩ及び関連のメタデータを保存するファイルサーバ４０７にＷＳＩを送信する。次いで、ウェブサーバ４０５は、ウェブサーバ上で走る待行列エンジンを使用して、負荷バランシングアルゴリズムに基づいてＷＳＩをパッチ及び追加の特徴に分割するために、ＧＰＵサーバ４０９又は４１１のどちらを使用するかを決定する。ＧＰＵサーバが選択されると、ウェブサーバ４０５は、選択されたＧＰＵサーバ（ＧＰＵサーバ４０９など）に対して、ＷＳＩをパッチに分割し、ＧＰＵサーバ４０９上で走る畳み込みニューラルネットワークを使用して特徴を抽出するように（図５Ｂのステップ５０５を参照して以下により詳細に論じるように）命令を送信する。

【0055】

ステップ５００Ｄでは、ＧＰＵサーバ４０９（又は４１１）が畳み込みニューラルネットワークを用いて特徴を抽出すると、ＧＰＵサーバ４０９（又は４１１）は、ＷＳＩに関連付けられたメタデータ（メタデータは、パッチ位置、パッチサイズ（例えば、４００×４００ピクセル）、及びＧＰＵサーバ４０９によって抽出されたパッチの各特徴の値を含む）を保存するようにメッセージをファイルサーバ４０７に送信する。次いで、メタデータは、ファイルサーバ４０７に保存され（保存されたＷＳＩに関連付けられ）、何れのＧＰＵサーバ（例えば、４０９及び４１１）又はウェブサーバ４０５によってもアクセスすることができる。

【0056】

ステップ５００Ｅでは、ＷＳＩの全パッチに関して、メタデータが生成され、ファイルサーバ４０７に保存されると、ウェブサーバ４０５によって、ＷＳＩの全パッチに関するメタデータが生成されたという通知が、病理学者などのユーザに送られる。病理学者は、例えば、クライアント４０３のユーザでもよい。

【0057】

ステップ５００Ｆでは、クライアント４０３のユーザは、図５Ｂのステップ５０７を参照して以下により詳細に論じるように、１つ又は複数の陽性パッチと、０以上の陰性パッチとを選択する。次いで、ユーザの選択が、クライアント４０３からウェブサーバ４０５へと送信され、次に、ウェブサーバ４０５は、これらの選択をＷＳＩと関連付けられたメタデータとして保存するためにファイルサーバ４０７へと送信する。

【0058】

ステップ５００Ｇでは、ユーザの選択及び抽出された特徴に基づいて、ウェブサーバは、図５Ｂのステップ５０９、５１１、及び５１３に関して以下に詳細に論じるように、顕微解剖マスクなどのマスクを生成する。

【0059】

ステップ５００Ｈでは、ウェブサーバ４０５は、クライアント４０１の技師にマスクを送信する。次いで、ステップ５００Ｊにおいて、技師は、レーザ１１３を使用して、マスクで識別された厚いスライド組織サンプルの部分をカットする。

【0060】

図５Ｂは、本発明のある実施形態の１つ又は複数の局面を実装し得る電子デバイスによって実施されるプロセスを示す。より詳細には、図５Ｂは、生体サンプルのデジタル組織画像を受信し、部分的にユーザ入力及び機械学習に基づいて、癌の可能性が高い部分を決定するための方法を示す。上記で図５Ａを参照して論じたように、上記部分が決定されると、生体サンプルの一部が、さらなる処理のために顕微解剖され得る。図５Ｂのステップは、図示される順序で行われてもよく、別の順序で行われてもよい。例えば、ステップ５０３は、ステップ５０５又はステップ５０７の後に行われてもよい。

【0061】

本発明のある実施形態によれば、ＣＮＮ３１９が、入力として関連の組織サンプル画像（すなわち、テストサンプル）（又はこのような画像のパッチ）を受信し、出力として画像特徴値を提供するより前に、ＣＮＮ３１９は、一般画像（すなわち、癌細胞の画像ではない、及び癌細胞のない画像）に関して訓練され得る。すなわち、ＣＮＮ３１９は、訓練された一般分類器と見なすことができる。例えば、ＣＮＮ３１９は、ＩｍａｇｅＮｅｔ画像を使用して訓練され得る。ＩｍａｇｅＮｅｔは、視覚的物体認識ソフトウェア研究で使用するための大規模視覚データベースであり、これは、いわゆるＷｏｒｄＮｅｔ階層（現在、大規模な名詞リストを含む）に従って編成され、階層の各ノードは、多数の画像（例えば、５００個）を含む。例えば、ｈｔｔｐ：／／ｗｗｗ．ｉｍａｇｅ－ｎｅｔ．ｏｒｇ／を参照のこと。例えば、ＩｍａｇｅＮｅｔは、階層に編成された以下の名詞ごとに多数の画像を含む：動物、脊椎、ほ乳類、有胎盤、霊長類、サル、ヒヒ、マンドリル。各カテゴリは、同義語及び／又は関連用語（例えば、動物は、生物、獣、生き物の関連用語を含む）を含み得る。ＷｏｒｄＮｅｔ中の各用語（すなわち、画像の各クラス）に関する多数の画像は、追加の物体、背景などと共に、様々なポーズ、時点、年齢、位置、画質、色の関連の対象を示す。例えば、階層に１０００個のノードが存在し得る。最初にＣＮＮ３１９を訓練するために使用される複数の画像には、例えば、必ずしも何らかの病気に関連しない様々な一般画像の複数の画像（又はパッチ）が含まれ得る。一例では、ＣＮＮ３１９は、数十万、或いは数百万ものこのような画像に関して事前に訓練されている。

【0062】

ＣＮＮ３１９、陽性１クラスＳＶＭ３１１、陰性１クラスＳＶＭ３１３、２クラスＳＶＭ３１５、１クラスＳＶＭ訓練パッチ３０２Ｆ、２クラスＳＶＭ訓練パッチ３０２Ｊ、テストパッチ３２３、及び対象領域３２１も、サーバ１０７～１０９上で保存及び実行が行われてもよく、或いは、その代わりに、１つ又は複数のクライアントデバイス１０２～１０６、又はサーバ１０７～１０９及び／又はクライアントデバイス１０２～１０６の組み合わせ上で保存及び実行が行われてもよい。より詳細には、ＳＶＭ３１１、３１３、及び３１５は、図４Ｃのウェブサーバ４０５上で保存及び実行が行われてもよい。

【0063】

訓練されたＣＮＮ３１９を使用して、分類が未知である生体サンプルの画像のパッチ（すなわち、テストパッチ）から特徴を抽出することができる。ＣＮＮ３１９が訓練されると、「テスト」パッチと共に使用する準備が整う。テストパッチ３２３などのテストパッチは、光学顕微鏡システム１１１の顕微鏡、接眼レンズアセンブリ、カメラ、及びスライドプラットフォームを用いて捕捉されたかもしれない実際の患者の組織サンプルからのパッチである。

【0064】

ステップ５０２では、画像処理エンジン３０１は、生体サンプルのデジタル組織画像へのアクセスを得る。ユーザは、図１１Ｃに示すような生体サンプルのデジタル組織画像（すなわち、ホールスライド画像）の選択に関する指示を提供され得る。デジタル画像は、例えば、ＳＶＳ、ＴＩＦＦ、ＶＭＳ、ＶＭＵ、ＮＤＰＩ、ＳＣＮ、ＭＲＸＳ、ＳＶＳＬＩＤＥ、ＢＩＦ、ＰＤＦ、ＪＰＧ、ＢＭＰ、ＧＩＦ、及びその他のデジタル画像フォーマットなどの様々な形式のものでよい。また、デジタル画像は、サーバ上に存在してもよく、それは、大型画像（サイズが多くのＧＢ）であってもよく、画像は、クラウドに保存されてもよく、及び図５Ｂの全ての分析は、クラウドで行われてもよい。クラウドは、サーバ１０７～１０９を含み得る。しかし、図５Ｂのステップは、１つ又は複数のクライアントデバイス１０２～１０６、又はサーバ１０７～１０９及び／又はクライアントデバイス１０２～１０６の組み合わせで行われてもよい。処理は、並行であって、複数のサーバ上で行われてもよい。デジタル画像は、以下：組織の種類、組織の提供者、スキャナ、染色剤、染色法、作成者の識別子、画像サイズ、サンプル識別子、追跡識別子、バージョン番号、ファイル形式、画像年月日、症状、診断、治療を行った医師の識別情報、組織の提供者の病歴、組織の提供者の人口統計情報、組織の提供者の家族の病歴、及び組織の提供者の人種の少なくとも１つと関連付けられたデジタル情報を含む生体サンプルメタデータを含み得る。

【0065】

ステップ５０３では、タイル生成エンジン３０３が、デジタル組織画像を画像パッチ３２３（テストパッチ３２３）の一群にタイルのように重ねずに並べる。テストパッチ３２３中の各タイル／パッチは、例えば、１０００×１０００ピクセル以下、４００×４００ピクセル以下、２５６×２５６ピクセル以下、又はその他の適宜のピクセル数でもよい。タイルのように重ねずに並べるステップは、繰り返し、或いは１つ又は複数のコンピュータによって並行して行われ得る。タイルのように重ねずに並べることは、均一なサイズ及び均一な形状を有する画像パッチを生成することを含み得る。パッチのサイズは、以前の陽性パッチ３０２Ｄ及び以前の陰性パッチ３０２Ｅ（癌、癌のグレード、テストパッチ３２３の疑われる癌の特定の種類若しくはグレード、又はその他の病気に対して陽性又は陰性であると病理学者によって以前に選択されたパッチ）のサイズの関数でもよい。例えば、陽性又は陰性であると病理学者によって以前に選択されたパッチが４００×４００パッチであった場合、タイル生成エンジン３０３は、画像を同一サイズ（４００×４００）のパッチ、又は以前のパッチのサイズの１％、３％、５％、１０％、２０％、２５％、若しくは３０％以内にタイルのように重ねずに並べ得る。

【0066】

ステップ５０３では、テストパッチ３２３は、均一なサイズ及び形状を有していても、或いは均一なサイズ及び形状を有していなくてもよい。例えば、１つのパッチが４００×４００であり、別のパッチが３００×３００又は３００×２００であってもよい。また、パッチは正方形である必要はなく、長方形、円形、楕円形、又はより複雑な形状であってもよい。様々なプロセスが、ペンローズのタイルのように重ねずに並べること、バルクエクスクルージョン、及び／又はバウンドボックスなどのタイルのように重ねずに並べることに使用され得る。

【0067】

ステップ５０３では、生成されたパッチが、重なり合っていても、或いは重なり合っていなくてもよい。すなわち、デジタル画像の同じエリアが、２つ以上のタイル／パッチに含まれてもよく、或いは含まれなくてもよい。

【0068】

生成されたパッチは、テストパッチ３２３として、サーバ１０７～１０９及び／又はクライアントデバイス１０２～１０６、又はサーバ１０７～１０９及び／又はクライアントデバイス１０２～１０６の組み合わせのメモリに保存される。

【0069】

ステップ５０５では、特徴抽出エンジン３０５が、テストパッチ３２３の各パッチから複数の特徴を抽出し、それらをテストパッチ３２３内にメタデータ又は別個のデータ構造として、或いはテストパッチ３２３の外で別個のデータベース／データ構造に保存する。具体的には、特徴抽出エンジン３０５は、パッチ３２３から画像特徴を抽出する。一実施形態では、特徴抽出エンジン３０５は、ＣＮＮ３１９（例えば、Ｉｎｃｅｐｔｉｏｎ ｖ３に基づき、例えばＩｍａｇｅＮｅｔ画像などの多種多様な画像に関して訓練されたもの）によって有用であると識別された特徴を抽出する。特徴抽出エンジン３０５は、画像から特徴を抽出するために、完全に訓練されたＣＮＮ３１９を利用する。一実施形態では、特徴抽出エンジン３０５は、訓練されたＣＮＮ３１９と通信し、一度に１つずつ、或いは単一のコール／メッセージで、ＣＮＮ３１９に特徴抽出のためにパッチ３２３を提供する。ＣＮＮ３１９は、特徴抽出エンジン３０５から各パッチを受信し、最上部の畳み込み層から始まり、最下部から２つ目の線形層までの図４Ｂに示す層を通して、各パッチ３２３を処理する。線形層は、出力として、入力パッチを表す多数の特徴（例えば、２０４８個）を提供し、図３に示すように、２０４８個の特徴値を特徴抽出エンジン３０５に提供する。これらの値は、例えば、アレイ、ベクトル、リンクリスト、又は他の適宜のデータ構造でＣＮＮ３１９によって特徴抽出エンジン３０５に提供され得る。次いで、これらの特徴は、テストパッチ３２３に保存され得る。

【0070】

ステップ５０５では、特徴抽出エンジン３０５は、全てのテストパッチ３２３から特徴を抽出する代わりに、ピクセルコンテンツの関数として、テストパッチ３２３からパッチを識別／選択し得る。例えば、識別は、画像パッチ内のピクセルのカラーチャネルに基づいて、パッチをフィルタリングすることを含み得る。例えば、識別は、パッチの分散の関数として行われ得る。パッチの分散は、特定のパッチにおける、赤、緑、青（ＲＧＢ）チャネル、及び／又は色相、彩度、値（ＨＳＶ）、及び／又は色相、彩度、及び／又は明るさ（ＨＬＳ）、及び／又は色相、彩度、輝度（ＨＩＳ）の分散に基づき得る。このステップは、細胞を含むパッチのみが考慮されることを確実にすることを助ける。ステップ５０５が完了すると、細胞を有するパッチのみが、特徴抽出のために識別／選択され得る。

【0071】

ステップ５０７では、ユーザ選択エンジン３０７が、画像パッチの一群のユーザ選択サブセットのユーザ選択を決定する。ユーザは、図１１Ｄに示すようなユーザ選択を行うことに関する指示を提供され得る。すなわち、ユーザ選択エンジン３０７によって制御されるグラフィカルユーザインタフェース（ＧＵＩ）は、ユーザ（病理学者、又は１つ若しくは複数の場所にいる一人若しくは複数の病理学者）にテストパッチ３２３を示す。例えば、図７Ａ～７Ｃは、ユーザに示され得る複数のパッチを示す。ユーザは、スクリーン、スマートフォンスクリーン、タブレット、タッチスクリーンなどの入出力インタフェース２４０上で、図７Ａ、７Ｂ、又は７Ｃに類似のＧＵＩをユーザ選択エンジン３０７によって示され得る（より多くの、又はより少ないパッチが示されてもよい）。図１１Ｅ及び１１Ｆは、ユーザが１つの陽性パッチを選択した後の状態におけるＧＵＩを示す。ユーザは、自分が陽性或いは陰性パッチを選択していることを示すために、陽性／陰性ドロップダウンを選択し得る。ユーザが陽性又は陰性を選択すると、ユーザは、１つ又は複数のパッチをクリックして、それらを選択し得る。ユーザが、選択においてミスをしたかもしれないと考える場合には、クリアボタンをクリックし、パッチの選択を新たに開始することができる。図１１Ｅに示すように、「穴埋め」チェックボックスにチェックマークが付けられると、癌に対して陽性であるとユーザによって選択されたエリア内に、穴（ユーザによって選択されない１つ又は複数のパッチのエリア）が存在する場合、穴（非選択エリア）は、それにもかかわらず、癌に対して陽性であるとユーザによって選択されたかのように扱われ、それに応じて埋められる（ユーザが陰性パッチを選択している場合にも、同じことが当てはまる）。ユーザが、自分が望む全ての陽性又は陰性パッチを選択したと確信すると、ユーザは、コミットボタンをクリックし得る。

【0072】

まず、ユーザは、陽性パッチ（すなわち、癌、癌の特定の種類若しくはグレード、又は他の関連の病気に対して陽性であるとユーザが考えるパッチ）又は陰性パッチ（すなわち、癌、癌の特定の種類若しくはグレード、又は他の関連の病気に対して陰性であるとユーザが考えるパッチ）のどちらを選択するのかを選択し得る。選択が行われると、ユーザは、１つ又は複数の陽性又は陰性パッチを選択する（ユーザが上記で陰性又は陽性パッチのどちらを選んだかに応じて）。任意選択的に、ユーザは、陽性パッチを最初に選択してもよく、或いは陽性パッチのみを選択し、陰性パッチは選択しなくてもよい。ユーザが、適切な数のパッチを選択したと満足すれば、ユーザがパッチの特定のセット（陽性又は陰性）の選択を終えたことをユーザ選択エンジン３０７に知らせるために、ユーザは、「コミット」（又は類似の）ボタンを選択し得る。

【0073】

次いで、ユーザによって選択されたあらゆる陽性パッチが、ＳＶＭ訓練パッチ３０２Ｆ、具体的には現在の陽性パッチ３０２Ｂに保存され、ユーザによって選択されたあらゆる陰性パッチが、現在の陰性パッチ３０２Ｃに保存される。全ての選択されたパッチが保存されてもよく、又はテストパッチ３２３中のパッチの識別子が参照されてもよい（例えば、１０，０００個のテストパッチ３２３があり、それぞれが１～１０，０００の識別子を有する場合、現在の陽性パッチ３０２Ｂ及び現在の陰性パッチ３０２Ｃは、それぞれがテストパッチ３２３中のあるテストパッチを参照する複数の識別子を保存し得る。例えば、ステップ５０７のユーザ選択に続いて、ユーザ選択エンジン３０７は、識別子８、５００、１０１１、５０００、及び９８９９と共に、現在の陽性パッチ３０２Ｂにリンクリストを保存し得る。同様に、ユーザ選択エンジン３０７は、識別子１０、５５０、１０１５、４０２０、及び９２９９と共に、現在の陰性パッチ３０２Ｃにリンクリストを保存し得る。

【0074】

ユーザの選択は、画像処理エンジン３０１が、癌に対して陰性である可能性が高い又は陽性である可能性が高い他のテストパッチ３２３を正しく決定することを助ける。ユーザが陽性及び陰性パッチを正しく選択すると仮定して、画像処理エンジン３０１は、陽性であると分かっている（ステップ５０７における陽性パッチのユーザ選択により）パッチをテストパッチ３２３中の他のパッチと比較し、陽性１クラスサポートベクトルマシン（ＳＶＭ）３１１、陰性１クラスＳＶＭ３１３、及び２クラスＳＶＭ３１５に関して以下により詳細に論じるように、テストパッチ３２３中の候補テストパッチと、ユーザ選択された陽性パッチとの間の特徴距離に基づいて、このようなパッチを陽性の可能性が高いものとして選択し得る。同様に、画像処理エンジンは、陰性の可能性が高いパッチを決定するために、ユーザ選択された陰性パッチ及びテストパッチ３２３を比較し得る。

【0075】

画像処理エンジン３０１が、以下に詳細に論じるように、ステップ５０１で一般画像を用いて、且つＳＶＭ３１１、３１３、及び３１５を使用せずに訓練されたＣＮＮ３１９を使用して、陽性の可能性が高い又は陰性の可能性が高いパッチを選択することは可能であるが、図６Ａ～６Ｄに示すようなこのようなプロセスは、以下により詳細に論じるように、分類エラーを有し得る。

【0076】

図６Ａは、２つのクラスの画像：（１）松及び竹（「竹」）と、（２）餃子とを示す。図６Ａの画像は、ＣＮＮ、例えば、ＩｍａｇｅＮｅｔなどの一般画像に関して訓練されたＩｎｃｅｐｔｉｏｎ ｖ３に入力される。ＩｍａｇｅＮｅｔ訓練に基づいて、ＣＮＮの線形層は、図６Ａに示す各テスト画像に関して２０４８個の特徴を生成する。次いで、画像処理エンジン３０１は、各画像と他の各画像との間の距離（ＣＮＮの線形層によって抽出された２０４８個の特徴のユークリッド／Ｌ２距離など）（すなわち、画像ペア間の距離）を計算する。２０４８個の特徴の内のどれが特に重要であるかを決定し、特定の特徴を他の特徴よりも重く重み付けする修正Ｌ２距離を生成するようにそれらの重みを増加させるために、分析が行われ得る。先験的に距離閾値を用いることにより、システムは、複数の画像ペアを同じクラスに存在するものとして分類する。ユーザが、陽性画像／パッチに関する選択を行うと、システムは、上記分析を用いて合致するパッチを見つける。ユーザによって選択された陰性パッチに関して同じ分析が行われ得る。

【0077】

図６Ｂは、上記で論じたような図６Ａの画像の分類結果を示す縦棒グラフを示す。ｘ軸は、（ＣＮＮ３１９によって抽出された２０４８個の特徴の値の）ペアのＬ２距離の差を表す。ｙ軸は、そのＬ２距離内に入るペアの値の正規化数を示す正規化ヒストグラムである。

【0078】

図６Ｂによれば、各緑の棒（すなわち、左から８つの棒）は、合致ペア（すなわち、竹－竹、又は餃子－餃子）を示し、各赤い棒（右端近くの最後の２つの棒）は、非合致ペア（すなわち、竹－餃子）を示す。図６Ｂにより示唆されるように、ユーザが、先験的にＬ２距離閾値を決定して、Ｌ２距離に基づいて非合致ペアから合致ペアをプログラムで分けることが可能となり得る。例えば、約１８のＬ２距離が選ばれた場合（ここでは、Ｌ２距離が１８以下であったあらゆる画像ペアが、合致と見なされ、Ｌ２距離が１８を超えたあらゆる画像ペアが、非合致と見なされた）、これは、合致ペア及び非合致ペアの正確な結果を提供するように思われ得る。

【0079】

しかし、図６Ｃ～６Ｄに見られるように、上記の手法は、他の画像セットに関して上手く機能しない場合がある。図６Ｃは、図６Ａと同様に、２つのクラスの画像：（１）竹及び（２）餃子を示す。図６Ｂと同様に、図６Ｄは、図６Ｃの画像の分類結果を示す縦棒グラフを示す。しかし、図６Ｄに見られるように、図６Ａ～６Ｂと同じプロセスを使用して、幾つかの非合致ペア（赤い棒）は、合致ペア（緑の棒）よりも短いＬ２距離を有する。従って、閾値以下のＬ２距離を有する合致ペアのみ、及び閾値を超えるＬ２距離を有する非合致ペアのみを含むＬ２距離閾値を先験的に選択することは、可能ではない場合がある。

【0080】

そして、病理学サンプルにおいて、（例えば、色及び輝度の）テスト画像／パッチのばらつきは、図６Ａ～６Ｄの場合よりも分類をさらに難しくする。従って、病理学サンプルに図６Ａ～６Ｄのマッチング法を使用すると、画像／パッチのさらに誤った合致ペアがもたらされ得る。

【0081】

再び図５Ｂを参照し、ステップ５０７において陽性及び／又は陰性パッチのユーザ選択が決定されると、２クラスＳＶＭ３１５の訓練画像が、ステップ５０９において決定される。以下で図５Ｃを参照して、ステップ５０９をさらに詳細に記載する。

【0082】

ステップ５０９Ａでは、ＳＶＭ訓練エンジン３０８が、現在の陽性パッチ３０２Ｂ（すなわち、現在のテストパッチ３２３からユーザによって選択された陽性パッチ）にアクセスする（一般に、現在の陽性パッチ３０２Ｂなどのデータは、直接アクセスされてもよく、又は以前の若しくは他のエンジン（この場合、ユーザ選択エンジン３０７）によって、現在のエンジン（ＳＶＭ訓練エンジン３０８）に提供されてもよい）。次いで、ステップ５０９Ｂにおいて、ＳＶＭ訓練エンジン３０８は、以前の陽性パッチ３０２Ｄにアクセスする。例えば、ＳＶＭ訓練エンジン３０８は、全ての又は所定数（２、３、５、１０、１５、２０、３０、５０、又は１００など）の最も新しく選択された以前の陽性パッチ３０２Ｄを選択してもよく、或いはＳＶＭ訓練エンジン３０８は、テストパッチ３２３において疑われるのと同じ種類の癌／病気に関係する以前のテストパッチから選択された全ての又は所定数の以前の陽性パッチ３０２Ｄを選択してもよく、或いはＳＶＭ訓練エンジン３０８は、現在のユーザによって選択された全ての又は所定数の以前の陽性パッチ３０２Ｄを選択してもよい。

【0083】

現在の陽性パッチ３０２Ｂは、ユーザがそれらを選択したため、正確である高いレベルの確率が存在する。しかし、以前の陽性パッチ３０２Ｄは、他の画像／パッチ（現在のテストパッチ３２３ではない）からのパッチを含む。従って、現在の陽性パッチ３０２Ｂと比較して関連する以前の陽性パッチ３０２Ｄのみを選択することによって、それらがテストパッチ３２３に関連するか否かを決定する必要がある。このような決定は、ステップ５０９Ｃ～５０９Ｄで行われる。

【0084】

ステップ５０９Ｃでは、ＳＶＭ訓練エンジン３０８が、陽性１クラスＳＶＭ３１１にアクセスし、図８に示すように、陽性１クラスＳＶＭ３１１を訓練する。ＳＶＭは、分類及び回帰分析（我々のケースでは、分類）に使用されるデータを分析する関連の学習アルゴリズムを備えた教師あり学習モデルである。まず、ＳＶＭは、入力として、１つ又は複数のクラスの訓練データ（例えば、画像）を受信する。次いで、ＳＶＭは、新しいテスト画像が属するクラスを決定することができる訓練データに基づいたモデルを構築する。１クラスＳＶＭは、それが分類する単一クラスの画像を有する。

【0085】

図８は、本発明のある実施形態の１つ又は複数の局面による、放射基底関数（ＲＢＦ）カーネルを有する１クラスＳＶＭを使用した結果の一例を示す。見て分かるように、図８は、８０１、８０３、及び８０５を含む複数の縞を示す。図８は、陽性１クラスＳＶＭ３１１を訓練するために使用されるパッチである緑の訓練観測８０２も示す。訓練観測は、現在の陽性パッチ３０２Ｂ（又は所定数の現在の陽性パッチ３０２Ｂ）のみを含む。

【0086】

現在の陽性パッチ３０２Ｂが、陽性１クラスＳＶＭ３１１を訓練するために陽性１クラスＳＶＭ３１１に入力されると、ＳＶＭは、現在の陽性パッチ３０２Ｂを表すために本実施形態で使用される２０４８次元特徴空間のデータ点（ベクトル）に基づくガウス分布を使用して縞を生成する。次いで、テストパッチが陽性１クラスＳＶＭ３１１に入力されると、２つの最も内側のピンクの楕円状領域８０１内のテストパッチ３２３が、現在の陽性パッチ３０２Ｂに最も類似する。２つのピンク領域８０１を完全に包囲する最も内側の最も暗い青の縞８０３は、最も内側のピンク領域内のパッチ（又は一般に、訓練パッチ（現在の陽性パッチ３０２Ｂ））よりも類似の度合いが低いパッチを含む。領域８０５は、ピンク領域８０１からさらに遠く、これらの領域内のパッチは、ピンク領域８０１内のパッチよりもさらに類似の度合いが低い。

【0087】

ＳＶＭ訓練エンジン３０８は、どの縞が、訓練データ（この場合、陽性パッチ）のクラスへの包含を示し、どの縞が除外を示すかを決定する。例えば、ＳＶＭ訓練エンジン３０８は、領域８０１及び８０３内に存在すると決定された以前の陽性パッチ３０２Ｄ（観測）のみが、訓練データ（この例では、現在の陽性パッチ３０２Ｂ）と同じクラス内の包含を示すことを決定し得る（或いは、それが予め決定され得る）。すなわち、陽性１クラスＳＶＭ３１１が領域８０１又は８０３内に存在すると決定する以前の陽性パッチ３０２Ｄが、現在の陽性パッチ３０２Ｂと同じクラス内に存在すると見なされる。すなわち、訓練に続いて、ＳＶＭ訓練エンジン３０８は、陽性１クラスＳＶＭ３１１への入力として以前の陽性パッチ３０２Ｄのサブセット（又は全て）を提供する。陽性１クラスＳＶＭ３１１は、訓練データに基づいて各パッチの領域を決定し、領域８０１又は８０３内に存在する以前の陽性パッチ３０２Ｄのみが同じクラス内に存在すると決定する。

【0088】

ステップ５０９Ｃにおいて陽性１クラスＳＶＭ３１１を用いて、以前の陽性パッチ３０２Ｄのどれが、現在の陽性パッチ３０２Ｂと同じクラス内に存在するかを決定する上記のプロセスが、他の異常値検出手段によって行われ得ることに留意されたい。例えば、以前の陽性パッチ３０２Ｄ中のどのパッチを異常値として除去するかを決定するために、楕円エンベロープ、又はアイソレーションフォレスト（例えば、２分木を使用してデータアノマリを検出する）が、１クラスＳＶＭの代わりに、又は１クラスＳＶＭと組み合わせて使用され得る。

【0089】

ステップ５０９Ｅにおいて、以前の陽性パッチ３０２Ｄのどれが、現在の陽性パッチ３０２Ｂと同じクラス内に存在するかをＳＶＭ訓練エンジン３０８が決定すると、現在の陽性パッチ３０２Ｂ及び選択された以前の陽性パッチ３０２Ｄ（陽性１クラスＳＶＭによって選択された）の両方が、組み合わせられ、２クラス陽性訓練パッチ３０２Ｇとして保存される（パッチは、画像として、又は関連のテストパッチ３２３に対する識別子として保存され得る）。これらのパッチ３０２Ｇは、次に、２クラスＳＶＭ３１５を訓練するために使用される。

【0090】

次いで、同様のプロセスが、陰性パッチに関して行われ得る。すなわち、ステップ５０９Ｆにおいて、ステップ５０９Ａと同様に、現在の陰性パッチ３０２Ｃがアクセスされ得る。ステップ５０９Ｇでは、ステップ５０９Ｂと同様に、以前の陰性パッチ３０２Ｅがアクセスされ得る。ステップ５０９Ｈでは、ステップ５０９Ｃと同様に、陰性１クラスＳＶＭ３１３が訓練され得る。ステップ５０９Ｊでは、ステップ５０９Ｄと同様に、以前の陰性パッチ３０２Ｅのサブセットが決定され得る。ステップ５０９Ｋでは、ステップ５０９Ｅと同様に、現在の陰性パッチ３０２Ｃが、以前の陰性パッチ３０２Ｅのサブセットと組み合わせられ、２クラス陰性訓練パッチ３０２Ｈに保存され得る。

【0091】

代替方法として、陰性１クラスＳＶＭ３１３を用いてステップ５０９Ｆ～５０９Ｋを行う代わりに、陽性及び陰性パッチの両方に陽性１クラスＳＶＭ３１１が使用されてもよい。すなわち、例えば、ユーザによって現在の陰性パッチ３０２Ｃが提供されていない場合には、ＳＶＭ訓練エンジン３０８は、陽性１クラスＳＶＭ３１１を使用して、２クラス陰性訓練パッチ３０２Ｈとして使用する以前の陰性パッチを決定してもよい。

【0092】

具体的には、ステップ５０９Ｆにおいてアクセスする現在の陰性パッチが存在しないので、ステップが省かれる。ステップ５０９Ｇでは、以前の陰性パッチ３０２Ｅがアクセスされる。ステップ５０９Ｈは、省かれてもよく、代わりに、訓練された陽性１クラスＳＶＭが使用される。ステップ５０９Ｊは、内側の縞８０１及び８０３内に存在する以前の陰性パッチ３０２Ｅを選択する代わりに、縞８０１及び８０３内に存在しない以前の陰性パッチ３０２Ｅのみが選択されるように変更される。すなわち、現在の陽性パッチ３０２Ｂに十分に類似していない以前の陰性パッチ３０２Ｅのみが選択される（縞８０５など）。次いで、選択された以前の陰性パッチ３０２Ｅ（又はそれらの識別子）が、２クラス陰性訓練パッチ３０２Ｈに保存される。以前の陰性パッチ３０２Ｅが存在しなければ、ＳＶＭ訓練エンジン３０８は、他のシステムのユーザによって選択された、或いはどのユーザにも選択されたことはないが陰性パッチの特性を持つストック陰性パッチを保存してもよい。この代替方法では、これらのストック陰性パッチは、以前の陰性パッチ３０２Ｅに保存されてもよい。

【0093】

２クラス陽性訓練パッチ３０２Ｇ及び２クラス陰性訓練パッチ３０２Ｈが決定されると、ＳＶＭ訓練エンジン３０８は、ステップ５０９Ｌにおいて、パッチ３０２Ｇ及び３０２Ｈを用いた２クラスＳＶＭ３１５の訓練に移る。すなわち、２クラスＳＶＭ３１５の２つのクラスは、陽性パッチ及び陰性パッチであり、１クラスＳＶＭ３１１及び３１３によって決定されたそれぞれの陽性及び陰性パッチによって保存される。

【0094】

ステップ５０９Ｌでは、２クラス陽性訓練パッチ３０２Ｇ（図９Ａの右上に１つの例外を有して示される）及び２クラス陰性訓練パッチ３０２Ｈ（図９Ａの左下に示される）が（線形）２クラスＳＶＭ３１５に提供されると、マージン幅（２つの平行破線間の幅）を最大にするように、２クラスＳＶＭ３１５は、陰性サポートベクトル（下の破線が交差する円で囲まれたパッチ）及び陽性サポートベクトル（上の破線が交差する円で囲まれたパッチ）を選択する。超平面は、２つの破線間の中点に示される実線である。図９Ｂは、同様である。

【0095】

ステップ５０９Ｌにおいて、２クラスＳＶＭ３１５において超平面が決定されると、図５Ｂのステップ５０９が完了する。

【0096】

ステップ５１１において、分類エンジン３０９は、入力として、テストパッチ３２３の全て又はサブセットを現在訓練されている２クラスＳＶＭ３１５に提供する。次いで、訓練された２クラスＳＶＭ３１５は、各テストパッチ３２３を、図９Ａ～９Ｂに示すように、パッチが超平面の陽性側にあれば陽性パッチ（例えば、癌に対して陽性）であると分類し、パッチが超平面の陰性側にあれば陰性パッチ（例えば、癌に対して陰性）であると分類する。ステップ５１１が完了すると、各テストパッチ３２３は、陽性又は陰性としてマークが付けられる。

【0097】

ステップ５１１の分類が完了すると、システムは、ステップ５１３（グループ化ステップ）に移る。ステップ５１３において、陽性であると決定されたテストパッチ３２３が、他の近傍陽性パッチと共にグループ化される。同様に、陰性であると決定されたテストパッチ３２３が、他の近傍陰性パッチと共にグループ化される。図５Ｄを参照して、ステップ５１３を以下にさらに詳細に記載する。

【0098】

一般に、凸包の生成によるプロセスは、以下の通りである。（１）２クラスＳＶＭに基づいて、パッチグリッドマップを構築し（陽性は１、陰性は０）、（２）隣接カーネルを用いてこのマップを畳み込み、（３）主ブロブを作成する。各ブロブ内で、各パッチは、少なくとも７．５のスコアを有し、全てのパッチが接続される必要があり、（４）補助ブロブを作成し、各補助ブロブ内で、各パッチは、少なくとも４．０のスコアを有し、全てのパッチが接続される必要があり、及び（５）主ブロブ及び補助ブロブのそれぞれに関して凸包を構築する。

【0099】

ステップ５１３Ａにおいて、グループ化エンジン３１７は、各テストパッチ３２３及びその近傍パッチを分析することによって、確率スコアを決定する。具体的には、スコアは、以下のように決定される。０から開始し、パッチ自体が関連のクラス（陽性又は陰性）として分類されている場合に２を加算し、同じクラス（すなわち、陽性又は陰性）と分類された真上、真下、左隣り、及び右隣りの各パッチに対して１を加算し、同じクラスと分類された各近傍角パッチに対して０．５を加算する。

【0100】

例えば、図１０Ａは、テストパッチ３２３の代表的部分を示す。特定のパッチ内のＰは、パッチが陽性であることを２クラスＳＶＭ３１５が決定したことを示す。例えば、パッチ（２，４）（列２，行４）を分析すると、このパッチは、７．５の確率スコアを有する。パッチ自体（２，４）が２クラスＳＶＭ３１５によって陽性であると決定されているので、２を加算する。関連パッチの上、下、左、及び右にある各パッチ（１，４）、（２，５）、（３，４）、及び（２，３）に対して１を加算する。そして、３つの近傍角パッチ（１，５）、（３，５）、及び（３，３）のそれぞれに対して０．５を加算する。（１，３）は、陽性として示されていないので、このパッチに関して、確率スコアに０．５は加算されない。従って、その確率スコアは、２＋４＋１．５＝７．５となる。

【0101】

別の例として、パッチ（４，２）は、５．０のスコアを有する（パッチ（３，２）、（４，３）、（５，２）、及び（４，１）のそれぞれに対して１．０、並びに角パッチ（３，３）及び（５，３）のそれぞれに対して０．５）。

【0102】

ステップ５１３Ｂによれば、全てのテストパッチ３２３に対して上記のプロセスが行われると、７．５以上の確率スコアを有するパッチが、主ブロブと見なされ、４．０以上の確率スコアを有するパッチが、補助エリアと見なされる（これらの数字は単なる例であり、異なる数字が使用され得る）。より詳細には、２つのバイナリマップ（主及び補助）が生成される。主バイナリマップは、７．５以上のスコアを有するパッチのみを含み、補助バイナリマップは、４．０以上のスコアを有するパッチのみを含む。

【0103】

ステップ５１３Ｃにおいて、グループ化エンジン３１７が、全ての主ブロブに関して、凸包、ラインストリング、及び点を生成し、凸包内の全てのパッチに対して７．５（又は、凸包内の何れかのパッチの最高スコア）の確率スコアを割り当てる。

【0104】

図１０Ｂは、複数の陽性パッチ（又は場合によっては陰性パッチ。図５Ｄのプロセスが、陽性パッチに対して行われ、次いで、陰性パッチに対して行われる）の周囲の生成された凸包を示す。

【0105】

ステップ５１３Ｄにおいて、グループ化エンジン３１７が、補助ブロブに関して、凸包、ラインストリング、及び点を生成し、凸包内の全てのパッチに対して４．０（又は、凸包内の何れかのパッチの最高スコア）の確率スコアを割り当てる。

【0106】

ステップ５１３Ｅにおいて、グループ化エンジン３１７は、主ブロブ及び補助ブロブが重なり合うジオメトリを有する場合には、補助ブロブを主ブロブとマージする。ある凸包（例えば、主ブロブ凸包）の頂点の１つが、他の凸包（例えば、補助ブロブ／エリア凸包）内に存在する場合に、重なり合うジオメトリの決定が下される。すなわち、ある凸包内の各頂点に関して、それがその他の凸包内に存在するか否かをシステムが決定している。別の凸包内に頂点が存在しなければ、２つの凸包は、重なり合っていない。

【0107】

ステップ５１３Ｆにおいて、凸包、ラインストリング、又は点が交差すれば、グループ化エンジン３１７は、最大重複基準を用いて、凸包を一緒にグループ化する。

【0108】

ステップ５１３Ｇにおいて、各主ブロブの確率が、以下のように決定される。Ｐｒｏｂａｂｉｌｉｔｙ_{ｐｒｉｍａｒｙ}＝ｋ＊ｐｒｉｍａｒｙ＿ｐａｔｃｈ＿ｃｏｕｎｔであり、ｋは、０．１、０．２、０．３、０．４、又は０．５などの定数であり、ｐｒｉｍａｒｙ＿ｐａｔｃｈ＿ｃｏｕｎｔは、特定の主ブロブのパッチ数である。定数ｋは、ユーザによって設定されてもよく、或いは予め決められてもよい。例えば、ｋが０、１であり、且つｐｒｉｍａｒｙ＿ｐａｔｃｈ＿ｃｏｕｎｔが１３の場合、確率は、０．１＊１３＝１．３である。上記の計算の目的は、多数のパッチを含む陽性パッチを含有する可能性が高いと識別されたブロブが、より少ない数のパッチを有するブロブよりも陽性である可能性が高いことを考慮に入れることである。

【0109】

ステップ５１３Ｈにおいて、主ブロブにマージされる各補助エリア／ブロブの確率スコアが、以下のように決定される。Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}＝ｋ＊ｓｕｐｐｏｒｔｉｎｇ＿ｐａｔｃｈ＿ｃｏｕｎｔ／ｊであり、ｋは、０．１、０．２、０．３、０．４、又は０．５などの定数であり、ｓｕｐｐｏｒｔｉｎｇ＿ｐａｔｃｈ＿ｃｏｕｎｔは、特定の主ブロブにマージされる全ての補助ブロブにおけるパッチ数のパッチカウントであり、Ｊは、５０、６０、７０、８０、９０、１００、１１０、１２０、１３０、１４０、又は１５０などの定数である。例えば、ｋが０、５であり、ｓｕｐｐｏｒｔｉｎｇ＿ｐａｔｃｈ＿ｃｏｕｎｔが３００であり、ｊが１００である場合、確率は、０．５＊３００／１００＝１．５である。最後に、Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}≧ｋ又は別の定数である場合、Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}は、ｋに設定される。例えば、上記の例において、Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}が１．５であると決定されたので、Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}は、ｋの値（０．５）に設定される。

【0110】

ステップ５１３Ｊにおいて、主ブロブ及び主ブロブにマージされる補助エリア／ブロブの最終確率は、以下のように決定される。Ｐｒｏｂａｂｉｌｉｔｙ_{ｆｉｎａｌ}＝Ｐｒｏｂａｂｉｌｉｔｙ_{ｐｒｉｍａｒｙ}＋Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}である。例えば、Ｐｒｏｂａｂｉｌｉｔｙ_{ｐｒｉｍａｒｙ}が０．７であり、Ｐｒｏｂａｂｉｌｉｔｙ_{ｓｕｐｐｏｒｔｉｎｇ}が０．５である場合、最終確率は、１．２である。しかし、最終確率が１．０よりも大きければ、最終確率は、１．０に設定される。従って、上記の例においては、最終確率は、１．０に設定される。

【0111】

ステップ５１３Ｋにおいて、グループ化エンジン３１７は、最終グループ化凸包を用いて、グループ内の凸包の何れかの最大スコアに確率を再び割り当てる。次いで、凸包のスコアが、対象領域３２１に保存され、１．０などの閾値を超えるあらゆる凸包に関して、このような凸包は、図１１Ａ～１１Ｂ及び１１Ｇ～Ｈにおいて、陽性又は陰性パッチの高い可能性を示すために緑で示される。例えば、緑は、陽性パッチの高い可能性を示し得る。本発明の実施形態を用いて、サンプル／画像の様々な特性の陽性パッチの高い可能性を示すことができる。例えば、図１１Ａ～１１Ｂ及び１１Ｇ～１１Ｈでは、緑は、癌の陽性パッチの高い可能性を示し、図１１Ｉの緑は、リンパ球の高い可能性を示す。

【0112】

次いで、対象領域（ＲＯＩ）３２１（複数の領域を含み得る）が、ステップ５１３Ｋからの出力に基づいて生成され得る。対象領域３２１は、さらなる処理のためにターゲットＲＯＩを切除するために、レーザ顕微解剖を行う際に使用され得る顕微解剖マスクなどの組織マスクを含み得る。ＲＯＩのサイズ及びＲＯＩの質に基づいて、特定のＲＯＩのみが、顕微解剖マスクとして使用され得る。すなわち、あるＲＯＩは、顕微解剖に適していない場合がある。

【0113】

本明細書に記載する実施形態は、サンプル中の対象組織領域の分類をより効率的且つより迅速に生成するために、病理学者の入力と組み合わせた少数ショット学習を実装する。病理学者は、もはや、画像中の全ての対象領域の輪郭を手作業で描く必要はない。むしろ、本明細書に記載の少数ショット学習技術を用いたシステムは、対象領域を識別するプロセスを少なくとも部分的に自動化することによって、病理学者の作業を加速させる助けとなる。別の実施形態では、開示した実施形態の出力が、深層学習ネットワーク（図３に示すＣＮＮ３２９など）又は大量の訓練データを必要とする他の機械学習システムを訓練するための訓練データとして使用される。これは、訓練データがより効率的に生成されることを可能にする。

【0114】

特定の例示的実施形態を本明細書に記載したが、これらの実施形態は、限定ではなく単なる例として提示されるものであることが理解されるものとする。実施形態を具体的に図示及び説明したが、形態及び詳細において様々な変更が成され得ることが理解されるだろう。特定の特徴及び／又はコンポーネントの組み合わせを有するものとして様々な実施形態を記載したが、上述したような実施形態の何れかからの何れかの特徴及び／又はコンポーネントの組み合わせを有する他の実施形態が可能である。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図7C】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図11A】

【図11B】

【図11C】

【図11D】

【図11E】

【図11F】

【図11G】

【図11H】

【図11I】