特許 7576187 医用画像分析のための最適化されたデータ処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-22

(45)【発行日】2024-10-30

(54)【発明の名称】医用画像分析のための最適化されたデータ処理

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241023BHJP

   G01N 33/48 20060101ALI20241023BHJP

   G06V 20/69 20220101ALI20241023BHJP

【ＦＩ】

G06T7/00 630

G01N33/48 M

G01N33/48 Z

G06V20/69

【請求項の数】 22

(21)【出願番号】P 2023562867

(86)(22)【出願日】2022-04-14

(65)【公表番号】

(43)【公表日】2024-04-16

(86)【国際出願番号】 US2022024890

(87)【国際公開番号】W WO2022221578

(87)【国際公開日】2022-10-20

【審査請求日】2023-11-10

(31)【優先権主張番号】63/174,984

(32)【優先日】2021-04-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507179346

【氏名又は名称】ベンタナ メディカル システムズ， インコーポレイテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】ズイダーベルド，カレル・ジェイ

(72)【発明者】

【氏名】ワーン，シンウェイ

(72)【発明者】

【氏名】マーティン，ジム・エフ

(72)【発明者】

【氏名】ベヌゴパル，ラガバン

(72)【発明者】

【氏名】ニエ，ヤオ

(72)【発明者】

【氏名】ターン，レイ

【審査官】岡本 俊威

(56)【参考文献】

【文献】特表２０１９－５１６９７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ３３／４８

Ｇ０６Ｖ ２０／６９

(57)【特許請求の範囲】

【請求項1】

画像分析の方法であって、
複数のピクセルを含み、複数の生物学的構造を表現する組織切片の画像中の複数のシード位置を取得するステップと、
前記画像中の第１のバイオマーカーの複数の位置を取得するステップと、
前記複数のシード位置を含む前記画像の少なくとも一部について第１の距離変換配列を計算するステップであって、前記第１の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記ピクセルから前記第１のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、ステップと、
前記複数のシード位置の各々について、前記シード位置に関連付けられたデータ構造を提供するステップと、
前記複数のシード位置の各々について、かつ前記第１の距離変換配列からの情報に基づいて、
前記第１のバイオマーカーが前記シード位置で発現されるかどうかを検出するステップと、
前記シード位置に関連付けられた前記データ構造に対し、前記シード位置における前記第１のバイオマーカーの発現が検出されたかどうかのバイナリの指標を格納するステップと、
格納された前記指標に基づいて、前記組織切片の少なくとも一部における少なくとも２つの表現型の共局在を検出した結果を含む分析結果を提供するステップと、
を含む、方法。

【請求項2】

前記複数のシード位置を取得するステップが、前記画像の第１のチャネル内の前記複数のシード位置を識別するステップを含み、
前記第１のバイオマーカーの前記複数の位置を取得するステップが、前記画像の第２のチャネル内の前記第１のバイオマーカーの前記複数の位置を識別するステップを含む、請求項１に記載の画像分析の方法。

【請求項3】

前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の１つに対応し、かつ前記画像内の前記生物学的構造の表現の位置を示し、
前記第１のバイオマーカーの前記複数の位置の各々が、前記複数の生物学的構造のうちの別々の１つに対応し、かつ前記画像内の前記生物学的構造の表現の位置を示す、請求項１に記載の画像分析の方法。

【請求項4】

前記複数の生物学的構造の各々が細胞核である、請求項１に記載の画像分析の方法。

【請求項5】

請求項１に記載の画像分析の方法において、当該方法が更に、
前記画像中の第２のバイオマーカーの複数の位置を取得するステップと、
前記複数のシード位置を含む前記画像の少なくとも前記一部について第２の距離変換配列を計算するステップであって、前記第２の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記シード位置から前記第２のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、ステップと、
前記複数のシード位置の各々について、かつ前記第２の距離変換配列からの情報に基づいて、
前記第２のバイオマーカーが前記シード位置で発現されるかどうかを検出するステップと、
前記シード位置に関連付けられた前記データ構造に対し、前記シード位置における前記第２のバイオマーカーの発現が検出されたかどうかの第２の指標を格納するステップと、
を含み、
前記少なくとも２つの表現型の共局在の検出が、格納された第２の位置に基づく、方法。

【請求項6】

前記少なくとも２つの表現型の共局在の検出は、前記少なくとも２つの表現型の第１の表現型が、前記少なくとも２つの表現型の第２の表現型の所定の近傍内に生じるのを検出することを含む、請求項１に記載の画像分析の方法。

【請求項7】

画像分析の方法であって、
複数のピクセルを含み、複数の生物学的構造を表現する組織切片の画像中の複数のシード位置を取得するステップと、
前記組織切片の第１の組織領域を含み、前記組織切片の第２の組織領域を除外する第１の疎バイナリセグメンテーションマスクを取得するステップであって、前記第１の疎バイナリセグメンテーションマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、かつ前記複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示す、ステップと、
前記複数のシード位置の各々について、かつ前記第１の疎バイナリセグメンテーションマスクからの情報に基づいて、
前記複数のピクセルのうちの前記シード位置に対応するピクセルについての前記第１のバイナリメンバシップ値の状態が第１の状態であるか第２の状態であるかを決定するステップと、
前記シード位置に関連付けられたデータ構造に対し、前記ピクセルの前記第１のバイナリメンバシップ値の前記状態を格納するステップと、
格納された前記状態に基づいて、前記第１の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果を提供するステップと、
を含み、
前記複数のピクセルメンバシップ値の各々が、前記複数のピクセルのそれぞれのピクセルに対応し、かつ前記ピクセルについての前記第１のバイナリメンバシップ値の前記状態を示し、
前記複数のマイクロタイルメンバシップ値の各々が、前記第１のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、かつ前記マイクロタイルに対応する前記画像のブロック内の全ての前記ピクセルについての前記第１のバイナリメンバシップ値の前記状態を示す、方法。

【請求項8】

前記複数のシード位置のうちの少なくとも１つについて、前記対応するピクセルについての前記第１のバイナリメンバシップ値の前記状態が第１の状態であるか第２の状態であるかを決定するステップが、前記第１の疎バイナリセグメンテーションマスクが前記ピクセルについてのピクセルメンバシップ値を含まないのを検出するステップを含む、請求項７に記載の画像分析の方法。

【請求項9】

前記分析結果が、前記第１の組織領域内の少なくとも１つの表現型の分布密度を含む、請求項７に記載の画像分析の方法。

【請求項10】

前記分析結果が、前記第１の組織領域内のバイオマーカーの位置間の距離の分布を含む、請求項７に記載の画像分析の方法。

【請求項11】

請求項７に記載の画像分析の方法において、当該方法が、更に、
前記画像中の第１のバイオマーカーの複数の位置を取得するステップと、
前記複数のシード位置を含む前記画像の少なくとも一部について第１の距離変換配列を計算するステップであって、前記第１の距離変換配列の各値が、前記複数のピクセルのうちのそれぞれのピクセルに対応し、かつ前記シード位置から前記第１のバイオマーカーの前記複数の位置のうちの最も近いものまでの距離を示す、第１の距離変換配列を計算する、ステップと、
前記複数のシード位置の各々について、かつ前記第１の距離変換配列からの情報に基づいて、
前記第１のバイオマーカーが前記シード位置で発現されるかどうかを検出するステップと、
前記シード位置に関連付けられた前記データ構造に対し、前記シード位置における前記第１のバイオマーカーの発現が検出されたかどうかの指標を格納するステップと、
を含み、
前記分析結果が、格納された前記指標に基づく、方法。

【請求項12】

前記複数のシード位置を取得するステップが、前記画像の第１のチャネル内の前記複数のシード位置を識別するステップを含み、
前記第１のバイオマーカーの前記複数の位置を取得するステップが、前記画像の第２のチャネル内の前記第１のバイオマーカーの前記複数の位置を識別するステップを含む、請求項１１に記載の画像分析の方法。

【請求項13】

前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の１つに対応し、かつ前記画像内の前記生物学的構造の表現の位置を示し、
前記第１のバイオマーカーの前記複数の位置の各々が、前記複数の生物学的構造のうちの別々の１つに対応し、かつ前記画像内の前記生物学的構造の表現の位置を示す、請求項１１に記載の画像分析の方法。

【請求項14】

前記複数のシード位置の各々が、前記複数の生物学的構造のうちの別々の１つに対応し、かつ前記画像内の前記生物学的構造の表現の位置を示し、
前記複数の生物学的構造の各々が細胞核である、請求項７に記載の画像分析の方法。

【請求項15】

１つまたは複数のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、請求項７～１４のいずれか一項に記載の画像分析の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を備える、システム。

【請求項16】

１つまたは複数のデータプロセッサに、請求項７～１４のいずれか一項に記載の画像分析の方法におけるステップを実行させるように構成されたプログラムを格納する、コンピュータ可読記憶媒体。

【請求項17】

請求項１に記載の画像分析の方法において、当該方法が更に、
前記画像についての第１のバイナリマスクを取得するステップと、
前記複数のシード位置の各々について、かつ前記第１のバイナリマスクからの情報に基づいて、前記シード位置に対応するピクセルのバイナリメンバシップ値の状態を、前記シード位置に関連付けられた前記データ構造に対して格納するステップと、
を含む、方法。

【請求項18】

少なくとも２つの表現型の共局在の検出が、前記複数のシード位置の少なくともいくつかの各々を参照して、バイオマーカーの少なくとも２つの特定の組み合わせの共発現を検出することを含む、請求項１に記載の画像分析の方法。

【請求項19】

前記組織切片が、染色剤によって染色されており、
前記第１のバイオマーカーが、前記染色剤に対する標的抗原である、請求項１に記載の画像分析の方法。

【請求項20】

前記複数のシード位置の各々について、前記シード位置に関連付けられた前記データ構造がビットマップデータ構造である、請求項１に記載の画像分析の方法。

【請求項21】

１つまたは複数のデータプロセッサと、
命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記１つまたは複数のデータプロセッサ上で実行されると、前記１つまたは複数のデータプロセッサに、請求項１～６および１７～２０のいずれか一項に記載の画像分析の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を備える、システム。

【請求項22】

１つまたは複数のデータプロセッサに請求項１～６および１７～２０のいずれか一項に記載の画像分析の方法におけるステップを実行させるように構成されたプログラムを格納する、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

分野
本開示は、デジタル病理学に関し、特に、医用画像分析のための最適化されたデータ処理のための技術に関する。

【背景技術】

【0002】

背景
デジタル病理学は、デジタル画像への標本スライド（例えば、組織病理学ガラススライドまたは細胞病理学ガラススライド）のスキャニングを伴う。デジタル画像内の組織および／または細胞は、その後、疾患の診断、治療に対する応答の評価、および疾患と戦うための薬剤の開発を含む様々な理由のために、デジタル病理（ＤＰ）画像分析によって検査され、および／または病理学者によって解釈され得る。例えば疾患によって引き起こされる組織変化の評価は、薄い組織切片を検査することによって行われ得る。組織試料がスライスされて一連の切片（各切片は、例えば４～５ミクロンの厚さを有する）を取得し得、各組織切片は、異なる染色またはマーカーによって染色されて、組織の異なる特徴を発現させ得る。各切片は、スライド上に載せられ、病理学者による検査のためのデジタル画像を作成するためにスキャンされ得る。病理学者は、画像分析アルゴリズムを使用して有意味な定量的測度を抽出することを可能にするために、スライド（例えば、腫瘍領域、壊死など）のデジタル画像を精査し、手動で注釈を付け得る。組織および／または細胞は、実質的に透明であるため、病理スライドの調製は、典型的には、（例えば、関連する特徴間のコントラストを増加させることによって）検査を容易にするために組織および／または細胞成分に選択的に結合する様々な染色アッセイ（例えば、免疫染色）を使用することを含む。

【0003】

染色アッセイの最も一般的な例の１つは、組織解剖情報を識別するのを助ける２つの染料を含む、ヘマトキシリン－エオシン（Ｈ＆Ｅ）染色アッセイである。ヘマトキシリンは、主に、概して青い色を用いて細胞核を染色し、その一方でエオシンは、主に、細胞質の概して淡紅色の染色剤として作用し、他の構造は、これらの色の異なる陰影、色相、および組み合わせを呈する。Ｈ＆Ｅ染色アッセイは、組織中のターゲット物質を、ターゲット物質の化学的性質、生物学的性質、または病理学的性質に基づいて識別するために使用され得る。染色アッセイの別の例は、生物組織中の抗原と特に結び付く抗体および他の化合物（または物質）の原理を活かすことによって、組織切片の細胞中の抗原（タンパク質）を選択的に識別するプロセスを伴う、免疫組織化学（ＩＨＣ）染色アッセイである。いくつかのアッセイでは、染料に対する標本中のターゲット抗原は、バイオマーカーと呼ばれ得る。その後に、生物組織中の抗原（例えば、腫瘍細胞を示すバイオマーカー）のためのステイニングを識別および定量化するために、デジタル病理学画像分析が、染色された組織および／または細胞のデジタル画像に対して実施され得る。

【0004】

組織標本の多重化スライドでは、異なる核および組織構造が、発色色素または蛍光色素のいずれかとすることができる特定のバイオマーカー特異的染色によって同時に染色される。各染色剤は、スペクトル形状および広がりに関して、明確なスペクトルシグネチャを有する。異なるバイオマーカーのスペクトルシグネチャは、ブロードまたはナロースペクトル帯域化のいずれかとすることができ、スペクトル的に重複し得る。色素のいくつかの組み合わせで染色された標本（例えば、腫瘍標本）を含むスライドは、マルチスペクトルイメージングシステムを使用して画像化される。得られた画像の各チャネルは、スペクトル帯域に対応する。したがって、イメージングシステムによって生成されたマルチスペクトル画像スタックは、いくつかの例では共局在化され得る、基礎となる成分バイオマーカー発現の混合物である。より最近では、量子ドットは、それらの強く安定した蛍光のために、目的のバイオマーカーの免疫蛍光染色に広く使用されている。

【発明の概要】

【0005】

概要
医用画像分析のための最適化されたデータ処理のための装置および方法が提供される。

【0006】

様々な態様によれば、各々が複数の生物学的構造のうちの別々の１つに対応する複数の画像位置を取得することと、画像中の第１のバイオマーカーの複数の位置を取得することと、複数のシード位置を含む画像の少なくとも一部の距離変換配列を計算することと、を含む、組織切片の画像を分析するための方法が提供される。本方法は、複数のシード位置の各々について、かつ第１の距離変換配列からの情報に基づいて、第１のバイオマーカーがシード位置で発現されたかどうかを検出することと、シード位置に関連付けられたデータ構造に、シード位置で第１のバイオマーカーの発現が検出されたかどうかの指標を記憶することと、を含み得る。本方法は、記憶された指標に基づいて、組織切片の少なくとも一部における少なくとも２つの表現型の共局在化を検出することを含み得る。

【0007】

様々な態様によれば、各々が複数の生物学的構造のうちの別々の１つに対応する複数の画像位置を取得することと、組織切片の第１の組織領域を含み、組織切片の第２の組織領域を除外する第１の疎バイナリセグメンテーションマスクを取得することと、を含む、組織切片の画像を分析するための別の方法が提供される。第１の疎バイナリセグメンテーションマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示し得る。複数のピクセルメンバシップ値の各々は、複数のピクセルのそれぞれのピクセルに対応し、ピクセルについての第１のバイナリメンバシップ値の状態を示し得、複数のマイクロタイルメンバシップ値の各々は、第１のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、マイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示し得る。本方法は、複数のシード位置の各々について、かつ第１の疎バイナリセグメンテーションマスクからの情報に基づいて、複数のピクセルの中の、シード位置に対応するピクセルについての第１のバイナリメンバシップ値の状態が第１の状態であるか第２の状態であるかを決定することと、シード位置に関連付けられたデータ構造に、ピクセルの第１のバイナリメンバシップ値の状態を記憶することと、を含み得る。本方法は、記憶された状態に基づいて、第１の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果を提供することを含み得る。

【0008】

様々な態様によれば、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するためのさらなる方法が提供される。いくつかの態様では、本方法は、複数の画像位置を取得することであって、画像位置の各々が複数の生物学的構造のうちの別々の１つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得する取得することと、画像についての第１のバイナリマスクを取得することであって、第１のバイナリマスクが、画像の前記複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示す、画像についての第１のバイナリマスクを取得することと、を含み得る。第１のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第１のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第１のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。

【0009】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。

【0010】

本方法は、画像についての第２のバイナリマスクを取得することであって、第２のバイナリマスクが、複数のピクセルの各々について、第２のバイナリメンバシップ値の対応する状態を示す、画像についての第２のバイナリマスクを取得することをさらに含み得る。第２のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第２のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第２のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第２のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第２のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。

【0011】

本方法は、画像の少なくとも一部について、距離変換配列を計算することをさらに含み得、距離変換配列の各値は、画像の異なるそれぞれのピクセルに対応し、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近い画像位置との間の距離を示す。

【0012】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得る。

【0013】

本方法は、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することをさらに含み得る。本方法は、記憶された値を大きさの順にソートすることをさらに含み得る。

【0014】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。そのような場合、本方法は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置のうちの最も近い位置との間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。

【0015】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、本方法は、内側領域の各々について、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。

【0016】

例えば上述したような方法の様々な態様のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネルを有する多重化免疫蛍光画像であってもよい。

【0017】

様々な態様によれば、非一時的コンピュータ可読媒体が提供される。いくつかの態様では、非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサに、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための動作であって、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の１つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第１のバイナリマスクを取得することであって、第１のバイナリマスクが、画像の複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示す、画像についての第１のバイナリマスクを取得することと、を含む、動作を実行させるための命令を含み得る。第１のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第１のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す。いくつかの態様では、本方法は、複数の画像位置の各々について、かつ第１のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。

【0018】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。

【0019】

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサに、画像についての第２のバイナリマスクを取得することであって、第２のバイナリマスクが、複数のピクセルの各々について、第２のバイナリメンバシップ値の対応する状態を示す、画像についての第２のバイナリマスクを取得することを含む動作を実行させるための命令をさらに含み得る。第２のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第２のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第２のバイナリメンバシップ値の状態を示す。いくつかの態様では、動作は、複数の画像位置の各々について、かつ第２のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第２のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。

【0020】

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサに、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す、距離変換配列を計算することを含む動作を実行させるための命令をさらに含み得る。

【0021】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得る。

【0022】

非一時的コンピュータ可読媒体は、１つまたは複数のプロセッサに、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することを含む動作を実行させるための命令をさらに含み得る。動作は、記憶された値を大きさの順にソートすることをさらに含み得る。

【0023】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。そのような場合、動作は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置のうちの最も近い位置との間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。

【0024】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、動作は、内側領域の各々について、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。

【0025】

例えば上述したような非一時的コンピュータ可読媒体の様々な態様のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネルを有する多重化免疫蛍光画像であってもよい。

【0026】

数多くの利益が、従来の技法を超えて様々な実施形態を介して達成される。例えば、様々な実施形態は、大きなＤＰ画像（例えば、ＭＰＸ画像）からデータを効果的に取得し、そのような画像中およびそのような画像間の統計的分析および計算を迅速に処理するために使用され得る方法およびシステムを提供する。いくつかの実施形態では、疎セグメンテーションマスクは、画像位置と対応する組織タイプとの迅速且つ正確な関連付けを可能にする。いくつかの実施形態では、２レベルタイルアーキテクチャは、マルチスレッド処理をサポートする。いくつかの実施形態では、ビットマップデータ構造は、迅速な（例えば、対話型）統計分析および／または空間分析のための関連データの圧縮をサポートする。いくつかの実施形態では、重複する画像領域にわたる距離変換計算は、距離および分布の効率的な計算をサポートする。これらおよび他の実施形態が、それの利点および特徴の多くとともに、以下のテキストおよび添付図と連携してより詳細に説明される。

【0027】

特許または出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を含む本特許または特許出願公開の写しは、請求に応じて、必要な手数料を支払うことにより、特許庁によって提供されることになる。

【0028】

様々な実施形態の態様および特徴は、添付の図面を参照して例を説明することによってより明らかになるであろう。

【図面の簡単な説明】

【0029】

【図1】多重化免疫蛍光（ＭＰＸ）画像の例を示している。

【図2A】ＭＰＸ画像の別の例を示している。

【図2B】図２ＡのＭＰＸ画像の一部を示している。

【図3A】本開示のいくつかの態様にかかる、計算タイルに分割された結果タイルの例を示している。

【図3B】タイルおよびタイルの内側領域が斜線で示されている図３Ａの例を示している。

【図4】本開示のいくつかの態様にかかる、画像の一部を結果タイルに分割するグリッドを示している。

【図5】本開示のいくつかの態様にかかる計算タイルの例を示している。

【図6A】本開示のいくつかの態様にかかるＭＰＸ画像の計算タイルの別の例を示している。

【図6B】図６Ａの計算タイルに対応する上皮腫瘍バイナリマスクの計算タイルを示している。

【図6C】図６Ａの計算タイルに対応する間質バイナリマスクの計算タイルを示している。

【図7A】本開示のいくつかの態様にかかる、結果タイル上に統合された上皮腫瘍バイナリマスクの例を示している。

【図7B】本開示のいくつかの態様にかかる、結果タイル上に統合された間質バイナリマスクの例を示している。

【図8】本開示のいくつかの態様にかかる、バイナリマスクの細胞およびマイクロタイルへの分割を示している。

【図9】本開示のいくつかの態様にかかる、図８のマイクロタイルの３つのクラスへの分類を示している。

【図10A】本開示のいくつかの態様にかかるビットマップデータ構造を示している。

【図10B】本開示のいくつかの態様にかかる複数の表現型のインデックス化を示している。

【図11A】ＭＰＸ画像の一部における異なる表現型の出現間の距離を示している。

【図11B】本開示のいくつかの態様にかかる、医用画像の位置間の距離を計算するための方法の例を示すフローチャートである。

【図12】本開示のいくつかの態様にかかる、医用画像の位置間の距離を計算するための方法の適用を示している。

【図13】本開示のいくつかの態様にかかる、医用画像の位置間の距離を計算するための方法の適用を示している。

【図14】本開示のいくつかの態様にかかる画像分析のための方法の例を示すフローチャートである。

【図15A】本開示のいくつかの態様にかかる画像分析のための方法の別の例を示すフローチャートである。

【図15B】本開示のいくつかの態様にかかる画像分析のための方法のさらなる例を示すフローチャートである。

【図16】本開示のいくつかの態様にかかる画像分析のための方法のさらなる例を示すフローチャートである。

【図17】本開示のいくつかの態様にかかる画像分析のための方法のさらなる例を示すフローチャートである。

【図18】いくつかの例示的な実装における使用に好適な例示的なコンピューティングデバイスを有する例示的なコンピューティング環境のブロック図である。

【図19】注釈付きＭＰＸ画像の例を示す図である。

【図20】本開示のいくつかの態様にかかるそのような画像から取得され得る対応する分析結果の例を示している。

【図21】本開示のいくつかの態様にかかるそのような画像から取得され得る対応する分析結果の例を示している。

【図22】他の注釈付きＭＰＸ画像の例を示している。

【図23】本開示のいくつかの態様にかかるそのような画像から取得され得る対応する分析結果の例を示している。

【図24】本開示のいくつかの態様にかかるそのような画像から取得され得る対応する分析結果の例を示している。

【発明を実施するための形態】

【0030】

詳細な説明
特定の実施形態が説明されているが、これらの実施形態は例としてのみ提示されており、保護の範囲を限定することを意図するものではない。本明細書に記載された装置、方法、およびシステムは、様々な他の形態で具現化され得る。さらにまた、保護の範囲から逸脱することなく、本明細書に記載の例示的な方法およびシステムの形態の様々な省略、置換、および変更を行ってもよい。

【0031】

Ｉ．概要
組織内（例えば、腫瘍組織内）の複数のバイオマーカーを特性評価し、組織内および組織間のそのようなバイオマーカーの存在およびレベルの不均一性を測定する能力は、様々な疾患状態を理解および特性評価するため、および／または患者の疾患状態に対して利用可能な標的治療薬を適切に選択するための重要な情報を提供し得る。重要なバイオマーカーの異なる分布を有する組織内の領域を識別し、測定する能力は、標的療法および併用療法の開発を知らせるための重要な情報を提供し得る。適切な併用療法の開発および選択もまた、再発の予防における重要な因子であり得る。

【0032】

組織切片の多重免疫蛍光（ＭＰＸ）画像は、（例えば、紫外線による）励起時に異なるそれぞれの波長の光を放射する２つ以上のフルオロフォアによって切片を染色することによって取得され得る。得られた画像の各チャネルは、標的フルオロフォアの所望の発光プロファイルを生成するように励起光を制御（例えば、適切な波長の励起レーザーを選択）し、不要なスペクトル成分を遮断するために発光をフィルタリングすることによって取得され得る。組織切片のＭＰＸ染色は、複数のバイオマーカーの同時検出および個々の細胞レベルでのそれらの同時発現を可能にする。図１は、対応する擬似カラー（例えば、桃色、青色、緑色）がＭＰＸ画像の異なるチャネルの各々に割り当てられた多重化免疫蛍光（ＭＰＸ）画像の擬似カラーバージョンの例を示している。この画像はまた、（赤色、白色、および黄色の閉曲線（カラー）によって、または画像の左、中央、および右上の３つの重なって描かれた閉曲線（グレースケール）によって示されるように）関心領域の３つの手動注釈を含む。病理医は、ＭＰＸ画像に手動で注釈を付けて、例えば、画像分析を使用して分析される組織の部分（例えば、腫瘍領域、壊死領域など）、および／または画像分析から除外する領域を識別し得る。

【0033】

ＭＰＸ画像の一次分析は、バイオマーカーおよび表現型の検出（例えば、バイオマーカーの特定の組み合わせの同時発現）、異なる組織クラス（例えば、上皮腫瘍（すなわち、腫瘍上皮）、間質（例えば、器官の結合組織、支持組織、または他の非機能性組織）など）への画像のセグメンテーション、および／または関連する可能性がある特徴の抽出（例えば、細胞の（例えば、細胞核の）位置など）を含み得る。そのような分析は、手動で実行されてもよいが、より典型的には、コンピュータビジョン、機械学習、および／または深層学習などの自動化プロセスを使用して実行される。図２Ａは、ＭＰＸ画像の別の例を示している。図２Ｂおよび図２Ｃは、図２ＡのＭＰＸ画像の一部を示し、計算された上皮腫瘍含有領域および除外領域は、ポリゴンのセットによって示され（図２Ｂでは、青色の輪郭（カラー）でマークされているか、または明るい中央領域（グレースケール）で示されている）、検出されたＰａｎＣＫ陽性（ＰａｎＣＫ＋）細胞は、（例えば、図２Ｃの中央領域内の）赤色ドット（カラー）または灰色ドット（グレースケール）によって示される。そのような計算されたポリゴンセグメンテーションは、典型的には、一次または二次メモリなどの記憶デバイスに行列配列として記憶される。

【0034】

ＭＰＸ画像の二次分析は、一次分析からの結果を使用して、次のレベルの情報、例えば、１つまたは複数のバイオマーカーの密度分布；バイオマーカー間の空間的関係；腫瘍、上皮腫瘍および／または間質における複数の表現型の共局在化；および／または他の統計および／またはメトリクスを取得し得る。そのような「読み出し分析」は、製薬会社が他のゲノム配列決定発見および／または分子的特徴と相関するために重要であり得、薬物開発のための患者の処置応答および／または予後を決定するのに役立ち得る。包括的な自動化された読み出し統計分析は、以下の１つまたは複数（場合によっては全て）を含み得る：関心領域（ＲＯＩ）（例えば、「腫瘍」）における異なる細胞表現型の密度；ＲＯＩにおける異なる表現型間の距離；様々な細胞表現型からＲＯＩ内の様々なバイオマーカー陽性領域までの距離；血管などのバイオマーカー陽性領域の記述統計／メトリクス；ＲＯＩ（例えば、免疫細胞、ＣＤ８）から特定の距離内の異なる細胞表現型の記述統計／メトリクス；ＲＯＩから特定の距離内の異なるバイオマーカー陽性領域（例えば、線維芽細胞活性化タンパク質陽性（ＦＡＰ＋）領域）の記述統計／メトリクス；異なるバイオマーカーの強度ベース（例えば、細胞ベースおよび／または領域ベース）のメトリクスの記述統計；腫瘍マーカーの有無によって表される、腫瘍の上皮および間質部分などの計算されたＲＯＩの計算および表現。

【0035】

ＭＰＸ画像は、通常、約６つのチャネルを有し、３２または６４以上のチャネルを有することさえある。さらに、ＭＰＸ画像の各チャネルのピクセル値は、（例えば、典型的なＲＧＢ画像の３つのチャネルの各々の解像度の８ビットと比較して）１６ビット以上の解像度を有し得る。ＭＰＸ全スライド画像（ＷＳＩ）のサイズは、幅１００，０００ピクセル×高さ１００，０００ピクセル程度であり得るため、ＭＰＸ画像の合計記憶サイズは、５または１０ギガバイト以上であり得る。

【0036】

そのような大きな画像を処理する際に、画像のマスクまでワークメモリに保持することは現実的ではない。図１に示すようなＭＰＸ画像の場合、スライド全体で検出された全ての上皮腫瘍および間質のセグメンテーション（例えば、図２Ｂに示すように）を示すピクセルレベルのマスクを保存することさえも非現実的であり得る。代わりに、セグメンテーションを記述するポリゴンのみを保存することが一般的である（例えば、将来の統計分析に使用するために）。そのような分析中、ポリゴンセグメンテーションのサブセット（例えば、現在分析されている画像のタイルまたは他の領域に対応するサブセット）のみが常にメモリに常駐することが一般的である。ピクセルレベルでのセグメンテーション情報への容易なアクセスの欠如などの要因は、大きな組織切片または複数の組織ブロックの自動読み出し分析が数時間（数日でさえ）かかることを引き起こし得る。したがって、大規模なＭＰＸ画像に関する統計分析レポートを生成するために現在必要な時間は、特に大規模な臨床試験のためのプロジェクト要件を満たさない場合がある。さらに、ポリゴンセグメンテーションのそのような断片化は、どの領域が除外され含まれるかを決定するためにセグメンテーションの異なる層を追跡することを困難にし、これは、これらの層のバイオマーカーの統計的計算の精度に影響を及ぼし得る。

【0037】

本明細書に開示される技術は、例えば、ＭＰＸデータを効果的にフェッチし、全スライド画像の分析を効率的に処理し、および／または対応する統計分析を実行するための効果的な読み出し分析システムを設計するために使用され得る。そのようなシステムは、特に大規模臨床試験のために、および／または製薬顧客のニーズを満たすために、大きなＭＰＸ画像からデータを効果的に取得し、そのような画像中および画像間の統計分析および計算を迅速に処理し得る。例えば、そのようなシステムは、ＭＰＸ画像における計算複雑性およびビッグデータ処理要件を満たすために最適化された効率的なデータ構造およびアーキテクチャ設計を含み得る。本明細書に記載の問題は、はるかに多数のチャネル（例えば、最大３２、さらには６４）を有し得る暗視野画像（例えば、ＭＰＸ画像）によって悪化することがあるが、これらの技術は、明視野画像（例えば、光学顕微鏡画像）を含む一般的なＤＰ画像（例えば、全スライド画像）の処理および分析にも適用され得る。

【0038】

ＩＩ．定義
本明細書で使用される場合、動作が何かに「基づく」場合、これは、動作が何かの少なくとも一部に少なくとも部分的に基づくことを意味する。

【0039】

本明細書で使用される場合、「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、および「約（ａｂｏｕｔ）」という用語は、当業者によって理解されるように、大部分が指定されるものであるが、必ずしも完全には指定されないもの（および完全に指定されるものを含む）として定義される。任意の開示された実施形態では、「実質的に」、「およそ」、または「約」という用語は、指定されたものの「［パーセンテージ］以内」で置き換えられてもよく、パーセンテージは、０．１、１、５、および１０％を含む。

【0040】

本明細書において使用される場合、「生物学的材料または構造」という用語は、（例えば、細胞核、細胞膜、細胞質、染色体、ＤＮＡ、細胞、細胞のクラスタなど）生きている構造の全部または一部を備える天然材料または構造を指す。

【0041】

ＩＩＩ．医用画像分析のための最適化された記憶および処理のための技術
典型的なＤＰ画像のサイズが大きいため、分析対象の画像を「タイル」と呼ばれる等しいサイズのより小さい（典型的には正方形の）部分に分割して画像分析を実行し、その後個別に処理することが望ましい場合がある。ＭＰＸ分析では、分析の異なる段階に異なるタイルサイズを使用することによって、さらに良好な性能が得られ得る。そのような一例では、２レベルタイルアーキテクチャは、大きなタイル（「結果タイル」とも呼ばれる）および小さなタイル（「コンピュータによるタイル」または「計算タイル」とも呼ばれる）を含む。そのような設計では、全スライド画像（またはその所望の領域）の大きなタイルへの分割が適用されて、画像データを（例えば、ディスクから）ワーキングメモリに効率的にフェッチし得る。次いで、各大きなタイルは、表現型／バイオマーカー検出および／または特徴抽出などの動作を含み得る一次分析中に使用するために（例えば、コンピュータビジョン／深層学習／機械学習アルゴリズムによって）より小さなタイルに分割され得る。最後に、大きなタイルが使用されて、より小さな「計算」タイル（例えば、領域マスク、表現型位置）を使用して計算された結果を統合し得る。

【0042】

そのような２レベル設計の潜在的な利点は、（例えば、より大きなタイルが読み取られているため）画像サーバとのトランザクションが少ないため、効率的なデータフェッチを含み得る。さらに、より小さいタイルは、通常、セグメンテーションおよび検出のための画像分析を実行する深層学習／機械学習／コンピュータビジョンアルゴリズムへの入力としてより適している。計算中により小さいタイルを使用することはまた、キャッシュなどのプロセッサ（例えば、ＣＰＵおよび／またはＧＰＵ）リソースの使用の改善を促進し得る。

【0043】

図３Ａおよび図３Ｂは、画像が結果タイルに分割され、さらに計算タイルに分割される２レベルタイルアーキテクチャの例を示している。図３Ａは、等しいサイズの計算タイルの重複する３×３の配列に分割される結果タイル３０４（外側の薄い正方形によって示される）の例を示している。各計算タイルのサイズは、例えば、１２８×１２８ピクセル、２５６×２５６ピクセル、または５１２×５１２ピクセル（これらに限定されない）であってもよく、各結果タイルのサイズは、（例えば、重複のサイズに応じて）各次元においておおよそ３倍大きい。サイズが５１２×５１２ピクセルの計算タイルの場合、各結果タイルのサイズは、約２Ｋ×２Ｋピクセルである。

【0044】

図３Ａおよび図３Ｂ中の細線によって示されているように、各結果タイルは、画像中のその隣接する結果タイルに重複し、各計算タイルは、結果タイル内のその隣接する結果タイルにも重複する。そのような重複は、（例えば、距離計算を参照して本明細書で説明されるように）異なるタイル間の境界条件の効果的な取り扱いを可能にする。少なくとも計算される最大距離（例えば、１００ミクロン、５００ミクロン）に等しくなるように重複を実装することが望ましい場合がある。

【0045】

各結果タイルは、画像中のいかなる他の結果タイルとも重複しない内側領域を含み、各計算タイルは、結果タイル内のいかなる他の計算タイルとも重複しない内側領域を含む。図３Ａにおいて、結果タイル３０４の内側領域は、外側の太い正方形で示されている。図３Ｂは、計算タイル３０８および別の計算タイルの内側領域３１２が陰影を付けられている図３Ａの例を示している。図４は、ＭＰＸ画像の一部を結果タイル（結果タイル４０４は赤色で示されている）に分割するグリッドの例を示し、図５は、ＭＰＸ画像の一部の計算タイル５０８（青色で陰影が付けられている）の例を示している。

【0046】

各結果タイルが対応するＣＰＵスレッドによってメモリに読み込まれ、次に結果タイル内の個々の計算タイルを処理するように、２レベルタイルアーキテクチャ（例えば、図３Ａおよび図３Ｂに示すように）が実装され得る。処理中、計算に関連する結果は、各個々の結果タイル内に記憶され、次いでバックエンドに蓄積され得る。そのようなアーキテクチャはまた、画像の異なる部分間またはプロセスの異なる段階間で同期を必要とせずに、各計算タイルの完全に独立した処理をサポートする。そのような計算の独立性は、複数または多数のプロセッサが並列に実行され、各プロセッサが画像の対応する部分を復号および処理するマルチスレッド実装を可能にする。

【0047】

上述したように、ポリゴンの形態で画像セグメンテーションを記述することは、処理の非効率性および／または不正確さをもたらす不完全な解決策であり得る。代わりに、セグメンテーションの各層（例えば、腫瘍マスク、上皮腫瘍マスク、間質マスク）に対応するバイナリマスク（「領域マスク」とも呼ばれる）を生成するように一次分析を構成することが望ましい場合がある。そのような手法は、タイルベースの画像分析プロセスによく適し得る。ピクセルレベルのセグメンテーションマスク（例えば、マスクの各ピクセルは、画像の対応するピクセルのメンバシップ状態を示す）の使用はまた、ランタイムでポリゴンからピクセルに変換する必要性を回避し得、および／またはタイル境界の不正確さを解決し得る。図６Ａは、ＭＰＸ画像の計算タイル６０８の例を示し、図６Ｂおよび図６Ｃは、図６Ａの画像計算タイル６０８のセグメンテーション分析によって生成された上皮腫瘍バイナリマスクおよび間質バイナリマスクの対応する計算タイル６１２および６１６をそれぞれ示している。図７Ａは、上皮腫瘍バイナリマスクの計算タイルが結果タイル７０４上に統合されている例を示し、図７Ｂは、（例えば、将来の読み出し分析に使用するために）間質バイナリマスクの計算タイルが結果タイル７０８上に統合されている例を示している。

【0048】

残念ながら、ポリゴンセグメンテーションの代わりにバイナリセグメンテーションマスクを使用することは、ストレージ要件を大幅に増加することがあり、および／または各画像タイルに対して複数のディスクアクセス動作を発生させることがある。バイナリマスクは、通常、単純な画像（すなわち、ピクセル当たり１バイト）として保存されるため、必要なディスクストレージの量は実質的に増加することがあり、そのようなマスクをワーキングメモリに維持するために必要なストレージの量は、全スライド画像の処理には法外な量になる可能性がある。タイルベースの分析プロセスは、必要に応じてマスクタイルをワーキングメモリにスワップすることを可能にし得るが、そのような手法はまた、分析を実行するために必要なディスクアクセスの数を増加させる。

【0049】

バイナリ計算領域マスク（例えば、上皮、間質および血管領域について）を表すために本明細書で説明されるような疎バイナリマスクを使用することは、演算が効率的に実装されることを可能にする。例えば、メモリ要件が大幅に削減され得ることが示されている（すなわち、ピクセル当たりのビットのほんの一部にすぎない）。

【0050】

図８および図９を参照して実証されるように、（例えば、マスクの各ピクセルは、画像の対応するピクセルのメンバシップ状態を示す）バイナリマスクを疎バイナリマスクに変換することは、（組織切片内の生物学的細胞と混同しないように）マスク画像を重複しない細胞の配列に分割することを含み得る。図８は、（白線のグリッドによって示されるように）重複しない細胞の配列に分割されるバイナリ計算領域マスクの一部を示している。各細胞（例えば、細胞８０４）は、マスク画像中で互いに完全に独立しており、ＷＳＩを並列に処理するための複数のスレッドの使用をサポートする。そのようなＷＳＩマスクの細胞への分割は、マスク画像全体に対して一度に、またはマスクの統合結果タイル（例えば、結果タイルの内側領域）などの区分的（例えば、タイル状）に実行され得る。一例では、各細胞のサイズは、５１２×５１２ピクセルであるが、他の細胞サイズ（例えば、２５６×２５６ピクセル、１０２４×１０２４ピクセル）も可能である。

【0051】

図８に示すように、マスク画像の各細胞は、重複しないマイクロタイル（「ｍｉｔｔｅｌ」とも呼ばれる）の配列にさらに分割される。一例では、各５１２×５１２ピクセルセルは、１６×１６個のマイクロタイルの配列に分割され、各マイクロタイルは、３２×３２ピクセルのサイズを有し、マイクロタイルと同じサイズであり、マイクロタイル内のピクセルに対応するピクセルを含む画像のブロックに対応する。他のマイクロタイルサイズ（例えば、１６×１６ピクセル、６４×６４ピクセル）も可能である。これらのマイクロタイルのサイズが比較的小さく、バイナリマスクの空間的コヒーレンシがあるため、細胞内のマイクロタイルの多くは、「白色」ピクセル（例えば、バイナリ値１）のみ、または「黒色」ピクセル（例えば、バイナリ値０）のみを含むが、いくつかのマイクロタイルは、黒色ピクセルおよび白色ピクセルの両方を含む。

【0052】

図９は、図８のマイクロタイルの３つのクラスへの分類を示している。第１のクラスでは、マイクロタイルの全てのピクセルが黒色（例えば、バイナリ値０）であり、第２のクラスでは、マイクロタイルの全てのピクセルが白色（例えば、バイナリ値１）である。したがって、これらのクラスのいずれかのマイクロタイルの全てのピクセルの値（すなわち、マイクロタイル内のピクセルに対応する画像の全てのピクセルのメンバシップ値）は、単一のバイナリ状態として表され得る。疎バイナリマスク表現の１つの実装例では、第１のクラスのマイクロタイルに対して値が記憶されず、第２のクラスの各マイクロタイルに対してヌルポインタ（または同様のフライ重み値）が記憶される。第３のクラスでは、マイクロタイルは、両方のバイナリ値（図９においてオレンジ色（カラー）またはグレー色（グレースケール）として示されている）のピクセルを含む。この場合、マイクロタイルの各ピクセルの値が記憶される（例えば、サイズが３２×３２ピクセルのマイクロタイルのための１０２４ビットの順序付きストリングとして）。疎バイナリマスク表現の１つの実装例では、プールアロケータが３２×３２ビット（１２８バイト）のメモリを割り当てるために使用され、マイクロタイルのビットマスクは、割り当てられたメモリに記憶される。

【0053】

本明細書に記載の疎バイナリマスク実装の適用は、メモリ要件の大幅な削減を可能にする。例えば、（例えば、「ナイーブな」実装ではピクセル当たり８ビットであるのに対して）実際のＭＰＸ ＷＳＩでは、ピクセル当たり約０．２ビットの典型的なメモリ要件が実際に測定されている。そのような削減は、複数のＷＳＩバイナリマスクのメモリ内記憶を可能にする。さらに、この手法はまた、例えば、画像解像度ピラミッドを作成するためのバイナリマスクの効率的なダウンサンプリングおよびアップサンプリングなどの様々な重要なバイナリマスク動作の効率的な実装を可能にする。１つまたは複数の疎バイナリセグメンテーションマスクの使用はまた、ポリゴンセグメンテーション（例えば、バイオマーカー間の距離または他の特徴の分布、共局在化分析）では実現不可能または実用的ではない統計処理を可能にし得る。

【0054】

ＭＰＸ画像の一次分析の結果は、そのような分析による複数のバイオマーカーの局在化を含み得、バイオマーカーおよび表現型の共局在化を検出するために使用され得る。大規模なＭＰＸデータセット間の共局在化の異なる組み合わせの全てを効果的に検出することは、効率的な読み出し分析を可能にするための重要な条件であり得る。

【0055】

ＭＰＸ画像の一次分析はまた、細胞核などの関連する画像位置の識別を含み得る。そのような画像位置を、（例えば、表現型識別のために）検出されたバイオマーカーの位置特定のための基準点として使用することが望ましい場合がある。図１０Ａは、論理ビット計算を使用して、特定の画像位置（「シード位置」とも呼ばれる）に対する表現型／バイオマーカー共局在化の異なる組み合わせの全てを記録するビットマップデータ構造の一例を示している。そのようなデータ構造を使用することは、計算および検出中のメモリ使用量を大幅に削減し得る。

【0056】

図１０Ａの例は、５つの異なるバイオマーカー（マーカー１からマーカー５として示される）の指標を含み、各バイオマーカーは、ビットマップ内の固有の対応する位置に関連付けられている。この例では、バイナリ値「１」は、位置（例えば、位置の所定の近傍内、位置に関連付けられた細胞または他の生物学的構造の境界内）におけるマーカーの発現が検出されたことを示し、バイナリ値「０」は、位置におけるマーカーの発現が検出されなかったことを示す。したがって、図１０Ｂに示すように、図１０Ａに示す特定の例は、最大３２個の異なる表現型（例えば、５つのバイオマーカーの各々の発現の固有の組み合わせ）の識別をサポートする。これらの３２個の表現型は、マーカーであるマーカー１からマーカー５に割り当てられたビットのストリングの１０進値にしたがって表現型０から表現型３１として図１０Ｂにインデックス化され、図１０Ａに示されるような特定のストリングは、表現型１０に対応する。このデータ構造は、ある位置における任意の数の異なるバイオマーカーの各々についての発現のそのような指標を含むように拡張され得ることが理解されよう。

【0057】

追加的または代替的に、そのようなビットマップデータ構造は、（例えば、本明細書に記載の対応するセグメンテーションによって示されるように）各々が別々の組織領域に対応するバイナリインジケータを含み得る。図１０Ａの例は、各々が別々のセグメンテーションマスク（例えば、本明細書で説明されるような疎バイナリマスク）に対応する３つの追加のバイナリインジケータを含む。この例では、これらに限定されるものではないが、３つのマスクは、間質マスク、上皮腫瘍マスク、および（例えば、血管）マスクであり、バイナリ値「１」は、（例えば、位置に対応するマスク値に基づいて、または位置の所定の近傍内、または位置に関連する細胞もしくは他の生物学的構造の境界内のピクセル位置に対応するマスク値の大部分に基づいて）マスクが対応する組織領域に含まれるものとして位置を識別することを示し、バイナリ値「０」は、マスクが対応する組織領域から除外されるものとして位置を識別することを示す。このデータ構造は、任意の数の異なる領域（例えば、間質、上皮腫瘍、腫瘍、「他の領域」）の各々についての位置に対し領域メンバシップのそのようなインジケータを含むように拡張され得ることが理解されよう。

【0058】

図１０Ａの特定の例では、特定の読み出し分析のためのこの位置に関連するＭＰＸデータからの全ての情報は、単一バイトに記憶される。全ての重要な情報を結合ビットパターンとして１つの（または潜在的に複数の）バイトに符号化し、その情報を画像の関連する位置（例えば、各細胞の中心）についてのみ記憶することによって、非常に効率的にクエリされることが可能なデータ表現が取得され得る。いくつかの実装では、ＭＰＸ画像の結果タイルの内側領域内の識別された関連位置の各々について、そのような情報が対応するプロセッサによってそのようなビットマップデータ構造において計算されて記録されると、画像タイルおよび任意の対応するセグメンテーションマスクタイルは、メモリから破棄され得る。

【0059】

特定の関心領域における（例えば、腫瘍および活性間質領域における）異なるバイオマーカー間の空間的関係を計算することが望ましい場合がある。そのような複雑な空間的関係の知識は、異なるバイオマーカー／表現型と領域エリア（例えば、血管、活動性間質、腫瘍など）との間の関係のより良い理解を可能にし得る。そのような計算の一例は、以下の動作を含み得る：（１）ＭＰＸ画像（またはその選択された部分）中の表現型Ａの各出現について、表現型Ｂの最も近い出現までの距離（例えば、ユークリッド距離）を見つけて記録する。（２）任意に、記録された距離のヒストグラムを計算する（例えば、１０ミクロン以下の距離の数、１０ミクロンよりも大きく２０ミクロン以下の距離の数、．．．、９０ミクロンよりも大きく１００ミクロン以下などの距離の数をカウントする）。（３）任意に、収集された距離の平均（例えば、平均）、収集された距離の標準偏差などの他の統計データを計算する。そのような計算は、ユークリッド距離の代わりに、またはユークリッド距離に加えて、１つまたは複数の他の距離尺度（例えば、ｃｉｔｙ－ブロックまたはＬ１距離）を使用してもよく、異なるサイズの（場合によっては等しくないサイズの）距離ビンを使用してもよく、および／または平均の代わりに、または平均に加えて、１つまたは複数の他の平均尺度（例えば、中央値、モード）を使用してもよいことが理解されよう。

【0060】

特定の関心領域における異なるバイオマーカー間の空間的関係の計算をサポートするために、１つの選択された表現型の各出現について、異なる選択された表現型の最も近い出現までの距離を効率的に計算するために使用され得る方法を提供することが望ましい場合がある。そのような方法は、任意のペアの局所表現型について、または任意のペアの組み合わせの局所表現型についてさえも、そのような計算をサポートすることが望ましい場合がある。追加的または代替的に、そのような方法は、他の因子（例えば、特定の組織領域内、例えば、上皮腫瘍または間質内での発生）による表現型選択の１つまたは複数のさらなる制限をサポートすることが望ましい場合がある。ビットマップデータ構造は、本明細書では図１０Ａおよび図１０Ｂを参照して説明され、所望の表現型選択と一致する画像位置の効率的な選択を支援するために使用され得ることに留意されたい。

【0061】

図１１Ａは、表現型Ａの出現Ａ１が１個であり、表現型Ｂの出現Ｂ１、Ｂ２、Ｂ３、Ｂ４が４個である画像部分の例を示している。これら２つの表現型の出現間の距離Ａ１－Ｂ１、Ａ１－Ｂ２、Ａ１－Ｂ３、Ａ１－Ｂ４のうち、最短距離は、距離Ａ１－Ｂ３である。

【0062】

図１１Ｂは、本開示のいくつかの態様にかかる、第１および第２の基準を満たす医用画像（例えば、ＭＰＸ画像）の位置間の距離を計算するための方法１１００の例を示すフローチャートである。図１１Ｂを参照すると、ブロック１１０４において、第１の基準を満たす画像位置に対応する空白タイル内のピクセルがマーキングされ、マーキングされたタイルを生成する。１つの非限定的な例では、マーキングされたタイルの全てのピクセルは、バイナリ値「１」を有するマーキングされたピクセルを除いて、バイナリ値「０」を有する。第１の基準は、例えば、第１の選択された表現型（または選択された表現型の第１の組み合わせ）であり得、場合によってはさらに特定の組織領域に限定され得る。一例では、空白タイルは、ＭＰＸ画像の結果タイルに対応する空白の結果タイルである（すなわち、空白タイルの各ピクセルは、ＭＰＸ画像の結果タイルの同じ位置にあるピクセルに対応する）。

【0063】

ブロック１１０８において、マーキングされたタイルについて距離変換配列が計算される。マーキングされたタイルの各ピクセルについて、距離変換配列は、マーキングされたタイル内のそのピクセルから最も近いマーキングされたピクセルまでの距離を示す対応する値を有する。ブロック１１１２において、第２の基準を満たす画像位置に対応する距離変換配列の値が選択されて記憶される。第２の基準は、例えば、第２の選択された表現型（または選択された表現型の第２の組み合わせ）であり得、場合によってはさらに特定の組織領域に限定され得る。このようにして、方法１１００のインスタンスは、関心のある各タイル（例えば、画像の各結果タイル、または画像の注釈内の各結果タイル）について（例えば、並行して）実行され得、各タイルについて選択された値は、将来の処理（例えば、本明細書に記載されるような大きさの順序でのソート、ヒストグラム計算、統計的分析など）のためにまとめて（例えば、共通のハッシュテーブルに）記憶される。ソートされたテーブルのそのような処理は、例えば、対応するヒストグラムを計算し、関連する空間的関係を報告するために異なるカスタム入力変数を使用することを含み得る。そのようなプロセス（例えば、方法１１００のタイルレベルのインスタンスを含む）は、必要に応じて頻繁に、画像の異なる注釈について、および／または画像の同じ注釈もしくは異なる注釈についての異なる選択された第１および第２の基準について（例えば、並行して）繰り返されてもよい。

【0064】

配列のエッジに近い距離変換配列の値は、信頼できない場合がある。そのような理由から、ブロック１１１２において、配列の任意のエッジから所定数の要素内にある値を無視することが望ましい場合がある。空白タイルがＭＰＸ画像の結果タイルに対応する空白の結果タイルである場合、例えば、結果タイルの内側領域に対応する距離変換配列の部分内からの値に選択を制限することが望ましい場合があり（すなわち、結果タイルの内側領域内のピクセルに対応する距離変換配列の値に選択を制限するために）、結果タイル間の重複を少なくとも記録される最大最近距離と同じ大きさになるように構成することも望ましい場合がある。

【0065】

図１２は、方法１１００の、第１のバイオマーカーと第２のバイオマーカーとの間の距離の計算、記録、および分類への適用を示している。この例では、第１の基準は、ＣＤ８バイオマーカーの発現であり、第２の基準は、ＰａｎＣＫバイオマーカーの発現である。図１２の左側の配列は、ＣＤ８マーカーに対応する位置が「１」（この例では、配列はそのような位置を１つのみ含む）で示されるマーキングされた結果タイル（例えば、ブロック１１０４において生成されるような）の一部を示している。図１１の右側の配列は、画像の各対応するピクセルからＣＤ８マーカーの位置までの距離を示す、得られた距離変換配列の対応する部分（例えば、ブロック１１０８において生成されるような）を示している。この例では、ＰａｎＣＫマーカーの位置もまた、これらの２つの配列内に示されている（すなわち、３つのＸによって）。これらの３つの位置に対応する距離変換配列の値は、画像のこの部分内のＰａｎＣＫマーカーの各出現について、ＣＤ８マーカーの最も近い出現までの距離を得るために選択されて記憶される（例えば、ブロック１１１２において）。この例では、これらの距離は、４．２４２６、６．０８２８、および７．０７１１ピクセルである。これらの値が（例えば、ハッシュテーブルに）記憶される前に、画像ピクセルサイズと物理的寸法との間の既知の対応関係にしたがって、これらの値を実際の距離（例えば、ミクロン単位）に変換することが望ましい場合がある。図１３は、ＣＤ８マーカーが複数の位置で生じる第１のバイオマーカーと第２のバイオマーカーとの間の距離を計算、記録、および分類するための方法１１００の同様の適用を示している。

【0066】

さらなるレベルの分析（「三次分析」）は、分析されたＭＰＸスライド内の任意の関心領域の統計分析を含み得る。例えば、ＭＰＸ画像の複雑なユーザ注釈に含まれる組織の細胞に関する所望の統計結果（例えば、方法１１００の例によって得られるような）の読み出しを提供することが望ましい場合があり、注釈は、通常、任意の形状およびサイズの手描きの包含領域と除外領域との組み合わせからなる。そのような結果を対話的に提供することがさらに望ましい場合がある（例えば、リアルタイムで）。

【0067】

任意の関心領域に関連する情報を取得するこのような動作は、「空間クエリ」と呼ばれることがある。（例えば、対話を可能にするために）そのような情報の迅速な収集を可能にするために、四分木などの階層データ構造を使用して空間クエリについてのサポートが実装され得る。そのような手法はまた、効率的な四分木トラバーサルおよびポリゴンクリッピングのためのアルゴリズムの使用を可能にする。追加的または代替的に、（例えば、効率的なクエリおよび取得のために２Ｄ画像空間を１Ｄ記憶空間にマッピングするヒルベルト曲線を使用する）効率的な圧縮を可能にする内部データ順序を使用して画像データおよび／または分析結果を記憶することが望ましい場合がある。

【0068】

図１４は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法１４００の例を示すフローチャートである。図１４を参照すると、ブロック１４０４において、複数の画像位置が取得される（例えば、画像の分析を介しておよび／またはストレージから）。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の１つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、ＷＳＩ（例えば、ＭＰＸ ＷＳＩ）またはそのような画像の一部（例えば、タイル）であってもよい。

【0069】

ブロック１４０８において、画像についての第１のバイナリマスクが取得される（例えば、画像の分析を介しておよび／またはストレージから）。第１のバイナリマスクは、画像の複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示す。第１のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第１のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す。

【0070】

ブロック１４１２において、複数の画像位置の各々について、かつ第１のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態が、画像位置に関連付けられたデータ構造に記憶される。いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。

【0071】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み得る。そのような場合、方法１４００は、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することをさらに含み得る。

【0072】

いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得、複数のタイルの各々は、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み得る。そのような場合、方法１４００は、内側領域の各々について、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含み得る。

【0073】

図１５Ａは、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法１４００の実装１５００の例を示すフローチャートである。図１５を参照すると、ブロック１５０４、１５０８、および１５１２は、本明細書で説明するように、それぞれブロック１４０４、１４０８、および１４１２の実装であり得る。ブロック１５１６において、画像の少なくとも一部について、距離変換配列が計算され、距離変換配列の各値は、画像の異なるそれぞれのピクセルに対応し、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す。いくつかの態様では、複数の画像位置の各々について、画像位置に関連付けられたデータ構造は、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み得る。

【0074】

図１５Ｂは、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法１５００の実装１５０２の例を示すフローチャートである。図１５を参照すると、ブロック１５０４、１５０８、１５１２、および１５１６は、本明細書で説明したとおりであり得る。ブロック１５２０において、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する距離変換配列の値が記憶され得る。いくつかの態様では、本方法は、記憶された値を大きさの順にソートすることをさらに含んでもよい。

【0075】

図１４、図１５Ａ、および図１５Ｂに示されている特定のブロックは、複数のピクセルを含み、本明細書に開示される実施形態にかかる複数の生物学的構造を示す組織切片の画像を分析するための特定の方法を提供することを理解されたい。そのような動作の他のシーケンスが、代替実施形態にしたがって実行されてもよい。例えば、そのような方法の代替実施形態は、上記で概説した動作を異なる順序で実行してもよい。さらに、図１４、図１５Ａ、および図１５Ｂに示される個々のブロックは、個々のブロックに適切であるように様々な順序で実行され得る複数のサブ動作を含み得る。さらにまた、特定の用途に応じて、追加の動作が追加または削除されてもよい。当業者は、多くの変形、変更、および代替を認識するであろう。例えば上述したようなこれらの方法の様々な態様または実装のいずれにおいても、複数の生物学的構造の各々は、細胞核であり得る。追加的または代替的に、画像は、複数のチャネル（例えば、３、４、５、６、７以上、３２、または６４）を有する多重化免疫蛍光（ＭＰＸ）画像であってもよい。

【0076】

方法１４００、１５００、および１５０２のいずれかは、画像の第２のバイナリマスクを取得することをさらに含み得、第２のバイナリマスクは、複数のピクセルの各々について、第２のバイナリメンバシップ値の対応する状態を示す。第２のバイナリマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み得、複数のピクセルメンバシップ値の各々は、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第２のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々は、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第２のバイナリメンバシップ値の状態を示す。いくつかの態様では、そのような方法は、複数の画像位置の各々について、かつ第２のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第２のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む。

【0077】

図１６は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法１６００の例を示すフローチャートである。図１６を参照すると、ブロック１６０４において、画像中の複数のシード位置が取得される（例えば、画像の分析を介しておよび／またはストレージから）。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の１つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、ＷＳＩ（例えば、ＭＰＸ ＷＳＩ）またはそのような画像の一部（例えば、タイル）であってもよい。

【0078】

ブロック１６０８において、画像中の第１のバイオマーカーの複数の位置が取得される。場合によっては、複数のシード位置は、画像の第１のチャネルから取得され、第１のバイオマーカーの複数の位置は、画像の第２のチャネルから取得される。

【0079】

ブロック１６１２において、複数のシード位置を含む画像の少なくとも一部の第１の距離変換配列が計算され、第１の距離変換配列の各値は、複数のピクセルのうちのそれぞれのピクセルに対応し、かつピクセルから第１のバイオマーカーの複数の位置のうちの最も近いものまでの距離を示す。

【0080】

ブロック１６１６において、複数のシード位置の各々について、かつ第１の距離変換配列からの情報に基づいて、第１のバイオマーカーがシード位置で発現されているかどうかが検出される。ブロック１６２０において、複数のシード位置の各々について、シード位置で第１のバイオマーカーの発現が検出されたかどうかの指標が、シード位置に関連付けられたデータ構造に記憶される。

【0081】

ブロック１６２４において、記憶された指標に基づいて、組織切片の少なくとも一部における少なくとも２つの表現型の共局在化を検出した結果を含む分析結果が提供される。場合によっては、少なくとも２つの表現型の共局在を検出することは、少なくとも２つの表現型の第１の表現型が、少なくとも２つの表現型の第２の表現型の所定の近傍内に生じることを検出することを含む。

【0082】

図１７は、本開示のいくつかの態様にかかる、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法１７００の例を示すフローチャートである。図１７を参照すると、ブロック１７０４において、画像中の複数のシード位置が取得される（例えば、画像の分析を介しておよび／またはストレージから）。場合によっては、画像位置の各々は、複数の生物学的構造のうちの別々の１つに対応し、画像内の生物学的構造の記載の位置を示す。画像は、ＷＳＩ（例えば、ＭＰＸ ＷＳＩ）またはそのような画像の一部（例えば、タイル）であってもよい。

【0083】

ブロック１７０８において、組織切片の第１の組織領域を含み、組織切片の第２の組織領域を除外する第１の疎バイナリセグメンテーションマスクが取得される。第１の疎バイナリセグメンテーションマスクは、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示す。複数のピクセルメンバシップ値の各々は、複数のピクセルのそれぞれのピクセルに対応し、ピクセルについての第１のバイナリメンバシップ値の状態を示す。複数のマイクロタイルメンバシップ値の各々は、第１のバイナリマスクの複数のマイクロタイルのそれぞれのマイクロタイルに対応し、マイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す。

【0084】

ブロック１７１２において、複数のシード位置の各々について、かつ第１の疎バイナリ分割マスクからの情報に基づいて、シード位置に対応する複数のピクセルのうちのピクセルについての第１のバイナリメンバシップ値の状態が第１の状態であるか第２の状態であるかが決定される。場合によっては、対応するピクセルについての第１のバイナリメンバシップ値の状態が第１の状態であるか第２の状態であるかを決定することは、第１の疎バイナリセグメンテーションマスクがピクセルについてのピクセルメンバシップ値を含まないことを検出することを含む。ブロック１７１６において、複数のシード位置の各々について、ピクセルの第１のバイナリメンバシップ値の状態は、シード位置に関連付けられたデータ構造に記憶される。

【0085】

ブロック１７２０において、記憶された状態に基づいて、第１の組織領域の細胞内のバイオマーカー間の距離または分布を計算した結果を含む分析結果が提供される。場合によっては、分析結果は、第１の組織領域内の少なくとも１つの表現型の分布密度を含む。場合によっては、分析結果は、第１の組織領域内のバイオマーカーの位置間の距離の分布を含む。

【0086】

方法１１００、１４００、１５００、１５０２、１６００、および１７００は、それぞれ、プロセッサ、コンピュータ、または他のプログラマブルデバイスに方法の動作を実行させるためのコンピュータ実行可能命令を含むプログラムを記憶した、非一時的コンピュータ可読媒体、例えば、限定されるものではないが、メモリまたは当業者に知られている他の非一時的コンピュータ可読媒体上で具現され得る。

【0087】

ＩＶ．自動画像分析のための例示的なシステム
図１８は、例えば、方法１１００、１４００、１５００、１５０２、１６００および／または１７００を実行する、いくつかの例示的な実装における使用に好適な例示的なコンピューティングデバイスを有する例示的なコンピューティング環境のブロック図である。コンピューティング環境１８００におけるコンピューティングデバイス１８０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ１８１０、メモリ１８１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ１８２０（例えば、磁気、光、ソリッドステートストレージおよび／または有機物）、ならびに／あるいはＩ／Ｏインターフェース１８２５を含み得、それらのうちのいずれかは、情報を通信するための通信機構すなわちバス１８３０上に結合されるか、またはコンピューティングデバイス１８０５中に組み込まれ得る。

【0088】

コンピューティングデバイス１８０５は、入力／ユーザインターフェース１８３５および出力デバイス／インターフェース１８４０に通信可能に結合され得る。入力／ユーザインターフェース１８３５および出力デバイス／インターフェース１８４０のいずれか一方または両方は、有線インターフェースまたは無線インターフェースであり得、着脱可能であり得る。入力／ユーザインターフェース１８３５は、入力を提供するために使用され得る、物理的なまたは仮想的な、任意のデバイス、構成要素、センサー、またはインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサー、光学リーダーなど）を含み得る。出力デバイス／インターフェース１８４０は、ディスプレイ、テレビジョン、モニタ、プリンタ、スピーカー、点字などを含み得る。いくつかの例示的な実装では、入力／ユーザインターフェース１８３５および出力デバイス／インターフェース１８４０は、コンピューティングデバイス１８０５と組み込まれるか、または物理的に結合され得る。他の例示的な実装では、他のコンピューティングデバイスが、コンピューティングデバイス１８０５のための入力／ユーザインターフェース１８３５および出力デバイス／インターフェース１８４０として機能するか、またはその機能を提供し得る。

【0089】

コンピューティングデバイス１８０５は、外部記憶デバイス１８４５に、および同じまたは異なる構成の１つまたは複数のコンピューティングデバイスを含む、任意の数のネットワーク化された構成要素、デバイス、およびシステムと通信するためのネットワーク１８５０に（例えば、Ｉ／Ｏインターフェース１８２５を介して）通信可能に結合され得る。コンピューティングデバイス１８０５または接続されたコンピューティングデバイスは、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、または別のラベルとして機能しているか、そのサービスを提供しているか、またはそう呼ばれ得る。

【0090】

Ｉ／Ｏインターフェース１８２５は、限定されるものではないが、コンピューティング環境１８００中の少なくとも全ての接続された構成要素、デバイス、およびネットワークの間で情報を通信するための任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線インターフェースおよび／または無線インターフェースを含み得る。ネットワーク１８５０は、任意のネットワークまたはネットワークの組合せ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）であり得る。

【0091】

コンピューティングデバイス１８０５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能媒体またはコンピュータ可読媒体を使用し、および／あるいはその媒体を使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバー）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスクおよびテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、ならびに他の不揮発性ストレージまたはメモリを含む。

【0092】

コンピューティングデバイス１８０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実装するために使用され得る。コンピュータ実行可能命令は、一時的媒体から取得され、非一時的媒体に記憶されてその非一時的媒体から取得され得る。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔなど）のうちの１つまたは複数に由来し得る。

【0093】

プロセッサ１８１０は、ネイティブまたは仮想環境において任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行し得る。論理ユニット１８６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット１８６５、入力ユニット１８７０、出力ユニット１８７５、境界マッピングユニット１８８０、制御点決定ユニット１８８５、変換計算および適用ユニット１８９０、ならびに異なるユニットが互いと、ＯＳと、および他のアプリケーション（図示せず）と通信するためのユニット間通信機構１８９５を含む１つまたは複数の適用例が展開され得る。例えば、バイナリマスク処理ユニット１８８０、画像位置処理ユニット１８８５、およびデータ構造処理ユニット１８９０は、図１４、図１５Ａ、および／または図１５Ｂに説明されたおよび／または示された１つまたは複数のプロセスを実装し得る。説明されるユニットおよび要素は、その設計、機能、構成、または実装を変えることができ、提供される説明に限定されない。

【0094】

いくつかの例示的な実装では、情報または実行命令がＡＰＩユニット１８６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット１８６０、入力ユニット１８７０、出力ユニット１８７５、バイナリマスク処理ユニット１８８０、画像位置処理ユニット１８８５、およびデータ構造処理ユニット１８９０）に通信され得る。例えば、入力ユニット１８７０がユーザ入力を検出した後、ＡＰＩユニット１８６５を使用して、ユーザ入力をバイナリマスク処理ユニット１８８０に通信して、第１のバイナリマスクを取得し得る。バイナリマスク処理ユニット１８８０は、ＡＰＩユニット１８６５を介して、画像位置処理ユニット１８８５と対話して、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を決定し得る。ＡＰＩユニット１８６５を使用して、画像位置処理ユニット１８８５は、データ構造処理ユニット１８９０と対話して、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶し得る。展開され得るアプリケーションのさらなる例示的な実装は、（例えば、図１１Ｂを参照して）本明細書に記載された距離変換配列を計算するための距離変換配列計算ユニットを含み得る。

【0095】

場合によっては、論理ユニット１８６０は、ユニット間の情報フローを制御し、上述したいくつかの例示的な実装におけるＡＰＩユニット１８６５、入力ユニット１８７０、出力ユニット１８７５、バイナリマスク処理ユニット１８８０、画像位置処理ユニット１８８５、およびデータ構造処理ユニット１８９０によって提供されるサービスを指示するように構成されてもよい。例えば、１つまたは複数のプロセスまたは実装のフローは、論理ユニット１８６０のみによって、またはＡＰＩユニット１８６５と連携して制御され得る。

【0096】

１つまたは複数の実施形態について、前述の図のうちの１つまたは複数に記載された構成要素のうちの少なくとも１つは、以下の実施例および以下に提示される特許請求の範囲に記載された１つまたは複数の動作、技術、プロセス、または方法を実行するように構成され得る。

【実施例】

【0097】

Ｖ．実施例
以下のセクションでは、さらなる例示的な実施形態が提供される。

【0098】

実施例１は、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法であって、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の１つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第１のバイナリマスクを取得することであって、第１のバイナリマスクが、画像の複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示し、第１のバイナリマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルメンバシップ値の各々が、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第１のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々が、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す、画像についての第１のバイナリマスクを取得することと、を含み、方法が、複数の画像位置の各々について、かつ第１のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む、方法を含む。

【0099】

実施例２は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含む、実施例１または本明細書におけるいくつかの他の実施例に記載の方法を含む。

【0100】

実施例３は、方法が、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近い画像位置との間の距離を示す、距離変換配列を計算することをさらに含む、実施例２または本明細書における他の実施例に記載の方法を含む。

【0101】

実施例４は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含む、実施例３または本明細書におけるいくつかの他の実施例に記載の方法を含む。

【0102】

実施例５は、方法が、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することをさらに含む、実施例４または本明細書における他の実施例に記載の方法を含む。

【0103】

実施例６は、方法が、記憶された値を大きさの順にソートすることをさらに含む、実施例５または本明細書におけるいくつかの他の実施例に記載の方法を含む。

【0104】

実施例７は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み、方法が、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することをさらに含む、実施例１または本明細書におけるいくつかの他の実施例に記載の方法を含む。

【0105】

実施例８は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み、複数のタイルの各々が、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み、方法が、内側領域の各々について、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することをさらに含む、実施例７または本明細書におけるいくつかの他の実施例に記載の方法を含む。

【0106】

実施例９は、複数の生物学的構造の各々が細胞核である、実施例１～８または本明細書におけるいくつかの他の実施例のいずれかに記載の方法を含む。

【0107】

実施例１０は、画像が、複数のチャネルを有する多重化免疫蛍光画像である、実施例１～８または本明細書におけるいくつかの他の実施例のいずれかに記載の方法を含む。

【0108】

実施例１１は、１つまたは複数のデータプロセッサと、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、実施例１から１０のまたは本明細書の他の実施例のいずれかに記載の動作を実行させる、非一時的コンピュータ可読記憶媒体と、を備える、システムを含む。

【0109】

実施例１２は、複数のピクセルを含み、複数の生物学的構造を示す組織切片の画像を分析するための方法を、１つ以上のプロセッサに実行させるための命令を記憶した非一時的コンピュータ可読媒体であって、プロセッサ実行可能命令が、複数の画像位置を取得することであって、画像位置の各々が、複数の生物学的構造のうちの別々の１つに対応し、かつ画像内の生物学的構造の記載の位置を示す、複数の画像位置を取得することと、画像についての第１のバイナリマスクを取得することであって、第１のバイナリマスクが、画像の複数のピクセルの各々について、第１のバイナリメンバシップ値の対応する状態を示し、第１のバイナリマスクが、複数のピクセルメンバシップ値および複数のマイクロタイルメンバシップ値を含み、複数のピクセルメンバシップ値の各々が、複数のピクセルのうちの別々の１つに対応し、かつピクセルについての第１のバイナリメンバシップ値の状態を示し、複数のマイクロタイルメンバシップ値の各々が、複数のマイクロタイルのうちの別々の１つに対応し、かつマイクロタイルに対応する画像のブロック内の全てのピクセルについての第１のバイナリメンバシップ値の状態を示す、画像についての第１のバイナリマスクを取得することと、を含む動作を実行するための命令を含み、動作が、複数の画像位置の各々について、かつ第１のバイナリマスクからの情報に基づいて、画像位置に対応するピクセルの第１のバイナリメンバシップ値の状態を、画像位置に関連付けられたデータ構造に記憶することをさらに含む、非一時的コンピュータ可読媒体を含む。

【0110】

実施例１３は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含む、実施例１２または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0111】

実施例１４は、画像の少なくとも一部について、距離変換配列を計算することであって、距離変換配列の各値が、画像の異なるそれぞれのピクセルに対応し、かつピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す、距離変換配列を計算することを含む動作を実行するための命令をさらに含む、実施例１３または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0112】

実施例１５は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含む、実施例１４または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0113】

実施例１６は、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する距離変換配列の値を記憶することを含む動作を実行するための命令をさらに含む、実施例１５または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0114】

実施例１７は、記憶された値を大きさの順にソートすることを含む動作を実行するための命令をさらに含む、実施例１６または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0115】

実施例１８は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第１のバイオマーカーの陽性状態を示す第１のバイナリマーカー値を含み、媒体が、画像の複数の重複するタイルの各々について、タイルの各ピクセルについて、ピクセルと、第１のバイナリマーカー値が第１の陽性状態を示す複数の画像位置の中で最も近いものとの間の距離を示す対応する値を含む距離変換配列を計算することを含む動作を実行するための命令をさらに含む、実施例１２または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0116】

実施例１９は、複数の画像位置の各々について、画像位置に関連付けられたデータ構造が、対応する生物学的構造における第２のバイオマーカーの陽性状態を示す第２のバイナリマーカー値を含み、複数のタイルの各々が、複数のタイルのうちの任意の他のタイルの内側領域と重複しない内側領域を含み、媒体が、内側領域の各々について、第２のバイナリマーカー値が第１の陽性状態を示す画像位置に対応する対応するタイルの距離変換配列の値を記憶することを含む動作を実行するための命令をさらに含む、実施例１８または本明細書におけるいくつかの他の実施例に記載の非一時的コンピュータ可読媒体を含む。

【0117】

実施例２０は、複数の生物学的構造の各々が細胞核である、実施例１２～１９または本明細書の他のいくつかの実施例のいずれかに記載の非一時的コンピュータ可読媒体を含む。

【0118】

ＶＩ．さらなる考察
図１９は、小さな複数組織生検の注釈付きＭＰＸ画像の例を示し、図２０および図２１は、本明細書に記載の方法１１００、１３００、１４００、および／または１４０２の実装を使用してそのような画像から取得され得る面積、密度分布、および距離分布の結果の例を示している。既存のフレームワークを使用して、図２０および図２１に示すように、腫瘍、上皮腫瘍および間質における１３２，７６６個の４’，６－ジアミジノ－２－フェニルインドール（ＤＡＰＩ）染色核細胞の密度分布および空間的関係を報告するのに２．２４秒かかった（ＤＡＰＩ細胞の面積および密度分布；ＤＡＰＩ核と腫瘍、間質および上皮腫瘍領域との間の空間的関係；それぞれ）。

【0119】

図２２は、大きな組織切片の注釈付きＭＰＸ画像の例を示し、図２３および図２４は、本明細書に記載の方法１１００、１３００、１４００、および／または１４０２の実装を使用してそのような画像から取得され得る面積、密度分布、および距離分布の結果の例を示している。本明細書に開示される技術を使用すると、図２３および図２４に示すように、６３０，２７６個のＤＡＰＩ核細胞の密度分布および空間特性を報告するのに１．１３秒しかかからなかった（ＤＡＰＩ細胞の面積および密度分布；ＤＡＰＩ核と腫瘍、間質および上皮腫瘍領域との間の空間的関係；それぞれ）一方で、既存のフレームワークは、２３１．４９秒を要した（例えば、本明細書に開示される技術は、既存のフレームワークよりも２０５倍速い結果を提供した）。

【0120】

本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサを含むシステムを含む。いくつかの実施形態では、システムは、命令を含む非一時的コンピュータ可読記憶媒体であって、該命令が、１つまたは複数のデータプロセッサ上で実行されると、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させる、非一時的コンピュータ可読記憶媒体を含む。本開示のいくつかの実施形態は、１つまたは複数のデータプロセッサに、本明細書に開示された１つまたは複数の方法の一部または全部および／または１つまたは複数のプロセスの一部または全部を実行させるように構成された命令を含む非一時的機械可読記憶媒体において有形に具現化された、コンピュータプログラム製品を含む。

【0121】

使用された用語および表現は、限定ではなく説明の用語として使用され、そのような用語および表現の使用において、示されて説明された特徴のいかなる均等物またはその一部も除外する意図はないが、特許請求の範囲に記載された発明の範囲内で様々な変更が可能であることが認識される。したがって、特許請求の範囲に記載された本発明は、実施形態および任意の特徴によって具体的に開示されているが、本明細書に開示された概念の変更および変形は、当業者によってあてにされてもよく、そのような変更および変形は、添付の特許請求の範囲によって定義される本発明の範囲内にあると見なされることを理解されたい。

【0122】

上記説明は、好ましい例示的な実施形態のみを提供し、本開示の範囲、適用可能性または構成を限定することを意図しない。むしろ、好ましい例示的な実施形態の上記説明は、様々な実施形態を実施するための有効な説明を当業者に提供する。添付の特許請求の範囲に記載の趣旨および範囲から逸脱することなく、要素の機能および配置に様々な変更が加えられ得ることが理解される。

【0123】

実施形態の完全な理解を提供するために、以下の説明において具体的な詳細が与えられる。しかしながら、これらの具体的な詳細なしで実施形態が実施され得ることが理解されよう。例えば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不必要に詳細に不明瞭にしないために、ブロック図形式の構成要素として示されてもよい。他の例では、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技術が不必要な詳細なしに示されてもよい。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図8】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】