特表 2023-523003 ３次元生体サンプルのＺスタック画像のセットの画像処理およびセグメント化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-06-01

(54)【発明の名称】３次元生体サンプルのＺスタック画像のセットの画像処理およびセグメント化

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230525BHJP

   G06T 7/00 20170101ALI20230525BHJP

   G06T 7/55 20170101ALI20230525BHJP

   G01N 21/17 20060101ALI20230525BHJP

   G02B 21/36 20060101ALN20230525BHJP

【ＦＩ】

G06T1/00 500A

G06T1/00 295

G06T7/00 630

G06T7/55

G01N21/17 620

G02B21/36

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022564422

(86)(22)【出願日】2021-01-27

(85)【翻訳文提出日】2022-10-21

(86)【国際出願番号】 US2021015308

(87)【国際公開番号】W WO2021216158

(87)【国際公開日】2021-10-28

(31)【優先権主張番号】16/854,710

(32)【優先日】2020-04-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

(71)【出願人】

【識別番号】520431409

【氏名又は名称】ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ティモシー・ジャクソン

(72)【発明者】

【氏名】ネヴィン・ホルツ

【テーマコード（参考）】

2G059

2H052

5B057

5L096

【Ｆターム（参考）】

2G059AA05

2G059BB12

2G059CC16

2G059DD13

2G059DD17

2G059EE01

2G059EE02

2G059FF02

2G059GG01

2G059KK04

2G059LL01

2G059MM01

2H052AA08

2H052AA09

2H052AC07

2H052AC34

2H052AD09

2H052AE13

2H052AF14

2H052AF25

5B057AA10

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB13

5B057CB16

5B057CE06

5B057DA17

5B057DB02

5B057DB09

5B057DC30

5L096AA09

5L096BA06

5L096BA13

5L096CA06

5L096FA01

5L096FA33

5L096FA66

5L096MA07

(57)【要約】

画像の3次元内容物についての焦点が合った画像情報を提供することができるサンプルの単一の画像に、サンプルの制限された被写界深度画像の深度に及ぶスタックを投影する方法が提供される。これらの方法は、焦点を合わせて撮られた各画像内のピクセルを識別するために、画像のスタックにフィルタを適用するステップを含む。次いで、これらの焦点が合ったピクセルは、サンプルの単一の画像を提供するために組み合わされる。そのような画像スタックのフィルタ処理はまた、深度マップ、またはサンプルの内容物についての他の形状情報の決定を可能にすることができる。そのような深度情報はまた、たとえば、サンプルの内容物に対応する識別された領域をさらに分割することによって、複数の異なる深さにおいてサンプルの画像のセグメント化を通知するために使用され得る。

【特許請求の範囲】

【請求項1】

3次元サンプルの投影画像を生成するための方法であって、
前記サンプルの画像のセットを取得するステップであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ステップと、
前記サンプルの出力画像の各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用するステップであって、所与の深度値が前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ステップと、
前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する画像値を決定するステップとを含み、前記出力画像の特定のピクセルに対する画像値を決定するステップが、(i)前記特定のピクセルの前記深度値に対応する前記画像のセットのうちの1つの画像を識別するステップと、(ii)前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像のピクセルに基づいて前記特定のピクセルに対する前記画像値を決定するステップとを含む、方法。

【請求項2】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用するステップが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定するステップを含む、請求項1に記載の方法。

【請求項3】

前記深度値に基づいて前記サンプルに対する深度マップを生成するステップをさらに含む、請求項1または2に記載の方法。

【請求項4】

前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成するステップと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割することによって前記サンプルの第2のセグメント化マップを生成するステップとをさらに含む、請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割するステップが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択するステップと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別するステップと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割するステップとを含む、請求項4に記載の方法。

【請求項6】

前記決定された深度値を空間的に前処理するステップをさらに含み、前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定するステップが、前記出力画像の前記ピクセルの前記空間的に前処理された深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定するステップを含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

前記画像のセットは、前記サンプルの明視野画像のセットである、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記画像のセットは、前記サンプルの蛍光画像のセットである、請求項1から7のいずれか一項に記載の方法。

【請求項9】

前記サンプルは、少なくとも1つの3次元培養多細胞構造を含有する、請求項1から8のいずれか一項に記載の方法。

【請求項10】

前記少なくとも1つの3次元培養多細胞構造は、細胞外基質内に埋め込まれたオルガノイドまたは腫瘍スフェロイドのうちの少なくとも1つを含む、請求項9に記載の方法。

【請求項11】

前記少なくとも1つの3次元培養多細胞構造は、細胞外基質内に埋め込まれたオルガノイドを含み、前記細胞外基質は、細胞外基質のドームの形状を有する、請求項10に記載の方法。

【請求項12】

前記少なくとも1つの3次元培養多細胞構造は、肝細胞オルガノイド、膵臓細胞オルガノイド、または腸細胞オルガノイドのうちの少なくとも1つを含む、請求項10に記載の方法。

【請求項13】

前記出力画像の前記特定のピクセルに対する前記画像値を決定するステップが、(iii)前記特定のピクセルの前記深度値の近傍の中の深度値に対応する前記画像のセットのうちの2つ以上の追加の画像を識別するステップを付加的に含み、前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像の前記ピクセルに基づいて前記特定のピクセルに対する前記画像値を決定するステップが、前記識別された画像と、前記特定のピクセルに対応するそれらのそれぞれの識別された画像内にロケーションを有する前記2つ以上の追加の画像とのピクセルに対してピクセルごとの動作を実行するステップを含む、請求項1から12のいずれか一項に記載の方法。

【請求項14】

3次元サンプルの投影画像を生成するための方法であって、
前記サンプルの画像のセットを取得するステップであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ステップと、
深度マップの各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用するステップであって、前記深度値は前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ステップと、
前記深度マップの対応するピクセルの前記深度値に基づいて、出力画像の各ピクセルに対する画像値を決定するステップとを含む、方法。

【請求項15】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用するステップが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定するステップを含む、請求項14に記載の方法。

【請求項16】

前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成するステップと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成するステップとをさらに含む、請求項14または15に記載の方法。

【請求項17】

前記第1のセグメント化マップの少なくとも1つの領域をさらに分割するステップが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択するステップと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別するステップと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割するステップとを含む、請求項16に記載の方法。

【請求項18】

前記画像のセットは、前記サンプルの明視野画像のセットである、請求項14から17のいずれか一項に記載の方法。

【請求項19】

前記画像のセットは、前記サンプルの蛍光画像のセットである、請求項14から17のいずれか一項に記載の方法。

【請求項20】

前記サンプルが少なくとも1つのオルガノイドを含有する、請求項14から19のいずれか一項に記載の方法。

【請求項21】

サンプルの画像をセグメント化するための方法であって、
前記サンプルの画像を取得するステップと、
前記サンプルの内容物の深度マップを取得するステップと、
前記画像に基づいて前記サンプルの第1のセグメント化マップを生成するステップと、
前記深度マップに基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成するステップとを含む、方法。

【請求項22】

前記深度マップは複数の深度値を含み、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割するステップが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記深度値から選択するステップと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別するステップと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割するステップとを含む、請求項21に記載の方法。

【請求項23】

前記サンプルが少なくとも1つのオルガノイドを含有する、請求項21または22に記載の方法。

【請求項24】

動作を実行するために少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体であって、
前記サンプルの画像のセットを取得することであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ことと、
前記サンプルの出力画像の各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用することであって、所与の深度値が前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ことと、
前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する画像値を決定することとを含み、前記出力画像の特定のピクセルに対する画像値を決定することが、(i)前記特定のピクセルの前記深度値に対応する前記画像のセットのうちの1つの画像を識別することと、(ii)前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像のピクセルに基づいて前記特定のピクセルに対する前記画像値を決定することとを含む、非一時的コンピュータ可読媒体。

【請求項25】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用するステップが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定するステップを含む、請求項24に記載の非一時的コンピュータ可読媒体。

【請求項26】

前記動作は、前記深度値に基づいて前記サンプルに対する深度マップを生成することをさらに含む、請求項24または25に記載の非一時的コンピュータ可読媒体。

【請求項27】

前記動作が、
前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成するステップと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割することによって前記サンプルの第2のセグメント化マップを生成するステップとをさらに含む、請求項24から26のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項28】

前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとを含む、請求項27に記載の非一時的コンピュータ可読媒体。

【請求項29】

前記動作が、
前記決定された深度値を空間的に前処理することをさらに含み、前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定することが、前記出力画像の前記ピクセルの前記空間的に前処理された深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定することをさらに含む、請求項24から28のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項30】

前記出力画像の前記特定のピクセルに対する前記画像値を決定することが、(iii)前記特定のピクセルの前記深度値の近傍の中の深度値に対応する前記画像のセットのうちの2つ以上の追加の画像を識別することを付加的に含み、前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像の前記ピクセルに基づいて前記特定のピクセルに対する前記画像値を決定することが、前記識別された画像と、前記特定のピクセルに対応するそれらのそれぞれの識別された画像内にロケーションを有する前記2つ以上の追加の画像とのピクセル上でピクセルごとの動作を実行することを含む、請求項24から29のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項31】

動作を実行するために少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体であって、
前記サンプルの画像のセットを取得することであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ことと、
深度マップの各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用することであって、所与の深度値が、前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ことと、
前記深度マップの対応するピクセルの前記深度値に基づいて、出力画像の各ピクセルに対する画像値を決定することとを含む、非一時的コンピュータ可読媒体。

【請求項32】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用することが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定することを含む、請求項31に記載の非一時的コンピュータ可読媒体。

【請求項33】

前記動作が、
前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成することと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成することとをさらに含む、請求項31または32に記載の非一時的コンピュータ可読媒体。

【請求項34】

前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとをさらに含む、請求項33に記載の非一時的コンピュータ可読媒体。

【請求項35】

動作を実行するために少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体であって、
サンプルの画像を取得することと、
前記サンプルの内容物の深度マップを取得することと、
前記画像に基づいて前記サンプルの第1のセグメント化マップを生成することと、
前記深度マップに基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成することとを含む、非一時的コンピュータ可読媒体。

【請求項36】

前記深度マップは複数の深度値を含み、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとを含む、請求項35に記載の非一時的コンピュータ可読媒体。

【請求項37】

1つまたは複数のプロセッサと、
動作を実行するために前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体とを含み、前記非一時的コンピュータ可読媒体は、
前記サンプルの画像のセットを取得することであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ことと、
前記サンプルの出力画像の各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用することであって、所与の深度値が前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ことと、
前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する画像値を決定することとを含み、前記出力画像の特定のピクセルに対する画像値を決定することが、(i)前記特定のピクセルの前記深度値に対応する前記画像のセットのうちの1つの画像を識別することと、(ii)前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像のピクセルに基づいて前記特定のピクセルに対する前記画像値を決定することとを含む、システム。

【請求項38】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用することが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定することを含む、請求項37に記載のシステム。

【請求項39】

前記動作は、前記深度値に基づいて前記サンプルに対する深度マップを生成することをさらに含む、請求項37または38に記載のシステム。

【請求項40】

前記動作は、
前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成することと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割することによって前記サンプルの第2のセグメント化マップを生成することとをさらに含む、請求項37から39のいずれか一項に記載のシステム。

【請求項41】

前記第1のセグメント化マップの少なくとも1つのセグメントをさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとを含む、請求項40に記載のシステム。

【請求項42】

前記動作は、
前記決定された深度値を空間的に前処理することをさらに含み、前記出力画像の前記ピクセルの前記深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定することが、前記出力画像の前記ピクセルの前記空間的に前処理された深度値に基づいて前記出力画像の各ピクセルに対する前記画像値を決定することを含む、請求項37から41のいずれか一項に記載のシステム。

【請求項43】

前記出力画像の前記特定のピクセルに対する前記画像値を決定することが、(iii)前記特定のピクセルの前記深度値の近傍の中の深度値に対応する前記画像のセットのうちの2つ以上の追加の画像を識別することを付加的に含み、前記特定のピクセルに対応する前記識別された画像内にロケーションを有する、前記識別された画像の前記ピクセルに基づいて前記特定のピクセルに対する前記画像値を決定することが、前記識別された画像と、前記特定のピクセルに対応するそれらのそれぞれの識別された画像内にロケーションを有する前記2つ以上の追加の画像とのピクセル上でピクセルごとの動作を実行することを含む、請求項37から42のいずれか一項に記載のシステム。

【請求項44】

1つまたは複数のプロセッサと、
動作を実行するために前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体とを含み、前記非一時的コンピュータ可読媒体は、
前記サンプルの画像のセットを取得することであって、前記画像のセットの各画像が、前記サンプル内のそれぞれの焦点面に対応する、ことと、
深度マップの各ピクセルに対するそれぞれの深度値を決定するために前記画像のセットの各画像にフィルタを適用することであって、所与の深度値が、前記サンプル内の深さを表し、その深さにおいて、前記サンプルの内容物が焦点を合わせて撮像され得る、ことと、
前記深度マップの対応するピクセルの前記深度値に基づいて、出力画像の各ピクセルに対する画像値を決定することとを含む、システム。

【請求項45】

前記フィルタはテクスチャフィルタであり、前記画像のセットのうちの特定の画像に前記フィルタを適用することが、前記特定の画像の特定のピクセルに対して、前記特定のピクセルの近傍にある前記特定の画像のピクセルの標準偏差、エントロピー、または数値範囲のうちの少なくとも1つを決定することを含む、請求項44に記載のシステム。

【請求項46】

前記動作は、
前記出力画像に基づいて前記サンプルの第1のセグメント化マップを生成することと、
前記決定された深度値に基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成することとをさらに含む、請求項44または45に記載のシステム。

【請求項47】

前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記決定された深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとを含む、請求項46に記載のシステム。

【請求項48】

1つまたは複数のプロセッサと、
動作を実行するために前記1つまたは複数のプロセッサのうちの少なくとも1つのプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読媒体とを含み、前記非一時的コンピュータ可読媒体は、
サンプルの画像を取得することと、
前記サンプルの内容物の深度マップを取得することと、
前記画像に基づいて前記サンプルの第1のセグメント化マップを生成することと、
前記深度マップに基づいて、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって前記サンプルの第2のセグメント化マップを生成することとを含む、システム。

【請求項49】

前記深度マップは複数の深度値を含み、前記第1のセグメント化マップの少なくとも1つの領域をさらに分割することが、
前記第1のセグメント化マップの特定の領域に対応する深度値のセットを、前記深度値から選択することと、
前記選択された深度値のセット内の少なくとも2つのクラスタを識別することと、
前記識別された少なくとも2つのクラスタに基づいて前記特定の領域をさらに分割することとを含む、請求項48に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、３次元生体サンプルのＺスタック画像のセットの画像処理およびセグメント化に関する。

【背景技術】

【0002】

様々な生物学的実験は、大量のサンプルの分析を含み、それらの各々は、サンプルの測定または評価を介して生成されたいくつかのパラメータまたは他の情報と関連づけられ得る。そのようなサンプルは、細胞または他の生物学的内容物を含んでよく、各サンプルは、成長培地(たとえば、ホルモン、サイトカイン、薬剤、または他の成長培地内の物質)、ソース(たとえば、自然の組織から培養された、生検された、または場合によっては移植された)、インキュベーション条件(たとえば、温度、pH、光のレベルまたはスペクトル、イオン化放射)、または加えられた条件に対する細胞もしくは他の生物学的内容物の応答を観察するためのいくつかの他の管理条件に関して異なる。これは、たとえば、推定治療に対するサンプルの応答を評価するために、いくつかの生体内作用を解明するために、または興味のあるいくつかの他の疑問を調査するために行われ得る。

【0003】

そのようなサンプルを評価することは、顕微鏡、蛍光イメージャ、またはサンプルを微視的に撮像するための他の手段を使用することを含み得る。実際には、大きい被写界深度にわたってサンプルを撮像することは、サンプルを撮像するために使用される光学装置または他の装置の限界によって妨げられる場合がある。たとえば、サンプルを撮像するために使用される対物レンズもしくは他の要素は、焦点深度に関して制限される場合があり、サンプルを撮像するために使用されるデバイスの光軸に沿って撮像装置の焦点深度より大きい体積に及ぶサンプル全体を、焦点を合わせて同時に撮像することを困難にもしくは不可能にする。そのような「3次元」サンプルは、ガラススライドにわたって広げられたおよび/または撮像装置の被写界深度内に適合することができる体積に及ぶようなスライスに区分されたサンプルとは対照的に、興味のある様々な構造、たとえば、オルガノイド、腫瘍スフェロイド、または他の3次元多細胞性構造を含み得る。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の一態様は、3次元サンプルの投影画像を生成するための方法に関し、方法は、(i)サンプルの画像のセットを取得するステップであって、画像のセットの各画像はサンプル内のそれぞれの焦点面に対応する、ステップと、(ii)サンプルの出力画像の各ピクセルに対するそれぞれの深度値を決定するために画像のセットの各画像にフィルタを適用するステップであって、所与の深度値は、サンプルの内容物がその深さにおいて焦点を合わせて撮像され得る、サンプル内の深さを表す、ステップと、(iii)出力画像のピクセルの深度値に基づいて出力画像の各ピクセルに対する画像値を決定するステップとを含む。出力画像の特定のピクセルに対する画像値を決定するステップは、(1)特定のピクセルの深度値に対応する画像のセットのうちの1つの画像を識別するステップと、(2)特定のピクセルに対応する識別された画像内にロケーションを有する、識別された画像のピクセルに基づいて特定のピクセルに対する画像値を決定するステップとを含む。

【0005】

本開示の別の態様は、3次元サンプルの投影画像を生成するための方法に関し、方法は、(i)サンプルの画像のセットを取得するステップであって、画像のセットの各画像はサンプル内のそれぞれの焦点面に対応する、ステップと、(ii)深度マップの各ピクセルに対するそれぞれの深度値を決定するために画像のセットの各画像にフィルタを適用するステップであって、深度値は、サンプルの内容物がその深さにおいて焦点を合わせて撮像され得る、サンプル内の深度を表す、ステップと、(iii)深度マップの対応するピクセルの深度値に基づいて出力画像の各ピクセルに対する画像値を決定するステップとを含む。

【0006】

本開示のさらに別の態様は、サンプルの画像をセグメント化するための方法に関し、方法は、(i)サンプルの画像を取得するステップと、(ii)サンプルの内容物の深度マップを取得するステップと、(iii)画像に基づいてサンプルの第1のセグメント化マップを生成するステップと、(iv)深度マップに基づいて、第1のセグメント化マップの少なくとも1つの領域をさらに分割することによってサンプルの第2のセグメント化マップを生成するステップとを含む。

【0007】

本開示のさらに別の態様は、コンピューティングデバイスの1つまたは複数のプロセッサによって実行されるとき、本明細書で説明する方法のうちの1つまたは複数を遂行するコンピュータ動作をコンピューティングデバイスに実行させる、少なくともコンピュータ可読命令を記憶するように構成されたコンピュータ可読媒体に関する。そのようなコンピュータ可読媒体は、非一時的コンピュータ可読媒体であり得る。

【0008】

本開示のさらに別の態様は、(i)1つまたは複数のプロセッサと、(ii)1つまたは複数のプロセッサによって実行されるとき、本明細書で説明する方法のうちの1つまたは複数をシステムに実行させる、少なくともコンピュータ可読命令を記憶するように構成された非一時的コンピュータ可読媒体とを含むシステムに関する。

【0009】

これらのならびに他の態様、利点および代替形態は、必要に応じて添付の図面を参照しながら、以下の発明を実施するための形態を読めば、当業者には明らかとなろう。さらに、この要約部およびこの文書のどこかにおいて提供される説明は、限定としてではなく例として、特許請求される主題を示すことを意図されていることを理解されたい。

【図面の簡単な説明】

【0010】

【図1】撮像システムによって撮像されたサンプルの概略断面図である。

【図2A】サンプルの例示的画像のセットを示す図である。

【図2B】図2Aの例示的画像のセットに基づいて生成された投影画像を示す図である。

【図3A】サンプルの例示的投影画像および例示的深度マップを示す図である。

【図3B】図3Aの深度マップを生成するために使用されるサンプルの例示的画像のセットを示す図である。

【図3C】サンプルの深さの範囲にわたって決定された例示的なテクスチャ値のセットの図である。

【図4】サンプルの投影画像を生成するために使用されるサンプルの例示的画像のセットを示す図である。

【図5A】サンプルの例示的画像の図である。

【図5B】図5Aの画像によって表されるサンプルの例示的な第1のセグメント化マップの図である。

【図5C】例示的な深度マップに重ね合わされた図5Bの第1のセグメント化マップの特定のセグメントを示す図である。

【図5D】図5Bの第1のセグメント化マップから決定された例示的な第2のセグメント化マップの図である。

【図6】例示的なシステムの要素の斜視図である。

【図7】例示的なシステムの要素の概略図である。

【図8】例示的な方法のフローチャートである。

【図9】例示的な方法のフローチャートである。

【図10】例示的な方法のフローチャートである。

【発明を実施するための形態】

【0011】

方法およびシステムの例が本明細書で示される。「例示的な」、「例」、および「説明に役立つ」という語は、本明細書では、「例、実例、または説明の助けとなる」ことを意味するために使用されることを理解されたい。「例示的な」、「例」、および「説明に役立つ」として本明細書で説明される任意の実施形態または特徴は、必ずしも、他の実施形態または特徴を凌駕して望ましいまたは有利であるものと解釈されるべきであるとは限らない。さらに、本明細書で説明する例示的な実施形態は、制限することを意図するものではない。開示するシステムおよび方法のいくつかの態様が、多岐にわたる様々な構成において配列され組み合わされ得ることは容易に理解されよう。

【0012】

I. 例示的なサンプル撮像
サンプルを微視的に撮像することは、様々なアプリケーションにおいて有益であり得る。たとえば、サンプルは、培養されたヒト細胞(たとえば、がん細胞、正常細胞)を含むことができ、サンプルを撮像することは、サンプル内で除去する細胞における薬品の有効性(たとえば、除去するがん細胞における化学療法薬の有効性)を決定すること、物質の毒性(たとえば、非がん細胞に対する化学療法薬の毒性)を決定すること、またはサンプルの内容物についてのおよび/またはサンプルの内容物に及ぼす物質の影響についてのいくつかの他の情報を決定することを容易にすることができる。サンプルを撮像することは、明視野顕微鏡、蛍光顕微鏡、構造化照明、共焦点顕微鏡、またはサンプルの内容物についての画像データを生成するためのいくつかの他の撮像技法を使用すること含むことができる。

【0013】

明視野顕微鏡は、サンプルの内容物の「自然な」挙動を変えることがあり得る、色素、蛍光色素分子、または他のラベル(たとえば、ラベルを追加することによる、および/またはラベルを発現するためのサンプルの内容物のトランスフェクションによる)を追加することなく実行され得るという便益を有する(ラベルを追加することのない、そのような撮像は、「ラベルフリー」撮像と呼ばれることがある)。代替的に、蛍光色素または他のラベルは、特定の組織構造および/または生理学的プロセスの撮像を容易にするために追加され得る。たとえば、アネキシンV緑色蛍光色素ベース試薬が、サンプル内の細胞死についてのロケーション、速度、または他の情報を撮像するために追加され得る。別の例では、NucLight Redインジケータが、サンプル内の細胞増殖についての情報を撮像するために追加され得る。いくつかの例では、サンプル内の細胞は、蛍光タンパク質または興味のあるプロセスに関する他のラベルを発現するように遺伝子を組み換えられ得る。たとえば、患者由来神経の人工多能性幹細胞(iPSCs)は、推定アルツハイマーの治療の評価を容易にするために、Aβ_1-42-GFPを、またはアルツハイマー病に関連する何らかの他の蛍光標識タンパク質を発現するために遺伝子を組み換えられ得る。

【0014】

サンプルを撮像するために使用される撮像装置の多くの対物レンズまたは他の光学素子は、被写界深度に関して制約を受ける場合がある。すなわち、光学装置は、比較的小さい体積および/またはサンプルの実質的に平らな体積から受けた光を、焦点を合わせて撮像することに限定され得る。この体積の外から受けた光は、(撮像装置の電荷結合デバイスまたは他の受光素子によって)焦点の外で受光されることになる。この制約は、撮像装置のコストもしくは総合品質、撮像装置における色収差、軸収差、球面収差もしくは他の収差を低減することの要望、撮像装置の体積、サイズ、重量もしくは部品数を低減することの要望、その使用を小さい体積および/もしくは実質的に平らな体積を撮像することに限定することによってもしくは何らかの他の要因によって、何らかの方法で装置の性能を改善することの要望に関連する場合がある。撮像装置の被写界深度におけるそのような制約は、様々な方法で補償され得る。

【0015】

いくつかの例では、撮像されるべきサンプルは、本質的に小さい体積および/もしくは実質的に平らであり得るか、またはそのように修正され得る。しかしながら、興味のある多くのサンプルは、撮像デバイスの狭い被写界深度内に適合しない体積に及ぶ場合がある、および/または撮像デバイスの撮像平面に直角の方向に、撮像デバイスの狭い被写界深度を超えるサンプル内の距離にわたって複数の物体の分布、相互接続もしくは他の空間的情報についての有益な情報を含む場合がある個々の物体を含む。そのような「3次元」サンプルは、オルガノイド、腫瘍スフェロイド、または興味のあるいくつかの他の3次元多細胞性構造を含み得る。さらに、そのような構造は、撮像デバイスの狭い被写界深度内に適合しない体積に及ぶ培地(たとえば、細胞外培地のドームまたはその他の形状の体積)内で培養され得るか、または場合によっては、配列され得る。たとえば、サンプルは、マルチスフェロイドアッセイの一部であり得、腫瘍スフェロイド(または、いくつかの他の様々なスフェロイド)が、マトリゲルの体積内で層化されて埋め込まれる形式に配列される。

【0016】

オルガノイド(たとえば、膵臓細胞オルガノイド、肝臓細胞オルガノイド、腸細胞オルガノイド)および腫瘍スフェロイドは、それらの3次元構造が、培養されている細胞の「自然の」3次元環境をより密接に模倣するので、特に興味がある。それに応じて、薬品または他の加えられた実験条件に対するオルガノイド、腫瘍スフェロイド、または他のそのような3次元多細胞性構造の反応は、人体または興味のある何らかの他の環境内の対応するサンプルに対する応答をより密接に模倣する可能性がある。オルガノイドは、種々の可能性のある治療の範囲に対する特定の患者の応答を予測するために、患者自身の細胞から培養され得る。たとえば、iPSCsは、患者から抽出され、神経オルガノイド、乳がんオルガノイド、または可能性のある治療に対するそのような組織の応答の評価を容易にするために、興味のある何らかの他の健康なまたは不健康な(たとえば、がん性の)組織を近似するオルガノイドを培養するために使用され得る。

【0017】

そのようなサンプルの内容物を撮像するために、限定された被写界深度の撮像装置を使用するために、様々な技法が使用され得る。いくつかの例では、サンプルの一部または全部が、サンプルの撮像を容易にするために、顕微鏡スライドまたは他の平らな部材の上に拡散され得る。しかしながら、制限された被写界深度の撮像装置にサンプルを適合させるためのサンプル拡散方法または他のサンプル前処理方法は、興味のあるサンプルに適用できない場合があり、サンプルの破壊、サンプルについての情報の喪失もしくはひずみ(たとえば、ミクロトームとの相互作用、凍結、固着、サンプル容器から除去されること、拡散することなどに起因するサンプルのひずみ)、または他の不要な影響をもたらす場合があり、あるいは興味のあるサンプルに適用不可能である場合がある。さらに、そのようなサンプル前処理方法は、たとえば、薬品または他の実験条件の長期間にわたる影響を経時的に分析するために、複数の時点において同じサンプル(たとえば、培養されるオルガノイドまたは腫瘍スフェロイドの同じサンプル)を撮像する可能性をなくす。

【0018】

追加または代替として、より浅い被写界深度を有する撮像装置は、より深い被写界深度を有する撮像装置で置き換えられ得るが、そのような改善された撮像装置は、コストが高すぎる、インキュベータもしくは興味のある他の環境の中に収めるには大きすぎる、または何らかの他の検討事項に関して望ましくない可能性がある。

【0019】

制限された被写界深度の撮像装置の上記の制約は、本明細書で説明する方法を使用することによって完全にまたは部分的に軽減され得る。これらの方法をそのような制限された被写界深度の撮像装置の動作に適用することで、撮像装置の光軸に平行な方向において、サンプルに及ぶ体積に等しいかまたはそれを超える被写界深度を有する撮像装置から代替的に取得され得る画像情報の生成が可能になる。本明細書で説明する画像処理方法は、「3次元」サンプルの複数の画像(それらは、画像の「スタック」と呼ばれることがあり、各画像はサンプル内のそれぞれの異なる深さに対応する)を生成するステップを含む。各画像は、サンプルに対して撮像装置のロケーションを制御するためにモータまたは他のアクチュエータを使用することによって、焦点が合っているサンプル内のそれぞれの異なる深さで撮られ得る。これは、カメラを動かすこと、サンプル容器を動かすこと、またはサンプル容器とカメラの両方を動かすことを含むことができる。

【0020】

図1は、そのような画像のセットを生成するために使用され得る例示的なシステム100を示す。システム100は、撮像装置110(たとえば、カメラ、対物レンズ、および/または他の光学素子もしくは電気素子)と、サンプル容器130内に含有されるサンプルを撮像するために使用され得る光源120とを含む。サンプル容器130は、マルチウェルインキュベーションまたは培養プレート(たとえば、96ウェル培養プレート)のうちの1つのウェルであり得る。サンプル容器130は、サンプル培地135(たとえば、様々な異なる推定治療もしくは他の実験条件、またはマトリゲルの体積内に腫瘍スフェロイドの層化されて埋め込まれた配列を含むマルチスフェロイドアッセイを適用する前に、96ウェルのマルチウェル培養プレートもしくは何らかの他のマルチウェル培養プレートのウェルにオルガノイドを移す前に、オルガノイドを培養するために使用される細胞外培地のドーム)内に含有されるいくつかの物体105(たとえば、オルガノイド、腫瘍スフェロイド、または他の3次元生物学的物体)を含有する。

【0021】

図1の要素(たとえば、カメラ110および光源120)の配列は、非限定的な例として意図されている。サンプルを照明するために使用される光源は、サンプルのカメラもしくは他の撮像装置と反対側、サンプルの撮像装置と同じ側、撮像装置に対してサンプルの側面、またはサンプルおよび撮像装置に対して何らかの他のロケーションに設置され得る。さらに、光源は、撮像装置内に組み込まれてよく、および/または1つまたは複数の光学素子もしくは光学経路を撮像装置と共有することができる(たとえば、共焦点撮像システムの対物レンズは、サンプルを照明するために使用されるレーザもしくは他の素子とサンプルから受けた光を撮像するために使用される電荷結合デバイスもしくは他の素子との間で共有され得る)。いくつかの例では、複数の光源が、たとえば、異なるモード(たとえば、蛍光撮像、明視野撮像、反射/散乱可視光撮像、構造化照明撮像、位相差撮像)に従ってサンプルを撮像する動作を容易にするために、複数のロケーションに設けられ得る。

【0022】

カメラ110および/または光源120は、カメラ110が、サンプル容器130内の小さい、実質的に平らな体積から受けた光を撮像することができるように構成され得る。そのような構成は、コストを低減し、信頼性を向上し、サイズもしくは質量を低減し、または何らかの他の便益を提供するために、大きい被写界深度構成の代わりに選択され得る。たとえば、そのような構成は、複数の異なる時点においてインキュベータ内の複数のサンプルの長期間自動撮像を可能にするために、カメラ110、光源120、および/または撮像装置の他の素子をインキュベータ内の作動ガントリー上に搭載することを容易にするために、カメラのサイズおよび/または重量を低減するように選択され得る。領域140aは、断面において、そのような制限された被写界深度の撮像装置によって焦点を合わせて撮像され得る第1の例示的な体積の程度を表す。領域140bは、断面において、サンプル容器130内の深さに関して第1の領域140aと異なるが、カメラ110の光軸に直角の方向において実質的に同じ面積に及ぶ、そのような領域の別の例を表す。

【0023】

サンプル容器130に対するカメラ110のロケーションは、サンプル容器130内でそれぞれの異なる体積または深さを撮像することを容易にするために、異なる時点において設定され得る。これは、焦点を合わせて撮像するためにサンプル容器130内の平らな領域を選択するために、(たとえば、カメラ110を動かすことおよび/またはサンプル容器130を動かすことによって)カメラ110をサンプル容器130に対して動かすための作動ガントリーもしくは他の手段を使用することを含むことができる。たとえば、第1の時間期間(たとえば、図1に示す時間期間)の間に、カメラ110は、焦点を合わせて第1の体積140aを撮像するように動作することができる。次いで、カメラ110は、サンプル容器130に対して下方に動かされ、続いて焦点を合わせて第2の体積140bを撮像するように操作され得る。そのような手順は、サンプル容器130の内容物を表す画像のセットまたは「スタック」を生成するために、サンプル容器130内で複数の異なる体積および対応する深さに対して繰り返され得る。そのような手順は、カメラ110の被写界深度より大きい特性寸法を有する、および/またはカメラ110の被写界深度より大きい距離においてサンプル容器130内の垂直寸法に沿って広がる点に設置される、物体105(たとえば、オルガノイド、腫瘍スフェロイド、または他の3次元生物学的物体)に対する、焦点が合った画像情報の生成を容易にすることができる。

【0024】

「スタックされた」画像のセットを生成するためのそのようなプロセスは、自動的に実行され得る。たとえば、カメラおよび関連するアクチュエータは、指定された時点の数のうちの1つの数(たとえば、加えられた実験条件に対するサンプル内容物の応答を経時的に分析することを容易にするために、1時間ごとに1回、24時間ごとに1回など)において、サンプルのそのような画像のセットを生成するように動作することができる。追加または代替として、サンプルは、マルチウェルサンプル容器内に設置されてよく、画像のセットは、特定のサンプルを選択するために(たとえば、カメラを含有するガントリーのアクチュエータを操作することによって)2次元で、および特定のサンプル内の異なる深さを撮像するために3次元でカメラを作動させることによって、容器内のサンプルの各々に対して生成され得る。

【0025】

図2Aは、サンプルの例示的な画像のセット(または、「スタック」)200を示す。画像のセット200の各画像は、サンプル内のそれぞれの焦点面に対応する。それに応じて、各画像は、画像に対応する焦点面に対する内容物のロケーションに応じて、サンプルのそれぞれの異なる内容物を焦点を合わせて表し得る。第1の例では、画像のセット200の頂部画像210aは、サンプル内容物がなにも設置されていない第1の焦点面に対応する。それに応じて、頂部画像210aの画像情報はすべて、焦点の外にある。別の例では、画像のセット200の第2の画像210bは、サンプル内容物のうちのいくつかが設置されている第2の異なる焦点面に対応する。それに応じて、第2の画像210aの画像情報のうちのいくつか(すなわち、第2の画像の左および底に対する3次元物体)が焦点内にある一方で、第2の画像210bの画像情報の他の部分は、焦点の外にある。

【0026】

そのような画像のセット200は、サンプル内の内容物の分布の改善されたビューを提供するサンプルの投影画像を生成するための、十分に焦点が合った画像情報を含有することができる。たとえば、サンプルの内容物の一部または全部が、投影画像内に焦点が合った状態で表され得る。投影画像は、サンプルの画像を、それがより広い被写界深度を使用して生成されたかのように近似することができる 図2Bは、図2Aに示す画像のセット200を含む画像のセットから生成された投影画像250の一例を示す。そのような投影画像は、サンプルの内容物の改善された撮像および分析を容易にすることができる。たとえば、投影画像は、個別の細胞、オルガノイド、腫瘍スフェロイド、または投影画像の他の3次元の内容物を識別するためにセグメント化され得る。次いで、そのような画像セグメント化は、細胞、オルガノイド、腫瘍スフェロイド、もしくはサンプルの内容物の何らかの他の分析についての数、サイズ、アイデンティティ、形態、もしくは他の情報を自動的に決定するために使用され得る。追加または代替として、そのような投影画像は、病理学者、研究者、伝染病学者、または何らかの他の人物によってサンプルの内容物の主観的分析を容易にすることができる。

【0027】

投影画像は、様々な方法で、サンプル内のそれぞれの異なる焦点面に対応する画像のセットから、サンプルに対して生成され得る。いくつかの例では、これは、サンプルの内容物がその深さにおいて設置されているおよび/または焦点に入る深さを決定するために、画像のセットを使用することを含むことができる。次いで、決定された深さに対応する画像または画像のセットからのピクセルもしくは他の画像情報は、対応する投影画像のピクセルを生成するために使用(または、「投影」)され得る。追加または代替として、そのような深度情報は、サンプルの内容物に対する深度マップを生成するために(たとえば、サンプルの内容物の3次元形状および/または配列の分析を容易にするために)、および/または投影画像の(または、サンプルの何らかの他の画像の) セグメント化を改善するために使用され得る。

【0028】

II. 例示的な深度マップの生成
サンプル内の深さの範囲に及ぶそれぞれの異なる深さに対応する、サンプルの狭い被写界深度画像(たとえば、明視野画像)のセットは、サンプルの内容物の深さについての情報を決定するのに十分な情報を含有し得る。そのような「スタックされた」画像のセットはまた、深さの範囲にわたって焦点が合ったサンプルの内容物を(たとえば、一種のシミュレーションされたサンプルの広い被写界深度画像として)表すサンプルの投影画像を生成するために深度情報と組み合わされ得る、十分な画像情報を含有し得る。本明細書で説明する方法は、狭い視野画像(たとえば、明視野画像、蛍光画像)のセットからそのような深度情報を(たとえば、深度マップとして)およびそのような投影画像を生成することを容易にする。

【0029】

これらの方法は、画像のセットのうちの各画像内のエッジ、テクスチャ、または他の高空間周波数内容物を検出するステップを含む。特定の画像内の特定のロケーションにおけるそのような高空間周波数内容物の存在は、特定のロケーションにおけるサンプルの内容物が焦点を合わせて撮像されたことをそれを示し得る。それに応じて、特定のロケーションにおけるサンプルの内容物は、サンプル内で、特定の画像の深さに対応する深さに設置されていることが仮定され得る。したがって、深度マップまたは他の深度情報が、サンプルの画像のセットの各画像内の「焦点が合っている」領域を識別することによって、サンプルに対して生成され得る。次いで、これらの識別された領域は、サンプルの単一の深度マップおよび/または投影画像を生成するために、画像のセットにわたって組み合わされ得る。

【0030】

サンプルの画像のセットの各画像内の「焦点が合っている」領域を識別することは、画像の各々に対してフィルタまたは変換を適用することを含むことができる。たとえば、Cannyエッジ検出器または他のエッジ検出フィルタもしくはアルゴリズムが、画像のセット内の各画像に対して、画像の各々の中のエッジが位置する場所を表すそれぞれの「エッジ画像」を生成するために適用され得る。別の例では、各画像の中の、増加された高空間周波数情報(または、「テクスチャ」)の領域が位置する場所を表す、それぞれの「テクスチャ画像」を生成するために、テクスチャフィルタが、画像のセット内の各画像に適用され得る。

【0031】

「テクスチャ」は、様々な方法で決定され得る。たとえば、画像の特定のピクセルに対するテクスチャ値が、エントロピー、数値範囲、標準偏差、分散、係数または変動、または特定のピクセルの近傍におけるピクセルのセットの変動性の何らかの他の尺度を決定することによって決定され得る。そのような近傍は、近隣ピクセルの正方形またはそれ以外の形状の領域、たとえばテクスチャ値がピクセルに対して決定されている特定のピクセル上に中心があるピクセルの5×5正方形の領域であり得る。「近傍の」領域内のピクセルは、均等に重み付けられてもよく、または、(たとえば、エントロピー、標準偏差などを決定するときに、テクスチャ値がピクセルに対して決定されている特定のピクセルにより近いピクセルに対して、より遠いピクセルよりも高い重みを与えることによって)テクスチャ値を決定するような重み付け方法において使用されてもよい。そのようなテクスチャ値は、画像内のすべてピクセルに対して、画像内のピクセルのサブセットに対して(たとえば、1つおきのピクセルに対して)、または画像内の何らかの他のロケーションのセットに対して決定され得る。

【0032】

上記のように、より高いテクスチャ値(または、画像の高空間周波数内容物に関する何らかの他の特性のより高い値)を有する特定の狭い被写界深度画像の領域は、焦点を合わせて撮像された可能性がより高い。したがって、サンプルの特定の画像の特定の高テクスチャロケーションに対応するサンプルの内容物は、特定の画像の焦点面の深さに対応するサンプル内の深さに位置する可能性が高い。(たとえば、画像の各々の中の特定のピクセルインデックスのロケーションに対応する)画像のセット内の特定のロケーションに対するテクスチャ情報が、特定のロケーションに対する単一の深度値を決定するために、画像のすべてにわたって比較され得る。そのような決定は、サンプルに対する全深度マップを生成するために、および/またはサンプルの投影された出力画像のピクセルを(たとえば、投影画像のピクセルの生成に使用するために決定された深さに対応する、画像のセットのうちの1つの画像のピクセルを選択することによって)生成するために使用され得る。

【0033】

このプロセスを示すために、図3Aは、サンプルの画像301(たとえば、本明細書で説明するように生成された投影画像)を示す。画像301は、サンプルの深度マップ300の隣に示される。画像301内の各物体は、1つまたは複数のオルガノイド、腫瘍スフェロイド、または他の3次元多細胞物体を含み得る。深度マップ300は、画像301内に示される外見上単一の物体のうちのいくつかは、サンプル内の異なる深さにおいて重なり合う複数の物体を示している可能性があることを示す。

【0034】

図3Bは、サンプルの深度マップ300と、サンプル内のそれぞれの異なる深さにおけるそれぞれの異なる焦点面に対応するサンプルの狭い被写界深度画像のセット310a、310b、310c、310dとを示す。画像のセットの深度マップ300および画像は、説明を容易にするために、同じ解像度およびピクセルロケーションを有する。本明細書の方法は、画像のセットの深度マップ、投影画像、および/または入力画像が、異なる解像度および/またはピクセルロケーションを有する環境に適応され得ることは、当業者には諒解されよう。

【0035】

深度マップ300の特定のピクセル305に対する深度値は、画像のセット310a、310b、310c、310dの各画像内の対応するピクセル315a、315b、315c、315dのテクスチャ値(または、高空間周波数画像内容物の局所的大きさを表す他の値)に基づいて決定され得る。図3Bに示すように、画像のセットのうちの画像および深度マップは、同じサイズおよび解像度を有してよく、その場合、ピクセル対応は1対1対応であり得る。これは、深度マップ内の特定のピクセルのロケーションに対応する、入力画像内のロケーションにおける入力画像の各々に対するテクスチャ情報に基づいて深度マップの特定のピクセルに対する深度値を決定することの非限定的な例として意図される。

【0036】

深度値は、テクスチャのセット(または、他の高空間周波数画像内容物)値に基づいて、様々な方法で選択され得る。たとえば、最高のテクスチャ値(または、より低いテクスチャ値がより多量の高空間周波数画像内容物に対応する場合は、最低のテクスチャ値)が決定されてよく、深さは、最高のテクスチャ値に対応する入力画像の深さに従って決定される。これは、最高のテクスチャ値が、特定のピクセルロケーションに対して、その特定のロケーションにおいて最も焦点が合っている画像に対応する可能性が高く、したがって、サンプルの内容物が、サンプル内の対応する深さに位置する可能性が高いという仮定に基づいて行われ得る。

【0037】

追加または代替の方法が、テクスチャ値のセットに基づいて深度値を決定するように適用され得る。たとえば、深さは、テクスチャ値のセット内で検出されたピークの深さまたは他の特徴に基づいて決定され得る。図3Cは、テクスチャ値を生成するために使用される入力画像の深さの関数として、出力深度マップの特定のピクセルに対して決定されたテクスチャ値のセット320のプロットを示す。ピーク325はテクスチャデータの中に存在し、このピークは検出され得、深さ(図3Cの「d₁」)はこのピークから決定される。深さの関数としてのテクスチャ値内のピークは、特定のピクセルロケーションに対して、その特定のロケーションにおいて焦点が合っているサンプルの内容物に対応する可能性が高く、したがって、サンプルの内容物が、サンプル内の対応する深さに位置する可能性が高いという仮定に基づいて、ピーク検出が深度値を決定するために使用され得る。

【0038】

上記で説明したように決定された深度値は、現状のままで、投影画像のピクセルを生成するために、サンプルの1つまたは複数の画像のセグメント化を改善するために、または何らかの他のアプリケーションを容易にするために、深度マップのピクセルとして使用され得る。代替的に、何らかのレベルの空間前処理が、そのようなアプリケーションの前に決定された深度値に適用され得る(たとえば、空間前処理が、深度マップを生成するために、上記で説明したように決定された深度値のセットに適用され得る)。たとえば、2次元のローパスフィルタまたは他のタイプの線形フィルタが、一アプリケーション内でそれらを適用する前に深度値に適用され得る。追加または代替として、非線形前処理方法が適用され得る。たとえば、エッジ保存ローパス空間フィルタが適用され得る。別の例として、それらの近隣(neighbor)に対して外れ値である(たとえば、それらの近隣に対する平均値を規定された量、たとえばそれらの近隣の複数の標準偏差の倍数だけ超える)深度値は除去されてよく、特定の量(たとえば、それらの近隣の平均、中央値、もしくは他の中心的な尺度)に設定されてよく、より積極的なフィルタパラメータを使用してフィルタ処理されてよく、またはそのような外れ値が後続の処理に及ぼす影響を低減するために何らかの他の方法で前処理されてもよい。

【0039】

III. 例示的な画像構成
サンプルに対する深度情報(たとえば、深度マップ、個々の深度値)が、(たとえば、例示的な投影画像250および301におけるように)サンプルの画像のセットからのピクセルもしくは他の画像情報をサンプルの単一の投影画像に投影するために使用され得る。深度情報は、投影画像の各ピクセルに対する強度、色、または他の画像情報を設定するとき、画像のセットのうちのどの画像から引き出すかを決定するために使用され得る。上記のように、入力画像のセットがサンプル内の焦点面に対して変動する場合、投影画像が完全に焦点が合ったようにまたは場合によっては入力画像のセットに対して改善されたように見えるように投影画像のピクセルを生成するとき、深度情報は、画像のうちのどの画像から投影するかを選択するために使用され得る。

【0040】

図4は、サンプルの投影画像400と、サンプル内のそれぞれの異なる深さにおけるそれぞれの異なる焦点面に対応するサンプルの狭い被写界深度画像のセット410a、410b、410c、410dとを示す。投影画像400および画像のセットのうちの画像は、説明を容易にするために、同じ解像度およびピクセルロケーションを有する。本明細書の方法は、画像のセットの深度マップ、投影画像、および/または入力画像が異なる解像度および/またはピクセルロケーションを有する環境に適応され得ることは、当業者には諒解されよう。

【0041】

投影画像400の特定のピクセル405に対する画像値(たとえば、輝度、クロミナンス、赤、緑、および/または青のチャネルカラー値のうちの1つまたは複数)が、特定のピクセル405に対して決定された深度値に基づいて決定され得る。そのような深度値は、サンプルの深度マップから取得され得るか、またはピクセルごとに決定され得る。深度値は、上記で説明したように(たとえば、投影画像の各ピクセルに対応するロケーションにおいて最高のテクスチャ値を有する、画像のセットのうちの1つの画像の深さを識別することによって)決定され得るか、または何らかの他の方法を使用して、たとえば、位相差画像、何らかの他の深さ検出手段の深度センサを使用して決定され得る。

【0042】

特定のピクセル405に対する画像値を決定することは、特定のピクセル405に対する深度値に適合する画像の対応するピクセルの画像値をコピーすることを含み得る。たとえば、図4では、第2の画像410bは、特定のピクセル405に対して決定された深度値に対応する深さを有する。それに応じて、第2の画像410bの対応するピクセル415bの画像値(たとえば、輝度、強度など)がコピーされるかまたは投影されて、特定のピクセル405に対する画像値になる。

【0043】

この画像値の1対1対応の投影は、深度値と、その深度値に対応する1つまたは複数の狭い被写界深度画像とに基づいて、投影画像の特定のピクセルに対する画像値を決定することの非限定的な例として意図されている。追加のピクセルが、特定のピクセル405に対する画像値を生成するために使用され得る(たとえば、重み付き組合せで組み合わされ得る)。いくつかの例では、特定のピクセル405および/または隣接ピクセルの画像値が、第2の画像410bの対応するピクセル415bに隣接するピクセルの数に基づいて、全体的または部分的に決定され得る。追加または代替として、特定のピクセル405の深度値の規定された範囲内の深度値に対応する複数の画像からの画像情報が、特定のピクセル405の画像値を生成するために使用され得る。たとえば、特定のピクセル405の画像値が、第2の画像410bの対応するピクセル415bと、第1の画像410aおよび第3の画像410cの対応するピクセル415a、415cとの組合せに基づいて決定されてよく、第1の画像410aおよび第3の画像410cは、特定のピクセル405の深度値の近傍(たとえば、規定された範囲)内の深さに対応する。

【0044】

IV. 例示的な画像セグメント化
生体サンプルの画像または興味のある他の環境内のオルガノイド、腫瘍スフェロイド、細胞、粒子、もしくは他の3次元多細胞の個別内容物についての程度、ロケーション、サイズ、アイデンティティ、および/または他の情報を、自動的に識別することは、様々な文脈において有益であり得る。そのようなプロセスは、「画像セグメント化」と呼ばれることがある。画像セグメント化は、画像の内容物に対して様々な分析を自動的に実行するために、たとえば、サンプル内の細胞、オルガノイド、または腫瘍スフェロイドの数、タイプ、体積/サイズ、空間分布、形状、成長率、または他の特性を決定するために使用され得る。

【0045】

様々な方法が、生体サンプルの微視的画像に対するセグメント化を実行するために、当技術分野で利用可能である。そのような方法は、しきい値化、クラスタリング、エッジ検出、領域拡張、人工ニューラルネットワークもしくは他の機械学習アルゴリズム、または画像内の異なる隣接領域を推定的に識別するための何らかの他の技法もしくは技法の組合せのうちの1つまたは複数を含むことができる。そのような方法を使用して識別された各領域は、それぞれのオルガノイド、がんスフェロイド、細胞、またはそれらの成分もしくは部分に対応することができる。そのような方法は、サンプルの1つまたは複数の狭い被写界深度画像に適用され得る。セグメント化は、上記で説明したように決定されたサンプルの投影画像をセグメント化することによって改善され得る。なぜならば、そのような投影画像は、投影画像を生成するために使用される任意の個別の狭い被写界深度画像よりも多くの焦点の合ったサンプルの内容物を表すからである。

【0046】

図5Aは、サンプルの例示的な画像500を示す。画像は、本明細書のどこかで説明したように生成された投影画像であり得るか、または何らかの他の方法で取得され得る。図5Bに示すように、画像500は、サンプルの第1のセグメント化マップ510を生成するためにセグメント化され得る。領域は、例示的な第1の領域515aと、第2の領域515bと、第3の領域515cとを含む。各領域は、サンプル内のそれぞれの異なる物体、複数の物体、および/または物体の部分(たとえば、オルガノイド、腫瘍スフェロイド、細胞)を表すことができる。

【0047】

識別された領域の精度は、入力画像500内で利用可能な画像情報によって制限され得る。たとえば、別々の重複するかまたは隣接する物体間の、入力画像内の境界は、セグメント化方法が、別々の物体をセグメント化マップ内のそれぞれの異なる領域として識別するのを防止するという意味で、不明瞭であり得るか、または場合によっては、準最適であり得る。図5Cは、入力画像500によって表されるサンプルの深度マップ520を示す。深度マップ520は、本明細書で説明する方法を使用して狭い被写界深度画像のセットに基づいて(たとえば、画像のセット内に存在するテクスチャ情報に基づいて)生成されてもよく、または何らかの他の方法を介して(たとえば、深度センサを使用して)生成されてもよい。深度マップ520は、第1のセグメント化マップ510の少なくとも第1の領域515aおよび第2の領域515bが、第1の領域515aおよび第2の領域515bのそれぞれに対応する深度マップ520のエリア525a、525b内の異なる隣接する領域の間の深さの差に基づいて、複数の区別できる物体を表す可能性が高いことを示す。

【0048】

それに応じて、深度マップ520によってまたは何らかの他のソースから提供された深度情報が、画像のセグメント化を改善するために適用され得る。これは、改善された第2のセグメント化画像を生成するために第1のセグメント化画像の1つまたは複数の領域をさらに分割するために、深度マップからの深度情報を使用することを含むことができる。たとえば、第1のセグメント化マップ510の特定の領域に対応する深度情報は、それが、深度値の2つ以上の潜在的離散母集団を表すかどうかを決定するために分析され得る。深度情報がその母集団を表す場合、特定の領域は、離散母集団の各々の中の深度値のロケーションに従ってさらに分割され得る。

【0049】

一例として、図5Cおよび図5Dは、改善された第2のセグメント化マップ530を生成するとき、それらの領域をさらに分割するかどうかを決定するための、第1のセグメント化マップ510の第1の領域515aおよび第2の領域515bの分析を示す。第1の領域515aに対して、第1の領域515aのロケーションおよび程度に対応する深度値(たとえば、深度マップ520のピクセル)(深度値の第1のパッチ525aとして図5Cに示される)が、第1の領域515aがそれらの領域にさらに分割され得る領域を識別するために分析され得る。

【0050】

これは、第1のパッチ525a内の2つ以上の領域を識別するために、第1のパッチ525a内の深度値の母集団にクラスタリング、領域拡張、または他の分析を実行することを含むことができる。次いで、第1の領域515aは、第2のセグメント化マップ530の領域535a、535bおよび535cにさらに分割され得る。この分割は、識別されたクラスタの各々に対応する深度マップ520の深度マップピクセルのロケーションに基づいて、追加の分割を生成することを含むことができる。そのようなプロセスは、決定された分割が、親領域515aの分割に続いて、隣接するおよび/またはかなり滑らかな領域535a、535bおよび535cをもたらすことを確実にするために、フィルタ処理、領域拡張、エッジ保存、もしくは他のプロセスを実行することを含むことができる。同様のプロセスが、第1のセグメント化マップ510の第2の領域515bを第2のセグメント化マップ530の対応する領域535d、535eに分割するために適用され得る。そのような分析はまた、第1のセグメント化マップ510の第3の領域515cは、第2のセグメント化マップ530内の単一の領域535fとして維持されているので、分割は実行されないという結果をもたらすことができることに留意されたい。

【0051】

V. 例示的なアプリケーション
本明細書で説明するシステムおよび方法は、サンプル撮像において様々な生物学的アプリケーションを容易にするために使用され得る。これは、数時間、数日、数週間、もしくは何らかの他の持続時間にわたって複数の時点において撮像すること、またはインキュベータからサンプルを取り除くことによってサンプルに摂動を与える必要を避けるために、自動撮像システムを使用してインキュベータ内に設置されている複数のサンプル(たとえば、96ウェルサンプルプレートのうちのそれぞれのウェル内に含有される96個のサンプル)を撮像することを含むことができる。撮像されたサンプルは、ヒト細胞もしくは腫瘍細胞、オルガノイド、腫瘍スフェロイド、または他の細胞の3D培養物を含有することができる。細胞は、自然であり得るか、または何らかの実験プロセスの結果(たとえば、がん細胞を生成するために発がん物質に暴露した結果)であり得る。さらに、細胞は、蛍光色素で標識されてよく、または蛍光タンパク質、他のレポータ物質を発現するためまたは何らかの他の生物学的洞察を提供するため(たとえば、細胞に対する遺伝子組換えの効果を評価するため)に遺伝子を組み換えられてもよい。

【0052】

サンプルは、創薬を実行するために、および/または免疫学、腫瘍学、神経科学、細胞療法の分野、または他の研究分野において薬品もしくは他の物質の毒物学を評価するために準備され、撮像され得る。サンプルがオルガノイドを含む、および/またはオルガノイドの開発を許可される例では、サンプルを撮像することは、臓器発生の研究、疾患モデルの発達および/もしくは定量化、および/または再生医療の発達を容易にすることができる。

【0053】

説明するシステムおよび方法は、様々な撮像モダリティをサポートする。たとえば、オルガノイド、細胞外培地内に埋め込まれたマルチスフェロイド、またはたとえば、96ウェルアッセイのウェル内に配置され得る他の3次元サンプルのラベルフリー明視野画像が撮られ得る。蛍光撮像は、細胞を標識するように働き得る、および/または細胞機能の、もしくは蛍光アッセイの一部として興味のある何らかの他の特性のレポータであり得る蛍光レポータを撮像するために使用され得る。たとえば、アネキシンV緑色蛍光色素ベース試薬が、サンプル内の細胞死について、ロケーション、速度、または他の情報を評価するために撮像され得るか、NucLight Redインジケータが、サンプル内の細胞増殖についての情報を評価するために撮像され得るか、または何らかの他の蛍光レポータもしくはレポータのシステム(たとえば、多色FUCCIアッセイ)が、細胞分裂、機能、アイデンティティ、もしくは分化についての情報を評価するために蛍光撮像され得る。これは、たとえば、オルガノイド、マルチスフェロイド、または興味のある何らかの他の3次元物体を含有するサンプルの細胞ヘルスアッセイを実行するために行われ得る。

【0054】

マルチウェルプレート(たとえば、96ウェルプレート)内の複数の異なるサンプルが撮像される場合、サンプルは、細胞内容物(たとえば、細胞タイプ、腫瘍細胞タイプ)、追加物質(たとえば、追加薬品の投与、創薬アッセイの一部として特定の様々な追加薬品の変種)の量もしくはアイデンティティ、遺伝子組換えのタイプ、または何らかの他の変動する実験条件に関してウェルごとに変動することができる。本明細書で説明する自動撮像および画像処理技法は、次いで、適用された物質/治療の効能および/または毒性を評価するため、または興味のある何らかの他の実験データを決定するために適用され得る。

【0055】

VI. 例示的なシステム
様々なシステムが、本明細書で説明する様々な実施形態を実行するために使用(たとえば、プログラム)され得る。そのようなシステムは、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、または他のシングルユーザワークステーションを含むことができる。追加または代替として、本明細書で説明する実施形態は、サーバ、クラウドコンピューティング環境、または他のマルチユーザシステムによって実行され得る。

【0056】

そのようなシステムは、他のシステムから受信されたデータ、たとえば、サーバ上のリモートデータ記憶装置から、リモート細胞計数器もしくは他の計器から、または何らかの他のソースから受信されたデータを分析することができる。追加または代替として、本明細書で説明する実施形態を実行するように構成されたシステムは、自動インキュベータ、サンプル撮像システム、または分析のための実験データを生成することができる何らかの他の計器を含んでもよく、および/またはそれらに結合されてもよい。たとえば、そのような計器は、マルチウェルサンプル容器を含有するインキュベータを含むことができる。そのようなマルチウェルサンプル容器内のサンプルは、サンプルのゲノム、サンプルのソース、サンプルに適用される成長培地、サンプルに適用される調剤もしくは生物製剤、またはサンプルに適用される何らかの他の条件に関して異なってもよい。

【0057】

そのような装置内のサンプルは、様々な方法で実験的に評価され得る。サンプルは、(たとえば、可視光、赤外光、および/または紫外光を使用して)撮像され得る。そのような撮像は、サンプルの内容物の蛍光撮像を含むことができ、たとえば、サンプルに加えられる、および/または(たとえば、蛍光色素分子をコードする遺伝子を挿入した後)サンプルの細胞によって生成される蛍光色素もしくはレポータを撮像することを含むことができる。自動ガントリーは、サンプル容器のそれぞれのウェル内の様々なサンプルの撮像を容易にするするために、またはサンプル容器のそれぞれのウェル内の様々なサンプルの測定および分析を容易にするするために、そのようなインキュベータ内に設置され得る。

【0058】

一例として、自動撮像システムは、経時的な複数の異なるスキャン期間の間に、サンプル容器のそれぞれのウェル内の複数の生体サンプルの画像(たとえば、明視野画像、蛍光画像)を自動的に取得するために使用され得る。スキャン期間の各々の間に、各サンプルの画像のセット、たとえば、サンプル内の焦点面に関して異なる画像のセットが、自動撮像システムによって撮られ得る。次いで、画像は、たとえば、本明細書で説明する方法に従って、深度マップ、投影画像、またはサンプルについてのいくつかの情報を決定するために分析され得る。

【0059】

そのような自動撮像システムの使用は、生体サンプルを撮像する人件費を著しく低減することができるばかりでなく、手動撮像と比較するとき、タイミング、位置決め、および画像パラメータに関して、生成された画像の均一性を向上させることができる。さらに、そのような自動撮像システムは、インキュベータ内で動作して、撮像のためにサンプルをインキュベータから取り除く必要をなくすように構成され得る。それに応じて、サンプルに対する成長環境が、より一貫して維持され得る。加えて、自動撮像システムが、(たとえば、静的撮像装置によって撮像されるサンプル容器を動かすのではなく)顕微鏡または他の撮像装置をサンプル容器に対して動かすように働く場合、移動に関連するサンプルの摂動が低減され得る。これは、サンプルの成長および発達を改善し、移動に関連する状態悪化を低減することができる。

【0060】

そのような自動撮像システムは、24時間以上、3日以上、30日以上、または何らかのより長い期間、隔てられるスキャンの間に1つまたは複数の画像を取得するように動作することができる。スキャンは、規定された割合で、たとえば、1日に1回、1日に2回以上、1日に3回以上、または1日に4回以上、発生するように規定され得る。スキャンは、24時間の期間内に、少なくとも2回、少なくとも3回、または何らかのより多い数のスキャンが発生するように規定され得る。いくつかの例では、1つまたは複数のスキャンからのデータは、(たとえば、本明細書で説明する方法に従って)分析され得、(たとえば、サンプル内で発生することが予測される個別のイベントの発生を検出するために、スキャンの割合、持続時間、画像捕獲割合、または何らかの他の特性を増加させるために)追加のスキャンのタイミングを決定するために使用され得る。

【0061】

そのような自動撮像システムの使用は、長い時間期間にわたって複数の時点において同じ生体サンプルを撮像することを容易にすることができる。それに応じて、個別細胞および/または細胞(たとえば、オルガノイド、腫瘍スフェロイド)のネットワークの発達および/または挙動が、経時的に分析され得る。たとえば、細胞のセット、細胞の部分、または他の物体が、単一のサンプルの中で、異なる、広く離隔された時間期間の間に取られるスキャン内に識別され得る。識別された物体のこれらのセットが、次いで、スキャンにわたって同じ物体を識別するために、スキャン間で比較され得る。したがって、個別のオルガノイド、腫瘍スフェロイド、細胞、または細胞の部分の挙動が、数時間、数日、数週間、または数カ月にわたって追跡され、分析され得る。

【0062】

図6は、そのような自動撮像システム600の要素を示す。自動撮像システム600は、自動撮像システム600の他の要素が取り付けられるフレーム610を含む。フレーム610は、インキュベータ内に適合するように構成され得る(たとえば、サイズを決められ得る)。自動撮像システム600は、フレーム610に結合されたサンプル容器トレー630内に取り外し可能に設置されたサンプル容器620を含む。サンプル容器トレー630は、取り外し可能であり得、および/または様々な異なるサンプル容器(たとえば、様々な業界標準のサンプル容器)を保持するのを容易にするために、取り外し可能な挿入物を含むことができる。システム600は、撮像装置640が、サンプル容器620(たとえば、例示的なウェル625)の個別のウェルの内容物の画像を取得するように動作することができるように、撮像装置640をサンプル容器620に対して位置付けるように構成された作動ガントリー650を付加的に含む。

【0063】

撮像装置640は、顕微鏡、蛍光イメージャ、2光子撮像システム、位相差撮像システム、1つまたは複数の光源、1つまたは複数の光学フィルタ、および/またはサンプル容器620内に含有されるサンプルの撮像を容易にするように構成された他の要素を含むことができる。いくつかの例では、撮像装置640は、サンプル容器620の両側に配置された要素(たとえば、生体サンプルの位相差撮像を容易にするための、コヒーレントの、偏光の、単色の、またはそれ以外に規定された照明光の光源)を含む。そのような例では、サンプル容器620の両側の要素は、それぞれの異なるガントリーに、同じガントリーに結合されてよく、および/またはサンプル容器620の片側の要素は、サンプル容器620に対して移動できない。

【0064】

作動ガントリー650は、フレーム610および撮像装置640に結合され、サンプル容器620内の複数の異なるサンプルの撮像を容易にするために、サンプル容器620に対して少なくとも2方向に装置640のロケーションを制御するように構成される。作動ガントリー650はまた、撮像装置640を使用して取得される画像の焦点距離を制御することを容易にするため、および/または撮像装置640を使用して撮像され得るサンプル容器620内の材料の深さを制御するために、サンプル容器620に向かうおよびサンプル容器620から離れる第3の方向における撮像装置640のロケーションを制御するように構成され得る。追加または代替として、撮像装置640は、撮像装置640の焦点距離を制御するために1つまたは複数のアクチュエータを含み得る。撮像装置640は、撮像装置640の焦点設定の制御を容易にするために、1つまたは複数のモータ、圧電素子、液体レンズ、または他のアクチュエータを含むことができる。たとえば、撮像装置640は、撮像装置640と撮像されるサンプルとの間の距離を制御するように構成されたアクチュエータを含むことができる。これは、画像が焦点を合わせて撮られることを確実にするために、および/またはサンプル内の様々な異なる焦点面がそれぞれの異なる画像の中で表されるように画像が撮られることを可能にするために行われ得る。

【0065】

作動ガントリー650は、サンプル容器620に対する(たとえば、サンプル容器620の特定のウェルに対する)撮像装置640の絶対的および/または相対的ロケーションの検出を容易にするように構成された要素を含み得る。たとえば、作動ガントリー650は、エンコーダ、リミットスイッチ、および/または他のロケーション感知素子を含み得る。追加または代替として、撮像装置640またはシステムの他の要素は、サンプル容器620に対する撮像装置640の絶対的および/または相対的ロケーション絶対的および/または相対的ロケーションを決定するために、サンプル容器620および/またはサンプル容器トレー630の基準マークもしくは他の特徴を検出するように構成され得る。

【0066】

計算機能(たとえば、規定された時間期間の間にサンプル容器620内のサンプルを撮像するため、および/または本明細書で説明する何らかの他の方法を実行するために作動ガントリー650および/または撮像装置640を動作させるための機能)が、1つまたは複数のコンピューティングシステムによって実行され得る。そのようなコンピューティングシステムは、実験器具システム(たとえば、600)内に一体化されてもよく、(たとえば、直接的ワイヤード接続もしくはワイヤレス接続を介して、ローカルネットワークを介して、および/またはインターネット上のセキュリティ保護された接続を介して接続されることによって)そのようなシステムと関連づけられてもよく、および/または何らかの他の形(たとえば、自動撮像システムと通信している、および/または生体サンプルの画像の記憶へのアクセスを有するクラウドコンピューティングシステム)を取ってもよい。

【0067】

図7は、本明細書で説明する方法を実装するために使用され得る、そのようなコンピューティングシステム700の一例を示す。例示的なコンピューティングシステム700は、通信インターフェース702、ユーザインターフェース704、プロセッサ706、1つまたは複数のセンサ707(たとえば、光検出器、カメラ、深度センサ、顕微鏡、または何らかの他の計装用実験装置)、およびデータ記憶装置708を含み、それらのすべては、システムバス710によってともに通信可能にリンクされる。

【0068】

通信インターフェース702は、電気的、磁気的、電磁的、光学的信号、または他の信号のアナログもしくはデジタル変調を使用して、コンピューティングシステム700が他のデバイス、アクセスネットワーク、および/または転送ネットワークと通信することを可能にするように機能し得る。したがって、通信インターフェースは、基本電話サービス(POST:plain old telephone service)通信および/またはインターネットプロトコル(IP)もしくは他のパケット通信など、回線交換および/またはパケット交換通信を容易にし得る。たとえば、通信インターフェース702は、チップセットと、無線アクセスネットワークもしくはアクセスポイントとのワイヤレス通信のために配列されたアンテナとを含み得る。同じく、通信インターフェース702は、イーサネット、ユニバーサルシリアルバス(USB)、または高精細マルチメディアインターフェース(HDMI(登録商標))ポートなどのワイヤラインインターフェースの形を取るか、またはそれらを含む場合がある。通信インターフェースはまた、Wi-Fi、ブルートゥース(登録商標)、全地球測位システム(GPS)、または広域ワイヤレスインターフェース(たとえば、WiMAXもしくは3GPPロングタームエボリューション(LTE))などのワイヤレスインターフェースの形を取るか、またはそれらを含む場合がある。しかしながら、他の形態の物理レイヤインターフェースおよび他のタイプの標準もしくは専用の(standard or proprietary)通信プロトコルが、通信インターフェース702上で使用され得る。さらに、通信インターフェース702は、複数の物理通信インターフェース(たとえば、Wi-Fiインターフェース、ブルートゥース(登録商標)インターフェース、および広域ワイヤレスインターフェース)を含み得る。

【0069】

いくつかの実施形態では、通信インターフェース702は、コンピューティングシステム700が他のデバイス、リモートサーバ、アクセスネットワーク、および/または転送ネットワークと通信することを可能にするように機能し得る。たとえば、通信インターフェース702は、生体サンプルの画像(たとえば、サンプル内で撮像された焦点面に対して異なる明視野画像もしくは他のタイプの画像のセット)の表示、または何らかの他の情報を送信および/または受信するように機能し得る。

【0070】

そのようなコンピューティングシステム700のユーザインターフェース704は、コンピューティングシステム700がユーザと相互作用すること、たとえばユーザから入力を受信することおよび/またはユーザに出力を提供することを可能にするように機能し得る。したがって、ユーザインターフェース704は、キーパッド、キーボード、タッチ感知型または存在感知型パネル、コンピュータマウス、トラックボール、ジョイスティック、マイクロフォンなどの入力構成要素を含み得る。ユーザインターフェース704はまた、たとえば、存在感知型パネルと組み合わされ得る表示スクリーンなど、1つまたは複数の出力構成要素を含み得る。表示スクリーンは、CRT、LCD、および/またはLED技術、または現在知られているもしくは今後開発される他の技術に基づき得る。ユーザインターフェース704はまた、スピーカー、スピーカージャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および/または他の同様のデバイスを介して可聴出力を生成するように構成され得る。

【0071】

いくつかの実施形態では、ユーザインターフェース704は、ユーザに対するビデオまたは他の画像(たとえば、特定の生体サンプルの特定のスキャンの間に生成された画像のビデオ)を提示する役割を果たすディスプレイを含み得る。加えて、ユーザインターフェース704は、コンピューティングデバイスの構成および動作を容易にする1つまたは複数のボタン、スイッチ、ノブ、および/またはダイアルを含み得る。これらのボタン、スイッチ、ノブ、および/またはダイアルの一部または全部は、タッチ感知型または存在感知型のパネル上の機能として実装されることが可能であり得る。ユーザインターフェース704は、ユーザが、自動撮像システム内に含有されるサンプルのタイプを規定すること、サンプルの撮像もしくは他の評価に対するスケジュールを規定すること、システム700によって実行される画像セグメント化、イベント分析、および/または何らかの他の分析のパラメータを規定すること、または自動研究室システムの動作に対するおよび/またはそれらによって生成されたデータの分析に対する何らかの他のコマンドもしくはパラメータを入力することを可能にし得る。

【0072】

プロセッサ706は、1つまたは複数の汎用プロセッサ、たとえばマイクロプロセッサ、および/または1つまたは複数の専用プロセッサ、たとえばデジタルシグナルプロセッサ(DSP)、画像処理装置(GPU)、浮動小数点演算装置(FPU)、ネットワークプロセッサ、テンソル処理装置(TPU)、または特定用途向け集積回路(ASIC)を含み得る。いくつかの例では、専用プロセッサは、アプリケーションもしくは機能の中でも、画像処理、画像アラインメント、統計分析、フィルタ処理、または雑音低減が可能であり得る。データ記憶装置708は、磁気、光、フラッシュ、または有機記憶装置などの1つまたは複数の揮発性および/または不揮発性記憶構成要素を含んでよく、プロセッサ706と全体的または部分的に一体化されてもよい。データ記憶装置708は、取り外し可能な、および/または取り外し不可能な構成要素を含み得る。

【0073】

プロセッサ706は、本明細書で説明する様々な機能を遂行するためにデータ記憶装置708内に記憶されたプログラム命令718(たとえば、コンパイルされたまたはコンパイルされていないプログラム論理および/または機械コード)を実行することが可能であり得る。それゆえ、データ記憶装置708は、プログラム命令を記憶した非一時的コンピュータ可読媒体を含んでよく、プログラム命令は、コンピューティングデバイス700によって実行されるとき、本明細書および/または添付の図面において開示される方法、プロセス、または機能のいずれかをコンピューティングデバイス700に遂行させる。プロセッサ706によるプログラム命令718の実行は、プロセッサ706がデータ712を使用することをもたらす場合がある。

【0074】

例として、プログラム命令718は、コンピューティングデバイス700上にインストールされたオペレーティングシステム722(たとえば、オペレーティングシステムカーネル、デバイスドライバ、および/または他のモジュール)と、1つまたは複数のアプリケーションプログラム720(たとえば、フィルタ処理機能、データ処理機能、統計分析機能、画像処理機能、深度決定機能、画像セグメント化機能)とを含み得る。データ712は、個別のサンプルの画像のセット、サンプルに対する深度情報、および/またはサンプルに対するセグメント化情報を含む、顕微鏡画像または他のデータを含み得る。

【0075】

アプリケーションプログラム720は、1つまたは複数のアプリケーションプログラミングインターフェース(API)を介してオペレーティングシステム722と通信し得る。これらのAPIは、たとえば、アプリケーションプログラム720が通信インターフェース702を介して情報を受信すること、ユーザインターフェース704上の情報を受信および/または表示すること、などを容易にし得る。

【0076】

アプリケーションプログラム720は、1つまたは複数のオンラインアプリケーションストアもしくはアプリケーションマーケットを介して(たとえば、通信インターフェース702を介して)コンピューティングデバイス700にダウンロード可能であり得る「アプリ」の形態を取り得る。しかしながら、アプリケーションプログラムはまた、たとえばウェブブラウザを介してもしくはコンピューティングデバイス700の物理インターフェース(たとえば、USBポート)を介して、他の方法でコンピューティングデバイス700上にインストールされ得る。

【0077】

いくつかの例では、本明細書で説明する方法の部分は、アプリケーションに従って異なるデバイスによって実行され得る。たとえば、システムの異なるデバイスは、デバイス間で、異なる量の計算リソース(たとえば、メモリ、プロセッササイクル)および通信に対する異なる情報帯域幅を有することができる。たとえば、第1のデバイスは、複数の異なる期間においておよび/またはそれらの期間の間に、生体サンプルについての情報を生成するために、作動ガントリー、撮像装置、または他の要素を動作させることができる埋め込みプロセッサであり得る。次いで、第2のデバイスは、第1のデバイスからの情報(たとえば、画像情報、深度情報)を第1のデバイスから(たとえば、インターネットを介して、専用ワイヤードリンクを介して)受信し、受信されたデータに対して本明細書で説明する処理および分析方法を実行することができる。本明細書で説明する方法の異なる部分が、そのような考察に従って分担され得る。

【0078】

VII. 例示的な方法
図8は、3次元サンプルの投影画像を生成するための方法800のフローチャートである。方法800は、サンプルの画像のセットを取得するステップを含み、画像のセットの各画像は、サンプル内のそれぞれの焦点面に対応する(810)。方法800は、サンプルの出力画像の各ピクセルに対するそれぞれの深度値を決定するために画像のセットの各画像にフィルタを適用するステップを付加的に含み、所与の深度値はサンプル内の深さを表し、その深さにおいて、サンプルの内容物が焦点を合わせて撮像され得る(820)。方法800は、出力画像のピクセルの深度値に基づいて出力画像の各ピクセルに対する画像値を決定するステップを付加的に含み、出力画像の特定のピクセルに対する画像値を決定するステップは、(i)特定のピクセルの深度値に対応する画像のセットのうちの1つの画像を識別するステップと、(ii)特定のピクセルに対応する識別された画像内にロケーションを有する識別された画像のピクセルに基づいて特定のピクセルに対する画像値を決定するステップとを含む(830)。方法800は、追加の要素または特徴を含むことができる。

【0079】

図9は、3次元サンプルの投影画像を生成するための方法900のフローチャートである。方法900は、サンプルの画像のセットを取得するステップを含み、画像のセットの各画像は、サンプル内のそれぞれの焦点面に対応する(910)。方法900は、深度マップの各ピクセルに対するそれぞれの深度値を決定するために画像のセットの各画像にフィルタを適用するステップを付加的に含み、所与の深度値はサンプル内の深さを表し、その深さにおいて、サンプルの内容物が焦点を合わせて撮像され得る(920)。方法900は、深度マップの対応するピクセルの深度値に基づいて、出力画像の各ピクセルに対する画像値を決定するステップをさらに含む(930)。方法900は、追加の要素または特徴を含むことができる。

【0080】

図10は、サンプルの画像をセグメント化するための方法1000のフローチャートである。方法1000は、サンプルの画像を取得するステップを含む(1010)。方法1000は、サンプルの内容物の深度マップを取得するステップを付加的に含む(1020)。方法1000は、画像に基づいてサンプルの第1のセグメント化マップを生成するステップをさらに含む(1030)。方法1000は、深度マップに基づいて、第1のセグメント化マップの少なくとも1つの領域をさらに分割することによって、サンプルの第2のセグメント化マップを生成するステップをさらに含む(1040)。方法1000は、追加の要素または特徴を含むことができる。

【0081】

VIII. 結論
上記の発明を実施するための形態は、開示するシステム、デバイス、および方法の様々な特徴および機能を、添付の図面を参照しながら説明する。図において、一般的に、文脈が別段に示さない限り、同様の記号は同様の構成要素を識別する。発明を実施するための形態、図、および特許請求の範囲の中で説明する例示的な実施形態は、制限することを意味するものではない。本明細書で提示する主題の範囲を逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。本明細書で一般的に説明され、図で示される本開示の態様は、広範な異なる構成において配列され、置換され、組み合わされ、分離され、設計されてもよく、それらのすべが明確に本明細書で考慮されることは、容易に理解されよう。

【0082】

図におけるおよび本明細書で説明するメッセージフロー図、シナリオ、およびフローチャートのいずれかまたはすべてに関して、各ステップ、ブロックおよび/または通信は、例示的な実施形態による情報の処理および/または情報の送信を表し得る。代替実施形態は、これらの例示的な実施形態の範囲内に含まれる。たとえば、これらの代替実施形態では、ステップ、ブロック、送信、通信、要求、応答、および/またはメッセージとして説明される機能は、関連する機能に応じて、実質的に同時にまたは逆の順序を含めて、示したまたは説明した順序と異なる順序で実行されてもよい。さらに、より多いもしくはより少ないステップ、ブロックおよび/または機能が、本明細書で説明するメッセージフロー図、シナリオおよびフローチャートのいずれかとともに使用されてもよく、これらのメッセージフロー図、シナリオおよびフローチャートは、部分的もしくは全体的に互いに組み合わされてもよい。

【0083】

情報の処理を表すステップまたはブロックは、本明細書で説明する方法または技法の特定の論理機能を実行するように構成され得る回路に対応し得る。代替または追加として、情報の処理を表すステップまたはブロックは、モジュール、セグメント、またはプログラムコード(関連データを含む)の一部に対応し得る。プログラムコードは、方法または技法において特定の論理機能もしくはアクションを実装するためにプロセッサによって実行可能な1つまたは複数の命令を含み得る。プログラムコードおよび/または関連データは、ディスクドライブ、ハードドライブ、もしくは他の記憶媒体を含む記憶デバイスなど、任意のタイプのコンピュータ可読媒体上に記憶され得る。

【0084】

コンピュータ可読媒体はまた、レジスタメモリ、プロセッサキャッシュ、および/またはランダムアクセスメモリ(RAM)のような短い時間期間に対してデータを記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体を含み得る。コンピュータ可読媒体はまた、たとえば、リードオンリーメモリ(ROM)、光ディスクもしくは磁気ディスク、および/またはコンパクトディスクリードオンリーメモリ(CD-ROM)のような2次記憶装置もしくは持続的長期間記憶装置など、より長い時間期間の間、プログラムコードおよび/またはデータを記憶する非一時的コンピュータ可読媒体を含み得る。コンピュータ可読媒体はまた、任意の他の揮発性もしくは不揮発性記憶システムであり得る。コンピュータ可読媒体は、たとえば、コンピュータ可読記憶媒体または有形の記憶デバイスと見なされ得る。

【0085】

その上、1つまたは複数の情報送信を表すステップまたはブロックは、同じ物理デバイス内のソフトウェアおよび/またはハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信が、異なる物理デバイス内のソフトウェアモジュールおよび/またはハードウェアモジュール間にあってもよい。

【0086】

様々な態様および実施形態が、本明細書で開示されたが、他の態様および実施形態が、当業者には明確となろう。本明細書で開示した様々な態様および実施形態は、説明を目的としており、限定することを意図しておらず、その真の範囲は以下の特許請求の範囲によって示される。

【符号の説明】

【0087】

100 システム
105 物体
110 撮像装置、カメラ
120 光源
130 サンプル容器
135 サンプル培地
140a 領域、第1の体積
140b 領域、第2の体積
200 画像のセット(スタック)
210a 頂部画像
210b 第2の画像
250 投影画像
300 深度マップ
301 画像、投影画像
305 特定のピクセル
310a 狭い被写界深度画像
310b 狭い被写界深度画像
310c 狭い被写界深度画像
310d 狭い被写界深度画像
315a ピクセル
315b ピクセル
315c ピクセル
315d ピクセル
320 テクスチャ値のセット
325 ピーク
400 投影画像
405 特定のピクセル
410a 狭い被写界深度画像、第1の画像
410b 狭い被写界深度画像、第2の画像
410c 狭い被写界深度画像、第3の画像
410d 狭い被写界深度画像
415a ピクセル
415b ピクセル
415c ピクセル
500 画像、入力画像
510 第1のセグメント化マップ
515a 第1の領域
515b 第2の領域
515c 第3の領域
520 深度マップ
525a エリア、第1のパッチ
525b エリア
530 第2のセグメント化マップ
535a 領域
535b 領域
535c 領域
535d 領域
535e 領域
535f 単一の領域
600 自動撮像システム
610 フレーム
620 サンプル容器
625 ウェル
630 サンプル容器トレー
640 撮像装置
650 作動ガントリー
700 コンピューティングシステム、コンピューティングデバイス
702 通信インターフェース
704 ユーザインターフェース
706 プロセッサ
707 センサ
708 データ記憶装置
710 システムバス
712 データ
718 プログラム命令
720 アプリケーションプログラム
722 オペレーティングシステム

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】