特表 2023-547814 人工知能を使用したオートフォーカス及び自動細胞計数のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-11-14

(54)【発明の名称】人工知能を使用したオートフォーカス及び自動細胞計数のためのシステム及び方法

(51)【国際特許分類】

   G02B 7/28 20210101AFI20231107BHJP

   G06T 7/00 20170101ALI20231107BHJP

   G02B 7/36 20210101ALI20231107BHJP

   G03B 13/36 20210101ALI20231107BHJP

   C12Q 1/04 20060101ALI20231107BHJP

   C12M 1/34 20060101ALI20231107BHJP

【ＦＩ】

G02B7/28 N

G06T7/00 350C

G02B7/36

G03B13/36

C12Q1/04

C12M1/34 D

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023523205

(86)(22)【出願日】2021-10-14

(85)【翻訳文提出日】2023-04-14

(86)【国際出願番号】 US2021055008

(87)【国際公開番号】W WO2022081863

(87)【国際公開日】2022-04-21

(31)【優先権主張番号】63/092,783

(32)【優先日】2020-10-16

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/254,338

(32)【優先日】2021-10-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】502221282

【氏名又は名称】ライフ テクノロジーズ コーポレーション

(71)【出願人】

【識別番号】523134716

【氏名又は名称】セロミクス， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ログニン，ニコラス

(72)【発明者】

【氏名】リストロム，ラリー

(72)【発明者】

【氏名】ゴルブ，オグンジェン

(72)【発明者】

【氏名】パウリン，ジョナサン

(72)【発明者】

【氏名】ディリアニ，ニコラス

(72)【発明者】

【氏名】イッポリト，キム

【テーマコード（参考）】

2H011

2H151

4B029

4B063

5L096

【Ｆターム（参考）】

2H011BA31

2H011BB06

2H151BA47

2H151DA01

4B029AA07

4B029BB02

4B029BB03

4B029BB04

4B029BB05

4B029BB06

4B029BB07

4B029BB08

4B029BB09

4B029BB11

4B029BB12

4B029FA10

4B063QA01

4B063QQ06

4B063QQ07

4B063QQ08

4B063QQ09

4B063QX01

5L096DA02

5L096EA43

5L096FA39

5L096FA52

5L096FA55

5L096GA11

5L096HA11

5L096KA04

(57)【要約】

人工知能を使用するオートフォーカスのためのシステム及び方法は、（ｉ）公称焦点範囲にわたって複数のモノクロ画像を捕捉することと、（ｉｉ）各モノクロ画像内の１つ以上の結合成分を識別することと、（ｉｉｉ）各結合成分に関連付けられたピクセルの数に基づいて、識別された結合成分をソートすることと、（ｉｖ）機械学習モジュールを使用して、ソートされた結合成分の少なくとも一部の焦点質推定値を生成することと、（ｉｖ）評価された結合成分の焦点質推定値に基づいて標的焦点位置を計算することとを含む。計算された標的焦点位置は、（ｉ）畳み込みニューラルネットワークの出力に基づいてシード尤度画像及び全細胞尤度画像を生成し、（ｉｉ）シード尤度画像に基づいてオブジェクトの量及び／又はピクセル位置を示すマスクを生成することなどによって、人工知能を使用して細胞計数を実行するために使用され得る。

【特許請求の範囲】

【請求項1】

画像にオートフォーカスする方法であって、
任意選択で、撮像システムにおいてサンプルホルダを受容することと、
任意選択で、前記サンプルホルダに少なくとも部分的に基づいて、公称焦点範囲のｚ軸ステップサイズを自動的に決定することと、
前記公称焦点範囲にわたる複数の画像を受信することと、
前記複数の画像に基づいて入力データを生成することであって、前記入力データは、１つ以上の画像処理動作を介して生成される、生成することと、
前記入力データを、１つ以上の公称焦点範囲に関連付けられた画像から生成された入力に応答して標的焦点位置出力を提供するように構成された機械学習モジュールへの入力として利用することと、
前記機械学習モジュールの出力に基づいて標的焦点位置を取得することと、
前記標的焦点位置を使用して画像を捕捉するように前記撮像システムを構成することと、を含む、方法。

【請求項2】

前記１つ以上の画像処理動作は、結合成分分析を含み、前記入力データは、１つ以上の結合成分を含む、請求項１に記載の方法。

【請求項3】

各画像内の１つ以上の結合成分を識別することと、
各結合成分に関連付けられたピクセルの数に基づいて、識別された前記結合成分をソートすることと、
前記機械学習モジュールを使用して、ソートされた前記結合成分の少なくとも一部の焦点質推定値を生成することと、
ソートされた前記結合成分の前記焦点質推定値に基づいて、標的焦点位置を識別することと、を更に含む、請求項１に記載の方法。

【請求項4】

複数の画像を捕捉することが、前記公称焦点範囲にわたって各ｚ軸ステップにおいて１２８０×９６０の８ビット画像を捕捉することを含む、請求項３に記載の方法。

【請求項5】

各ｚ軸ステップが、前記撮像システムにおいて検出されたサンプルホルダに基づいて自動的に決定される所定のサイズを含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

各画像内の１つ以上の結合成分を識別することが、
各画像の結果として得られるバイナリ画像を取得するために、各画像を閾値処理することと、
１つ以上のモルフォロジー演算子を前記結果として得られるバイナリ画像に適用することと、
前記結果として得られるバイナリ画像内の１つ以上の結合成分を画定することと、を含む、請求項３又は４に記載の方法。

【請求項7】

閾値処理が、前記公称焦点範囲の最小画像と最大画像との間の差に基づく、請求項６に記載の方法。

【請求項8】

前記１つ以上のモルフォロジー演算子を適用することが、モルフォロジークロージング、モルフォロジーオープニング、及び／又はフォアグラウンドホールフィルのうちの１つ以上を適用することを含む、請求項６又は７に記載の方法。

【請求項9】

前記モルフォロジークロージングが、２×２モルフォロジークロージングを含む、請求項８に記載の方法。

【請求項10】

前記モルフォロジーオープニングが、２×２モルフォロジーオープニングを含む、請求項８又は９に記載の方法。

【請求項11】

前記フォアグラウンドホールフィルが、８結合フォアグラウンドホールフィルを含む、請求項８～１０のいずれか一項に記載の方法。

【請求項12】

各画像内の１つ以上の結合成分を識別することが、
各結合成分の第１及び第２のバイナリモーメントを測定することと、
等価モーメントを有する対応する楕円を各結合成分にフィッティングすることと、
前記対応する楕円を含む第２のバイナリ画像を作成することと、を含む、請求項６～１１のいずれか一項に記載の方法。

【請求項13】

前記第２のバイナリ画像内の各結合成分を測定することと、１０μｍ未満、好ましくは７μｍ未満、より好ましくは５μｍ未満の楕円短軸を有する任意の結合成分を除去することと、を更に含む、請求項１２に記載の方法。

【請求項14】

識別された前記１つ以上の結合成分をソートすることが、
各結合成分内のピクセルの数をカウントすることと、
前記１つ以上の結合成分にわたるメジアンピクセル数を計算することと、
前記メジアンピクセル数からの前記ピクセルの数の対応する絶対差に基づいて、前記１つ以上の結合成分をソートすることと、を含む、請求項３～１３のいずれか一項に記載の方法。

【請求項15】

前記１つ以上の結合成分が、前記メジアンピクセル数からの前記ピクセルの数の前記対応する絶対差によって昇順にソートされる、請求項１４に記載の方法。

【請求項16】

識別された前記１つ以上の結合成分をソートすることが、
各結合成分の真円度又は輝度のうちの１つ以上を決定することと、
前記結合成分の各々について決定された比較真円度及び／又は輝度に基づいて、前記１つ以上の結合成分をソートすることと、を含む、請求項３～１５のいずれか一項に記載の方法。

【請求項17】

各結合成分について３２×３２ピクセルのｚスタックを形成することを更に含む、請求項３～１６のいずれか一項に記載の方法。

【請求項18】

前記機械学習モジュールが、入力として各結合成分の前記３２×３２ピクセルｚスタックを受信する人工ニューラルネットワークを備える、請求項３～１７のいずれか一項に記載の方法。

【請求項19】

前記人工ニューラルネットワークが、畳み込み層、線形層、及び最大プーリング層の設計パターンを有する複数の特徴識別層を備える、請求項１８に記載の方法。

【請求項20】

前記畳み込み層が３ｘ３畳み込み層を含む、請求項１９に記載の方法。

【請求項21】

前記線形層がＲｅＬｕ非線形関数を含む、請求項１９に記載の方法。

【請求項22】

前記最大プーリング層が２×２最大プーリング層を含む、請求項１９～２１のいずれか一項に記載の方法。

【請求項23】

前記人工ニューラルネットワークが、前記複数の特徴識別層に続く長短期記憶（ＬＳＴＭ）プロセス層を備える、請求項１９～２２のいずれか一項に記載の方法。

【請求項24】

前記ＬＳＴＭ層が、各結合成分の前記ｚスタックを双方向方式で処理する、請求項２３に記載の方法。

【請求項25】

前記人工ニューラルネットワークが、最終線形層を備え、前記最終線形層が、前記焦点質推定値を定義するために前記ＬＳＴＭ層の出力と組み合わせられる、請求項２３又は２４に記載の方法。

【請求項26】

画像にオートフォーカスする方法であって、
撮像システムにおいてサンプルホルダを受容することと、
前記サンプルホルダに少なくとも部分的に基づいて、公称焦点範囲のｚ軸ステップサイズを自動的に決定することと、
前記公称焦点範囲にわたる複数の画像を受信することと、
標的焦点位置を取得することと、
前記標的焦点位置を使用して画像を捕捉するように前記撮像システムを構成することと、を含む、方法。

【請求項27】

撮像システムをオートフォーカスするように構成されたコンピュータシステムであって、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されると、請求項１～２６のいずれか一項に記載の方法を実行するように前記コンピュータシステムを構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスと、を備える、コンピュータシステム。

【請求項28】

請求項１～２６のいずれか一項に記載の方法を実行するように撮像システムを構成するために、前記撮像システムの１つ以上の処理デバイスによって実行可能な命令を記憶する、１つ以上のハードウェア記憶デバイス。

【請求項29】

自動細胞生存計数を実行する方法であって、
標的焦点位置で画像を捕捉することであって、前記標的焦点位置が、請求項１～２６のいずれか一項に記載のように計算される、捕捉することと、
捕捉された前記画像を空間的にダウンサンプリングして、ダウンサンプリングされた画像を形成することと、
ダウンサンプリングされた前記画像を複数のタイルに分解することと、
前記複数のタイルをテンソルアレイに記憶することと、
畳み込みニューラルネットワークを使用して前記テンソルアレイを処理することと、
前記畳み込みニューラルネットワークの出力に基づいて、複数の擬似確率マップを構築することと、
前記複数の擬似確率マップを閾値処理して、バイナリ化された位置マップ及びバイナリ化されたマスクマップを生成することと、
播種のために前記バイナリ化された位置マップ、及び細胞領域を区切るために前記バイナリ化マスクマップを使用して、ダウンサンプリングされた前記画像をセグメント化することによって、セグメント化されたダウンサンプリングされた画像を生成することであって、セグメント化された前記ダウンサンプリングされた画像は、細胞生存数を示す／提供する、生成することと、
前記細胞生存数の表現を表示することと、を含む、方法。

【請求項30】

前記畳み込みニューラルネットワークが、好ましくは－２～＋２ｚ位置の範囲の前記焦点位置に対する複数の焦点面からの画像を用いてトレーニングされる、請求項２９に記載の方法。

【請求項31】

前記画像が、０．８７１μｍのピクセルサイズを有する２５９２×１９４４ ８ビット画像を含む、請求項２９に記載の方法。

【請求項32】

捕捉された前記画像を空間的にダウンサンプリングすることが、ピクセルデシメーションを介して捕捉された前記画像を２分の１にダウンサンプリングすることを含み、任意選択で、１２９６×９７２のダウンサンプリングされた画像をもたらす、請求項２９又は３０に記載の方法。

【請求項33】

ダウンサンプリングされた前記画像を複数のタイルに分解することが、
ダウンサンプリングされた前記画像を反射して、複数のピクセルだけそのエッジを拡張し、反射された画像を形成することと、
反射された前記画像をピクセルオーバーラップを有する前記複数のタイルに分解することと、を含む、請求項２９～３２のいずれか一項に記載の方法。

【請求項34】

ダウンサンプリングされた前記画像を反映することが、そのエッジを４～１２ピクセル、又は６～１０ピクセル、又は約８ピクセルだけ拡張する、請求項３３に記載の方法。

【請求項35】

反射された前記画像が、８０～１９０個のタイル、又は９０～１８０個のタイル、又は１００～１７０個のタイル、又は１１０～１６０個のタイル、又は１２０～１５０個のタイル、又は約１３０個のタイルに分解され、任意選択で、ピクセルオーバーラップを有する１２８×１２８ピクセルのサイズを有する、請求項３３又は３４に記載の方法。

【請求項36】

前記テンソルアレイが、１３０×１×１２８×１２８テンソルアレイを含む、請求項３３～３５のいずれか一項に記載の方法。

【請求項37】

前記畳み込みニューラルネットワークが、Ｕネット畳み込みニューラルネットワークを含む、請求項２９～３６のいずれか一項に記載の方法。

【請求項38】

前記畳み込みニューラルネットワークの前記出力が、１３０×４×１２８×１２８テンソルアレイに記憶される、請求項２９～３７のいずれか一項に記載の方法。

【請求項39】

前記複数の擬似確率マップを構築することが、前記畳み込みニューラルネットワークの前記出力を８ビットフォーマットテンソルに変換することと、前記８ビットフォーマットテンソルを画像ステッチすることと、を含む、請求項２９～３８のいずれか一項に記載の方法。

【請求項40】

前記出力を前記８ビットフォーマットテンソルに変換することが、前記１３０×４×１２８×１２８テンソルアレイを乗数で乗算することを含み、任意選択で、前記乗数は約２５５である、請求項３９に記載の方法。

【請求項41】

前記８ビットフォーマットテンソルを画像ステッチすることが、前記テンソルアレイから４つのフルサイズ擬似確率マップを構築することを含む、請求項３９又は４０に記載の方法。

【請求項42】

前記畳み込みニューラルネットワークの前記出力が、（ｉ）生細胞の位置、（ｉｉ）生細胞のマスク、（ｉｉｉ）死細胞の位置、及び（ｉｖ）死細胞のマスクに関連付けられた擬似確率マップを含む、請求項４１に記載の方法。

【請求項43】

閾値処理が、５０％～９０％の疑似確率、又は約７５％の疑似確率よりも大きい閾値を適用することを含む、請求項２９～４２のいずれか一項に記載の方法。

【請求項44】

ダウンサンプリングされた前記画像が、生／死細胞のそれぞれの位置から計算された距離マップに適用される分水界変換によってセグメント化され、生／死細胞の前記それぞれのマスクによって区切られる、請求項２９～４２のいずれか一項に記載の方法。

【請求項45】

セグメント化された前記ダウンサンプリングされた画像内の細胞を楕円フィッティングすることを更に含む、請求項２９～４４のいずれか一項に記載の方法。

【請求項46】

楕円フィッティングが、請求項６～１３のいずれか一項に記載の１つ以上のオブジェクトを識別することを含む、請求項４５に記載の方法。

【請求項47】

楕円フィッティングが、オブジェクトサイズを測定することと、オブジェクトサイズ、ピクセル強度のヒストグラムを構築することと、オブジェクト真円度を計算することとを含む、請求項４６に記載の方法。

【請求項48】

自動細胞生存計数を実行するように構成されたコンピュータシステムであって、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されると、請求項２９～４７のいずれか一項に記載の方法を実行するように前記コンピュータシステムを構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスと、を備える、コンピュータシステム。

【請求項49】

自動細胞計数を実行する方法であって、
画像を取得することと、
前記画像に基づいて１つ以上のタイルのセットを定義することと、
畳み込みニューラルネットワークを使用して前記１つ以上のタイルを処理することと、
前記畳み込みニューラルネットワークの出力に基づいて複数の擬似確率マップを生成することであって、前記複数の擬似確率マップが少なくとも１つ以上のシード尤度画像を含む、生成することと、
前記１つ以上のシード尤度画像に基づいて１つ以上のマスクを生成することであって、前記１つ以上のマスクが、前記１つ以上のシード尤度画像内に表される１つ以上のオブジェクトのピクセル位置を定義し、前記１つ以上のマスクが細胞数を示す／提供する、生成することと、を含む、方法。

【請求項50】

前記細胞数を決定するために、前記１つ以上のシード尤度画像に対して結合成分分析を実行することを更に含む、請求項４９に記載の方法。

【請求項51】

前記複数の擬似確率マップが、１つ以上の全細胞尤度画像を更に含み、
前記方法が、少なくとも前記１つ以上の全細胞尤度画像及び前記１つ以上のマスクに基づいて１つ以上のセグメント化画像を生成することを更に含み、前記１つ以上のセグメント化画像が細胞数を示す／提供する、請求項４９又は５０に記載の方法。

【請求項52】

前記画像が、標的焦点位置で捕捉され、前記標的焦点位置が、請求項１～２５のいずれか一項に記載のように計算される、請求項４９～５１のいずれか一項に記載の方法。

【請求項53】

前記畳み込みニューラルネットワークが、好ましくは－２～＋２ｚ位置の範囲の焦点位置に対する複数の焦点面からの画像を含むトレーニングデータのセットでトレーニングされる、請求項４９～５２のいずれか一項に記載の方法。

【請求項54】

前記トレーニングデータのセットが、１つ以上の全細胞バイナリマスク及び／又は１つ以上のシードマスクを含むグラウンドトゥルース出力を備える、請求項５３に記載の方法。

【請求項55】

前記トレーニングデータのセットの前記画像は、処理された画像を含む、請求項５３又は５４に記載の方法。

【請求項56】

前記画像が、０．８７１μｍのピクセルサイズを有する２５９２×１９４４ ８ビット画像を含む、請求項４９に記載の方法。

【請求項57】

１つ以上の前処理動作を実行することを更に含む、請求項４９～５６のいずれか一項に記載の方法。

【請求項58】

前記１つ以上の前処理動作が、前処理された画像を生成するために前記画像に基づいて実行され、前記１つ以上のタイルのセットが、前記前処理された画像から分解されるか、又は前記１つ以上の前処理動作が、前記１つ以上のタイルに対して実行される、請求項５７に記載の方法。

【請求項59】

前記１つ以上の前処理動作がダウンサンプリング動作を含む、請求項５７又は５８に記載の方法。

【請求項60】

前記ダウンサンプリング動作が平均化フィルタを利用する、請求項５９に記載の方法。

【請求項61】

前記ダウンサンプリング動作が、画像サイズを少なくとも２分の１に縮小する、請求項６０に記載の方法。

【請求項62】

前記１つ以上の前処理動作が、背景除去動作を含む、請求項５７～６１のいずれか一項に記載の方法。

【請求項63】

前記背景除去動作が、
各ピクセルの半径内のピクセルごとの局所平均を計算することによって背景を推定することと、
前記画像から前記背景を減算することと、を含む、請求項６２に記載の方法。

【請求項64】

前記背景除去動作が、
前記画像又はダウンサンプリングされた画像の各画像領域におけるそれぞれの最小値を計算することと、
前記それぞれの最小値を通して表面をフィッティングすることと、を含む、請求項６２に記載の方法。

【請求項65】

前記１つ以上の前処理動作が、ピクセル又はボクセル強度正規化動作を含む、請求項５７～６４のいずれか一項に記載の方法。

【請求項66】

前記ピクセル又はボクセル強度正規化動作が、グローバル正規化動作を含む、請求項６５に記載の方法。

【請求項67】

前記ピクセル又はボクセル強度正規化動作が、カーネルベースの正規化動作を含む、請求項６５に記載の方法。

【請求項68】

前記１つ以上の前処理動作のうちの少なくともいくつかが、前記畳み込みニューラルネットワークへの入力として提供される前記１つ以上のタイルに対してバッチプロセスとして実行される、請求項５７～６７のいずれか一項に記載の方法。

【請求項69】

前記１つ以上のタイルのセットを定義することが、
前記画像又は前処理された画像を反射して、複数のピクセルだけそのエッジを拡張し、反射された画像を形成することと、
反射された前記画像を、ピクセルオーバーラップを有する前記１つ以上のタイルのセットに分解することと、
前記１つ以上のタイルのセットをテンソルアレイに記憶することと、を含む、請求項４９～６８のいずれか一項に記載の方法。

【請求項70】

前記画像又は前処理された画像を反映することが、そのエッジを４～１２ピクセル、又は６～１０ピクセル、又は約８ピクセルだけ拡張する、請求項６９に記載の方法。

【請求項71】

反射された前記画像が、８０～１９０個のタイル、又は９０～１８０個のタイル、又は１００～１７０個のタイル、又は１１０～１６０個のタイル、又は１２０～１５０個のタイル、又は約１３０個のタイルに分解され、任意選択で、ピクセルオーバーラップを有する１２８×１２８ピクセルのサイズを有する、請求項６９又は７０に記載の方法。

【請求項72】

前記テンソルアレイが、１３０×１×１２８×１２８テンソルアレイを含む、請求項６９～７１のいずれか一項に記載の方法。

【請求項73】

前記畳み込みニューラルネットワークが、Ｕネット畳み込みニューラルネットワークを備える、請求項４９～７２のいずれか一項に記載の方法。

【請求項74】

前記畳み込みニューラルネットワークの前記出力が、１３０×４×１２８×１２８テンソルアレイに記憶される、請求項４９～７３のいずれか一項に記載の方法。

【請求項75】

前記複数の擬似確率マップを生成することが、前記畳み込みニューラルネットワークの前記出力を８ビットフォーマットテンソルに変換することと、前記８ビットフォーマットテンソルを画像ステッチすることとを含む、請求項４９～７４のいずれか一項に記載の方法。

【請求項76】

前記出力を前記８ビットフォーマットテンソルに変換することが、前記１３０×４×１２８×１２８テンソルアレイを乗数で乗算することを含み、任意選択で、前記乗数は約２５５である、請求項７５に記載の方法。

【請求項77】

前記８ビットフォーマットテンソルを画像ステッチすることが、前記テンソルアレイから複数のフルサイズ擬似確率マップを構築することを含む、請求項７５又は７６に記載の方法。

【請求項78】

前記複数の擬似確率マップが、（ｉ）１つ以上の生細胞シード尤度画像、（ｉｉ）１つ以上の生細胞全体尤度画像、（ｉｉｉ）１つ以上の死細胞シード尤度画像、及び（ｉｖ）１つ以上の死細胞全体尤度画像を含む、請求項７７に記載の方法。

【請求項79】

前記１つ以上のマスクを生成することが、５０％～９０％の尤度、又は約７５％の尤度よりも大きい閾値を適用することを含む、請求項４９～７８のいずれか一項に記載の方法。

【請求項80】

前記閾値が、前記複数の擬似確率マップのピクセル強度における１９２（０．７５×２５５）の閾値に対応する、請求項７９に記載の方法。

【請求項81】

前記１つ以上のマスクを生成することが、結合領域を検出するために結合成分ラベリングを適用することを更に含む、請求項７９又は８０に記載の方法。

【請求項82】

前記１つ以上のマスクが、深層学習アルゴリズムを利用して生成される、請求項４９～８１のいずれか一項に記載の方法。

【請求項83】

前記１つ以上のセグメント化画像を生成することが、前記１つ以上のシード尤度画像において表され、前記１つ以上の全細胞尤度画像によって区切られた前記１つ以上のオブジェクトの前記ピクセル位置から計算された距離マップに、分水界変換を適用することを含む、請求項５１～８２のいずれか一項に記載の方法。

【請求項84】

前記畳み込みニューラルネットワークの前記出力に基づいて前記細胞数を決定することを更に含む、請求項４９～８３のいずれか一項に記載の方法。

【請求項85】

前記細胞数を表示することを更に含む、請求項４９～８４のいずれか一項に記載の方法。

【請求項86】

前記１つ以上のセグメント化画像を使用して、１つ以上の特徴識別動作を実行することを更に含む、請求項５１～８５のいずれか一項に記載の方法。

【請求項87】

前記１つ以上の特徴計算動作は、前記１つ以上のセグメント化画像内の楕円フィッティングセルを含む、請求項８６に記載の方法。

【請求項88】

楕円フィッティングが、オブジェクトサイズを測定すること、オブジェクトサイズ又はピクセル強度のヒストグラムを構築すること、又はオブジェクト真円度を計算すること、のうちの１つ以上を含む、請求項８７に記載の方法。

【請求項89】

前記画像が、モノクロ画像を含む、請求項４９～８８のいずれか一項に記載の方法。

【請求項90】

自動細胞計数を実行するように構成された細胞計数器であって、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されると、請求項４９～８９のいずれか一項に記載の方法を実行するように前記細胞計数器を構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスと、を備える、細胞計数器。

【請求項91】

自動細胞計数を実行するように構成されたフローサイトメータであって、１つ以上のプロセッサと、前記１つ以上のプロセッサによって実行されると、請求項４９～８９のいずれか一項に記載の方法を実行するように前記細胞計数器を構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスと、を備える、フローサイトメータ。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、顕微鏡画像分析に関する。より具体的には、本開示は、人工知能（artificial intelligence、ＡＩ）によって駆動されるオートフォーカス及び細胞数のための画像分析ソリューションに関する。

【背景技術】

【0002】

サイトメトリーは、細胞の計数及び／又は細胞特性の測定である。細胞数、細胞サイズ、細胞形態、及び細胞ライフサイクル位相などの特性を測定するために、サイトメトリーの分野において様々なデバイス及び方法が使用されている。サイトメトリーはまた、核酸、特定のタンパク質の存在、細胞タイピング及び／又は分化（例えば、生存計数）、並びに様々な医療診断アプリケーションなど、様々な細胞成分の測定を伴い得る。

【0003】

サイトメトリーの分野及び画像分析の関連分野において、改善の必要性が継続している。

【発明の概要】

【0004】

本開示の実施形態は、従来の手法に対して１つ以上の利点を提示するオートフォーカス及び自動細胞計数のためのシステム及び方法を提供する。例えば、１つ以上の実施形態は、公称焦点範囲にわたって複数の画像（例えば、モノクロ画像）を捕捉する行為と、各画像内の１つ以上の結合成分を識別する行為と、各結合成分に関連付けられたピクセルの数に基づいて、識別された結合成分をソートする行為と、機械学習モジュールを使用して、ソートされた結合成分の少なくとも一部の焦点質推定値を評価する行為と、評価された結合成分の焦点質推定値に基づいて、標的焦点位置を計算する行為とを含む、撮像システムをオートフォーカスする方法を含むことができる。「モノクロ画像」という用語は、本明細書に提示される例の大部分において使用されるが、同じ原理及び特徴が、他の画像タイプ（例えば、カラー画像）を伴う用途においても利用され得ることが理解されるであろう。したがって、本明細書で説明される例は、モノクロ画像のみを伴う用途に限定される必要はない。

【0005】

一態様では、識別された結合成分をソートすることは、追加又は代替として、各結合成分に関連付けられた真円度及び／又は輝度に基づくことができる。

【0006】

一態様では、複数のモノクロ画像を捕捉することは、公称焦点範囲にわたって各ｚ軸ステップにおいてモノクロ８ビット画像（例えば、１２８０×９６０モノクロ８ビット画像）を捕捉することを含む。一態様では、各ｚ軸ステップは、撮像システムにおいて検出された対応するサンプルホルダに基づいて自動的に決定される所定のサイズである。

【0007】

一態様では、各モノクロ画像内の１つ以上の結合成分を識別する行為は、各モノクロ画像を閾値処理して各モノクロ画像の結果として得られるバイナリ画像を取得することと、１つ以上のモルフォロジー演算子を結果として得られるバイナリ画像に適用することと、結果として得られるバイナリ画像内の１つ以上の結合成分を画定することと、を含む。一態様では、閾値処理は、公称焦点範囲の最小画像と最大画像との間の差に基づく。追加又は代替の一態様では、１つ以上のモルフォロジー演算子を適用する行為は、モルフォロジークロージング、モルフォロジーオープニング、及び／又はフォアグラウンドホールフィルのうちの１つ以上を適用することを含む。一態様では、モルフォロジークロージングは、２×２モルフォロジークロージングを含み、及び／又はモルフォロジーオープニングは、２×２モルフォロジーオープニングを含む。追加又は代替として、フォアグラウンドホールフィルは、８結合フォアグラウンドホールフィルを含む。

【0008】

一態様では、各モノクロ画像内の１つ以上の結合成分を識別する行為は、各結合成分の第１及び第２のバイナリモーメントを測定することと、等価モーメントを有する対応する楕円を各結合成分にフィッティングすることと、対応する楕円を含む第２のバイナリ画像を作成することと、を含む。一態様では、本方法は、第２のバイナリ画像内の各結合成分を測定することと、１５μｍ未満、又は１０μｍ未満、好ましくは７μｍ未満、より好ましくは５μｍ未満の楕円短軸を有する任意の結合成分を除去することと、を更に含む。

【0009】

一態様では、識別された結合成分をソートする行為は、各結合成分内のピクセルの数をカウントすることと、１つ以上の結合成分にわたるメジアンピクセル数を計算することと、メジアンピクセル数からのピクセルの数の対応する絶対差に基づいて、結合成分をソートすることと、を含む。一態様では、結合成分は、メジアンピクセル数からのピクセルの数の対応する絶対差によって昇順（又は降順）でソートされる。

【0010】

一態様では、識別された１つ以上の結合成分をソートする行為は、結合成分が（ｉ）細胞を表し、任意選択で（ｉｉ）細胞が生きていることを表す、計算された同時確率を順序付けることを含む。最大の同時確率を有する結合成分は、機械学習モジュールを使用して焦点質推定値の更なる評価のために、ソートすることができる。

【0011】

一態様では、識別された１つ以上の結合成分をソートする行為は、各結合成分の真円度又は輝度のうちの１つ以上を決定することと、結合成分の各々について決定された比較真円度及び／又は輝度に基づいて、結合成分をソートすることと、を含む。

【0012】

一態様では、撮像システムをオートフォーカスする方法は、各結合成分について特定のピクセル寸法（例えば、３２×３２又は他の適切なサイズ）のｚスタックを形成することを含むことができる。一態様では、機械学習モジュールは、入力として各結合成分のピクセルｚスタックを受信する人工ニューラルネットワークを含む。一態様では、人工ニューラルネットワークは、畳み込み層、線形層、及び最大プーリング層の設計パターンを有する複数の特徴識別層を含む。一態様では、畳み込み層は３×３畳み込み層を含み、線形層はＲｅＬｕ非線形関数を含み、及び／又は最大プーリング層は２×２最大プーリング層又は平均プーリング層を含む。

【0013】

一態様では、人工ニューラルネットワークは、複数の特徴識別層に続く長短期記憶（long-short-term-memory、ＬＳＴＭ）プロセス層を含み、ＬＳＴＭ層は、各結合成分のｚスタックを双方向方式で処理する。一態様では、人工ニューラルネットワークは、焦点質推定値を定義するためにＬＳＴＭ層の出力と組み合わせられる最終線形層を含む。

【0014】

本開示の実施形態は、撮像システムをオートフォーカスするように構成されたコンピュータシステムを更に含む。一態様では、撮像システムをオートフォーカスするように構成されたコンピュータシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、本明細書で開示する方法のうちの任意の１つ以上を実行するようにコンピュータシステムを構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスとを含む。

【0015】

本開示の実施形態は、画像を取得する行為と、画像に基づいて１つ以上のタイルのセットを定義する行為と、畳み込みニューラルネットワークを使用して１つ以上のタイルを処理する行為と、畳み込みニューラルネットワークの出力に基づいて複数の擬似確率マップを構築する行為とを含む、自動細胞計数を実行する方法を更に含み得る。複数の擬似確率マップは、少なくとも１つ以上のシード尤度画像を含むことができる。行為は、１つ以上のシード尤度画像に基づいて１つ以上のマスクを生成することを更に含み得る。１つ以上のマスクは、１つ以上のシード尤度画像において表される１つ以上のオブジェクトのピクセル位置を定義することができる。１つ以上のマスクは、細胞数を示す／提供することができる。

【0016】

一態様では、自動細胞計数を実行する方法は、細胞数を決定するために、１つ以上のシード尤度画像に対して結合成分分析を実行することを含む。

【0017】

一態様では、複数の擬似確率マップは、１つ以上の全細胞尤度画像を更に含み、自動細胞計数を実行する方法は、少なくとも１つ以上の全細胞尤度画像及び１つ以上のマスクに基づいて１つ以上のセグメント化画像を生成することを含み、１つ以上のセグメント化画像は、細胞数を示す／提供する。

【0018】

一態様では、画像は、標的焦点位置で捕捉される。

【0019】

一態様では、畳み込みニューラルネットワークは、方法のロバスト性を高め、オートフォーカス出力精度に対する方法の感度を低減するために、好ましくは－２～＋２ｚ位置の範囲の焦点位置に対する複数の焦点面からの画像を含むトレーニングデータのセットでトレーニングされる。トレーニングデータのセットは、１つ以上の全細胞バイナリマスク及び／又は１つ以上のシードマスクを含むグラウンドトゥルース出力を含み得る。トレーニングデータのセットの画像は、前処理された画像を含んでもよい。

【0020】

一態様では、画像は、０．８７１μｍのピクセルサイズを有する２５９２×１９４４モノクロ８ビット画像を含む。他のタイプの画像（例えば、異なる寸法、ビット値、及び／又はピクセルサイズを有する）も利用され得る。

【0021】

一態様では、自動細胞計数を実行する方法は、１つ以上の前処理動作を実行することを更に含む。１つ以上の前処理動作は、前処理された画像を生成するために画像に基づいて実行され得る。１つ以上のタイルのセットは、前処理された画像から分解され得るか、又は１つ以上の前処理動作は、１つ以上のタイルに対して実行され得る。

【0022】

１つ以上の前処理動作は、ダウンサンプリング動作を含み得る。ダウンサンプリング動作は、平均化フィルタを利用し得る。ダウンサンプリング動作は、画像サイズを少なくとも２分の１に縮小し得る。

【0023】

１つ以上の前処理動作は、背景除去動作を含んでもよい。いくつかの事例では、背景除去動作は、各ピクセルの半径内のピクセルごとの局所平均を計算することによって背景を推定することと、画像から背景を減算することと、を含む。いくつかの事例では、背景除去動作は、画像又はダウンサンプリングされた画像の各画像領域におけるそれぞれの最小値を計算することと、それぞれの最小値を通して表面をフィッティングすることとを含む。

【0024】

１つ以上の前処理動作は、ピクセル又はボクセル強度正規化動作を含んでもよい。ピクセル又はボクセル強度正規化動作は、グローバル正規化動作を含んでもよい。ピクセル又はボクセル強度正規化動作は、カーネルベースの正規化動作を含み得る。

【0025】

一態様では、１つ以上の前処理動作のうちの少なくともいくつかは、畳み込みニューラルネットワークへの入力として提供される１つ以上のタイルに対してバッチプロセスとして実行される。

【0026】

一態様では、１つ以上のタイルのセットを定義することは、反射された画像を形成することと、反射された画像をピクセルオーバーラップを有する１つ以上のタイルのセットに分解することと、１つ以上のタイルのセットをテンソルアレイに記憶することとを含む。ダウンサンプリングされた画像を反射することは、そのエッジをいくつかのピクセル（例えば、４～１２ピクセル、又は６～１０ピクセル、又は８ピクセル）だけ拡張することができ、反射された画像は、ピクセルオーバーラップを有するタイルのセットに分解され得る。非限定的な例では、反射された画像は、８ピクセルオーバーラップを有する１２８×１２８ピクセルの１３０個のタイルに分解される。テンソルアレイは、タイルの数、画像サイズ、及び他の画像特性に基づいて、１３０×１×１２８×１２８テンソルアレイ又は他の適切なテンソルアレイを含み得る。

【0027】

一態様では、畳み込みニューラルネットワークは、Ｕネット畳み込みニューラルネットワークを備える。畳み込みニューラルネットワークの出力は、適切なテンソルアレイ（例えば、１３０×４×１２８×１２８テンソルアレイ）に記憶され得る。

【0028】

一態様では、複数の擬似確率マップを構築することは、畳み込みニューラルネットワークの出力をテンソル（例えば、８ビットフォーマット）に変換することと、テンソルを画像ステッチすることとを含む。出力をテンソルに変換することは、テンソルアレイ（例えば、１３０×４×１２８×１２８テンソルアレイ）を乗数（例えば、２５５）で乗算することを含み得る。テンソルを画像ステッチすることは、タイルからいくつか（例えば、４つ）のフルサイズ擬似確率マップを構築することを含み得る。複数の擬似確率マップは、それぞれ、（ｉ）好ましくは生細胞の１つ以上の中心位置を示す１つ以上の生細胞シード尤度画像、（ｉｉ）１つ以上の生細胞全体尤度画像、（ｉｉｉ）好ましくは死細胞の１つ以上の中心位置を示す１つ以上の死細胞シード尤度画像、及び（ｉｖ）１つ以上の死細胞全体尤度画像を含み得る。

【0029】

一態様では、１つ以上のマスクを生成することは、７５％尤度よりも大きい閾値を適用することを含む。閾値は、複数の擬似確率マップ中のピクセル強度における１９２（０．７５×２５５）の閾値に対応し得る。非限定的な例として、約５０％～約９０％の尤度の範囲内の閾値など、他の閾値が利用されてもよい。１つ以上のマスクを生成することは、結合領域を検出するために結合成分ラベリングを適用することを更に含み得、１つ以上のマスクは、深層学習アルゴリズムを利用して生成され得る。

【0030】

いくつかの事例では、１つ以上のセグメント化画像を生成することは、１つ以上のシード尤度画像において表され、１つ以上の全細胞尤度画像によって区切られた１つ以上のオブジェクトのピクセル位置から計算された距離マップに、分水界変換を適用することを含む。

【0031】

一態様では、自動細胞計数を実行する方法は、畳み込みニューラルネットワークの出力に基づいて細胞数を決定することを更に含む。自動細胞計数を行う方法は、畳み込みニューラルネットワークの出力に基づいて細胞数を表示することを更に含み得る。

【0032】

一態様では、自動細胞計数を実行する方法は、１つ以上のセグメント化画像を使用して、１つ以上の特徴計算動作を実行することを更に含む。１つ以上の特徴計算動作は、１つ以上のセグメント化画像内の楕円フィッティングセルを含み得る。楕円フィッティングは、オブジェクトサイズ（例えば、μｍ単位）を測定すること、オブジェクトサイズ、ピクセル強度のヒストグラムを構築すること、及び／又はオブジェクト真円度を計算することを含み得る。

【0033】

一態様では、画像は、モノクロ画像を含む。

【0034】

本開示の実施形態は、自動細胞計数を実行するように構成されたコンピュータシステムを更に含む。例えば、自動細胞計数を実行するためのコンピュータシステムは、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されると、本明細書に開示される自動細胞計数を実行する任意の１つ以上の方法を実行するようにコンピュータシステムを構成するコンピュータ実行可能命令を記憶した１つ以上のハードウェア記憶デバイスとを含むことができる。

【0035】

したがって、撮像システムをオートフォーカスし、かつ／又は自動細胞計数を実行するシステム及び方法が開示される。いくつかの実施形態では、本明細書に開示されるシステム及び方法は、自動細胞生存計数を可能にする。

【0036】

本概要は、以下の詳細な説明で更に説明される簡略化された形式で概念の選択を導入するために提供されている。本概要は、請求された主題の主要な特徴又は本質的な特徴を特定することを意図しておらず、請求された主題の範囲を示すものとして使用されることも意図されていない。

【0037】

本開示の追加の目的及び利点は、以下の説明に部分的に記載され、その一部は、その説明から明らかになり、又は本開示の実施によって習得することができる。本開示の特徴及び利点は、本明細書に開示される機器及び組み合わせによって実現及び取得することができる。本開示のこれら及び他の特徴は、以下の説明及び添付の特許請求の範囲からより完全に明らかになるか、又は以下に記載されるように開示の実施によって習得され得る。

【図面の簡単な説明】

【0038】

本開示の上記及び他の利点及び特徴を得ることができる方法を説明するために、添付の図面に示されるその特定の実施形態を参照することにより、上記で簡単に説明した本開示のより具体的な説明を行う。これらの図面は、本開示の典型的な実施形態のみを示しており、したがって、その範囲を限定するものとみなされるべきではないことが理解される。本開示は、次の添付の図面を使用して、追加の特異性及び詳細を有して記載及び説明される。

【図1】本開示の１つ以上の実施形態による、人工知能（ＡＩ）支援オートフォーカス及び自動細胞生存計数の方法を含む、本明細書に開示される方法のうちの１つ以上を行うように構成される、撮像システムの斜視図を示す。

【図2】本開示の１つ以上の実施形態による、ＡＩ支援オートフォーカス及び自動細胞生存計数を容易にするための図１の撮像システムによって実行可能な様々な行為を示す例示的フロー図である。

【図3】本開示の１つ以上の実施形態による、図１の撮像システム内の様々な例示的構成要素の概略図を示す。

【図4】本開示の１つ以上の実施形態による、標的焦点位置を決定するための様々な行為を示す、例示的フロー図である。

【図5A】当技術分野で知られているような正準ニューラルネットワークの簡略図を示す。

【図5B】図５Ａに示されたニューラルネットワークの分離された部分を示す。

【図6】本開示の１つ以上の実施形態による、ＡＩ支援オートフォーカスを容易にするための人工ニューラルネットワークの例示的設計を表すブロック図である。

【図7】本開示の１つ以上の実施形態による、標的焦点位置を使用して、自動化されたＡＩ支援細胞生存計数を実行するための様々な行為を示す、例示的フロー図である。

【図8】背景除去の概念図を提供する。

【図9】本開示の１つ以上の実施形態による、細胞生存率のＡＩ支援判定を容易にするためのＵネット畳み込みニューラルネットワークの例示的設計を表すブロック図を示す。

【図10】Ｕネット畳み込みニューラルネットワークに関連付けられた入力及び出力の追加の概念図を提供する。

【図11】分水界変換を利用して、シード尤度画像及び全細胞尤度画像に基づいてセグメント化画像を生成する例を示す。

【図12】シード尤度画像及び全細胞尤度画像に基づいてセグメント化画像を生成するために１オブジェクト演算を利用する例示的表現を示す。

【図13】シード尤度画像及び全細胞尤度画像に基づいてセグメント化画像を生成するために深層学習モジュールを利用する例示的表現を示す。

【図14】本開示の１つ以上の実施形態による、ＡＩ支援オートフォーカス及び自動細胞生存計数のための方法を実装した後に表示される例示的画像を示す。

【図15A】生物学者（図１５Ａ）によって決定されるように、評価され、それぞれの画像内の生細胞及び死細胞の数及び位置で注釈を付けられた同じ基本画像を示す。

【図15B】従来技術の自動細胞識別及び生存率方法（図１５Ｂ）によって決定されるように、評価され、それぞれの画像内の生細胞及び死細胞の数及び位置で注釈を付けられた同じ基本画像を示す。

【図15C】本明細書に開示されるＡＩ支援オートフォーカス及び自動細胞計数方法（図１５Ｃ）によって決定されるように、評価され、それぞれの画像内の生細胞及び死細胞の数及び位置で注釈を付けられた同じ基本画像を示す。

【発明を実施するための形態】

【0039】

本開示の実施形態を詳細に説明する前に、本開示は、当然変わり得る、特に例示されたシステム、装置、方法、及び／又はプロセスのパラメータに限定されないことを理解されたい。したがって、本開示の特定の実施形態は、特定の構成、パラメータ、構成要素、要素などを参照して詳細に説明されるが、説明は例示であり、本開示の範囲を限定するものとして解釈されるべきではない。加えて、本明細書で使用される用語は、実施形態を説明することを目的としており、必ずしも本開示の範囲を限定することを意図するものではない。

【0040】

本開示の特定の実施形態による、システム、装置、方法、及び／又はプロセスは、本明細書に開示及び／又は記載されている他の実施形態に記載されている特性又は特徴（例えば、構成要素、部材、要素、部品、及び／又は部分）を含む、組み込む、又は他の方法で含むことができることを理解されよう。したがって、特定の実施形態の様々な特徴は、本開示の他の実施形態と互換性があり、組み合わされ、含まれ、及び／又は組み込まれ得る。したがって、本開示の特定の実施形態に関連する特定の特徴の開示は、特定の実施形態に対する当該特徴の適用又は包含を制限するものとして解釈されるべきではない。むしろ、他の実施形態は、必ずしも本開示の範囲から逸脱することなく、当該特徴、部材、要素、部品、及び／又は部分を含み得ることが理解されよう。

【0041】

更にまた、別段、暗黙的又は明示的に理解又は記載しない限り、本明細書において説明される任意の所与の構成要素又は実施形態について、その構成要素について列挙された可能な候補又は代替物のいずれかが、一般に個々に又は互いに組み合わせて使用され得ることが理解される。追加的に、別段、暗黙的又は明示的に理解又は記載されない限り、かかる候補又は代替物のいかなる列挙も、単なる図示であり、限定ではないことが理解されよう。

【0042】

加えて、別段の表示がない限り、明細書及び特許請求の範囲において使用された量、成分、距離、又は他の測定値を表す数は、「約（about）」という用語によって修飾されるものとして理解されるべきである。本明細書で使用される「約」、「ほぼ」、「実質的に」、又はそれらの同等の用語は、依然として所望の機能を実行するか、又は所望の結果を達成する、特定の記載された量又は条件に近い量又は状態を表す。例えば、「ほぼ」、「約」、及び「実質的に」という用語は、具体的に記載された量又は条件から、１０％未満、又は５％未満、又は１％未満、又は０．１％未満、又は０．０１％未満だけ偏差する量又は状態を指す場合がある。

【0043】

それに応じて、矛盾して示されない限り、明細書及び添付の特許請求の範囲において記載された数値パラメータは、本明細書中に提示された主題によって得られることが求められる、所望の特性に応じて変化することがある近似値である。最低でも、かつ特許請求の範囲に対する均等の原則の塗布を限定することを企図しないように、各数値パラメータは、少なくとも、報告された有意な数字の数に照らして、かつ通常の丸め技術を塗布することによって解釈されるべきである。本明細書中に提示された主題の広範な範囲を記載している数値範囲及びパラメータは近似値であるにも関わらず、特定の例に記載された数値は、可能な限り正確に報告される。しかしながら、いかなる数値も、本質的に、それぞれの試験的測定において見られた標準偏差から必然的に生じる一定の誤差を含有する。

【0044】

本明細書で使用されている見出し及び小見出しは、構造的な目的のみであり、説明又はクレームの範囲を制限するために使用されることを意図したものではない。
ＡＩ支援オートフォーカス及び細胞生存計数のためのシステム及び方法の概要

【0045】

細胞生存計数は、従来、手動の時間集約的プロセスであった。画像処理の分野における進歩は、撮像システムが、これらの手動タスクのうちのいくつかを自動化すること、又は別様に、特に、所与のサンプル内の生／死細胞の比例数を確認すること（又は生存計数）に関して、サンプル中の細胞濃度を判定することに関連付けられる時間及び手動労力の量を低減することを可能にした。これらの技術革新は有望であるが、それらは最終的に手動細胞生存計数の正確さ及び精度に及ばない。

【0046】

サンプル内の細胞生存率を分析するための従来技術のシステム及び方法は、多くの欠点を抱えている。例えば、細胞生存率システムの多くは、サンプル内の細胞の生存率を決定するために、色素、ラベル、又は他の化合物の使用を必要とする。これらの化合物の多くの使用は、結果の読み出しを検索するために特殊な、高価な、及び／又はかさばる機器を必要とすることが多い。したがって、機器は、容易に利用可能である可能性が低く、及び／又は利用しやすいように実験室空間内に配置される可能性が低い。

【0047】

いくつかの従来技術のシステムは、サンプル内の生細胞と死細胞とを識別及び区別するために、計算集約的なアルゴリズムに依存する。残念ながら、これらのシステムは、一般に、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）などの専用の堅牢な計算リソース、又は既知の画像認識及び処理アルゴリズムに伴う大量のデータをより迅速に計算及び処理することができる分散計算リソースへのアクセスを必要とする。残念ながら、分散コンピューティングリソース及び画像取得細胞生存率データのより迅速な分析を可能にし得るネットワーク又はクラウドコンピューティング環境へのアクセスは、常に利用可能又は実行可能であるとは限らない。実際、いくつかの実験室サンプル及び／又は進行中の実験の秘密性は、クラウドのようなネットワーク化されたコンピューティングリソースへのアクセスを防止するセキュリティ対策の増加をもたらし、そのようなリソース及び分析能力が第三者によって提供され、プライバシーの懸念が実験室サンプルに関して存在する状況を含む。

【0048】

コンパクトで、比較的安価であり、ベンチトップ上に大きな設置面積を占めることなく、あるいは隔離された専用の環境を必要とすることなく、共通の職場から便利に配置しアクセスすることができるシステムが不足している。ＧＰＵを追加すること、又はそうでなければ既存のシステムの計算能力を増加させることは、いくつかのデバイスにとって非実用的である。追加の計算能力は、システム内に追加の空間を必要とし、追加の熱を引き起こし、システムの全体的なコストを先行投資及び運用の両方で増加させる（ただし、本明細書で開示される原理は、１つ以上のＧＰＵを利用するデバイス上で実装され得る）。しかし、画像データを処理するための追加の計算リソースなしでは、従来のシステムは、たとえあったとしても、適時に所望の結果を提供することができない。既知の細胞生存計数システムは、顕微鏡画像上の埃、破片、計数チャンバー底部の製造上の欠陥、及び顕微鏡画像上の他の非細胞粒子を無視しながら、生細胞に焦点を合わせることができない。これらのアーチファクトは、結果において混同され、現在のシステムが細胞粒子を非細胞粒子から正確かつ精密に区別することを妨げる。結果として、現在の細胞生存計数システムは、サンプル内の細胞生存率の一貫した正確な測定値を生成するのに有効ではない。

【0049】

したがって、関連するサンプルの正確で迅速なオートフォーカス及び細胞生存計数を実行する、費用効率が高く、コンパクトで、安全なベンチトップ撮像システムが必要とされている。

【0050】

上記で示唆したように、サンプル内の細胞生存率をオートフォーカスし、分析するための従来技術のシステム及び方法は、多くの欠点を抱えている。とりわけ、従来、画像処理に関連する高い計算コストが存在しており、これは、これまで、専門外の実験室機器がサンプル内の生／死細胞に迅速かつ正確に焦点を合わせ、それを識別することを妨げてきた。問題なことに、従来の既知の方法は、生細胞と死細胞との間の差を解決するためにそれによって提供される追加データを使用する試みにおいて、より高い解像度の画像の評価に依存する。この実施は、専用ＧＰＵのバッテリ又は大規模な分散コンピューティング環境へのアクセスなど、追加の計算リソースへの多大な投資を必然的に必要とする。

【0051】

コンパクトで、比較的安価であり、ベンチトップ上に大きな設置面積を占めることなく、あるいは隔離された専用の環境を必要とすることなく、共通の職場から便利に配置しアクセスすることができるシステムが不足している。ＧＰＵを追加すること、又はそうでなければ既存のシステムの計算能力を増加させることは、いくつかのデバイスにとって非実用的である。追加の計算能力は、システム内に追加の空間を必要とし、追加の熱を引き起こし、システムの全体的なコストを先行投資及び運用の両方で増加させる。本明細書で説明される実施形態は、１つ以上のＧＰＵを利用するデバイス上で実装され得る。しかしながら、特定の用途では、画像データを処理するための追加の計算リソースなしでは、従来のシステムは、たとえあったとしても、適時に所望の結果を提供することができない。既知の細胞生存計数システムは、顕微鏡画像上の埃、破片、計数チャンバー底部の製造上の欠陥、及び顕微鏡画像上の他の非細胞粒子を無視しながら、生細胞に焦点を合わせることができない。これらのアーチファクトは、結果において混同され、現在のシステムが細胞粒子を非細胞粒子から正確かつ精密に区別することを妨げる。結果として、現在の細胞生存計数システムは、サンプル内の細胞生存率の一貫した正確な測定値を生成するのに有効ではない。

【0052】

本明細書に開示されるシステム及び方法は、当技術分野において指摘された問題のうちの１つ以上を解決し、最小限の処理サイクルを使用して、追加の処理ハードウェアを必要とすることなく、（例えば、生細胞及び死細胞の混合物に対する）迅速なオートフォーカスを有利に可能にする。本明細書に開示される改善されたオートフォーカス方法は、人工知能によって電力供給され、任意の所与のサンプルにおける標的焦点位置の迅速かつ確実な識別を可能にする。サンプル内の標的焦点位置を識別するこの迅速かつ低コストの方法は、迅速な（例えば、２０秒未満、好ましくは１０秒未満）識別及び／又は細胞生存計数の表現の表示を可能にする第１のステップとして、開示される細胞生存計数方法の多くに組み込まれる。

【0053】

図１は、本明細書で開示される方法のうちの１つ以上を実行するように構成された撮像システム１００の斜視図を示す。例えば、図１の撮像システム１００は、図２の例示的なフロー図によって開示されるＡＩ支援オートフォーカス及び／又は自動細胞生存計数のフロー図２００に関連する方法を容易にするように動作可能である。示されるように、撮像システム１００は、オートフォーカス及び細胞生存計数を行うために使用される顕微鏡及びコンピューティングシステムを囲み保護するハウジング１０２を含む。ハウジング１０２は、細胞計数スライドを撮像システム内に受け入れるように動作可能なスライドポート／ステージアセンブリ１０６を含む（行為２０２）。いったんそこに受信されると、撮像システム１００は、次いで、細胞計数スライド上の細胞を撮像するための標的焦点位置を決定し（行為２０４）、標的焦点位置を使用して、自動細胞生存計数を実行する（行為２０６）。細胞生存計数の表現は、例えば、ディスプレイ１０４を使用して撮像システム１００において表示される（動作２０８）。この表現及び／又は自動細胞生存計数に関連付けられた他のデータは、いくつかの実施形態では、ＵＳＢポート又は当技術分野で知られているような他のデータ交換ポートを含むことができる通信モジュール１０８とのユーザ対話を通して撮像システム１００から除去され得、及び／又は別個のデバイスに保存され得る。

【0054】

本開示に鑑みて、本明細書で説明される原理は、任意の好適な撮像システム及び／又は任意の好適な撮像モダリティを利用して実装され得ることが理解されよう。本明細書で論じられる撮像システム及び撮像モダリティの特定の例は、例として、かつ開示される実施形態の特徴を説明する手段として提供される。したがって、本明細書に開示される実施形態は、任意の特定の顕微鏡システム又は顕微鏡用途に限定されず、明視野撮像、蛍光顕微鏡、フローサイトメトリー、共焦点撮像（例えば、３Ｄ共焦点撮像、又は任意のタイプの３Ｄ撮像）など様々な文脈で実装されてもよい。例えば、本明細書で議論される原理は、細胞計数能力を提供又は改善するために、フローサイトメトリーシステムを用いて実装され得る。別の例として、本開示の技法に従って取得された細胞数及び／又は生存率データは、蛍光データを補完して、異なる細胞間の識別における精度を向上させるために使用され得る。

【0055】

更に、本開示を考慮して、本明細書で説明される任意の数の原理が様々な分野において実装され得ることが理解されよう。例えば、システムは、必ずしも本明細書で説明されるオートフォーカス、細胞生存率及び／又は特徴検出技法も必ずしも実装することなく、本明細書で論じられる細胞計数技法を実装してもよい。

【0056】

図３は、本開示の１つ以上の実施形態による、図１の撮像システム１００内の様々な例示的構成要素の概略図を示す。例えば、図３は、撮像システム１００が、コンピュータシステム１１０と、それに含まれる顕微鏡システム１２０とを含み得ることを示す。図３は、撮像システム１００のハウジング１０２内に配置されたコンピュータシステム１１０及び顕微鏡システム１２０を概念的に表す。しかしながら、本開示を考慮して、コンピュータシステム１１０又は顕微鏡システム１２０の任意の部分が、開示される実施形態の範囲内で、少なくとも部分的にハウジング１０２の外側に配置されてもよいことを理解されたい。

【0057】

図３は、撮像システム１００のコンピュータシステム１１０が、プロセッサ１１２、ハードウェア記憶デバイス１１４、コントローラ１１６、通信モジュール１０８、及び／又は機械学習モジュール１１８などの様々な構成要素を備えることができることを示す。

【0058】

プロセッサ１１２は、コンピュータ可読命令（例えば、コンピュータプログラムを形成する命令）の実行を容易にするために、任意の数の論理ユニット、レジスタ、及び／又は制御ユニットを含む電子回路の１つ以上のセットを備え得る。そのようなコンピュータ可読命令は、物理システムメモリを含むことができ、揮発性、不揮発性、又はそれらの何らかの組み合わせであり得る、ハードウェア記憶デバイス１１４内に記憶され得る。プロセッサ（例えば、プロセッサ１１２）及びコンピュータ記憶媒体（例えば、ハードウェア記憶デバイス１１４）に関連する更なる詳細が以下に提供される。

【0059】

コントローラ１１６は、顕微鏡システム１２０の一部（例えば、位置決め機構１２８）などの撮像システム１００の１つ以上の物理的装置を制御するように動作可能な、任意の好適なソフトウェア構成要素（例えば、コンピュータ実行可能命令のセット）及び／又はハードウェア構成要素（例えば、特定用途向け集積回路、又は他の専用ハードウェア構成要素）を備えてもよい。

【0060】

通信モジュール１０８は、オンシステム構成要素／デバイス間及び／又はオフシステム構成要素／デバイスとの通信を容易にするように動作可能なソフトウェア構成要素又はハードウェア構成要素の任意の組み合わせを備え得る。例えば、通信モジュール１０８は、他のデバイス（例えば、ＵＳＢポート、ＳＤカードリーダ、及び／又は他の装置）と通信するためのポート、バス、又は他の物理的接続装置を備えてもよい。加えて、又は代替として、通信モジュール１０８は、非限定的な例として、Ｂｌｕｅｔｏｏｔｈ、超広帯域、ＷＬＡＮ、赤外線通信などの任意の好適な通信チャネルを通して、外部システム及び／又はデバイスと無線通信するように動作可能なシステムを備えてもよい。

【0061】

機械学習モジュール１１８はまた、機械学習モデル又は他の人工知能ベースの構造／アーキテクチャを使用して処理を容易にするように動作可能なソフトウェア又はハードウェア構成要素の任意の組み合わせを備え得る。例えば、機械学習モジュール１１８は、非限定的な例として、単層ニューラルネットワーク、フィードフォワードニューラルネットワーク、放射基底関数ネットワーク、ディープフィードフォワードネットワーク、リカレントニューラルネットワーク、長期短期記憶（ＬＳＴＭ）ネットワーク、ゲーテッドリカレントユニット、オートエンコーダニューラルネットワーク、変分オートエンコーダ、デノイジングオートエンコーダ、スパースオートエンコーダ、マルコフ連鎖、ホップフィールドニューラルネットワーク、ボルツマンマシンネットワーク、制限ボルツマンマシンネットワーク、深層信念ネットワーク、深層畳み込みネットワーク（又は畳み込みニューラルネットワーク）、デコンボリューションニューラルネットワーク、深層畳み込み逆グラフィックスネットワーク、生成敵対ネットワーク、液体状態機械、極限学習機械、エコー状態ネットワーク、深層残差ネットワーク、コホーネンネットワーク、サポートベクターマシン、ニューラルチューリングマシンなどの形態で構成された機能ブロック及び／又は処理層を実行するように動作可能なハードウェアコンポーネント又はコンピュータ実行可能命令を含み得る。

【0062】

図３に示されるように、撮像システム１００は、画像センサ１２２と、照明源１２４と、光学トレイン１２６と、サンプルスライドを受容するためのスライドポート／ステージアセンブリ１０６と、位置決め機構１２８とを有する、顕微鏡システム１２０を含む。

【0063】

画像センサ１２２は、顕微鏡システムの光路内に位置付けられ、サンプルの画像を捕捉するように構成され、それは、標的焦点位置を識別し、続いて、自動細胞生存計数を行うために、開示される方法において使用されるであろう。本明細書で使用されるように、「画像センサ」又は「カメラ」という用語は、電荷結合素子、相補型金属酸化膜半導体デバイス、Ｎ型金属酸化膜半導体デバイス、Ｑｕａｎｔａ画像センサ、科学的相補型金属酸化膜半導体デバイスなどの前述の組み合わせを含むが、それらに限定されない、本明細書に説明される装置、システム、及び方法に適合する任意の適用可能な画像センサを指す。

【0064】

光学トレイン１２６は、照明源１２４からの光を受容された細胞計数スライドに指向させることによって、細胞計数スライドの視認を容易にするように構成される、１つ以上の光学要素を含んでもよい。光学トレイン１２６はまた、細胞計数スライド内の標本によって散乱、反射、及び／又は放出された光を画像センサ１２２に向かって指向するように構成されてもよい。照明源１２４は、白色光又は１つ以上の特定の波長帯域の光などの様々なタイプの光を放出するように構成されてもよい。例えば、照明源１２４は、光キューブ（例えば、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ ＥＶＯＳ（商標）光キューブ）を含むことができ、これは、照明波長の所望のセットのいずれかに対してハウジング内に設置及び／又は交換され得る。

【0065】

位置決め機構１２８は、ｘ軸モータ、ｙ軸モータ、及びｚ軸モータのいずれかを含むことができ、これらは、光学トレイン１２６及び／又は画像センサ１２２の構成要素を適宜調整するように動作可能である。

【0066】

図３は更に、いくつかの事例において、撮像システム１００がディスプレイ１０４を含むことを示す。図３は、ディスプレイ１０４が、コンピュータシステム１１０又はその顕微鏡システム１２０などの撮像システム１００の様々な他の構成要素と、直接的又は間接的に通信し得ることを示す（例えば、図３において、三頭矢印によって示されるように）。例えば、撮像システム１００は、顕微鏡システム１２０の構成要素を使用して画像を捕捉し得、捕捉された画像は、コンピュータシステム１１０の構成要素（例えば、プロセッサ１１２、ハードウェア記憶デバイス１１４、機械学習モジュール１１８など）を使用して処理及び／又は記憶され得、処理及び／又は記憶された画像は、１人以上のユーザによる観察のために、ディスプレイ１０４上に表示され得る。

【0067】

本明細書で説明されるように、撮像システム１００の構成要素は、撮像システム１００によって撮像される細胞計数スライド内に含まれるサンプルに対するＡＩ支援オートフォーカス、並びに細胞計数スライド内に含まれるサンプルに対するＡＩ支援細胞生存計数を容易にし得る。いくつかの事例では、（ＡＩ支援オートフォーカスを介して決定された標的焦点位置に従って実行され得る）ＡＩ支援細胞生存計数の結果の表現は、撮像システム１００に挿入された細胞計数スライドに対するオートフォーカス及び細胞生存計数処理を開始した後の短い期間内（例えば、約２０秒以下の期間内、又は約１０秒以下の期間内）に、撮像システム１００のディスプレイ１０４上に表示され得る。

【0068】

本開示を考慮すると、撮像システムは、図３を参照して図示及び説明されるものに対して追加又は代替構成要素を備えてもよく、そのような構成要素は、様々な様式で編成及び／又は分散されてもよいことを理解されたい。
ＡＩ支援オートフォーカスを容易にするためのシステム及び方法

【0069】

上述したように、人工知能によって動力を供給されるオートフォーカス及び細胞生存計数を容易にすることは、細胞計数スライド上の細胞を撮像するための標的焦点位置を決定することを含む（図２を参照して上述したように、行為２０４）。細胞計数スライド上の細胞を撮像するための標的焦点位置を決定することは、様々な行為と関連付けられ得る。図４は、細胞計数スライド上の細胞を撮像するための標的焦点位置を決定するためのフロー図２００からの行為２０４に関連する様々な行為を示す例示的なフロー図を示す。フロー図２００に示される行為は、特定の順序で例示及び／又は説明され得るが、ある行為は、その行為が実行される前に別の行為が完了することに依存するので、具体的に述べられるか又は必要とされない限り、特定の順序付けは必要とされない。更に、フロー図に表される全ての行為が、本明細書に開示されるＡＩ支援オートフォーカス及び自動細胞生存計数のための方法を含む、開示される方法を容易にするために必須であるわけではないことに留意されたい。

【0070】

行為２０４に関連する行為２０４ａは、公称焦点範囲にわたって複数のモノクロ画像を捕捉することを含む。いくつかの実装形態では、行為２０４は、コンピュータシステム１１０のプロセッサ１１２、ハードウェア記憶デバイス１１４、及び／又はコントローラ１１６、並びに顕微鏡システム１２０の画像センサ１２２、照明源１２４、光学トレイン１２６、スライドポート／ステージアセンブリ１０６、及び／又は位置決め機構を使用して、撮像システム１００によって実行される。

【0071】

例として、撮像システム１００は、スライドポート／ステージアセンブリ１０６内に配置されたサンプルホルダ（例えば、細胞計数スライド）を識別するために、１つ以上のセンサと併せてプロセッサ１１２を採用してもよい。いくつかの事例では、撮像システム１００は、サンプルホルダのタイプ（例えば、使い捨て細胞計数スライド又は再使用可能な細胞計数スライド）を自動的に識別し、検出されたサンプルホルダのタイプに基づいて、画像捕捉設定を自動的に判定する。例えば、撮像システム１００は、細胞計数スライドが使い捨てであるか再使用可能であるかに基づいて、及び／又は細胞スライドの他の属性（例えば、決定されたサンプルホルダ、カバースリップ、及び／又は他の基板厚さ）に基づいて、画像ｚ軸ステップ高さ／サイズ及び／又は初期公称焦点範囲を識別してもよい。

【0072】

更に、撮像システム１００は、プロセッサ１１２及び／又はコントローラ１１６を利用して、位置決め機構１２８に、スライドポート／ステージアセンブリ１０６に対して光学トレイン１２６を位置決めさせて、細胞計数スライド（例えば、細胞計数スライド内のサンプル）の画像の捕捉を容易にすることができる。撮像システム１００は、画像センサ１２２及び照明源１２４を上記のいずれかと組み合わせて使用して、細胞計数スライドの画像を捕捉することができる。更に、撮像システム１００は、公称焦点範囲にわたって複数のモノクロ画像を取得するために、スライドポート／ステージアセンブリ１０６及び光学トレイン１２６の異なる相対的位置決めの下で、細胞計数スライドの追加画像を捕捉してもよい。いくつかの実装形態では、モノクロ画像は、１２８０×９６０の解像度を伴う８ビット画像を備え、モノクロ画像の各々は、公称焦点範囲にわたって各ｚ軸ステップにおいて捕捉される。

【0073】

本明細書で説明される行為を実行するための任意の命令、及び／又は本明細書で説明される行為（例えば、細胞計数スライドタイプ、公称焦点範囲、ｚ軸ステップ、モノクロ画像等）の実行に関連して使用又は生成／記憶されるデータは、揮発性又は不揮発性様式でハードウェア記憶デバイス１１４内に記憶されてもよい。

【0074】

行為２０４に関連する行為２０４ｂは、各モノクロ画像内の１つ以上の結合成分を識別することを含む。いくつかの実装形態では、撮像システム１００は、プロセッサ１１２、ハードウェア記憶デバイス１１４、及び／又は機械学習モジュール１１８のうちの１つ以上を利用して、各モノクロ画像内の結合成分を識別する。

【0075】

本明細書で使用される場合、「結合成分」において使用される「結合性」は、どのピクセルが対象ピクセルの近傍とみなされるかを指す。（例えば、行為２０４ａに従って取得された複数のモノクロ画像から）好適なデジタル化画像が利用可能になった後、画像内の全ての結合成分が最初に識別される。結合成分は、単一の値、例えば黒を表す値のピクセルの集合であり、経路は、例えば黒画素のみをトラバースすることによって、集合を離れることなく集合の任意のピクセルから集合内の任意の他のピクセルへ形成することができる。一般的に言えば、結合成分は、「４結合」又は「８結合」のいずれかであり得る。４結合の場合、経路は水平方向又は垂直方向にのみ移動することができるので、４つの可能な方向が存在する。したがって、斜め方向に隣接する２つの黒画素は、水平方向又は垂直方向に隣接する別の黒画素が２つの間のブリッジとして機能しない限り、４結合されない。８結合の場合、ピクセル間の経路は斜めに進むこともあり得る。一実施形態では８結合成分を使用するが、４結合成分を識別して使用することもできる。

【0076】

例えば、いくつかの実装形態では、各モノクロ画像の結合成分を識別することは、モノクロ画像を閾値処理して、各モノクロ画像について結果として生じるバイナリ画像を取得することによって実行される。閾値処理は、行為２０４ａを参照して上述した公称焦点範囲の最小画像と最大画像との間の差に基づいて実行されてもよい。閾値処理のための様々な方法は、「上三角」閾値処理方法など、本開示の範囲内である。

【0077】

閾値処理に加えて、各モノクロ画像の結合成分を識別することは、結果として得られるバイナリ画像の各々に１つ以上のモルフォロジー演算子を適用することを含んでもよい。モルフォロジー演算／演算子は、非限定的な例として、モルフォロジークロージング（morphological closing）、モルフォロジーオープニング（morphological
opening）、及び／又はフォアグラウンドホールフィリング（foreground hole filling）を含み得る。例えば、細胞は、不適切又は準最適な照明、焦点調節、画像感知、及び／又は後処理（例えば、閾値処理）に起因して、フィヨルド（Ｃ字形アーチファクト又は不規則性）を含むものとして、バイナリ画像において表され得る。いくつかの事例では、細胞が丸い形状を備えるはずであるという仮定に基づいて、モルフォロジークロージング演算は、バイナリ画像内の細胞形状を近似するために、モノクロ画像内に存在する任意のフィドルを充填し得る。一実施形態では、モルフォロジークロージング演算は、２×２マスクサイズを利用する。

【0078】

更に、いくつかの事例では、細胞は、不適切又は準最適な照明、集束、画像感知、及び／又は後処理（例えば、閾値処理）に起因して、細胞壁を越えて延在する巻きひげ（例えば、側枝）を含むものとして、バイナリ画像において表され得る。したがって、いくつかの実装形態では、システムは、バイナリ画像内の細胞形状の近似を改善するために、バイナリ画像からテンドリルをトリミング又は除去するためのモルフォロジーオープニング演算を実行し得る。一実施形態において、モルフォロジーオープニング演算は、２×２マスクサイズを使用して実行される。

【0079】

加えて、前景穴は、異なる焦点位置（例えば、複数のモノクロ画像が行為２０４ａに従って捕捉された異なるｚ高さ焦点位置）からの細胞の出現に基づいて、バイナリ画像のセット内に現れてもよい。したがって、いくつかの事例では、フォアグラウンドホールフィル動作は、そのようなフォアグラウンドホールを充填する方法で接続されたピクセルを拡張するために実行され得る。一実施形態では、フォアグラウンドホールフィル動作は、８結合フォアグラウンドホールフィル動作であるが、いくつかの実装形態では、フォアグラウンドホールフィル動作は、４結合フォアグラウンドホールフィル動作である。

【0080】

いくつかの事例では、各バイナリ画像に対して所望のモルフォロジー演算（例えば、モルフォロジーオープニング、モルフォロジークロージング、フォアグラウンドホールフィル）を実行した後、撮像システム１００は、追加の処理に備えて各バイナリ画像内の結合成分を画定してもよい。しかしながら、いくつかの事例では、追加の処理に備えて、結合成分を識別するために追加の動作が実行されてもよい。

【0081】

例えば、いくつかの実装形態では、撮像システム１００は、上記のバイナリ画像の各々内で画定された各結合成分について第１及び第２のバイナリモーメントを測定する。いくつかの事例では、特定の結合成分の第１及び第２のバイナリモーメントは、細胞形状の近似としての役割を果たし得る、楕円の軸と相関してもよい。したがって、特定の結合成分について、撮像システム１００は、楕円を特定の結合成分にフィッティングすることができ、楕円は、特定の結合成分について測定された第１及び第２のバイナリモーメントに基づくモーメントを有する。

【0082】

このようにして、撮像システム１００は、上述のバイナリ画像の各々の中で画定された各結合成分に楕円をフィッティングすることができる。いくつかの実装形態では、撮像システム１００は、上述の各バイナリ画像から第２のバイナリ画像を生成する（例えば、各モノクロ画像を閾値処理することから生成された各バイナリ画像）。第２のバイナリ画像は、上述したバイナリ画像からの各結合成分について測定された第１及び第２のバイナリモーメントからの楕円フィッティングに基づいて生成／画定された結合成分を含むことができる。この点に関して、いくつかの事例では、第２のバイナリ画像の楕円ベースの結合成分は、撮像システム１００が細胞形状を近似するのを支援することができる。

【0083】

いくつかの実装形態では、本開示によれば、第２のバイナリ画像は、標的焦点位置を決定するための更なる処理のために使用される。しかしながら、いくつかの実装形態では、撮像システム１００は、第１のバイナリ画像及び第２のバイナリ画像に基づいてバイナリ画像の第３のセットを生成し、標的焦点位置を決定するための更なる処理のためにバイナリ画像の第３のセットを使用する。バイナリ画像の第３のセットは、各バイナリ画像（又は各対応するモノクロ画像を閾値処理することによって生成された初期バイナリ画像）とその対応する第２のバイナリ画像とをマージするか、又はその和集合を取ることによって生成され得る。

【0084】

撮像システム１００が、標的焦点位置を決定するための更なる処理のために、第１のバイナリ画像、第２のバイナリ画像、又は第３のバイナリ画像のセットを利用するかどうかにかかわらず、撮像システム１００は、いくつかの実装形態では、各結合成分を測定し、所定のサイズ条件を満たさない任意の結合成分を除去し得る。例えば、撮像システム１００は、４０μｍ未満の短軸長又は直径（例えば、楕円短軸長）を備える、第１、第２、又は第３のバイナリ画像のいずれかから、結合成分を除去してもよい。いくつかの実装形態では、所定のサイズ条件は、カウントされる細胞のタイプに基づいて選択される。例えば、Ｔ細胞、Ｂ細胞、ＮＫ細胞、及び／又は単球の場合、撮像システム１００は、約２～４０μｍの範囲外の短軸直径を有する結合成分を除去することができるが、他の細胞の場合、撮像システム１００は、約２～８μｍの範囲外の短軸直径を有する結合成分を除去することができる。そのような短軸長さ直径は、例えば、特定の用途の必要性に応じて、２μｍ、４μｍ、６μｍ、８μｍ、１０μｍ、１５μｍ、２０μｍ、２５μｍ、３０μｍ、３５μｍ、４０μｍ、４５μｍ、若しくは５０μｍ、又は前述の値のいずれか２つによって定義される端点を有する範囲に設定されてもよい。

【0085】

行為２０４に関連付けられた行為２０４ｃは、各結合成分に関連付けられたピクセルの数に基づいて、識別された結合成分をソートすることを含む。上述したように、行為２０４ｃに従ってソートされる識別された結合成分は、行為２０４ｂを参照して上述した第３の組のバイナリ画像、第２のバイナリ画像、又は最初のバイナリ画像からのものであってもよい。いくつかの実装形態では、撮像システム１００は、プロセッサ１１２を利用して、各結合成分に関連付けられたピクセルの数に基づいて、識別された結合成分をソートする。

【0086】

行為２０４ｃに従って識別された結合成分をソートすることは、様々な行為／ステップを含み得る。例えば、いくつかの事例では、識別された結合成分をソートすることは、各結合成分に含まれるピクセルの数をカウントすることと、結合成分のメジアンピクセル数を計算することと、メジアンピクセル数に基づいて（例えば、各それぞれの結合成分内のピクセルの数とメジアンピクセル数との間の絶対差に基づいて）結合成分をソートすることとを含み得る。

【0087】

いくつかの事例では、撮像システム１００は、ピクセル数に加えて、又は代替として、識別された結合成分をソートするために１つ以上の他の入力を利用する。例えば、撮像システム１００は、撮像された成分のピクセル輝度及び／又は撮像された成分の相対真円度の尺度を利用することができる。撮像された成分の輝度及び／又は真円度に基づいて、撮像システム１００は、撮像された成分が細胞である確率と、細胞が生きている（例えば、生細胞又は死細胞）という別の確率とを決定することができる。これらの２つの確率は、（例えば、２つの確率を一緒に乗算することによって）組み合わせられて、撮像された成分が生細胞である同時確率（例えば、輝度のみに基づく成分が細胞である確率、及び真円度のみに基づく成分が細胞である確率）を形成してもよい。

【0088】

結合成分は、昇順又は降順にソートされ得る。いくつかの事例では、昇順で結合成分をソートすることは、細胞の通常のサイズに近似する結合成分をリストの先頭に移動させ、他のオブジェクト（例えば、凝集塊及びデブリ粒子）に近似する可能性がより高い結合成分をリストの末尾に移動させる効果を有する。

【0089】

更に、いくつかの事例では、撮像システム１００は、通常の又は予想される細胞サイズに近似する可能性が低いリスト要素を除去することによってリストを修正する。例えば、撮像システム１００は、リスト中央値に関するガウス分布又は他の分布を利用して、リスト中央値から所定の距離又は差の外側にあるリスト要素などの特定のリスト要素を除去することができる。他の例では、撮像システム１００は、どのリスト要素を除去すべきかを決定するための開始点として最大リスト値を利用する。

【0090】

行為２０４に関連する行為２０４ｄは、機械学習モジュールを使用して、ソートされた結合成分の少なくとも一部の焦点質推定値を評価することを含む。いくつかの実装形態では、撮像システム１００は、プロセッサ１１２及び／又は機械学習モジュール１１８を利用して、ソートされた結合成分の少なくとも一部の焦点質推定値を評価する。

【0091】

背景として、人工知能は、その中核において、複雑な問題又は困難な問題を解決するために人間の思考又は知能をモデル化することを試みる。機械学習は、コンピュータモデル及び何らかの形のフィードバックを利用して、規定された規則の複雑なセットなしにデータから「学習」する人工知能の１つの形である。ほとんどの機械学習アルゴリズムは、学習プロセスで使用されるフィードバックのタイプに基づいて分類することができる。例えば、教師なし学習モデルでは、ラベル付けされていないデータが機械学習アルゴリズムに入力され、そこから一般構造が抽出される。教師なし学習アルゴリズムは、データセットをクラスタリングするための強力なツールであり得る。一方、教師あり学習モデルは、ラベル付けされた入力データを利用して機械学習アルゴリズムをトレーニングし、所望の結果を確実に予測するためのモデルを「学習」する。したがって、教師あり機械学習モデルは、データセットを分類するため又は回帰分析を実行するための強力なツールであり得る。

【0092】

ニューラルネットワークは、脳の生物学的機能を模倣する好適なネットトポロジー及び処理機能を選択することによって、コンピュータの助けを借りて複雑な思考及び決定プロセスをシミュレートしようと試みる機械学習アルゴリズムの広いカテゴリを包含する。ニューラルネットワークは、広範囲の教師あり学習モデル及び教師なし学習モデルにおいて使用されるのに十分に動的である。今日、数百の異なるニューラルネットワークモデル並びに多数の接続特性及び機能が存在する。それにもかかわらず、ニューラルネットワークが機能する主要な方法は同じままである。

【0093】

例えば、図５Ａは、正準ニューラルネットワークの簡略化された概略図を示す。図５Ｂは、図５Ａに示されるニューラルネットワークの分離された部分を更に提供する。図示されるように、いわゆる入力ニューロンは、ニューラルネットワークの入力側に位置し、隠れニューロンに接続される。各ニューロンは、外部信号の形態で、又は他のニューロンからの出力として、１つ又はいくつかの重み付けされた入力を有する。正及び負の重み付けが可能である。重み付けされた入力の和は、伝達関数を介して１つ以上の出力値に伝達され、出力値は、他のニューロンを制御するか、又は出力値として働く。図５Ａ（及び図５Ｂの単一ノードとして）に示される隠れニューロンは、出力ニューロン（又は図５Ｂの場合には出力ノード）と接続される。もちろん、隠れニューロンの領域は、かなり複雑な構造を有することもでき、いくつかの相互リンクされたレベルから構成されることもできる。

【0094】

ある機能の全てのニューロンの全体は、層（例えば、入力層）と呼ばれる。ニューラルネットワークのより影響力のあるパラメータのいくつかは、そのトポロジとは別に、ニューロンベース電位並びにニューロン間の接続の強度を含む。パラメータを設定するために、代表的なトレーニングセットがネットワークによって反復的に評価される。各評価サイクルの後、重み付け及びベース電位が変更され、新たに設定される。この反復は、平均故障率が所定の最小値を下回るまで、又は事前に定義された問題関連終了基準に達するまで実行される。

【0095】

上述したように、撮像システム１００は、機械学習を利用して、ソートされた（例えば、図４の行為２０４Ｄに従ってソートされた）結合成分の少なくとも一部の焦点質推定値を評価することができる。撮像システム１００は、上述の識別された結合成分を使用して、機械学習モデルのための入力を生成し得る。例えば、いくつかの実装形態では、システムは、バイナリ画像（例えば、バイナリ画像の第３のセット）の結合成分のうちの少なくともいくつかについてピクセルウィンドウを局所化する。ピクセルウィンドウは、３２×３２ピクセル又は別のサイズなどの様々なサイズをとり得る。当業者は、本開示を考慮して、ピクセルウィンドウのサイズが、撮像システム１００が採用されている撮像用途（例えば、撮像されている細胞のタイプ）に依存し得ることを理解するであろう。

【0096】

撮像システム１００はまた、各それぞれの結合成分のピクセルウィンドウに基づいて、各結合成分のｚスタックを決定してもよい。例えば、特定のｚ高さ（又は焦点位置）に関連付けられた特定のバイナリ画像内で識別された特定の結合成分に対するピクセルウィンドウについて、撮像システム１００は、特定の結合成分に対する特定のバイナリ画像の特定のｚ高さからオフセットされた（例えば、＋１ ｚステップ、－１ ｚステップ、＋２ ｚステップ、－２ ｚステップなどだけオフセットされた）ｚ高さに関連付けられた他のバイナリ画像内の対応するピクセルウィンドウ（例えば、同じピクセル座標を有するピクセルウィンドウ）を識別することができ、ピクセルウィンドウのこの集合は、特定の結合成分に対するｚスタックを形成することができる。

【0097】

本開示を考慮すると、特定のｚスタックのサイズは、異なる実装形態において変更され得ることが諒解されよう。例えば、ｚスタックは、約３～１１以上の範囲内の（隣接するｚ高さに関連付けられたバイナリ画像からの）いくつかのピクセルウィンドウを含んでもよく、ｚスタックのための（ピクセルウィンドウのサイズと同様の）ピクセルウィンドウの数はまた、撮像用途及び／又は撮像される細胞タイプに依存してもよい。

【0098】

撮像システム１００は、任意の数の結合成分についてｚスタックを形成することができる。例えば、撮像システム１００は、（例えば、図４の行為２０４ｄを参照して上述したようにソートされた）結合成分のソート済みリストに含まれる所定数（例えば、３２又は別の数）の結合成分についてｚスタックを形成してもよい。撮像システム１００は、機械学習モジュールへの入力として、様々な識別された結合成分についてのｚスタックを提供することができ、機械学習モジュールは、ｚスタックに基づいて焦点質推定値を評価することができる。

【0099】

当業者は、本開示を考慮して、様々な機械学習モデルが、１つ以上のソートされた結合成分に基づいて（例えば、上記で説明したようにｚスタックに基づいて）焦点質推定値を評価するために採用され得ることを諒解されよう。図６は、本開示による、撮像システム１００が焦点質評価を容易にするために利用することができる、１つの例示的ニューラルネットワークを示す。特に、図６は、ＡＩ支援オートフォーカスを容易にするための人工ニューラルネットワーク６００についての例示的なブロック図を示す。人工ニューラルネットワーク６００は、入力トレーニングデータとしての結合成分のためのｚスタックと、グラウンドトゥルース出力としての明確に識別された標的焦点位置とを含むトレーニングデータを使用して、教師あり又は部分的教師あり方式でトレーニングされ得る。いくつかの事例では、トレーニングデータは、焦点質を評価するための人工ニューラルネットワーク６００のロバスト性を改善するために、ｚスタックのピクセルウィンドウ又は画像間により小さいｚステップを含むｚスタックを含み得る。

【0100】

図６は、上述したように、任意の数のｚスタック（例えば、１、２、．．．３２、又はそれ以上）を含むことができる入力データ６０２を示す。人工ニューラルネットワーク６００は、入力データ６０２を受信し、１つ以上の特徴識別層６０４を使用してそれを処理し得る。図６に示されるように、特徴識別層６０４は、例えば、畳み込み層６０６、線形層６０８、及び最大プーリング層６１０（又は、いくつかの事例では、平均プーリング層）などの様々な構成要素を備えてもよい。非限定的な例として、いくつかの実装形態では、畳み込み層６０６は３×３畳み込み層であり、線形層６０８はＲｅＬｕ非線形関数であり、最大プーリング層は２×２最大プーリング層である。

【0101】

図６は、人工ニューラルネットワーク６００が３つの実質的に同一の特徴識別層、特に、特徴識別層６０４、特徴識別層６１２、及び特徴識別層６１４を含む実装形態を示す。しかしながら、他の実装形態では、人工ニューラルネットワーク６００は、同じ又は少なくとも部分的に異なる構成要素を有する任意の数の特徴識別層を備え得る。

【0102】

図６はまた、人工ニューラルネットワーク６００が、特徴識別層に続く長短期記憶（ＬＳＴＭ）プロセス層６１６を含む実装形態を示す。ＬＳＴＭは、双方向方式で入力として提供されるｚスタックの処理を可能にし得る。ＬＳＴＭプロセス層６１６を人工ニューラルネットワーク６００に実装することは、いくつかの事例では、焦点質を評価するための人工ニューラルネットワーク６００の精度を改善し得るが、ＬＳＴＭプロセス層６１６を実装することは、プロセス集約的及び／又は時間がかかり得る。したがって、いくつかの実装形態では、人工ニューラルネットワーク６００は、計算時間及び／又はリソースを節約するために（例えば、２０秒未満又は約１０秒以下の総計算時間を可能にするために）ＬＳＴＭ処理層６１６を省略する。

【0103】

図６は、人工ニューラルネットワーク６００が、ＬＳＴＭプロセス層６１６に続く（又は、ＬＳＴＭプロセス層６１６を省略する実装形態では、特徴識別層６１４に続く）最終線形層６１８を含むことを示す。最終線形層６１８は、出力６２０を提供するように構成され得、出力は、人工ニューラルネットワーク６００への入力として提供された特定のｚスタックにおいて表された各ｚ高さについての焦点質推定値を備え得る。人工ニューラルネットワーク６００への入力として提供される各特定のｚスタックに対して、撮像システム１００は、特定のｚスタックに対する標的焦点位置を表す出力６２０から特定のｚ高さ（又は焦点位置）を識別することができる。

【0104】

複数のｚスタックを人工ニューラルネットワーク６００に提供することによって、撮像システム１００は、各ｚスタックについての出力６２０として対応する焦点質推定値、並びに各ｚスタックについてのそれぞれの標的焦点位置を取得することができる。行為２０４に関連する行為２０４ｅは、評価された結合成分の焦点質推定値に基づいて標的焦点位置を計算することを含む。上述したように、複数のｚスタックに関する（人工ニューラルネットワーク６００からの出力６２０からの）焦点質推定値は、各ｚスタックに関するそれぞれの標的焦点位置を提供することができる。標的焦点位置は、様々な方法で焦点質推定値（又は各ｚスタックに対するそれぞれの標的焦点位置）に基づいて生成又は定義され得る。例えば、いくつかの事例では、撮像システム１００は、各ｚスタックに対する様々なそれぞれの標的焦点位置の中央値、最頻値、又は平均値を定義して、上述した行為２０４ａに従って撮像システム１００によって撮像された細胞計数スライドに対する全体的な標的焦点位置を選択する。このようにして、撮像システム１００は、改善された、計算的に安価な、及び／又は迅速な方法でオートフォーカスを容易にするために人工知能を利用することができる。
ＡＩ支援細胞生存計数を容易にするためのシステム及び方法

【0105】

上述したように、人工知能によって駆動される細胞生存計数を容易にすることは、標的焦点位置を使用して自動細胞生存計数を実行することを含んでもよい（図２を参照して上述したように、行為２０６）。標的焦点位置を使用して自動細胞生存計数を行うことは、様々な行為と関連付けられることができる。図７は、標的焦点位置を使用して自動細胞生存計数を行うためのフロー図２００からの行為２０６に関連する様々な行為を描写する、例示的フロー図を示す。

【0106】

本開示は、少なくともいくつかの点で、標的焦点位置を使用して細胞生存計数を実行することに焦点を当てているが、本開示を考慮すると、本明細書で議論される原理は、互いに独立して実装され得ることを理解されたい。例えば、細胞計数に関連して本明細書で議論される原理は、必ずしも、本明細書で議論されるオートフォーカス技法及び／又は細胞生存率分析技法も実装することなく、実装されてもよい。同様に、本明細書で議論されるオートフォーカス技法は、必ずしも本明細書で議論される細胞計数及び／又は生存能力分析技術も実装することなく、実装されてもよい。例えば、フローサイトメータは、いくつかの事例では、本明細書で論じられるオートフォーカス技法を最初に実行することなく、本明細書で論じられる細胞計数技法のうちの少なくともいくつかを実装してもよい。本開示の実施形態はまた、処理される各サンプルで細胞計数態様を利用しながら、本明細書で論じられるオートフォーカス技法を周期的に（例えば、実験室で１日に１回又は１週間に１回）利用してもよく、そのような実施形態は、時間を節約するという利点を有し、及び／又は各サンプルをオートフォーカスすることが可能でない場合がある用途に適用可能である。

【0107】

行為２０６に関連する行為２０６ａは、画像を取得することを含む。いくつかの実装形態では、行為２０６は、コンピュータシステム１１０のプロセッサ１１２、ハードウェア記憶デバイス１１４、機械学習モジュール１１８、及び／又はコントローラ１１６、並びに顕微鏡システム１２０の画像センサ１２２、照明源１２４、光学トレイン１２６、スライドポート／ステージアセンブリ１０６、及び／又は位置決め機構を使用して、撮像システム１００によって実行される。

【0108】

いくつかの実装形態では、行為２０６ａに関連付けられた画像は、モノクロ画像を含む。例として、撮像システム１００は、コンピュータシステム１１０及び顕微鏡システム１２０の様々な構成要素を用いて、図２（及び図４）を参照して上述したように、行為２０４（及び関連する行為２０４ａ～２０４ｅ）に従って標的焦点位置を得ることができる。撮像システム１００は、プロセッサ１１２及び／又はコントローラ１１６を利用して、位置決め機構１２８に、標的焦点位置に従ってスライドポート／ステージアセンブリ１０６に対して光学トレイン１２６を位置決めさせることができる。撮像システム１００は、画像センサ１２２及び照明源１２４を上記のいずれかと組み合わせて使用して、識別された標的焦点位置を使用して、細胞計数スライドの画像を捕捉することができる。いくつかの実装形態では、標的焦点位置における細胞計数スライドの捕捉された画像は、０．８７１μｍのピクセルサイズを有する、２５９２×１９４４モノクロ８ビット画像である。前述の例とは別に、本明細書に説明されるような細胞計数のために使用される画像は、任意の好適な画像サイズ又はアスペクト比を備えてもよく、任意の好適なピクセルサイズ及び／又は他の画像センサ特性を備える、任意の好適な撮像デバイスを利用して取得されてもよい。いくつかの実装形態では、画像は、９６×９６、２５０×２５０の画像サイズ、又は別の画像サイズを備える。

【0109】

本明細書で説明される行為を実行するための任意の命令、及び／又は本明細書で説明される行為（例えば、モノクロ画像、細胞生存計数データ）の実行に関連して使用又は生成／記憶されるデータは、揮発性又は不揮発性様式でハードウェア記憶デバイス１１４内に記憶されてもよい。

【0110】

上述したように、本例は、標的焦点位置に関連付けられているモノクロ画像に焦点を当てているが、他の例では、モノクロは、行為２０６ａに従って任意の焦点位置に関連付けられ得る。

【0111】

行為２０６に関連する行為２０６ｂは、１つ以上の前処理動作を実行することによって前処理された画像を生成することを含む。前処理された画像は、いくつかの事例では、前処理されたモノクロ画像を含むことができる。様々な前処理動作は、本開示の範囲内である。例えば、行為２０６ｂの１つ以上の前処理動作は、ダウンサンプリング（又はダウン平均化）、背景除去、及び／又は強度正規化動作のうちの１つ以上を含み得る。いくつかの事例では、ユーザは、もしあれば、どの前処理機能を行為２０６ｂに従って実行するかを選択することができる。

【0112】

いくつかの実装形態では、撮像システム１００は、行為２０６ｂに従って１つ以上のダウンサンプリング動作を実行するためにプロセッサ１１２を利用する。例えば、いくつかの事例では、撮像システム１００は、ピクセルデシメーションを介して、又は平均化フィルタを適用すること（例えば、それぞれの隣接ピクセルの平均強度に基づいて各出力ピクセルを生成すること）によって、ダウンサンプリングを行う。撮像システム１００は、各画像次元において、約１．５～約４、又は約２の係数などの所定のダウンサンプリング係数によって、捕捉されたモノクロ画像をダウンサンプリングしてもよい（例えば、２５９２×１９４４捕捉画像を１２９６×９７２のダウンサンプリングされた画像に縮小する）。任意のダウンサンプリング係数が本開示の範囲内にあるが、いくつかの事例では、高いダウンサンプリング係数（例えば、４以上の係数）は、ダウンサンプリングされた前処理された画像からいくつかの特徴が除去されること、及び／又はその中で歪められることを引き起こし得る。

【0113】

上述したように、行為２０６ｂの１つ以上の前処理動作は、背景除去動作を含んでもよい。いくつかの事例では、取得された画像は、高い又は一様でない背景を有し得る。背景を除去することは、取得された画像内の関心のあるオブジェクトのより容易な区別を容易にし得る。いくつかの事例では、背景除去は、低蛍光又は無蛍光のサンプルに適合される。したがって、上述したように、ユーザは、行為２０６ｂの一部として背景除去を実行するかどうかを選択することができる（例えば、背景除去の実行に関連付けられたボックスにチェックを入れるか、チェックを外すことによって）。

【0114】

図８は、背景除去の概念図であり、生画像８０２は背景８０４及びオブジェクト８０６の両方を含む。背景除去は、推定背景８０８を生成し、生画像８０２から推定背景８０８を減算して背景除去画像８１０を生成するものとして概念化することができる。

【0115】

背景除去は、様々な方法で容易にすることができる。例えば、背景除去は、各ピクセルにおける半径ｒ内の局所平均を計算することによって背景を推定し、推定された背景を画像から減算することなどによって、ローパスフィルタリング方法に従って実行され得る。半径ｒは、入力（例えば、１と２５５との間に制約された）入力最大オブジェクトサイズとして定義され得る。減算は、固定された平均値をもたらし得る。ローパスフィルタリング背景除去は、例えば、明／暗、暗／明、及び／又は他など、選択されたオブジェクト検出モードに従って実行され得る。固定平均値は、明／暗モードについては０、暗／明モードについては最大値、及び／又は他のモードについては中間値であってもよい。

【0116】

いくつかの事例では、ローパスフィルタリング方法は、オブジェクトを識別する役割を果たすチャネルを有する画像において使用するように適合される。ローパスフィルタリング方法は、高コントラストエッジ（例えば、鮮明に染色された核）を有する画像において効率的に実行することができる。ローパスフィルタリング方法は、「汚れた」サンプル（例えば、「浮遊細胞」などの面外蛍光を含む）に起因する背景の除去にも有益であり得る。いくつかの事例では、ローパスフィルタ背景除去のためのパラメータ値は、除去のための背景の量を決定するためにサンプリングされる面積に対応する。より低い値は、より積極的であるとみなされてもよく、最大オブジェクトの直径の範囲内に制約されてもよい。より高い値は、保守的であるとみなされてもよく、最大オブジェクトの直径の倍数の範囲内であり得る。

【0117】

いくつかの事例では、背景除去は、表面フィッティング法を利用して実行されてもよく、表面フィッティング方法は、入力画像をグリッドに分割して各画像領域におけるそれぞれの最小値を計算することと、それぞれの最小値を通して表面をフィッティングすることとを含んでもよい。いくつかの事例では、最小値（例えば、平均値ではなく）を利用することは、真の強度値を保存する（しかし、計算するためにより長い時間がかかり得る）。

【0118】

いくつかの事例では、表面フィッティング法は、蛍光体特異的抗体ラベリングなどの強度依存測定を必要とする画像に適合される。表面フィッティング法は、追加的に又は代替的に、全細胞染色の薄暗いエッジを保持するように適合されてもよい。ローパスフィルタリング方法と同様に、表面フィッティング背景除去のためのパラメータ値は、除去のための背景の量を決定するためにサンプリングされた領域に対応してもよく、低い値は積極的とみなされ、高い値は保守的とみなされる。

【0119】

いくつかの事例では、行為２０６ｂに従って背景除去を実行するかどうか、及び／又はどのタイプの背景除去を実行するかをユーザが選択することを可能にするユーザインターフェースが提供される。

【0120】

上述したように、行為２０６ｂの１つ以上の前処理動作は、正規化動作を含んでもよい。正規化動作は、画像ピクセル（又は３Ｄ画像の場合はボクセル）内に存在する強度を正規化して、後続のプロセスに対するオブジェクトごとの強度変動の影響を低減するために実行され得る。正規化動作は、グローバル正規化（例えば、画像全体にわたって同じ画像統計を実装する）又はカーネルベースの正規化動作を含み得る。

【0121】

前述の前処理動作（例えば、ダウンサンプリング／ダウン平均化、背景除去、正規化）の任意の組み合わせが、行為２０６ｂに従って実行され得る。複数の前処理動作が実行される場合、前処理動作は任意の好適な順序で実行されてもよい。上述したように、前処理動作の出力は、１つ以上の前処理（モノクロ）画像（例えば、ダウンサンプリング／ダウン平均化画像、背景除去画像、正規化画像、ダウンサンプリング／ダウン平均化及び背景除去画像、ダウンサンプリング／ダウン平均化及び正規化画像、背景除去及び正規化画像、ダウンサンプリング背景除去及び正規化画像など）である。１つ以上の前処理された画像は、後続の動作（例えば、行為２０６ｃ、行為２０６ｄなど）のために利用され得る。

【0122】

前処理動作は、行為２０６ａを参照して上述したモノクロ画像に対して実行されてもよい。いくつかの事例では、前処理動作は、行為２０６ｃを参照して以下に説明される１つ以上のタイルに対して（例えば、バッチ処理を介して）実行される。本開示を考慮すると、少なくともいくつかの前処理ステップは、行為２０６ｄを参照して以下で説明される畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）の機能に実装されてもよく、又はＣＮＮから少なくとも部分的に独立した機能アーキテクチャを利用してもよいことが理解されよう。

【0123】

いくつかの事例では、前処理動作は実行されず、生データ（例えば、行為２０６ａのモノクロ画像）は、後続の動作（例えば、行為２０６ｃ、行為２０６ｄなど）に直接利用される。

【0124】

行為２０６に関連付けられた行為２０６ｃは、前処理された画像に基づいて１つ以上のタイルのセットを定義することを含む（前述のように、前処理された画像は、前処理されたモノクロ画像を含み得る）。行為２０６ｃは、いくつかの事例では、プロセッサ１１２を利用する撮像システム１００によって実行される。１つ以上のタイルのセットを定義することは、前処理されたモノクロ画像を反映してそのエッジを複数のピクセル（又はボクセル）だけ拡張することなど、様々な行為を含むことができる。ダウンサンプリングされた画像に対して反映動作を実行することは、６ピクセル、８ピクセル、１６ピクセル、又は別のピクセル値だけ拡張されたエッジを有する反射された画像を生成し得る。ダウンサンプリングされた画像を拡張して反射された画像を得るためのピクセル／ボクセルの数は、所望の処理時間、画像サイズなどの様々な要因に基づいて選択され得る。

【0125】

次いで、撮像システム１００は、反射された画像を、所定のピクセル重複（例えば、４、６、８、１０、１２、１４、若しくは１６ピクセル重複、又は必要に応じて別のピクセル値重複）を伴う１つ以上のタイルのセットに分解してもよい。一例では、撮像システム１００は、反射された画像を、１２８×１２８のピクセルサイズを有する１３０個のタイル（又は別の若しくは同じピクセルサイズの別の数のタイル）に分解する。

【0126】

いくつかの事例では、自動細胞計数を容易にするための機械学習モジュール（例えば、行為２０６ｄのＣＮＮ）のための入力を生成するために、撮像システム１００は、１つ以上のタイルのセットをテンソルアレイに記憶するように構成されてもよい。例えば、行為２０６ｃを参照して上述した１つ以上のタイルのセットは、１３０×１×１２８×１２８テンソルアレイ（又は画像タイルサイズ及び数に応じて、他の次元を有するテンソルアレイ）に記憶され得る。以下で説明されるように、テンソルアレイは、自動細胞計数及び／又は生存率決定を行うための機械学習モジュールのための入力として作用し得る。

【0127】

行為２０６に関連する行為２０６ｄは、畳み込みニューラルネットワーク（ＣＮＮ）を使用して１つ以上のタイルを処理することを含む。１つ以上のタイルがテンソルアレイに記憶される場合、行為２０６ｄは、ＣＮＮを使用してテンソルアレイを処理することを含み得る。いくつかの実装形態では、撮像システム１００は、プロセッサ１１２及び／又は機械学習モジュール１１８を利用して、行為２０６ｄを参照して上述したテンソルアレイを処理する。人工知能及び機械学習のための簡単なコンテキストは、図４の行為２０４ｄ並びに図５Ａ及び図５Ｂを参照して上記で提供されている。

【0128】

当業者は、本開示を考慮して、行為２０６ｄに従ってテンソルアレイを処理するために様々な機械学習モデルが採用され得ることを理解するであろう。図９は、画像化システム１００が自動細胞計数及び／又は生存率決定の実行の一部として１つ以上のタイルの処理を容易にするために利用することができる１つの例示的なニューラルネットワークを示す。特に、図９は、Ｕネット畳み込みニューラルネットワーク９００を示す。図９は、１つ以上のタイル又はテンソルアレイのタイル９０６を（例えば、行為２０６ｄから）入力として受信するＵネット畳み込みニューラルネットワーク９００を示し、図９のＵネット畳み込みニューラルネットワーク９００が、１つ以上のタイル又はテンソルアレイの各タイルに対して実行されるように構成されたニューラルネットワーク処理を示すことを示す。Ｕネット畳み込みニューラルネットワーク９００は、様々なサイズの矩形画像（例えば、１６ビット画像）などの画像入力を受信するように構成され得る。例えば、画像サイズは、一方又は両方の次元において約１５０×１５０～約２５０×２５０の範囲内に含まれ得る。範囲は、異なる撮像モダリティに対して変動し得ることが理解されるであろう。例えば、フローサイトメトリー用途の場合、入力画像は、約９６×９６～約２４８×２４８の範囲内であり得る。

【0129】

更に、Ｕネット畳み込みニューラルネットワーク９００は、様々な数及び／又はタイプの画像入力を受信するように構成され得る。例えば、Ｕネット畳み込みニューラルネットワーク９００は、同時入力として画像のバッチ（例えば、画像のｚスタック又はｚスタックのサブセット）、及び／又は同時入力として異なる撮像モダリティの複数の画像のバッチ（例えば、同じｚ位置に関連付けられた１つ以上の従来の画像／ボリューム及び１つ以上の位相コントラスト画像／ボリューム）を受信するように構成されてもよい。

【0130】

図９のＵネット畳み込みニューラルネットワーク９００は、ダウン層９０２及びアップ層９０４を含む。図９はまた、ダウン層９０２及びアップ層９０４が様々な構成要素を含み得ることを示す。非限定的な例として、図９は、ダウン層９０２が、畳み込み層（例えば、２Ｄ畳み込み層）と、バッチ正規化層（例えば、２Ｄバッチ正規化層）と、ＲｅＬｕ非線形関数層とを含む特徴識別層（例えば、２つの特徴識別層）を含む実装形態を示す。図９はまた、ダウン層９０２を、最大プーリング層（例えば、２Ｄ最大プーリング層）を含むものとして示す。ダウン層９０２は、入力画像（例えば、タイル９０６）のダウンサンプリングを段階的に容易にすることができる（例えば、各ステップにおいて画像サイズを４分の１に縮小する）。いくつかの事例では、図９に示すように、撮像システム１００は、ダウン層９０２の成分を適用する前に２Ｄバッチ正規化を適用することができる。

【0131】

図９の実装形態はまた、アップサンプリング層（例えば、２Ｄアップサンプリング層）、畳み込み層（例えば、２Ｄ畳み込み層）、バッチ正規化層（例えば、２Ｄバッチ正規化層）、及びＲｅＬｕ非線形関数層の２つのセットを含むものとしてアップ層９０４を示す。アップ層９０４は、ダウンサンプリングされたタイル（例えば、ダウン層９０２に従ってダウンサンプリングされたタイル）のアップサンプリングを段階的に容易にすることができ（例えば、各ステップにおいて画像サイズを４倍に増加させる）、撮像システム１００は、結合層９０８を利用してアップサンプリングを実行することができる（例えば、ダウン層９０２処理中に使用又は生成された対応する画像に基づいて）。いくつかの事例では、図９に示すように、撮像システム１００は、アップ層９０４の成分を適用した後にシグモイド関数を適用してもよい。

【0132】

いくつかの事例では、Ｕネット畳み込みニューラルネットワーク９００は、識別された標的焦点位置（又は他の焦点位置）に対する複数の焦点面からの画像を含むトレーニングデータのセットでトレーニングされる。例えば、いくつかの実装形態では、畳み込みニューラルネットワーク９００は、（例えば、上記で説明した行為２０４に従って）畳み込みニューラルネットワーク９００のロバスト性を高め、オートフォーカス出力精度に対する畳み込みニューラルネットワーク９００の感度を低減するために、識別された標的焦点位置に対して－２～＋２ ｚステップの範囲のｚ高さに対してトレーニングされる。Ｕネット畳み込みニューラルネットワーク９００は、トレーニング入力としてモノクロ画像（及び／又は画像タイル）を含むトレーニングデータ、並びに／あるいはグラウンドトゥルース出力として手動で位置特定及び／又は識別された細胞数、生死判定、細胞セグメンテーション、細胞面積（例えば、個々の細胞及び／又は細胞の組み合わせについて、μｍ^２単位）、細胞擬似直径（例えば、シングレットが完全に円形であったと仮定した場合の細胞直径、μｍ単位）、全細胞バイナリマスク、シードマスク、及び／又は他の情報（例えば、細胞画像が処理可能であったか否か、及び／又は細胞が関心領域に接しているか否かを示すタグ）を使用して、教師あり又は部分教師ありでトレーニングすることができる。グラウンドトゥルースは、人間の注釈／ラベリング／タグ付け／セグメント化を介して取得されてもよく、及び／又は適切な撮像モダリティ（例えば、明視野、蛍光）を利用して捕捉された画像を使用して少なくとも部分的に生成されてもよい。トレーニングデータは、ＩＭＭＵＮＯ－ＴＲＯＬ、マクロファージ、Ｊｕｒｋａｔ、ＣＡＲ－Ｔ、ＰＢＭＣ、及び／又は他などの様々なタイプの細胞を捕捉する画像を含むことができる。画像は、１つ以上の異なるＺ位置に関連付けられてもよい。いくつかの事例では、トレーニングデータのセット内の画像は、最終使用中に実行され得る前処理動作（例えば、ダウンサンプリング／ダウン平均化、背景除去、正規化など）に従って前処理される。トレーニング入力は、加えて、又は代替として、破片を伴う画像を含むことができ、モデルが、生／死細胞（細胞の集塊を含む）と破片とを区別することを可能にする。いくつかの事例では、トレーニングデータは、Ｕネット畳み込みニューラルネットワーク９００が、細胞と、細胞ではないが細胞と類似の物理的特性（例えば、サイズ及び形状）を共有するオブジェクトとをロバストに区別することを可能にするために、生細胞又は死細胞とサイズが類似するガラスビーズ（例えば、１μｍ、２．５μｍ、３．６μｍ、５．５μｍ、９．９μｍ、１４．６μｍ、３０．０３μｍ）などの制御オブジェクトを含む。

【0133】

前述したように、Ｕネット畳み込みニューラルネットワーク９００は、様々な数及び／又はタイプの画像入力を受信するように構成され得る。それに対応して、Ｕネット畳み込みニューラルネットワーク９００は、同時入力として画像のバッチ（例えば、画像のｚスタック又はｚスタックのサブセット）及び／又は同時入力として異なる撮像モダリティの複数の画像のバッチ（例えば、同じｚ位置に関連付けられた１つ以上の従来の画像／ボリューム及び１つ以上の位相コントラスト画像／ボリューム）を使用してトレーニングされてもよい。

【0134】

本開示を考慮すると、Ｕネット畳み込みニューラルネットワーク９００（又は本明細書で説明する任意の他の人工知能モジュール）は、上記で説明したトレーニングデータのセットに対する初期トレーニングの後に更にトレーニング及び／又は改良され得ることが諒解されよう。例えば、Ｕネット畳み込みニューラルネットワーク９００は、細胞分析の特定のフィールドについて取得されたトレーニングデータに対して更にトレーニングされ得る。

【0135】

図９に示されるように、Ｕネット畳み込みニューラルネットワーク９００の出力は、様々な擬似確率マップ９１０を含むか、又はそれを生成するために使用され得る。例えば、図９は、Ｕネット畳み込みニューラルネットワーク９００の出力擬似確率マップ９１０を、（ｉ）生細胞の中心位置を示す生細胞位置確率マップ（例えば、生細胞シード尤度画像）、（ｉｉ）生細胞マスク確率マップ（生細胞全体尤度画像）、（ｉｉｉ）死細胞の中心位置を示す死細胞位置確率マップ（死細胞シード尤度画像）、及び（ｉｖ）死細胞マスク確率マップ（死細胞全体尤度画像）を含むものとして示す。例えば、図９の擬似確率マップ９１０は、行為２０６ｄに従って取得されたテンソルアレイのタイル９０６に表された生細胞及び死細胞の予測された／可能性のある位置及び形状／サイズを表す。

【0136】

上述のように、Ｕネット畳み込みニューラルネットワーク９００は、行為２０６ｄに従って取得されたテンソルアレイの各タイル（例えば、タイル９０６）に対して動作し得る。したがって、１３０×１×１２８×１２８テンソルアレイの例では、Ｕネット畳み込みニューラルネットワーク９００は、テンソルアレイ中で表される各単一タイルについて４つの擬似確率マップを生成し得、（Ｕネット畳み込みニューラルネットワーク９００から出力される）これらの擬似確率マップは、１３０×４×１２８×１２８テンソルアレイ中に記憶されるようになり得る。

【0137】

図９に提示され、行為２０６ｄを参照して説明される例は、Ｕネット畳み込みニューラルネットワーク９００を介して擬似確率マップの特定のセットを出力すること（又は出力に基づいて生成すること）を含むが、ＵネットＣＮＮの出力の他の範囲／タイプは、本開示の範囲内である。例えば、いくつかの事例では、ＵネットＣＮＮの出力は、生細胞と死細胞とを区別せず、生細胞及び死細胞の両方（両方が存在する場合）の情報を含む、細胞位置を示すシード尤度画像及び／又は細胞形状／サイズを示す全細胞尤度画像を生成する。例えば、いくつかの実装形態では、細胞計数機能は、ＵネットＣＮＮが少なくともシード尤度画像を出力するように、細胞形状／サイズ／特徴検出とは独立して実施され、シード尤度画像に基づいて、（例えば、細胞生存率及び／又は細胞形状／サイズ／特徴を決定することなく）細胞数を決定するために結合成分分析が実行され得る。そのような機能性は、非限定的な例として、フローサイトメトリーシステムにおいて望ましい場合がある。

【0138】

ＵネットＣＮＮに関連する入力及び出力の更なる概念的表現が、図１０に提供される。図１０は、前処理されたモノクロ画像又は前処理されたモノクロ画像タイルを含み得る例示的な入力画像１００２を示す。入力画像１００２は、ＵネットＣＮＮ１００４への入力として利用され、これは、原理的には、上述したＵネット畳み込みニューラルネットワーク９００に対応する。図１０は、互いに重ね合わされたシード尤度画像１００８及び全細胞尤度画像１０１０を含む例示的な出力１００６も示す。

【0139】

本例は、少なくともいくつかの点で、擬似確率マップを取得するためにＵネットＣＮＮを利用することに焦点を当てているが、いくつかの実施形態では、機械学習駆動テクスチャ検出及び／又はカーネル検出方法などの他のモジュールが利用され得る。

【0140】

行為２０６に関連する行為２０６ｅは、畳み込みニューラルネットワークの出力に基づいて複数の擬似確率マップを構築することを含み、複数の擬似確率マップは、少なくともシード尤度画像及び／又は全細胞尤度画像を含む。上述のように、いくつかの事例では、Ｕネット畳み込みニューラルネットワーク９００からの出力は、１３０×４×１２８×１２８テンソルアレイ（又は使用される特定の入力に適切な他のサイズのテンソルアレイ）を備え得る。いくつかの実装形態では、撮像システム１００は、畳み込みニューラルネットワーク（例えば、１３０×４×１２８×１２８テンソルアレイ）の出力を８ビットフォーマットテンソルに変換し、８ビットフォーマットテンソルを画像ステッチすることによって、行為２０６ｅの複数の擬似確率マップを構築し得る。例えば、１３０×４×１２８×１２８テンソルアレイを８ビットフォーマットに変換することは、テンソルアレイを２５５などの好適な乗数で乗算することを含むことができ、８ビットテンソルフォーマットの画像ステッチすることは、８ビットテンソルフォーマットのタイルから４つのフルサイズ擬似確率マップを構築することを含むことができる。いくつかの実装形態では、４つの結果として生じる擬似確率マップは、図９の擬似確率マップ９１０（例えば、生細胞位置、生細胞マスク、死細胞位置、及び死細胞マスク）、又は図１０の出力（例えば、シード尤度画像及び全細胞尤度画像）と同様の表現を備え得る。

【0141】

行為２０６に関連付けられた行為２０６ｆは、１つ以上のシード尤度画像に基づいて１つ以上のマスクを生成することを含む。例えば、いくつかの事例では、撮像システム１００は、４つのフルサイズの擬似確率マップ（例えば、図９の擬似確率マップ９１０に対応する）を閾値処理することによって、バイナリ化された位置マップを生成し得る。１つ以上のマスクは、１つ以上のシード尤度画像において表される１つ以上のオブジェクト（例えば、セル）のピクセル位置を定義又は示すことができる。したがって、いくつかの事例では、１つ以上のマスクは、細胞数を示し得る。

【0142】

７５％以上の尤度の閾値を適用するなど、１つ以上のマスクを生成するための様々な技法は、本開示の範囲内である。いくつかの事例では、ピクセル強度において１９２以上の閾値を利用することは、０．７５×２５５以上の擬似確率を表す。非限定的な例として、約５０％～約９０％の範囲内の閾値など、様々な閾値が本開示の範囲内である。出力画像内の結合領域を検出するために、結合成分ラベリングが更に適用され得る。１つ以上のマスクは、結合成分ラベルに基づいて生成されてもよい。加えて、又は代替として、１つ以上のマスクは、深層学習アルゴリズムを利用して生成されてもよい。

【0143】

いくつかの実装形態では、撮像システム１００は、他の処理ステップを通して無視された潜在細胞を捕捉することを試みるために、拡張処理などの付加的画像処理動作をバイナリ化場所マップ上で行う。

【0144】

行為２０６に関連する行為２０６ｇは、少なくとも１つ以上の全細胞尤度画像及び１つ以上のマスクに基づいて、１つ以上のセグメント化画像を生成することを含む。１つ以上のセグメント化画像は、細胞数及び／又は細胞生存数を示す／提供することができる。いくつかの実装形態では、撮像システム１００は、１つ以上のシード尤度画像内に表されるオブジェクト（例えば、細胞）のピクセル／ボクセル位置から計算される距離マップに適用される分水界変換を介して、１つ以上のセグメント化画像を生成する。１つ以上のセグメント化画像は、各ピクセルがオブジェクト又は背景に割り当てられるように、１つ以上の全細胞尤度画像によって区切られてもよい（例えば、オブジェクトのそれぞれのマスクによって区切られてもよい）。バイナリ又は強度ベースのウォーターシェッド方法は、本開示の範囲内である。図１１は、シード尤度画像１１０２及び全細胞尤度画像１１０４に基づいてセグメント化画像１１０８を生成するために、分水界変換１１０６を利用する例示的な表現を示す。シード尤度画像１１０２によって表される異なるオブジェクトは、数値的にラベル付けされる（例えば、「１」、「２」、「３」）。セグメント化画像１１０８は、シード尤度画像１１０２の異なるオブジェクト（オブジェクト１、２、及び３）から拡張された別個のオブジェクト（セグメント化画像１１０８において対応して「１」、「２」、及び「３」とラベル付けされている）を示す。

【0145】

ウォーターシェッド法に加えて、又はその代替として、１つ以上のセグメント化画像の生成を容易にするために他の技法を使用することができる。例えば、いくつかの実施形態では、７５％の尤度を上回るシード尤度画像内の全てのピクセルをマスク構造に割り当てることなどによって、細胞のグループ化を単一のオブジェクトとして扱う１つ以上のセグメント化画像が生成されてもよい（上述のように、他の閾値が利用されてもよい）。そのようなアプローチは、「１オブジェクト」アプローチとみなされてもよく、下流計算を（個々のオブジェクトではなく）単一オブジェクトに対して行わせてもよい。そのような手法は、計算リソースが限られている場合に有益であり得る。単位オブジェクトの細胞形態測定値は、上述のシード尤度画像によって識別されるシードの数を検証するために使用されてもよい。図１２は、シード尤度画像１２０２及び全細胞尤度画像１２０４に基づいてセグメント化画像１２０８を生成するために１オブジェクト演算１２０６を利用する例示的な表現を示す。シード尤度画像１２０２によって表される異なるオブジェクトは、数値的にラベル付けされる（例えば、「１」、「２」、「３」）。セグメント化画像１２０８は、シード尤度画像１２０２の異なるオブジェクト（オブジェクト１、２、及び３）から構成された単位オブジェクト（セグメント化画像１１０８において「１」とラベル付けされている）を示す。

【0146】

別の例として、深層学習モジュールを利用して１つ以上のセグメント化画像が生成され得る。深層学習モジュールは、シード／全細胞尤度画像入力及びセグメント化画像グラウンドトゥルース出力を含むトレーニングデータを利用してトレーニングされ得る。いくつかの事例では、深層学習モジュールを利用することは、重複する細胞の正確なセグメンテーションを可能にし得る。図１３は、シード尤度画像１３０２及び全細胞尤度画像１３０４に基づいてセグメント化画像１３０８を生成するために深層学習モジュール１３０６を利用する例示的な表現を示す。シード尤度画像１３０２によって表される異なるオブジェクトは、数値的にラベル付けされる（例えば、「１」、「２」、「３」）。セグメント化画像１３０８は、シード尤度画像１３０２の異なるオブジェクト（オブジェクト１、２、及び３）から拡張された別個のオブジェクト（セグメント化画像１３０８において対応して「１」、「２」、及び「３」とラベル付けされている）を示す。

【0147】

１つ以上のセグメント化画像は、いくつかの事例では、細胞計数及び／又は細胞生存数のための基礎を示す又は提供し得、細胞計数スライド上に表される細胞計数及び／又は細胞生存数を１人以上のユーザに知らせるためにユーザインターフェース上に表示され得る。いくつかの事例では、細胞計数に加えて、１つ以上の特徴計算動作が、検出された細胞の１つ以上の特徴を判定するために、１つ以上のセグメント化画像を使用して行われてもよい。特徴は、細胞ごとに抽出することができる。例えば、撮像システム１００は、１つ以上のセグメント化画像内に表される細胞に対して楕円フィッティングを実行し得る。１つ以上のセグメント化画像のセルに対する楕円フィッティングは、（例えば、図４の行為２０４ｂを参照して）楕円を結合成分にフィッティングするための上述の技法を利用することができる。１つ以上のセグメント化画像の細胞にフィットする楕円は、オブジェクトサイズ（例えば、μｍ単位）の測定値を提供すること、オブジェクトサイズのヒストグラムを提供すること、ピクセル強度を提供すること、オブジェクト真円度を計算するための基礎を提供すること、及び／又は他など、細胞計数スライド上に撮像された細胞に関連する有利なデータの取得を容易にし得る。検出されたセルに対して取得され得る特徴の更なる例は、オブジェクト数、オブジェクト中心（例えば、ｘ中心、ｙ中心、ｚ中心などの次元ごとのオブジェクト中心）、オブジェクト幅（例えば、オブジェクトを含む最小境界ボックスの幅）、オブジェクト高さ（例えば、オブジェクトを含む最小境界ボックスの高さ）、ピクセルサイズ（例えば、ｘピクセルサイズ、ｙピクセルサイズ、ｚピクセルサイズなどの次元ごとのピクセルサイズ）、面積、周囲、周囲対面積、繊維長（例えば、そのスパインに沿って測定されるオブジェクトの長さ）、繊維幅（例えば、面積及び長さから推定されるオブジェクトの幅）、重心（例えば、ｘ重心、ｙ重心）、向き（例えば、オブジェクトに位置合わせされた境界ボックスの向き）、コヒーレンシー（例えば、オブジェクト内の部分構造の配置の尺度）、大半径、小半径、回旋半径（例えば、ｚ軸に沿った）、ボックス長（例えば、オブジェクトの配置された境界ボックスの長さ）、ボックス幅（例えば、オブジェクトの配置された境界ボックスの幅）、長さ対幅比、ボックス充填比、各オブジェクトを構成するピクセル数、オブジェクト強度（例えば、最大強度、最小強度、総強度、平均強度、強度の標準偏差、強度の歪度、強度の尖度、強度のエントロピーなど）、半径方向強度モーメント（例えば、平均半径方向強度、半径方向強度の標準偏差、半径方向強度の歪度、半径方向強度の尖度、半径方向距離など）、オブジェクト共起（例えば、マスク内の全ピクセルの強度分布の最大確率、コントラスト、エントロピー、二次元共起の角二次モーメントなど）、オブジェクトサイズ（例えば、オブジェクトの面積に等しい面積を有する円の直径）、等価球メトリック（例えば、等価円又は球の直径、表面積、又は体積）、等価楕円のモーメント（例えば、等価円又は球の長さ対幅の比、長軸又は短軸を中心として面積等価楕円を回転させることによって生成される楕円の体積など）、オブジェクト距離（例えば、オブジェクトからその最も近い隣接オブジェクトまでの距離、オブジェクトから他の全てのオブジェクトまでの平均距離、オブジェクトから他の全てのオブジェクトまでの距離の標準偏差など）、オブジェクト勾配比（例えば、オブジェクトマスク内の内側領域又は外側領域の強度勾配、オブジェクトマスク内の内側領域と外側領域との間の強度勾配の比）、表面積密度（例えば、その面積によって正規化されたオブジェクト内の全てのピクセルの強度の総差）、及び／又は他を含む。前述の特徴のいずれかは、適切な方法で（例えば、ピクセル強度に従って）重み付けされ得る。そのようなデータは、細胞計数スライド内に表される生細胞及び／又は死細胞について取得されてもよく、いくつかの事例では、消費者報告内に記憶され、（例えば、通信モジュール１０８を使用して）エクスポートのために準備／提供されることができる。

【0148】

更に、図２を参照して上述したように、１つ以上のセグメント化画像に適合する楕円は、システムが（例えば、図２のフロー図２００の行為２０８に従って）細胞生存計数の表現を表示することを可能にし得る。

【0149】

例えば、ここで図１４を参照すると、開示されるＡＩ支援オートフォーカス及び自動細胞生存計数システムによる処理後の例示的結果を表す画像が示されている。人工ニューラルネットワーク（例えば、図９に示されるＵネット畳み込みニューラルネットワーク）を通して個々のタイルを処理することからの出力として取得される生／死細胞の場所及びマスクは、擬似確率マップを生成するために使用され、上記で議論される一連の画像処理及び楕円フィッティングステップの後、結果として生じる楕円マップは、生細胞１４０２のための実線楕円マーカ及び死細胞１４０４のための破線楕円マーカを含み、生細胞及び死細胞を明確に識別するために、対応する明視野画像１４００上にオーバーレイされる。いくつかの実施形態では、生細胞及び死細胞は、撮像システムに関連付けられたディスプレイ（例えば、図１の撮像システム１００のディスプレイ１０４）上で見ることができる１つ以上の画像において視覚的に区別される。例えば、生細胞は、特定の色（例えば、緑色）で輪郭が描かれ、陰影が付けられ、及び／又は他の方法で強調されてもよく、一方、死細胞は、異なる色（例えば、赤色）で輪郭が描かれ、陰影が付けられ、及び／又は他の方法で強調されてもよい。

【0150】

開示されるシステム及び方法は、単一のｚスタックスライスから容易に明らかではないｚスタック内の情報（例えば、極性反転現象）を利用することができるので、開示されるシステムは、有利には、最小限の処理サイクルを使用して、追加の処理ハードウェアを必要とすることなく、生細胞及び死細胞の混合物にオートフォーカスすることができる。オートフォーカスのこの改善された方法は、任意の所与のサンプルにおける標的焦点位置の迅速かつ信頼できる識別を可能にし、自動細胞生存計数の開示された方法を可能にするための有用な第１のステップである。上述のオートフォーカス方法と同様に、本明細書に開示される自動細胞計数及び／又は細胞生存計数の開示される方法は、競合する従来技術のシステム及び方法を上回る有意義な改善である。

【0151】

例えば、図１５Ａ～図１５Ｃに示されるように、同じ基本画像が評価され、それぞれの画像内の生細胞及び死細胞の数及び位置で注釈が付けられている。図１５Ａに示される画像は、生細胞及び死細胞の数及び位置を注釈付けした経験のある生物学者によって評価された。図１５Ａの画像は、正確かつ精密に注釈が付けられているように決定され、自動細胞識別及び生存率の従来技術の方法と、本明細書に開示されるような例示的ＡＩ支援オートフォーカス及び自動細胞生存計数方法との間の正確度及び精度の比較のための陽性対照として機能した。

【0152】

図１５Ｂに示すように、図１５Ｂは、従来技術の自動化された細胞識別及び生存能力方法によって評価され、生細胞及び死細胞の数及び位置で注釈を付けられた画像を示し、従来技術の方法は、細胞クラスタ内の細胞の数を正確にセグメント化及び識別することができず、単分散細胞を単一細胞として一貫して識別することができず、生細胞／死細胞を正確に区別することができず、デブリを無視することができず、代わりに、観察領域内のデブリの部分をクラスタ化及び単分散生細胞／死細胞の集合として識別する。

【0153】

従来技術の方法（例えば、図１５Ｂに例示されるような）とは対照的に、ＡＩ支援オートフォーカス及び自動セル生存計数のための本明細書に開示されるシステム及び方法は、（生物学者注釈付き対照と比較して）生細胞／死細胞の数を適切にセグメント化及びカウントし、加えて、図１５Ｃに示されるようにデブリを回避する。図１５Ａ～図１５Ｃに例示されるように（及び１２個の異なる細胞型間で繰り返し示される－データは示されない）、開示される解決策は、従来の画像処理方法に対して、細胞セグメンテーション及びデブリに対する識別、並びに生存計数の精度において有意な改善を示した。このような改善は、単分散細胞標本及び凝集細胞標本にわたって生じることが繰り返し示されている。

【0154】

例示的なデータ構造の詳細
以下の説明は、本明細書で開示される様々なコンポーネント／要素に関連付けられ得る例示的なデータ構造を提供する。画像は、ピクセル値のアレイ及び付随するメタデータを含み得る画像クラスによって定義され得る。ピクセル値は、Ｂｙｔｅ、ＳＢｙｔｅ、ＵＩｎｔ１６、Ｉｎｔ１６、Ｉｎｔ３２、ＵＩｎｔ３２、Ｉｎｔ６４、ＵＩｎｔ６４、Ｓｉｎｇｌｅ、Ｄｏｕｂｌｅなど、様々な形式を取ることができる。メタデータは、非限定的な例として、ピクセルデータタイプ、ピクセル当たりのビット、ピクセル当たりのバイト、ピクセルオフセット、ストライド（例えば、ピクセルのコピーを行わずに画像の領域を切り取ることを可能にする）、ウェル内のＸＹＺ位置（例えば、マイクロメートル単位）、ＸＹＺピクセルサイズ、画像寸法（幅、高さ）、取得時間、強度制御設定（例えば、露光時間、利得、ビニング）、及び／又は他のものを含み得る。画像クラスは、グレースケール及び／又はカラー（ＲＧＢ）をサポートすることができる。色が使用される場合、各ピクセルは、対応する色値（例えば、ＲＧＢ色値、又は別の表色系に従う値）を備え得る。画像クラスは、シリアル化可能及び／又は異なるタイプに（例えば、カラーとＲＧＢとの間で）変換可能であってもよい。画像リーダは、任意のストリーム（ファイル、メモリ、パイプ）を介して標準ファイルフォーマットから画像クラスを読み取り／書き込むために利用され得る。

【0155】

マスクは、ピクセルインデックスのリスト及び／又はピクセルが属するバウンディングボックスを定義し得る。マスククラスは、入力（例えば、真理データを定義するための）及び出力（例えば、オブジェクトの位置を定義するための）として使用され得る。境界ボックスは、オブジェクトを含む最小境界ボックスであってもよく、それによって、マスク定義が、それが取得されるフィールドから独立して維持されることを可能にする。したがって、いくつかの実装形態では、第２の画像セットが第１の画像セットと全く同じ位置に関連付けられていない（例えば、第２の画像セットが異なる倍率及び／又はＸＹＺ位置に関連付けられ得る）場合であっても、マスクは、１つの画像セット（例えば、１つの時点、１つのパス）から抽出され、第２の画像セット（例えば、別の時点、別のパス）に適用され得る。マスククラスは、境界ボックス定義間でピクセルリストを変換するメソッドを提供することができる。いくつかの事例では、画像は、（例えば、画像に一致するようにマスクを調整する代わりに）マスクに一致するように交互に調整され得る。例えば、画像クラスは、マスクに一致するように境界ボックスを「切り取る」方法を提供することができる（例えば、切り取りは、画像ピクセル値を実際にコピーすることなくピクセルオフセット及びストライドのみを変更することができる）。拡張方法を利用して、マスククラスから形状（例えば、楕円、矩形、多角形）に、及び／又はその逆に変換することができる。いくつかの事例では、マスクを形状に変換することは、不可逆（例えば、「最良適合」）であり得るが、それでもマスクを表示するための便利な方法を提供し得る。

【0156】

出力データは、ダブル、整数、ブール、デートタイム、ダブル列挙、整数列挙、ストリング列挙、ストリング、バイナリ、上記のいずれかの１Ｄ、２Ｄ、又はＮ－Ｄ配列などの様々なデータタイプを含むことができる。

【0157】

本開示のコンピュータシステム
コンピュータシステムがますます多種多様な形態を取っていることが理解されるであろう。この説明及び特許請求の範囲において、「コンピュータシステム」、又は「コンピューティングシステム」という用語は、少なくとも１つの物理的かつ有形のプロセッサと、プロセッサによって実行され得るコンピュータ実行可能命令を有することが可能な物理的かつ有形のメモリと、を有する任意のデバイス又はシステム又はその組み合わせを含むものとして広義に定義される。限定ではなく例として、本明細書で使用される「コンピュータシステム」又は「コンピューティングシステム」という用語は、それに関連付けられる光学及び機械構成要素と電気通信し、本明細書で開示される様々なオートフォーカス及び／又は細胞生存計数方法を行うように動作可能である、開示される撮像システムの一部を含むことが意図される。したがって、本明細書で使用される「コンピュータシステム」又は「コンピューティングシステム」という用語は、自動画像捕捉及び処理を制御すること（例えば、標的焦点位置を決定すること、及び／又は自動細胞生存計数を行うこと）に加えて、ステージ／サンプル移動に関連する動作コマンドを実行することができる。特に明記しない限り、本明細書に開示されるコンピューティングシステムは、開示される撮像システムの構成要素であることを理解されたい。

【0158】

開示されたコンピュータシステムのメモリ構成要素は、任意の形式を取ることができ、コンピューティングシステムの性質と形式に依拠し得る。メモリは、揮発性メモリ、不揮発性メモリ、又はその２つの組み合わせを含む物理システムメモリとすることができる。「メモリ」という用語は、本明細書では、物理記憶媒体などの不揮発性大容量記憶デバイスを指すために使用され得る。

【0159】

本明細書で開示されるコンピューティングシステムは、「実行可能コンポーネント」と呼ばれることが多い複数の構造をその上に記憶していると理解される。例えば、コンピューティングシステムのメモリは、実行可能コンポーネントを含むことができる。「実行可能コンポーネント」という用語は、ソフトウェア、ハードウェア、又はそれらの組み合わせであることができる構造であるとして、コンピューティングの分野の当業者によく理解されている構造の名前である。

【0160】

例えば、ソフトウェアに実装される場合、当業者は、実行可能コンポーネントの構造が、コンピューティングシステム上の１つ以上のプロセッサによって実行され得るソフトウェアオブジェクト、ルーチン、メソッドなどを含み得、そのような実行可能コンポーネントがコンピューティングシステムのヒープに存在するかどうか、又は実行可能コンポーネントがコンピュータ可読記憶媒体に存在するかどうかについて理解するであろう。実行可能コンポーネントの構造は、コンピューティングシステムの１つ以上のプロセッサによって実行されたときに、コンピューティングシステムに本明細書に記載の機能及び方法などの１つ以上の機能を実行させるように動作可能であるような形でコンピュータ可読媒体上に存在する。このような構造は、実行可能コンポーネントがバイナリである場合のように、プロセッサによる直接的なコンピュータ読み取りが可能なものであり得る。あるいは、その構造は、プロセッサが直接的に逐次解釈可能なバイナリを生成するように、（単一の段階であろうと複数の段階であろうと）逐次解釈可能に、かつ／又はコンパイルされるように構造化され得る。

【0161】

「実行可能コンポーネント」という用語はまた、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、プログラム特定標準製品（Program-specific Standard Product、ＡＳＳＰ）、システムオンチップシステム（System-on-a-chip system、ＳＯＣ）、複合グラマブルロジックデバイス（Complex Programmable Logic Device、ＣＰＬＤ）、又は他の特殊な回路の内部など、ハードウェアロジックコンポーネントに排他的又はほぼ排他的に実装される構造を含むものとして、当業者によってよく理解されるであろう。したがって、「実行可能コンポーネント」という用語は、ソフトウェア、ハードウェア、又はそれらの組み合わせで実装されているかどうかにかかわらず、コンピューティングの当業者によってよく理解されている構造の用語である。

【0162】

「コンポーネント」、「サービス」、「エンジン」、「モジュール」、「制御」、「発電機」などの用語も、この説明で使用され得る。この説明で使用されるように、この場合、これらの用語は、修飾節の有無にかかわらず、「実行可能コンポーネント」という用語と同義であることが意図されており、したがって、コンピューティングの当業者によく理解されている構造を持っている。

【0163】

全てのコンピューティングシステムがユーザインターフェースを必要とするわけではないが、いくつかの実施形態では、コンピューティングシステムは、ユーザとの間で情報を通信する際に使用するためのユーザインターフェースを含む。ユーザインターフェースには、入力メカニズムだけでなく出力メカニズムも含まれ得る。本明細書で説明される原理は、正確な出力メカニズム又は入力メカニズムに限定されず、それ自体はデバイスの性質に依存する。ただし、出力メカニズムには、例えば、スピーカー、ディスプレイ、触覚出力などが含まれる場合がある。入力メカニズムの例には、例えば、マイク、タッチスクリーン、カメラ、キーボード、スタイラス、マウス、又は他のポインタ入力、任意のタイプのセンサなどが含まれる。

【0164】

したがって、本明細書に記載の実施形態は、特別な目的又は汎用のコンピューティングシステムを含むか、又は利用し得る。実施形態はまた、コンピュータ実行可能命令及び／又はデータ構造を担持又は記憶するための物理的及び他のコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体は、汎用又は特殊目的のコンピュータシステムによってアクセス可能な任意の利用可能な媒体とすることができる。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、物理的記憶媒体である。コンピュータ実行可能命令を担持するコンピュータ可読媒体は、伝送媒体である。したがって、例として（限定するものではない）、本明細書で開示又は想定される実施形態は、少なくとも２つの明確に異なる種類のコンピュータ可読媒体、すなわち記憶媒体及び伝送媒体を含み得る。

【0165】

コンピュータ可読記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ソリッドステートドライブ（solid state drive、「ＳＳＤ」）、フラッシュメモリ、位相変化メモリ（phase-change
memory、「ＰＣＭ」）、ＣＤ－ＲＯＭ若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、又はコンピュータで実行可能な命令若しくはデータ構造の形式で所望のプログラムコードを格納するために使用でき、かつ本発明の開示された機能を実装するために汎用又は特殊目的のコンピューティングシステムによってアクセス及び実行できる他の物理的及び有形の記憶媒体が含まれる。例えば、コンピュータ実行可能命令は、コンピュータプログラム製品を形成するために、１つ以上のコンピュータ可読記憶媒体上に具体化され得る。

【0166】

伝送媒体は、コンピュータ実行可能命令又はデータ構造の形で所望のプログラムコードを担持することができ、かつ汎用又は特殊目的のコンピュータによってアクセス及び実行できる、ネットワーク及び／又はデータリンクを含むことができる。上述の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるものとする。

【0167】

更に、様々なコンピュータシステムコンポーネントに到達すると、コンピュータ実行可能命令又はデータ構造の形式のプログラムコードを、伝送媒体からコンピュータ記憶媒体に（又はその逆に）自動的に転送することができる。例えば、ネットワーク又はデータリンクを介して受信したコンピュータ実行可能命令又はデータ構造は、ネットワークインターフェイスモジュール（例えば、「ＮＩＣ」）内のＲＡＭにバッファリングされ、最終的にコンピュータシステムＲＡＭ及び／又はコンピュータシステムのより揮発性の低い記憶媒体に転送することができる。よって、記憶媒体は、伝送媒体も（というより主にそれが）利用するコンピューティングシステムコンポーネントに含まれ得ることを理解されたい。

【0168】

当業者であれば、コンピューティングシステムが、例えば、ネットワークを介して他のコンピューティングシステムと通信することを可能にする通信チャネルも含み得ることを更に理解するであろう。しかしながら、上記で提供されるように、本開示のコンピューティングシステムは、好ましくは、開示される撮像システムの構成要素である。したがって、コンピューティングシステムは、（例えば、ファイル及び／又はデータ転送、コンピューティングシステムに関連付けられたファームウェア及び／又はソフトウェアの構成又は更新のために）ネットワーク通信を可能にする通信チャネルを備えることができるが、本明細書で開示されるコンピューティングシステムは、処理及び／又はメモリが様々なネットワーク化されたコンピューティングシステム間で分散され得るネットワークを介して（ハードワイヤードデータリンク、ワイヤレスデータリンク、又はハードワイヤードデータリンクとワイヤレスデータリンクの組み合わせのいずれかによって）リンクされた分散システム環境ではなく、開示される方法をローカルに実施することが意図されていることを理解されたい。

【0169】

本明細書に記載された主題は、構造的特徴及び／又は方法論的行為に固有の言語で提供されるが、添付の特許請求の範囲で定義される主題は、必ずしも上で説明される特徴又は行為に限定されないことを理解されたい。むしろ、説明された特徴及び行為は、特許請求の範囲を実施する例示的な形態として開示されている。
追加の用語及び定義

【0170】

他に定義されない限り、本明細書で使用される全ての技術用語及び科学用語は、本開示が関係する当業者によって一般的に理解されるのと同じ意味を有する。本明細書で使用されている用語及び表現は、説明の用語として使用され、限定ではなく、そのような用語及び表現を使用するに際して、示され、説明されている特徴又はその一部分の同等物を除外する意図はないが、請求された本開示の範囲内で様々な変更が可能であることが認識される。したがって、本発明は、好ましい実施形態、例示的な実施形態、及び任意選択の特徴によって部分的に具体的に開示されてきたが、本明細書に開示される概念の変更及び変形は、当業者に頼ることが可能であり、そのような変更及び変形は、本開示の範囲内であるとみなされる、ということを理解されたい。本明細書で提供される特定の実施形態は、本発明の有用な実施形態の例、並びに本明細書に示される本発明の特徴の様々な改変及び／又は変更であり、関連技術に熟練しかつ本開示を所有する者に生じる本明細書に示される原理の追加の用途を、図示の実施形態に対してなすことができ、本開示の範囲内であるとみなされるべきである。

【0171】

更に、ある特徴が、それと組み合わせて別の特徴を必要とするものとして説明されない限り、本明細書の任意の特徴は、本明細書に開示される同じ又は異なる実施形態の他の任意の特徴と組み合わせることができる。更に、例示的なシステム、方法、装置などの様々な周知の態様は、例示的な実施形態の態様が曖昧になることを回避するために、本明細書では特に詳細に説明されていない。しかしながら、そのような態様は、本明細書でも企図されている。

【0172】

本明細書中で使用される際、別段、暗黙的又は明示的に理解又は記載されない限り、単数で現れる単語は、その複数の同等のものを包含し、複数で現れる単語は、その単数の同等のものを包含する。よって、本明細書及び添付の特許請求の範囲に用いられる単数形「ａ」「ａｎ」及び「ｔｈｅ」は、その内容が明確に指示されていない限り複数の対象を含むことに留意されたい。例えば、単一の指示対象（例えば、「ウィジェット」）への参照には、暗黙的又は明示的に理解又は明示されていない限り、１つ、２つ、又はそれ以上の指示対象が含まれる。同様に、複数の指示対象への言及は、内容及び／又は文脈が明確に指示しない限り、単一の指示対象及び／又は複数の指示対象を含むものとして解釈されるべきである。例えば、複数形の指示対象（例えば、「ウィジェット」）への参照は、必ずしも複数のそのような指示対象を必要としない。代わりに、推定される指示対象の数とは無関係に、特に明記しない限り、１つ以上の指示対象が本明細書で企図されることが理解されよう。

【0173】

本出願で引用された全ての参考文献は、それらが本出願の開示と矛盾しない範囲で、参照によりその全体が本明細書に組み込まれる。本明細書に具体的に記載されているもの以外の方法、デバイス、デバイス要素、材料、手順、及び技術が、過度の実験に頼ることなく、本明細書に広く開示されている本発明の実施に適用できることは当業者には明らかであろう。本明細書に具体的に記載されている方法、デバイス、デバイス要素、材料、手順、及び技術の全ての当技術分野で知られている機能的同等物は、本開示内に包含されることが意図されている。

【0174】

成分などのグループが本明細書に開示される場合、開示されたグループの全ての個々のメンバー及びその全てのサブグループが別々に開示されることが理解される。マーカッシュグループ又は他のグループが本明細書で使用される場合、グループの全ての個々のメンバー、及びグループの可能な全てのコンビネーション及びサブコンビネーションは、個別に本開示に含まれることが意図されている。本明細書に記載又は例示されている成分の全ての配合物又は組み合わせは、特に明記しない限り、本開示の好ましい実施形態及び／又は代替実施形態を実施するために使用することができる。ある範囲が明細書に示されている場合は常に、全ての中間範囲及びサブ範囲、並びに与えられた範囲に含まれる全ての個々の値は、本開示に含まれることが意図されている。

【0175】

特許請求の範囲と等価な意味及び範囲に入る全ての変更は、それらの範囲に包含されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【国際調査報告】