知財求人 - 知財ポータルサイト「IP Force」
▶ ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-29
(54)【発明の名称】生物学的標本の画像を解析する計算モデル
(51)【国際特許分類】
G06T 7/00 20170101AFI20231121BHJP
G01N 21/27 20060101ALI20231121BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 630
G01N21/27 E
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023518959
(86)(22)【出願日】2021-11-15
(85)【翻訳文提出日】2023-05-23
(86)【国際出願番号】 US2021059417
(87)【国際公開番号】W WO2022108884
(87)【国際公開日】2022-05-27
(31)【優先権主張番号】16/950,368
(32)【優先日】2020-11-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520431409
【氏名又は名称】ザルトリウス バイオアナリティカル インストゥルメンツ， インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ジャクソン，ティモシー
(72)【発明者】
【氏名】ホルツ，ネヴィン
(72)【発明者】
【氏名】エドランド，クリストファー
(72)【発明者】
【氏名】シェーグレン，リカード
【テーマコード（参考）】
2G059
5L096
【Ｆターム（参考）】
2G059AA05
2G059BB08
2G059BB14
2G059EE01
2G059EE04
2G059EE07
2G059EE13
2G059FF03
2G059FF12
2G059LL01
2G059MM01
2G059MM05
2G059MM09
2G059MM10
5L096BA06
5L096BA13
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
計算モデルを用いて生物学的標本の画像を解析する方法について説明し、方法は、出力データを生成するために、計算モデルを用いて生物学的標本の細胞画像及び生物学的標本の位相差画像を処理することを含む。細胞画像は、第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における生物学的標本の第２の明視野画像の合成物である。方法は、出力データ及び基準データの比較を実行することと、出力データ及び基準データの比較に基づいて計算モデルを精緻化することとを更に含む。方法は、その後、計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて計算モデルを更に精緻化するために、計算モデルに従って追加画像対を処理することを更に含む。
【特許請求の範囲】
【請求項1】
計算モデルを用いて生物学的標本の画像を解析する方法であって、出力データを生成するために、前記計算モデルを用いて、前記生物学的標本の細胞画像及び前記生物学的標本の位相差画像を処理することであって、前記細胞画像は、第１の焦点面における前記生物学的標本の第１の明視野画像及び第２の焦点面における前記生物学的標本の第２の明視野画像の合成物であることと、
前記出力データ及び基準データの比較を実行することと、
前記出力データ及び前記基準データの前記比較に基づいて前記計算モデルを精緻化することと、
その後、前記計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて前記計算モデルを更に精緻化するために、前記計算モデルに従って追加画像対を処理することと、
を含む方法。
【請求項2】
前記第１の明視野画像及び前記第２の明視野画像の画素に関する数学演算を実行することによって前記細胞画像を生成することを更に含む、請求項１に記載の方法。
【請求項3】
前記第１の焦点面は、前記生物学的標本が前記第１の焦点面及び前記第２の焦点面に対して焦点が改善されて観測可能である第３の焦点面を超える脱焦距離にあり、前記第２の焦点面は、第３の焦点面未満の前記脱焦距離にある、請求項１又は２に記載の方法。
【請求項4】
前記脱焦距離は、２０μｍ～６０μｍの範囲内にある、請求項３に記載の方法。
【請求項5】
前記基準データは、人間によって生成されるデータのコンピュータ実施変換を含む、請求項１～４のいずれか一項に記載の方法。
【請求項6】
人間によって生成されるデータのコンピュータ実施変換を生成することを更に含み、前記基準データは、前記コンピュータ実施変換を含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記計算モデルを精緻化することは、自己管理方法又は半管理方法で前記計算モデルを精緻化することを含む、請求項１～６のいずれか一項に記載の方法。
【請求項8】
前記出力データは、前記生物学的標本内の細胞の位置及び範囲の推定を表す、請求項１～７のいずれか一項に記載の方法。
【請求項9】
前記基準データは、前記細胞の前記位置及び前記範囲を正確に規定する、請求項８に記載の方法。
【請求項10】
前記出力データは、前記生物学的標本が蛍光標識を有した場合、前記生物学的標本の外観の推定を表す、請求項１～９のいずれか一項に記載の方法。
【請求項11】
前記基準データは、蛍光標識を有する前記生物学的標本の実際の画像から生成される、請求項１０に記載の方法。
【請求項12】
前記出力データは、前記生物学的標本内の細胞核の位置及び範囲の推定を表す、請求項１～１１のいずれか一項に記載の方法。
【請求項13】
前記基準データは、前記生物学的標本内の前記細胞核の前記位置及び前記範囲を正確に規定する、請求項１２に記載の方法。
【請求項14】
前記基準データは、前記生物学的標本に対応する処理蛍光データを表す、請求項１３に記載の方法。
【請求項15】
前記出力データは、前記生物学的標本の第１の部分の第１のカテゴリーへの分類及び前記生物学的標本の第２の部分の第２のカテゴリーへの分類の推定を表す、請求項１～１４のいずれか一項に記載の方法。
【請求項16】
前記基準データは、前記生物学的標本の前記第１の部分の前記第１のカテゴリーへの前記分類及び前記生物学的標本の前記第２の部分の前記第２のカテゴリーへの前記分類を正確に規定する、請求項１５に記載の方法。
【請求項17】
前記出力データは、前記生物学的標本の全部のカテゴリーへの分類を表す、請求項１～１６のいずれか一項に記載の方法。
【請求項18】
前記基準データは、前記生物学的標本の前記全部を前記カテゴリーに正確に分類する、請求項１７に記載の方法。
【請求項19】
前記計算モデルを更に精緻化するために前記計算モデルに従って前記追加画像対を処理することは、前記追加出力データと前記追加基準データとの間の各差の合計を減らすために、前記計算モデルを精緻化することを含む、請求項１～１８のいずれか一項に記載の方法。
【請求項20】
前記計算モデルを用いて前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することは、人工ニューラルネットワークを用いて、前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することを含む、請求項１～１９のいずれか一項に記載の方法。
【請求項21】
前記計算モデルを用いて前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することは、畳み込みニューラルネットワークを用いて、前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することを含む、請求項１～２０のいずれか一項に記載の方法。
【請求項22】
前記計算モデルを用いて前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することは、前記細胞画像及び前記位相差画像の合成物を処理することを含む、請求項１～２１のいずれか一項に記載の方法。
【請求項23】
前記計算モデルを用いて前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することは、前記計算モデルの第１のチャンネルを介して前記細胞画像を処理すること、及び、前記計算モデルの第２のチャンネルを介して前記位相差画像を処理すること、を含む、請求項１～２２のいずれか一項に記載の方法。
【請求項24】
前記計算モデルを用いて前記生物学的標本の前記細胞画像及び前記生物学的標本の前記位相差画像を処理することは、前記第１のチャンネルの第１の出力及び前記第２のチャンネルの第２の出力を処理し、前記出力データを生成することを更に含む、請求項２３に記載の方法。
【請求項25】
計算デバイスによって実行される場合、請求項１～２４のいずれか一項に記載の方法を前記計算デバイスに実行させる命令を記憶する非一時的データ記憶装置。
【請求項26】
生物学的標本を検定するシステムであって、光学顕微鏡と、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサによって実行される場合、請求項１～２４のいずれか一項に記載の方法を前記システムに実行させる命令を記憶する非一時的データ記憶装置と
を含むシステム。
【請求項27】
生物学的標本を検定するシステムであって、光学顕微鏡と、
１つ又は複数のプロセッサと、
前記１つ又は複数のプロセッサによって実行される場合、
第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における前記生物学的標本の第２の明視野画像を、前記光学顕微鏡を介して取り込むことと、
前記第１の明視野画像及び前記第２の明視野画像の画素に関する数学演算を実行することによって前記生物学的標本の細胞画像を生成することと、
出力データを生成するために、計算モデルを用いて、前記生物学的標本の前記細胞画像及び前記生物学的標本の位相差画像を処理することと、
前記出力データ及び基準データの比較を実行することと、
前記出力データ及び前記基準データの前記比較に基づいて前記計算モデルを精緻化することと、
その後、前記計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて前記計算モデルを更に精緻化するために、前記計算モデルに従って追加画像対を処理することと、
を含む機能を前記システムに実行させる命令を記憶する非一時的データ記憶装置と
を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] この出願は、参照により本明細書に引用される、２０２０年１１月１７日に出願の米国特許出願第１６／９５０，３６８号への優先権を主張する国際出願である。また、２０１９年２月１日に出願の米国特許出願第１６／２６５，９１０号、及び２０２０年１１月１７日に出願の米国特許出願第１７／０９９，９８３号も参照により引用される。
[0001] この出願は、参照により本明細書に引用される、２０２０年１１月１７日に出願の米国特許出願第１６／９５０，３６８号への優先権を主張する国際出願である。また、２０１９年２月１日に出願の米国特許出願第１６／２６５，９１０号、及び２０２０年１１月１７日に出願の米国特許出願第１７／０９９，９８３号も参照により引用される。
【背景技術】
【0002】
背景
[0002] 生物学的標本の標識又は非標識画像を解析するために、深層人工ニューラルネットワーク（ＡＮＮ）、一般的に畳み込みニューラルネットワーク（ＣＮＮ）を使用することができる。生物への詳細な洞察力を与える、例えば、特定のタンパク質、細胞内コンパートメント、又は細胞型をマーク付けするために、蛍光標識を一般的に使用する。しかし、このような標識化は、生物に支障を来たし、蛍光に必要な長い暴露時間のために光毒性作用を引き起こすこともある。無標識解析において、ＡＮＮの使用は典型的に、所与の生物学的標本の単一顕微鏡画像の解析を必要とする。
[0002] 生物学的標本の標識又は非標識画像を解析するために、深層人工ニューラルネットワーク（ＡＮＮ）、一般的に畳み込みニューラルネットワーク（ＣＮＮ）を使用することができる。生物への詳細な洞察力を与える、例えば、特定のタンパク質、細胞内コンパートメント、又は細胞型をマーク付けするために、蛍光標識を一般的に使用する。しかし、このような標識化は、生物に支障を来たし、蛍光に必要な長い暴露時間のために光毒性作用を引き起こすこともある。無標識解析において、ＡＮＮの使用は典型的に、所与の生物学的標本の単一顕微鏡画像の解析を必要とする。
【発明の概要】
【課題を解決するための手段】
【0003】
概要
[0003] 例において、開示は、計算モデルを用いて生物学的標本の画像を解析する方法であって、出力データを生成するために、計算モデルを用いて生物学的標本の細胞画像及び生物学的標本の位相差画像を処理することであって、細胞画像は、第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における生物学的標本の第２の明視野画像の合成物であることと、出力データ及び基準データの比較を実行することと、出力データ及び基準データの比較に基づいて計算モデルを精緻化することと、その後、計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて計算モデルを更に精緻化するために、計算モデルに従って追加画像対を処理することと、を含む方法を含む。
[0003] 例において、開示は、計算モデルを用いて生物学的標本の画像を解析する方法であって、出力データを生成するために、計算モデルを用いて生物学的標本の細胞画像及び生物学的標本の位相差画像を処理することであって、細胞画像は、第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における生物学的標本の第２の明視野画像の合成物であることと、出力データ及び基準データの比較を実行することと、出力データ及び基準データの比較に基づいて計算モデルを精緻化することと、その後、計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて計算モデルを更に精緻化するために、計算モデルに従って追加画像対を処理することと、を含む方法を含む。
【0004】
[0004] 別の例において、開示は、計算デバイスによって実行される場合、計算モデルを用いて生物学的標本の画像を解析する機能を計算デバイスに実行させる命令を記憶する非一時的データ記憶装置であって、機能は、出力データを生成するために、計算モデルを用いて生物学的標本の細胞画像及び生物学的標本の位相差画像を処理することであって、細胞画像は、第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における生物学的標本の第２の明視野画像の合成物であることと、出力データ及び基準データの比較を実行することと、出力データ及び基準データの比較に基づいて計算モデルを精緻化することと、その後、計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて計算モデルを更に精緻化するために、計算モデルに従って追加画像対を処理することと、を含む非一時的データ記憶装置を含む。
【0005】
[0005] 別の例において、開示は、生物学的標本を検定するシステムであって、光学顕微鏡と、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行される場合、第１の焦点面における生物学的標本の第１の明視野画像及び第２の焦点面における生物学的標本の第２の明視野画像を、光学顕微鏡を介して取り込むことと、第１の明視野画像及び第２の明視野画像の画素に関する数学演算を実行することによって生物学的標本の細胞画像を生成することと、出力データを生成するために、計算モデルを用いて生物学的標本の細胞画像及び生物学的標本の位相差画像を処理することと、出力データ及び基準データの比較を実行することと、出力データ及び基準データの比較に基づいて計算モデルを精緻化することと、その後、計算モデルによって生成される追加出力データと追加基準データとの比較に基づいて計算モデルを更に精緻化するために、計算モデルに従って追加画像対を処理することと、を含む機能をシステムに実行させる命令を記憶する非一時的データ記憶装置と、を含むシステムを含む。
【0006】
[0006] 説明されている特徴、機能、及び利点は、様々な例で独立して達成可能であり、又は、下記の説明及び図面を参照して分かる更なる詳細を、さらに他の例で組み合わせてもよい。
【図面の簡単な説明】
【0007】
図面の簡単な説明
【図1】[0007]実装形態の１つの例による、環境の機能ブロック図である。
【図2】[0008]実装形態の例による、計算デバイス及びコンピュータネットワークのブロック図を示す。
【図3】[0009]実装形態の例による、方法のフローチャートを示す。
【図4】[00010]実装形態の例による、生物学的標本の画像を示す。
【図5】[00011]実装形態の例による、別の生物学的標本の画像を示す。
【図6A】[00012]カンプトテシン（ＣＰＴ、細胞傷害性）処理に続くＨＴ１０８０線維肉腫アポトーシスの２４時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。
【図6B】[00013]図６Ａの実装形態による、赤色（NucLight Red、細胞健全性指示薬、「NucRed」）及び緑色蛍光（カスパーゼ３／７、アポトーシス指示薬）に基づいて分類された細胞サブセットを示す。
【図6C】[00014]図６Ａの実装形態による、生存細胞の消失を示すＣＰＴ処理後の赤色集団の減少、初期アポトーシスを示す赤色及び緑色蛍光の増加、及び後期アポトーシスを示す２４時間後の緑色蛍光の増加があったことを示す。
【図6E】[00016]シクロヘキサアミド（ＣＨＸ、細胞増殖抑制性）処理に続くＨＴ１０８０線維肉腫アポトーシスの２４時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。
【図6F】[00017]図６Ｅの実装形態による、赤色（NucLight Red、細胞健全性指示薬、「NucRed」）及び緑色蛍光（カスパーゼ３／７、アポトーシス指示薬）に基づいて分類された細胞サブセットを示す。
【図7A】[00020]実装形態の例によって生成される細胞毎分割解析を用いて付着細胞の無標識細胞計数に対する位相差画像上に押し付けられた細胞毎分割マスクを示す。NucLight Red試薬で標識化されたＡ５４９細胞の様々な密度を、無標識細胞毎解析及び経時的な無標識計数を確認する赤核計数解析の両方で解析した。
【図8】[00024]３つの焦点面の略図である。
【図9】[00025]環境の動作の略図である。
【図10】[00026]出力データ及び基準データの略図である。
【図11】[00027]出力データ及び基準データの略図である。
【図12】[00028]方法のブロック図である。
【図13】[00029]方法のブロック図である。
【図14】[00030]画像分類に関連する画像を示す。
【図15】[00031]計算モデルの結果を示す。
【0008】
[00032] 図面は、説明に役立つ例のためであり、本発明は、図面に示す構成及び手段に限定されないものとする。
【発明を実施するための形態】
【0009】
詳細な説明
Ｉ．概略
[00033] 本明細書に記載の方法の実施形態は、焦点外明視野画像を利用して生物学的標本の１つ又は複数の細胞の位相差画像を分割し、これによって、高速処理時間で個別細胞及び部分集団解析を可能にするために使用可能である。更に、方法の開示の例は、有益なことに、細胞のリアルタイム無標識（即ち、無蛍光）計数を可能にし、生細胞の生存能力及び機能を妥協して解決することができる蛍光マーカーの影響を回避する。方法の開示の例の更なる利点は、細胞形態の複雑さにかかわらず、ＨＵＶＥＣのような扁平細胞を含む、個別細胞境界の検出である。
Ｉ．概略
[00033] 本明細書に記載の方法の実施形態は、焦点外明視野画像を利用して生物学的標本の１つ又は複数の細胞の位相差画像を分割し、これによって、高速処理時間で個別細胞及び部分集団解析を可能にするために使用可能である。更に、方法の開示の例は、有益なことに、細胞のリアルタイム無標識（即ち、無蛍光）計数を可能にし、生細胞の生存能力及び機能を妥協して解決することができる蛍光マーカーの影響を回避する。方法の開示の例の更なる利点は、細胞形態の複雑さにかかわらず、ＨＵＶＥＣのような扁平細胞を含む、個別細胞境界の検出である。
【0010】
ＩＩ．アーキテクチャの例
[00034] 図１は、例えば、光学顕微鏡１０５、及び１つ又は複数の細胞を有する生物学的標本１１０を含む又は伴う動作環境１００を示すブロック図である。後述の図３～図５における方法３００は、この動作環境１００内で実施可能な方法の実施形態を示す。
[00034] 図１は、例えば、光学顕微鏡１０５、及び１つ又は複数の細胞を有する生物学的標本１１０を含む又は伴う動作環境１００を示すブロック図である。後述の図３～図５における方法３００は、この動作環境１００内で実施可能な方法の実施形態を示す。
【0011】
[00035] 図２は、直接又は間接的に動作環境１００とインターフェース接続するように構成されている、実装形態の例による、計算デバイス２００の例を示すブロック図である。後述の図３～図５に示す方法の機能を実行するために、計算デバイス２００が使用されてもよい。特に、計算デバイス２００は、例えば、光学顕微鏡１０５によって得られる画像に部分的に基づいている画像生成機能を含む１つ又は複数の機能を実行するように構成され得る。計算デバイス２００は、通信バス２１２に各々接続された、プロセッサ２０２、さらに通信インターフェース２０４、データ記憶装置２０６、出力インターフェース２０８、及び表示器２１０を有する。さらに、計算デバイス２００は、計算デバイス２００内で通信を可能にし、計算デバイス２００と他のデバイス（例えば、図示せず）との間のハードウェアを含んでもよい。ハードウェアは、例えば、送信器、受信器、及びアンテナを含んでもよい。
【0012】
[00036] 通信インターフェース２０４は、１つ又は複数のネットワーク２１４又は１つ又は複数の遠隔計算デバイス２１６（例えば、タブレット２１６ａ、パーソナルコンピュータ２１６ｂ、ラップトップコンピュータ２１６ｃ及びモバイル計算デバイス２１６ｄ）との短距離通信及び長距離通信の両方を可能にする、無線インターフェース及び／又は１つ又は複数の有線インターフェースであってもよい。このような無線インターフェースは、１つ又は複数の無線通信プロトコル、例えば、Bluetooth（登録商標）、WiFi（例えば、電気電子技術者協会（ＩＥＥＥ）８０２．１１プロトコル）、ロングタームエボリューション（ＬＴＥ）、セルラー通信、近距離通信（ＮＦＣ）、及び／又は他の無線通信プロトコルの下で通信を提供してもよい。このような有線インターフェースは、イーサネットインターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、又は、線、ツイストペア線、同軸ケーブル、光リンク、光ファイバーリンク、又は有線ネットワークへの他の物理的接続部を介して通信する同様なインターフェースを含んでもよい。従って、通信インターフェース２０４は、１つ又は複数のデバイスから入力データを受信するように構成されてもよく、更に、他のデバイスに出力データを送信するように構成されてもよい。
【0013】
[00037] さらに、通信インターフェース２０４は、ユーザ入力デバイス、例えば、キーボード、キーパッド、タッチスクリーン、タッチパッド、コンピュータマウス、トラックボール及び／又は他の同様なデバイス、を含んでもよい。
【0014】
[00038] データ記憶装置２０６は、プロセッサ２０２によって読み取り可能又はアクセス可能な、１つ又は複数のコンピュータ可読記憶媒体を含んでもよく、又はコンピュータ可読記憶媒体の形をとってもよい。コンピュータ可読記憶媒体は、プロセッサ２０２と全部又は一部において統合可能な揮発性及び／又は不揮発性記憶構成要素、例えば、光、磁気、有機又は他のメモリ又はディスク記憶装置、を含むことができる。データ記憶装置２０６は、非一時的コンピュータ可読媒体と考えられる。幾つかの例において、単一物理的デバイス、例えば、１つの光、磁気、有機又は他のメモリ又はディスク記憶ユニット、を用いて、データ記憶装置２０６を実装することができる一方、他の例において、２つ以上の物理的デバイスを用いて、データ記憶装置２０６を実装することができる。
【0015】
[00039] 従って、データ記憶装置２０６は、非一時的コンピュータ可読記憶媒体であり、データ記憶装置２０６に実行可能命令２１８を記憶する。命令２１８は、コンピュータ実行可能コードを含む。命令２１８がプロセッサ２０２によって実行される場合、プロセッサ２０２が機能を実行する。このような機能は、光学顕微鏡１０５から明視野画像を受信すること、及び、位相差画像、合流マスク、細胞画像、種マスク、細胞毎分割マスク及び蛍光画像を生成することを含むが、これらに限定されない。
【0016】
[00040] プロセッサ２０２は、汎用プロセッサ又は専用プロセッサ（例えば、デジタル信号プロセッサ、特定用途向け集積回路など）であってもよい。プロセッサ２０２は、通信インターフェース２０４から入力を受信し、入力を処理し、データ記憶装置２０６に記憶され、表示器２１０に出力される出力を生成してもよい。プロセッサ２０２は、データ記憶装置２０６に記憶され、本明細書に記載の計算デバイス２００の機能を与えるために実行可能な実行可能命令２１８（例えば、コンピュータ可読プログラム命令）を実行するように構成され得る。
【0017】
[00041] 出力インターフェース２０８は、情報を表示器２１０又はさらに他の構成要素に出力する。したがって、出力インターフェース２０８は、通信インターフェース２０４と同様であってもよく、無線インターフェース（例えば、送信器）又は更に有線インターフェースであることができる。出力インターフェース２０８は、例えば、１つ又は複数の制御可能デバイスにコマンドを送信してもよい。
【0018】
[00042] さらに、図２に示す計算デバイス２００は、例えば、光学顕微鏡１０５と通信している動作環境１００でローカル計算デバイス２００ａを表してもよい。このローカル計算デバイス２００ａは、後述の方法３００のステップのうち１つ又は複数のステップを実行してもよく、ユーザから入力を受信してもよく、及び／又は、画像データ及びユーザ入力を計算デバイス２００に送信し、方法３００のステップの全部又は一部を実行してもよい。さらに、実施形態の１つの任意選択例において、Incucyte（登録商標）プラットフォームは、方法３００を実行するために利用されてもよく、計算デバイス２００及び光学顕微鏡１０５の結合機能を含む。
【0019】
[00043] 図３は、実装形態の例による、生物学的標本１１０の１つ又は複数の細胞に対する細胞毎分割を達成する方法３００の例のフローチャートを示す。図３に示す方法３００は、例えば、図２の計算デバイス２００で使用可能な方法の例を示す。さらに、デバイス又はシステムは、図３に示す論理機能を実行するように使用又は構成されてもよい。場合によっては、デバイス及び／又はシステムの構成要素は、このような性能を可能にするようにハードウェア及び／又はソフトウェアで構成要素を構成及び構築するために、機能を実行するように構成されてもよい。デバイス及び／又はシステムの構成要素は、例えば、特定の方法で動作される場合、機能を実行するのに適合され、機能を実行することができ、又は機能を実行するのに適しているように配置されてもよい。方法３００は、ブロック３０５～３３０のうち１つ又は複数のブロックによって例示のような１つ又は複数の動作、機能、又は作用を含んでもよい。ブロックが連続的順序で例示しているが、これらのブロックの一部は、並列に、及び／又は本明細書に記載の順序と異なる順序で、実行されてもよい。さらに、様々なブロックを、より少ないブロックに結合してもよく、更なるブロックに分けてもよく、及び／又は所望の実装形態に基づいて除去してもよい。
【0020】
[00044] 本明細書に開示される、この及び他の処理及び方法のために、フローチャートは、本例の１つの可能な実装形態の機能及び動作を示すと理解されるべきである。この点で、各ブロックは、処理で特定の論理機能又はステップを実施するプロセッサによって実行可能な１つ又は複数の命令を含む、モジュール、セグメント、又はプログラムコードの一部を表してもよい。プログラムコードは、例えば、任意のタイプのコンピュータ可読媒体又はデータ記憶装置（例えば、ディスク又はハードドライブを含む記憶デバイス）に記憶されてもよい。さらに、プログラムコードを、機械可読フォーマットでコンピュータ可読記憶媒体に符号化することができ、又は他の非一時的媒体又は製造品に符号化することができる。コンピュータ可読媒体は、例えば、非一時的コンピュータ可読媒体又はメモリ、例えば、データを短時間記憶するコンピュータ可読媒体（例えば、レジスタメモリ、プロセッサキャッシュ及びランダムアクセスメモリ（ＲＡＭ））を含んでもよい。また、コンピュータ可読媒体は、非一時的媒体、例えば、読み出し専用メモリ（ＲＯＭ）、光又は磁気ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）のような二次又は永続的長期記憶装置を含んでもよい。さらに、コンピュータ可読媒体は、任意の他の揮発性又は不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば有形のコンピュータ可読記憶媒体と考えられてもよい。
【0021】
[00045] 加えて、本明細書に開示の他の処理及び方法内で図３における各ブロックは、処理で特定の論理機能を実行するように配線されている回路を表してもよい。理性的な当業者に理解されるように、含まれる機能に応じて、実質的に同時又は逆の順序を含む、図示又は記載の順序からずれた順序で機能を実行することができる代替の実装形態は、本開示の例の範囲内で含まれる。
【0022】
ＩＩＩ．方法の例
[00046] 本明細書で使用されるように、「明視野画像」は、光波が生物学的標本の透明部分を通過するように下から照明される生物学的標本に基づいて顕微鏡を介して得られる画像を意味する。次に、様々な輝度レベルを、明視野画像に取り込む。
[00046] 本明細書で使用されるように、「明視野画像」は、光波が生物学的標本の透明部分を通過するように下から照明される生物学的標本に基づいて顕微鏡を介して得られる画像を意味する。次に、様々な輝度レベルを、明視野画像に取り込む。
【0023】
[00047] 本明細書で使用されるように、「位相差画像」は、生物学的標本の異なる部分の屈折率の差のために生物学的標本を通過する光の位相シフトを取り込む下から照明される生物学的標本に基づいて、直接又は間接的に顕微鏡を介して得られる画像を意味する。例えば、光波が生物学的標本を通って進む場合、光波振幅（即ち、輝度）及び位相は、生物学的標本の特性に依存する方法で変化する。その結果、高屈折率を有するより密な領域を、得られる画像でより暗くし、低屈折率を有するより薄い領域を、得られる画像でより明るくするように変化する画素に関連する輝度強度値を、位相差画像は有する。明視野画像のＺスタックからを含む多くの技法を介して、位相差画像を生成することができる。
【0024】
[00048] 本明細書で使用されるように、明視野画像の「Ｚスタック」又は「Ｚ掃引」は、個別ソース明視野画像のいずれよりも大きい被写界深度（即ち、焦点面の厚さ）を有する合成画像を与えるために異なる焦点距離で撮影される多数の画像を結合するデジタル画像処理方法を意味する。
【0025】
[00049] 本明細書で使用されるように、「焦点面」は、生物学的標本が最適焦点で観測可能である光学顕微鏡レンズの軸と垂直に配置された平面を意味する。
【0026】
[00050] 本明細書で使用されるように、「脱焦距離」は、生物学的標本が焦点外で観測可能であるように、焦点面を超える又は焦点面未満の距離を意味する。
【0027】
[00051] 本明細書で使用されるように、「合流マスク」は、１つ又は複数の細胞に対応する画素に１の値を割り当て、背景に対応する残りの画素に０の値を割り当てるように、又は逆もまた同様であるように、画素を生物学的標本における１つ又は複数の細胞に属すると識別する２値画像を意味する。
【0028】
[00052] 本明細書で使用されるように、「細胞画像」は、背景に対する細胞コントラストを高めるために異なる平面で得られる少なくとも２つの明視野画像に基づいて生成される画像を意味する。
【0029】
[00053] 本明細書で使用されるように、「種マスク」（seed mask）は、設定画素強度閾値に基づいて生成される２値画素化を有する画像を意味する。
【0030】
[00054] 本明細書で使用されるように、「細胞毎分割マスク」は、生物学的標本１１０の各細胞を異なる関心領域として表示するように、２値画素化（即ち、各画素は、プロセッサによって０又は１の値を割り当てられる）を有する画像を意味する。有利なことに、細胞毎分割マスクは、表示される細胞の無標識計数を可能にし、個別付着細胞の全域の判定を可能にし、細胞テクスチャ計量及び細胞形状記述子に基づく解析を可能にし、及び／又は、各細胞が生物学的標本１１０で多くの他の隣接細胞と接触することができる、シートに形成される傾向がある付着細胞を含む、個別細胞境界の検出を可能にする。
【0031】
[00055] 本明細書で使用されるように、「領域拡張反復」は、１つ又は複数の初期識別個別画素又は画素セット（即ち、種（seeds））をとり、隣接画素をセットに追加することによってその種を反復的に拡張することによって、関心領域（「ＲＯＩ」）を規定する反復画像分割方法における単一ステップを意味する。プロセッサは、類似計量を利用して、どの画素を拡張領域に追加し、停止基準は、プロセッサが、領域拡張が完了するタイミングを判定するために定義される。
【0032】
[00056] さて、図３～図５について説明する。図１及び図２の計算デバイスを用いて、方法３００を例示する。方法３００は、ブロック３０５で、生物学的標本１１０に対する焦点面を中心とする１つ又は複数の細胞を含む生物学的標本１１０の少なくとも１つの位相差画像４００を生成するプロセッサ２０２を含む。次に、ブロック３１０で、プロセッサ２０２は、少なくとも１つの位相差画像４００に基づいて２値画像の形で合流マスク４１０を生成する。次に、ブロック３１５で、プロセッサ２０２は、焦点面を超える脱焦距離で生物学的標本１１０における１つ又は複数の細胞の第１の明視野画像４１５、及び焦点面未満の脱焦距離で生物学的標本１１０における１つ又は複数の細胞の第２の明視野画像４２０を受信する。次に、ブロック３２０で、プロセッサ２０２は、第１の明視野画像４１５及び第２の明視野画像４２０に基づいて生物学的標本における１つ又は複数の細胞の細胞画像４２５を生成する。ブロック３２５で、プロセッサ２０２は、細胞画像４２５及び少なくとも１つの位相差画像４００に基づいて種マスク４３０を生成する。さらに、ブロック３３０で、プロセッサ２０２は、種マスク４３０及び合流マスク４１０に基づいて細胞毎分割マスク４３５を示す生物学的標本における１つ又は複数の細胞の画像を生成する。
【0033】
[00057] 図３に示すように、ブロック３０５で、生物学的標本１１０に対する焦点面を中心とする１つ又は複数の細胞を含む生物学的標本１１０の、少なくとも１つの位相差画像４００を生成するプロセッサ２０２は、明視野画像のＺ掃引を受信し、次に、明視野画像のＺ掃引に基づいて少なくとも１つの位相差画像４００を生成するプロセッサ２０２を含む。様々な実施形態において、生物学的標本１１０を、実験セットを表す窪み板における複数の窪み内で分散させてもよい。
【0034】
[00058] １つの任意選択実施形態において、方法３００は、細胞毎分割マスク４３５内で、少なくとも１つの蛍光画像を受信し、次に、生物学的標本１１０における１つ又は複数の細胞の蛍光強度を計算するプロセッサ２０２を含む。この実施形態において、蛍光強度は、関心のあるタンパク質、例えば、ＣＤ２０などの細胞表面マーカーを標識化する抗体、又は細胞死に対応する蛍光を誘導するアネキシンＶ試薬、のレベルに対応する。さらに、個別細胞境界内で蛍光強度を判定することは、部分集団識別を増加し、部分集団固有の計量（例えば、アネキシンＶの存在によって定義されるような全瀕死細胞の平均面積及び離心率）の計算を可能にする。
【0035】
[00059] 別の実施形態において、ブロック３１０で、少なくとも１つの位相差画像４００に基づいて２値画像の形で合流マスク４１０を生成するプロセッサ２０２は、生物学的標本１１０における１つ又は複数の細胞に属する画素の識別を可能にするために局所テクスチャフィルター又は輝度フィルターのうち１つ又は複数のフィルターを適用するプロセッサ２０２を含む。フィルターの例は、局所範囲フィルター、局所エントロピーフィルター、局所標準偏差フィルター、局所輝度フィルター及びガボールウェーブレットフィルターを含むことができるが、これらに限定されない。合流マスク４１０の例を、図４及び図５に示す。
【0036】
[00060] 別の任意選択実施形態において、光学顕微鏡１０５は、生物学的標本１１０の焦点面を判定する。さらに、様々な実施形態において、脱焦距離は、２０μｍ～６０μｍの範囲にあってもよい。最適脱焦距離は、対物レンズの倍率及び動作距離を含む、使用される対物レンズの光学的特性に基づいて判定される。
【0037】
[00061] 図５に示す更なる実施形態において、ブロック３２０で、第１の明視野画像４１５及び第２の明視野画像４２０に基づいて細胞画像４２５を生成するプロセッサ２０２は、複数の画素に関する数学演算又は特徴検出のうち少なくとも１つを利用して焦点面を中心とする第３の明視野画像４０５に基づいて第１の明視野画像４１５及び第２の明視野画像４２０を向上させるプロセッサ２０２を含む。画素に関する数学演算の１つの例は、加算、減算、乗算、除算、又はこれらの演算の任意の組み合わせを含む。次に、プロセッサ２０２は、第１の明視野画像４１５及び第２の明視野画像４２０を少なくとも１つの位相差画像４００に整列させるために、変換パラメータを計算する。次に、プロセッサ２０２は、整列された第２の明視野画像４２０の各画素に対する輝度レベルを、整列された第１の明視野画像４１５における対応する画素の輝度レベルによって結合し、これによって、細胞画像４２５を形成する。上述の数学演算のいずれかを介して、各画素に対する輝度レベルの結合を達成することができる。細胞画像４２５を生成する技術的効果は、明視野アーチファクト（例えば、影）を除去し、種マスク４３０に対する細胞検出を増加させるために、画像コントラストを高めることである。
【0038】
[00062] 別の任意選択実施形態において、ブロック３２０で、第１の明視野画像４１５及び第２の明視野画像４２０に基づいて生物学的標本１１０における１つ又は複数の細胞の細胞画像４２５を生成するプロセッサ２０２は、１つ又は複数の閾値レベル及び１つ又は複数のフィルターサイズを判定する１つ又は複数のユーザ定義パラメータを受信するプロセッサ２０２を含む。次に、プロセッサ２０２は、１つ又は複数のユーザ定義パラメータに基づいて、１つ又は複数の平滑化フィルターを細胞画像４２５に適用する。平滑化フィルターの技術的効果は、種マスク４３０における細胞検出の精度を更に増加させ、１つの種を細胞毎に割り当てる可能性を増加させることである。異なる付着細胞形態（例えば、平坦対丸い形状、突起細胞、クラスター細胞など）に適合するように、平滑化フィルターパラメータを選択する。
【0039】
[00063] 更なる任意選択実施形態において、ブロック３２５で、細胞画像４２５及び少なくとも１つの位相差画像４００に基づいて種マスク４３０を生成するプロセッサ２０２は、閾値画素強度における各画素又は閾値画素強度を超える各画素を、細胞種画素として識別し、これによって、２値画素化を有する種マスク４３０になるように、細胞画像４２５を修正するプロセッサ２０２を含む。種マスクの２値画素化の技術的効果は、合流マスクの対応する２値画素化との比較を可能にすることである。さらに、種マスクの２値画素化は、後述の領域拡張反復用の開始点として利用される。例えば、更に別の任意選択実施形態において、種マスク４３０は、生物学的標本１１０における単一細胞に各々対応する複数の種を有してもよい。この実施形態において、方法３００は、細胞毎分割マスク４３５を示す生物学的標本における１つ又は複数の細胞の画像を生成するプロセッサ２０２の前に、種マスク４３０及び合流マスク４１０を比較し、合流マスク４１０の区域に配置されない種マスク４３０から１つ又は複数の領域を除去し、種マスク４３０の複数の種のうち１つの種を含まない合流マスク４１０から１つ又は複数の領域を除去するプロセッサ２０２を更に含む。これらの除去領域の技術的効果は、種を生成する小さな明るい物体（例えば、細胞破片）を排除し、後述の領域拡張反復に利用される種の識別を高めることである。
【0040】
[00064] 更なる任意選択実施形態において、ブロック３３０で、種マスク４３０及び合流マスク４１０に基づいて細胞毎分割マスク４３５を示す生物学的標本１１０における１つ又は複数の細胞の画像を生成するプロセッサ２０２は、種の活性セットの各々に対する領域拡張反復を実行するプロセッサ２０２を含む。次に、プロセッサ２０２は、所与の種に対する拡張領域が、合流マスク４１０の１つ又は複数の境界に達する、又は別の種の拡張領域と重複するまで、種の活性セットにおける各種に対する領域拡張反復を繰り返す。種の活性セットは、細胞画像における対応する画素の値の特性に基づいて各反復に対するプロセッサ２０２によって選択される。さらに、明視野画像４１５、４２０、４０５だけでなく、少なくとも１つの位相差画像４００も使用する技術的効果は、種が、細胞画像４２５における輝点及び位相差画像４００における高テクスチャの区域の両方に対応すること（即ち、より詳細に後述の種マスク４３０との合流マスク４１０の重複）である。明視野画像４１５、４２０、４０５だけでなく、合流マスク４１０、少なくとも１つの位相差画像も使用した結果生じる別の技術的効果は、１つの例として、有利なことに、細胞表面タンパク質発現のような特徴を定量化することができる細胞毎分割マスク４３５における個別細胞位置及び細胞境界の識別の精度増加である。
【0041】
[00065] 更に別の任意選択実施形態において、方法３００は、１つ又は複数の細胞テクスチャ計量及び細胞形状記述子に基づいて物体を除去するために、ユーザ入力に応じて１つ又は複数のフィルターを適用する、プロセッサ２０２を含んでもよい。次に、プロセッサ２０２は、１つ又は複数のフィルターの適用に応じて細胞毎分割マスクを示す生物学的標本の画像を修正する。細胞テクスチャ計量及び細胞形状記述子の例は、細胞のサイズ、周辺、離心率、蛍光強度、アスペクト比、堅実性、フェレ径、位相差エントロピー及び位相差標準偏差を含むが、これらに限定されない。
【0042】
[00066] 更なる任意選択実施形態において、方法３００は、細胞毎分割マスク４３５を示す生物学的標本１１０における１つ又は複数の細胞の画像に基づいて生物学的標本１１０に対する細胞計数を判定するプロセッサ２０２を含んでもよい。有利なことに、例えば図４に示す細胞毎分割マスク４３５に示す明確な細胞境界の結果として、上述の細胞計数を認める。１つの任意選択実施形態において、生物学的標本１１０における１つ又は複数の細胞は、付着細胞及び非付着細胞のうち１つ又は複数の細胞である。更なる実施形態において、付着細胞は、ヒト肺癌細胞、線維癌細胞、乳癌細胞、卵巣癌細胞を含む様々な癌細胞株、又はヒト臍静脈細胞を含むヒト微小血管細胞株のうち１つ又は複数の細胞株を含んでもよい。任意選択実施形態において、プロセッサ２０２は、付着細胞に適用されたフィルターと異なる平滑化フィルターを、ＰＭＢＣ及びJurkat細胞のようなヒト免疫細胞を含む非付着細胞に適用し、細胞境界の近似を向上させるような方法で、領域拡張反復を実行する。
【0043】
[00067] 上述のように、上述の方法の機能のいずれかの性能をもたらすためにプロセッサ２０２による実行時に利用可能なプログラム命令を記憶している非一時的コンピュータ可読媒体。
【0044】
[00068] １つの例として、生物学的標本１１０に対する焦点面を中心とする少なくとも１つの明視野画像４０５に基づいて１つ又は複数の細胞を含む生物学的標本１１０の少なくとも１つの位相差画像４００を生成するプロセッサ２０２を含む動作のセットの性能をプロセッサ２０２による実行時にもたらすプログラム命令を記憶している非一時的コンピュータ可読媒体。次に、プロセッサ２０２は、少なくとも１つの位相差画像４００に基づいて２値画像の形で合流マスク４１０を生成する。次に、プロセッサ２０２は、焦点面を超える脱焦距離で生物学的標本１１０における１つ又は複数の細胞の第１の明視野画像４１５、及び焦点面未満の脱焦距離で生物学的標本１１０における１つ又は複数の細胞の第２の明視野画像４２０を受信する。次に、プロセッサ２０２は、第１の明視野画像４１５及び第２の明視野画像４２０に基づいて１つ又は複数の細胞の細胞画像４２５を生成する。さらに、プロセッサ２０２は、細胞画像４２５及び少なくとも１つの位相差画像４００に基づいて種マスク４３０を生成する。さらに、プロセッサ２０２は、種マスク４３０及び合流マスク４１０に基づいて細胞毎分割マスク４３５を示す生物学的標本１１０における１つ又は複数の細胞の画像を生成する。
【0045】
[00069] １つの任意選択実施形態において、非一時的コンピュータ可読媒体は、少なくとも１つの蛍光画像を受信するプロセッサ２０２、及び細胞毎分割マスク内の生物学的標本における１つ又は複数の細胞の蛍光強度を計算するプロセッサ２０２を更に含む。
【0046】
[00070] 別の任意選択実施形態において、非一時的コンピュータ可読媒体は、細胞画像４２５及び少なくとも１つの位相差画像４００に基づいて種マスク４３０を生成するプロセッサ２０２を更に含む。さらに、非一時的コンピュータ可読媒体は、閾値画素強度における各画素又は閾値画素強度を超える各画素を、細胞種画素として識別し、これによって、２値画素化を有する種マスク４３０になるように、細胞画像４２５を修正するプロセッサ２０２を更に含む。
【0047】
[00071] 更なる任意選択実施形態において、種マスク４３０は、単一細胞に各々対応する複数の種を有する。更に、非一時的コンピュータ可読媒体は、細胞毎分割マスク４３５を示す生物学的標本１１０における１つ又は複数の細胞の画像を生成するプロセッサ２０２の前に、種マスク４３０及び合流マスク４１０を比較し、合流マスク４１０の区域に配置されない種マスク４３０から１つ又は複数の領域を除去し、種マスク４３０の複数の種のうち１つの種を含まない合流マスク４１０から１つ又は複数の領域を除去するプロセッサ２０２を更に含む。
【0048】
[00072] 更に別の任意選択実施形態において、種マスク４３０及び合流マスク４１０に基づいて細胞毎分割マスク４３５を示す生物学的標本１１０における１つ又は複数の細胞の画像をプロセッサ２０２に生成させるプログラム命令は、種の活性セットの各々に対する領域拡張反復を実行するプロセッサ２０２を含む。次に、非一時的コンピュータ可読媒体は、所与の種に対する拡張領域が、合流マスク４１０の１つ又は複数の境界に達する、又は別の種の拡張領域と重複するまで、種の活性セットにおける各種に対する領域拡張反復を繰り返すプロセッサ２０２を更に含む。
【0049】
[00073] 非一時的コンピュータ可読媒体は、１つ又は複数の細胞テクスチャ計量及び細胞形状記述子に基づいて物体を除去するために、ユーザ入力に応じて１つ又は複数のフィルターを適用するプロセッサ２０２を更に含む。さらに、プロセッサ２０２は、１つ又は複数のフィルターの適用に応じて細胞毎分割マスク４３５を示す生物学的標本１１０の画像を修正する。
【0050】
ＩＶ．実験結果
[00074] 実装形態の例は、経時的な部分集団で細胞健全性を追跡することができる。例えば、図６Ａは、カンプトテシン（ＣＰＴ、細胞傷害性）処理に続くＨＴ１０８０線維肉腫アポトーシスの２４時間経過後に位相差画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。Incucyte（登録商標）NucLight Red（核生存能力マーカー）及び非摂動Incucyte（登録商標）カスパーゼ３／７緑色試薬（アポトーシス指示薬）の多重化読み出し値で、細胞健全性を判定した。図６Ｂは、Incucyte（登録商標）細胞毎解析ソフトウェアツールを用いた図６Ａの実装形態による赤色及び緑色蛍光に基づいて分類された細胞サブセットを示す。図６Ｃは、図６Ａの実装形態による、生存細胞の消失を示すＣＰＴ処理後の赤色集団の減少、初期アポトーシスを示す赤色及び緑色蛍光の増加、及び後期アポトーシスを示す２４時間後の緑色蛍光の増加があったことを示す。図６Ｄは、図６Ａの実装形態による、初期アポトーシス集団（赤色及び緑色蛍光を示す総細胞の割合）の濃度応答時間経過を示す。図示の値は、３つの窪みの±ＳＥＭの平均である。
[00074] 実装形態の例は、経時的な部分集団で細胞健全性を追跡することができる。例えば、図６Ａは、カンプトテシン（ＣＰＴ、細胞傷害性）処理に続くＨＴ１０８０線維肉腫アポトーシスの２４時間経過後に位相差画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。Incucyte（登録商標）NucLight Red（核生存能力マーカー）及び非摂動Incucyte（登録商標）カスパーゼ３／７緑色試薬（アポトーシス指示薬）の多重化読み出し値で、細胞健全性を判定した。図６Ｂは、Incucyte（登録商標）細胞毎解析ソフトウェアツールを用いた図６Ａの実装形態による赤色及び緑色蛍光に基づいて分類された細胞サブセットを示す。図６Ｃは、図６Ａの実装形態による、生存細胞の消失を示すＣＰＴ処理後の赤色集団の減少、初期アポトーシスを示す赤色及び緑色蛍光の増加、及び後期アポトーシスを示す２４時間後の緑色蛍光の増加があったことを示す。図６Ｄは、図６Ａの実装形態による、初期アポトーシス集団（赤色及び緑色蛍光を示す総細胞の割合）の濃度応答時間経過を示す。図示の値は、３つの窪みの±ＳＥＭの平均である。
【0051】
[00075] 別の例において、図６Ｅは、シクロヘキサアミド（ＣＨＸ、細胞増殖抑制性）処理に続くＨＴ１０８０線維肉腫アポトーシスの２４時間経過後に細胞画像応答に対して実装形態の例によって生成される細胞毎分割マスクの実験結果を示す。Incucyte（登録商標）NucLight Red（核生存能力マーカー）及び非摂動Incucyte（登録商標）カスパーゼ３／７緑色試薬（アポトーシス指示薬）の多重化読み出し値で、細胞健全性を判定した。図６Ｆは、Incucyte（登録商標）細胞毎解析ソフトウェアツールを用いた図６Ｅの実装形態による赤色及び緑色蛍光に基づいて分類された細胞サブセットを示す。図６Ｇは、図６Ｅの実装形態による、ＣＨＸ処理後のアポトーシスの欠如、但し細胞数の減少（データを図示せず）があったことを示す。図６Ｈは、図６Ｅの実装形態による、初期アポトーシス集団（赤色及び緑色蛍光を示す総細胞の割合）の濃度応答時間経過を示す。図示の値は、３つの窪みの±ＳＥＭの平均である。
【0052】
[00076] 図７Ａは、Incucyte（登録商標）ソフトウェアを介して実装形態の例によって生成される細胞毎分割解析を用いて付着細胞の無標識細胞計数に対する位相差画像上に押し付けられた細胞毎分割マスクを示す。NucLight Red試薬で標識化されたＡ５４９細胞の様々な密度を、無標識細胞毎解析及び経時的な無標識計数を確認する赤核計数解析の両方で解析した。図７Ｂは、背景に位相差画像を有しない図７Ａによる細胞毎分割マスクを示す。図７Ｃは、図７Ａの実装形態による、密度にわたる位相数及び赤数データの時間経過を示す。図７Ｄは、図７Ａの実装形態による、４８時間にわたる数データの相関関係を示し、１の傾きを有する１のＲ２値を示す。これは、様々な細胞型にわたって繰り返されている。図示の値は、４つの窪みの±ＳＥＭの平均である。
【0053】
Ｖ．追加例及び実験データ
[00077] 後述の機能を、例えば、環境１００によって実行することができる。図４について説明する。光学顕微鏡１０５は、第１の焦点面における生物学的標本１１０の第１の明視野画像４１５及び第２の焦点面における生物学的標本１１０の第２の明視野画像４２０を取り込む。次に、環境１００は、第１の明視野画像４１５及び第２の明視野画像４２０の画素に関する数学演算を実行することによって細胞画像４２５を生成する。
[00077] 後述の機能を、例えば、環境１００によって実行することができる。図４について説明する。光学顕微鏡１０５は、第１の焦点面における生物学的標本１１０の第１の明視野画像４１５及び第２の焦点面における生物学的標本１１０の第２の明視野画像４２０を取り込む。次に、環境１００は、第１の明視野画像４１５及び第２の明視野画像４２０の画素に関する数学演算を実行することによって細胞画像４２５を生成する。
【0054】
[00078] 図８は、３つの焦点面の略図である。第１の焦点面６１１は、生物学的標本が第１の焦点面６１１及び第２の焦点面６１３に対して焦点が改善されて観測可能である第３の焦点面６１５を超える脱焦距離６１７にある。第２の焦点面６１３は、第３の焦点面６１５未満の脱焦距離６１７にある。幾つかの例において、脱焦距離は、２０μｍ～６０μｍの範囲内にある。
【0055】
[00079] 図９は、データ記憶装置２０６に記憶される命令を実行するプロセッサ２０２によって実行される環境１００の動作の略図である。例えば、プロセッサ２０２は、例えば、人工ニューラルネットワーク（ＡＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）の形をとることができる計算モデル６０１を実行する。
【0056】
[00080] ＡＮＮ又はＣＮＮは、ノードと呼ばれる人工ニューロンを含む。各ノードは、データを他のノードに伝送することができる。次に、データを受信するノードは、データを処理し、接続されたノードにデータを送信することができる。データは一般的に、番号を含み、各ノードの出力は、入力の合計の（例えば、非線形）関数によって計算される。接続部は、エッジと呼ばれる。ノード及びエッジは通常、学習が進むにつれて調整される重みを有する。重みは、強度を増減し、接続部におけるデータの方向を判定する。ノードは、集成データが閾値を超える場合に限り、データを送信するように、閾値を有することができる。典型的に、ノードを層に集成する。異なる層は、層の入力に関する異なる変換を実行することができる。データは、おそらく何度も多くの層を横断した後、最初の層（入力層）から最後の層（出力層）に進む。
【0057】
[00081] 環境１００は、計算モデル６０１を用いて、生物学的標本１１０の細胞画像４２５及び生物学的標本１１０の位相差画像４００を処理し、出力データ６０９を生成する。細胞画像４２５は、第１の焦点面６１１における生物学的標本１１０の第１の明視野画像４１５及び第２の焦点面６１３における生物学的標本１１０の第２の明視野画像４２０の合成物である。例えば、環境１００は、計算モデル６０１によって定義されるように、ノード、接続部、及び重みに従って、細胞画像４２５及び位相差画像４００を処理する。
【0058】
[00082] 幾つかの例において、環境１００は、計算モデル６０１への入力次第、互いに重ね合わせられた画像情報の２つの各チャンネルとして細胞画像４２５及び位相差画像４００の合成物を処理する。
【0059】
[00083] 他の例において、環境１００は、計算モデル６０１の第１のチャンネル（例えば、入力チャンネル）を介して細胞画像４２５を処理し、計算モデル６０１の第２のチャンネル（例えば、異なる入力チャンネル）を介して位相差画像４００を処理する。そのようなものとして、この例において、環境１００は、第１のチャンネルの第１の出力及び第２のチャンネルの第２の出力を処理し、出力データ６０９を生成する、又は出力データ６０９を得るために使用される中間データを生成する。
【0060】
[00084] 出力データ６０９は一般的に、生物学的標本１１０に関する情報を含む。例えば、出力データ６０９は、生物学的標本１１０の１つ又は複数の細胞の位置及び／又は範囲（例えば、境界、区域、又は体積）を推定することができる。出力データ６０９の他の例を後述する。
【0061】
[00085] 次に、環境１００は、出力データ６０９及び基準データ６１５の比較を実行する。基準データ６１５は典型的に、人間によって生成される生物学的標本１１０に関する情報を表す「真理データ」である。例えば、出力データ６０９は、生物学的標本１１０の細胞の位置及び／又は範囲を示す人間生成マーキングを含むことができる。幾つかの例において、環境１００は、基準データ６１５の一部として含まれることもできる人間によって生成されるデータのコンピュータ実施変換６１９を生成する。コンピュータ実施変換の例は、回転、拡大、平行移動、及び／又は分解能変更などを含む。従って、環境１００は、自己管理方法又は半管理方法で計算モデル６０１を精緻化することができる。
【0062】
[00086] 次に、環境１００は、出力データ６０９及び基準データ６１５の比較に基づいて計算モデル６０１を精緻化する。例えば、環境１００は、画素毎輝度及び／又は出力データ６０９と基準データ６１５との間の色差を計算し、計算モデル６０１によって生成される出力データ６０９が基準データ６１５とより良く一致するように計算モデル６０１のノード、接続部、及び／又は重みを調整することができる。
【0063】
[00087] その後、環境１００は、計算モデルによって生成される追加出力データ６０９と追加基準データ６１５との比較に基づいて計算モデル６０１を更に精緻化するために、計算モデル６０１に従って追加画像対を処理する。追加画像対は、上述の他の生物学的標本１１０又は同じ生物学的標本１１０の他の視野に対応する細胞画像４２５及び位相差画像４００を含む。追加基準データ６１５は、上述の追加の生物学的標本１１０又は同じ生物学的標本１１０の他の視野に対応する。
【0064】
[00088] より詳細には、環境１００は、、追加出力データ６０９と追加基準データ６１５との間の各差の合計を減らすために、計算モデル６０１を精緻化（例えば、計算モデル６０１のノード、接続部、及び／又は重みを調整）することができる。従って、環境１００は、収集出力データ６０９が全体として収集基準データ６１５と最も良く一致するように計算モデル６０１のノード、接続部、及び／又は重みを調整することができる。
【0065】
[00089] 図１０に示すように、出力データ６０９は、生物学的標本１１０内の細胞６２１の位置及び／又は範囲の推定を表すことができる。これに関連して、基準データ６１５は、細胞６２１の位置及び／又は範囲を正確に規定する。図１０は、出力データ６０９及び基準データ６１５が同一であるように示しているけれども、実際に、そうでない場合が一般的である。
【0066】
[00090] 幾つかの例において、出力データ６０９は、生物学的標本が蛍光標識を有した場合、生物学的標本１１０の外観の推定を表す。これに関連して、基準データ６１５は、蛍光標識を有する生物学的標本１１０の実際の画像から生成される、又は蛍光標識を有する生物学的標本１１０の実際の画像を含む。
【0067】
[00091] 幾つかの例において、出力データ６０９は、生物学的標本１１０内の１つ又は複数の細胞核の位置及び／又は範囲の推定を表す。これに関連して、基準データ６１５は、生物学的標本１１０内の１つ又は複数の細胞核の位置及び／又は範囲を正確に規定する。更に又は代わりに、基準データ６１５は、生物学的標本１１０に対応する処理蛍光データを表す。このような蛍光データを処理して、細胞核を識別することができる。
【0068】
[00092] 図１１について説明する。出力データ６０９は、生物学的標本１１０の第１の部分６３１の第１のカテゴリーへの分類及び生物学的標本１１０の第２の部分６３３の第２のカテゴリーへの分類の推定を表すことができる（例えば、生存細胞対死細胞、幹細胞対系統特異的細胞、未分化細胞対分化細胞、上皮細胞対間葉細胞、野生型細胞対変異細胞、関心のある特異タンパク質を発現する細胞対関心のあるその特異タンパク質を発現しない細胞など）。他のカテゴリーも可能である。これに関連して、基準データ６１５は、生物学的標本１１０の第１の部分６３１の第１のカテゴリーへの分類及び生物学的標本１１０の第２の部分６３３の第２のカテゴリーへの分類を正確に規定する。
【0069】
[00093] 他の例において、出力データ６０９は、生物学的標本１１０の全部の単一カテゴリーへの分類を表す。これに関連して、基準データ６１５は、生物学的標本１１０の全部を２つ以上のカテゴリーの単一カテゴリーに正確に分類する（例えば、健全対非健全、悪性対良性、野生型対変異）。
【0070】
[00094] 図１２及び図１３は、それぞれ方法５０１及び７０１のブロック図である。方法５０１及び７０１及び関連機能を、例えば、環境１００によって実行することができる。図１２及び図１３に示すように、方法５０１及び７０１は、ブロック５０３、５０５、５０７、５０９、７０２、７０４、７０６、７０８、７１０、及び７１２によって例示のような１つ又は複数の動作、機能、又は作用を含む。ブロックを連続的順序で例示しているけれども、これらのブロックを、並列に、及び／又は本明細書に記載の順序と異なる順序で、実行してもよい。さらに、様々なブロックを、より少ないブロックに結合してもよく、更なるブロックに分けてもよく、及び／又は所望の実装形態に基づいて除去してもよい。
【0071】
[00095] ブロック５０３で、方法５０１は、計算モデル６０１を用いて生物学的標本１１０の細胞画像４２５及び生物学的標本１１０の位相差画像４００を処理し、出力データ６０９を生成することを含む。細胞画像４２５は、第１の焦点面６１１における生物学的標本１１０の第１の明視野画像４１５及び第２の焦点面６１３における生物学的標本１１０の第２の明視野画像４２０の合成物である。
【0072】
[00096] ブロック５０５で、方法５０１は、出力データ６０９及び基準データ６１５の比較を実行することを含む。
【0073】
[00097] ブロック５０７で、方法５０１は、出力データ６０９及び基準データ６１５の比較に基づいて計算モデル６０１を精緻化することを含む。
【0074】
[00098] ブロック５０９で、方法５０１は、その後、計算モデル６０１に従って追加画像対を処理し、計算モデル６０１によって生成される追加出力データ６０９と追加基準データ６１５との比較に基づいて計算モデル６０１を更に精緻化することを含む。
【0075】
[00099] ブロック７０２で、方法７０１は、第１の焦点面６１１における生物学的標本１１０の第１の明視野画像４１５及び第２の焦点面６１３における生物学的標本１１０の第２の明視野画像４２０を、光学顕微鏡１０５を介して取り込むことを含む。
【0076】
[000100] ブロック７０４で、方法７０１は、第１の明視野画像４１５及び第２の明視野画像４２０の画素に関する数学演算を実行することによって生物学的標本１１０の細胞画像４２５を生成することを含む。
【0077】
[000101] ブロック７０６で、方法７０１は、計算モデル６０１を用いて生物学的標本１１０の細胞画像４２５及び生物学的標本１１０の位相差画像４００を処理し、出力データ６０９を生成することを含む。
【0078】
[000102] ブロック７０８で、方法７０１は、出力データ６０９及び基準データ６１５の比較を実行することを含む。
【0079】
[000103] ブロック７１０で、方法７０１は、出力データ６０９及び基準データ６１５の比較に基づいて計算モデル６０１を精緻化することを含む。
【0080】
[000104] ブロック７１２で、方法７０１は、その後、計算モデル６０１に従って追加画像対を処理し、計算モデル６０１によって生成される追加出力データ６０９と追加基準データ６１５との比較に基づいて計算モデル６０１を更に精緻化することを含む。
【0081】
[000105] 図１４は、計算モデルを使用して細胞毎分割マスクを生成することに関連する画像を示す。細胞画像４２５を含むことは（例えば、第１の明視野画像４１５及び第２の明視野画像４２０からの情報）、計算モデル６０１の性能を向上させる。計算モデル６０１は、クラスター（例えば、細胞の堅い群）の破壊時に一層良い。入力として位相差画像だけを含むモデルは、板テクスチャのために偽陽性細胞識別を有する可能性が高い。
【0082】
[000106] 計算モデル６０１（例えば、位相＋細胞）及び入力として位相差画像だけを含むモデル（例えば、位相だけ）の結果の比較を、図１５に示す。ボックスｍＡＰ計量及びマスクｍＡＰ計量について説明する。計算モデル６０１は、計算モデル６０１によって細胞の識別又は分類の改善を示す、「位相だけ」モデルよりも高いスコアをもたらす。計算モデル６０１は一般的に、細胞画像の追加がよりロバストな訓練情報を与えるので、他のモデルよりもロバストである。
【0083】
[000107] 中間平均精度（ｍＡＰ）スコアは、計算モデルの細胞毎分割マスクを手動注釈付き参照細胞毎分割マスクと比較するために、使用される。ボックスｍＡＰは、細胞毎境界ボックスで計算されるスコアを意味する一方、マスクｍＡＰは、細胞毎マスクで計算されるスコアを意味する。
【0084】
[000108] 異なる有利な構成の説明は、例示及び説明の目的で提示されており、網羅的である、又は開示の形態における例に限定されるように意図されていない。多くの修正及び変更は、当業者に明らかである。さらに、異なる有利な例は、他の有利な例と比べて異なる利点を説明してもよい。例の原理、実際の用途を最も良く説明し、考えられる特定の使用に適しているように様々な修正を有する様々な例に対する開示を当業者が理解することができるために、選択例又は複数の選択例を、選択して説明する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図6G】
【図6H】
【図7A】
【図7B】
【図7C】
【図7D】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】