特表2023-508905畳み込みニューラルネットワークによる細胞株開発画像特性評価
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-03-06
(54)【発明の名称】畳み込みニューラルネットワークによる細胞株開発画像特性評価
(51)【国際特許分類】
G06T 7/00 20170101AFI20230227BHJP
G06V 10/82 20220101ALI20230227BHJP
G06V 20/69 20220101ALI20230227BHJP
【ＦＩ】
G06T7/00 630
G06T7/00 350C
G06V10/82
G06V20/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022537489
(86)(22)【出願日】2020-12-18
(85)【翻訳文提出日】2022-08-02
(86)【国際出願番号】 US2020065865
(87)【国際公開番号】W WO2021127345
(87)【国際公開日】2021-06-24
(31)【優先権主張番号】62/951,998
(32)【優先日】2019-12-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】509012625
【氏名又は名称】ジェネンテック， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】リー， ジェン
(72)【発明者】
【氏名】イム， マンディ マン チュ
(72)【発明者】
【氏名】エフライム， ビビ
(72)【発明者】
【氏名】トラン， ダット
(72)【発明者】
【氏名】リウ， シンユー
(72)【発明者】
【氏名】ショー， デイビッド
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA03
5L096FA04
5L096FA06
5L096FA16
5L096FA62
5L096FA66
5L096FA69
5L096GA34
5L096GA51
5L096GA55
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
方法は、コンピューティングシステムによって、サンプリング領域を描写するクエリ画像を受信することと、サンプリング領域内のクラスタを描写するクエリ画像の１つ以上の領域を識別するために単一クラスタ検出モデルを使用してクエリ画像を処理することと、描写された各クラスタが細胞クラスタであるかどうかを決定するためにクラスタ検証深層学習モデルを使用して１つ以上の領域を処理することと、識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写すると決定することと、を含む。方法は、細胞クラスタ内に１つの細胞のみが存在すると決定し、細胞の形態が許容可能であると決定するために形態深層学習モデルを使用して細胞クラスタを描写する領域を処理することをさらに含む。
【特許請求の範囲】
【請求項1】
コンピューティングシステムによって、サンプリング領域を描写するクエリ画像を受信することと、
単一クラスタ検出モデルを使用して前記クエリ画像を処理して、前記サンプリング領域内のクラスタを描写する前記クエリ画像の１つ以上の領域を識別することと、
クラスタ検証深層学習モデルを使用して前記１つ以上の領域を処理して、描写された各クラスタが細胞クラスタであるかどうかを決定することと、
前記識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写していると決定することと、
前記細胞クラスタ内に１つのみの細胞が存在すると決定し、および
前記細胞の形態が許容可能であると決定するように、形態深層学習モデルを使用して前記細胞クラスタを描写する前記領域を処理することと、を含む、方法。
【請求項2】
描写された各クラスタが、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む、請求項１に記載の方法。
【請求項3】
前記領域を識別することが、前記クラスタ輪郭領域の周りに境界ボックスを描くことを含む、請求項２に記載の方法。
【請求項4】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタを、前記サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む、請求項１から３のいずれか一項に記載の方法。
【請求項5】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む、請求項１から５のいずれか一項に記載の方法。
【請求項7】
前記細胞クラスタ内に１つのみの細胞が存在すると決定することが、前記細胞クラスタ内で検出された輪郭の数を評価することを含む、請求項１から６のいずれか一項に記載の方法。
【請求項8】
前記細胞の形態が許容可能であると決定することが、細胞中心領域を識別することと、真円度について前記細胞中心領域を評価することと、を含む、請求項１から７のいずれか一項に記載の方法。
【請求項9】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および前記明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む、請求項１から８のいずれか一項に記載の方法。
【請求項10】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および細胞膜の外側の明るいリング状領域を識別することを含む、請求項１から９のいずれか一項に記載の方法。
【請求項11】
前記クエリ画像が、蛍光画像または明視野画像を含む、請求項１から１０のいずれか一項に記載の方法。
【請求項12】
前記クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用して前記クエリ画像内の１つ以上の大きな別個のオブジェクトを識別することをさらに含む、請求項１から１１のいずれか一項に記載の方法。
【請求項13】
前記クエリ画像を処理する前に、分析の事前チェック段階中に前記クエリ画像が所定の暗さ閾値を下回るかどうかを決定することをさらに含む、請求項１から１２のいずれか一項に記載の方法。
【請求項14】
前記クエリ画像を処理する前に、前記サンプリング領域のクリティカルクリッピングが前記クエリ画像内に存在するかどうかを決定することをさらに含む、請求項１から１３のいずれか一項に記載の方法。
【請求項15】
前記サンプリング領域がウェルであり、前記ウェルが、複数のウェル輪郭点およびウェル輪郭中心によって画定される前記クエリ画像内のウェル輪郭を有する、請求項１４に記載の方法。
【請求項16】
前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することが、前記クエリ画像内の前記ウェル輪郭に、フィッティング円中心およびフィッティング円半径を有するフィッティング円を適用することを含む、請求項１５に記載の方法。
【請求項17】
前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することが、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対する前記フィッティング円中心の距離を差し引いたものを計算して、前記ウェル輪郭と前記フィッティング円との間の差を識別することをさらに含む、請求項１６に記載の方法。
【請求項18】
前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することが、前記ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することを含む、請求項１５に記載の方法。
【請求項19】
前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することが、連続するウェル輪郭点が単一の線にあるかどうか、および前記単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することを含む、請求項１５に記載の方法。
【請求項20】
前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することが、前記単一の線が０の局所曲率を有するかどうかを決定することをさらに含む、請求項１９に記載の方法。
【請求項21】
システムであって、１つ以上のプロセッサと、
前記プロセッサによって実行可能な命令を含む、前記プロセッサに結合された非一時的メモリと、を備え、前記プロセッサが、前記命令を実行すると、
サンプリング領域を描写するクエリ画像を受信することと、
単一クラスタ検出モデルを使用して前記クエリ画像を処理して、前記サンプリング領域内のクラスタを描写する前記クエリ画像の１つ以上の領域を識別することと、
クラスタ検証深層学習モデルを使用して前記１つ以上の領域を処理して、描写された各クラスタが細胞クラスタであるかどうかを決定することと、
前記識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写していると決定することと、
前記細胞クラスタ内に１つのみの細胞が存在すると決定し、および
前記細胞の形態が許容可能であると決定するように、形態深層学習モデルを使用して前記細胞クラスタを描写する前記領域を処理することと、を行うように動作可能である、システム。
【請求項22】
描写された各クラスタが、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む、請求項２１に記載のシステム。
【請求項23】
前記領域を識別することが、前記クラスタ輪郭領域の周りに境界ボックスを描くことを含む、請求項２２に記載のシステム。
【請求項24】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタを、前記サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む、請求項２１から２３のいずれか一項に記載のシステム。
【請求項25】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む、請求項２１から２４のいずれか一項に記載のシステム。
【請求項26】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む、請求項２１から２５のいずれか一項に記載のシステム。
【請求項27】
前記細胞クラスタ内に１つのみの細胞が存在すると決定することが、前記細胞クラスタ内で検出された輪郭の数を評価することを含む、請求項２１から２６のいずれか一項に記載のシステム。
【請求項28】
前記細胞の形態が許容可能であると決定することが、細胞中心領域を識別することと、真円度について前記細胞中心領域を評価することと、を含む、請求項２１から２７のいずれか一項に記載のシステム。
【請求項29】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および前記明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む、請求項２１から２８のいずれか一項に記載のシステム。
【請求項30】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および細胞膜の外側の明るいリング状領域を識別することを含む、請求項２１から２９のいずれか一項に記載のシステム。
【請求項31】
前記クエリ画像が、蛍光画像または明視野画像を含む、請求項２１から３０のいずれか一項に記載のシステム。
【請求項32】
前記プロセッサが、前記命令を実行すると、前記クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用して前記クエリ画像内の１つ以上の大きな別個のオブジェクトを識別することを行うようにさらに動作可能である、請求項２１から３１のいずれか一項に記載のシステム。
【請求項33】
前記プロセッサが、前記命令を実行すると、前記クエリ画像を処理する前に、分析の事前チェック段階中に前記クエリ画像が所定の暗さ閾値を下回るかどうかを決定することを行うようにさらに動作可能である、請求項２１から３２のいずれか一項に記載のシステム。
【請求項34】
前記プロセッサが、前記命令を実行すると、前記クエリ画像を処理する前に、前記サンプリング領域のクリティカルクリッピングが前記クエリ画像内に存在するかどうかを決定することを行うようにさらに動作可能である、請求項２１から３３のいずれか一項に記載のシステム。
【請求項35】
前記サンプリング領域がウェルであり、前記ウェルが、複数のウェル輪郭点およびウェル輪郭中心によって画定される前記クエリ画像内のウェル輪郭を有する、請求項３４に記載のシステム。
【請求項36】
前記プロセッサが、前記命令を実行すると、前記クエリ画像内の前記ウェル輪郭に、フィッティング円中心およびフィッティング円半径を有するフィッティング円を適用することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項３５に記載のシステム。
【請求項37】
前記プロセッサが、前記命令を実行すると、さらに、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対する前記フィッティング円中心の距離を差し引いたものを計算して、前記ウェル輪郭と前記フィッティング円との間の差を識別することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項３６に記載のシステム。
【請求項38】
前記プロセッサが、前記命令を実行すると、前記ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項３５に記載のシステム。
【請求項39】
前記プロセッサが、前記命令を実行すると、連続するウェル輪郭点が単一の線にあるかどうか、および前記単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項３５に記載のシステム。
【請求項40】
前記プロセッサが、前記命令を実行すると、さらに、前記単一の線が０の局所曲率を有するかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項３９に記載のシステム。
【請求項41】
実行されると、サンプリング領域を描写するクエリ画像を受信することと、
単一クラスタ検出モデルを使用して前記クエリ画像を処理して、前記サンプリング領域内のクラスタを描写する前記クエリ画像の１つ以上の領域を識別することと、
クラスタ検証深層学習モデルを使用して前記１つ以上の領域を処理して、描写された各クラスタが細胞クラスタであるかどうかを決定することと、
前記識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写していると決定することと、
前記細胞クラスタ内に１つのみの細胞が存在すると決定し、および
前記細胞の形態が許容可能であると決定するように、形態深層学習モデルを使用して前記細胞クラスタを描写する前記領域を処理することとを行うように動作可能なソフトウェアを具現化する１つ以上のコンピュータ可読非一時的記憶媒体。
【請求項42】
描写された各クラスタが、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む、請求項４１に記載の媒体。
【請求項43】
前記領域を識別することが、前記クラスタ輪郭領域の周りに境界ボックスを描くことを含む、請求項４２に記載の媒体。
【請求項44】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタを、前記サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む、請求項４１から４３のいずれか一項に記載の媒体。
【請求項45】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む、請求項４１から４４のいずれか一項に記載の媒体。
【請求項46】
描写された各クラスタが細胞クラスタであるかどうかを決定することが、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む、請求項４１から４５のいずれか一項に記載の媒体。
【請求項47】
前記細胞クラスタ内に１つのみの細胞が存在すると決定することが、前記細胞クラスタ内で検出された輪郭の数を評価することを含む、請求項４１から４６のいずれか一項に記載の媒体。
【請求項48】
前記細胞の形態が許容可能であると決定することが、細胞中心領域を識別することと、真円度について前記細胞中心領域を評価することと、を含む、請求項４１から４７のいずれか一項に記載の媒体。
【請求項49】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および前記明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む、請求項４１から４８のいずれか一項に記載の媒体。
【請求項50】
前記細胞の形態が許容可能であると決定することが、明るい細胞中心領域および細胞膜の外側の明るいリング状領域を識別することを含む、請求項４１から４９のいずれか一項に記載の媒体。
【請求項51】
前記クエリ画像が、蛍光画像または明視野画像を含む、請求項４１から５０のいずれか一項に記載の媒体。
【請求項52】
前記ソフトウェアが、実行されると、前記クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用して前記クエリ画像内の１つ以上の大きな別個のオブジェクトを識別することを行うようにさらに動作可能である、請求項４１から５１のいずれか一項に記載の媒体。
【請求項53】
前記ソフトウェアが、実行されると、前記クエリ画像を処理する前に、分析の事前チェック段階中に前記クエリ画像が所定の暗さ閾値を下回るかどうかを決定することを行うようにさらに動作可能である、請求項４１から５２のいずれか一項に記載の媒体。
【請求項54】
前記ソフトウェアが、実行されると、前記クエリ画像を処理する前に、前記サンプリング領域のクリティカルクリッピングが前記クエリ画像内に存在するかどうかを決定することを行うようにさらに動作可能である、請求項４１から５３のいずれか一項に記載の媒体。
【請求項55】
前記サンプリング領域がウェルであり、前記ウェルが、複数のウェル輪郭点およびウェル輪郭中心によって画定される前記クエリ画像内のウェル輪郭を有する、請求項５４に記載の媒体。
【請求項56】
前記ソフトウェアが、実行されると、前記クエリ画像内の前記ウェル輪郭に、フィッティング円中心およびフィッティング円半径を有するフィッティング円を適用することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項５５に記載の媒体。
【請求項57】
前記ソフトウェアが、実行されると、さらに、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対する前記フィッティング円中心の距離を差し引いたものを計算して、前記ウェル輪郭と前記フィッティング円との間の差を識別することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項５６に記載の媒体。
【請求項58】
前記ソフトウェアが、実行されると、前記ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項５５に記載の媒体。
【請求項59】
前記ソフトウェアが、実行されると、連続するウェル輪郭点が単一の線にあるかどうか、および前記単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項５５に記載の媒体。
【請求項60】
前記ソフトウェアが、実行されると、さらに、前記単一の線が０の局所曲率を有するかどうかを決定することによって、前記サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である、請求項５９に記載の媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像を分析および分類するために、畳み込みニューラルネットワークなどの機械学習アルゴリズムを使用する細胞株開発（ＣＬＤ）画像特性評価の方法に関する。
【背景技術】
【0002】
生物製剤またはバイオ医薬品としても知られる生物学的治療の分野は、バイオテクノロジー産業内で急速に成長している。生物製剤の大部分は、タンパク質ベースの治療薬であり、そのうちの組換えタンパク質は、世界中で承認された４００を超える組換え製品を有する最大の群である。バイオ医薬品の開発では、モノクローナル細胞株から組換えタンパク質が産生される。規制機関は、産生細胞株が単一の前駆細胞に由来するという合理的な保証を必要とする。既存の指針は、生物製剤の生成に使用される細胞株がクローン由来であることを実証するイメージング技術および／または適切な統計の詳細を伴うクローニング手順の文書化を要求する。限界希釈クローニング、単一細胞プリンティングおよび蛍光活性化細胞選別を含む、臨床細胞株、特に哺乳動物細胞株を作製するために使用されるクローニングのいくつかの公知の方法がある。これらの方法は、マルチウェルプレートのウェルに単一の細胞を堆積させるために異なる技術を使用し、それぞれが、使いやすさ、実装コスト、ならびに播種およびクローニング効率の点で独自の利点および欠点を有する。各クローニング方法の意図は単一細胞堆積であるが、これは常に起こるとは限らない。播種すると、プレートウェルは、単一の細胞、複数の細胞、または細胞を全く含まないことがある。このように、本方法は、後にプレートイメージングを行って、各プレートウェルに実際に１つの細胞のみが存在することを確認することができる。プレーティング直後の細胞培養プレートの画像は、クローニング事象の唯一の直接的な証拠として提供されることができ、そのような目的のために米国食品医薬品局に提出されることが多い。それらはまた、クローン由来であるという高い信頼性を有するものとしてどの細胞が先に進められるべきかを決定するために使用される。したがって、これらの画像は、重要な役割を果たし、細胞株の発生に大きく依存している。しかしながら、画像分析プロセス自体には、結果の一貫性ならびに単一細胞クローニングの全体的な効率に影響を及ぼすことがある多くの課題がある。
【発明の概要】
【課題を解決するための手段】
【0003】
本明細書では、機械学習を使用して自動単一細胞画像レビューを達成する細胞株開発画像特性評価のための方法が提供される。
【0004】
臨床細胞株は、モノクローナル抗体（ｍＡｂ）などの組換えタンパク質ベースの医薬品の開発のために作製されることができる。本明細書では、細胞株開発中の単一細胞クローニングを文書化するための正確且つ詳細な自動イメージングワークフローが開示される。画像特性評価は、画像のレビューを達成するために、細胞株の開発試験からの画像を異なるカテゴリに分類する手順を説明するために使用される。特定の実施形態では、本明細書に開示される細胞株開発画像特性評価方法は、機械学習アルゴリズムを使用することによって画像における欠陥検出を改善することができる。画像特性評価方法は、人工ニューラルネットワークを使用して、細胞の画像を分類することができる機械学習モデルを訓練することができる。画像特性評価方法は、転移学習を使用して、機械学習モデルの訓練に必要なサンプル数を減らすことができる。本明細書では、チャイニーズハムスター卵巣（ＣＨＯ）細胞を評価する例示的な細胞株開発画像特性評価方法について論じるが、実際には、画像特性評価方法の実施は、任意の哺乳動物細胞に適用可能である。本方法は、レビューされる細胞の画像を取得し、機械学習モデルを使用して細胞の画像を分類し、良好細胞の画像を通過させながら手動検査のために不確実な欠陥を有する画像を返すことができる。
【0005】
本明細書に記載のＣＬＤ画像特性評価方法は、変換およびフィルタリングのようなデジタル画像処理技術と、機械学習および深層学習のようなパターン認識技術とを組み合わせる。本方法は、それ自体で、または一緒に、連続した順序で、または代替の順序で実施されることができる複数のステップを含む。このプロセスは、それぞれのウェルが単一細胞を含むという高い信頼性を有する良好画像の選択されたセットが得られるまで、各ステップにおいて不良画像を除外する。ＣＬＤ画像特性評価方法は、研究者によって行われる第１のラウンドの手動画像分析を置き換えることを意図している。本明細書に開示される方法を利用して自動細胞画像分析を実施することは、結果の一貫性を改善し、単一細胞画像分析のスループットを向上させる。
【0006】
臨床細胞株特性評価をイメージングするために機械学習アルゴリズムを適用するという目標を達成するために、特定の技術的課題が存在する。１つの技術的課題は、不良画像を捕捉しないことが生物製剤の生成に使用される細胞株がクローン由来であるという保証を低減させることができるため、非常に高い精度を達成することを含む。別の技術的課題は、良好画像を不良画像として分類すると、不必要に拒絶される多数のクローンをもたらし、非効率的なワークフローをもたらす可能性があるため、良好画像が正確に識別されることを保証することである。ウェル内の細胞を識別するためのそれぞれのイメージャに関連する画像分析ソフトウェアが市販されている。しかしながら、厳密なパラメータを設定しているにもかかわらず、アルゴリズムの結果は、常に信頼できるとは限らない。上記の課題に対処するために本明細書で開示される実施形態によって提示される解決策は、機械学習アルゴリズムの１つ以上の特定のアーキテクチャを使用することを含み、これは、良好画像と不良画像の双方の高い分類精度をもたらす。本開示は、特定の方法において特定のシステムを介してＣＬＤ画像を特性評価することを記載しているが、本開示は、任意の適切な方法において任意の適切なシステムを介して任意の適切な画像を特性評価することを想定している。
【0007】
本開示の一態様は、コンピューティングシステムによって、サンプリング領域を描写するクエリ画像を受信することと、サンプリング領域内のクラスタを描写するクエリ画像の１つ以上の領域を識別するために単一クラスタ検出モデルを使用してクエリ画像を処理することと、描写された各クラスタが細胞クラスタであるかどうかを決定するためにクラスタ検証深層学習モデルを使用して１つ以上の領域を処理することと、識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写すると決定することと、細胞クラスタ内に１つの細胞のみが存在すると決定し、細胞の形態が許容可能であると決定するために形態深層学習モデルを使用して細胞クラスタを描写する領域を処理することと、を含む、方法を含む。描写された各クラスタは、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む。領域を識別することは、クラスタ輪郭領域の周りに境界ボックスを描くことを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタを、サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む。細胞クラスタ内に１つの細胞のみが存在すると決定することは、細胞クラスタ内で検出された輪郭の数を評価することを含む。細胞の形態が許容可能であると決定することは、細胞中心領域を識別すること、および真円度について細胞中心領域を評価することを含む。細胞の形態が許容可能であると決定することは、明るい細胞中心領域および明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む。細胞の形態が許容可能であると決定することは、細胞膜の外側の明るい細胞中心領域および明るいリング状領域を識別することを含む。クエリ画像は、蛍光画像または明視野画像を含む。本方法は、クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用してクエリ画像内の１つ以上の大きな別個のオブジェクトを識別することをさらに含む。本方法は、クエリ画像を処理する前に、分析の事前チェック段階中にクエリ画像が所定の暗さ閾値を下回っているかどうかを決定することをさらに含む。本方法は、クエリ画像を処理する前に、サンプリング領域のクリティカルクリッピングがクエリ画像内に存在するかどうかを決定することをさらに含む。サンプリング領域は、ウェルであり、ウェルは、複数のウェル輪郭点およびウェル輪郭中心によって画定されるクエリ画像内のウェル輪郭を有する。サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することは、フィッティング円中心およびフィッティング円半径を有するフィッティング円をクエリ画像内のウェル輪郭に適用することを含む。サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することは、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対するフィッティング円中心の距離を差し引いたものを計算して、ウェル輪郭とフィッティング円との間の差を識別することをさらに含む。サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することは、ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することを含む。サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することは、連続するウェル輪郭点が単一の線にあるかどうか、および単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することを含む。サンプリング領域のクリティカルクリッピングが存在するかどうかを決定することは、単一の線が０の局所曲率を有するかどうかを決定することをさらに含む。
【0008】
本開示の一態様は、１つ以上のプロセッサと、プロセッサによって実行可能な命令を含むプロセッサに結合された非一時的メモリとを含むシステムであって、プロセッサが、命令を実行すると、サンプリング領域を描写するクエリ画像を受信することと、サンプリング領域内のクラスタを描写するクエリ画像の１つ以上の領域を識別するために単一クラスタ検出モデルを使用してクエリ画像を処理することと、描写された各クラスタが細胞クラスタであるかどうかを決定するためにクラスタ検証深層学習モデルを使用して１つ以上の領域を処理することと、識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写すると決定することと、細胞クラスタ内に１つの細胞のみが存在すると決定し、細胞の形態が許容可能であると決定するために形態深層学習モデルを使用して細胞クラスタを描写する領域を処理することと、を行うように動作可能である、システムを含む。描写された各クラスタは、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む。領域を識別することは、クラスタ輪郭領域の周りに境界ボックスを描くことを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタを、サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む。細胞クラスタ内に１つの細胞のみが存在すると決定することは、細胞クラスタ内で検出された輪郭の数を評価することを含む。細胞の形態が許容可能であると決定することは、細胞中心領域を識別すること、および真円度について細胞中心領域を評価することを含む。細胞の形態が許容可能であると決定することは、明るい細胞中心領域および明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む。細胞の形態が許容可能であると決定することは、細胞膜の外側の明るい細胞中心領域および明るいリング状領域を識別することを含む。クエリ画像は、蛍光画像または明視野画像を含む。プロセッサは、命令を実行すると、クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用してクエリ画像内の１つ以上の大きな別個のオブジェクトを識別するようにさらに動作可能である。プロセッサは、命令を実行すると、クエリ画像を処理する前に、分析の事前チェック段階中にクエリ画像が所定の暗さ閾値を下回るかどうかを決定するようにさらに動作可能である。プロセッサは、命令を実行すると、クエリ画像を処理する前に、サンプリング領域のクリティカルクリッピングがクエリ画像に存在するかどうかを決定するようにさらに動作可能である。サンプリング領域は、ウェルであり、ウェルは、複数のウェル輪郭点およびウェル輪郭中心によって画定されるクエリ画像内のウェル輪郭を有する。プロセッサは、命令を実行すると、フィッティング円中心およびフィッティング円半径を有するフィッティング円をクエリ画像内のウェル輪郭に適用することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。プロセッサは、命令を実行すると、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対するフィッティング円中心の距離を差し引いたものを計算して、ウェル輪郭とフィッティング円との間の差を識別することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかをさらに決定するように動作可能である。プロセッサは、命令を実行すると、ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。プロセッサは、命令を実行すると、連続するウェル輪郭点が単一の線にあるかどうか、および単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。プロセッサは、命令を実行すると、さらに単一の線が０の局所曲率を有するかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。
【0009】
本開示の一態様は、実行されると、サンプリング領域を描写するクエリ画像を受信することと、サンプリング領域内のクラスタを描写するクエリ画像の１つ以上の領域を識別するために単一クラスタ検出モデルを使用してクエリ画像を処理することと、描写された各クラスタが細胞クラスタであるかどうかを決定するためにクラスタ検証深層学習モデルを使用して１つ以上の領域を処理することと、識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写すると決定することと、細胞クラスタ内に１つの細胞のみが存在すると決定し、細胞の形態が許容可能であると決定するために形態深層学習モデルを使用して細胞クラスタを描写する領域を処理することと、を行うように動作可能なソフトウェアを具現化する１つ以上のコンピュータ可読非一時的記憶媒体を含む。描写された各クラスタは、所定の範囲内のクラスタ輪郭領域サイズおよび少なくとも所定の数の点を有するクラスタ輪郭領域を含む。領域を識別することは、クラスタ輪郭領域の周りに境界ボックスを描くことを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタを、サンプリング領域を描写する別のクエリ画像の対応する位置において検証することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陽性のクラスタとして現れるかどうかを決定することを含む。描写された各クラスタが細胞クラスタであるかどうかを決定することは、描写された各クラスタが細胞を有することについて陰性のクラスタとして現れないかどうかを決定することを含む。細胞クラスタ内に１つの細胞のみが存在すると決定することは、細胞クラスタ内で検出された輪郭の数を評価することを含む。細胞の形態が許容可能であると決定することは、細胞中心領域を識別すること、および真円度について細胞中心領域を評価することを含む。細胞の形態が許容可能であると決定することは、明るい細胞中心領域および明るい細胞中心領域の周りの暗いリング状細胞膜を識別することを含む。細胞の形態が許容可能であると決定することは、細胞膜の外側の明るい細胞中心領域および明るいリング状領域を識別することを含む。クエリ画像は、蛍光画像または明視野画像を含む。ソフトウェアは、実行されると、クエリ画像を処理する前に、分析の事前チェック段階中に輪郭検出アルゴリズムを使用してクエリ画像内の１つ以上の大きな別個のオブジェクトを識別するようにさらに動作可能である。ソフトウェアは、実行されると、クエリ画像を処理する前に、分析の事前チェック段階中にクエリ画像が所定の暗さ閾値を下回るかどうかを決定するようにさらに動作可能である。ソフトウェアは、実行されると、クエリ画像を処理する前に、サンプリング領域のクリティカルクリッピングがクエリ画像に存在するかどうかを決定するようにさらに動作可能である。サンプリング領域は、ウェルであり、ウェルは、複数のウェル輪郭点およびウェル輪郭中心によって画定されるクエリ画像内のウェル輪郭を有する。ソフトウェアは、実行されると、フィッティング円中心およびフィッティング円半径を有するフィッティング円をクエリ画像内のウェル輪郭に適用することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。ソフトウェアは、実行されると、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対するフィッティング円中心の距離を差し引いたものを計算して、ウェル輪郭とフィッティング円との間の差を識別することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかをさらに決定するように動作可能である。ソフトウェアは、実行されると、ウェル輪郭中心から画像エッジまでの距離から、ウェル輪郭半径を差し引いたものを計算して、結果が所定の距離閾値以下であるかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。ソフトウェアは、実行されると、連続するウェル輪郭点が単一の線にあるかどうか、および単一の線の２つの端点間の距離が所定の距離閾値を満たすかまたは超えるかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。ソフトウェアは、実行されると、さらに、単一の線が０の局所曲率を有するかどうかを決定することによって、サンプリング領域のクリティカルクリッピングが存在するかどうかを決定するように動作可能である。
【図面の簡単な説明】
【0010】
【図1】単一細胞画像レビューの課題を示している。
【0011】
【図2】ＣＬＤ画像選択の例示的な処理を示している。
【0012】
【図3】例示的な単一細胞クローニングワークフローを示している。
【0013】
【図4】自動単一細胞画像レビューにおける３つのタスクを示す例示的なフローチャートを示しており、タスクは、ウェル領域チェック、単一クラスタ検出および検証、ならびに形態レビューを含む。
【0014】
【図5】画像ラベリングの例示的な手順を示している。
【0015】
【図6A】暗すぎてウェルの輪郭を検出することができず、細胞を明確に見ることができない例示的な明視野（ＢＦ）画像を示している。
【0016】
【図6B】５２の９９番目のパーセンタイル画素を有する暗すぎる例示的なＢＦ画像を示している。
【0017】
【図6C】６３の９９番目のパーセンタイル画素を有する暗すぎる例示的なＢＦ画像を示している。
【0018】
【図6D】９２の９９番目のパーセンタイル画素を有する例示的なＢＦ画像を示している。
【0019】
【図6E】２４６の９９番目のパーセンタイル画素を有する例示的なＢＦ画像を示している。
【0020】
【図7A】細胞として誤って検出されることがあるデブリを有する蛍光（ＦＬ）画像の例を示している。
【0021】
【図7B】ウェル輪郭の検出の誤りにつながることがあるデブリを有するＢＦ画像の例を示している。
【0022】
【図7C】デブリが検出された画像の例を示している。
【0023】
【図8A】フィッティング円半径から、複数のウェル輪郭点のそれぞれに対するフィッティング円中心の距離を差し引いたものを計算する例示的なウェルに適用される第１のウェル領域チェック基準を示している。
【0024】
【0025】
【0026】
【図9】ウェル輪郭内の次の点までの最大距離および距離－半径の計算値に基づくクリッピング予測によるクリッピングされたウェルの例示的な画像を示している。
【0027】
【図10】輪郭検出を使用してＦＬウェル画像からクラスタを検出する例示的な手順を示している。
【0028】
【図11】ブロブ検出を使用して正しく検出された２つのクラスタの例示的な画像を示している。
【0029】
【図12A】強い画素閾値を使用して、弱い信号およびクラスタ検出漏れをもたらす例示的な画像を示している。
【0030】
【図12B】弱い画素閾値を使用して、強い背景信号および多くの偽陽性クラスタ検出をもたらす例示的な画像を示している。
【0031】
【図12C】単一クラスタ検出を使用してデブリが細胞と間違えられた例示的な画像を示している。
【0032】
【図13】細胞クラスタを識別するための例示的なクラスタ検証深層学習モデルを示している。
【0033】
【図14A】グレースケールの例示的な元の拡大された細胞クラスタ画像を示している。
【0034】
【0035】
【図15】画像処理を使用して細胞形態を決定する例示的な方法を示している。
【0036】
【図16】細胞輪郭法の成功例を示している。
【0037】
【図17】ウェルエッジにある細胞、焦点が合っていない画像、および暗い画像を含む画像の問題および課題の例を示している。
【0038】
【図18】ＶＧＧ１６アーキテクチャに基づく例示的な形態深層学習モデルを示している。
【0039】
【図19】単一クラスタ検出、単一クラスタ検証、および形態レビューを実行するためのコンピューティングシステムによる例示的な方法のフローチャートを示している。
【0040】
【図20A】第１の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。
【0041】
【図20B】第２の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。
【0042】
【図20C】第４の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。
【0043】
【図21】入力画像（Ａ）に対する例示的な出力顕著性マップ（Ｂ）を示している。
【0044】
【図22】良好形態を有する細胞の例示的な活性化最大化画像（Ａ）および不良形態を有する細胞の例示的な活性化最大化画像（Ｂ）を示している。
【0045】
【図23A】ウェルエッジにある細胞に基づく予測の誤りの例を示している。
【0046】
【図23B】暗い画像に基づく予測の誤りの例を示している。
【0047】
【図24】コンピューティングシステムの例を示している。
【発明を実施するための形態】
【0048】
序論
現在の実施は、０日目画像とも呼ばれる、プレーティング時に撮像された画像の機器生成分析を必要とする。イメージャに関連するイメージャアルゴリズムは、１つ以上の細胞がウェル内に存在するかどうかを決定するために使用される。しかしながら、細胞形態および画像品質の変動は、一貫した画像解釈に影響を及ぼし、したがって結果の精度に影響を及ぼすことがある。図１は、０日目に撮像された、拡大された白黒ＢＦ画像の単一細胞レビュー課題の例を示している。異なる背景照明条件および反射は、暗い画像をもたらす可能性があるが、カメラの焦点面の外側の細胞は、ぼやけた画像をもたらす可能性がある。さらに、遠心分離から生じるウェルエッジに近い細胞は、見つけるのが困難であり、偽陰性につながる可能性がある。コールアウト１０２における図１の左上の画像に示されるように、クリッピングされ、したがって不完全な画像は、細胞漏れをもたらす可能性がある。ウェルアーチファクトの存在は、細胞の視覚化を妨げる可能性がある。細胞の様々な形態はまた、上部の第２の画像に示されるように、単一の全細胞と分裂を開始した細胞との間を解読しなければならないイメージャアナライザにとっての課題をもたらすことがある。そのような状況は、全て、誤りを引き起こす可能性がある。したがって、良好形態を有する単一細胞のみが先に進められることを保証することができる、自動ＣＬＤ画像特性評価のための高速で信頼性の高い方法が必要とされている。
現在の実施は、０日目画像とも呼ばれる、プレーティング時に撮像された画像の機器生成分析を必要とする。イメージャに関連するイメージャアルゴリズムは、１つ以上の細胞がウェル内に存在するかどうかを決定するために使用される。しかしながら、細胞形態および画像品質の変動は、一貫した画像解釈に影響を及ぼし、したがって結果の精度に影響を及ぼすことがある。図１は、０日目に撮像された、拡大された白黒ＢＦ画像の単一細胞レビュー課題の例を示している。異なる背景照明条件および反射は、暗い画像をもたらす可能性があるが、カメラの焦点面の外側の細胞は、ぼやけた画像をもたらす可能性がある。さらに、遠心分離から生じるウェルエッジに近い細胞は、見つけるのが困難であり、偽陰性につながる可能性がある。コールアウト１０２における図１の左上の画像に示されるように、クリッピングされ、したがって不完全な画像は、細胞漏れをもたらす可能性がある。ウェルアーチファクトの存在は、細胞の視覚化を妨げる可能性がある。細胞の様々な形態はまた、上部の第２の画像に示されるように、単一の全細胞と分裂を開始した細胞との間を解読しなければならないイメージャアナライザにとっての課題をもたらすことがある。そのような状況は、全て、誤りを引き起こす可能性がある。したがって、良好形態を有する単一細胞のみが先に進められることを保証することができる、自動ＣＬＤ画像特性評価のための高速で信頼性の高い方法が必要とされている。
【0049】
臨床細胞株は、モノクローナル抗体（ｍＡｂ）などの組換えタンパク質ベースの医薬品の開発のために作製されることができる。本明細書では、細胞株開発中の単一細胞クローニングを文書化するための正確且つ詳細な自動イメージングワークフローが開示される。画像特性評価は、画像のレビューを達成するために、細胞株の開発試験からの画像を異なるカテゴリに分類する手順を説明するために使用される。特定の実施形態では、本明細書に開示される細胞株開発画像特性評価方法は、機械学習アルゴリズムを使用することによって画像における欠陥検出を改善することができる。画像特性評価方法は、人工ニューラルネットワークを使用して、細胞の画像を分類することができる機械学習モデルを訓練することができる。画像特性評価方法は、転移学習を使用して、機械学習モデルの訓練に必要なサンプル数を減らすことができる。本明細書では、チャイニーズハムスター卵巣（ＣＨＯ）細胞を評価する例示的な細胞株開発画像特性評価方法について論じるが、実際には、画像特性評価方法の実施は、任意の哺乳動物細胞に適用可能である。本方法は、レビューされる細胞の画像を取得し、機械学習モデルを使用して細胞の画像を分類し、良好細胞の画像を通過させながら手動検査のために不確実な欠陥を有する画像を返すことができる。
【0050】
本明細書に記載のＣＬＤ画像特性評価方法は、変換およびフィルタリングのようなデジタル画像処理技術と、機械学習および深層学習のようなパターン認識技術とを組み合わせる。本方法は、それ自体で、または一緒に、連続した順序で、または代替の順序で実施されることができる複数のステップを含む。図２に示す一実施形態では、ＣＬＤ画像選択のプロセスは、特定の順序で実行される４つのステップを含む。第１のステップは、プレートウェルが欠陥を含むか、またはさらなる分析に適しているかを決定するために、０日目に取得されたプレートウェルの画像の事前チェックである。分析の事前チェック段階中に、画像が暗すぎるかどうか、および／またはウェルが明らかなデブリを含むかどうかが決定される。第２のステップでは、ウェル領域全体が画像に取り込まれているかどうか、または画像がクリッピングされているかどうかが決定される。第３のステップでは、ウェルが１つの蛍光細胞クラスタのみを含むか否かが決定される。第４のステップでは、１つのみの単一の蛍光細胞クラスタが単一細胞であるかどうか、および細胞が良好形態を有するかどうかが決定される。各ステップを実行するために必要な計算量は増加し、深層学習モデルを含む第３および第４のステップは、最も計算集約的である。このプロセスは、それぞれのウェルが単一細胞を含むという高い保証を有する良好画像の選択されたセットが得られるまで、各ステップにおいて不良画像を除外する。ＣＬＤ画像特性評価の方法は、研究者によって行われる手動画像分析の第１のラウンドを置き換えることを意図している。深層学習モデルを利用してそのような自動化された細胞画像分析を実施することは、結果の一貫性を改善し、単一細胞画像分析のスループットを向上させる。
【0051】
以下のセクションでは、（１）単一細胞クローニングワークフロー、（２）単一細胞クローニングワークフローにＣＬＤ画像特性評価を適用すること、（２ａ）画像のイメージャ取得および分析、（３）画像の事前チェック、（３ａ）暗い画像、（３ｂ）ウェル内の明らかなデブリ、（４）ウェル領域チェック、（４ａ）基準１：フィッティング円半径からフィッティング円中心のウェル輪郭点までの距離、（４ｂ）基準２：ウェル輪郭の次の点までの最大距離、（４ｃ）基準３：局所曲率、（４ｄ）基準４：ウェル輪郭中心と画像の４つのエッジとの間の最短距離、（４ｅ）ウェル領域チェック：例示的な画像特性評価結果、（５）単一クラスタ検出および検証、（５ａ）単一クラスタ検出方法１：クラスタの輪郭を見つけること、（５ｂ）単一クラスタ検出方法２：ブロブ検出、（５ｃ）単一クラスタ検証：深層学習モデル、（６）形態レビュー、（６ａ）形態レビュー：画像処理および分析、（６ｂ）形態レビュー：深層学習モデル、（７）細胞検出および細胞形態：ＣＮＮ予測性能、ならびに（８）システムおよび方法、に関するＣＬＤ画像特性評価の様々な態様について説明する。
単一細胞クローニングワークフロー
単一細胞クローニングワークフロー
【0052】
単一細胞クローニングは、細胞株開発中の重要なステップである。図３は、単一細胞クローニングワークフローの例を示している。この例では、チャイニーズハムスター卵巣（ＣＨＯ）細胞を蛍光色素を使用して染色し、限定希釈クローニングまたは単一細胞沈着を使用して細胞培養培地を含む３８４ウェルプレートに播種する。プレートは、１０００ｒｐｍで３分間遠心分離されて、細胞をウェルの底まで下げ、次いで直ちにイメージングされる。画素あたり１ミクロンの解像度を有するＮｅｘｃｅｌｏｍ製のＣｅｌｉｇｏ（登録商標）イメージャを使用して、各ウェルの全解像度明視野（ＢＦ）および蛍光（ＦＬ）画像が取得される。これらの画像は、本明細書ではクエリ画像と呼ばれる。次いで、Ｃｅｌｉｇｏ（登録商標）イメージャアルゴリズムが使用されて、プレーティング直後または０日目にウェルに存在する蛍光単一細胞の数を計数および決定する。細胞がコンフルエントになるまで、細胞は、一定の日数、例えば１４日間インキュベートされる。コンフルエンスにおいて、３８４個全てのウェルが、Ｃｅｌｉｇｏ（登録商標）イメージャを使用してイメージングされる。次いで、増殖細胞によって覆われたそれらのウェル領域の割合を決定するために、Ｃｅｌｉｇｏ（登録商標）イメージャアルゴリズムを使用してコンフルエンス画像が分析される。画像がＣｅｌｉｇｏ（登録商標）イメージャアルゴリズムによって０日目に良好画像であると決定され、２５％コンフルエンスを超えるクローンが、ロボットによるピッキングを使用して９６ウェルプレートに播種されて、供給回分生産培養物におけるクローン選択のためのスケールアップを行う。次いで、研究は、Ｃｅｌｉｇｏ（登録商標）イメージャによって良好であると決定された０日目の画像を手動でレビューして、それらが実際に高力価クローンの良好画像であることを確認するために、第１のラウンドの画像分析を実行する。研究者によって行われるこの第１のラウンドの手動レビューは、細胞株当たり最大１９２個の単一細胞画像からなり、面倒で時間がかかり、主観的なプロセスである。主題専門家（ＳＭＥ）によって実行される第２の手動レビューと、それに続く細胞バンキング前の上級ＳＭＥまたはグループリーダーによる第３の手動レビューとを含む、追加の手動レビューがクローニングワークフローの異なる段階で行われる。
【0053】
プレートインキュベーション後の細胞増殖データと組み合わせたプレーティング時の細胞数データが使用されて、どのクローンが自動ヒットピッキングワークセルによってピッキングされるかを決定する。単一細胞に由来するウェルのみが培養され、そのクローンについてさらにスケールアップされるため、０日目の画像分析の結果の高い信頼性が望まれる。
【0054】
このワークフローにおける任意の第１のステップとして、プレートアーチファクトの存在を捕捉するために、細胞堆積の前に細胞培養培地を含む各ウェルのベースラインＢＦ画像が撮像されることができる。これは、追加の情報層として提供し、手動画像レビュー中のアーチファクトの減算を可能にする。クエリ画像とベースライン画像との間の区別を識別することは、プレーティング後のアーチファクトから細胞を区別するのに役立つ。
単一細胞クローニングワークフローへのＣＬＤ画像特性評価の適用
単一細胞クローニングワークフローへのＣＬＤ画像特性評価の適用
【0055】
本明細書に記載の方法は、自動ＣＬＤ画像特性評価のための高速で信頼性の高い方法として提供し、図３の例示的な単一細胞クローニングワークフローにおいて研究者によって実行される手動画像分析の第１のラウンドを置き換えることを意図している。しかしながら、本方法は、その使用に限定されず、異なるサイズのプレート、細胞の種類、イメージャ、クローニング方法、画像種類などを使用するものを含む他の単一細胞クローニングワークフローに適用されることができることが理解される。さらに、クエリ画像は、任意の種類のサンプリング領域に関連付けられてもよく、または任意の種類のサンプリング領域を描写してもよく、プレートウェルに限定されない。
【0056】
記載されたＣＬＤ画像特性評価の方法は、機械学習および深層学習アルゴリズムを使用して、自動単一細胞画像レビューを達成する。画像の特性評価は、以下の３つの特定のタスクを実行するか、または３つの特定の目標を達成するために複数の技術を適用する：１）ウェル領域のチェック、２）単一クラスタの検出および検証、および３）形態のレビュー。図４は、これら３つのタスクまたは目標を示す例示的なフローチャートを示している。実行可能な限り多くのウェル領域を取り込む第１のタスクについて、本方法は、ＢＦ画像に基づいて各ウェルの領域の完全性および真円度をチェックする。輪郭検出およびハフ円検出を使用して、クリッピングを有するウェルが識別される。単一クラスタ検出および検証の第２のタスクについて、本方法は、ＦＬ画像内の蛍光クラスタの総数をチェックし、クラスタをＢＦ画像内の細胞クラスタとして検証する。エッジ検出および深層学習を使用して、複数の細胞クラスタを有する画像が識別される。形態レビューに関する第３のタスクについて、本方法は、細胞クラスタが単一細胞であるかどうかをチェックし、ＢＦ画像内の単一細胞の形態をチェックする。エッジ検出および深層学習を使用して、細胞は、それらの評価された形態に基づいて異なるカテゴリに分類される。
【0057】
画像ラベリングの例示的な手順を図５に示す。自信のない予測は、予測された分類の確率に基づいており、低い確率は低い信頼度を意味する。ラベリング手順は、信頼度の高い順とすることができ、信頼度の低い画像が最初にラベル付けされる。後により詳細に説明するように、手順の第１のラウンドにおけるラベルは、手動で作成されてもよく、または輪郭検出アルゴリズムもしくはブロブ検出アルゴリズムなどのコンピュータバージョンの方法を使用して作成されてもよい。ラベリング手順は、研究者が全ての画像を手動でラベル付けする必要がないため、効率を向上させる。さらに、深層学習モデルは、データ拡張によって改善されることができる。データ拡張は、フリップ、ズーム、シフト、回転などを含む画像変換を使用して利用可能な画像から新たな画像を構築し、深層学習モデルの予測性能を向上させるのに役立つ。既に使用可能な段階にあるが、モデルをより成熟した段階まで訓練し続けることにより、性能が向上する。
イメージャ取得および画像の分析
イメージャ取得および画像の分析
【0058】
プレートが単一細胞堆積または限定希釈クローニングなどの別のクローニング方法を使用して播種され、次いで細胞をウェルの底部に持ってくるために遠心分離された後、各プレートウェルのＦＬおよびＢＦ画像が撮像される。カメラは、細胞が焦点面内にあるようにウェルの底部に焦点を合わせるように設定される。イメージャは、画像スティッチングなしでウェル全体の単一画像を取得する。プレーティング時の高解像度生細胞ＦＬ画像は、短寿命蛍光色素で以前に染色された生ＣＨＯ細胞または他の哺乳動物細胞の存在および位置を高い信頼性で識別する。プレーティング時の高解像度ＢＦ画像は、細胞を確実に識別するのに十分な解像度を提供する。ＢＦイメージングでは、ウェルの上から光が照射され、ウェルの下方から画像が取得されてもよいし、ウェルの下方から光が照射され、ウェルの上方から画像が取得されてもよい。
【0059】
高解像度イメージャによって取得された画像をクエリすることは、ウェル内の１つ以上の別個のオブジェクトを取り込むことができる。別個のオブジェクトは、画像内で識別された別個のオブジェクト輪郭領域であり、単一細胞クラスタ、複数細胞クラスタ、デブリまたはアーチファクト、破損したエッジなどのウェル欠陥、またはそれらの組み合わせとすることができる。画像を取得した後、イメージャの単一細胞クローニングイメージング分析アルゴリズムの最適化が実行されて、ウェル内の細胞を識別する。Ｃｅｌｉｇｏ（登録商標）イメージャに特有のアルゴリズムの場合、例として、自動画像分析中に２５ミクロンの細胞サイズカットオフが設定されて、細胞の大きな塊を排除する。ＣＨＯ細胞は、１５～２０ミクロンに近いサイズを有するが、細胞サイズフィルタをその範囲に設定することは、分析ソフトウェアがＦＬ画像分析において細胞を有すると認識するウェルの数を劇的に減少させ、それによってシステムのスループットを制限する。設定にもかかわらず、３５ミクロンまでの少数のダブレットおよび小さな細胞塊がソフトウェア分析フィルタを通過することが観察されている。さらに、遠心分離は、細胞をウェル底部の中心ではなくウェルエッジウェルまたはその近くに位置させることができる。これは、ウェルの最大６０％で起こり得る。そのような場合、細胞は、もはやカメラの焦点面にないため、画像は、ぼやけて見え、イメージャソフトウェアが細胞を識別することを困難にする。少なくともこれらの理由のために、Ｃｅｌｉｇｏ（登録商標）画像分析アルゴリズムによる０日目の画像分析は完全には信頼性がない。
【0060】
本明細書に記載のＣＬＤ画像特性評価の方法は、０日目の画像の手動イメージャ分析の第１のラウンドの代わりとして提供される。本方法は、選択されたパラメータを有する機械学習および深層学習アルゴリズムを利用して、細胞がウェル内で正確且つ詳細に識別されることを確実にする。それは、プレーティング時に、イメージャアルゴリズムから得られるものよりも一貫した信頼性の高い細胞数データをもたらす。したがって、本明細書に開示される方法を使用して得られた細胞数データをプレートインキュベーション後の細胞増殖データと組み合わせてどのクローンが先に進められるべきかを決定する場合、単一細胞に由来するウェルのみが培養され、そのクローンについてさらにスケールアップされるという高い信頼性がある。
【0061】
ＣＬＤ画像特性評価の方法の以下の説明では、特定の機能および計算を実行するために開示される機能／アルゴリズムおよび関連するパラメータは単なる例示であり、他のライブラリの使用は、本開示の範囲内であることが理解される。さらに、画素範囲は、イメージャ、捕捉解像度、使用されるアルゴリズム、および他の要因に依存するため、それらの値は、実際には本明細書に開示されているものとは異なってもよい。
画像の事前チェック
画像の事前チェック
【0062】
ＣＬＤ画像特性評価方法は、０日目のＢＦ画像の任意の事前チェックから開始することができる。このステップは、それらが欠陥を有するか、またはさらなる分析に適しているかどうかを決定するために実行される。分析の事前チェック段階中に、画像が暗すぎるかどうか、および／またはウェルが明らかなデブリを含むかどうかが決定される。
暗い画像
暗い画像
【0063】
ＢＦ画像は、暗さについて事前にレビューされる。閾値関数を使用して、ウェルを背景と異ならせるバイナリ変換の閾値が２５画素に設定される。暗すぎるものは、ウェルの輪郭を検出する際の誤りにつながる可能性があり、これは、後にさらに説明するように、ウェルクリッピングを検出する際の誤りにつながる可能性がある。暗すぎる画像はまた、ウェル輪郭内の細胞を検出する際の誤りにつながる可能性がある。図６Ａは、ウェル輪郭６０４を検出するには暗すぎるＢＦ画像の例を示しており、ウェルの左側部分は背景と同じくらい暗く、ボックス６０２に示される細胞を識別することを不可能にする。
【0064】
暗さを事前にチェックするために、ＢＦ画像の９９番目のパーセンタイル画素が基準として使用される。ＢＦ画像は暗すぎると見なされ、値が８０画素よりも小さい場合に警告される。この所定の暗さ閾値を超える画像は許容可能であり、良好画像と見なされ、さらなる分析のために継続する。この暗さ閾値を下回る画像は、欠陥を含むための不良画像と見なされ、除外される。図６Ｂおよび図６Ｃは、所定の暗さ閾値を下回る、それぞれ５２および６３の９９番目のパーセンタイル画素を有する、暗すぎるために不良と見なされるＢＦ画像の他の例を示している。図６Ｄおよび図６Ｅの例示的なＢＦ画像は良好であると見なされ、所定の暗さ閾値を上回る、それぞれ９２および２４６の９９番目のパーセンタイル画素を有する。
ウェル内の明らかなデブリ
ウェル内の明らかなデブリ
【0065】
ＦＬ画像は、明らかなデブリの存在について事前にレビューされる。明らかなデブリは、所定の範囲内の大きな明確なオブジェクト輪郭領域サイズを有するウェル内の大きな明確なオブジェクトとすることができる。そのようなデブリの存在は、細胞検出の誤りにつながる可能性があるため、それらを含む画像は警告される。図７Ａは、細胞として誤って検出されることがあるボックス７０２などのボックス内で識別されたいくつかのデブリを有するＦＬ画像の２つの例を示している。ＢＦ画像のデブリはまた、ウェルの輪郭を検出する際の誤りにつながる可能性がある。図７Ｂでは、破損したウェルエッジと誤って見なされることがあるデブリ７０４を有するＢＦ画像の例が示されている。
【0066】
明らかなデブリを事前にチェックするために、輪郭検出アルゴリズムが使用される。これらのアルゴリズムは、クラスタ検出に使用されるものと同様であり、後により詳細に説明する。ＦＬ画像の場合、バイナリ変換のための閾値は、閾値関数を使用して４０画素に設定され、輪郭の面積、または大きな区別対象輪郭領域サイズは、５０００から１００万画素の間に設定される。ＢＦ画像の場合、バイナリ変換のための閾値は、７０画素に設定され、輪郭の面積、または大きな区別対象輪郭領域サイズは、５０００から１００万画素の間に設定される。そのようなデブリがない画像は良好画像と見なされ、さらなる分析のために継続する。明らかなデブリを有する画像は、欠陥を含むために不良であると見なされ、除外される。図７Ｃは、デブリ７０６が検出された追加の例示的な画像を示しており、いくつかは、細胞を覆うことがある大きなまたは不透明なデブリを示している。
ウェル領域チェック
ウェル領域チェック
【0067】
細胞を識別するためのウェルの完全なレビューが行われることができることを確実にするために、ウェル領域チェックステップが実行されることができる。クリッピングされたウェルは、画像内でその一部が切り取られたウェルである。それは、カメラとウェルとの間の僅かな位置合わせの問題の結果であり得る。クリティカルクリッピングは、ＣＨＯ細胞について１５～２０ミクロンとすることができる単一細胞の幅以上のクリッピングである。そのようなクリティカルクリッピングは、ウェルのその部分に細胞を隠す可能性があり、したがって、それらを有する画像は、欠陥を含むための不良画像と見なされる。細胞の幅よりも小さい非クリティカルクリッピングは、良好画像と見なされることができる。ウェル領域をチェックし、クリティカルクリッピングがないことを確認するために、一般にウェルと画像背景との間に良好なコントラストを有するＢＦ画像に基づいてウェルの輪郭を検出するためのツールが使用される。ウェルと背景とを異ならせるためのバイナリ変換の閾値は、ｏｐｅｎｃｖパッケージのｃｖ２．閾値関数を用いて２５画素に設定される。ウェル輪郭は、オプションｃｖ２．ＣＨＡＩＮ＿ＡＰＰＲＯＸ＿ＳＩＭＰＬＥを有するｏｐｅｎｃｖパッケージのｃｖ２．ｆｉｎｄＣｏｎｔｏｕｒｓ関数を使用して検出され、ウェル輪郭を定義する点の数は、少なくとも１００画素に設定され、ウェル輪郭の面積は、１００万から５００万画素の間に設定される。ウェル輪郭は、ハフ円変換アルゴリズム（ｏｐｅｎｃｖパッケージのｃｖ２．ＨｏｕｇｈＣｉｒｃｌｅｓ関数）および以下のパラメータを使用して円、フィッティング円にフィッティングされる：メソッド＝ｃｖ２．ＨＯＵＧＨ＿ＧＲＡＤＩＥＮＴ、ｄｐ＝２、ｍｉｎＤｉｓｔ＝１５００、ｐａｒａｍｌ＝１０、ｐａｒａｍ２＝３０、ｍｉｎＲａｄｉｕｓ＝３００、ｍａｘＲａｄｉｕｓ＝０。フィッティング円は、半径および中心を有する。
【0068】
４つのウェル領域チェック基準または方法を利用する画像処理ツールは、ウェル領域クリッピングを検出するために実装されるが、４つの基準の任意の数および組み合わせが使用されてもよい。同じ例示的なウェルに適用されたウェルクリッピングを検出するための４つの方法を図８Ａ～図８Ｃに示す。ウェル領域のクリティカルクリッピングを有すると決定された画像は、不良画像と見なされる。それらのウェルは、０日目に同じまたは異なるイメージャで再イメージングされてもよく、または画像は除外されてもよく、さらなる分析のために継続しない。
基準１：フィッティング円半径－フィッティング円中心からウェル輪郭点までの距離
基準１：フィッティング円半径－フィッティング円中心からウェル輪郭点までの距離
【0069】
この方法は、ウェルクリッピングだけでなく、他のウェル欠陥も検出することができる。第１のウェル領域チェック基準は、図８Ａの左画像に示されるウェル輪郭（すなわち、「輪郭」）とそのフィッティング円（すなわち、「輪郭によってフィッティングされた円」）との間の差を検出する。差は、フィッティング円半径から、複数のウェル輪郭点のそれぞれに対するフィッティング円中心（すなわち、「円中心」）の距離を差し引いたものとして計算される。計算された差は、図８Ａの右画像に示すように、ウェル輪郭の上部から始まり時計回りの方向に向かってプロットされる。計算に基づいてウェル輪郭とそのフィッティング円との間のピークまたは最大差を検出するために、ｐｙｔｈｏｎ ｓｃｉｐｙ．ｓｉｇｎａｌパッケージ（パラメータ：プロミネンス＝０．７、幅＝１００、高さ＝３０）のｆｉｎｄ＿ｐｅａｋｓ関数が使用される。中央の大きなピークは、ウェルの底側のクリッピングに対応し、その後の２つの小さなピークは、それぞれ、ウェルの左側の小さなクリッピングおよびウェルの左上側の小さな破断エッジに対応する。
基準２：ウェル輪郭内の次の点までの最大距離
基準２：ウェル輪郭内の次の点までの最大距離
【0070】
第２のウェル領域チェック基準は、図８Ｂの左画像に示されるウェル輪郭内の直線を検出することによってウェルクリッピングを検出する。クリッピングされたエッジで起こるように、いくつかの連続するウェル輪郭点が単一の線にある場合、画像処理アルゴリズムは、エッジの２つの端点のみを記憶する。２つの連続する輪郭点間の距離が計算され、事前定義された最大距離がクリッピングの基準として使用される。所定の距離閾値は、１５０画素に設定され、１５０画素以上の連続するウェル輪郭点間の距離がクリッピングとして予測される。算出された距離が大きいほど、クリッピングが大きくなる。図では、エッジの２つの端点間に大きな距離が計算され、それによってウェルの底部側の１つの大きなクリッピングを示している。ウェルの左側の１つの小さなクリッピングも検出される。
基準３：局所曲率
基準３：局所曲率
【0071】
第３のウェル領域チェック基準は、直線の局所曲率を０として、基準２の線の局所曲率をチェックする。ウェル輪郭の局所曲率を計算するためにＲ ＥＢＩｍａｇｅパッケージのｌｏｃａｌＣｕｒｖａｔｕｒｅ関数が使用され、連続曲率窓の長さが１０１画素に設定される。これまでに説明した３つのクリッピング基準を、図８Ｂの右画像の円形プロットに示す。ウェルの底部および左側のクリッピング領域では、基準１（実線８０２）および基準２（破線８０４）に対して計算された対応する距離は、双方とも大きく、基準３（点線８０６）に対して計算された局所曲率は０である。
基準４：ウェル輪郭中心と画像の４辺の最短距離
基準４：ウェル輪郭中心と画像の４辺の最短距離
【0072】
図８Ｃに示す第４のウェル領域確認基準は、ウェル輪郭中心（すなわち、「円中心」）が画像エッジに近すぎるか否かを検出する。ウェルクリッピングを検出するためのこの方法は、クリッピングが画像の４つの辺のうちの１つでのみ起こることができ、画像の辺と平行であることに基づいている。ウェル輪郭中心と画像の４辺との間の最短距離が計算される。ウェルは、ウェル輪郭中心から最も近い画像エッジまでの距離から、ウェル輪郭半径を差し引いたものとして計算される距離が、所定の距離閾値以下である場合にクリッピングされたものとして予測される。閾値は、５（すなわち、距離－半径≦５画素）に設定される。計算された距離が閾値に近いほど、クリッピングは小さくなる。
ウェル領域チェック：例示的な画像特性評価
ウェル領域チェック：例示的な画像特性評価
【0073】
一例では、第２の基準および第４の基準は、ウェルクリッピングを検出するために使用される。ウェル輪郭内の次の点までの最大距離が１５０画素以上である場合、またはウェル輪郭中心から最も近い画像エッジまでの距離からウェル輪郭半径を差し引いたものが５画素以下である場合、ウェルは、クリッピングされたと予測される。表１は、アルゴリズムが機能し、基準がクリッピングされたウェルの良好な指標であることを示す、第２および第４の基準を使用したウェルクリッピング予測の混同行列である。３９０個の偽陽性は、アルゴリズムが小さなクリッピングを検出することができなかった場合であり、これは重要でないクリッピングであれば許容され可能である。２つの基準について計算された距離がそれぞれの所定の閾値距離に近い場合、報告された偽陽性の数を最小限に抑えるためにさらにレビューを行うことができる。
【表1】
【0074】
図９は、ウェル輪郭内の次の点までの最大距離（基準２）およびウェル輪郭中心からウェル輪郭半径を差し引いた最も近い画像エッジまでの距離（基準４、すなわち距離－半径）の計算値に基づくクリッピング予測を有するクリッピングされたウェルの例を示している。左下の画像では、クリッピングの正確な予測が行われた。クリッピングのサイズが小さいため、これは、ボックス９０２内の細胞などの細胞を隠すのに十分な大きさではない非クリティカルクリッピングと見なされることができる。最も右の画像では、ウェルの輪郭が正確な円ではないため、誤った予測が行われた可能性がある。
単一クラスタの検出および検証
単一クラスタの検出および検証
【0075】
高解像度イメージャによって取得された画像は、ウェル内の１つ以上の別個のオブジェクトを取り込むことができる。別個のオブジェクトは、単一細胞クラスタ、マルチ細胞クラスタ、デブリもしくはアーチファクト、破損したエッジなどのウェル欠陥、またはそれらの組み合わせとすることができる。ＣＬＤ画像特性評価の開示された方法は、特定の特性を有する別個のオブジェクトであるクラスタを他の種類の別個のオブジェクトから区別するために使用されることができる。単一クラスタ検証の第２のタスクまたは目的のために、本方法は、ＦＬ画像内の蛍光クラスタの総数をチェックし、クラスタをＢＦ画像内の細胞クラスタとして検証する。エッジ検出および深層学習を使用して、複数の細胞クラスタを有する画像が識別される。１つの細胞クラスタのみが検出された画像は良好画像と見なされ、さらなる分析のために継続する。細胞クラスタがない画像または複数の細胞クラスタがある画像は、欠陥を含むために不良画像と見なされ、除外される。
単一クラスタ検出方法１：クラスタの輪郭を見つける
単一クラスタ検出方法１：クラスタの輪郭を見つける
【0076】
図１０は、単一クラスタ検出モデルを使用してＦＬウェル画像中の蛍光クラスタを検出する例示的な手順を示している。そのような手順では、ウェル内の関心点を識別するためにソフトウェア分析フィルタおよび輪郭検出アルゴリズムが使用される。第１および第２のステップは、グレースケール（オプション０のｃｖ２．ｉｍｒｅａｄ関数）でＦＬ画像を読み出し、それをバイナリの白黒画像（オプションｃｖ２．ＴＨＲＥＳＨ＿ＢＩＮＡＲＹ＿ＩＮＶ、閾値＝３０画素のｃｖ２．ｔｈｒｅｓｈｏｌｄ）に変換することを含む。第３のステップは、画像内の黒い領域（ｃｖ２．ＣＨＡＩＮ＿ＡＰＰＲＯＸ＿ＴＣ８９＿ＫＣＯＳオプションのｃｖ２．ｆｉｎｄＣｏｎｔｏｕｒｓ関数）として示される明確なオブジェクト輪郭領域を見つけ、それらの周りに輪郭を追加する。第４のステップでは、次に、個別オブジェクト輪郭領域は、それらの面積および点の数に基づいてフィルタリングされる。図１０の例では、区別対象輪郭領域サイズは、５０から３０００画素の所定の範囲に設定され、区別対象輪郭領域内の所定の点の数は、少なくとも１０画素に設定される。第５のステップでは、ｃｖ２．ｒｅｃｔａｎｇｌｅ関数および輪郭の各辺上の１０画素の拡張を使用して、前のステップのサイズおよびポイント基準を満たす選択された別個のオブジェクト輪郭領域の周りに境界ボックスが描画または追加される。この選択された個別オブジェクト輪郭領域はクラスタである。クラスタとして、この別個のオブジェクト輪郭領域は、５０から３０００画素の所定の範囲内のクラスタ輪郭領域サイズを有し、１０画素の所定数の点を少なくとも有するクラスタ輪郭領域と見なされる。
【0077】
前述のように、同様の輪郭検出アルゴリズムが、大きな別個のオブジェクトである明らかなデブリの存在についての画像の事前チェックに使用される。その用途では、パラメータは、５０００から１００万画素の間に設定された所定の大きな別個のオブジェクト輪郭領域サイズ範囲を含む。したがって、明らかなデブリを識別するための所定の大きな明確なオブジェクト輪郭領域サイズ範囲は、クラスタを識別するための所定の明確なオブジェクト輪郭領域サイズ範囲よりも大きい。
単一クラスタ検出方法２：ブロブ検出
単一クラスタ検出方法２：ブロブ検出
【0078】
輪郭検出に対する代替の単一クラスタ検出モデルは、ブロブ検出である。候補クラスタは、ブロブ検出アルゴリズム（ｏｐｅｎｃｖパッケージからのｃｖ２．ＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒ＿Ｐａｒａｍｓ，ｃｖ２．ＳｉｍｐｌｅＢｌｏｂＤｅｔｅｃｔｏｒ＿ｃｒｅａｔｅ，ｃｖ２．検出関数）を使用してＦＬ画像において見出される。画像は、３０に設定された画素閾値を有するバイナリ画像になる。フィルタリングパラメータは、少なくとも１０画素に設定された個別オブジェクト輪郭領域内の所定数の点、および２０５２×２０５２スケールで５０から３０００画素の間の所定の範囲に設定された個別オブジェクト輪郭領域サイズを含む。前のステップ（ｃｖ２．ｒｅｃｔａｎｇｌｅ関数）のサイズおよび点の基準を満たす選択された個別オブジェクト輪郭領域の周りにボックスが追加され、輪郭の各側に１０画素が拡張される。これらの選択された個別オブジェクト輪郭領域はクラスタである。
【0079】
一般に、ここで説明した輪郭検出およびブロブ検出の単一クラスタ検出モデルは、クラスタの検出において同様の性能を有する。図１１は、ブロブ検出を使用して正しく検出された、各ボックス１１０２および１１０４内の一方のクラスタである、２つのクラスタの例示的な画像を示している。しかしながら、説明した単一クラスタ検出方法に関連するいくつかの課題がある。そのような課題の１つは、閾値に基づく。強い画素閾値を使用すると、ウェル内の全てのクラスタを検出するには信号が弱くなりすぎ、偽陰性につながる可能性がある。弱い信号による細胞漏れを図１２Ａに示す。同様に、２０または２５画素などの弱い画素閾値は、背景信号が強すぎ、偽陽性クラスタ検出が多くなる可能性がある。図１２Ｂのいくつかのボックス１２０２において識別される偽陽性は、デブリまたはプレートアーチファクトとすることができる。閾値に基づく誤りは、暗い画像または焦点が合っていない画像など、品質が良くない画像において増幅される。
単一クラスタ検証：深層学習モデル
単一クラスタ検証：深層学習モデル
【0080】
クラスタ検出は、クラスタの数を計数し、ウェル内のそれらの位置を識別するために使用される。しかしながら、クラスタ検出は、クラスタ自体について提供する情報において制限される。０日目にウェル内に１つのみの細胞が存在することを確実にすることが単一細胞クローニングの主な目的であるため、ウェル内で検出されたクラスタが少なくとも１つの細胞を含むかどうかを知ることは有益であろう。単一クラスタ検出後の単一クラスタ検証の実施は、その目標を達成するためのステップである。単一クラスタ検出では、サンプリング領域（例えば、ウェル）内のクラスタを描写するクエリ画像、特にＦＬ画像の１つ以上の位置および／または領域は、単一クラスタ検出モデルを使用してクエリ撮像を処理することによって識別される。各クラスタの位置は、単一クラスタ検出モデルによって、画像内の座標（例えば、ｘ／ｙ画素位置）、境界ボックス位置（例えば、ここでも、ｘ／ｙ画素境界によって）、クラスタを含む輪郭領域、または画像の別の同様の部分（全体を通してクエリ画像の領域とも呼ばれる）として返されることができる。図１０の最後のステップとして示されているように、単一クラスタ検証は、単一クラスタ検出を使用して識別されたＢＦ画像の対応する位置内の少なくとも１つの細胞の存在を確認し、それによってクラスタが少なくとも１つの細胞を含むことを保証する。換言すれば、単一クラスタ検証は、クラスタが細胞クラスタであることを確認する。識別された画像の領域がない画像は、不良画像と見なされ、除外される。
【0081】
別の言い方をすれば、単一クラスタ検証は、単一クラスタ検出を強化する。それは、クラスタ検証深層学習モデルを使用して、ウェル内のデブリなどの非細胞クラスタから細胞クラスタを区別する。単一クラスタ検証の実施は、プレートアーチファクトおよびデブリが細胞として、またはプレートアーチファクトおよびデブリとしての細胞として誤って解釈されることにより、クローンが廃棄されるかまたは先に進められることを防止することができる。次いで、サンプリング領域内のクラスタを描写するものとして単一クラスタ検出モデルによって識別されたクエリ画像の１つ以上の領域は、描写された各クラスタが細胞クラスタであるかどうかを決定するためにクラスタ検証深層学習モデルによって処理される。クラスタ検証深層学習モデルの出力は、良好画像または不良画像のいずれかとしてのクエリ画像のバイナリ分類である。
【0082】
クラスタ検証深層学習モデルが、領域の正確に１つが細胞クラスタであるクラスタを描写していると決定した場合、画像は、良好画像として分類され、したがって、サンプリング領域は、１つの細胞クラスタのみを含む。クラスタ検証深層学習モデルが、領域のいずれも、細胞クラスタであるクラスタを描写していないと決定した場合、または複数の領域が、細胞クラスタであるクラスタを描写していると決定した場合、画像は、不良画像として分類され、したがって、サンプリング領域は、それぞれ、細胞クラスタを含まないか、または複数の細胞クラスタを含む。実際には、一般に、単一クラスタ検出を使用して識別されたクラスタのうち、約８０％は実際の細胞クラスタであり、残りは細胞クラスタではない。例えば、デブリが単一クラスタ検出においてクラスタに必要な同じサイズおよびポイント基準を満たす場合、デブリは、クラスタとして識別されることができる。これは、ボックス１２０４の図１２Ｃの例示的な画像に示されている。単一クラスタ検出に続く単一クラスタ検証の使用は、クラスタ内に細胞が存在しないこと、およびクラスタが細胞クラスタではなくデブリであることを検証する。単一のクラスタが細胞を含まないことを考えると、ウェルは、細胞を含まないと結論付けられる。したがって、画像は、欠陥を含む不良画像と見なされ、それ以上の分析は実行されずに除外される。
【0083】
クラスタ検証深層学習モデルの例を図１３に示す。このモデルへの入力は、ＦＬ画像の領域およびＢＦ画像の領域の一方または双方であり、モデルからの出力は、細胞クラスタおよびウェル内のそれらの位置の識別である。追加的または代替的に、モデルは、分析された領域を含む画像全体が良好画像であるか不良画像であるかのバイナリ決定を返すことができる。１つの具体的な実施態様では、画像の領域内の細胞クラスタを識別することは、候補細胞クラスタの信頼スコアを計算することと、候補細胞クラスタについて、信頼スコアと所定の閾値スコアとの比較に基づいて細胞クラスタ指示を決定することと、を含み、細胞クラスタ指示は、少なくとも１つの細胞を含む画像のクラスタ輪郭部分とすることができる。１つの例示的な実施形態では、深層学習モデルのアーキテクチャは、ＶＧＧ１６ ＣＮＮモデルであるが、他のニューラルネットワークモデルアーキテクチャも使用されてもよい。
【0084】
モデル訓練のために、高い閾値を使用する検出されたクラスタのＦＬおよびＢＦ画像（またはその領域）が組み合わされて使用され、細胞クラスタ（すなわち、細胞を有することについて陽性のクラスタ）がどのように見えるかモデルを訓練する。図１３の例では、ブロブ検出を使用してボックス１３０２の上位の強閾値ＦＬ画像において識別された細胞クラスタが１つあり、これは下位の強閾値ＢＦ画像の対応する位置で検証される。さらに、ランダムに選択された画像のＦＬおよびＢＦ画像が組み合わされて使用され、非細胞クラスタ（すなわち、デブリなどの細胞を有することに対して負のクラスタ）がどのように見えるかをモデルに訓練する。この例では、細胞クラスタが存在しないウェルの他の領域のランダムな選択が、アルゴリズムが細胞クラスタと非細胞クラスタとの間の相違を理解するのを助けるために使用される。そのような訓練は、信頼スコアの計算および混同行列に役立つため、より正確になることができる。深層学習モデルは、フリップ、ズーム、シフト、回転などを含む画像変換を使用して利用可能な画像から新たな画像を構築するためのデータ拡張によって改善され、深層学習モデルの予測性能を向上させるのに役立つ。また、多数のクラスタを含むように弱閾値を使用して検出されたクラスタのＦＬおよびＢＦ画像も深層学習モデルに供給され、各候補クラスタに予測が与えられる。この例示的なクラスタ検証深層学習モデルは、検証データに対して９９．３％の精度を有する。
【0085】
単一クラスタ検証のための本明細書に記載の深層学習モデルは、各候補クラスタに与える予測に応じて画像が良いか悪いかを決定する。細胞を有する可能性が高い候補クラスタが画像内に２つ以上ある場合、または画像内にない場合、画像は不良であると見なされる。それは除外され、さらなる分析には進まない。１つの候補クラスタのみが細胞を有する可能性が高い場合、画像は良好であると見なされ、形態レビューに進む。
【0086】
前の段落で紹介したように、転移学習および画像拡張は、クラスタ検証深層学習モデルの性能を向上させるために使用される。転移学習とは、ベースまたは補助ＣＮＮを補助データセットおよびタスク上で訓練し、それによって特定のパラメータを開発し、その後、標的データセットおよびタスクを利用してそれらのパラメータをさらに改良することを指す。転移学習は、ＩｍａｇｅＮｅｔまたは他のカスタムデータセットを用いて同じモデルアーキテクチャ上で実行される。本明細書に開示されるＣＬＤ特性評価方法におけるクラスタ検証のために、複数の第１の標的訓練サンプルがアクセスされ、第１の標的訓練サンプルは、サンプリング領域に関連付けられた複数の第１の標的訓練画像と、複数の第１の標的訓練画像にそれぞれ関連付けられた複数の細胞クラスタ指示とを含む。複数の第１の補助訓練サンプルは、第１の標的訓練サンプルに基づいて選択され、第１の補助訓練サンプルは、複数の第１の補助訓練画像と、複数の第１の補助訓練画像にそれぞれ関連付けられた複数の第１のコンテンツカテゴリとを含む。次いで、クラスタ検証深層学習モデルは、複数の第１の補助訓練サンプルに基づいて第１の補助機械学習モデルを訓練し、訓練された第１の補助機械学習モデルおよび複数の細胞クラスタ指示に基づいてクラスタ検証深層学習モデルを訓練することによって訓練される。複数の第１の補助訓練画像と関連付けられた複数の第１のコンテンツカテゴリは、複数の第１の標的訓練画像と関連付けられた複数の細胞クラスタ指示と一致しない。
形態レビュー
形態レビュー
【0087】
ウェルが、ウェル領域チェックによってクリティカルクリッピングを有していないと決定され、単一クラスタ検証によって１つの細胞クラスタのみを含むと決定されると、画像は形態レビューを続ける。形態レビューでは、画像処理および分析または深層学習モデルを使用して、細胞クラスタ内の細胞の数および細胞形態の受容性を決定する。
形態レビュー：画像処理および分析
形態レビュー：画像処理および分析
【0088】
細胞クラスタとして検証されたクラスタは、例えば、単一の細胞、複数の重複する細胞、または既に分裂を開始した細胞を含むことができる。後者の２つの例では、それらのクローンは、進められないであろう。形態レビューにより、目標は、良好形態を有する単一細胞を含む細胞クラスタを識別することである。細胞形態をレビューする方法は、画像において、細胞が明るい中心および暗い細胞膜境界を有するという観察に基づいている。図１４Ａは、クラスタ検出中に境界ボックスが周囲に追加された細胞クラスタの例を示している。細胞クラスタが拡大されて、形態レビューのための元のグレースケール画像として提供する。図１４Ｂは、図１４Ａの細胞クラスタの３Ｄ表面を示し、細胞中心を丘として示し、細胞膜を周囲の谷として示している。本明細書に記載の形態をレビューする方法は、細胞の輪郭を検出および構築し、次いで、それに基づいて細胞の数（例えば、検出された輪郭の数）および細胞形態（例えば、細胞の真円度）を予測する。
【0089】
図１５は、９つのステップを含み、複数の画像処理技術を使用して細胞形態を決定する例示的な方法を示している。説明されている手順は単なる例示である。細胞形態をレビューするための多くの他の画像処理技術が使用されるｌことができることが理解される。追加のもしくはより少ないステップ、または代替の順序で実行されるステップを有する手順は、本開示の範囲内である。
【0090】
ステップ１：ウェルエッジを除去する。第１のステップでは、ＦＬ画像（右上の画像）において細胞を含む明領域が識別され、ＢＦ画像（左上の画像）におけるこの領域の対応する位置がＢＦ画像（下の画像）における中央値に置き換えられる。これは、ＢＦ画像内のウェルエッジおよび黒背景を十分に除去して、さらなる分析中にそれらから生じ得る外乱を除去することができる。
【0091】
ステップ２：画像を強化する。第２のステップでは、Ｂスプライン補間（比率２０のｃｖ２．ｒｅｓｉｚｅ関数）を使用して画像点が強化される。
【0092】
ステップ３：コントラストを増加する。第３のステップでは、画像内の細胞の境界をより明確にするために、ＢＦ画像のコントラストが増加される（ｃｖ２．ｅｑｕａｌｉｚｅＨｉｓｔ関数を使用したヒストグラム等化）。
【0093】
ステップ４：画像を逆バイナリにする。第４のステップでは、閾値を４０画素に設定したｃｖ２．ｔｈｒｅｓｈｏｌｄ閾値関数とｃｖ２．ＴＨＲＥＳＨ＿ＢＩＮＡＲＹ＿ＩＮＶオプションを使用して、閾値毎の逆バイナリ画像（黒から白、白から黒）にする。
【0094】
ステップ５：画像の白い部分に輪郭を追加する。第５のステップでは、少なくとも１０画素に設定された輪郭の点の数および５０から３０００画素の間に設定された細胞領域によってｃｖ２．ｆｉｎｄＣｏｎｔｏｕｒｓ関数を使用して、画像の白い部分に輪郭または凸包が追加される。凸包は、ｃｖ２．ｃｏｎｖｅｘＨｕｌｌ関数を使用して構築された。
【0095】
ステップ６：画像の白い部分に焦点を合わせる。第６のステップでは、０よりも大きいグレースケールの領域を除去し、前のステップからの画像の白色部分に対応する画像にのみ焦点を合わせる。
【0096】
ステップ７：画像をバイナリにする。第７のステップでは、０．８画素（ＢＦ画像上の画素の９９番目のパーセンタイル）を閾値として、前画像がバイナリ画像にされる。
【0097】
ステップ８：輪郭を追加し、面積によってフィルタリングする。第８のステップでは、輪郭は、ｃｖ２．ｆｉｎｄＣｏｎｔｏｕｒｓ関数を使用して前画像に追加され、５０から３０００画素の間で設定された面積によってフィルタリングされる。
【0098】
ステップ９：３Ｄ輪郭を用いた形態分析。第９のステップでは、輪郭を有する３Ｄ表面を示す画像の分析が実行される。
【0099】
この例では、細胞クラスタは、最終的な３Ｄ画像において、それぞれが谷に囲まれた２つの別個の丘を有するものとして示されている。細胞クラスタ内の細胞の数は検出された輪郭の数に基づくため、この細胞クラスタ内に２つの細胞があると決定される。そして、細胞形態は輪郭の真円度に基づくため、この細胞クラスタは、不良形態を有すると決定される。細胞クラスタは、単一の細胞クラスタではなく、むしろマルチ細胞クラスタであると決定されるため、画像は、欠陥を含むために不良であると見なされ、除外される。細胞クラスタが１つの細胞のみを含み、実際に良好形態を有する単一の細胞クラスタであると決定された場合、画像は、良好であると見なされる。その良好画像に基づいて、０日目にそのそれぞれのウェルに１つの細胞しかないと結論付けることができる。
【0100】
図１６は、細胞輪郭法の成功例を示している。説明した画像処理技術および分析を使用して、リング１６０２によって示されるように、十分な真円度を有する単一の輪郭が各画像内で識別される。したがって、細胞クラスタは、細胞が良好形態を有する単一細胞クラスタであると正しく決定される。本方法は、画像が良好な品質であり、十分に明るく、焦点が合っている場合にうまく機能する。
形態レビュー：深層学習モデル
形態レビュー：深層学習モデル
【0101】
前のセクションで説明した画像処理技術の代替として、深層学習モデルが使用されて細胞形態を予測することができる。深層学習モデルは、手動の人間によるレビューと比較してより多くの画像の一貫した結果を提供することができるために有利である。暗さやぼやけなどの画質の問題を含む、画像で発生する可能性がある問題をより良好に処理することができる。また、プレート遠心分離に起因する細胞パターンの不一致および細胞がウェルエッジに近いことに関連する課題を有する画像をより良好に分析することができる。図１７は、これらの問題や課題を有する画像の例を示している。
【0102】
１つの細胞クラスタのみを含むものとしてクラスタ検証深層学習モデルから良好であると見なされる画像は、形態レビューに続く。細胞クラスタを描写するクエリ画像の１つのみの領域について、ＣＬＤ画像特性評価方法は、１）細胞クラスタがクラスタ内に正確に１つまたは代替的に２つ以上の細胞を有するかどうか、および同時に２）１つのみの細胞クラスタ内に１つのみの細胞が存在する場合、細胞の形態が許容可能である（すなわち、細胞は良好形態を有する）かどうかを決定するために形態深層学習モデルによって領域を処理することをさらに含む。
【0103】
特定の実施形態では、形態深層学習モデルの出力は、クエリ画像をそれぞれの信頼度で３つのカテゴリのうちの１つに分類することである。カテゴリは、分析には暗すぎる、良好画像、および不良画像とすることができる。モデルは、これら３つのラベルのうちの１ついよって画像を供給することによって訓練される。形態深層学習アルゴリズムは、入力画像に対するこれら３つのカテゴリの確率を計算し、最も高い確率を有するカテゴリを選択する。
【0104】
前述したように、０日目画像の事前チェックは、画像がさらなる分析のために暗すぎるか否かの決定を含む。分析のこの初期チェック前段階中にローパスフィルタを使用して、非常に暗く、所定の暗さ閾値を下回る画像が、形態深層学習モデルによる分析の前のある時点で既に識別され、除外される。したがって、形態深層学習モデルは、画像暗さ分析の別の層を提供する。事前チェック段階を通過するが、依然として暗く、ぼやけなどの追加の問題を有する暗い画像は、さらなる分析には適していない可能性がある。アルゴリズムがそれらの中の細胞クラスタまたは細胞クラスタ内の任意の細胞の存在を正しく識別することができない可能性があるため、暗い画像および焦点の合っていない画像の双方が識別され、欠陥を含むために除外される。分析のために暗すぎることはまた、基本的な明るさ基準を満たす画像のみがワークフロー内で継続することを保証するのを助けるために、深層学習器の出力の１つとして訓練するためのカテゴリラベルとして使用されることができる。
【0105】
画像は、１）１つのみの細胞クラスタ内に識別された単一細胞のみが存在する可能性が高いこと、および２）単一細胞が良好形態を有する可能性が高いことの双方がある場合、形態深層学習モデルによって良好画像として分類される。単一の細胞さえも識別されず、代わりにクラスタが実際には細胞クラスタではなく、例えばデブリである可能性が高い場合、画像は、不良画像として分類される。画像はまた、１つのみの細胞クラスタ内で複数の細胞が識別される／唯一の細胞クラスタを構成する可能性が高い場合、または単一の細胞が細胞クラスタ内で識別されるが、単一の細胞が不良形態を有する可能性が高い場合、形態深層学習モデルによって不良画像として分類される。
【0106】
次いで、クラスタ検証および形態深層学習器を使用した０日目の画像分析の結果は、手動の人間によるレビューを介したさらなる分析のために、コンピュータによってまたはコンピュータ間で記憶および／または送信される。手動の人間によるレビューは、目視検査および関連するイメージャソフトウェアを使用して実行されることができ、その結果、手動のレビュー者は、単一細胞クローニングワークフローにおいてどのクローンを先に進めるべきかに関する最終決定を行うことができる。次いで、選択されたクローンがロボットで採取され、そのクローンを培養し、さらにスケールアップするために、９６ウェルプレートまたは他のサイズのプレートに播種される。
【0107】
代替の実施形態では、形態深層学習モデルの出力は、それぞれの信頼性レベルを有する５つのカテゴリのうちの１つへのクエリ画像の分類である。カテゴリは、分析には暗すぎる、良好画像、懸念を伴う良好画像、不良画像、およびメリットを伴う不良画像とすることができる。そのような実施形態では、モデルは、これら５つのラベルのうちの１つを有する画像を供給することによって訓練される。形態深層学習アルゴリズムは、入力画像に対するこれら５つのカテゴリの確率を計算し、最も高い確率を有するカテゴリを選択する。分析には暗すぎると分類された画像、不良画像、およびメリットを伴う不良画像は除外され、さらなる分析のために継続しない。前述の３つのカテゴリの実施形態と比較して、これらの追加の中間層を含むことは、ヒットピッキングステップ中に研究者に選択肢を与える。単一細胞クローニングワークフローの次の段階（すなわち、コンフルエンスイメージングから得られた分析と組み合わせて、培養するクローンを識別すること）に進むために形態深層学習器によって良好画像として分類された十分な画像がない場合、研究者は、懸念を伴う良好画像として分類された画像を手動でレビューし、実際に良好画像である画像を識別することができる。
【0108】
記載された３つのカテゴリまたは５つのカテゴリは単なる例示であり、画像のカテゴリ化における他のラベルおよびラベルの数の使用は、本開示の範囲内であることが理解される。以下の例示的なデータセットでは、ラベルおよび関連する出力カテゴリは、細胞の検出および細胞形態に関してより記述的である。
例示的なデータセット
例示的なデータセット
【0109】
１つの例示的画像データセットでは、それぞれ３８４個のウェルを有する３０９個のプレートが、利用可能な合計１１８，６５６個のウェルをもたらした。良好な種々の条件の０日目のＢＦおよびＦＬ画像を含めた。画像の約２％、または４０００を超える画像は、良好細胞、良好細胞であるが確実ではない、不良細胞または＞１個の細胞、不良細胞であるが確実ではない、何もない（または細胞なし）、デブリの６つのカテゴリのうちの１つに属するとして手動でラベル付けされた。これらのラベルは、予備的な深層学習モデルを構築するためにアルゴリズムに提供され、その後、画像の残りの９８％にラベルを付けるために使用された。
【0110】
図１８は、一実施形態にかかる、形態深層学習モデルに使用することができるＶＧＧ１６アーキテクチャに基づく例示的な深層学習モデルを示している。この例では、１３個の畳み込み層と３個の全結合層があるが、使用されるモデルは、任意の数の層を有するように構築されてもよい。ｃｏｖ１層への入力は、固定サイズの２２４×２２４ＲＧＢ画像である。画像は、畳み込み（ｃｏｎｖ．）層のスタックを通過し、フィルタは、以下の非常に小さな受容野で使用される：３×３（これは、左／右、上／下、中央の概念を捕捉するための最小サイズである）。構成の１つでは、１×１の畳み込みフィルタも利用し、これは入力チャネルの線形変換（続いて非線形性）と見なすことができる。畳み込みストライドは、１画素に固定されており、ｃｏｎｖ．層入力の空間パディングは、畳み込み後に空間分解能が保存されるようなものであり、すなわち、パディングは、３×３のｃｏｎｖ．層に対して１画素である。空間プーリングは、凸層のいくつかに続く５つの最大プーリング層（全ての凸層の後に最大プーリングが続くわけではない）によって行われる。最大プーリングは、ストライド２で２×２の画素窓にわたって実行される。３つの全結合（ＦＣ）層が畳み込み層のスタックに続き、最初の２つは、それぞれ４０９６チャネルを有し、３番目は、１０００クラスの分類を実行し、したがって１０００チャネル（各クラスに１つ）を含む。最終層は、ソフトマックス層である。全結合層の構成は、全てのネットワークにおいて同じである。全ての隠れ層は、調整（ＲｅＬＵ）非線形性を備えている。他の既知のＣＮＮアーキテクチャは、同じ目的のために再チューニングおよび使用されてもよく、本開示の範囲内であることが理解される。
【0111】
上記で導入された例示的な深層学習モデルの１つの例示的な実施形態では、１万個の候補が以下の６つのレベルによってラベリングされた：良好細胞、良好細胞であるが確実ではない、不良細胞または＞１個の細胞、不良細胞であるが確実ではない、何もない（または細胞なし）、デブリ。形態がモデルによって確実でないと考えられる場合、それらの画像の手動レビューが行われた。手動ラベリングに加えて、単一クラスタ検出（すなわち、クラスタの輪郭およびブロブ検出を見つける）および細胞形態について記載された画像処理分析結果もまた、初期ラベリングを行うために使用された。ＢＦおよびＦＬ画像の双方がグレースケールで読み出され、ｃｖ２．ｒｅｓｉｚｅ関数を使用して６４＊６４＊１にサイズ変更され、ｃｖ２．ｍｅｒｇｅ関数を使用して６４＊６４＊２のサイズを有する１つの画像にマージされ、深層学習モデルの入力画像として使用された。データの１０％が検証セットとしてランダムに選択され、残りの９０％が訓練セットとして選択された。
【0112】
転移学習および画像拡張は、モデルの性能を高めるために使用される。前述したように、転移学習とは、ベースまたは補助ＣＮＮを補助データセットおよびタスク上で訓練し、それによって特定のパラメータを開発し、その後、標的データセットおよびタスクを利用してそれらのパラメータをさらに改良することを指す。転移学習は、ＩｍａｇｅＮｅｔまたは他のカスタムデータセットを用いて同じモデルアーキテクチャ上で実行される。この手順は、著しく大きな補助データセットを使用することによって、過剰適合なしに標的データセット上で大きなＣＮＮを訓練することを可能にすることが実証されている。さらに、従来の研究では、補助データセットと対象データセットとが非常に異なる場合であっても、（ランダムな初期化と比較して）転移学習によってモデル汎化能力が大幅に向上することが報告されている。
【0113】
本明細書に開示されるＣＬＤ特性評価方法における形態レビューのために、複数の第２の標的訓練サンプルがアクセスされ、第２の標的訓練サンプルは、サンプリング領域に関連する複数の第２の標的訓練画像と、複数の細胞指示と、複数の第２の標的訓練画像にそれぞれ関連する複数の細胞形態指示とを含む。複数の第２の補助訓練サンプルは、第２の標的訓練サンプルに基づいて選択され、第２の補助訓練サンプルは、複数の第２の補助訓練画像と、複数の第２の補助訓練画像にそれぞれ関連付けられた複数の第２のコンテンツカテゴリとを含む。次いで、形態深層学習モデルは、複数の第２の補助訓練サンプルに基づいて第２の補助機械学習モデルを訓練し、訓練された第２の補助機械学習モデル、複数の細胞指示、および複数の細胞形態指示に基づいて形態深層学習モデルを訓練することによって訓練される。複数の第２の補助訓練画像と関連付けられた複数の第２のコンテンツカテゴリは、複数の第２の標的訓練画像と関連付けられた複数の細胞指示および複数の細胞形態指示と一致しない。
【0114】
図１９は、最終的に許容可能な形態を有する単一細胞を含むサンプリング領域を識別するために、単一クラスタ検出、単一クラスタ検証、および形態レビューを実行するコンピューティングシステム１９００による例示的な方法のフローチャートを示している。方法１９００は、サンプリング領域を描写するクエリ画像を受信すること１９０２を含む。単一クラスタ検出の場合、クエリ画像は、単一クラスタ検出モデルを使用して処理し１９０４、サンプリング領域内のクラスタを描写するクエリ画像の１つ以上の領域を識別する１９０６。単一クラスタ検証の場合、方法１９００は、クラスタ検証深層学習モデルを使用して１つ以上の領域を処理して、描写された各クラスタが細胞クラスタであるかどうかを決定すること１９０８と、識別された１つ以上の領域のうちの正確に１つが細胞クラスタであるクラスタを描写していると決定すること１９１０とを含む。形態レビューのために、形態深層学習モデルを使用して、細胞クラスタを描写する領域を処理し１９１２、細胞クラスタ内に１つのみの細胞があることを決定し１９１４、細胞の形態が許容可能であることを決定する１９１６。許容可能な形態を有する単一細胞を有するサンプリング領域を描写するクエリ画像は、良好画像と見なされる１９１８。
【0115】
図１９はまた、画像が欠陥を含むために不良画像として除外されることができる方法１９００の点を示している。単一クラスタ検出の場合、単一クラスタ検出モデルによってクラスタが識別されない場合、その画像は、不良画像と見なされる１９２０。単一クラスタ検証の場合、クラスタ検証深層学習モデルによって、識別された１つ以上の領域のうちのいずれの領域も、細胞クラスタであるクラスタを描写していないと決定された場合、または識別された１つ以上の領域のうちの２つ以上の領域が、細胞クラスタであるクラスタを描写していると決定された場合、その画像は、不良画像と見なされる１９２２。形態レビューのために、形態深層学習モデルによって、唯一の細胞クラスタ内に細胞がないかまたは複数の細胞があると決定された場合、画像は、不良画像と見なされる１９２４。細胞クラスタ内に１つのみの細胞が存在すると決定されたが、細胞の形態が許容可能ではないと決定された場合、画像は、不良画像と見なされる１９２６。
【0116】
【0117】
中間活性化の可視化。図２０Ａ～図２０Ｃは、元の入力画像がフィルタの各層を通過した後にどのようになるかを示している。いくつかのフィルタは、細胞のパターン、特に細胞膜のリング形状の谷に非常に敏感である。以下の実施例では、図は、ｋｅｒａｓパッケージのｍｏｄｅｌｓ．Ｍｏｄｅｌ関数を使用して構築された。各図の左側は、元の生の入力画像であり、右側は、畳み込みフィルタを通過した後の画像であり、画像は手動で選択された。右側の画像は、その画像のフィルタの出力として、形態深層学習アルゴリズムをトリガして、画像が良好であるかまたは不良であるかを決定する。一例では、細胞の明るい中心部分が関心点として提供されるため、形態深層学習アルゴリズムが画像を評価するとき、それは中心部分を識別し、それを真円度について評価する。これは、１つの層に対して実行されてもよく、他の層は画像の異なる態様を見てもよい。図２０Ａは、第１の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。図２０Ｂは、第２の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。図２０Ｃは、第４の畳み込み層の後のフィルタパターンの例示的な視覚化を示している。
【0118】
顕著性の視覚化。顕著性マップは、画像のどの部分が形態深層学習モデルの予測に重要であるかを示す。以下の例において顕著性マップを構築するために、ｖｉｓ．ｖｉｓｕａｌｉｚａｔｉｏｎパッケージからのｖｉｓｕａｌｉｚｅ＿ｓａｌｉｅｎｃｙ関数が「ガイド付き」オプションとともに使用した。図２１は、画像の最も重要な部分が細胞中心、特に細胞膜に近い領域、および細胞膜の外側のリング形状領域である、例示的な顕著性マップを示している。より具体的には、左側は、良好形態を有する細胞を示す元の生の入力画像（Ａ）である。右側は、顕著性関数による処理後の入力画像であり、入力画像（Ａ）の出力顕著性マップ（Ｂ）の例として表されている。この例では、顕著性マップ（Ｂ）は、膜の外側に明るい中心および明るいリングを有する細胞を示している。したがって、細胞は、良好形態を有するものとして形態深層学習モデルによって予測される可能性が高い。
【0119】
活性化最大化。活性化最大化は、フィルタ出力活性化を最大化する入力画像を構築または生成する。以下の例では、ｖｉｓ．ｖｉｓｕａｌｉｚａｔｉｏｎパッケージからのｖｉｓｕａｌ＿ａｃｔｉｖａｔｉｏｎ関数が使用されて、活性化最大化画像を構築した。図２２は、活性化関数が細胞の出力ノードの活性化を最大化した例示的な活性化最大化画像を示している。左側の活性化最大化画像は、良好形態を有する細胞のものである（Ａ）。特定のニューロンを最大化することにより、明るい中心およびその周りの暗いリング状領域などの良好細胞の何らかのパターンが、画像の中央右部分において検出されることができる。右側の活性化最大化画像は、不良形態を有する細胞のものである（Ｂ）。
細胞検出および細胞形態：ＣＮＮ予測性能
細胞検出および細胞形態：ＣＮＮ予測性能
【0120】
上述した形態深層学習モデルの例示的な実施形態では、約１２，０００個のボックスで囲まれたＦＬおよびＢＦ画像が手動で６つのレベルによってラベリングされ、ウェル画像からランダムに選択された別の約８，０００個のボックスで囲まれた画像が「なし」とラベリングされた。約２，０００の検証データ上の形態モデルの全体的な正しい分類率は８７％であり、細胞（細胞対非細胞）を検出するためのものは９９．８％であり、４つのレベルの細胞形態のものは８９％である。
【表2】
【0121】
細胞形態については正しい分類率が高いが、特定の課題に基づいて予測誤りが依然として発生する可能性がある。図２３Ａは、ウェルエッジにある細胞に基づく予測の誤りの例を示している。図２３Ｂは、暗い画像に基づく予測の誤りの例を示している。追加のデータを用いてより成熟した段階まで形態深層学習モデルを訓練し続けることにより、予測性能が向上することが期待される。
【0122】
前述のように、高解像度の０日目プレート画像の適切な分析は、細胞株の開発において重要である。深層学習モデルを利用する本明細書に記載のＣＬＤ画像特性評価方法の実施は、より適格なクローンを進めることを可能にするより効率的なワークフローをもたらす。それは、単一細胞画像分析の一貫性を高め、クローン選択および手動レビュープロセスの時間および労力を減らし、このワークフローから誘導された細胞株がクローン由来であるという極めて高い保証を与える。
システムおよび方法
システムおよび方法
【0123】
図２４は、例示的なコンピュータシステム２４００を示している。特定の実施形態では、１つ以上のコンピュータシステム２４００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実行する。特定の実施形態では、１つ以上のコンピュータシステム２４００は、本明細書に記載または図示された機能を提供する。特定の実施形態では、１つ以上のコンピュータシステム２４００上で実行されるソフトウェアは、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実行するか、または本明細書に記載または図示された機能を提供する。特定の実施形態は、１つ以上のコンピュータシステム２４００の１つ以上の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合には、コンピューティングデバイスを包含することができ、逆もまた同様である。さらに、コンピュータシステムへの言及は、適切な場合には、１つ以上のコンピュータシステムを包含することができる。
【0124】
本開示は、任意の適切な数のコンピュータシステム２４００を想定している。本開示は、任意の適切な物理的形態をとるコンピュータシステム２４００を想定している。限定ではなく、例として、コンピュータシステム２４００は、組み込みコンピュータシステム、システム・オン・チップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータ・オン・モジュール（ＣＯＭ）またはシステム・オン・モジュール（ＳＯＭ））、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、またはこれらのうちの複数の組み合わせとすることができる。適切な場合には、コンピュータシステム２４００は、１つ以上のコンピュータシステム２４００を含むことができ、単一であるかまたは分布し、複数の場所にまたがり、複数の機械にまたがり、複数のデータセンタにまたがり、１つ以上のネットワーク内の１つ以上のクラウドコンポーネントを含むことができるクラウド内に存在する。適切な場合には、１つ以上のコンピュータシステム２４００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを実質的な空間的または時間的制限なしに実行することができる。限定ではなく、例として、１つ以上のコンピュータシステム２４００は、本明細書に記載または図示された１つ以上の方法の１つ以上のステップをリアルタイムまたはバッチモードで実行することができる。１つ以上のコンピュータシステム２４００は、適切な場合には、本明細書に記載または図示された１つ以上の方法の１つ以上のステップを異なる時間または異なる場所で実行することができる。
【0125】
特定の実施形態では、コンピュータシステム２４００は、プロセッサ２４０２、メモリ２４０４、記憶装置２４０６、入力／出力（Ｉ／Ｏ）インターフェース２４０８、通信インターフェース２４１０、およびバス２４１２を含む。本開示は、特定の構成内の特定の数の特定の構成要素を有する特定のコンピュータシステムを記載および図示しているが、本開示は、任意の適切な構成内の任意の適切な数の任意の適切な構成要素を有する任意の適切なコンピュータシステムを想定している。
【0126】
特定の実施形態では、プロセッサ２４０２は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。限定ではなく、例として、命令を実行するために、プロセッサ２４０２は、内部レジスタ、内部キャッシュ、メモリ２４０４、または記憶装置２４０６から命令を取り出す（またはフェッチする）ことができ、復号して実行することができ、次いで、内部レジスタ、内部キャッシュ、メモリ２４０４、または記憶装置２４０６に１つ以上の結果を書き込むことができる。特定の実施形態では、プロセッサ２４０２は、データ、命令、またはアドレスのための１つ以上の内部キャッシュを含むことができる。本開示は、適切な場合には、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ２４０２を想定している。限定ではなく、例として、プロセッサ２４０２は、１つ以上の命令キャッシュ、１つ以上のデータキャッシュ、および１つ以上の変換ルックアサイドバッファ（ＴＬＢ）を含むことができる。命令キャッシュ内の命令は、メモリ２４０４または記憶装置２４０６内の命令のコピーとすることができ、命令キャッシュは、プロセッサ２４０２によるそれらの命令の取り出しを高速化することができる。データキャッシュ内のデータは、プロセッサ２４０２において実行して、プロセッサ２４０２において実行される後続の命令によるアクセスのため、またはメモリ２４０４もしくは記憶装置２４０６への書き込みのためにプロセッサ２４０２において実行される先行する命令の結果、または他の適切なデータに対して動作する命令のためのメモリ２４０４または記憶装置２４０６内のデータのコピーとすることができる。データキャッシュは、プロセッサ２４０２による読み出し動作または書き込み動作を高速化することができる。ＴＬＢは、プロセッサ２４０２の仮想アドレス変換を高速化することができる。特定の実施形態では、プロセッサ２４０２は、データ、命令、またはアドレスのための１つ以上の内部レジスタを含むことができる。本開示は、適切な場合には、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ２４０２を想定している。適切な場合には、プロセッサ２４０２は、１つ以上の算術論理演算ユニット（ＡＬＵ）を含むことができるか、マルチコアプロセッサとすることができるか、または１つ以上のプロセッサ２４０２を含むことができる。本開示は、特定のプロセッサを記載および図示しているが、本開示は、任意の適切なプロセッサを想定している。
【0127】
特定の実施形態では、メモリ２４０４は、プロセッサ２４０２が実行するための命令またはプロセッサ２４０２が動作するためのデータを記憶するためのメインメモリを含む。限定ではなく、例として、コンピュータシステム２４００は、別のソース（例えば、別のコンピュータシステム２４００など）から記憶装置２４０６またはメモリ２４０４に命令をロードすることができる。次いで、プロセッサ２４０２は、メモリ２４０４から内部レジスタまたは内部キャッシュに命令をロードすることができる。命令を実行するために、プロセッサ２４０２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらを復号することができる。命令の実行中または実行後に、プロセッサ２４０２は、（中間結果または最終結果とすることができる）１つ以上の結果を内部レジスタまたは内部キャッシュに書き込むことができる。次いで、プロセッサ２４０２は、それらの結果のうちの１つ以上をメモリ２４０４に書き込むことができる。特定の実施形態では、プロセッサ２４０２は、（記憶装置２４０６または他の場所とは対照的に）１つ以上の内部レジスタもしくは内部キャッシュまたはメモリ２４０４内の命令のみを実行し、（記憶装置２４０６または他の場所とは対照的に）１つ以上の内部レジスタもしくは内部キャッシュまたはメモリ２４０４内のデータのみに対して動作する。（それぞれがアドレスバスおよびデータバスを含むことができる）１つ以上のメモリバスは、プロセッサ２４０２をメモリ２４０４に結合することができる。バス２４１２は、後述するように、１つ以上のメモリバスを含むことができる。特定の実施形態では、１つ以上のメモリ管理ユニット（ＭＭＵ）が、プロセッサ２４０２とメモリ２４０４との間に存在し、プロセッサ２４０２によって要求されるメモリ２４０４へのアクセスを容易にする。特定の実施形態では、メモリ２４０４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、必要に応じて揮発性メモリであってもよい。適切な場合には、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であってもよい。さらに、適切な場合には、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであってもよい。本開示は、任意の適切なＲＡＭを想定している。メモリ２４０４は、適切な場合には、１つ以上のメモリ２４０４を含むことができる。本開示は、特定のメモリを記載および図示しているが、本開示は、任意の適切なメモリを想定している。
【0128】
特定の実施形態では、記憶装置２４０６は、データまたは命令のための大容量記憶装置を含む。限定ではなく、例として、記憶装置２４０６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、もしくはユニバーサルシリアルバス（ＵＳＢ）ドライブ、またはこれらのうちの複数の組み合わせを含むことができる。記憶装置２４０６は、適切な場合には、取り外し可能または取り外し不可能な（または固定された）媒体を含むことができる。記憶装置２４０６は、適切な場合には、コンピュータシステム２４００の内部または外部にあってもよい。特定の実施形態では、記憶装置２４０６は、不揮発性ソリッドステートメモリである。特定の実施形態においては、記憶装置２４０６は、読み出し専用メモリ（ＲＯＭ）を含む。適切な場合には、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的変更可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、またはこれらのうちの２つ以上の組み合わせであってもよい。本開示は、任意の適切な物理的形態をとる大容量記憶装置２４０６を想定している。記憶装置２４０６は、適切な場合には、プロセッサ２４０２と記憶装置２４０６との間の通信を容易にする１つ以上の記憶制御ユニットを含むことができる。適切な場合には、記憶装置２４０６は、１つ以上の記憶装置２４０６を含むことができる。本開示は、特定の記憶装置を記載および図示しているが、本開示は、任意の適切な記憶装置を想定している。
【0129】
特定の実施形態では、Ｉ／Ｏインターフェース２４０８は、コンピュータシステム２４００と１つ以上のＩ／Ｏデバイスとの間の通信のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。コンピュータシステム２４００は、適切な場合には、これらのＩ／Ｏデバイスのうちの１つ以上を含むことができる。これらのＩ／Ｏデバイスのうちの１つ以上は、人とコンピュータシステム２４００との間の通信を可能にすることができる。限定ではなく、例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチルカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なＩ／Ｏデバイス、またはこれらのうちの２つ以上の組み合わせを含むことができる。Ｉ／Ｏデバイスは、１つ以上のセンサを含むことができる。本開示は、任意の適切なＩ／Ｏデバイスおよびそれらのための任意の適切なＩ／Ｏインターフェース２４０８を想定している。適切な場合には、Ｉ／Ｏインターフェース２４０８は、プロセッサ２４０２がこれらのＩ／Ｏデバイスのうちの１つ以上を駆動することを可能にする１つ以上のデバイスドライバを含むことができる。Ｉ／Ｏインターフェース２４０８は、適切な場合には、１つ以上のＩ／Ｏインターフェース２４０８を含むことができる。本開示は、特定のＩ／Ｏインターフェースを記載および図示しているが、本開示は、任意の適切なＩ／Ｏインターフェースを想定している。
【0130】
特定の実施形態では、通信インターフェース２４１０は、コンピュータシステム２４００と、１つ以上の他のコンピュータシステム２４００または１つ以上のネットワークとの間の通信（例えば、パケットベースの通信など）のための１つ以上のインターフェースを提供するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、通信インターフェース２４１０は、イーサネット（登録商標）もしくは他の有線ベースのネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）もしくはネットワークアダプタ、またはＷＩ－ＦＩネットワークなどの無線ネットワークと通信するための無線ＮＩＣ（ＷＮＩＣ）もしくは無線アダプタを含むことができる。本開示は、任意の適切なネットワークおよびそのための任意の適切な通信インターフェース２４１０を想定している。限定ではなく、例として、コンピュータシステム２４００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つ以上の部分、またはこれらのうちの複数の組み合わせと通信することができる。これらのネットワークのうちの１つ以上の１つ以上の部分は、有線または無線とすることができる。例として、コンピュータシステム２４００は、無線ＰＡＮ（ＷＰＡＮ）（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標） ＷＰＡＮなど）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、携帯電話ネットワーク（例えば、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ（登録商標））ネットワーク）、またはその他の適切な無線ネットワーク、またはこれらのうちの複数の組み合わせと通信することができる。コンピュータシステム２４００は、適切な場合には、これらのネットワークのいずれかのための任意の適切な通信インターフェース２４１０を含むことができる。通信インターフェース２４１０は、適切な場合には、１つ以上の通信インターフェース２４１０を含むことができる。本開示は、特定の通信インターフェースを記載および図示しているが、本開示は、任意の適切な通信インターフェースを想定している。
【0131】
特定の実施形態では、バス２４１２は、コンピュータシステム２４００の構成要素を互いに結合するハードウェア、ソフトウェア、またはその双方を含む。限定ではなく、例として、バス２４１２は、アクセラレーテッドグラフィクスポート（ＡＧＰ）もしくは他のグラフィックスバス、エンハンストインダストリスタンダードアーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ハイパートランスポート（ＨＴ）インターコネクト、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、インフィニバンドインターコネクト、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス、ＰＣＩエクスプレス（ＰＣＩｅ）バス、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクススタンダーズアソシエーションローカル（ＶＬＢ）バス、または別の適切なバス、またはこれらのうちの２つ以上の組み合わせを含むことができる。バス２４１２は、適切な場合には、１つ以上のバス２４１２を含むことができる。本開示は、特定のバスを記載および図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。
【0132】
本明細書では、コンピュータ可読非一時的記憶媒体は、１つ以上の半導体ベースもしくは他の集積回路（ＩＣ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）など）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスク、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードもしくはドライブ、任意の他の適切なコンピュータ可読非一時的記憶媒体、または適切な場合にはこれらのうちの２つ以上の任意の適切な組み合わせを含むことができる。コンピュータ可読非一時的記憶媒体は、必要に応じて、揮発性、不揮発性、または揮発性と不揮発性との組み合わせであってもよい。
【0133】
本明細書では、「または」は包括的であり、排他的ではないが、他に明示的に示されているか、または文脈によって他に示されている場合は除く。したがって、本明細書では、「ＡまたはＢ」は、他に明示的に示されない限り、または文脈によって他に示されない限り、「Ａ、Ｂ、またはその双方」を意味する。さらに、「および」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、結合およびいくつかの双方である。したがって、本明細書では、「ＡおよびＢ」は、他に明示的に示されない限り、または文脈によって他に示されない限り、「ＡおよびＢ、一緒にまたは別々に」を意味する。
【0134】
本開示の範囲は、当業者が理解するであろう、本明細書に記載または図示された例示的な実施形態に対する全ての変形、置換、バリエーション、代替、および変更を包含する。本開示の範囲は、本明細書に記載または図示された例示的な実施形態に限定されない。さらに、本開示は、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして本明細書のそれぞれの実施形態を記載および図示しているが、これらの実施形態のいずれも、当業者が理解するであろう本明細書のどこかに記載または図示されている構成要素、要素、特徴、機能、動作、またはステップのいずれかの任意の組み合わせまたは順列を含むことができる。さらにまた、特定の機能を実行するように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する装置またはシステムまたはシステムの構成要素への添付の特許請求の範囲における参照は、その装置、システムまたは構成要素がそのように適合され、配置され、可能にされ、構成され、有効にされ、動作可能にされ、または動作する限り、それまたはその特定の機能が起動され、オンにされ、またはロック解除されているか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の利点を提供するものとして特定の実施形態を記載または図示しているが、特定の実施形態は、これらの利点の全てを提供しなくてもよく、いくつか、または全てを提供してもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14A】
【図14B】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20A】
【図20B】
【図20C】
【図21(A)】
【図21(B)】
【図22】
【図23A】
【図23B】
【図24】
【国際調査報告】