特表2023-541993顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-04
(54)【発明の名称】顕微鏡検査システムの性能を最適化するための撮像構成を開発する方法およびシステム
(51)【国際特許分類】
G02B 21/00 20060101AFI20230927BHJP
G02B 21/36 20060101ALI20230927BHJP
G06T 7/00 20170101ALI20230927BHJP
G06V 10/764 20220101ALI20230927BHJP
G06V 20/69 20220101ALI20230927BHJP
【ＦＩ】
G02B21/00
G02B21/36
G06T7/00 630
G06V10/764
G06V20/69
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023517898
(86)(22)【出願日】2021-09-14
(85)【翻訳文提出日】2023-04-21
(86)【国際出願番号】 US2021050231
(87)【国際公開番号】W WO2022060712
(87)【国際公開日】2022-03-24
(31)【優先権主張番号】63/081,019
(32)【優先日】2020-09-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】511227336
【氏名又は名称】モレキュラー デバイシーズ， エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】コーエン， アブルム
(72)【発明者】
【氏名】ルーク， スティーブン
(72)【発明者】
【氏名】ホン， ディフイ
(72)【発明者】
【氏名】スタウファー， ローレン
【テーマコード（参考）】
2H052
5L096
【Ｆターム（参考）】
2H052AD06
2H052AD16
2H052AF14
2H052AF25
5L096BA06
5L096BA13
5L096CA02
5L096CA17
5L096CA25
5L096DA02
5L096FA02
5L096FA59
5L096FA65
5L096GA55
5L096GA59
5L096JA11
5L096JA22
5L096KA04
5L096KA15
(57)【要約】
顕微鏡検査システムを動作させる方法およびシステムが、開示される。第１の撮像構成を使用して入手されたサンプルの第１の画像が、受信される。第２の画像が、第１の画像から開発され、第２の画像は、第２の撮像構成に関連付けられている。一続きの画像処理ステップが、第１の画像に適用され、第１の画像において表されている第１の物体の第１の分類を開発し、第２の画像に適用され、第２の画像において表されている第２の物体の第２の分類を開発する。第１の分類と第２の分類との間の差異を表す第２の撮像構成に関連付けられたスコアが、開発される。顕微鏡検査システムを動作させることの画像入手時間または構成要素要件は、第２の撮像構成を使用して動作させられるとき、第１の撮像構成を使用して動作させられるときより少ない。
【特許請求の範囲】
【請求項1】
顕微鏡検査システムを動作させる方法であって、前記方法は、第１の撮像構成を使用して入手されたサンプルの第１の画像を受信するステップと、
前記第１の画像から第２の画像を開発するステップであって、前記第２の画像は、第２の撮像構成に関連付けられている、ステップと、
前記第１の画像に一続きの画像処理ステップを適用し、前記第１の画像において表されている第１の物体の第１の分類を開発するステップと、
前記第２の画像に前記一続きの画像処理ステップを適用し、前記第２の画像において表されている第２の物体の第２の分類を開発するステップと、
前記第２の撮像構成に関連付けられたスコアを開発するステップと
を含み、
前記スコアは、前記第１の分類と前記第２の分類との間の差異を表し、
画像入手時間または前記顕微鏡検査システムを動作させる構成要素要件は、前記第２の撮像構成を使用して動作させられるとき、前記第１の撮像構成を使用して動作させられるときより少ない、方法。
【請求項2】
前記第１の物体の前記第１の分類は、前記第１の画像において表されている１つ以上の物体の識別に関連付けられており、前記１つ以上の物体の識別は、前記第１の画像において表されている前記１つ以上の物体に関連付けられた特定の特性またはメトリックを有する、請求項１に記載の方法。
【請求項3】
前記スコアは、第１のスコアを備え、前記方法は、前記第１の画像から第３の画像を開発するステップであって、前記第３の画像は、第３の撮像構成に関連付けられている、ステップと、
前記第３の画像に前記一続きの画像処理ステップを適用し、第３の分類を開発するステップと、
前記第１の分類と前記第３の分類との間の差異を表す第２のスコアを開発するステップと、
推奨される生産撮像構成を自動的に選択するステップと
をさらに含み、
前記推奨される生産撮像構成は、前記第１のスコアが前記第２のスコアより良好である場合、前記第２の撮像構成であり、前記推奨される生産撮像構成は、前記第２のスコアが前記第１のスコアより良好である場合、前記第３の撮像構成である、請求項１に記載の方法。
【請求項4】
前記一続きの画像処理ステップのうちのある画像処理ステップに従って、訓練パラメータの組を選択するステップと、訓練されていない機械学習システムを前記訓練パラメータの選択された組で構成し、訓練された機械学習システムを開発するステップと、
前記訓練された機械学習システムを動作させ、前記第１の分類を開発するステップと
をさらに含む、請求項１に記載の方法。
【請求項5】
前記第１の撮像構成から前記第２の撮像構成を開発するステップをさらに含む、請求項１に記載の方法。
【請求項6】
前記第１の撮像構成は、撮像パラメータに関連付けられた第１の値を規定し、前記第２の撮像構成は、前記撮像パラメータに関連付けられた第２の値を規定し、前記第１の値と第２の値とは、異なる、請求項５に記載の方法。
【請求項7】
前記第１の撮像構成と前記第２の撮像構成との間の前記差異に従って、訓練されていない機械学習システムの訓練パラメータを選択するステップと、前記選択された訓練パラメータを用いて前記訓練されていない機械学習システムを訓練し、訓練された機械学習システムを開発するステップと、
入力として前記第１の画像を用いて前記訓練された機械学習システムを動作させ、前記第２の画像を発生させるステップと
をさらに含む、請求項６に記載の方法。
【請求項8】
前記第１の画像を受信するステップは、第１の顕微鏡検査システムを使用して前記第１の画像を入手するステップを含み、前記方法は、前記第２の撮像構成に従って第２の顕微鏡検査システムを使用して第３の画像を入手するさらなるステップを含む、請求項１に記載の方法。
【請求項9】
前記第２の画像は、前記顕微鏡検査システムが前記第２の撮像構成を用いて動作させられた場合に入手されるであろう前記サンプルの画像をシミュレートする、請求項１に記載の方法。
【請求項10】
前記第２の撮像構成は、複数の候補生産撮像構成のうちの１つであり、スコアが、前記複数の候補生産撮像構成の各々のために開発され、前記方法は、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、推奨される生産撮像構成を選択するステップをさらに含む、請求項１に記載の方法。
【請求項11】
前記第２の撮像構成は、複数の候補生産撮像構成のうちの１つであり、分類およびスコアが、前記複数の候補生産撮像構成の各々のために開発され、前記方法は、前記複数の候補生産撮像構成から、推奨される生産撮像構成を選択するステップと、
前記複数の候補生産撮像構成の各候補生産撮像構成に関する情報と、前記推奨される生産撮像構成として選択された前記候補生産撮像構成を識別するインジケータとを表示するようにコンピュータに命令するステップと
をさらに含み、
各候補生産撮像構成に関して表示される前記情報は、前記候補生産撮像構成に関連付けられた前記スコア、時間節約の推定値、画像、および物体の分類のうちの１つ以上を含む、請求項１に記載の方法。
【請求項12】
前記コンピュータから、前記撮像システムを構成すべき前記候補生産撮像構成のうちの１つの選択を受信するステップをさらに含む、請求項１１に記載の方法。
【請求項13】
顕微鏡検査システムを動作させるためのシステムであって、前記システムは、第１の撮像構成を使用して入手されたサンプルの第１の画像を受信する１つ以上のプロセッサ上で動作する撮像構成オプティマイザと、
前記第１の画像から第２の画像を開発する前記１つ以上のプロセッサのうちの１つ上で動作する低品質画像生成器であって、前記第２の画像は、第２の撮像構成に関連付けられている、低品質画像生成器と、
前記第１の画像および前記第２の画像に一続きの画像処理ステップを適用し、第１の分類を開発する前記１つ以上のプロセッサ上で動作する画像分析器であって、前記第１の分類は、前記第１の画像において表されている第１の物体に関連付けられている、画像分析器と、
前記１つ以上のプロセッサ上で動作する撮像構成スコアラと
を含み、
前記撮像構成スコアラは、前記第２の画像に前記一続きの画像処理ステップを適用し、第２の物体において表されている前記第２の物体に関連付けられた第２の分類を開発することと、前記第２の撮像構成に関連付けられたスコアを開発することとを行い、前記スコアは、前記第１の分類と前記第２の分類との間の差異を表し、
画像入手時間または前記顕微鏡検査システムを動作させる構成要素要件は、前記第２の撮像構成を使用して動作させられるとき、前記第１の撮像構成を使用して動作させられるときより少ない、システム。
【請求項14】
前記第１の物体の前記第１の分類は、前記第１の画像において表されている前記１つ以上の物体の識別、１つ以上の物体の特性の識別、または前記第１の画像において表されている前記１つ以上の物体に関連付けられたメトリックに関連付けられている、請求項１３に記載のシステム。
【請求項15】
前記スコアは、第１のスコアを備え、前記低品質画像生成器は、前記第１の画像から第３の画像を開発し、前記第３の画像は、第３の撮像構成に関連付けられており、前記撮像構成スコアラは、前記第３の画像に前記一続きの画像処理ステップを適用し、第３の分類を開発し、前記第１の分類と前記第３の分類との間の差異を表す第２のスコアを開発し、前記システムは、推奨される生産撮像構成を自動的に選択する前記１つ以上のプロセッサ上で動作する推奨生成器をさらに含み、前記推奨される生産撮像構成は、前記第１のスコアが前記第２のスコアより良好である場合、前記第２の撮像構成であり、前記推奨される生産撮像構成は、前記第２のスコアが前記第１のスコアより良好である場合、前記第３の撮像構成である、請求項１３に記載のシステム。
【請求項16】
訓練されていない機械学習システムをさらに含み、前記画像分析器は、前記一続きの画像処理ステップのうちのあるステップに関連付けられた訓練パラメータを選択し、前記訓練パラメータを使用して、前記訓練されていない機械学習システムを構成し、訓練された機械学習システムを開発し、前記訓練された機械学習システムを動作させ、前記第１の分類を開発する、請求項１３に記載のシステム。
【請求項17】
前記第１の撮像構成に基づいて、前記第２の撮像構成を自動的に開発する前記１つ以上のプロセッサ上で動作する候補構成生成器をさらに含む、請求項１３に記載のシステム。
【請求項18】
前記第１の撮像構成は、撮像パラメータに関連付けられた第１の値を規定し、前記候補構成生成器によって開発される前記第２の撮像構成は、前記撮像パラメータに関連付けられた第２の値を自動的に規定し、前記第１の値と第２の値とは、異なる、請求項１７に記載のシステム。
【請求項19】
訓練されていない機械学習システムをさらに含み、前記低品質画像生成器は、前記第１の撮像構成と前記第２の撮像構成との間の差異に従って訓練パラメータの組を選択し、前記選択された訓練パラメータを用いて前記訓練されていない機械学習システムを訓練し、訓練された機械学習システムを開発し、入力として前記第１の画像を用いて前記訓練された機械学習システムを動作させ、前記第２の画像を発生させる、請求項１８に記載のシステム。
【請求項20】
前記顕微鏡検査システムは、第１の顕微鏡検査システムを備え、前記第１の顕微鏡検査システムは、前記第１の撮像構成に従って動作させられ、前記第１の画像を入手し、第２の顕微鏡検査システムが、前記第２の撮像構成に従って動作させられ、第３の画像を入手する、請求項１３に記載のシステム。
【請求項21】
前記第２の画像は、前記顕微鏡検査システムが前記第２の撮像構成を用いて動作させられた場合に入手されるであろう前記サンプルの画像をシミュレートする、請求項１３に記載のシステム。
【請求項22】
前記第２の撮像構成は、複数の候補生産撮像構成のうちの１つであり、前記システムは、候補構成生成器と、推奨生成器とをさらに含み、前記候補構成生成器は、前記複数の候補撮像構成を開発し、前記撮像構成スコアラは、前記候補生産撮像構成の各々のためのスコアを開発し、推奨生成器は、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、推奨される生産撮像構成を選択する、請求項１３に記載のシステム。
【請求項23】
前記第２の撮像構成は、複数の候補生産撮像構成のうちの１つであり、分類およびスコアが、前記複数の候補生産撮像構成の各々に関して開発され、前記システムは、前記複数の候補生産撮像構成から、推奨される生産撮像構成を選択する推奨生成器と、
前記複数の候補生産撮像構成の各候補生産撮像構成に関する情報と、前記推奨される生産撮像構成として選択された前記候補生産撮像構成を識別するインジケータとを表示するようにコンピュータに命令するユーザインターフェース生成器と
をさらに含み、
各候補生産撮像構成に関して表示される前記情報は、前記候補生産撮像構成に関連付けられた前記スコア、時間節約の推定値、画像、および物体の分類のうちの１つ以上を含む、請求項１３に記載のシステム。
【請求項24】
前記ユーザインターフェース生成器は、前記コンピュータから、前記撮像システムを構成すべき前記候補生産撮像構成のうちの１つの選択を受信する、請求項２３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｏｆ Ｄｅｖｅｌｏｐｉｎｇ ａｎ Ｉｍａｇｉｎｇ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ｔｏ Ｏｐｔｉｍｉｚｅ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａ Ｍｉｃｒｏｓｃｏｐｙ Ｓｙｓｔｅｍ」と題され、２０２０年９月２１日に出願された米国仮特許出願第６３／０８１，０１９号（Ｃｏｈｅｎ ｅｔ ａｌ．）の利益を主張する。この出願の全内容は、参照することによって本明細書に組み込まれる。
本願は、「Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｏｆ Ｄｅｖｅｌｏｐｉｎｇ ａｎ Ｉｍａｇｉｎｇ Ｃｏｎｆｉｇｕｒａｔｉｏｎ ｔｏ Ｏｐｔｉｍｉｚｅ Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ａ Ｍｉｃｒｏｓｃｏｐｙ Ｓｙｓｔｅｍ」と題され、２０２０年９月２１日に出願された米国仮特許出願第６３／０８１，０１９号（Ｃｏｈｅｎ ｅｔ ａｌ．）の利益を主張する。この出願の全内容は、参照することによって本明細書に組み込まれる。
【0002】
（開示の分野）
本主題は、顕微鏡検査システムに関し、より具体的に、顕微鏡検査システムの動作を最適化するための撮像構成を開発する方法およびシステムに関する。
本主題は、顕微鏡検査システムに関し、より具体的に、顕微鏡検査システムの動作を最適化するための撮像構成を開発する方法およびシステムに関する。
【背景技術】
【0003】
顕微鏡検査システム、例えば、ハイコンテント撮像システムが、生物学的サンプルの顕微鏡検査画像が入手され、分析される実験を行うために、使用され得る。そのような画像は、画像の中で表される着目物体（細胞、細胞小器官等）に関連付けられた画像のピクセルを識別すること、画像において表されているそのような着目物体の異なるタイプを分類または特性評価すること、着目物体またはその一部関するメトリックを取得すること等を行うために、画像分析システムを使用して処理され得る。各生物学的サンプルに関して、そのようなメトリックは、例えば、サンプル内の着目物体の数、生物学的サンプル内に表される着目物体の各タイプの数、着目物体のサイズ（面積、周長、体積）、着目物体のサイズの統計（平均、最頻値、中央値、標準偏差等）、着目物体の特性（例えば、物体が生きているか、死んでいるか、物体が特定のタンパク質等を含むかどうか等）等を含み得る。
【0004】
実験を行うために、研究者は、試験的アッセイプロトコルを開発し得、試験的アッセイプロトコルは、生物学的サンプルの１つ以上の画像を入手するために、顕微鏡検査システムを動作させるための撮像パラメータ（例えば、対物レンズ、倍率、露出時間、焦点精度等）に関連付けられた値を規定する試験的撮像構成と、そのような画像を分析するための画像分析ステップとを備えている。撮像パラメータのそのような値は、倍率レベル（例えば、高倍率レベル）、入手するための生物学的サンプルの画像の数、生物学的サンプルの画像を入手するための焦点面（すなわち、異なるｚ－平面）の数、露出時間（例えば、顕微鏡検査システムの完全ダイナミックレンジを使用するための高露出時間）、共焦点撮像を使用すること、特殊光学系（例えば、水または油浸光学系）を使用すること等を規定し得る。さらに、生物学的サンプルの試験的集団がマイクロプレートのウェル内に配置される場合、撮像パラメータは、高分解能および／または異なる焦点位置において、各ウェルの異なる部分の１つ以上の画像を入手することを規定し得る。
【0005】
研究者が試験的アッセイプロトコルを開発した後、試験的アッセイを使用して行われる実験の研究結果を確認するための生物学的サンプルの生産集団の生産画像を入手および分析するために適切な生産アッセイプロトコルが、開発される。当業者によって理解されるであろうように、生物学的サンプルの生産集団は、生物学的サンプルの試験的集団より著しく多いサンプルを備えている。ある場合、生物学的サンプルの試験的集団の高品質画像を入手するために使用される試験的撮像構成は、より大きい生産集団の画像を入手するために実践的ではないこともある。例えば、長露出時間、場所あたり複数の画像等を使用して、高分解能における生産集団の各生物学的サンプルの複数の画像を入手することは、過度の時間を要求し得る。さらに、より大きい集団の画像の入手は、複数の顕微鏡検査システムの間で分散され得、試験的撮像構成によって規定される共焦点撮像機、特殊光学系等の高価な高品質構成要素を全てのそのような顕微鏡検査システムに装備することは、実行可能ではないこともある。
【発明の概要】
【課題を解決するための手段】
【0006】
一側面によると、顕微鏡検査システムを動作させる方法は、第１の撮像構成を使用して入手されたサンプルの第１の画像を受信するステップと、第１の画像から第２の画像を開発させるステップであって、第２の画像は、第２の撮像構成に関連付けられている、ステップとを含む。方法は、第１の画像に一続きの画像処理ステップを適用し、第１の画像において表されている第１の物体の第１の分類を開発するステップと、第２の画像に一続きの画像処理ステップを適用し、第２の画像において表されている第２の物体の第２の分類を開発するステップと、第１の分類と第２の分類との間の差異を表す第２の撮像構成に関連付けられたスコアを開発するステップとをさらに含む。画像入手時間または顕微鏡検査システムを動作させる構成要素要件は、第２の撮像構成を使用して動作させられるとき、第１の撮像構成を使用して動作させられるときより少ない。
【0007】
別の側面によると、顕微鏡検査システムを動作させるためのシステムは、撮像構成オプティマイザと、低品質画像生成器と、画像分析器と、撮像構成スコアラとを含み、全ては、１つ以上のプロセッサ上で動作する。撮像構成オプティマイザは、第１の撮像構成を使用して入手されたサンプルの第１の画像を受信する。低品質画像生成器は、第１の画像から第２の画像を開発させ、第２の画像は、第２の撮像構成に関連付けられている。画像分析器は、第１の画像および第２の画像に一続きの画像処理ステップを適用し、第１の分類を開発し、第１の分類は、第１の画像において表されている第１の物体に関連付けられている。撮像構成スコアラは、第２の画像に一続きの画像処理ステップを適用し、第２の画像において表されている第２の物体に関連付けられた第２の分類を開発し、第１の分類と第２の分類との間の差異を表す第２の撮像構成に関連付けられたスコアを開発する。画像入手時間または顕微鏡検査システムを動作させる構成要素要件は、第２の撮像構成を使用して動作させられるとき、第１の撮像構成を使用して動作させられるときより少ない。
【0008】
他の側面および利益は、同様の数字が明細書全体を通して同様の構造を指定する以下の詳細な説明および添付の図面を考慮して明白であろう。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【発明を実施するための形態】
【0015】
本明細書に開示される実施形態によると、画像分析システムが、試験的アッセイプロトコルの開発を促進する。試験的アッセイプロトコルは、試験的撮像構成と、一続きの画像分析ステップとを備え、一続きの画像分析ステップは、試験的撮像構成に従って動作させられる顕微鏡検査システムからの画像を分析するために使用される。
【0016】
加えて、画像分析システムは、試験的撮像構成を使用して入手された生物学的サンプルの高品質画像を受信する。画像分析システムの撮像構成オプティマイザが、試験的撮像構成および高品質画像から、複数の追加の撮像構成（すなわち、候補生産撮像構成）を開発する。各候補生産撮像構成は、候補生産撮像構成を使用して顕微鏡検査システムを動作させることが、試験的撮像構成を使用して動作させられる場合より、画像を入手するための短い時間および少ない特殊機器のうちの一方または両方を要求するようなものである。加えて、各候補生産撮像構成に関して、撮像構成オプティマイザは、高品質画像から、低品質画像を開発し、低品質画像は、顕微鏡検査システムが候補生産撮像構成を使用して動作させられた場合に入手されるであろう画像をシミュレートする。さらに、各候補生産撮像構成は、スコアを開発するために撮像構成オプティマイザによって評価され、スコアは、物体または物体の特性が、試験的撮像構成を使用して入手されたものと比較して、候補生産撮像構成を使用して入手された画像においてどれほど良く識別され得るかを表す。特に、撮像構成オプティマイザは、候補生産撮像構成に関連付けられた低品質画像を分析し、低品質画像における物体の第１の特性を識別し、低品質画像において識別された物体の第１の特性を高品質画像において識別された物体の第２の特性と比較する。候補生産撮像構成に関連付けられたスコアは、第１の特性が第２の特性にどれ程緊密に合致するかを示す。
【0017】
例えば、スコアは、候補生産撮像構成に関連付けられた低品質画像においても正しく識別された、高品質画像において識別された着目特徴のパーセントを示し得る。そのような着目特徴は、細胞を含み得、細胞は、特定の特性、細胞小器官、およびタンパク質等を有する。いくつかの実施形態において、スコアは、高品質画像において分類された細胞（例えば、生細胞対死細胞、処理が適用された細胞対対照細胞、第１のタイプの細胞対第２のタイプの細胞等）が、低品質画像においてどれ程正確に分類されたかを示し得る。いくつかの実施形態において、撮像構成オプティマイザは、候補生産撮像構成に関連付けられたスコアと、候補生産撮像構成を使用して節約された入手時間の推定値とを分析し、生産アッセイプロトコルを使用するための推奨される生産撮像構成を選択する。
【0018】
候補生産撮像構成を開発するために、画像分析器は、高品質画像に一続きの画像分析ステップを適用し、高品質画像において表されている物体の分類を開発する。そのような分類は、物体の特定のタイプの識別（例えば、細胞、細胞小器官、タンパク質等）および／または、そのような物体の特性（例えば、サイズ、数量、タイプ、死滅率等）を含み得る。
【0019】
その後、撮像構成オプティマイザは、各候補生産撮像構成に従って、高品質画像から、低品質画像を開発する。低品質画像は、顕微鏡検査システムが、そのような低品質画像に関連付けられた候補生産撮像構成を使用して構成された場合に入手されるであろう画像をシミュレートする。
【0020】
撮像構成オプティマイザは、各低品質画像を自動的に分析し、そのような画像において表されている試験的生物学的サンプルに関連付けられた物体を識別し、分類する。各低品質画像に関して、低品質画像において識別された物体の分類は、物体が低品質画像において識別され、分類され得る精度を表すスコアを開発するために、高品質画像において識別された物体の分類と比較される。いくつかの実施形態において、撮像構成オプティマイザは、生産アッセイプロトコルにおいて使用するための生産撮像構成として、最良のスコアに関連付けられた候補生産撮像構成を選択する。他の実施形態において、撮像構成オプティマイザは、候補生産撮像構成のうちの１つ以上のリストと、各そのような候補生産撮像構成に関連付けられたスコアとを研究者に提示し、それに応答して、撮像構成オプティマイザは、提示された候補生産撮像構成のうちの生産アッセイプロトコルにおいて使用するための１つの選択を受信する。
【0021】
図１を参照すると、当業者に明白となるであろうように、ハイコンテント顕微鏡検査システム等の顕微鏡検査システム１００は、Ｘ－Ｙステージ１０２と、１つ以上の対物レンズ１０４と、１つ以上の照明源１０６と、画像捕捉デバイス１１０と、コントローラ１１２とを含み得る。顕微鏡検査システム１００は、Ｘ－Ｙステージ１０２上に配置されたサンプルトレイまたはマイクロプレート１１６に照明源１０６からの光を方向づける１つ以上のミラー（図示せず）を含み得る。光は、次いで、そのようなマイクロプレート１１６を通して、対物レンズ１０４を通して、画像捕捉デバイス１１０に伝送される。いくつかの実施形態において、マイクロプレート１１６は、複数のウェル１１８を含み、顕微鏡検査システム１００によって撮像されるべき生物学的サンプル（例えば、生物学的細胞）は、各そのようなウェル１１８内に配置され得る。
【0022】
動作中、マイクロプレート１１６は、手動またはロボットのいずれで、Ｘ－Ｙステージ１０２上に設置され得る。加えて、コントローラ１１２は、特定の対物レンズ１０４、照明源１０６によって発生させられる照明等の組み合わせを使用するために、撮像構成（例えば、上で説明される試験的または生産撮像構成）に従って、顕微鏡検査システム１００を構成し得る。例えば、コントローラ１１２は、位置決めデバイス（図示せず）を動作させ、選択された対物レンズ１０４をマイクロプレート１１６と画像捕捉デバイス１１０との間の光経路内に設置し得る。コントローラ１１２は、マイクロプレート１１６を光の特定の波長で照明するために、照明源１０６も方向づけ得る。ある場合、マイクロプレート１１６内のサンプルは、自然発生分子または処理に起因してサンプル内で生成されまたは存在する分子のいずれかの蛍光を発する分子を含み得る。照明デバイスによって発生させられる光の波長は、そのような蛍光分子に関連付けられた励起波長であり得、撮像捕捉デバイスは、そのような蛍光材料の放出スペクトルのみを捕捉するであろう。１つ以上の波長は、同じサンプルを連続して、または同時に照明し、画像を生成するために使用され得る。
【0023】
加えて、いくつかの実施形態において、コントローラ１１２は、画像捕捉デバイス１１０がマイクロプレート１１６内に配置される生物学的サンプルの異なる焦点面の焦点が合っている画像を入手し得るように、焦点機構１２０を動作させ得る。
【0024】
その後、コントローラ１１２は、ウェル１１８またはその一部が画像捕捉デバイス１１０の視野内にあるようにＸ－Ｙステージ１０２を動作させ、画像捕捉デバイス１１０を作動させ、ウェル１１８またはその一部の画像を入手し得る。コントローラ１１２は、着目されるマイクロプレート１１６のウェル１１８の全ての画像が捕捉されるまで、Ｘ－Ｙステージ１０２および画像捕捉デバイス１１０をこのように繰り返し動作させ得る。さらに、コントローラ１１２は、同じウェル１１８または同じウェルの同じ部分のいくつかの画像を捕捉し得、各そのような画像は、画像生物学的サンプルの異なる対物レンズ１０４、照明波長、および／または焦点位置を使用して捕捉される。
【0025】
図１に図示される顕微鏡検査システムは、試験的生物学的サンプルまたは生産生物学的サンプルの高品質画像を捕捉するために使用され得る当業者に明白な例示的および他のタイプの撮像または顕微鏡検査システムである。
【0026】
図１および２を参照すると、研究者が、顕微鏡検査システム１００と通信する画像分析システム１５０を使用し、試験的アッセイプロトコルを開発し、顕微鏡検査システム１００のトレイ上に配置された生物学的サンプルを分析し得る。上で述べられたように、試験的アッセイプロトコルは、生物学的サンプルの１つ以上の高品質画像を入手するための試験的撮像構成と、入手された画像を分析するように行われるための一続きの画像処理ステップとを備えている。
【0027】
特に、画像分析システムは、ユーザコンピュータ１５４と通信するユーザインターフェース１５２を含む。当業者に明白であるように、ユーザインターフェース１５２は、グラフィカルユーザインターフェース（ＧＵＩ）を表示するようにユーザコンピュータ１５４に命令し、研究者が画像分析システム１５０と相互作用することを可能にする。画像分析システム１５０は、顕微鏡検査システム１００と通信する顕微鏡検査システムインターフェース１５６と、画像データ記憶１５８と、画像分析器１６０と、機械学習システム１６２と、訓練されていない状態から訓練された状態に機械学習システム１６２を構成するために使用され得る訓練パラメータの組を含む訓練パラメータデータ記憶１６４と、撮像構成オプティマイザ１６６とも含む。訓練された機械学習システム１６２がそのような機械学習システムを再初期化することによって訓練されていない状態に戻り得ることが、当業者に明白であろう。
【0028】
図３は、試験的アッセイプロトコルおよび生産アッセイプロトコルを開発するために画像分析システム１５０によって行われるステップのフローチャート２００を示す。図１－３を参照すると、ステップ２０２において、ユーザインターフェース１５２は、ユーザコンピュータ１５４から、試験的撮像構成の仕様と、顕微鏡検査システムにおいて配置される生物学的サンプルの１つ以上の高品質画像を捕捉するための指示とを受信する。いくつかの実施形態において、試験的撮像構成は、例えば、生物学的サンプル内の細胞のタイプ、生物学的サンプルの画像において分析されるべき物体または物体の特性、行なわれているアッセイの目的等に従って、複数の所定の撮像構成から選択され得る。
【0029】
ステップ２０４において、ユーザインターフェース１５２は、顕微鏡検査システムインターフェース１５６に試験的撮像構成を提供し、顕微鏡検査システムインターフェース１５６は、次いで、顕微鏡検査システム１００のコントローラ１１２（図１）に、試験的撮像構成に従って構成要素を構成するように指示する。その後、ステップ２０６において、顕微鏡検査システムインターフェース１５６は、試験的撮像構成に従って生物学的サンプルの１つ以上の高品質画像を入手し、顕微鏡検査システムインターフェース１５６に入手された高品質画像を伝送するようにコントローラ１１２に指示する。顕微鏡検査システムインターフェース１５６は、ステップ２０６において、画像データ記憶１５８内に入手された高品質画像を記憶することも行う。いくつかの実施形態において、ステップ２０８において、ユーザインターフェース１５２は、入手された高品質画像を表示するようにユーザコンピュータ１５４に命令する。
【0030】
高品質画像が、捕捉された後、ステップ２１０において、ユーザインターフェース１５２は、ユーザコンピュータ１５４から一続きの画像処理ステップの仕様を受信する。
【0031】
ステップ２１２において、画像分析器１６０は、ステップ２１０において受信された一続きを備えている画像処理ステップを行い、入手された高品質画像を分析し、その中に表される物体および／またはそのような物体の特性を識別する。「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ ＰＲＯＶＩＤＩＮＧ ＳＥＬＥＣＴＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ ＦＯＲ ＡＮ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＳＥＱＵＥＮＣＥ」（Ｃｏｈｅｎ ｅｔ ａｌ．）と題された米国特許第８，５７７，０７９号および「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＯＦ ＭＵＬＴＩ－ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡ」（Ｃｏｈｅｎ ｅｔ ａｌ．）と題された米国特許第１０，７０６，２５９号は、そのような一続きの画像処理ステップを規定し、行い、画像を分析するためのシステムおよび方法を開示する。これらの特許の全内容は、参照することによって本明細書に組み込まれる。一続きの画像処理ステップは、高品質画像のうちの１つ以上に対して規定された画像処理ステップを行う画像分析器１６０に提供される。そのような画像処理ステップは、特定の照明源を使用して捕捉される画像の選択と、画像を閾値化することと、１つ以上のフィルタ（例えば、不鮮明マスクフィルタ、平滑化フィルタ、中央値フィルタ等）を適用することと、異なる撮像構成を用いて捕捉された１つ以上の画像、および／または、画像に撮像処理ステップを適用したことの結果であった１つ以上の画像をマスクすること、または組み合わせることとを含み得る。
【0032】
いくつかの実施形態において、一続きの画像処理ステップは、機械学習システム１６２を使用し、高品質画像を分析する画像処理ステップを規定し得る。そのような実施形態において、訓練パラメータデータ記憶１６４は、生物学的サンプルの特定のタイプの画像における特定の物体の存在または物体の特性（すなわち、そのような物体の分類）を予測するように機械学習システム１６２を訓練するために開発された１つ以上の組の所定の訓練パラメータを有し得る。そのような訓練パラメータの組を開発する例は、「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＬＡＢＥＬ－ＦＲＥＥ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＯＦ ＢＩＯＬＯＧＩＣＡＬ ＳＡＭＰＬＥＳ」（Ｃｏｈｅｎ ｅｔ ａｌ．）と題された米国特許出願第１６／１２８，７９８号および「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＡＵＴＯＭＡＴＩＣＡＬＬＹ ＡＮＡＬＹＺＩＮＧ ＰＨＥＮＯＴＹＰＩＣＡＬ ＲＥＳＰＯＮＳＥＳ ＯＦ ＣＥＬＬＳ」（Ｃｏｈｅｎ ｅｔ ａｌ．）と題された米国特許第１０，７０６，２６１号において開示される。本願および本特許の全内容は、参照することによって本明細書に組み込まれる。
【0033】
図１－３を再び参照すると、機械学習システム１６２の使用を規定する画像分析ステップを行うために、画像分析器１６０は、ステップ２１２において、規定された訓練パラメータに従って、訓練されていない機械学習システム１６２を構成し、訓練された機械学習システム１６２を開発し、入力として１つ以上の画像（すなわち、以前の画像処理ステップから生じた１つ以上の高品質画像および／または画像）のピクセルを用いて、訓練された機械学習システム１６２を動作させ、画像の対応するピクセルが特定の物体タイプまたは特定の特性を有する物体タイプ（すなわち、物体の分類に関連付けられたピクセル）に関連付けられている確率を予測する出力を生成する。訓練された機械学習１６２によって発生させられた出力は、次いで、試験的アッセイプロトコルの一部として規定された、別の画像分析ステップにおいて、入力として使用され得る。
【0034】
試験的アッセイプロトコルを備えている一続きの画像処理ステップが訓練パラメータデータベース１６４において利用可能な訓練パラメータの対応する組で構成された機械学習システムを使用する複数の画像処理ステップを含み得ることが明白であろう。
【0035】
ステップ２１４において、画像分析器１６０は、ステップ２０６において入手された高品質画像に一続きの画像処理ステップを適用することによって発生させられる出力を表示するようにユーザコンピュータ１５４に命令することをユーザインターフェース１５２に指示する。したがって、研究者は、高品質画像を捕捉し、規定された一続きの画像処理ステップを使用して高品質画像を分析するために試験的撮像構成を使用することの結果を評価し得る。
【0036】
ステップ２１６において、ユーザインターフェース１５２は、研究者がユーザコンピュータ１５４を使用し、試験的撮像構成および／または一続きの画像処理ステップを調節したかどうか、例えば、生物学的サンプルの画像において表されている物体が有効に分類される（すなわち、そのような物体の識別または特性が決定される）ように改良したかどうかを決定する。該当する場合、画像分析システム１５０は、ステップ２０４に戻り、そうでなければ、画像分析システム１５０は、ステップ２１８に進む。研究者は、研究者によって予期されるように、試験的生物学的サンプルの画像を捕捉および分析する試験的撮像構成および一続きの画像処理ステップ（すなわち、試験的アッセイプロトコル）が開発されるまで、このようにステップ２０４－２１６を反復するように画像分析システム１５０に指示し得る。
【0037】
試験的アッセイプロトコルが開発された後、研究者は、ユーザコンピュータ１５４を使用し、生産アッセイプロトコルを備えている生産撮像構成を開発するように画像分析システム１５０に指示する。
【0038】
下でより詳細に説明されるように、それに応答して、ステップ２１８において、画像分析システム１５０の撮像構成オプティマイザ１６６は、試験的アッセイプロトコルを自動的に評価し、複数の候補生産撮像構成と各候補生産撮像構成に関するスコアを開発する。スコアは、一続きの画像処理ステップを使用して高品質画像において識別された、物体および／または物体の特性が、候補生産撮像構成を使用して捕捉される画像にそのような一続きを適用することによってどれ程良く識別され得るかを表す。その後、候補生産撮像構成のうちの１つ（例えば、最高スコアを有する候補生産撮像構成）は、推奨される生産撮像構成として、選択され得る。
【0039】
ステップ２１８において開発される、複数の候補生産撮像構成の各々は、ステップ２０４－２１６を行うことによって開発される、試験的撮像構成と比較して、顕微鏡検査システム１００を使用して、生物学的サンプルの画像を捕捉するための短い時間、および／または少ない特殊構成要素を要求する。
【0040】
図４を参照すると、撮像構成オプティマイザ１６６は、推奨される生産撮像構成を発生させる、推奨生成器２４８と、複数の候補生産撮像構成を開発する候補構成生成器２５０と、低品質画像生成器２５２と、撮像構成スコアラ２５４とを含む。
【0041】
図５は、推奨される生産撮像構成を開発するために撮像構成オプティマイザ１６６によって行われるステップのフローチャート３００を示す。ステップ３０２において、推奨生成器２４８は、候補構成生成器２５０に、試験的撮像構成から複数の候補生産撮像構成を開発するように指示する。特に、候補構成生成器２５０は、長撮像時間（例えば、倍率、露出時間等）、特殊撮像機器（例えば、水浸または他の特定の光学系、特殊フィルタ、特定の照明源、精密焦点等）の使用、および／または特殊顕微鏡検査技法またはサンプル処理（例えば、共焦点顕微鏡検査、蛍光性撮像、サンプル標識化等）の使用に関連付けられた試験的撮像構成の撮像パラメータを識別することと、撮像パラメータの値が短い撮像時間を要求し、従来の撮像機器および顕微鏡検査技法を使用し、および／または特殊サンプル処理を要求しない、別の撮像パラメータ値で置き換えられる候補生産撮像構成を開発することとを行う。
【0042】
例えば、試験的撮像構成が、４０倍の倍率値を使用して規定される場合、候補構成生成器２５０は、２０倍、１０倍、および４倍の倍率値を規定する候補生産撮像構成を開発する。同様に、試験的撮像構成が、１００ミリ秒の露出時間を使用することを規定する場合、候補構成生成器２５０は、８０ミリ秒、５０ミリ秒、２０ミリ秒、および１０ミリ秒の露出時間を規定する候補生産撮像構成を開発する。
【0043】
撮像パラメータ置き換えの他の例は、例えば、より長いレーザ自動焦点時間および水要件を回避するための水浸対物レンズに代わるより高い励起電力および露出時間を伴う空気対物レンズの使用；蛍光性撮像に代わる透過光撮像の使用；および、高倍率を伴う共焦点撮像に代わる広域撮像、より低い倍率、より短い露出時間、追加の画像処理ステップの使用を含む。候補構成生成器２５０が試験的撮像構成における特定の撮像パラメータ組み合わせを他のパラメータ組み合わせと置き換え、候補生産撮像構成を開発するように構成され得ることが、当業者に明白であろう。
【0044】
いくつかの実施形態において、試験的撮像構成の複数の撮像パラメータが、ある候補生産撮像構成を開発するために置き換えられ得る。例えば、候補構成生成器２５０は、試験的撮像構成において規定された高倍率および長露出時間をより低い倍率および短露出時間と置き換えることによって、試験構成から候補生産撮像構成を発生させ得る。当業者は、候補構成生成器２５０が、試験的撮像構成に規定される撮像パラメータの特定の組み合わせを置き換え、候補生産撮像構成を開発するように構成され得ることを理解するであろう。
【0045】
いくつかの実施形態において、候補構成生成器２５０は、分析されている生物学的サンプルを備えている細胞のタイプまたは試験的アッセイプロトコルを使用して検出された物体のサイズに従って、置き換えるべき試験的撮像構成の撮像パラメータの値を選択し、候補生産撮像構成を開発し得る。例えば、そのような情報は、置き換えるために適切であり得る対物レンズを選択するために、使用され得る。同様に、識別された物体に関連付けられた高品質画像におけるピクセルの強度値が、露出時間を選択するために使用され得る。
【0046】
さらに、候補構成生成器２５０は、他の撮像パラメータの値に及ぼされる試験的撮像構成の撮像パラメータの特定の値の置き換えの効果に関する情報で構成され得、候補生産撮像構成は、そのような情報に従って開発される。例えば、対物レンズを変更することは、露出時間、焦点、Ｚステップ（すなわち、焦点面インクリメント）要件、および入手モダリティに既知の効果を及し得る。
【0047】
複数の候補生産撮像構成が開発された後、ステップ３０４において、候補構成生成器２５０は、候補生産撮像構成のうちの１つを選択し、ステップ３０６において、高品質画像から、ステップ３０４における候補生産撮像構成に関連付けられた低品質画像を開発するように、低品質画像生成器２５２に指示する。特に、低品質画像生成器２５２は、試験的画像構成の撮像パラメータのうちの１つ以上に行われる置き換えに関連付けられた画像処理ステップを行い、候補生産撮像構成を開発し、そのような候補生産撮像構成に関連付けられた低品質画像を発生させる。低品質画像は、顕微鏡検査システム１００が、候補生産撮像構成を使用して動作させられる場合に生成されるであろう画像を予測する。
【0048】
いくつかの実施形態において、ステップ３０６において低品質画像生成器２５２によって行われる画像処理ステップは、高分解能画像に１つ以上のフィルタを適用し、低品質画像を発生させるステップを含む。例えば、試験的撮像構成によって規定された第１の対物レンズと候補生産撮像構成によって規定された第２の対物レンズとの間の倍率変化に関連付けられた低品質画像が、第１および第２の対物レンズに関連付けられた倍率の比率に従って、高品質画像をスケーリングすることによって作成され得る。同様に、ガウスぼかしフィルタが、高品質画像を捕捉するために使用される開口数における変化を表し、候補生産撮像構成において規定される低品質画像を開発するために、高品質画像に適用され得る。複数の撮像パラメータが試験的撮像構成と候補生産撮像構成との間で変化させられる場合、これらの撮像パラメータ変化の各々に関連付けられた画像処理機能は、低品質画像を開発するために、順次、高品質画像に適用され得る。
【0049】
他の実施形態において、機械学習訓練パラメータデータ記憶１６４は、候補生産撮像構成を開発するために、試験的撮像構成における特定の撮像パラメータの置き換えに関連付けられた訓練パラメータの組を含む。そのような場合、低品質画像生成器２５２は、そのような置き換えに関連付けられた訓練パラメータの組を選択し、訓練パラメータの選択された組を用いて、訓練されていない機械学習システム１６２を構成し、訓練された機械学習システム１６２を開発し、入力として高分解能画像を用いて、訓練された機械学習システム１６２を動作させる。それに応答して、訓練された機械学習システム１６２は、候補生産撮像構成に関連付けられた低品質画像を発生させる。例えば、データ記憶１６５は、高倍率水浸対物レンズをより低い倍率の空気対物レンズと置き換えること、蛍光顕微鏡検査を透過光学顕微鏡検査と置き換えること等によって捕捉される画像を表す低品質画像を高品質撮像から開発するために、機械学習システム１６２を訓練するための訓練パラメータの組を含み得る。
【0050】
いくつかの実施形態において、低品質画像生成器２５２は、ステップ３０６においても、選択された候補生産撮像構成に関連付けられているような、画像データ記憶１５８内に低品質画像を記憶する。
【0051】
低品質画像が、ステップ３０６において発生させられた（および記憶された）後、撮像構成スコアラ２５４は、低品質画像を分析し、低品質画像を発生させるために使用された、ステップ３０４において選択された候補生産撮像構成に関するスコアを開発する。特に、ステップ３０８において、撮像構成スコアラ２５４は、画像分析器１６０を使用し、低品質画像に試験的アッセイプロトコルによって規定された一続きの画像処理を適用し、低品質画像において表されている物体および／または物体の特性を識別する。
【0052】
その後、ステップ３１０において、撮像構成スコアラ２５４は、低品質画像において識別された物体および／または物体の特性を高品質画像において識別されたそれらと比較し、スコアを開発する。いくつかの実施形態において、撮像構成スコアラ２５４は、試験的撮像構成に関連付けられた第１のＺ－プライム統計値（Ｚ－ｐｒｉｍｅ ｓｔａｔｉｓｔｉｃ）を計算する。当業者によって理解されるであろうように、Ｚ－プライム統計値は、高品質画像が高品質画像の中に表される試験的集団の細胞における差異をどれ程良く予測するかを評価する。これらの差異は、例えば、処置が適用された試験的集団の細胞対処理されている細胞の対照群、試験的集団を備えている死細胞対生細胞の対照群等を含み得る。加えて、撮像構成スコアラ２５４は、ステップ３１０において、候補生産撮像構成に関連付けられた第２のＺ－プライム統計値も計算し、それは、候補生産撮像構成に従って開発された低品質画像が試験的集団の細胞における差異をどれ程良く予測するかを示す。撮像構成スコアラ２５４は、第１および第２のＺ－プライムスコアに従って、候補生産撮像構成に関連付けられたスコアを開発する。そのようなスコアは、２つのＺ－プライムスコア間の差異、２つのＺ－プライムスコアの比率等であり得る。
【0053】
他の実施形態において、試験的アッセイプロトコルによって規定された一続きの画像処理ステップは、出力画像を発生させる。そのような実施形態において、当業者は、ステップ２１２（図３）において、画像分析器が、高品質画像に一続きの画像処理ステップを適用することによって、第１の出力画像を発生させることを理解するであろう。さらに、第２の出力画像が、ステップ３０８において、撮像構成スコアラ２５４が、低品質画像に一続きの画像処理ステップを適用するとき、発生させられる。そのような実施形態において、ステップ３１０において、撮像構成スコアラ２５２は、第１の出力画像のピクセルと第２の出力画像のピクセルとの間の誤差（例えば、平均平方誤差等）を計算し、スコアを開発する。
【0054】
いくつかの実施形態において、撮像構成スコアラは、ステップ３１０において、高品質画像において識別された物体の第１のメトリック（例えば、面積、体積、周長、ピクセル強度等）と候補生産撮像構成に関連付けられた低品質画像において識別された対応する物体の第２のメトリックとを比較し、第１のメトリックと第２のメトリックとの間の誤差（例えば、平均平方誤差）に従って、候補生産撮像構成に関連付けられたスコアを開発する。
【0055】
ある場合、ステップ２１２（図３）において、試験的アッセイプロトコルによって規定された一続きの画像処理ステップは、顕微鏡検査システム１００内に配置されるマイクロプレート１１６（図１）のウェルの１つ以上の高品質画像に適用され、各ウェルについての情報（例えば、ウェル内に配置される生物学的サンプルが処理を受けているかどうか、各マイクロプレート内の生細胞対死細胞の比率、各ウェル内の特定のタンパク質の存在または不在等）を開発する。そのような場合、ステップ３０６において、マイクロプレート１１６のウェルの各高品質画像に対応する低品質画像が、発生させられる（図１）。ステップ３０８において、撮像構成スコアラ２５４は、そのような高品質画像に対応する低品質画像に一続きの画像処理ステップを適用する。その後、ステップ３１０において、撮像構成スコアラ２５４は、一続きの画像処理ステップを適用することの結果が、マイクロプレート１１６（図１）の各ウェル内に配置される生物学的サンプルについての情報を予測する精度を表すスコアを開発する。
【0056】
ステップ３１１において、撮像構成スコアラ２５４は、候補生産撮像構成に従って生物学的サンプルの１つ以上の画像を開発するために要求されるであろう時間の推定値を開発する。時間の推定値は、生物学的サンプルが配置されるウェル１１８、ウェル１１８の一部、またはマイクロプレート１１６全体の１つ以上の画像の入手時間を反映し得る。時間の推定値が、生物学的サンプルの各場所における各焦点面における画像を入手する露出時間、場所の画像が入手されるべき焦点面の数、使用されている対物レンズに従って、各場所において各焦点面に焦点を合わせるために必要とされる時間の量、画像を入手するために使用される任意の特殊ハードウェアを作動させるための時間、対物レンズの視野内の場所に入れるようにマイクロプレート１１６を移動させる時間、撮像されるべき生物学的サンプルの場所の数等を含む候補生産撮像構成によって規定された撮像パラメータに従って計算され得ることが、当業者に明白であろう。推定される時間は、試験的撮像構成に従って高品質画像を入手するために要求される時間の量と比較され、推定される時間節約は、候補生産撮像構成に関して計算される。
【0057】
ステップ３１２において、候補構成生成器２５０は、スコアがステップ３０２において開発される候補生産撮像構成の全てに対して発生させられているかどうかを決定する。該当する場合、候補構成生成器２５０は、ステップ３１４に進み、そうでなければ、候補構成生成器２５０は、ステップ３０４に進み、別の候補生産撮像構成を選択する。
【0058】
ステップ３１３において、推奨生成器２４８は、候補構成生成器２５０によって開発される候補生産撮像構成に関連付けられたスコアと、推定される時間節約とを分析し、推奨される生産撮像構成として、最良のスコアおよび最大時間節約を有する候補生産撮像構成のうちの１つを選択する。ある場合、推奨生成器２４８は、推奨される生産撮像構成として、所定の量を超えるスコアを有するそれらの候補生産撮像構成から、最大時間節約を有する候補生産撮像構成を選択する。他の場合、推奨生成器２４８は、推奨される生産撮像構成として、候補生産撮像構成の全ての所定の部分から、最大時間節約を有する候補生産撮像構成を選択する。所定の部分は、最良のスコアを有する候補生産撮像構成の全てのうちの所定の数（例えば、３、５、１０等）またはパーセント（５パーセント、１０パーセント等）であり得る。推奨生成器２４８が最良のスコアを選択するために使用する基準は、候補生産撮像構成に関連付けられたスコアを開発するために使用されるメトリックに依存することが、当業者に明白であろう。例えば、最良のスコアは、最大値を有するスコアであり得る。代替として、最良のスコアは、最低値、最大絶対値、最低絶対値、所定の値に最も近い値（例えば、０または１）等を有するスコアであり得る。
【0059】
ステップ３１４において、推奨生成器２４８は、候補生産撮像構成と、各候補生産撮像構成に関連付けられたスコアと、随意に、試験的撮像構成の代わりに候補生産撮像構成を使用して節約され得る時間の推定値とを表示するようにユーザコンピュータ１５４に命令することをユーザインターフェース１５２に指示する。いくつかの実施形態において、ユーザインターフェース１５２は、各候補生産撮像構成に関して、生産撮像構成に関連付けられた低品質画像、低品質画像において識別された物体、および／または低品質画像において識別された物体の分類をステップ３１４においても表示するようにユーザコンピュータ１５４にさらに命令し得る。
【0060】
ステップ３１３においても、推奨生成器２４８は、推奨される生産撮像構成として、ステップ３１３において選択された候補生産撮像構成を識別するインジケータを表示するようにユーザコンピュータ１５４に命令することをユーザインターフェース１５２に指示する。
【0061】
図６を参照すると、一実施形態において、ユーザインターフェース１５２は、推奨される生産撮像構成および他の候補生産撮像構成に関する情報が表示され得るＧＵＩ４００を発生させるようにユーザコンピュータ１５４に、命令する。特に、高品質画像は、ＧＵＩ４００の領域４０２内で表示される。ＧＵＩ４００の領域４０４内での高品質画像上のオーバーレイは、試験的撮像構成に従って、高品質画像を捕捉するために要求される時間の量の推定値、すなわち、ＧＵＩ４００の領域４０６内の情報アイコンである。研究者（または他のオペレータ）が、領域４０６上をクリックする（またはマウスを置く）場合、ユーザインターフェース１５２は、試験的撮像構成によって規定された撮像パラメータを表示するようにユーザコンピュータ１５４に命令する。これらの撮像パラメータは、例えば、ポップアップウィンドウ（図示せず）内に、ＧＵＩの領域４０２の上を覆ってオーバーレイされて、またはＧＵＩ４００の別の領域（図示せず）内に表示され得る。
【0062】
加えて、１つ以上の低品質画像が、ＧＵＩ４００の領域４０８ａ－４０８ｆ内に表示される。８つの低品質画像が、図６において高品質画像を包囲して示されるが、より多いまたはより少ない低品質画像が示され、高品質画像に対して異なる位置にあり得ることが当業者に明白であろう。
【0063】
ＧＵＩ４００の領域４０８内に表示される各低品質画像に関して、ステップ３１１において計算される節約された時間の推定値（図３）が、ＧＵＩ４００の領域４１０内に表示され、情報アイコンが、ＧＵＩ４００の領域４１２内に表示される。情報アイコンの選択またはマウスを置くことは、領域４０８内に表示される低品質画像に関連付けられた候補生産撮像構成の撮像パラメータに関する情報を表示する。いくつかの実施形態において、低品質画像に関連付けられた候補生産撮像構成の撮像パラメータと試験的撮像構成との間の差異は、情報アイコンが選択さたとき、またはマウスを置かれたとき、表示される。
【0064】
インジケータが、推奨生成器２４８が、推奨される生産撮像構成として、領域４０８ｆ内に表示される低品質画像に関連付けられた候補生産撮像構成を選択したことを示すように、領域４１４内に表示される。
【0065】
図１および３を再び参照すると、いくつかの実施形態において、ステップ３１６において、ユーザインターフェース１５２は、ユーザコンピュータ１５４から、例えば、研究者（または別のオペレータ）から、推奨される生産撮像構成を使用して生産アッセイプロトコルを開発するための指示、または生産アッセイプロトコルにおいて使用するための別の候補生産撮像構成の選択を受信する。それに応答して、撮像構成オプティマイザ１６６は、ステップ３１８において、試験撮像プロトコルから、選択された候補生産撮像構成と一続きの撮像ステップとを備えている生産アッセイプロトコルを開発する。そのような生産アッセイプロトコルは、次いで、画像分析システム１５０によって使用され、顕微鏡検査システム１００内に配置される追加のマイクロプレート１１６を自動的に分析し得る。さらに、そのような生産アッセイプロトコルは、対応する顕微鏡検査システム１００と通信する追加の画像分析システム１５０と共に使用され、そのような顕微鏡検査システム内に配置されるマイクロプレート１１６を自動的に分析し得る。
【0066】
ある場合、図３に示されるステップ２０２－２１６を行うことによって開発される試験的アッセイプロトコルは、複数の対応する試験的撮像構成を使用して、生物学的サンプルの複数の高品質画像の入手を規定し得、一続きの画像処理ステップは、２１２において、複数の高品質画像を分析し得る。撮像構成オプティマイザ１６６が、複数の撮像構成のうちの各々に関して１つ以上の候補生産撮像構成を作成し、１つ以上の候補生産撮像構成に従って、１つ以上の低品質画像を開発し、各低品質画像を分析し、低品質画像に関連付けられた候補生産撮像構成に関するスコアを開発し得ることが、当業者に明白であろう。
【0067】
当業者は、顕微鏡検査システム１００が、画像分析システム１５０から遠隔であり得、顕微鏡検査システム１００と顕微鏡検査システムインターフェース１５６との間の通信が、プライベートまたはパブリックネットワーク（例えば、インターネット、仮想プライベートネットワーク、ローカルエリアネットワーク、セルラーネットワーク等）を介して行われ得ることを理解するであろう。同様に、ユーザコンピュータ１５４も、画像分析システム１５０から遠隔であり得、ユーザコンピュータ１５４とユーザインターフェース１５２との間の通信は、プライベートまたはパブリックネットワークを介して行われ得る。さらに、撮像分析システム１５０の構成要素が、プライベートまたはパブリックネットワークを介して互いに通信する１つのコンピューティングデバイスまたは複数の分散型コンピューティングデバイス上で動作させられ得る。例えば、機械学習システム１６２は、クラウドサービスによって提供され、インターネットを介して画像分析器１６０によってアクセスされ得る。同様に、画像データ記憶１５８および／または訓練パラメータデータ記憶１６４は、クラウドベースの記憶サービスを使用して、実装され得る。
【0068】
ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書に説明される画像分析システム１５０を実装するために使用され得ることが、当業者に明白であろう。図１－５に関して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上は、１つ以上の電子またはデジタル制御式デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行われ得ることを理解および認識されたい。ソフトウェアは、例えば、図１－５に図式的に描写される機能システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上等、好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態において、またはアナログ電気、音、またはビデオ信号等のアナログ源等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリストを含み得る。命令は、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡＳ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントローラ（例えば、図２のユーザインターフェース１５２、顕微鏡検査システムインターフェース１５６、画像分析器１６０、機械学習システム１６２、および撮像構成オプティマイザ１６６、図４の推奨生成器２４８、候補構成生成器２５０、低品質画像生成器２５２、および撮像構成スコアラ２５４）内で実行され得る。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット内において、または配列または分散される別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作し得る。
【0069】
実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示するその中に記憶される命令を有するコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサを含むシステム、または命令を命令実行システム、装置、またはデバイスから選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスによって、またはそれと関連して使用するための任意の非一過性コンピュータ読み取り可能な記憶媒体内に選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれと関連して使用するためのプログラムを記憶し得る任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的例の非包括的リストとして、１つ以上のワイヤ（電子）を有する電気接続、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読取専用メモリ（電子）、例えば、フラッシュメモリ（電子）等の消去可能プログラマブル読取専用メモリ、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ（光学）等のコンパクトディスクメモリ、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）が挙げられる。
【0070】
本書で使用される信号またはデータの受信および伝送が、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールがあるタイプの信号経路を介して進行する信号を介して互いに通信可能であることを意味することも理解されたい。信号は、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに通信し得る通信、電力、データ、またはエネルギー信号であり得る。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。
【0071】
本明細書に引用される刊行物、特許出願、および特許を含む全ての参考文献は、各参考文献が、個々に、かつ具体的に、参照することによって組み込まれるように示され、全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
【0072】
本発明を説明する文脈における（特に、以下の請求項の文脈における）、用語「ａ」、「ａｎ」、「ｔｈｅ」、および類似指示対象の使用は、本明細書に別様に示されない限り、または文脈によって明示的に矛盾しない限り、単数形および複数形の両方を網羅すると解釈されたい。本明細書の値の範囲の列挙は、単に、本明細書に別様に示されない限り、範囲内にある各別個の値を個々に言及する簡潔な方法としての役割を果たすために意図され、各別個の値は、本明細書に個々に列挙された場合と同様に、本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書に別様に示されない限り、または別様に文脈によって明示的に矛盾しない限り、任意の好適な順序で行なわれることができる。本明細書に提供される、任意および全ての例または例示的用語（例えば、「ｓｕｃｈ ａｓ（等）」）の使用は、単に、本開示をより明瞭にすることを意図し、別様に請求されない限り、本発明の範囲に限定を課すものではない。明細書中のいずれの用語も、本開示の実践に不可欠ないずれの未請求要素も示すものと解釈されるべきではない。
【0073】
本開示に対する多数の修正は、前述の説明に照らして当業者に明白となるであろう。図示される実施形態は、例示にすぎず、本開示の範囲を限定するものと捉えられるべきではないことを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】