知財求人 - 知財ポータルサイト「IP Force」
特表2022-552874増強された画像を発生させるためのハイコンテント撮像システムおよびそれを動作させる方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-20
(54)【発明の名称】増強された画像を発生させるためのハイコンテント撮像システムおよびそれを動作させる方法
(51)【国際特許分類】
G06V 10/774 20220101AFI20221213BHJP
G02B 21/00 20060101ALI20221213BHJP
G06V 20/69 20220101ALI20221213BHJP
G06T 7/00 20170101ALI20221213BHJP
【ＦＩ】
G06V10/774
G02B21/00
G06V20/69
G06T7/00 350C
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022523454
(86)(22)【出願日】2020-10-21
(85)【翻訳文提出日】2022-06-03
(86)【国際出願番号】 US2020056606
(87)【国際公開番号】W WO2021081056
(87)【国際公開日】2021-04-29
(31)【優先権主張番号】62/925,554
(32)【優先日】2019-10-24
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】511227336
【氏名又は名称】モレキュラー デバイシーズ， エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(72)【発明者】
【氏名】コーエン， アブルム アイ．
(72)【発明者】
【氏名】ホン， ディフイ
(72)【発明者】
【氏名】ルーク， スティーブ
(72)【発明者】
【氏名】ライン， スティーブン
【テーマコード（参考）】
2H052
5L096
【Ｆターム（参考）】
2H052AB00
2H052AC00
2H052AF25
5L096AA06
5L096BA03
5L096CA04
5L096DA01
5L096GA51
5L096HA09
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
ハイコンテント撮像システムは、ステージと、コントローラと、機械学習システムと、画像発生器とを含む。コントローラは、出力撮像構成を含む要求を受信し、それに応答して、コントローラは、（１）出力撮像構成に関連付けられた訓練モデルを選択し、（２）訓練モデルに関連付けられた入力撮像構成を決定し、（３）入力撮像構成に従って、ハイコンテント撮像システムを構成する。機械学習システムは、機械学習システムが入力撮像構成を使用して入手された画像を提示されると、機械学習システムが出力撮像構成に従って出力画像を発生させるように、訓練モデルを使用して構成される。画像発生器は、ステージ上のサンプルの画像を発生させ、発生させられた画像を機械学習システムに提供し、それに応答して、機械学習システムは、出力撮像構成に従って、出力画像を発生させる。
【特許請求の範囲】
【請求項1】
ハイコンテント撮像システムであって、前記システムは、サンプルが配置されるように適合されたステージと、
出力撮像構成の仕様を含む要求を受信するコントローラであって、それに応答して、前記コントローラは、（１）前記出力撮像構成に関連付けられた訓練モデルを選択し、（２）前記訓練モデルに関連付けられた入力撮像構成を決定し、（３）前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成する、コントローラと、
前記入力撮像構成に従って、前記ステージ上に配置された前記サンプルの画像を発生させる画像発生器と、
前記画像発生器によって発生させられた前記サンプルの画像を自動的に受信し、それに応答して、出力画像を自動的に発生させる機械学習システムと
を備え、
前記機械学習システムは、前記機械学習システムが前記入力撮像構成に従って入手された入力画像を提示されると、前記機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して構成されている、ハイコンテント撮像システム。
【請求項2】
前記機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記機械学習システムコントローラは、前記発生させられた画像を画像発生器から受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択する、請求項１に記載のハイコンテント撮像システム。
【請求項3】
複数の訓練モデルのデータベースをさらに含み、前記コントローラは、さらなる出力撮像構成を含むさらなる要求を受信し、前記コントローラは、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定し、それに応答して、前記コントローラは、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成する、請求項１に記載のハイコンテント撮像システム。
【請求項4】
さらなる入力撮像構成およびさらなる出力撮像構成を受信する機械学習システム訓練器をさらに含み、前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従って、さらなる出力画像を展開するように前記機械学習システムを訓練する、請求項１に記載のハイコンテント撮像システム。
【請求項5】
前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成することと、前記さらなる出力撮像構成を使用して前記訓練サンプルの複数のグランドトゥルース画像を生成することとを行うように前記画像発生器に指示する、請求項５に記載のハイコンテント撮像システム。
【請求項6】
前記コントローラは、前記入力撮像構成に従って前記ステージ上に配置されたマイクロプレート内に配置された複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に自動的に指示し、前記出力撮像構成に従って前記複数の入力画像の各１つから出力画像を自動的に発生させるように前記機械学習システムに自動的指示する、請求項１に記載のハイコンテント撮像システム。
【請求項7】
ロボットマイクロプレート装填器をさらに含み、前記コントローラは、（１）前記複数の入力画像が発生させられた後、さらなるマイクロプレートを前記ステージ上に装填するように前記ロボットマイクロプレート装填器に指示し、（２）前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示し、（３）さらなる複数の出力画像を前記入力画像から自動的に発生させるように前記機械学習システムに指示する、請求項６に記載のハイコンテント撮像システム。
【請求項8】
前記コントローラは、（１）前記入力撮像構成に従って変動する焦点において撮影された前記サンプルの一連の入力画像を展開することと、（２）前記出力撮像構成に従って一連の出力画像を発生させるために、前記一連の画像を同時に前記機械学習システムに提供することとを行うように前記画像発生器に指示する、請求項１に記載のハイコンテント撮像システム。
【請求項9】
画像プロセッサをさらに含み、前記画像プロセッサは、（１）前記発生させられた画像をそのような画像が入力として前記機械学習システムに提供される前に画像処理すること、および、（２）前記機械学習システムによって展開された前記出力画像を画像処理することのうちの少なくとも１つを行う、請求項１に記載のハイコンテント撮像システム。
【請求項10】
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、請求項１に記載のハイコンテント撮像システム。
【請求項11】
ハイコンテント撮像システムを動作させる方法であって、前記ハイコンテント撮像システムは、サンプルが配置されることができるステージと、画像発生器とを含み、前記方法は、１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信し、前記出力撮像構成に関連付けられた訓練モデルを選択するステップと、
前記要求を受信することに応答して、前記１つ以上のプロセッサによって、前記訓練モデルに関連付けられた入力撮像構成を決定するステップと、
前記１つ以上のプロセッサによって、前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップと、
前記訓練された機械学習システムが前記入力撮像構成に従って入手された画像を提示されると、前記訓練された機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して、前記１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップと、
前記１つ以上のプロセッサおよび画像捕捉デバイスを使用して、前記ステージ上に配置されたサンプルの画像を自動的に発生させ、前記サンプルの前記画像を前記訓練された機械学習システムに自動的に提供するステップと、
前記サンプルの前記画像を受信することに応答して、前記訓練された機械学習システムを動作させ、前記出力撮像構成に従って、出力画像を自動的に生成するステップと
を含む、方法。
【請求項12】
前記訓練された機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記方法は、前記機械学習システムコントローラを動作させ、前記発生させられた画像を受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択するステップをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項13】
前記機械学習システムコントローラから遠隔で前記複数のグラフィカル処理ユニットのうちの少なくとも１つのグラフィカル処理ユニットを動作させるステップをさらに含む、請求項１２に記載のハイコンテント撮像システムを動作させる方法。
【請求項14】
さらなる出力撮像構成を受信するステップと、前記出力撮像構成に関連付けられた訓練モデルを識別するために複数の訓練モデルのデータベースにクエリするステップと、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定するステップと、それに応答して、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項15】
さらなる入力撮像構成およびさらなる出力撮像構成を受信するステップと、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従ってさらなる出力画像を展開するように前記機械学習システムを訓練するステップとをさらに含み、前記機械学習システムを訓練するステップは、前記入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成し、前記出力撮像構成を使用して、前記訓練サンプルの複数のグランドトゥルース画像を生成するように前記画像発生器に指示するステップを含む、請求項１２に記載のハイコンテント撮像システムを動作させる方法。
【請求項16】
前記入力撮像構成に従って、前記ステージ上に配置されたマイクロプレートに配置される複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、前記出力撮像構成に従って、出力画像を前記複数の入力画像の各１つから自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項17】
前記複数の入力画像が発生させられた後、ロボットマイクロプレート装填器を動作させ、さらなるマイクロプレートを前記ステージ上に装填するステップと、前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、さらなる複数の出力画像を前記さらなる入力画像から自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、請求項１６に記載のハイコンテント撮像システムを動作させる方法。
【請求項18】
前記入力撮像構成に従って、変動する焦点において撮影された前記サンプルの一連の入力画像を展開し、同時に前記一連の画像を前記機械学習システムに提供するように前記画像発生器に指示するステップと、それに応答して、前記機械学習システムによって、前記出力撮像構成に従って、一連の出力画像を自動的に発生させるステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項19】
前記画像発生器によって発生させられた前記画像および前記出力画像を前記ハイコンテント撮像システムの外部のコンピュータに伝送するステップをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項20】
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、その内容全体が参照することによって本明細書に組み込まれる２０１９年１０月２４日に出願された米国仮出願第６２／９２５，５５４号からの優先権の利益を主張する。
本願は、その内容全体が参照することによって本明細書に組み込まれる２０１９年１０月２４日に出願された米国仮出願第６２／９２５，５５４号からの優先権の利益を主張する。
【0002】
（開示の分野）
本主題は、顕微鏡検査システムに関し、より具体的に、増強された画像を発生させるためのハイコンテント撮像システムおよびそのようなシステムを動作させる方法に関する。
本主題は、顕微鏡検査システムに関し、より具体的に、増強された画像を発生させるためのハイコンテント撮像システムおよびそのようなシステムを動作させる方法に関する。
【背景技術】
【0003】
ハイコンテント撮像システム（ＨＣＩＳ）が、ＤＮＡ、タンパク質、細胞等の１つ以上の生物学的サンプルの顕微鏡検査画像を取得するために使用され得る。生物学的サンプルは、ウェルの２次元パターンを有するマイクロプレートのそのようなウェル内に配置され得る。そのようなマイクロプレートは、典型的に、９６または３８４ウェルを有するが、より多いまたはより少ないウェルを有し得る。そのようなマイクロプレート内に配置される生物学的サンプルの画像を入手するために、ＨＣＩＳの自動焦点システムが、マイクロプレートの各ウェルまたはその一部に焦点を合わせ、画像を入手する。特定のウェル内の生物学的サンプルの高分解能画像を展開するために、撮像センサが、そのような部分上に焦点を合わせられたウェルの異なる部分に対して位置付けられ、画像を入手し得る。そのような異なる部分の画像は、組み合わせられ（例えば、連結され）、ウェル全体の画像を生成し得る。さらに、ＨＣＩＳは、ウェルの複数の画像を展開し得、複数の画像の各１つが、異なる撮像構成を使用して捕捉される。そのような撮像構成は、画像が捕捉されるときに使用される照明源、ウェル（またはその一部）と撮像センサとの間の光経路内に配置された１つ以上のフィルタ等を規定する。
【0004】
プレートを走査し、高分解能画像を生成することと組み合わせられる上で説明される繰り返される焦点合わせおよび位置付け動作は、有意な量の時間を要求し得ることが明白であるはずである。さらに、そのような時間は、複数のマイクロプレートが、撮像される必要がある場合、またはＨＣＩＳのユーザが、撮像プロセス中、サンプルの位置付けおよび／またはＨＣＩＳの焦点を確認および／または調節する必要がある場合、実質的に増加する。加えて、逆畳み込み、雑音低減等の画像処理動作は、典型的に、ＨＣＩＳによって発生させられた画像を受信するコンピュータを使用して適用され得、さらなる分析のために好適な生物学的サンプルの画像をＨＣＩＳから生成するために必要な時間の量をさらに追加する。
【発明の概要】
【課題を解決するための手段】
【0005】
一側面によると、ハイコンテント撮像システムは、サンプルが配置されるように適合されたステージと、コントローラと、機械学習システムと、画像発生器とを含む。コントローラは、出力撮像構成の仕様を含む要求を受信し、それに応答して、コントローラは、（１）出力撮像構成に関連付けられた訓練モデルを選択し、（２）訓練モデルに関連付けられた入力撮像構成を決定し、（３）入力撮像構成に従って、ハイコンテント撮像システムを構成する。機械学習システムは、機械学習システムが入力撮像構成に従って入手された画像を提示されると、機械学習システムが、出力撮像構成に従って、出力画像を発生させるように、訓練モデルを使用して構成される。画像発生器は、ステージ上に配置されたサンプルの画像を発生させ、発生させられた画像を機械学習システムに自動的に提供し、それに応答して、機械学習システムは、出力撮像構成に従って、出力画像を発生させる。
【0006】
別の側面によると、その上にサンプルが配置され得るステージと、機械学習システムと、画像発生器とを含むハイコンテント撮像システムを動作させる方法は、１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信するステップを含む。方法はまた、１つ以上のプロセッサによって、出力撮像構成に関連付けられた訓練モデルを選択するステップと、要求を受信することに応答して、１つ以上のプロセッサによって、訓練モデルに関連付けられた入力撮像構成を決定するステップと、１つ以上のプロセッサによって、入力撮像構成に従って、ハイコンテント撮像システムを構成するステップとを含む。さらに、方法は、訓練された機械学習システムが入力撮像構成に従って入手された画像を提示されると、訓練された機械学習システムが出力撮像構成に従って出力画像を発生させるように、訓練モデルを使用して、１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップを含む。方法は、１つ以上のプロセッサおよび画像捕捉デバイスを使用して、ステージ上に配置されたサンプルの画像を自動的に発生させるステップと、サンプルの画像を訓練された機械学習システムに自動的に提供するステップと、訓練された機械学習システムを動作させ、サンプルの画像を受信することに応答して、出力撮像構成に従って、出力画像を自動的に生成するステップとの追加のステップを含む。
【0007】
他の側面および利点が、同様の番号が本明細書全体を通して同様の構造を指定する以下の詳細な説明および添付される図面の考慮に応じて明白となるであろう。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【発明を実施するための形態】
【0013】
下記に詳細に説明されるように、本開示による、ハイコンテント撮像システム（ＨＣＩＳ）は、その上にサンプルまたはサンプルを有するマイクロプレートが配置され得るステージと、１つ以上の照明源と、１つ以上の対物レンズと、１つ以上のフィルタと、焦点合わせ装置と、撮像センサと、機械学習システムと、コントローラと、機械学習システムと併用され得る、１つ以上の機械学習システム訓練モデルとを含む。各訓練モデルは、入力撮像構成および出力撮像構成に関連付けられ、訓練されていない機械学習システム（例えば、ニューラルネットワークまたは別の深層学習システム）を構成および訓練するために必要なデータを含む。例えば、訓練されていない機械学習システムが、ニューラルネットワークである場合、訓練モデルは、１つ以上の畳み込み層と、１つ以上のニューロン層と、その間の１つ以上のプーリング層との相互接続に関するパラメータを含む。訓練モデルはまた、スケーリング係数、カーネル加重、およびそのような層に関連付けられる同等物を含む。
【0014】
訓練されていない機械学習システムは、特定の訓練モデルを用いて、訓練された機械学習システムを展開するように構成され得る。その後、訓練された機械学習システムが、ＨＣＩＳが特定の訓練モデルに関連付けられた入力撮像構成とともに構成されるときに捕捉された入力（またはソース）画像を提示されると、機械学習システムは、ＨＣＩＳが特定の訓練モデルに関連付けられる出力撮像構成とともに構成されている場合に発生させられたであろう、画像を表す、出力（または標的）画像を生成する。
【0015】
動作中、ユーザは、ＨＣＩＳと通信するコンピュータを使用して、要求をＨＣＩＳのコントローラに伝送し、その中に配置されるマイクロプレートのウェル内に配置された生物学的サンプルの出力画像を生成する。そのような要求は、画像を生成および識別するときに使用するための出力撮像構成の仕様、例えば、対物レンズ、分解能、照明源、１つ以上の光学フィルタ、焦点合わせ正確度、および／または出力画像内で補正されるべき撮像収差またはアーチファクトのタイプを含み得る。そのような収差／アーチファクト補正は、対物レンズの像面湾曲、コントラストおよび／または分解能を改良するための画像の逆畳み込み、および同等物を補正することを含み得る。
【0016】
コントローラは、出力画像仕様を分析し、そのような出力画像仕様に関連付けられた訓練モデルを選択する。コントローラは、次いで、選択された訓練モデルに関連付けられた入力画像仕様を決定し、訓練されていない機械学習システムをその訓練モデルで構成し、訓練された機械学習システムを生成し、入力撮像構成に従って、ＨＣＩＳを構成し、画像を捕捉する。コントローラは、捕捉された画像を訓練された機械学習システムに入力として提供し、訓練された機械学習システムは、ＨＣＩＳが出力撮像構成を使用して構成されている場合に捕捉されたであろう、画像を表す、出力画像を発生させ、コントローラは、ＨＣＩＳによって発生させられた出力画像をユーザのコンピュータに伝送する。
【0017】
いくつかの実施形態では、訓練モデルは、ＨＣＩＳ内に据え付けられる第１の物理的構成要素の組（例えば、対物レンズ、照明源等）を要求する、入力構成と、そのうちのいくつかがＨＣＩＳ内に存在しないこともある第２の物理的構成要素の組を要求する出力構成に関連付けられ得る。ＨＣＩＳの訓練されていない機械学習システムが、訓練された機械学習システムを展開するために、そのような訓練モデルで構成される場合、ＨＣＩＳ（訓練された機械学習システムを有する）は、第１の物理的構成要素の組を使用して入手された入力画像から、第２の物理的構成要素の組で入手されたであろう、画像を表す、出力画像を生成するであろう。したがって、例えば、そのような実施形態では、ＨＣＩＳは、ＨＣＩＳが追加の構成要素を含む場合と同様の出力画像をそのような追加の構成要素に関連付けられるコストを伴わずに、生成することが可能である。
【0018】
いくつかの実施形態では、ＨＣＩＳは、画像を迅速に捕捉する（例えば、大まかな焦点合わせを使用して、低分解能画像を捕捉する）入力撮像構成を使用して、動作させられることができる。画像を捕捉する（例えば、非常に精密な焦点合わせを用いて、高分解能画像を捕捉する）ためにより多くの時間を要求するそのような入力構成および出力構成に関連付けられた訓練モデルは、機械学習システムを訓練するために使用され得る。そのような訓練された機械学習システムを有するＨＣＩＳは、出力画像をそれらが、より時間がかかる構成を使用して、より比較的に高速で捕捉された入力画像から捕捉された場合と同様に生成し、これは、ＨＣＩＳのスループットを改良する。また、追加の画像処理／補正動作が、機械学習システムを訓練するために使用される訓練モデルの中に組み込まれ得るので、これらの動作を行うことは、訓練された機械学習システムが出力画像を入力画像から発生させるためにかかるもの以上の任意の追加の時間を要求せず、したがって、追加のスループット改良をもたらす。
【0019】
図１を参照すると、ＨＣＩＳ１００の実施形態は、コントローラ１０２と、その上にサンプル（またはそのようなサンプルを搬送するマイクロプレート）が配置され得るステージ１０４と、１つ以上の対物レンズ１０６と、１つ以上の照明源１０８と、画像センサ１１０と、焦点合わせ装置１１２とを含む。下で説明されるように、ＨＣＩＳ１００は、ステージ１０４上に配置されるマイクロプレート１１８のウェル１１６内に配置されたサンプル１１４の透過光画像および／または蛍光画像を発生させるために使用され得る。ステージ１０４は、画像センサの撮像平面と平行な平面に沿って移動可能であるＸ－Ｙステージ、または画像センサ１１０の撮像平面と平行な平面と、また、撮像平面と垂直な平面とに沿って移動可能であるＸ－Ｙ－Ｚステージであり得る。
【0020】
サンプル１１４の透過光画像を発生させるために、コントローラ１０２は、照明源１０８ａを動作させ、光をサンプル１１４（およびその中にサンプル１１４が配置されたマイクロプレート１１８）を通して透過させる。光は、次いで、選択された対物レンズ１０６を通して方向付けられ、随意に、ミラー１２０によって向け直され、画像を画像センサ１１０の表面上に形成する。画像センサ１１０は、それによって感知される光に従って、信号を発生させ、そのような信号は、画像発生器１２２によって、画像に変換される。
【0021】
サンプル１１４の蛍光画像を発生させるために、コントローラ１０２は、照明源１０８ｂを動作させ、１つ以上のミラー１２０によって、対物レンズ１０６を通して、マイクロプレート１１８を通して、サンプル１１４に向け直される、光を発生させる。サンプル１１４に到達する、光は、サンプル１１４を励起させ、サンプル１１４を蛍光させ得る。サンプル１１４によって放出される光は、対物レンズ１０６を通して通過し、１つ以上のミラー１２０によって方向付けられ、画像を画像センサ１１０の表面上に形成し、これは、画像発生器１２２によって画像に変換されるそのような画像に応答して、信号を発生させる。
【0022】
１つ以上の光学フィルタも、随意に、照明源１０８とサンプル１１４との間および／またはサンプル１１４と画像センサ１１０との間の光経路内に配置され得る。
【0023】
当業者によって理解されるであろうように、画像発生器１２２は、信号を受信し、そのような信号を画像のピクセル値に変換する。さらに、画像発生器１２２は、画像センサ１１０がそのようなサンプル１１４を走査するにつれて、生物学的サンプル１１４のサブ画像に関連付けられる信号を受信し、そのようなサブ画像を完全な画像に組み合わせ得る。
【0024】
図１を継続して参照すると、動作中、コントローラ１０２は、ユーザによって動作させられるコンピュータ１２４から、サンプル１１４の１つ以上の画像を発生させるための要求を受信する。上で述べられたように、そのような要求は、上記出力撮像構成の仕様を含む。コントローラ１０２は、データベース１２６にクエリし、要求とともに受信される出力撮像構成に関連付けられた訓練モデルを選択する。いくつかの実施形態では、データベース１２６内のいくつかの訓練モデルに関して、ＨＣＩＳ１００は、要求に関連付けられる出力撮像構成で構成されるときより、訓練モデルに関連付けられた入力撮像構成で構成されるとき、画像を効率的に生成するであろう。さらに、データベース１２６内の訓練モデルに関連付けられた入力撮像構成は、ＨＣＩＳ１００内に据え付けられた機器（例えば、照明源、対物レンズ等）を規定し得る一方、要求とともに受信される出力撮像構成は、ＨＣＩＳ１００内に据え付けられていない機器を要求し得る。
【0025】
特定の訓練モデルをデータベース１２６から選択後、コントローラ１０２は、訓練モデルに従って、訓練されていない機械学習システム１２８を構成し、訓練された機械学習システム１２８を展開する。いくつかの実施形態では、コントローラ１０２は、機械学習システム１２８をそのような機械学習システム１２８を選択された訓練モデルで構成する前に、訓練されていない状態にリセットし得る。
【0026】
いくつかの実施形態では、訓練モデルは、ユーザコンピュータ１２４上またはＨＣＩＳ１００から遠隔の別のコンピュータ上に記憶される。そのような実施形態では、コントローラ１０２は、その上に訓練モデルが記憶される、コンピュータから、訓練モデルを要求する。いくつかの実施形態では、ユーザコンピュータ１２４は、それによって送信される要求の一部として、訓練モデルをコントローラ１０２に提供し、サンプル１１４の１つ以上の画像を発生させ得る。そのような実施形態では、ユーザコンピュータ１２４は、訓練モデルをそれに関連付けられる記憶装置から、またはそこから遠隔のコンピュータから、ロードし得る。さらに、ある場合、ユーザコンピュータ１２４は、ユーザに、例えば、その中に訓練モデルが記憶された１つ以上のデータファイルを特定し、そのようなデータファイルをコントローラ１０２に提供するように求め得る。
【0027】
訓練された機械学習システム１２８が、展開された後、コントローラ１０２は、選択された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成する。特に、コントローラ１０２は、対物レンズ１０６を装填し、画像センサ１１０を構成し、入力撮像構成に従って、照明源１０８および焦点合わせ装置１１２を動作させ、画像センサ１１０および画像発生器１２２に、画像を入手するように指示する。
【0028】
画像が入手された後、入手された画像は、入力として、出力画像をそこから発生させる訓練された機械学習システム１２８に提示される。コントローラ１０２は、出力画像を受信し、そのような出力画像をユーザコンピュータ１２４に伝送する。いくつかの実施形態では、画像発生器１２２、訓練された機械学習システム１２８、およびコントローラ１０２は全て、１つのそのような構成要素によって発生させられた画像が別の構成要素によってアクセスされることを可能にする、共有メモリへのアクセスを有する。他の実施形態では、これらの構成要素は、ローカルエリアネットワーク（または別のタイプのネットワーク）上で通信し、画像をその間で伝送する。
【0029】
いくつかの実施形態では、ＨＣＩＳ１００は、訓練された機械学習システム１２８によって発生させられた出力画像を受信する画質分析器（図示せず）を含み得る。画質分析器は、例えば、画像内の雑音または画像内の他のアーチファクトを検出し、出力画像の品質を表す、スコアを展開する画像分析アルゴリズムを適用する。その後、画質分析器は、出力画像およびスコアをコントローラ１０２に提供し、ユーザコンピュータ１２４に伝送する。
【0030】
いくつかの実施形態では、ＨＣＩＳ１００は、画像発生器１２２から入手された画像を自動的に受信する第１の画像プロセッサ（図示せず）を含み得る。第１の画像プロセッサは、１つ以上の画像処理機能を入手された画像に適用し、例えば、画像をスケーリングし、画像内の雑音を低減させ等を行い、処理された画像は、自動的に、入力として、機械学習システム１２８に提供される。それに応答して、機械学習システム１２８は、出力画像を発生させ、これは、次いで、上で説明されるように、コントローラ１０２に提供される。
【0031】
いくつかの実施形態では、第１の画像プロセッサは、画像発生器１２２と一体型であって、発生させられた画像は、そのような画像プロセッサの出力である。
【0032】
いくつかの実施形態では、第２の画像プロセッサ（図示せず）は、機械学習システム１２８によって展開された出力画像を処理し、例えば、画像をスケーリングし、画像内の雑音を低減させ等を行い得、そのような処理される画像は、コントローラ１０２に提供され、上で説明されるように、ユーザコンピュータ１２４に提供する。
【0033】
第１および／または第２の画像プロセッサが、使用されるかどうかは、ユーザコンピュータ１２４から受信される要求によって決定され得る、または入力および／または出力撮像構成に従って決定され得る。
【0034】
図２は、コンピュータ１２４から受信される要求に従って画像を発生させるためにコントローラ１０２によって行われるステップのフローチャート２００を示す。図１および２を参照すると、ステップ２０２では、コントローラ１０２は、画像を捕捉するための要求を受信する。上で述べられたように、要求は、出力画像を発生させるための出力撮像構成を規定する。
【0035】
いくつかの実施形態では、ユーザは、コンピュータ１２４に、ＨＣＩＳ１００が非増強または増強モードで動作させられるべきかどうかの指示を含む要求をコントローラ１０２に送信するように指示する。非増強モードでは、機械学習システム１２８は、使用されない。むしろ、コントローラ１０２は、画像発生器１２２に、画像を捕捉するように指示し、任意のそのような捕捉された画像は、コントローラ１０２によって、ユーザコンピュータ１２４に伝送される。増強モードでは、訓練された機械学習システム１２８は、本明細書に説明されるように呼び出され、出力画像を画像発生器１２２によって発生させられた入力画像から増強または発生させる。例えば、コントローラ１０２によって受信される要求は、増強されたモードが、使用されることになり、入力画像が、１０倍拡大率を使用して入手されるべきであって、機械学習システム１２８が、２０倍拡大率を使用して捕捉されたであろう画像を表す、出力画像を発生させる（すなわち、増強された分解能）べきであることを規定し得る。同様に、要求は、増強モードが、使用されることになり、入力画像が、短露光時間を使用して入手されるべきであって、機械学習システム１２８が、長露光時間が使用された場合に捕捉されたであろう画像を表す、出力画像を発生させるべきである（すなわち、増強された露光）ことを規定し得る。
【0036】
ステップ２０４では、コントローラ１０２は、データベース１２６にクエリし、訓練モデルが、要求に規定される出力撮像構成に関連付けられてその中に記憶されているかどうかを決定する。そのような訓練モデルが、識別される場合、コントローラ１０２は、ステップ２０６に進み、そうでなければ、コントローラ１０２は、ステップ２０８に進む。
【0037】
ステップ２０６では、コントローラ１０２は、ステップ２０４において識別された訓練モデルをロードし、ステップ２０８では、訓練されていない機械学習システム１２８をロードされた訓練モデルで構成し、訓練された機械学習システム１２８を展開する。
【0038】
ステップ２１０では、コントローラ１０２は、ステップ２０４において識別された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成する。その後、コントローラ１０２は、画像センサ１１０および／または画像発生器１２２に、画像を捕捉および発生させるように指示する。いくつかの実施形態では、コントローラ１０２が、ステップ２１０において、ＨＣＩＳ１００を構成すると、コントローラ１０２はまた、それによって発生させられた画像を機械学習システム１２８に入力として自動的に提供するように、画像発生器１２２を構成する。例えば、ある場合、画像発生器１２２は、それによって発生させられた画像を機械学習システム１２８によってアクセス可能なデータ記憶装置（例えば、メモリ、ディスク等）内に記憶する、または画像発生器１２２と機械学習システム１２８との間のプロセス間通信チャネルを使用して画像を伝送し得る。機械学習システム１２８は、画像データの存在に関して、そのようなデータ記憶装置またはチャネルをポーリングし、利用可能であるとき、画像データを入力としてロードするように構成され得る。他の実施形態では、画像発生器１２２は、機械学習システム１２８を自動的に、例えば、機能コールとして呼び出し、画像を機械学習システム１２８にそのような呼出の一部として通過させ得る。
【0039】
ステップ２１４では、コントローラ１０２は、前述に説明されるように、共有データ記憶装置または通信チャネルのいずれかを介して、機械学習システム１２８によって発生させられた出力画像を受信する。
【0040】
ステップ２１６では、コントローラ１０２は、機械学習システム１２８から受信される出力画像をコンピュータ１２４に伝送する。いくつかの実施形態では、コントローラ１０２はまた、画像発生器１２２から、例えば、ステップ２１２において機械学習システム１２８に提供された画像を受信し、ステップ２１６では、コンピュータ１２４に、画像発生器１２２から受信された画像と、機械学習システム１２８によって生成された画像の両方を伝送する。
【0041】
いくつかの実施形態では、ステップ２０２においてコントローラ１０２から受信される要求は、増強モードが、複数の出力画像をステップ２１２において捕捉された１つの入力画像から発生させるために使用されるべきであることを規定し得る。例えば、要求は、入力画像が、入力撮像構成を使用して（例えば、１０倍対物レンズ１０６を使用して）捕捉されるべきであって、第１および第２の出力画像が、第１の出力撮像構成（例えば、２０倍対物レンズ１０６を使用して）および第２の出力撮像構成（例えば、３０倍対物レンズ１０６を使用して）に従って発生させられるべきであることを規定し得る。そのような要求に応答して、コントローラ１０２は、入力撮像構成および第１の出力撮像構成に関連付けられる第１の訓練モデルと、入力撮像構成および第２の出力撮像構成に関連付けられる、第２の訓練モデルとをロードする。その後、コントローラ１０２は、機械学習システム１２８の第１および第２のインスタンスを第１および第２の訓練モデルで訓練する。そのような実施形態では、コントローラ１０２は、画像発生器１２２に、それによって発生させられた入力画像を訓練された機械学習システム１２８の第１および第２のインスタンスのそれぞれへの入力として提供するように指示し、訓練された機械学習システム１８２の各インスタンスは、それぞれ、そのような入力画像に応答して、第１および第２の出力画像を発生させる。コントローラ１０２は、第１および第２の出力画像を受信し、そのような出力画像（および随意に、入力画像）をユーザコンピュータ１２４に伝送する。
【0042】
ステップ２０４において、コントローラ１０２が、データベース１２６が、ステップ２０２において要求とともに受信される出力撮像構成に関連付けられた訓練モデルを含まないことを決定する場合、コントローラ１０２は、ステップ２０８において、要求に規定される出力撮像構成に従って、ＨＣＩＳ１００を構成する。ステップ２１８では、コントローラ１０２は、画像センサ１１０および／または画像発生器１２２に、画像を捕捉するように指示する。ステップ２２０では、コントローラ１０２は、捕捉された画像を画像発生器１２２から受信し、ステップ２１６では、コントローラ１０２は、捕捉された画像をコンピュータ１２４に伝送する。
【0043】
いくつかの実施形態では、コントローラ１０２は、好適な訓練モデルが、ステップ２０４において識別されない場合、自動的に、ステップ２０８－２１６を行う。他の実施形態では、コントローラ１０２は、ステップ２０８において、コンピュータ１２４に、そのユーザに、好適な訓練モデルがデータベース１２６内で利用不可能であることを通知するように命令する。いくつかの実施形態では、コントローラ１０２はさらに、コンピュータ１２４（また、ステップ２０８において）に、ＨＣＩＳ１００がステップ２０２において受信される出力撮像構成に従って構成されるべきかどうかをユーザにプロンプトするように命令する。コンピュータ１２４が、コントローラ１０２に、ユーザがそのようなプロンプトに対して肯定的に応答したことを伝送する場合、コントローラ１０２は、ステップ２０８－２１６を行う。
【0044】
図１を参照すると、ＨＣＩＳ１００のいくつかの実施形態は、機械学習システム訓練器１２８を含み、ＨＣＩＳ１００と併用するための追加の訓練モデルを展開し、追加の増強機能性を提供する。
【0045】
図３は、機械学習システム１２８と併用するための新しい訓練モデルを展開するための機械学習システム訓練器１３０によって行われるステップのフローチャート３００である。図１および３を参照すると、ステップ３０２では、機械学習システム訓練器１３０は、新しい訓練モデルを展開するための要求を受信する。要求は、新しい訓練モデルに関連付けられた入力撮像構成と、出力撮像構成とを含む。
【0046】
ステップ３０４では、機械学習システム訓練器１３０は、マイクロプレートがＨＣＩＳ１００内に装填されていることの指示を受信する。
【0047】
ステップ３０６では、機械学習システム訓練器１３０は、コントローラ１０２にステップ３０２において受信される要求に規定される入力撮像構成に従って、ＨＣＩＳ１００を構成するように指示する。ステップ３０８では、機械学習システム訓練器１３０は、コントローラ１０２に、複数の訓練画像を捕捉し、そのような画像を機械学習システム訓練器１３０および機械学習システム１２８によってアクセス可能なデータ記憶装置（図示せず）内に記憶するように指示する。
【0048】
ステップ３１０では、機械学習システム訓練器１３０は、コントローラ１０２に、ステップ３０２において受信される要求に規定される出力撮像構成に従って、ＨＣＩＳ１００を構成するように指示する。ステップ３１２では、機械学習システム訓練器１３０は、コントローラ１０２に、複数のグランドトゥルース画像を入手するように指示する。各グランドトゥルース画像は、ステップ３０８において捕捉された特定の訓練画像に関連付けられる。そのようなグランドトゥルース画像および特定の訓練画像は両方とも、それぞれ、マイクロプレート１１８内に配置される生物学的サンプル１１４の同じ部分の入力撮像構成および出力撮像構成を使用して撮影される画像である。
【0049】
いくつかの実施形態では、機械学習システム訓練器１３０は、出力撮像構成に従って、追加の画像処理機能を各グランドトゥルース画像に適用し得る。そのような追加の画像処理機能は、レンズ像面湾曲補正、逆畳み込み、コントラスト増強、陰影補正、画像平坦化、画像伸展、雑音除去等を含み得る。
【0050】
ステップ３１４では、機械学習システム訓練器１３０は、第１の複数の訓練画像の一部と、第１の一部内のそのような訓練画像に対応するグランドトゥルース画像とを使用して、機械学習システム１２８を訓練する。特に、機械学習システム訓練器１３０は、第１の訓練画像の一部のうちの選択された１つを用いて、機械学習システム１２８を動作させ、機械学習システム１２８によって発生させられる、予測される画像を受信する。予測される画像のピクセル毎に、機械学習システム訓練器１３０は、そのような予測されるピクセルと選択された訓練画像に関連付けられるグランドトゥルース画像の対応するピクセルとの間の誤差値を計算する。そのような誤差値は、例えば、加重された分類別クロスエントロピ関数等の損失関数を使用して、計算され得る。予測される画像のピクセルの全てに関して計算される誤差値が、当業者によって理解されるであろうように、例えば、逆伝搬を使用して、機械学習システム１２８のパラメータを調節するために使用される。機械学習システム訓練器１３０は、そのような誤差値を展開し、第１の訓練画像の一部を備えている、画像の全てを用いて、パラメータを調節することを行う。
【0051】
ステップ３１６では、機械学習システム訓練器１３０は、ステップ３１４において展開された訓練された機械学習システムの性能を評価する。特に、機械学習システム訓練器１３０は、第２の訓練画像の一部を評価画像として選択し、評価画像のそれぞれを入力として機械学習システム１２８に提示する。機械学習システム１２８は、入力として提示される各評価画像に応答して、予測される画像を発生させる。評価画像毎に、機械学習システム訓練器１３０は、機械学習システム１２８によってそこから発生させられた予測される画像のピクセルと、そのような評価画像に関連付けられるグランドトゥルース画像の対応するピクセルを比較し、集約誤差値を展開する。このように展開された集約誤差値は全て、組み合わせられ、集約誤差計測値を形成する（例えば、予測される画像のピクセルのパーセントは、グランドトゥルース画像の対応するピクセルの所定の閾値内にある）。
【0052】
ステップ３１８では、機械学習システム訓練器１３０は、集約誤差計測値と所定の容認可能誤差を比較し、集約誤差計測値が、所定の誤差を上回る場合、機械学習システム訓練器１３０は、ステップ３１４に進み、さらに、訓練画像のさらなる一部および対応するグランドトゥルース画像を用いて、機械学習システム１２８を訓練する。いくつかの実施形態では、機械学習システム訓練器１３０は、コンピュータ１２４に、集約誤差計測値を表示し、そのようなコンピュータ１２４のユーザに、さらなる訓練することを行うかどうかをクエリするように命令し得る。他の実施形態では、機械学習システム訓練器１３０はまた、ステップ３１８において、訓練のために使用された訓練画像の数量、（ステップ３１４において）行われた訓練の反復の回数、連続訓練反復間の集約誤差計測値の改良率、訓練のために行われた時間の量、および当業者に明白な他のそのような条件に従って、追加の訓練を行うかどうかを決定する。追加の訓練が、正当化される場合、機械学習システム訓練器１３０は、ステップ３０４に進む。
【0053】
いくつかの実施形態では、評価画像から発生させられた予測される画像と評価画像に関連付けられるグランドトゥルース画像のピクセル毎比較に依存しない、計測値が、展開され得る。例えば、機械学習システム訓練器１３０は、物体分類動作を予測される画像およびグランドトゥルース画像上で起動し、各画像内で識別された物体の数およびタイプを比較し得る。合致する、各タイプの物体のパーセントが、訓練された機械学習システム１２８の性能を評価し、集約計測値を展開し、および／またはコンピュータ１２４のユーザに提示するために使用され得る。
【0054】
ある場合、機械学習システム訓練器１３０は、ステップ３１８において、集約誤差計測値が所定の容認可能誤差を上回るが、追加の訓練が正当化されない（例えば、集約誤差計測値が改良していない場合）ことを決定し得る。そのような場合、機械学習システム訓練器１３０は、コンピュータに、集約誤差計測値が、所定の容認可能誤差を上回るが、追加の訓練を行わないことのメッセージとともに、そのような集約誤差計測値を表示するように命令し得る。
【0055】
ステップ３１８において、機械学習システム訓練器１３０が、追加の訓練が行われないことを決定する場合、ステップ３２０において、機械学習システム訓練器１３０は、訓練された機械学習システム１２８のパラメータを読み出し、そのようなパラメータをデータベース１２６内に、ステップ３０２において受信される入力および出力撮像構成に関連付けられる訓練モデルを保存する。その後、機械学習システム訓練器１３０は、終了する。
【0056】
いくつかの実施形態では、ステップ３２０において、機械学習システム訓練器１３０は、記憶のために、それによって展開された訓練モデルをユーザコンピュータ１２４またはＨＩＣＳ１００から遠隔の別のコンピュータに伝送する。
【0057】
ＨＣＩＳ１００は、当業者に明白なロボットマイクロプレート装填器（図示せず）を含んでもよく、ＨＣＩＳ１００は、複数のマイクロプレート１１８のウェル１１６の画像を自動的に発生させるように動作させられ得る。図４は、ＨＣＩＳ１００をこのように動作させるためにコントローラ１０２によって行われるステップのフローチャート４００である。
【0058】
ユーザは、撮像されるべきマイクロプレート１１８をマイクロプレート装填器の保持面積の中に装填し、コンピュータ１２４に、装填されているマイクロプレート１１８を走査するための要求をＨＣＩＳ１００に送信するように指示する。
【0059】
図１および４を参照すると、ステップ４０２では、コントローラ１０２は、出力撮像構成を含む、撮像するための要求をコンピュータ１２４から受信する。ステップ４０４では、コントローラ１０２は、ロボットマイクロプレート装填器に、第１のマイクロプレートを装填するように指示する。
【0060】
ステップ４０６では、コントローラ１０２は、データベース１２６を選択し、そこから出力撮像構成に関連付けられる訓練モデルをロードする。特に、コントローラ１０２は、出力撮像構成に関連付けられた訓練モデルを選択する。
【0061】
ステップ４０８では、コントローラ１０２は、ステップ４０６において選択された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成し、マイクロプレート１１８内に配置されるサンプル１１４の１つ以上の試験画像を発生させ、そのような試験画像をコンピュータ１２４に伝送し、そのような試験画像毎に、図２に示されるステップ２１２－２１６と同じであるステップを行う。加えて、コントローラ１０２は、コンピュータ１２４に、そのような試験画像を表示し、ユーザに、画像が容認可能であることを確認するようにプロンプトするように命令する。
【0062】
ステップ４１０では、コントローラ１０２は、ユーザが試験画像が容認可能であることを示したかどうかをチェックし、ステップ４１２に進む。そうでなければ、ステップ４１４では、コントローラ１０２は、ＨＣＩＳ１００への追加の調節（例えば、照明の変更、焦点の変更、入力および／または出力撮像構成の変更、サンプルの変更、機械学習システム１３０のアーキテクチャの変更、機械学習システム１３０のハイパーパラメータの変更等）または出力撮像構成を受信する。コントローラ１０２は、調節に従って、ＨＣＩＳ１００の構成要素を調節する。その後、コントローラ１０２は、ステップ４０６に戻る。ステップ４０６では、出力撮像構成が、変更された場合、コントローラ１０２は、修正された出力撮像構成に関連付けられた訓練モデルをロードする。
【0063】
いくつかの実施形態では、ユーザは、ステップ４１４において、構成を調節し、よりロバストな訓練モジュールを構築し得る。例えば、ユーザは、コントローラ１０２に、それぞれ、１０、５０、および２００ミリ秒の露光を使用して捕捉された、複数の第１、第２、および第３の訓練画像の組と、１，０００ミリ秒の露光を使用して捕捉された、グランドトゥルース画像とを使用して、訓練モデルを展開するように指示し得る。代替として、ユーザは、コントローラ１０２に、異なる波長の光を使用して捕捉された、訓練蛍光画像を使用して、特定の出力撮像構成に関連付けられる出力画像を発生させる、モデルを展開するように指示し得る。複数の入力撮像構成を使用して展開され、１つの出力撮像構成に関連付けられた訓練モデルを使用して構成される、機械学習システムは、出力撮像構成に関連付けられる出力画像を複数の異なる入力撮像構成を使用して捕捉された入力画像から発生させることが可能であり得る。当業者によって理解されるであろうように、複数の異なる撮像構成は、訓練モデルを展開するために使用されるものに関連すべきである。
【0064】
ステップ４１２では、コントローラ１０２は、ステップ４０４において装填されるマイクロプレート１１８内のウェル１１６の全ての画像を自動的に発生させ、伝送する。当業者に明白であるはずであるように、発生させられた画像毎に、コントローラ１０２は、ステージ１０４を調節し、マイクロプレート１１８の撮像されていないウェル１１６（またはその一部）をレンズ１０６、照明源１０８、および画像センサ１１０に対して位置付ける。コントローラ１０２は、次いで、図２に示されるステップ２１２－２１６と同じであるステップを行い、そのようなウェル１１６の画像を取得し、入手された画像をコンピュータ１２４によってアクセス可能な画像記憶デバイス（図示せず）に伝送する。
【0065】
ステップ４１６では、コントローラ１０２は、任意の追加のマイクロプレートが撮像されるために残っているかどうかを決定する。該当する場合、コントローラ１０２は、ステップ４０４に進み、ロボットマイクロプレート装填器（図示せず）に、撮像されていないマイクロプレートをステージ１０４上に装填するように指示する。そうでなければ、コントローラ１０２は、終了する。
【0066】
図２を参照すると、機械学習システム１２８は、グラフィカル処理ユニット（ＧＰＵ）を使用して実装され得ることが当業者に明白であるはずである。また、図２および５を参照すると、機械学習システム１２８は、機械学習システムコントローラ５００と、１つ以上のＧＰＵ５０２とを含む。ステップ２０８（図２）では、コントローラ１０２は、機械学習システムコントローラ５００に、各ＧＰＵ５０２をステップ２０６（図２）において選択された訓練モデルで構成するように指示する。その後、画像発生器１２２は、それによって発生させられた各画像を機械学習システムコントローラ５００に提供する。機械学習システムコントローラ５００は、使用中ではない、ＧＰＵ５０２を選択し、発生させられた画像をそこに処理のために転送する。各ＧＰＵ５０２が、出力画像の発生を完了させるにつれて、機械学習システムコントローラ５００は、そのようなＧＰＵによって展開された出力画像を受信し、そのような出力画像をコントローラ１０２に転送し、これは、ひいては、出力画像をコンピュータ１２４に伝送する。このように、図５に図示される自動化された走査プロセスは、高スループット様式において実装され得る。さらに、ＨＣＩＳ１００の性能は、その中に含まれるＧＰＵ５０２の数に従って、スケーリングアップまたはダウンされ得る。さらに、機械学習システムコントローラ５００は、ＨＣＩＳ１００内にインストールされるＧＰＵおよび／またはＡｍａｚｏｎ ＡＷＳ、Ｇｏｏｇｌｅ Ｃｌｏｕｄ等のクラウドサービスプロバイダを通して利用可能なＧＰＵのインスタンスを使用し得ることが明白であるはずである。
【0067】
再び図１を参照すると、いくつかの実施形態では、機械学習システム１２８は、畳み込みニューラルネットワークである。いくつかの実施形態では、機械学習システムまたはニューラルネットワーク１２８は、Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣａｌｉｆｏｒｎｉａのＧｏｏｇｌｅ Ｉｎｃ．によって開発されたＡｕｔｏＭＬおよびＮＡＳＮｅｔ技術を使用して構成される。例えば、完全畳み込みＤｅｎｓｅＮｅｔ、マシンビジョン用途のために最適化されたニューラルネットワーク等を含む、当業者に公知の他のニューラルネットワーク技術も、使用され得ることが明白であるはずである。機械学習システム１２８は、ランダムフォレストツリーおよび同等物を含む、別のタイプの機械学習システムであり得ることが明白であるはずである。
【0068】
前述に説明される実施形態は、出力撮像構成に関連付けられる出力画像をＨＣＩＳ１００の異なる入力撮像構成を使用して捕捉された入力画像から発生させるためのＨＣＩＳ１００内の機械学習システム１２８の使用を対象とするが、当業者は、そのような実施形態が、他のタイプの顕微鏡検査および／または撮像システムと併用するために適合され得ることを理解するであろう。
【0069】
前述に説明されるＨＣＩＳ１００は、個々の２次元画像を発生させるために使用されるものとして説明されるが、そのようなＨＣＩＳ１００は、そのようなサンプル１１４の３次元表現を表す、異なる焦点において撮影された、マイクロプレート１１８上に配置されるサンプル１１４の一連の２次元透過光画像を発生させるように適合され得、そのような一連を備えている、画像は、マイクロプレート１１８の実質的に同じ場所に関連付けられ、一連の対応する画像は、異なる焦点（すなわち、異なるＺ場所）に関連付けられる。いくつかの実施形態では、一連を備えている、画像は全て、同時に、機械学習システム１２８に提供され得、機械学習システム１２８は、一連の対応する出力画像を発生させる。
【0070】
いくつかの実施形態では、機械学習システム１２８は、超分解能を３次元で実施するように訓練され得る。例えば、そのような機械学習システム１２８は、出力される一連の画像を入力される一連の捕捉された画像から発生させ得る。例えば、入力される一連の画像は、複数の捕捉された画像を備え得、連続する捕捉された画像間の焦点距離は、第１の所定の量だけ変動させられる。発生させられた出力される一連の画像は、ＨＣＩＳ１００が連続画像間の焦点距離を第２の所定の量だけ変動させるように動作させられる場合に捕捉されたであろう、一連の画像を表す、一連の画像を備えている。典型的に、第２の所定の量は、第１の所定の量より小さいであろう。例えば、入力される一連の連続画像間の焦点距離は、２ミクロンだけ変動させられ得、機械学習システム１２８は、そのような入力される一連から、焦点距離が０．５ミクロンだけ変動させられる場合に捕捉されたであろう、連続画像を表す、出力される一連を発生させ得る。訓練モデルは、図３に関連して上で説明されるステップを使用して、そのような超分解能を実施するように、機械学習システム１２８を訓練するために展開され得ることが当業者に明白となるはずである。
【0071】
前述の開示は、例えば、共焦点顕微鏡検査システム、構造化された照明を使用する、顕微鏡検査システム等の他のタイプの撮像システムに適用され得ることが当業者に明白となるはずである。さらに、第１のタイプのＨＣＩＳ（例えば、広視野顕微鏡検査）に関連付けられる撮像構成と、第２のタイプのＨＣＩＳ（例えば、共焦点顕微鏡検査）を伴う出力撮像構成に関連付けられる訓練モデルが、訓練された機械学習システムを展開するように、訓練されていない機械学習システムを構成するために使用され得ることが明白である。訓練された機械学習システムを有する、第１のタイプのＨＣＩＳは、次いで、第２のタイプのＨＣＩＳを使用して捕捉された画像を表す、出力画像を発生させるために使用され得る。
【0072】
ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書に説明されるＨＣＩＳ１００を実装するために使用され得ることが、当業者に明白となるはずである。図１－５に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものが、１つ以上の電子またはデジタル制御デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図１－５に図式的に描写される機能的システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等の好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態において、またはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリスティングを含み得る。命令は、処理モジュールまたはコントローラ（例えば、図１のコントローラ１０２、画像発生器１２２、機械学習システム１２８、および機械学習システム訓練器１３０および図５の機械学習システムコントローラ５００およびＧＰＵ５０２）内で実行され得、これは、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む。さらに、概略図は、アーキテクチャまたは機能の物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成において実装され、単一のハードウェア／ソフトウェアユニットにおける、または別個のハードウェア／ソフトウェアユニットにおけるハードウェア／ソフトウェア構成要素として動作し得る。
【0073】
実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、またはデバイスからの命令を選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のための任意の非一過性コンピュータ読み取り可能な記憶媒体において選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的な例の非網羅的リストは、１つ以上のワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性メモリ（電子）、読み取り専用メモリ（電子）、例えば、フラッシュメモリ等の消去可能プログラマブル読み取り専用メモリ（電子）、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等のコンパクトディスクメモリ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。
【0074】
また、本書に使用されるような信号またはデータの受信および伝送は、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して互いに通信することが可能であることを意味することを理解されたい。信号は、通信、電力、データ、またはエネルギー信号であってもよく、これは、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の信号経路に沿って通信し得る。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。
【0075】
本明細書に引用される、刊行物、特許出願、および特許を含む全ての参考文献は、各参考文献が個々かつ具体的に参照することによって組み込まれることが示され、その全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
【0076】
本発明を説明する文脈における（特に、以下の請求項の文脈における）用語「ａ」および「ａｎ」および「ｔｈｅ」および類似する言及の使用は、別様に本明細書に示されない、または文脈によって明確に矛盾しない限り、単数形および複数形の両方を網羅するように解釈されるものである。本明細書における値の範囲の列挙は、単に、別様に本明細書に示されない限り、範囲内に該当する各別個の値に個々に言及する略記法としての役割を果たすことを意図しており、各別個の値は、これが本明細書に個々に列挙される場合と同様に本明細書に組み込まれる。本明細書に説明される全ての方法は、別様に本明細書に示されない、または別様に文脈によって明確に矛盾しない限り、任意の好適な順序で実施されることができる。本明細書に提供されるありとあらゆる例または例示的言語（例えば、「等」）の使用は、単に、本開示をより良好に解明することを意図しており、別様に請求されない限り、本開示の範囲に対する限定を課さない。本明細書におけるいかなる言語も、任意の非請求要素を本開示の実践に不可欠として示すように解釈されるべきではない。
【0077】
本開示への多数の修正が、前述の説明の観点から当業者に明白となるであろう。例証される実施形態が、例示的にすぎず、本開示の範囲を限定するものとして捉えられるべきではないことを理解されたい。
【図1】
【図2】
【図3】
【図4】
【図5】
【手続補正書】
【提出日】2022-06-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
ハイコンテント撮像システムであって、前記システムは、サンプルが配置されるように適合されたステージと、
出力撮像構成の仕様を含む要求を受信するコントローラであって、それに応答して、前記コントローラは、（１）前記出力撮像構成に関連付けられた訓練モデルを選択し、（２）前記訓練モデルに関連付けられた入力撮像構成を決定し、（３）前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成する、コントローラと、
前記入力撮像構成に従って、前記ステージ上に配置された前記サンプルの画像を発生させる画像発生器と、
前記画像発生器によって発生させられた前記サンプルの画像を自動的に受信し、それに応答して、出力画像を自動的に発生させる機械学習システムと
を備え、
前記機械学習システムは、前記機械学習システムが前記入力撮像構成に従って入手された入力画像を提示されると、前記機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して構成されている、ハイコンテント撮像システム。
【請求項2】
前記機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記機械学習システムコントローラは、前記発生させられた画像を画像発生器から受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択する、請求項１に記載のハイコンテント撮像システム。
【請求項3】
複数の訓練モデルのデータベースをさらに含み、前記コントローラは、さらなる出力撮像構成を含むさらなる要求を受信し、前記コントローラは、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定し、それに応答して、前記コントローラは、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成する、請求項１に記載のハイコンテント撮像システム。
【請求項4】
さらなる入力撮像構成およびさらなる出力撮像構成を受信する機械学習システム訓練器をさらに含み、前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従って、さらなる出力画像を展開するように前記機械学習システムを訓練する、請求項１に記載のハイコンテント撮像システム。
【請求項5】
前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成することと、前記さらなる出力撮像構成を使用して前記訓練サンプルの複数のグランドトゥルース画像を生成することとを行うように前記画像発生器に指示する、請求項４に記載のハイコンテント撮像システム。
【請求項6】
前記コントローラは、前記入力撮像構成に従って前記ステージ上に配置されたマイクロプレート内に配置された複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に自動的に指示し、前記出力撮像構成に従って前記複数の入力画像の各１つから出力画像を自動的に発生させるように前記機械学習システムに自動的指示する、請求項１に記載のハイコンテント撮像システム。
【請求項7】
ロボットマイクロプレート装填器をさらに含み、前記コントローラは、（１）前記複数の入力画像が発生させられた後、さらなるマイクロプレートを前記ステージ上に装填するように前記ロボットマイクロプレート装填器に指示し、（２）前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示し、（３）さらなる複数の出力画像を前記入力画像から自動的に発生させるように前記機械学習システムに指示する、請求項６に記載のハイコンテント撮像システム。
【請求項8】
前記コントローラは、（１）前記入力撮像構成に従って変動する焦点において撮影された前記サンプルの一連の入力画像を展開することと、（２）前記出力撮像構成に従って一連の出力画像を発生させるために、前記一連の画像を同時に前記機械学習システムに提供することとを行うように前記画像発生器に指示する、請求項１に記載のハイコンテント撮像システム。
【請求項9】
画像プロセッサをさらに含み、前記画像プロセッサは、（１）前記発生させられた画像をそのような画像が入力として前記機械学習システムに提供される前に画像処理すること、および、（２）前記機械学習システムによって展開された前記出力画像を画像処理することのうちの少なくとも１つを行う、請求項１に記載のハイコンテント撮像システム。
【請求項10】
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、請求項１に記載のハイコンテント撮像システム。
【請求項11】
ハイコンテント撮像システムを動作させる方法であって、前記ハイコンテント撮像システムは、サンプルが配置されることができるステージと、画像発生器とを含み、前記方法は、１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信し、前記出力撮像構成に関連付けられた訓練モデルを選択するステップと、
前記要求を受信することに応答して、前記１つ以上のプロセッサによって、前記訓練モデルに関連付けられた入力撮像構成を決定するステップと、
前記１つ以上のプロセッサによって、前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップと、
前記訓練された機械学習システムが前記入力撮像構成に従って入手された画像を提示されると、前記訓練された機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して、前記１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップと、
前記１つ以上のプロセッサおよび画像捕捉デバイスを使用して、前記ステージ上に配置されたサンプルの画像を自動的に発生させ、前記サンプルの前記画像を前記訓練された機械学習システムに自動的に提供するステップと、
前記サンプルの前記画像を受信することに応答して、前記訓練された機械学習システムを動作させ、前記出力撮像構成に従って、出力画像を自動的に生成するステップと
を含む、方法。
【請求項12】
前記訓練された機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記方法は、前記機械学習システムコントローラを動作させ、前記発生させられた画像を受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択するステップをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項13】
前記機械学習システムコントローラから遠隔で前記複数のグラフィカル処理ユニットのうちの少なくとも１つのグラフィカル処理ユニットを動作させるステップをさらに含む、請求項１２に記載のハイコンテント撮像システムを動作させる方法。
【請求項14】
さらなる出力撮像構成を受信するステップと、前記出力撮像構成に関連付けられた訓練モデルを識別するために複数の訓練モデルのデータベースにクエリするステップと、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定するステップと、それに応答して、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項15】
さらなる入力撮像構成およびさらなる出力撮像構成を受信するステップと、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従ってさらなる出力画像を展開するように前記機械学習システムを訓練するステップとをさらに含み、前記機械学習システムを訓練するステップは、前記入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成し、前記出力撮像構成を使用して、前記訓練サンプルの複数のグランドトゥルース画像を生成するように前記画像発生器に指示するステップを含む、請求項１２に記載のハイコンテント撮像システムを動作させる方法。
【請求項16】
前記入力撮像構成に従って、前記ステージ上に配置されたマイクロプレートに配置される複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、前記出力撮像構成に従って、出力画像を前記複数の入力画像の各１つから自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項17】
前記複数の入力画像が発生させられた後、ロボットマイクロプレート装填器を動作させ、さらなるマイクロプレートを前記ステージ上に装填するステップと、前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、さらなる複数の出力画像を前記さらなる入力画像から自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、請求項１６に記載のハイコンテント撮像システムを動作させる方法。
【請求項18】
前記入力撮像構成に従って、変動する焦点において撮影された前記サンプルの一連の入力画像を展開し、同時に前記一連の画像を前記機械学習システムに提供するように前記画像発生器に指示するステップと、それに応答して、前記機械学習システムによって、前記出力撮像構成に従って、一連の出力画像を自動的に発生させるステップとをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項19】
前記画像発生器によって発生させられた前記画像および前記出力画像を前記ハイコンテント撮像システムの外部のコンピュータに伝送するステップをさらに含む、請求項１１に記載のハイコンテント撮像システムを動作させる方法。
【請求項20】
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、請求項１１に記載のハイコンテント撮像システムを動作させる方法。【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、その内容全体が参照することによって本明細書に組み込まれる２０１９年１０月２４日に出願された米国仮出願第６２／９２５，５５４号からの優先権の利益を主張する。
本願は、その内容全体が参照することによって本明細書に組み込まれる２０１９年１０月２４日に出願された米国仮出願第６２／９２５，５５４号からの優先権の利益を主張する。
【0002】
（開示の分野）
本主題は、顕微鏡検査システムに関し、より具体的に、増強された画像を発生させるためのハイコンテント撮像システムおよびそのようなシステムを動作させる方法に関する。
本主題は、顕微鏡検査システムに関し、より具体的に、増強された画像を発生させるためのハイコンテント撮像システムおよびそのようなシステムを動作させる方法に関する。
【背景技術】
【0003】
ハイコンテント撮像システム（ＨＣＩＳ）が、ＤＮＡ、タンパク質、細胞等の１つ以上の生物学的サンプルの顕微鏡検査画像を取得するために使用され得る。生物学的サンプルは、ウェルの２次元パターンを有するマイクロプレートのそのようなウェル内に配置され得る。そのようなマイクロプレートは、典型的に、９６または３８４ウェルを有するが、より多いまたはより少ないウェルを有し得る。そのようなマイクロプレート内に配置される生物学的サンプルの画像を入手するために、ＨＣＩＳの自動焦点システムが、マイクロプレートの各ウェルまたはその一部に焦点を合わせ、画像を入手する。特定のウェル内の生物学的サンプルの高分解能画像を展開するために、撮像センサが、そのような部分上に焦点を合わせられたウェルの異なる部分に対して位置付けられ、画像を入手し得る。そのような異なる部分の画像は、組み合わせられ（例えば、連結され）、ウェル全体の画像を生成し得る。さらに、ＨＣＩＳは、ウェルの複数の画像を展開し得、複数の画像の各１つが、異なる撮像構成を使用して捕捉される。そのような撮像構成は、画像が捕捉されるときに使用される照明源、ウェル（またはその一部）と撮像センサとの間の光経路内に配置された１つ以上のフィルタ等を規定する。
【0004】
プレートを走査し、高分解能画像を生成することと組み合わせられる上で説明される繰り返される焦点合わせおよび位置付け動作は、有意な量の時間を要求し得ることが明白であるはずである。さらに、そのような時間は、複数のマイクロプレートが、撮像される必要がある場合、またはＨＣＩＳのユーザが、撮像プロセス中、サンプルの位置付けおよび／またはＨＣＩＳの焦点を確認および／または調節する必要がある場合、実質的に増加する。加えて、逆畳み込み、雑音低減等の画像処理動作は、典型的に、ＨＣＩＳによって発生させられた画像を受信するコンピュータを使用して適用され得、さらなる分析のために好適な生物学的サンプルの画像をＨＣＩＳから生成するために必要な時間の量をさらに追加する。
【発明の概要】
【課題を解決するための手段】
【0005】
一側面によると、ハイコンテント撮像システムは、サンプルが配置されるように適合されたステージと、コントローラと、機械学習システムと、画像発生器とを含む。コントローラは、出力撮像構成の仕様を含む要求を受信し、それに応答して、コントローラは、（１）出力撮像構成に関連付けられた訓練モデルを選択し、（２）訓練モデルに関連付けられた入力撮像構成を決定し、（３）入力撮像構成に従って、ハイコンテント撮像システムを構成する。機械学習システムは、機械学習システムが入力撮像構成に従って入手された画像を提示されると、機械学習システムが、出力撮像構成に従って、出力画像を発生させるように、訓練モデルを使用して構成される。画像発生器は、ステージ上に配置されたサンプルの画像を発生させ、発生させられた画像を機械学習システムに自動的に提供し、それに応答して、機械学習システムは、出力撮像構成に従って、出力画像を発生させる。
【0006】
別の側面によると、その上にサンプルが配置され得るステージと、機械学習システムと、画像発生器とを含むハイコンテント撮像システムを動作させる方法は、１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信するステップを含む。方法はまた、１つ以上のプロセッサによって、出力撮像構成に関連付けられた訓練モデルを選択するステップと、要求を受信することに応答して、１つ以上のプロセッサによって、訓練モデルに関連付けられた入力撮像構成を決定するステップと、１つ以上のプロセッサによって、入力撮像構成に従って、ハイコンテント撮像システムを構成するステップとを含む。さらに、方法は、訓練された機械学習システムが入力撮像構成に従って入手された画像を提示されると、訓練された機械学習システムが出力撮像構成に従って出力画像を発生させるように、訓練モデルを使用して、１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップを含む。方法は、１つ以上のプロセッサおよび画像捕捉デバイスを使用して、ステージ上に配置されたサンプルの画像を自動的に発生させるステップと、サンプルの画像を訓練された機械学習システムに自動的に提供するステップと、訓練された機械学習システムを動作させ、サンプルの画像を受信することに応答して、出力撮像構成に従って、出力画像を自動的に生成するステップとの追加のステップを含む。
【0007】
他の側面および利点が、同様の番号が本明細書全体を通して同様の構造を指定する以下の詳細な説明および添付される図面の考慮に応じて明白となるであろう。
本発明は、例えば、以下を提供する。
（項目１）
ハイコンテント撮像システムであって、前記システムは、
サンプルが配置されるように適合されたステージと、
出力撮像構成の仕様を含む要求を受信するコントローラであって、それに応答して、前記コントローラは、（１）前記出力撮像構成に関連付けられた訓練モデルを選択し、（２）前記訓練モデルに関連付けられた入力撮像構成を決定し、（３）前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成する、コントローラと、
前記入力撮像構成に従って、前記ステージ上に配置された前記サンプルの画像を発生させる画像発生器と、
前記画像発生器によって発生させられた前記サンプルの画像を自動的に受信し、それに応答して、出力画像を自動的に発生させる機械学習システムと
を備え、
前記機械学習システムは、前記機械学習システムが前記入力撮像構成に従って入手された入力画像を提示されると、前記機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して構成されている、ハイコンテント撮像システム。
（項目２）
前記機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記機械学習システムコントローラは、前記発生させられた画像を画像発生器から受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択する、項目１に記載のハイコンテント撮像システム。
（項目３）
複数の訓練モデルのデータベースをさらに含み、前記コントローラは、さらなる出力撮像構成を含むさらなる要求を受信し、前記コントローラは、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定し、それに応答して、前記コントローラは、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成する、項目１に記載のハイコンテント撮像システム。
（項目４）
さらなる入力撮像構成およびさらなる出力撮像構成を受信する機械学習システム訓練器をさらに含み、前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従って、さらなる出力画像を展開するように前記機械学習システムを訓練する、項目１に記載のハイコンテント撮像システム。
（項目５）
前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成することと、前記さらなる出力撮像構成を使用して前記訓練サンプルの複数のグランドトゥルース画像を生成することとを行うように前記画像発生器に指示する、項目４に記載のハイコンテント撮像システム。
（項目６）
前記コントローラは、前記入力撮像構成に従って前記ステージ上に配置されたマイクロプレート内に配置された複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に自動的に指示し、前記出力撮像構成に従って前記複数の入力画像の各１つから出力画像を自動的に発生させるように前記機械学習システムに自動的指示する、項目１に記載のハイコンテント撮像システム。
（項目７）
ロボットマイクロプレート装填器をさらに含み、前記コントローラは、（１）前記複数の入力画像が発生させられた後、さらなるマイクロプレートを前記ステージ上に装填するように前記ロボットマイクロプレート装填器に指示し、（２）前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示し、（３）さらなる複数の出力画像を前記入力画像から自動的に発生させるように前記機械学習システムに指示する、項目６に記載のハイコンテント撮像システム。
（項目８）
前記コントローラは、（１）前記入力撮像構成に従って変動する焦点において撮影された前記サンプルの一連の入力画像を展開することと、（２）前記出力撮像構成に従って一連の出力画像を発生させるために、前記一連の画像を同時に前記機械学習システムに提供することとを行うように前記画像発生器に指示する、項目１に記載のハイコンテント撮像システム。
（項目９）
画像プロセッサをさらに含み、前記画像プロセッサは、（１）前記発生させられた画像をそのような画像が入力として前記機械学習システムに提供される前に画像処理すること、および、（２）前記機械学習システムによって展開された前記出力画像を画像処理することのうちの少なくとも１つを行う、項目１に記載のハイコンテント撮像システム。
（項目１０）
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、項目１に記載のハイコンテント撮像システム。
（項目１１）
ハイコンテント撮像システムを動作させる方法であって、前記ハイコンテント撮像システムは、サンプルが配置されることができるステージと、画像発生器とを含み、前記方法は、
１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信し、前記出力撮像構成に関連付けられた訓練モデルを選択するステップと、
前記要求を受信することに応答して、前記１つ以上のプロセッサによって、前記訓練モデルに関連付けられた入力撮像構成を決定するステップと、
前記１つ以上のプロセッサによって、前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップと、
前記訓練された機械学習システムが前記入力撮像構成に従って入手された画像を提示されると、前記訓練された機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して、前記１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップと、
前記１つ以上のプロセッサおよび画像捕捉デバイスを使用して、前記ステージ上に配置されたサンプルの画像を自動的に発生させ、前記サンプルの前記画像を前記訓練された機械学習システムに自動的に提供するステップと、
前記サンプルの前記画像を受信することに応答して、前記訓練された機械学習システムを動作させ、前記出力撮像構成に従って、出力画像を自動的に生成するステップと
を含む、方法。
（項目１２）
前記訓練された機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記方法は、前記機械学習システムコントローラを動作させ、前記発生させられた画像を受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択するステップをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１３）
前記機械学習システムコントローラから遠隔で前記複数のグラフィカル処理ユニットのうちの少なくとも１つのグラフィカル処理ユニットを動作させるステップをさらに含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１４）
さらなる出力撮像構成を受信するステップと、前記出力撮像構成に関連付けられた訓練モデルを識別するために複数の訓練モデルのデータベースにクエリするステップと、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定するステップと、それに応答して、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１５）
さらなる入力撮像構成およびさらなる出力撮像構成を受信するステップと、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従ってさらなる出力画像を展開するように前記機械学習システムを訓練するステップとをさらに含み、前記機械学習システムを訓練するステップは、前記入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成し、前記出力撮像構成を使用して、前記訓練サンプルの複数のグランドトゥルース画像を生成するように前記画像発生器に指示するステップを含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１６）
前記入力撮像構成に従って、前記ステージ上に配置されたマイクロプレートに配置される複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、前記出力撮像構成に従って、出力画像を前記複数の入力画像の各１つから自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１７）
前記複数の入力画像が発生させられた後、ロボットマイクロプレート装填器を動作させ、さらなるマイクロプレートを前記ステージ上に装填するステップと、前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、さらなる複数の出力画像を前記さらなる入力画像から自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１６に記載のハイコンテント撮像システムを動作させる方法。
（項目１８）
前記入力撮像構成に従って、変動する焦点において撮影された前記サンプルの一連の入力画像を展開し、同時に前記一連の画像を前記機械学習システムに提供するように前記画像発生器に指示するステップと、それに応答して、前記機械学習システムによって、前記出力撮像構成に従って、一連の出力画像を自動的に発生させるステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１９）
前記画像発生器によって発生させられた前記画像および前記出力画像を前記ハイコンテント撮像システムの外部のコンピュータに伝送するステップをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目２０）
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、項目１１に記載のハイコンテント撮像システムを動作させる方法。
本発明は、例えば、以下を提供する。
（項目１）
ハイコンテント撮像システムであって、前記システムは、
サンプルが配置されるように適合されたステージと、
出力撮像構成の仕様を含む要求を受信するコントローラであって、それに応答して、前記コントローラは、（１）前記出力撮像構成に関連付けられた訓練モデルを選択し、（２）前記訓練モデルに関連付けられた入力撮像構成を決定し、（３）前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成する、コントローラと、
前記入力撮像構成に従って、前記ステージ上に配置された前記サンプルの画像を発生させる画像発生器と、
前記画像発生器によって発生させられた前記サンプルの画像を自動的に受信し、それに応答して、出力画像を自動的に発生させる機械学習システムと
を備え、
前記機械学習システムは、前記機械学習システムが前記入力撮像構成に従って入手された入力画像を提示されると、前記機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して構成されている、ハイコンテント撮像システム。
（項目２）
前記機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記機械学習システムコントローラは、前記発生させられた画像を画像発生器から受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択する、項目１に記載のハイコンテント撮像システム。
（項目３）
複数の訓練モデルのデータベースをさらに含み、前記コントローラは、さらなる出力撮像構成を含むさらなる要求を受信し、前記コントローラは、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定し、それに応答して、前記コントローラは、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成する、項目１に記載のハイコンテント撮像システム。
（項目４）
さらなる入力撮像構成およびさらなる出力撮像構成を受信する機械学習システム訓練器をさらに含み、前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従って、さらなる出力画像を展開するように前記機械学習システムを訓練する、項目１に記載のハイコンテント撮像システム。
（項目５）
前記機械学習システム訓練器は、前記さらなる入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成することと、前記さらなる出力撮像構成を使用して前記訓練サンプルの複数のグランドトゥルース画像を生成することとを行うように前記画像発生器に指示する、項目４に記載のハイコンテント撮像システム。
（項目６）
前記コントローラは、前記入力撮像構成に従って前記ステージ上に配置されたマイクロプレート内に配置された複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に自動的に指示し、前記出力撮像構成に従って前記複数の入力画像の各１つから出力画像を自動的に発生させるように前記機械学習システムに自動的指示する、項目１に記載のハイコンテント撮像システム。
（項目７）
ロボットマイクロプレート装填器をさらに含み、前記コントローラは、（１）前記複数の入力画像が発生させられた後、さらなるマイクロプレートを前記ステージ上に装填するように前記ロボットマイクロプレート装填器に指示し、（２）前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示し、（３）さらなる複数の出力画像を前記入力画像から自動的に発生させるように前記機械学習システムに指示する、項目６に記載のハイコンテント撮像システム。
（項目８）
前記コントローラは、（１）前記入力撮像構成に従って変動する焦点において撮影された前記サンプルの一連の入力画像を展開することと、（２）前記出力撮像構成に従って一連の出力画像を発生させるために、前記一連の画像を同時に前記機械学習システムに提供することとを行うように前記画像発生器に指示する、項目１に記載のハイコンテント撮像システム。
（項目９）
画像プロセッサをさらに含み、前記画像プロセッサは、（１）前記発生させられた画像をそのような画像が入力として前記機械学習システムに提供される前に画像処理すること、および、（２）前記機械学習システムによって展開された前記出力画像を画像処理することのうちの少なくとも１つを行う、項目１に記載のハイコンテント撮像システム。
（項目１０）
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、項目１に記載のハイコンテント撮像システム。
（項目１１）
ハイコンテント撮像システムを動作させる方法であって、前記ハイコンテント撮像システムは、サンプルが配置されることができるステージと、画像発生器とを含み、前記方法は、
１つ以上のプロセッサによって、出力撮像構成の仕様を含む要求を受信し、前記出力撮像構成に関連付けられた訓練モデルを選択するステップと、
前記要求を受信することに応答して、前記１つ以上のプロセッサによって、前記訓練モデルに関連付けられた入力撮像構成を決定するステップと、
前記１つ以上のプロセッサによって、前記入力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップと、
前記訓練された機械学習システムが前記入力撮像構成に従って入手された画像を提示されると、前記訓練された機械学習システムが前記出力撮像構成に従って出力画像を発生させるように、前記訓練モデルを使用して、前記１つ以上のプロセッサ上で動作する訓練された機械学習システムを展開するステップと、
前記１つ以上のプロセッサおよび画像捕捉デバイスを使用して、前記ステージ上に配置されたサンプルの画像を自動的に発生させ、前記サンプルの前記画像を前記訓練された機械学習システムに自動的に提供するステップと、
前記サンプルの前記画像を受信することに応答して、前記訓練された機械学習システムを動作させ、前記出力撮像構成に従って、出力画像を自動的に生成するステップと
を含む、方法。
（項目１２）
前記訓練された機械学習システムは、機械学習システムコントローラと、複数のグラフィカル処理ユニットとを含み、前記方法は、前記機械学習システムコントローラを動作させ、前記発生させられた画像を受信し、それに応答して、前記複数のグラフィカル処理ユニットのうちの前記出力画像を発生させるための１つを自動的に選択するステップをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１３）
前記機械学習システムコントローラから遠隔で前記複数のグラフィカル処理ユニットのうちの少なくとも１つのグラフィカル処理ユニットを動作させるステップをさらに含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１４）
さらなる出力撮像構成を受信するステップと、前記出力撮像構成に関連付けられた訓練モデルを識別するために複数の訓練モデルのデータベースにクエリするステップと、前記複数の訓練モデルのいずれも前記さらなる出力撮像構成に関連付けられていないことを決定するステップと、それに応答して、前記さらなる出力撮像構成に従って、前記ハイコンテント撮像システムを構成するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１５）
さらなる入力撮像構成およびさらなる出力撮像構成を受信するステップと、前記さらなる入力撮像構成を使用して入手されたさらなる入力画像を提示されると、前記さらなる出力撮像構成に従ってさらなる出力画像を展開するように前記機械学習システムを訓練するステップとをさらに含み、前記機械学習システムを訓練するステップは、前記入力撮像構成を使用して前記ステージ上に配置された訓練サンプルの複数の訓練画像を生成し、前記出力撮像構成を使用して、前記訓練サンプルの複数のグランドトゥルース画像を生成するように前記画像発生器に指示するステップを含む、項目１２に記載のハイコンテント撮像システムを動作させる方法。
（項目１６）
前記入力撮像構成に従って、前記ステージ上に配置されたマイクロプレートに配置される複数のサンプルの複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、前記出力撮像構成に従って、出力画像を前記複数の入力画像の各１つから自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１７）
前記複数の入力画像が発生させられた後、ロボットマイクロプレート装填器を動作させ、さらなるマイクロプレートを前記ステージ上に装填するステップと、前記さらなるマイクロプレートのさらなる複数の入力画像を自動的に発生させるように前記画像発生器に指示するステップと、さらなる複数の出力画像を前記さらなる入力画像から自動的に発生させるように前記機械学習システムに指示するステップとをさらに含む、項目１６に記載のハイコンテント撮像システムを動作させる方法。
（項目１８）
前記入力撮像構成に従って、変動する焦点において撮影された前記サンプルの一連の入力画像を展開し、同時に前記一連の画像を前記機械学習システムに提供するように前記画像発生器に指示するステップと、それに応答して、前記機械学習システムによって、前記出力撮像構成に従って、一連の出力画像を自動的に発生させるステップとをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目１９）
前記画像発生器によって発生させられた前記画像および前記出力画像を前記ハイコンテント撮像システムの外部のコンピュータに伝送するステップをさらに含む、項目１１に記載のハイコンテント撮像システムを動作させる方法。
（項目２０）
前記入力撮像構成は、前記ハイコンテント撮像システム内に存在する第１の物理的構成要素の組を規定し、前記出力撮像構成は、第２の物理的構成要素の組を規定し、前記第２の物理的構成要素の組のうちの少なくとも１つは、前記ハイコンテント撮像システム内に存在しない、項目１１に記載のハイコンテント撮像システムを動作させる方法。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【発明を実施するための形態】
【0013】
下記に詳細に説明されるように、本開示による、ハイコンテント撮像システム（ＨＣＩＳ）は、その上にサンプルまたはサンプルを有するマイクロプレートが配置され得るステージと、１つ以上の照明源と、１つ以上の対物レンズと、１つ以上のフィルタと、焦点合わせ装置と、撮像センサと、機械学習システムと、コントローラと、機械学習システムと併用され得る、１つ以上の機械学習システム訓練モデルとを含む。各訓練モデルは、入力撮像構成および出力撮像構成に関連付けられ、訓練されていない機械学習システム（例えば、ニューラルネットワークまたは別の深層学習システム）を構成および訓練するために必要なデータを含む。例えば、訓練されていない機械学習システムが、ニューラルネットワークである場合、訓練モデルは、１つ以上の畳み込み層と、１つ以上のニューロン層と、その間の１つ以上のプーリング層との相互接続に関するパラメータを含む。訓練モデルはまた、スケーリング係数、カーネル加重、およびそのような層に関連付けられる同等物を含む。
【0014】
訓練されていない機械学習システムは、特定の訓練モデルを用いて、訓練された機械学習システムを展開するように構成され得る。その後、訓練された機械学習システムが、ＨＣＩＳが特定の訓練モデルに関連付けられた入力撮像構成とともに構成されるときに捕捉された入力（またはソース）画像を提示されると、機械学習システムは、ＨＣＩＳが特定の訓練モデルに関連付けられる出力撮像構成とともに構成されている場合に発生させられたであろう、画像を表す、出力（または標的）画像を生成する。
【0015】
動作中、ユーザは、ＨＣＩＳと通信するコンピュータを使用して、要求をＨＣＩＳのコントローラに伝送し、その中に配置されるマイクロプレートのウェル内に配置された生物学的サンプルの出力画像を生成する。そのような要求は、画像を生成および識別するときに使用するための出力撮像構成の仕様、例えば、対物レンズ、分解能、照明源、１つ以上の光学フィルタ、焦点合わせ正確度、および／または出力画像内で補正されるべき撮像収差またはアーチファクトのタイプを含み得る。そのような収差／アーチファクト補正は、対物レンズの像面湾曲、コントラストおよび／または分解能を改良するための画像の逆畳み込み、および同等物を補正することを含み得る。
【0016】
コントローラは、出力画像仕様を分析し、そのような出力画像仕様に関連付けられた訓練モデルを選択する。コントローラは、次いで、選択された訓練モデルに関連付けられた入力画像仕様を決定し、訓練されていない機械学習システムをその訓練モデルで構成し、訓練された機械学習システムを生成し、入力撮像構成に従って、ＨＣＩＳを構成し、画像を捕捉する。コントローラは、捕捉された画像を訓練された機械学習システムに入力として提供し、訓練された機械学習システムは、ＨＣＩＳが出力撮像構成を使用して構成されている場合に捕捉されたであろう、画像を表す、出力画像を発生させ、コントローラは、ＨＣＩＳによって発生させられた出力画像をユーザのコンピュータに伝送する。
【0017】
いくつかの実施形態では、訓練モデルは、ＨＣＩＳ内に据え付けられる第１の物理的構成要素の組（例えば、対物レンズ、照明源等）を要求する、入力構成と、そのうちのいくつかがＨＣＩＳ内に存在しないこともある第２の物理的構成要素の組を要求する出力構成に関連付けられ得る。ＨＣＩＳの訓練されていない機械学習システムが、訓練された機械学習システムを展開するために、そのような訓練モデルで構成される場合、ＨＣＩＳ（訓練された機械学習システムを有する）は、第１の物理的構成要素の組を使用して入手された入力画像から、第２の物理的構成要素の組で入手されたであろう、画像を表す、出力画像を生成するであろう。したがって、例えば、そのような実施形態では、ＨＣＩＳは、ＨＣＩＳが追加の構成要素を含む場合と同様の出力画像をそのような追加の構成要素に関連付けられるコストを伴わずに、生成することが可能である。
【0018】
いくつかの実施形態では、ＨＣＩＳは、画像を迅速に捕捉する（例えば、大まかな焦点合わせを使用して、低分解能画像を捕捉する）入力撮像構成を使用して、動作させられることができる。画像を捕捉する（例えば、非常に精密な焦点合わせを用いて、高分解能画像を捕捉する）ためにより多くの時間を要求するそのような入力構成および出力構成に関連付けられた訓練モデルは、機械学習システムを訓練するために使用され得る。そのような訓練された機械学習システムを有するＨＣＩＳは、出力画像をそれらが、より時間がかかる構成を使用して、より比較的に高速で捕捉された入力画像から捕捉された場合と同様に生成し、これは、ＨＣＩＳのスループットを改良する。また、追加の画像処理／補正動作が、機械学習システムを訓練するために使用される訓練モデルの中に組み込まれ得るので、これらの動作を行うことは、訓練された機械学習システムが出力画像を入力画像から発生させるためにかかるもの以上の任意の追加の時間を要求せず、したがって、追加のスループット改良をもたらす。
【0019】
図１を参照すると、ＨＣＩＳ１００の実施形態は、コントローラ１０２と、その上にサンプル（またはそのようなサンプルを搬送するマイクロプレート）が配置され得るステージ１０４と、１つ以上の対物レンズ１０６と、１つ以上の照明源１０８と、画像センサ１１０と、焦点合わせ装置１１２とを含む。下で説明されるように、ＨＣＩＳ１００は、ステージ１０４上に配置されるマイクロプレート１１８のウェル１１６内に配置されたサンプル１１４の透過光画像および／または蛍光画像を発生させるために使用され得る。ステージ１０４は、画像センサの撮像平面と平行な平面に沿って移動可能であるＸ－Ｙステージ、または画像センサ１１０の撮像平面と平行な平面と、また、撮像平面と垂直な平面とに沿って移動可能であるＸ－Ｙ－Ｚステージであり得る。
【0020】
サンプル１１４の透過光画像を発生させるために、コントローラ１０２は、照明源１０８ａを動作させ、光をサンプル１１４（およびその中にサンプル１１４が配置されたマイクロプレート１１８）を通して透過させる。光は、次いで、選択された対物レンズ１０６を通して方向付けられ、随意に、ミラー１２０によって向け直され、画像を画像センサ１１０の表面上に形成する。画像センサ１１０は、それによって感知される光に従って、信号を発生させ、そのような信号は、画像発生器１２２によって、画像に変換される。
【0021】
サンプル１１４の蛍光画像を発生させるために、コントローラ１０２は、照明源１０８ｂを動作させ、１つ以上のミラー１２０によって、対物レンズ１０６を通して、マイクロプレート１１８を通して、サンプル１１４に向け直される、光を発生させる。サンプル１１４に到達する、光は、サンプル１１４を励起させ、サンプル１１４を蛍光させ得る。サンプル１１４によって放出される光は、対物レンズ１０６を通して通過し、１つ以上のミラー１２０によって方向付けられ、画像を画像センサ１１０の表面上に形成し、これは、画像発生器１２２によって画像に変換されるそのような画像に応答して、信号を発生させる。
【0022】
１つ以上の光学フィルタも、随意に、照明源１０８とサンプル１１４との間および／またはサンプル１１４と画像センサ１１０との間の光経路内に配置され得る。
【0023】
当業者によって理解されるであろうように、画像発生器１２２は、信号を受信し、そのような信号を画像のピクセル値に変換する。さらに、画像発生器１２２は、画像センサ１１０がそのようなサンプル１１４を走査するにつれて、生物学的サンプル１１４のサブ画像に関連付けられる信号を受信し、そのようなサブ画像を完全な画像に組み合わせ得る。
【0024】
図１を継続して参照すると、動作中、コントローラ１０２は、ユーザによって動作させられるコンピュータ１２４から、サンプル１１４の１つ以上の画像を発生させるための要求を受信する。上で述べられたように、そのような要求は、上記出力撮像構成の仕様を含む。コントローラ１０２は、データベース１２６にクエリし、要求とともに受信される出力撮像構成に関連付けられた訓練モデルを選択する。いくつかの実施形態では、データベース１２６内のいくつかの訓練モデルに関して、ＨＣＩＳ１００は、要求に関連付けられる出力撮像構成で構成されるときより、訓練モデルに関連付けられた入力撮像構成で構成されるとき、画像を効率的に生成するであろう。さらに、データベース１２６内の訓練モデルに関連付けられた入力撮像構成は、ＨＣＩＳ１００内に据え付けられた機器（例えば、照明源、対物レンズ等）を規定し得る一方、要求とともに受信される出力撮像構成は、ＨＣＩＳ１００内に据え付けられていない機器を要求し得る。
【0025】
特定の訓練モデルをデータベース１２６から選択後、コントローラ１０２は、訓練モデルに従って、訓練されていない機械学習システム１２８を構成し、訓練された機械学習システム１２８を展開する。いくつかの実施形態では、コントローラ１０２は、機械学習システム１２８をそのような機械学習システム１２８を選択された訓練モデルで構成する前に、訓練されていない状態にリセットし得る。
【0026】
いくつかの実施形態では、訓練モデルは、ユーザコンピュータ１２４上またはＨＣＩＳ１００から遠隔の別のコンピュータ上に記憶される。そのような実施形態では、コントローラ１０２は、その上に訓練モデルが記憶される、コンピュータから、訓練モデルを要求する。いくつかの実施形態では、ユーザコンピュータ１２４は、それによって送信される要求の一部として、訓練モデルをコントローラ１０２に提供し、サンプル１１４の１つ以上の画像を発生させ得る。そのような実施形態では、ユーザコンピュータ１２４は、訓練モデルをそれに関連付けられる記憶装置から、またはそこから遠隔のコンピュータから、ロードし得る。さらに、ある場合、ユーザコンピュータ１２４は、ユーザに、例えば、その中に訓練モデルが記憶された１つ以上のデータファイルを特定し、そのようなデータファイルをコントローラ１０２に提供するように求め得る。
【0027】
訓練された機械学習システム１２８が、展開された後、コントローラ１０２は、選択された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成する。特に、コントローラ１０２は、対物レンズ１０６を装填し、画像センサ１１０を構成し、入力撮像構成に従って、照明源１０８および焦点合わせ装置１１２を動作させ、画像センサ１１０および画像発生器１２２に、画像を入手するように指示する。
【0028】
画像が入手された後、入手された画像は、入力として、出力画像をそこから発生させる訓練された機械学習システム１２８に提示される。コントローラ１０２は、出力画像を受信し、そのような出力画像をユーザコンピュータ１２４に伝送する。いくつかの実施形態では、画像発生器１２２、訓練された機械学習システム１２８、およびコントローラ１０２は全て、１つのそのような構成要素によって発生させられた画像が別の構成要素によってアクセスされることを可能にする、共有メモリへのアクセスを有する。他の実施形態では、これらの構成要素は、ローカルエリアネットワーク（または別のタイプのネットワーク）上で通信し、画像をその間で伝送する。
【0029】
いくつかの実施形態では、ＨＣＩＳ１００は、訓練された機械学習システム１２８によって発生させられた出力画像を受信する画質分析器（図示せず）を含み得る。画質分析器は、例えば、画像内の雑音または画像内の他のアーチファクトを検出し、出力画像の品質を表す、スコアを展開する画像分析アルゴリズムを適用する。その後、画質分析器は、出力画像およびスコアをコントローラ１０２に提供し、ユーザコンピュータ１２４に伝送する。
【0030】
いくつかの実施形態では、ＨＣＩＳ１００は、画像発生器１２２から入手された画像を自動的に受信する第１の画像プロセッサ（図示せず）を含み得る。第１の画像プロセッサは、１つ以上の画像処理機能を入手された画像に適用し、例えば、画像をスケーリングし、画像内の雑音を低減させ等を行い、処理された画像は、自動的に、入力として、機械学習システム１２８に提供される。それに応答して、機械学習システム１２８は、出力画像を発生させ、これは、次いで、上で説明されるように、コントローラ１０２に提供される。
【0031】
いくつかの実施形態では、第１の画像プロセッサは、画像発生器１２２と一体型であって、発生させられた画像は、そのような画像プロセッサの出力である。
【0032】
いくつかの実施形態では、第２の画像プロセッサ（図示せず）は、機械学習システム１２８によって展開された出力画像を処理し、例えば、画像をスケーリングし、画像内の雑音を低減させ等を行い得、そのような処理される画像は、コントローラ１０２に提供され、上で説明されるように、ユーザコンピュータ１２４に提供する。
【0033】
第１および／または第２の画像プロセッサが、使用されるかどうかは、ユーザコンピュータ１２４から受信される要求によって決定され得る、または入力および／または出力撮像構成に従って決定され得る。
【0034】
図２は、コンピュータ１２４から受信される要求に従って画像を発生させるためにコントローラ１０２によって行われるステップのフローチャート２００を示す。図１および２を参照すると、ステップ２０２では、コントローラ１０２は、画像を捕捉するための要求を受信する。上で述べられたように、要求は、出力画像を発生させるための出力撮像構成を規定する。
【0035】
いくつかの実施形態では、ユーザは、コンピュータ１２４に、ＨＣＩＳ１００が非増強または増強モードで動作させられるべきかどうかの指示を含む要求をコントローラ１０２に送信するように指示する。非増強モードでは、機械学習システム１２８は、使用されない。むしろ、コントローラ１０２は、画像発生器１２２に、画像を捕捉するように指示し、任意のそのような捕捉された画像は、コントローラ１０２によって、ユーザコンピュータ１２４に伝送される。増強モードでは、訓練された機械学習システム１２８は、本明細書に説明されるように呼び出され、出力画像を画像発生器１２２によって発生させられた入力画像から増強または発生させる。例えば、コントローラ１０２によって受信される要求は、増強されたモードが、使用されることになり、入力画像が、１０倍拡大率を使用して入手されるべきであって、機械学習システム１２８が、２０倍拡大率を使用して捕捉されたであろう画像を表す、出力画像を発生させる（すなわち、増強された分解能）べきであることを規定し得る。同様に、要求は、増強モードが、使用されることになり、入力画像が、短露光時間を使用して入手されるべきであって、機械学習システム１２８が、長露光時間が使用された場合に捕捉されたであろう画像を表す、出力画像を発生させるべきである（すなわち、増強された露光）ことを規定し得る。
【0036】
ステップ２０４では、コントローラ１０２は、データベース１２６にクエリし、訓練モデルが、要求に規定される出力撮像構成に関連付けられてその中に記憶されているかどうかを決定する。そのような訓練モデルが、識別される場合、コントローラ１０２は、ステップ２０６に進み、そうでなければ、コントローラ１０２は、ステップ２０７に進む。
【0037】
ステップ２０６では、コントローラ１０２は、ステップ２０４において識別された訓練モデルをロードし、ステップ２０８では、訓練されていない機械学習システム１２８をロードされた訓練モデルで構成し、訓練された機械学習システム１２８を展開する。
【0038】
ステップ２１０では、コントローラ１０２は、ステップ２０４において識別された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成する。その後、コントローラ１０２は、画像センサ１１０および／または画像発生器１２２に、画像を捕捉および発生させるように指示する。いくつかの実施形態では、コントローラ１０２が、ステップ２１０において、ＨＣＩＳ１００を構成すると、コントローラ１０２はまた、それによって発生させられた画像を機械学習システム１２８に入力として自動的に提供するように、画像発生器１２２を構成する。例えば、ある場合、画像発生器１２２は、それによって発生させられた画像を機械学習システム１２８によってアクセス可能なデータ記憶装置（例えば、メモリ、ディスク等）内に記憶する、または画像発生器１２２と機械学習システム１２８との間のプロセス間通信チャネルを使用して画像を伝送し得る。機械学習システム１２８は、画像データの存在に関して、そのようなデータ記憶装置またはチャネルをポーリングし、利用可能であるとき、画像データを入力としてロードするように構成され得る。他の実施形態では、画像発生器１２２は、機械学習システム１２８を自動的に、例えば、機能コールとして呼び出し、画像を機械学習システム１２８にそのような呼出の一部として通過させ得る。
【0039】
ステップ２１４では、コントローラ１０２は、前述に説明されるように、共有データ記憶装置または通信チャネルのいずれかを介して、機械学習システム１２８によって発生させられた出力画像を受信する。
【0040】
ステップ２１６では、コントローラ１０２は、機械学習システム１２８から受信される出力画像をコンピュータ１２４に伝送する。いくつかの実施形態では、コントローラ１０２はまた、画像発生器１２２から、例えば、ステップ２１２において機械学習システム１２８に提供された画像を受信し、ステップ２１６では、コンピュータ１２４に、画像発生器１２２から受信された画像と、機械学習システム１２８によって生成された画像の両方を伝送する。
【0041】
いくつかの実施形態では、ステップ２０２においてコントローラ１０２から受信される要求は、増強モードが、複数の出力画像をステップ２１２において捕捉された１つの入力画像から発生させるために使用されるべきであることを規定し得る。例えば、要求は、入力画像が、入力撮像構成を使用して（例えば、１０倍対物レンズ１０６を使用して）捕捉されるべきであって、第１および第２の出力画像が、第１の出力撮像構成（例えば、２０倍対物レンズ１０６を使用して）および第２の出力撮像構成（例えば、３０倍対物レンズ１０６を使用して）に従って発生させられるべきであることを規定し得る。そのような要求に応答して、コントローラ１０２は、入力撮像構成および第１の出力撮像構成に関連付けられる第１の訓練モデルと、入力撮像構成および第２の出力撮像構成に関連付けられる、第２の訓練モデルとをロードする。その後、コントローラ１０２は、機械学習システム１２８の第１および第２のインスタンスを第１および第２の訓練モデルで訓練する。そのような実施形態では、コントローラ１０２は、画像発生器１２２に、それによって発生させられた入力画像を訓練された機械学習システム１２８の第１および第２のインスタンスのそれぞれへの入力として提供するように指示し、訓練された機械学習システム１８２の各インスタンスは、それぞれ、そのような入力画像に応答して、第１および第２の出力画像を発生させる。コントローラ１０２は、第１および第２の出力画像を受信し、そのような出力画像（および随意に、入力画像）をユーザコンピュータ１２４に伝送する。
【0042】
ステップ２０４において、コントローラ１０２が、データベース１２６が、ステップ２０２において要求とともに受信される出力撮像構成に関連付けられた訓練モデルを含まないことを決定する場合、コントローラ１０２は、ステップ２０７において、要求に規定される出力撮像構成に従って、ＨＣＩＳ１００を構成する。ステップ２１８では、コントローラ１０２は、画像センサ１１０および／または画像発生器１２２に、画像を捕捉するように指示する。ステップ２２０では、コントローラ１０２は、捕捉された画像を画像発生器１２２から受信し、ステップ２１６では、コントローラ１０２は、捕捉された画像をコンピュータ１２４に伝送する。
【0043】
いくつかの実施形態では、コントローラ１０２は、好適な訓練モデルが、ステップ２０４において識別されない場合、自動的に、ステップ２０７－２１６を行う。他の実施形態では、コントローラ１０２は、ステップ２０７において、コンピュータ１２４に、そのユーザに、好適な訓練モデルがデータベース１２６内で利用不可能であることを通知するように命令する。いくつかの実施形態では、コントローラ１０２はさらに、コンピュータ１２４（また、ステップ２０７において）に、ＨＣＩＳ１００がステップ２０２において受信される出力撮像構成に従って構成されるべきかどうかをユーザにプロンプトするように命令する。コンピュータ１２４が、コントローラ１０２に、ユーザがそのようなプロンプトに対して肯定的に応答したことを伝送する場合、コントローラ１０２は、ステップ２０７－２１６を行う。
【0044】
図１を参照すると、ＨＣＩＳ１００のいくつかの実施形態は、機械学習システム訓練器１３０を含み、ＨＣＩＳ１００と併用するための追加の訓練モデルを展開し、追加の増強機能性を提供する。
【0045】
図３は、機械学習システム１２８と併用するための新しい訓練モデルを展開するための機械学習システム訓練器１３０によって行われるステップのフローチャート３００である。図１および３を参照すると、ステップ３０２では、機械学習システム訓練器１３０は、新しい訓練モデルを展開するための要求を受信する。要求は、新しい訓練モデルに関連付けられた入力撮像構成と、出力撮像構成とを含む。
【0046】
ステップ３０４では、機械学習システム訓練器１３０は、マイクロプレートがＨＣＩＳ１００内に装填されていることの指示を受信する。
【0047】
ステップ３０６では、機械学習システム訓練器１３０は、コントローラ１０２にステップ３０２において受信される要求に規定される入力撮像構成に従って、ＨＣＩＳ１００を構成するように指示する。ステップ３０８では、機械学習システム訓練器１３０は、コントローラ１０２に、複数の訓練画像を捕捉し、そのような画像を機械学習システム訓練器１３０および機械学習システム１２８によってアクセス可能なデータ記憶装置（図示せず）内に記憶するように指示する。
【0048】
ステップ３１０では、機械学習システム訓練器１３０は、コントローラ１０２に、ステップ３０２において受信される要求に規定される出力撮像構成に従って、ＨＣＩＳ１００を構成するように指示する。ステップ３１２では、機械学習システム訓練器１３０は、コントローラ１０２に、複数のグランドトゥルース画像を入手するように指示する。各グランドトゥルース画像は、ステップ３０８において捕捉された特定の訓練画像に関連付けられる。そのようなグランドトゥルース画像および特定の訓練画像は両方とも、それぞれ、マイクロプレート１１８内に配置される生物学的サンプル１１４の同じ部分の入力撮像構成および出力撮像構成を使用して撮影される画像である。
【0049】
いくつかの実施形態では、機械学習システム訓練器１３０は、出力撮像構成に従って、追加の画像処理機能を各グランドトゥルース画像に適用し得る。そのような追加の画像処理機能は、レンズ像面湾曲補正、逆畳み込み、コントラスト増強、陰影補正、画像平坦化、画像伸展、雑音除去等を含み得る。
【0050】
ステップ３１４では、機械学習システム訓練器１３０は、第１の複数の訓練画像の一部と、第１の一部内のそのような訓練画像に対応するグランドトゥルース画像とを使用して、機械学習システム１２８を訓練する。特に、機械学習システム訓練器１３０は、第１の訓練画像の一部のうちの選択された１つを用いて、機械学習システム１２８を動作させ、機械学習システム１２８によって発生させられる、予測される画像を受信する。予測される画像のピクセル毎に、機械学習システム訓練器１３０は、そのような予測されるピクセルと選択された訓練画像に関連付けられるグランドトゥルース画像の対応するピクセルとの間の誤差値を計算する。そのような誤差値は、例えば、加重された分類別クロスエントロピ関数等の損失関数を使用して、計算され得る。予測される画像のピクセルの全てに関して計算される誤差値が、当業者によって理解されるであろうように、例えば、逆伝搬を使用して、機械学習システム１２８のパラメータを調節するために使用される。機械学習システム訓練器１３０は、そのような誤差値を展開し、第１の訓練画像の一部を備えている、画像の全てを用いて、パラメータを調節することを行う。
【0051】
ステップ３１６では、機械学習システム訓練器１３０は、ステップ３１４において展開された訓練された機械学習システムの性能を評価する。特に、機械学習システム訓練器１３０は、第２の訓練画像の一部を評価画像として選択し、評価画像のそれぞれを入力として機械学習システム１２８に提示する。機械学習システム１２８は、入力として提示される各評価画像に応答して、予測される画像を発生させる。評価画像毎に、機械学習システム訓練器１３０は、機械学習システム１２８によってそこから発生させられた予測される画像のピクセルと、そのような評価画像に関連付けられるグランドトゥルース画像の対応するピクセルを比較し、集約誤差値を展開する。このように展開された集約誤差値は全て、組み合わせられ、集約誤差計測値を形成する（例えば、予測される画像のピクセルのパーセントは、グランドトゥルース画像の対応するピクセルの所定の閾値内にある）。
【0052】
ステップ３１８では、機械学習システム訓練器１３０は、集約誤差計測値と所定の容認可能誤差を比較し、集約誤差計測値が、所定の誤差を上回る場合、機械学習システム訓練器１３０は、ステップ３１４に進み、さらに、訓練画像のさらなる一部および対応するグランドトゥルース画像を用いて、機械学習システム１２８を訓練する。いくつかの実施形態では、機械学習システム訓練器１３０は、コンピュータ１２４に、集約誤差計測値を表示し、そのようなコンピュータ１２４のユーザに、さらなる訓練することを行うかどうかをクエリするように命令し得る。他の実施形態では、機械学習システム訓練器１３０はまた、ステップ３１８において、訓練のために使用された訓練画像の数量、（ステップ３１４において）行われた訓練の反復の回数、連続訓練反復間の集約誤差計測値の改良率、訓練のために行われた時間の量、および当業者に明白な他のそのような条件に従って、追加の訓練を行うかどうかを決定する。追加の訓練が、正当化される場合、機械学習システム訓練器１３０は、ステップ３１４に進む。
【0053】
いくつかの実施形態では、評価画像から発生させられた予測される画像と評価画像に関連付けられるグランドトゥルース画像のピクセル毎比較に依存しない、計測値が、展開され得る。例えば、機械学習システム訓練器１３０は、物体分類動作を予測される画像およびグランドトゥルース画像上で起動し、各画像内で識別された物体の数およびタイプを比較し得る。合致する、各タイプの物体のパーセントが、訓練された機械学習システム１２８の性能を評価し、集約計測値を展開し、および／またはコンピュータ１２４のユーザに提示するために使用され得る。
【0054】
ある場合、機械学習システム訓練器１３０は、ステップ３１８において、集約誤差計測値が所定の容認可能誤差を上回るが、追加の訓練が正当化されない（例えば、集約誤差計測値が改良していない場合）ことを決定し得る。そのような場合、機械学習システム訓練器１３０は、コンピュータに、集約誤差計測値が、所定の容認可能誤差を上回るが、追加の訓練を行わないことのメッセージとともに、そのような集約誤差計測値を表示するように命令し得る。
【0055】
ステップ３１８において、機械学習システム訓練器１３０が、追加の訓練が行われないことを決定する場合、ステップ３２０において、機械学習システム訓練器１３０は、訓練された機械学習システム１２８のパラメータを読み出し、そのようなパラメータをデータベース１２６内に、ステップ３０２において受信される入力および出力撮像構成に関連付けられる訓練モデルを保存する。その後、機械学習システム訓練器１３０は、終了する。
【0056】
いくつかの実施形態では、ステップ３２０において、機械学習システム訓練器１３０は、記憶のために、それによって展開された訓練モデルをユーザコンピュータ１２４またはＨＩＣＳ１００から遠隔の別のコンピュータに伝送する。
【0057】
ＨＣＩＳ１００は、当業者に明白なロボットマイクロプレート装填器（図示せず）を含んでもよく、ＨＣＩＳ１００は、複数のマイクロプレート１１８のウェル１１６の画像を自動的に発生させるように動作させられ得る。図４は、ＨＣＩＳ１００をこのように動作させるためにコントローラ１０２によって行われるステップのフローチャート４００である。
【0058】
ユーザは、撮像されるべきマイクロプレート１１８をマイクロプレート装填器の保持面積の中に装填し、コンピュータ１２４に、装填されているマイクロプレート１１８を走査するための要求をＨＣＩＳ１００に送信するように指示する。
【0059】
図１および４を参照すると、ステップ４０２では、コントローラ１０２は、出力撮像構成を含む、撮像するための要求をコンピュータ１２４から受信する。ステップ４０４では、コントローラ１０２は、ロボットマイクロプレート装填器に、第１のマイクロプレートを装填するように指示する。
【0060】
ステップ４０６では、コントローラ１０２は、データベース１２６を選択し、そこから出力撮像構成に関連付けられる訓練モデルをロードする。特に、コントローラ１０２は、出力撮像構成に関連付けられた訓練モデルを選択する。
【0061】
ステップ４０８では、コントローラ１０２は、ステップ４０６において選択された訓練モデルに関連付けられた入力撮像構成に従って、ＨＣＩＳ１００を構成し、マイクロプレート１１８内に配置されるサンプル１１４の１つ以上の試験画像を発生させ、そのような試験画像をコンピュータ１２４に伝送し、そのような試験画像毎に、図２に示されるステップ２１２－２１６と同じであるステップを行う。加えて、コントローラ１０２は、コンピュータ１２４に、そのような試験画像を表示し、ユーザに、画像が容認可能であることを確認するようにプロンプトするように命令する。
【0062】
ステップ４１０では、コントローラ１０２は、ユーザが試験画像が容認可能であることを示したかどうかをチェックし、ステップ４１２に進む。そうでなければ、ステップ４１４では、コントローラ１０２は、ＨＣＩＳ１００への追加の調節（例えば、照明の変更、焦点の変更、入力および／または出力撮像構成の変更、サンプルの変更、機械学習システム１２８のアーキテクチャの変更、機械学習システム１２８のハイパーパラメータの変更等）または出力撮像構成を受信する。コントローラ１０２は、調節に従って、ＨＣＩＳ１００の構成要素を調節する。その後、コントローラ１０２は、ステップ４０６に戻る。ステップ４０６では、出力撮像構成が、変更された場合、コントローラ１０２は、修正された出力撮像構成に関連付けられた訓練モデルをロードする。
【0063】
いくつかの実施形態では、ユーザは、ステップ４１４において、構成を調節し、よりロバストな訓練モジュールを構築し得る。例えば、ユーザは、コントローラ１０２に、それぞれ、１０、５０、および２００ミリ秒の露光を使用して捕捉された、複数の第１、第２、および第３の訓練画像の組と、１，０００ミリ秒の露光を使用して捕捉された、グランドトゥルース画像とを使用して、訓練モデルを展開するように指示し得る。代替として、ユーザは、コントローラ１０２に、異なる波長の光を使用して捕捉された、訓練蛍光画像を使用して、特定の出力撮像構成に関連付けられる出力画像を発生させる、モデルを展開するように指示し得る。複数の入力撮像構成を使用して展開され、１つの出力撮像構成に関連付けられた訓練モデルを使用して構成される、機械学習システムは、出力撮像構成に関連付けられる出力画像を複数の異なる入力撮像構成を使用して捕捉された入力画像から発生させることが可能であり得る。当業者によって理解されるであろうように、複数の異なる撮像構成は、訓練モデルを展開するために使用されるものに関連すべきである。
【0064】
ステップ４１２では、コントローラ１０２は、ステップ４０４において装填されるマイクロプレート１１８内のウェル１１６の全ての画像を自動的に発生させ、伝送する。当業者に明白であるはずであるように、発生させられた画像毎に、コントローラ１０２は、ステージ１０４を調節し、マイクロプレート１１８の撮像されていないウェル１１６（またはその一部）をレンズ１０６、照明源１０８、および画像センサ１１０に対して位置付ける。コントローラ１０２は、次いで、図２に示されるステップ２１２－２１６と同じであるステップを行い、そのようなウェル１１６の画像を取得し、入手された画像をコンピュータ１２４によってアクセス可能な画像記憶デバイス（図示せず）に伝送する。
【0065】
ステップ４１６では、コントローラ１０２は、任意の追加のマイクロプレートが撮像されるために残っているかどうかを決定する。該当する場合、コントローラ１０２は、ステップ４０４に進み、ロボットマイクロプレート装填器（図示せず）に、撮像されていないマイクロプレートをステージ１０４上に装填するように指示する。そうでなければ、コントローラ１０２は、終了する。
【0066】
図２を参照すると、機械学習システム１２８は、グラフィカル処理ユニット（ＧＰＵ）を使用して実装され得ることが当業者に明白であるはずである。また、図２および５を参照すると、機械学習システム１２８は、機械学習システムコントローラ５００と、１つ以上のＧＰＵ５０２とを含む。ステップ２０８（図２）では、コントローラ１０２は、機械学習システムコントローラ５００に、各ＧＰＵ５０２をステップ２０６（図２）において選択された訓練モデルで構成するように指示する。その後、画像発生器１２２は、それによって発生させられた各画像を機械学習システムコントローラ５００に提供する。機械学習システムコントローラ５００は、使用中ではない、ＧＰＵ５０２を選択し、発生させられた画像をそこに処理のために転送する。各ＧＰＵ５０２が、出力画像の発生を完了させるにつれて、機械学習システムコントローラ５００は、そのようなＧＰＵによって展開された出力画像を受信し、そのような出力画像をコントローラ１０２に転送し、これは、ひいては、出力画像をコンピュータ１２４に伝送する。このように、図５に図示される自動化された走査プロセスは、高スループット様式において実装され得る。さらに、ＨＣＩＳ１００の性能は、その中に含まれるＧＰＵ５０２の数に従って、スケーリングアップまたはダウンされ得る。さらに、機械学習システムコントローラ５００は、ＨＣＩＳ１００内にインストールされるＧＰＵおよび／またはＡｍａｚｏｎ ＡＷＳ、Ｇｏｏｇｌｅ Ｃｌｏｕｄ等のクラウドサービスプロバイダを通して利用可能なＧＰＵのインスタンスを使用し得ることが明白であるはずである。
【0067】
再び図１を参照すると、いくつかの実施形態では、機械学習システム１２８は、畳み込みニューラルネットワークである。いくつかの実施形態では、機械学習システムまたはニューラルネットワーク１２８は、Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， ＣａｌｉｆｏｒｎｉａのＧｏｏｇｌｅ Ｉｎｃ．によって開発されたＡｕｔｏＭＬおよびＮＡＳＮｅｔ技術を使用して構成される。例えば、完全畳み込みＤｅｎｓｅＮｅｔ、マシンビジョン用途のために最適化されたニューラルネットワーク等を含む、当業者に公知の他のニューラルネットワーク技術も、使用され得ることが明白であるはずである。機械学習システム１２８は、ランダムフォレストツリーおよび同等物を含む、別のタイプの機械学習システムであり得ることが明白であるはずである。
【0068】
前述に説明される実施形態は、出力撮像構成に関連付けられる出力画像をＨＣＩＳ１００の異なる入力撮像構成を使用して捕捉された入力画像から発生させるためのＨＣＩＳ１００内の機械学習システム１２８の使用を対象とするが、当業者は、そのような実施形態が、他のタイプの顕微鏡検査および／または撮像システムと併用するために適合され得ることを理解するであろう。
【0069】
前述に説明されるＨＣＩＳ１００は、個々の２次元画像を発生させるために使用されるものとして説明されるが、そのようなＨＣＩＳ１００は、そのようなサンプル１１４の３次元表現を表す、異なる焦点において撮影された、マイクロプレート１１８上に配置されるサンプル１１４の一連の２次元透過光画像を発生させるように適合され得、そのような一連を備えている、画像は、マイクロプレート１１８の実質的に同じ場所に関連付けられ、一連の対応する画像は、異なる焦点（すなわち、異なるＺ場所）に関連付けられる。いくつかの実施形態では、一連を備えている、画像は全て、同時に、機械学習システム１２８に提供され得、機械学習システム１２８は、一連の対応する出力画像を発生させる。
【0070】
いくつかの実施形態では、機械学習システム１２８は、超分解能を３次元で実施するように訓練され得る。例えば、そのような機械学習システム１２８は、出力される一連の画像を入力される一連の捕捉された画像から発生させ得る。例えば、入力される一連の画像は、複数の捕捉された画像を備え得、連続する捕捉された画像間の焦点距離は、第１の所定の量だけ変動させられる。発生させられた出力される一連の画像は、ＨＣＩＳ１００が連続画像間の焦点距離を第２の所定の量だけ変動させるように動作させられる場合に捕捉されたであろう、一連の画像を表す、一連の画像を備えている。典型的に、第２の所定の量は、第１の所定の量より小さいであろう。例えば、入力される一連の連続画像間の焦点距離は、２ミクロンだけ変動させられ得、機械学習システム１２８は、そのような入力される一連から、焦点距離が０．５ミクロンだけ変動させられる場合に捕捉されたであろう、連続画像を表す、出力される一連を発生させ得る。訓練モデルは、図３に関連して上で説明されるステップを使用して、そのような超分解能を実施するように、機械学習システム１２８を訓練するために展開され得ることが当業者に明白となるはずである。
【0071】
前述の開示は、例えば、共焦点顕微鏡検査システム、構造化された照明を使用する、顕微鏡検査システム等の他のタイプの撮像システムに適用され得ることが当業者に明白となるはずである。さらに、第１のタイプのＨＣＩＳ（例えば、広視野顕微鏡検査）に関連付けられる撮像構成と、第２のタイプのＨＣＩＳ（例えば、共焦点顕微鏡検査）を伴う出力撮像構成に関連付けられる訓練モデルが、訓練された機械学習システムを展開するように、訓練されていない機械学習システムを構成するために使用され得ることが明白である。訓練された機械学習システムを有する、第１のタイプのＨＣＩＳは、次いで、第２のタイプのＨＣＩＳを使用して捕捉された画像を表す、出力画像を発生させるために使用され得る。
【0072】
ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書に説明されるＨＣＩＳ１００を実装するために使用され得ることが、当業者に明白となるはずである。図１－５に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものが、１つ以上の電子またはデジタル制御デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図１－５に図式的に描写される機能的システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等の好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐し得る。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態において、またはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリスティングを含み得る。命令は、処理モジュールまたはコントローラ（例えば、図１のコントローラ１０２、画像発生器１２２、機械学習システム１２８、および機械学習システム訓練器１３０および図５の機械学習システムコントローラ５００およびＧＰＵ５０２）内で実行され得、これは、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む。さらに、概略図は、アーキテクチャまたは機能の物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成において実装され、単一のハードウェア／ソフトウェアユニットにおける、または別個のハードウェア／ソフトウェアユニットにおけるハードウェア／ソフトウェア構成要素として動作し得る。
【0073】
実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、またはデバイスからの命令を選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のための任意の非一過性コンピュータ読み取り可能な記憶媒体において選択的に具現化され得る。本書の文脈では、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ読み取り可能な記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイスであり得る。非一過性コンピュータ読み取り可能な媒体のより具体的な例の非網羅的リストは、１つ以上のワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性メモリ（電子）、読み取り専用メモリ（電子）、例えば、フラッシュメモリ等の消去可能プログラマブル読み取り専用メモリ（電子）、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等のコンパクトディスクメモリ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。
【0074】
また、本書に使用されるような信号またはデータの受信および伝送は、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して互いに通信することが可能であることを意味することを理解されたい。信号は、通信、電力、データ、またはエネルギー信号であってもよく、これは、情報、電力、またはエネルギーを第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の信号経路に沿って通信し得る。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含み得る。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の追加のシステム、デバイス、構成要素、モジュール、またはサブモジュールを含み得る。
【0075】
本明細書に引用される、刊行物、特許出願、および特許を含む全ての参考文献は、各参考文献が個々かつ具体的に参照することによって組み込まれることが示され、その全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。
【0076】
本発明を説明する文脈における（特に、以下の請求項の文脈における）用語「ａ」および「ａｎ」および「ｔｈｅ」および類似する言及の使用は、別様に本明細書に示されない、または文脈によって明確に矛盾しない限り、単数形および複数形の両方を網羅するように解釈されるものである。本明細書における値の範囲の列挙は、単に、別様に本明細書に示されない限り、範囲内に該当する各別個の値に個々に言及する略記法としての役割を果たすことを意図しており、各別個の値は、これが本明細書に個々に列挙される場合と同様に本明細書に組み込まれる。本明細書に説明される全ての方法は、別様に本明細書に示されない、または別様に文脈によって明確に矛盾しない限り、任意の好適な順序で実施されることができる。本明細書に提供されるありとあらゆる例または例示的言語（例えば、「等」）の使用は、単に、本開示をより良好に解明することを意図しており、別様に請求されない限り、本開示の範囲に対する限定を課さない。本明細書におけるいかなる言語も、任意の非請求要素を本開示の実践に不可欠として示すように解釈されるべきではない。
【0077】
本開示への多数の修正が、前述の説明の観点から当業者に明白となるであろう。例証される実施形態が、例示的にすぎず、本開示の範囲を限定するものとして捉えられるべきではないことを理解されたい。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図2】
【国際調査報告】