特許 7477517 画像分析システムおよび画像分析システムを使用する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-22

(45)【発行日】2024-05-01

(54)【発明の名称】画像分析システムおよび画像分析システムを使用する方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240423BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 26

(21)【出願番号】P 2021542399

(86)(22)【出願日】2020-01-23

(65)【公表番号】

(43)【公表日】2022-03-15

(86)【国際出願番号】 US2020014696

(87)【国際公開番号】W WO2020154452

(87)【国際公開日】2020-07-30

【審査請求日】2023-01-20

(31)【優先権主張番号】16/254,823

(32)【優先日】2019-01-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】511227336

【氏名又は名称】モレキュラー デバイシーズ， エルエルシー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】コーエン， アブルム アイ．

(72)【発明者】

【氏名】ホン， ディフイ

(72)【発明者】

【氏名】ライン， スティーブン

【審査官】伊知地 和之

(56)【参考文献】

【文献】特表２０１７－５２０８２４（ＪＰ，Ａ）

【文献】国際公開第２０１８／２００８４０（ＷＯ，Ａ１）

【文献】特表２０１９－５００１１０（ＪＰ，Ａ）

【文献】特開２０１８－０２２２１６（ＪＰ，Ａ）

【文献】特開２０１８－１１９９６９（ＪＰ，Ａ）

【文献】特開２０１４－０４４０５０（ＪＰ，Ａ）

【文献】特開２０１８－１８５７５９（ＪＰ，Ａ）

【文献】池松大志 外５名，Ｄｅｅｐ Ｌｅａｒｎｉｎｇ画像認識エンジン生成作業効率化インターフェースの開発，電子情報通信学会技術研究報告 Ｖｏｌ．１１５ Ｎｏ．４１５，日本，一般社団法人電子情報通信学会，2016年01月14日，第115巻 第415号，pp.89～94

【文献】Ario SADAFI et al.，“Red Blood Cells Segmentation: A Fully Convolutional Network Approach”，2018 IEEE Intl Conf on Parallel & Distributed Processing with Applications, Ubiquitous Computing & Communications, Big Data & Cloud Computing, Social Computing & Networking, Sustainable Computing & Communications(ISPA/IUCC/BDCloud/SocialCom/SustainCom)，米国，IEEE，2018年12月，pp.911-914

【文献】Yousef Al-Kofahi et al.，A deep learning-based algorithm for 2-D cell segmentation in microscopy images，BMC Bioinformatics，ドイツ，Springer Nature，2018年10月03日，Vol.19, No.1，pp.1-11

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／６２ － ２１／７４

Ｇ０１Ｎ ３３／４８ － ３３／９８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像を分析するためのシステムであって、前記システムは、プログラマブルデバイスを含み、前記プログラマブルデバイスは、
前記プログラマブルデバイス上で動作するユーザインターフェースジェネレータであって、前記ユーザインターフェースジェネレータは、グラフィカルユーザインターフェースを生成するようにコンピュータに命令し、前記ユーザインターフェースジェネレータは、前記コンピュータから、生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信し、前記第１の画像および前記第１の画像分析ステップの規定は、前記グラフィカルユーザインターフェースを使用して展開される、ユーザインターフェースジェネレータと、
前記プログラマブルデバイス上で動作するシーケンサであって、前記シーケンサは、前記第１の画像分析ステップを前記第１の画像に適用することにより、注釈付き訓練データを展開する、シーケンサと、
前記プログラマブルデバイス上で動作する機械学習システム訓練器であって、前記機械学習システム訓練器は、訓練されていない機械学習システムを訓練することにより、訓練された機械学習システムを展開し、前記訓練された機械学習システムが前記第１の画像を入力として提示されると、前記訓練された機械学習システムは、前記注釈付き訓練データの予測を展開する、機械学習システム訓練器と
を備え、
前記シーケンサは、前記コンピュータから、前記グラフィカルユーザインターフェースを使用して展開されたワークフローの規定を受信し、前記ワークフローは、前記訓練された機械学習システムを動作させることを規定する第２の画像分析ステップを備え、前記シーケンサは、第２の画像に対して前記ワークフローを行うことにより、前記第２の画像を分析する、システム。

【請求項2】

前記注釈付き訓練データは、第１の注釈付き訓練データを備え、前記注釈付き訓練データの予測は、前記第１の注釈付き訓練データの第１の予測を備え、前記ユーザインターフェースジェネレータは、第３の画像分析ステップの規定を受信し、前記シーケンサは、前記第３の画像分析ステップを第３の画像に適用することにより、第２の注釈付き訓練データを展開し、前記機械学習システム訓練器は、前記訓練された機械学習システムが前記第１の画像を入力として提示されると、前記訓練された機械学習システムが前記第１の予測と前記第２の注釈付き訓練データの第２の予測とを同時に展開するように、前記第１の注釈付き訓練データおよび前記第２の注釈付き訓練データに従って、前記訓練されていない機械学習システムを訓練することにより、前記訓練された機械学習システムを展開する、請求項１に記載のシステム。

【請求項3】

前記第２の注釈付き訓練データは、複数の第２の注釈付き訓練データ値を備え、前記複数の第２の注釈付き訓練データ値のそれぞれは、前記第３の画像のピクセルに対応し、前記第３の画像分析ステップは、同じ値を有する前記第３の画像内の隣接するピクセルの群を識別することと、前記群を構成する前記ピクセルに関連付けられている前記第２の注釈付き訓練データ値を、前記群を構成するピクセルの数に関連付けられている所定の値に設定することとを前記シーケンサに行わせる、請求項２に記載のシステム。

【請求項4】

前記システムは、前記プログラマブルデバイス上で動作する画像エディタをさらに備え、前記シーケンサは、前記第１の画像分析ステップを適用することによって、前記第１の画像から中間画像を展開し、前記ユーザインターフェースジェネレータは、画像編集命令を受信し、前記画像エディタは、前記画像編集命令を前記中間画像に適用することにより、前記注釈付き訓練データを展開する、請求項１に記載のシステム。

【請求項5】

前記中間画像は、複数のピクセルを備え、前記複数のピクセルのそれぞれは、前記第１の画像のピクセルに対応し、かつ、前記第１の画像のピクセルによって表される物体の特性に関連付けられている値または背景値を有する、請求項４に記載のシステム。

【請求項6】

前記画像編集命令は、前記複数のピクセルのうちの１つの値を、前記特性に関連付けられている値から前記背景値に修正することを前記画像エディタに行わせる、請求項５に記載のシステム。

【請求項7】

前記プログラマブルデバイスは、第１のプログラマブルデバイスを備え、前記シーケンサは、第１のシーケンサを備え、前記機械学習システム訓練器は、第１の機械学習システム訓練器を備え、前記訓練された機械学習システムは、第１の訓練された機械学習システムを備え、前記ワークフローは、第１のワークフローを備え、前記システムは、前記第１のプログラマブルデバイスから遠隔の第２のプログラマブルデバイス上で動作する第２のシーケンサおよび第２の機械学習システム訓練器をさらに備え、前記第２の機械学習システム訓練器は、前記第１の訓練された機械学習システムに関連付けられているパラメータを使用して、訓練されていない機械学習システムを構成することにより、第２の訓練された機械学習システムを展開し、前記第２のシーケンサは、前記第２の訓練された機械学習システムを動作させるステップを規定する第２のワークフローの規定を受信し、前記第２のワークフローを第３の画像に適用することにより、前記第３の画像を分析する、請求項１に記載のシステム。

【請求項8】

前記ユーザインターフェースジェネレータは、第３の画像の規定を受信し、前記シーケンサは、前記第３の画像から第２の注釈付きデータを展開し、前記機械学習システム訓練器は、前記第３の画像および前記第２の注釈付き訓練データを使用することにより、前記訓練された機械学習システムの訓練を更新する、請求項１に記載のシステム。

【請求項9】

前記訓練された機械学習システムは、ニューラルネットワークを備え、機械学習システム訓練器は、転移学習を使用することにより、前記訓練された機械学習システムの訓練を更新する、請求項８に記載のシステム。

【請求項10】

第１の画像は、前記生物学的サンプルの３次元表現を表す第１の一連の画像のうちの１つであり、前記注釈付き訓練データは、前記第１の一連の画像の全てから展開され、前記機械学習システム訓練器は、前記第１の一連の画像の全てを前記機械学習システムに入力として同時に提供することにより、前記機械学習システムを訓練し、これにより、所定の誤差内の前記注釈付き訓練データの予測を生成する、請求項１に記載のシステム。

【請求項11】

前記注釈付き訓練データは、前記第１の一連の画像から展開された共焦点画像である、請求項１０に記載のシステム。

【請求項12】

前記ユーザインターフェースジェネレータは、前記生物学的サンプルの第３の画像の規定を受信し、前記シーケンサは、前記第１の画像および前記第３の画像から前記注釈付き訓練データを展開する、請求項１に記載のシステム。

【請求項13】

前記シーケンサは、第２の画像分析ステップを前記生物学的サンプルの第３の画像に適用することにより、前記注釈付き訓練データセットを展開し、前記第１の画像および前記第３の画像は、複数の異なる照明条件および光学条件および撮像条件のうちの１つ以上を使用して入手される、請求項１に記載のシステム。

【請求項14】

前記第１の画像の規定は、画像リポジトリ内の第１の画像の場所を規定することを含む、請求項１に記載のシステム。

【請求項15】

前記画像リポジトリは、前記プログラマブルデバイスから遠隔の場所にある、請求項１４に記載のシステム。

【請求項16】

画像を分析するための方法であって、
前記方法は、プログラマブルデバイスを動作させることにより、
グラフィカルユーザインターフェースを生成するようにコンピュータに命令するステップと、
前記コンピュータから、生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信するステップであって、前記第１の画像および前記第１の画像分析ステップの規定は、前記グラフィカルユーザインターフェースを使用して展開される、ステップと、
前記第１の画像分析ステップを前記第１の画像に適用することによって、注釈付き訓練データを展開するステップと、
訓練されていない機械学習システムを訓練することにより、訓練された機械学習システムを展開するステップであって、前記訓練された機械学習システムが前記第１の画像を入力として提示されると、前記訓練された機械学習システムは、所定の誤差内の前記注釈付き訓練データの予測を展開する、ステップと、
前記コンピュータから、前記グラフィカルユーザインターフェースを使用して展開されたワークフローの規定を受信するステップであって、前記ワークフローは、第２の画像分析ステップを備え、前記第２の画像分析ステップは、前記訓練された機械学習システムを動作させるステップを含む、ステップと、
第２の画像に対して前記ワークフローを行うことにより、前記第２の画像を分析するステップと
を行うステップを含む、方法。

【請求項17】

前記注釈付き訓練データは、第１の注釈付き訓練データを備え、前記注釈付き訓練データの予測は、前記第１の注釈付き訓練データの第１の予測を備え、前記プログラマブルデバイスを動作させることにより、第３の画像分析ステップの規定を受信するステップと、前記第３の画像分析ステップを第３の画像に適用することにより、第２の注釈付き訓練データを展開するステップと、前記訓練された機械学習システムが前記第１の画像を入力として提示されると、前記訓練された機械学習システムが前記第１の予測と前記第２の注釈付き訓練データの第２の予測とを同時に展開するように、前記訓練されていない機械学習システムを訓練することにより、前記訓練された機械システムを展開するステップとをさらに行う、請求項１６に記載の方法。

【請求項18】

前記第２の注釈付き訓練データは、複数の第２の注釈付き訓練データ値を備え、前記複数の第２の注釈付き訓練データ値のそれぞれは、前記第３の画像のピクセルに対応し、前記プログラマブルデバイスを動作させることにより、同じ所定の値を有する前記第３の画像内の隣接するピクセルの群を識別するステップと、前記群を構成する前記ピクセルに関連付けられている前記第２の注釈付き訓練値を、前記群を構成するピクセルの数に関連付けられている所定の値に設定するステップとをさらに行う、請求項１７に記載の方法。

【請求項19】

前記プログラマブルデバイスを動作させることにより、前記注釈付き訓練データを展開することは、前記第１の画像分析ステップを適用することによって前記第１の画像から中間画像を展開することと、画像編集命令を受信することと、前記画像編集命令を前記中間画像に適用することにより、前記注釈付き訓練データを展開することとを含む、請求項１６に記載の方法。

【請求項20】

前記中間画像は、複数のピクセルを備え、前記複数のピクセルのそれぞれは、前記第１の画像のピクセルに対応し、かつ、前記第２の画像のピクセルによって表される物体の特性に関連付けられている値または背景値を有する、請求項１９に記載の方法。

【請求項21】

前記プログラマブルデバイスを動作させることにより、前記画像編集命令を行うことは、前記複数のピクセルのうちの１つの値を、前記特性に関連付けられている値から前記背景値に修正することを前記プログラマブルデバイスに行わせる、請求項２０に記載の方法。

【請求項22】

前記プログラマブルデバイスは、第１のプログラマブルデバイスを備え、前記ワークフローは、第１のワークフローを備え、前記訓練された機械学習システムは、第１の訓練された機械学習システムを備え、前記方法は、前記第１のプログラマブルデバイスから遠隔の第２のプログラマブルデバイスを動作させることにより、前記第１の機械学習システムに関連付けられているパラメータを使用して、訓練されていない機械学習システムを構成することにより、第２の訓練された機械学習システムを展開するステップと、前記第２の訓練された機械学習システムを動作させるステップを規定する第２のワークフローの規定を受信するステップと、前記第２のワークフローを第３の画像に適用することにより、前記第３の画像を分析するステップとを行うステップをさらに含む、請求項１６に記載の方法。

【請求項23】

前記方法は、前記プログラマブルデバイスを動作させることにより、第３の画像の規定を受信するステップと、前記第３の画像から第２の注釈付きデータを展開するステップと、前記第３の画像および前記第２の注釈付き訓練データを使用して、前記訓練された機械学習システムの訓練を更新するステップとを行うステップをさらに含む、請求項１６に記載の方法。

【請求項24】

前記訓練された機械学習システムは、ニューラルネットワークを備え、前記訓練された機械学習システムの訓練を更新するステップは、転移学習を使用するステップを含む、請求項２３に記載の方法。

【請求項25】

前記第１の画像は、前記生物学的サンプルの３次元表現を表す第１の一連の画像のうちの１つであり、前記注釈付き訓練データを展開するステップは、前記第１の一連の画像の全てから前記注釈付き訓練データを展開するステップを含み、前記機械学習システムを訓練するステップは、前記第１の一連の画像の全てを前記機械学習システムに入力として提供するステップを含む、請求項１６に記載の方法。

【請求項26】

前記注釈付き訓練データを展開するステップは、前記第１の画像および第３の画像から前記注釈付き訓練データを展開するステップを含む、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１９年１月２３日に出願された米国出願第１６／２５４，８２３号の優先権を主張する。

【0002】

本主題は、生物学的サンプルの画像を分析するための画像分析システムに関し、より具体的には、そのような画像分析システム内に機械学習システムを組み込むことに関する。

【背景技術】

【0003】

撮像システムが、生物学的サンプルの顕微鏡画像を取得するために使用され得る。そのような画像は、その中の着目物体（細胞、小器官、および同等物）と関連付けられる画像のピクセルを識別し、画像内に表される異なるタイプの着目物体を分類し、そのような着目物体またはその一部および同等物に関するメトリックを取得するために、画像分析システムを使用して処理され得る。そのようなメトリックは、例えば、着目物体のカウント、生物学的サンプル内に表される各タイプの着目物体のカウント、細胞のサイズ（面積、周囲長、体積）、着目物体のサイズの統計（平均値、最頻値、中央値、標準偏差等）、および同等物を含み得る。

【0004】

いくつかの画像分析システムは、オペレータが、生物学的サンプルの１つ以上の画像を分析するためのワークフローを双方向的に規定し、出力画像を作成することを可能にする。出力画像の各ピクセルは、生物学的サンプルの画像の対応するピクセルと関連付けられ、出力画像のピクセルの値は、生物学的サンプルの画像の対応するピクセルが、細胞、細胞の特定のタイプの成分、特定のタイプの細胞、またはある特性を有する細胞、および同等物等の着目物体と関連付けられるかどうかを示す。

【0005】

画像分析システムを使用して規定されるワークフローは、生物学的サンプルの画像または事前の画像分析ステップから発生される画像に適用するべき画像分析ステップのシーケンス、およびそのような画像分析ステップに関するパラメータを含む。典型的には、ワークフローを構成する画像分析ステップのシーケンスおよびそれに関するパラメータは、例示的生物学的サンプルの１つ以上の画像を使用して定義される。例えば、オペレータは、撮像システムから入手される、または以前の画像分析ステップを行うことからもたらされるもののいずれかの１つ以上の画像を選択する。オペレータはまた、選択された画像を使用して行うべき画像分析ステップを利用可能な画像分析ステップのライブラリから選択し、画像分析ステップの出力に対するそのような調節の効果を確認しながら、選択された画像分析ステップと関連付けられるパラメータを反復的に調節する。その後、パラメータのそのような調節が、オペレータの期待に応える出力をもたらす場合、オペレータは、選択された画像分析ステップおよびそれと関連付けられるパラメータをワークフローに追加する。そうでなければ、オペレータは、異なる画像分析ステップを選択する、またはワークフローの作成を終了し得る。オペレータは、ワークフローの出力が満足の行くものになるまで、このようにワークフローを展開し続ける。オペレータが、画像分析ステップおよびそのようなステップが行われるべきであるシーケンスの全てを選択した後、画像分析システムは、１つ以上の付加的画像に対してワークフローを適用し、そのような画像を分析し得る。

【0006】

ワークフローを構成するいくつかの画像分析ステップは、例えば、特定の照明条件を使用する、蛍光の間、発光体と生物学的サンプルとの間で１つ以上のフィルタを使用する、生物学的サンプルと画像捕捉デバイスとの間で１つ以上のフィルタを使用する、特定の対物レンズ使用する、および同等物等の特定の条件下の生物学的サンプルの１つ以上の画像の入手と関連付けられる。いくつかの画像分析ステップは、画像処理動作を使用し、入手された画像および／または別の画像分析ステップを行う結果として発生された画像を処理するステップを含み得る。そのような画像処理動作は、アンシャープマスキングフィルタ、閾値フィルタ、エッジ検出フィルタ、平滑フィルタ、および同等物等の１つ以上の画像処理フィルタを１つ以上の画像に適用するステップを含み得る。ワークフローにおいて規定される画像処理動作はまた、１つ以上の捕捉された画像を相互と組み合わせること、１つ以上の捕捉された画像を事前の画像処理動作によって発生された１つ以上の画像と組み合わせること、および同等物によって画像を発生させるステップを含み得る。画像処理動作はさらに、画像内の異なるタイプの物体（例えば、細胞またはその一部）をカウントする測定動作および上記に説明されるようなそのような物体と関連付けられる測定メトリックを含み得る。

【0007】

「ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＳＹＳＴＥＭ ＰＲＯＶＩＤＩＮＧ ＳＥＬＥＣＴＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ ＦＯＲ ＡＮ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＳＥＱＵＥＮＣＥ」と題された、Ｃｏｈｅｎ ｅｔ ａｌ．の米国特許第８，５７７，０７９号は、そのような画像分析システムを開示している。加えて、「ＳＹＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＩＭＡＧＥ ＡＮＡＬＹＳＩＳ ＯＦ ＭＵＬＴＩ－ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡ」と題された、Ｃｏｈｅｎ ｅｔ ａｌ．の米国特許第９，９２８，４０３号は、多次元画像のために使用され得るワークフローを規定および適用するための別のそのような画像分析システムを開示している。これらの特許の両方の全内容は、参照することによって本明細書に組み込まれる。

【0008】

１つ以上の画像を分析するように訓練されている、訓練された機械学習システムをワークフローの中に組み込むことが、有用であろう。しかしながら、そのような訓練された機械学習システムは、その中に表される、例えば、細胞またはその小器官と関連付けられるピクセル、細胞のタイプ、および同等物等の特定の特性に関して特定のタイプの生物学的サンプルの画像を分析する必要性があるであろう。１つのタイプの生物学的サンプルを分析するように訓練された機械学習システムは、別のタイプの生物学的サンプルを分析するために有用ではない場合がある。さらに、機械学習システムの訓練は、典型的には、人工知能および／または機械学習における専門知識を要求しており、したがって、そのそれぞれが、特定のタイプの生物学的サンプルを分析するように訓練される、種々の訓練された機械学習システムを展開することは、実行可能ではなかった。画像分析システムが、オペレータが、特定の特性に関して特定のタイプの生物学的サンプルを分析するように機械学習システムを容易に訓練し、そのような訓練された機械学習システムを、画像分析システムを使用して展開されたワークフロー内に組み込むことを可能にする特徴を含む場合、有用であろう。

【発明の概要】

【課題を解決するための手段】

【0009】

一側面によると、画像を分析するためのシステムは、非一過性プログラマブルデバイスを含み、非一過性プログラマブルデバイス上で動作する、ユーザインターフェースジェネレータと、シーケンサと、機械学習システム訓練器とを備える。ユーザインターフェースジェネレータは、生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信し、シーケンサは、第１の画像分析ステップを第１の画像に適用し、注釈付き訓練データを展開する。機械学習システム訓練器は、訓練されていない機械学習システムを訓練し、訓練された機械学習システムを展開し、訓練された機械学習システムが、入力として第１の画像を提示されると、訓練された機械学習システムは、注釈付き訓練データの予測を展開する。加えて、シーケンサは、訓練された機械学習システムを動作させるステップを規定する第２の画像分析ステップを備えるワークフローの規定を受信し、シーケンサは、第２の画像に対してワークフローを行い、第２の画像を分析する。

【0010】

別の側面によると、画像を分析するための方法は、非一過性プログラマブルデバイスを動作させ、生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信するステップを行うステップを含む。非一過性プログラマブルデバイスは、加えて、第１の画像分析ステップを第１の画像に適用することによって注釈付き訓練データを展開するステップと、訓練されていない機械学習システムを訓練し、訓練された機械学習システムを展開するステップとを行う。訓練された機械学習システムが、入力として第１の画像を提示されると、訓練された機械学習システムは、注釈付き訓練データの予測を展開する。非一過性プログラマブルデバイスは、さらに、第２の画像分析ステップを備えるワークフローの規定を受信するステップであって、第２の分析ステップは、訓練された機械学習システムを動作させるステップを含む、ステップと、第２の画像に対してワークフローを行い、第２の画像を分析するステップとを行う。

【0011】

他の側面および利点が、同様の番号が本明細書全体を通して同様の構造を指定する、以下の詳細な説明および添付される図面の考慮に応じて明白となるであろう。
本発明は、例えば、以下を提供する。
（項目１）
画像を分析するためのシステムであって、前記システムは、非一過性プログラマブルデバイスを含み、
前記非一過性プログラマブルデバイス上で動作するユーザインターフェースジェネレータであって、前記ユーザインターフェースジェネレータは、生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信する、ユーザインターフェースジェネレータと、
前記非一過性プログラマブルデバイス上で動作するシーケンサであって、前記シーケンサは、前記第１の画像分析ステップを前記第１の画像に適用し、注釈付き訓練データを展開する、シーケンサと、
前記非一過性プログラマブルデバイス上で動作する機械学習システム訓練器であって、前記機械学習システム訓練器は、訓練されていない機械学習システムを訓練し、訓練された機械学習システムを展開し、前記訓練された機械学習システムが、入力として前記第１の画像を提示されると、前記訓練された機械学習システムは、前記注釈付き訓練データの予測を展開する、機械学習システム訓練器と
を備え、
前記シーケンサは、前記訓練された機械学習システムを動作させるステップを規定する第２の画像分析ステップを備えるワークフローの規定を受信し、前記シーケンサは、第２の画像に対して前記ワークフローを行い、前記第２の画像を分析する、
システム。
（項目２）
前記注釈付き訓練データは、第１の注釈付き訓練データを備え、前記注釈付き訓練データの予測は、前記第１の注釈付き訓練データの第１の予測を備え、前記ユーザインターフェースジェネレータは、第３の画像分析ステップの規定を受信し、前記シーケンサは、前記第３の画像分析ステップを第３の画像に適用し、第２の注釈付き訓練データを展開し、前記機械学習システム訓練器は、前記訓練された機械学習システムが、入力として前記第１の画像を提示されると、前記訓練された機械学習システムが、前記第２の注釈付きデータの第１の予測および第２の予測を同時に展開するように、前記第１および前記第２の注釈付き訓練データに従って、前記訓練されていない機械学習システムを訓練し、前記訓練された機械システムを展開する、項目１に記載のシステム。
（項目３）
前記第２の注釈付き訓練データは、複数の第２の注釈付き訓練データ値を備え、前記複数の第２の注釈付き訓練データ値はそれぞれ、前記第３の画像のピクセルに対応し、前記第３の画像分析ステップは、前記シーケンサに、同じ値を有する前記第３の画像内の隣接するピクセルの群を識別させ、前記群を構成する前記ピクセルと関連付けられる前記第２の注釈付き訓練データ値を、前記群を構成するピクセルの数と関連付けられる所定の値に設定させる、項目２に記載のシステム。
（項目４）
前記第２の注釈付き訓練データおよび前記第３の画像は、同じである、項目２に記載のシステム。
（項目５）
前記非一過性プログラマブルデバイス上で動作する画像エディタをさらに備え、前記シーケンサは、前記第１の１つの画像分析ステップを適用することによって、前記第１の画像から中間画像を展開し、前記ユーザインターフェースジェネレータは、画像編集命令を受信し、前記画像エディタは、前記画像編集命令を前記中間画像に適用し、前記注釈付き訓練データを展開する、項目１に記載のシステム。
（項目６）
前記中間画像は、複数のピクセルを備え、そのそれぞれは、前記第１の画像のピクセルに対応し、前記第１の画像のピクセルによって表される物体の特性と関連付けられる値または背景値を有する、項目５に記載のシステム。
（項目７）
前記画像編集命令は、前記画像エディタに、前記複数のピクセルのうちの１つの値を、前記特性と関連付けられる値から前記背景と関連付けられる値に修正させる、項目６に記載のシステム。
（項目８）
前記非一過性プログラマブルデバイスは、第１の非一過性プログラマブルデバイスを備え、前記シーケンサは、第１のシーケンサを備え、前記機械学習システム訓練器は、第１の機械学習システム訓練器を備え、前記訓練された機械学習システムは、第１の訓練された機械学習システムを備え、前記ワークフローは、第１のワークフローを備え、さらに、前記第１の非一過性プログラマブルデバイスから遠隔の第２の非一過性プログラマブルデバイス上で動作する第２のシーケンサと、第２の機械学習システム訓練器とを備え、前記第２の機械学習システム訓練器は、前記第１の訓練された機械学習システムと関連付けられるパラメータを使用して、第２の訓練された機械学習システムを展開するように訓練されていない機械学習システムを構成し、前記第２のシーケンサは、前記第２の訓練された機械学習システムを動作させるステップを規定する第２のワークフローの規定を受信し、前記第２のワークフローを第３の画像に適用し、前記第３の画像を分析する、項目１に記載のシステム。
（項目９）
前記ユーザインターフェースジェネレータは、第３の画像の規定を受信し、前記シーケンサは、前記第３の画像から第２の注釈付きデータを展開し、前記機械学習システム訓練器は、前記第３の画像および前記第２の注釈付き訓練データを使用し、前記訓練された機械学習システムの訓練を更新する、項目１に記載のシステム。
（項目１０）
前記訓練された機械学習システムは、ニューラルネットワークを備え、機械学習システム訓練器は、転移学習を使用し、前記訓練された機械学習システムの訓練を更新する、項目９に記載のシステム。
（項目１１）
第１の画像は、前記生物学的サンプルの３次元表現を表す第１の一連の画像のうちの１つであり、前記注釈付き訓練データは、前記第２の一連の画像の全てから展開され、前記機械学習システム訓練器は、前記第１の一連の画像の全てを入力として前記機械学習システムに同時に提供し、前記機械学習システムを訓練し、所定の誤差内の前記注釈付き訓練データの予測を生成する、項目１に記載のシステム。
（項目１２）
前記注釈付き訓練データは、前記第１の一連の画像から展開された共焦点画像である、項目１１に記載のシステム。
（項目１３）
前記ユーザインターフェースジェネレータは、前記生物学的サンプルの第３の画像の規定を受信し、前記シーケンサは、前記第１の画像および前記第３の画像から前記注釈付き訓練データを展開する、項目１に記載のシステム。
（項目１４）
前記第１の画像分析ステップは、第１の画像分析ステップを含み、前記シーケンサは、第２の画像分析ステップを前記生物学的サンプルの第３の画像に適用し、前記注釈付き訓練データセットを展開し、前記第１の画像および前記第３の画像は、異なる照明、光学、および撮像条件のうちの１つ以上のものを使用して入手される、項目１に記載のシステム。
（項目１５）
前記第１の画像の規定は、画像リポジトリ内の第１の画像の場所を規定することを含む、項目１に記載のシステム。
（項目１６）
前記画像リポジトリは、前記非一過性プログラマブルデバイスから遠隔の場所にある、項目１５に記載のシステム。
（項目１７）
画像を分析するための方法であって、
非一過性プログラマブルデバイスを動作させ、
生物学的サンプルの第１の画像および第１の画像分析ステップの規定を受信するステップと、
前記第１の１つの画像分析ステップを前記第１の画像に適用することによって、注釈付き訓練データを展開するステップと、
訓練されていない機械学習システムを訓練し、訓練された機械学習システムを展開するステップであって、前記訓練された機械学習システムが、入力として前記第１の画像を提示されると、前記訓練された機械学習システムは、所定の誤差内の前記注釈付き訓練データの予測を展開する、ステップと、
第２の画像分析ステップを備えるワークフローの規定を受信するステップであって、前記第２の分析ステップは、前記訓練された機械学習システムを動作させるステップを含む、ステップと、
第２の画像に対して前記ワークフローを行い、前記第２の画像を分析するステップと
を行うステップ
を含む、方法。
（項目１８）
前記注釈付き訓練データは、第１の注釈付き訓練データを備え、前記注釈付き訓練データの予測は、前記第１の注釈付き訓練データの第１の予測を備え、前記非一過性プログラマブルデバイスを動作させ、さらに、第３の画像分析ステップの規定を受信するステップと、前記第３の画像分析ステップを第３の画像に適用し、第２の注釈付き訓練データを展開するステップと、前記訓練された機械学習システムが、入力として前記第１の画像を提示されると、前記訓練された機械学習システムが、前記第２の注釈付きデータの第１の予測および第２の予測を同時に展開するように、前記訓練されていない機械学習システムを訓練し、前記訓練された機械システムを展開するステップとを行う、項目１７に記載の方法。
（項目１９）
前記第２の注釈付き訓練データは、複数の第２の注釈付き訓練データ値を備え、前記複数の第２の注釈付き訓練データ値はそれぞれ、前記第３の画像のピクセルに対応し、前記非一過性プログラマブルデバイスを動作させ、同じ所定の値を有する前記第３の画像内の隣接するピクセルの群を識別し、前記群を構成する前記ピクセルと関連付けられる前記第２の注釈付き訓練値を、前記群を構成するピクセルの数と関連付けられる所定の値に設定するさらなるステップを行う、項目１８に記載の方法。
（項目２０）
前記第２の注釈付き訓練データおよび前記第３の画像は、同じである、項目１８に記載の方法。
（項目２１）
前記非一過性プログラマブルデバイスを動作させ、前記注釈付き訓練データを展開するステップを行うステップは、前記第１の画像分析ステップを適用することによって前記第１の画像から中間画像を展開し、画像編集命令を受信し、前記画像編集命令を前記中間画像に適用し、前記注釈付き訓練データを展開するステップを含む、項目１７に記載の方法。
（項目２２）
前記中間画像は、複数のピクセルを備え、そのそれぞれは、前記第１の画像のピクセルに対応し、前記第２の画像のピクセルによって表される物体の特性と関連付けられる値または背景値を有する、項目１７に記載の方法。
（項目２３）
前記非一過性プログラマブルデバイスを動作させ、前記画像編集命令を行うステップは、前記非一過性プログラマブルデバイスに、前記複数のピクセルのうちの１つの値を、前記特性と関連付けられる値から前記背景と関連付けられる値に修正するステップを行わせる、項目２２に記載の方法。
（項目２４）
前記非一過性プログラマブルデバイスは、第１の非一過性プログラマブルデバイスを備え、前記ワークフローは、第１のワークフローを備え、前記訓練された機械学習システムは、第１の訓練された機械学習システムを備え、前記第１の非一過性プログラマブルデバイスから遠隔の第２の非一過性プログラマブルデバイスを動作させ、前記第１の機械学習システムと関連付けられるパラメータを使用して、第２の訓練された機械学習システムを展開するように訓練されていない機械学習システムを構成するステップと、前記第２の訓練された機械学習システムを動作させるステップを規定する第２のワークフローの規定を受信するステップと、前記第２のワークフローを第３の画像に適用し、前記第３の画像を分析するステップとを行うステップをさらに含む、項目１７に記載の方法。
（項目２５）
前記非一過性プログラマブルデバイスを動作させ、さらに、第３の画像の規定を受信するステップと、前記第３の画像から第２の注釈付きデータを展開するステップと、前記第３の画像および前記第２の注釈付き訓練データを使用して、前記訓練された機械学習システムの訓練を更新するステップとを行うステップをさらに含む、項目１７に記載の方法。
（項目２６）
前記訓練された機械学習システムは、ニューラルネットワークを備え、前記訓練された機械学習システムの訓練を更新するステップは、転移学習を使用するステップを含む、項目２５に記載の方法。
（項目２７）
前記第１の画像は、前記生物学的サンプルの３次元表現を表す第１の一連の画像のうちの１つであり、前記注釈付き訓練データを展開するステップは、前記第１の一連の画像の全てから前記注釈付き訓練データを展開するステップを含み、前記機械学習システムを訓練するステップは、前記第１の一連の画像の全てを入力として前記機械学習システムに提供するステップを含む、項目１７に記載の方法。
（項目２８）
前記注釈付き訓練データを展開するステップは、前記第１の画像および第３の画像から前記注釈付き訓練データを展開するステップを含む、項目１７に記載の方法。

【図面の簡単な説明】

【0012】

【図1】図１は、画像分析システムのブロック図である。

【0013】

【図2】図２は、オペレータが、機械学習システムを含む画像分析ワークフローを作成および使用するために、図１の画像分析システムを使用し得る方法のフローチャートを示す。

【0014】

【図3】図３は、図１の画像分析システムのグラフィカルユーザインターフェースである。

【0015】

【図3A】図３Ａは、図３に示されるグラフィカルユーザインターフェースのパネルである。

【0016】

【図4】図４は、ワークフローを作成するための図１の画像分析システムの動作を示す、フローチャートである。

【0017】

【図5】図５は、ワークフローを作成するための図１の画像分析システムの動作を示す、別のフローチャートである。

【0018】

【図6】図６は、図１の画像分析システムの画像エディタの動作のフローチャートである。

【0019】

【図7】図７は、画像を編集するために使用されるときの図３のグラフィカルユーザインターフェースである。

【0020】

【図7A】図７Ａは、図７のグラフィカルユーザインターフェース内に描写される、編集される前の画像を示す。

【0021】

【図8】図８は、図１の画像分析システムの機械学習システムの機械学習システム訓練器の動作を示す、フローチャートである。

【0022】

【図8A】図８Ａは、図１の画像分析システムの機械学習システムの機械学習システム訓練器を動作させるために使用される、図３に示されるグラフィカルユーザインターフェースのパネルである。

【0023】

【図9】図９は、図１の画像分析システムの機械学習システムの機械学習システム訓練器の動作の詳細を示す、フローチャートである。

【0024】

【図10】図１０は、機械学習システムを再訓練するために図１の画像分析システムの機械学習システムの機械学習システム訓練器を使用する動作の詳細を示す、フローチャートである。

【発明を実施するための形態】

【0025】

明確化のために、本開示では、機械学習システムの訓練および使用を含む、画像分析ステップは、１つの画像に作用し、別の画像を生成するものとして説明される。しかしながら、いくつかの画像分析ステップが、複数の入力画像に作用し、１つの出力画像を発生させ、他の画像分析ステップが、１つの入力に作用し、複数の出力画像を発生させ、なおも他の画像分析ステップが、複数の入力画像に作用し、複数の出力画像を発生させることが、当業者に明白となるはずである。さらに、いくつかの実施形態では、測定値は、入力画像または１つ以上の画像分析ステップの適用からもたらされる画像から展開されてもよく、そのような測定値は、入力としてさらなる画像分析ステップに提供されてもよい。

【0026】

下記に詳細に説明されるように、オペレータ（すなわち、画像分析システムのユーザ）は、画像分析システムを双方向的に使用し、生物学的サンプルの画像を分析するように機械学習システムを訓練し、次いで、他の生物学的サンプルの付加的画像、例えば、撮像システムによって入手された生物学的サンプルの画像を分析するために、１つ以上の画像分析ステップと組み合わせて、ワークフローにおいて訓練された機械学習システムの使用を規定してもよい。

【0027】

オペレータはまた、画像分析システムを使用し、機械学習システムを訓練し、次いで、訓練された機械学習システムの動作を画像分析ステップのうちの１つとしてワークフロー内に組み込んでもよい。特に、下記により詳細に説明されるように、オペレータは、例示的入力画像を選択し、１つ以上の画像分析ステップを入力画像に対して適用し、注釈付き訓練データを展開し、入力として例示的入力画像を提示されると、注釈付き訓練データの予測を生成するように機械学習システムを訓練する。典型的には、注釈付きデータは、セグメンテーション画像、分類画像、またはセグメンテーションおよび分類画像のうちの一方または両方から導出された画像のいずれかである。そのような注釈付きデータは、入力画像の各ピクセルに対応する出力値を含む。

【0028】

注釈付きデータが、セグメンテーション画像である場合、出力値は、入力画像の対応するピクセルが、細胞、細胞の特徴、特定のタイプの細胞、および同等物等の着目物体と関連付けられるかどうかを示す。着目物体と関連付けられる入力画像のピクセルに対応する注釈データの値は、前景ピクセルと関連付けられる所定の値に設定され、着目物体と関連付けられない入力画像のピクセルに対応する注釈データの値は、背景ピクセルと関連付けられる所定の値に設定される。

【0029】

注釈付きデータが、分類画像である場合、入力画像のピクセルと関連付けられる出力値は、ピクセルにおいて表される生物学的サンプルの一部が属するクラスを示す。そのようなクラスは、例えば、細胞タイプ、小器官タイプ、細胞条件、および同等物であってもよい。細胞条件は、例えば、細胞が生存または死滅しているかどうか、細胞が細胞分裂をしているかどうか、またはそのような細胞分裂の特定の状態を含んでもよい。各クラスは、特定のピクセル値と関連付けられてもよい。特定のクラスと関連付けられる入力画像内のピクセルに対応する注釈データの値は、特定の値に設定される。いかなるそのようなクラスとも関連付けられない入力画像内のピクセルに対応する注釈データの値は、背景ピクセルと関連付けられる所定の値に設定される。

【0030】

上記のように、注釈付きデータは、セグメンテーションおよび／または分類画像から導出されてもよい。例えば、一実施形態では、セグメンテーション画像は、前景ピクセルと関連付けられる値を有する連続するピクセルの１つ以上の群の重心（すなわち、セグメンテーション画像内の各小塊、生物学的細胞、小器官等の重心）の座標を識別するために処理されてもよい。そのような座標と関連付けられる注釈付きデータの値は、第１の所定の値に設定され、そのような座標と関連付けられない注釈付きデータの値は、第２の所定の値に設定される。いくつかの実施形態では、第１の所定の値は、セグメンテーション画像内の前景ピクセルと関連付けられる値と同じであり、第２の所定の値は、背景ピクセルと関連付けられる値と同じである。

【0031】

いくつかの実施形態では、セグメンテーション画像は、例えば、訓練画像内の１つ以上の着目物体の１つ以上の中心、１つ以上の境界ボックス、面積、および同等物の座標を含む注釈付きデータを展開するために処理されてもよい。いくつかの実施形態では、そのような注釈付きデータは、例えば、セグメンテーション画像内に表される各物体と関連付けられる物体スコアまたは信頼レベルを含んでもよい。そのような物体スコアは、例えば、それと関連付けられる物体が、例えば、特定の形状、特定のクラスの物体と関連付けられるソース画像内のピクセルの特定の強度、および同等物等の特定の基準に合致する信頼レベルを示してもよい。いくつかの実施形態では、注釈付きデータ訓練データは、セグメンテーション画像内に識別される物体あたり１つのエントリを伴うテーブルであってもよい。各そのようなエントリは、例えば、エントリと関連付けられる物体と関連付けられる物体識別子および１つ以上の特性または数値（例えば、上記に説明される座標、物体スコア、および同等物）を含んでもよい。画像の代わりにテーブルである注釈付きデータを展開することは、例えば、テーブルが、画像よりも少ないメモリを要求し得る、またはより容易に分析され得るため、有利であり得る。

【0032】

いくつかの実施形態では、注釈付き訓練データは、画像として閲覧されてもよく、そのような画像のピクセルの値は、入力画像の対応するピクセルが、着目物体と関連付けられるかどうかを示す。

【0033】

機械学習システムが、上記に説明されるように訓練された後、付加的生物学的サンプルの画像が、入力として機械学習システムに提示されてもよく、応答して、訓練された機械学習システムは、出力値を発生させる。いくつかの実施形態では、各出力値は、付加的生物学的サンプルの画像の１つのピクセルに対応し、画像のピクセルが、着目物体と関連付けられるかどうかを示す。

【0034】

さらに、生物学的サンプルの第１および第２のタイプの画像、例えば、それぞれ、蛍光画像および透過光画像が、入手されてもよい。その後、注釈付き訓練データは、第１のタイプの画像から展開されてもよく、機械学習システムは、入力として生物学的サンプルの第２のタイプの画像を受け入れ、応答して、注釈付き訓練データを発生させるように訓練されてもよい。このように訓練された機械学習システムは、次いで、さらなる生物学的サンプルの第２のタイプの画像のみを使用して、さらなる生物学的サンプルを分析するために使用されてもよい。当業者は、このように訓練された機械学習システムが、例えば、生物学的サンプルの第２のタイプの画像のみが、利用可能である、第１のタイプの画像を入手することが、生物学的サンプルに有害である、または別様にそれを損なう、または第１のタイプの画像を入手することが、第２のタイプの画像よりも多くの複雑性または費用を要求する場合に有益であろうことを理解するであろう。

【0035】

図１を参照すると、画像分析システム１００は、ユーザインターフェースジェネレータ１０２と、画像入手器１０４と、シーケンサ１０６と、画像エディタ１０８と、画像プロセッサ１１０と、機械学習システム１１２と、機械学習システム訓練器１１４と、測定計算器１１５とを含む。画像分析システム１００はまた、画像データストア１１６と、ワークフローデータストア１１８と、機械学習システムパラメータデータストア１２０とを含む。

【0036】

ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２に結合され、画像入手器１０４は、撮像システム１２４に結合される。いくつかの実施形態では、撮像システム１２４は、例えば、ハイコンテンツ撮像システム、レンズなしまたはレンズベースの電子顕微鏡、手動動作可能な顕微鏡、および同等物であってもよい。

【0037】

下記により詳細に説明されるように、ワークフローを展開するために、ユーザインターフェースジェネレータ１０２は、ユーザが、画像分析ステップ、および必要な場合、それと関連付けられるパラメータを規定し、そのような画像分析ステップの結果を閲覧することを可能にする、グラフィカルユーザインターフェース（ＧＵＩ）をそのディスプレイ上に発生させるようにユーザコンピュータ１２２に命令する。当業者は、ユーザインターフェースジェネレータ１０２が、ユーザコンピュータ１２２またはそのようなコンピュータのオペレータから情報を受信するものとして本明細書に説明されるとき、ユーザインターフェースジェネレータ１０２が、ＧＵＩに、ユーザから情報を入手させ、そのような情報をユーザインターフェースジェネレータ１０２に伝送させる命令を発生させ、ユーザコンピュータ１２２に伝送することを理解するであろう。同様に、ユーザインターフェースジェネレータ１０２が、ユーザコンピュータ１２２上で情報を表示するものとして説明されるとき、ユーザインターフェースジェネレータ１０２は、ＧＵＩに、そのような情報を表示させる命令を発生させ、ユーザコンピュータ１２２に伝送する。

【0038】

図２は、ワークフローにおける訓練された機械学習システム１１２を作成および使用するための画像分析システム１００の特徴の例示的使用のフローチャート１５０を示す。図２を参照すると、下記により詳細に説明されるように、オペレータは、ステップ１５２において、ユーザインターフェースジェネレータによって発生されたＧＵＩを介して、新しいワークフローを開始するようにシーケンサ１０６に指示する。

【0039】

ステップ１５４において、オペレータは、画像プロセッサ１１０が行う画像処理動作等の１つ以上の画像分析動作を規定し、生物学的サンプルの１つ以上の画像から第１の注釈付きデータを展開する。生物学的サンプルは、標識化（すなわち、染色された）または非標識化生物学的サンプルであってもよく、画像は、種々の波長の光を使用して、透過光を使用して、生物学的サンプルが蛍光を受けているとき、および同等物を使用して捕捉されてもよい。上記に説明される画像処理動作は、これらの画像のうちの１つ以上のものに適用されてもよく、そのようなステップを適用した結果は、第１の注釈付きデータを作成するために組み合わせられてもよい。いくつかの実施形態では、第１の注釈付きデータは、各ピクセルが、生物学的サンプル内の着目物体と関連付けられる（すなわち、前景ピクセルである）第１の所定の値または着目物体と関連付けられない（すなわち、背景ピクセルである）第２の所定の値のいずれかを有する、バイナリセグメント化画像を表す。

【0040】

ステップ１５６において、随意に、オペレータは、画像プロセッサ１１０によって行われる画像処理動作等の１つ以上の画像分析動作を規定し、生物学的サンプルの１つ以上の画像の第２の注釈付きデータ、または、例えば、第１の注釈付き画像を含む、生物学的サンプルの１つ以上の画像から展開される中間画像を展開する。生物学的サンプルの１つ以上の画像は、第１の注釈付きデータを作成するために使用されるそれらの画像および／または生物学的サンプル付加的画像を含んでもよい。いくつかの実施形態では、第２の注釈付きデータのピクセルは、例えば、数値フィルタリングを使用して、および／または類似する、または同じ値を有する第１の注釈付きデータの隣接するピクセルの数、そのような隣接するピクセルの境界ボックスの寸法、そのような隣接するピクセルの円形度または他の形状メトリック、および同等物に従って決定される、分類と関連付けられる。所定の一意の値（例えば、色）が、各分類と関連付けられてもよく、第２の注釈セットのピクセルの値は、その分類に従って割り当てられる。

【0041】

ステップ１５８において、オペレータは、画像エディタ１０８を使用し、第１の注釈付きデータを編集し、例えば、前景ピクセルを背景ピクセルに変更する、または背景ピクセルを前景ピクセルに変更してもよい。オペレータはまた、画像エディタ１０８を使用し、第２の注釈付きデータを編集し、あるピクセルと関連付けられる分類値を調節する、前景ピクセルを背景ピクセルに変更する、および／または背景ピクセルを前景ピクセルに変更してもよい。

【0042】

ステップ１６０において、オペレータは、訓練画像として使用するべき生物学的サンプルの画像を識別する。

【0043】

ステップ１６２において、オペレータは、機械学習システム訓練器１１４を使用し、訓練画像、第１の注釈付きデータ、および第２の注釈付きデータ（存在する場合）を使用して、訓練されていない機械学習システム１１２を訓練する。機械学習システム１１２は、機械学習システム１１２が、入力として訓練画像を提示されると、機械学習システムが、出力として第１の注釈付きデータの第１の予測データを出力として発生させるように訓練される。第１の注釈付きデータおよび第２の注釈付きデータの両方が、機械学習システム１１２を訓練するために使用される場合、機械学習システムは、入力として訓練データを提示されると、それぞれ、第１の注釈付きデータおよび第２の注釈付きデータの第１および第２の予測データを発生させる。そのような予測データの各データは、注釈付きデータの対応するデータが特定の値を有するインジケーションまたは確率を提供する。

【0044】

ステップ１６４において、オペレータは、機械学習システム訓練器１１４を使用し、機械学習システムパラメータデータストア１２０内に訓練された機械学習システム１１２と関連付けられるパラメータを記憶し、識別子をそのようなパラメータと関連付ける。その後、識別子は、そのような識別子と関連付けられる訓練された機械学習システム１１２を付加的ワークフロー内に組み込むために使用されてもよい。

【0045】

ステップ１６６において、オペレータは、第１のワークフローを終了する、または閉じる。

【0046】

いくつかの実施形態では、第１のワークフローは、識別子と関連付けられ、ワークフローデータストア１１８内に保存される。第１のワークフローは、次いで、必要な場合、機械学習システム１１２の訓練を更新する（例えば、拡張または精緻化する）ために、または訓練されていない機械学習システム１１２の別のインスタンスを訓練するために、後で呼び出されてもよい。

【0047】

いくつかの実施形態では、ステップ１６０においてオペレータによって選択された訓練画像は、機械学習システム１１２を訓練するために十分なデータを提供するために、十分な数量の物体（例えば、細胞、小器官、および同等物）を含んでもよい。しかしながら、オペレータが、ステップ１６０において、複数の訓練画像を選択し、ステップ１５４－１５８において、複数の訓練画像のそれぞれに対応する第１の、随意に、第２の注釈付きデータセットを展開し、ステップ１６２において、そのような複数の画像および第１および随意の第２の注釈付きデータセットを使用し、機械学習システム１１２を訓練し得ることが、当業者に明白となるはずである。

【0048】

ステップ１６２において展開された訓練された機械学習システムを使用するために、オペレータは、ステップ１６８において、シーケンサ１０６を使用し、第２のワークフローを作成する。

【0049】

ステップ１７０において、オペレータは、シーケンサ１０６を使用し、画像分析システム１００によって提供される画像処理動作のメニューから訓練された機械学習システムと関連付けられる識別子を選択することによって、画像処理動作として訓練された機械学習システム１１２の動作を追加する。

【0050】

ステップ１７２において、オペレータは、シーケンサ１０６を使用し、任意の付加的後処理画像分析ステップをワークフローに追加する。そのような後処理画像分析ステップは、訓練された機械学習システムによって発生された出力をクレンジングしてもよく、例えば、自動的境界充填、エッジ検出、スプリアス値の除去、全てが前景と関連付けられる値を有するが、大きすぎて、または小さすぎて着目物体と関連付けられることができない隣接するものの除去、スプリアスコンテンツの除去、および同等物を含んでもよい。

【0051】

ステップ１７４において、オペレータは、シーケンサ１０６を使用し、任意の所望の測定ステップを追加し、例えば、特性と関連付けられる少なくとも所定の確率を有する、第２のワークフローによって分析される画像内に表される細胞またはその一部の数のカウント等、特性画像からの１つ以上のメトリックを自動的に展開する。そのようなメトリックを自動的に展開するステップは、境界またはエッジ検出、境界充填、および類似するアルゴリズムを訓練された機械学習システム１１２によって発生された出力に適用するステップを伴ってもよい。

【0052】

ステップ１７６において、オペレータは、シーケンサ１０６を使用し、名称を第２のワークフローと関連付け、第２のワークフローをワークフローデータストア１１８内に保存する。

【0053】

ステップ１５４および／または１５６において展開された第１および／または第２の注釈付きデータが、エントリのテーブルまたは数値データ（例えば、物体の座標、境界ボックス、および同等物）である場合、機械学習システム１１２は、入力として提示される画像に応答して、それぞれ、テーブルまたは数値データを生成する。

【0054】

さらに、第１の撮像条件を使用して入手された第１の生物学的サンプルの第１の画像である訓練データと、第２の撮像条件を使用して入手された第１の生物学的サンプルの第２の画像である注釈付き訓練データとを選択し、機械学習システム１１２が、第１の撮像条件を使用して入手された第２の生物学的サンプルの第３の画像から、第４の画像を生成するように訓練され得、第４の画像が、第２の撮像条件を使用して入手されるであろう第２の生物学的サンプルの画像の推定値であることが、当業者に明白となるはずである。そのような第１および第２の撮像条件は、例えば、異なる発光体、フィルタ、および／またはレンズを使用する透過光画像の入手、異なる発光体、フィルタ、および／またはレンズを使用する蛍光画像の入手、異なる焦点距離における透過光または蛍光画像の入手、および同等物を含んでもよい。例えば、機械学習システム１１２は、入力として透過光画像を提示されるときの蛍光画像の推定値、蛍光画像を提示されるときの透過光画像の推定値、第２の発光体を使用して入手された第２の蛍光画像を提示されるときの第１の発光体を使用して入手された第１の蛍光画像の推定値、および同等物を生成するように訓練されてもよい。

【0055】

第２のワークフローが、作成および保存された後、ステップ１７８において、第２のワークフローは、１つ以上の付加的画像に適用され、そのようなワークフローによって規定されるステップを自動的に行ってもよい。例えば、いくつかの実施形態では、オペレータは、グラフィカルユーザインターフェースを使用し、画像データストア１１６内に記憶された１つ以上の画像を選択し、そのような画像に対して第２のワークフローを適用してもよい。他の実施形態では、オペレータは、グラフィカルユーザインターフェースを使用し、撮像システム１２４内にロードされた生物学的サンプルの１つ以上の画像を自動的に捕捉し、そのような捕捉された画像に対して第２のワークフローを適用するように画像分析システム１００に指示してもよい。第２のワークフローの適用からもたらされるデータは、ユーザに表示される、画像分析システム１００と関連付けられるデータストア内に記憶される、または付加的分析のためにさらなるシステム（図示せず）に伝送されてもよい。

【0056】

図３および３Ａは、ユーザコンピュータ１２２上でユーザインターフェースジェネレータ１０２によって発生されるＧＵＩ２００の実施形態を示す。図３および３Ａを参照すると、ＧＵＩ２００は、画像分析ステップを規定するためのパネルが表示され得る、領域２０２と、１つ以上の画像が表示され得る、領域２０４とを含む。いくつかの実施形態では、領域２０４は、複数の画像が、同時に表示され得るように、１つ以上のサブ領域２０５ａ、２０５ｂ等を含む。ＧＵＩ２００はまた、１つ以上の選択可能アイコン２０８を含む、領域２０６を含み、各そのようなアイコン２０８ａ、２０８ｂ、 … ２０８ｊは、利用可能な画像分析ステップと関連付けられる。いくつかの実施形態では、１つ以上のアイコン２０８は、特定の画像分析ステップの選択を可能にする、ドロップダウンメニュー（図示せず）と関連付けられてもよい。ＧＵＩ２００が、画像分析ステップを選択する方法を組み込み得ることが、当業者に明白となるはずである。

【0057】

図３Ａを参照すると、アイコン２０８を選択することは、領域２０２内に対応するパネル２１０ａ、２１０ｂ、２１０ｃ等を表示する。各パネルは、特定の画像分析ステップと関連付けられる。各パネル２１０は、パネル２１０と関連付けられる画像分析ステップによって使用される任意の入力データのソースを選択するために使用され得る、１つ以上のポップアップメニュー２１２を含む。各ポップアップメニュー２１２は、撮像システム１２４内にロードされた生物学的サンプルの画像または以前に定義された画像分析ステップによって発生された出力データを捕捉するために使用する、撮像システム１２４（図１）の所定の構成と関連付けられる識別子を提示する。

【0058】

撮像システム１２４の所定の撮像構成は、生物学的サンプルの透過光画像の入手、蛍光下の生物学的サンプルの入手、および照明条件（例えば、光の波長）、１つ以上のレンズ、照明源と生物学的サンプルとの間の光路内に配置される１つ以上のフィルタ、生物学的サンプルと画像捕捉デバイスとの間の光路内に配置される１つ以上のフィルタ、および同等物の特定の組み合わせの使用を含む。

【0059】

いくつかの実施形態では、撮像システム１００は、ＤＡＰＩ等の特定の識別子を対応するデータソースと関連付けるように構成される。図３Ａに示される実施例では、当業者に明白であるように、データソースＤＡＰＩおよびＦＩＴＣは、それぞれ、ＤＡＰＩおよびＦＩＴＣ染色を示す照明を使用して入手される生物学的サンプルの画像と関連付けられる。同様に、識別子「透過光」は、透過光照明を使用して捕捉される生物学的サンプルの画像と関連付けられるデータソースと関連付けられる。

【0060】

各パネル２１０はまた、パネルと関連付けられる画像分析ステップによって使用されるパラメータが打ち込まれ得る、１つ以上の入力面積２１４と、画像分析ステップの出力と関連付けられる識別子が打ち込まれ得る、入力面積２１６とを含んでもよい。特定のパネル２１０の入力面積２１６内に打ち込まれる識別子は、特定のパネル２１０と関連付けられる画像分析ステップによって発生される出力が、後続画像分析ステップにおける使用のために参照され得る、名称または標識である。例えば、オペレータは、ポップアップメニュー２１２内のそのような出力と関連付けられる識別子を選択する、または入力面積２１４内にそのような識別子を打ち込むことによって、そのような後続画像分析ステップと関連付けられるパネル２１０の入力またはパラメータとして特定のパネル２１０の出力の使用を規定してもよい。

【0061】

いくつかのパネル２１０は、選択されると、そのようなパネルと関連付けられる画像分析ステップを行い、パネル２１０内に規定される識別子２１６と関連付けられる結果（画像等）を発生させる、「適用」ボタン２１８を含む。いくつかのパネル２１０は、選択されると、パネル２１０を閉じ（すなわち、領域２０２からパネルを除去し）、ワークフローからそのようなパネルと関連付けられる画像分析ステップを除去する、領域２２０を含む。

【0062】

例えば、パネル２１０ａは、「細胞核物体のカウント」と名付けられる画像処理動作と関連付けられ、ポップアップメニュー２１２ａを使用して１つのデータソースの規定を可能にする。図３Ａに示される実施例では、「ＤＡＰＩ」と呼ばれるデータソースが、ポップアップメニュー２１２ａを使用して選択されている。パネル２１０ａと関連付けられる画像分析ステップが、１０～３０ピクセルに及び、近隣のピクセルを上回る少なくとも５００強度レベルであるピクセル値を有する、入力画像内の（すなわち、ソースＤＡＰＩからの）それらの連続するピクセルを識別するべきであり、「ＦＡＳＴ」アルゴリズムが、そのような処理のために使用されるべきであることを規定するパラメータが、入力面積２１４ａ内に打ち込まれる。結果（例えば、バイナリ画像）は、（入力面積２１６ａ内に規定される）識別子「細胞核」と関連付けられ、入力面積２１４ａ内に規定されるパラメータを満たす入力画像のピクセルと関連付けられる結果の値は、前景ピクセルと関連付けられる値に設定される。さらに、そのようなパラメータを満たさない入力画像のピクセルと関連付けられる結果の値は、背景ピクセルと関連付けられる値に設定される。パネル２１０ａによって規定される画像分析ステップは、ユーザが、「適用」ボタン２１８ａを選択する場合、および／またはそのような画像処理ステップを備えるワークフローの一部として、双方向的に行われてもよい。

【0063】

図３および３Ａに示される実施例を継続すると、パネル２１０ａ－２１０ｅは、画像分析ステップをＤＡＰＩおよびＦＩＴＣ画像に適用し、識別子「訓練候補」と関連付けられる結果を発生させる。そのような画像分析ステップは、当業者によって理解されるであろうように、パネル２１０ａに関連して上記に説明される「細胞核物体のカウント」画像分析、適応的閾値画像分析ステップ（パネル２１０ｂ）、分水嶺画像分析ステップ（２１０ｃ）、論理ＡＮＤ演算（２１０ｄ）、および「細胞核物体のカウント」および論理ＡＮＤ画像分析ステップの結果に従ってピクセルを選択するための画像分析ステップ（２１０ｅ）を適用するステップを含む。

【0064】

パネル２１０ｆは、ユーザが、下記により詳細に説明されるように、識別子「訓練候補」と関連付けられる画像を手動で編集し、識別子「訓練標的」と関連付けられる結果画像を発生させることを可能にすることを規定する。パネル２１０ｇは、下記により詳細に説明されるように、機械学習システムを訓練するために、透過光画像を伴うそのような結果画像を使用する画像分析ステップを規定する。

【0065】

再度、図１を参照すると、ワークフローを展開するために、ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２から画像分析ステップの規定を受信し、シーケンサ１０６は、存在する場合、画像分析ステップ１００の残りの構成要素のステップを協調させ、規定された画像分析ステップを行い、画像分析ステップの出力を展開し、ユーザコンピュータ１２２上で任意のそのような出力を表示するようにユーザインターフェースジェネレータ１０２に指示する。

【0066】

下記により詳細に説明されるように、ユーザインターフェースジェネレータ１０２およびシーケンサ１０６は、オペレータが、ユーザコンピュータ１２２のオペレータが、ワークフローが規定されていること、またはワークフローが破棄されるべきであることのいずれかを示すまで、このように画像処理動作を規定することを可能にする。オペレータが、ワークフローが規定されていると示す場合、シーケンサ１０６は、ワークフローデータストア内に画像分析ステップおよびそれと関連付けられるパラメータを記録する。いくつかの実施形態では、オペレータは、ワークフローと関連付けるべき名称を提供する。他の実施形態では、シーケンサ１０６は、ワークフローと関連付けるべき名称を発生させてもよい。名称をワークフローと関連付ける他の方法も使用され得ることが、当業者に明白となるはずである。

【0067】

ワークフローが、上記に説明されるように展開および記憶された後、オペレータは、撮像システム１２４内に分析されるべき生物学的サンプルをロードし、ワークフローと関連付けられる名称を選択してもよい。応答して、シーケンサ１０６は、画像分析システム１００の他の構成要素を動作させ、ワークフローによって規定される画像分析ステップを行い、ユーザコンピュータ１２２上でユーザインターフェースジェネレータ１０２によって表示される、画像分析システム１００と関連付けられるデータストア（図示せず）内に記録される、またはさらなる分析のために別のシステム（図示せず）に提供される結果を発生させる。

【0068】

図４は、新しいワークフローを作成するために画像分析システム１００によって行われるステップのフローチャート２５０を示す。図１－４を参照すると、ステップ２５２において、ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２に、上記に説明されるＧＵＩ２００を表示させる命令を発生させ、ユーザコンピュータ１２２に伝送する。ステップ２５４において、ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２から、新しいワークフローの規定を開始する指示を受信する。例えば、ユーザコンピュータ１２２のオペレータは、そのような指示を提供するために、ＧＵＩ２００のボタン２２２（図３）を選択してもよい。

【0069】

ステップ２５６において、ユーザインターフェースジェネレータ１０２は、行うべき画像分析ステップおよびそのようなステップと関連付けられる任意のパラメータを含む、上記に説明されるような画像分析ステップの規定を受信する。

【0070】

ステップ２５８において、シーケンサ１０６は、ステップ２５６において受信された画像分析ステップを行い、ステップ２６０において、ＧＵＩ２００の領域２０４内にそのようなステップを行った任意の結果を表示するようにユーザインターフェースジェネレータ１０２に指示する。

【0071】

ステップ２６２において、ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２から、オペレータがステップ２５６において規定された１つ以上のパラメータを変更したかどうかのインジケーションを受信する。オペレータが、１つ以上のパラメータを変更した場合、ユーザインターフェースジェネレータ１０２は、ステップ２５６に進み、画像分析ステップのそのような変更された規定を受信する。

【0072】

そうでなければ、ステップ２６４において、ユーザインターフェースジェネレータ１０２は、ステップ２５６において受信された画像分析ステップおよびそれと関連付けられる任意のパラメータが許容可能であるかどうかのインジケーションを受信する。そのようなステップおよびパラメータが、許容可能である場合、シーケンサ１０６は、ステップ２６６において、ワークフローデータストア１１８内に画像分析ステップに関する情報（例えば、ステップと関連付けられる識別子）およびパラメータを記憶する。そうでなければ、ステップ２６８において、シーケンサ１０６は、そのメモリからそのような画像分析ステップに関するいかなる情報もクリアし、ユーザインターフェースジェネレータ１０２は、ＧＵＩ２００から画像分析ステップと関連付けられるパネル２１０を除去する。

【0073】

その後、ステップ２７０において、ユーザインターフェースジェネレータ１０２は、ユーザコンピュータ１２２から、オペレータがワークフローに追加するべき別の画像分析ステップを規定することを所望しているかどうかのインジケーションを受信する。オペレータが、別の画像分析ステップを追加することをここでは所望する場合、画像分析システム１００は、ステップ２５６に進む。そうでなければ、シーケンサ１０６は、他の生物学的サンプルの画像との併用のために、ステップ２７２において、ワークフローデータストア１１８内にワークフローを記憶する。

【0074】

図５は、図４に示されるフローチャート２５０のステップ２５８の間にシーケンサ１０６の一実施形態によって行われるステップを示す、フローチャート３００である。図１－５を参照すると、ステップ３０２において、シーケンサ１０６は、ステップ２５６（図４）において規定された画像分析ステップが、撮像システム１２４から画像を入手するステップを規定しているかどうかを決定する。該当する場合、シーケンサ１０６は、ステップ３０４において、規定された画像分析ステップと関連付けられるパラメータに従って、撮像システム１２４内にロードされたサンプルの画像を入手するように撮像システム１２４に命令するように画像入手器１０４に指示する。シーケンサ１０６は、ステップ３０６において、入手された画像を受信し、ステップ３０８において、画像データストア１１６内に入手された画像を記憶し、ＧＵＩ２００の領域２０４内で入手された画像を表示するようにユーザインターフェースジェネレータ１０２に指示するために、図４のステップ２６０に進む。

【0075】

ステップ３０２において、シーケンサ１０６が、画像分析ステップが画像の入手を規定していないと決定する場合、ステップ３１２において、シーケンサ１０６は、そのような画像分析ステップが、すでに訓練された機械学習システム１１２を使用するステップを含む、画像処理動作を行うステップを規定したかどうかを決定する。該当する場合、シーケンサ１０６は、ステップ３１６において、画像分析ステップと関連付けられる任意のパラメータによって規定される画像をロードし、ステップ３１８において、そのような画像に対して画像プロセッサ１１０を呼び出す。その後、シーケンサ１０６は、ステップ３０６および３０８に進み、それぞれ、画像プロセッサ１１０によって発生された結果を受信および記憶する。

【0076】

ステップ３１２において、シーケンサ１０６が、画像分析ステップが画像処理動作を行うステップを規定していないと決定する場合、シーケンサ１０６は、ステップ３２０において、画像分析ステップが、１つ以上の画像内に表される１つ以上の物体の特性のメトリックを展開するステップを規定しているかどうかを決定する。該当する場合、シーケンサ１０６は、ステップ３２２において、ステップ２５６（図４）において画像分析ステップへのパラメータとして規定された１つ以上の画像をロードし、ステップ３２４において、そのような物体のメトリックを展開するために測定計算器１１５を呼び出す。例えば、測定計算器１１５は、ロードされた画像内に表される物体（細胞またはその一部）の数のカウントまたはそのような物体と関連付けられる統計を展開する。そのような統計は、物体の面積の平均値、最頻値、および／または中央値、物体の面積、周囲長、および／または寸法のヒストグラムまたは分布、そのような物体の境界ボックス、および同等物を含んでもよい。当業者に明白である他のタイプのメトリックも測定計算器１１５によって展開され得ることが、明白となるはずである。測定計算器１１５はまた、ステップ３２４において、グラフィカルユーザインターフェースを介して、それによって展開されたメトリックを表示する、またはステップ２５６（図４）において規定されたパラメータ内に識別されるデータ場所（図示せず）内にそのようなメトリックを記憶してもよい。ある場合には、測定計算器１１５は、それによって展開されたメトリックを表す画像を展開してもよい。そのような画像は、例えば、それからメトリックが展開される画像内に表される物体の周囲にオーバーレイされる境界ボックス、そのような物体と関連付けられるメトリックによるそのような物体における色分け物体（例えば、第１の色を用いた平均値から１標準偏差以内の、第２の色を用いた２標準偏差以内の、および同等物の色分け物体）を含んでもよい。測定計算器１１５が、そのようなメトリックを展開するために、境界またはエッジ検出、境界充填、および類似するアルゴリズムを測定されている画像に適用し得ることが、当業者に明白となるはずである。その後、シーケンサ１０６は、ステップ２６２（図４）に戻る。

【0077】

ステップ３２０において、シーケンサ１０６が、ステップ２５６（図４）において規定された画像分析ステップが、メトリックを展開するステップを規定していないと決定する場合、シーケンサ１０６は、ステップ３２６において、画像分析ステップが、規定された画像分析ステップと関連付けられるパラメータによって識別された画像を手動で編集するステップを規定しているかどうかを決定する。該当する場合、シーケンサ１０６は、ステップ３２８において、編集されるべき画像をロードし、ステップ３３０において、下記により詳細に説明されるように、オペレータが画像を手動で編集することを可能にするために、画像エディタ１０８を呼び出す。その後、シーケンサ１０６は、ステップ３０６および３０８に進み、それぞれ、画像エディタ１０８によって発生される結果を受信および記憶する。

【0078】

オペレータは、例えば、以前の画像処理動作からもたらされ、ユーザコンピュータ１２２上で表示される画像を編集することを所望し得る。例えば、１つ以上の画像処理動作を行うことによって発生されるセグメント化画像が、そのあるピクセルを物体と不正確に関連付ける場合、オペレータは、各そのような不正確に関連付けられるピクセルの値を背景（すなわち、非物体）ピクセルと関連付けられる値に設定してもよい。そのような編集は、例えば、機械学習システム１１２を訓練するためにそのような注釈付き訓練データを使用する前に、注釈付き訓練データを編集するために行われてもよい。

【0079】

ステップ３２６において、シーケンサ１０６が、画像分析ステップが、画像を手動で編集するステップを規定していないと決定する場合、シーケンサ１０６は、ステップ３３２において、画像分析ステップが、機械学習システム１１２を訓練するステップを規定しているかどうかを決定する。該当する場合、シーケンサ１０６は、ステップ３３４において、下記に説明されるように、機械学習システム１１２を訓練するために機械学習システム訓練器１１４を呼び出す。その後、処理は、図４のステップ２６２に進む。

【0080】

ステップ３３２において、シーケンサ１０６が、オペレータによって規定された画像処理動作が、機械学習システム１１２を訓練するステップを規定していないと決定する場合、画像分析システムは、ステップ２５６（図４）に進み、別の画像分析ステップの規定を待機する。当業者は、画像分析システム１００が、本明細書に説明される実施形態に関連しない、ユーザコンピュータ１２２からの付加的入力を受信し得ることを理解するであろう。そのような付加的入力は、明確化のために本明細書に説明されない。

【0081】

図６は、オペレータが画像編集ステップを選択するとき、図５のフローチャート３００のステップ３３０において画像エディタ１０８によって行われる処理のフローチャート３５０を示す。図１および４－７Ａを参照すると、ステップ３５２（図６）において、画像エディタ１０８は、図７に示される画像編集パネル２１０ｆを発生させるようにユーザインターフェースジェネレータ１０２に指示する。特に、ＧＵＩ２００の画像編集パネル２１０ｆは、オペレータが、以前の画像分析ステップによって発生された画像を編集することを可能にする。オペレータは、セグメント化または特性評価画像を編集し、例えば、そのようなエッジをより明白にするために物体のエッジと関連付けられるピクセルを調節し、そのようなピクセルが単一のより大きい物体の中に関連付けられるように隣接する物体のピクセルを接続し、誤って識別された物体を除去し、同等物を行ってもよい。これらの調節に加えて、オペレータは、物体の分類を修正するために分類画像を編集してもよい。

【0082】

画像編集パネル２１０ｆは、編集するべきソース画像を選択するためのポップアップメニュー２１２ｆ（上記に説明される）と、オペレータが編集画像と関連付けられる識別子を打ち込み得るテキストボックス３５４と、下記に説明される描画モードを選択するための選択可能ボタン３５６、３５８、３６０、３６２、および３６４とを含む。画像編集パネル２１０ｆはまた、いくつかの実施形態では、「適用」と標識化される、ボタン３６６を含む。

【0083】

図５および６もまた参照すると、ステップ３７２（図６）において、画像エディタ１０８は、ステップ３２８（図５）においてシーケンサ１０６によってロードされた編集されるべき画像（すなわち、ソース画像）の複製である編集画像を作成する。ステップ３７４において、画像エディタ１０８は、ＧＵＩ２００の領域２０４のサブ領域３６８内にソース画像を表示し、サブ領域３７０内に編集画像を表示するようにユーザインターフェースジェネレータ１０２に指示する。

【0084】

ステップ３７６において、画像エディタ１０８は、ボタン３５６－３６４のうちの１つ、ソース画像が表示されるサブ領域３６８のピクセル、または「適用」ボタン３６６のオペレータによる選択を示す入力を（ユーザインターフェースジェネレータ１０２を介して）受信することを待機する。

【0085】

ステップ３７８において、画像エディタ１０８が、入力が、描画モードボタン３５６－３６４のうちの１つの選択を示すかどうかを決定する場合、かつ該当する場合、ステップ３８０に進む。そうでなければ、画像エディタ１０８は、ステップ３８２に進む。ステップ３８０において、画像エディタ１０８は、選択された描画モードボタン３５６－３６４（図７）に従って有効となる描画モードを設定する。特に、ボタン３５８が、オペレータによって選択される場合、（例えば、そのようなピクセルがソース画像内の物体と関連付けられることを示すために）ソース画像の各続けて選択されるピクセルに対応する編集画像のピクセルの値を前景と関連付けられる第１の所定の値に設定する描画モードが、選択される。

【0086】

同様に、ボタン３６０が、選択される場合、（例えば、そのようなピクセルがソース画像内の物体と関連付けられないことを示すために）サブ領域３６８内に表示されるソース画像の各続けて選択されるピクセルに対応する編集画像３７０のピクセルの値を背景ピクセルと関連付けられる第２の所定の値に設定する描画モードが、選択される。

【0087】

ボタン３６２は、続けて選択されるものに対応する編集画像３７０の値をそれらの非編集値に設定する（すなわち、そのような選択されたピクセルに対して実施された任意の編集を消去する）描画モードを選択する。ボタン３６４は、サブ領域３６８内に表示されるソース画像のピクセルが選択されるときに影響を受ける編集画像３７０のピクセルの数を調節する（すなわち、編集カーソルの幅を調節する）。ボタン３５６を選択することは、サブ領域３６８内に表示されるソース画像のピクセルを続けて選択することが、編集画像３７０のいかなるピクセルにも影響を及ぼさないように、描画動作を終了させる。画像エディタ１０８は、例えば、全ての編集を元に戻す、以前に元に戻された編集を再実行する、全ての編集をクリアする、および同等物等の付加的描画動作を提供してもよい。

【0088】

ステップ３８０において設定された描画モードは、オペレータが、ボタン３５６－３６４のうちの別の異なるものを選択する、または「適用」ボタン３６６を選択するまで、有効なままである。描画モードを設定した後、画像エディタ１０８は、ステップ３７６に戻り、別の入力を受信することを待機する。

【0089】

ステップ３８２において、画像エディタ１０８が、ステップ３７６において受信された入力が、サブ領域３６８（図７）のピクセルの選択を示すと決定する場合、画像エディタ１０８は、ステップ３８４に進む。そうでなければ、画像エディタ１０８は、ステップ３８６に進む。

【0090】

ステップ３８４において、画像エディタ１０８は、サブ領域３６８の選択されたピクセルに対応するソース画像のピクセルの座標を決定し、そのメモリ（図示せず）内にそのような座標および有効な描画モードを記録する。その後、ステップ３８８において、画像エディタ１０８は、描画モードと関連付けられる色を用いてサブ領域３６８の選択されたピクセルをオーバーレイするようにユーザインターフェースジェネレータ１０２に指示する。さらに、また、ステップ３８８において、画像エディタ１０８は、有効な描画モードに従って、前景ピクセルに対応する色または背景ピクセルに対応する色を用いてサブ領域３７０のピクセルをオーバーレイするようにユーザインターフェースジェネレータ１０２に指示する。

【0091】

例えば、図７Ａは、サブ領域３６８内に表示されるソース画像の非編集バージョンを示す。サブ領域３７０内に表示される編集画像に示されるように、円３９０および３９２によって示される非編集画像の一部は、本実施例では白色ピクセルとして表される前景ピクセルを、本実施例では灰色ピクセルとして表される背景ピクセルに変更するように編集されている。オペレータは、着目物体と関連付けられるものとしてソース画像内で不正確に識別された編集画像のピクセルを設定するためにそのような編集を行ってもよい。加えて、円３９４によって示される非編集画像の一部は、物体内の前景ピクセルを背景ピクセルに変更し、例えば、ソース画像内の単一の物体を編集画像内で２つの物体に分離するように編集されている。さらに、円３９６によって示されるソース画像の一部は、背景ピクセルを前景ピクセルと置換し、ソース画像内の２つの物体を編集画像内で単一の物体に継合するように編集されている。

【0092】

再度、図６を参照すると、表示されたソースおよび編集画像が、ステップ３８８において更新された後、画像エディタ１０８は、ステップ３７６に戻り、オペレータからの別の入力を待機する。

【0093】

ステップ３８２において、画像エディタ１０８が、オペレータがサブ領域３６８内のピクセルを選択しなかったと決定する場合、画像エディタ１０８は、ステップ３８６において、「適用」ボタン３６６が、画像編集が完了していることを示すために選択されたかどうかを決定する。該当する場合、ステップ３９８において、画像エディタ１０８は、ソース画像の複製である結果画像を発生させる。その後、画像エディタ１０８は、ステップ３８４において記録された座標および描画モードに従って、結果画像のピクセルを修正する。結果画像を発生させた後、処理は、図５のステップ３０６に進む。

【0094】

ステップ３８６において、画像エディタ１０８が、オペレータが「適用」ボタン３６６を選択しなかったと決定する場合、画像エディタ１０８は、ステップ３７６に戻り、別の入力を待機する。

【0095】

いくつかの実施形態では、オペレータは、上記に説明されるような編集のための生物学的サンプルの画像を選択してもよく、領域３６８内に選択された画像を表示する。その後、オペレータは、前景として領域３６８内に表示される、または上記に説明されるような特定の分類値と関連付けられる画像のあるピクセルを規定してもよい。応答して、画像エディタ１０８は、オペレータからのそのような規定に従って、領域３６８のピクセルを修正する。オペレータが、「適用」ボタン３６６を選択すると、画像エディタ１０８は、領域３６８内に表示される画像のピクセル毎に１つの結果ピクセルを有する結果画像を発生させる。領域３６８内に表示される未修正ピクセルと関連付けられる各そのような結果ピクセルの値は、背景値に設定される。領域３６８内に表示される修正されたピクセルと関連付けられる各結果ピクセルの値は、そのようなピクセルに関してオペレータによって規定された修正に従って、ある値に設定される。

【0096】

図８は、シーケンサ１０６（図１）がステップ３３４（図４）において機械学習システム１１２（図１）を訓練するために機械学習システム訓練器１１４（図１）を呼び出すときに行われるステップのフローチャート４００である。図１、４、８、および９を参照すると、ステップ４０２において、機械学習システム訓練器１１４は、図９に示される機械学習システム訓練パネル２１０ｇを発生させるようにユーザインターフェースジェネレータ１０２に指示する。図９に示される機械学習システム訓練パネル２１０ｇは、図２Ａに示されるパネル２１０ｇと実質的に同じである。

【0097】

機械学習システム訓練パネル２１０ｇは、オペレータが訓練画像を選択するために使用し得る、ポップアップメニュー２１２ｇと、例えば、訓練画像に対応するセグメント化画像であり得る第１の注釈付き訓練データを選択するためのポップアップメニュー２１２ｈとを含む。上記に説明されるように、訓練画像およびセグメント化画像は、同一または異なる画像ソースから展開されてもよい。例えば、訓練画像は、生物学的サンプルの透過光画像であってもよく、セグメント化画像は、１つ以上の画像分析ステップを生物学的サンプルのそのような透過光画像に適用することによって展開されてもよい。代替として、セグメント化画像は、１つ以上の画像分析ステップを生物学的サンプルの訓練画像と異なる別の透過光画像に適用することによって展開されてもよく、さらなる透過光画像は、訓練画像を捕捉するために使用されるものと異なる発光体、レンズ、フィルタ、および同等物の組み合わせを使用して捕捉される。ある場合には、セグメント化画像は、生物学的サンプルが、蛍光を受けているときに捕捉される生物学的サンプルの画像（すなわち、生物学的サンプルの蛍光画像）に１つ以上の画像分析ステップを適用して展開されてもよい。

【0098】

第１の注釈付き訓練データセットが、セグメント化画像である場合、上記に説明されるように、セグメント化画像は、訓練画像の各ピクセルに対応するピクセルを含み、セグメント化画像の各ピクセルの値は、訓練画像の対応するピクセルが、物体と関連付けられる（すなわち、前景ピクセルである）、または物体と関連付けられない（すなわち、背景ピクセルである）かどうかを示す。

【0099】

加えて、機械学習システム訓練パネル２１０ｇは、オペレータが、随意の第２の注釈付きデータセットを規定することを可能にするために、ボタン４３０を含む。第２の注釈付きデータセットは、例えば、分類画像であってもよい。いくつかの実施形態では、第２の注釈付きデータセットは、第１の注釈付きデータセット内で識別される物体の特徴を識別してもよい。例えば、第１の注釈付きデータセットが、細胞を識別する場合、第２の注釈付きデータセットは、細胞内の特定の小器官を識別してもよい。同様に、第１の注釈付きデータセットは、１つ以上のオルガノイドを識別してもよく、第２の注釈付きデータセットは、そのようなオルガノイドの１つ以上の細胞を識別してもよい。

【0100】

機械学習システム訓練パネル２１０ｇはまた、機械学習システム１１２の訓練を開始するための「訓練」ボタン４３２と、付加的データを用いて機械学習システム１１２の訓練を更新するための「訓練を更新」ボタン４３４と、訓練された機械学習システム１１２と関連付けられるパラメータを保存するための「訓練を保存」ボタン４３６とを含む。

【0101】

再度、図８を参照すると、機械学習システム訓練パネル２１０ｇを発生させた後、ステップ４０４において、機械学習システム訓練器１１４は、ユーザインターフェースジェネレータ１０２を介してオペレータからの入力を待機する。ステップ４０８において、機械学習システム訓練器１１４は、入力が、訓練画像の選択を示すかどうかを決定する。該当する場合、ステップ４１０において、機械学習システム訓練器１１４は、訓練画像をロードし、ステップ４０４に戻り、付加的入力を待機する。

【0102】

そうでなければ、ステップ４１２において、機械学習システム訓練器１１４は、入力が、第１の注釈付きデータのソースの選択を示すかどうかを決定し、該当する場合、ステップ４１４において、第１の注釈付きデータをロードし、ステップ４０４に戻り、付加的入力を待機する。

【0103】

いくつかの実施形態では、「訓練」ボタン４３２は、機械学習システム訓練パネル２１０ｇが、最初に、ユーザインターフェースジェネレータ１０２によって発生されるとき、選択可能ではない。そのような実施形態では、機械学習システム訓練器１１４は、また、ステップ４１０において、第１の注釈付き訓練データのソースが、選択された後、「訓練」ボタン４３２の選択を可能にするようにユーザインターフェースジェネレータ１０２に指示する。

【0104】

そうでなければ、ステップ４１６において、機械学習システム訓練器１１４は、入力が、第２の注釈付きデータのソースの選択を示すかどうかを決定し、該当する場合、ステップ４１８において、ステップ４１８において設定された第２の注釈付きデータをロードし、ステップ４０４に戻り、付加的入力を待機する。

【0105】

ステップ４１６において、入力が、第２のデータセットの選択を示さない場合、機械学習システム訓練器１１４は、ステップ４１９において、入力が、「訓練」ボタン４３２が選択されたことを示すかどうかを決定する。該当する場合、機械学習システム訓練器１１４は、ステップ４２０に進み、そうでなければ、機械学習システム訓練器１１４は、ステップ４２２に進む。ステップ４２０において、機械学習システム訓練器１１４は、下記により詳細に説明されるように、機械学習システム１１２を訓練するために、ステップ４１０においてロードされた訓練画像、ステップ４１４においてロードされた第１の注釈付きデータ、および規定される場合、ステップ４１４において選択およびロードされた第２の注釈付きデータを使用する。機械学習システム１１２を訓練するステップが、完了した後、機械学習システム訓練器は、ステップ４０４に戻り、付加的入力を待機する。

【0106】

ステップ４２２において、機械学習システム訓練器１１４は、「訓練を更新」ボタン４３４が選択されたかどうかを決定し、該当する場合、ステップ４２４に進み、下記により詳細に説明されるように、以前に訓練された機械学習システム１１２の訓練を更新する。そうでなければ、機械学習システム訓練器１１４は、ステップ４２６に進む。

【0107】

いくつかの実施形態では、「訓練を保存」ボタン４３６は、機械学習システム訓練パネル２１０が、最初に、ユーザインターフェースジェネレータ１０２によって発生されるとき、選択可能ではない。そのような実施形態では、機械学習システム訓練器１１４は、それぞれ、ステップ４２０および４２４において、機械学習システムシステム１１２が訓練された、または機械学習システム１１２の訓練が更新された後、「訓練を保存」ボタン４３６の選択を可能にするようにユーザインターフェースジェネレータ１０２に指示する。

【0108】

ステップ４２６において、機械学習システム訓練器１１４は、入力が、「訓練を保存」ボタン４３６の選択を示すかどうかを決定する。該当する場合、機械学習システム訓練器１１４は、ステップ４２８に進み、そうでなければ、機械学習システム訓練器は、ステップ４０４に進み、付加的入力を待機する。

【0109】

ステップ４２８において、機械学習システム訓練器１１４は、訓練された機械学習システム１１２と関連付けるべき識別子を要求するようにユーザインターフェースジェネレータ１０２に指示する。以前に訓練された機械学習システム１１２が、「訓練を保存」ボタン４３６を選択する直前に再訓練されている場合、機械学習システム訓練器は、オペレータが、そのような以前に訓練された機械学習システム１１２と関連付けられる識別子または異なる識別子を規定することを可能にしてもよい。

【0110】

その後、機械学習システム訓練器１１４は、機械学習パラメータデータストア１２０内に、機械学習システム１１２の各ノードと関連付けられるパラメータを記憶する。そのようなパラメータは、例えば、活性化閾値、入力および出力スケール係数または加重、畳み込みカーネル、および機械学習システム１１２のアーキテクチャを含む。例えば、機械学習システム１１２が、ニューラルネットワークである場合、各層内のノードまたはニューロンのアーキテクチャ、ノード層の間の相互接続、および同等物が、機械学習パラメータデータストア１２０内に記憶される。当業者によって理解されるであろうように、そのようなニューラルネットワークパラメータは、それらの間に１つ以上のプーリング層を伴う１つ以上の畳み込み層および１つ以上のニューロン層の相互接続を含み得る。記憶されるパラメータは、訓練されていない機械学習システム１１２を訓練された状態に構成するために十分である。

【0111】

記憶されるパラメータは、そのようなパラメータが、そのような識別子を使用することによって機械学習パラメータデータストアから読み出され得るように、オペレータによって提供される訓練された機械学習システムの識別子と関連付けられる。いくつかの実施形態では、訓練された機械学習システムの識別子は、パラメータが記憶される機械学習パラメータデータストア１２０内のファイルまたはディクショナリの名称として使用される。他の実施形態では、パラメータは、関係または他のタイプのデータベース内に記憶され、訓練された機械学習システムの識別子は、そのようなパラメータに関してデータベースにクエリを行うために使用され得る、インデックス値である。訓練された機械学習システムの識別子およびそれと関連付けられるパラメータを関連付ける他の方法も使用され得ることが、当業者に明白となるはずである。

【0112】

さらに、ステップ４２０において、機械学習システム訓練器１１４は、訓練された機械学習システムが、画像分析ステップにおいて、例えば、ステップ３１８において、画像分析システム１００を使用して展開される将来のワークフローにおいて規定され得るような画像処理動作として、ＧＵＩ ２００の訓練された機械学習の識別子を有するアイコン２０８を領域２０６（またはすでに存在するアイコン２０８と関連付けられるメニュー）に追加する。

【0113】

図９は、図８に示されるフローチャート４００のステップ４２０において行われる処理のフローチャート４５０である。図９を参照すると、ステップ４５２において、機械学習システム訓練器１１４は、訓練されていない機械学習システム１１２に関するアーキテクチャを構成する。そのような構成は、そのような機械学習システム１１２の入力および出力の数を規定する。例えば、入力の数は、ステップ４１０においてロードされた訓練画像内のピクセルの数に従って規定されてもよく、出力の数は、第１および第２の注釈付きデータセット内の値の数の合計に従って規定されてもよい。

【0114】

加えて、機械学習システム１１２が、ニューラルネットワークである場合、構成は、ニューラルネットワーク内の層の数、畳み込み層、プーリング層、および／またはニューロン層であるそのような層の数を規定してもよい。さらに、構成は、機械学習システム１１２を構成する層の間の相互接続を規定してもよい。

【0115】

いくつかの実施形態では、機械学習システム１１２が、ニューラルネットワークを備える場合、そのようなニューラルネットワークは、Ｇｏｏｇｌｅ Ｉｎｃ．（Ｍｏｕｎｔａｉｎ Ｖｉｅｗ， Ｃａｌｉｆｏｒｎｉａ）によって開発されたＡｕｔｏＭＬおよびＮＡＳＮｅｔ技術を使用して構成される。例えば、完全畳み込みＤｅｎｓｅＮｅｔ、マシンビジョン用途のために最適化されたニューラルネットワーク、および同等物を含む、当業者に公知の他のニューラルネットワーク技術も使用され得ることが、明白となるはずである。機械学習システム１１２がランダムフォレストツリーおよび同等物を含む別のタイプの機械学習システムであり得ることが、明白となるはずである。

【0116】

いくつかの実施形態では、訓練されていない機械学習システム１１２のアーキテクチャは、１つ以上の所定の構成から選択される。そのような構成を選択するために考慮され得る因子は、例えば、訓練データのサイズ（例えば、ピクセルの画像、画像寸法等）、注釈付きデータセットのサイズ、機械学習システム１１２を訓練する速度、機械学習システム１１２によって発生される結果の許容可能な正確度レベル、機械学習システム１１２のメモリおよび処理要件、生成されるべきである出力のタイプ（例えば、機械学習システムが、セグメント化画像、入力画像内の物体の１つ以上の重心を識別するデータ、入力画像内の物体を分類する画像等を生成するであろう場合）、入力として機械学習システム１１２に提供されるデータの複雑性、機械学習システム１１２によって分析される画像内に表される物体のサイズおよび／または複雑性、および同等物を含んでもよい。いくつかの構成は、機械学習システム１１２によって分析されるべき画像内に表される特定のタイプのサンプル（例えば、神経突起、ＴＬ細胞単層等）のために最適化されてもよい。異なる構成が、生物学的サンプルの２次元画像対生物学的サンプルの３次元ビューを捕捉する一連の２次元画像を分析するために使用されてもよい。

【0117】

ステップ４５４において、機械学習システム訓練器１１４は、ステップ４１０においてロードされた訓練画像を入力としてステップ４５２において構成された機械学習システム１１２に提示し、応答して、機械学習システム１１２は、第１の注釈付き訓練データに対応する第１の予測された出力値を展開する。第１の予測された出力値のうちの各１つは、第１の注釈付き訓練データのうちの１つに対応する。訓練画像が、生物学的サンプルの画像であり、第１の注釈付き訓練データが、第１のソース画像から展開されたセグメント化画像を表し、第１のソース画像が、異なる撮像条件下で捕捉された生物学的サンプルの訓練画像または別の画像である場合、各第１の予測された出力値は、セグメント化画像によって規定されるように、第１のソース画像の対応するピクセルが、訓練画像内の着目物体と関連付けられる（すなわち、前景ピクセルである）確率を示す。

【0118】

さらに、第２の注釈付き訓練データが、ステップ４１４においてロードされた場合、いくつかの実施形態では、機械学習システム１１２は、第２の予測された出力値を同時に展開し、各そのような値は、第２の注釈付き訓練データのピクセルに対応する。例えば、第２の注釈付き訓練データが、生物学的サンプルの訓練画像または別の画像のいずれかである第２のソース画像から展開され、そのような注釈付き訓練データが、（例えば、異なる特性を識別するための強度コーディングを使用して）特定の特性と関連付けられる第２のソース画像内のピクセルを識別する場合、各第２の予測された出力値は、訓練画像の対応するピクセルが、１つのそのような特定の特性と関連付けられる確率を示す。

【0119】

ステップ４５６において、機械学習システム訓練器１１４は、出力値の第１のセットと第１の注釈付き訓練データとの間の第１の差異を展開する。注釈付き訓練データの第２のセットが、ロードされた場合、機械学習システム訓練器１１４はまた、出力値の第２のセットと第２の注釈付き訓練データとの間の第２の差異を展開する。いくつかの実施形態では、そのような差異は、例えば、加重カテゴリカルクロスエントロピ関数等の損失関数を使用して計算される。

【0120】

ステップ４５８において、機械学習システム訓練器１１４は、集約誤差メトリックを展開するために、第１および任意の第２の差異を組み合わせる。そのような誤差メトリックは、例えば、それぞれ、第１の注釈付き訓練データおよび第２の注釈付き訓練データ内に表されるようなセグメンテーションおよび特性と正しく関連付けられた訓練画像のピクセルの数であってもよい。ステップ４６０において、機械学習システム訓練器１１４は、集約誤差メトリックの大きさが、所定の許容可能な誤差を下回るかどうかを決定し、該当する場合、処理は、図８に示されるフローチャート４００のステップ４０４に進む。

【0121】

そうでなければ、ステップ４６２において、機械学習システム訓練器１１４は、例えば、行われた訓練の反復回数、成功した訓練パスの間の集約誤差メトリックにおける改善率、訓練に関して行われた時間の量、および当業者に明白な他のそのような条件に従って、機械学習システム１１２の付加的訓練が行われるべきかどうかを決定する。付加的訓練が、正当とされる場合、機械学習システム訓練器１１４は、ステップ４６４に進み、そうでなければ、処理は、図８に示されるフローチャート４００のステップ４０４に戻る。

【0122】

ステップ４６４において、機械学習システム訓練器１１４は、当業者によって理解されるであろうように、例えば、逆伝搬法または別の技法を使用して、機械学習システム１１２のパラメータを調節するために、ステップ４５６において展開された差値を使用する。

【0123】

パラメータを調節した後、機械学習システム訓練器１１４は、ステップ４５４に戻り、調節されたパラメータを使用して機械学習システム１１２を動作させる。

【0124】

ある場合には、機械学習システム訓練器１１４は、ステップ４６２において、集約誤差メトリックが、所定の許容可能な誤差を上回るが、付加的訓練が、（例えば、集約誤差メトリックが改善されていない場合に）正当とされないと決定してもよい。そのような場合では、機械学習システム訓練器１１４は、そのような集約誤差メトリックが所定の許容可能な誤差を上回り、付加的訓練を行わないというメッセージとともに、ユーザコンピュータ１２２上で集約誤差メトリックを表示するようにユーザインターフェースジェネレータ１０２に指示してもよい。

【0125】

いくつかの実施形態では、機械学習システム１１２は、同時に訓練画像のピクセルの全てを使用する代わりに、訓練画像のサブ区分（またはタイル）に作用するように訓練されてもよい。そのような実施形態では、ステップ４５２において構成される入力の数は、各タイルのピクセルの数に従ってもよい。さらに、機械学習システム１１２は、訓練画像をそのようなタイルに分割する機能性を含んでもよい。例えば、訓練画像は、例えば、３２ピクセル×３２ピクセルの寸法を有するタイルに分割されてもよく、各タイルは、隣接するタイルのいくつかのピクセル、例えば、各方向において８つのピクセルを複製する。当業者は、他の寸法の、異なる量の重複ピクセルを有するタイルが使用され得ることを理解するであろう。他の実施形態では、タイルの寸法は、生物学的サンプルの着目細胞または別の部分が占有することが予期されるピクセルの予期される数に従って選択されてもよい。

【0126】

機械学習システム１１２が、訓練画像から展開されたタイルに作用するように構成されるとき、いくつかの実施形態では、機械学習システム１１２は、そのようなタイルが、生物学的サンプルの特定の着目物体または特性を表す１つ以上のピクセルを含む確率を示す、タイルあたり１つの出力値を発生させるように構成されてもよい。他の実施形態では、機械学習システム１１２は、タイルのピクセル毎に１つの値を含む出力データを発生させるように構成されてもよい。さらに、いくつかの実施形態では、機械学習システム１１２は、タイルと関連付けられる出力データを、それからそのようなタイルが展開された訓練画像と関連付けられる集約データに組み合わせる付加的機能性とともに構成されてもよい。

【0127】

図１０は、以前に訓練された機械学習システム１１２の訓練を更新するために、図８に示されるフローチャート４００のステップ４２０において行われる処理のフローチャート４８０である。オペレータは、例えば、オペレータが、以前に訓練された機械学習システム１１２が画像を適正に分析しない（すなわち、誤った出力値を生成する）画像に遭遇する場合、機械学習システム１１２の訓練が更新されることを所望し得る。当業者によって理解されるであろうように、訓練されていない機械学習システム１１２で開始する代わりに、機械学習システム訓練器１１４は、すでに訓練された機械学習システム１１２のパラメータを更新するために、転移学習または類似する技法を使用してもよい。図８Ａを参照すると、そのような再訓練を開始するために、オペレータは、上記に説明されるように、パラメータボックス２１２ｇを使用して機械学習システム１１２の訓練を更新するために使用するべき新しい訓練画像を選択し、パラメータボックス２１２ｈを使用して注釈付きデータセットを選択し、随意に、ボタン「分類マスクを追加」４３０を使用してさらなる注釈付きデータセットを選択する。オペレータは、次いで、「訓練を更新」ボタン４３４を選択する。

【0128】

図１０を参照すると、一実施形態では、機械学習システム訓練器１１４は、ステップ４８２において再訓練されるべき機械学習システムと関連付けられる識別子をオペレータから取得するようにユーザインターフェースジェネレータ１０２に指示する。いくつかの実施形態では、ユーザインターフェースジェネレータ１０２は、機械学習システムデータストア１２０内に記憶される機械学習パラメータと関連付けられる識別子のリストを提示し、提示される識別子のうちの１つの選択を受信し、そのような選択を機械学習システム訓練器１１４に提供する。

【0129】

その後、ステップ４８４において、機械学習システム訓練器１１４は、機械学習データストア１２０から、選択された識別子と関連付けられるパラメータをロードする。ステップ４８６において、機械学習システム訓練器１１４は、ロードされたパラメータを使用して、訓練されていない機械学習システム１１２を構成する。その後、機械学習システム訓練器１１４は、ステップ４５４（図９）に進み、それぞれ、図８のステップ４１０、４１４、および４１８においてロードされた訓練画像、第１の注釈付きデータセット、および存在する場合、第２の注釈付きデータセットを使用して、構成された機械学習システム１１２を訓練する。

【0130】

前述に説明される画像分析システム１００は、個々の２次元画像を分析するように機械学習システム１１２を訓練するために使用されるものとして説明されるが、そのような画像分析システム１００は、そのような生物学的サンプルの３次元表現を表す異なる焦点において撮影された生物学的サンプルの一連の２次元透過光画像を分析するように機械学習システム１１２を訓練するように適合されてもよい。そのような実施形態では、機械学習システム１１２を訓練するために使用される訓練画像は、一連の訓練画像を備え、そのような一連のものを備える全ての画像は、生物学的サンプルの実質的に同じＸ－Ｙ場所と、かつ異なる焦点（すなわち、異なるＺ場所）と関連付けられる。そのような一連の画像を備える画像は全て、機械学習システム１１２に同時に提供され、機械学習システム１１２は、予測された値を発生させ、各値は、一連の画像のピクセルと関連付けられ、そのようなピクセルが着目物体と（３次元において）関連付けられる、または特定の特性と関連付けられる確率を示す。

【0131】

いくつかの実施形態では、異なるＺ場所において取得された一連の訓練画像から展開された注釈付きデータは、そのような一連のものから展開された共焦点画像を表す。その後、一連の訓練画像および注釈付きデータセットは、異なる焦点において撮影された一連の画像から共焦点画像を発生させるように機械学習システム１１２を訓練するために使用されてもよい。

【0132】

再度、図２を参照すると、当業者に明白であろうように、ステップ１６０において訓練データとして選択される生物学的サンプルの画像は、バイナリ画像、グレースケール画像、または複数の色中心面を有する画像であってもよい。同様に、それぞれ、ステップ１５４および１５６において展開された第１および／または第２の注釈付きデータは、バイナリ値（例えば、単一ビット）、グレースケールまたは単一バイト値、多色または多バイト値、および／またはそれらの組み合わせを備えてもよい。さらに、訓練された機械学習システムによって発生されたデータは、バイナリ値（例えば、単一ビット）、グレースケールまたは単一バイト値、多色または多バイト値、および／またはそれらの組み合わせを備えてもよい。

【0133】

ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書に説明される画像分析システム１００を実装するために使用され得ることが、当業者に明白となるはずである。図１－１０に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つ以上のものが、１つ以上の電子またはデジタル制御デバイス上でハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図１－１０に図式的に描写される機能的システム、コントローラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つ以上のもの等の好適な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）内に常駐してもよい。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態において、またはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態において実装され得る「論理」）を実装するための実行可能命令の順序付けられたリスティングを含んでもよい。命令は、処理モジュールまたはコントローラ（例えば、図２のユーザインターフェースジェネレータ１０２、画像入手器１０４、シーケンサ１０６、画像エディタ１０８、画像プロセッサ１１０、機械学習システム訓練器１１４、および機械学習システム１１２）内で実行されてもよく、これは、例えば、１つ以上のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む。さらに、概略図は、アーキテクチャまたは機能の物理的レイアウトによって限定されない物理的（ハードウェアおよび／またはソフトウェア）実装を有する機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成において実装され、単一のハードウェア／ソフトウェアユニットにおける、または別個のハードウェア／ソフトウェアユニットにおけるハードウェア／ソフトウェア構成要素として動作してもよい。

【0134】

画像分析システム１００の１つ以上の構成要素が、例えば、ローカルエリアまたは広域ネットワーク（例えば、インターネットまたは私設ネットワーク）を経由して接続される分散コンピューティングおよび記憶システムを使用して、クラウド環境内で動作し得ることが、当業者に明白となるはずである。例えば、ユーザインターフェースジェネレータ１０２、画像入手器１０４、シーケンサ１０６、画像エディタ１０８、画像プロセッサ１１０、機械学習システム１１２、および機械学習システム訓練器１１４のうちの１つ以上のものは、ユーザコンピュータ１２２から、撮像システム１２４から、および／または相互に遠隔の１つ以上のコンピュータ上で動作してもよい。１つのそのような構成では、例えば、画像入手器１０４は、撮像システム１２４から画像を入手し、クラウドベースの画像データストア１１６内にこのように入手された画像を記憶するために、ローカルエリアまたは広域ネットワークを経由して撮像システム１２４と通信してもよい。シーケンサ１０６は、１つ以上の画像分析ステップを行うことに関連する処理のために、画像分析システム１００の他の構成要素に、そのようなクラウドベースまたは遠隔の画像データストア１１６内に記憶される画像を提供してもよい。ユーザは、パネル２１０内でそのような画像データストア１１６内に記憶される１つ以上の画像への経路または複数の経路を規定してもよい。ローカルで、またはクラウドにおいて動作する機械学習システム訓練器１１４は、そのような画像にアクセスし、機械学習システム１１２を訓練し、同様にクラウドベースの記憶システムであり得る機械学習システムデータストア１２０内にパラメータを記憶してもよい。シーケンサ１０６は、機械学習システムパラメータデータストア１２０内に記憶されるパラメータにアクセスし、（ローカルコンピュータ上で、またはクラウド環境内で動作する）訓練されていない機械学習システム１１２を訓練してもよい。同様に、機械学習システム１１２の動作は、ローカルまたは遠隔撮像システム１２４を使用して入手された画像を分析するために行われてもよい。

【0135】

実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶される命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、またはデバイスからの命令を選択的にフェッチし、命令を実行し得る他のシステム等の命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のための任意の非一過性コンピュータ可読記憶媒体において選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、またはそれと関連する使用のためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、またはデバイスであってもよい。非一過性コンピュータ可読媒体のより具体的な実施例の非網羅的リストは、１つ以上のワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性メモリ（電子）、読取専用メモリ（電子）、例えば、フラッシュメモリ等の消去可能プログラマブル読取専用メモリ（電子）、例えば、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ等のコンパクトディスクメモリ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。

【0136】

また、本書に使用されるような信号またはデータの受信および伝送は、２つ以上のシステム、デバイス、構成要素、モジュール、またはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して相互と通信することが可能であることを意味することを理解されたい。信号は、通信、電力、データ、またはエネルギー信号であってもよく、これは、情報、電力、またはエネルギーを、第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の信号経路に沿って通信してもよい。信号経路は、物理、電気、磁気、電磁気、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールの間の付加的システム、デバイス、構成要素、モジュール、またはサブモジュールを含んでもよい。

【0137】

本明細書に引用される、刊行物、特許出願、および特許を含む全ての参考文献は、各参考文献が個々かつ具体的に参照することによって組み込まれることが示され、その全体として本明細書に記載される場合と同程度に、参照することによって本明細書に組み込まれる。

【0138】

本発明を説明する文脈における（特に、以下の請求項の文脈における）用語「ａ」および「ａｎ」および「ｔｈｅ」および類似する言及の使用は、別様に本明細書に示されない、または文脈によって明確に矛盾しない限り、単数形および複数形の両方を網羅するように解釈されるものである。本明細書における値の範囲の列挙は、単に、別様に本明細書に示されない限り、範囲内に該当する各別個の値に個々に言及する略記法としての役割を果たすことを意図しており、各別個の値は、これが本明細書に個々に列挙される場合と同様に本明細書に組み込まれる。本明細書に説明される全ての方法は、別様に本明細書に示されない、または別様に文脈によって明確に矛盾しない限り、任意の好適な順序で実施されることができる。本明細書に提供されるありとあらゆる実施例または例示的言語（例えば、「等」）の使用は、単に、本開示をより良好に解明することを意図しており、別様に請求されない限り、本開示の範囲に対する限定を課さない。本明細書におけるいかなる言語も、任意の非請求要素を本開示の実践に不可欠として示すように解釈されるべきではない。

【0139】

本開示への多数の修正が、前述の説明の観点から当業者に明白となるであろう。例証される実施形態が、例示的にすぎず、本開示の範囲を限定するとしてとられるべきではないことを理解されたい。

【図1】

【図2】

【図3】

【図3A】

【図4】

【図5】

【図6】

【図7】

【図7A】

【図8】

【図8A】

【図9】

【図10】