ホーム > 特許ランキング > ＦＥＩ ＣＯＭＰＡＮＹ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-06
(54)【発明の名称】顕微鏡システムにおけるデータトリアージ
(51)【国際特許分類】
G06T 7/00 20170101AFI20241029BHJP
G06V 10/776 20220101ALI20241029BHJP
G06N 20/00 20190101ALI20241029BHJP
【ＦＩ】
G06T7/00 350B
G06V10/776
G06N20/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519583
(86)(22)【出願日】2022-09-30
(85)【翻訳文提出日】2024-05-28
(86)【国際出願番号】 US2022045339
(87)【国際公開番号】W WO2023055993
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/251,351
(32)【優先日】2021-10-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501233536
【氏名又は名称】エフ イー アイ カンパニ
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ラーション，ブラッドリー ジェイ．
(72)【発明者】
【氏名】マヘク，オンドジェイ
(72)【発明者】
【氏名】ラシャッス，キャサリン エム．
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA08
5L096CA25
5L096DA02
5L096FA02
5L096FA32
5L096FA33
5L096FA53
5L096FA64
5L096FA66
5L096FA69
5L096GA51
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】
本明細書に開示されるのは、科学的機器支援システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。
【解決手段】
例えば、いくつかの実施形態では、科学的機器用の支援装置が提供される。この支援装置は、機械学習モデルを使用して、科学的機器を介して取得された画像のセットの画像内の１つ以上の識別済み特徴を 生成するように構成される。また、この支援装置は、画像のセットが１つ以上の選択基準を満たすかどうかを決定し、画像のセットが１つ以上の選択基準を満たすという決定に応答して、１つ以上の識別済み特徴を含む、画像のセットを訓練データセットに割り当てるよう、構成される。また、この支援装置は、訓練データセットを使用して機械学習モデルを再訓練するよう、構成される。科学的機器支援を提供するためにコンピューティングデバイスを介して実行される方法も、提供される。
【選択図】図１Ａ
本明細書に開示されるのは、科学的機器支援システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。
【解決手段】
例えば、いくつかの実施形態では、科学的機器用の支援装置が提供される。この支援装置は、機械学習モデルを使用して、科学的機器を介して取得された画像のセットの画像内の１つ以上の識別済み特徴を 生成するように構成される。また、この支援装置は、画像のセットが１つ以上の選択基準を満たすかどうかを決定し、画像のセットが１つ以上の選択基準を満たすという決定に応答して、１つ以上の識別済み特徴を含む、画像のセットを訓練データセットに割り当てるよう、構成される。また、この支援装置は、訓練データセットを使用して機械学習モデルを再訓練するよう、構成される。科学的機器支援を提供するためにコンピューティングデバイスを介して実行される方法も、提供される。
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
科学的機器支援装置であって、機械学習モデルを使用して、科学的機器を介して取得された画像のセットの画像内の１つ以上の識別済み特徴を生成するための特徴識別ロジックと、
画像の前記セットが１つ以上の選択基準を満たすかどうかを決定し、画像の前記セットが前記１つ以上の選択基準を満たすという決定に応答して、前記１つ以上の識別済み特徴を含む、画像の前記セットを訓練データセットに割り当てる画像選択ロジックと、
前記訓練データセットを使用して、前記機械学習モデルを再訓練する訓練ロジックと、を含む、科学的機器支援装置。
【請求項2】
前記画像選択ロジック、及び前記訓練ロジックの少なくとも１つが、前記科学的機器から離れた場所にある、コンピューティングデバイスによって実装される、請求項１に記載の科学的機器支援装置。
【請求項3】
前記１つ以上の識別済み特徴が、ライン指示終了特徴を含む、請求項１又は２に記載の科学的機器支援装置。
【請求項4】
前記画像選択ロジックが、前記１つ以上の識別済み特徴に関するメトリックを生成することによって、画像の前記セットが前記１つ以上の選択基準を満たすかどうかを決定し、前記画像選択ロジックが、前記メトリックが所定閾値を満たすことに応答して、画像の前記セットが前記１つ以上の選択基準を満たすことを決定する、請求項３に記載の科学的機器支援装置。
【請求項5】
前記メトリックが、画像の前記セット内の各画像内で識別される特徴の数を表すプロット、画像の前記セット内の各画像内で識別される特徴領域を表すプロット、及び画像の前記セット内の各画像の特徴距離を表すプロットからなる群から選択される、少なくとも１つの傾きに基づく、請求項４に記載の科学的機器支援装置。
【請求項6】
前記１つ以上の選択基準が、前記１つ以上の識別済み特徴の特性に関する所定基準を含み、前記画像選択ロジックが、前記所定基準と比較して、前記１つ以上の識別済み特徴の異常を識別することにより、画像の前記セットが前記１つ以上の選択基準を満たすかどうかを決定する、請求項１又は２に記載の科学的機器支援装置。
【請求項7】
前記１つ以上の識別済み特徴の前記特性に関する前記所定基準が、前記１つ以上の識別済み特徴の所定基準サイズ、前記１つ以上の識別済みの特徴の所定基準数、前記１つ以上の識別済みの特徴の所定基準位置、前記１つ以上の識別済みの特徴の所定基準形状、及び前記１つ以上の識別済みの特徴の２つの間の所定基準距離からなる群から選択される少なくとも１つを含む、請求項６に記載の科学的機器支援装置。
【請求項8】
前記１つ以上の選択基準が、前記１つ以上の識別済み特徴の特性を含み、前記画像選択ロジックが、画像の複数セットにわたり、前記特性のパターンを識別することにより、画像の前記セットが前記１つ以上の選択基準を満たすかどうかを決定する、請求項１又は２に記載の科学的機器支援装置。
【請求項9】
前記１つ以上の識別済み特徴の前記特性が、前記１つ以上の識別済み特徴のサイズ、前記１つ以上の識別済みの特徴の数、前記１つ以上の識別済みの特徴の位置、前記１つ以上の識別済みの特徴の形状、及び前記１つ以上の識別済みの特徴の２つの間の距離からなる群から選択される少なくとも１つを含む、請求項８に記載の科学的機器支援装置。
【請求項10】
前記１つ以上の識別済み特徴が、画像の第１セットの１つ以上の第１識別済み特徴を含み、前記画像選択ロジックが、画像の第２セットの１つ以上の第２識別済み特徴を含む、画像の前記第２セットを、前記訓練データセットから除外する、請求項１又は２に記載の科学的機器支援装置。
【請求項11】
前記訓練データセットが、アノテーションデータセットを含み、前記画像選択ロジックが、ユーザインターフェイスを提供し、前記ユーザインターフェイスを通じて、指示を受信することに応答して、画像の前記セットを、再訓練データセット、試験データセット、及び検証データセットからなる群から選択される少なくとも１つに割り当てる、請求項１又は２に記載の科学的機器支援装置。
【請求項12】
前記訓練データセットが、アノテーションデータセットを含み、前記画像選択ロジックが、ユーザインターフェイスを提供し、前記ユーザインターフェイスを通じて、指示を受信することに応答して、画像の前記セットを、再訓練データセット、試験データセット、及び検証データセットからなる群から選択される少なくとも１つから除外する、請求項１又は２に記載の科学的機器支援装置。
【請求項13】
前記訓練データセットが、アノテーションデータセットを含み、前記画像選択ロジックが、画像の前記セットを前記アノテーションデータセットに割り当てることに応答して、ユーザインターフェイス内の前記アノテーションデータセットに割り当てられた画像の前記セットにアクセスするために、ユーザによって選択可能なリンクを生成及び送信する、請求項１又は２に記載の科学的機器支援装置。
【請求項14】
前記訓練ロジックが、トリガイベントに応答して、前記訓練データセットを使用して、前記機械学習モデルを再訓練する、請求項１又は２に記載の科学的機器支援装置。
【請求項15】
前記トリガイベントが、前記訓練データセットに含まれるユーザによりアノテーションされた画像の数、前記訓練データセットのサイズの増加、前記訓練データセット内の所定の特徴に関するユーザによりアノテーションされた画像の数の増加、１つ以上の訓練リソースの利用可能性、及び手動始動からなる群から選択される少なくとも１つを含む、請求項１４に記載の科学的機器支援装置。
【請求項16】
科学的機器支援を提供するためにコンピューティングデバイスを介して実行される方法であって、前記方法が、１つ以上の選択基準を受信することと、
科学的機器を介して取得された画像のセット内の１つ以上の識別済み特徴を受信することであって、前記１つ以上の識別済み特徴が、機械学習モデルを使用して生成される、ことと、
画像の前記セットが前記１つ以上の選択基準を満たすかどうかを決定する、ことと
画像の前記セットが前記１つ以上の選択基準を満たすという決定に応答して、前記１つ以上の識別済み特徴を含む、画像の前記セットを訓練データセットに含める、ことと、
前記訓練データセットを使用して、前記機械学習モデルを再訓練することと、を含む、方法。
【請求項17】
画像の前記セット内の前記１つ以上の識別済み特徴が、画像の第１セット内の１つ以上の第１識別済み特徴を含み、前記科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、前記１つ以上の第２識別済み特徴が、前記機械学習モデルを使用して生成される、ことと、
画像の前記第１セット、及び前記１つ以上の第１識別済み特徴をユーザインターフェイスに提供することと、
画像の前記第２セット、及び前記１つ以上の第２識別済み特徴を前記ユーザインターフェイスに提供する、ことと、
前記ユーザインターフェイスを通じて第１指示を受信したことに応答して、前記訓練データセットから画像の前記第１セットを除外することと、
前記ユーザインターフェイスを通じて第２指示を受信したことに応答して、前記訓練データセットに画像の前記第２セットを含めることと、を更に含む、請求項１６に記載の方法。
【請求項18】
前記１つ以上の選択基準が、前記１つ以上の第１選択基準を含み、画像の前記セットの前記１つ以上の識別済み特徴が、画像の第１セットの１つ以上の第１識別済み特徴を含み、１つ以上の第２選択基準を受信することと、
前記科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、前記１つ以上の第２識別済み特徴が、前記機械学習モデルを使用して生成される、ことと、
画像の前記第２セットが前記１つ以上の第２選択基準を満たすかどうかを決定することと、
画像の前記第２セットが前記１つ以上の第２選択基準を満たすという決定に応答して、前記１つ以上の第２識別済み特徴を含む、画像の前記第２セットを前記訓練データセットに含める、ことと、を更に含む、請求項１６に記載の方法。
【請求項19】
画像の前記セット内の前記１つ以上の識別済み特徴が、画像の第１セット内の１つ以上の第１識別済み特徴を含み、前記科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、前記１つ以上の第２識別済み特徴が、前記機械学習モデルを使用して生成される、ことと、
画像の前記第２セット、及び前記１つ以上の第２識別済み特徴をユーザインターフェイスに提供することと、
前記ユーザインターフェイスを通じて、画像の前記第２セットに関連付けられたアノテーションを受信することと、
前記アノテーションを含む、画像の前記第２セットを前記訓練データセットに含めることと、を更に含む、請求項１６に記載の方法。
【請求項20】
命令を有する１つ以上の非一時的コンピュータ可読媒体であって、前記命令が、前記科学的機器のための支援装置の１つ以上の処理デバイスによって実行されると、請求項１６に記載の方法を前記支援装置に実施させる、１つ以上の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本願は、米国特許法第１１９条（ｅ）の下で、２０２１年１０月１日付けで出願された、米国仮出願第６３／２５１，３５１号に基づく優先権を主張するものであり、上記出願の内容全体が、参照により本明細書で援用される。
本願は、米国特許法第１１９条（ｅ）の下で、２０２１年１０月１日付けで出願された、米国仮出願第６３／２５１，３５１号に基づく優先権を主張するものであり、上記出願の内容全体が、参照により本明細書で援用される。
【背景技術】
【0002】
顕微鏡検査は、顕微鏡を使用して肉眼では見ることが困難な物体をより良好に視認するための技術分野である。顕微鏡検査の異なる分野は、例えば、光学顕微鏡検査、荷電粒子（電子及び／又はイオン）顕微鏡検査、並びに走査型プローブ顕微鏡検査を含む。荷電粒子顕微鏡検査は、加速された荷電粒子のビームを照明源として使用することを伴う。荷電粒子顕微鏡検査の種類は、例えば、透過型電子顕微鏡検査、走査型電子顕微鏡検査、走査透過型電子顕微鏡検査、及び集束イオンビーム顕微鏡検査を含む。
【図面の簡単な説明】
【0003】
実施形態は、添付の図面と併せて以下の詳細な説明によって容易に理解されるであろう。この説明を容易にするために、同様の参照番号は同様の構造要素を指している。実施形態は、限定としてではなく例として、添付の図面の図に例解されている。
【図1A】様々な実施形態に係る、支援動作を実行するための一例示の科学的機器支援装置のブロック図である。
【図2A】様々な実施形態に係る、支援動作を実行する例示的な方法の流れ図である。
【図3】画像の機械学習モデルを使用して生成された複数の識別済み特徴を含む、一例示の画像である。
【図4】画像のセットの画像ごとに識別された特徴の数を示す、一例示のプロットを表す図である。
【図5】画像のセットの画像ごとの特徴領域を示す、一例示のプロットを表す図である。
【図6】画像のセットの画像ごとに識別された特徴距離を示す、一例示のプロットを表す図である。
【図7】画像のセットの画像ごとに識別された特徴の数を示す、一例示のプロットを表し、この例示のプロットは、機械学習による推論が失敗したことを表している、図である。
【図8】画像のセットの画像ごとの特徴領域を示す一例示のプロットを表し、この例示のプロットは、機械学習による推論が失敗したことを表している、図である。
【図9】画像のセットの画像ごとに識別された特徴距離を示す、一例示のプロットを表し、この例示のプロットは、機械学習による推論が失敗したことを表している、図である。
【図10】様々な実施形態に係る、ユーザから選択基準を受信するための一例示のユーザインターフェイスを示す図である。
【図11-1】様々な実施形態に係る、機械学習モデルの訓練結果を提供するための一例示のユーザインターフェイスを示す図である。
【図11-2】様々な実施形態に係る、機械学習モデルの訓練結果を提供するための一例示のユーザインターフェイスを示す図である。
【図12】様々な実施形態に係る、機械学習モデルの性能メトリックを示す例示のプロットを表す図である。
【図13】様々な実施形態に係る、機械学習モデルの性能メトリックを示す例示のプロットを表す図である。
【図14】様々な実施形態に係る、複数の機械学習モデルの例示の性能メトリックのグラフを示す図である。
【図15】様々な実施形態に係る、機械学習サーバに登録するための特定の科学的機器に関連付けられた、例示のモデル展開基準を示す図である。
【図16】様々な実施形態に係る、機械学習モデルを手動で展開するための一例示のユーザインターフェイスを示す図である。
【図17】様々な実施形態に係る、本明細書で開示される支援方法の一部又は全ての実行で使用され得る、グラフィカルユーザインターフェイスの一例を示す図である。
【図18】様々な実施形態に係る、本明細書で開示される科学的機器支援方法の一部又は全てを実行可能とする、一例示のコンピューティングデバイスのブロック図である。
【図19】様々な実施形態に係る、本明細書で開示される科学的機器支援方法の一部又は全てを実行可能とする、一例示の科学的機器支援システムのブロック図である。
【図20】様々な実施形態に係る、科学的機器支援システムに含まれる、一例示の科学的機器のブロック図である。
【発明を実施するための形態】
【0004】
本明細書に開示されるのは、科学的機器支援システム、並びに関連する方法、コンピューティングデバイス、及びコンピュータ可読媒体である。例えば、いくつかの実施形態において、科学的機器（例えば、荷電粒子顕微鏡）用の科学的機器支援装置が提供されている。科学的機器支援装置は、科学的機器に含まれる、又は科学的機器から離れた場所にある、共通のコンピューティングデバイスによって実装され得、機械学習モデルを使用して、科学的機器を介して取得された画像のセットの画像内の１つ以上の識別済み特徴を生成するように、構成される。また、科学的機器支援装置は、画像のセットが１つ以上の選択基準を満たすかどうかを決定するように、構成される。また、科学的機器支援装置は、画像のセットが１つ以上の選択基準を満たすという決定に応答して、１つ以上の識別済み特徴を含む、画像のセットを訓練データセットに割り当てるように構成される。また、科学的機器支援装置は、訓練データセットを使用して機械学習モデルを再訓練するようにも構成される。科学的機器支援を提供するためにコンピューティングデバイスを介して実行される方法も、提供される。
【0005】
本明細書に開示される科学的機器支援の実施形態は、従来のアプローチに対して改善された性能を達成し得る。例えば、機械学習（ＭＬ）モデル（１つ以上のＭＬアルゴリズムを実装する）は、とりわけ、従来の方法と比較して、対象画像の位置特定、終点識別、並びに画像品質向上において、改善を実証している。しかし、ＭＬモデルの性能は、モデルが使用中又は展開中に出現する画像と類似した画像でモデルを訓練することに依存することが多い。人間規模の特徴（例えば、人間、車両、動物）については、大規模なオープンデータセットが存在するが、多くの顕微鏡の特徴については、例えば、顕微鏡でよく見られる特殊な機器、サンプル、構造により、かかるデータセットは利用できない。その結果、機械学習には、ユーザが学習用に作成した顕微鏡データが必要である。しかし、このデータは、データへのアクセスを制御する独自の用途、又は知的財産（ＩＰ）に関わる用途（例えば、半導体顕微鏡）で使用される可能性があり、一部の実装形態では、かかるデータは、ユーザ又は顧客の現場でしか利用できず、機械学習を使用してモデルを構築、訓練（再訓練を含む）する機能を備えた実体は利用できない。アクセス制限に加えて、ユーザに訓練データを作成させることは非効率的である。例えば、ユーザに大規模なデータセットにアノテーションを行わせることは、ユーザの時間とコンピューティングリソースを大量に消費し、ヒューマンエラーを引き起こす恐れがあり（例えば、このプロセスは手間がかかり、単調である）、多くの場合、訓練データとして使用するためにアノテーション又はラベリングが必要な訓練データの量を考えると、実現不可能である。例えば、多くの科学的機器は、１日に何千もの画像を生成する。したがって、本明細書で開示の実施形態は、科学的機器技術に改善を提供する（例えば、とりわけ、かかる科学的機器を支援するコンピュータ技術の改善など）。
【0006】
本明細書で開示する実施形態は、従来のアプローチと比較して、機械学習モデルの改善、並びに、かかるモデルによる関連データ処理を実現し得る。例えば、上述したように、従来のアプローチは、ユーザが訓練データを作成することに依存していた。しかしながら、上述したように、こうしたアプローチは、かかる訓練データを手作業で作成するためのコンピューティングリソースの非効率的な使用、並びに、特定の場所の専有データに関連するアクセス制御による制限など、多くの技術的な問題及び制限という問題を抱えている。
【0007】
本明細書で開示される実施形態の様々な実施形態は、従来のアプローチを改良して、例えば、荷電粒子顕微鏡（ＣＰＭ）を含む顕微鏡を介して取得されたデータなどの取得されたデータに関するモデルを使用した推論（例えば、画像データにおける１つ以上の特徴の識別）の改良を通じて、機械学習モデルの改善、ひいては、科学的機器の動作の改善という、技術的利点を達成することができる。例えば、ＣＰＭなどの科学的機器は、画像データなどの、出力データを生成することで、データソースとして機能する。この生成された出力は、機械学習ワークフローをエンドユーザ（例えば、顧客）に移行することにより、機械学習の性能を向上させるためのデータソースとして使用可能であり、このワークフローは、変化するプロセスを通じて精度と信頼性を維持するために、新しいデータ（１つ以上のＣＰＭからの新しい画像データ）が利用可能になるにつれて、繰り返すことができる。とりわけ、有用な出力（例えば、顕微鏡画像）を訓練データとして自動的に選択する（すなわち、どの出力データが将来の機械学習に有益かを決定する）ことで、データの所有権、及び知的財産権を保護し続けながら、この出力を顧客レベルの機械学習プロセスにフィードバックすることができる。例えば、本明細書に記載の実施形態は、１つ以上の科学的機器（例えば、顕微鏡）によって生成された有用な出力（例えば、１つ以上の画像、又は１つ以上の画像のセット）を自動的に選択し、（例えば、１つ以上のユーザインターフェイスを通じて）人間のレビュー及びアノテーション用に出力を提示することができ、ここで、アノテーションされたデータは、モデルを再訓練するための訓練データとして使用可能であり、ユーザが機械学習の専門知識を有することを必要としない。かかる有用なデータを自動的に選択することで、利用できる全てのデータのレビューとアノテーションをユーザに促すことがなくなり、コンピューティングリソースをより効率的に使用できるので、より正確な機械学習モデルが得られる（例えば、人間によるレビューとアノテーション用に識別され、ユーザに提示され得る、エッジケースにおける有効性が向上する）。その後、機械学習モデルを改善するために、選択された訓練データを使用することで、科学的機器又は科学的機器を含む処理の動作及び性能が改善し、例えば、サンプル調製、サンプル処理（例えば、粉砕）、画像診断、機械構成及び操作等が改善される。
【0008】
つまり、本明細書に記載の実施形態は、１つ以上の科学的機器によって出力されたデータを自動的にトリアージして、かかる訓練データの価値を最適化するよう、１つ以上の機械学習モデルの訓練データを生成する一方、人間の手間を最小限に抑え、かかるデータに関連するアクセス制御を保護する。かかる技術的利点は、日常的かつ従来のアプローチでは実現不可能であり、かかる実施形態を含むシステムの全てのユーザは、こうした利点から利点を得ることができる（例えば、機械学習モデルの改善によって、例えば、エンドポインティングなどの技術的タスクの実行をユーザが支援することによって）。したがって、本明細書で開示される実施形態の技術的特徴は、本明細書に開示される実施形態の特徴の組み合わせと同様に、顕微鏡検査、及び他の科学的機器の分野では明らかに特異である。本明細書で更に論じられるように、本明細書で開示される実施形態の様々な態様は、コンピュータ自体の機能を改善することができる。例えば、科学的機器の操作の制御又はガイド、サンプルの調製又は処理、診断の実行、科学的機器の設定又は校正等のためにモデルを適用するために、科学的機器を介して使用される推論コンピュータがある。本明細書で開示するコンピュータ及びユーザインターフェイスの特徴は、情報の収集と比較だけでなく、改善された学習プロセスを経て獲得された改善されたモデルの使用を通じて、科学的機器の動作を変更するための新たな分析的及び技術的な技術に適用される。したがって、本開示は、従来のコンピューティングデバイスも人間も実施することができなかった機能を導入する。
【0009】
それ故、本開示の実施形態は、特定の技術システム、又はプロセスを制御すること、測定値から機械を制御する方法を決定すること、デジタルオーディオ、画像、又はビデオ強化、又は分析又はそれらの組み合わせなど、多くの技術的目的のいずれかを果たし得る。とりわけ、本開示は、例えば、ＣＰＭなどの科学的機器の動作に使用される機械学習モデルの生成を含むが、これらに限定されない技術的問題に対する技術的解決策を提供する。
【0010】
したがって、本明細書で開示される実施形態は、科学的機器技術の改善（例えば、他の改善の中でも、とりわけ、ＣＰＭを含む顕微鏡などの科学的機器を支援するコンピュータ技術の改善）を提供する。
【0011】
以下の詳細な説明では、本明細書の一部を形成する添付の図面が参照され、同様の数字は全体を通して同様の部分を指定し、例解として、実施され得る実施形態が示される。本開示の範囲から逸脱することなく、他の実施形態が利用され得、構造的又は論理的変更が行われ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【0012】
様々な動作は、本明細書に開示される主題を理解するのに最も役立つように、複数の別個のアクション又は動作として順に説明され得る。しかしながら、説明の順序は、これらの動作が必然的に順序に依存することを示唆するものとして解釈されるべきではない。具体的には、これらの動作は、提示の順序で実施されない場合がある。説明される動作は、説明される実施形態とは異なる順序で実施され得る。様々な追加の動作が実施され得、及び／又は説明された動作が追加の実施形態において省略され得る。
【0013】
本開示の目的のために、「Ａ及び／又はＢ」及び「Ａ又はＢ」という句は、（Ａ）、（Ｂ）、又は（Ａ及びＢ）を意味する。本開示の目的のために、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、又はＣ」という句は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味する。いくつかの要素は単数形（例えば、「処理デバイス」）で言及され得るが、任意の適切な要素は、その要素の複数のインスタンスによって表され得、逆もまた同様である。例えば、処理デバイスによって実施されるものとして説明された動作のセットは、異なる処理デバイスによって実施される動作のうちの異なるものを用いて実装され得る。
【0014】
本説明は、「一実施形態（an embodiment）」、「様々な実施形態（various embodiments）」、及び「いくつかの実施形態（some embodiments）」という句を使用し、それらの各々は、同一又は異なる実施形態のうちの１つ以上を指し得る。更に、本開示の実施形態に関して使用される「含む（comprising）」、「含む（including）」、「有する（having）」などの用語は、同義である。寸法の範囲を説明するために使用される場合、「ＸとＹとの間」という句は、Ｘ及びＹを含む範囲を表す。本明細書で使用されるように、「装置」は、任意の個々のデバイス、デバイスの集合、デバイスの一部、又はデバイスの一部の集合を指し得る。図面は、必ずしも縮尺どおりではない。
【0015】
図１Ａは、様々な実施形態に係る、科学的機器の支援動作を実行するための一例示の科学的機器支援モジュール１０００装置のブロック図である。非限定的な一例として、科学的機器支援モジュール１０００は、ＣＰＭを支援するものとして本明細書で述べられ、かくして、本明細書では、「ＣＰＭ支援モジュール１０００」とも称される。本明細書で記載するデータトリアージ、モデルプロモーション、又はこれらの双方は、推論（例えば、画像内で識別される１つ以上の特徴などの画像データから推論される診断）を生成するために機械学習モデルを採用する様々な種類の科学的機器に適用可能であり、本明細書に記載する実施形態はＣＰＭ支援に限定されない。例えば、ＣＰＭ支援モジュール１０００によって実行される、本明細書で述べるデータトリアージ及びモデルプロモーションは、機械学習モデルからの推論を使用する、クライオ電子線トモグラフィ用途、遺伝子配列決定用途、及び他の顕微鏡及びイメージング用途で、使用され得る。
【0016】
ＣＰＭ支援モジュール１０００は、プログラムされたコンピューティングデバイスなどの回路（例えば、電気的及び／又は光学的構成要素を含む）によって実装され得る。ＣＰＭ支援モジュール１０００のロジックは、単一のコンピューティングデバイスに含まれ得るか、又は必要に応じて互いに通信している複数のコンピューティングデバイスに分散され得る。ＣＰＭ支援モジュール１０００を、単独で又は組み合わせて、実装し得る、コンピューティングデバイスの実施例は、図１８のコンピューティングデバイス４０００を参照して本明細書で検討され、また、ＣＰＭ支援モジュール１０００がコンピューティングデバイスの１つ以上にわたって実装され得る、相互接続されたコンピューティングデバイスのシステムの実施例は、図１９の科学的機器支援システム５０００を参照して、本明細書で検討される。
【0017】
以下でより詳細に説明するように、ＣＰＭ支援モジュール１０００は、機械学習モデルによって生成された以前の推論を使用して、このモデルで生成された将来の推論を改善させるＭＬワークフローを実装し、ＣＰＭ支援モジュール１０００は、顧客用の効果的な機械学習モデルを効率的に作成するために、どのような以前の推論をＭＬワークフローに含めるか、及び、かかる以前の推論をＭＬワークフローにどのように含めるかを識別するために、自動化データトリアージを実行する。ＭＬワークフローは、データを収集すること、訓練データセットを生成すること、モデルを再訓練すること、（再訓練時の）モデルを試験及び検証すること、モデルをプロモーション及び展開すること、又はそれらの組み合わせを含み得る。ＣＰＭ支援モジュール１０００は、継続的学習ワークフローを実装するために、新しいデータが利用可能になると、ＭＬワークフローを反復することができ、これにより、流入するデータ（例えば、１つ以上のＣＰＭからの）に基づいて、機械学習モデルを改善させ、続いて、ＣＰＭ、及び他の想定される科学的機器とプロセス（例えば、ＣＰＭを介した正確なサンプルの調製）の性能を改善させる。本明細書で使用する場合、「継続的な」学習又は「継続的な」ワークフローとは、一般に、機械学習モデルについて、例えば、新しいデータが利用可能になったとき、又は他のトリガイベントが発生したときなど、訓練プロセス（すなわち、再訓練）が繰り返されることを意味する。この反復された訓練は、自動データトリアージの実行を含み、このデータトリアージの自動化された性質は、限られたユーザの介入、及び機械学習プロセスにおけるユーザの経験又は専門知識を必要とし、これにより、データ制御又はアクセス制限を順守しながら、顧客又はクライアントレベル（例えば、１つ以上のＣＰＭなどの、１つ以上の科学的機器の所有者又はオペレータ）で、学習ワークフローを実装することができる。
【0018】
例えば、図２０に関して以下で詳述するように、ＣＰＭはサンプルの画像のセットを生成し、画像のセットは１つ以上の画像を含む。機械学習モデルが画像のセットに適用され、画像のセット内で識別された１つ以上の特徴（本明細書では、「推論」とも称される）が決定される。識別された１つ以上の特徴には、ステージ検出、ライン指示終了実行、デバイスライン終端、グライダレータ、画像ノイズ除去、又は類似の画像特徴若しくはアーチファクトが含まれ得る。この推論は、機械学習モデルの将来の訓練で利用可能となり得る。しかしながら、上述したように、（手動レビュー、又はアノテーションなしで）将来の訓練に全ての推論を含めることは、とりわけ、エッジケースに関して、機械学習モデルの有効性を低下させる恐れがあり、生成された画像データ及び関連する推論の量を考慮すると、相当なコンピューティングリソース（例えば、メモリ及び処理リソース）を要する可能性がある。しかしながら、かかる利用可能な推論を全て、ユーザが（必要に応じて）手作業でレビュー、トリアージ、アノテーションすることは、多くの状況において、コスト的に法外なオーバーヘッドを必要とする。更に、一部の顧客が、画像データ、かかる画像データから生成された推論、又はその双方を他の顧客又は組織と共有することを控えたり、若しくは制限されたりして機械学習ワークフロー及び訓練における社内経験が不足していることにより、更なるモデル訓練に使用するために利用可能な推論を、機械学習に熟練した当事者など、第三者に提供することは、訓練データの利用可能性を制限する恐れがあり、これにより、今後の機械学習モデルの訓練、及び改善のために利用できるデータが制限される。
【0019】
したがって、ＣＰＭ支援モジュール１０００は、（１つ以上の推論を生成するために、機械学習モデルを介して処理された）画像を機械学習モデルの学習ワークフローにフィードバックするかどうか、及びその方法を識別するために、自動データトリアージを実行する。また、いくつかの実施形態において、ＣＰＭ支援モジュール１０００は、必要に応じて、モデルの性能を決定し、かかる性能に基づいて、使用するモデルを自動的に展開することによって、モデルをプロモーションするタイミングを制御するために、機械学習モデルを管理する。例えば、図１Ａで例示するように、ＣＰＭ支援モジュール１０００は、データトリアージロジック１００２と、必要に応じて、モデルプロモーションロジック１００４を含み得る。本明細書で使用される場合、「ロジック」という用語は、ロジックと関連付けられた動作のセットを実施する装置を含み得る。例えば、支援モジュール１０００に含まれるロジック要素のいずれかは、コンピューティングデバイスの１つ以上の処理デバイスに関連付けられた動作のセットを実施させる命令でプログラムされた、１つ以上のコンピューティングデバイスによって実装され得る。特定の実施形態では、ロジック要素は、１つ以上の非一時的コンピュータ可読媒体を含み得、１つ以上の非一時的コンピュータ可読媒体は、１つ以上のコンピューティングデバイスの１つ以上の処理デバイスによって実行されるときに、１つ以上のコンピューティングデバイスに、関連付けられた動作のセットを実施させる命令を有する。本明細書で使用される場合、「モジュール」という用語は、一緒にモジュールと関連する機能を実施する、１つ以上のロジック要素の集合を指し得る。モジュール内のロジック要素のうちの異なるものは、同じ形態をとり得るか、又は異なる形態をとり得る。例えば、モジュール内のいくつかのロジックは、プログラムされた汎用処理デバイスによって実装され得、モジュール内の他のロジックは、特定用途向け集積回路（ＡＳＩＣ）によって実装され得る。別の実施例では、モジュール内のロジック要素の異なるものは、１つ以上の処理デバイスによって実行される、異なる命令のセットと関連付けられ得る。モジュールは、関連する図面に示されたロジック要素の全てを含まない場合があり、例えば、モジュールは、そのモジュールが、そのモジュールを参照して本明細書で考察される動作のサブセットを実施するとき、関連する図面に示されるロジック要素のサブセットを含み得る。
【0020】
データトリアージロジック１００２は、本明細書で検討されるデータトリアージ動作のいずれかを実行することができる。例えば、データトリアージロジック１００２は、機械学習ワークフローに有用なデータを自動的に識別し、識別されたデータを機械学習ワークフローに適宜組み込むことができる。上述のとおり、データトリアージは、必要とされるユーザアノテーション、及び他の手動処理手順の数を減らすことで、学習ワークフローに必要とされるオーバーヘッドを削減する。また、以下で詳細に説明するように、データトリアージロジック１００２は、顧客が他の顧客と画像データ又は推論を共有することを要求することなく、かつ、顧客が機械学習プロセスの経験又は専門知識を有することを要求することなく、顧客がそのモデルの学習ワークフローにアクセスし、それを制御することを可能にするように、学習ワークフローを顧客のワークフローに統合する。例えば、データトリアージロジック１００２は、顧客の現場レベル（例えば、サーバ所有者又は顧客の代理として運用されるサーバ）でモデル学習を展開することができ、少量のユーザオーバーヘッドを必要とし、（顧客が機械学習プロセスの経験又は訓練を有することを必要とせずに）明瞭に理解されるプロセスを提示し、信頼できる結果を提供することができれば、都合がよくなり得る。
【0021】
図１Ｂは、いくつかの実施形態に係る、データトリアージロジック１００２のブロック図である。図１Ｂで例示するように、いくつかの実施形態において、データトリアージロジック１００２は、特徴識別ロジック１００６、画像選択ロジック１００８、訓練ロジック１０１０、及びユーザインターフェイスロジック１０１２を含む。上述のとおり、ＣＰＭ支援モジュール１０００（データトリアージロジック１００２を含む）を介して実装されるロジックは、単一のコンピューティングデバイスに含まれ得るか、又は、必要に応じて互いに通信している複数のコンピューティングデバイスにわたって分散され得る。例えば、いくつかの実施形態において、特徴識別ロジック１００６は、例えば、ＣＰＭに含まれるか、又はＣＰＭの近くにある推論コンピュータなど、科学的機器に含まれるか、又は科学的機器の近くにある１つ以上のコンピューティングデバイスを介して、実行することができる。画像選択ロジック１００８、訓練ロジック１０１０、及びユーザインターフェイスロジック１０１２は、１つ以上の通信ネットワークを介して、１つ以上のＣＰＭと通信するサーバなど、ＣＰＭから離れた場所にあるコンピューティングデバイスを介して実行することができる。例えば、いくつかの実施形態において、ＣＰＭは、画像データを生成し、特徴識別ロジック１００６について本明細書で述べる推論を生成するために、（例えば、ローカル推論コンピュータを介して）１つ以上の機械学習モデルを適用することができ、画像データ及び推論は、画像選択ロジック１００８、訓練ロジック１０１０、及びユーザインターフェイスロジック１０１２を適用する１つ以上のサーバに送信される。このサンプル構成では、ユーザインターフェイスロジック１０１２は、１つ以上のユーザローカルコンピューティングデバイスに提供されるユーザインターフェイスを生成することができる。ＣＰＭ支援モジュール１０００に適用可能なコンピューティングデバイス構成、及びそれに関連するロジックに関する更なる詳細は、図１８及び図１９に関して以下に提供される。
【0022】
特徴識別ロジック１００６は、機械学習モデルを使用して、例えば、ＣＰＭを介して生成された画像のセットなどの画像のセット内の１つ以上の識別済み特徴を生成し得る。上述のとおり、識別された１つ以上の特徴には、ステージ検出、ライン指示終了実行、デバイスライン終端、グライダレータ、画像ノイズ除去、又は類似の画像特徴若しくはアーチファクトが含まれ得る。
【0023】
画像選択ロジック１００８は、画像のセットが機械学習モデルの学習ワークフローに組み込まれるかどうか、又は組み込まれる方法を制御する１つ以上の選択基準を、画像のセットが満たすかどうかを決定する。いくつかの実施形態では、画像選択ロジック１００８は、画像のセットに関連付けられた１つ以上の識別済み特徴に関するメトリックのセットを生成することによって、画像のセットが１つ以上の選択基準を満たすかどうかを判定し得る、ここで、メトリックのセットに含まれる１つ以上のメトリックが１つ以上の所定閾値（基準とも、称される）を満たすことに応答して、画像のセットが１つ以上の選択基準を満たす。個々の画像、又は画像の個々のセット（例えば、同じサンプル、又は撮像セッションに関連する）のメトリックを使用することに加えて、又はその代替として、画像選択ロジック１００８は、画像の複数セット間のパターン又は相関関係を調べて、画像のセット（又は、その一部）が１つ以上の選択基準を満たすかどうかを決定することができる。例えば、経時にわたる画像のセットのメトリックの変化、又は傾向などの相関関係又はパターンを特定することで、機械学習モデルの新たな訓練を保証し得る状況の変化を識別することができる。また、いくつかの実施形態では、選択基準は、例えば、学習ワークフローに含めるために、生成された画像及び関連する識別済み特徴のセットを１００番目ごとに選択するなど、ランダムな選択に関連付けられる。どの画像を学習ワークフローに含めるかを選択することに加えて、画像選択ロジック１００８は、学習ワークフロー内の１つ以上の異なる訓練データセットに含めるために、関連する推論（つまり、機械学習モデルを介して生成された１つ以上の識別済み特徴）を含む、画像を指定するか、又はフラグを付けることができる。本明細書で使用する場合、「訓練データセット」は、本明細書で記載される機械学習ワークフローの一部として使用される画像のセットを含み、本明細書で説明されるように、いくつかの実施形態では、ワークフローは複数の異なる訓練データセットを使用する。例えば、いくつかの実施形態では、訓練データセットには、再訓練データセット、アノテーションデータセット、試験データセット、及び検証データセットが含まれ、画像選択ロジック１００８は、これらの訓練データセットの１つ以上に含めるために、１つ以上の画像、及びそれらの関連する推論を自動的に割り当てる（例えば、指定又はフラグを付ける）ことができる。しかし、本明細書で述べる実施形態では、本明細書で述べるデータセットよりも少ないデータセット若しくは追加のデータセット、又は異なる種類のデータセットを使用することができることを、理解されたい。本明細書で述べる例示の種類の訓練データセットにおいて、再訓練データセットは、モデルを再訓練するために使用される画像及び関連する推論を含むことができ、試験データセット及び検証データセットは、再訓練されたモデルをそれぞれ試験及び検証するために使用される。アノテーションデータセットは格納され、アノテーションデータセットに含まれる画像は、（例えば、ＣＰＭのオペレータ、プロセスエンジニア、又は他のユーザによる）手動レビューのために利用可能であり得、ユーザが（１つ以上の視覚化ツール及びナビゲーションツールを使用して）画像又は画像のセット、並びに関連する推論をレビューすること、必要に応じて、１つ以上の画像にアノテーションを行うこと、学習プロセスから画像を含めるか、又は除外すること、学習ワークフロー内の１つ以上の画像について訓練データセットを指定すること、又はそれらの組み合わせを可能にする、１つ以上のユーザインターフェイスが提供される。いくつかの実施形態において、画像選択ロジック１００８は、１つ以上の画像がアノテーションデータセット内で手動レビューのために利用可能である場合、１つ以上のアラート（例えば、電子メールメッセージ、テキストメッセージ、チャットメッセージなどの電子メッセージ）を始動する。アラートは、手動レビュー用のアノテーションデータセットに含まれる１つ以上の画像へのアクセスを提供する１つ以上のユーザインターフェイス（以下で説明する）にアクセスするための１つ以上の選択可能リンク（例えば、統一資源位置指定子（ＵＲＬ）を選択する）を含み得る。
【0024】
選択基準は、１つ以上の識別された特徴のメトリック（例えば、ベース又は基準と比較して、画像又は画像のセット内で検出された異常）、画像のセットにわたるパターン又は相関、ランダム選択、又はそれらの組み合わせに基づき得る。また、いくつかの実施形態において、選択基準は、ＣＰＭ支援モジュール１０００を介して提供される１つ以上のユーザインターフェイスを介して定義され得る、１つ以上のユーザ定義ルールを通じて、特定のユーザ又はユーザ現場用にカスタマイズされてもよい。
【0025】
訓練ロジック１０１０は、特徴識別ロジック１００６及び画像選択ロジック１００８で実行されたデータトリアージを介して確立された訓練データセットの１つ以上を適用して、機械学習モデルを訓練する。いくつかの実施形態において、訓練ロジック１０１０は、訓練が実行されるタイミングを制御する。訓練ロジック１０１０は、例えば、訓練データセットに含まれる推論エラーを修正するアノテーションの利用可能性（例えば、推論とアノテーションとの類似性に基づいて決定される）、訓練データセットのサイズの所定の増加（例えば、パーセンテージ）、特定の特徴のアノテーションの所定の増加（例えば、パーセンテージ）、訓練リソースの利用可能性、又は手動で起動された訓練ジョブに基づくなど、様々な条件に基づいて、モデルの訓練をトリガすることができる。
【0026】
１つ以上の利用可能な訓練データセットでモデルを訓練することを決定することに応答して、訓練ロジック１０１０は、訓練構成に従って訓練を実行し得る。訓練構成の特徴は、どのアルゴリズムを訓練するか、使用する初期転移学習モデル、訓練ソース（例えば、ハードウェアの選択、及び並列性の量（バッチサイズ、ＲＯＩサイズ、ＧＰＵ及びノード））、訓練停止条件（例えば、訓練エポック数、収束率、収束の欠如等）、又は、それらの組み合わせの１つ以上を含み得る。訓練構成の全て又は一部の特徴を、ＣＰＭ支援モジュール１０００を介して提供される１つ以上のユーザインターフェイスを通じて、ユーザが手動で定義することができる。
【0027】
ユーザインターフェイスロジック１０１２は、データトリアージロジック１００２を介して実行される機能に関連する１つ以上のユーザインターフェイスを生成する。以下で詳細に説明するように、１つ以上のユーザインターフェイスは、画像選択ロジック１００８によってアノテーションデータセットに含まれる画像データをレビューするための視覚化、アノテーション、選択及び指定ツールを提供し得る。こうしたユーザインターフェイスにより、ユーザは、画像をレビューしたり、画像に関連する推論をレビューしたり、アノテーションを追加したり、画像を学習ワークフローから除外したり、画像を学習ワークフローに含めたり、画像を学習ワークフローの特定の訓練データセットに含まれるように指定したり、又はこれらを組み合わせたりすることができる。図１７に関して以下で説明するように、これらのユーザインターフェイスは、データ表示領域３００２に画像データを表示し得、画像データに関連付けられた推論、かかる推論に関連付けられたメトリック、又はそれらの組み合わせをデータ分析領域３００４に表示し得、画像データにアノテーションを行う、除外する、含める、又は指定するためのオプションを、科学的機器制御領域３００６、設定領域３００８、又はそれらの組み合わせ内に表示し得る。
【0028】
また、いくつかの実施形態では、ユーザインターフェイスロジック１０１２は、データトリアージロジック１００２を介して実行されるデータトリアージを構成（設定、かつ／又は変更）するオプションを提示する１つ以上のユーザインターフェイスを生成する。例えば、ユーザインターフェイスロジック１０１２は、画像選択ロジック１００８によって適用される選択基準の構成、訓練ロジック１０１０によって適用される訓練トリガ条件の構成、訓練ロジック１０１０によって適用される訓練構成の構成、又はそれらの組み合わせのための１つ以上のユーザインターフェイスを生成することができる。
【0029】
ユーザインターフェイスロジック１０１２を介して生成されたユーザインターフェイスは、ユーザインターフェイスに含まれるデータ又はオプションとのユーザの相互作用を許可又は制限する様々なアクセス許可を含み得る。例えば、いくつかの実施形態では、アノテーションデータセットに含まれる画像のレビュー、アノテーションデータセットに含まれる画像のアノテーション、選択基準の構成、訓練態様の構成などは、特定のアクセス許可を持つユーザについてのみ許可することができる。こうしたアクセス許可は、データへのアクセスを制御するため（例えば、特定顧客に関連するユーザのみが、その顧客に関連する機器を介して収集された画像データを閲覧することができる）だけでなく、どのユーザがＣＰＭ支援モジュール１０００及びその関連機能を構成し得るかを制御するために、実装することができる。いくつかの実施形態において、ユーザインターフェイスロジック１０１２は、複数のロジックモジュール（例えば、第１ユーザインターフェイススロジック、第２ユーザインターフェイスロジックなど）の間に分散され得、各ロジックモジュールは、１つ以上の特定ユーザインターフェイス（例えば、特定の出力、入力オプション、アクセス許可など用の特定のユーザインターフェイス）を生成及び提供し得る。
【0030】
図１Ａに関して上述したように、いくつかの実施形態では、ＣＰＭ支援モジュール１０００は、モデルプロモーションロジック１００４も含む。図１Ｃは、いくつかの実施形態に係る、モデルプロモーションロジック１００４のブロック図である。モデルプロモーションロジック１００４は、検討されるモデルプロモーション動作のいずれかを実行することができる。図１Ｃで例示するように、いくつかの実施形態において、モデルプロモーションロジック１００４は、モデル性能ロジック１０１４、ユーザインターフェイスロジック１０１６、及びプロモーションロジック１０１８を含む。
【0031】
モデル性能ロジック１０１５は、機械学習モデル用の１つ以上の性能メトリックを生成する。性能メトリックは、モデルの訓練、又は試験性能に基づき得る。
【0032】
プロモーションロジック１０１８は、機械学習モデルの性能メトリックに基づいて、特定の機械学習モデルを、１つ以上のＣＰＭなどの１つ以上の科学的機器に展開する。プロモーションロジック１０１８は、モデル間で性能メトリックを比較し、試験結果、展開性能、又はそれらの組み合わせに基づいて、候補モデルをランク付けすることができる。必要に応じて、プロモーションロジック１０１８は、手動で監視されてもよい。例えば、プロモーションロジック１０１８を通じて、ユーザは、特定のモデルを展開できるようにし得る（例えば、プロセスの安定性のため、又は、新モデルをスクリーニングするため）。自動展開の場合、プロモーションロジックは、対象プロセスの特定のステップに最適なモデルを選択して、モデル展開の明瞭な記録を確実にするために、どのモデルがどこに展開されたかを記録することができる。いくつかの実施形態では、自動展開を含む、自動プロモーションが使用される場合、自動化のレベルがユーザによって設定されてもよい。自動展開を含む自動プロモーションは、モデルの展開に伴うことが多い時間的制約の他、かかる展開を実行するための関連する手間と専門知識を削減する。また、本明細書で述べるＭＬワークフローを使用して、段階的に改善する、十分機能するモデルを作成することができ、自動プロモーションによって確実にかかる改善が適切に展開され、より新しく、性能がより優れたモデルが利用可能な際に、このモデルが確実に使用される。加えて、プロモーションプロセスと、ユーザがプロセスを構成し、プロセスの結果（例えば、性能メトリック、推論、ランク、展開など）を確認する機能は、実行モデルが既知である、プロセスが明確である、結果が理解可能である、及び、推論が明確である、観察可能なプロセスを提供する。
【0033】
プロモーションロジック１０１８は、例えば、「プロトタイプ」、「認定済み」、「本番」など、ユーザがカスタマイズ可能な１つ以上のプロモーションステップでモデルプロモーションを実行することができる。各ステップは、特定の閾値スコアと関連付けられ得、モデルのスコアは、モデル損失（モデルの訓練中に追跡される）、モデル試験（モデルの試験、又は検証中に追跡される）、及びモデル展開（展開されたモードによって生成された推論について上述したメトリックに基づくなどにより、モデルの使用中に追跡される）に基づき得る。いくつかの実施形態では、スコアの構成要素は、ステップ内で異なって重み付けされたり、ステップ間で異なって重み付けされたり、又はそれらの組み合わせで重み付けされ得る。
【0034】
例えば、プロモーションロジック１０１８は、プロモーション基準を適用して、モデルを特定のステップにプロモーションするタイミングを識別することができる。プロモーション基準は、上述したような重み付けされたスコアを含むことができる。プロモーション基準は、訓練セットのサイズ、訓練時間又は頻度などの他のパラメータを含むことができる。プロモーション基準は、ユーザインターフェイスロジック１０１６を介して生成され得る、１つ以上のユーザインターフェイスを介してユーザによって設定され得る。また、ユーザインターフェイスロジック１０１６は、ユーザが１つ以上の機器に特定のモデルを手動でプロモーション（展開を含む）することを可能にする、１つ以上のユーザインターフェイスを生成することができる。また、ユーザインターフェイスロジック１０６は、特定の画像データについて、モデルによって生成された推論を（例えば、様々な視覚化ツール、及ナビゲーションツールを使用して）提供することなどにより、モデルの性能をレビュー又はトラブルシューティングするための１つ以上のインターフェイスを生成することができる。ユーザインターフェイスロジック１０１２に関して上述したように、ユーザインターフェイスロジック１０１６を介して生成されたユーザインターフェイスは、ユーザインターフェイスに含まれるデータ、又はオプションとのユーザの相互作用を許可又は制限し得る、様々なアクセス許可を含み得る。例えば、いくつかの実施形態では、特定のアクセス許可を持つユーザのみが、プロモーション基準の設定、モデル性能のレビュー又はトラブルシューティング、モデルの手動プロモーション（展開を含む）などを行うことを許可され得る。この場合もやはり、こうしたアクセス許可は、データへのアクセスを制御するため（例えば、特定顧客に関連するユーザのみが、その顧客に関連する機器を介して収集された画像データを閲覧することができる）だけでなく、どのユーザがＣＰＭ支援モジュール１０００及びその関連機能を構成し得るかを制御するために、実装することができる。いくつかの実施形態において、ユーザインターフェイスロジック１０１６は、複数のロジックモジュール（例えば、第１ユーザインターフェイススロジック、第２ユーザインターフェイスロジックなど）の間に分散され得、各ロジックモジュールは、１つ以上の特定ユーザインターフェイス（例えば、特定の出力、入力オプション、アクセス許可など用の特定のユーザインターフェイス）を生成及び提供し得る。
【0035】
図２Ａは、ＣＰＭ支援モジュール１０００によって実行される方法２０００を表す流れ図である。方法２０００の動作は、本明細書で開示される特定の実施形態（例えば、ＣＰＭ支援モジュール１０００、又はそれに含まれるロジック、グラフィカルユーザインターフェイス３０００、コンピューティングデバイス４０００、及び／又は科学的機器支援システム５０００）を参照して例解され得るが、方法２０００は、任意の好適な支援動作を実行するために任意の好適な設定で使用され得る。方法２０００の各ブロックは、図２Ａにおいてそれぞれ１回ずつ特定の順序で例示されているが、動作は、所望に応じて、適切に並べ替えられ得る、かつ／又は繰り返され得る（例えば、実行される異なる動作は、適宜、並行して実行され得る）。
【0036】
以下で説明するように、方法２０００は、例えば、ＣＰＭなどの科学的機器の支援方法、並びに、かかる機器によって適用される機械学習モデルを表す。方法２０００を、ＣＰＭに関して本明細書で説明する。しかし、上述したように、方法２００は、他の種類の顕微鏡、又は撮像機器を含む、他の種類の科学的機器と併用され得る。また、方法２０００を実行する前に、科学的機器（例えば、ＣＰＭ）は、適切に準備され、動作するように構成され得ることを、理解されたい。例えば、サンプルを選択して、ＣＰＭのチャンバ内のホルダ内に配置してもよい。また、ＣＰＭ（又は、関連するコンピューティングデバイス）には、サンプルのＣＰＭによって生成された画像内で１つ以上の推論（すなわち、識別済み特徴）を生成するように構成された、機械学習モデルもロードされ得る。
【0037】
図２Ａで例示されるように、方法２０００は、データトリアージ動作を実行すること（ブロック２００２で、データトリアージロジック１００２などを介して）と、必要に応じて、モデルプロモーション動作を実行すること（ブロック２００４で、モデルプロモーションロジック１００４などを介して）と、を含む。方法２０００は、図２Ａを参照して説明した動作の一部、又は全てを含み得る。例えば、方法２０００は、データトリアージ動作（ブロック２００２）、及びモデルプロモーション動作（ブロック２００４）の双方を実行することを含むことができる。しかし、他の実施形態では、方法２０００は、データトリアージ動作（ブロック２００４）の実行だけを含み、モデルプロモーション動作（ブロック２００４）の実行を含まない場合もある。同様に、いくつかの実施形態において、方法２０００は、モデルプロモーション動作（ブロック２００４）の実行だけを含み、データトリアージ動作（ブロック２００２）の実行を含まない場合もある。また、いくつかの実施形態では、データトリアージ動作（ブロック２００２）は、モデルプロモーション動作（ブロック２００２）の前、並行して、又は、後で実行してもよい。更に、方法２０００又はその一部は（個々の動作として、又は、一連の動作として）繰り返され得る。例えば、データトリアージ動作（ブロック２００２）は、モデルプロモーション動作（ブロック２００４）の実行と同時に、又は、それとは別個に（例えば、「継続的な」学習を作成するために）１回以上繰り返され得、これは、モデルが様々なステップ（「プロトタイプ」、「認定済み」、「本番」など）にプロモーションする際、繰り返される場合もある。
【0038】
図２Ｂは、方法２０００のブロック２００２で実行されるデータトリアージ動作を表す流れ図である。図２Ａに関して上述したように、図２Ｂに例示される流れ図の各ブロックは、それぞれ１回、特定の順序で例示されている。しかし、動作は、所望に応じて、かつ適切に並べ替えられ、かつ／又は繰り返され得る（例えば、好適な場合、実行される異なる動作は、並行して実行されてもよい）。
【0039】
図２Ｂで見られるように、ブロック２００６で、特徴識別ロジック１００６は、機械学習モデルを使用して、ＣＰＭ又は他の科学的機器を介して生成された画像のセットなどの、画像のセット内の１つ以上の識別済み特徴を生成する。図３は、科学的機器を介して生成された画像のセットに含まれる一例示の画像２００７を例示し、画像２００７に適用された機械学習モデルを介して識別された複数の特徴（個別に「特徴２００８」、又は「識別済み特徴２００８」と称され、集合的には、「特徴２００８」、又は「識別済み特徴２００８」と称される）を例示する。図３で例示するように、この例では、識別済み特徴２００８は、画像２００７内で識別されたライン指示終了（ＬＩＴ）特徴を表し、とりわけ、機械学習モデルを介して画像２００７内で識別された６つのＬＩＴ特徴を表す。いくつかの実施形態において、ユーザインターフェイスロジック１０１２は、画像データセット及び識別済み特徴を表示する、１つ以上のユーザインターフェイスを生成するように構成される。例えば、いくつかの実施形態では、ユーザインターフェイスロジック１０１２は、ユーザが、選択された画像のセットを通じて（例えば、スライダ、又は同様の選択機構、ジェスチャ、コマンドなどを使用して）スクロールできるようにする、ユーザインターフェイスを生成し、画像のセットの表示された画像ごとに、１つ以上の識別済み特徴が画像内に表示される（例えば、図３で図示される、アノテーションとして）。また、ユーザインターフェイスは、ユーザが特定の画像のセットを選択したり、画像のセット内で識別された特定の特徴を選択したり、これらを組み合わせて、選択された画像、及び対応する選択された特徴を表示したりするように、構成され得る。
【0040】
図２Ｂに戻ると、ブロック２００９で、画像選択ロジック１００８は、ブロック２００６で決定された識別済み特徴が１つ以上の選択基準を満たすかどうかを決定する。いくつかの実施形態では、画像選択基準は、識別済み特徴に関連付けられた１つ以上のメトリックに基づく。１つ以上のメトリックは、機械学習推論が失敗したことを示すか、又は、機械学習モデルの追加訓練用に使用される訓練データセットに含めるべきでないことを示し得る、識別済み特徴における異常を検出するために、識別済み特徴について期待されるメトリックを表す、１つ以上の所定閾値と比較され得る。いくつかの実施形態において、メトリックを関連する所定閾値と比較することは、メトリックを期待値又は期待範囲と比較すること、メトリックと期待値（例えば、閾値又は基準）との間の分散を決定すること、並びに、この分散を期待値又は期待範囲と比較すること、又は、それらの組み合わせを含む。
【0041】
例えば、画像のセットの各画像における識別済み特徴の１つ以上の特性を、画像のセット全体にわたってプロットし得、このプロットの傾きを、識別済み特徴、ひいては、画像のセットのメトリックとして使用し得る。画像のセットがＬＩＴ実行であり、識別子特徴がＬＩＴ特徴である実施形態において、プロットされた特性は、各画像で識別されたＬＩＴ特徴の数、各画像で識別された特徴の面積、又は各画像で識別された特徴の距離を、含み得る。例えば、図４は、画像のセットの画像ごとに識別された特徴の数を示す一例示のプロット２０１０であり、図５は、画像のセットの画像ごとに識別された特徴領域を示す一例示のプロット２０１２であり、図６は、画像のセットの画像ごとに識別された特徴距離を示す一例示のプロット２０１４である。これらの例示のプロットの１つを使用すると、１つ以上のメトリックには、傾き平均、傾き標準偏差、位置変化、又は、それらの組み合わせが含まれ得る。位置変化は、ＬＩＴ実行について識別された特徴の数など、特徴の数に関するメトリックである。
【0042】
例えば、以下の方程式を使用して、画像のセットの各画像内で識別された特徴の数のプロットに関連する傾き平均、傾き標準偏差、及び位置変化を計算することができる（例えば、図４を参照）。
ｒ＝ｓｔａｔｓ．ｌｉｎｒｅｇｒｅｓｓ（ｘ，ｙ）
ｓｌｏｐｅ．ａｐｐｅｎｄ（ｒ．ｓｌｏｐｅ）
ｒｕｎＤａｔａ［‘ｓｌｏｐｅ ａｖｇ’］＝ｎｐ．ｍｅａｎ（ｎｐ．ａｂｓｏｌｕｔｅ（ｓｌｏｐｅ））
ｒｕｎＤａｔａ［‘ｓｌｏｐｅ ｓｔｄ’］＝ｎｐ．ｓｔｄ（ｎｐ．ａｂｓｏｌｕｔｅ（ｓｌｏｐｅ））
ｒｕｎＤａｔａ［‘ｌｏｃａｔｉｏｎ ｃｈａｎｇｅ’］＝ｎｐ．ｓｕｍ（ｎｐ．ａｂｓｏｌｕｔｅ（ｎｐ．ｇｒａｄｉｅｎｔ（ｒｕｎＤａｔａ［‘ｆｅａｔｕｒｅｓ’］）））．ｔｏｌｉｓｔ（）
ｒ＝ｓｔａｔｓ．ｌｉｎｒｅｇｒｅｓｓ（ｘ，ｙ）
ｓｌｏｐｅ．ａｐｐｅｎｄ（ｒ．ｓｌｏｐｅ）
ｒｕｎＤａｔａ［‘ｓｌｏｐｅ ａｖｇ’］＝ｎｐ．ｍｅａｎ（ｎｐ．ａｂｓｏｌｕｔｅ（ｓｌｏｐｅ））
ｒｕｎＤａｔａ［‘ｓｌｏｐｅ ｓｔｄ’］＝ｎｐ．ｓｔｄ（ｎｐ．ａｂｓｏｌｕｔｅ（ｓｌｏｐｅ））
ｒｕｎＤａｔａ［‘ｌｏｃａｔｉｏｎ ｃｈａｎｇｅ’］＝ｎｐ．ｓｕｍ（ｎｐ．ａｂｓｏｌｕｔｅ（ｎｐ．ｇｒａｄｉｅｎｔ（ｒｕｎＤａｔａ［‘ｆｅａｔｕｒｅｓ’］）））．ｔｏｌｉｓｔ（）
【0043】
上述のようにプロットから計算された値は、画像のセットが１つ以上の選択基準を満たすかどうかを決定するために、閾値（例えば、期待値）と比較され得る。例えば、理想的な条件下では、ＬＩＴ実行で識別された特徴の数のプロットの傾き標準偏差は、０であるものとする（画像のセットの各画像において、同じ数の特徴が識別されたことを示す）。したがって、このようなプロットで傾き標準偏差が大きい場合は、ＬＩＴ特徴が機械学習モデルによって適切に識別されなかった（すなわち、機械学習による推論が失敗した）ことを示し得る。別の例として、（例えば、サンプル上の既知のパターンに基づいて）各画像に６つのＬＩＴ特徴が予想された場合、識別済み特徴の数に関連する位置変化メトリックが６以外の値であることは、ＬＩＴ特徴が機械学習モデルを介して正しく識別されなかった（つまり、機械学習推論に失敗した）ことを示す。
【0044】
例えば、図７で例示するプロット２０１６は、識別済み特徴の数が４～７の間で変化する、ＬＩＴ実行内で検出された特徴の数のプロットを示す。同様に、図８で例示するプロット２０１８は、特徴領域が画像にわたって変化する、ＬＩＴ実行中に検出された特徴の特徴領域のプロットを示しており、ここで、全てのＬＩＴ特徴が適切に識別されている場合、検出される面積はほぼ一定に保たれるはずであると、予想される（例えば、ＬＩＴ特徴の境界が、変化するサンプル特徴によって不明瞭になるので、多少の変動はある）。同様に、図９で例示するプロット２０２０は、ＬＩＴ実行中に検出された特徴の特徴距離のプロットを示しており、この特徴距離は一般に非線形であり、直線距離は、適切に識別されたＬＩＴ特徴に対して期待される。したがって、プロット２０１６、２０１８、及び２０２０はそれぞれ、機械学習モデルの追加の訓練において使用するための良好な候補ではない、失敗した機械学習推論を表す。
【0045】
上述のとおり、画像選択ロジック１００８は、決定されたメトリックを１つ以上の閾値と比較して、関連する推論を含む画像のセットを機械学習モデルの特定の訓練データセットに自動的に含めるべきか（ブロック２０２６）、又は、訓練データセットから自動で除外する（ブロック２０２４）すべきかを、決定し得る。いくつかの実施形態において、画像選択ロジック１００８は、様々な訓練データセットに対して、異なる選択基準（例えば、閾値）を適用するように構成され得る。例えば、決定されたメトリックが訓練データセットに関連付けられた閾値を満たさない場合（例えば、メトリックが閾値を超える場合）、識別済み特徴は、訓練データとして機械学習モデルにフィードバックされた場合、機械学習モデルの性能を向上させるはずの推論を表さない（例えば、識別済み特徴が、モデルが識別することになっている、ＬＩＴ特徴の全てを正確に表していない）可能性がある。したがって、この状況では、メトリックが訓練データセットに関連付けられた閾値を満たさない場合（ブロック２０２２）、画像選択ロジック１００８は、機械学習モデルの訓練データセットから除外されるものとして、画像データセットにフラグを付けることができる（ブロック２０２４）。あるいは、メトリックが訓練データセットに関連付けられた閾値を満たす場合（ブロック２０２２）、画像選択ロジック１００８は、訓練データセットに含まれているものとして、画像のセットにフラグを立て得る（ブロック２０２６）。上述のとおり、画像選択ロジック１００８は、モデルの訓練に関連する訓練データセット（例えば、再訓練データセット、試験データセット、検証データセット、アノテーションデータセット、又はそれらのサブセット）のそれぞれについて、この処理（ブロック２０２２及びブロック２０２４又は２０２６）を繰り返すことができる。代替的、又は付加的に、画像選択ロジック１００８は、複数の訓練データセットについて、１つの閾値を使用するように構成され得る。例えば、メトリックが再訓練データセット用の閾値を満たさないことに応答して、画像選択ロジック１００８は、機械学習モデルのアノテーションデータセットに含まれるものとして、画像のセットにフラグを付けるよう構成され得、ユーザは、画像のセットを手動でレビューし、必要に応じて、アノテーションを行い（例えば、機械学習モデルによって識別されなかった画像の特徴をマークする）、再訓練データセットに含めるために、（アノテーションされた）画像のセットにフラグを付けることができる。
【0046】
いくつかの実施形態では、上述したプロットは、ユーザインターフェイスロジック１０１２を介して生成された１つ以上のユーザインターフェイスを介して提供され得、いくつかの実施形態では、１つ以上のプロットは、ブロック２００６に関して上述したように、対応する画像及び識別済み特徴と共に、表示され得る。いくつかの実施形態では、画像選択ロジック１００８によって決定されたメトリックは、ＬＩＴ実行など、画像実行におけるエラーを検出するためにも使用される。例えば、パターン化ウエハ上でビームの焦点が外れる場合、画像の品質に基づいた機械学習モデルを介して、特徴が正しく識別されない恐れがある。したがって、計算されたメトリックのセットに基づいて、画像選択ロジック１００８は、例えば、ユーザインターフェイス内などでエラーを示し、エラーを出力、又は記録し、実行を再度実行する必要があることを、ユーザに警告し得る。
【0047】
上記のとおり、１つ以上の選択基準は、画像選択ロジック１００８が１つ以上のメトリックと比較する１つ以上の閾値（例えば、期待メトリック値、又は所定基準を表す）を含み得る。つまり、１つ以上の選択基準は、このメトリックを使用して、特定の画像又は画像のセットの異常を識別することが可能であり、このメトリックを使用して、画像のセットを再訓練データセットから自動で除外するか、又は、画像のセットをアノテーションデータセットに自動的に含めることができる。例えば、１つ以上の選択基準は、１つ以上の識別済み特徴の特性に関する所定基準を含むことができ、画像選択ロジックは、所定基準と比較して、１つ以上の識別済み特徴の異常を識別することにより、画像のセットが１つ以上の選択基準を満たすかどうかを決定する。１つ以上の識別済み特徴の特性に関する所定基準は、１つ以上の識別済み特徴の所定基準サイズ、１つ以上の識別済みの特徴の所定基準数、１つ以上の識別済みの特徴の所定基準位置、１つ以上の識別済みの特徴の所定基準形状、及び１つ以上の識別済みの特徴の２つの間の所定基準距離からなる群から選択される少なくとも１つを含み得る。画像選択ロジックは、画像のセットの単一画像における１つ以上の識別済み特徴の特性と所定基準とを比較することによって、又は、画像のセットに含まれる複数の画像における１つ以上の識別済み特徴の代表的な特性と所定基準とを比較することによって、画像のセットが１つ以上の選択基準を満たすかどうかを、決定することができる。代表的な特性は、複数の画像における特性の平均値、複数の画像における特性の平均、複数の画像における特性の中央値、複数の画像における特性の標準偏差、及び複数の画像における特性のプロットの傾きからなる群から選択される少なくとも１つを含み得る。いくつかの実施形態において、所定基準はユーザ定義であり、１つ以上のユーザインターフェイスを通じて受信された１つ以上の入力、又は指示に基づいて、設定され得る。
【0048】
代替的、又は付加的に、１つ以上の選択基準は、パターンを識別するために、画像の複数セットにわたってメトリックを比較することができる。例えば、特定メトリックが画像のセットにわたって変動し始めた場合、画像選択ロジック１００８は、機械学習モデルを科学的機器の現条件、又は動作パラメータについて、再訓練させることができるよう、古い方の画像のセットを自動的に除外し、より直近に生成された画像のセットを自動的に再訓練データセットに含めるか、又は、画像のセットの１つ以上をアノテーションデータセットに含めるように、構成され得る。同様に、特定の画像のセットに関連付けられたメトリックが、科学的機器によって生成された他の画像のセットと所定量以上異なる場合、選択基準は、（例えば、メトリックが画像のセットに関連付けられた閾値を満たすかどうかに関わらず）異なる画像のセットをアノテーションデータセットに含めるよう、指示することができる。したがって、いくつかの実施形態では、１つ以上の選択基準は、１つ以上の識別済み特徴の特性を含み、画像選択ロジックは、例えば、画像の複数セットにわたる特性の変化、又は、画像の複数セットにわたる特性の変化が、ユーザ定義閾値であり得る、所定閾値を超えるなど、画像の複数セットにわたる特性のパターンを識別することによって、画像のセットが１つ以上の選択基準を満たすかどうかを、決定する。異常の検出に関して上述されているとおり、パターンの識別で使用される１つ以上の識別済み特徴の特性は、１つ以上の識別済み特徴のサイズ、１つ以上の識別済みの特徴の数、１つ以上の識別済みの特徴の位置、１つ以上の識別済みの特徴の形状、及び１つ以上の識別済みの特徴の２つの間の距離からなる群から選択される少なくとも１つを含み得る。
【0049】
代替的、又は付加的に、１つ以上の選択基準は、画像、又は画像のセットの画像品質パラメータを含み得る。例えば、１つ以上の選択基準は、画像のセットが二重画像、ピンぼけ、若しくはぼやけた部分、又は他の画像アーチファクトを含むことに応答して、画像のセットを訓練データセットから除外することができる。
【0050】
代替的、又は付加的に、１つ以上の選択基準は、１つ以上のランダム選択基準を含み得る。例えば、選択基準は、生成された画像の１００セットごとに、再訓練データセット、試験データセット、検証データセット、アノテーションデータセット、又はそれらの組み合わせに含まれることを定義し得る。いくつかの実施形態では、異なるデータセットは、異なるランダム選択基準を有することができ、例えば、画像の１００セットごとにアノテーションデータセットに含まれ、画像の５０セットごとに再訓練データセットに含まれる。したがって、いくつかの実施形態では、１つ以上の選択基準には、訓練データセットに画像のセットを含めるための所定頻度を定義することができる、ランダム選択が含まれる。他の選択基準に関して、ランダム選択は、ユーザ定義され得る。
【0051】
上述の選択基準のいずれも、自動的に（例えば、機械学習モデルを介して処理された画像の複数セットに基づくなど、パターン又は傾向に基づいて）確立されてもよく、又は、例えば、ユーザインターフェイスロジック１０１２を介して生成された１つ以上のユーザインターフェイスを介するなど、ユーザによって手動で定義されてもよい。例えば、１つ以上の選択基準は、上述したような識別済み特徴の１つ以上の特性、及び様々な所定の閾値又は参照に基づくユーザ定義ルールを含み得る。例えば、画像選択ロジック１００８は、１つ以上の第１選択基準の第１指示を（例えば、１つ以上のユーザインターフェイスを通じて）受信し、画像の第１セットが第１選択基準を満たすかどうかを決定するように構成されてもよく、画像の第１セットが第１選択基準を満たすという決定に応答して、画像の第１セットは、データセットの少なくとも１つに含まれる。また、画像選択ロジック１００８は、（例えば、１つ以上のユーザインターフェイスを通じて）１つ以上の第２選択基準の第２指示を受信することであって、この第２選択基準が、第１選択基準とは異なる、ことと、画像の第２セットが第２選択基準を満たすかどうかを決定することであって、画像の第２セットが第２選択基準を満たすという決定に応答して、画像の第２セットが、データセットの少なくとも１つに含まれる、ことと、を実行するように構成されてもよい。いくつかの実施形態では、（例えば、ユーザインターフェイスロジック１０１２を介して）提供されるユーザインターフェイスは、ユーザによる選択で利用可能な基準のリストを含み得る。例えば、図１０は、利用できる選択基準のリスト２０３０（例えば、異なる種類の選択基準のリスト）を含む、ユーザインターフェイス２０２８を示す。図１０で例示されるように、リスト２０３０は、「異常」選択基準種類を含み、これが選択されると、ユーザは、上述したように、画像又は画像のセット内の検出された異常に基づいて、訓練データセットに含まれるべき画像又は画像のセットを選択するためのルールを構成することができる。同様に、「ｓｌｏｐｅ（傾き）」、「ｌｏｃａｔｉｏｎｃｈａｎｇｅ（位置変化）」、「ａｒｅａ（面積）」、「ｓｔｄｅｒｒ（標準誤差）」、「ｅｘｐｅｃｔｅｄ ｆｅａｔｕｒｅｓ（期待特徴）」選択基準種類により、ユーザは、画像、又は画像のセット内で検出された１つ以上のメトリック、又は特徴に基づいて、画像、又は画像のセットを選択するためのルールを構成することができる。同様に、図１０で例示されるように、リスト２０３０は、ユーザが選択した場合、特定の画像、又は画像のセットを特定の訓練データに追加する決定がなされた際に適用される最小信頼度、又は確率レベルをユーザが設定可能にする、「信頼度」選択基準種類を含む。例えば、ユーザインターフェイス２０２８を通じて、ユーザは、信頼度レベルを７５％に設定することができ、支援モジュール１０００による決定が、ユーザが設定した最小信頼度レベルを満たす信頼度レベルに関連付けられている場合、画像、又は画像のセットは、特定の訓練データセットに割り当てられる。
【0052】
いくつかの実施形態では、リスト２０３０からユーザによって選択された選択基準の特定の種類に応じて、ユーザインターフェイス２０２８は、選択基準の１つ以上の詳細を定義するための１つ以上の入力機構、又は選択機構を提供する。例えば、図１０で例示するように、リスト２０３０から「信頼度」選択基準の選択を受信したことに応答して、ユーザインターフェイス２０２８は、作者フィールド２０３２、説明フィールド２０３４、及びテンプレートフィールド２０３６を提供する。作者フィールド２０３２は、ユーザが「信頼度」基準、又はルールの作者の名前を入力することを可能にする。また、いくつかの実施形態では、作者フィールド２０３２は、ユーザのログイン又は他の資格情報に基づいて、支援モジュール１０００によって自動的に反映され得る。説明フィールド２０３４によって、ユーザはルールに関する説明、又はコメントを追加することが可能となり、テンプレートフィールド２０３６によって、ユーザはルールを表す格納されたテンプレートを指定、又は選択することが可能となる。例えば、いくつかの実施形態では、選択基準（例えば、ユーザインターフェイス２０２８、他のユーザインターフェイス、他の方法で構成される）は、格納、再利用され得る。
【0053】
ユーザインターフェイス２０２８を通じて、任意の所望の選択基準を構成した後、ユーザは、「起動」選択機構２０４０を選択して、トリアージワークフローをスケジュールするか（例えば、構成された選択基準に従って取得された画像を評価する）、又は、少なくともトリアージワークフローの構成プロセスの次のユーザインターフェイス、又はステップにアクセスすることができる。ユーザは、「出力のクリア」選択機構２０４２を選択すると、例えば、特定の種類の選択機構の詳細など、ユーザインターフェイス２０２８内に提示された入力をクリアすることができる。
【0054】
いくつかの実施形態では、１つ以上の選択基準は、各データセットに含まれるべき、画像のセットを定義する。しかし、他の実施形態では、選択基準は、データセットのサブセットに含まれるべき、画像のセットを定義し得る。例えば、いくつかの実施形態では、１つ以上の選択基準は、再訓練データセット、及びアノテーションデータセットに含まれるべき、画像のセットを定義する。画像選択ロジック１００８は、再訓練データセットに含まれる画像を、試験データセット、検証データセット、又はその両方に分散させるように構成され得る。この分散は、ランダムに（例えば、所定の割合に従って、訓練で５０％、試験で２５％、検証で２５％）、又は、再訓練データセットに含まれる画像のメトリック若しくはパラメータに基づいて、実施され得る。
【0055】
上述のとおり、アノテーションデータセットに含まれる画像は、１つ以上のユーザインターフェイスを通じてアクセス可能であり、ユーザは、画像をレビューしたり、画像を選択されたデータセットに手動で含めたり、画像を選択されたデータセットから除外したり、アノテーションを画像に追加したり（例えば、機械学習モデルを介して識別された特徴内で検出された異常を修正する）、又はそれらの組み合わせを実行したりすることができる。例えば、特徴識別ロジック１００６は、機械学習モデルを介して、科学的機器を介して取得された画像の第１セットにおける１つ以上の第１識別済み特徴を生成し、機械学習モデルを介して、科学的機器を介して取得された画像の第２セットにおける１つ以上の第２識別済み特徴を生成することができる。画像選択ロジック１００８（ユーザインターフェイス１０１２経由）は、画像の第１セット、及び１つ以上の第１識別済み特徴をユーザインターフェイスに提供し、画像の第２セット、及び１つ以上の第２識別済み特徴をユーザインターフェイスに提供することができ、ユーザによる、ユーザインターフェイスを通じた第１指示に応答して、画像の第１セットが機械学習モデル用の訓練セットから除外され、ユーザによる、ユーザインターフェイスを通じた第２指示に応答して、画像の第２セットが機械学習モデル用の訓練セットに含まれる。ユーザインターフェイスは、ユーザが特定の画像、又は画像のセットを特定の訓練データセットに手動で割り当てることを可能にする、１つ以上の入力機構、選択機構、又はそれらの組み合わせを提供し得る。入力機構、又は選択機構は、ユーザが「ａｓｓｉｇｎ ｔｏ．．．（．．．に割り当てる）」メニューオプションを選択可能とするドロップダウンメニュー、ユーザが画像又は画像のセットを指定された訓練データに手動で割り当てるために選択可能とする特定の訓練データセットに指定されたボタン、ユーザが画像又は画像のセットを特定の訓練データセットに手動で割り当てるためにユーザインターフェイス内で画像、又は画像のセットを移動可能とするドロップアンドドラッグ機能などを、含み得る。
【0056】
したがって、支援モジュール１０００の自動化された機械学習ワークフローの制御の下で、ユーザは、候補アノテーション（つまり、機械学習モデルを介して生成された推論）の対応するセットと共に、レビューするために準備された画像（例えば、ＬＩＴ実行）のリストにアクセスすることができる。したがって、全ての推論をレビューすることを課せられているのではなく、上記のワークフローは、ユーザが手動でレビューするために、限られた画像のセット（及び、対応する推論）を作成する。上述のとおり、このような限定リストを作成することは、手動で修正するか、又は、散発的な手動による推論チェックのみに依存する必要がある異常又は推論を特定するためにやり通す必要のある、見たところ終わりのない画像のリスト（ひとたび修正されれば機械学習モデル用の貴重な訓練データが作成される多くの関連する推論エラーを見逃す可能性が高まる）をユーザに提示する、従来型の手動アプローチと比べて有利である。いくつかの実施形態では、ユーザは、アノテーションデータセットに最初に含まれる画像を、特定の異なるデータセット（例えば、再訓練データセット、試験データセット、又は検証データセット）に割り当てることができる。他の実施形態において、ユーザは、（例えば、特定の訓練データセットを指定することなく）画像を訓練データセットに含めるべきであると指示し得、画像選択ロジック１００８は、含まれる画像を適切なデータセットに自動的に割り当てるように構成され得る。また、ユーザは、機械学習モデルを訓練するために使用される任意の訓練データセットに含まれないものとして、特定の画像にフラグを付けてもよい。
【0057】
いくつかの実施形態において、画像選択ロジック１００８は、画像に関する少なくとも１つのアラートを生成、送信し、関連付けられた１つ以上の識別済み特徴は、１つ以上のユーザインターフェイスを介して利用可能である。アラートは、電子メール、テキストメッセージ、及びソフトウェア通知からなる群から選択される少なくとも１つを介して、送信され得る。
【0058】
図２Ｂに戻ると、ブロック２０４０で、訓練ロジック１０１０は、利用可能なデータセット（例えば、再訓練データセット、試験データセット、及び検証データセット）の１つ以上に含まれる、画像及び関連する識別済み特徴（機械学習推論）のセットを使用して、機械学習モデルを再訓練する。例えば、いくつかの実施形態では、訓練ロジック１０１０は、再訓練データセットを使用して機械学習モデルを再訓練し、試験データセット及び検証データセットをそれぞれ使用して、（再訓練された）機械学習モデルを試験及び検証する。
【0059】
いくつかの実施形態では、訓練ロジック１０１０は、トリガイベントに応答して、機械学習モデルを再訓練する。トリガイベントは、訓練セットに含まれるユーザによりアノテーションされた画像の数、訓練セットのサイズの増加、ユーザによりアノテーションされた画像の数の増加（例えば、全体的、又は所定の特徴について）、１つ以上の訓練リソースの利用可能性、又は、ユーザによる手動始動（例えば、ユーザインターフェイスロジック１０１２を介して生成されたユーザインターフェイスを通じて受信される）に、基づき得る。したがって、上述のように、画像のセットが科学的機器を介して生成され、１つ以上の識別済み特徴が機械学習モデルを介して生成されると、どの訓練データセット画像（関連する識別済みの特徴を含む）を含めるべきか、又は、除外するべきかを識別するために、上述のように、画像のセット（識別済み特徴を含む）を自動処理して、トリガイベントの発生に応答して、訓練ロジック１０１０は、生成された訓練データセットを使用して、機械学習モデルを再訓練する。
【0060】
訓練ロジック１０１０は、訓練構成に従って、機械学習モデルの訓練を実行することができる。訓練構成は、訓練するモデルの決定、訓練セットへの学習モデルの初期転移、使用する訓練リソース（例えば、ハードウェアの選択、並列性の量、バッチサイズ、投資収益率、利用可能なグラフィカル処理ユニット、ノード）、訓練停止条件（例えば、訓練エポックの閾値数、収束率、収束の欠如）、又はそれらの組み合わせなどの１つ以上の訓練特徴を含み得るが、これらに限定されない。
【0061】
いくつかの実施形態では、機械学習モデルの再訓練には、膨大なコンピューティングリソースを消費し得る。この問題に対処するために、いくつかの実施形態では、訓練ロジック１０１０は、例えば、Ｋｕｂｅｒｎｅｔｅｓ上のＡｒｇｏワークフローなど、並列ジョブを管理するように構成されたワークフローエンジン内で訓練ジョブを定義し、これにより、必要とされる時点で、訓練ジョブのリソースを取得し、タスクが完了した際に解放することによって、コンピューティングリソースが不足している場合でも、訓練（及び、必要に応じて、以下で説明するプロモーション）を確実に実行することができる。
【0062】
再訓練の間、機械学習モデルの訓練損失が格納、及び比較され得、以下で詳述するように、この訓練損失を使用して、モデル性能を決定し、モデルを適切にプロモーションし得る。
【0063】
図２Ｂで例示されるデータトリアージ動作を繰り返すことで、機械学習モデルについて、「継続的な」学習ワークフローを作成することができる。この「継続的な」学習ワークフローは、機械学習モデルの継続的な監視と改善を確立し、モデルの適格性だけでなく、顧客固有データを使用した反復訓練を通じて、モデルの性能を向上させることができる。機械学習モデルの性能向上は、例えば、より正確なサンプル調製精度と画像品質など、科学的機器の動作、及び関連プロセスの更なる改善につながる。
【0064】
上記のとおり、ユーザインターフェイスロジック１０１２は、自動データトリアージプロセスに関連する１つ以上のユーザインターフェイスを提供するように、構成され得る。データトリアージ動作の実行の一部として生成されたユーザインターフェイスの全て、又は一部は、グラフィカルユーザインターフェイス３０００に関して以下に説明するのと同様の特徴、構成要素、及び機能を含み得る。例えば、ユーザが特定の訓練データセットに自動的に含まれる画像、適宜、アノテーションに関するフィードバックを提供すること、含めること、及び除外することを可能にするユーザインターフェイスを提供する他、ユーザインターフェイスロジック１０１２は、ユーザが画像及び関連する推論をレビューすること、画像選択ロジック１００８によって使用される１つ以上の選択基準を設定及び修正すること、（例えば、１つ以上の選択基準を修正した後で）データトリアージを再実行することを要求すること、訓練ロジック１０１０によって適用される訓練構成を設定又は修正すること、又はそれらの組み合わせを可能にする、１つ以上のユーザインターフェイスを提供し得る。ユーザは、ユーザインターフェイスを通じて、データトリアージ中に支援モジュール１０００を介して適用される自動化の量を制御することもできる。例えば、いくつかの実施形態では、ユーザは、完全に自動化された方法で（例えば、アノテーションデータセットに含まれる画像をレビューするようにユーザに促すことなく）、データトリアージを実行するように支援モジュール１０００を構成し得る。また、モデルの訓練結果は、１つ以上のユーザインターフェイスを通じて提示され得る。図１１は、訓練情報を提供する、一例示のユーザインターフェイス２０４５を示している。図１１で例示されるように、ユーザインターフェイス２０４５は、エポックごとの平均訓練損失、及びエポックごとの平均検証損失を示すプロット２０４７を提供し得る。また、ユーザインターフェイス２０４５は、試験セグメント２０４８を提供することも可能であり、試験セグメント２０４８内の左側画像２０４８ａは、グランドトゥルース画像を表し、試験セグメント２０４８内の右側画像２０４８ｂは、機械学習モデルを介して生成された関連する推論を表す。また、ユーザインターフェイス２０４５は、ユーザが試験セグメントをスクロールできるようにするスライダ、又は他の選択機構２０４９を含み得る。また、いくつかの実施形態において、ユーザインターフェイス２０４５は、ユーザがモデル訓練のリストから特定の訓練を選択可能にする１つ以上の選択機構を含む。
【0065】
図２Ｂに戻ると、上述のように、データトリアージ動作を実行すること（ブロック２００２）に加えて、支援モジュール１０００はまた、（ブロック２００４において、例えば、モデルプロモーションロジック１００４を介してなど）モデルプロモーション動作を実行するように構成され得る。やはり、上記で理解されるように、いくつかの実施形態では、支援モジュール１０００は、データトリアージ動作（ブロック２００２）だけ、又はモデルプロモーション動作（ブロック２００４）だけを実行するように構成され得、いくつかの実施形態において、支援モジュール１０００は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又はそれらの組み合わせを、繰り返して、又は、並列、直列、又はそれらの組み合わせを含む、様々な順序又は配置で実行するように、構成される。
【0066】
以下で詳細に説明するように、モデルプロモーションロジック１００４は、機械学習モデルを自動的にスコアリング、選択、及び展開するように構成される。一般に、機械学習モデルを展開する他のアプローチは、機械学習業務の専門家に依存しており、顧客データは、機械学習モデルの生成及び展開で使用するために、専門家に提供される。これらの専門家は、機械学習ワークフローの様々なステップを実行、表示、評価し、機械学習モデルを試験して、１人以上の顧客に展開し、そのようなモデルは、数ヶ月、又は数年間凍結されることが多く、モデルの改善又は再訓練を管理するために専門家に依存している。これまで考察したように、科学的機器よって作成された画像は、多くの場合、機密で専有的なものとみなされるため、こうしたユーザは、そのような画像を共有したくないことが多い。したがって、モデルプロモーションロジック１００４によって実行されるモデルの自動展開は、専門家への機密、かつ専有データの開示を必要とすることなく、ユーザデータ上の機械学習アルゴリズムの訓練の利点（例えば、精度、堅牢性、及び実行速度の改善を含む）を受けることによって、顕微鏡技術を改善させる。一方、モデルプロモーションロジック１００４は、機械学習の専門家による介入、及び管理を必要とすることなく、顧客のコンピューティング環境上に展開することができる。したがって、モデルプロモーションロジック１００４は、顧客固有の改善に基づいて、変更（つまり、再訓練されたモデル、又は他の利用可能なモデルを凌ぐモデル）を科学的機器群（例えば、ＣＰＭ）へ効率的に送り出すことを可能にする。例えば、モデルプロモーションロジックは、モデルを試験し、モデルを比較して、目的を最も良好に達成するモデルを識別するように構成され得、その後、この「最良」モデルは、（例えば、人間の監視の有無にかかわらず）展開され得る。
【0067】
図２Ｃは、いくつかの実施形態に係る、（例えば、モデル性能ロジック１０１４、ユーザインターフェイスロジック１０１６、プロモーションロジック１０１８、又はそれらの組み合わせを介して）方法２０００のブロック２００４で実行されるモデルプロモーション動作を表す、流れ図である。図２Ａに関して上述したように、図２Ｃに例示される流れ図の各ブロックは、それぞれ１回、特定の順序で例示されている。しかし、動作は、所望に応じて、かつ適切に並べ替えられ、かつ／又は繰り返され得る（例えば、実行される異なる動作は、好適な場合、並行して実行されてもよい）。例えば、いくつかの実施形態では、モデルプロモーション動作（ブロック２００４）は、所定のスケジュール又は頻度（例えば、週に１回、月に１回）に従って、トリガ条件（例えば、機械学習モデルが再訓練された後、又は所定時間にわたり展開された後、又は所定数の画像に適用された後）に応答して、手動始動に応答して、又はそれらの組み合わせに応答して、実行され得る。
【0068】
図２Ｃで例示するように、ブロック２５００で、モデル性能ロジック１０１４は、例えば、特定の顧客、科学的機器のセットなどに関連付けられた複数の機械学習モデルのそれぞれなど、１つ以上の機械学習モデルのそれぞれについて、１つ以上の性能測定値を生成する。
【0069】
モデル性能ロジック１０１４は、性能メトリックを生成するために、機械学習モデルの様々なパラメータを考慮することができる。例えば、上述のとおり、訓練損失は、機械学習モデルを再訓練する一環として訓練ロジック１０１０によって格納され得、いくつかの実施形態において、モデル性能ロジック１０１４は、これらの損失を使用して、モデルの性能メトリックを生成する。
【0070】
代替的、又は付加的に、性能メトリックは、機械学習モデルの性能をスコアリングするために、モデル性能ロジック１０１４によって実行されるオフライン試験に基づき得る。いくつかの実施形態において、低いスコアほど、モデルの性能が優れていることを示す。他の実施形態において、高いスコアほど、モデルの性能が優れていることを示す。性能メトリックは、セグメンテーション精度及び類似性、推論時間、混同、又は、１つ以上のプロセス固有のメトリックを含み得る。プロセス固有の測定基準は、パーセントモード誤差、パーセント特徴誤差、平均傾き、傾き標準偏差、平均標準誤差、又はそれらの組み合わせのような、特定のサンプルに関する推論について期待される特性に基づき得る。プロセス固有メトリックは、別個のデータセットを使用して生成される。オフライン試験は、特定の機械学習モデル用にカスタマイズすることができ、１つ以上のサブ試験を含み得る。モデルの比較、及びプロモーションのために、試験結果を単一スコアに組み合わせることもできる。
【0071】
例えば、モデル性能ロジック１０１４は、例えば、精度を示す「直線性標準誤差」と、堅牢性を示す「特徴変化」という、２つの試験メトリックを含むＬＩＴ試験を実装し得る。例として、図１２は、直線性標準誤差メトリックを示すプロット２０５２を示し、図１３は、特徴変化メトリックを示すプロット２０５４を示す。モデル性能ロジック１０１４は、格納された試験データセットに対して候補モデルを評価し得、試験結果を適切な方法（例えば、加重合計として）で組み合わせ得る。
【0072】
いくつかの実施形態において、モデル性能ロジック１０１４は、複数のモデルのそれぞれの間の性能を比較するために、複数のモデルにわたって共通の試験データセットを適用することができる。いくつかの実施形態では、かかる共通試験データセットの更新は、本明細書で述べるモデルプロモーション動作（ブロック２００４）の実行のトリガとなり得る。
【0073】
いくつかの実施形態では、モデルの試験結果セットは、グラフィカルユーザインターフェイス３０００を介して、ユーザに提供され得る。試験結果の各セットは、モデルの性能メトリックのグラフィカル描写を含み得る。例えば、モデル性能ロジック１０１４は、プロット、テーブル、識別済み特徴、又はモデルの性能メトリックの他のグラフィカル描写を提供することができる（ユーザインターフェイスロジック１０１６を通じて）。図１４は、１つ以上のユーザインターフェイスにおいて、ユーザに提示され得る、複数の機械学習モデルに関する性能メトリックのグラフ２０５６を示す。
【0074】
図２Ｃに戻ると、ブロック２０７０で、プロモーションロジック１０１８は、モデルに関する１つ以上の性能測定基準が、プロモーション基準を満たすかどうかを判定する。プロモーション基準は、様々なモデルの性能メトリックの比較に基づいてもよく、いくつかの実施形態では、様々な性能メトリックの重み付けが異なってもよい（例えば、性能メトリックの生成に使用される試験の重要度のレベルに基づいて）。プロモーションロジック１０１８は、デフォルト比較アルゴリズムを適用するように構成され得るが、ユーザがこのアルゴリズム又はその一部を上書きできるように構成され得る。デフォルト比較アルゴリズムは、各性能メトリックを１つ以上のカテゴリ（例えば、エラー、有効性など）に割り当て、値が大きいほど重要度が高いことを示すように、各性能メトリックを正規化、スケーリングし、カテゴリのスコアを作成するために各カテゴリの性能メトリックを合計し、各カテゴリの合計から、加重合計を作成する（すなわち、複合モデルスコアを作成する）ことができる。いくつかの実施形態では、各カテゴリは、実現不可能な結果を除外する制限を定義し、複合モデルスコアは、各カテゴリからの実現可能な結果の加重合計を表し得る。同様に、いくつかの実施形態では、複合モデルスコアを使用して、全てのモデルを実現可能モデル、又は実現不可能モデルのいずれかに分類することができる。次に、全ての実現可能モデルの複合モデルスコアを比較して、「最良」、又は最高性能のモデルを識別することができる。いくつかの実施形態では、モデルがプロモーション基準を満たすかどうかを決定するために、１つ以上の閾値を複合モデルスコアに適用することもできる。
【0075】
機械学習モデルの性能メトリックがプロモーション基準を満たすことに応答して、プロモーションロジック１０１８は、モデルを自動的にプロモーションすることができる。モデルを自動プロモーションする代わりに、モデルがプロモーション基準を満たした場合、ユーザに通知し、ユーザにプロモーションを確認するよう促すために、１つ以上のユーザインターフェイス、又はアラートが生成され得る。いくつかの実施形態では、支援モジュール１０００は、ユーザが自動プロモーション又は手動プロモーションのレベルを構成することを可能にし、いくつかの実施形態では、プロモーションロジック１０１８は、自動プロモーション及び手動プロモーションの組み合わせを適用し得る。例えば、いくつかの実施形態では、プロモーションロジック１０１８は、複数のモデルの中で最も高い複合モデルスコアを閾値と比較するように構成され得、スコアがこの閾値を満たす場合、プロモーションロジック１０１８はモデルをプロモーションしてもよい。しかし、最高複合スコアが閾値を満たさないことに応答して、プロモーションロジック１０１８は（例えば、ユーザインターフェイスロジック１０１６を通じて）、モデルのいずれかをプロモーションすべきかどうかを確認するよう、ユーザに促すことができる。いくつかの実施形態では、プロモーションロジック１０１８は、モデルをプロモーションするかどうかを決定する際の他の条件（例えば、モデルが識別する特徴、モデルが訓練された画像の種類、又はサイズなど、モデルが訓練された条件など）も適用する。
【0076】
モデルをプロモーションすることは、生成された画像の特徴識別を実行する際、科学的機器によって使用されるモデルを展開すること（ブロック２０８０）を、含み得る。しかし、他の実施形態では、プロモーションロジック１０１８は、例えば、「プロトタイプ」、「認定済み」、及び「本番」などの複数のステップ、又は状態を通じて、モデルをプロモーションするように構成され得る。複数のステップを使用する場合、プロモーションロジック１０１８は、ステップごとに、損失を生成し、試験し、スコアを展開するように構成可能であり、このスコアは、適格なモデルを識別するために重み付けすることができる（例えば、ステップ固有のプロモーション基準を使用する）。
【0077】
いくつかの実施形態では、プロモーションロジック１０１８は、ステップ遷移が遷移ルールのセットに基づく有限状態機械（「ＦＳＭ」）を使用して、モデルのプロモーションを管理することができる。例えば、ＦＳＭには、他のステップに遷移していない、全ての訓練済みモデルに対応する、「候補」状態が含まれ得る。いくつかの実施形態では、「候補」状態は、実現可能であると決定された、全てのモデルに対応する。次に、ＦＳＭは、例えば、訓練セットのサイズ、特定顧客のサンプル種類、特定プロセスエンジニアによる複数のツールにわたる有効な実行数、構成可能閾値を超える妥当性スコア、及び／又は、閾値を下回るエラースコアなどの、カスタマイズ可能ルールを満たすモデルに対応する、「認定済み」状態に移行し得る。「認定済み」状態から「本番」状態に移行するために、例えば、より多くの実行数、１つ以上の試験閾値、プロセスエンジニアによる承認、又は、他の基準などの、ルールを満たし得る。例えば、いくつかの実施形態では、ユーザは、より高いプロセス支援を利用できる日勤中に新しいモデルを「本番」状態に認定し得るが、夜勤を固定モデル、又は「本番」状態の最高スコアのモデルのいずれかに制限し得る。いくつかの実施形態では、ユーザは、グラフィカルユーザインターフェイス３０００を介して、「本番」又は展開状態を含む、利用可能なステップ、又は状態のいずれかの間でモデルをプロモーションするためのレベル（例えば、動作時間、試験結果）、手動承認、顧客ファブプロセスごとの適格性などを定義することができる。
【0078】
いくつかの実施形態では、モデルを科学的機器に展開するために、科学的機器支援システム５０００に含まれる、適切な要素を介して、科学的機器と機械学習サーバ（モデルを格納する）との間で、通信が確立される。いくつかの実施形態において、科学的機器支援システム５０００の１つ以上の要素がユーザの通信ネットワークに含まれていない場合、科学的機器クラスタネットワークを展開して、通信を確立し得る。通信が確立されると、機械学習サーバは、推論コンピュータのディレクトリを作成し、通信アドレスの資格情報を各推論コンピュータにダウンロードすることで、科学的機器に関連付けられた推論コンピュータ（つまり、画像のセットに機械学習モデルを適用するように構成されたコンピュータ）を識別し、双方向通信を確立し得る。１つ以上の新しいモデルを受信するために、科学的機器は機械学習サーバによって、１つ以上のモデル展開基準を登録し得る。モデル展開基準は、例えば、受信したい特定の推論、モデル状態、及び／又は、特定のモデルインスタンスを含み得る。図１５は、機械学習サーバに登録するための特定の科学的機器に関連付けられた、例示のモデル展開基準２０９０を示す。
【0079】
登録後、機械学習サーバは、１つ以上のモデル展開基準を満たす、１つ以上のモデルを登録された科学的機器に提供する。いくつかの実施形態では、新しいモデルがプロモーションされ、１つ以上のモデル展開基準を満たす場合、そのモデルは機械学習サーバから科学的機器に自動的にダウンロードされ、推論コンピュータにロードされる。ロードされると、科学的機器に関連付けられた次の推論呼び出しでは、新たにダウンロードされたモデルが使用され得る。
【0080】
上述のとおり、いくつかの実施形態では、支援モジュール１０００により、ユーザはモデルの展開を手動で制御できる。例えば、図１６は、選択可能なモデルソース２０９６のリストと、選択可能なモデルソース２０９６のリスト内で選択されたモデルソースで利用可能な選択可能なモデル２０９７のリストとを表示する、ユーザインターフェイス２０９５の一部を例示する。同様に、ユーザインターフェイス２０９５は、選択可能な科学的機器２０９８のリストと、選択可能な科学的機器２０９８のリスト内で選択された科学的機器に展開されたモデルを表すモデル２０９９のリストと、を含む。ユーザインターフェイス２０９５は、コピー選択機構２１００Ａと、及び削除選択機構２１００Ｂと、を更に含む。コピー選択機構２１００Ａの選択の受信に応答して、選択可能なモデル２０９７のリスト内で選択されたモデルが、選択可能な科学的機器２０９８のリストで選択された機器に展開される。削除選択機構２１００Ｂの選択の受信に応答して、モデル２０９９のリストで選択されたモデルは、選択可能な科学的機器２０９８のリストで選択された科学的機器から除去される（つまり、二度と展開、又は使用されない）。
【0081】
上述のとおり、本明細書で開示の科学的機器支援方法は、（例えば、図１９を参照しながら、本明細書で検討されるユーザローカルコンピューティングデバイス５０２０を介した）人間のユーザとの相互作用を、含み得る。これらの相互作用は、ユーザに情報を提供すること（例えば、図１９の科学的機器５０１０などの、科学的機器の動作に関する情報、例えば、科学的機器を介して生成された、画像のセットについて、１つ以上の機械学習モデルを介して生成された推論、分析中のサンプル、又は、科学的機器によって実行される他の試験、又は測定に関する情報、ローカル、又はリモートのデータベース、又は、他のデータ記憶デバイス、又は配置から取得された情報、又はその他の情報など）、又は、ユーザがコマンドを入力するためのオプション（例えば、図１９の科学的機器５０１０などの、科学的機器の動作を制御するため、又は、科学的機器によって生成されたデータの分析を制御するため）、クエリ（例えば、ローカル又はリモートのデータベース、又は他のデータ記憶装置又は配置を対象とする）、又は他の情報を提供することを含み得る。いくつかの実施形態では、これらの相互作用は、ユーザに出力を提供する、かつ／又は入力を提供するようにユーザに指示する（例えば、図１８を参照しながら、本明細書で検討される他のＩ／Ｏデバイス４０１２に含まれる、キーボード、マウス、トラックパッド、又はタッチスクリーンなどの１つ以上の入力デバイスを介して）表示デバイス（例えば、図１８を参照しながら、本明細書で検討される、表示デバイス４０１０）上の視覚的表示を含む、グラフィカルユーザインターフェイス（ＧＵＩ）を通じて、実行され得る。本明細書に開示される科学的機器支援システムは、ユーザとの相互作用のための任意の好適なＧＵＩを含み得る。
【0082】
図１７は、様々な実施形態に係る、本明細書に開示される支援方法の一部、又は全ての実施において使用され得る、一例示のグラフィカルユーザインターフェイス３０００を示す。上記のように、グラフィカルユーザインターフェイス３０００は、科学的機器支援システム（例えば、図１９を参照しながら、本明細書で検討される科学的機器支援システム５０００）のコンピューティングデバイス（例えば、図１８を参照しながら、本明細書で検討されるコンピューティングデバイス４０００）の表示デバイス（例えば、図１８を参照しながら、本明細書で検討される表示デバイス４０１０）上に提供可能であり、ユーザは、任意の好適な入力デバイス（例えば、図１８を参照しながら、本明細書で検討される他のＩ／Ｏデバイス４０１２に含まれる入力デバイスのいずれか）、及び入力技術（例えば、カーソルの移動、モーションキャプチャ、顔認識、ジェスチャ検出、音声認識、ボタンの作動など）を使用して、グラフィカルユーザインターフェイス３０００と相互作用できる。
【0083】
グラフィカルユーザインターフェイス３０００は、データ表示領域３００２、データ分析領域３００４、科学的機器制御領域３００６、及び設定領域３００８を含み得る。図１７で示す領域の特定の数及び配置は、実例に過ぎず、任意の所望の特徴を含む、任意の数及び配置の領域が、グラフィカルユーザインターフェイス３０００に含まれ得る。
【0084】
データ表示領域３００２は、科学的機器（例えば、図１９を参照しながら、本明細書で検討される科学的機器５０１０）によって生成されたデータを表示可能である。例えば、データ表示領域３００２は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又は、上述のそれらの組み合わせの実行中に生成された任意の適切なデータ、例えば、科学的機器を介して生成された画像、画像に適用された機械学習モデルによって生成された識別済み特徴（つまり、推論）などを、表示し得る。
【0085】
データ分析領域３００４は、データ分析の結果（例えば、データ表示領域３００２に例解されるデータ及び／又は他のデータを分析した結果）を表示し得る。例えば、データ分析領域３００４は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又は、上述のそれらの組み合わせの実行中に生成された任意の適切なデータ、例えば、推論メトリック及びそれを表すプロット、訓練結果、性能メトリックなどを、表示し得る。いくつかの実施形態では、データ表示領域３００２及びデータ分析領域３００４は、グラフィカルユーザインターフェイス３０００において組み合わされ得る（例えば、科学的機器からのデータ出力、及びデータに関する何かしらの分析を、共通のグラフ又は領域に含めるため）。
【0086】
科学的機器制御領域３００６は、ユーザが科学的機器（例えば、図１９を参照しながら、本明細書で検討される科学的機器５０１０）を制御可能にする、オプションを含み得る。例えば、科学的機器制御領域３００６は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又は、上述のそれらの組み合わせの実行中に提供された、オプション、又は制御機能の任意の適切なもの、例えば、画像の選択基準を設定、及び変更するオプション、画像を手動で含めるか、又は除外するオプション、画像にアノテーションを行うオプション、訓練構成を設定又は変更するオプション、プロモーション基準を設定及び変更するオプション、モデルを手動で展開するオプションなどを、含み得る。
【0087】
設定領域３００８は、ユーザが、グラフィカルユーザインターフェイス３０００（及び／又は他のＧＵＩ）の特徴及び機能を制御し、かつ／又は、データ表示領域３００２及びデータ分析領域３００４に関する共通のコンピューティング動作を実施可能にするオプションを含み得る（例えば、図１８を参照しながら、本明細書で検討されるような記憶デバイス４００４などの記憶デバイス上にデータを保存すること、別のユーザにデータを送信すること、データをラベル付けすることなど）。例えば、設定領域３００８は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又は、例えば、画像にアノテーションを行うこと、画像を手動で含める、又は除外すること、機械学習サーバに登録すること、モデル展開基準通信を伝達することなど、上述のそれらの組み合わせの実行に関連付けられた設定の任意の適切な設定を、含み得る。
【0088】
上記のように、支援モジュール１０００は、１つ以上のコンピューティングデバイスによって実装され得る。図１８は、様々な実施形態に係る、本明細書で開示される科学的機器支援方法の一部、又は全てを実施可能とする、コンピューティングデバイス４０００のブロック図である。いくつかの実施形態では、ＣＰＭ支援モジュール１０００は、単一のコンピューティングデバイス４０００又は複数のコンピューティングデバイス４０００によって実装され得る。更に、以下で検討するように、ＣＰＭ支援モジュール１０００を実装するコンピューティングデバイス４０００（又は複数のコンピューティングデバイス４０００）は、図１９の科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０の１つ以上の一部であり得る。
【0089】
図１８のコンピューティングデバイス４０００は、いくつかの構成要素を有するものとして例解されているが、これらの構成要素のいずれか１つ以上は、用途及び設定に好適となるように、省略又は複製され得る。いくつかの実施形態では、コンピューティングデバイス４０００に含まれる構成要素の一部、又は全ては、１つ以上のマザーボードに取り付けられ、ハウジング（例えば、プラスチック、金属、及び／又は他の材料を含む）に封入されてもよい。いくつかの実施形態では、これらの構成要素の一部は、単一のシステムオンチップ（system-on-a-chip、ＳｏＣ）上に製造可能である（例えば、ＳｏＣは、１つ以上の処理デバイス４００２及び１つ以上の記憶デバイス４００４を含み得る）。付加的に、様々な実施形態では、コンピューティングデバイス４０００は、図１８に例解される構成要素の１つ以上を含まない場合があるが、任意の好適なインターフェイス（例えば、ユニバーサルシリアルバス（ＵＳＢ）インターフェイス、高精細マルチメディアユインターフェイス（High-Definition Multimedia Interface、ＨＤＭＩ（登録商標））インターフェイス、コントローラエリアネットワーク（Controller Area Network、ＣＡＮ）インターフェイス、シリアル・ペリフェラル・インターフェイス（Serial Peripheral Interface、ＳＰＩ）インターフェイス、イーサネットインターフェイス、無線インターフェイス、又は任意の他の好適なインターフェイス）を使用して、１つ以上の構成要素に結合するためのインターフェイス回路（図示せず）を、含み得る。例えば、コンピューティングデバイス４０００は、表示デバイス４０１０を含まない場合があるが、表示デバイス４０１０を結合可能とする、表示デバイスインターフェイス回路（例えば、コネクタ及びドライバ回路）を含み得る。
【0090】
コンピューティングデバイス４０００は、処理デバイス４００２（例えば、１つ以上の処理デバイス）を含み得る。本明細書で使用される場合、「処理デバイス」という用語は、レジスタ及び／又はメモリからの電子データを処理して、その電子データをレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、任意のデバイス又はデバイスの一部分を指し得る。処理デバイス４００２は、１つ以上のデジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、暗号プロセッサ（ハードウェア内で暗号アルゴリズムを実行する専用プロセッサ）、サーバプロセッサ、又は任意の他の好適な処理デバイスを含み得る。
【0091】
コンピューティングデバイス４０００は、記憶デバイス４００４（例えば、１つ以上の記憶デバイス）を含み得る。記憶デバイス４００４は、ランダムアクセスメモリ（random access memory、ＲＡＭ）（例えば、静的ＲＡＭ（static RAM、ＳＲＡＭ）デバイス、磁気ＲＡＭ（magnetic RAM、ＭＲＡＭ）デバイス、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）デバイス、抵抗性ＲＡＭ（resistive RAM、ＲＲＡＭ）デバイス、又は導電性ブリッジＲＡＭ（conductive-bridging RAM、ＣＢＲＡＭ）デバイス）、ハードドライブベースのメモリデバイス、ソリッドステートメモリデバイス、ネットワークドライブ、クラウドドライブ、又はメモリデバイスの任意の組み合わせなどの１つ以上のメモリデバイスを含み得る。いくつかの実施形態では、記憶デバイス４００４は、処理デバイス４００２とダイを共有するメモリを含み得る。かかる実施形態では、メモリは、キャッシュメモリとして使用され得、例えば、組み込みダイナミックランダムアクセスメモリ（embedded dynamic random access memory、ｅＤＲＡＭ）、又はスピン転送トルク磁気ランダムアクセスメモリ（spin transfer torque magnetic random access memory、ＳＴＴ－ＭＲＡＭ）を含み得る。いくつかの実施形態では、記憶デバイス４００４は、１つ以上の処理デバイス（例えば、処理デバイス４００２）によって実行される際、コンピューティングデバイス４０００に、本明細書に開示される方法の任意の適切な方法、又はその一部を実施させる命令を有する非一時的コンピュータ可読媒体を含み得る。
【0092】
コンピューティングデバイス４０００は、インターフェイスデバイス４００６（例えば、１つ以上のインターフェイスデバイス４００６）を含み得る。インターフェイスデバイス４００６は、コンピューティングデバイス４０００と他のコンピューティングデバイスとの間の通信を管理するために、１つ以上の通信チップ、コネクタ、及び／又は他のハードウェアとソフトウェアを含み得る。例えば、インターフェイスデバイス４００６は、コンピューティングデバイス４０００との間でデータを転送するための無線通信を管理する回路を含み得る。「無線」という用語及びその派生語は、非固体媒体を介して変調された電磁放射の使用を通じてデータを通信し得る回路、デバイス、システム、方法、技術、通信チャネルなどを説明するために使用され得る。この用語は、関連するデバイスがいかなる配線を含まないことを意味するものではないが、いくつかの実施形態では含まない場合もある。無線通信を管理するためにインターフェイスデバイス４００６に含まれる回路は、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＩＥＥＥ８０２．１６規格（例えば、ＩＥＥＥ８０２．１６－２００５修正）、任意の修正、更新、及び／又は改訂を伴う長期的進化型（Long-Term Evolution、ＬＴＥ）プロジェクト（例えば、アドバンストＬＴＥプロジェクト、ウルトラモバイルブロードバンド（ultra mobile broadband、ＵＭＢ）プロジェクト（「３ＧＰＰ（登録商標）２」とも称される）など）を含む電気電子技術者協会（Institute for Electrical and Electronic Engineers、ＩＥＥＥ）規格を含むがこれらに限定されない、いくつかの無線規格又はプロトコルのうちのいずれかを実装し得る。いくつかの実施形態では、無線通信を管理するためのインターフェイスデバイス４００６に含まれる回路は、モバイル通信用グローバルシステム（Global System for Mobile Communication、ＧＳＭ）、汎用パケット無線サービス（General Packet Radio Service、ＧＰＲＳ）、ユニバーサルモバイル電気通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）、高速パケットアクセス（High Speed Packet Access、ＨＳＰＡ）、進化型ＨＳＰＡ（Evolved HSPA、Ｅ－ＨＳＰＡ）、又はＬＴＥネットワークに従って動作し得る。いくつかの実施形態では、無線通信を管理するためにインターフェイスデバイス４００６に含まれる回路は、ＧＳＭ進化型高速データ（Enhanced Data for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ無線アクセスネットワーク（GSM EDGE Radio Access Network、ＧＥＲＡＮ）、ユニバーサル地上無線アクセスネットワーク（Universal Terrestrial Radio Access Network、ＵＴＲＡＮ）、又は進化型ＵＴＲＡＮ（Evolved UTRAN、Ｅ－ＵＴＲＡＮ）に従って動作し得る。いくつかの実施形態では、無線通信を管理するためのインターフェイスデバイス４００６に含まれる回路は、符号分割多元接続（Code Division Multiple
Access、ＣＤＭＡ）、時分割多元接続（Time Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス電気通信（Digital Enhanced Cordless Telecommunications、ＤＥＣＴ）、エボリューションデータ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びそれらの派生物、並びに３Ｇ、４Ｇ、５Ｇ、及びそれ以降として指定される任意の他の無線プロトコルに従って動作し得る。いくつかの実施形態では、インターフェイスデバイス４００６は、無線通信の受信、かつ／又は送信用の１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。
Access、ＣＤＭＡ）、時分割多元接続（Time Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス電気通信（Digital Enhanced Cordless Telecommunications、ＤＥＣＴ）、エボリューションデータ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びそれらの派生物、並びに３Ｇ、４Ｇ、５Ｇ、及びそれ以降として指定される任意の他の無線プロトコルに従って動作し得る。いくつかの実施形態では、インターフェイスデバイス４００６は、無線通信の受信、かつ／又は送信用の１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。
【0093】
いくつかの実施形態では、インターフェイスデバイス４００６は、電気的、光学的、又は任意の他の好適な通信プロトコルなどの有線通信を管理するための回路を含み得る。例えば、インターフェイスデバイス４００６は、イーサネット技術に従って通信を支援する回路を含み得る。いくつかの実施形態では、インターフェイスデバイス４００６は、無線通信及び有線通信の双方を支援し得、かつ／又は複数の有線通信プロトコル、及び／又は複数の無線通信プロトコルを支援し得る。例えば、インターフェイスデバイス４００６の回路の第１のセットは、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈなどの短距離無線通信専用でよく、更に、インターフェイスデバイス４００６の回路の第２セットは、全地球測位システム（global positioning system、ＧＰＳ）、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、ＥＶ－ＤＯ、又はその他などの長距離無線通信専用でよい。いくつかの実施形態では、インターフェイスデバイス４００６の回路の第１のセットは、無線通信専用でよく、インターフェイスデバイス４００６の回路の第２のセットは、有線通信専用でよい。
【0094】
コンピューティングデバイス４０００は、バッテリ／電力回路４００８を含み得る。バッテリ／電力回路４００８は、１つ以上のエネルギー貯蔵デバイス（例えば、バッテリ若しくはキャパシタ）、及び／又はコンピューティングデバイス４０００の構成要素をコンピューティングデバイス４０００とは別個のエネルギー源（例えば、ＡＣライン電力）に結合するための回路を含み得る。
【0095】
コンピューティングデバイス４０００は、表示デバイス４０１０（例えば、複数の表示デバイス）を含み得る。表示デバイス４０１０は、ヘッドアップディスプレイ、コンピュータモニタ、プロジェクタ、タッチスクリーンディスプレイ、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、発光ダイオードディスプレイ、又はフラットパネルディスプレイなどの任意の視覚インジケータを含み得る。
【0096】
コンピューティングデバイス４０００は、他の入力／出力（Ｉ／Ｏ）デバイス４０１２を含み得る。他のＩ／Ｏデバイス４０１２は、例えば、１つ以上のオーディオ出力デバイス（例えば、スピーカ、ヘッドセット、イヤホン、アラームなど）、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン又はマイクロフォンアレイ）、位置デバイス（例えば、当技術分野で既知であるような、コンピューティングデバイス４０００の位置を受信するために衛星ベースシステムと通信するＧＰＳデバイス）、オーディオコーデック、ビデオコーデック、プリンタ、センサ（例えば、熱電対、若しくは他の温度センサ、湿度センサ、圧力センサ、振動センサ、加速度計、ジャイロスコープなど）、カメラなどの画像キャプチャデバイス、キーボード、マウス、スタイラス、トラックボール、又はタッチパッドなどのカーソル制御デバイス、バーコードリーダ、クイックレスポンス（Quick Response、ＱＲ）コードリーダ、又は無線周波数識別（ＲＦＩＤ）リーダを含み得る。
【0097】
コンピューティングデバイス４０００は、ハンドヘルド又はモバイルコンピューティングデバイス（例えば、携帯電話、スマートフォン、モバイルインターネットデバイス、タブレットコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、ウルトラブックコンピュータ、パーソナルデジタルアシスタント（personal digital assistant、ＰＤＡ）、ウルトラモバイルパーソナルコンピュータなど）、デスクトップコンピューティングデバイス、又はサーバコンピューティングデバイス、若しくは他のネットワーク化されたコンピューティング構成要素）などのその用途及び設定に好適な任意のフォームファクタを有し得る。
【0098】
本明細書に開示されるＣＰＭ支援ロジック又は方法のいずれかを実装する１つ以上のコンピューティングデバイスは、科学的機器支援システムの一部であり得る。図１９は、様々な実施形態に係る、本明細書で開示される科学的機器支援方法の一部又は全てを実施可能とする、一例示の科学的機器支援システム５０００のブロック図である。本明細書で開示されるＣＰＭ支援装置及び方法（例えば、図１Ａ、図１Ｂ、及び図１ＣのＣＰＭ支援モジュール１０００、及び図２Ａ、図２Ｂ及び図２Ｃの方法２０００）は、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又は科学的機器支援システム５０００のリモートコンピューティングデバイス５０４０の１つ以上によって実装され得る。
【0099】
科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のいずれかは、図１８を参照しながら、本明細書で検討されるコンピューティングデバイス４０００の実施形態のいずれかを含み得、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のいずれかは、図１８を参照しながら、本明細書で検討されるコンピューティングデバイス４０００の実施形態のいずれか適切なものの形態をとり得る。
【0100】
科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０はそれぞれ、処理デバイス５００２、記憶デバイス５００４、及びインターフェイスデバイス５００６を含み得る。処理デバイス５００２は、図１８を参照しながら、本明細書で検討される処理デバイス４００２のいずれかの形態を含む、任意の好適な形態を取ることができ、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のうち異なるものに含まれる処理デバイス５００２は、同じ形態又は異なる形態を取ることができる。記憶デバイス５００４は、図１８を参照しながら、本明細書で検討される記憶デバイス４００４のいずれかの形態を含む任意の好適な形態を取ることができ、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のうち異なるものに含まれる記憶デバイス５００４は、同一の形態又は異なる形態を取ることができる。インターフェイスデバイス５００６は、図１８を参照しながら、本明細書で検討されるインターフェイスデバイス４００６のいずれかの形態を含む、任意の好適な形態を取ることができ、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のうちの異なるものに含まれるインターフェイスデバイス５００６は、同じ形態又は異なる形態を取ることができる。
【0101】
科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、及びリモートコンピューティングデバイス５０４０は、通信経路５００８を介して、科学的機器支援システム５０００の他の要素と通信し得る。図示のとおり、通信経路５００８は、科学的機器支援システム５０００の様々な要素のインターフェイスデバイス５００６と通信可能に結合可能であり、有線又は無線通信経路であり得る（例えば、図１８のコンピューティングデバイス４０００のインターフェイスデバイス４００６を参照ながら、本明細書で検討される通信技術のいずれかに従って）。図１９に示される特定の科学的機器支援システム５０００は、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、及びリモートコンピューティングデバイス５０４０の各ペア間の通信経路を含むが、この「完全に接続された」実装形態は例示的なものに過ぎず、様々な実施形態では、通信経路５００８の様々なものが存在しない場合がある。例えば、いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、そのインターフェイスデバイス５００６と科学的機器５０１０のインターフェイスデバイス５００６との間に直接通信経路５００８を有さない場合があり、その代わりとして、サービスローカルコンピューティングデバイス５０３０とユーザローカルコンピューティングデバイス５０２０との間の通信経路５００８、及びユーザローカルコンピューティングデバイス５０２０と科学的機器５０１０との間の通信経路５００８を介して、科学的機器５０１０と通信することができる。
【0102】
いくつかの実施形態では、科学的機器５０１０は、走査型電子顕微鏡（ＳＥＭ）、透過型電子顕微鏡（ＴＥＭ）、走査型透過電子顕微鏡（ＳＴＥＭ）、又はイオンビーム顕微鏡などの任意の適切なＣＰＭを含む（また、他の科学的機器を含み得る）。例えば、図２０は、いくつかの実施形態に係る、ＣＰＭ６０００として実装される科学的機器５０１０を例示する。図２０で例解するＣＰＭ６０００は、エネルギー分散型Ｘ線分光法（ＳＥＭ／ＥＤＸ）システムを備えた、走査電子顕微鏡法を表す。しかしながら、前述のように、図２０で例示されるＣＰＭ６０００は、一例の種類のＣＰＭとして提供され、本明細書で述べる支援方法は、他の種類のＣＰＭと、又は他の種類の科学的機器とでも併用され得る。図２０で例示するように、ＣＰＭ６０００は、真空チャンバ６００６に取り付けられた粒子光学カラム６０１５を含む。粒子光学カラム６０１５内において、電子源６０１２によって生成された電子は、複合レンズシステム６０１４によって修正されてから、レンズシステム６０１６により、入射ビーム６００４としてサンプル６００２上で集束される。入射ビーム６００４は、走査コイル６０１３を操作することによってサンプル６００２にわたって走査し得る。サンプルは、サンプルステージ６００８によって保持され得る。ＣＰＭ６０００は、入射ビーム６００４の照射に応答して、サンプル６００２からの様々な放射を検出する複数の検出器を含み得る。第１検出器６００３は、サンプル６００２から放射されたＸ線を検出し得る。一例において、検出器６００３は、多チャネル光子計数ＥＤＸ検出器であってもよい。第２検出器６００１は、サンプル６００２から放射された、後方散乱及び／又は二次電子などの、電子を検出することができる。一例では、検出器６００１は、セグメント化電子検出器であり得る。図９で例示するように、ＣＰＭ６０００はまた、図１８に関して全般的に上述したコンピューティングデバイス４０００を含む。コンピューティングデバイス４０００は、以下で述べるような１つ以上の制御信号を送信及び受信するように構成されてもよく、いくつかの実施形態では、本明細書で述べる支援方法を実行できる。例えば、コンピューティングデバイス４０００は、データトリアージ動作（ブロック２００２）、モデルプロモーション動作（ブロック２００４）、又は、それらの組み合わせ、若しくはサブセットを実行するように、構成され得る。例えば、いくつかの実施形態では、コンピューティングデバイス４０００は、画像のセット、及び１つ以上の識別済み特徴を生成するように構成されてもよく、したがって、「推論」コンピュータ、又はコンピューティングデバイスと称され得る。上記のとおり、画像のセット、及び関連付けられた１つ以上の識別済み特徴は、ＣＰＭ６０００のコンピューティングデバイス４０００によって更に処理され得る。しかしながら、上述のとおり、いくつかの実施形態では、画像のセット、及び関連付けられた１つ以上の識別済み特徴は、複数の機器に関連付けられた画像のセット、及び推論を収集し、画像選択ロジック１００８、訓練ロジック１０１０、ユーザインターフェイスロジック１０１２、又は、それらの組み合わせ若しくはサブセット（並びに、必要に応じて、モデル性能ロジック１０１４、プロモーションロジック１０１８、ユーザインターフェイスロジック１０１６、又は、それらの組み合わせ、若しくはサブセット）を実装するサーバ等、ＣＰＭ６０００から離れた場所にある、１つ以上のコンピューティングデバイスに送信され得る。また、いくつかの実施形態では、画像のセット、１つ以上の識別済み特徴、又はその双方の生成は、ＣＰＭ６０００から離れた場所にある、１つ以上のコンピューティングデバイスにおいて実行され得る。したがって、コンピューティングデバイス４０００を図２０で例示されるＣＰＭ６０００に含めることは、かかる科学的機器に関する１つの想定実施形態を表す。
【0103】
図１９に戻ると、ユーザローカルコンピューティングデバイス５０２０は、科学的機器５０１０のユーザの近くにある、（例えば、本明細書で検討されるコンピューティングデバイス４０００の実施形態のいずれかによる）コンピューティングデバイスであり得る。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０はまた、科学的機器５０１０の近くにあり得るが、そうである必要はない。例えば、ユーザの自宅又はオフィスにあるユーザローカルコンピューティングデバイス５０２０は、ユーザがユーザローカルコンピューティングデバイス５０２０を使用して科学的機器５０１０からのデータを制御、及び／又はアクセスできるように、科学的機器５０１０から離れた場所にあるが、それと通信することが可能である。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０は、ラップトップ、スマートフォン、又はタブレットデバイスであり得る。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０は、ポータブルコンピューティングデバイスであり得る。
【0104】
サービスローカルコンピューティングデバイス５０３０は、科学的機器５０１０にサービスを提供するエンティティの近くにある、コンピューティングデバイス（例えば、本明細書で考察されるコンピューティングデバイス４０００の実施形態のいずれかに係る）であり得る。例えば、サービスローカルコンピューティングデバイス５０３０は、科学的機器５０１０の製造元又はサードパーティサービス会社の近くにあり得る。いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０と通信して（例えば、これまで考察したように、直接通信経路５００８を介して、又は複数の「間接」通信経路５００８を介して）、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０の動作に関するデータ（例えば、科学的機器５０１０の自己診断テストの結果、科学的機器５０１０によって使用される校正係数、科学的機器５０１０に関連付けられたセンサの測定値など）を受信できる。いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０と通信して（例えば、これまで考察したように、直接通信経路５００８、又は複数の「間接」通信経路５００８を介して）、科学的機器５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０に（例えば、科学的機器５０１０において、ファームウェアなどのプログラムされた命令を更新するため、科学的機器５０１０において試験又は校正シーケンスの実施を開始するため、ユーザローカルコンピューティングデバイス５０２０又はリモートコンピューティングデバイス５０４０において、ソフトウェアなどのプログラムされた命令を更新するなどのため）データを送信可能である。科学的機器５０１０のユーザは、サービスローカルコンピューティングデバイス５０３０と通信して、科学的機器５０１０又はユーザローカルコンピューティングデバイス５０２０に関する問題を報告するために、科学的機器５０１０の動作を改善させる訪問を技術者に要求するために、科学的機器５０１０に関連付けられた消耗品又は交換部品を注文するために、又は他の目的のために、科学的機器５０１０又はユーザローカルコンピューティングデバイス５０２０を利用し得る。
【0105】
リモートコンピューティングデバイス５０４０は、科学的機器５０１０から、及び／又はユーザローカルコンピューティングデバイス５０２０から離れた場所にあるコンピューティングデバイス（例えば、本明細書で考察されるコンピューティングデバイス４０００の実施形態のうちのいずれかに係る）でよい。いくつかの実施形態では、リモートコンピューティングデバイス５０４０は、データセンター又は他の大規模サーバ環境に含まれ得る。いくつかの実施形態では、リモートコンピューティングデバイス５０４０は、ネットワーク接続ストレージを含み得る（例えば、記憶デバイス５００４の一部として）。リモートコンピューティングデバイス５０４０は、科学的機器５０１０によって生成されたデータを記憶し、科学的機器５０１０によって生成されたデータの分析を実施し（例えば、プログラムされた命令に従って）、ユーザローカルコンピューティングデバイス５０２０と科学的機器５０１０との間の通信を支援し、かつ／又はサービスローカルコンピューティングデバイス５０３０と科学的機器５０１０との間の通信を支援可能である。いくつかの実施形態では、データトリアージロジック１００２、モデルプロモーションロジック１００４、又はそれらのサブセットの組み合わせは、リモートコンピューティングデバイス５０４０上に実装される。例えば、上述のとおり、いくつかの実施形態では、リモートコンピューティングデバイス５０４０は、例えば、機械学習モデルを介して生成された画像のセット及び関連する推論などのデータを１つ以上の科学的機器５０１０から受信し、リモートコンピューティングデバイス５０４０は、画像選択ロジック１００８、訓練ロジック１０１０、ユーザインターフェイスロジック１０１２、又は、それらの組み合わせ、若しくはサブセット（並びに、必要に応じて、モデル性能ロジック１０１４、プロモーションロジック１０１８、ユーザインターフェイスロジック１０１６、又は、それらの組み合わせ、若しくはサブセット）を実装する。この場合もやはり、支援装置を介して実行されるものとして本明細書で述べる機能は、１つのデバイスで実行することも、又は、様々な構成の複数のデバイスに分散させて、実行することもできる。
【0106】
いくつかの実施形態では、図１９で例示される科学的機器支援システム５０００の要素の１つ以上が存在しない場合がある。更に、いくつかの実施形態では、図１９の科学的機器支援システム５０００の要素の様々な要素の複数のものが、存在し得る。例えば、科学的機器支援システム５０００は、複数のユーザローカルコンピューティングデバイス５０２０（例えば、異なるユーザと関連付けられた又は異なる場所における異なるユーザローカルコンピューティングデバイス５０２０）を含み得る。別の実施例では、科学的機器支援システム５０００は、複数の科学的機器５０１０を含み得、全てがサービスローカルコンピューティングデバイス５０３０及び／又はリモートコンピューティングデバイス５０４０と通信する。かかる実施形態では、サービスローカルコンピューティングデバイス５０３０は、これらの複数の科学的機器５０１０を監視可能であり、サービスローカルコンピューティングデバイス５０３０は、更新を実行させるか、又は他の情報が同時に複数の科学的機器５０１０に「一斉送信」され得る。科学的機器支援システム５０００内の科学的機器５０１０の異なるものは、互いに近くに（例えば、同じ部屋に）又は互いに遠くに（例えば、建物の異なる階、異なる建物、異なる都市など）位置し得る。いくつかの実施形態では、科学的機器５０１０は、モノのインターネット（ＩｏＴ）スタックに接続可能であり、このＩｏＴスタックでは、ウェブベースのアプリケーション、仮想、若しくは拡張現実アプリケーション、モバイルアプリケーション、及び／又はデスクトップアプリケーションを通じて、科学的機器５０１０の命令と制御を可能にする。これらのアプリケーションのいずれも、介在するリモートコンピューティングデバイス５０４０によって科学的機器５０１０と通信しているユーザローカルコンピューティングデバイス５０２０を操作するユーザによってアクセスされ得る。いくつかの実施形態では、科学的機器５０１０は、ローカル科学的機器コンピューティングユニット５０１２の一部として、１つ以上の関連するユーザローカルコンピューティングデバイス５０２０と合わせて、製造元から販売され得る。
【0107】
いくつかの実施形態では、科学的機器支援システム５０００に含まれる科学的機器５０１０の異なるものは、異なる種類の科学的機器５０１０であってもよい。いくつかのそのような実施形態では、リモートコンピューティングデバイス５０４０及び／又はユーザローカルコンピューティングデバイス５０２０は、科学的機器支援システム５０００に含まれる異なる種類の科学的機器５０１０からのデータを組み合わせてもよい。
【0108】
したがって、本明細書で述べる実施形態は、機械学習モデル用の継続的な学習ワークフローを提供する。このワークフローは、一般に、訓練、試験、検証、及び人間によるレビューとアノテーション用に有用な画像を自動的に選択する自動データトリアージを実行することを含み、この自動データトリアージに基づいて生成されたデータセットは、機械学習モデルの訓練（つまり、再訓練）に使用される。この訓練（及び、関連付けられた試験）の後、機械学習モデルを使用して将来の推論を生成し、この推論は、科学的機器の制御と動作、並びに、例えば、サンプル調製などの関連プロセスに使用する。したがって、機械学習モデルが、この継続的な学習ワークフローを通して改善され、変化するプロセスに適応するにつれて、科学的機器、及び関連するプロセスの結果として生じる、制御及び動作も改善する。いくつかの実施形態では、この学習ワークフローは、顧客の現場で利用可能なデータを使用し、機械学習における人間の手間、及び必要とされる専門知識を最小限に抑えながら、学習ワークフローを顧客に効果的に移す。つまり、自動データトリアージは、自動フィードバックループにおける学習ワークフローにおける人間の相互作用を最適化する。
【0109】
上記でも説明したように、いくつかの実施形態は、自動モデルプロモーションを提供する（例えば、自動データトリアージを含む、ワークフローの一部として、又は、自動データトリアージとは別に）。モデルプロモーションは、機械学習モデル（例えば、１つ以上のオフライン試験に基づいて生成される）の１つ以上の性能メトリックを考慮し、必要に応じて、最高性能、又は最適モデルを識別するために、利用可能なモデルにわたり、かかる性能メトリックを比較し得る、訓練損失、又はプロセス固有のアルゴリズムに基づき得る。いくつかの実施形態では、利用可能な様々なモデルを分類するために、プロモーションの複数のステップ、又は段階が使用され得、モデルプロモーションは、機械学習モデルを実験室プロセス（例えば、試験プロセス、生産プロセス等）に統合する。プロモーション基準を構成することによって、顧客は、機械学習における専門知識を必要とすることなく、自身の信頼度、及びニーズに最も適するように、自動モデルプロモーションのレベルを制御する。したがって、自動モデルプロモーションプロセスは、最適化されたモデルを識別し、人間の介入によるカスタマイズされたレベルを通じて、信頼性があり、観測可能な方法でモデルを科学的機器に展開する（例えば、展開されたモデルを追跡して、どこで、いつ、どのモデルが実行されているかを定義する）。
【0110】
また、上述のとおり、実施形態が、１つ以上の特定の科学的機器（例えば、ＣＰＭ）、及び特定の機械学習推論（例えば、ＬＩＴ実行）に関して、本明細書で説明したが、本明細書で述べる方法、及びシステムは、任意の特定の科学的機器、又は任意の特定の機械学習推論への適用に限定されない。むしろ、本明細書で述べる方法及びシステムは、様々な種類の科学的機器によって使用される機械学習モデル用の学習ワークフロー、及び任意のモデルプロモーションワークフローを提供し、様々な種類の推論を生成するために、使用され得る。
【0111】
上記で開示された一例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、装置が提供されており、この装置は、機械学習モデルを使用して、科学的機器を介して取得された画像のセットの画像内の１つ以上の識別済み特徴を生成する特徴識別ロジックと、画像のセットが１つ以上の選択基準を満たすかどうかを決定し、画像のセットが１つ以上の選択基準を満たすという決定に応答して、１つ以上の識別済み特徴を含む、画像のセットを訓練データセットに割り当てる画像選択ロジックと、訓練データセットを使用して、機械学習モデルを再訓練する訓練ロジックと、を含む。
【0112】
上記装置のいくつかの実施形態では、科学的機器は荷電粒子顕微鏡を含む。
【0113】
上記装置のいずれかのいくつかの実施形態では、画像選択ロジック、及び訓練ロジックの少なくとも１つは、科学的機器から離れた場所にあるコンピューティングデバイスによって実装される。
【0114】
上記装置のいずれかのいくつかの実施形態では、画像選択ロジック、及び訓練ロジックの少なくとも１つは、科学的機器において実装される。
【0115】
上記装置のいずれかのいくつかの実施形態では、１つ以上の識別された特徴は、ライン指示終了特徴を含む。
【0116】
上記装置のいずれかのいくつかの実施形態では、画像選択ロジックは、１つ以上の識別済み特徴に関するメトリックを生成することによって、画像のセットが１つ以上の選択基準を満たすかどうかを決定し、画像選択ロジックは、メトリックが所定閾値を満たすことに応答して、画像のセットが１つ以上の選択基準を満たすことを決定する。
【0117】
上記装置のいずれかのいくつかの実施形態では、メトリックは、画像のセット内の各画像内で識別される特徴の数を表すプロット、画像のセット内の各画像内で識別される特徴領域を表すプロット、及び画像のセット内の各画像の特徴距離を表すプロットからなる群から選択される、少なくとも１つの傾きに基づく。
【0118】
上記装置のいずれかのいくつかの実施形態では、１つ以上の選択基準は、１つ以上の識別済み特徴の特性に関する所定基準を含むことができ、画像選択ロジックは、所定基準と比較して、１つ以上の識別済み特徴の異常を識別することにより、画像のセットが１つ以上の選択基準を満たすかどうかを決定する。
【0119】
上記装置のいずれかのいくつかの実施形態では、１つ以上の識別済み特徴の特性に関する所定基準は、１つ以上の識別済み特徴の所定基準サイズ、１つ以上の識別済みの特徴の所定基準数、１つ以上の識別済みの特徴の所定基準位置、１つ以上の識別済みの特徴の所定基準形状、及び１つ以上の識別済みの特徴の２つの間の所定基準距離からなる群から選択される少なくとも１つを含む。
【0120】
上記装置のいずれかのいくつかの実施形態では、画像選択ロジックは、所定基準を画像のセットの単一画像内の１つ以上の識別済み特徴の特性と比較することによって、画像のセットが１つ以上の選択基準を満たすかどうかを決定する。
【0121】
上記装置のいずれかのいくつかの実施形態では、画像選択ロジックは、所定基準を画像のセットに含まれる複数の画像内の１つ以上の識別済み特徴の代表的な特性と比較することによって、画像のセットが１つ以上の選択基準を満たすかどうかを決定する。
【0122】
上記装置のいずれかのいくつかの実施形態では、代表的な特性は、複数の画像における特性の平均値、複数の画像における特性の平均、複数の画像における特性の中央値、複数の画像における特性の標準偏差、及び複数の画像における特性のプロットの傾きからなる群から選択される少なくとも１つを含む。
【0123】
上記装置のいずれかのいくつかの実施形態では、所定基準は、ユーザ定義である。
【0124】
上記装置のいずれかのいくつかの実施形態では、１つ以上の選択基準は、１つ以上の識別済み特徴の特性を含み、画像選択ロジックは、画像の複数セットにわたり、特性のパターンを識別することにより、画像のセットが１つ以上の選択基準を満たすかどうかを決定する。
【0125】
上記装置のいずれかのいくつかの実施形態では、１つ以上の識別済み特徴の特性は、１つ以上の識別済み特徴のサイズ、１つ以上の識別済みの特徴の数、１つ以上の識別済みの特徴の位置、１つ以上の識別済みの特徴の形状、及び１つ以上の識別済みの特徴の２つの間の距離からなる群から選択される少なくとも１つを含む。
【0126】
上記装置のいずれかのいくつかの実施形態では、特性のパターンは、画像の複数セットにわたる特性の変化を含む。
【0127】
上記装置のいずれかのいくつかの実施形態では、特性のパターンは、所定閾値を超える、画像の複数セットにわたる特性の変化を含む。
【0128】
上記装置のいずれかのいくつかの実施形態では、所定閾値は、ユーザ定義である。
【0129】
上記装置のいずれかのいくつかの実施形態では、１つ以上の選択基準は、１つ以上の識別済み特徴の特性に基づくユーザ定義ルールを含む。
【0130】
上記装置のいずれかのいくつかの実施形態では、１つ以上の選択基準は、ランダム選択を含む。
【0131】
上記装置のいずれかのいくつかの実施形態では、ランダム選択は、画像のセットを訓練データセットに含めるための所定頻度を定義する。
【0132】
上記装置のいずれかのいくつかの実施形態では、ランダム選択は、ユーザ定義である。
【0133】
上記装置のいずれかのいくつかの実施形態では、１つ以上の識別済み特徴は、画像の第１セットの１つ以上の第１識別済み特徴を含み、画像選択ロジックは、画像の第２セットの１つ以上の第２識別済み特徴を含む、画像の第２セットを、訓練データセットから除外する。
【0134】
上記装置のいずれかのいくつかの実施形態では、訓練データセットは、再訓練データセット、試験データセット、検証データセット、及びアノテーションデータセットからなる群から選択される少なくとも１つを含む。
【0135】
上記装置のいずれかのいくつかの実施形態では、訓練データセットは、アノテーションデータセットを含み、画像選択ロジックは、アノテーションデータセットに含まれる、画像に対するユーザアノテーションを受信するためのユーザインターフェイスを提供する。
【0136】
上記装置のいずれかのいくつかの実施形態では、訓練データセットは、アノテーションデータセットを含み、画像選択ロジックは、ユーザインターフェイスを提供し、ユーザインターフェイスを通じて、指示を受信することに応答して、画像のセットを、再訓練データセット、試験データセット、及び検証データセットからなる群から選択される少なくとも１つに割り当てる。
【0137】
上記装置のいずれかのいくつかの実施形態では、訓練データセットは、アノテーションデータセットを含み、画像選択ロジックは、ユーザインターフェイスを提供し、ユーザインターフェイスを通じて、指示を受信することに応答して、画像のセットを、再訓練データセット、試験データセット、及び検証データセットからなる群から選択される少なくとも１つから、除外する。
【0138】
上記装置のいずれかのいくつかの実施形態では、訓練データセットは、アノテーションデータセットを含み、画像選択ロジックは、画像のセットをアノテーションデータセットに割り当てることに応答して、ユーザインターフェイス内のアノテーションデータセットに割り当てられた画像のセットにアクセスするために、ユーザによって選択可能なリンクを生成及び送信する。
【0139】
上記装置のいずれかのいくつかの実施形態では、訓練ロジックは、トリガイベントに応答して、訓練データセットを使用して、機械学習モデルを再訓練する。
【0140】
上記装置のいずれかのいくつかの実施形態において、トリガイベントは、訓練データセットに含まれるユーザによりアノテーションされた画像の数、訓練データセットのサイズの増加、訓練データセット内の所定の特徴に関するユーザによりアノテーションされた画像の数の増加、１つ以上の訓練リソースの利用可能性、及び手動始動からなる群から選択される少なくとも１つを含む。
【0141】
上記で開示された別の例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、科学的機器支援を提供するために、コンピューティングデバイスを介して実行される方法が提供されており、この方法は、１つ以上の選択基準を受信する、ことと、科学的機器を介して取得された画像のセット内の１つ以上の識別済み特徴を受信することであって、この１つ以上の識別済み特徴が、機械学習モデルを使用して生成される、ことと、この画像のセットが上記１つ以上の選択基準を満たすかどうかを決定する、ことと画像のセットが１つ以上の選択基準を満たすという決定に応答して、１つ以上の識別済み特徴を含む、画像のセットを訓練データセットに含める、ことと、訓練データセットを使用して、機械学習モデルを再訓練することと、を含む。
【0142】
上記の方法のいくつかの実施形態では、画像のセット内の１つ以上の識別済み特徴は、画像の第１セット内の１つ以上の第１識別済み特徴を含み、上記方法は、科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、１つ以上の第２識別済み特徴が、機械学習モデルを使用して生成される、ことと、画像の第１セット、及び１つ以上の第１識別済み特徴をユーザインターフェイスに提供することと、画像の第２セット、及び１つ以上の第２識別済み特徴をユーザインターフェイスに提供することと、ユーザインターフェイスを通じて第１指示を受信したことに応答して、訓練データセットから画像の第１セットを除外することと、ユーザインターフェイスを通じて第２指示を受信したことに応答して、訓練データセットに画像の第２セットを含めることと、を更に含む。
【0143】
上記方法のいずれかのいくつかの実施形態では、１つ以上の選択基準は、１つ以上の第１選択基準を含み、画像のセットの１つ以上の識別済み特徴は、画像の第１セットの１つ以上の第１識別済み特徴を含み、上記方法は、１つ以上の第２選択基準を受信することと、科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、この１つ以上の第２識別済み特徴が、機械学習モデルを使用して生成される、ことと、画像の第２セットが１つ以上の第２選択基準を満たすかどうかを決定することと、画像の第２セットが１つ以上の第２選択基準を満たすという決定に応答して、１つ以上の第２識別済み特徴を含む、画像の第２セットを訓練データセットに含める、ことと、を更に含む。
【0144】
上記方法のいずれかのいくつかの実施形態では、画像のセット内の１つ以上の識別済み特徴は、画像の第１セット内の１つ以上の第１識別済み特徴を含み、上記方法は、科学的機器を介して取得された画像の第２セット内の１つ以上の第２識別済み特徴を受信することであって、１つ以上の第２識別済み特徴は、機械学習モデルを使用して生成される、ことと、画像の第２セット、及び１つ以上の第２識別済み特徴をユーザインターフェイスに提供することと、ユーザインターフェイスを通じて画像の第２セットに関連付けられたアノテーションを受信することと、このアノテーションを含む、画像の第２セットを訓練データセットに含める、ことと、を更に含む。
【0145】
上記で開示された更に別の例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、命令を有する１つ以上の非一時的コンピュータ可読媒体が提供されており、この命令は、科学的機器用支援装置の１つ以上の処理デバイスによって実行されると、この支援装置に、上記の方法のいずれかを実行させる。
【0146】
上記で開示された別の例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、装置が提供されており、この装置は、複数の機械学習モデルのそれぞれについて、機械学習モデルを使用して、荷電粒子顕微鏡画像データセット内の１つ以上の識別済み特徴セットを生成する、特徴識別ロジックと、複数の機械学習モデルのそれぞれについて、１つ以上の性能測定値を生成する、モデル性能ロジックと、複数の機械学習モデルの性能測定値に基づいて、特定の機械学習モデルを複数の科学的機器に展開するモデルプロモーションロジックと、を含む。
【0147】
上記で開示された別の例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、装置が提供されており、この装置は、複数の機械学習モデルのそれぞれについて、機械学習モデルを使用して、荷電粒子顕微鏡画像データセット内の１つ以上の識別済み特徴セットを生成する、特徴識別ロジックと、荷電粒子顕微鏡画像データセット、及び１つ以上の識別済み特徴セットを表示するための第１アクセス許可を有する第１インターフェイスを生成する第１インターフェイスロジックと、複数の機械学習モデルのそれぞれについて、１つ以上の性能測定値を生成するモデル性能ロジックと、複数の機械学習モデルのそれぞれについて、１つ以上の性能測定値を表示するために、第１アクセス許可とは異なる、第２アクセス許可を有する第２インターフェイスを生成するための第２インターフェイスと、を含む。
【0148】
上記で開示された別の例示の実施形態によれば、例えば、図１～図２０の一部又は全てのいずれか１つ又は任意の組み合わせに関連して、装置が提供されており、この装置は、１つ以上のモデルプロモーション基準の第１指示を受信する、モデルプロモーションロジックと、複数の機械学習モデルのそれぞれについて、１つ以上の性能測定値を生成する、モデル性能ロジックと、を含み、複数の機械学習モデルの個々のモデルは、荷電粒子顕微鏡画像データセット内の１つ以上の識別済み特徴セットを生成するためのものであり、モデルプロモーションロジックは、複数の機械学習モデルの性能測定値、及びモデルプロモーション基準に基づいて、後に取得される荷電粒子顕微鏡画像データセットにおける特徴識別で使用するために、特定の機械学習モデルを荷電粒子顕微鏡に展開する。
【0149】
実施形態に関する様々な特徴、及び利点は、以下の特許請求の範囲に記載されている。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11-1】
【図11-2】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【国際調査報告】