ホーム > 特許ランキング > ＦＥＩ ＣＯＭＰＡＮＹ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024035208
(43)【公開日】2024-03-13
(54)【発明の名称】荷電粒子顕微鏡撮像のための自動選択及びモデル訓練
(51)【国際特許分類】
G06T 7/00 20170101AFI20240306BHJP
G06N 20/00 20190101ALI20240306BHJP
G06V 10/82 20220101ALI20240306BHJP
G01N 23/04 20180101ALI20240306BHJP
G01N 23/2251 20180101ALI20240306BHJP
【ＦＩ】
G06T7/00 350C
G06N20/00
G06V10/82
G01N23/04 330
G01N23/2251
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023140375
(22)【出願日】2023-08-30
(31)【優先権主張番号】17/823,661
(32)【優先日】2022-08-31
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501233536
【氏名又は名称】エフ イー アイ カンパニ
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジョン フランシス フラナガン ザ フォース
(72)【発明者】
【氏名】ホルガー コール
(72)【発明者】
【氏名】ユチェン デン
(72)【発明者】
【氏名】ファニス グロリオス
【テーマコード（参考）】
2G001
5L096
【Ｆターム（参考）】
2G001AA03
2G001BA07
2G001BA11
2G001CA03
2G001HA07
2G001HA13
5L096BA03
5L096CA18
5L096EA03
5L096EA12
5L096EA15
5L096EA16
5L096FA02
5L096FA35
5L096FA69
5L096GA30
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】荷電粒子顕微鏡（ＣＰＭ）支援システム及び支援方法、コンピューティングデバイス並びにコンピュータ可読媒体を提供する。
【解決手段】支援動作を実行する方法は、顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて、機械学習モデルのための訓練データを判定することと、訓練データに基づいて、機械学習モデルを訓練して、高解像度データ収集及びデータ分析などの少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することと、コンピューティングデバイスに、機械学習モデルを使用して、少なくとも１つの動作のための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることと、を含む。
【選択図】図２Ａ
【解決手段】支援動作を実行する方法は、顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて、機械学習モデルのための訓練データを判定することと、訓練データに基づいて、機械学習モデルを訓練して、高解像度データ収集及びデータ分析などの少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することと、コンピューティングデバイスに、機械学習モデルを使用して、少なくとも１つの動作のための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることと、を含む。
【選択図】図２Ａ
【特許請求の範囲】
【請求項1】
方法であって、
顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて、機械学習モデルのための訓練データを判定することと、
前記訓練データに基づいて、前記機械学習モデルを訓練して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することと、
コンピューティングデバイスに、前記機械学習モデルを使用して、前記少なくとも１つの動作を実行するための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることと、を含む、方法。
顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて、機械学習モデルのための訓練データを判定することと、
前記訓練データに基づいて、前記機械学習モデルを訓練して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することと、
コンピューティングデバイスに、前記機械学習モデルを使用して、前記少なくとも１つの動作を実行するための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることと、を含む、方法。
【請求項2】
前記訓練データを前記判定することが、顕微鏡検査画像を修正することに基づいて、複数の訓練画像を生成することを含み、前記顕微鏡検査画像を前記修正することが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズの適用のうちの１つ以上を含む、請求項１に記載の方法。
【請求項3】
前記訓練データを前記判定することが、前記訓練データの画像強度データのヒストグラムを判定することと、前記ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、前記正規化係数に基づいて前記訓練データを正規化することと、を含む、請求項１に記載の方法。
【請求項4】
前記機械学習モデルを畳み込みニューラルネットワークから完全畳み込みニューラルネットワークに変換することを更に含む、請求項１に記載の方法。
【請求項5】
前記機械学習モデルを前記変換することが、前記機械学習モデルの訓練の後である、請求項４に記載の方法。
【請求項6】
前記機械学習モデルが、前記少なくとも１つの動作を実行するためのターゲットである位置の変動確率のマップを生成するように訓練される、請求項１に記載の方法。
【請求項7】
前記少なくとも１つの動作が、データ収集動作、データ分析動作、前記顕微鏡検査撮像データより高い解像度を有する追加の撮像データの収集、又は前記追加の撮像データの分析のうちの１つ以上を含む、請求項１に記載の方法。
【請求項8】
方法であって、
顕微鏡検査撮像データ、及び前記顕微鏡検査撮像データに対するサンプル位置を示す位置データを受信することと、
機械学習モデル及び前記位置データに基づいて、少なくとも１つの動作を実行するための前記顕微鏡検査撮像データの１つ以上のエリアを判定することと、
前記顕微鏡検査撮像データの判定された前記１つ以上のエリアを示すデータを表示デバイス上に表示させることと、を含む、方法。
顕微鏡検査撮像データ、及び前記顕微鏡検査撮像データに対するサンプル位置を示す位置データを受信することと、
機械学習モデル及び前記位置データに基づいて、少なくとも１つの動作を実行するための前記顕微鏡検査撮像データの１つ以上のエリアを判定することと、
前記顕微鏡検査撮像データの判定された前記１つ以上のエリアを示すデータを表示デバイス上に表示させることと、を含む、方法。
【請求項9】
前記顕微鏡検査撮像データ及び前記位置データが、顕微鏡検査デバイスの荷電粒子顕微鏡検査画像収集に応答して受信される、請求項８に記載の方法。
【請求項10】
前記機械学習モデルが、自動的に生成された訓練データに基づいて構成され、前記自動的に生成された訓練データが、顕微鏡検査画像を修正することに基づいて生成された複数の訓練画像を含む、請求項８に記載の方法。
【請求項11】
前記顕微鏡検査画像を修正することが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズの適用のうちの１つ以上を含む、請求項１０に記載の方法。
【請求項12】
前記自動的に生成された訓練データが、正規化された訓練データを含み、前記正規化された訓練データが、前記訓練データの画像強度データのヒストグラムを判定することと、前記ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、前記正規化係数に基づいて前記訓練データを正規化することと、に基づいて正規化される、請求項１０に記載の方法。
【請求項13】
前記機械学習モデルが、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含む、請求項８に記載の方法。
【請求項14】
前記少なくとも１つの動作が、データ収集動作、データ分析動作、前記顕微鏡検査撮像データより高い解像度を有する追加の撮像データの収集、又は前記追加の撮像データの分析のうちの１つ以上を含む、請求項８に記載の方法。
【請求項15】
方法であって、
顕微鏡検査デバイスを動作させることに基づいて、顕微鏡検査撮像データ、及び前記顕微鏡検査撮像データに対するサンプル位置を示す位置データを生成することと、
前記顕微鏡検査撮像データ及び前記位置データをコンピューティングデバイスに送信することであって、前記コンピューティングデバイスが機械学習モデルを含む、送信することと、
前記コンピューティングデバイスから、前記位置データ及び前記機械学習モデルの判定に基づいて、前記顕微鏡検査撮像データの１つ以上のエリアを示すデータを受信することと、
前記顕微鏡検査撮像データの１つ以上のエリアを示す前記データに基づいて、少なくとも１つの動作を実行させることと、を含む、方法。
顕微鏡検査デバイスを動作させることに基づいて、顕微鏡検査撮像データ、及び前記顕微鏡検査撮像データに対するサンプル位置を示す位置データを生成することと、
前記顕微鏡検査撮像データ及び前記位置データをコンピューティングデバイスに送信することであって、前記コンピューティングデバイスが機械学習モデルを含む、送信することと、
前記コンピューティングデバイスから、前記位置データ及び前記機械学習モデルの判定に基づいて、前記顕微鏡検査撮像データの１つ以上のエリアを示すデータを受信することと、
前記顕微鏡検査撮像データの１つ以上のエリアを示す前記データに基づいて、少なくとも１つの動作を実行させることと、を含む、方法。
【請求項16】
前記顕微鏡検査撮像データを前記生成することが、複数の孔の１つ以上のセクションを含むメッシュグリッド内に位置するサンプルに対して荷電粒子顕微鏡検査を実行することを含む、請求項１５に記載の方法。
【請求項17】
前記機械学習モデルが、自動的に生成された訓練データに基づいて構成され、前記自動的に生成された訓練データが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズの適用のうちの１つ以上に基づいて修正されたデータを含む、請求項１５に記載の方法。
【請求項18】
前記機械学習モデルが、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含む、請求項１５に記載の方法。
【請求項19】
前記顕微鏡検査撮像データの１つ以上のエリアを示す前記データが、前記少なくとも１つの動作を実行するためのターゲットである位置の変動確率を示すマップ、又はメッシュグリッドのグリッドセクション内の複数の孔から選択された孔のサブセットの指示のうちの１つ以上を含む、請求項１５に記載の方法。
【請求項20】
前記少なくとも１つの動作を前記実行させることが、前記顕微鏡検査撮像データより高い解像度データのデータ収集、粒子分析、単一粒子分析、又は１つ以上の粒子の表現の生成のうちの１つ以上を実行するために、前記１つ以上のエリアを使用することを含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷電粒子顕微鏡撮像のための自動選択及びモデル訓練に関する。
【背景技術】
【0002】
顕微鏡検査は、顕微鏡を使用して肉眼では見ることが困難な物体をより良好に閲覧するための技術分野である。顕微鏡検査の異なる分野は、例えば、光学顕微鏡検査、荷電粒子（電子及び／又はイオン）顕微鏡検査、並びに走査型プローブ顕微鏡検査を含む。荷電粒子顕微鏡検査は、加速された荷電粒子のビームを照明源として使用することを伴う。荷電粒子顕微鏡検査のタイプは、例えば、透過型電子顕微鏡検査、走査型電子顕微鏡検査、走査透過型電子顕微鏡検査、及び集束イオンビーム顕微鏡検査を含む。
【図面の簡単な説明】
【0003】
実施形態は、添付の図面と併せて以下の詳細な説明によって容易に理解されるであろう。この説明を容易にするために、同様の参照番号は同様の構造要素を指している。実施形態は、限定としてではなく例として、添付の図面の図に示されている。
【図1A】様々な実施形態による、荷電粒子顕微鏡（chargedparticle microscope、ＣＰＭ）撮像支援動作を実行するための例示的なＣＰＭ支援モジュールのブロック図である。
【図1B】様々な実施形態による、本明細書に開示されるエリア選択技術によってＣＰＭによって撮像され得る例示的な標本を示す。
【図2A】様々な実施形態による、支援動作を実行する例示的な方法の流れ図である。
【図2B】様々な実施形態による、支援動作を実行する例示的な方法の流れ図である。
【図2C】様々な実施形態による、支援動作を実行する例示的な方法の流れ図である。
【図3】様々な実施形態による、本明細書に開示される支援方法のいくつか又は全ての実行に使用され得るグラフィカルユーザインターフェースの例である。
【図4】様々な実施形態による、本明細書に開示されるＣＰＭ支援方法のいくつか又は全てを実行し得る例示的なコンピューティングデバイスのブロック図である。
【図5】様々な実施形態による、本明細書に開示されるＣＰＭ支援方法のいくつか又は全てが実行され得る例示的なＣＰＭ支援システムのブロック図である。
【図6】荷電粒子顕微鏡（ＣＰＭ）撮像プロセスの図である。
【図7】例示的なクライオＥＭグリッド正方形画像（左側）と、例示的なグリッド正方形から取られた個々のクロップされた画像（右側）とを示す。
【図8】更なるサンプル分析のための箔孔の選択を示す例示的なグリッドクライオＥＭグリッド正方形画像である。
【図9】クロップされた画像を判定するための画像のサブセクションの選択を示す例示的なグリッドクライオＥＭグリッド正方形画像である。
【図10】例示的な機械学習モデルの例のブロック図である。
【図11】ラベル訂正のための例示的なユーザインターフェース及び関連するコードスニペットを示す。
【図12】ラベル内のノイズに関連する課題を示す図である。
【図13】グリッド正方形のエリアのユーザ選択を伴う画像を示す。
【図15】エリア選択の予測を示すヒストグラムである。
【図16】（不透明度、確率）対のいくつかの例と共に、（例えば、箔孔の上に配置された）円の不透明度が、エリア当たりの選択の確率を表すために使用される、例示的グリッド正方形画像を示す。
【図17】畳み込みニューラルネットワークとして動作する本技法による第１の機械学習モデルを示す図である。
【図18】完全畳み込みニューラルネットワークを動作させる本技法による第２の機械学習モデルを示す図である。
【発明を実施するための形態】
【0004】
本明細書に開示されるのは、荷電粒子顕微鏡（ＣＰＭ）撮像におけるエリア選択に関連する装置、システム、方法、及びコンピュータ可読媒体である。例えば、いくつかの実施形態では、方法は、顕微鏡検査撮像データのエリアの選択（例えば、ユーザ選択、コンピュータ生成選択）の位置を示す選択データに基づいて、機械学習モデルのための訓練データを判定することを含み得る。本方法は、訓練データに基づいて、機械学習モデルを訓練して、（例えば、判定された１つ以上のエリアにおける高解像度データの）データ収集、データ分析（例えば、高解像度データ若しくは元のデータ）、又はそれらの組み合わせなどの少なくとも１つの動作（例えば、処理動作、コンピュータ動作、データ動作）を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することを含み得る。本方法は、コンピューティングデバイスに、機械学習モデルを使用して、少なくとも１つの動作を実行するための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることを含み得る。
【0005】
別の例示的な方法は、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データを受信することを含み得る。本方法は、位置データ、及び少なくとも１つの動作を実行するためのターゲットエリア（例えば、最適エリア）を判定するように訓練された機械学習モデルに基づいて、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを判定することを含み得る。本方法は、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを表示デバイス上に表示させることを含み得る。
【0006】
別の例示的な方法は、顕微鏡検査デバイスを動作させることに基づいて、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データを生成することを含み得る。本方法は、顕微鏡検査撮像データ及び位置データをコンピューティングデバイスに送信することを含み得、コンピューティングデバイスは、少なくとも１つの動作を実行するためのターゲットエリア（例えば、最適エリア）を判定するように構成された（例えば、訓練された）機械学習モデルを含む。本方法は、コンピューティングデバイスから、位置データ及び機械学習モデルの判定に基づいて、顕微鏡検査撮像データの１つ以上のエリアを示すデータを受信することを含み得る。本方法は、顕微鏡検査撮像データの１つ以上のエリアを示すデータに基づいて、少なくとも１つの動作を実行させることを含み得る。
【0007】
したがって、本明細書に開示される実施形態は、ＣＰＭ技術に対する改善（例えば、改善の中でも、ＣＰＭを支援するコンピュータ技術の改善）を提供する。本明細書に開示されるＣＰＭ支援の実施形態は、従来のアプローチと比較して改善された性能を達成し得る。例えば、従来のＣＰＭでは、詳細な撮像のための関心エリアを選択するために、エキスパートユーザによる大量の手作業での介入が必要である。したがって、ＣＰＭテクノロジの進歩にもかかわらず、ＣＰＭシステムの全体的なスループットは停滞したままである。本明細書に開示されるＣＰＭ支援実施形態は、訓練データの改善に基づいて、機械学習モデルの精度及び効率を改善し得る。自動エリア選択プロセスの使用はまた、従来人間の入力を必要とするタスクを除去することによって、画像を処理する際のＣＰＭシステムの効率を増加させる。加えて、機械学習モデルは、モデルを完全畳み込みニューラルネットワークに変換することによって、より効率的になり得る。本明細書に開示される実施形態は、低温電子顕微鏡法（cryo-electron microscopy、クライオＥＭ）、微結晶電子回折（micro-crystal
electron diffraction、ＭＥＤ）、及び断層撮影法などの多くの撮像用途に容易に適用され得る。したがって、本明細書に開示される実施形態は、ＣＰＭ技術に対する改善（例えば、改善の中でも、ＣＰＭを支援するコンピュータ技術の改善）を提供する。
electron diffraction、ＭＥＤ）、及び断層撮影法などの多くの撮像用途に容易に適用され得る。したがって、本明細書に開示される実施形態は、ＣＰＭ技術に対する改善（例えば、改善の中でも、ＣＰＭを支援するコンピュータ技術の改善）を提供する。
【0008】
以下の詳細な説明では、本明細書の一部を形成する添付の図面が参照され、同様の数字は全体を通して同様の部分を指定し、例解として、実施され得る実施形態が示される。本開示の範囲から逸脱することなく、他の実施形態が利用され得、構造的又は論理的変更が行われ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではない。
【0009】
様々な動作は、本明細書に開示される主題を理解するのに最も役立つように、複数の別個のアクション又は動作として順に説明され得る。しかしながら、説明の順序は、これらの動作が必然的に順序に依存することを示唆するものとして解釈されるべきではない。特に、これらの動作は、提示されたものとは異なる順序で実行され得る。説明される動作は、説明される実施形態とは異なる順序で実行され得る。様々な追加の動作が実行され得、及び／又は説明された動作が追加の実施形態において省略され得る。
【0010】
本開示の目的のために、「Ａ及び／又はＢ」及び「Ａ又はＢ」という句は、（Ａ）、（Ｂ）、又は（Ａ及びＢ）を意味する。本開示の目的のために、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、又はＣ」という句は、（Ａ）、（Ｂ）、（Ｃ）、（Ａ及びＢ）、（Ａ及びＣ）、（Ｂ及びＣ）、又は（Ａ、Ｂ、及びＣ）を意味する。いくつかの要素は単数形（例えば、「処理デバイス」）で言及され得るが、任意の適切な要素は、その要素の複数のインスタンスによって表され得、逆もまた同様である。例えば、処理デバイスによって実行されるものとして説明された動作のセットは、異なる処理デバイスによって実行される動作のうちの異なるものを用いて実装され得る。
【0011】
本説明は、「一実施形態」、「様々な実施形態」、及び「いくつかの実施形態」という句を使用し、それらの各々は、同一又は異なる実施形態のうちの１つ以上を指し得る。更に、本開示の実施形態に関して使用される「含む（comprising）」、「含む（including）」、「有する（having）」などの用語は、同義である。寸法の範囲を説明するために使用される場合、「ＸとＹとの間」という句は、Ｘ及びＹを含む範囲を表す。本明細書で使用されるように、「装置」は、任意の個々のデバイス、デバイスの集合、デバイスの一部、又はデバイスの一部の集合を指し得る。図面は、必ずしも縮尺通りではない。
【0012】
図１Ａは、様々な実施形態による、支援動作を実行するためのＣＰＭ支援モジュール１０００のブロック図である。ＣＰＭ支援モジュール１０００は、プログラムされたコンピューティングデバイスなどの回路（例えば、電気的及び／又は光学的構成要素を含む）によって実装され得る。ＣＰＭ支援モジュール１０００のロジックは、単一のコンピューティングデバイスに含まれ得るか、又は必要に応じて互いに通信している複数のコンピューティングデバイスに分散され得る。単独で又は組み合わせて、ＣＰＭ支援モジュール１０００を実装し得るコンピューティングデバイスの例は、図４のコンピューティングデバイス４０００を参照して考察され、ＣＰＭモジュール１０００が１つ以上のコンピューティングデバイスにわたって実装され得る相互結合されたコンピューティングデバイスのシステムの例は、本明細書では、図５のＣＰＭ支援システム５０００を参照して考察される。ＣＰＭ支援モジュール１０００によってその動作が支援されるＣＰＭは、走査型電子顕微鏡（scanning electron microscope、ＳＥＭ）、透過型電子顕微鏡（transmission
electron microscope、ＴＥＭ）、走査型透過型電子顕微鏡（scanning
transmission electron microscope、ＳＴＥＭ）、又はイオンビーム顕微鏡などの任意の好適なタイプのＣＰＭを含み得る。
electron microscope、ＴＥＭ）、走査型透過型電子顕微鏡（scanning
transmission electron microscope、ＳＴＥＭ）、又はイオンビーム顕微鏡などの任意の好適なタイプのＣＰＭを含み得る。
【0013】
ＣＰＭ支援モジュール１０００は、撮像ロジック１００２、訓練ロジック１００４、エリア選択ロジック１００６、ユーザインターフェースロジック１００８、及びそれらの組み合わせを含み得る。本明細書で使用される場合、「ロジック」という用語は、ロジックに関連付けられた動作のセットを実行する装置を含み得る。例えば、ＣＰＭ支援モジュール１０００に含まれるロジック要素のいずれかは、コンピューティングデバイスの１つ以上の処理デバイスに関連する一連の操作を実行させる命令でプログラムされた１つ以上のコンピューティングデバイスによって実装され得る。特定の実施形態では、ロジック要素は、１つ以上の非一時的コンピュータ可読媒体を含み得、１つ以上の非一時的コンピュータ可読媒体は、１つ以上のコンピューティングデバイスの１つ以上の処理デバイスによって実行されたとき、１つ以上のコンピューティングデバイスに、関連付けられた動作のセットを実行させる命令を有する。本明細書で使用される場合、「モジュール」という用語は、一緒になってモジュールに関連する機能を実行する、１つ以上のロジック要素の集合を指し得る。モジュール内のロジック要素のうちの異なるものは、同じ形態を採り得るか、又は異なる形態を採り得る。例えば、モジュール内のいくつかのロジックは、プログラムされた汎用処理デバイスによって実装され得、モジュール内の他のロジックは、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）によって実装され得る。別の実施例では、モジュール内のロジック要素のうちの異なるものは、１つ以上の処理デバイスによって実行される、異なる命令のセットに関連付けられ得る。モジュールは、関連する図面に描写されたロジック要素の全てを含まなくてもよく、例えば、モジュールは、そのモジュールが、そのモジュールを参照して本明細書で考察される動作のサブセットを実行するとき、関連する図面に描写されるロジック要素のサブセットを含み得る。
【0014】
撮像ロジック１００２は、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データを生成し得る。顕微鏡検査撮像データ及び位置データは、顕微鏡検査デバイスを動作させることに基づいて生成され得る。撮像ロジック１００２は、ＣＰＭ（例えば、図９を参照して以下で考察されるＣＰＭ５０１０）によってエリアの撮像ラウンドからのデータを処理することによって、標本のエリアに関連するデータセットを生成し得る。いくつかの実施形態では、撮像ロジック１００２は、ＣＰＭに、標本のエリアの１つ以上の撮像ラウンドを実行させ得る。
【0015】
いくつかの実施形態では、撮像ロジック１００２は、低温電子顕微鏡法（クライオＥＭ）用に構成され得、標本は、図１Ｂに示されるクライオＥＭサンプル１００のようなクライオＥＭサンプルであり得る。図１ＢのクライオＥＭサンプル１００は、その上に炭素（例えば、又は金などの他の材料）の正方形パッチ１０２を有する（例えば、１ミリメートル～１０ミリメートルの直径を有する）銅メッシュグリッドを含み得る。パッチ１０２の炭素は、例えば、０．３ミクロン～５ミクロンの直径を有する孔１０４を含み得、孔１０４は、その中に過冷却氷１０８の薄層を有し得、その中に、関心要素１０６（例えば、タンパク質分子又は他の生体分子などの粒子が埋め込まれている。孔は、規則的又は不規則的なパターンで配置され得る。いくつかの実施形態では、孔１０４の各々は、ＣＰＭ支援モジュール１０００によって分析される異なるエリアとして機能し得る（例えば、以下で考察されるように、関心要素１０６を更に調査するための「最良の」１つ以上の孔１０４を選択するため）。標本のこの特定の例は、単に例示的なものであり、特定のＣＰＭに好適な任意の標本が使用され得る。
【0016】
訓練ロジック１００４は、エリア選択を実行するために機械学習モデルを訓練し得る。いくつかの実施形態では、訓練ロジック１００４の機械学習計算モデルは、多層ニューラルネットワークモデルであり得る。例えば、訓練ロジック１００４に含まれる機械学習計算モデルは、１つ以上のニューラルネットワーク層を介したスキップ結合を含む残余ネットワーク（residual network、ＲｅｓＮｅｔ）アーキテクチャを有し得る。訓練データ（例えば、入力画像とパラメータ値）は、任意の好適な様式で正規化され得る（例えば、ヒストグラム均等化と［０，１］などの間隔へのパラメータのマッピングを使用）。他のニューラルネットワークモデル（例えば、密な畳み込みニューラルネットワークモデル又は他のディープ畳み込みニューラルネットワークモデルなど）などの他の機械学習計算モデル。
【0017】
訓練ロジック１００４は、少なくとも１つの動作（例えば、データ動作、処理動作）を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定するように機械学習モデルを訓練し得る。訓練ロジック１００４は、訓練データに基づいて、機械学習モデルを訓練して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定し得る。少なくとも１つの動作は、機械学習モデルに入力される画像より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。
【0018】
機械学習モデルのための訓練データは、顕微鏡検査撮像データのエリアの選択（例えば、ユーザ選択、コンピュータ生成選択）を示す選択データに基づき得る。選択データは、グリッドメッシュのセクションの複数の孔のうちの選択された孔の位置を示す位置情報（例えば、座標、ピクセル、距離、メートル）を含み得る。選択データは、１つ以上の顕微鏡、ユーザ、サンプルなどに関連付けられた１つ以上の記憶場所から受信（例えば、収集）され得る。一例として、位置情報は、画像ピクセル座標を含み得る。画像ピクセル座標は、全ての可能な選択がその中に示される概観画像（例えば、グリッド正方形画像）に関するものであり得る。概観画像は、単一の画像、又は複数の画像タイトルの組み合わせであり得る（例えば、エッジ間で追加されるか、又は他の方法で組み合わされる）。選択データは、顕微鏡検査画像内の顕微鏡検査における特徴の選択、顕微鏡検査画像内の特徴の非選択、又はそれらの組み合わせのためのフィルタを生成するために、機械学習モデルによって使用され得る。
【0019】
訓練ロジック１００４は、１つ以上の増強プロセスに基づいて撮像データ及び／又は選択データを増強し得る。増強プロセスは、（例えば、選択データの）顕微鏡検査画像の修正に基づいて、複数の訓練画像を生成することを含み得る。１つ以上の増強プロセスは、顕微鏡検査画像の第１のクロップを判定することを含み得る。顕微鏡検査画像（例えば、グリッド正方形などのそのセクション）は、複数のクロップされた画像にクロップされ得る。クロップされた画像の各々は、機械学習モデルを訓練するための別個の例として使用され得る。第１のクロップされた画像は、グリッド正方形内の孔に基づいてクロップされ得る。孔の座標は、クロップされた画像の中心であり得る。クロップされた画像は、いくつかの他の孔などの孔の周りのエリアを含み得る。複数のクロップされた画像は、孔の各々について（例えば、又は何らかの他の特徴に基づいて）クロップされた画像を生成することによって生成（例えば、作成）され得る。１つ以上の増強プロセスは、第１のクロップ（例えば、各クロップされた画像）内の画像データの少なくとも一部分を修正することを含み得る。修正された画像は、（例えば、修正の後に）第２のクロップされた画像として更にクロップされ得る。第２のクロップ画像（例えば、第２のクロップ画像の各々）は、機械学習モデルを訓練するための別個の例として使用され得る。
【0020】
顕微鏡検査画像を修正することは、回転、スケーリング、平行移動、点広がり関数の適用、又はポアソンノイズの適用のうちの１つ以上を含み得る。顕微鏡検査画像を修正することは、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含み得る。顕微鏡検査画像を修正することは、光学変換を適用して、焦点、顕微鏡検査画像を変化させること、及び／又は別様に元の顕微鏡検査画像を変換することを含み得る。
【0021】
訓練ロジック１００４は、訓練データの少なくとも一部分を正規化し得る。（例えば、画像、選択されたグリッド正方形、及び／又はクロップされた画像の）訓練データの画像強度データのヒストグラムが判定され得る。正規化係数は、ヒストグラムのパーセンテージ（例えば、９０パーセント）に基づいて判定され得る。訓練データ（例えば、増強プロセスの前又は後の、画像、画像の部分）は、正規化係数に基づいて正規化され得る。
【0022】
訓練ロジック１００４は、ニューラルネットワーク、畳み込みニューラルネットワーク、又は完全畳み込みニューラルネットワークのうちの１つ以上を生成し得る。機械学習モデルは、畳み込みニューラルネットワークを変換及び／又は修正することによって、完全畳み込みニューラルネットワークを生成し得る。まず、訓練ロジック１００４は、畳み込みニューラルネットワークを生成し得る。畳み込みニューラルネットワークを生成した後に、完全畳み込みニューラルネットワークが、畳み込みニューラルネットワークに基づいて生成され得る。完全畳み込みニューラルネットワークは、（例えば、元のニューラルネットワークにおいて、又はニューラルネットワークのコピーにおいて）１つ以上の層を置き換えること、例えば、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることによって生成され得る。重み値（例えば、又はバイアス値）は、畳み込みニューラルネットワークの第１の層（例えば、密層、グローバルプーリング層、完全結合層）から第２の層にコピーされて、第１の層は少なくとも部分的に置き換えられ得る（例えば、又は第１の層のコピーは置き換え得る）。第１の層と第２の層は両方とも、対応するニューラルネットワーク内の同じ又は類似の構造に属し得る。第１の層は、第２の層（例えば、完全畳み込みニューラルネットワーク）とは異なるニューラルネットワーク（例えば、畳み込みニューラルネットワーク）に属し得る。例えば、重み値（例えば、又はバイアス値）は、完全結合層から対応する１×１畳み込み層にコピーされ得る。コピーされ得る層は、ニューラルネットワークの（例えば、処理の順序で）最後の層以外のいずれかを含み得る。層に言及するときの「第１の」及び「第２の」という用語は、必ずしも順序の関係性を暗示するものではないことを理解されたい。
【0023】
訓練が完了すると、機械学習モデルは、エリアが分析のために選択されるか選択されないかの指示を提供するように訓練及び／又は構成され得る。指示は、バイナリ値、又は範囲内の値（例えば、０～１）のうちの１つを含み得る。訓練ロジック１００４は、コンピューティングデバイスに、機械学習モデルを使用して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定するように構成させ得る。少なくとも１つの動作は、機械学習モデルに入力される画像より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。例えば、訓練ロジック１００４は、機械学習モデルを記憶場所に、別のコンピューティングデバイスなどに送信し得る。
【0024】
エリア選択ロジック１００６は、追加のデータ収集、データ分析（例えば、又は機械学習モデルによって処理された元の画像の追加のデータ収集）などの少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを判定し得る。例えば、より低い解像度の画像は、１つ以上のエリアを判定するために使用され得る。次いで、顕微鏡検査撮像データの１つ以上のエリアの１つ以上のより高い解像度の画像が撮影され得る。１つ以上のより高い解像度の画像は、（例えば、撮像データ内の物質に関する情報、及び／又は他の分析を判定するために）分析され得る。エリア選択ロジック１００６は、少なくとも１つの動作を実行するためのターゲットエリアを判定するように訓練された機械学習モデルに基づいて、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを判定し得る。分析のためのターゲットエリアは、汚染のないエリア、薄い氷を有するエリア、生物学的粒子を含有するエリア、又は高解像度クライオＥＭ構造に寄与するであろうそれらの組み合わせであり得る。
【0025】
実施形態では、エリア選択ロジック１００６は、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置（例えば、孔の位置）を示す位置データを受信し得る。顕微鏡検査撮像データ及び位置データは、第２のコンピューティングデバイスから第１のコンピューティングデバイスによって受信され得る。顕微鏡検査撮像データ及び位置データは、ネットワーク又は記憶デバイスのうちの１つ以上を介して受信され得る。顕微鏡検査撮像データ及び位置データは、顕微鏡検査デバイスの動作に応答して受信され得る。顕微鏡検査デバイスの動作は、荷電粒子顕微鏡検査画像収集を含み得る。位置データは、グリッドメッシュのグリッドセクション内の孔の座標を含み得る。
【0026】
ユーザインターフェースロジック１００８は、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを表示デバイス上に表示させ得る。表示させることは、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを、ネットワークを介して、表示デバイスに送信することを含み得る。顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータは、（例えば、機械学習モデルが畳み込み又は完全畳み込みニューラルネットワークである場合）分析のためのターゲットである位置の変動確率を示すマップを含み得る。顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータは、（例えば、機械学習モデルが畳み込みニューラルネットワークである場合）メッシュグリッドのグリッドセクション内の複数の孔のうちの１つ以上のエリア内の孔のサブセットの指示を含み得る。
【0027】
ユーザインターフェースロジック１００８は、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータに基づいて、少なくとも１つの動作を実行させ得る。少なくとも１つの動作を実行させることは、１つ以上のエリアを使用して、顕微鏡検査撮像データより高い解像度データのデータ収集、（例えば、より高い解像度データに基づく）粒子分析、単一粒子分析、１つ以上の粒子の表現の生成のうちの１つ以上を実行することを含み得る。少なくとも１つの動作を実行させることは、顕微鏡検査撮像データの１つ以上のエリアを示すデータの記憶又はネットワークを介した送信のうちの１つ以上を行わせることを含み得る。少なくとも１つの動作を実行させることは、表示デバイスを介して、１つ以上のエリアに関連するデータ（例えば、高解像度データ、及び／又は顕微鏡検査撮像データ）を分析した結果を出力させることを含み得る。
【0028】
図２Ａは、様々な実施形態による、支援動作を実行する方法２０００の流れ図である。方法２０００の動作は、本明細書に開示される特定の実施形態（例えば、図１Ａを参照して本明細書で考察されるＣＰＭ支援モジュール１０００、図３を参照して本明細書で考察されるＧＵＩ３０００、図４を参照して本明細書で考察されるコンピューティングデバイス４０００、及び／又は図５を参照して本明細書で考察されるＣＰＭ支援システム５０００）を参照して説明され得るが、方法２０００は、任意の好適な支援動作を実行するために任意の好適な設定で使用され得る。動作は、図２Ａにおいて各々１回ずつ特定の順序で示されているが、動作は、所望に応じて適切に並べ替え及び／又は繰り返され得る（例えば、実行される異なる動作は、適宜、並行して実行され得る）。
【0029】
方法２０００は、画像のエリアの自動選択のためのサービスを提供するコンピュータ実装方法を含み得る。図１ＡのＣＰＭ支援モジュール１０００、図３のＧＵＩ３０００、図４のコンピューティングデバイス４０００、及び／又はＣＰＭ支援システム５０００などのシステム及び／又はコンピューティング環境は、方法２０００を実行するように構成され得る。例えば、科学的機器（例えば、ＣＰＭシステム）５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス、及びリモートコンピューティングデバイス５０４０の任意のデバイスが別々に、又はデバイスの組み合わせで、方法２０００を実行し得る。図２Ｂ～図２Ｃの方法の特徴のいずれかが、図２Ａの方法２０００の特徴及び／又はステップのいずれかと組み合わせられ得る。
【0030】
ステップ２００２において、機械学習モデルのための訓練データが判定され得る。機械学習モデルのための訓練データは、顕微鏡検査撮像データのエリアの選択（例えば、ユーザ選択、コンピュータ生成選択）を示す選択データに基づいて判定され得る。選択データは、グリッドメッシュのセクションの複数の孔のうちの選択された孔の座標を含み得る。訓練データの少なくとも一部分は、エキスパートによる手動注釈付け、アルゴリズムの使用、又はそれらの組み合わせなどの様々な技法を使用して生成され得る。
【0031】
訓練データを判定することは、顕微鏡検査画像を修正することに基づいて、複数の訓練画像を生成することを含み得る。顕微鏡検査画像を修正することは、回転、スケーリング、平行移動、点広がり関数の適用、又はポアソンノイズの適用のうちの１つ以上を含み得る。顕微鏡検査画像を修正することは、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含み得る。顕微鏡検査画像を修正することは、焦点を変更すること又は顕微鏡検査画像をぼかすことのうちの１つに光学変換を適用することを含み得る。訓練データを判定することは、訓練データの画像強度データのヒストグラムを判定すること、ヒストグラムのパーセンテージに基づいて正規化係数を判定すること、正規化係数に基づいて訓練データを正規化すること、又はそれらの組み合わせを含み得る。訓練データを判定することは、顕微鏡検査画像の第１のクロップを判定することと、第１のクロップ内の画像データの少なくとも一部分を修正することと、第１のクロップの第２のクロップを判定することと、を含み得る。
【0032】
ステップ２００４において、機械学習モデルは、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定するように訓練され得る。少なくとも１つの動作は、１つ以上のエリアを判定するために機械学習モデルに入力される画像（例えば、顕微鏡検査撮像データ）より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。機械学習モデルは、訓練データに基づいて少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定するように訓練され得る。機械学習モデルは、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含み得る。機械学習モデルは、畳み込みニューラルネットワークから完全畳み込みニューラルネットワークに変換され得る。機械学習モデルを変換することは、機械学習モデルの訓練の後であり得る。機械学習モデルを変換することは、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることを含み得る。機械学習モデルを変換することは、畳み込みニューラルネットワークの第１の層から第２の層に重み値（例えば、又はバイアス値）をコピーして、第１の層を少なくとも部分的に置き換えることを含み得る。例えば、１つ以上の完全結合層からの重み値は、１つ以上の対応する１×１畳み込み層にコピーされ得る。顕微鏡検査撮像データのエリアはそれぞれ、単一の箔孔を含み得る。顕微鏡検査撮像データのエリアのうちの１つ以上はそれぞれ、グリッドメッシュのグリッドセクション内に複数の孔を含み得る。機械学習モデルは、分析のためのターゲットである位置の変動確率のマップを生成するように訓練され得る。機械学習モデルは、分析のためのエリアが選択されるか否かの指示を提供するように訓練され得る。
【0033】
ステップ２００６において、コンピューティングデバイスは、機械学習モデルを使用して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定するように構成され得る。機械学習モデルを示す及び／又は含むデータは、記憶場所、別のコンピューティングデバイス、（例えば、ホストコンピューティング、ホスト機械学習のための）ホスティングサービスなどに送信され得る。ソフトウェアアプリケーション（例えば、サーバ上の、ＣＰＭと通信するコンピューティングデバイス上の、ＣＰＭに統合されたアプリケーション）は、機械学習モデルを使用するように構成されるように更新され得る。アプリケーションの更新は、機械学習モデルの使用のために１つ以上の場所に送信され得る。
【0034】
図２Ｂは、様々な実施形態による、支援動作を実行する方法２００５の流れ図である。方法２００５の動作は、本明細書に開示される特定の実施形態（例えば、図１Ａを参照して本明細書で考察されるＣＰＭ支援モジュール１０００、図３を参照して本明細書で考察されるＧＵＩ３０００、図４を参照して本明細書で考察されるコンピューティングデバイス４０００、及び／又は図５を参照して本明細書で考察されるＣＰＭ支援システム５０００）を参照して説明され得るが、方法２００５は、任意の好適な支援動作を実行するために任意の好適な設定で使用され得る。動作は、図２Ｂにおいて各々１回ずつ特定の順序で示されているが、動作は、所望に応じて適切に並べ替え及び／又は繰り返され得る（例えば、実行される異なる動作は、適宜、並行して実行され得る）。
【0035】
方法２００５は、画像のエリアの自動選択のためのサービスを提供するコンピュータ実装方法を含み得る。図１ＡのＣＰＭ支援モジュール１０００、図３のＧＵＩ３０００、図４のコンピューティングデバイス４０００、及び／又はＣＰＭ支援システム５０００などのシステム及び／又はコンピューティング環境は、方法２００５を実行するように構成され得る。例えば、科学的機器（例えば、ＣＰＭシステム）５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス、及びリモートコンピューティングデバイス５０４０の任意のデバイスが別々に、又はデバイスの組み合わせで、方法２００５を実行し得る。図２Ａ及び図２Ｃの方法の特徴のいずれかが、図２Ｂの方法２００５の特徴及び／又はステップのいずれかと組み合わせられ得る。
【0036】
ステップ２００８において、顕微鏡検査撮像データが受信され得る。顕微鏡検査撮像データに対するサンプル位置を示す位置データが、（例えば、顕微鏡検査撮像データと共に、又は別個に）受信され得る。顕微鏡検査撮像データ及び／又は位置データは、第２のコンピューティングデバイスから第１のコンピューティングデバイスによって受信され得る。顕微鏡検査撮像データ及び／又は位置データは、ネットワーク又は記憶デバイスのうちの１つ以上を介して受信され得る。顕微鏡検査撮像データ及び／又は位置データは、顕微鏡検査デバイスの動作に応答して受信され得る。顕微鏡検査デバイスの動作は、荷電粒子顕微鏡検査画像収集を含み得る。位置データは、グリッドメッシュのグリッドセクション内の孔の座標を含み得る。
【0037】
ステップ２０１０において、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアが判定され得る。少なくとも１つの動作は、機械学習モデルに入力される画像より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアは、機械学習モデル、位置データ、顕微鏡検査撮像データ、又はそれらの組み合わせに基づいて判定され得る。例えば、顕微鏡検査撮像データ及び／又は位置データは、機械学習モデルに入力され得る。いくつかのシナリオでは、位置データは、（例えば、座標を使用して孔の特定の位置を識別し、次いで、孔の周囲の小さいエリアをクロップすることによって）顕微鏡検査撮像データの複数のサブ画像を生成するために使用され得る。サブ画像は、顕微鏡検査撮像データの複数の箔孔のうちの個々の箔孔を表し得る（例えば、個々の箔孔を中心として得る）。各サブ画像は、どのサブ画像が選択又は非選択として判定されるかを判定するために、機械学習モデルに別々に入力され得る。別の例として、機械学習モデルは、画像全体を受信し、位置データを使用して、分析のための個々のエリアを判定し得る。機械学習モデルは、少なくとも１つの動作を実行するためのターゲットエリアを判定するように訓練（例えば、又は構成）され得る。機械学習モデルは、顕微鏡検査撮像データのエリアの選択（例えば、ユーザ選択、アルゴリズムに基づくコンピュータ生成選択）を示す選択データに基づいて訓練（例えば、構成）され得る。選択データは、グリッドメッシュのセクション内の選択された孔の座標などの位置情報を含み得る。
【0038】
機械学習モデルは、自動的に生成された訓練データに基づいて訓練（例えば、構成）され得る。自動的に生成された訓練データは、顕微鏡検査画像を修正することに基づいて生成された複数の訓練画像を含み得る。顕微鏡検査画像を修正することは、回転、スケーリング、平行移動、点広がり関数の適用、又はポアソンノイズの適用のうちの１つ以上を含み得る。顕微鏡検査画像を修正することは、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含み得る。顕微鏡検査画像を修正することは、光学変換を適用して、顕微鏡検査画像の焦点を変化させること、顕微鏡検査画像をぼかすこと、及び／又は別様に画像を変換することを含み得る。自動的に生成された訓練データは、正規化された訓練データを含み得る。正規化された訓練データは、訓練データの画像強度データのヒストグラムを判定することと、ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、正規化係数に基づいて訓練データを正規化することと、に基づいて正規化され得る。自動的に生成された訓練データは、クロップされた訓練データを含み得る。クロップされた訓練データは、顕微鏡検査画像の第１のクロップを判定すること、第１のクロップ内の画像データの少なくとも一部分を修正すること、第１のクロップの第２のクロップを判定すること、又はそれらの組み合わせに基づいてクロップされ得る。
【0039】
機械学習モデルは、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含み得る。機械学習モデルは、畳み込みニューラルネットワークから変換された完全畳み込みニューラルネットワークを含み得る。機械学習モデルは、機械学習モデルの訓練の後に、完全畳み込みニューラルネットワークに変換され得る。機械学習モデルは、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることに基づいて、完全畳み込みニューラルネットワークに変換され得る。機械学習モデルは、畳み込みニューラルネットワークの第１の層から第２の層に重み値（例えば、又はバイアス値）をコピーして、第１の層を少なくとも部分的に置き換えることに基づいて、完全畳み込みニューラルネットワークに変換され得る。例えば、完全結合層からの重み値は、対応する１×１畳み込み層にコピーされ得る。
【0040】
顕微鏡検査撮像データの１つ以上のエリアはそれぞれ、メッシュグリッドのグリッドセクション内の複数の孔のうちの単一の孔のみであり得る。顕微鏡検査撮像データのエリアのうちの１つ以上はそれぞれ、メッシュグリッドのグリッドセクション内に複数の孔を含み得る。機械学習モデルは、分析のためのターゲットである位置の変動確率を示すマップを生成するように訓練（例えば、構成）され得る。機械学習モデルは、分析のためのエリアが選択されるか選択されないかの指示を提供するように訓練（例えば、構成）され得る。
【0041】
ステップ２０１２において、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを表示させ得る。表示は、表示デバイス上で行われ得る。表示させることは、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを、ネットワークを介して、表示デバイスに送信することを含み得る。顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータは、分析のためのターゲットである位置の変動確率を示すマップを含み得る。顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータは、メッシュグリッドのグリッドセクション内の複数の孔のうちの１つ以上のエリア内の孔のサブセットの指示を含み得る。
【0042】
図２Ｃは、様々な実施形態による、支援動作を実行する方法２０１５の流れ図である。方法２０１５の動作は、本明細書に開示される特定の実施形態（例えば、図１Ａを参照して本明細書で考察されるＣＰＭ支援モジュール１０００、図３を参照して本明細書で考察されるＧＵＩ３０００、図４を参照して本明細書で考察されるコンピューティングデバイス４０００、及び／又は図５を参照して本明細書で考察されるＣＰＭ支援システム５０００）を参照して説明され得るが、方法２０１５は、任意の好適な支援動作を実行するために任意の好適な設定で使用され得る。動作は、図２Ｃにおいて各々１回ずつ特定の順序で示されているが、動作は、所望に応じて、かつ適切に並べ替えられ、かつ／又は繰り返され得る（例えば、実行される異なる動作は、好適な場合、並行して実行され得る）。
【0043】
方法２０１５は、画像のエリアの自動選択のためのサービスを提供するコンピュータ実装方法を含み得る。図１ＡのＣＰＭ支援モジュール１０００、図３のＧＵＩ３０００、図４のコンピューティングデバイス４０００、及び／又はＣＰＭ支援システム５０００などのシステム及び／又はコンピューティング環境は、方法２０１５を実行するように構成され得る。例えば、科学的機器（例えば、ＣＰＭシステム）５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス、及びリモートコンピューティングデバイス５０４０の任意のデバイスが別々に、又はデバイスの組み合わせで、方法２０１５を実行し得る。図２Ａ及び図２Ｂの方法の特徴のいずれかが、図２Ｃの方法２０１５の特徴及び／又はステップのいずれかと組み合わせられ得る。
【0044】
ステップ２０１４において、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データが生成され得る。顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データは、顕微鏡検査デバイスを動作させることに基づいて生成され得る。顕微鏡検査撮像データを生成することは、複数の孔の１つ以上のセクションを含むメッシュグリッドに含まれる（例えば、その中に位置する）サンプルに対して荷電粒子顕微鏡検査を実行することを含み得る。
【0045】
ステップ２０１６において、顕微鏡検査撮像データ及び位置データが送信され得る。顕微鏡検査撮像データ及び位置データは、コンピューティングデバイスに送信され得る。コンピューティングデバイスは、少なくとも１つの動作（例えば、データ動作、収集動作、分析動作）を実行するためのターゲットエリアを判定するように訓練された機械学習モデルを含み得る。少なくとも１つの動作は、機械学習モデルに入力される画像より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。機械学習モデルは、顕微鏡検査撮像データのエリアの選択（例えば、ユーザ選択、アルゴリズムに基づくコンピュータ生成選択）を示す選択データに基づいて訓練（例えば、構成）され得る。選択データは、グリッドメッシュのセクション内の選択された孔の座標などの位置情報を含み得る。
【0046】
機械学習モデルは、自動的に生成された訓練データに基づいて訓練（例えば、構成）され得る。自動的に生成された訓練データは、顕微鏡検査画像を修正することに基づいて生成された複数の訓練画像を含み得る。顕微鏡検査画像を修正することは、回転、スケーリング、平行移動、点広がり関数の適用、又はポアソンノイズの適用のうちの１つ以上を含み得る。顕微鏡検査画像を修正することは、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含み得る。顕微鏡検査画像を修正することは、焦点を変更すること又は顕微鏡検査画像をぼかすことのうちの１つに光学変換を適用することを含み得る。
【0047】
自動的に生成された訓練データは、正規化された訓練データを含み得る。正規化された訓練データは、訓練データの画像強度データのヒストグラムを判定すること、ヒストグラムのパーセンテージに基づいて正規化係数を判定すること、正規化係数に基づいて訓練データを正規化すること、又はそれらの組み合わせに基づいて正規化され得る。自動的に生成された訓練データは、クロップされた訓練データを含み得る。クロップされた訓練データは、顕微鏡検査画像の第１のクロップを判定すること、第１のクロップ内の画像データの少なくとも一部分を修正すること、第１のクロップの第２のクロップを判定すること、又はそれらの組み合わせに基づいてクロップされ得る。
【0048】
機械学習モデルは、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含み得る。機械学習モデルは、畳み込みニューラルネットワークから変換された完全畳み込みニューラルネットワークを含み得る。機械学習モデルは、機械学習モデルの訓練の後に、完全畳み込みニューラルネットワークに変換され得る。機械学習モデルは、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることに基づいて、完全畳み込みニューラルネットワークに変換され得る。機械学習モデルは、畳み込みニューラルネットワークの第１の層から第２の層に重み値（例えば、又はバイアス値）をコピーして、第１の層を少なくとも部分的に置き換えることに基づいて、完全畳み込みニューラルネットワークに変換され得る。例えば、完全結合層からの重み値は、対応する１×１畳み込み層にコピーされ得る。顕微鏡検査撮像データの１つ以上のエリアはそれぞれ、メッシュグリッドのグリッドセクション内の複数の孔のうちの単一の孔のみであり得る。顕微鏡検査撮像データのエリアのうちの１つ以上はそれぞれ、メッシュグリッドのグリッドセクション内に複数の孔を含み得る。機械学習モデルは、少なくとも１つの動作（例えば、データ動作、収集動作、分析動作）を実行するためのターゲット（例えば、最適である）としての位置の変動確率を示すマップを生成するように訓練（例えば、構成）され得る。機械学習モデルは、少なくとも１つの動作を実行するためのエリアが選択されるか選択されないかの指示を提供するように訓練（例えば、構成）され得る。
【0049】
ステップ２０１８において、顕微鏡検査撮像データの１つ以上のエリアを示すデータが受信され得る。顕微鏡検査撮像データの１つ以上のエリアを示すデータは、コンピューティングデバイスから受信され、機械学習モデルの判定に基づき得る。データを受信することは、顕微鏡検査撮像データ及び位置データを送信することに応答し得る。顕微鏡検査撮像データの１つ以上のエリアを示すデータは、分析のためのターゲット（例えば、最適）である位置の変動確率を示すマップを含み得る。顕微鏡検査撮像データの１つ以上のエリアを示すデータは、メッシュグリッドのグリッドセクション内の複数の孔のうちの１つ以上のエリア内の孔のサブセットの指示を含み得る。
【0050】
ステップ２０２０において、少なくとも１つの動作が実行され得る。少なくとも１つの動作は、顕微鏡検査撮像データの１つ以上のエリアを示すデータに基づいて実行され得る。少なくとも１つの動作を実行させることは、１つ以上のエリアを使用して、顕微鏡検査撮像データより高い解像度データ（例えば、撮像データ）のデータ収集、（例えば、より高い解像度データの）粒子分析、単一粒子分析、１つ以上の粒子の表現の生成のうちの１つ以上を実行することを含み得る。少なくとも１つの動作を実行させることは、顕微鏡検査撮像データの１つ以上のエリアを示すデータの記憶又はネットワークを介した送信のうちの１つ以上を行わせることを含み得る。少なくとも１つの動作を実行させることは、表示デバイスを介して、顕微鏡検査撮像データの１つ以上のエリアを分析した結果を出力させることを含み得る。
【0051】
本明細書に開示されるＣＰＭ支援方法は、人間のユーザとの相互作用を含み得る（例えば、図５を参照して本明細書で考察されるユーザローカルコンピューティングデバイス５０２０を介して）。これらの相互作用は、ユーザに情報を提供すること（例えば、図５のＣＰＭ５０１０などの科学的機器の動作に関する情報、分析されているサンプル、若しくは科学的機器によって実行される他の試験若しくは測定に関する情報、ローカル若しくはリモートデータベース、又は他の情報から検索された情報）、又はコマンド（例えば、図５のＣＰＭ５０１０などの科学的機器の動作を制御するため、又は科学的機器によって生成されるデータの分析を制御するため）、クエリ（例えば、ローカル又はリモートデータベースへの）、若しくは他の情報を入力するためのオプションをユーザに提供することを含み得る。いくつかの実施形態では、これらの相互作用は、ユーザに出力を提供する及び／又は入力を提供するようにユーザに促す（例えば、図４を参照して本明細書で考察される他のＩ／Ｏデバイス４０１２に含まれる、キーボード、マウス、トラックパッド、又はタッチスクリーンなどの１つ以上の入力デバイスを介して）表示デバイス（例えば、図４を参照して本明細書で考察される表示デバイス４０１０）上の視覚的表示を含むグラフィカルユーザインターフェース（graphical user interface、ＧＵＩ）を介して実行され得る。本明細書に開示されるＣＰＭ支援システムは、ユーザとの相互作用のための任意の好適なＧＵＩを含み得る。
【0052】
図３は、様々な実施形態による、本明細書に開示される支援方法の一部又は全部の実行において使用され得る例示的なＧＵＩ３０００を描写している。上記のように、ＧＵＩ３０００は、ＣＰＭ支援システム（例えば、図５を参照して本明細書で考察されるＣＰＭ支援システム５０００）のコンピューティングデバイス（例えば、図４を参照して本明細書で考察されるコンピューティングデバイス４０００）の表示デバイス（例えば、図４を参照して本明細書で考察される表示デバイス４０１０）上に提供され得、ユーザは、任意の好適な入力デバイス（例えば、図４を参照して本明細書で考察される他のＩ／Ｏデバイス４０１２に含まれる入力デバイスのいずれか）、及び入力技術（例えば、カーソルの移動、モーションキャプチャ、顔認識、ジェスチャー検出、音声認識、ボタンの作動など）を使用してＧＵＩ３０００と対話し得る。
【0053】
ＧＵＩ３０００は、データ表示領域３００２、データ分析領域３００４、科学的機器制御領域３００６、及び設定領域３００８を含み得る。図３に描写される領域の特定の数及び配置は、単に例示的なものであり、任意の所望の特徴を含む、任意の数及び配置の領域がＧＵＩ３０００に含まれ得る。
【0054】
データ表示領域３００２は、科学的機器ＣＰＭ（例えば、図５を参照して本明細書で考察されるＣＰＭ５０１０）によって生成されたデータを表示し得る。例えば、データ表示領域３００２は、試料の異なるエリアについて撮像ロジック１００２によって生成された顕微鏡検査撮像データ（例えば、図１Ｂ及び図６～図７に示されるようなグラフィカル表現）を表示し得る。
【0055】
データ分析領域３００４は、データ分析の結果（例えば、データ表示領域３００２に示されるデータ及び／又は他のデータを収集及び／又は分析した結果）を表示し得る。例えば、データ分析領域３００４は、（例えば、エリアセクションロジック１００６によって生成された）少なくとも１つの動作を実行するための判定された１つ以上のエリアを表示し得る。データ分析領域３００２は、少なくとも１つの動作を実行するために判定された１つ以上のエリアにおいて、より高い解像度の撮像データの収集を引き起こし得る。例えば、データ分析領域３００４は、図８、図１３～図１４、及び図１６のグラフィカル表現１７０のようなグラフィカル表現を表示し得る。データ分析領域３００４は、いくつの訓練画像を生成すべきかのパラメータ、修正動作を制御するためのパラメータなどを定義するためのインターフェースなどの訓練データを修正するためのインターフェースを表示し得る。図１１に示すようなラベル訂正オプションが表示され得る。いくつかの実施形態では、データ表示領域３００２及びデータ分析領域３００４は、ＧＵＩ３０００において組み合わされ得る（例えば、科学的機器からのデータ出力、及びデータのいくつかの分析を、共通のグラフ又は領域に含めるために）。
【0056】
科学的機器制御領域３００６は、ユーザが科学的機器（例えば、図５を参照して本明細書で考察されるＣＰＭ５０１０）を制御することを可能にするオプションを含み得る。例えば、科学的機器制御領域３００６は、機械学習計算モデルを選択及び／又は訓練し、前の機械学習計算モデルから新たな機械学習計算モデルを生成し、又は他の制御機能（例えば、分析されるエリアを制御するためにエリア選択ロジック１００６の出力を確認又は更新する）を実行するための、ユーザ選択可能なオプションを含み得る。
【0057】
設定領域３００８は、ＧＵＩ３０００（及び／又は他のＧＵＩ）の特徴及び機能を制御しかつ／又はデータ表示領域３００２及びデータ分析領域（３００４）に関する共通のコンピューティング動作を実行することをユーザに可能にするオプションを含み得る（例えば、図４に関して本明細書で考察される記憶デバイス４００４などの記憶デバイス上にデータを保存する、別のユーザにデータを送信する、データをラベル付けする、など）。例えば、設定領域３００８は、機械学習モデルの選択のためのオプションを含み得る。ユーザは、畳み込みニューラルネットワーク（例えば、図１０、図１７に示される）及び完全畳み込みニューラルネットワーク（例えば、図１８に示される）の中から機械学習モデルを選択し得る。ユーザは、閾値（例えば、０～１の数）を選択し得る。ユーザは、スライダを調整して閾値を選択し得る。閾値の調整により、選択されたエリアを示す画像が、選択の変更によって更新され得る。
【0058】
上記のように、ＣＰＭ支援モジュール１０００は、１つ以上のコンピューティングデバイスによって実装され得る。図４は、様々な実施形態による、本明細書に開示されるＣＰＭ支援方法のいくつか又は全てを実行し得るコンピューティングデバイス４０００のブロック図である。いくつかの実施形態では、ＣＰＭ支援モジュール１０００は、単一のコンピューティングデバイス４０００又は複数のコンピューティングデバイス４０００によって実装され得る。更に、以下で考察されるように、ＣＰＭ支援モジュール１０００を実装するコンピューティングデバイス４０００（又は複数のコンピューティングデバイス４０００）は、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又は図５のリモートコンピューティングデバイス５０４０のうちの１つ以上の一部であり得る。
【0059】
図４のコンピューティングデバイス４０００は、いくつかの構成要素を有するものとして示されているが、これらの構成要素のうちのいずれか１つ以上は、用途及び設定に好適であるように、省略又は複製され得る。いくつかの実施形態では、コンピューティングデバイス４０００に含まれる構成要素の一部又は全部は、１つ以上のマザーボードに取り付けられ、筐体（例えば、プラスチック、金属、及び／又は他の材料を含む）に封入され得る。いくつかの実施形態では、いくつかのこれらの構成要素は、単一のシステムオンチップ（system-on-a-chip、ＳｏＣ）上に製造され得る（例えば、ＳｏＣは、１つ以上の処理デバイス４００２及び１つ以上の記憶デバイス４００４を含み得る）。加えて、様々な実施形態では、コンピューティングデバイス４０００は、図４に示される１つ以上の構成要素を含まない場合があるが、任意の好適なインターフェース（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）インターフェース、高精細マルチメディアインターフェース（High-Definition Multimedia Interface、ＨＤＭＩ（登録商標））インターフェース、コントローラエリアネットワーク（Controller Area Network、ＣＡＮ）インターフェース、シリアルペリフェラルインターフェース（Serial Peripheral Interface、ＳＰＩ）インターフェース、イーサネットインターフェース、ワイヤレスインターフェース、又は任意の他の好適なインターフェース）を使用して１つ以上の構成要素に結合するためのインターフェース回路（図示せず）を含み得る。例えば、コンピューティングデバイス４０００は、表示デバイス４０１０を含まない場合があるが、表示デバイス４０１０が結合され得る表示デバイスインターフェース回路（例えば、コネクタ及びドライバ回路）を含み得る。
【0060】
コンピューティングデバイス４０００は、処理デバイス４００２（例えば、１つ以上の処理デバイス）を含み得る。本明細書で使用される場合、「処理デバイス」という用語は、レジスタ及び／又はメモリからの電子データを処理して、その電子データをレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、任意のデバイス又はデバイスの一部を指し得る。処理デバイス４００２は、１つ以上のデジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics
processing unit、ＧＰＵ）、暗号プロセッサ（ハードウェア内で暗号アルゴリズムを実行する専用プロセッサ）、サーバプロセッサ、又は任意の他の好適な処理デバイスを含み得る。
processing unit、ＧＰＵ）、暗号プロセッサ（ハードウェア内で暗号アルゴリズムを実行する専用プロセッサ）、サーバプロセッサ、又は任意の他の好適な処理デバイスを含み得る。
【0061】
コンピューティングデバイス４０００は、記憶デバイス４００４（例えば、１つ以上の記憶デバイス）を含み得る。記憶デバイス４００４は、ランダムアクセスメモリ（random access memory、ＲＡＭ）（例えば、スタティックＲＡＭ（static
RAM、ＳＲＡＭ）デバイス、磁気ＲＡＭ（magnetic RAM、ＭＲＡＭ）デバイス、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）デバイス、抵抗性ＲＡＭ（resistive RAM、ＲＲＡＭ）デバイス、又は導電性ブリッジＲＡＭ（conductive-bridging RAM、ＣＢＲＡＭ）デバイス）、ハードドライブベースのメモリデバイス、ソリッドステートメモリデバイス、ネットワークドライブ、クラウドドライブ、又はメモリデバイスの任意の組み合わせなどの１つ以上のメモリデバイスを含み得る。いくつかの実施形態では、記憶デバイス４００４は、処理デバイス４００２とダイを共有するメモリを含み得る。そのような実施形態では、メモリは、キャッシュメモリとして使用され得、例えば、組み込みダイナミックランダムアクセスメモリ（embedded dynamic random access memory、ｅＤＲＡＭ）又はスピン転送トルク磁気ランダムアクセスメモリ（spin transfer torque magnetic random access memory、ＳＴＴ－ＭＲＡＭ）を含み得る。いくつかの実施形態では、記憶デバイス４００４は、１つ以上の処理デバイス（例えば、処理デバイス４００２）によって実行されると、コンピューティングデバイス４０００に、本明細書に開示される方法のうちの任意の適切なもの又はその一部を実行させる命令を有する非一時的コンピュータ可読媒体を含み得る。
RAM、ＳＲＡＭ）デバイス、磁気ＲＡＭ（magnetic RAM、ＭＲＡＭ）デバイス、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）デバイス、抵抗性ＲＡＭ（resistive RAM、ＲＲＡＭ）デバイス、又は導電性ブリッジＲＡＭ（conductive-bridging RAM、ＣＢＲＡＭ）デバイス）、ハードドライブベースのメモリデバイス、ソリッドステートメモリデバイス、ネットワークドライブ、クラウドドライブ、又はメモリデバイスの任意の組み合わせなどの１つ以上のメモリデバイスを含み得る。いくつかの実施形態では、記憶デバイス４００４は、処理デバイス４００２とダイを共有するメモリを含み得る。そのような実施形態では、メモリは、キャッシュメモリとして使用され得、例えば、組み込みダイナミックランダムアクセスメモリ（embedded dynamic random access memory、ｅＤＲＡＭ）又はスピン転送トルク磁気ランダムアクセスメモリ（spin transfer torque magnetic random access memory、ＳＴＴ－ＭＲＡＭ）を含み得る。いくつかの実施形態では、記憶デバイス４００４は、１つ以上の処理デバイス（例えば、処理デバイス４００２）によって実行されると、コンピューティングデバイス４０００に、本明細書に開示される方法のうちの任意の適切なもの又はその一部を実行させる命令を有する非一時的コンピュータ可読媒体を含み得る。
【0062】
コンピューティングデバイス４０００は、インターフェースデバイス４００６（例えば、１つ以上のインターフェースデバイス４００６）を含み得る。インターフェースデバイス４００６は、コンピューティングデバイス４０００と他のコンピューティングデバイスとの間の通信を管理するために、１つ以上の通信チップ、コネクタ、及び／又は他のハードウェア及びソフトウェアを含み得る。例えば、インターフェースデバイス４００６は、コンピューティングデバイス４０００との間でデータを転送するためのワイヤレス通信を管理する回路を含み得る。「ワイヤレス」という用語及びその派生語は、非固体媒体を介して変調された電磁放射の使用を通じてデータを通信し得る回路、デバイス、システム、方法、技術、通信チャネルなどを説明するために使用され得る。この用語は、関連するデバイスがワイヤを含まないことを意味するものではないが、いくつかの実施形態では含まない場合もある。無線通信を管理するためにインターフェースデバイス４００６に含まれる回路は、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＩＥＥＥ８０２．１６規格（例えば、ＩＥＥＥ８０２．１６－２００５修正）、任意の修正、更新、及び／又は改訂を伴う長期的進化型（Long-Term Evolution、ＬＴＥ）プロジェクト（例えば、アドバンストＬＴＥプロジェクト、ウルトラモバイルブロードバンド（ultra mobile broadband、ＵＭＢ）プロジェクト（「３ＧＰＰ（登録商標）２」とも称される）など）を含む電気電子技術者協会（Institute for Electrical and Electronic Engineers、ＩＥＥＥ）規格を含むがこれらに限定されない、いくつかの無線規格又はプロトコルのうちのいずれかを実装し得る。いくつかの実施形態では、ワイヤレス通信を管理するためのインターフェースデバイス４００６に含まれる回路は、モバイル通信用グローバルシステム（Global System for Mobile Communication、ＧＳＭ）、汎用パケット無線サービス（General Packet Radio Service、ＧＰＲＳ）、ユニバーサルモバイル電気通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）、高速パケットアクセス（High Speed Packet Access、ＨＳＰＡ）、進化型ＨＳＰＡ（Evolved
HSPA、Ｅ－ＨＳＰＡ）、又はＬＴＥネットワークに従って動作し得る。いくつかの実施形態では、無線通信を管理するためにインターフェースデバイス４００６に含まれる回路は、ＧＳＭ進化型高速データ（Enhanced Data for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ無線アクセスネットワーク（GSM EDGE Radio Access Network、ＧＥＲＡＮ）、ユニバーサル地上無線アクセスネットワーク（Universal Terrestrial Radio Access Network、ＵＴＲＡＮ）、又は進化型ＵＴＲＡＮ（Evolved UTRAN、Ｅ－ＵＴＲＡＮ）に従って動作し得る。いくつかの実施形態では、ワイヤレス通信を管理するためのインターフェースデバイス４００６に含まれる回路は、符号分割多元接続（Code Division Multiple Access、ＣＤＭＡ）、時分割多元接続（Time
Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス電気通信（Digital
Enhanced Cordless Telecommunications、ＤＥＣＴ）、エボリューションデータ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びそれらの派生物、並びに３Ｇ、４Ｇ、５Ｇ、及びそれ以降として指定される任意の他のワイヤレスプロトコルに従って動作し得る。いくつかの実施形態では、インターフェースデバイス４００６は、ワイヤレス通信の受信及び／又は送信のための１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。
HSPA、Ｅ－ＨＳＰＡ）、又はＬＴＥネットワークに従って動作し得る。いくつかの実施形態では、無線通信を管理するためにインターフェースデバイス４００６に含まれる回路は、ＧＳＭ進化型高速データ（Enhanced Data for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ無線アクセスネットワーク（GSM EDGE Radio Access Network、ＧＥＲＡＮ）、ユニバーサル地上無線アクセスネットワーク（Universal Terrestrial Radio Access Network、ＵＴＲＡＮ）、又は進化型ＵＴＲＡＮ（Evolved UTRAN、Ｅ－ＵＴＲＡＮ）に従って動作し得る。いくつかの実施形態では、ワイヤレス通信を管理するためのインターフェースデバイス４００６に含まれる回路は、符号分割多元接続（Code Division Multiple Access、ＣＤＭＡ）、時分割多元接続（Time
Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス電気通信（Digital
Enhanced Cordless Telecommunications、ＤＥＣＴ）、エボリューションデータ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びそれらの派生物、並びに３Ｇ、４Ｇ、５Ｇ、及びそれ以降として指定される任意の他のワイヤレスプロトコルに従って動作し得る。いくつかの実施形態では、インターフェースデバイス４００６は、ワイヤレス通信の受信及び／又は送信のための１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。
【0063】
いくつかの実施形態では、インターフェースデバイス４００６は、電気的、光学的、又は任意の他の好適な通信プロトコルなどの有線通信を管理するための回路を含み得る。例えば、インターフェースデバイス４００６は、イーサネット技術に従って通信を支援する回路を含み得る。いくつかの実施形態では、インターフェースデバイス４００６は、ワイヤレス通信及び有線通信の両方を支援し得、並びに／又は複数の有線通信プロトコル及び／若しくは複数のワイヤレス通信プロトコルを支援し得る。例えば、インターフェースデバイス４００６の回路の第１のセットは、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈなどの短距離ワイヤレス通信専用であり得、インターフェースデバイス４００６の回路の第２のセットは、全地球測位システム（global positioning system、ＧＰＳ）、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、ＥＶ－ＤＯ、又はその他などの長距離ワイヤレス通信専用であり得る。いくつかの実施形態では、インターフェースデバイス４００６の回路の第１のセットは、ワイヤレス通信専用であり得、インターフェースデバイス４００６の回路の第２のセットは、有線通信専用であり得る。
【0064】
コンピューティングデバイス４０００は、バッテリ／電力回路４００８を含み得る。バッテリ／電力回路４００８は、１つ以上のエネルギー貯蔵デバイス（例えば、バッテリ又はキャパシタ）、及び／又はコンピューティングデバイス４０００の構成要素をコンピューティングデバイス４０００とは別個のエネルギー源（例えば、ＡＣライン電力）に結合するための回路を含み得る。
【0065】
コンピューティングデバイス４０００は、表示デバイス４０１０（例えば、複数の表示デバイス）を含み得る。表示デバイス４０１０は、ヘッドアップディスプレイ、コンピュータモニタ、プロジェクタ、タッチスクリーンディスプレイ、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、発光ダイオードディスプレイ、又はフラットパネルディスプレイなどの任意の視覚インジケータを含み得る。
【0066】
コンピューティングデバイス４０００は、他の入力／出力（input/output、Ｉ／Ｏ）デバイス４０１２を含み得る。他のＩ／Ｏデバイス４０１２は、例えば、１つ以上のオーディオ出力デバイス（例えば、スピーカ、ヘッドセット、イヤホン、アラームなど）、１つ以上のオーディオ入力デバイス（例えば、マイクロフォン又はマイクロフォンアレイ）、位置デバイス（例えば、当技術分野で知られているように、コンピューティングデバイス４０００の位置を受信するために衛星ベースのシステムと通信するＧＰＳデバイス）、オーディオコーデック、ビデオコーデック、プリンタ、センサ（例えば、熱電対又は他の温度センサ、湿度センサ、圧力センサ、振動センサ、加速度計、ジャイロスコープなど）、カメラなどの画像キャプチャデバイス、キーボード、マウス、スタイラス、トラックボール、又はタッチパッドなどのカーソル制御デバイス、バーコードリーダ、クイックレスポンス（Quick Response、ＱＲ）コードリーダ、又は無線周波数識別（radio
frequency identification、ＲＦＩＤ）リーダを含み得る。
frequency identification、ＲＦＩＤ）リーダを含み得る。
【0067】
コンピューティングデバイス４０００は、ハンドヘルド又はモバイルコンピューティングデバイス（例えば、携帯電話、スマートフォン、モバイルインターネットデバイス、タブレットコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、ウルトラブックコンピュータ、パーソナルデジタルアシスタント（personal digital assistant、ＰＤＡ）、ウルトラモバイルパーソナルコンピュータなど）、デスクトップコンピューティングデバイス、又はサーバコンピューティングデバイス若しくは他のネットワーク化されたコンピューティング構成要素）などのその用途及び設定に好適な任意のフォームファクタを有し得る。
【0068】
本明細書に開示されるＣＰＭ支援モジュール又は方法のいずれかを実装する１つ以上のコンピューティングデバイスは、ＣＰＭ支援システムの一部であり得る。図５は、様々な実施形態による、本明細書に開示されるＣＰＭ支援方法のいくつか又は全てが実行され得る例示的なＣＰＭ支援システム５０００のブロック図である。本明細書に開示されるＣＰＭ支援モジュール及び方法（例えば、図ＡのＣＰＭ支援モジュール１０００並びに図２Ａ～Ｃの方法２０００、２００５、及び２０１５）は、１つ以上のＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はＣＰＭ支援システム５０００のリモートコンピューティングデバイス５０４０によって実装され得る。
【0069】
ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のうちのいずれかは、図４を参照して本明細書で考察されるコンピューティングデバイス４０００の実施形態のうちのいずれかを含み得、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０のうちのいずれかは、図４を参照して本明細書で考察されるコンピューティングデバイス４０００の実施形態の任意の適切なものの形態を採り得る。
【0070】
ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０は、各々、処理デバイス５００２、記憶デバイス５００４、及びインターフェースデバイス５００６を含み得る。処理デバイス５００２は、図４を参照して本明細書で考察される処理デバイス４００２のうちのいずれかの形態を含む任意の好適な形態を採り得、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０の異なるものに含まれる処理デバイス５００２は、同じ形態又は異なる形態を採り得る。記憶デバイス５００４は、図４を参照して本明細書で考察される記憶デバイス５００４のうちのいずれかの形態を含む任意の好適な形態を採り得、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０の異なるものに含まれる記憶デバイス５００４は、同じ形態又は異なる形態を採り得る。インターフェースデバイス５００６は、図４を参照して本明細書で考察されるインターフェースデバイス４００６のうちのいずれかの形態を含む任意の好適な形態を採り得、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、又はリモートコンピューティングデバイス５０４０の異なるものに含まれるインターフェースデバイス５００６は、同じ形態又は異なる形態を採り得る。
【0071】
ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、及びリモートコンピューティングデバイス５０４０は、通信経路５００８を介して、ＣＰＭ支援システム５０００の他の要素と通信し得る。通信経路５００８は、示されるように、ＣＰＭ支援システム５０００の要素の異なるもののインターフェースデバイス５００６を通信可能に結合し得、有線又は無線通信経路であり得る（例えば、図４のコンピューティングデバイス４０００のインターフェースデバイス４００６を参照して本明細書で考察される通信技術のいずれかに従って）。図５に描写される特定のＣＰＭ支援システム５０００は、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、サービスローカルコンピューティングデバイス５０３０、及びリモートコンピューティングデバイス５０４０の各ペア間の通信経路を含むが、この「完全結合」実装は単に例解的なものであり、様々な実施形態では、通信経路５００８の様々なものが存在しない可能性がある。例えば、いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、そのインターフェースデバイス５００６とＣＰＭ５０１０のインターフェースデバイス５００６との間に直接通信経路５００８を持たない場合があり、代わりに、サービスローカルコンピューティングデバイス５０３０とユーザローカルコンピューティングデバイス５０２０との間の通信経路５００８、及びユーザローカルコンピューティングデバイス５０２０とＣＰＭ５０１０との間の通信経路５００８を介してＣＰＭ５０１０と通信し得る。
【0072】
ユーザローカルコンピューティングデバイス５０２０は、ＣＰＭ５０１０のユーザにローカルであるコンピューティングデバイス（例えば、本明細書で考察されるコンピューティングデバイス４０００の実施形態のうちのいずれかによる）であり得る。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０はまた、ＣＰＭ５０１０に対してローカルであり得るが、そうである必要はない。例えば、ユーザの自宅又はオフィスにあるユーザローカルコンピューティングデバイス５０２０は、ＣＰＭ５０１０からリモートにあるが、ユーザがユーザローカルコンピューティングデバイス５０２０を使用してＣＰＭ５０１０からのデータを制御及び／又はアクセスし得るように、ＣＰＭ５０１０と通信し得る。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０は、ラップトップ、スマートフォン、又はタブレットデバイスであり得る。いくつかの実施形態では、ユーザローカルコンピューティングデバイス５０２０は、ポータブルコンピューティングデバイスであり得る。
【0073】
サービスローカルコンピューティングデバイス５０３０は、ＣＰＭ５０１０にサービスするエンティティにローカルであるコンピューティングデバイス（例えば、本明細書で考察されるコンピューティングデバイス４０００の実施形態のうちのいずれかによる）であり得る。例えば、サービスローカルコンピューティングデバイス５０３０は、ＣＰＭ５０１０の製造元又はサードパーティのサービス会社に対してローカルであり得る。いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０と通信し得（例えば、上で考察されるように、直接通信経路５００８を介して、又は複数の「間接」通信経路５００８を介して）、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０の動作に関するデータを受信する（例えば、ＣＰＭ５０１０のセルフテストの結果、ＣＰＭ５０１０によって使用される較正係数、ＣＰＭ５０１０に関連するセンサの測定値など）。いくつかの実施形態では、サービスローカルコンピューティングデバイス５０３０は、ＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０と通信し得（例えば、上で考察されるように、直接通信経路５００８を介して、又は複数の「間接」通信経路５００８を介して）、データをＣＰＭ５０１０、ユーザローカルコンピューティングデバイス５０２０、及び／又はリモートコンピューティングデバイス５０４０に送信する（例えば、ＣＰＭ５０１０内のファームウェアなどのプログラムされた命令を更新する、ＣＰＭ５０１０のテスト又は較正シーケンスの実行を開始する、ユーザのローカルコンピューティングデバイス５０２０又はリモートコンピューティングデバイス５０４０などにおいて、ソフトウェアなどのプログラムされた命令を更新する、など）。ＣＰＭ５０１０のユーザは、サービスローカルコンピューティングデバイス５０３０と通信しＣＰＭ５０１０又はユーザローカルコンピューティングデバイス５０２０の問題を報告するために、ＣＰＭ５０１０の動作を改善するために技術者に訪問を要求し、ＣＰＭ５０１０に関連する消耗品又は交換部品を注文し、又は他の目的のために、ＣＰＭ５０１０又はユーザローカルコンピューティングデバイス５０２０を利用し得る。
【0074】
リモートコンピューティングデバイス５０４０は、ＣＰＭ５０１０及び／又はユーザローカルコンピューティングデバイス５０２０から離れているコンピューティングデバイス（例えば、本明細書で考察されるコンピューティングデバイス４０００の実施形態のうちのいずれかによる）であり得る。いくつかの実施形態では、リモートコンピューティングデバイス５０４０は、データセンター又は他の大規模サーバ環境に含まれ得る。いくつかの実施形態では、リモートコンピューティングデバイス５０４０は、ネットワーク接続ストレージを含み得る（例えば、記憶デバイス５００４の一部として）。リモートコンピューティングデバイス５０４０は、ＣＰＭ５０１０によって生成されたデータを記憶し、ＣＰＭ５０１０によって生成されたデータの分析を実行し（例えば、プログラムされた命令に従って）、ユーザローカルコンピューティングデバイス５０２０とＣＰＭ５０１０との間の通信を容易にし、かつ／又はサービスローカルコンピューティングデバイス５０３０とＣＰＭ５０１０との間の通信を容易にし得る。
【0075】
いくつかの実施形態では、図５に示されるＣＰＭ支援システム５０００の１つ以上の要素が存在しない場合がある。更に、いくつかの実施形態では、図５のＣＰＭ支援システム５０００の要素の様々なもののうちの複数のものが存在し得る。例えば、ＣＰＭ支援システム５０００は、複数のユーザローカルコンピューティングデバイス５０２０（例えば、異なるユーザと関連付けられた又は異なる位置における異なるユーザローカルコンピューティングデバイス５０２０）を含み得る。別の例では、ＣＰＭ支援システム５０００は、サービスローカルコンピューティングデバイス５０３０及び／又はリモートコンピューティングデバイス５０４０と全て通信する複数のＣＰＭ５０１０を含み得る。そのような実施形態では、サービスローカルコンピューティングデバイス５０３０は、これらの複数のＣＰＭ５０１０を監視し得るか、サービスローカルコンピューティングデバイス５０３０は、更新を引き起こし得るか、又は他の情報が複数の科学的機器５０１０に同時に「ブロードキャスト」され得る。ＣＰＭ支援システム５０００内のＣＰＭ５０１０の異なるものは、互いに近くに（例えば、同じ部屋に）又は互いに遠くに（例えば、建物の異なる階、異なる建物、異なる都市になど）配置され得る。いくつかの実施形態では、ＣＰＭ５０１０は、ウェブベースのアプリケーション、仮想又は拡張現実アプリケーション、モバイルアプリケーション、モバイルアプリケーション及び／又はデスクトップアプリケーションを介してＣＰＭ５０１０のコマンド及び制御を可能にするモノのインターネット（Internet-of-Things、ＩｏＴ）スタックに結合され得る。これらのアプリケーションのうちのいずれも、介在するリモートコンピューティングデバイス５０４０によって、ＣＰＭ５０１０と通信してユーザローカルコンピューティングデバイス５０２０を動作するユーザによってアクセスされ得る。いくつかの実施形態では、ＣＰＭ５０１０は、ＣＰＭコンピューティングユニット５０１２の一部として、１つ以上の関連するユーザローカルコンピューティングデバイス５０２０と共に製造業者によって販売され得る。
【0076】
上記で開示された技術は、以下に提供される非限定的な例に従って更に説明される。クライオＥＭにおける収集エリアの選択は、人間のオペレータによって行われる退屈で反復的な作業である。セッション準備中のある時点で、ユーザは、ブラシ又は消しゴムのようなＵＩツールを使用して、データ収集のための候補エリア（例えば、箔孔）を選択し得る。このステップの目的は、役に立たないデータをもたらすか、又は収集レシピの実行の成功を妨げる可能性さえある「明らかに」悪いエリアを除去することである。
【0077】
実施形態では、機械学習モデル（例えば、又は他のモデル）が、データ収集のための候補エリアの選択のタスクを自動的に実行するために使用され得る。機械学習モデルは、訓練（例えば、構成）され、その後、候補エリアを自動的に選択するために使用され得る。機械学習モデルは、訓練データ（例えば、エキスパート教師あり選択データ及び関連付けられた撮像）の処理（例えば、精緻化、増強）に基づいて訓練され得る。実施形態では、機械学習モデルは、バイナリ分類器として訓練され得る。代替的に、又は加えて、機械学習モデルは、予測／分類のマップを出力するように構成された完全畳み込みニューラルネットワークとして訓練され得る。
【0078】
訓練段階では、過去のセッションからの選択データを収集し得る。データは、グリッド正方形画像のセットを含み得る。選択データは、箔孔ＩＤ及び座標のリストを含み得る。選択データは、箔孔ごとに「選択／非選択」というブールフラグを含み得る。選択データは、箔孔直径、ピクセルサイズなどのような追加のメタデータを含み得る。
【0079】
訓練データは、機械学習モデルの訓練を改善するために様々な方法で処理され得る。各箔孔について、グリッド正方形画像からクロップされた部分を取ることによって、クロップされた画像を判定し得る。クロップされた画像は、箔孔を中心とし得る。ターゲットクロップサイズは、クロップが常に同じ物理的サイズを有するように、ピクセルサイズから計算され得る。更に、サイズは、かなりの量の周囲エリア（例えば、５つの孔直径）を含むように選択され得る。
【0080】
各クロップされた画像は、セッションメタデータに従って、ラベル「選択」（例えば、１）又は「非選択」（例えば、０）と対にされ得る。例えば、セッションメタデータは、クロップされた画像の中心にある箔孔がユーザによって選択されたか、又は選択されなかったかの指示を含み得る。
【0081】
実施形態では、クロップされた画像は、クロップされた画像に対する追加の処理の後に更にクロップされ得る。クロップされた画像は、訓練用のデータセットのサイズを仮想的に増加させるために、（例えば、データ増強のために）回転、ズーム、フリップされ、及び／又は同様のことが行われ得る。初期クロップサイズは、ターゲットクロップサイズにクロップするときにパディングアーティファクトが確実に除去されることを保証するために、より大きく選択され得る。例えば、初期クロップが最終クロップより２＊ｓｑｒｔ（２）倍大きい場合、０．５倍のズーム及び任意の回転は、最終画像においてパディングアーティファクトを生成しない。
【0082】
クロップされた画像は正規化され得る。各クロップされた画像内のグレー値は、グリッド正方形画像全体の統計を使用して正規化され得る。例えば、クロップされた画像は、ヒストグラムに基づいて正規化され得る。クロップされた画像は、（例えば、ホットピクセルに対してデータをロバストにするために）９０のグレー値パーセンタイルで分割することによって正規化され得る。この手法は、グリッド正方形グレーに対してクロップされた画像中のグレー値を保存し得る。グレー値は、関連情報を伝達し得、クロップごとの画像統計が使用された場合のように正規化されるべきではない。
【0083】
訓練データが処理され、グリッド内の様々な孔サイズ及び間隔に対してロバストなデータセットを生成し得る。機械学習モデルをこれらの変動に対してロバストにするために、データ増強（例えば、０．５倍～２倍のズーム並びに任意の回転及びフリップ）が実行され得る。データ増強は、複数のクロップされた画像を生成するように、クロップされた画像を修正することを含み得る。データ増強は、１つ以上のクロップされた画像を（例えば、初期クロップの後に、最終クロップの前に）０．５倍～２倍にズームすることを含み得る。データ増強は、１つ以上のクロップされた画像を任意に（例えば、アルゴリズムを使用して）回転させることを含み得る。データ増強は、１つ以上のクロップされた画像を任意に（例えば、アルゴリズムを使用して）フリップ（例えば、反転、ミラーリング）することを含み得る。データ増強は、処理される各画像が、（例えば、様々なズーム、回転、フリップされた向きの）複数の画像を生成するために使用されることをもたらし得る。データ増強は、ポアソンノイズなどのノイズを適用することを含み得る。
【0084】
訓練データは、ラベル平滑化を実行するために処理され得る。ラベル（例えば、欠陥ラベル）への過剰適合を回避するために、ラベル値０及び１は、それぞれｐ及び１－ｐに置き換えられ得、ここで、ｐ＜１（例えば、ｐ＝０．１）である。例えば、０／１ラベルを０．１／０．９ラベルに置き換えられ得る。
【0085】
クロップされた画像ラベルのためのラベルは、データのサブセットを用いて機械学習モデルを訓練することによって、ラベルクリーニングプロセスに基づいて修正（例えば、「クリーンアップ」）され得る。より大きいデータサブセットからの予測が生成され得る。不正確な予測が検査され得る。ラベルは、必要に応じて（例えば、選択から選択解除に、及びその逆に）訂正され得る。このプロセスは、ネットワーク性能を高め、誤ったラベルによる「混乱」を低減し得る。
【0086】
いくつかの実装形態では、機械学習モデルは、特定の用途のために更にカスタマイズされ得る。狭いユースケース（例えば、Ｐｈａｒｍａ）の場合、ネットワークアーキテクチャ、訓練データ、及びハイパーパラメータは、広範囲のグリッドタイプ、サンプルなどに対して機能するように構築された完全に一般的なソリューションと比較して、その特定のケースにおいて最適化された性能のために選択され得る。更に、機械学習モデルパラメータは、入力の同じセット（例えば、グリッド正方形画像からクロップされたパッチ）に対して動作する、良好な箔孔の微細選択を実行するように動的に再訓練されるニューラルネットワークを（例えば、「転移学習」を介して）初期化するために使用され得る。
【0087】
動作段階中に（例えば、推論時に）、機械学習モデルは、荷電粒子顕微鏡（ＣＰＭ）撮像におけるデータ選択を支援することなどの実用的な用途に統合され得る。コンピューティングデバイスは、（例えば、データ収集ソフトウェアを使用して）グリッド正方形画像を収集し、箔孔の位置を検出し得る。グリッド正方形画像を収集し、箔孔の位置を検出した後、コンピューティングデバイスは、少なくとも１つの動作を実行するために使用する１つ以上のエリアを判定するように構成されたエリア選択サービス（例えば、箔孔選択サービス）に画像及びメタデータを送信し得る。少なくとも１つの動作は、機械学習モデルに入力される画像より高い解像度の画像を取得することなどのデータ収集動作を含み得る。少なくとも１つの動作は、データ分析動作（例えば、収集されたより高い解像度の画像データの分析）を含み得る。エリア選択サービスは、グリッド正方形画像のエリアをクロップして、複数のクロップされた画像を生成する。クロップされた画像は、箔孔などの特定の候補エリアを中心とし得る。クロップされた画像は、候補エリアを囲むエリアなどの候補エリアよりも多くを含み得る。クロップされた各画像は、機械学習モデルに入力される。機械学習モデルは、クロップされた画像を処理し、予測を生成する。予測は、０～１の予測であり得る。予測は、候補エリアが分析のためのターゲットである（例えば、最適である、選択されるべきである）かどうかの予測であり得る。
【0088】
予測を二値化するために、閾値（例えば、固定又はユーザ選択閾値）を使用し得る。例えば、偽陰性（良好なエリアの選択解除）を回避するために、閾値（例えば、０．２、０．８）を選択することができる。閾値を上回る予測は、選択されたエリアとして示され得る。二値化された予測は、要求を提供したサービス及び／又はコンピューティングデバイスに送り返され得る。サービス及び／又はコンピューティングデバイスは、選択を更新し、選択されたエリア内の撮像データの分析を進め得る。実施形態では、（例えば、小さいクラスタを除去して段階移行オーバーヘッドを低減するために、要求側サービス又はエリア選択サービスによって）更なる用途特有のフィルタが適用され得る。
【0089】
図６は、荷電粒子顕微鏡（ＣＰＭ）撮像プロセスの図である。このプロセスは、複数のグリッド正方形を含む画像からのグリッド正方形の選択、グリッド正方形内のエリア（例えば、箔孔）の選択、テンプレートの定義、画像収集、及び画像分析（例えば、サンプル分析）など，複数の段階を含み得る。
【0090】
図６に示すプロセスは、単一粒子分析クライオＥＭワークフローの一部であり得る。重要なワークフロー構成要素は、データ収集である。生体高分子の高解像度３Ｄ再構成を作成するには、膨大な量のデータが必要である。収集サービス（例えば、収集ソフトウェア）は、数千の「粒子」画像を半自動的に収集するために使用され得、粒子は、着目する高分子である。長年の要望は、このプロセスを完全に自動化することである。１つのボトルネックは、収集する画像の選択である。従来の手法では、グリッドが顕微鏡内に配置されると、ユーザは、グリッド正方形を選択しなければならない。ユーザはまた、選択されたグリッド正方形内で箔孔（例えば、選択可能エリア）を選択する。次に、粒子画像が箔孔内で撮影される。汚染のため、不良な箔孔は避けなければならない。現在、ユーザは、これらを非常に退屈なプロセスで手動で選択する。本明細書で更に開示されるように、機械学習モデルは、選択されたグリッド正方形（例えば、及び／又はグリッドからのグリッド正方形）のエリアを自動的に選択するために使用され得る。選択されたエリアは、選択されたエリアに関連するサンプルの画像収集及び／又は分析のために使用され得る。
【0091】
図７は、例示的なクライオＥＭグリッド正方形画像（左側）と、例示的なグリッド正方形から取られた個々のクロップされた画像（右側）とを示す。これらは、撮像データのエリア（例えば、箔孔）を不明瞭にし得るサンプル画像に対する汚染を示す。何が選択され、何が選択されないかについての推論は、モデルを構築するための規則に関して定義することが困難である。開示される機械学習技法は、機械学習訓練プロセスが、更なるサンプル分析のためのエリアを自動的に選択及び／又は選択解除するように構成された機械学習モデルを生成することを可能にする。
【0092】
図８は、更なるサンプル分析のための箔孔の選択を示す例示的なグリッドクライオＥＭグリッド正方形画像である。例示的なグリッド正方形画像は、４０９６×４０９６ピクセルの寸法を有するが、任意の寸法及び／又はピクセル構成の画像が使用され得る。収集サービスは、グリッド正方形画像を分析して、選択可能エリア（例えば、箔孔）の位置を判定し得る。一例として、選択可能エリアの位置は、座標（例えば、［ｘ，ｙ］座標対）を含み得る。いくつかのシナリオでは、約５００～１０００個の座標が判定され得る。選択可能エリアには、真／偽又は選択／非選択などのラベルを割り当てられ得る。ラベルは、ユーザからの入力に基づいて割り当てられ得る。収集サービスは、グリッド正方形画像、座標対、座標、ラベルを記憶させ得る。ストレージは、本明細書に開示されるように機械学習モデルを訓練するために後でアクセスされ得る。
【0093】
図９は、クロップされた画像を判定するための画像のサブセクションの選択を示す例示的なグリッドクライオＥＭグリッド正方形画像である。複数のクロップされた画像は、各選択可能エリア（例えば、箔孔）についてクロップされた画像を判定することによって生成され得る。クロップされた画像に関連する選択可能エリアは、クロップされた画像の中心にあり得る。クロップされた画像は、選択可能エリア（例えば、箔孔）の周りの固定サイズであり得る。各画像は、正規化され、（例えば、（画像、ラベル）対として）ラベルと対にされ得る。
【0094】
このプロセスは、グリッド正方形当たり数百の訓練データ例をもたらし得る。訓練データが単一のグリッド正方形からの画像のみを含んでいた場合、これは低いダイバーシティをもたらし得る。訓練データは、異なる顕微鏡、異なるサンプル、異なるユーザオペレータなどからの多くの異なるグリッド正方形画像に基づいて生成され得る。一例として、開示された技術を試験する目的で、６９個のグリッド正方形を６０１２５個の例（例えば、２１５２７個が正にラベル付けされ、３８５９８個が負にラベル付けされた）に変換した。どんな数でも必要に応じて使用され得ることを理解されたい。
【0095】
図１０は、例示的な機械学習モデルの例のブロック図である。機械学習モデルは、ＲｅｓＮｅｔニューラルネットワークなどの計算ニューラルネットワークを含み得る。実施形態では、ＲｅｓＮｅｔ－１８、ＲｅｓＮｅｔ－３４、及び／又は他の変形形態が、適宜使用され得る。図に示されるように、クロップされた画像は機械学習モデルに入力され得る。トリミングされた画像を分類するために、機械学習モデルによって様々な層（例えば、畳み込み層）が使用され得る。機械学習モデルは、画像を２つのカテゴリ（例えば、真／偽、選択／非選択）のうちの１つに分類するバイナリ分類器として構成され得る。実施形態では、機械学習モデルは、ＯＮＮＸ（Ｏｐｅｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｅＸｃｈａｎｇｅ）フォーマットで記憶され得る。機械学習モデルは、クラウドコンピューティングプラットフォーム上などのネットワーク上でホストされるエリア選択サービス（例えば、又は推論サービス）によって実装され得る。
【0096】
図１１は、ラベル訂正のための例示的なユーザインターフェース及び関連するコードスニペットを示す。訓練データは、例えば、ユーザエラーに起因する、不正確なラベルを含み得る。訓練データ内のラベルが予測ラベルと一致しない場合、ラベルは、レビューのためにフラグを立てられ、及び／又は自動的に訂正され得る。実施形態では、フラグが立てられたクロッピングされた画像は、元のラベルと共に示され得る。レビューは、元のラベルを維持するか、又は元のラベルを変更するかの指示を提供し得る。ユーザ入力は、更新された機械学習モデルの訓練のためにラベルを訂正するために使用され得る。
【0097】
図１２は、ラベル内のノイズに関連する課題を示す図である。画像データのエリアを選択するユーザの目標は変化し得、その結果、いくつかの画像は、他の画像より正確な選択を有する。ワークフローパラメータ（例えば、チルト、焦点方法、ビームサイズ、テンプレート）は、精度の変動を引き起こし得る。オペレータの個人的な好み（例えば、汚染がどれだけ箔孔に近くなり得るかなど）は、精度の変動を引き起こし得る。事前知識（例えば、氷が厚すぎる／薄すぎる）又はその欠如は、精度の変動を引き起こし得る。開示される技術は、本明細書で更に開示されるように、疑わしいラベルが検出され、訂正されることを可能にし得る。
【0098】
図１３は、グリッド正方形のエリアのユーザ選択を伴う画像を示す。図１４は、開示された機械学習モデルを使用してグリッド正方形のエリアを自動的に選択する、図１３の画像の別の図である。これらの図は、開示された機械学習技法が、サンプル分析のためのエリアを選択する精度を改善し得ることを示す。
【0099】
図１５は、エリア選択の予測を示すヒストグラムである。閾値は、閾値を上回るスコアがエリアの選択として判定され得ることを示すように示される。閾値未満のスコアは、選択されていないエリアとして判定され得る。閾値はユーザによって調整され得る。例えば、０～１のスコアが、ユーザによって操作される収集サービスに送信され得る。ユーザは、スライダなどの入力によって閾値を調整し得る。ユーザインターフェースは、閾値の調整に従って選択を示す画像を更新し得る。図１６は、（不透明度、確率）対のいくつかの例と共に、（例えば、箔孔の上に配置された）円の不透明度が、エリア当たりの選択の確率を表すために使用される、例示的グリッド正方形画像を示す。
【0100】
実施形態では、開示される技法は、一度にグリッド正方形画像全体を処理し、かつマップ（例えば、個別的に個々のエリア／箔孔の代わりに、「ヒートマップ」）を生成する、第２のネットワークを初期化するために使用され得る。このマップに基づいて、エリアは、二次ステップにおいて（例えば、選択領域／非選択領域を定義することによって）選択され得る。
【0101】
図１７は、畳み込みネットワークとして動作する本技法による第１の機械学習モデルを示す図である。第１の機械学習モデルは、バイナリ分類器として構成され得る。第１の機械学習モデルは、画像のエリアをある範囲（例えば、０～１）内で分類するように構成され得る。範囲内の数は、２つのオプション（例えば、真／偽、選択／非選択、０／１）の間で判定するために、閾値と比較され得る。
【0102】
図１８は、完全畳み込みニューラルネットワークを動作させる本技法による第２の機械学習モデルを示す図である。図１７（例えば、はさみは層の修正を示す）及び図１８によって示されるように、第１の機械学習モデルは、第２の機械学習モデルに変換され得る。第１の機械学習モデルは、第１の機械学習モデルの訓練の後に、第２の機械学習モデルに変換され得る。第１の機械学習モデルを第２の機械学習モデルに変換することは、第１の機械学習モデルのグローバルプーリング層及び／又は完全結合層を平均プーリング層及び／又は畳み込み層で置き換えることを含み得る。第１の機械学習モデルを第２の機械学習モデルに変換することは、全ての共通層の全ての重みを第１の機械学習モデルから第２の機械学習モデルにコピーすることを含む。第２の機械学習モデルの新しい層（例えば、コピー後、「カット後」）は、ランダムに初期化され、（任意選択で、又は加えて）再訓練され得る。第２の機械学習モデルの最後のいくつかの層のうちの１つ以上は置き換えられ得る。第１の機械学習モデルを第２の機械学習モデルに変換することは、重み値（例えば、又はバイアス値）を第１の機械学習モデルの完全結合層から第２の機械学習モデルの１×１畳み込み層にコピーし、第１の層を少なくとも部分的に置き換えることを含み得る。更なる説明として、ニューラルネットワークのための完全結合層は、１×１畳み込み層に変換され得る。完全結合層は除去され得る。（例えば、完全結合層と同じ数の入力及び出力を有する）１×１畳み込み層が作成され得る。完全結合層の重みは、１×１畳み込み層のための重みとして使用（例えば、コピー）され得る。１×１畳み込み層は、画像にわたってスライドする完全結合層と同じであり得る。このプロセスは、ネットワークを完全畳み込みネットワークに変換し得る。第２の機械学習モデルは、分析のためのターゲットである（例えば、最適である）位置の変動確率のマップを生成するように訓練及び／又は構成され得る。マップは、選択及び／又は非選択の領域を示し得る。
【0103】
第２の機械学習モデルは、第１の機械学習モデルより効率的であり得る。第１の機械学習モデルは、箔孔クロップにおける重複に起因する重複作業を有し得る。第２の機械学習モデルは、箔孔の数ではなく、画像サイズに応じてスケーリングするアルゴリズム複雑性を有し得る。例えば、例示的なモデルを試験すると、第２の機械学習モデルは、第１の機械学習モデルより約１００倍速くなり得ることが示される（例えば、２秒対２分）。
【0104】
第２の機械学習モデルは、入力グリッド正方形画像の選択／非セクション（例えば、複数の箔孔を含む）の領域を示すように構成され得る。第２の機械学習モデルは、選択された領域間の結合性を活用することを可能にし得る。例えば、領域を平滑化するために、孔の充填、拡張などのコンピュータビジョンアルゴリズムが適用され得る。選択された領域内の選択可能エリア（例えば、箔孔）は、領域内に位置することに基づいて選択されている（例えば、又は任意の選択された領域の外側にあることに基づいて選択されていない）と判定され得る。選択可能エリアは、領域に割り当てられた品質に基づいて選択され得る。品質は、単純なバイナリ品質又は範囲内の値であり得る。エリア内の選択可能な領域が選択されるか否かを判定するために、品質及び／又は他の技法に閾値が適用され得る。
【0105】
以下の段落は、本明細書に開示される実施形態の様々な例を提供する。
【0106】
実施例１は、顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて、機械学習モデルのための訓練データを判定することと、訓練データに基づいて、機械学習モデルを訓練して、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを自動的に判定することと、コンピューティングデバイスに、機械学習モデルを使用して、少なくとも１つの動作を実行するための顕微鏡検査撮像データのエリアを自動的に判定するように構成させることと、を含む方法である。
【0107】
実施例２は、実施例１の主題を含み、選択データが、グリッドメッシュのセクションの複数の孔のうちの選択された孔の座標を含むことを更に規定する。
【0108】
実施例３は、実施例１～２のいずれか１つの主題を含み、訓練データを判定することが、顕微鏡検査画像を修正することに基づいて、複数の訓練画像を生成することを含むことを更に規定する。
【0109】
実施例４は、実施例３の主題を含み、顕微鏡検査画像を修正することが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズ（例えば、ポアソンノイズ）の適用のうちの１つ以上を含むことを更に規定する。
【0110】
実施例５は、実施例３～４のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含むことを更に規定する。
【0111】
実施例６は、実施例３～５のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、焦点を変更すること又は顕微鏡検査画像をぼかすことのうちの１つに光学変換を適用することを含むことを更に規定する。
【0112】
実施例７は、実施例１～６のいずれか１つの主題を含み、訓練データを判定することが、訓練データの画像強度データのヒストグラムを判定することと、ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、正規化係数に基づいて訓練データを正規化することと、を含むことを更に規定する。
【0113】
実施例８は、実施例１～７のいずれか１つの主題を含み、訓練データを判定することが、顕微鏡検査画像の第１のクロップを判定することと、第１のクロップ内の画像データの少なくとも一部分を修正することと、第１のクロップの第２のクロップを判定することと、を含むことを更に規定する。
【0114】
実施例９は、実施例１～８のいずれか１つの主題を含み、機械学習モデルが、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含むことを更に規定する。
【0115】
実施例１０は、実施例１～９のいずれか１つの主題を含み、機械学習モデルを畳み込みニューラルネットワークから完全畳み込みニューラルネットワークに変換することを更に含む。
【0116】
実施例１１は、実施例１０の主題を含み、機械学習モデルを変換することが、機械学習モデルの訓練の後であることを更に規定する。
【0117】
実施例１２は、実施例１０～１１のいずれか１つの主題を含み、機械学習モデルを変換することが、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることを含むことを更に規定する。
【0118】
実施例１３は、実施例１０～１２のいずれか１つの主題を含み、機械学習モデルを変換することが、畳み込みニューラルネットワークの完全結合層から別のネットワーク内の畳み込み層に重み値又はバイアス値のうちの１つ以上をコピーすることを含むことを更に規定する。
【0119】
実施例１４は、実施例１～１３のいずれか１つの主題を含み、顕微鏡検査撮像データの１つ以上のエリアがそれぞれ、単一の箔孔を含むことを更に規定する。
【0120】
実施例１５は、実施例１～１４のいずれか１つの主題を含み、顕微鏡検査撮像データのエリアのうちの１つ以上がそれぞれ、グリッドメッシュのグリッドセクション内に複数の孔を含むことを更に規定する。
【0121】
実施例１６は、実施例１～１５のいずれか１つの主題を含み、機械学習モデルが、少なくとも１つの動作を実行するためのターゲットである位置の変動確率のマップを生成するように訓練されることを更に規定する。
【0122】
実施例１７は、実施例１～１６のいずれか１つの主題を含み、機械学習モデルが、少なくとも１つの動作を実行するためのエリアが選択されるか選択されないかの指示を提供するように訓練されることを更に規定する。代替的に、又は加えて、実施例１７は、少なくとも１つの動作が、データ収集動作、データ分析動作、顕微鏡検査撮像データより高い解像度を有する追加の撮像データの収集、又は追加の撮像データの分析のうちの１つ以上を含むことを更に規定する。
【0123】
実施例１８は、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データを受信することと、機械学習モデル及び位置データに基づいて、少なくとも１つの動作を実行するための顕微鏡検査撮像データの１つ以上のエリアを判定することと、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを表示デバイス上に表示させることと、を含む、方法である。
【0124】
実施例１９は、実施例１８の主題を含み、顕微鏡検査撮像データ及び位置データが、第２のコンピューティングデバイスから第１のコンピューティングデバイスによって受信されることを更に規定する。
【0125】
実施例２０は、実施例１８～１９のいずれか１つの主題を含み、顕微鏡検査撮像データ及び位置データが、ネットワーク又は記憶デバイスのうちの１つ以上を介して受信されることを更に規定する。
【0126】
実施例２１は、実施例１８～２０のいずれか１つの主題を含み、顕微鏡検査撮像データ及び位置データが、顕微鏡検査デバイスの動作に応答して受信されることを更に規定する。
【0127】
実施例２２は、実施例２１の主題を含み、顕微鏡検査デバイスの動作が、荷電粒子顕微鏡検査画像収集を含むことを更に規定する。
【0128】
実施例２３は、実施例１８～２２のいずれか１つの主題を含み、位置データが、グリッドメッシュのグリッドセクション内の孔の座標を含むことを更に規定する。
【0129】
実施例２４は、実施例１８～２３のいずれか１つの主題を含み、機械学習モデルが、顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて訓練されることを更に規定する。
【0130】
実施例２５は、実施例２４の主題を含み、選択データが、グリッドメッシュのセクション内の選択された孔の座標を含むことを更に規定する。
【0131】
実施例２６は、実施例１８～２５のいずれか１つの主題を含み、機械学習モデルは、自動的に生成された訓練データに基づいて訓練されてよい。
【0132】
実施例２７は、実施例２６の主題を含み、自動的に生成された訓練データが、顕微鏡検査画像を修正することに基づいて生成された複数の訓練画像を含むことを更に規定する。
【0133】
実施例２８は、実施例２７の主題を含み、顕微鏡検査画像を修正することが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズ（例えば、ポアソンノイズ）の適用のうちの１つ以上を含むことを更に規定する。
【0134】
実施例２９は、実施例２７～２８のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含むことを更に規定する。
【0135】
実施例３０は、実施例２７～２９のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、焦点を変更すること又は顕微鏡検査画像をぼかすことのうちの１つに光学変換を適用することを含むことを更に規定する。
【0136】
実施例３１は、実施例２６～３０のうちのいずれか１つの主題を含み、自動的に生成された訓練データが、正規化された訓練データを含むことを更に規定する。
【0137】
実施例３２は、実施例３１の主題を含み、正規化された訓練データが、訓練データの画像強度データのヒストグラムを判定することと、ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、正規化係数に基づいて訓練データを正規化することと、に基づいて正規化されることを更に規定する。
【0138】
実施例３３は、実施例２６～３２のうちのいずれか１つの主題を含み、自動的に生成された訓練データが、クロップされた訓練データを含むことを更に規定する。
【0139】
実施例３４は、実施例３３の主題を含み、クロップされた訓練データが、顕微鏡検査画像の第１のクロップを判定することと、第１のクロップ内の画像データの少なくとも一部分を修正することと、第１のクロップの第２のクロップを判定することと、に基づいてクロップされることを更に規定する。
【0140】
実施例３５は、実施例１８～２４のいずれか１つの主題を含み、機械学習モデルが、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含むことを更に規定する。
【0141】
実施例３６は、実施例１８～３５のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークから変換された完全畳み込みニューラルネットワークを含むことを更に規定する。
【0142】
実施例３７は、実施例３６の主題を含み、機械学習モデルが、機械学習モデルの訓練の後に完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0143】
実施例３８は、実施例３６～３７のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることに基づいて、完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0144】
実施例３９は、実施例３６～３８のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークの完全結合層から別のネットワーク内の畳み込み層に重み値又はバイアス値のうちの１つ以上をコピーすることに基づいて、完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0145】
実施例４０は、実施例１８～３９のいずれか１つの主題を含み、顕微鏡検査撮像データの１つ以上のエリアがそれぞれ、メッシュグリッドのグリッドセクション内の複数の孔のうちの単一の孔のみであることを更に規定する。
【0146】
実施例４１は、実施例１８～４０のいずれか１つの主題を含み、顕微鏡検査撮像データのエリアのうちの１つ以上がそれぞれ、メッシュグリッドのグリッドセクション内に複数の孔を含むことを更に規定する。
【0147】
実施例４２は、実施例１８～４１のいずれか１つの主題を含み、機械学習モデルが、分析のターゲットである位置の変動確率を示すマップを生成するように訓練されることを更に規定する。
【0148】
実施例４３は、実施例１８～４２のいずれか１つの主題を含み、機械学習モデルが、少なくとも１つの動作を実行するためのエリアが選択されるか選択されないかの指示を提供するように訓練されることを更に規定する。
【0149】
実施例４４は、実施例１８～４３のいずれか１つの主題を含み、表示させることが、ネットワークを介して表示デバイスに、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータを送信することを含むことを更に規定する。
【0150】
実施例４５は、実施例１８～４４のいずれか１つの主題を含み、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータが、少なくとも１つの動作を実行するためのターゲットである位置の変動確率を示すマップを含むことを更に規定する。
【0151】
実施例４６は、実施例１８～４５のいずれか１つの主題を含み、顕微鏡検査撮像データの判定された１つ以上のエリアを示すデータが、メッシュグリッドのグリッドセクション内の複数の孔から選択された（例えば、１つ以上のエリア内の）孔のサブセットの指示を含むことを更に規定する。代替的に、又は加えて、実施例４６は、少なくとも１つの動作が、データ収集動作、データ分析動作、顕微鏡検査撮像データより高い解像度を有する追加の撮像データの収集、又は追加の撮像データの分析のうちの１つ以上を含むことを更に規定する。
【0152】
実施例４７は、顕微鏡検査デバイスを動作させることに基づいて、顕微鏡検査撮像データ、及び顕微鏡検査撮像データに対するサンプル位置を示す位置データを生成することと、顕微鏡検査撮像データ及び位置データをコンピューティングデバイスに送信することであって、コンピューティングデバイスが機械学習モデルを含む、送信することと、コンピューティングデバイスから、位置データ及び機械学習モデルの判定に基づいて、顕微鏡検査撮像データの１つ以上のエリアを示すデータを受信することと、顕微鏡検査撮像データの１つ以上のエリアを示すデータに基づいて、少なくとも１つの動作を実行させることと、を含む、方法である。
【0153】
実施例４８は、実施例４７の主題を含み、顕微鏡検査撮像データを生成することが、複数の孔の１つ以上のセクションを含むメッシュグリッド内に位置するサンプルに対して荷電粒子顕微鏡検査を実行することを含むことを更に規定する。
【0154】
実施例４９は、実施例４７～４８のいずれか１つの主題を含み、機械学習モデルが、顕微鏡検査撮像データのエリアの選択を示す選択データに基づいて訓練されることを更に規定する。
【0155】
実施例５０は、実施例４９の主題を含み、選択データが、グリッドメッシュのセクション内の選択された孔の座標を含むことを更に規定する。
【0156】
実施例５１は、実施例４７～５０のいずれか１つの主題を含み、機械学習モデルが、自動的に生成された訓練データに基づいて訓練されることを更に規定する。
【0157】
実施例５２は、実施例５１の主題を含み、自動的に生成された訓練データが、顕微鏡検査画像を修正することに基づいて生成された複数の訓練画像を含むことを更に規定する。
【0158】
実施例５３は、実施例５２の主題を含み、顕微鏡検査画像を修正することが、回転、スケーリング、平行移動、点広がり関数の適用、又はノイズ（例えば、ポアソンノイズ）の適用のうちの１つ以上を含むことを更に規定する。
【0159】
実施例５４は、実施例５２～５３のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、異なる孔サイズをエミュレートするためにズームイン又はズームアウトすることを含むことを更に規定する。
【0160】
実施例５５は、実施例５２～５４のいずれか１つの主題を含み、顕微鏡検査画像を修正することが、焦点を変更すること又は顕微鏡検査画像をぼかすことのうちの１つに光学変換を適用することを含むことを更に規定する。
【0161】
実施例５６は、実施例５１～５５のうちのいずれか１つの主題を含み、自動的に生成された訓練データが、正規化された訓練データを含むことを更に規定する。
【0162】
実施例５７は、実施例５６の主題を含み、正規化された訓練データが、訓練データの画像強度データのヒストグラムを判定することと、ヒストグラムのパーセンテージに基づいて正規化係数を判定することと、正規化係数に基づいて訓練データを正規化することと、に基づいて正規化されることを更に規定する。
【0163】
実施例５８は、実施例５１～５７のうちのいずれか１つの主題を含み、自動的に生成された訓練データが、クロップされた訓練データを含むことを更に指定する。
【0164】
実施例５９は、実施例５８の主題を含み、クロップされた訓練データが、顕微鏡検査画像の第１のクロップを判定することと、第１のクロップ内の画像データの少なくとも一部分を修正することと、第１のクロップの第２のクロップを判定することと、に基づいてクロップされることを更に規定する。
【0165】
実施例６０は、実施例４７～５９のいずれか１つの主題を含み、機械学習モデルが、ニューラルネットワーク又は完全畳み込みニューラルネットワークのうちの１つ以上を含むことを更に規定する。
【0166】
実施例６１は、実施例４７～６０のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークから変換された完全畳み込みニューラルネットワークを含むことを更に規定する。
【0167】
実施例６２は、実施例６１の主題を含み、機械学習モデルが、機械学習モデルの訓練の後に完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0168】
実施例６３は、実施例６１～６２のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークのグローバルプーリング層及び完全結合層を平均プーリング層及び畳み込み層で置き換えることに基づいて、完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0169】
実施例６４は、実施例６１～６３のいずれか１つの主題を含み、機械学習モデルが、畳み込みニューラルネットワークの完全結合層から別のネットワーク内の畳み込み層に重み値又はバイアス値のうちの１つ以上をコピーすることに基づいて、完全畳み込みニューラルネットワークに変換されることを更に規定する。
【0170】
実施例６５は、実施例４７～６４のいずれか１つの主題を含み、顕微鏡検査撮像データの１つ以上のエリアがそれぞれ、メッシュグリッドのグリッドセクション内の複数の孔のうちの単一の孔のみであることを更に規定する。
【0171】
実施例６６は、実施例４７～６５のいずれか１つの主題を含み、顕微鏡検査撮像データのエリアのうちの１つ以上がそれぞれ、メッシュグリッドのグリッドセクション内に複数の孔を含むことを更に規定する。
【0172】
実施例６７は、実施例４７～６６のいずれか１つの主題を含み、機械学習モデルが、分析のターゲットである位置の変動確率を示すマップを生成するように訓練されることを更に規定する。
【0173】
実施例６８は、実施例４７～６７のいずれか１つの主題を含み、機械学習モデルが、分析のためのエリアが選択されるか選択されないかの指示を提供するように訓練されることを更に規定する。
【0174】
実施例６９は、実施例４７～６８のいずれか１つの主題を含み、データを受信することが、顕微鏡検査撮像データ及び位置データを送信することに応答して行われることを更に規定する。
【0175】
実施例７０は、実施例４７～６９のいずれか１つの主題を含み、顕微鏡検査撮像データの１つ以上のエリアを示すデータが、分析のためのターゲットである位置の変動確率を示すマップを含むことを更に規定する。
【0176】
実施例７１は、実施例４７～７０のいずれか１つの主題を含み、顕微鏡検査撮像データの１つ以上のエリアを示すデータが、メッシュグリッドのグリッドセクション内の複数の孔から選択された（例えば、１つ以上のエリア内の）孔のサブセットの指示を含むことを更に規定する。
【0177】
実施例７２は、実施例４７～７１のいずれか１つの主題を含み、少なくとも１つの動作を実行させることが、１つ以上のエリアを使用して、顕微鏡検査撮像データより高い解像度データのデータ収集、粒子分析、単一粒子分析、１つ以上の粒子の表現の生成のうちの１つ以上を実行することを含むことを更に規定する。
【0178】
実施例７３は、実施例４７～７２のいずれか１つの主題を含み、少なくとも１つの動作を実行させることが、顕微鏡検査撮像データの１つ以上のエリアを示すデータの記憶又はネットワークを介した送信のうちの１つ以上を行わせることを含むことを更に規定する。
【0179】
実施例７４は、実施例４７～７３のいずれか１つの主題を含み、少なくとも１つの動作を実行させることが、顕微鏡検査撮像データの１つ以上のエリアを分析した結果を、表示デバイスを介して出力させることを含むことを更に規定する。
【0180】
実施例７５は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるときに、例１～７４のいずれか１つの方法をデバイスに実行させる命令を記憶するメモリと、を備える、デバイスである。
【0181】
実施例７６は、１つ以上のプロセッサによって実行されるときに、実施例１～７４のいずれか１つの方法をデバイスに実行させる命令を記憶する非一時的コンピュータ可読媒体である。
【0182】
実施例７７は、１つ以上の顕微鏡検査動作を実行するように構成された荷電粒子顕微鏡検査デバイスと、１つ以上のプロセッサ及びメモリを備えるコンピューティングデバイスと、を備える、システムであり、メモリは、１つ以上のプロセッサによって実行されるときに、例１～７４のいずれか１つの方法をコンピューティングデバイスに実行させる命令を記憶する。
【0183】
実施例７８は、実施例１～７４のいずれか１つの方法を実行するロジックを備える荷電粒子顕微鏡検査支援装置である。
【0184】
実施例Ａは、本明細書に開示されるＣＰＭ支援モジュールのいずれかを含む。
【0185】
実施例Ｂは、本明細書に開示される方法のいずれかを含む。
【0186】
実施例Ｃは、本明細書に開示されるＧＵＩのうちのいずれかを含む。
【0187】
実施例Ｄは、本明細書に開示されるＣＰＭ支援コンピューティングデバイス及びシステムのいずれかを含む。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【外国語明細書】