特開 2022-179356 デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179356

(43)【公開日】2022-12-02

(54)【発明の名称】デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のためのシステム及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221125BHJP

   G06N 3/08 20060101ALI20221125BHJP

   G06N 3/04 20060101ALI20221125BHJP

【ＦＩ】

G06N20/00 130

G06N3/08

G06N3/04

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022068987

(22)【出願日】2022-04-19

(31)【優先権主張番号】17/326,902

(32)【優先日】2021-05-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】アン・プロコヴィエッツ

(72)【発明者】

【氏名】アナンド・ラマクリシュナン

(72)【発明者】

【氏名】ウォーレン・ジャクソン

(72)【発明者】

【氏名】ララ・エス．・クロフォード

(72)【発明者】

【氏名】ブラッドリー・ラップ

(72)【発明者】

【氏名】セルゲイ・ブティルコフ

(72)【発明者】

【氏名】チョンピン・ル

(72)【発明者】

【氏名】ユージーン・エム．・チョウ

(57)【要約】      （修正有）

【課題】デジタルコンピュータを用いたマイクロアセンブリ制御で使用するための機械学習ベースの位置推定のためのシステム及び方法を提供する。
【解決手段】物理学ベースのモデル及び機械学習モデルの両方を含むハイブリッドモデルを使用する、微小物体が移動する位置の予測において、制御ループ待ち時間が考慮に入れられる。モデルは、勾配ブースティングを使用し、訓練データとの比較に基づいて、以前の段階の間に計算された残差に基づいて適合される。各段階の損失関数は、作成されているモデルに基づいて選択される。ハイブリッドモデルは、過剰適合を防止し、十分な予測能力を有するために、訓練データから外挿及び内挿されたデータで評価される。物理学ベースのモデル及び機械学習モデルの両方を含めることにより、ハイブリッドモデルは、微小物体の動きに関与する決定論的構成要素及び確率論的構成要素の両方を考慮に入れることができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

デジタルコンピュータを用いた機械学習対応マイクロアセンブリ制御のための方法であって、
複数の微小物体のうちの１つ以上を位置決めするための閉ループシステムの１つ以上のパラメータを取得するステップであって、前記システムが、複数のプログラム可能な電極を含み、前記電極は、前記電極の作動時に、前記微小物体が電極に近接しているときに前記微小物体の動きを誘導するように構成されており、前記作動の各々が、前記電極のうちの１つ以上による１つ以上の電位の生成を含む、取得するステップ、
前記作動のうちの先の作動に起因する、前記複数の前記微小物体のうちの１つ以上の以前の動きと関連付けられた状態を含む訓練データを取得するステップ、
前記作動のうちの１つ後の、前記微小物体のうちの少なくとも１つの位置を予測するための１つ以上の物理学ベースのモデルを定義するステップ、
勾配ブースティングを介して前記訓練データを使用して、前記作動のうちの１つ後の、前記微小物体のうちの少なくとも１つの位置を予測するためのハイブリッドモデルを構築するステップであって、前記ハイブリッドモデルが、前記物理学ベースのモデルのうちの１つ以上及び１つ以上の機械学習モデルを含む複数のモデルを含む、構築するステップ、
前記閉ループシステムを制御するステップであって、
少なくとも１つのセンサ測定に基づいて、前記作動のうちの１つ後の前記微小物体のうちの１つ以上の位置を予測することと、
前記微小物体のうちの１つ以上の更なる位置を受信することと、
予測された前記位置及び前記更なる位置を使用して、前記作動のうちの別の１つを実施することと、を含む、制御するステップ、を含み、
前記ステップが、好適にプログラムされたコンピュータによって実施される、方法。

【請求項2】

データセットを取得することと、
前記データセットを前記訓練データと内挿試験データとに分割することと、
前記以前の動きの状態を外挿して、外挿されたデータを生成することと、
前記内挿試験データ及び外挿された前記データを使用して、前記ハイブリッドモデルを試験することと、を更に含む、請求項１に記載の方法。

【請求項3】

前記勾配ブースティングが、複数の段階を含み、前記モデルのうちの１つが、前記段階の各々の間に構築され、前記方法が、
前記モデルの各々について、損失関数を使用して、前記訓練データの入力部分に基づいた前記１つのモデルの予測と、前記訓練データと関連付けられた出力データとの間の残差を決定すること、
前記段階のうちの第１の段階の間に構築された前記モデル以外の前記モデルの各々について、そのモデルが構築される前記段階の前の前記段階の間に構築された前記モデルと関連付けられた前記残差を使用して、そのモデルを定義すること、を更に含む、請求項１に記載の方法。

【請求項4】

そのモデルと関連付けられた前記段階に基づいた前記モデルの各々について、確率論的モデルに基づいて、前記モデルの各々の前記残差を決定するために使用される前記損失関数を選択することを更に含む、請求項３に記載の方法。

【請求項5】

前記損失関数が、非相関関数である、請求項４に記載の方法。

【請求項6】

Ｌｊｕｎｇ－Ｂｏｘ損失関数が、前記段階のうちの少なくとも１つについて前記損失関数を選択するために使用される、請求項５に記載の方法。

【請求項7】

前記第１の段階の間に構築された前記モデルが、前記物理学ベースのモデルのうちの１つであり、前記段階のうちの最後の１つの間の前記モデルが、前記機械学習モデルのうちの１つである、請求項５に記載の方法。

【請求項8】

前記１つ以上のプロセッサが、リカレントニューラルネットワークを定義する、請求項１に記載の方法。

【請求項9】

前記機械学習モデルが、線形モデル、高密度モデル、深層モデル、及びＡＲＩＭＡモデルのうちの１つ以上を含む、請求項８に記載の方法。

【請求項10】

前記コンピュータが、中央処理ユニット及びグラフィック処理ユニットのうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項11】

デジタルコンピュータを用いた機械学習対応マイクロアセンブリ制御のためのシステムであって、
少なくとも１つのプロセッサであって、
複数の微小物体のうちの１つ以上を位置決めするための閉ループシステムの１つ以上のパラメータを取得することであって、前記システムが、複数のプログラム可能な電極を含み、前記電極は、前記電極の作動時に、前記微小物体が電極に近接しているときに前記微小物体の動きを誘導するように構成されており、前記作動の各々が、前記電極のうちの１つ以上による１つ以上の電位の生成を含む、取得すること、
前記作動のうちの先の作動に起因する、前記複数の前記微小物体のうちの１つ以上の以前の動きと関連付けられた状態を含む訓練データを取得すること、
前記作動のうちの１つ後の、前記微小物体のうちの少なくとも１つの位置を予測するための１つ以上の物理学ベースのモデルを定義すること、
勾配ブースティングを介して前記訓練データを使用して、前記作動のうちの１つ後の、前記微小物体のうちの少なくとも１つの位置を予測するためのハイブリッドモデルを構築することであって、前記ハイブリッドモデルが、前記物理学ベースのモデルのうちの１つ以上及び１つ以上の機械学習モデルを含む複数のモデルを含む、構築すること、
前記閉ループシステムを制御することであって、
少なくとも１つのセンサ測定に基づいて、前記作動のうちの１つ後の前記微小物体のうちの１つ以上の位置を予測することと、
前記微小物体のうちの１つ以上の更なる位置を受信することと、
予測された前記位置及び前記更なる位置を使用して、前記作動のうちの別の１つを実施することと、を含む、制御すること、を行うように構成されている、少なくとも１つのプロセッサを備える、システム。

【請求項12】

前記少なくとも１つのプロセッサが、
データセットを取得することと、
前記データセットを前記訓練データと内挿試験データとに分割することと、
前記以前の動きの状態を外挿して、外挿されたデータを生成することと、
前記内挿試験データ及び外挿された前記データを使用して、前記ハイブリッドモデルを試験することと、を行うように更に構成されている、請求項１１に記載のシステム。

【請求項13】

前記勾配ブースティングが、複数の段階を含み、前記モデルのうちの１つが、前記段階の各々の間に構築され、前記少なくとも１つのプロセッサが、
前記モデルの各々について、損失関数を使用して、前記訓練データの入力部分に基づいた前記１つのモデルの予測と、前記訓練データと関連付けられた出力データとの間の残差を決定すること、
前記段階のうちの第１の段階の間に構築された前記モデル以外の前記モデルの各々について、そのモデルが構築される前記段階の前の前記段階の間に構築された前記モデルと関連付けられた前記残差を使用して、そのモデルを定義すること、を行うように更に構成されている、請求項１１に記載のシステム。

【請求項14】

前記少なくとも１つのプロセッサが、
そのモデルと関連付けられた前記段階に基づいた前記モデルの各々について、確率論的モデルに基づいて、前記モデルの各々の前記残差を決定するために使用される前記損失関数を選択するように更に構成されている、請求項１３に記載のシステム。

【請求項15】

前記損失関数が、非相関関数である、請求項１４に記載のシステム。

【請求項16】

前記Ｌｊｕｎｇ－Ｂｏｘ損失関数が、前記段階のうちの少なくとも１つについて前記損失関数を選択するために使用される、請求項１５に記載のシステム。

【請求項17】

前記第１の段階の間に構築された前記モデルが、前記物理学ベースのモデルのうちの１つであり、前記段階のうちの最後の１つの間の前記モデルが、前記機械学習モデルのうちの１つである、請求項１５に記載のシステム。

【請求項18】

前記１つ以上のプロセッサが、リカレントニューラルネットワークを定義する、請求項１１に記載のシステム。

【請求項19】

前記機械学習モデルが、線形モデル、高密度モデル、深層モデル、及びＡＲＩＭＡモデルのうちの１つ以上を含む、請求項１８に記載のシステム。

【請求項20】

前記少なくとも１つのプロセッサが、中央処理ユニット及びグラフィック処理ユニットのうちの少なくとも１つである、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、一般に、マイクロアセンブリ制御に関し、特に、デジタルコンピュータを用いたマイクロアセンブリ制御で使用するための機械学習ベースの位置推定のためのシステム及び方法に関する。

【背景技術】

【0002】

マイクロスケール及びナノスケールの粒子操作は、多くの研究者の関心を集めている。寸法がミクロン単位の物体である微小物体、及び寸法がナノメートル単位の物体であるナノ物体のアセンブリを制御することができる程度は、マイクロ製造、生物学、及び医学を含む多くの技術において、大きな違いを生む可能性がある。例えば、コンデンサ及び抵抗器などの微小物体の位置を正確に制御して、所望の挙動を有する回路を製造することができるようにすることによって、再構成可能な電気回路の製造を改善することができる。同様に、光起電力太陽電池アレイの生成は、アレイ上の特定の位置に特定の品質を有する光起電セルを置くことができることから利益を得ることができる。そのようなセルは、小さすぎて人間又はロボット操作を介したセルの所望の配置を可能にすることができず、別の種類の輸送機構が必要である。粒子のマイクロアセンブリ及びナノアセンブリは、組み立てられて組織となる生物学的細胞などの材料の微細構造の操作にも使用することができる。微細物体及びナノ物体のアセンブリの制御を増加させることにより大きな利点がもたらされ得る多くの他の技術分野が存在する。

【0003】

微小粒子操作及びナノ粒子操作に使用される技術の多くは、電極を使用して電極電位を生成し、目的の粒子を所望の方向に向かって移動させるものである。粒子の初期位置が、センサを使用して決定され、電極電位が、所望の位置及び初期位置に基づいて生成される。しかしながら、そのようなシステムのスループット及び精度は、粒子が特定の位置にあるときと、当該粒子が特定の位置にあることに基づいて電極電位が生成されるときとの間の遅延である制御ループ待ち時間によって著しく制限される。遅延の正確な長さは、粒子の操作に使用されるシステムのソフトウェア及びハードウェアに依存する。遅延は、複数の構成要素を有する。１つの構成要素は、スプライト（電極の制御信号）が生成されるときと、スプライトによって指定された電極電位が電極によって生成されるときとの間の遅延である作動遅延である。遅延の別の構成要素は、検知遅延であり、これは、特定の位置を占める粒子を観察するセンサとその時間との間の時間である。センサの信号の分析が完了して、粒子位置が取得される。そのような遅延には、捕捉された画像をメモリに流して記憶する時間、画像データを画像分析に送信して、その場所を決定する時間、及び画像分析アルゴリズムを実行する時間が含まれる。これらの遅延は、様々な遅延及びプロセッサ負荷に応じて、最大８０ｍｓ～１００ｍｓ、及び最大３００ｍｓ以上となる可能性があり、６０ｈｚ以下のフレームレートでは、最大５つのフレームを占めることもある。

【0004】

遅延を予測し、続いて、移動する必要がある微小サイズの粒子又はナノサイズの粒子の実際の位置を予測することにより、マイクロアセンブリ及びナノアセンブリの精度及び効率を改善することが可能となるであろう。そのようなモデリングは、一般に、操作セットアップ、環境（アセンブリが空気中、液体、地上、空間内、又は別の環境内にあるなど）、及び移動する粒子の既知の物理的特性を活用するモデルである、物理学ベースのモデルを活用する。しかしながら、閉ループシステムの物理学ベースのモデルは、粒子回転、ターゲット割り当て、及び粒子の小さいサブセット若しくは大きいサブセットで発生する転送など、微小粒子又はナノ粒子操作の間に生じる制御待ち時間における動的変化をもちろん考慮に入れない。そのような物理学ベースのモデルはまた、異なるタイプの粒子又は異なる照明条件の使用などの操作条件の異なる設定間の動的変化ももちろん考慮に入れない。そのような物理学ベースのモデルはまた、粒子のスティクション又は粒子の揺動運動などの特定の操作セットアップ内の特定の変数をモデル化する際に、又は制御サイクルの間に粒子が遷移する平均画素数などの未知の値を有するパラメータをモデル化する際にも堅牢ではない。

【0005】

したがって、生成された電極電位のために移動される粒子の実際の位置を予測するための制御ループ待ち時間を正確に考慮に入れるための方法が必要とされている。

【発明の概要】

【0006】

少なくとも１つの物理学ベースのモデル及び機械学習モデルの両方を含むハイブリッドモデルを使用することによる、微小物体が移動する位置の予測において、制御ループ待ち時間を考慮に入れられ得る。モデルは、勾配ブースティングを使用して結合され、段階のうちの少なくとも１つの間に作成されたモデルは、訓練データとの比較に基づいて、以前の段階の間に計算された残差に基づいて適合される。各段階の損失関数は、作成されているモデルに基づいて選択される。ハイブリッドモデルは、過剰適合を防止し、ハイブリッドモデルが十分な予測能力を有することを確実にするために、訓練データから外挿され、内挿されたデータで評価される。物理学ベースのモデル及び機械学習モデルの両方を含めることにより、ハイブリッドモデルは、微小物体の動きに関与する決定論的構成要素及び確率論的構成要素の両方を考慮することができ、したがって、マイクロアセンブリの精度及びスループットが高まる。

【0007】

一実施形態では、デジタルコンピュータを用いた機械学習対応マイクロアセンブリ制御のためのシステム及び方法が提供される。複数の微小物体のうちの１つ以上を位置決めするための閉ループシステムの１つ以上のパラメータが取得され、このシステムが、複数のプログラム可能な電極を含み、電極は、電極の作動時に、微小物体が電極に近接しているときに微小物体の動きを誘導するように構成されており、作動の各々が、電極のうちの１つ以上による１つ以上の電位の生成を含む。訓練データが取得され、この訓練データには、作動のうちの先の作動に起因する、複数の微小物体のうちの１つ以上の以前の動きと関連付けられた状態が含まれる。作動のうちの１つ後の、微小物体のうちの少なくとも１つの位置を予測するための１つ以上の物理学ベースのモデルが定義される。作動のうちの１つ後の、微小物体のうちの少なくとも１つの位置を予測するためのハイブリッドモデルは、勾配ブースティングを介して訓練データを使用して構築され、ハイブリッドモデルには、物理学ベースのモデルのうちの１つ以上及び１つ以上の機械学習モデルを含む複数のモデルが含まれる。作動のうちの１つ後の、微小物体のうちの１つ以上の位置は、少なくとも１つのセンサ測定に基づいて予測される。微小物体のうちの１つ以上の更なる位置が受信される。作動のうちの別の１つは、予測された位置及び更なる位置を使用して実施される。

【0008】

本発明の更に他の実施形態は、以下の詳細な説明から当業者に容易に明らかになり、本発明を実施するために企図される最良の形態を例示することによって本発明の実施形態を説明する。実現されるように、本発明は、他の異なる実施形態が可能であり、そのいくつかの詳細は、すべて本発明の趣旨及び範囲から逸脱することなく、様々な明らかな点で修正することができる。したがって、図面及び詳細な説明は、本質的に例示的なものと見なされるべきであり、限定的ではない。

【図面の簡単な説明】

【0009】

【図1】デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のためのシステムを示すブロック図である。

【図2】デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のための方法を示すフロー図である。

【図3】一実施形態による、図２の方法で使用する訓練データを生成するためのルーチンを示すフロー図である。

【図4】一実施形態による、図２の方法で使用するハイブリッドモデルを構築するためのルーチンを示すフロー図である。

【図5A】記録された訓練データにおける微小物体によって取られた位置（図５Ａを参照して示される）及び記録された訓練データから外挿された微小物体の位置（図５Ｂを参照して示される）の例を示す図である。

【図5B】記録された訓練データにおける微小物体によって取られた位置（図５Ａを参照して示される）及び記録された訓練データから外挿された微小物体の位置（図５Ｂを参照して示される）の例を示す図である。

【図6】機械学習モデルとしてＡＲＩＭＡモデルを含むハイブリッドモデルの使用と、機械学習モードとしてＲＮＮモデルを含むハイブリッドモデルの使用とを比較した、推定器１．０の試験結果を示す図である。

【図7】外挿試験データセット内のＡＲＩＭＡモデル及びＲＮＮモデルに対する推定器１．０の使用の結果を示す図である。

【図8】監視されていない訓練されたシステムＩＤモデルを使用した外挿データセット全体のシミュレーション（約５０分）を示す図である。

【図9-1】監視されていない訓練されたシステムＩＤモデルを使用した外挿データセットのシミュレーションを示す図である。

【図9-2】監視されていない訓練されたシステムＩＤモデルを使用した外挿データセットのシミュレーションを示す図である。

【図9-3】監視されていない訓練されたシステムＩＤモデルを使用した外挿データセットのシミュレーションを示す図である。

【図10A】試験推定器２．０（ハイブリッドモデル）と、ｆｒｕｇａｌｌｙ－ｄｅｅｐ（ｃｐｐ）を使用してマイクロアセンブラソフトウェアに実装された線形モデル、高密度モデル、及びＡＲＩＭＡモデルを示す図である。

【図10B】試験推定器２．０（ハイブリッドモデル）と、ｆｒｕｇａｌｌｙ－ｄｅｅｐ（ｃｐｐ）を使用してマイクロアセンブラソフトウェアに実装された線形モデル、高密度モデル、及びＡＲＩＭＡモデルを示す図である。

【図11】一実施形態による、勾配ブースティングを示す図である。

【図12】複雑な船体に関して定義されたときの、記録されたデータと、外挿データと、内挿データとの間の関係の図である。

【発明を実施するための形態】

【0010】

以下に記載されるシステム及び方法は、制御信号を生成するときに制御ループ待ち時間を考慮することを可能にし、したがって、マイクロアセンブリ又はナノアセンブリを使用して達成される位置決めの精度を改善することができる。以下に説明するように、システム及び方法は、作動後の微小物体の位置を予測するためのハイブリッドモデルを活用し、ハイブリッドモデルは、１つ以上の物理学ベースのモデル及び１つ以上の機械学習モデルを含む。物理学ベースのモデルは、構築する任意のデータが不要であること、パラメータに適合するために使用されるデータ以外の外挿が可能であること、及びこれらの予測の解釈性が高いこと、という利点があるのに対し、マイクロアセンブリを実施するために使用されるシステムの挙動のごく一部しか捕捉することができない。システム１０の完全な挙動は、モデル化されていない自由度を含み、機械学習モデルの使用により、これらのモデル化されていない自由度を捕捉することができる。Ｙによって与えられる合計システム挙動は、物理的モデルｆ（Ｘ、θ）であり、式中、Ｘは、以前の履歴及び測定値であり、θは、パラメータであり、ノイズＮ（ф）は、фが確率論的ノイズモデルのノイズパラメータである。ニューラルネットワーク関数ＮＮ（Ｘ、Ｗ）は、入力及び訓練可能な重みＷの関数であり、以下の式に従ってモデル化されていない自由度を捕捉する。

【0011】

【数1】

【0012】

ハイブリッドモデルの使用により、物理学ベースのモデル（解釈性、安定性、及び外挿能力）の利点を、機械学習モデルの柔軟性及びモデル化されていない自由度を捕捉するためのそれらの能力と結合することを可能にし、その結果、微小物体の位置のより正確な予測、したがって、マイクロアセンブリの改善されたスループットをもたらす。物理学ベースのモデルは、システムの決定論的構成要素を考慮し、一方、機械学習モデルは、システムの確率論的構成要素を考慮する。

【0013】

以下の説明では、移動される物体が微小物体として説明されているが、ナノ物体の位置を制御するためにも同じ技術が適用され得る。更に、以下に記載されるハイブリッドモデルは、特定の作動ハードウェアに適用されるものとして説明されているが、更なる実施形態では、ハイブリッドモデルを使用して、異なるハードウェアセットアップを使用して始動させる微小（又はナノ）物体の位置を予測することができる。更に別の実施形態では、ハイブリッドモデルは、他の種類のシステムの制御に使用することができる。例えば、ハイブリッドモデルは、バックラッシュを有するモータ駆動型機械的リンク機構の制御に適用することができる。モータの物理学及び機械的リンク機構の回転は、モータの物理的パラメータ及び慣性モーメントなどのリンク、及び巻線の直列抵抗を含む物理的モデルを使用して容易にモデル化することができる。リンク機構のバックラッシュは、非線形であり、以前の履歴に依存しており、はるかに複雑である。モータシステムをランダムな一連の動きに供すると、様々な周波数及び振幅が制御され、測定された応答を物理的モデルから予想される応答と比較することで、入力とモータの状態との関数として物理的モデルの誤差を得ることができる。このデータは、バックラッシュ誤差を予測するように訓練されたニューラルネットワークの教師あり訓練に使用される。近傍の時間誤差は、無相関であることが強制され、過剰適合に対する更なる制約を提供する。残りの誤差は、この場合、独立した同一分布のガウスノイズである確率論的モデルに適合される。ノイズ分散は、物理学及びニューラルネットワークモデルからの残差から決定することができる。このハイブリッドモデルは、システム識別のために、すなわち、システムの機能の様々な制御動作及び過去並びに現在の状態として、システムの応答を予測するために使用される。この予測は、典型的な比例積分偏差（proportional integral derivative、ＰＩＤ）制御アルゴリズムなど、より単純な以前の制御アルゴリズムよりも改善された性能を達成するために、モデル予測制御などの様々な制御アルゴリズムに組み込むことができる。ハイブリッドモデルの更に他の使用が可能である。

【0014】

図１は、デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のためのシステム１０を示すブロック図である。システム１０は、微小物体などのいくつかの物体１１を含む協調アセンブリを可能にする。物体１１のサイズは、ナノスケール（＜１μｍ）とマイクロスケール（１μｍ～数百のμｍ）との間で変化するが、他のサイズが可能である。物体１１は球形であり得るが、長方形のような他の形状も可能であるが、更に他の形状もまた可能である。一実施形態では、球形物体１１の直径は５μｍ～５０μｍであるが、他の直径も可能である。一実施形態では、矩形物体１１の寸法は、２００μｍｘ３００μｍｘ１００μｍであり得るが、他の寸法も可能である。物体１１は、包囲体（図示せず）内に収容された誘電流体（図示せず）に浸漬され、フィルム（図示せず）の層は、包囲体内に収容された誘電流体の下にある。一実施形態では、誘電流体は、テキサス州スプリングにあるＥｘｘｏｎＭｏｂｉｌ Ｃｈｅｍｉｃａｌ Ｃｏｍｐａｎｙによって製造されたＩｓｏｐａｒ（登録商標）Ｍであるが、他の誘電流体１７も可能である。誘電流体は、ジ－２－エチルヘキシルスルホコハク酸（ＡＯＴ）電荷誘導性分子など、１つ以上の添加剤を含むことができるが、他の添加剤も可能である。物体１１は、酸化アルミニウム（aluminum oxide、ＡｌＯｘ）から作製することができるが、他の材料も可能である。物体１１の各々は、半導体チップ、集積回路、粒子、ナノデバイス、もしくは構造、又は電極のアレイが物理的に操作できる任意の物体であり得る。以下の説明では、物体１１は、微小物体１１と呼ばれるが、物体１１を名称する他の方法が可能である。

【0015】

吊り下げられた微小物体１１の下には、複数のプログラム可能な電極１２は、アレイ３５を形成し、電極１２は、双電気泳動（「dielectrophoretic、ＤＥＰ」）と電気泳動（「electrophoretic、ＥＰ」）力の両方で物体を操作するための動的ポテンシャルエネルギー地形を生成するように構成されている。フィルムは、電極１２上に積層される。一実施形態では、電極は、正方形の形状であり得、かつ銅から作製され得るが、他の形状及び材料もまた可能である。一実施形態では、正方形電極１２の寸法は、１６μｍ幅及び１００ｎｍ厚さとすることができるが、更なる実施形態では、他の寸法も可能である。アレイ３５は、電極１２の多数の列を含むことができ、各列は多数の電極１２を含む。

【0016】

電極１２によって生成される電位は、ガラス上に設定されたアクティブマトリックス光トランジスタバックプレーンを含む光トランジスタのアレイ１３によって制御される。バックプレーン上の多数の光トランジスタは、アレイ１３を形成し、アレイ１３内の光トランジスタの各々は、単一の電極１２によって生成された電位を制御している。特に、アレイ１３内の光トランジスタの各々は、１つの電極１２に取り付けられている。光トランジスタのアレイ１３は、その開示が参照により組み込まれる、Ｒｕｐｐらの「Ｃｈｉｐｌｅｔ ｍｉｃｒｏ－ａｓｓｅｍｂｌｙ ｐｒｉｎｔｅｒ」２０１９ ＩＥＥＥ ６９ｔｈ Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｐｏｎｅｎｔｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ（ＥＣＴＣ）、１３１２～１３１５ページ、２０１９年５月号に記載されているものなど、追加の特性を有することができる。

【0017】

アレイ１３は、静電エネルギー電位の動的制御及び多数の微小物体１１の位置の操作を同時に可能にするために、ビデオプロジェクタ１４によって光学的に対処される。特に、ビデオプロジェクタ１４は、各光トランジスタ制御電極１２に対処するために使用され、容易なズーム係数の変更及びより大きなアレイへのステッチングを可能にする。ビデオプロジェクタ１４は、以下に更に説明するように、微小物体１１の所望の運動を実現するために電極が発生させるべき電位という制御入力に基づいて生成される予め定められたパターン、画像３７を投影することによって、電極１２を作動させる。画像を構成するプロジェクタ１４によって投影された画素光は、その光トランジスタによって電極１２が充電されるように、アレイ内の各個々の光トランジスタ１３を必要な程度まで充電するので、電極１２が所望の電位を生成する。一実施形態では、最大＋／－２００Ｖの電圧は、これらの光トランジスタによって制御されて、動的に変化する複雑なポテンシャル地形を表示する。単一の電圧信号は、各画素上の電荷蓄積コンデンサへの光学アドレッシングと同期される。動的電界パターンは、投影された画像パターン（制御入力）をリフレッシュすることによって生成される。５０μｍ、１０μｍ、更に３μｍピッチを有するアレイ１３が構築され、ピッチは、光トランジスタが取り付けられている電極の中心間の距離である。誘電流体１７媒体（ｉｓｏｐａｒ Ｍ）、及び様々な添加剤を使用して、電荷を制御する。

【0018】

システム１０は、移動される微小物体１１の場所を追跡する高速カメラ１５を更に含む。ビデオプロジェクタ１４及びカメラ１５の両方は、１つ以上のコンピューティングデバイス１６にインターフェース接続され、プロジェクタ１４を介して電極１２を制御して、所望の微小物体１１パターンの形成を誘導することができる。他の微小物体１１パターンも可能である。更なる実施形態では、（容量検知を利用するなどの）別の種類のセンサを使用して、微小物体の位置を測定し、追跡することができる。更に別の実施形態では、電極アレイ３５は、一体型アクティブマトリックスアドレッシング電子機器を有することができ、アレイの各電極上の電位は、生成された所望の微小物体の動きに必要な電極電位が生成されると、電子的に更新される。アレイ１３、電極１２、ビデオプロジェクタ１４、及びカメラ１５の追加の特性は、その開示が参照により組み込まれる、Ｐｌｏｃｈｏｗｉｅｔｚらによる２０２０年７月２日に公開された米国特許公開出願第２０２０／０２０７６１７号に記載されている。また、アレイ１４、電極１２、ビデオプロジェクタ１４、及びカメラ１５と相互作用するシステム１０の追加の構成要素が可能である。

【0019】

１つ以上のコンピューティングデバイス１６間の接続は、例えば、１つ以上のコンピューティングデバイス１６に物理的に近接するようにワイヤもしくは無線接続などを介して直接であり得るか、又は接続は、インターネットもしくはセルラーネットワークなどを介して１つ以上のコンピューティングデバイス１６を物理的に遠隔にするために、インターネット作業を介し得る。１つ以上のコンピューティングデバイス１６には、コンピュータプロセッサなどのデータ処理を実施する１つ以上の回路が含まれるが、データを処理するための他の種類の回路が可能である。一実施形態では、コンピュータプロセッサは、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又はＣＰＵとＧＰＵとの混合物であり得るが、更に他の種類のプロセッサ又はプロセッサの混合物が可能である。一実施形態では、プロセッサのうちの２つ以上は、その開示が参照により組み込まれる、Ｍａｔｅｉらの「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｍｕｌｔｉ－Ｏｂｊｅｃｔ Ｍｉｃｒｏ－Ａｓｓｅｍｂｌｙ Ｃｏｎｔｒｏｌ Ｗｉｔｈ Ｔｈｅ Ａｉｄ ｏｆ Ａ Ｄｉｇｉｔａｌ Ｃｏｍｐｕｔｅｒ」という名称の２０２０年１１月１６日に出願された米国特許出願第１７／０９８，８１６号に更に記載されているように、処理を並行して行うことができる。追加の効率及び改善されたスケーラビリティは、多数の粒子を追跡するため、及び電圧パターン生成のために並列計算能力によって取得することができる。更に別の実施形態では、ＣＰＵ及びＧＰＵ以外の回路は、上記のデータ処理を実施することができる。

【0020】

１つ以上のコンピューティングデバイス１６がサーバとして示されているが、他のタイプのコンピュータデバイスが可能である。コンピューティングデバイス１６は、本明細書に開示される実施形態を実行するための１つ以上のモジュールを含むことができる。モジュールは、従来のプログラミング言語でソースコードとして書かれたコンピュータプログラム又は手順として実装することができ、オブジェクト又はバイトコードとしてプロセッサによる実行のために提示される。あるいは、モジュールはまた、集積回路として、又は読み取り専用メモリコンポーネントに燃焼されたハードウェアに実装され得、コンピューティングデバイス１６の各々は、特殊なコンピュータとして機能することができる。例えば、モジュールがハードウェアとして実装される場合、その特定のハードウェアは、上記の計算及び通信を実行するために特化されており、他のコンピュータは使用できない。更に、モジュールが読み取り専用メモリコンポーネントに燃焼されると、読み取り専用メモリを記憶するコンピュータは、他のコンピュータができない上述した動作を実行するために特殊化される。ソースコード及びオブジェクトコード及びバイトコードの様々な実装形態は、フロッピーディスク、ハードドライブ、デジタルビデオディスク（ＤＶＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、及び同様の記憶媒体などのコンピュータ可読記憶媒体に保持することができる。他のタイプのモジュール及びモジュール機能、並びに他の物理的ハードウェアコンポーネントが可能である。例えば、コンピューティングデバイス１６は、入力／出力ポート、ネットワークインターフェース、及び不揮発性記憶装置などのプログラマブルコンピューティングデバイスに見られる他の構成要素を含むことができるが、他の構成要素も可能である。コンピューティングデバイス１６がサーバである実施形態では、サーバはまた、クラウドベース又は専用サーバであり得る。

【0021】

１つ以上のコンピューティングデバイス１６は、記憶装置１７にインターフェース接続され、システム１０のパラメータ１９を取得し、パラメータ１９を記憶装置１７に記憶するハイブリッドモデル作成器１８を実行する。パラメータ１９は、微小物体１１の直径、電極１２の寸法、誘電流体定数（例えば、ε＝２）電極１２の固定位置、微小物体１１及び電極１２の材料、並びに微小物体１１と電極１２との間の垂直距離（微小物体１１の「高さ」）を含み得る。他のパラメータ１９が依然として可能である。ハイブリッドモデル作成器１８はまた、特定の微小物体１１の位置を予測するためのハイブリッドモデル２４を作成し、これはまた、記憶装置１７に記憶することができる。ハイブリッドモデル２４は、生成された制御信号（及び結果として、電極によって生成される電位）、特定の時間における微小物体１１の速度、及びカメラ１５によって捕捉された微小物体画像２９に基づいた開始位置２８（作動前の位置）に基づいて、電極作動後の微小物体１１の位置を予測する物理学ベースのモデル２６を含む。物理学ベースのモデルの例は、Ｊ．Ｗｉｌｌａｒｄ，Ｘ．Ｊｉａ，Ｓ．Ｘｕ、Ｍ．Ｓｔｅｉｎｂａｃｈ、及びＶ．Ｋｕｍａｒによって「Ｉｎｔｅｇｒａｔｉｎｇ ｐｈｙｓｉｃｓ－ｂａｓｅｄ ｍｏｄｅｌｉｎｇ ｗｉｔｈ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ：Ａ ｓｕｒｖｅｙ，」、ａｒＸｉｖ：２００３．０４９１９［ｐｈｙｓｉｃｓ．ｓｔａｔ］（２０２０）に記載されており、その開示は、参照により組み込まれるが、他の物理学ベースのモデル２６が可能である。ハイブリッドモデル２４は、１つ以上の機械学習モデル２７を更に含む。機械学習モデルは、深層モデル（複数の層で作製されたニューラルネットワークを利用する機械学習モデル）、線形モデル、高密度モデル、自己回帰和分移動平均（Autoregressive Integrated Moving Average、ＡＲＩＭＡ）モデル、リカレントニューラルネットワーク（recurrent neural network、ＲＮＮ）モデルを含むことができるが、他の種類の機械学習モデルが可能である。一実施形態では、ＡＲＩＭＡモデルのＳｉｍｐｌｅＲＮＮ層は、ＬＳＴＭ（長期短期記憶、ＲＮＮアーキテクチャ）に変更することができるが、他の種類のＡＲＩＭＡモデルが可能である。上述のように、物理学ベースのモデル２６が、システム１０の決定論的挙動を考慮に入れる一方、機械学習モデル２７は、システム１０の決定論的態様を考慮に入れる。したがって、システム１０の全体としての挙動は、物理的モデルｆ（Ｘ、θ）の関数としてＹによって与えられることができ、式中、Ｘは、システム１０の以前の作動と関連付けられた、記録されたデータ（以下では訓練データ２２と呼ばれる）であり、θは、パラメータであり、фは、фが確率論的ノイズモデルのノイズパラメータであり、システム挙動は、入力及び訓練可能な重みの関数であるニューラルネットワーク関数ＮＮ（Ｘ、Ｗ）（機械学習モデル２７と関連付けられた）によって更に表現される。

【0022】

ハイブリッドモデル２４は、訓練データ２１を使用して構築される。訓練データには、（１）制御入力が電極を作動させる前の、微小物体１１の位置及び速度を最小限度とする、微小物体の入力状態（ただし、向き及び角度などの他の状態も含むことができる）、（２）ビデオプロジェクタ１４によって光トランジスタ制御電極１２に適用される照明パターン（電極によって生成される電位を示す）又は微小物体１１に加えられた別の力などの制御動作、（３）入力データから生じる出力状態（微小物体１１の位置は、特定の時間及び微小物体の速度での作動後に達成される）を含む、微小物体１１の動きと関連付けられた状態が記述される。訓練データ２２は、図１１に示されるように、ハイブリッドモデル２４を構成する一連のパラメトリックモデルの教師あり訓練に使用される。図１１に示される「従来」モデルは、物理学ベースのモデル２４と、例えば、残差上の、及び残差に更なるモデルを適合させるモデル２のニューラルネットワークモデル（図１１に示される）とすることができる。

【0023】

ハイブリッドモデルは、内挿データ３３（内挿されたデータ３３とも呼ばれる）及び外挿データ２３（外挿されたデータ２３とも呼ばれる）を使用して試験され、これらは、以下で更に説明するように、試験データ１０１として使用される。内挿データ３３は、最初に訓練データ２２と同じデータセットの一部とすることができ、入力状態、制御動作、及び値が訓練データ２１の値の範囲内にある出力状態を含む。また、外挿された訓練データ２３は、訓練データ２１と同じデータセットの一部とすることができ、入力状態、制御動作、及び出力状態も含むが、入力状態、制御動作、及び出力状態のうちの少なくとも１つの値が、入力状態、制御動作、及び訓練データ２１の出力状態の値の範囲外にあることを含む。例えば、微小物体１１の位置、速度、又は微小物体１１に適用される作動のうちの少なくとも１つは、訓練データ２１で使用される値を超えて拡大する値のためのものである。

【0024】

図５Ａ及び図５Ｂは、実験（２１の記録された）データの注釈付き明視野画像であり、微小物体１１は、白い円で強調表示され、微小物体が遷移する中間のターゲット位置のセットは、マゼンタ色の正方形によって強調表示されている。図５Ａ及び図５Ｂは、２つの異なるターゲット位置のセットを有する２つの異なる実験を示す。この実験データ２１は、訓練データ２２として使用することができる。図１２は、複雑な船体に関して定義されたときの、訓練データ２２と、外挿されたデータ２３と、内挿されたデータ３３との間の関係の図である。更に他の種類の訓練データが可能である。

【0025】

図２の参照を始めとして以下で更に説明するように、ハイブリッドモデル２４は、多くの段階で実装される勾配ブースティングを使用して作成され、その間に、１つ以上の物理学ベースのモデルは、損失関数を選択することによって訓練され、次の段階は、残差３１及び以前の入力を新しい入力として使用して別のモデル（機械学習モデル２７）を選択し、次の段階のパラメータをブースト（訓練）するための損失を選択することによって実装され、追加のモデルの作成が、この様式で複数回繰り返される。

【0026】

したがって、勾配ブースティングの間、最初に、少なくとも１つの物理学ベースのモデル２６が定義され、次に、損失関数３０（白化目的関数３０とも呼ばれる）が、出力訓練データ２２（作動後の特定の時間における微小物体１１の位置）と、入力訓練データに基づいて同じ作動の後の、出力訓練データによって記述される同じ時間における微小物体１１の達成位置に関する物理学ベースのモデル２６を使用することにより行われる１つ以上の予測との間の差異を分析するために使用される。その分析の結果は、１つ以上の残差３１（擬似残差３１としても知られている）であり、各残差３１は、１つの入力訓練データ２２に基づいて物理学ベースのモデル２６によって予測される１つの位置と、その予測が行われた１つの入力訓練データ２２から生じる１つの出力訓練データ２２との間の差異を記述する。続いて、次の段階の間、第１の機械学習モデル２７は、最初の物理学ベースのモデル２６を使用して導出された残差３１を使用して構築され、第１の機械学習モデル２７は、物理学ベースのモデル２６の一般化された残差３１に基づいて適合される。続いて、次の段階の間、残差３１は、上記と同じ方法である損失関数３０を使用して、訓練データ２２に基づいて、第１の機械学習モデルに対して生成され、入力訓練データ２２に基づいて予測された微小物体位置と、出力訓練データ２１内の位置との間の差異を処理する。第１の機械学習モデル３０からの残差３１は、別の深層モデルを定義するために使用され、第２の深層モデルの残差３１は、上記と同じ方法で計算される。１つの機械学習モデル２７の一般化された残差を次の機械学習モデル２７に適合することにより、所望の数のモデル２６、２７が生成されるまで複数の段階でカスケードとして継続される（所望の数のモデルは、一実施形態では、ある数のモデル２６、２７を含むハイブリッドモデルの精度に関する過去のデータに基づいており、更なる実施形態では、所望の数のモデル２６、２７は、所定数のモデルが所望の精度を生成するかどうかについての実証的な試験に基づいて設定される）。上記の説明では、単一の物理学ベースのモデル２６のみがハイブリッドモデル２４の一部として使用されるが、更なる実施形態では、複数の物理学ベースのモデル２６をハイブリッドモデルの一部として使用することができる。ハイブリッドモデル２４内の１つ以上の物理学ベースのモデル２６は、予測がランダムな推測よりもわずかに良好であるだけのモデルである弱い学習器として機能し、訓練された機械学習モデル２７は、弱い学習器よりも高い予測精度を有する強い学習器として機能する。モデル２６、２７の全ての予測は、異なるモデルの重みから予測を割り当て、その予測を平均化することなどによって、ハイブリッドモデル２４の単一の予測に集約されるが、予測を集約するための他の方法も可能である。例えば、様々なモデル段階２６、２７の予測は、残差が差異ではなく因子として表現される場合、以下の式（２）に従ってハイブリッドモデル２４の結合された予測に合計として、又は積の改良として集約することができる。様々な段階にも様々な重みを割り当てることができる。数学的に、ハイブリッドモデラ１８によって実施される勾配ブースティングは、以下のように定義することができる。

【0027】

一連のＭ個の学習器を使用して、予測出力を改良する。弱い（又はベース）モデルは、予測可能であるが複雑な部分を捕捉するための機械学習モデルに続く物理学／決定論的モデル２６を含む。

【0028】

【数2】

【0029】

式中、Ｍは、繰り返しの回数であり、

【0030】

【数3】

は、最初の推測値であり、

【0031】

【数4】

は、近似のブースト又は更なるファミリである

【数5】

【0032】

式中、

【0033】

【数6】

【0034】

式中、Ψ_ｉ（．，．）は、段階Ｉの損失関数である。要約すると、順次方法は、特定の損失関数を使用して、モデルが以前の段階の残差に適合される複数の段階を含む。アセンブリ又は物理システムのドメイン知識を包含する物理的モデルの現在の場合では、第１の段階である。

【0035】

図１１は、一実施形態による、勾配ブースティングを示す図である。

【0036】

図１に戻ると、訓練データ２２は、ハイブリッドモデル２４の作成後に、残差３１を計算するために使用されているが、ハイブリッドモデラ１８は、外挿された試験データ２３及び内挿された試験データ３３を使用して、ハイブリッドモデル２４によって行われた予測を試験する。最初に、ハイブリッドモデル２４は、内挿試験データ３３に対して試験される。入力内挿されたデータ３３に基づいてハイブリッドモデル２４によって行われた位置予測が、出力内挿データ３３（モデル２４が十分に訓練されたことを示す）からのある誤差閾値内にある場合、ハイブリッドモデル２４は、変化しないままである。ハイブリッドモデル２４によって行われた位置予測が誤差閾値外にある場合、ハイブリッドモデル２４は、修正される。そのような試験は、ハイブリッドモデル２４の過剰適合を防止する。内挿データ３３を用いた試験の後に、ハイブリッドモデルは、上記の内挿データ３３と同じ方法である、入力外挿データ２３に基づいてハイブリッドモデル２４によって行われた位置予測を出力外挿データ２３と比較することによって、外挿試験データ２３を用いて試験される。入力外挿データ２３に基づいてハイブリッドモデル２４によって行われた位置予測が、出力内挿データ２３からの特定の誤差閾値内にある場合、ハイブリッドモデル２４は、変化しないままである。ハイブリッドモデル２４によって行われた位置予測が誤差閾値外にある場合、ハイブリッドモデル２４は、修正される。外挿データ２３セットを使用するそのような試験は、それらハイブリッドモデル２４が、単一の訓練データ２２セットにのみ結び付けられるのではなく、十分な予測能力及び外挿能力を有することを確実にするのに役立つ。

【0037】

上述のように、以下にΨ（．，．）として示される損失関数３０は、勾配ブースティングの段階の各々の間の残差３１の計算中に使用され、損失関数３０は、段階の各々についてハイブリッドモデル作成器１８によって選択されなければならない。関数３０の損失は、ハイブリッドモデル２４が予測しようとしているデータと関連付けられた（及び結果としてハイブリッドモデル２４を構築する各段階と関連付けられた）確率論的モデル１０２（モデル化されたシステムの態様を説明し、動作から動作まで変化することができるモデル）に基づいて選択される。例えば、ハイブリッドモデル２４が連続データを予測するために使用されるとき（微小物体１１の位置の場合など）、確率論的モデル１０２は、ガウスモデルである。予測データがカウントされている場合、確率論的モデル１０２は、ポアソンモデルである。予測モデルがカテゴリである場合、確率論的モデル１０２は、多項モデルである。更に他の種類の確率論的モデル１０２が可能である。

【0038】

異なる損失関数３０を、勾配ブースティングの異なる段階で使用することができる。物理学ベースのモデル２６のときの残差を計算する間に使用することができる１つの損失関数３０は、平均平方誤差（mean squared error、ＭＳＥ）である。

【0039】

【数7】

は、十分であり、式中、

【0040】

【数8】

は、残差の自己相関関数のｉ番目の遅延である。
ｒ_ｉ＝ｙ_ｉ－ｆ（ｘ_ｉ） （６）

【0041】

しかしながら、ＭＳＥは、一般に、確率論的モデル１０２が、通常、独立同一分布（independent,identical distributed、ＩＩＤ）ランダム変数を仮定している状態で、上記のように計算された残差が確率論的モデル１０２と互換性があることを確実にするものではない。したがって、ハイブリッドモデル作成器１８は、勾配ブースティングの各段階の間に計算された残差３１を、分散σ^２を伴うゼロ平均ガウスなどの自己相関関数を使用する確率論的モデル１０２と比較する。損失関数３０を選択するために、ハイブリッドモデル作成器１８は、Ｌｊｕｎｇ－Ｂｏｘ（Ljung-Box、ＬＪＢ）損失関数を使用することができる。

【0042】

【数9】

式中、ρは、遅延ｋにおける自己相関関数であり、ｎは、サンプルサイズである。

【0043】

ＬＪＢ関数を使用すると、損失関数３０を使用して生成された非相関残差３１及び確率論的モデル１０２との残差の適合性を確保する。式（７）では、Ｌは、可能な相関よりも大きいハイパーパラメータである。勾配ブースティングの各段階については、損失関数を使用して、出力残差３１を所望の目標に向かって駆動する（損失関数を最適化する）ように選択される。その後の作動の計画を立てることにより、制御ループ待ち時間を補償することを可能にし、したがってシステム１０の性能を改善する。一実施形態では、フレームレートが６０Ｈｚ毎（ただし、フレームレートの他の値が可能である）で、粒子１１が物理的位置にあるときから粒子がその位置にあると（画像処理分析の画像転送及び計算コストにより）評価されるときまで、約２～３フレームの制御ループと、作動のための約１フレームの遅延（粒子がある位置にあると決定されたときから電極電位が粒子１１を移動させるために生成されるときまでの遅延）とが発生する。制御ポリシー３４は、この３～４フレームの遅延を補償し、３～４フレームの前に粒子位置を推定することを可能にする。

【0044】

微小物体１１を所望の位置３５に移動させるには、ほとんどの場合、複数回の作動を要するので、各作動後に微小物体１１の正確な開始位置２８を有することは、微小物体１１を所望の位置３５に向けて最も迅速に移動させるために、その後の作動の間に適切な電位を生成するのに極めて重要である。図２は、一実施形態による、デジタルコンピュータを用いたマイクロアセンブリ制御で使用する機械学習ベースの位置推定のための方法４０を示すフロー図である。方法４０は、図１のシステム１０を使用して実装することができる。最初に、システム１０のパラメータ１９が取得され、パラメータ１９を使用して制御モデル３９が生成される（ステップ４１）。図３を参照して以下で更に説明されるように、訓練データ２２が取得される（ステップ４２）。図４を参照して以下で更に説明されるように、１つ以上の微小物体１１の位置を予測するためのハイブリッドモデル２４が構築される（ステップ４３）。ハイブリッドモデル２４の精度は、図１を参照して上記のような内挿データ３３を使用して試験され（ステップ４４）、試験の結果が満足のいくものであり、試験に合格した場合（ステップ４５）、方法はステップ４６に移る。試験の結果が満足のいくものでない場合、ルーチンはステップ４３に戻る。ハイブリッドモデル２４の精度は、図１を参照して上記のような外挿データを使用して更に試験され（ステップ４６）、試験の結果が満足のいくものであり、試験に合格した場合（ステップ４７）、方法はステップ４８に移る。試験の結果が満足のいくものでない場合、ルーチンはステップ４３に戻る。

【0045】

ユーザなどから、微小物体１１のうちの１つ以上の所望の位置が受信される（ステップ４８）。微小物体１１の開始位置２８は、微小物体１１が静止している場合、カメラ１５によって捕捉された画像２９のみを使用するか、又は以前の作動が行われ、微小物体１１が現在動いている（したがって、制御ループ待ち時間が、ここではそれらの位置を決定する際の要因である）場合、ハイブリッドモデル２４（画像２９から導出されるデータを考慮に入れる）を使用するかによって取得される（ステップ４９）。微小物体１１を所望の位置３５に向かって移動させるための制御ポリシー３４は、開始位置２８、制御モデル３９、及び所望の位置３５を使用して生成され（ステップ５０）、電極１２は、制御ポリシー３５を使用してビデオプロジェクタ１４を介して作動される（ステップ５１）。作動後に所望の位置３５が達成された場合（ハイブリッドモデル２４を使用して決定されるなど）（ステップ５２）、方法４０は終了する。所望の位置が達成されていない場合、方法４０はステップ５０に戻る。

【0046】

記録されたデータ２１は、ハイブリッドモデル２４の訓練及び試験の両方に必要である。図３は、一実施形態による、図２の方法４０で使用する訓練データ２２及び試験データ１０１を生成するためのルーチン６０を示すフロー図である。記録されたデータ２１のセットが取得され（ステップ６１）、訓練データ２２と試験データ１０１とに分割され、試験データには、内挿データ３３（データは、訓練データ２２としてデータセットの境界内にある）及び外挿データ２３（データは、訓練データ２２としてデータセットの境界外にある）が含まれ（ステップ６２）、ルーチンを終了する。一実施形態では、訓練データとして使用されるデータは、データセットの８０％であり、試験データ１０１として使用されるデータは、データセットの２０％であるが、他の割合も可能である。

【0047】

勾配ブースティングを使用して構築されたハイブリッドモデル２４は、システム１０の確率論的及び決定論的ダイナミクスの両方を考慮に入れることにより、特定の時間（予測された位置を使用した電極作動が行われる時間）における微小物体の１１の位置のより正確な予測を達成するために、少なくとも１つの物理学ベースのモデル２６及び１つ以上の機械学習モデル２７からの予測を組み合わせる。図４は、一実施形態による、図２の方法４０で使用するハイブリッドモデル２４を構築するためのルーチン７０を示すフロー図である。最初に、ハイブリッドモデル２４に含まれる複数のモデル２６、２７は、ユーザ入力などに基づいて、いくらかのモデル２６、２７を有するハイブリッドモデル２４の過去の性能に基づいて、又は方法６０の間に作成されるハイブリッドモデル２４の継続的な試験に基づいて、設定される（ステップ７１）。パラメータ１９などを使用して、物理学ベースのモデル２６が定義される（ステップ７２）。１つ以上の予測は、特定の時間における１つ以上の微小物体１１の位置に関して行われ、１つ以上の入力記録されたデータ２１に基づいて、物理学ベースのモデル２６を使用して行われる（ステップ７３）。図１を参照して上記のように予測されるデータと関連付けられた確率論的モデル１０２及び損失関数３０は、図１を参照して上記のように選択される（ステップ７４）。１つ以上の残差３１は、物理学ベースのモデルを使用して行われた予測と、予測を行うために使用される入力データと関連付けられた出力データ（入力データと関連付けられた作動によって達成される、記録された微小物体位置）との間の差異に基づいて、選択された損失関数３０を使用して計算される（ステップ７５）。繰り返し処理ループ（ステップ７６～８１）は、全ての残りのモデルについて開始される。モデルは、前述のモデルの残差に基づいて構築（適合）される（ステップ７７）。予測は、特定の時間における１つ以上の微小物体１１の位置に関して行われ、１つ以上の入力記録されたデータ２１に基づいて、ステップ７７で構築されたモデルを使用して行われる（ステップ７８）。確率論的モデル１０２は、図１を参照して上記のように予測されるデータのために選択され、損失関数３０は、図１を参照して上記のようにステップ７７で構築されたモデルの確率論的モデル１０２に基づいて選択される（ステップ７９）。１つ以上の残差３１は、ステップ７７で構築されたモデルを使用して行われた予測と、予測を行うために使用される入力データと関連付けられた出力データ（入力データと関連付けられた作動により、予測に使用されるのと同時に達成される、記録された微小物体位置）との間の差異に基づいて、選択された損失関数３０を使用して計算される（ステップ８０）。ステップ７６～８１の処理ループは、ステップ７１で設定されたハイブリッドモデル２４に含まれる複数のモデル２６、２７（ステップ６２で定義された物理学ベースのモデル２６を含む）が達成されるまで、次のモデルに移動し（ステップ８１）、ルーチン７０を終了する。上記の説明では、一実施形態において、ループ７６～８１の間に作成されたモデルの全ては、機械学習モデル２７とすることができる。更なる実施形態では、ループ７６～８１の間に作成されたモデルのうちの少なくともいくつかは、物理学ベースのモデル２６とすることができる。更に別の実施形態では、機械学習モデル２７は、物理学ベースのモデル２６の代わりに、ステップ７２の間に作成することができ、少なくとも１つの物理学ベースのモデルは、ループ７５～８１の間に作成することができる。

【0048】

上記のハイブリッドモデル２４を使用する利点は、実験的に試験されたことであり、実験データは、例示の目的で、限定ではなく、以下に示される。モデル２４は、ｆｒｕｇａｌｌｙ－ｄｅｅｐ ｃｐｐライブラリを使用してシステム１０に実装されており（他の実装が可能であるが）、モデル２４の性能は、以下の推定器１．０と呼ばれるものと比較され（ハイブリッドモデル２４が採用されていないことを除いて、システム１０と同様のシステムを使用して実装される）、推定器１．０は、時間１－＃ｎ＊１／６０ｓの制御サイクル待ち時間、制御サイクル遅延のための、推定された定数、＃ｎにおけるフィードバック制御内の測定された位置を使用することによって、時間１における粒子位置を推定する。また、ハイブリッドモデル２４の性能は、ハイブリッドモデル２４の代わりに、機械学習モデル２６のみが粒子位置を決定するために使用されることを除いて、システム１０と同様のシステムの性能と比較された。図６は、機械学習モデル２７（「ＲＮＮでブーストされた推定器１．０」）としてＲＮＮモデルを含んだハイブリッドモデル２４の使用、粒子位置を予測するためのＡＲＩＭＡモデルのみの使用、粒子位置を予測するためにＲＮＮモデル（２つの機械学習モデル２６）でブーストされたＡＲＩＭＡモデルの使用、及び機械学習モデル２７としてのＲＮＮモデルの使用と比較されたときの推定器１．０の試験結果を示す図である。ＡＲＩＭＡモデルを含んだハイブリッドモデル２４、及びＲＮＮモデルを含んだハイブリッドモデルは、推定器１．０よりも微小物体１１（「粒子」と呼ばれる）の位置（ボックスによって囲まれているｘ、ｙ）に関して２倍以上のより良好な予測を示した。これらの結果は、図５Ａを参照して示される、記録されたデータ２１を使用して得られた（位置は「ウェイポイント」とも呼ばれる）。

【0049】

外挿されたデータ２３が試験に使用されても、ハイブリッドモデル２４は、推定器１．０よりも良好な結果を示す。図７は、外挿試験データセット内のＡＲＩＭＡモデル及びＲＮＮモデルに対する推定器１．０の使用の結果を示す図である。ＡＲＩＭＡモデルを含んだハイブリッドモデル２４、及びＲＮＮモデルでブーストされたＡＲＩＭＡモデルを含んだハイブリッドモデル２４は、ｘ及びｙ（ボックスによって囲まれている）における粒子（微小物体１１）位置の約１．５倍のより良好な予測を示したが、ＲＮＮモデルは、外挿試験データセット（ボックスによって囲まれている）で最も悪い結果を示した。

【0050】

図８は、監視されていない訓練されたシステムＩＤモデルを使用した外挿データセット全体のシミュレーション（約５０分）を示す図である。ＲＮＮでブーストされたＡＲＩＭＡモデルを含んだハイブリッドモデル２４は、約１０カメラ画素の累積ＲＭＳＥ誤差、１０ｕｍの球形粒子（微小物体１１）の最終位置に対する５ｕｍの不正確さで最も高い結果を示した。推定器１．０は、約２００～３００カメラ画素（最終粒子位置の約１００～１５０ｕｍの不正確さ）の累積ＲＭＳＥ誤差をもたらした。

【0051】

図９は、監視されていない訓練されたシステムＩＤモデルを使用した外挿データセットのシミュレーションを示す図である。ＲＮＮでブーストされたＡＲＩＭＡモデルを含んだハイブリッドモデル２４は、真（灰色）で最も高い結果を示し、約１０カメラ画素の累積ＲＭＳＥ誤差、１０ｕｍの球形粒子（微小物体１１）の最終位置に対する５ｕｍの不正確さでわずかに逸脱する（黒）粒子位置を予測した。推定器１．０の使用により、約２００～３００カメラ画素（最終粒子位置の約１００～１５０ｕｍの不正確さ）の累積ＲＭＳＥ誤差がもたらされた。ＲＮＮモデルは、粒子位置を正確に予測しなかった。

【0052】

【表1】

【0053】

ハイブリッドモデル２４はまた、純粋な機械ベースの学習モデルを使用するよりも良好な結果を示す。表１は、ハイブリッドモデル２４（表１では推定器２．０と呼ばれる）と、ｆｒｕｇａｌｌｙ－ｄｅｅｐ（ｃｐｐ）を使用して実装された線形モデル、高密度モデル、及びＡｒｉｍａモデルの比較精度を示す。モデルは、２時間のランダムに生成されたウェイポイントセット（微小物体位置）で訓練され、マイクロアセンブラソフトウェアのシミュレータモードで新しいウェイポイントセットで１分間試験された。ＡＲＩＭＡモデルは再び、改善された推定器モデル推定器２．０と比較して、粒子位置を予測する際に２倍の改善を示した（色の濃いボックス）。実装形態では、数百個の粒子（微小物体１１）の位置を予測するために６０Ｈｚ（制御サイクルクロック）よりも速く動作するが、この特定の実験では、１０００個の粒子まで拡張できなかった（色の薄いボックス）。

【0054】

図１０Ａ及び図１０Ｂは、試験推定器２．０（ハイブリッドモデル２４）と、ｆｒｕｇａｌｌｙ－ｄｅｅｐ（ｃｐｐ）を使用してマイクロアセンブラソフトウェアに実装された線形モデル、高密度モデル、及びＡＲＩＭＡモデルを示す図である。図１０Ａは、改善された推定器２．０モデルと比較して、ＡｒｉｍａモデルをブーストしたＲＮＮ（ＬＳＴＭ）に対して＞１であるカメラ画素によって減少された平均予測誤差率を示す。図１０Ｂは、この特定の実験において、１０００個の粒子に拡大していないが、＜３００個の粒子（微小物体１１）の位置を予測するために、６０Ｈｚ（内部制御サイクルクロック）よりも速く動作する深層モデル及びＲＮＮモデルを使用した実装形態を示す。

【0055】

本発明は、その実施形態を参照して特に示され説明されてきたが、本発明の趣旨及び範囲から逸脱することなく、形態及び詳細の前述及び他の変更がその中で行われ得ることを当業者は理解するであろう。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9-1】

【図9-2】

【図9-3】

【図10A】

【図10B】

【図11】

【図12】