特表 2023-537892 自動焦点合わせ顕微鏡システムのための深層学習モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-06

(54)【発明の名称】自動焦点合わせ顕微鏡システムのための深層学習モデル

(51)【国際特許分類】

   G02B 21/26 20060101AFI20230830BHJP

   G02B 21/36 20060101ALI20230830BHJP

   G02B 7/28 20210101ALI20230830BHJP

   G03B 13/36 20210101ALI20230830BHJP

【ＦＩ】

G02B21/26

G02B21/36

G02B7/28 J

G03B13/36

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023507491

(86)(22)【出願日】2021-08-06

(85)【翻訳文提出日】2023-02-08

(86)【国際出願番号】 US2021044988

(87)【国際公開番号】W WO2022032126

(87)【国際公開日】2022-02-10

(31)【優先権主張番号】63/062,592

(32)【優先日】2020-08-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】シャロウコフ，デニス ワイ

(72)【発明者】

【氏名】イヴァノフ，トニスラフ

(72)【発明者】

【氏名】リー，ジョナサン

【テーマコード（参考）】

2H011

2H052

2H151

【Ｆターム（参考）】

2H011AA06

2H011BB03

2H052AD09

2H052AD18

2H052AD20

2H052AF14

2H052AF25

2H151AA11

(57)【要約】

コンピューティングシステムは、イメージセンサから、顕微鏡システムの試料ステージ上に配置された試料の少なくとも２つの画像を受信する。コンピューティングシステムは、少なくとも２つの画像を試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給する。コンピューティングシステムは、自動焦点モデルによって、試料の焦点面までの少なくとも１つの距離を特定する。特定するステップに基づいて、コンピューティングシステムは、顕微鏡システムの対物レンズに対しての試料ステージの位置を自動的に調整する。

【特許請求の範囲】

【請求項1】

試料を撮像する光学系であって、対物レンズ、および撮像中に前記試料を支持するように構成された試料ステージを備える光学系と、
前記光学系を自動的に焦点合わせする焦点検出システムであって、前記焦点検出システムは、プロセッサおよびメモリを含むコンピューティングシステムを備える焦点検出システムと、を備える顕微鏡システムであって、
前記メモリは、そこに記憶されたプログラミングコードを有し、前記プログラミングコードは、前記プロセッサによって実行されるときに、前記コンピューティングシステムに、
前記コンピューティングシステムが、前記光学系から、前記試料ステージ上に配置された前記試料の少なくとも２つの画像を受信することと、
前記コンピューティングシステムが、前記少なくとも２つの画像を前記試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給することと、
前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することと、
前記特定することに基づいて、前記コンピューティングシステムが、前記顕微鏡システムの前記対物レンズに対しての前記試料ステージの位置を自動的に調整することと、を含む動作を実行させる、顕微鏡システム。

【請求項2】

前記コンピューティングシステムが、前記光学系から、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信することは、
第１のｚ位置における前記少なくとも２つの画像の第１の画像を受信することと、
第２のｚ位置における前記少なくとも２つの画像の第２の画像を受信することと、を含む、請求項１に記載の顕微鏡システム。

【請求項3】

前記試料ステージのｘ位置およびｙ位置は、一定のままであり、一方、前記第１のｚ位置は、前記第２のｚ位置とは異なる、請求項２に記載の顕微鏡システム。

【請求項4】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することは、
前記焦点面までの距離の範囲を生成することを含み、前記距離の範囲は、前記焦点面までの実際の距離を含む、請求項１に記載の顕微鏡システム。

【請求項5】

前記コンピューティングシステムが、前記光学系から、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信することは、
前記試料の第１の焦点面における少なくとも１つの画像を受信することと、
前記試料の第２の焦点面における少なくとも１つの画像を受信することと、を含む、請求項１に記載の顕微鏡システム。

【請求項6】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することは、
前記試料の前記第１の焦点面までの少なくとも１つの第１の距離を特定することと、
前記試料の前記第２の焦点面までの少なくとも１つの第２の距離を特定することと、を含む、請求項５に記載の顕微鏡システム。

【請求項7】

前記コンピューティングシステムが、前記顕微鏡システムの前記対物レンズに対しての前記試料ステージの前記位置を自動的に調整することは、
前記顕微鏡システムの駆動機構に前記試料ステージと前記対物レンズとの間の距離を調整させることを含む、請求項１に記載の顕微鏡システム。

【請求項8】

コンピューティングシステムが、イメージセンサから、顕微鏡システムの試料ステージ上に配置された試料の少なくとも２つの画像を受信するステップと、
前記コンピューティングシステムが、前記少なくとも２つの画像を前記試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給するステップと、
前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定するステップと、
前記特定するステップに基づいて、前記コンピューティングシステムが、前記顕微鏡システムの対物レンズに対しての前記試料ステージの位置を自動的に調整するステップと、
を含む方法。

【請求項9】

前記コンピューティングシステムが、前記イメージセンサから、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信するステップは、
第１のｚ位置における前記少なくとも２つの画像の第１の画像を受信するステップと、
第２のｚ位置における前記少なくとも２つの画像の第２の画像を受信するステップと、を含む、請求項８に記載の方法。

【請求項10】

前記試料ステージのｘ位置およびｙ位置は、一定のままであり、一方、前記第１のｚ位置は、前記第２のｚ位置とは異なる、請求項９に記載の方法。

【請求項11】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定するステップは、
前記焦点面までの距離の範囲を生成するステップを含み、前記距離の範囲は、前記焦点面までの実際の距離を含む、請求項８に記載の方法。

【請求項12】

前記コンピューティングシステムが、前記イメージセンサから、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信するステップは、
前記試料の第１の焦点面における少なくとも１つの画像を受信するステップと、
前記試料の第２の焦点面における少なくとも１つの画像を受信するステップと、を含む、請求項８に記載の方法。

【請求項13】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定するステップは、
前記試料の前記第１の焦点面までの少なくとも１つの第１の距離を特定するステップと、
前記試料の前記第２の焦点面までの少なくとも１つの第２の距離を特定するステップと、を含む、請求項１２に記載の方法。

【請求項14】

前記コンピューティングシステムが、前記顕微鏡システムの前記対物レンズに対しての前記試料ステージの前記位置を自動的に調整するステップは、
前記顕微鏡システムの駆動機構に前記試料ステージと前記対物レンズとの間の前記距離を調整させるステップを含む、請求項８に記載の方法。

【請求項15】

１つまたは複数の命令シーケンスを含む非一時的なコンピュータ可読媒体であって、１つまたは複数の命令シーケンスは、プロセッサによって実行されるときに、コンピューティングシステムに、
コンピューティングシステムが、イメージセンサから、顕微鏡システムの試料ステージ上に配置された試料の少なくとも２つの画像を受信することと、
前記コンピューティングシステムが、前記少なくとも２つの画像を前記試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給することと、
前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することと、
前記特定することに基づいて、前記コンピューティングシステムが、前記顕微鏡システムの対物レンズに対しての前記試料ステージの位置を自動的に調整することと、を含む動作を実行させる、非一時的なコンピュータ可読媒体。

【請求項16】

前記コンピューティングシステムが、前記イメージセンサから、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信することは、
第１のｚ位置における前記少なくとも２つの画像の第１の画像を受信することと、
第２のｚ位置における前記少なくとも２つの画像の第２の画像を受信することと、を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することは、
前記焦点面までの距離の範囲を生成することを含み、前記距離の範囲は、前記焦点面までの実際の距離を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記コンピューティングシステムが、前記イメージセンサから、前記顕微鏡システムの前記試料ステージ上に配置された前記試料の前記少なくとも２つの画像を受信することは、
前記試料の第１の焦点面における少なくとも１つの画像を受信することと、
前記試料の第２の焦点面における少なくとも１つの画像を受信することと、を含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記自動焦点モデルによって、前記試料の前記焦点面までの前記少なくとも１つの距離を特定することは、
前記試料の前記第１の焦点面までの少なくとも１つの第１の距離を特定することと、
前記試料の前記第２の焦点面までの少なくとも１つの第２の距離を特定することと、を含む、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記コンピューティングシステムが、前記顕微鏡システムの前記対物レンズに対しての前記試料ステージの前記位置を自動的に調整することは、
前記顕微鏡システムの駆動機構に前記試料ステージと前記対物レンズとの間の前記距離を調整させることを含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月７日に出願した米国仮出願第６３／０６２，５９２号の優先権を主張するものであり、これは、参照により全体として本明細書に組み込まれる。

【背景技術】

【0002】

焦点面を見つけることは、イメージングシステムにとって重要である。正確な焦点面において、関心の全ての特徴は、はっきり見え、高いコントラストを有する。顕微鏡検査において、この面を見つけることは、典型的には、画像がどのくらい焦点合わせされたのか評価するためのコントラストスコアリングメトリック、およびより高いコントラストスコアを有する画像にシステムを向けるためのＺ軸探索アルゴリズムを用いることによって行われる。しかしながら、この焦点合わせ手順は、広いＺ軸範囲にわたって多数の画像を収集および評価することにより時間がかかり得る。さらに、所与のサンプルについて最良のコントラストスコアリングメトリックを特定することは、簡単でない作業である。例えば、試料検査の分野において、これらの課題は、試料ごとに複数の位置で焦点合わせを必要とする多数の試料の検査を伴う高スループット生産目標を妨げ得る。別の例では、光に敏感な生体サンプルの検査分野では、サンプルの光退色は、サンプルに対する伝統的な焦点合わせの最中の光への長時間の露出により生じる。

【発明の概要】

【課題を解決するための手段】

【0003】

いくつかの実施形態では、顕微鏡システムが本明細書に開示される。顕微鏡システムは、試料を撮像する光学系と、光学系を自動的に焦点合わせする焦点検出システムとを含む。光学系は、対物レンズと、撮像中に試料を支持するように構成された試料ステージとを含む。焦点検出システムは、プロセッサおよびメモリを含むコンピューティングシステムを含む。メモリは、そこに記憶されたプログラミングコードを有し、プログラミングコードは、プロセッサによって実行されるときに、コンピューティングシステムに動作を実行させる。動作は、コンピューティングシステムが、光学系から、試料ステージ上に配置された試料の少なくとも２つの画像を受信することを含む。動作は、コンピューティングシステムが、少なくとも２つの画像を試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給することをさらに含む。動作は、自動焦点モデルによって、試料の焦点面までの少なくとも１つの距離を特定することをさらに含む。動作は、特定することに基づいて、コンピューティングシステムが、顕微鏡システムの対物レンズに対しての試料ステージの位置を自動的に調整することをさらに含む。

【0004】

いくつかの実施形態では、方法が本明細書中に開示される。コンピューティングシステムは、イメージセンサから、顕微鏡システムの試料ステージ上に配置された試料の少なくとも２つの画像を受信する。コンピューティングシステムは、少なくとも２つの画像を試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給する。コンピューティングシステムは、自動焦点モデルによって、試料の焦点面までの少なくとも１つの距離を特定する。特定するステップに基づいて、コンピューティングシステムは、顕微鏡システムの対物レンズに対しての試料ステージの位置を自動的に調整する。

【0005】

いくつかの実施形態では、非一時的なコンピュータ可読媒体が本明細書中に開示される。非一時的なコンピュータ可読媒体は、１つまたは複数の命令シーケンスを含み、１つまたは複数の命令シーケンスは、プロセッサによって実行されるときに、コンピューティングシステムに、動作を実行させる。この動作は、コンピューティングシステムが、イメージセンサから、顕微鏡システムの試料ステージ上に配置された試料の少なくとも２つの画像を受信することを含む。上記動作は、コンピューティングシステムによって、少なくとも２つの画像を試料の焦点面までの少なくとも１つの距離を検出するための自動焦点モデルへ供給することをさらに含む。上記動作は、自動焦点モデルによって、試料の焦点面までの少なくとも１つの距離を特定することをさらに含む。上記動作は、特定するステップに基づいて、コンピューティングシステムが、顕微鏡システムの対物レンズに対しての試料ステージの位置を自動的に調整することをさらに含む。

【0006】

本開示の上に挙げた特徴を詳細に理解できるように、上に簡単に要約された本開示のより詳細な説明は、実施形態を参照することによって行われ得、その一部は、添付図面に示されている。しかしながら、添付図面は、本開示の典型的な実施形態を示すものに過ぎず、したがって、その範囲の限定とみなされるべきでなく、本開示に関して、他の等しく有効な実施形態を認めることができることに留意されたい。

【図面の簡単な説明】

【0007】

【図1】例示実施形態による例示的な顕微鏡システムを示す図である。

【0008】

【図2】例示実施形態による自動焦点モデルのアーキテクチャを示す図である。

【0009】

【図3】例示実施形態による顕微鏡システムを自動的に焦点合わせする方法を示す流れ図である。

【0010】

【図4A】例示実施形態によるシステムバスコンピューティングシステムアーキテクチャを示す図である。

【0011】

【図4B】例示実施形態によるチップセットアーキテクチャを有するコンピュータシステムを示す図である。

【発明を実施するための形態】

【0012】

理解を助けるために、可能であれば、各図に共通である同一の要素を示すために同一の参照番号が使用されている。ある実施形態に開示される要素は、特定の詳述がなくても、他の実施形態に対して有益に利用され得ることが考えられる。

【0013】

焦点合わせは、顕微鏡システムの重要な機能であり、自動式焦点合わせに関する研究が、１９７０年代以来続いている。様々な解決策が探求されており、それらは、システムを焦点合わせするために顕微鏡に取り付けられた特別なハードウェアを使用するハードウェア自動焦点合わせ、およびシステムを焦点合わせするために画像データに対して実行されるアルゴリズムを使用するソフトウェア自動焦点合わせといった２つのカテゴリーに分類される。

【0014】

典型的には、市販のハードウェア自動焦点合わせシステムは、焦点が合っている位置を決定するために共焦点変位構成においてレーザまたは白色光を利用する。精確で高速であるが、これらのシステムは、かなり高価であり得、適切に反射するサンプルを必要とし、画像アーチファクトを引き起こし得る。いくつかの他のハードウェアベースの焦点合わせする方法は、焦点合わせを実行するより安上がりなハードウェアを必要とし、位相センサを用いて取得したデータを使用し、次いで、深層強化学習を適用して焦点までの距離を予測し、コヒーレントなＬＥＤ照明の下で得られた焦点がぼけた画像のフーリエ変換を計算し、次いで、全結合フーリエニューラルネットワークを使用して焦点を予測するものが提案されている。ずっとより経済的であるが、これらの手法の両方は、位相センサおよびＬＥＤパターン照明器を必要とするさらなるハードウェアを設置することを必要とする。そのようなハードウェアの設置は、一部のシステムに関しては実行不可能であり得る。本システムは、余分なハードウェアの要件を有さない。

【0015】

他方で、ソフトウェアアルゴリズムは、実時間でＺ軸を調整することによって、および様々なＺ軸の位置で画像を取得し、計算を実行することによって、最適な焦点面についての探索を実行する。スコアリングとしても知られる原画像に関するこの計算は、画像がどのくらい焦点合わせされているのかの定量化を可能にするメトリックを計算する。典型的には、焦点合わせスコアは、ソーベルカーネルなどのエッジ検出カーネルを画像中の全ての画素に適用し、画素値を合計することによって計算されるコントラストメトリックである。スコアリングメトリックと共に、次いで、いくつかの異なる探索アルゴリズムが、正確な焦点面を特定するために用いられてもよい。線形探索または二分探索は、予め定められた探索ウィンドウ内で焦点面を見つけるために用いることができる。代替として、パラボリック探索が、予め定められた探索ウィンドウの要求をなくすために使用されてもよい。このアルゴリズムは、焦点合わせスコア関数が放物線であると仮定し、次いで、焦点合わせスコア放物線の頂点を推定するためにスコア関数の導関数を計算する。良好な信号対ノイズ比および十分な量のエッジ特徴を有する画像では、コントラストスコアリング関数は、焦点面の精確な決定を与える。それにもかかわらず、顕微鏡チャックを移動させ、画像を取得することによって探索アルゴリズムを実行することは、時間がかかるものであり得る。

【0016】

従来の焦点合わせアルゴリズムの時間制限を克服するために、本明細書に記載の１つまたは複数の技法は、短い距離で（例えば、ｚ方向に）離された少なくとも２つの画像を利用し、これは、ワンショットで焦点面までのオフセット距離を予測する。例えば、本明細書に記載の１つまたは複数の技法は、試料サンプルからの異なるＸ、Ｙ、およびＺ軸位置によるデータに対して訓練される回帰型畳み込みニューラルネットワーク（ＣＮＮ）モデルを使用することができる。この手法は、Ｚ軸を掃引する必要なく焦点までの距離をワンショットで予測するので、これは、古典的な方法と比較してずっと速い。限られた入力データでも、本手法は、非常に高いレベルの精度でフォーカス距離に対してのオフセットを見つける。いくつかの実施形態では、コントラストメトリックは、予測された位置が被写界深度内にあることを検証するために使用され得る。いくつかの実施形態では、焦点面に到達しなかったときにはそのように、手順が反復されてもよく、または高精度焦点合わせアルゴリズムが何らかの誤差について補正するように実行される。

【0017】

いくつかの実施形態では、少なくとも２つの画像は、それらのＺ軸位置においてのみ異なり得る。いくつかの実施形態では、少なくとも２つの画像は、それらのＸ、Ｙ軸位置においてさらに異なり得る。そのような実施形態では、自動焦点モデルは、ある点における焦点面までのオフセット距離を予測することができる。この手法は、Ｚ軸に移動するのを待ちつつ、ＸおよびＹ方向の移動を可能にすることができ、これにより、試料上の多くの点における推定された焦点位置のより高速な取得を可能にすることができる。

【0018】

いくつかの実施形態では、手順は、分析されている試料に応じて複数のレベルについて繰り返されてもよい。いくつかの実施形態では、そのような動作は、複数の焦点面を有する試料に適用されてもよく、したがって、試料内の特定の焦点面の一貫した選択を可能にする。

【0019】

いくつかの実施形態では、手順は、明視野と暗視野の両方のイメージングに適用されてもよい。いくつかの実施形態では、手順は、蛍光イメージングに適用されてもよい。いくつかの実施形態では、手順は、ＵＶイメージングに適用されてもよい。

【0020】

上述したように、従来の 顕微鏡検査の焦点合わせ方法は、焦点面を評価するためにＺ軸を通じて時間がかかる掃引を実行する。本明細書に記載の１つまたは複数の技法は、設定距離だけ離された少なくとも２つの画像の入力を用いて、任意の初期位置から焦点面までの距離オフセットをワンショットで予測する深層学習モデルを実施するシステムを設けることによって従来の手法を改良する。これらの２つの画像の差は、焦点ずれ収差の量と焦点面からの距離との間のダイレクトマッピングを学習するように訓練され得る回帰型ＣＮＮモデルによって処理することができる。いくつかの実施形態では、訓練データセットは、サンプル上の異なる表面位置でおよび焦点から異なる距離で試料サンプルから取得することができる。いくつかの実施形態では、グラウンドトゥルース焦点面は、Ｔｅｎｅｎｇｒａｄスコアリングメトリックと共にパラボリック自動焦点合わせアルゴリズムを用いて決定することができる。いくつかの実施形態では、ＣＮＮモデルは、ベア試料サンプルおよびパターンのある試料サンプルに対してテストされ得る。モデルは、高い信頼性で焦点が合っている位置を決定することができ、古典的なコンピュータビジョンに頼る従来の方法よりもかなり高速である。さらに、本システムは、焦点面が見つからなかった稀なケースを検出し、高精度焦点合わせアルゴリズムを適用して結果を補正することができる。十分な訓練データの収集で、本深層学習焦点合わせモデルは、かなりより高速な、従来の焦点合わせ方法の代替を与える。

【0021】

自動焦点合わせのための従来の一手法は、焦点が合っているシステムを得るためにいくつかの粗いステップおよび細かいステップを通じて自動焦点合わせポリシーを学習する深層強化学習の使用である。このシステムとは異なり、本手法は、単一のステップで焦点合わせを実現する。他の従来の方法は、ＣＮＮ特徴を使用して、システムを焦点合わせするために使用される焦点品質予測を生成するために焦点画像および／またはＣＮＮと人の手で設計された特徴との組合せから検出するように使用される確率スコアを生成する。これらの方法とは異なり、本システムは、焦点までの距離を直接予測し、いくつかの抽象的なフォーカスメトリックを予測しないように構成される。

【0022】

別の従来の手法は、単一の焦点がぼけた画像から焦点合わせされた画像を生成する単一のショットの自動焦点合わせを説明した。例えば、この手法は、焦点が合っている画像と焦点が合っていない画像のペアから学習する敵対的生成ネットワーク（ＧＡＮ）を利用した。本モデルとの重要な差異の１つは、それがオンライン設定で使用されるように設計され、焦点までの距離を生成することである。比較において、この従来のモデルは、合成されたオフラインの焦点合わせされた画像を生成する。さらに、自動焦点合わせの別の従来の手法は、単一の焦点がぼけた画像からのフォーカス距離を得るために残差ＣＮＮを使用する。この手法は、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）における非対称性により、第２の画像を必要とすることなく、ＣＮＮが焦点面に対してのオフセット方向を特定することを可能にすることを必要とする。本システムは、決定を行う際に少なくとも２つの画像を利用するので、本システムは、同様の仮定を行う必要がない。

【0023】

またさらに別の従来の手法は、一定の距離で得られる２つの画像間の差異を活用し、次いで、これは、フォーカス距離を予測するためにＣＮＮに送られる。差異は、対称ＰＳＦの場合には、（上へまたは下への）移動の方向を本質的に符号化する。他方で、本システムは、既製品のニューラルネットワークを活用する代わりに、カスタムのニューラルネットワークアーキテクチャを使用する。本システムは、特徴がなく、焦点合わせするのがずっとより難しい異なるタイプの画像データに対する実験も実行する。

【0024】

図１は、例示実施形態による例示的な顕微鏡システム１０を示す。顕微鏡システム１０は、試料をイメージングするための光学系１２と、自動的な焦点合わせのための焦点検出システム１４とを含むことができる。顕微鏡システム１０は、改良型反射光顕微鏡を光学系１２として用いることができるが、透過光顕微鏡に同様に適合され得ることに留意されたい。

【0025】

光学系１２は、対物レンズ１８の下で試料Ｓを保持する試料ステージ１６を含むことができる。光学系１２は、光源２０と、試料Ｓを照明する垂直照明器２２とをさらに含むことができる。光学系１２は、調整可能なＦストップ（F-Stop）２４を含むこともできる。イメージセンサ２６は、対物レンズ１８を通って透過された画像を受信することができる。いくつかの実施形態では、イメージセンサ２６は、焦点検出システム１４の構成要素とみなされることができる。

【0026】

焦点検出システム１４は、モータ２８と、駆動機構３０とを含むことができ、モータ２８および駆動機構３０は、対物レンズ１８に向かっておよび対物レンズ１８から離れるように試料ステージ１６（および、したがって、その上の試料Ｓ）を移動させるように動作する。駆動機構３０は、試料ステージ１６を前進させるようにモータ２８によって回転されることが可能であるねじを表し得る。例えば、試料ステージ１６は、駆動機構３０を一方向に（例えば、時計回りに）回転させることによって上向きの方向に移動させられ得る。同様に、試料ステージ１６は、駆動機構３０を反対方向に（例えば、反時計回りに）回転させることによって下向きの方向に移動させられ得る。駆動機構３０は、本図においてスクリーン（screen）として具体化され得るが、他の駆動機構が使用されてもよいと理解される。対物レンズ１８と試料Ｓの相対移動は、重要であり、代替としてまたはさらに、駆動機構が、試料Ｓに対して対物レンズ１８を移動させるように顕微鏡を操作することができるようになっている。概して、駆動機構３０は、本機器および方法によって実験的に決定される被写界深度の大きさが、典型的にはとても小さいので、ステージ１６、およびしたがってその上の試料Ｓが、ミクロンのオーダーで、またはもっとより好ましくはナノメートルのオーダーで、とても小さい増分で移動することができるようになり得る。モータ２８は、コンピューティングシステム３２によって制御され、１つまたは複数の接続３４、または無線通信などの他の適切な機構を介してモータ２８と通信することができる。

【0027】

いくつかの実施形態では、焦点検出システム１４は、Ｆストップ２４を開閉するためにモータ３６を含むこともできる。モータ２８と同様に、モータ３６も、コンピューティングシステム３２によって制御され、１つまたは複数の接続３４、または無線通信などの他の適切な機構を通じてモータ３６と通信することができる。

【0028】

いくつかの実施形態では、コンピューティングシステム３２およびイメージセンサ２６は、１つまたは複数の接続４０あるいは無線通信などの他の適切な機構を介して通信することができる。オペレータが所望の制御およびデータを入力することを可能にするために、オペレータ入力ユニット４２、例えば、キーボード、タッチスクリーンモニタ、または他の標準的な手段が、利用可能であり得る。

【0029】

図示のように、コンピューティングシステム３２は、自動焦点モデル１００を含むことができる。自動焦点モデル１００は、光学系１２を焦点合わせする目的のために、対物レンズ１８に対して試料ステージ１６の位置を自動的に調整するように構成され得る。自動焦点モデル１００は、試料の２つの画像の入力に基づいて、合焦するための符号付きの距離（例えば、正又は負の距離）を予測するために、（例示的な実施形態によるＵ－Ｎｅｔアーキテクチャに基づく予測モデルを示す）図１に示された回帰型畳み込みニューラルネットワークを表し得る。例えば、自動焦点モデル１００は、２つの画像の間で焦点合わせするための差異を特定することができる。上の画像は、焦点面よりも上の場合に合焦に満たない場合があり、焦点面の下の場合に合焦を上回り、したがって、符号付きの差異となるので、この差異は、焦点合わせするための方向を自動的に符号化することができる。

【0030】

図２は、例示実施形態による自動焦点モデル１００の例示的なアーキテクチャ２００を示すブロック図である。自動焦点モデルは、５つの畳み込みブロック２０２と、それに続く高密度出力層２０４とを含むことができる。各畳み込みブロック２０２は、３ｘ３フィルタを有する畳み込み層２０６、正規化線形活性化関数（ＲｅＬＵ）（図示せず）、および２のダウンサンプリングファクタを有する最大プーリング層２１０を含むことができる。いくつかの実施形態では、バッチ正規化層（a batch normalization layer）２１２は、それぞれの最大プーリング層２１０の後に導入することができる。

【0031】

いくつかの実施形態では、自動焦点モデル１００は、４で始まって６４まで行く連続的な畳み込みブロック２０２ごとの特徴マップの個数を２倍にすることができる。自動焦点モデル１００は、出力高密度層２０４をさらに含むことができる。出力高密度層２０４は、先の畳み込み層に完全に接続されている線形活性化を有する単一のノードを含むことができる。いくつかの実施形態では、線形活性化は、焦点合わせするための距離についての正および負の値を実現するために使用され得る。アーキテクチャ２００は、過剰適合を避けるために選択することができるが、そのサイズは、訓練を効率的にさせる。

【0032】

訓練中、コンピューティングシステム３２は、損失関数として、

【数1】

のように定義される二乗平均平方根誤差（ＲＭＳＥ）を使用することができる。

【0033】

いくつかの実施形態では、コンピューティングシステム３２は、通常のＨｅ初期化子を用いて自動焦点モデル１００の重みを初期化することができる。いくつかの実施形態では、コンピューティングシステム３２は、訓練中にアダムオプティマイザを使用することができる。例えば、コンピューティングシステム３２は、初期学習率０．０００１、およびバリデーション損失（the validation loss）のプラトー上で１０の累乗だけ減衰する学習率を用いるアダムオプティマイザを使用することができる。しかしながら、当業者は、他の学習率が使用されてもよいことを理解する。いくつかの実施形態では、コンピューティングシステム３２は、例えば、訓練について約１６およびバリデーションについて約４のバッチサイズで約１００エポックにわたって自動焦点モデル１００を訓練することができる。試験中、コンピューティングシステム３２は、参照自動焦点合わせアルゴリズム（a reference auto-focus algorithm）によって決定されるとき、最適な焦点位置からの画像の距離を計算し、この距離が対物レンズ１８の被写界深度（ＤｏＦ）内に入るかチェックすることによって、画像が焦点にあるかを評価することができる。例えば、５ｘ対物レンズの場合、距離は、約１２．２μｍである。次いで、コンピューティングシステム３２は、以下のように、焦点が合っている画像の割合を計算することができる。

【数2】

【0034】

いくつかの実施形態では、焦点面を決定するために使用される参照自動焦点合わせアルゴリズムは、Ｔｅｎｅｎｇｒａｄスコアリングメトリックを有するパラボリック探索フォーカス（Parabolic Search Focus）であり得る。

【0035】

いくつかの実施形態では、データセットは、自動検査プラットフォームであるｎＳｐｅｃ（商標）を用いて生成することができる。いくつかの実施形態では、顕微鏡システム１０は、閉じられたＦストップ２４を用いてベア試料を、および開いたＦストップ２４を用いてパターンのある試料を、約５ｘ倍率でスキャンすることができる。図示のように、顕微鏡システム１０は、各試料にわたって広がった複数の位置をスキャンすることができる。各位置において、顕微鏡１０のシステムは、画像のＺスタックを収集することができる。例えば、収集された画像のＺスタックは、位置ごとに合計約６００枚の画像を作製する約１μｍの間隔で、焦点面のあたりで約＋３００μｍから約－３００μｍの範囲内にあり得る。いくつかの実施形態では、２つの近くの画像の近接に関する増分ｚの移動、および訓練セットに関連したｚ移動の決定は、経験に従ってまたは被写界深度（ＤＯＦ）の関数としてのステップサイズの関連によって設定され得る。例えば、特定の対物レンズのＤＯＦが２０μｍである場合、ステップサイズは、ＤＯＦの５％などのＤＯＦの関数として決定することができ、ステップを１μｍであると割り当てる。当業者が認識するように、他の範囲、間隔、および画像が使用されてもよい。いくつかの実施形態では、各画像の寸法は、約２２００ｘ２７５２であり得る。いくつかの実施形態では、各画像は、約１１００ｘ１３７６の単一チャンネル画像の半分にダウンサンプリングされてもよい。サンプル入力画像は、図１に示される。各画像は、ニューラルネットワークへの入力である差分画像を計算するためにそれを上回る約＋１０μｍの画像でペアにされ得る。

【0036】

いくつかの実施形態では、各位置におけるデータは、訓練、バリデーション、および試験のセットにランダムに分けられた。例えば、データは、４００：１００：１００の比で訓練、バリデーション、および試験のセットに分けられてもよい。いくつかの実施形態では、モデルは、初期学習率０．０００１で訓練され、それは、プラトー上で１０分の１に減少した。いくつかの実施形態では、バッチサイズは、訓練セットについて１６に設定され、およびバリデーションセットについて４に設定された。

【0037】

いくつかの実施形態では、予測モデルの精度および速度を確立するために、顕微鏡システム１０は、全てのデータ位置にわたっておよび焦点から様々な距離で複数の試験画像に対して試験を行うことができる。いくつかの実施形態では、システムは、焦点面までの距離のＲＭＳＥ、および焦点内の画像の割合（対物レンズのＤｏＦ内の画像の枚数）を測定することができる。

【0038】

いくつかの実施形態では、比較のために、伝統的な焦点合わせアルゴリズムの精度および速度を確立するために、コンピューティングシステム３２は、複数のランダムな位置で焦点を計算することができる。いくつかの実施形態では、コンピューティングシステム３２は、手動で決定された真の焦点から±３００μｍ、±２００μｍ、±１００μｍ、および０μｍで現在のコントラストベースの自動焦点合わせアルゴリズムパラボリック探索を実行し、その誤差および時間持続期間を測定することができる。

【0039】

コンピューティングシステム３２は、約６．２３μｍのＲＭＳＥで焦点画像の約９５％の精度を実現することができる。従来の手法と比較して、パラボリック自動焦点合わせは、精度９９％、およびＲＭＳＥ５．８９μｍを有した。自動焦点モデル１００は、低い焦点の割合を有することができるが、ＲＭＳＥは、従来の方法のものに類似していた。しかしながら、コンピューティングシステム３２の平均焦点合わせ時間は、約０．７９秒であり、比較において、従来の方法の平均焦点合わせ時間は、２．３秒で３倍遅い。自動焦点モデル１００は、自動焦点合わせ予測を行うために約０．００９秒であり得、時間の残りは、Ｚ軸を移動させ、入力画像を取得することによって占められ得る。したがって、コンピューティングシステム３２は、当分野で現在使用されているものよりもかなり高速であり、コンピューティングシステム３２は、より大きいスループットでの試料検査を可能にし得る。

【0040】

いくつかの実施形態では、焦点が合っている平面を予測することが難しいもののように、コンピューティングシステム３２は、自動焦点モデル１００によって予測される位置まで試料ステージ１６を移動させ、画像を撮り、コントラストスコアリングメトリックを用いて光学系１２の焦点合わせを評価することができる。

【0041】

いくつかの実施形態では、自動焦点モデル１００からの出力は、焦点面までの推定値として働くことができる。コンピューティングシステム３２は、この推定値を使用して、１つまたは複数の高精度焦点合わせアルゴリズムを用いて試料の焦点面を特定することができる。このやり方では、自動焦点モデル１００からの出力は、焦点面までの実際の距離の代わりに、コンピューティングシステム３２が焦点面を特定するための開始位置として働くことができる。

【0042】

いくつかの実施形態では、自動焦点モデル１００からの出力は、焦点面までの真の距離におそらく近い、または焦点面までの真の距離を含む距離の範囲であり得る。この距離の範囲を用いて、コンピューティングシステム３２は、焦点面までの実際の距離を特定するために距離の範囲内で１つまたは複数の高精度焦点合わせアルゴリズムを実施することができる。そのような手法は、例えば、それがコンピューティングシステム３２に焦点距離のより正確な推定値を与えることができるので、役立ち得る。このように、コンピューティングシステム３２は、自動焦点モデル１００を利用して、焦点面までの距離の実際の数値を与える代わりに、ある試料位置で焦点面を評価することができる。

【0043】

図３は、例示実施形態による顕微鏡システム１０の光学系１２を自動的に焦点合わせする方法３００を示す流れ図である。方法３００は、ステップ３０２で始まることができる。

【0044】

ステップ３０２において、コンピューティングシステム３２は、顕微鏡システム１０の試料ステージ１６上に配置された試料の少なくとも２つの画像を受信することができる。いくつかの実施形態では、少なくとも２つの画像は、ｚ方向に一定の距離離れたところで得られ得る。いくつかの実施形態では、少なくとも２つの画像は、試料の焦点面の上方で得られる第１の画像と、試料の焦点面の下方で得られる第２の画像とを含むことができる。いくつかの実施形態では、少なくとも２つの画像は、試料の焦点面の上方で得られ得る。いくつかの実施形態では、少なくとも２つの画像は共に、試料の焦点面の下方で得られ得る。いくつかの実施形態では、少なくとも２つの画像の画像ごとに、試料ステージ１６の位置または試料ステージ１６上の試料は、一定であり得る。いくつかの実施形態では、少なくとも２つの画像の画像ごとに、試料ステージ１６の位置または試料ステージ１６上の試料は、変えられてもよい。

【0045】

いくつかの実施形態では、所与の対物レンズ１８および試料についての複数の焦点面があってもよい。このようにして、コンピューティングシステム３２は、複数の焦点面に基づいて２つ以上の画像のうちの複数のセットを受信することができる。

【0046】

ステップ３０４において、コンピューティングシステム３２は、自動焦点モデル１００に少なくとも２つの画像を与えることができる。自動焦点モデル１００は、試料の焦点面までの距離を特定するように構成された回帰ベースの畳み込みニューラルネットワークを表すことができる。いくつかの実施形態では、試料の焦点面までの距離は、符号付きの差異であり得る。例えば、距離は、試料ステージ１６が正または負の方向に移動されることを必要とするか示すことができる。

【0047】

ステップ３０６において、コンピューティングシステム３２は、試料の焦点面までの距離を特定することができる。例えば、自動焦点モデル１００は、少なくとも２つの画像を分析して、試料の焦点面および焦点面までの符号付きの差異を特定することができる。焦点面までの符号付きの距離は、対物レンズ１８が合焦するために試料ステージ１６が移動し得る距離を示すことができる。いくつかの実施形態では、焦点面までの単一の距離を特定するのではなく、コンピューティングシステム３２は、焦点面までの距離の範囲を特定することができる。例えば、自動焦点モデル１００は、少なくとも２つの画像を分析して、試料の焦点面、および焦点面までの符号付きの距離の範囲を特定することができる。

【0048】

ステップ３０８において、コンピューティングシステム３２は、試料ステージ１６の位置を自動的に調整することができる。例えば、特定された焦点面までの距離に基づいて、コンピューティングシステム３２は、モータ２８および／または駆動機構３０に試料ステージ１６と対物レンズ１８との間の距離を調整させることができる。いくつかの実施形態では、コンピューティングシステム３２は、正の方向に試料ステージ１６を調整することができる。いくつかの実施形態では、コンピューティングシステム３２は、負の方向に試料ステージ１６を調整することができる。

【0049】

図４Ａは、例示実施形態によるシステムバスコンピューティングシステム４００のアーキテクチャを示す。システム４００の１つまたは複数の構成要素は、バス４０５を用いて互いに電気通信していることができる。システム４００は、プロセッサ（例えば、１つまたは複数のＣＰＵ、ＧＰＵ、または他のタイプのプロセッサ）４１０と、システムメモリ４１５、例えば、リードオンリメモリ（ＲＯＭ）４２０およびランダムアクセスメモリ（ＲＡＭ）４２５を含む様々なシステム構成要素をプロセッサ４１０に結合するシステムバス４０５とを含むことができる。システム４００は、プロセッサ４１０と直接接続され、そのすぐ近くに接続され、またはその一部として一体化された高速メモリのキャッシュを含むことができる。システム４００は、プロセッサ４１０による迅速なアクセスのためにメモリ４１５および／または記憶装置４３０からキャッシュ４１２へデータをコピーすることができる。このようにして、キャッシュ４１２は、プロセッサ４１０がデータを待っている間に遅延するのを防ぐ性能ブーストを与えることができる。これらおよび他のモジュールは、様々なアクションを実行するためにプロセッサ４１０を制御するまたは制御するように構成されることが可能である。他のシステムメモリ４１５も、使用のために利用可能であり得る。メモリ４１５は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ４１０は、単一のプロセッサまたは複数のプロセッサを表し得る。プロセッサ４１０は、プロセッサ４１０を制御するように構成された汎用プロセッサ、またはハードウェアモジュールもしくはソフトウェアモジュール、例えば、記憶装置４３０に記憶されたサービス１ ４３２、サービス２ ４３４、およびサービス４ ４３６、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサのうちの１つまたは複数を含むことができる。本質的に、プロセッサ４１０は、マルチコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結したコンピューティングシステムであり得る。マルチコアプロセッサは、対称または非対称であり得る。

【0050】

システム４００とのユーザインタラクションを可能にするために、入力装置４４５は、任意の個数の入力機構、例えば、スピーチ用のマイクロフォン、ジェスチャまたはグラフィカル入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、音声などであり得る。出力装置４３５（例えば、ディスプレイ）も、当業者に知られたいくつかの出力機構の１つまたは複数であり得る。いくつかの例では、多モードのシステムにより、システム４００と通信するために、ユーザが複数のタイプの入力を行うことを可能にし得る。通信インタフェース４４０は、全体的に、ユーザ入力およびシステム出力を支配および管理することができる。いずれかの特定のハードウェア装置上の動作に関する制限はなく、したがって、ここで、基本的な特徴は、それらが開発されるときに、改善されたハードウェア構成またはフォームウェア構成に容易に取って代えられ得る。

【0051】

記憶装置４３０は、不揮発性メモリであり得るものであり、コンピュータによってアクセス可能であるデータを記憶することができるハードディスク、または他のタイプのコンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）４２５、リードオンリメモリ（ＲＯＭ）４２０、およびそれらのハイブリッドであり得る。

【0052】

記憶装置４３０は、プロセッサ４１０を制御するためのサービス４３２、４３４、および４３６を含むことができる。他のハードウェアモジュールまたはソフトウェアモジュールが考えられ得る。記憶装置４３０は、システムバス４０５に接続され得る。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、必要なハードウェア構成要素、例えば、プロセッサ４１０、バス４０５、出力装置４３５（例えば、ディスプレイ）などに関連して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。

【0053】

図４Ｂは、例示実施形態によるチップセットアーキテクチャを有するコンピュータシステム４５０を示す。コンピュータシステム４５０は、開示された技術を実施するために使用され得るコンピュータハードウェア、ソフトウェア、およびファームウェアの一例であり得る。システム４５０は、特定の計算を実行するように構成されたソフトウェア、ファームウェア、およびハードウェアを実行することができる任意の個数の物理的におよび／または論理的に異なるリソースを表す１つまたは複数のプロセッサ４５５を含み得る。１つまたは複数のプロセッサ４５５は、１つまたは複数のプロセッサ４５５への入力、および１つまたは複数のプロセッサ４５５からの出力を制御することができるチップセット４６０と通信することができる。この例では、チップセット４６０は、ディスプレイなどの出力部４６５へ情報を出力し、例えば、磁気媒体およびソリッドステート媒体を含み得る記憶装置４７０への情報を読み書きすることができる。チップセット４６０は、ＲＡＭ４７５からデータを読み込み、ＲＡＭ４７５へデータを書き込むこともできる。種々のユーザインタフェース構成要素４８５とインタフェースをとるブリッジ４８０が、チップセット４６０とインタフェースをとるために設けられ得る。そのようなユーザインタフェース構成要素４８５は、キーボード、マイクロフォン、タッチ検出および処理回路、マウスなどのポインティングデバイスなどを含み得る。概して、システム４５０への入力は、種々のソースのいずれかから来る、機械生成される、および／または人により生成されることが可能である。

【0054】

チップセット４６０は、異なる物理インタフェースを有することができる１つまたは複数の通信インタフェース４９０とインタフェースをとることもできる。そのような通信インタフェースは、有線および無線ローカルエリアネットワークのための、ブロードバンド無線ネットワークのための、ならびにパーソナルエリアネットワークのためのインタフェースを含むこともできる。本明細書中に開示されるＧＵＩを生成、表示、および使用する方法のいくつかの応用は、物理インタフェースを介して命じられたデータセットを受信することを含むことができ、あるいは記憶装置４７０または４７５に記憶されたデータを分析する１つまたは複数のプロセッサ４５５により機械自体によって生成されることができる。さらに、機械は、ユーザインタフェース構成要素４８５を通じてユーザから入力を受信し、１つまたは複数のプロセッサ４５５を用いてこれらの入力を解釈することによってブラウジング機能などの適切な機能を実行することができる。

【0055】

例示システム４００および４５０は、２つ以上のプロセッサ４１０、４５５を有してもよく、あるいはより大きい処理能力を提供するために一緒にネットワーク接続されたコンピューティングデバイスの群またはクラスタの一部であってもよいことが理解できる。

【0056】

上記のとおり、従来の顕微鏡検査の自動焦点合わせ方法は、焦点面を決定するために各画像に対して焦点合わせスコアリングアルゴリズムを実行しつつ、焦軸を通じて時間がかかる掃引を行う。この手順は、試料検査において高速スループット生産スケジュールを妨げる可能性がある。また、それは、光に敏感なサンプルの光退色の量を増大させる。これらの障害を回避するために、本システムは、たった２つの画像の入力が任意の初期位置でとられる場合に、顕微鏡システムのための焦点までの正確な距離を（ワンショットで）予測するために深層学習モデルを実施することができる。自動焦点モデルは、焦点がぼけた画像間のマッピング、および焦点面からの絶対的な距離を学習することができる。自動焦点モデルは、伝統的な手法よりも３倍速い焦点合わせを提供することができ、焦点が合っている画像を生成することにおいて９５％正確である。それは、何らかの誤差をなくすために伝統的な高精度焦点合わせ手法を用いて増大することができる。とりわけ、その速度のため、本方法は、迅速な試料検査、および光に反応する試料サンプルのイメージングにおいて利用され得る。

【0057】

前述のものは、本明細書に記載の実施形態に向けられるが、他のおよびさらなる実施形態は、その基本的な範囲から逸脱することなく考え出され得る。例えば、本開示の態様は、ハードウェア、またはソフトウェア、あるいはハードウェアとソフトウェアの組合せで実施され得る。本明細書に記載の一実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、（本明細書に記載の方法を含む）実施形態の機能を定義し、種々のコンピュータ可読記憶媒体上に含まれることが可能である。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が恒久的に記憶される書き込み不可の記憶媒体（例えば、コンピュータ内のリードオンリメモリ（ＲＯＭ）デバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、フラッシュメモリ、ＲＯＭチップ、または任意のタイプのソリッドステート不揮発性メモリ）、および（ｉｉ）変更可能な情報が記憶される書き込み可能な記憶媒体（例えば、ディスケットドライブ内のフロッピーディスク、またはハードディスクドライブ、あるいは任意のタイプのソリッドステートランダムアクセスメモリ）を含むが、これらに限定されない。そのようなコンピュータ可読記憶媒体は、開示された実施形態の機能を命じるコンピュータ可読命令を保持するときに、本開示の実施形態である。

【0058】

前述の例は、例示的であり、限定するものではないことが当業者によって理解されよう。それに対しての全ての置換、拡張、均等、および改善は、本明細書を読み、図面を研究すると、当業者に明らかであり、本開示の真の精神および範囲内に含まれることが意図される。したがって、以下の添付された特許請求の範囲は、これらの教示の真の精神および範囲内に入る全てのそのような修正、置換、および均等を含むことが意図される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【国際調査報告】