特開 2022-50565 超解像イメージングの精度に関するフィードバックを行い、その精度を改善するためのシステム、デバイス、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022050565

(43)【公開日】2022-03-30

(54)【発明の名称】超解像イメージングの精度に関するフィードバックを行い、その精度を改善するためのシステム、デバイス、および方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220323BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2022001823

(22)【出願日】2022-01-07

(62)【分割の表示】P 2020572647の分割

【原出願日】2019-05-21

(31)【優先権主張番号】16/027,056

(32)【優先日】2018-07-03

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

２．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】特許業務法人永井国際特許事務所

(72)【発明者】

【氏名】プットマン，マシュー シー

(72)【発明者】

【氏名】プットマン，ジョン ビー

(72)【発明者】

【氏名】ピンスキー，バディム

(72)【発明者】

【氏名】サッカー，ジョセフ アール

(57)【要約】      （修正有）

【課題】超解像イメージングの精度に関するフィードバックをするため、およびその精度を改善するためのシステム、方法及びコンピュータ可読媒体を提供する。
【解決手段】方法は、検体の低解像度画像を、顕微鏡検査システムの低解像度対物レンズを用いて取得し、検体の少なくとも一部の超解像画像を、超解像画像シミュレーションを用いて検体の低解像度画像から生成し、超解像画像の精度評価を、シミュレートした、画像分類器を用いて特定した１つ又は複数の関連した検体の少なくとも一部の超解像画像と実際にスキャンされた１つ又は複数の高解像度画像との間の１つ又は複数の同等性の程度に基づいて特定し、超解像画像の精度評価に基づいて、超解像画像をさらに処理するか否か決定する。超解像画像は、超解像画像をさらに処理することが決定された場合、さらに処理することができる。
【選択図】図３

【特許請求の範囲】

【請求項1】

検体についての超解像画像を検体の低解像度画像に基づいて超解像システムによって生成する方法であって、
顕微鏡検査システムの低解像度対物レンズを用いて検体の低解像度画像を取得するステップと、
超解像画像シミュレーションを用いて検体の低解像度画像から検体の少なくとも一部の超解像画像を生成するステップと、
シミュレートされた画像分類器を用いて特定された１つまたは複数の関連する検体の少なくとも一部の実際にスキャンされた１つまたは複数の高解像度画像と超解像画像との間の１つまたは複数の同等性の程度に基づいて超解像画像の精度評価を特定するステップと、
超解像画像の精度評価に基づいて超解像画像をさらに処理するか否か決定するステップと、
超解像画像をさらに処理することが決定された場合、超解像画像をさらに処理するステップとを含む方法。

【請求項2】

超解像画像の精度評価に基づいて超解像画像をさらに処理することが決定された場合、顕微鏡検査システムの高解像度対物レンズを用いて検体の少なくとも一部の１つまたは複数の高解像度画像を取得するステップと、
検体の少なくとも一部の１つまたは複数の高解像度画像および超解像画像をアセンブルして、超解像画像をさらに処理するステップの一部として検体の少なくとも一部の単一のコヒーレント画像を形成するステップと
をさらに含む、請求項１に記載の方法。

【請求項3】

高解像度対物レンズを用いて取得された検体の少なくとも一部の１つまたは複数の高解像度画像が、低解像度画像中の１つまたは複数のアーティファクトの高解像度画像である、請求項２に記載の方法。

【請求項4】

検体の少なくとも一部の単一のコヒーレント画像中のアーティファクトの総数を特定するステップと、
単一のコヒーレント画像中のアーティファクトの総数を予め定められたアーティファクト許容数と比較して、単一のコヒーレント画像中のアーティファクトの総数と予め定められたアーティファクト許容数との関連を判定するステップと、
単一のコヒーレント画像中のアーティファクトの総数と予め定められたアーティファクト許容数との関連に従って検体の１つまたは複数の低解像度画像に基づいて検体についての１つまたは複数の高解像度画像を生成するように超解像システムの動作をさらに制御するステップと
をさらに含む、請求項２に記載の方法。

【請求項5】

予め定められたアーティファクト許容数は、１つまたは複数の関連した検体、業界ガイドライン、ハードウェアの制約、ファームウェアの制約、ソフトウェアの制約、および顕微鏡検査システムの操作者の制約に関連付けられたアーティファクトの１つまたは複数の許容数に基づいて予め定められる、請求項４に記載の方法。

【請求項6】

低解像度画像中の１つまたは複数のアーティファクトを検出するステップと、
低解像度画像から検体の少なくとも一部の超解像画像の生成についての１つまたは複数のアーティファクトの適合性を特定するステップと、
超解像画像の生成についての１つまたは複数のアーティファクトの適合性に基づいて超解像画像をさらに処理するか否か決定するステップと
をさらに含む、請求項１に記載の方法。

【請求項7】

１つまたは複数のアーティファクトが、超解像画像を生成するのに適していないと特定される、請求項６に記載の方法。

【請求項8】

超解像画像の生成についての１つまたは複数のアーティファクトの適合性に基づいて超解像画像をさらに処理することが決定された場合、顕微鏡検査システムの高解像度対物レンズを用いて１つまたは複数のアーティファクトの１つまたは複数の高解像度画像を取得するステップと、
１つまたは複数のアーティファクトの１つまたは複数の高解像度画像および超解像画像をアセンブルして、超解像画像をさらに処理するステップの一部として検体の少なくとも一部の単一のコヒーレント画像を形成するステップと
をさらに含む、請求項７に記載の方法。

【請求項9】

超解像画像の生成についての１つまたは複数のアーティファクトの適合性は、超解像イメージングに適している既知のアーティファクトの第１の群、および超解像イメージングに適していない既知のアーティファクトの第２の群からトレーニングされた適合性分類器によって特定される、請求項６に記載の方法。

【請求項10】

シミュレートされた画像分類器は、２つ以上の異なる画像信頼度の判定において複数の既知の超解像画像を用いてトレーニングされる、請求項１に記載の方法。

【請求項11】

低解像度対物レンズ、および
高解像度対物レンズ
を備えた検体を検査するための顕微鏡検査システムと、
１つまたは複数のプロセッサと、
内部に命令を記憶した少なくとも１つのコンピュータ可読記憶媒体と、
を備える超解像システムであり、命令は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、
顕微鏡検査システムの低解像度対物レンズを用いて検体の低解像度画像を取得することと、
超解像画像シミュレーションを用いて検体の低解像度画像から検体の少なくとも一部の超解像画像を生成することと、
１つまたは複数の関連した検体の少なくとも一部の実際にスキャンされた１つまたは複数の高解像度画像と超解像画像との間の１つまたは複数の同等性の程度に基づいて超解像画像の精度評価を特定することと、
超解像画像の精度評価に基づいて超解像画像をさらに処理するか否か決定することと、
超解像画像をさらに処理することが決定された場合、超解像画像をさらに処理することと、
を含む動作を実行させる、超解像システム。

【請求項12】

命令は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、
超解像画像の精度評価に基づいて超解像画像をさらに処理することが決定された場合、顕微鏡検査システムの高解像度対物レンズを用いて検体の少なくとも一部の１つまたは複数の高解像度画像を取得することと、
検体の少なくとも一部の１つまたは複数の高解像度画像および超解像画像をアセンブルして、超解像画像をさらに処理するステップの一部として検体の少なくとも一部の単一のコヒーレント画像を形成することと、
を含む動作をさらに実行させる、請求項１１に記載のシステム。

【請求項13】

高解像度対物レンズを用いて取得された検体の少なくとも一部の１つまたは複数の高解像度画像は、低解像度画像中の１つまたは複数のアーティファクトの高解像度画像である、請求項１２に記載のシステム。

【請求項14】

命令は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、
検体の少なくとも一部の単一のコヒーレント画像中のアーティファクトの総数を特定することと、
単一のコヒーレント画像中のアーティファクトの総数を予め定められたアーティファクト許容数と比較して、単一のコヒーレント画像中のアーティファクトの総数と予め定められたアーティファクト許容数との関連を判定することと、
単一のコヒーレント画像中のアーティファクトの総数と予め定められたアーティファクト許容数との関連に従って検体の１つまたは複数の低解像度画像に基づいて検体についての１つまたは複数の高解像度画像を生成するように超解像システムの動作をさらに制御することと、
を含む動作をさらに実行させる、請求項１２に記載のシステム。

【請求項15】

命令は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、
低解像度画像中の１つまたは複数のアーティファクトを検出することと、
低解像度画像から検体の前少なくとも一部の超解像画像の生成についての１つまたは複数のアーティファクトの適合性を特定することと、
超解像画像の生成についての１つまたは複数のアーティファクトの適合性に基づいて超解像画像をさらに処理するか否か決定することと
を含む動作をさらに実行させる、請求項１１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１８年７月３日に出願された米国特許出願第１６／０２７，０５６号の優先権を主張するものであり、その内容全体が参照により本明細書に組み込まれる。

【0002】

本開示は、超解像イメージングの精度に関するフィードバックを行い、その精度を改善することに関する。

【背景技術】

【0003】

均一性および異常の検出についての材料の検査は、製造から生物学に至る科学まで及ぶ分野において重要である。検査は、検体（a specimenであり標本でもよい）を試験および測定するための顕微鏡検査システムをしばしば用いる。検体は、本明細書で使用されるとき、試験の対象（例えば、ウェハ、基板など）を指し、アーティファクト（artifact）は、検体、検体の一部、検体中の特徴、異常、および／または欠陥を指す。例えば、アーティファクトは、トランジスタ、抵抗器、コンデンサ、集積回路、マイクロチップなどの電子デバイス、癌細胞などの生物学的異常、または亀裂、ひっかき傷、欠損などのバルク材料中の欠陥であり得る。

【0004】

顕微鏡検査システムは、裸眼で見ることができることを強化するために使用され得る。具体的には、顕微鏡検査システムは、人が見ることができる細部の量（例えば、光学解像度）を増大させることによって、対象、例えば、特徴および異常を拡大することができる。本明細書で使用されるとき、光学解像度は、人間によって分離した点としてまだ知覚できる２つの分離した点としてまだなお区別することができる検体上の２点間の最小距離を指す。光学解像度は、数あるパラメータの中でも対物レンズの開口数によって影響を受け得る。典型的には、対物レンズの開口数がより高くなると、その対物レンズで得ることができる検体の解像度がより良くなる。単一の顕微鏡検査システムは、２つ以上の対物レンズを有することができ、各対物レンズは、異なる分解能を有する。典型的には、より高い解像度の対物レンズは、より低い解像度の対物レンズよりもより詳細に取り込む。しかしながら、より高い解像度の対物レンズは、例えばその視野がより小さいので、典型的には、より低い解像度の対物レンズよりも検体をスキャンするのにかなり長くかかる。

【0005】

速度を犠牲にすることなく、より高い解像度の対物レンズにより取り込まれた画像、または超解像技法を用いて生成された画像などのより高い解像度の画像を得るために、人工知能モデルを使用して、低解像度画像から超解像画像を推測およびシミュレートすることができる。そのような方法は、より高い解像度の対物レンズを用いて検体を実際にスキャンすることなく、代わりに、検体、例えば低解像度画像中の検出されたアーティファクトの低解像度画像の全部または一部を使用することによって実現できる。これらの方法は、本明細書中で交換可能に、超解像、超解像シミュレーション、超解像生成、高解像度シミュレーションと呼ばれ、これらの方法によって生成される画像は、本明細書中で交換可能に、例えば、高解像度のシミュレーションを用いてシミュレートされている超解像画像および高解像度画像と呼ばれる。本明細書で使用されるとき、超解像画像は、顕微鏡法システムの解像限界よりも高い解像度で生成される画像を含むことができる。具体的には、超解像画像は、所与の顕微鏡法システムの回析限界を超えた解像度における画像、または所与の顕微鏡法システムのデジタル画像センサの限界を超えて生成される画像を含むことができる。本明細書で使用されるとき、超解像画像は、所与の顕微鏡法システムの解像限界内であるが、低解像度画像よりも高い解像度でシミュレートされる画像を含むこともできる（例えば、超解像画像は、顕微鏡法システムが撮像できる最高解像度でシミュレートされる画像であり得る）。

【0006】

しかしながら、低解像度で検出可能な全てのアーティファクトが、正確な超解像画像を生成するのに良好な候補ではない。例えば、低解像度倍率を用いて検出されるアーティファクトは、高解像度倍率によって検出される多くのアーティファクトに対応することができ、アーティファクトの低解像度画像において欠いている場合があるさらなる情報を用いずに、例えば高解像度シミュレーションを用いて低解像度画像の正確な超解像画像を生成することができない可能性があり得る。

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、低解像度倍率で発見されるどのアーティファクトが超解像画像を生成するのに適切であるかまたは適切でないかについてフィードバックを行う新しい機構を提供することが望ましい。さらに、生成される超解像画像の精度を改善することが望ましい。

【課題を解決するための手段】

【0008】

本開示の様々な実施形態が、以下に詳細に説明される。特定の実施が説明されるが、これは、例示の目的のためにのみされていることを理解されたい。関連分野における当業者は、本開示の趣旨および範囲を逸脱することなく、他の構成要素および構成を使用し得ることを理解するであろう。したがって、下記の説明および図面は、例示であり、限定と解釈されるべきではない。本開示の完全な理解を与えるために、多くの具体的な詳細が説明される。しかしながら、いくつかの例では、説明を不明瞭にするのを防ぐためによく知られているまたは従来の詳細は説明されていない。本開示の１つの実施形態または一実施形態の参照は、同じ実施形態またはいずれかの実施形態の参照であってもよく、そのような参照は、複数の実施形態のうちの少なくとも１つの実施形態を意味する。

【0009】

「１つの実施形態」または「一実施形態」の参照は、この実施形態に関連して説明されたある特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。本明細書中の様々な場所における「１つの実施形態における」という語句の出現は、必ずしも全てが、同じ実施形態を指すものではなく、他の実施形態を相互に除外する別々のまたは代替の実施形態でもない。また、いくつかの実施形態によって示すことができ、他のものによって示すことができない様々な特徴が記載されている。

【0010】

本明細書中で使用される用語は、本開示の内容の範囲内でおよび各用語が使用される特定の文脈内で一般には当業界で通常の意味を有する。本明細書中で説明される用語のうちの任意の１つまたは複数について代替の言葉および同義語が使用されてもよく、用語が本明細書中で詳述または議論されているか否かに関して特別の意義が置かれるべきでない。いくつかの場合には、いくつかの用語についての同義語が与えられる。１つまたは複数の同義語の列挙は、他の同義語の使用を除外しない。本明細書中で説明されるいずれかの用語の例を含む本明細書中のどこかにおける例の使用は、例示に過ぎず、本開示または任意の例示の用語の範囲および意味をさらに限定するものではない。同様に、本開示は、本明細書中で与えられる様々な実施形態に限定されない。

【0011】

本開示の範囲を限定する意図はなく、以下、本開示の実施形態による装置、機器、方法、およびそれらの関連した結果の例が与えられる。見出しまたは小見出しは、読者の便宜のために例で使用されてもよく、これにより、決して本開示の範囲を限定するべきでないことに留意されたい。特段の定めがない限り、本明細書中で使用される科学技術用語は、本開示に関係する当業者によって一般に理解されている意味を有する。争いがある場合、定義を含む現在の文献が適用される。

【0012】

本開示のさらなる特徴および利点は、後述する説明に記載され、一部はこの説明から明らかであり、または本明細書に開示された原理を実施することによって学習することができる。本開示の特徴および利点は、添付の特許請求の範囲に特に指し示された装置および組合せによって実現され、得ることができる。本開示のこれらおよび他の特徴は、後述の説明および添付の特許請求の範囲からより十分に明らかになり、または本明細書に記載された原理の実施により知ることができる。

【0013】

方法は、顕微鏡検査システムの低解像度対物レンズを用いて検体の低解像度画像を取得することを含むことができる。検体の少なくとも一部の超解像画像は、超解像シミュレーションを用いて低解像度画像から生成することができる。さらに、生成された超解像画像の精度評価は、シミュレートされた画像分類器を用いて特定された１つまたは複数の関連した検体の少なくとも一部の実際にスキャンされた１つまたは複数の高解像度画像と超解像画像との間の１つまたは複数の同等性の程度に基づいて特定することができる。この方法は、超解像画像の精度評価に基づいて超解像画像をさらに処理するか判定することを含むこともできる。その後、超解像画像は、超解像画像をさらに処理することが判定された場合、さらに処理することができる。

【0014】

システムは、検体を検査する顕微鏡検査システムと、１つまたは複数のプロセッサと、少なくとも１つのコンピュータ可読記憶媒体とを含むことができる。顕微鏡検査システムは、低解像度対物レンズ、および高解像度対物レンズを備えることができる。コンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、顕微鏡検査システムの低解像度対物レンズを用いて検体の低解像度画像を取得させる命令を記憶することができる。この命令は、１つまたは複数のプロセッサに、超解像シミュレーションを用いて低解像度画像から検体の少なくとも一部の超解像画像をさらに生成させることができる。さらに、上記命令は、１つまたは複数のプロセッサに、シミュレートされた画像分類器を用いて特定された１つまたは複数の関連した検体の少なくとも一部の実際にスキャンされた１つまたは複数の高解像度画像と超解像画像との間の１つまたは複数の同等性の程度に基づいて生成された超解像画像の精度評価を生成させることができる。１つまたは複数のプロセッサは、コンピュータ可読記憶媒体に記憶された命令の実行に従って、超解像画像の精度評価に基づいて超解像画像をさらに処理するか否か判定することもできる。その後、超解像画像は、超解像画像をさらに処理することが判定された場合、１つまたは複数のプロセッサによってさらに処理することができる。

【0015】

非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行されるときに、１つまたは複数のプロセッサに、検体の低解像度画像に基づいて検体についての超解像画像を生成する動作を実行させる命令を含むことができる。具体的には、この命令は、１つまたは複数のプロセッサに、顕微鏡検査システムの低解像度対物レンズによって取り込まれる検体の低解像度画像を受信させることができる。上記命令は、１つまたは複数のプロセッサに、超解像シミュレーションを用いて検体の低解像度画像から検体の少なくとも一部の超解像画像を生成させることもできる。さらに、上記命令は、１つまたは複数のプロセッサに、超解像画像とシミュレートされた画像分類器を用いて特定された１つまたは複数の関連した検体の少なくとも一部の実際にスキャンされた１つまたは複数の高解像度画像との間の１つまたは複数の同等性の程度に基づいて超解像画像の精度評価を特定させることができる。上記命令は、１つまたは複数のプロセッサに超解像画像の精度に基づいて超解像画像をさらに処理するか判定させることもできる。したがって、命令は、超解像画像をさらに処理することが判定された場合、１つまたは複数のプロセッサに、超解像画像をさらに処理させることもできる。

【0016】

本開示の上述したおよび他の利点および特徴を得ることができるやり方を説明するために、簡潔に上述した原理のより詳細な説明は、添付図面に例示されている本開示の特定の実施形態を参照してなされる。これらの図面は本開示の例示の各実施形態を示しているのに過ぎず、したがって本開示の範囲の限定であるとみなされるべきではないと理解するものであり、本明細書の原理は、添付図面を用いることによってさらなる具体性および詳細で記載および説明される。

【図面の簡単な説明】

【0017】

【図1】超解像画像を生成する一例示の超解像システムを示す図である。

【0018】

【図2A】開示した主題事項のいくつかの実施形態による顕微鏡検査システムの全体的な構成の側面図である。

【0019】

【図2B】開示した主題事項のいくつかの実施形態による顕微鏡検査システムの全体的な構成の正面図である。

【0020】

【図3】超解像画像フィードバック制御を用いるための一例示の動作の流れ図である。

【0021】

【図4】超解像画像フィードバック制御を用いて超解像画像生成を制御する一例示のコンピュータシステムを示す図である。

【0022】

【図5】超解像画像フィードバック制御を行うのに使用するための適合性分類器をトレーニングするスキームを示す図である。

【0023】

【図6】解像画像フィードバック制御を行うのに使用するためのシミュレートされた画像分類器をトレーニングするスキームを示す図である。

【発明を実施するための形態】

【0024】

開示した主題事項のいくつかの実施形態による、低解像度倍率で発見されたアーティファクトが超解像画像を生成するのに適しているかまたは適していないか、超解像画像で発見されたこのアーティファクトはより高い解像度の対物レンズを用いて再スキャンされるべきかに関するフィードバックを行い、生成された超解像画像の精度を改善する（システム、方法、デバイス、機器などを含み得る）機構が提供される。このタイプのフィードバックは、例えば、検体の適切な部分について超解像を選択的に用い、低解像度と高解像度の両方で検体の問題部分を特定し、それらの問題エリアについて人工知能モデルをトレーニングして、より正確な超解像画像を生成するのに役立つ。

【0025】

本明細書に開示されるように、いくつかの実施形態では、低解像度画像から超解像画像を生成し、正確な超解像画像を生成する見込みがない検体の低解像度スキャン中のアーティファクトを判定し、超解像画像についての画像グレードを判定し、この画像グレードに基づいて、高解像度倍率を用いてどのアーティファクトがスキャンされる必要があるのかを判定するために人工知能が使用され得る。人工知能アルゴリズムは、機械学習、隠れマルコフモデル、回帰型ニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンシンボリック法、敵対的ジェネラルネットワーク、サポートベクターマシン、および／または任意の他の適切な人工知能アルゴリズムのうちの１つまたは複数を単独または組合せで含むことができる。

【0026】

図１は、開示した主題事項のいくつかの実施形態による顕微鏡検査システム１１０および／またはコンピュータシステム１５０への超解像フィードバック制御を実施することができる一例示の超解像システム１００を示す。超解像フィードバック制御は、検体の低解像度スキャン後に、正確な超解像画像を生成する可能性が低く、より高い解像度でスキャンされるべきであるアーティファクトを判定し、超解像画像についての画像グレードを判定し、画像グレードに基づいてどのアーティファクトがより高い解像度でスキャンされるべきか判定することと、アーティファクトの総数を同様の検体についての許容値または超解像システム１００について定められた許容値と比較することと、および／または問題の検体の各エリアについて取り込まれたより高い解像度の画像を使用して人工知能モデルをトレーニングし、これによってこれらの問題のエリアについてより正確な超解像画像を生成することとを含むことができる。

【0027】

いくつかの実施形態によれば、高いレベルでは、超解像システム１００の基本構成要素は、顕微鏡検査システム１１０と、コンピュータシステム１５０とを含む。顕微鏡検査システム１１０は、検体に光を与えるための照明源１１５と、撮像デバイス１２０と、ステージ１２５と、低解像度対物レンズ１３０と、高解像度対物レンズ１３２、１３５と、ハードウェア、ソフトウェア、および／またはファームウェアを備えた制御モジュール１４０とを備えることができる。

【0028】

顕微鏡検査システム１１０は、任意の適切なタイプの顕微鏡の一部として実施することができる。例えば、いくつかの実施形態では、システム１１０は、透過光または反射光を使用する光学顕微鏡の一部として実施することができる。より詳細には、システム１００は、オハイオ州Ｃｕｙａｈｏｇａ ＦａｌｌｓのＮａｎｏｔｒｏｎｉｃｓ Ｉｍａｇｉｎｇ， Ｉｎｃ．から市販のｎＳｐｅｃ（登録商標）光学顕微鏡の一部として実施することができる。顕微鏡検査システムは、焦点顕微鏡または２光子励起顕微鏡の一部として実施することもできる。

【0029】

図２Ａ（側面図）および図２Ｂ（正面図）は、開示した主題事項のいくつかの実施形態による、顕微鏡検査システム１１０の一実施形態の一般的な構成を示す。いくつかの実施形態によれば、顕微鏡検査システム１１０は、２つ以上の対物レンズ１３０、１３２、および１３５を備えることができる。対物レンズ１３０、１３２、および１３５は、異なる分解能を有することができる。対物レンズ１３０、１３２、および１３５は、異なる拡大倍率を有することもでき、および／または明視野／暗視野顕微鏡法、微分干渉コントラスト（ＤＩＣ）顕微鏡法、および／または蛍光を含む任意の他の適切な顕微鏡の形態を用いて動作するように構成することもできる。いくつかの実施形態では、検体の高解像度スキャニングは、走査型電子顕微鏡（ＳＥＭ）、透過型電子顕微鏡（ＴＥＭ）、および／または原子間力顕微鏡（ＡＦＭ）のような高解像度顕微鏡を使用することによって実行することができる。いくつかの実施形態では、高解像度顕微鏡は、低解像度顕微鏡法（例えば、５ｘ）よりも２倍大きい拡大倍率（例えば、１０ｘ）を有する顕微鏡であり得る。いくつかの実施形態では、検体を検査するために使用される対物レンズおよび／または顕微鏡技法は、ソフトウェア、ハードウェア、ファームウェア／またはファームウェアによって制御することができる。いくつかの実施形態では、高解像顕微鏡法は、低解像度顕微鏡法とは別の単独のシステムで実行することができる。他の実施形態では、低解像度対物レンズ１３０ならびにより高い解像度の対物レンズ１３２および１３５は、顕微鏡検査ユニット内に共に存在することが可能であり、ノーズピース１１９に結合することができる。

【0030】

いくつかの実施形態では、ＸＹ平行移動ステージが、ステージ１２５のために使用され得る。ＸＹ平行移動ステージは、ステッピングモータ、サーボモータ、リニアモータ、ピエゾモータ、および／または任意の他の適切な機構によって駆動することができる。いくつかの実施形態では、ＸＹ平行移動ステージは、任意の適切なコントローラの制御下で検体をＸ軸方向および／またはＹ軸方向に移動させるように構成することができる。アクチュエータは、例えば、０から５ｍｍ、０から１０ｍｍ、０から３０ｍｍ、および／または任意の他の適切な距離範囲の粗い焦点調整を行うために使用することができる。いくつかの実施形態では、アクチュエータは、例えば、０から５０μｍ、０から１００μｍ、０から２００μｍ、および／または任意の他の適切な距離範囲の精密合焦を行うために使用することもできる。いくつかの実施形態では、顕微鏡検査システム１１０は、ステージ１２５を対物レンズ１３０、１３２、および１３５に向けておよびそれらから離れるようにｚ方向に調整する、ならびに／または対物レンズ１３０、１３２、および１３５をステージ１２５に向けておよびそれらから離れるように調整する合焦機構を備えることができる。

【0031】

照明源１１５は、輝度、使用される光源の個数、ならびに／または照明の位置および角度によって変更することができる。光源１１７は、反射光照明器１１８を通じて光を伝達することができるとともに、検体の一部を照明するために使用することができ、これによって光は、チューブレンズ１２３を通じて撮像デバイス１２０（例えば、カメラ１２２）へ上に反射され、撮像デバイス１２０は、検体の画像および／または映像を取り込むことができる。いくつかの実施形態では、使用される光源は、白色光コリメート式発光ダイオード（ＬＥＤ）、紫外線コリメート式ＬＥＤ、レーザー、または蛍光であり得る。

【0032】

いくつかの実施形態では、撮像デバイス１２０は、画像センサを含むカメラであり得る。画像センサは、例えば、ＣＣＤ、ＣＭＯＳ画像センサ、および／または光を１つまたは複数の電気信号に変換する任意の他の適切な電子デバイスであり得る。そのような電気信号は、検体の画像および／または映像を形成するために使用され得る。

【0033】

検体の１つまたは複数の３次元トポグラフィ画像を生成するために、ディファレントトポグラフィ撮像技法（限定するものではないが、シェープ・フロム・フォーカス・アルゴリズム、シェープ・フロム・シェーディング・アルゴリズム、フォトメトリック・ステレオ・アルゴリズム、およびフーリエ・タイコグラフィ変調アルゴリズムを含む）が、照明光の予め定められたサイズ、個数、および位置と共に使用され得る。

【0034】

いくつかの実施形態では、コントローラおよびコントローラインタフェースを備えた制御モジュール１４０は、超解像システム１００（例えば、照明源１１５、対物レンズ１３０、１３２、および１３５、ステージ１２５、撮像デバイス１２０）、ならびに通信、動作（例えば、画像の撮影、照明源のオンオフ、ステージ１２５および／または対物レンズ１３０、１３２、および１３５の移動）の任意の設定を制御することができる。制御モジュール１４０は、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＧＰＡ）、およびデジタル信号プロセッサ（ＤＳＰ）（そのいずれもが、ハードウェアプロセッサと呼ばれ得る）、エンコーダ、エンコーダを読む回路、メモリデバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）、および／またはフラッシュメモリを含む）、ならびに／あるいは任意の他の適切なハードウェア要素などの（いくつかの実施形態ではソフトウェアを実行することができる）任意の適切なハードウェアを含むことができる。いくつかの実施形態では、超解像システム１００内の個々の構成要素は、個々の構成要素を制御するためのそれ自体のソフトウェア、ファームウェア、および／またはハードウェアを含み、超解像システム１００内の他の構成要素と通信することができる。

【0035】

いくつかの実施形態では、制御モジュール（例えば、コントローラ、およびコントローラインタフェース）と超解像システム１００の構成要素との間の通信は、アナログ技術（例えば、リレーロジック）、デジタル技術（例えば、ＲＳ２３２、イーサネット、またはワイヤレス）、ネットワーク技術（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット）Ｂｌｕｅｔｏｏｔｈ技術、近接場通信技術、セキュアＲＦ技術、および／または任意の他の適切な通信技術などの任意の適切な通信技術を使用することができる。

【0036】

いくつかの実施形態では、操作者の入力は、任意の適切な入力装置（例えば、キーボード、マウス、またはジョイスティック）を用いて制御モジュール１４０に通信することができる。

【0037】

超解像システム１００のコンピュータシステム１５０は、アナログ技術（例えば、リレーロジック）、デジタル技術（例えば、ＲＳ２３２、イーサネット、またはワイヤレス）、ネットワーク技術（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット）Ｂｌｕｅｔｏｏｔｈ技術、近接場通信技術、セキュアＲＦ技術、および／または任意の他の適切な通信技術などの任意の適切な通信技術を用いて任意の適切なやり方で顕微鏡検査システム１１０に結合することができる。コンピュータシステム１５０、およびコンピュータシステム１５０内のモジュールは、顕微鏡検査システム１１０によって出力されるおよび／またはコンピュータ可読媒体によって記憶される画像を用いて、本明細書にさらに記載されるいくつかの機能を実行するように構成することができる。

【0038】

コンピュータシステム１５０は、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＧＰＡ）、およびデジタル信号プロセッサ（ＤＳＰ）（そのいずれもが、ハードウェアプロセッサと呼ばれ得る）、エンコーダ、エンコーダを読む回路、メモリデバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）、および／またはフラッシュメモリを含む）、ならびに／あるいは任意の他の適切なハードウェア要素などの（いくつかの実施形態ではソフトウェアを実行することができる）任意の適切なハードウェアを含むことができる。

【0039】

コンピュータ可読媒体は、コンピュータがアクセスできる任意の利用できる媒体とすることができ、揮発性媒体と不揮発性媒体、リムーバブルと非リムーバブル媒体の両方を含むことができる。例によって、および非限定で、コンピュータ可読媒体は、コンピュータ記憶媒体、および通信媒体を含み得る。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性と不揮発性、リムーバブルと非リムーバブル媒体の両方を含む。コンピュータ記憶媒体は、所望の情報を記憶するために使用され得るとともに、コンピュータがアクセスすることができるＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ－ＲＯＭ、デジタルビデオディスク（ＤＶＤ）、または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気ストレージデバイス、または任意の他の媒体を含むが、これらに限定されない。

【0040】

いくつかの実施形態によれば、コンピュータシステム１５０は、アーティファクト適合性解析モジュール１６０と、超解像モジュール１７０と、超解像解析モジュール１８０と、画像アセンブリモジュール１９０と、アーティファクト比較モジュール１９５とを備えることができる。

【0041】

図３は、図１、図２Ａ、図２Ｂ、図４をさらに参照して、開示した主題事項のいくつかの実施形態による、超解像フィードバック制御を用いた超解像動作３００の一例を高いレベルで示す。いくつかの実施形態では、超解像動作３００は、超解像システム１００を使用することができる。開示した主題事項のいくつかの実施形態によるコンピュータシステム１５０の各モジュールをどのように構成できるかについて説明するさらなる詳細が、図４に関連して説明される。

【0042】

３１０において、顕微鏡検査システム１１０は、低解像度対物レンズ１３０を用いて検体をスキャンすることができる。いくつかの実施形態では、検体は、検体の表面全体または所望のエリアがスキャンされるまで、撮像デバイス１２０および／またはステージ１２５をＸ／Ｙ方向に移動させることによってスキャンされ得る。いくつかの実施形態では、１つまたは複数の検体の各エリアは、異なる焦点レベルを用い、ステージ１２５および／または低解像度対物レンズ１３０をＺ方向に移動させることによってスキャンすることができる。撮像デバイス１２０は、スキャンされた検体の低解像度画像を取り込み、生成することができる。

【0043】

３２０において、アーティファクト適合性解析モジュール１６０は、人工知能アルゴリズムおよび／または（本明細書でさらに説明されるような）他の適したコンピュータプログラムを使用して、生成された低解像度画像中のアーティファクトを検出し、超解像イメージングのためにその適合性を判定することができる。いくつかの実施形態では、適合性は、アーティファクトと超解像イメージングに適しているまたは適していないと評価された既知のアーティファクトとの相互相関に基づくことができる。本明細書で参照されるとき、相互相関は、一方の他方に対する変位の関数としての２つの系列（例えば、２つの画像）の類似の尺度であり得る。より具体的には、試験されているアーティファクトの画像および既知のアーティファクトの画像は、それぞれ画素あたりの強度値（０～２５５）の行列を表し、相互相関は、各画素において画像がどのくらい異なるまたは類似するのかに関係した値を特定することができる。

【0044】

いくつかの実施形態では、適切な既知のアーティファクトは、超解像画像が生成され、これらの画像が、例えば、高い画像グレードを有する高い信頼度の超解像画像であると判定されたアーティファクトであり得る。逆に、既知の適していないアーティファクトは、超解像画像が生成され、これらの画像が、例えば、低い画像グレードを有する低い信頼度の超解像画像であると判定されたアーティファクトであり得る。高い信頼度および低い信頼度の超解像画像、ならびに対応する画像グレードは、本明細書でさらに説明される。

【0045】

本明細書で説明される技法は、アーティファクトが超解像シミュレーションにおける使用に適しているか特定するために参照されるが、様々な実施形態では、この技法は、超解像シミュレーションにおける使用のためにアーティファクトの適合性を判定するステップなしで実行されてもよい。

【0046】

３３０において、高解像度対物レンズ（例えば、高解像度対物レンズ１３２または１３５）は、アーティファクト適合性解析モジュール１６０によって適していないと判定されたアーティファクトをスキャンすることができ、撮像デバイス１２０は、スキャンされたアーティファクトの高解像度画像を取り込み、生成することができる。いくつかの実施形態では、生成された高解像度画像は、フィードバックとしてアーティファクト適合性解析モジュール１６０に与えることができ、それによって超解像イメージングについてのアーティファクトの適合性を判定するさらなる内容データを与え、超解像モジュール１７０がその精度を改善し、および／または超解像解析モジュール１８０が超解像画像の画像グレードを判定するためにさらなる内容データを与える。高解像度画像は、単一のコヒーレント画像に組み込む、例えば、スキャンされた検体の１つまたは複数の超解像画像と１つまたは複数の高解像度画像を合成するために画像アセンブリモジュール１９０へ与えることもできる。

【0047】

３４０において、超解像モジュール１７０は、１つまたは複数の超解像アルゴリズムを用いて、検体全体についての超解像画像、またはアーティファクト適合性解析モジュール１６０によって超解像に適していると判定されたアーティファクトだけを生成することができる。

【0048】

超解像解析モジュール１８０は、３５０において、超解像モジュール１７０から超解像画を受信し、（本明細書でさらに説明されるように）人工知能アルゴリズムおよび／または他の適したコンピュータプログラムを用いて超解像画像の画像信頼度を判定することができる。後でより詳細に説明されるように、超解像画像の画像信頼度判定は、超解像画像が高い信頼度の超解像画像であるか、超解像が低い信頼度の超解像画像であるか、および／または超解像画像の画像グレードであるかといった超解像画像の特定の画像信頼度判定を含むことができる。超解像画像の画像信頼度判定は、超解像解析モジュール１８０によって判定されるように、超解像シミュレーションによって生成された超解像画像の、例えば、精度評価の一部として、予測された精度に対応することができる。超解像画像の予測される精度は、検体および検体中のアーティファクトを実際に表す低解像度画像から超解像画像がどのくらい正確に生成されるかの推定であり得る。具体的には、超解像画像の予測される精度は、超解像で検体をスキャンするための高解像度対物レンズまたは適用可能な機構を用いてアーティファクト／検体をあたかも実際にスキャンすることによって超解像画像が生成されたかのように、検体および検体中のアーティファクトを実際に表す低解像度画像から超解像画像がどのくらい正確に生成されるかの推定であり得る。例えば、超解像解析モデル１８０が、シミュレートされた超解像画像が撮像された検体の９５％を正確に表すことを特定する場合、超解像解析モジュール１８０は、超解像画像は高い信頼度の超解像画像でることを特定することができる。

【0049】

超解像解析モジュールによって判定されるような超解像画像の画像信頼度判定は、検体の超解像画像と実際にスキャンされた１つまたは複数の高解像度画像との間の同等性の程度に対応し得る。具体的には、超解像解析モジュール１８０は、超解像画像の信頼度、および超解像画像と高解像度画像との間の同等性の程度を判定するために、超解像画像がどのくらい近く同じまたは類似するタイプの検体／アーティファクトの実際の高解像度画像に対応するのか判定することができる。これは、相互相関法に基づくことができる。本明細書で使用されるとき、同じまたは類似するタイプの検体／アーティファクトは、関連した検体／アーティファクトと呼ばれる。例えば、関連した検体は、現在解析されている検体と同じまたは類似するタイプの素材である撮像された素材を含むことができる。別の例では、現在の検体と関連した検体は、現在の検体自体を含むことができる。超解像画像が同じまたは類似するタイプの検体／アーティファクトの実際の高解像度画像に緊密に相関する場合、超解像解析モジュール１８０は、超解像画像が高い信頼度の超解像画像であることを示すことができる。逆に、超解像画像が同じまたは類似するタイプの検体／アーティファクトの実際の高解像度画像に上手く対応しない場合、超解像解析モジュール１８０は、超解像画像は低い信頼度の超解像画像であることを示すことができるとともに、下にあるアーティファクトが高解像度対物レンズ（例えば、１３２および１３５）を用いてスキャンされ、（ステップ３３０におけるように）高解像度画像を生成することを示すことができる。

【0050】

３６０において、画像アセンブリモジュール１９０は、（本明細書でさらに説明されるように）受信した超解像画像および高解像度対物レンズを用いてスキャンされた画像をスキャンされた検体の単一のコヒーレント画像にアセンブルするおよび一緒にステッチすることができる。

【0051】

３７０において、アーティファクト比較モジュール１９５は、検体の単一のコヒーレント画像を受信し、この検体についてのアーティファクトの総数を判定することができる。アーティファクト比較モジュール１９５は、総数とスキャンされたこのタイプの検体について典型的である許容値、または（例えば、操作者、ハードウェア／ファームウェア／ソフトウェアの制約、業界ガイドライン、および／または任意の他の適切な規格によって）超解像システム１００について定められた許容値に基づいている許容値とを比較することができる。

【0052】

動作３００の特定の部分が行われるときの分割は変更することができ、分割がないことも、または異なる分割も、本明細書に開示された本主題事項の範囲内である。いくつかの実施形態では、動作３００のブロックは、いつでも適切な時に実行することができることに留意されたい。いくつかの実施形態では、本明細書で説明される動作３００の少なくともいくつかの部分は、図３に関連して図示および説明された順番および順序に限定されず、任意の順番および順序で実行されてもよいことを理解されたい。また、いくつかの実施形態では、本明細書で説明される工程２００のいくつかの部分は、適切な場合または並列に、実質的に同時に実行されてもよい。さらにまたは代替として、いくつかの実施形態では、工程２００のいくつかの部分は、省略されてもよい。動作３００は、任意の適切なハードウェアおよび／またはソフトウェアで実施することができる。例えば、いくつかの実施形態では、動作３００は、超解像システム１００で実施することができる。

【0053】

図４は、開示した主題事項のいくつかの実施形態によるコンピュータシステム１５０の一実施形態の全体的な構成を示す。

【0054】

いくつかの実施形態では、アーティファクト適合性解析モジュール１６０は、顕微鏡検査システム１１０および／または任意の適切なコンピュータ可読媒体から検体の１つまたは複数の低解像度画像を受信するように構成され得る。いくつかの実施形態では、低解像度画像は、低解像度対物レンズ１３０を用いて撮像デバイス１２０によって画像取り込みされ得る。さらなる実施形態では、アーティファクト適合性解析モジュール１６０は、コンピュータビジョンを用いて、受信した画像中の１つまたは複数のアーティファクトを検出し、検出されたアーティファクトごとに適合性クラスを判定するように構成することができる。アーティファクトの検出は、例えば、基準設計（例えば、コンピュータ支援設計（ＣＡＤ）ファイル、検体の物理的レイアウトなど）からの情報、基準設計からの偏差、および／または既知のアーティファクトについてのデータに基づくことができる。いくつかの実施形態では、１つまたは複数の人工知能アルゴリズムは、特定されたアーティファクトごとに適合性クラスを判定するために使用され得る。いくつかの実施形態では、クラスは、２値のクラス（例えば、超解像イメージングに「適している」および「適していない」）であり得る。他の実施形態では、クラスは、より大きいまたはより高い解像度のクラス区別をもたらし得る（例えば、文字のグレードＡ～Ｆ（ただしＡは、最良のグレードを示し、Ｆは、最悪のグレードを示す）、または数字のグレード１～１００（ただし、１は最悪のグレードを示し、１００は最良のグレードを示す））。

【0055】

いくつかの実施形態では、アーティファクト適合性解析器モジュール１６０は、低解像度画像における検出されたアーティファクトが超解像生成に適しているかまたは適していないかを判定するために、分類アルゴリズムを適用することができる。いくつかの実施形態では、まず、分類アルゴリズムは、超解像生成に適しているアーティファクトとそうでないアーティファクトの共有された特性を特定するためにトレーニングデータを用いてトレーニングされる。いくつかの実施形態では、トレーニングデータは、その割り当てられる適合性クラスと共にアーティファクトの低解像度画像の例を含むことができる。いくつかの実施形態では、トレーニングデータは、これらのアーティファクトについて生成される超解像画像に割り当てられる画像グレードと共にアーティファクトの低解像度画像の例を含んでもよい。いくつかの実施形態では、分類アルゴリズムは、アーティファクトのタイプ、サイズ、形状、組成、検体上の位置、および／または任意の他の適切な特性に基づいて適合性について推論することができる。いくつかの実施形態では、トレーニングデータは、撮像されている検体の一部、基準設計からの情報、アーティファクト位置（すなわち、検体上のアーティファクトの位置）、アーティファクトのタイプ、および／またはそのサイズ、形状、および／または組成に基づいて明確な適合性の割り当てを含むこともできる。

【0056】

分類アルゴリズムがトレーニングされると、それは、低解像度画像中の検出されたアーティファクトが超解像生成に適しているのかまたは適していないのか判定するために、アーティファクト適合性解析器モジュール１６０によって適用することができる。

【0057】

分類器は、入力属性ベクトル（例えば、Ｘ＝（Ｘ₁，Ｘ₂，Ｘ₃，Ｘ₄，Ｘ_n））を入力がクラス（例えば、ｆ（ｘ）＝信頼度（適合性クラス））に属する信頼度へ写像する関数である。適合性分類の場合、属性は、超解像イメージングについてのアーティファクトの適合性を判定するために、例えば、アーティファクトのタイプ、サイズ、形状、組成、検体上の位置、基準設計、および／または任意の他の適切な特性であり得る。

【0058】

サポートベクターマシン（ＳＶＭ）は、用いることができる分類器の一例である。ＳＶＭは、トリガー基準を非トリガーイベントから分割しようとする可能な入力の空間内で超曲面を見つけることによって動作する。これは、トレーニングデータに近いが同一でないテストデータについて分類を正しくさせる。有向および無向モデル分類手法が使用されてもよく、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、および確率的分類モデルを含み、独立の異なるパターンを与えることが用いられ得る。本明細書で使用されるとき、分類は、優先モデルを開発するために利用することができる統計的回帰をやはり含んだものである。

【0059】

開示した主題事項は、超解像動作３００が進行するときに、一般的なトレーニングデータ、付帯的な情報（例えば、基準設計（リファレンスデザイン）、同じまたは類似するタイプの検体の高解像度画像（グラウンドトゥルース高解像度画像と本明細書で呼ばれる））、および／または超解像システム１００からのフィードバックによってトレーニングされる分類器を用いることができる。例えば、ＳＶＭは、分類器コンストラクタおよび特徴選択モジュール内の学習またはトレーニングフェーズによって構成され得る。したがって、分類器は、限定するものではないが、超解像イメージングのためにアーティファクトの適合性を正確に判定するために、アーティファクトの内容（例えば、検体上のアーティファクトの位置、検査されている検体のタイプ、同じまたは類似するタイプの検体上の類似するアーティファクト、基準設計、グラウンドトゥルース高解像度画像）を判定すること、アーティファクトのサイズ、形状、組成を解析してアーティファクトをより良く分類することを含むいくつかの機能を自動的に実行するために使用され得る。

【0060】

ＳＶＭは、パラメータで表される関数であり、その関数形はトレーニングの前に定められる。具体的には、ＳＶＭは、複数または無限の次元のうちの次元空間内の１つまたは複数の分離超平面によって定められる関数である。ＳＶＭは、教師あり学習モデルをトレーニングする適用可能な方法を用いてトレーニングすることができる。ＳＶＭのトレーニングは、一般に、ＳＶＭが１セットの例から関数をフィットするため、ラベル付きトレーニングセットを必要とする。トレーニングセットは、Ｎ個の例のセットからなり得る。各例は、入力ベクトルｘｉと、カテゴリーラベルｙｊとからなり、これは、入力ベクトルがカテゴリー内にあるか説明する。カテゴリーごとに、１つまたは複数のパラメータが存在でき、例えば、分離超平面を形成するようにＳＶＭをトレーニングするために、Ｎ個の自由パラメータがＮ個の例でトレーニングされるＳＶＭにある。これらのパラメータを用いてＳＶＭをトレーニングするために、よく理解されるように、二次計画法（ＱＰ）の問題が解かれ得る。代替として、これらのパラメータを使用してＳＶＭをトレーニングするために劣勾配降下法（sub-gradient descent）および座標降下法が使用されてもよい。これらの技法は、逐次最小問題最適化法、ならびにそのような技法を用いてＳＶＭ分類器を発見／解決またはさもなければトレーニングする他の技法を含み得る。

【0061】

さらに、開示した主題事項は、教師なし機械学習技法を用いて実施することができる。具体的には、超解像画像の信頼度画像判定は、教師なし学習技法を用いて特定することができる。さらに、超解像画像を形成するために使用される低解像度画像中のアーティファクトの適合性は、教師なし学習技法を用いて特定することができる。教師なし学習技法は、カテゴリー分けされていない／ラベルの付いていないデータ内でパターンを認識するための適用可能な方法を含む。例えば、ニューラルネットワークは、教師なし学習技法によって開示した主題事項を実施するために使用することができる。

【0062】

図５を参照すると、この図は、開示した主題事項のいくつかの実施形態による、検出されたアーティファクト５１０が、超解像イメージングに適しているおよび超解像イメージングに適していない２つのクラスに分類されるスキームを示す。これは、例に過ぎず、複数の他のトレーニングセットが、より大きいまたはより高い解像度のクラス（例えば、これらのクラスは、異なる適合性グレードＡ、Ｂ、Ｃ、Ｄ、Ｅ、およびＦ、または適合性スコアを表すことができる）の区別を与えるために用いられてもよい。アーティファクトの適合性は、３４０において、アーティファクトが正確な超解像画像の全部または一部を生成するために使用することができる可能性の尺度であり得る。具体的には、アーティファクトの適合性は、例えば、３５０において、低解像度画像から少なくとも一部生成される超解像画像が高信頼度の超解像画像として合格する可能性の尺度であり得る。より具体的には、アーティファクトの適合性は、アーティファクトの低解像度画像から生成される超解像画像が、どのくらい緊密に、同じまたは類似するタイプの検体／アーティファクトの実際の高解像度画像に対応するのかの予測であり得る。例えば、アーティファクトの低解像度画像から生成される超解像画像が、関連したアーティファクトの実際の高解像度画像と、大きく例えば９０％の相関で対応する可能性が９５％である場合、アーティファクトは、超解像イメージングに適していると特定することができ、例えば、高い適合性グレードＡを有する。

【0063】

適合性分類器５２０は、超解像イメージングに適しているアーティファクトを表す一群の既知のアーティファクト５１５と、超解像イメージングに適していないアーティファクトを表す一群の既知のアーティファクト５１７とによってトレーニングすることができる。他の実施形態では、適合性分類器５２０は、異なる適合性グレードを表す一群の既知のアーティファクトによってトレーニングされてもよい。解析されるアーティファクト５１０は適合性分類器５２０に入力することができ、適合性分類器５２０はクラス５３０を出力することができ、クラス５３０は、検出されたアーティファクトが最も分類される可能性があるクラスを示す。必要に応じて、さらなるクラス（例えば、グレード）を加えることもできる。いくつかの実施形態では、適合性分類器５２０は、スカラー数５２５、例えば適合性スコアを出力することもでき、これは、それが望まれる場合、例えば、アーティファクトが、超解像イメージングに適しているクラスに分類されると解析される可能性、または超解像イメージングに適していないクラスに分類されると解析される可能性を示すことができる。

【0064】

本明細書で説明される様々なスコアリング技法は、線形回帰モデリングを用いて実施することができる。例えば、アーティファクト適合性スコアリングと超解像画像スコアリングのどちらかまたは両方は、線形回帰モデリングを用いて実施することができる。線形回帰モデリングは、従属変数と１つまたは複数の独立変数との間の線形関係をモデル化する機械学習技法である。単一のスカラー予測を利用する単純な線形回帰モデルは、本明細書で説明されるスコアリングを実行するために使用することができる。代替として、複数の予測子を利用する多重線形回帰モデルが、本明細書で説明されるスコアリングを実行するために使用されてもよい。

【0065】

アーティファクトが特定のクラスに分類される可能性は、信頼度レベル（または信頼区間）とも呼ばれる。信頼度レベルは、サンプルデータのパラメータを含む特定の確率を一般に指し、それに基づいているのは、パラメータの値について利用できる情報だけである。例えば、９５％の信頼度レベルが選択される場合、それは、同じ母集団が多数の場合についてサンプルされ、信頼区間の推定がそれぞれの場合についてなされる場合、結果として得られる区間は、クラスの約９５％の真の母集団パラメータを同類に入れることを意味する。超解像システム１００によって使用されるようになされ得る信頼度レベル推定の一例は、Ｇ．Ｐａｐａｄｏｐｏｕｌｏｓらによる「Ｃｏｎｆｉｄｅｎｃｅ Ｅｓｔｉｍａｔｉｏｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ：Ａ Ｐｒａｃｔｉｃａｌ Ｃｏｍｐａｒｉｓｏｎ」、ＥＳＡＮＮ ２０００ ｐｒｏｃｅｅｄｉｎｇｓ－Ｅｕｒｏｐｅａｎ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ Ｂｒｕｇｅｓ（Ｂｅｌｇｉｕｍ）、２６～８ Ａｐｒｉｌ ２０００ Ｄ－Ｆａｃｔｏ ｐｕｂｌｉｃ．，ＩＳＢＮ ２－９３０３０７－００－５、７５～８０ページに記載されており、これは、参照によりその全体が本明細書に組み込まれる。この開示した方法は、単に一例であり、限定することを意図しない。

【0066】

アーティファクト適合性解析モジュール１６０が（例えば、アーティファクトをグレードによってまたは数字によってスコア付けする）２値でないやり方（非バイナリ方式）で適合性を判定する実施形態では、アーティファクト適合性解析モジュール１６０は、判定された適合性スコアを、例えば、操作者、ハードウェア／ファームウェア／ソフトウェアの制約、業界ガイドライン、および／または任意の他の適切な規格によって定められるような超解像システム１００についての容認可能な適合性許容値と比較するように構成することができる。超解像システム１００についての容認可能な適合性許容値よりも下に落ちる適合性スコアを受けるアーティファクトの場合、アーティファクト適合性解析モジュール１６０は、特定されたアーティファクトがより高い解像度の対物レンズを用いてスキャンされることを示すことができる。超解像システム１００についての容認可能な適合性許容値以上の適合性スコアを受けるアーティファクトの場合、アーティファクト適合性解析モジュール１６０は、検出されたアーティファクトについて超解像画像が生成されることを示すことができる。

【0067】

分類器は、超解像イメージングのためにアーティファクトの適合性を判定するステップに使用される容認可能な適合性許容値を自動的に調整するために使用することもできる。
フィードバック機構は、超解像システム１００によって使用される１つまたは複数の基礎となる人工知能アルゴリズムの履歴性能データ（historical performance data）および／または改善に基づいて、容認可能な適合性許容値に自動的に影響を及ぼす分類器へデータを与えることができる。例えば、容認可能な適合性許容値は、文字のグレードＣ以上または数字のグレード５０以上を受ける全ての検出されたアーティファクトが、超解像イメージングに適していると思われるように当初設定されてもよい。超解像解析モジュール１８０からのフィードバックが、適していると判定される多数のアーティファクトが最終的に低い信頼度の超解像画像をもたらすことを示す場合、分類器は、容認可能な適合性許容値を上げてアーティファクトが適していると分類されることをより難しくさせることができる。逆に、超解像モジュール１７０からのフィードバックが、そのモデルが改善し、適していないと以前分類された欠陥について超解像画像をより良く生成することができることを示す場合、分類器は、容認可能な適合性許容値を下げ、アーティファクトが適していると分類されることをより容易にさせることができる。

【0068】

適合性を判定するためにアーティファクト適合性解析器モジュール１６０によって使用される容認可能な適合性許容値は、試験される検体の重要性および／または検体のエリアに基づいて自動的に調整することもできる。例えば、アーティファクト適合性解析器モジュール１６０は、重要とみなされる検体および／または検体の各エリアについて容認可能な適合性許容値を上向きに調整する、および／または重要とみなされない検体および／または検体の各エリアについて容認可能な適合性許容値を下向きに調整することができる。

【0069】

適合性解析器モジュール１６０は、超解像イメージングのためにアーティファクトの適合性を判定すべく人工知能を用いることに制限されないことに留意されたい。いくつかの実施形態では、アーティファクト適合性解析器モジュール１６０は、適しているアーティファクトおよび適していないアーティファクトを認識するように事前プログラムされてもよい。事前プログラムされたデータに基づいて、適合性解析器モジュール１６０は、１つまたは複数の低解像度画像を処理して低解像度画像が、事前プログラムされたアーティファクトに類似する任意のアーティファクトを含むか判定し、事前プログラムされたアーティファクトの適合性に基づいて適合性を判定することができる。

【0070】

動作時、いくつかの実施形態では、アーティファクト適合性解析モジュール１６０によって使用される人工知能アルゴリズムは、適合性スコアを生成するために、検出されたアーティファクトについての特性および／または内容データを、トレーニングデータの特性および／または内容データと比較することに基づき得る。例えば、検出されたアーティファクトがスコアＡを受け取ったトレーニングデータからのアーティファクトに緊密に似ている場合、アーティファクト適合性解析モジュール１６０は、同様のスコアを検出されたアーティファクトに割り当てることができる。

【0071】

さらなる実施形態では、アーティファクト適合性解析モジュール１６０によって用いられる人工知能アルゴリズムは、適合性スコアを生成するために、検出されたアーティファクトについての特性および／または内容データを、高い信頼度の超解像画像（例えば、超解像解析モジュール１８０によって判定されたような）をもたらすトレーニングデータの特性および／または内容データと比較することに基づき得る。例えば、アーティファクト適合性解析モジュール１６０は、より低い信頼度の超解像画像をもたらすトレーニングデータに似ている検出されたアーティファクトに低いスコアを割り当てるとともに、高い信頼度の超解像画像をもたらすトレーニングデータに似ている検出されたアーティファクトにより高いスコアを割り当てることができる。

【0072】

別の実施形態では、アーティファクト適合性解析モジュール１６０によって使用される人工知能アルゴリズムは、検体上の検出されたアーティファクトを、（グラウンドトゥルース高解像度画像とも呼ばれる）同じまたは類似するタイプの検体の高解像度画像中のアーティファクトと比較することに基づき得る。検出されたアーティファクトが、グラウンドトゥルース高解像度スキャン内の２つ以上のアーティファクトに対応し、検出されたアーティファクトについての内容データがさらなる情報を与えない場合、アーティファクト適合性解析モジュール１６０は、低い適合性スコアを割り当てることができる。逆に、検出されたアーティファクトが、グラウンドトゥルース高解像度画像中のたった１つのアーティファクトに対応する場合、アーティファクト適合性解析モジュール１６０は、高い適合性スコアを検出されたアーティファクトに割り当てることができる。

【0073】

アーティファクト適合性解析モジュール１６０は、いくつかの実施形態では、解析が行われた特定されたアーティファクト、その適合性スコア、および容認可能な適合性許容値を記録するように構成することもできる。

【0074】

いくつかの実施形態では、超解像モジュール１７０は、超解像生成に適していると思われる検体の１つまたは複数の低解像度画像を受信し、受信した画像から１つまたは複数の超解像画像を生成するように構成することができる。代替として、超解像モジュール１７０は、低解像度画像が超解像生成に実際に適していると思われるかに関わりなく検体の１つまたは複数の低解像度画像を受信し、受信した画像から１つまたは複数の超解像画像を生成するように構成することができる。いくつかの実施形態では、１つまたは複数の人工知能アルゴリズムを、１つまたは複数の低解像度画像から１つまたは複数の超解像画像を生成するために使用することができる。いくつかの実施形態では、超解像モジュール１７０によって使用されるアルゴリズムは、検体上のアーティファクトの位置、検査される検体のタイプ、同じまたは類似する検体上で検出されるアーティファクトと他のアーティファクトの比較、基準設計、異なる焦点レベルでとられるおよび／または異なるライティング技法を用いる低解像度画像、異なる焦点レベルでとられるおよび／または異なるライティング技法を用いる高解像度画像などのような内容データとみなされ得る。さらなる実施形態では、超解像モジュール１７０によって使用されるアルゴリズムは、正確な高解像度画像を推測するために、アーティファクトを分類することとともに、検体および／または任意の他の適切な特徴上のそのサイズ、形状、組成、位置を特定することと含むことができる。

【0075】

超解像モジュール１７０によって用いられる超解像方法は、補間、低解像度深さ画像フレームからの超解像、深さ画像と高解像度カラー画像を融合することによる超解像、例ベースの超解像、およびエッジガイドされた方法に基づく深さ画像の超解像を含むが、これらに限定されないものであり得る。

【0076】

超解像モジュール１７０によって使用するように適合され得る補間のいくつかの例は、Ｘｉｅ，Ｊらによる「Ｅｄｇｅ－ｇｕｉｄｅｄ Ｓｉｎｇｌｅ Ｄｅｐｔｈ Ｉｍａｇｅ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓ． ２０１６年、２５、４２８～４３８；Ｐｒａｊａｐａｔｉ，Ａ．らによる「Ｅｖａｌｕａｔｉｏｎ ｏｆ Ｄｉｆｆｅｒｅｎｔ Ｉｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ」、Ｉｎｔ．Ｊ． Ｃｏｍｐｕｔ．２０１２年４月、５８、４６６～４７６；Ｐａｎｇ，Ｚ．らによる「Ａｎ Ｉｍｐｒｏｖｅｄ Ｌｏｗ－ｃｏｓｔ Ａｄａｐｔｉｖｅ Ｂｉｌｉｎｅａｒ Ｉｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｇｒｅｅｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｎｅｔｗｏｒｋｓ， Ｃｈｏｎｇｑｉｎｇ，Ｃｈｉｎａ，１４～１６ ２０１２年１２月；Ｓｐｒｉｎｇｅｒ： Ｂｅｒｌｉｎ／Ｈｅｉｄｅｌｂｅｒｇ、ドイツ、２０１３年；６９１～６９９ページ；Ｎｉｎｇ，Ｌ．らによる「Ａｎ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｃｕｂｉｃ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ」、「Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ａｕｔｏｍａｔｉｏｎ」、Ｃｈｅｎｇｄｕ，中国、２００７年１２月２０日～２２日；１５４２～１５４５ページにおいて説明され、これは、参照によりその全体が本明細書に組み込まれる。開示された方法は、単なる例であり、限定であることを意図しない。

【0077】

超解像モジュール１７０によって使用するように適合され得る低解像度深さ画像フレームからの超解像のいくつかの例は、Ｓｃｈｕｏｎ，Ｓ．らによる「ＬｉｄａｒＢｏｏｓｔ： Ｄｅｐｔｈ Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｆｏｒ ＴｏＦ ３Ｄ Ｓｈａｐｅ Ｓｃａｎｎｉｎｇ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００９ ｔｈｅ ２２ｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、米国フロリダ州マイアミ、２００９年６月２０～２５日；３４３～３５０ページ；Ｒａｊａｇｏｐａｌａｎ，Ａ．Ｎ．らによる「Ｒｅｓｏｌｕｔｉｏｎ Ｅｎｈａｎｃｅｍｅｎｔ ｏｆ ＰＭＤ Ｒａｎｇｅ Ｍａｐｓ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｊｏｉｎｔ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｓｙｍｐｏｓｉｕｍ、ミュンヘン、ドイツ、２００８年６月１０日～１３日；Ｓｐｒｉｎｇｅｒ：Ｂｅｒｌｉｎ／Ｈｅｉｄｅｌｂｅｒｇ、ドイツ、２００８年；３０４～３１３ページ；Ａｌ Ｉｓｍａｅｉｌ，Ｋ．らによる「Ｄｙｎａｍｉｃ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｏｆ Ｄｅｐｔｈ Ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ Ｎｏｎ－ｒｉｇｉｄ Ｍｏｔｉｏｎｓ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１３ ２０ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ、メルボルン、オーストラリア、２０１３年９月１５日～１８日；６６０～６６４ページ；Ｇｅｖｒｅｋｃｉ，Ｍ．らによる「Ｄｅｐｔｈ Ｍａｐ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１１ １８ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ、ブリュッセル、ベルギー、２０１１年９月１１日～１４日、３４４９～３４５２ページにおいて説明され、これは、参照によりその全体が本明細書に組み込まれる。開示された方法は、単なる例であり、限定であることを意図しない。

【0078】

超解像モジュール１７０によって使用するように適合され得る深さ画像と高解像度カラー画像を融合することによる超解像のいくつかの例は、Ｆｅｒｓｔｌ，Ｄ．らによる「Ｉｍａｇｅ Ｇｕｉｄｅｄ Ｄｅｐｔｈ Ｕｐｓａｍｐｌｉｎｇ Ｕｓｉｎｇ Ａｎｉｓｏｔｒｏｐｉｃ Ｔｏｔａｌ Ｇｅｎｅｒａｌｉｚｅｄ Ｖａｒｉａｔｉｏｎ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＣｏｍｐｕｔｅｒｎＶｉｓｉｏｎ、シドニー、ニューサウスウェールズ州、オーストラリア、２０１３年１２月１日～８日；９９３～１０００ページ；Ｙａｎｇ，Ｑ．らによる「Ｓｐａｔｉａｌ－Ｄｅｐｔｈ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｆｏｒ Ｒａｎｇｅ Ｉｍａｇｅｓ、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００７ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、ミネアポリス、ミネソタ州、米国、２００７年６月１７日～２２日；１～８ページ；Ｌｏ，Ｋ．Ｈ．らによる「Ｅｄｇｅ－Ｐｒｅｓｅｒｖｉｎｇ Ｄｅｐｔｈ Ｍａｐ Ｕｐｓａｍｐｌｉｎｇ ｂｙ Ｊｏｉｎｔ Ｔｒｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ」、ＩＥＥＥ Ｔｒａｎｓ．Ｃｙｂｅｒｎ．２０１７年、１３、１１４によって説明され、これは、参照によりその全体が本明細書に組み込まれる。開示された方法は、単なる例であり、限定であることは意図されていない。

【0079】

超解像モジュール１７０によって使用するように適合され得る例ベースの超解像のいくつかの例は、Ｔｉｍｏｆｔｅ，Ｒ．らによる「Ａ＋： Ａｄｊｕｓｔｅｄ Ａｎｃｈｏｒｅｄ Ｎｅｉｇｈｂｏｒｈｏｏｄ Ｒｅｇｒｅｓｓｉｏｎ ｆｏｒ Ｆａｓｔ Ｓｕｐｅｒ－Ｒｅｓｏｌｕｔｉｏｎ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｓｉａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、シンガポール、２０１４年１１月１日～５日；Ｓｐｒｉｎｇｅｒ：Ｃｈａｍ、スイス、２０１４年；１１１～１２６ページ；Ｙａｎｇ，Ｊ．らによる「Ｉｍａｇｅ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｖｉａ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ」、ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．２０１０年，１９、２８６１－２８７３；Ｘｉｅ，Ｊ．らによる「Ｓｉｎｇｌｅ Ｄｅｐｔｈ Ｉｍａｇｅ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ａｎｄ Ｄｅｎｏｉｓｉｎｇ ｖｉａ Ｃｏｕｐｌｅｄ Ｄｉｃｔｉｏｎａｒｙ Ｌｅａｒｎｉｎｇ ｗｉｔｈ Ｌｏｃａｌ Ｃｏｎｓｔｒａｉｎｔｓ ａｎｄ Ｓｈｏｃｋ Ｆｉｌｔｅｒｉｎｇ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ（ＩＣＭＥ）、成都、中国、２０１４年７月１４日～１８日；１～６ページ；Ｋｉｍ，Ｊ．らによる「Ａｃｃｕｒａｔｅ Ｉｍａｇｅ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｖｅｒｙ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ」、Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、ラスベガス、ネバダ州、米国、２０１６年６月２７日～３０日；１６４６～１６５４ページにおいて説明され、これは、参照によりその全体が本明細書に組み込まれる。開示された方法は、単なる例であり、限定であることを意図しない。

【0080】

超解像モジュール１７０によって使用するように適合され得るエッジガイドされた方法（edge-guided method）に基づく深さ画像の超解像の一例は、Ｚｈｏｕ，Ｄらによる「Ｄｅｐｔｈ Ｉｍａｇｅ Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｅｄｇｅ－Ｇｕｉｄｅｄ Ｍｅｔｈｏｄ」、Ａｐｐｌ．Ｓｃｉ．２０１８，８，２９８によって説明され、これは、参照によりその全体が本明細書に組み込まれる。開示された方法は、単なる例であり、限定であることを意図しない。

【0081】

いくつかの実施形態では、超解像モジュール１７０によって使用される人工知能アルゴリズムは、解像度画像だけを用いてトレーニングすることができる。

【0082】

いくつかの実施形態では、超解像解析モジュール１８０は、超解像モジュール１７０からおよび／または任意のコンピュータ可読媒体から１つまたは複数の超解像画像を受信し、アーティファクトの超解像画像ごとに画像クラス（またはグレード）を判定するように構成することができる。いくつかの実施形態では、１つまたは複数の人工知能アルゴリズムを使用して、アーティファクトの超解像画像についての画像クラスを判定することができる。いくつかの実施形態では、画像クラスは、２値のクラス（例えば、「高い信頼度の超解像画像」および「低い信頼度の超解像画像」）であり得る。他の実施形態では、クラスは、より大きいまたはより高い解像度のクラス区別（例えば、文字のグレードＡ～Ｆをもたらし得る（ただしＡは、最良のグレードを示し、Ｆは、最悪のグレードを示す）、または数字のグレード１～１００（ただし、１は最悪のグレードを示し、１００は最良のグレードを示す））。

【0083】

いくつかの実施形態では、超解像解析モジュール１８０は、超解像画像についての画像グレードを判定するために、分類アルゴリズムを適用することができる。いくつかの実施形態では、まず、分類アルゴリズムは、高い信頼度の超解像画像であるアーティファクトの超解像画像と低い信頼度の超解像画像でさるアーティファクトの超解像画像の共有された特性を特定するためにトレーニングデータを用いてトレーニングされる。いくつかの実施形態では、トレーニングデータは、超解像システム１００によって試験されているアーティファクト／検体のタイプについての超解像画像、ならびに同じまたは類似するタイプの検体／アーティファクトの実際の高解像度画像に対するその対応する画像スコア／グレード、および／またはクロスコレスポンデンスの例を含み得る。いくつかの実施形態では、分類アルゴリズムは、基準設計、同じまたは類似する検体タイプのグラウンドトゥルース高解像度画像、同じまたは類似するアーティファクトタイプのグラウンドトゥルース高解像度画像、アーティファクトのタイプ、サイズ、形状、組成、検体上の位置、および／または任意の他の適切な特性に基づく画像クラスについて推論することができる。いくつかの実施形態では、トレーニングデータは、撮像されている検体の一部、アーティファクト位置（すなわち、検体上のアーティファクトの位置）、基準設計、グラウンドトゥルース高解像度画像、アーティファクトのタイプならびに／あるいはそのサイズ、形状、および／または組成に基づく明確な画像クラスの割り当てを含むこともできる。

【0084】

分類アルゴリズムがトレーニングされると、それは、超解像によって生成されるアーティファクトの画像について画像クラスを判定するために、超解像解析モジュール１８０によって適用することができる。

【0085】

サポートベクターマシン（ＳＶＭ）は、用いることができる分類器の一例である。有向および無向モデル分類手法が使用されてもよく、例えば、ナイーブベイズ、ベイジアンネットワーク、決定木、および確率的分類モデルを含み、独立の異なるパターンを与えることが用いられ得る。本明細書で使用されるとき、分類は、優先モデルを開発するために利用することができる統計的回帰をやはり含んだものである。

【0086】

開示した主題事項は、超解像動作３００が進行するときに、一般的なトレーニングデータ、付帯的な情報（例えば、基準設計、同じまたは類似するタイプの検体／アーティファクトのグラウンドトゥルース高解像度画像）、および／または超解像システム１００からのフィードバックによってトレーニングされる分類器を用いることができる。例えば、ＳＶＭは、分類器コンストラクタおよび特徴選択モジュール内の学習またはトレーニングフェーズによって構成され得る。したがって、分類器は、限定するものではないが、アーティファクトについての超解像画像の画像グレードを正しく判定するために、超解像画像についての内容データ（例えば、検体上のアーティファクトの位置、検査される検体のタイプ、類似する検体上の類似するアーティファクト、基準設計、同じまたは類似するタイプの検体のグラウンドトゥルース高解像度画像、同じまたは類似するタイプのアーティファクトのグラウンドトゥルース高解像度画像）を判定すること、アーティファクトのサイズ、形状、組成を解析してアーティファクトをより良く分類することを含むいくつかの機能を自動的に実行するために使用され得る。

【0087】

図６を参照すると、この図は、開示した主題事項のいくつかの実施形態による、アーティファクト６１０の超解像画像が、低い信頼度の超解像画像と高い信頼度の超解像画像という２つのクラスに分類されるスキームを示す。これは、例に過ぎず、複数の他のトレーニングセットが、より大きいまたはより高い解像度のクラス（例えば、これらのクラスは、異なる画像グレードＡ、Ｂ、Ｃ、Ｄ、Ｅ、およびＦ、または画像スコア１～１００を表すことができる）の区別を与えるために用いられてもよい。シミュレートされた画像分類器６２０は、アーティファクトの高い信頼度の超解像画像である一群の既知の超解像画像６１５と、アーティファクトの低い信頼度の超解像画像を表す一群の既知の超解像画像６１７とによってトレーニングすることができる。他の実施形態では、シミュレートされた画像分類器６２０は、異なる画像グレードを表す一群の既知の超解像画像によってトレーニングされてもよい。解析されるアーティファクト６１０の超解像画像は、シミュレートされた画像分類器６２０に入力することができ、画像分類器６２０は、信頼区間６２５を出力することができ、信頼区間６２５は、解析されている超解像画像が、特定のクラス（例えば、高い信頼度の超解像画像、および低い信頼度の超解像画像）に分類される可能性を示すことができる。いくつかの実施形態では、シミュレートされた画像分類器６２０は、クラス６３０を出力することもでき、クラス６３０は、超解像画像が最も分類される可能性があるクラスを示す。必要に応じて、さらなるクラス（例えば、文字入りのまたは数字入りのグレード）を加えることもできる。

【0088】

超解像解析モジュール１８０が（例えば、超解像画像をグレードによってまたは数字によってスコア付けする）２値でないやり方（非バイナリ方式）で画像分類を判定する実施形態では、超解像解析モジュール１８０は、判定された画像グレードを、操作者、ハードウェア／ファームウェア／ソフトウェアの制約、業界ガイドライン、および／または任意の他の適切な規格によって定められるような超解像システム１００についての容認可能な画像許容値と比較するように構成することができる。超解像システム１００についての容認可能な画像許容値よりも下に落ちる画像スコアを受ける超解像画像の場合、超解像解析モジュール１８０は、超解像画像中のアーティファクトがより高い解像度の対物レンズを用いてスキャンされることを示すことができる。画像許容値、および解像解析モジュール１８０によって割り当てられる対応する画像スコアは、超解像画像が高い信頼度の超解像画像であるか、または低い信頼度の超解像画像であるかを示すことができる。例えば、容認可能な画像許容値以上の画像スコアを有する超解像画像は、高い信頼度の超解像画像として特定することができる。逆に、容認可能な画像許容値未満の画像スコアを有する超解像画像は、低い信頼度の超解像画像として特定することができる。超解像システム１００について容認可能な画像許容値以上の画像スコアを受信する超解像画像の場合、超解像画像は、画像アセンブリモジュール１９０へ与えることができる。

【0089】

分類器は、超解像によって与えられるアーティファクトが許容値に合格するかまたは落第するか判定するために使用される容認可能な画像許容値を自動的に調整するために用いることもできる。フィードバック機構は、超解像システム１００によって用いられる１つまたは複数の下にある人工知能アルゴリズムの履歴性能データおよび／または改善に基づいて、許容値に自動的に影響を与える分類器へデータを送ることができる。例えば、分類器は、高い信頼度の超解像画像または低い信頼度の超解像画像として正確におよび／または不正確に分類された超解像画像についてのフィードバックに基づいて許容値を調整することができる。例えば、アーティファクト比較モジュール１９５からのフィードバックが、多数の超解像画像がより高い解像度対物レンズを用いて再スキャンされなければならないことを示す場合、分類器は、容認可能な画像許容値を上げ、超解像画像が適格であることをより難しくさせることができる。いくつかの実施形態では、超解像モジュール１７０からのフィードバックが、そのモデルが改善し、低い信頼度の超解像画像として前に分類された超解像画像についての高解像度画像をシミュレートすることがより良くできることを示す場合、分類器は、容認可能な画像許容値を下げ、超解像画像が適格であることをより容易にさせることができる。

【0090】

容認可能な画像許容値を判定するために超解像解析モジュール１８０によって用いられる画像許容値は、検体の重要性および／または試験されている検体のエリアに基づいて自動的に調整することもできる。例えば、超解像解析モジュール１８０は、重要とみなされる検体および／または検体の各エリアについて容認可能な画像許容値を上方へ調整することができ、および／または重要とみなされない検体および／または検体の各エリアについて容認可能な画像許容値を下方へ調整することができる。

【0091】

超解像解析モジュール１８０は、超解像画像についての画像グレードを判定するために人工知能を用いることに制限されないことに留意されたい。いくつかの実施形態では、超解像解析モジュール１８０は、容認可能な画像グレードおよび容認不可能な画像グレードを有するアーティファクトの超解像画像を認識するように事前プログラムされてもよい。事前プログラムされたデータに基づいて、超解像解析モジュール１８０は、超解像画像が事前プログラムされた画像に類似する何らかの画像を含むか判定し、事前プログラムされた超解像および／または高解像度画像の画像グレードに基づいて容認可能な画像グレードを判定するように１つまたは複数の超解像画像を処理することができる。

【0092】

動作時、いくつかの実施形態では、超解像解析モジュール１８０によって用いられる人工知能アルゴリズムは、画像スコアを生成するために、超解像画像についての特性および／または内容データとトレーニングデータの特性および／または内容データとを比較することに基づくことができる。例えば、アーティファクトの超解像画像が、画像スコアＡを受信したトレーニングデータセットからのアーティファクトの超解像画像に緊密に似ている場合、超解像解析モジュール１８０は、同様のスコアをこの超解像画像に割り当てることができる。

【0093】

別の実施形態では、超解像解析モジュール１８０によって用いられる人工知能アルゴリズムは、検体上で発見したアーティファクトの超解像画像と同じまたは類似するタイプのアーティファクトまたは検体の高解像度画像とを比較することに基づくことができる。超解像解析モジュール１８０が密接な対応を発見した場合、超解像解析モジュール１８０は、高い画像スコアを超解像画像に割り当てることができる。逆に、超解像解析モジュール１８０が、貧弱な対応を発見した場合、超解像解析モジュール１８０は、低い画像スコアを超解像画像に割り当てることができる。

【0094】

超解像解析モジュール１８０は、いくつかの実施形態では、受信した超解像画像およびその画像グレード、ならびに解析が実行された容認可能な画像許容値を記録するように構成することもできる。

【0095】

いくつかの実施形態では、画像アセンブリモジュール１９０は、超解像画像および実際の高解像度画像を検体の単一のコヒーレント画像にアセンブルし、共にステッチ（stitch）するように構成することができる。いくつかの実施形態では、検体の各画像は、タイルと呼ばれ、各タイルは、検体空間内のそのＸＹ座標位置によって位置を特定することができる。低い信頼度の超解像画像をもたらした、または超解像イメージングに適していないと判定された、したがって高解像度対物レンズによるスキャニングが指定されたアーティファクトについては、次いで、高解像度対物レンズが、特定されたアーティファクトを含む１つまたは複数のタイルを表す検体上のエリアをスキャンすることができる。同様に、超解像モジュール１７０は、超解像イメージングに適していると判定されたアーティファクトを含む１つまたは複数のタイル全体をシミュレートすることもできる。タイルの高解像度画像およびタイルの超解像画像は、そのＸＹ座標ポジションおよび／または特徴に基づく見当合わせの方法に基づいて一緒にステッチすることができる。これは、単一のコヒーレント画像がどのようにアセンブルできるのかのたった１つの例であり、これを達成する他の適した方法が実行されてもよい。いくつかの実施形態では、超解像モジュール１７０は、検体全体（超解像イメージングに適していないと示された検体の一部でも）シミュレートすることができ、画像アセンブリモジュール１９０は、適していない部分をそれらの部分の高解像度画像に置き換えることができる。画像アセンブリモジュール１９０は、高解像度画像タイルをどこに配置するか判定するために、高解像度画像タイルのＸＹ位置を使用することができるとともに、高解像度画像タイルと超解像画像タイルとの間の類似する特徴を特定することができる。画像アセンブリモジュール１９０が、高解像度画像タイルについての正しいポジションの位置を特定すると、超解像画像タイルは、高解像度画像タイルに置き換えることができる。上記方法は、タイルごとに単一のアーティファクト以上のものはないことを仮定するが、この方法は、タイルごとに複数のアーティファクトに対応するようになされてもよい。

【0096】

いくつかの実施形態では、アーティファクト比較モジュール１９５は、（例えば、画像アセンブリモジュール１９０および／または任意の適切なコンピュータ可読媒体から）検体の単一のコヒーレント画像を受信し、検体についてのアーティファクトの総数を判定するように構成することができる。アーティファクト比較モジュール１９５は、総数を、スキャンされた検体のタイプについて典型的である許容値、あるいは操作者、ハードウェア／ファームウェア／ソフトウェアの制約、業界ガイドライン、および／または任意の他の適切な規格によって超解像システム１００について定められた許容値に基づく許容値と比較することができる。いくつかの実施形態では、アーティファクトの総数が、スキャンされた検体のタイプについての許容値および／または超解像システム１００についての定められた許容値を超える場合または下回る場合、超解像解析モジュール１８０は、アーティファクト比較モジュール１９５からのフィードバックに基づいて、高解像度対物レンズ１３２または１３５を用いて再スキャンされるより高い容認可能な画像許容値よりも低くなる第２のセットの超解像画像を選択することができる。具体的には、超解像解析モジュール１８０は、検体についての１つまたは複数の高解像度画像を生成するために超解像システム１００の動作をさらに制御する部分として１セットの超解像画像を選択することができる。例えば、上で説明したように、超解像解析モジュール１８０についての容認可能な画像許容値が、５０％で最初に設定され、アーティファクト比較モジュール１９５が、検体について検出されたアーティファクトの総数が試験される検体のタイプに典型的であると思われないと判定する場合、超解像解析モジュール１８０は、容認可能な画像許容値を６０％へ上げることができ、５０～５９％の間の画像グレードで割り当てられた超解像画像は、高解像度対物レンズを用いて再スキャンされる。超解像解析モジュール１８０へのフィードバック、および容認可能な画像許容値への調整は、必要に応じて何度でも行うことができる。

【0097】

いくつかの実施形態では、アーティファクトの総数が、スキャンされた検体のタイプについての許容値、および／または超解像システム１００について定められた許容値を超えるまたは下回る場合、アーティファクト適合性解析モジュール１６０は、高解像度対物レンズ１３５を用いて再スキャンされる、より高い容認可能な適合性許容値を下回る第２のセットのアーティファクトを選択することができる。具体的には、アーティファクト適合性解析モジュール１６０は、検体についての超解像システム１００の動作をさらに制御する部分として１セットの第２のアーティファクトを選択することができる。例えば、上で説明したように、アーティファクト適合性解析モジュール１６０についての容認可能な適合性許容値が、５０％で最初に設定され、アーティファクト比較モジュール１９５が、検体について検出されたアーティファクトの総数が試験される検体のタイプに典型的であると思われないと判定する場合、アーティファクト適合性解析モジュール１６０は、適合性の閾値を６０％へ上げることができ、５０～５９％の間の適合性スコアで割り当てられたアーティファクトは、高解像度対物レンズを用いて再スキャンされる。アーティファクト適合性解析モジュール１６０へのフィードバック、および容認可能な適合性許容値への調整は、必要に応じて何度でも行うことができる。

【0098】

いくつかの実施形態では、アーティファクトの総数が、スキャンされた検体のタイプについての許容値、および／または超解像システム１００について定められた許容値を超えるまたは下回る場合、アーティファクト比較モジュール１９５は、超解像モジュール１７０が、適していない人工知能モデルを用いて超解像画像を生成しており、超解像モジュール１７０に異なる人工知能モデルを使用して特定の検体について超解像画像を生成するように命令することを決定することができる。具体的には、超解像モジュール１７０は、超解像システム１００の動作をさらに制御する部分として異なる人工知能モデルを使用して、検体についての１つまたは複数の高解像度画像を生成することができる。

【0099】

本明細書中の説明は、アーティファクトを解析することについて言及するが、ここに説明される機構は、検体の各エリアを解析するために使用することもできる。例えば、アーティファクトを解析することに基づいて適合性を判定するステップに代わって、アーティファクト適合性解析モジュール１６０は、検体の別個のエリアを解析することに基づいて適合性を判定することができる。同様に、超解像を用いて生成されるアーティファクトを解析することに基づいて画像グレードを判定する代わりに、超解像解析モジュール１８０は、超解像を用いて与えられる検体の別個のエリアを解析することに基づいて画像グレードを判定することができる。

【0100】

超解像システム１００についての構成要素の機能性は、単一の構成要素に結合され、またはいくつかの構成要素にわたって広がることができる。いくつかの実施形態では、構成要素の一部の機能性（例えば、高解像度対物レンズ１３２または１３５による高解像度スキャニング、およびコンピュータシステム１５０によるコンピュータ処理）は、顕微鏡検査システム１１０から遠隔で行うことができる。

【0101】

超解像システム１００は、図示されていない他の適切な構成要素を含むことができることに留意されたい。さらにまたは代替として、超解像システム１００に含まれる構成要素の一部は、省略されてもよい。

【0102】

いくつかの実施形態では、任意の適切なコンピュータ可読媒体は、本明細書で説明される機能および／またはプロセスを実行するための命令を保存するのに使用することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的または非一時的であり得る。例えば、非一時的なコンピュータ可読媒体は、非一時的な磁気媒体（例えば、ハードディスク、フロッピーディスクなど）、非一時的な光学媒体（例えば、コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙディスクなど）、非一時的な半導体媒体（例えば、フラッシュメモリ、電気的にプログラム可能なリードオンリメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）など）、伝送中に一過性でないまたは永久のみかけがない任意の適切な媒体、および／または任意の適切な有形の媒体などの媒体を含み得る。別の例として、一時的なコンピュータ可読媒体は、ネットワーク上、電線、導体、光ファイバー、回路、ならびに伝送中に一過性でないまたは永久のみかけがない任意の適切な媒体、および／または任意の適切な有形の媒体内の信号を含むことができる。

【0103】

本明細書で説明される様々なシステム、方法、およびコンピュータ可読媒体は、クラウドネットワーク環境の一部として実施することができる。本明細書で使用されるとき、クラウドベースのコンピューティングシステムは、仮想化されたコンピューティングリソース、ソフトウェア、および／または情報をクライアントのデバイスに与えるシステムである。コンピューティングリソース、ソフトウェアおよび／または情報は、エッジデバイスがネットワークなどの通信インタフェースによってアクセスする集中サービスおよびリソースを維持することによって仮想化することができる。クラウドは、サービスとしてのソフトウェア（ＳａａＳ）（例えば、コラボレーションサービス、電子メールサービス、エンタープライズリソースプランニングサービス、コンテンツサービス、コミュニケーションサービスなど）、サービスとしてのインフラストラクチャ（ＩａａＳ）（例えば、セキュリティサービス、ネットワークサービス、システム管理サービスなど）、サービスとしてのプラットフォーム（ＰａａＳ）（例えば、ウェブサービス、ストリーミングサービス、アプリケーション開発サービスなど）、ならびにサービスとしてのデスクトップ（ＤａａＳ）、サービスとしての情報技術管理（ＩＴａａＳ）、サービスとしての管理されたソフトウェア（ＭＳａａＳ）、サービスとしてのモバイルバックエンド（ＭＢａａＳ）などの他のタイプのサービスなどのクラウド要素を介して様々なクラウドコンピューティングサーバーを与えることができる。

【0104】

本明細書に記載した例の提供（および「など（ｓｕｃｈ ａｓ）」、「例えば」、「含む（ｉｎｃｌｕｄｉｎｇ）」などのような節・句）は、権利主張された主題事項を特定の例に限定するものとして解釈されるべきではなく、むしろ、例は、多くの可能な態様の一部だけを例示することが意図される。本明細書で使用されるとき、機構の用語は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の適切な組合せを包含し得ることも留意されたい。

【0105】

上記説明から明らかであるように別段具体的に述べられない限り、説明全体にわたって、「判定」、「提供」、「特定」、「比較」などの用語を利用する説明は、コンピュータシステムのメモリもしくはレジスタ、または他のそのような情報の記憶、伝送、もしくは表示デバイス内の物知的（電子的）量として表されるデータを操作および変換するコンピュータシステムまたは類似の電子コンピューティングデバイスのアクションまたはプロセスを指すことが理解されよう。

【0106】

本開示のいくつかの態様は、アルゴリズムの形態で本明細書に説明されるプロセスステップおよび命令を含む。本開示のプロセスステップおよび命令は、ソフトウェア、ファームウェア、またはハードウェアで具体化することができ、ソフトウェアで具体化されるとき、ダウンロードすることができて、リアルタイムネットワークオペレーティングシステムによって使用される異なるプラットフォーム上にあり、そこから作動されることに留意されたい。

【0107】

本開示は、本明細書中の動作を実行する機器にも関する。この機器は、要求される目的のために特に構築することができ、または機器は、コンピュータがアクセスできるコンピュータ可読媒体上に記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを備えることができる。そのようなコンピュータプログラムは、限定するものではないが、フロッピーディスク、光ディスク。ＣＤ－ＲＯＭ、光磁気ディスク、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光カード、特定用途向け集積回路（ＡＳＩＣ）、または電子命令を記憶するのに適した任意のタイプの非一時的なコンピュータ可読記憶媒体を含む任意のタイプのディスクなどのコンピュータ可読記憶媒体に記憶することができる。さらに、本明細書中で参照されるコンピュータは、単一のプロセッサを含むことができ、または向上したコンピューティング能力のために複数のプロセッサ設計を用いるアーキテクチャであり得る。

【0108】

本明細書に示されたアルゴリズムおよび動作は、任意の特定のコンピュータまたは他の機器に本来的に関連していない。様々な汎用システムは、本明細書中の教示に従ってプログラムと共に使用することもでき、またはそれは、必要な方法ステップを実行するためにより特化された機器を構築することが都合よいことを立証することができる。様々なこれらのシステムのために必要な構造は、均等な変形例と共に、当業者に明らかである。加えて、本開示は、任意の特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語が、明細書で説明されるような本開示の教示を実施するために使用されてもよく、特定の言語の任意の参照は、本開示の有効化およびベストモードの開示のために与えられることが理解される。

【0109】

超解像フィードバック制御機構、方法、およびシステムは、これらの例示した実施形態を具体的に参照して詳細に説明されている。しかしながら、様々な修正および変更が、前述の明細書において説明されたような本開示の精神および範囲内でなされてもよいことが明らかであり、そのような修正および変更は、均等であるとみなされ、本開示の一部であるはずである。本発明の範囲は、添付の特許請求の範囲によってのみ限定される。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6】