特表 2022-543072 反射標本のマクロ検査のためのシステム、方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-07

(54)【発明の名称】反射標本のマクロ検査のためのシステム、方法および装置

(51)【国際特許分類】

   G01N 21/95 20060101AFI20220930BHJP

   G01N 21/956 20060101ALN20220930BHJP

【ＦＩ】

G01N21/95 Z

G01N21/956 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022506529

(86)(22)【出願日】2020-06-30

(85)【翻訳文提出日】2022-01-31

(86)【国際出願番号】 US2020040255

(87)【国際公開番号】W WO2021025811

(87)【国際公開日】2021-02-11

(31)【優先権主張番号】16/705,674

(32)【優先日】2019-12-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/883,931

(32)【優先日】2019-08-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】プットマン，マシュー シー

(72)【発明者】

【氏名】プットマン，ジョン ビー

(72)【発明者】

【氏名】モフィット，ジョン

(72)【発明者】

【氏名】モスキー，マイケル

(72)【発明者】

【氏名】アンダーセン，ジェフリー

(72)【発明者】

【氏名】ポジ－ロヨーラ，スコット

(72)【発明者】

【氏名】オーランド，ジュリー

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA51

2G051AA84

2G051AB01

2G051AB02

2G051BA20

2G051BB01

2G051BB11

2G051BC01

2G051CA03

2G051CA04

2G051CA06

2G051CB01

2G051ED01

(57)【要約】

検査装置は、標本ステージ、１つまたは複数の画像化デバイス、およびライトのセットを含み、これらはすべて制御システムによって制御可能である。１つまたは複数の画像化デバイスまたは標本ステージを並進または回転させることにより、検査装置は、基準点の第１の側に第１の画像化アーチファクトを含む標本の第１の画像をキャプチャし、次に、基準点の第２の側に第２の画像化アーチファクトを含む標本の第２の画像をキャプチャすることができる。第１および第２の画像化アーチファクトは、第１の画像および第２の画像からそれぞれトリミングすることができ、第１の画像および第２の画像をデジタルでつなぎ合わせて、第１および第２の画像化アーチファクトがない標本の合成画像を生成することができる。

【特許請求の範囲】

【請求項1】

標本を保持するように構成された標本ステージと、
前記標本ステージから前記標本の１つまたは複数の画像をキャプチャするために前記標本ステージの上方に配置された１つまたは複数の画像化デバイスと、
前記標本ステージと前記１つまたは複数の画像化デバイスの間のプラットフォームに配置されたライトのセットと、
前記標本ステージ、前記１つまたは複数の画像化デバイス、および前記プラットフォームに結合された制御システムと、を含む検査装置であって、前記制御システムは、
１つまたは複数のプロセッサと、
メモリと、を含み、前記メモリは、
前記１つまたは複数のプロセッサによって実行された結果として、前記制御システムに、
前記標本の第１の画像をキャプチャするために前記１つまたは複数の画像化デバイスに第１の命令を提供することであって、前記第１の画像は、基準点の第１の側に第１の画像化アーチファクトを含む、ことと、
前記標本の第２の画像をキャプチャするために、前記１つまたは複数の画像化デバイスに第２の命令を提供することであって、前記第２の画像は、前記基準点の第２の側に第２の画像化アーチファクトを含む、ことと、
前記第１の画像から前記第１の画像化アーチファクトをトリミングし、前記第２の画像から前記第２の画像化アーチファクトをトリミングすることと、
前記第１の画像と前記第２の画像をデジタルでつなぎ合わせて、前記標本の合成画像を生成することであって、前記合成画像には、前記第１の画像化アーチファクトと前記第２の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する、検査装置。

【請求項2】

前記実行可能命令はさらに、前記制御システムに、
前記１つまたは複数の画像化デバイスを第１の方向に、前記基準点の前記第１の側の上方かつ前記第１の側の第１の位置に並進させて、前記標本の前記第１の画像をキャプチャすることと、
前記１つまたは複数の画像化デバイスを第２の方向に、前記基準点の前記第２の側の上方かつ前記第２の側の第２の位置に並進させて、前記標本の前記第２の画像をキャプチャすることと、を行わせる、請求項１に記載の検査装置。

【請求項3】

前記実行可能命令はさらに、前記制御システムに、
前記標本ステージを第１の方向に、前記基準点の前記第１の側の下方かつ前記第１の側の第１の位置に並進させて、前記標本の前記第１の画像をキャプチャすることと、
前記標本ステージを第２の方向に、前記基準点の前記第２の側の下方かつ前記第２の側に並進させ、前記標本の前記第２の画像をキャプチャすることと、を行わせる、請求項１に記載の検査装置。

【請求項4】

前記基準点が、前記標本の中心線に沿って配置される、請求項１に記載の検査装置。

【請求項5】

前記標本ステージおよび前記１つまたは複数の画像化デバイスの少なくとも一方が回転軸に沿って移動可能である、請求項１に記載の検査装置。

【請求項6】

前記１つまたは複数の画像化デバイスは、
前記基準点の前記第１の側の上方かつ前記第１の側に配置された第１の画像化デバイスと、
前記基準点の前記第２の側の上方かつ前記第２の側に配置された第２の画像化デバイスと、を含み、
前記検査装置は、前記第１の画像化デバイスおよび前記第２の画像化デバイスの下に配置されたアパーチャスライダーをさらに含み、前記アパーチャスライダーは、前記第１の画像化デバイスまたは前記第２の画像化デバイスのいずれかを使用して前記標本の画像のキャプチャを可能にする開口部を含む、請求項１に記載の検査装置。

【請求項7】

前記実行可能命令はさらに、前記制御システムに、
前記第１の画像をキャプチャするために前記開口部が前記第１の画像化デバイスと位置合わせされるように、前記アパーチャスライダーを第１の位置に並進させることと、
前記第２の画像をキャプチャするために前記開口部が前記第２の画像化デバイスと位置合わせされるように、前記アパーチャスライダーを第２の位置に並進させることと、を行わせる、請求項６に記載の検査装置。

【請求項8】

前記実行可能命令はさらに、前記制御システムに、
前記プラットフォームを並進させることと、
前記ライトのセットの１つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、
前記標本の前記第１の画像を分析して、標本分類を識別することと、
前記標本分類に基づいて、前記照明プロファイルを選択することと、
前記照明プロファイルに従って、前記プラットフォームと前記ライトのセットを調整することと、を行わせる、請求項１に記載の検査装置。

【請求項9】

前記標本ステージ上に保持された前記標本から反射されたライトを拡散して前記標本に戻すように構成されたバリアをさらに含む、請求項１に記載の検査装置。

【請求項10】

前記実行可能命令はさらに、前記制御システムに、前記第１の画像の第１の重複領域を前記第２の画像の第２の重複領域と比較させて、前記第１の画像および前記第２の画像のデジタルのつなぎ合わせを可能にする一致する画像が識別されたことを決定する、請求項１に記載の検査装置。

【請求項11】

検査装置の標本ステージで標本を受信することと、
前記検査装置の基準点を識別することと、
前記標本の第１の画像をキャプチャすることであって、前記第１の画像は、前記基準点の第１の側に第１の画像化アーチファクトを含む、ことと、
前記標本の第２の画像をキャプチャすることであって、前記第２の画像は、前記基準点の第２の側に第２の画像化アーチファクトを含む、ことと、
前記標本の前記第２の画像を評価して、前記標本の合成画像を生成するために前記第２の画像が前記第１の画像とともに使用可能であることを決定することと、
前記第１の画像から前記第１の画像化アーチファクトをトリミングし、前記第２の画像から前記第２の画像化アーチファクトをトリミングすることと、
前記第１の画像と前記第２の画像をデジタルでつなぎ合わせて、前記標本の前記合成画像を生成することであって、前記合成画像には、前記第１の画像化アーチファクトと前記第２の画像化アーチファクトがない、ことと、を含む、方法。

【請求項12】

前記検査装置の画像化デバイスを第１の方向に、前記基準点の前記第１の側の上方かつ前記第１の側の第１の位置に並進させて、前記第１の画像をキャプチャすることと、
前記検査装置の前記画像化デバイスを第２の方向に、前記基準点の前記第２の側の上方かつ前記第２の側の第２の位置に並進させて、前記標本の前記第２の画像をキャプチャすることと、をさらに含む、請求項１１に記載の方法。

【請求項13】

前記標本ステージを第１の方向に、前記基準点の前記第１の側の下方かつ前記第１の側の第１の位置に並進させて、前記第１の画像をキャプチャすることと、
前記標本ステージを、前記基準点の前記第２の側の下方かつ前記第２の側の第２の位置に並進させ、前記第２の画像をキャプチャすることと、をさらに含む、請求項１１に記載の方法。

【請求項14】

前記第１の画像をキャプチャするために、前記標本ステージを第１の位置に回転させることと、
前記第１の画像をトリミングして前記第１の画像の第１の部分を除去することであって、前記第１の部分は前記第１の画像化アーチファクトを含む、ことと、
前記標本ステージを第２の位置に回転させて、前記第２の画像をキャプチャすることと、
前記第２の画像をトリミングして前記第２の画像の第２の部分を除去することであって、前記第２の部分は、前記第２の画像化アーチファクトを含む、ことと、
前記第２の画像をデジタル回転させて、前記第２の画像の評価を開始することと、をさらに含む、請求項１１に記載の方法。

【請求項15】

前記検査装置のアパーチャスライダーを第１の方向に並進させて、開口部を前記検査装置の第１の画像化デバイスの下に配置して、前記第１の画像をキャプチャすることであって、前記第１の画像化デバイスは、前記基準点の前記第１の側の上方かつ前記第１の側に配置される、ことと、
前記検査装置の前記アパーチャスライダーを第２の方向に並進させて、前記開口部を前記検査装置の第２の画像化デバイスの下に配置して、前記第２の画像をキャプチャすることであって、前記第２の画像化デバイスは、前記基準点の前記第２の側の上方かつ前記第２の側に配置される、ことと、をさらに含む、請求項１１に記載の方法。

【請求項16】

前記検査装置のプラットフォームを並進させることであって、ライトのセットが前記プラットフォーム上に配置される、ことと、
照明プロファイルを決定するために、前記ライトのセットの１つまたは複数の組み合わせをアクティブ化することと、
前記標本の前記第１の画像を分析して、標本分類を識別することと、
前記標本分類に基づいて、前記照明プロファイルを選択することと、
前記照明プロファイルに従って前記プラットフォームと前記ライトのセットを調整することと、をさらに含む、請求項１１に記載の方法。

【請求項17】

前記検査装置の画像化デバイスを第１の方向に回転させて、前記画像化デバイスを前記基準点の前記第１の側に配置して、前記第１の画像をキャプチャすることと、
前記検査装置の前記画像化デバイスを第２の方向に回転させて、前記画像化デバイスを前記基準点の前記第２の側に配置して、前記第２の画像をキャプチャすることと、をさらに含む、請求項１１に記載の方法。

【請求項18】

前記標本ステージ上に保持された前記標本から反射されたライトを拡散して前記標本に戻すことをさらに含む、請求項１１に記載の方法。

【請求項19】

前記第１の画像の第１の重複領域を前記第２の画像の第２の重複領域と比較して、前記第１の画像および前記第２の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む、請求項１１に記載の方法。

【請求項20】

前記標本ステージが、Ｘ軸、Ｙ軸、Ｚ軸、および回転軸に沿って移動可能である、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願への相互参照
本出願は、２０１９年１２月６日に出願された「反射標本のマクロ検査のためのシステム、方法および装置」と題された１６／７０５，６７４に優先権を主張し、これは、２０１９年８月７日に出願された「大規模な反射標本を画像化するための方法」と題された米国仮出願第６２／８８３，９３１号の利益を主張し、その内容は参照によりその全体が組み込まれている。本出願は、２０１９年１月３０日に出願された「マクロ検査システム、装置および方法」と題された米国特許出願第１６／２６２，０１７号にさらに関連しており、その内容は参照によりその全体が組み込まれる。

【0002】

本開示は、一般に、反射標本を画像化するためのマクロ検査システム、装置、および方法に関する。

【背景技術】

【0003】

反射性材料（例えば、ガラス、ミラー、光学レンズ、半導体ウェーハなど）でできている標本のマクロ検査（すなわち、単一の視野、標本、または標本の２００ｍｍ以上の領域での画像化）を実行する場合、（１）標本の上に配置された画像化デバイスの反射は、標本で反射し、画像化デバイスによってキャプチャされた画像に現れ得、（２）標本に向けられた照明は、標本で反射し、キャプチャされた画像にホットスポットとして現れ得る。これらの画像化アーチファクト（すなわち、画像デバイスの反射および／または照明ホットスポット）は望ましくない。

【0004】

図１Ａは、標本Ｓを照明する照明空間１８を提供する照明源１６を示す。画像化デバイス１０および集束レンズ１２は、画像化アセンブリ１３を形成し、画像化アセンブリ１３によってキャプチャされる画像化空間１４を規定する。図１Ｂは、画像化アセンブリ１３によってキャプチャされた画像タイル２２を示す。画像タイル２２内には、中央に標本２４およびダークスポット２６の画像がある。ダークスポットは、画像内の画像化アセンブリ１３の反射または照明１６からの影の結果であり得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、これらの望ましくない画像化アーチファクトを排除し、明視野、暗視野または斜め照明、偏光、交差偏光、微分干渉コントラスト（ＤＩＣ）、位相差を含むがこれらに限定されない複数の照明モードを提供することができる、標本のマクロ検査のための新規の機構を提供することが望ましい。標本の特徴を検出するために、本明細書で説明されるように、照明の各モードが可変の照明風景を提供することも望ましい。この明細書では、マクロとは、単一の視野で約５ｃｍ²以上の領域を指す。当業者によって理解される標本は、検査品（例えば、半導体ウェーハまたは生物学的摺動）を指し、特徴は、標本の既知の特性、ならびに異常および／または欠陥を指す。特徴には、回路、回路基板構成要素、生体細胞、組織、欠陥（例えば、引っかき傷、ほこり、指紋）が含まれるが、これらに限定されない。

【課題を解決するための手段】

【0006】

一例では、検査装置は、標本を保持するように構成された標本ステージと、標本の画像をキャプチャするために標本ステージの上方に配置された１つまたは複数の画像化デバイスと、標本ステージと１つまたは複数の画像化デバイスとの間のプラットフォーム上のライトのセットと、標本ステージ、１つまたは複数の画像化デバイス、およびプラットフォームに結合された制御システムと、を含み、制御システムは、１つまたは複数のプロセッサとメモリとを含み、メモリは、１つまたは複数のプロセッサによって実行された結果として、制御システムに、標本の第１の画像をキャプチャするために１つまたは複数の画像化デバイスに第１の命令を提供することであって、第１の画像は、基準点の第１の側に第１の画像化アーチファクトを含む、ことと、標本の第２の画像をキャプチャするために、１つまたは複数の画像化デバイスに第２の命令を提供することであって、第２の画像は、基準点の第２の側に第２の画像化アーチファクトを含む、ことと、第１の画像と第２の画像から画像化アーチファクトをトリミングし、第１の画像と第２の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第１の画像化アーチファクトと第２の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する。

【0007】

いくつかの例では、実行可能命令はさらに、制御システムに、１つまたは複数の画像化デバイスを第１の方向に、基準点の第１の側の上方かつ第１の側の第１の位置に並進させて、第１の画像をキャプチャすることと、１つまたは複数の画像化デバイスを第２の方向に、１つまたは複数の画像化デバイスが第２の画像をキャプチャすることを可能にするために、基準点の第２の側の上方かつ第２の側の第２の位置に並進させることと、を行わせる。

【0008】

いくつかの例では、実行可能命令は、制御システムに、標本ステージを第１の方向に、基準点の第１の側の下方かつ第１の側の第１の位置に並進させて、標本の第１の画像をキャプチャすることと、標本ステージを第２の方向に、基準点の第２の側の下方かつ第２の側の第２の位置に並進させて、標本の第２の画像をキャプチャすることと、を行わせる。

【0009】

いくつかの例では、基準点は、標本の中心線に沿って配置される。

【0010】

いくつかの例では、標本ステージまたは１つもしくは複数の画像化デバイスは、回転軸に沿って移動可能である。

【0011】

いくつかの例では、１つまたは複数の画像化デバイスは、基準点の第１の側の上方かつ第１の側に配置された第１の画像化デバイスと、基準点の第２の側の上方かつ第２の側に配置された第２の画像化デバイスと、を含み、検査装置は、第１の画像化デバイスおよび第２の画像化デバイスの下に配置されたアパーチャスライダーを含み、アパーチャスライダーは、第１の画像化デバイスまたは第２の画像化デバイスのいずれかを使用して標本の画像のキャプチャを可能にするアパーチャを備える。

【0012】

いくつかの例では、実行可能命令は制御システムに、第１の画像をキャプチャするためにアパーチャが第１の画像装置と位置合わせされるように、アパーチャスライダーを第１の位置に並進させることと、第２の画像をキャプチャするためにアパーチャが第２の画像装置と位置合わせされるように、アパーチャスライダーを第２の位置に並進させることと、を行わせる。

【0013】

いくつかの例では、実行可能命令は、制御システムに、プラットフォームを並進させることと、ライトのセットの１つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、標本の第１の画像を分析して標本分類を識別することと、標本分類に基づいて照明プロファイルを選択することと、照明プロファイルに従って、プラットフォームとライトのセットを調整することと、を行わせる。

【0014】

いくつかの例では、検査装置は、標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すように構成されたバリアを含む。

【0015】

いくつかの例では、実行可能命令は、制御システムに、第１の画像の第１の重複領域を第２の画像の第２の重複領域と比較させて、第１の画像と第２の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定する。

【0016】

一例では、方法は、検査装置の標本ステージで標本を受信することと、標本の基準点を識別することと、基準点の第１の側に第１の画像化アーチファクトを含む標本の第１の画像をキャプチャすることと、基準点の第２の側に第２の画像化アーチファクトを含む標本の第２の画像をキャプチャすることと、標本の第２の画像を評価して、第２の画像を第１の画像と一緒に使用できるかどうかを決定することと、第１の画像から第１の画像化アーチファクトをトリミングし、第２の画像から第２の画像化アーチファクトをトリミングすることと、第１の画像と第２の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第１の画像化アーチファクトと第２の画像化アーチファクトがない、ことと、を含む。

【0017】

いくつかの例では、この方法は、検査装置の画像化デバイスを第１の方向に、基準点の第１の側の上方かつ第１の側の第１の位置に並進させて、第１の画像をキャプチャすることと、検査装置の画像化デバイスを第２の方向に、基準点の第２の側の上方かつ第２の側の第２の位置に並進させて、第２の画像をキャプチャすることと、をさらに含む。

【0018】

いくつかの例では、この方法は、標本ステージを第１の方向に、基準点の第１の側の下方かつ第１の側の第１の位置に並進させて、第１の画像をキャプチャすることと、標本ステージを第２の方向の第２の位置まで、基準点の第２の側の下方かつ第２の側の位置へと並進させて、第２の画像をキャプチャすることと、をさらに含む。

【0019】

いくつかの例では、この方法は、第１の画像をキャプチャするために、標本ステージを第１の位置に回転させることと、第１の画像をトリミングして、第１の画像化アーチファクトを含む第１の画像の第１の部分を除去することと、標本ステージを第２の位置に回転させて、第２の画像をキャプチャすることと、第２の画像をトリミングして、第２の画像化アーチファクトを含む第２の画像の第２の部分を除去することと、第２の画像をデジタル回転させて、第２の画像の評価を開始することと、をさらに含む。

【0020】

いくつかの例では、この方法は、検査装置のアパーチャスライダーを第１の方向に並進させて、検査装置の第１の画像化デバイスの下にアパーチャを配置して、第１の画像をキャプチャすることであって、第１の画像化デバイスは、基準点の第１の側の上方かつ第１の側に配置される、ことと、検査装置のアパーチャスライダーを第２の方向に並進させて、アパーチャを検査装置の第２の画像化デバイスの下に配置して、第２の画像をキャプチャすることであって、第２の画像化デバイスは、基準点の第２の側の上方かつ第２の側に配置されている、ことと、をさらに含む。

【0021】

いくつかの例では、この方法は、検査システムのプラットフォームを並進させることであって、ライトのセットがプラットフォーム上に配置される、ことと、照明プロファイルを決定するために、ライトのセットの１つまたは複数の組み合わせをアクティブ化することと、標本の第１の画像を分析して標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従ってプラットフォームとライトのセットを調整することと、をさらに含む。

【0022】

いくつかの例では、この方法は、検査装置の画像化デバイスを第１の方向に回転させて、画像化デバイスを基準点の第１の側に配置して第１の画像をキャプチャすることと、検査装置の画像化デバイスを第２の方向に回転させて、画像化デバイスを基準点の第２の側に配置して、第２の画像をキャプチャすることと、をさらに含む。

【0023】

いくつかの例では、この方法は、標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すことをさらに含む。

【0024】

いくつかの例では、この方法は、第１の画像の第１の重複領域を第２の画像の第２の重複領域と比較して、第１の画像および第２の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む。

【0025】

いくつかの例では、標本ステージは、Ｘ軸、Ｙ軸、Ｚ軸、および回転軸に沿って移動可能である。

【0026】

本開示の上記ならびに他の利点および特徴を得ることができる方法を説明するために、上で簡単に説明した原理のより具体的な説明は、添付の図面に示されているその特定の実施形態を参照することによって提供される。これらの図面は本開示の例示的な実施形態のみを描写し、したがってそれらの範囲を限定すると見なされるべきではないことを理解して、本明細書の原理は、以下の添付の図面を使用することにより、追加の特異性および詳細とともに記載および説明される。

【図面の簡単な説明】

【0027】

【図1A】標本を照明する照明空間を提供する照明源を示す図である。

【0028】

【図1B】画像化アセンブリによってキャプチャされた画像タイルを示す図である。

【0029】

【図2】開示された主題のいくつかの実施形態によるマクロ（マクロ）検査システムの例を示す図である。

【0030】

【図3A】開示された主題のいくつかの実施形態によるライトリングアセンブリの上面図を示す図である。

【0031】

【図3B】開示された主題のいくつかの実施形態によるライトリングアセンブリの側面図を示す図である。

【0032】

【図4A】開示された主題のいくつかの実施形態による、標本を照明するための最大の無制限の照明ビームから生じる照明の円錐を示す図である。

【0033】

【図4B】開示された主題のいくつかの実施形態による、光偏向器の第１の位置への移動から生じる照明の円錐の最小化を示す図である。

【0034】

【図4C】開示された主題のいくつかの実施形態による、光偏向器の第２の位置への移動から生じる照明の円錐の最小化を示す図である。

【0035】

【図5A】開示された主題のいくつかの実施形態による、標本の第１の画像をキャプチャするための第１の位置にある画像化並進プラットフォームを含むマクロ検査システムを示す図である。

【0036】

【図5B】開示された主題のいくつかの実施形態による、標本の第２の画像をキャプチャして標本のアーチファクトのない画像を作成するために第２の位置に並進された画像化並進プラットフォームを含むマクロ検査システムを示す図である。

【0037】

【図6A】開示された主題のいくつかの実施形態による、ステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャ並進を使用して、第１の位置でキャプチャされた標本の第１の画像を示す図である。

【0038】

【図6B】開示された主題のいくつかの実施形態による、ステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャ並進を使用して、第２の位置でキャプチャされた標本の第２の画像を示す図である。

【0039】

【図6C】開示された主題のいくつかの実施形態による、標本の第１の画像および標本の第２の画像をつなぎ合わせることによって作成された標本のアーチファクトのない画像を示す図である。

【0040】

【図7】開示された主題のいくつかの実施形態による画像化アセンブリを並進させることによって、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。

【0041】

【図8】開示された主題のいくつかの実施形態による、標本ステージを並進させることによって、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。

【0042】

【図9A】開示された主題のいくつかの実施形態による、第１の位置で標本の第１の画像をキャプチャするための２つの画像化アセンブリおよび並進可能なアパーチャスライダーを含むマクロ検査システムを示す図である。

【0043】

【図9B】開示された主題のいくつかの実施形態による、第２の位置で標本の第２の画像をキャプチャするための２つの画像化アセンブリおよび並進可能なアパーチャスライダーを含むマクロ検査システムを示す図である。

【0044】

【図10】開示された主題のいくつかの実施形態による、２つの画像化アセンブリおよび並進可能なアパーチャスライダーを使用して、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法を示す図である。

【0045】

【図11】開示された主題のいくつかの実施形態による、アーチファクトのない画像を作成するために一方または両方を回転させることができる標本ステージおよび画像化アセンブリを含むマクロ検査システムを示す図である。

【0046】

【図12】開示された主題のいくつかの実施形態による、マクロ検査システムの標本ステージを回転させることによって、標本の複合アーチファクトのない画像を作成するための方法を示す図である。

【0047】

【図13A】開示された主題のいくつかの実施形態による、標本ステージの初期位置でキャプチャされた例示的な画像を示す図である。

【0048】

【図13B】開示された主題のいくつかの実施形態による、画像化アーチファクトを含む画像の一部が画像からトリミングされる例示的な画像を示す図である。

【0049】

【図13C】開示された主題のいくつかの実施形態による、マクロ検査システムの標本ステージの回転を介して第２の位置でキャプチャされた例示的な画像を示す図である。

【0050】

【図13D】開示された主題のいくつかの実施形態による、画像化アーチファクトを含む画像の一部が画像からトリミングされる例示的な画像を示す図である。

【0051】

【図13E】開示された主題のいくつかの実施形態による、元の位置にデジタルで回転されているトリミングされた画像の例を示す図である。

【0052】

【図13F】開示された主題のいくつかの実施形態による、元の位置にデジタルで回転されたトリミングされた画像の例を示す図である。

【0053】

【図13G】開示された主題のいくつかの実施形態による、２つのトリミングされた画像をつなぎ合わせることによって生成された標本の合成アーチファクトのない画像を示す図である。

【0054】

【図14】開示された主題のいくつかの実施形態による、異なる照明風景を達成するためにマクロ検査システムを較正するための例示的な較正方法を示す図である。

【0055】

【図15A】開示された主題のいくつかの実施形態による、所望の照明風景を達成するためにマクロシステムを使用して標本を照明するための例示的な方法を示す図である。

【0056】

【図15B】開示された主題のいくつかの実施形態による、標本分類を識別し、マクロ検査システムの照明風景を自動的に調整するための例示的な方法を示す図である。

【0057】

【図16】開示された主題のいくつかの実施形態によるコンピュータ分析システムの実施形態の一般的な構成を示す図である。

【0058】

【図17】開示された主題のいくつかの実施形態による、トレーニングデータを使用して、受信した標本走査で使用できる１つまたは複数の人工知能アルゴリズムをトレーニングして、受信した標本画像ごとに１つまたは複数の照明プロファイルを作成する例を示す図である。

【発明を実施するための形態】

【0059】

開示された主題のいくつかの実施形態によれば、反射標本のマクロ検査のための機構（システム、方法、デバイス、装置などを含むことができる）が提供される。マクロ検査（検査と呼ばれることもある）とは、開示されたマクロ検査機構を使用した、標本の走査、画像化、分析、測定、およびその他の適切なレビューを指す。開示されたマクロ検査機構は、本明細書で説明されるように、それぞれが可変の照明風景を提供することができる１つまたは複数の照明モードを含む。以下の説明は、マクロ検査機構で実装される構成要素および方法に言及しているが、本明細書で説明される構成要素および方法は、顕微鏡検査システムでも実装することができる。

【0060】

図２は、開示された主題のいくつかの実施形態によるマクロ（マクロ）検査システム１００の例を示す。高レベルでは、マクロ検査システム１００の基本的な構成要素は、いくつかの実施形態によれば、標本Ｓにライトを提供するための照明アセンブリ（例えば、ライトリングアセンブリ８０）、集束レンズ３４、画像化デバイス３２、標本ステージ５０、ハードウェア（例えば、本明細書に記載の動作を実行するように構成された１つまたは複数のプロセッサなど）、ソフトウェア、および／またはファームウェア、ならびにコンピュータ分析システム７５を含む制御システム７０を含む。マクロ検査システム１００は、透過光または反射光を使用する光学検査システムの一部として実装することができる。

【0061】

いくつかの実施形態では、図２、３Ａおよび３Ｂに示されるように、ライトリングアセンブリ８０は、（照明空間９０によって表されるように）標本にライトを提供するためのマクロ検査システム１００のための照明アセンブリとして使用され得る。１つまたは複数の個別のライト（例えば、ＬＥＤライトＬ１からＬｎ）をライトリングアセンブリ８０に取り付けることができる。個別のライトＬ１からＬｎは、任意のタイプの適切な照明技術に基づくことができ、以下を含むがこれらに限定されず、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、蛍光、ハロゲン、白熱、光ファイバ、ガスプラズマ、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、レーザーなどである。各ライトは個別にアドレス指定できる。さらなる実施形態では、個々のライトをセクションに分割することができ（例えば、前部、後部、右、左などのライトリングアセンブリ上の位置によって）、各セクションをアドレス指定することができる。ソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）は、そのアドレスによって、各ライトまたはセクションのアクティブ化、強度、および／または色を制御することができる。例えば、制御システム７０は、１つまたは複数のプロセッサおよび１つまたは複数のプロセッサによって実行された結果として、制御システム７０に本明細書に記載の動作を実行させる命令を記憶するメモリを備える。場合によっては、制御システム７０は、アプリケーションとして、または本明細書で説明される動作を実行するスタンドアロンコンピュータシステムとして実装される。アクティブ化とは、ライトのオンを指し、強度とは、ライトエネルギーが表面のユニットに供給される速度を指し、色とは、例えば、ＲＧＢ（赤、緑、青）の色値を指す。ここで、各色の値は、例えば８ビットの色に基づいて０～２５５の整数として指定される。強度は、露出計、画像センサ、および／または他の適切な強度測定デバイスによって決定することができる。複数のライトＬ１からＬｎは、単色、多色、および／またはそれらの任意の組み合わせを投射するライトから構成することができる。

【0062】

開示された主題のいくつかの実施形態によれば、各ライトＬ１からＬｎは、複数の方向から、異なる入射角で斜めの照明を提供することができる。本明細書に記載されているように、照明の角度を変えるための３つの方法は、（１）ライトリングアセンブリ８０に取り付けられたライトの角度を変更することと、（２）ライトリングアセンブリ８０をｚ方向に上下させることと、および／または（３）ライトからの照明ビームの一部が遮断されるように光偏向器を配置することと、を含む。

【0063】

一実施形態では、各ライトは、標本ステージ５０に保持されたときに、標本の標本面に対して所望の角度でライトリングアセンブリ８０に取り付けることができる。さらなる実施形態では、各ライトの角度は、手動またはソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）により自動で制御することができる。ライトの角度は、個別に、または１つもしくは複数の他のライトと同時に制御できる。各ライトは、同じまたは異なる量の角度を付けることができる。

【0064】

いくつかの実施形態では、ライトリングアセンブリ８０は、マクロ検査システム１００のガイドレール４８に沿って移動可能であるように構成することができる。一例では、ライトリングアセンブリ８０は、支持ロッド８１ａおよび８１ｂならびにベアリング８２ａおよび８２ｂ（図３Ａに示されるように）を備えたガイドレール４８に取り付けることができる。照明アセンブリはリング形成に限定されないことに留意されたい。例えば、「マクロ検査システム、装置および方法」と題された米国特許出願第１６／２６２，０１７号に記載されているように、他のタイプのライト形成が可能であり、これは参照によりその全体が本明細書に組み込まれる。さらに、ガイドレール４８の高さに沿った異なる位置へのライトリングアセンブリ８０の移動は、手動で、またはソフトウェア、ハードウェア、および／もしくはファームウェア（例えば、制御システム７０）によって自動的に制御することができる。標本ステージ５０に対するその高さに応じて、ライトリングアセンブリ８０を使用して、標本ステージ５０に保持されたときに標本に斜めまたは暗視野照明を提供することができる。例えば、可変角度の斜め照明を提供するために、ライトリングアセンブリ８０は、そのライトが標本面（すなわち、標本ステージ５０に配置されたときの標本の上面平面）の上の異なる高さに投射できるように配置することができる。いくつかの実施形態では、標本面は、マクロ検査システム１００の焦点面（すなわち、標本が焦点を合わせている面）に対応する。さらなる例では、暗視野照明を提供するために、ライトリングアセンブリ８０は、そのライトが、標本ステージ５０上の標本の標本面と同じ、または実質的に同じレベルで投射され得るように配置され得、標本ステージ５０に保持されたときに標本に暗視野照明を提供する。

【0065】

本明細書で使用される場合：斜め照明は、９０度未満および０度を超える、通常は１度を超える入射角で標本に向かって投射されるライトを指す。暗視野照明とは、１度未満、通常は０度の入射角で標本に向かって投射されるライトを指す。明視野照明とは、標本の平面に垂直な入射角（９０度）で標本に向かって投射されるライトを指す。明視野照明は、レンズ３４を通して照明を提供する光源を指すことができる。

【0066】

標本ステージ５０に対するその距離（ｄ）に応じて、ライトリングアセンブリ８０を使用して、標本ステージ５０に保持されたときに標本に斜めまたは暗視野照明を提供することができる。斜めおよび暗視野照明を提供することは、「マクロ検査システム、装置および方法」と題された米国特許出願第１６／２６２，０１７号に記載されており、これは参照によりその全体が本明細書に組み込まれる。いくつかの実施形態では、ライトリングアセンブリ８０は、アセンブリからの照明が標本面に実質的に平行になるように配置され、標本ステージ５０に保持されたときに標本に暗視野照明を提供することができる。実質的に平行であるとは、－１°から＋１°の入射角を有し、位置合わせの欠陥を許容するものとして理解されるが、いくつかの実施形態では、照明は平面上、すなわち、０のａｄであり、それによって照明は標本の完全に平らな平面から伸びる特徴がある場合にのみ反射される。標本が完全に平坦で特徴がない場合、それはレンズ３４に対して実質的に平行な照明のいずれも反射せず、レンズ３４によって見られるそのような標本は照明されないであろう。突出した欠陥または他の特徴がある場合、ライトリングアセンブリ８０からの照明は、そのような欠陥および／または特徴で反射し、レンズ３４を介して画像化デバイス３２によってキャプチャされる。標本ステージ５０からの距離が０より大きい場合、ライトリングアセンブリ８０を使用して、標本ステージ５０に保持されたときに標本に斜めの照明を提供することができる。

【0067】

図４Ａ～４Ｃに示されるように、光偏向器８３を使用して、各ライトＬiの照明の円錐を調整することができる。各ライトＬiは、ライトリングアセンブリ８０から角度αで取り付けることができる。ライトリングアセンブリ８０は、標本ステージ５０に対して垂直に配置することができ、ライトは、０から９０度、通常は０から６０度（例えば、１０度）の間の角度αで取り付けることができる。典型的なＬＥＤライトは、約１２０度の円錐形の照明を有することができる。照明の円錐は、任意の２つのベクトルａ、ｂ、ｃ、ｄ、ｅ、ｆ、およびｇで表される。ベクトルａおよびｇは、図４Ａに見られるように、最大の制限されていない照明ビームを表す。無制限のライトの照明の円錐はθ１で表される。例えば、図４Ｂおよび４Ｃに示される、光偏向器８３は、照明の円錐を最小化するために、ライトの上に配置することができる。図４Ｂは、ベクトルａ（点線で表される）を遮断し、ライトベクトルｂからｇが継続することを可能にするために第１の位置に移動された光偏向器８３を示す。この制限されたライトの照明の円錐はθ２で表され、θ１よりも小さい円錐を有している。図４Ｃは、光偏向器８３が第２の位置に移動し、ベクトルａ、ｂおよびｃ（点線で表される）を遮断し、ベクトルｄ、ｅ、ｆおよびｇが継続することを可能にすることを示す。この制限されたライトの照明の円錐はθ３であり、その照明の円錐はθ１とθ２の両方よりも小さくなっている。αとθは、特定の標本の特徴を示すために標本を照らす照明角度を提供するように調整できる。例えば、一般に、エッジを規定するには照明の角度を大きくする方が適切であるが、バンプを規定するには照明の角度を低くする方が一般的に適している。いくつかの実施形態では、単一の光偏向器を使用して、すべてのライトの照明の円錐を制御し、他の実施形態では、個々の光偏向器を使用して、各ライトの照明の円錐を制御することができる。各ライトの照明の円錐は、同じでも異なっていてもかまわない。

【0068】

偏向器８３は、図４Ａ～４Ｃに示されるように、上から下に下げられ、下から上へ、または両方向に移動するように構成することもできる。検査されている特徴に関係なく、偏向器８３は、ライトが画像化デバイスに向けられて、キャプチャされた画像に画像化アーチファクト（imaging artifact）を引き起こすのを防ぐように配置することができる。いくつかの実施形態では、偏向器８３は、ライトを標本にのみ向けるように配置することができる。ドームがマクロ検査システム１００に含まれる実施形態では、偏向器８３は、ライトをドーム、標本、ならびに／またはドームおよび標本に偏向させるように調整することができる。単一または個別の光偏向器８３は、手動で、またはソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）によって自動的に制御することができる。図４Ａ～４Ｃに示されるように、調整ねじ８６は、光偏向器８３を調整するために使用することができる機構の一例である。

【0069】

いくつかの実施形態では、ＸＹＺθ並進ステージを標本ステージ５０に使用することができる。標本ステージ５０は、ステッピングモーター、サーバーモーター、リニアモーター、ピエゾモーター、および／または手動機構を含む他の任意の適切な機構によって駆動することができる。標本ステージ５０は、物体をＸ軸、Ｙ軸、Ｚ軸および／またはθ方向に手動でおよび／または任意の適切なコントローラ（例えば、制御システム７０）の制御下で移動させるように構成することができる。アクチュエータ（例えば、アクチュエータ３９）を使用して、例えば、０から５ｍｍ、０から１０ｍｍ、０から３０ｍｍ、および／または他の任意の適切な距離範囲の粗い焦点調整を行うことができる。アクチュエータはまた、いくつかの実施形態において、例えば、０から５０μｍ、０から１００μｍ、０から２００μｍ、および／または任意の他の適切な距離範囲の微細な焦点を提供するために使用され得る。当業者は、ＸＹＺθ並進ステージが単なる一例であり、他の適切なステージ（例えば、ＸＹＺ並進ステージ、θ並進ステージ、Ｚ並進ステージ）を使用できることを理解するであろう。

【0070】

いくつかの実施形態では、一緒に画像化アセンブリ３３を形成するレンズ３４および画像化デバイス３２は、標本ステージ５０の上の並進アセンブリ上で支持され得る。並進アセンブリは、画像化並進プラットフォーム４４を含み、これは、画像化アセンブリ３３をＸ軸、Ｙ軸、および／またはθ方向に手動で、および／または任意の適切なコントローラ（例えば、制御システム７０）の制御下で移動するように構成することができる。上部支持フレーム４６はまた、制限（例えば、左右の制限４３ａおよび４３ｂ）および／または画像化並進プラットフォーム４４を位置合わせするためのエンコーダ４５を含むことができる。制限は、画像化並進プラットフォーム４４の適切な位置合わせを示すための物理的停止またはスイッチ（光学的、機械的、電子的または他のもの）であり得る。スイッチは、制御システム７０によって制御され得て、画像化並進プラットフォーム４４が特定の位置合わせにあるときにのみ画像を撮影できるようにするか、またはリミットスイッチがアクティブ化されたときに画像を自動的にキャプチャする（例えば、画像化並進プラットフォーム４４を制限４３ａおよび４３ｂ内に配置することによって）。エンコーダ４５は、プラットフォーム４４の位置をより正確に示すために使用することができ、プラットフォーム４４が特定の位置にあるときにのみ画像化を可能にするか、または画像化を自動的にトリガーするために使用することができる。いくつかの実施形態では、上部支持フレーム４６は、ガイドレール４８に沿ってＺ軸方向に移動可能であるように構成することができる。焦点を調整するために、上部支持フレーム４６を上下させることができ、支持フレーム４６に結合された画像化アセンブリ３３を、標本ステージ５０に近づけるか、または遠ざける。さらに、ガイドレール４８の高さに沿った異なる位置への上部支持フレーム４６の移動は、手動で、またはソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）によって自動的に制御することができる。他の実施形態では、画像化デバイスは、上部支持フレーム４６に直接取り付けられ得、同様の方法で、Ｘ軸、Ｙ軸、Ｚ軸、および／またはθ方向に並進可能である。

【0071】

レンズ３４は、異なる倍率を有することができ、および／または明視野、暗視野または斜め照明、偏光、交差偏光、微分干渉コントラスト（ＤＩＣ）、位相差および／または照明の他の任意の適切な形態で動作するように構成することができる。マクロ検査システム１００に使用されるレンズのタイプは、例えば、視野、アパーチャ数などの所望の特性に基づくことができる。いくつかの実施形態では、レンズ３４は、単一の視野内で標本を観察するために使用することができるマクロレンズであり得る。当業者によって理解される視野という用語は、画像センサによって一度にキャプチャされる検査領域を指すことに留意されたい。

【0072】

標本ステージ５０上の標本の照明は、画像化デバイス３２（例えば、カメラ）に取り付けられたレンズ３４まで反射し、画像化デバイス３２は、画像化空間９２内の標本の画像および／またはビデオをキャプチャすることができる。いくつかの実施形態では、画像化デバイス３２は、カメラが標本、ステージ、および／または標本上の特徴に位置合わせされることを可能にするように構成された、画像センサを含む回転可能なカメラであり得る。画像センサは、例えば、電荷結合デバイス（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ、および／またはライトを１つまたは複数の電気信号に変換する他の任意の適切な電子デバイスであり得る。そのような電気信号は、物体の画像および／またはビデオを形成するために使用することができる。いくつかの実施形態では、そのような電気信号は、マクロ検査システム１００に接続された表示画面に表示するために送信される。マクロ検査システム１００によって使用することができるカメラを回転させるためのいくつかの例示的な方法は、「顕微鏡検査における大面積画像化を容易にするためのカメラおよび物体の位置合わせ」と題する米国特許第１０，０４８，４７７号に記載されており、これは参照によりその全体が本明細書に組み込まれる。

【0073】

いくつかの実施形態では、マクロ検査システム１００は、図２に示されるように、バリア、例えば、ドーム４２を含むことができる。それは、標本から反射されて標本に向かって戻るライトを反射するように構成されている。ドーム４２は、反射したライトを拡散して標本に戻し、より均一な照明フィールドを提供する。ドーム型のバリアが示されているが、球、円錐、立方体、または菱面体などの任意の３次元の多面体形状を含む他の形状のバリアを使用して、様々な拡散角度を提供できる。いくつかの実施形態では、光拡散器は、ドームまたは他の形状のバリアの形状で形成され、他の実施形態では、ドームまたは他のバリアは、任意の材料であることができるが、光拡散塗料で塗装される。ドーム４２は、画像化アセンブリ３３に結合することができるので、画像化アセンブリ３３が動かされると、ドーム４２はそれに沿って動く。

【0074】

単一のライトまたは複数のライトをアクティブ化して、標本面の視野の一部または全体を照らすことができる。検査される標本のタイプ、検査される特徴のタイプ、標本上の関心領域、および／または他の適切な基準は、どのライトがどの色および／または強度でアクティブ化されるかを決定することができる。さらに、ソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）は、個々のライトの角度を、または１つもしくは複数の他のライトと同時に制御することができる。いくつかの実施形態では、角度を手動で変更することができる。各ライトは、同じまたは異なる量の角度を付けることができる。いくつかの実施形態では、ライトはドーム４２に向けられるのではなく、標本に向けられ、ドーム４２から反射されて、より拡散して標本に戻る。

【0075】

個々のライトは、個別にまたは一緒にライトのベクトルを放出して、標本平面上の特定の領域）「照明領域」（を照明することができる。この照明領域の大きさは、標本の一部を照明することから、標本平面全体を包含することまで変化し得る。照明の面積は、ベクトルで表される光線に沿った標本平面の上、下、または上の様々な軸方向の位置（例えば、標本ステージ５０の上部、標本平面の上部、焦点面など）で計算できる。各ライトのベクトルによってカバーされる領域は、隣接するライトバーから放出されるライトのベクトルによってカバーされる領域と部分的に重複するか、まったく重複しない可能性がある。いくつかの実施形態では、１つまたは複数の集束レンズおよび／またはコリメートレンズを使用して、各ライトベクトルの領域を、標本ステージ５０上の標本に適した領域に集束させることができる。

【0076】

いくつかの実施形態では、単一の照明ベクトルは、１度以上から１８０度以下（６０以上から１０，８００分以下のアーク）の範囲である。他の実施形態では、単一の照明ベクトルは、４５度以上から１２０度以下（２，７００以上から７，２００分以下のアーク）の範囲であり、他の実施形態では、３０度以上から４５度以下（１，８００以上から２，７００分以下のアーク）、他の実施形態では、１０度以上から３０度以下（６００以上から１，８００分以下のアーク）、他の実施形態では、５度以上から１０度以下（３００以上から６００分以下のアーク）、他の実施形態では、２度以上から５度以下（１２０以上から３００分以下のアーク）である。ベクトルは、標本の位置に対するライトアセンブリリング８０のアクティブ化されたライトの数および位置に依存する。

【0077】

ライトリングアセンブリ８０は、ライトの数、個々のライトのサイズ、個々のライトの円錐角、ライト間のピッチ（ｐ）、およびライトとライトが投影される領域との間の距離に関して変化し得る。いくつかの実施形態では、標本ステージ５０のサイズ、レンズ３４の仕様、検査されている標本のサイズおよび／もしくはタイプ、ならびに／または検査されている標本の特徴は、例えば、ライトの配置（リング内であろうと他の配置であろうと）、ライトの総数、距離、および／またはピッチ（ｐ）を含む、ライトアセンブリリング８０上のライトの構成を決定することができる。

【0078】

図４Ａ～４Ｃの照明の例から一般的に理解されるべきであるように、本発明の様々な実施形態は、暗視野照明、可変斜角での照明、および明視野照明を可能にする。

【0079】

いくつかの実施形態では、制御システム７０は、コントローラおよびコントローラインターフェースを含み、マクロ検査システム１００（例えば、ライトの強度、ライトの色、１つまたは複数のライトのオンとオフの切り替え、１つまたは複数のライトの枢動またはその他の移動（例えば、ライトの角度の変更）、ライトリングアセンブリ８０の移動（例えば、ｚ方向）、画像化プラットフォーム４４の移動、標本ステージ５０または１５０の移動（ｘ、ｙ、θ、および／またはｚ方向）、レンズ３４の移動（ｘ、ｙ、θ、および／またはｚ方向）、画像化並進プラットフォーム４４の移動、画像化アセンブリ３３による画像データの記録、画像化アセンブリ３３の回転または移動、照明データの処理、画像データの処理）の任意の設定を制御できる。本明細書に記載の制御システム７０および適用可能なコンピューティングシステムおよび構成要素は、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）およびデジタルシグナルプロセッサ（ＤＳＰ）（いずれもハードウェアプロセッサと呼ぶことができる）、エンコーダ、エンコーダを読み取るための回路、メモリデバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリを含む）、「ＤＲＡＭ」（、スタティックランダムアクセスメモリ）「ＳＲＡＭ」（、および／またはフラッシュメモリ）、および／またはその他の適切なハードウェア要素などの任意の適切なハードウェア（いくつかの実施形態ではソフトウェアを実行できる）を含むことができる。いくつかの実施形態では、マクロ検査システム１００内の個々の構成要素は、個々の構成要素を制御し、マクロ検査システム１００内の他の構成要素と通信するための独自のソフトウェア、ファームウェア、および／またはハードウェアを含むことができる。

【0080】

いくつかの実施形態では、制御システム（例えば、コントローラおよびコントローラインターフェース）とマクロ検査システム１００の構成要素との間の通信は、任意の適切な通信技術を使用でき、例えば、アナログ技術（例えば、リレーロジック）、デジタル技術（例えば、ＲＳ２３２、イーサネット、またはワイヤレス）、ネットワーク技術（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、Ｂｌｕｅｔｏｏｔｈ技術、近距離通信技術、セキュアＲＦ技術、および／またはその他の適切な通信技術である。

【0081】

いくつかの実施形態では、オペレータ入力は、任意の適切な入力デバイス（例えば、キーボード、マウス、ジョイスティック、タッチ）を使用して、制御システム７０に通信することができる。

【0082】

いくつかの実施形態では、制御システム７０は、複数のライトのうちの１つまたは複数のアクティブ化、強度、および／または色、ならびにライトＬ１からＬｎおよび／またはライトリングアセンブリ８０の位置を制御（例えば、ライトリングアセンブリの高さを調整するか、ライトを枢動させることにより）し、標本ステージ５０に配置されたときに、標本に可変照明風景を提供する。照明風景とは、標本に向けられた複数のライトのうちの１つまたは複数からのライトのアクティブ化および分布の結果としての、標本の関心領域におけるライトの色および／または強度を指す。照明風景は、レンズ３４を通して見られる画像および／または画像化デバイス３２によってキャプチャされた画像に影響を与え得る。制御システム７０は、複数のライトのうちの１つまたは複数の強度を制御して、標本面および／または標本ステージ５０上に所望の照明風景を提供することができる。例えば、制御システム７０は、複数のライトのうちの１つまたは複数の強度を制御して、標本面および／または標本ステージ５０上に均一な強度の照明風景を提供することができる。提供される照明風景のタイプは、標本のタイプ、標本の機械的および／または物理的特性（例えば、標本のサイズ、標本の反射率）、検査される標本の特徴、製造および／または検査プロセスの特定のステージ、またはいくつかのその他の適切な変数により、個別に、またはそれらの任意の組み合わせで決定できる。

【0083】

いくつかの実施形態では、コンピュータ分析システム７５は、任意の適切な通信技術を使用して、任意の適切な方法でマクロ検査システム１００に結合または含まれ得、例えば、アナログ技術（例えば、リレーロジック）、デジタル技術（例えば、ＲＳ２３２、イーサネット、またはワイヤレス）、ネットワーク技術（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット）Ｂｌｕｅｔｏｏｔｈ技術、近距離通信技術、セキュアＲＦ技術、および／またはその他の適切な通信技術である。コンピュータ分析システム７５、およびコンピュータ分析システム７５内のモジュールは、マクロ検査システム１００によって出力され、および／またはコンピュータ可読媒体によって記憶された画像を使用して、本明細書でさらに説明されるいくつかの機能を実行するように構成することができる。

【0084】

コンピュータ分析システム７５は、任意の適切なハードウェア（いくつかの実施形態ではソフトウェアを実行することができる）を含むことができ、例えば、コンピュータ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、およびデジタル信号プロセッサ（ＤＳＰ）（いずれもハードウェアプロセッサと呼ぶことができる）、エンコーダ、エンコーダを読み取るための回路、メモリデバイス（１つまたは複数のＥＰＲＯＭ、１つまたは複数のＥＥＰＲＯＭ、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）、スタティックランダムアクセスメモリ（「ＳＲＡＭ」）、および／またはフラッシュメモリを含む）、および／またはその他の適切なハードウェア要素などである。

【0085】

制御システム７０およびコンピュータ分析システム７５がマクロ検査システム１００の別個の構成要素として図２に示されているが、制御システム７０およびコンピュータ分析システム７５の他の実装は、本開示の範囲内にあることに留意されたい。例えば、一実施形態では、コンピュータ分析システム７５は、制御システム７０のアプリケーションまたは他の実行可能プロセスとして実装される。さらに、コンピュータ分析システム７５は、マクロ検査システム１００の構成要素として示されているが、コンピュータ分析システム７５は、インターネットまたは他のネットワークなどの通信ネットワークを介してアクセスされる別個のシステムとして実装することができる。

【0086】

コンピュータ可読媒体は、コンピュータによってアクセスすることができる任意の非一時的媒体であり得、揮発性および不揮発性媒体、取り外し可能および取り外し不可能な媒体の両方を含む。限定ではなく例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性、取り外し可能および取り外し不可能な媒体を含むことができる。コンピュータストレージ媒体は、以下を含むが、これに限定されず、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、デジタルビデオディスク（ＤＶＤ）またはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気記憶デバイス、または、所望の情報を記憶するために使用でき、コンピュータからアクセスできるその他の媒体である。

【0087】

図５Ａおよび５Ｂ、ならびに図６Ａ～６Ｃは、ステージ５０に配置されたときに、画像化並進プラットフォーム４４を標本中心線Ａ２の左右に並進させることによって標本のアーチファクトのない画像を作成するためのマクロ検査システム１００および画像化方法の実施形態を示す。画像化並進プラットフォーム４４を並進させることにより、画像化アセンブリ３３の光学的中心線Ａ１は、ステージ５０上に配置された標本Ａ２の中心線からオフセットされ得る。オフセット量は十分でなければならず、そのため、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が、標本の中心線Ａ２の片側のキャプチャされた画像に表示される（例えば、図６Ａおよび６Ｂに示されるように）。中心線Ａ２からの画像化アセンブリのＡ１のオフセットのサイズ（少なくともアーチファクト全体が中心線Ａ２の片側に表示されるように）は、通常、キャプチャされた画像に表示されるアーチファクトのサイズと同じであることに留意されたい。

【0088】

本出願における画像化アセンブリ３３の移動または並進へのすべての言及は、並進機構（例えば、画像化並進プラットフォーム４４）を介した画像化アセンブリ３３の移動または並進を指す。また、本明細書の図は、中心線Ａ１またはＡ２を使用することを指しており、基準点の例があり、他の基準点を使用して、物品のない画像をキャプチャすることができる。

【0089】

図６Ａ、６Ｂ、および６Ｃは、３つの異なるモード、すなわちステージ並進、画像化アセンブリプラットフォーム並進、またはアパーチャスライダ並進の下でキャプチャできる画像を示す。

【0090】

本明細書で使用されるアーチファクトのないことは、画像化アセンブリおよび／または照明ホットスポットの反射を含まない画像を指す。図５Ａおよび５Ｂに示されるようなマクロ検査システム１００の実施形態は、画像化空間９２または照明空間９０を示さないが、図２に示されるような画像化および照明空間の概念は、すべての実施形態に適用されることに留意されたい。

【0091】

図５Ａおよび５Ｂに示されるように、画像化並進プラットフォームは、２つの位置の間で並進させることができる：標本中心線Ａ２の右および左。図５Ａにおいて、画像化並進プラットフォーム４４は、中心線Ａ２の左側に配置され、その結果、画像化アセンブリ３３がその位置で標本の画像をキャプチャするとき、画像化アセンブリ３３の反射からの画像化アーチファクトは、中心線Ａ２の右側に現れない。図６Ａは、画像化アセンブリが中心線Ａ２の左側に配置されたときにキャプチャされ得る例示的な画像１０５を示す（図５Ａに示されるように）。画像１０５でキャプチャされたように、標本の特徴Ｘ１とＸ２は中心線Ａ２の左側と右側に表示される。画像にキャプチャされた画像化アセンブリの反射を表す画像化アーチファクト２６は、左側（すなわち、画像がキャプチャされたときに画像化アセンブリ３３が配置されたのと同じ側）に表示される。アーチファクトのない画像の部分は、境界ボックス１１４で示される（右側の線Ｒ１と左側の線Ｒ２と一致する）。

【0092】

図５Ｂにおいて、画像化並進プラットフォーム４４は、中心線Ａ２の右側の反対側に配置され、そのため、画像化アセンブリ３３がその位置で標本の画像をキャプチャするとき、画像化アセンブリ３３の反射からの画像化アーチファクトは、中心線Ａ２の左側に現れない。図６Ｂは、画像化アセンブリが中心線Ａ２の右側に配置されたときにキャプチャされ得る例示的な画像１０６を示す（図５Ｂに示されるように）。画像化アーチファクト２６は、画像１０６の右側に表示される（すなわち、画像がキャプチャされたときに画像化アセンブリ３３が配置されたのと同じ側）。アーチファクトのない画像の部分は、境界ボックス１１４で示される（右側の線Ｒ３と左側の線Ｒ４と一致する）。

【0093】

図７は、図５Ａおよび５Ｂに示されるように、マクロ検査システム１００の実施形態を使用して、標本の複合アーチファクトのない画像を作成するための例示的な画像化方法７００を示す。

【0094】

７１０において、マクロ検査システム１００は、検査される標本ではなく、マクロ検査ツールに固有のパラメータを調整することによって初期化することができる。このようなパラメータには、焦点、倍率、ＤＩＣプリズム、視野が含まれ得るが、これらに限定されない。検査システム１００の焦点は、サンプル標本を使用して画像化アセンブリ３３と標本ステージ５０との間の適切な距離を決定し、画像化アセンブリ３３または標本ステージ５０、あるいは所望の焦点が達成されるまでその両方をさらに離してまたは互いに近づけることによって較正することができる。焦点は、手動で、またはソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）によって自動的に制御することができる。画像化アセンブリ３３およびステージ５０の位置、ならびに初期化時に使用されるそれらの間の距離は、ローカルまたはリモートメモリに記憶することができる。標本または標本分類グループを表す参照標本を使用して、検査される標本に固有のパラメータを設定することもできる。標本は、標本のタイプによって、類似の機械的および／または物理的な標本の特性（例えば、類似の反射特性、類似のサイズ寸法）によって、特徴タイプによって、製造プロセスおよび／または検査ステップによって、関心領域および／またはその他の適切な分類グループによりグループ化できる。検査される標本に固有のパラメータは、倍率、焦点、露光量の調整、照明の調整を含み得る（例えば、選択されたライトをアクティブ化し、ライトの強度レベル、選択された各ライトの色および／または入射角を調整する）。焦点は、例えば、ステージ５０をｚ方向に動かす機構３９によって、または画像化アセンブリ３３をｚ方向に上下させることによって、標本と画像化アセンブリ３３との間の距離を変えることによって調整することができることに留意されたい。露出時間、ゲイン、オフセットなど、カメラの設定を調整することで露出を設定できる。標本の初期パラメータは、ローカルまたはリモートメモリに記憶できる。画像処理を含む照明を調整するための例示的な方法は、「マクロ検査システム、装置および方法」と題された米国特許出願第１６／２６２，０１７号に記載されており、これは参照によりその全体が本明細書に組み込まれる。

【0095】

７２０で、画像化アセンブリ３３は、中心線Ａ２の右または左のいずれかに、キャプチャされた画像に表示されるアーチファクトのサイズ以上の範囲を並進され得、参照画像はキャプチャされ得る。図６Ａおよび６Ｂに示されるように、画像化アーチファクト２６は、中心線Ａ２の、参照画像をキャプチャしたときの画像化アセンブリ３３の位置と同じ側の参照画像に表示される。中心線Ａ２の画像化アセンブリ３３の反対側にある参照画像の部分には、アーチファクトがない。いくつかの実施形態では、画像化アセンブリ３３は、中心線Ａ２の右に十分遠く、または左に十分遠くに配置することができる。そのため、キャプチャされた画像では、画像化アーチファクト２６は中心線Ａ２に正確に表示されないが、画像化アーチファクトと中心線Ａ２の間に追加の空間（図６Ａおよび６Ｂに示すように、重複１１８のそれぞれＬおよびＲ）がある。参照画像をキャプチャする前に、標本をステージ５０に位置合わせし、画像化アセンブリ３３をステージ５０に対して配置することができる。標本の画像が画像化アセンブリ３３によってキャプチャされたときに、標本の所定のエッジまたは標本の特定の特徴（個別にまたは集合的に、「標本重複特徴」）が画像重複領域１１８内に入るようにする。重複領域は、中心線Ａ２のいずれかの側に配置されたときに、画像化アセンブリ３３によってキャプチャされた画像の同じｘ、ｙ位置における所定の数のピクセル（例えば、１～１０ピクセル）を指す。画像１０５の境界ボックス１１４（図６Ａに示される）および画像１０６の境界ボックス１１５（図６Ｂに示される）の影付き領域は、中心線Ａ２の右または左に配置された場合の画像化アセンブリにより、キャプチャされた画像において同じ（または重複する）アーチファクトのない領域を表す。参照画像と第２の画像の重複領域を使用して、２つの画像を比較し、倍率、焦点、および／または露出に関して参照画像に最も類似している第２の画像を選択することができる。参照画像と最も類似するように選択された画像は、デジタルでつなぎ合わせて（「つなぎ合わせられた」または「つなぎ合わせ」とも呼ばれる）、標本の複合アーチファクトのない画像（例えば、図６Ｃに示す画像１２０）を形成することができる。図６Ｃに示すように、Ａ３は、重複領域で選択された線である。

【0096】

７３０で、画像化アセンブリ３３は、ステップ７２０でのその位置とは反対に、中心線Ａ２の反対側に並進される。いくつかの実施形態では、画像化アセンブリ３３は、画像化アーチファクト２６と中心線Ａ２との間に追加の空間を作り出すために十分に遠くに配置される（例えば、画像重複領域１１８のＲまたはＬ）。

【0097】

７４０で、画像化アセンブリ３３が適切に位置合わせされると、画像化アセンブリ３３は、画像をキャプチャするときの画像化アセンブリ３３の位置と同じ側の中心線Ａ２に画像化アーチファクトを含む標本の画像をキャプチャする。中心線の反対側の画像にはアーチファクトがない。キャプチャされた画像の重複領域１１８は、参照画像の重複領域と比較することができ、焦点、露出、照明、および／または他のパラメータに変更を加えることができる。参照画像とキャプチャされた画像の焦点、露出、照明、および／または他のパラメータが同じであるか、または実質的に類似しているようにする。重複領域１１８の比較は、手動またはソフトウェア、ハードウェア、および／またはファームウェアによって（例えば、制御システム７０および／またはコンピュータ分析システム７５によって）自動で実行することができる。画像化アセンブリ３３は、キャプチャされた画像が参照画像（「一致する画像」）の焦点、露出、照明、および／または他のパラメータと一致すると決定されるまで、標本の画像のキャプチャを続行することができる。画像化アーチファクトを含む参照画像および一致する画像の部分は、画像からトリミング（cropped）することができ、その結果、残りの部分には、アーチファクトがない（例えば、図６ＡのＲ１およびＲ２によって境界が定められた領域、ならびに図６ＢのＲ３およびＲ４によって境界が定められた領域）。

【0098】

７５０で、一致する画像のアーチファクトのない部分を、参照画像のアーチファクトのない部分と一緒につなぎ合わせて、標本の複合アーチファクトのない画像（例えば、図６Ｃに示されるような画像１２０）を形成することができる。つなぎ合わせは、参照画像の重複領域１１８に表示される標本の重複特徴を、一致する画像の重複領域１１８に表示される標本の重複特徴と位置合わせすることによって実行することができる。制御システム７０および／またはコンピュータ分析システム７５は、各画像の重複領域を比較し、標本の重複特徴が位置合わせするように画像の位置をデジタルで調整することができる。他の実施形態では、標本と画像化アセンブリ３３は、キャプチャされた画像の重複領域が同じ特徴を含むように正確に位置合わせされており、つなぎ合わせは、重複領域の正確な位置（例えば、ｘ／ｙ座標）に基づくことができる。いくつかの実施形態では、参照画像と一致する画像のアーチファクトのない部分は、位置合わせのために任意の重複領域を使用せずに、直接つなぎ合わせる（stitched）ことができる。

【0099】

別の実施形態では、画像化アセンブリ３３は固定されたままであり得、標本ステージ（すなわち、中心線Ａ２）は、上記のように、アーチファクトのサイズ以上のオフセット量で、画像化アセンブリ３３（すなわち、光学中心線Ａｌ）の左または右に並進させることができる。図８は、標本ステージ５０を並進させることによって標本のアーチファクトのない画像を作成するための例示的な画像化方法８００を示す。

【0100】

図７に関連して説明した方法と同様に、同じプロセスを繰り返すことができ、（例えば、ステップ８１０（マクロ検査ツールおよび検査される標本のパラメータを初期化する）、ステップ８４０（参照画像と第２の画像を比較する、画像が一致しない場合、一致する画像がキャプチャされるまでマクロ検査システム１００に適切な調整を行う）および８５０（画像化アーチファクトを含む一致する画像と参照画像の部分をトリミングし、アーチファクトのない画像をつなぎ合わせる））、画像化アセンブリ３３が固定されたままであることを除いて、ステージ５０は、光学中心線Ａｌの右または左に移動されて、光学中心線の両側の標本の画像をキャプチャする（ステップ８２０および８３０）。さらに、図７に関連して説明した方法と同様に、ステップ８４０および８５０は、制御システム７０および／またはコンピュータ分析システム７５によって実行することができる。

【0101】

図１０とともに図９Ａおよび９Ｂは、マクロ検査システム１００の実施形態と、２つの画像化アセンブリ６８および６９ならびに並進可能なアパーチャスライダー６５を使用することによって、標本のアーチファクトのない画像を作成するための画像化方法とを示す。

【0102】

図９Ａおよび９Ｂに示されるように、マクロ検査システム１００は、以下を含むことができ、（ｉ）それらの光学的中心線Ｂ１およびＢ２がそれぞれ中心線Ａ２からおよびその反対側にオフセットされるように配置された２つの画像化アセンブリ６８および６９、（ｉｉ）単一の開口、アパーチャ（開口部）６６を有する並進可能なアパーチャスライダー６５である。オフセット量は十分でなければならないため、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が、標本の中心線Ａ２の片側（つまり、画像を撮影する画像化アセンブリと同じ側）のキャプチャされた画像に表示される。

【0103】

この構成では、画像化アセンブリおよび標本ステージは固定されたままであり、一方、アパーチャスライダー６５は、一度に１つの画像化アセンブリ（６８または６９）の下にアパーチャ６６を配置するために線形運動で並進（translated）することができる。図９Ａにおいて、アパーチャスライダー６５は、アパーチャスライダーガイドレール６７に沿って並進される。そのため、アパーチャ６６は画像化アセンブリ６８の下（Ａ２の左側）に配置され、残りのアパーチャスライダー６５の一部は、画像化アセンブリ６９が画像化アセンブリ６８によってキャプチャされた標本の画像に反射されるのを阻止する。同様に、アパーチャスライダー６５が並進されるため、アパーチャ６６がＡ２の右側の画像化アセンブリ６９の下に配置される場合（図９Ｂに示されるように）、アパーチャスライダー６５の残りの部分は、画像化アセンブリ６８を遮断する。そのため、画像化アセンブリ６８は、画像化アセンブリ６９によってキャプチャされた画像に反射されない。アパーチャスライダー６５は、手動で、またはソフトウェア、ハードウェア、および／またはファームウェア（例えば、制御システム７０）によって自動的に制御することができる。さらに、アパーチャスライダー６５は、いずれかの画像化アセンブリの画像化フィールドを妨害することなく、可能な限り最小の直径を有するように設計することができる。追加の実施形態では、ドーム４２をアパーチャスライダー６５に結合し、アパーチャ６６で配置して、標本から反射されたライトを拡散させることができる。

【0104】

アパーチャスライダー６５は、その形状を維持する金属、プラスチック、または他の材料で作ることができることに留意されたい。いくつかの実施形態では、スライダー６５は、画像化空間９２に干渉しないように、可能な限り薄い（通常、１から５ミリメートル）。ドームが取り付けられていない場合、スライダー６５は、ライトが反射されるのを防ぐために、反射材料または光吸収材料のいずれかであり得る。アパーチャ６６は、遮るもののない開口にすることも、レンズを取り付けることもできる。

【0105】

図６Ａに示されるような画像１０５は、アパーチャ６６が、中心線Ａ２の左側に位置する画像化アセンブリ６８の下に配置されるときにキャプチャされ得る（図９Ａに示されるように）。画像化アーチファクト２６が左側に表示される（つまり、画像がキャプチャされたときにアパーチャ６６が配置されたのと同じ側）。対照的に、図６Ｂに示されるような画像１０６は、アパーチャ６６が、中心線Ａ２の右側に位置する画像化アセンブリ６９の下に配置されるときにキャプチャされ得る（図９Ｂに示されるように）。画像化アーチファクト２６が右側に表示される（つまり、画像がキャプチャされたときにアパーチャ６６が配置されたのと同じ側）。

【0106】

図１０は、図９Ａおよび９Ｂに示されるマクロ検査１００の実施形態を使用してアパーチャスライダーを並進させることによって標本のアーチファクトのない画像を作成するための例示的な画像化方法１０００を示す。

【0107】

図７に関連して説明した方法と同様に、同じプロセスを繰り返すことができる（例えば、ステップ１０１０（マクロ検査ツールと検査される標本のパラメータを初期化する）、ステップ１０４０（参照画像と第２の画像を比較し、一致する画像が見つかるまでマクロ検査システム１００を調整する）および１０５０（画像化アーチファクトを含む一致する画像と参照画像の一部をトリミングし、一致する画像をつなぎ合わせる））、しかし、画像化アセンブリまたは標本ステージを中心線Ａ２の反対側に移動する代わりに、次に、スライダーのアパーチャが各画像化アセンブリの下に配置され（例えば、ステップ１０２０および１０３０）、標本の画像をキャプチャし、それらをつなぎ合わせて、標本のアーチファクトのない複合画像にする。さらに、図７に関連して説明した方法と同様に、ステップ１０４０および１０５０は、制御システム７０および／またはコンピュータ分析システム７５によって実行することができる。

【0108】

図１２とともに、図１１は、マクロ検査システム１００の標本ステージ１５０および／または画像化並進プラットフォーム１５１を回転させることによってマクロ検査システム１００の実施形態と、標本のアーチファクトのない画像を作成するための画像化方法とを示す。

【0109】

図１１に示されるように、画像化アセンブリ３３およびドーム４２（含まれる場合）は、ステージ１５０（θステージとしても知られる）からオフセットすることができ、ステージ上に配置されたときの標本の中心線が光学中心線Ａ１の右側（または左側）になるようにする。オフセット量は、画像化アーチファクト全体、または画像化アーチファクト全体といくつかの追加の空間が標本の中心線Ａ２の片側のキャプチャされた画像に表示されるように十分でなければならない（つまり、画像を撮影する画像化アセンブリと同じ側にある）。（図５Ａおよび５Ｂに示されるように）画像化アセンブリ３３またはステージ１５０を横方向に並進させる代わりに、標本ステージ１５０または画像化並進プラットフォーム１５１のいずれかを、Ａ２に位置する回転中心を中心に回転させることができる。回転中心は、標本の中心線と一致している必要はないことに留意されたい。

【0110】

図１２は、図１１に示されるマクロ検査１００の実施形態を使用して標本ステージを回転させることによって、標本のアーチファクトのない画像を作成するための例示的な画像化方法１２００を示す。

【0111】

１２１０において、図７に関連して記載された方法と同様に、マクロ検査システム１００のパラメータおよび標本固有のパラメータが初期化される。

【0112】

１２２０で、画像は、回転する標本ステージ１５０の初期位置でキャプチャされる。図１３Ａは、標本ステージ１５０（図１１に示される）が初期位置にあるときにキャプチャされ得る例示的な画像１６０を示す。画像１６０は、右上に特徴Ｘ１、左下に特徴Ｘ２を有する標本を示す。アーチファクト２６は画像の左手部分に表示される。境界ボックス１６２は、画像化アーチファクト２６を含まない画像の部分を示す。線Ａ２は、標本の中心線を示す。線Ａ２を使用して、つなぎ合わせる標本のアーチファクトのない画像を垂直方向に位置合わせすることもできる。

【0113】

１２３０で、画像化アーチファクト２６を含む画像の部分は、画像からトリミングすることができ（図１３Ｂに示されるように）、標本の右側を表す境界ボックス１６２内に画像の一部のみを残す。特徴Ｘ２を含む標本の部分は境界ボックス１６２内にあり、境界ボックス１６２はまた、標本の中心線Ａ２の両側に領域を組み込んで、画像全体を位置合わせおよびつなぎ合わせるために使用できる重複領域を作成することに留意されたい。ステップ１２３０は、いくつかの例では、制御システム７０および／またはコンピュータ分析システム７５によって実行される。

【0114】

１２４０において、ステージは、時計回りまたは反時計回りの方向に、第１の位置から第２の位置まで、１８０°または他の適切な量だけ回転させることができる。標本の画像は、この第２の位置でキャプチャできる。例示的な画像が図１３Ｃに示されている。標本が回転されたので、特徴Ｘ１およびＸ２は、図１３Ａに示される画像１６０にキャプチャされたように、それらの元の位置とは反対側に表示されることに留意されたい。境界ボックス１６４は、画像内の標本のうち、画像化アーチファクト２６を示さない部分を示す。特徴Ｘ１を含む標本の位置は境界ボックス内にあり、境界ボックスには標本の中心線Ａ２の両側に領域が組み込まれて重複領域が作成されていることに留意されたい。標本ステージ１５０は、回転が２つの画像をキャプチャするのに十分であり、一緒につなぎ合わされたときに画像化アーチファクト２６を含まずに標本を再現する限り、１８０°以外の量で回転させることができることに留意されたい。

【0115】

１２５０で、画像化アーチファクト２６を含む画像の部分は、画像からトリミングされ（図１３Ｄに示されるように）、標本の左手部分を表す境界ボックス１６４内の画像の部分、または特徴Ｘ１を含む標本の部分のみを残す。

【0116】

図１３Ｅ～１３Ｆに示されるように、１２６０で、トリミングされた画像１６４は、特徴Ｘ１が元の位置（左下）に表示されるようにデジタルで回転させることができる。図７に関連して説明したように、２つの画像の重複領域を比較することができる。画像が一致しない場合、マクロ検査システム１００の焦点、露出、照明、および／または他のパラメータを調整し、一致する画像のペアが見つかるまで新しい画像をキャプチャすることができる。

【0117】

一致する画像が見つけられたら、図１３Ｇに示すように、トリミングされた画像１６４をトリミングされた画像１６２と一緒につなぎ合わせることができ、画像化アーチファクト２６なしで標本の合成画像を作成する（ステップ１２７０）。いくつかの例では、ステップ１２５０、１２６０、および１２７０は、制御システム７０および／またはコンピュータ分析システム７５によって実行される。

【0118】

しかし、図１２は、標本ステージを回転させることによって標本のアーチファクトのない画像を作成する方法を説明し、標本のアーチファクトのない画像は、同様のプロセスを実行するが、標本ステージの代わりに画像化アセンブリを回転させることによって作成することもできる。

【0119】

反射標本の検査のために本明細書に記載される方法は、マクロスコープ検査システムに限定されず、顕微鏡検査システムにおいても実装され得ることに留意されたい。

【0120】

図１４は、開示された主題のいくつかの実施形態による、異なる照明風景を達成するためにマクロ検査システムを較正するための例示的な較正方法１４００を高レベルで示す。照明風景とは、標本に向けられた複数のライトＬ１からＬｎのうちの１つまたは複数からのライトのアクティブ化および分布の結果としての、標本の関心領域におけるライトの色および／または強度を指す。照明風景は、画像化アセンブリ３３によってキャプチャされた画像に影響を与えることができる。制御システム７０は、複数のライトＬ１からＬｎのうちの１つまたは複数の強度を制御して、標本面および／または標本ステージ上に所望の照明風景を提供することができる。例えば、制御システム７０は、複数のライトＬ１からＬｎのうちの１つまたは複数の強度を制御して、標本面および／または標本ステージ上に均一な強度の照明風景を提供することができる。提供される照明風景のタイプは、標本のタイプ、標本の機械的および／または物理的特性（例えば、標本のサイズ、標本の反射率）、検査される標本の特徴、製造および／または検査プロセスの特定のステージ、またはいくつかのその他の適切な変数により、個別に、またはそれらの任意の組み合わせによって決定できる。いくつかの実施形態では、較正方法１３００は、マクロ検査システム１００を使用することができる。

【0121】

１４０１において、制御システム７０は、マクロ検査システム１００を初期化することができる。いくつかの実施形態では、初期化は、光源からライトが投射される領域（総称して「構成情報」（までのマクロ検査システム１００（例えば、ライトＬ１からＬｎの総数、各ライトのアドレスと位置、ライト偏向器の位置、各可能な位置での各ライトの投影面積（高さと角度を含む））のライトＬ１からＬｎの構成を決定することと、構成情報をローカルまたはリモートメモリに記憶することと、を含むことができる。

【0122】

各ライトＬ１からＬｎによって投射される照明の領域を規定する方法は、「マクロ検査システム、装置および方法」と題された米国特許出願第１６／２６２，０１７号に記載されており、これは参照によりその全体が本明細書に組み込まれる。

【0123】

１４０２において、既知の特徴および／または機械的／物理的特性（例えば、サイズ、反射率）を有する参照標本を標本ステージ上に配置することができる。ライトＬ１からＬｎの異なる組み合わせは、異なる可能な距離および角度（総称して「ライト位置」（で参照標本の所望の照明風景を決定するために（１４０３）光源からライトが投射される領域まで、異なる色および／または強度でアクティブ化することができる。いくつかの実施形態では、所望の照明風景は、画像化アセンブリ３３によってキャプチャされた画像の品質に基づいて、画像化アセンブリ３３の個々のピクセルまたはピクセルグループ全体にわたって標本Ｓから反射されたライトの測定された強度に基づいて、表示画面に表示される画像の品質および／またはその他の適切なメトリックに基づいて、決定することができる。いくつかの実施形態では、照明風景は、所望の照明風景が達成されるまで、異なる色および／または強度ならびに異なる可能な位置で、ライトＬ１からＬｎの異なる組み合わせを手動でアクティブ化させることによって調整することができる。他の実施形態では、照明風景は、条件のセットをプログラムして（例えば、制御システム７０および１４０１の構成情報を使用して）、所望の照明風景が達成されるまで異なる色および／または強度ならびに異なるライト位置でライトＬ１からＬｎの異なる組み合わせをオンにすることによって調整することができる。参照標本に所望の照明風景が達成されると、アクティブ化されたライトのアドレス（または他の識別情報）、選択された各ライトの強度レベルと色、および選択された各ライトの位置情報、ステージとレンズ３４および画像化アセンブリ３３の位置および標本ステージの間の距離（例えば、ｘ、ｙ、ｚ軸に沿った）は、相互に関係し（総称して「照明プロファイル」（、将来の使用のために制御システム７０によって（１４０４で）記憶することができる。

【0124】

適切な照明プロファイルを見つけて記憶するためのこのプロセスは、例えば、標本のタイプにより、類似の機械的および／または物理的な標本の特性（例えば、類似の反射特性、類似のサイズ寸法）により、特徴タイプにより、製造プロセスおよび／または検査ステージにより、関心領域および／またはその他の適切な分類グループにより異なる分類グループを表す異なる参照標本に対して繰り返すことができる。このプロセスを同じ参照標本に対して繰り返して、標本の様々な属性（例えば、標本の機械的または物理的特性によって決定される）に適した様々な照明プロファイル、検査中の様々な標本の特徴、標本および／または検査中の製造／検査プロセスの様々な関心領域を見つけることもできる。いくつかの実施形態では、照明プロファイルが計算される前に、最初に参照標本に焦点が合わせられる。さらなる実施形態では、標本ステージとレンズ３４との間の距離は、異なるプリセット距離に調整され、照明プロファイルは、各プリセット距離での参照標本について計算される。

【0125】

均一な照明風景が所望される実施形態では、反射率の標準的な測定によって決定されるように、均一な反射背景を示す反射標本を使用して、マクロ検査システム１００を較正して、均一な照明風景を提供することができる。反射率（例えば、画像化アセンブリ３３の個々のピクセルまたはピクセルグループ全体で測定）が、標本ステージで見たときに標本の視野全体で５％を超えて、できれば２％未満で変化しない場合、背景は均一であると見なすことができる。いくつかの実施形態では、均一な反射背景のない参照標本を使用して、マクロ検査システム１００を較正して、均一な照明風景を提供することができる。このような標本を使用する場合、レンズ３４を使用して、標本の焦点をぼかして異物や標本上の表面の凹凸をぼかして、より均一な反射背景を作成することにより、均一な反射背景を作成することができる。照明風景は、均一な照明風景が達成されるまで、様々な色および／または強度で、様々な可能な位置でライトＬ１からＬｎの様々な組み合わせをアクティブ化することによって調整できる。均一な照明風景が達成されると、アクティブ化されたライトの距離のアドレス（または他の識別情報）、選択された各ライトの強度および色レベル、ならびに選択された各ライトのライト位置情報、および標本ステージとレンズ３４との間は、照明プロファイルとして制御システム７０によって記憶され得、マクロ検査システム１００、特定の標本、標本クラス、関心領域、製造または検査プロセスの特定のステージ、および／または他の任意の適切な分類グループに均一な照明を提供する。

【0126】

本明細書に記載の較正方法１４００の部分の少なくともいくつかは、いくつかの実施形態で、図１４に示され、それに関連して説明される順序およびシーケンスに限定されない任意の順序またはシーケンスで実行できることを理解されたい。また、本明細書に記載のプロセス１４００のいくつかの部分は、適切な場合には実質的に同時に、またはいくつかの実施形態では並行して実行することができる。さらに、または代わりに、プロセス１４００のいくつかの部分は、いくつかの実施形態では省略され得る。較正プロセス１４００は、任意の適切なハードウェアおよび／またはソフトウェアで実装することができる。例えば、いくつかの実施形態では、較正プロセス１４００は、マクロ検査システム１００で実装することができる。較正プロセス１４００は、マクロスコープ検査システムに限定されず、顕微鏡検査システムでも実装できることに留意されたい。

【0127】

図１５Ａは、開示された主題のいくつかの実施形態による、所望の照明風景）「照明風景方法１５００」（を達成するためにマクロシステムを使用して標本を照明するための例示的な方法１５００を高レベルで示す。いくつかの実施形態では、照明風景方法１５００は、マクロ検査システム１００を使用することができる。

【0128】

１５０１において、検査される標本は、標本ステージ上に配置することができる。いくつかの実施形態では、マクロ検査システム１００によって提供される照明風景が調整される前に、標本に焦点が合わせられる。

【0129】

１５０２において、いくつかの実施形態によれば、制御システム７０は、標本のために選択された記憶された照明プロファイルに従って、ライトＬ１からＬｎの強度、色および／もしくはピッチ、ならびに／または標本ステージとレンズ３４との間の距離をアクティブ化および調整することができる。照明プロファイルは、標本の様々な属性（例えば、標本の１つまたは複数の物理的および／または機械的特性によって決定される）および／または検査の様々な目標を評価し、適切な照明プロファイルを見つけるコンピュータルゴリズムに基づいて、手動または自動で選択できる。適切な照明プロファイルを選択するための方法は、図１４に関連してさらに説明される。

【0130】

いくつかの実施形態では、選択した照明プロファイルに応じて、選択されたライトＬ１からＬｎが異なる色および／または強度でアクティブ化された後、選択されたライトは、強度、色および／もしくはライトの位置、ならびに／または標本ステージとレンズ３４間の距離に対して調整が行われる。さらに調整することで、選択した照明プロファイルを変更して、所望の照明風景を実現できる。いくつかの実施形態では、１つまたは複数のライトＬ１からＬｎをアクティブ化することができ、ライトの強度、色および／もしくは位置、ならびに／または任意の照明プロファイルを参照せずに標本ステージとレンズ３４との間の距離を調整することができる。アクティブ化および／または調整は、手動または自動で実行できる。

【0131】

１つまたは複数のライトＬ１からＬｎがアクティブ化され、それらの強度、色および／またはライト位置、ならびに標本ステージとレンズ３４との間の距離に対して調整が行われると、１５０３のように、標本の１つまたは複数の画像をキャプチャして分析用に記憶できる。いくつかの実施形態では、キャプチャされた標本画像は、コンピュータ分析システム７５に送信される。

【0132】

１５０５において、１つまたは複数のライトＬ１からＬｎへの適用されたアクティブ化、ならびにそれらの強度、色および／またはライト位置などへの調整が所望の照明風景を生成するのに十分であるかどうかに関して、コンピュータ分析システム７５によって決定が行われる。そのような決定は、１５０３の画像キャプチャステップ中に受信された画像データのピクセル強度値の分析に基づいて行うことができる。照明風景プロファイルが最適ではないと決定された場合、プロセス１５００はステップ１５０２に戻ることができ、照明風景にさらなる調整を行うことができる。ステップ１５０２～１５０５は、最適な照明プロファイルが達成されるまで繰り返すことができる。例として、特定の標本タイプに対して均一なライト強度プロファイルを備えた照明風景が所望されるが、キャプチャされた１つまたは複数の標本画像に関連付けられた画像データが一部の領域が不十分に照明されていることを示す場合、次に、ステップ１５０５は、ステップ１５０２に戻ることができる。ステップ１５０２において、ライトのアクティブ化、強度、位置（仰角および／または枢動／回転）などに追加の変更を加えることができる。照明風景に変更が適用されると、ステップ１５０３が繰り返され、画像データが、例えば、画像キャプチャデバイスによって、新しい条件下で標本から収集される。この場合も、ステップ１５０５で、新しい照明風景が分析されて、最適な照明条件が達成されたかどうかが決定される。

【0133】

異なる照明プロファイルを標本に対して選択することができ、選択された照明プロファイルごとに、制御システム７０は、選択されたプロファイルに従って、ライトＬ１からＬｎの強度、色、および／もしくは位置、ならびに／または標本ステージとレンズ３４との間の距離をアクティブ化および調整し、標本の１つまたは複数の画像をキャプチャおよび記憶することができる。したがって、ステップ１５０２～１５０５の反復プロセスは、ステップ１５０２で適用される最初に適用される照明風景は、標本のタイプ、関心領域、製造もしくは検査プロセスの特定のステージ、および／またはその他の適切な分類グループによって変化し得るとき、標本のタイプによって異なる可能性がある。いくつかの実施形態では、照明が選択された照明プロファイルに従って構成されると、ステップ１５０７で、標本ステージおよび／または画像化アセンブリ３３は、互いに対して異なる位置に調整され得、標本の１つまたは複数の画像は、各位置でキャプチャされ得る。

【0134】

図１５Ｂは、開示された技術のいくつかの態様による、標本分類を識別し、マクロ検査装置の照明風景を自動的に調整するための例示的なプロセス１５１０のステップを示す。プロセス１５１０は、例えば、上記で論じた画像処理システム１６３４などの画像処理システムによって画像データが受信されるステップ１５１２から始まる。いくつかのアプローチでは、画像データは、マクロ検査システム１００の一部として、画像化デバイスによって撮影された標本の受信画像に含まれ得る。画像データは、マクロ検査システム１００のステージ上に配置された標本の全部または一部を含むことができる。場合によっては、その画像データは、標本表面の異なる部分から反射されたライトの強度を示すピクセル強度値のみを含むことができる。

【0135】

ステップ１５１４において、画像データは、標本の分類を識別するために分析される。場合によっては、画像分析を実行して、特定の領域や特徴などの標本のサブセットを識別することができる。以下で説明するように、機械学習分類器、コンピュータビジョン、および／または人工知能を使用して、標本を識別／分類できる。

【0136】

続いて、照明プロファイルは、標本（もしくは特徴）の分類および／または製造もしくは検査プロセスの特定のステージに基づいて自動的に選択することができる。標本／特徴分類を使用して、標本および／または標本特徴タイプに関連付けられた１つまたは複数の照明プロファイルを含む照明プロファイルデータベースを照会できる。ステップ１５１４で決定された標本分類を参照することにより、一致する照明プロファイルを自動的に識別して検索することができる。上で論じたように、照明プロファイルは、観察されている標本または特徴に最適な照明風景を達成するために使用できるマクロ検査システム１００の構成を説明する様々な設定データを含むことができる。

【0137】

本明細書に記載の照明風景方法１５００の部分の少なくともいくつかは、いくつかの実施形態では、図１５Ａおよび１５Ｂに示され、図１５Ａおよび１５Ｂに関連して説明される順序およびシーケンスに限定されない任意の順序またはシーケンスで実行できることを理解されたい。また、本明細書に記載のプロセス１３００のいくつかの部分は、適切な場合には実質的に同時に、またはいくつかの実施形態では並行して実行することができる。さらに、または代わりに、プロセス１５００のいくつかの部分は、いくつかの実施形態において省略され得る。照明風景方法１５００は、任意の適切なハードウェアおよび／またはソフトウェアで実装することができる。例えば、いくつかの実施形態では、照明風景方法１５００は、マクロ検査システム１００に実装することができる。照明風景方法１５００は、マクロスコープ検査システムに限定されず、顕微鏡検査システムにも実装できることに留意されたい。

【0138】

図１６は、開示された主題のいくつかの実施形態による、コンピュータ分析システム７５の実施形態の一般的な構成を示す。コンピュータ分析システム７５は、様々な構成要素がバス１６０５を介して結合される局所化された計算システムとして示されているが、様々な構成要素および機能的計算ユニット（モジュール）は、別個の物理的または仮想的システムとして実装され得ることが理解される。例えば、１つまたは複数の構成要素および／またはモジュールは、クラウド環境でインスタンス化された仮想プロセス（例えば、仮想マシンやコンテナ）を使用するなど、物理的に分離されたリモートデバイスに実装できる。

【0139】

コンピュータ分析システム７５は、処理ユニット（例えば、ＣＰＵ／秒および／またはプロセッサ／秒）１６１０およびバス１６０５を含み、読み取り専用メモリ（ＲＯＭ）１６２０やランダムアクセスメモリ（ＲＡＭ）１６２５などのシステムメモリ１６１５を含む様々なシステム構成要素をプロセッサ１６１０に結合する。

【0140】

メモリ１６１５は、異なる性能特性を有する様々なメモリタイプを含むことができる。プロセッサ１６１０は、プロファイル生成モジュール１６３２、照明プロファイルデータベース１６３６、および画像処理モジュール１６３４などの１つもしくは複数の機能モジュールおよび／またはデータベースシステムを実装するために必要なソフトウェアおよび命令を記憶するように構成される記憶デバイス１６３０に結合される。これらの各モジュールは、プロセッサ１６１０、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサを制御するように構成することができる。したがって、プロセッサ１６１０と、プロファイル生成モジュール１６３２、照明プロファイルデータベース１６３６、および画像処理モジュール１６３４のうちの１つまたは複数は、完全に自己完結型のシステムであり得る。例えば、画像処理モジュール１６３４が、開示された技術の範囲から逸脱することなく、離散画像処理システムとして実装され得る。

【0141】

コンピュータ分析システム７５とのユーザ相互作用を可能にするために、入力デバイス１６４５は、スピーチ用のマイクロフォン、ジェスチャまたはグラフィック入力用のタッチセンシティブ画面、キーボード、マウス、モーション入力などの任意の数の入力機構を表すことができる。出力デバイス１６３５はまた、当業者に知られているいくつかの出力機構のうちの１つまたは複数であり得る。場合によっては、マルチモーダルシステムは、例えば、標本のタイプ／分類、または他の特性に関連する標本情報を伝達するために、ユーザがコンピュータ分析システム７５と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース１６４０は、一般に、ユーザ入力およびシステム出力を統治および管理することができる。特定のハードウェア構成での動作に制限はない。したがって、ここでの基本機能は、開発時に改善されたハードウェアまたはファームウェア構成に簡単に置き換えることができる。

【0142】

記憶デバイス１６３０は、非一時的メモリであり、コンピュータによってアクセス可能なデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得、例えば、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１５２５、読み取り専用メモリ（ＲＯＭ）１５２０、およびそれらのハイブリッドなどである。

【0143】

実際には、照明プロファイル生成モジュール１６３２は、マクロ検査システム１００から、標本または標本の一部（総称して「標本画像」（の走査および/または任意の適切なコンピュータ可読媒体を受信するように構成することができる。場合によっては、マクロ検査システム１００の様々なマクロ構成要素の構成に関連付けられた好ましい照明風景を関連付けて、例えば、照明プロファイルを形成することができる。これは、標本のタイプまたは分類に関連付けられている。照明風景設定を標本分類タイプに関連付ける照明プロファイルは、照明プロファイルデータベース１６３６に記憶することができる。

【0144】

照明プロファイルデータベース１６３６に記憶された照明プロファイルは、以下のような特定のコンテキストデータを含むことができ、例えば、マクロ検査システム１００のライトＬ１からＬｎの構成（例えば、ライトＬ１からＬｎの総数、各ライトのアドレスおよび位置、光偏向器８３の位置、光源からライトが投射される領域まで配置（高さと角度を含む）できる各可能な位置での各ライトの投影面積）、標本ステージとレンズ３４との間の可能な距離の範囲、標本ステージおよび画像化アセンブリ３３の相互の異なる位置の範囲、特定のタイプの標本の関心領域、検査中の製造または検査プロセスの特定のステージ、検査中の特徴である。

【0145】

画像処理システム１６３４は、プロファイル生成モジュール１６３２および照明プロファイルデータベース１６３６と組み合わせて使用して、標本画像で受信された画像データおよび／または他の受信された標本特性に基づいて標本を分類することができ、例えば、入力デバイス１６４５を介してユーザによって手動で提供されるものなどである。さらに、画像処理システムは、特定の標本の特徴を分類し、他の物理的および／または機械的な標本の特性（例えば、標本の反射率、標本の寸法）を決定するように構成することができる。標本タイプの分類、および標本の特徴／特性は、照明プロファイルの一部として記憶できる。したがって、照明プロファイルデータベース１６３６に記憶された様々な照明プロファイルは、試料タイプおよび／または特定の特徴もしくは特性に基づいて参照し、試料に一致させることができる最適な照明風景を生成するために使用される設定およびパラメータを含むことができる。

【0146】

いくつかの態様では、標本のタイプおよび／または標本の特徴の分類は、コンピュータビジョン、１つもしくは複数の人工知能アルゴリズム、および／またはコンピュータルゴリズムを含むことができる画像処理アルゴリズムを使用して実行することができる。標本分類、または標本の特徴は、例えば、標本のコンピュータ支援設計（ＣＡＤ）ファイルおよび／または標本の特徴、既知の標本および／または特徴の画像、および／または既知の標本に関する情報を識別する標本レイアウトマップ（例えば、標本の寸法、標本の機械的および／または物理的特性）に基づくこともできる。

【0147】

場合によっては、機械学習モデルを使用して、標本、標本の特徴、および／または他の標本の特性の分類を実行できる。いくつかの態様では、標本画像からの画像データは、例えば、画像処理システム１６３４によって、機械学習分類システムへの入力として提供することができる。分類器の出力は、照明プロファイルデータベース１６３６に記憶された照明プロファイルを参照するために使用することができる試料または特徴分類を指定することができる。正しい照明プロファイルを正しい試料分類または特徴タイプと一致させることにより、ライト強度、ライトの色、照明角度、および標本からの高さなどの自動較正を通じて、正しい照明風景を実現できる。

【0148】

当業者によって理解されるように、機械学習ベースの分類技術は、開示された技術から逸脱することなく、所望の実装に応じて変化する可能性がある。例えば、機械学習分類スキームでは、次の１つまたは複数を単独で、または組み合わせて利用でき、隠れマルコフモデル、リカレントニューラルネットワーク、畳み込みニューラルネットワーク、ベイジアンシンボリックメソッド、一般的な敵対的ネットワーク、サポートベクターマシン、画像レジストレーション方法、該当するルールベースのシステムである。回帰アルゴリズムが使用される場合、それらには、確率的勾配降下法回帰法、および／または受動的攻撃性回帰法などが含まれるが、これらに限定されない。

【0149】

機械学習分類モデルは、クラスタリングアルゴリズム（例えば、ミニバッチＫ－手段クラスタリングアルゴリズム）、推奨アルゴリズム（例えば、Ｍｉｎｉｗｉｓｅ Ｈａｓｈｉｎｇアルゴリズム、またはＥｕｃｌｉｄｅａｎ ＬＳＨアルゴリズム）、および／または局所外れ値因子などの異常検出アルゴリズムに基づくこともできる。さらに、機械学習モデルは、ミニバッチ辞書学習アルゴリズム、インクリメンタル主成分分析（ＰＣＡ）アルゴリズム、潜在的ディリクレ割り当てアルゴリズム、および／またはミニバッチＫ－手段アルゴリズムなどの１つまたは複数など、次元削減アプローチを採用できる。

【0150】

そのようなアルゴリズム、ネットワーク、機械およびシステムは、任意の「人工知能を使用して標本の照明プロファイルを決定するための手段」に関して使用される構造の例を提供する。

【0151】

いくつかの実施形態では、機械学習は、照明プロファイルの作成に展開することができる。例えば、プロファイル生成モジュール１６３２は、標本画像または標本画像から決定されたデータ）「標本データ」（とともに、トレーニングされた人工知能アルゴリズムにコンテキストデータを入力して、標本を照明するのに適用される１つまたは複数の適切な照明プロファイルを作成することができる。他の実施形態では、画像処理システム１６３４は、機械学習モデルまたは他のコンピュータルゴリズムを使用して、上記のように、標本画像、標本データ、および／またはコンテキストデータに基づいて事前規定された照明プロファイルを選択することができる。

【0152】

例えば、照明プロファイルデータベース１６３６から所望の照明プロファイルが選択されると、照明プロファイルデータを制御システム７０に送信することができる。制御システム７０は、プロセス１４００に関連してこの情報を使用して、検査されている標本を照明するために照明プロファイルを適用することができる。

【0153】

照明プロファイル生成モジュール１６３２によって使用することができる人工知能ベースの画像処理アルゴリズムの例は、Ｂａｒｂａｒａ Ｚｉｔｏｖａ、「画像レジストレーション方法：調査」、画像およびビジョンコンピューティング、２００３年１０月１１日、第２１巻、１１号、９７７～１０００ページによって説明されるような画像レジストレーションである。これは、参照によりその全体が本明細書に組み込まれる。開示された方法は単なる例であり、限定することを意図するものではない。

【0154】

いくつかの実施形態では、照明プロファイル生成モジュール１６３２、いくつかの実施形態では、画像処理アルゴリズムを含む画像処理システム１６３４によって使用される機械学習アルゴリズムは、最初にトレーニングデータでトレーニングされ、その結果、照明プロファイル生成モジュール１６３２が標本に適切な照明プロファイルを作成できる。

【0155】

図１７に示されるように、トレーニングデータ１７０１は、開示された対象の実施形態による、マクロ検査システムによってキャプチャされた既知の標本および特徴のラベル付けされた画像を含むことができる。トレーニング用に選択されたラベル付き画像は、キャプチャされた画像の検査目的に基づいて適切な詳細を示す、所望の品質の画像にすることができる。いくつかの実施形態では、トレーニングデータ１７０１は、検査されている標本および／または特徴のタイプを識別する非画像ファイルを含むことができる。トレーニングデータには、各画像についてさらに以下を含めることができ、（ｉ）ライトＬ１からＬｎのアクティブ化、強度、色、位置データ、（ｉｉ）標本ステージとレンズ３４との間の距離（ｘ、ｙ、ｚ軸に沿った）、（ｉｉｉ）互いに関連する標本ステージおよび画像化アセンブリ３３の位置、検査される標本の特徴、検査される標本の関心領域、検査される製造または検査プロセスの特定のステージを説明するデータを含む。いくつかの実施形態では、トレーニングデータは、標本の物理的／機械的特性、および／または適切な照明プロファイルを作成するために使用される任意の他の適切な特性を含むことができる。いくつかの実施形態では、トレーニングデータはまた、ラベルのないデータを含むことができる。

【0156】

照明プロファイル生成モジュール１６３２によって使用される人工知能アルゴリズムがトレーニングされると、それは、照明プロファイル生成モジュール１６３２によって、受信された標本走査に適用されて、受信された標本画像ごとに１つまたは複数の照明プロファイル（出力データ１７０２）を作成することができる。上記のように、照明プロファイルデータは、どのライトＬ１からＬｎをアクティブ化するか、ならびにどの強度、色、およびライト位置であるかを識別するデータを含むことができる。照明プロファイルデータはまた、標本ステージとレンズ３４との間の距離（例えば、ｘ、ｙ、およびｚ軸に沿った）、ならびに互いに対する標本ステージおよび画像化アセンブリ３３の位置を含むことができる。

【0157】

マクロ検査システム１００は、示されていない他の適切な構成要素を含むことができることに留意されたい。追加的または代替的に、マクロ検査システム１００に含まれる構成要素のいくつかは省略され得る。

【0158】

いくつかの実施形態では、任意の適切なコンピュータ可読媒体を使用して、本明細書に記載の機能および／またはプロセスを実行するための命令を記憶することができる。例えば、いくつかの実施形態では、コンピュータ可読媒体は、一時的または非一時的であり得る。例えば、非一時的なコンピュータ可読媒体は、非一時的な磁気媒体（ハードディスク、フロッピーディスクなど）、非一時的な光媒体（コンパクトディスク、デジタルビデオディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスクなど）、非一時的な半導体媒体（フラッシュメモリ、電気的にプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）など）、送信中に一時的または永続性の任意の類似性を欠いていない適切な媒体、および／または適切な有形媒体などの媒体を含むことができる。別の例として、一時的なコンピュータ可読媒体は、ネットワーク上、ワイヤ、導体、光ファイバ、回路内の信号、および送信中の一時的で永続性の任意の類似性を欠く任意の適切な媒体、および／または任意の適切な無形媒体を含むことができる。

【0159】

様々な実施形態の論理演算は、以下のように実装され、（１）汎用コンピュータ内のプログラマブル回路上で実行される一連のコンピュータ実装ステップ、動作、または手順、（２）特定用途のプログラマブル回路上で実行される一連のコンピュータ実装のステップ、動作、または手順、および／または（３）プログラマブル回路内の相互接続されたマシンモジュールまたはプログラムエンジンである。本発明のマクロ検査システムは、記載された方法の全部または一部を実施することができ、記載されたシステムの一部であり得、および／または記載された非一時的なコンピュータ可読記憶媒体の命令に従って動作することができる。このような論理演算は、モジュールのプログラミングに従って特定の機能を実行するようにプロセッサを制御するように構成されたモジュールとして実装できる。

【0160】

本明細書で説明される様々なシステム、方法、およびコンピュータ可読媒体は、クラウドネットワーク環境の一部として実装することができる。この文書で使用されているように、クラウドベースのコンピューティングシステムは、仮想化されたコンピューティングリソース、ソフトウェア、および／または情報をクライアントデバイスに提供するシステムである。コンピューティングリソース、ソフトウェア、および／または情報は、エッジデバイスがネットワークなどの通信インターフェースを介してアクセスできる一元化されたサービスとリソースを維持することによって仮想化できる。クラウドは、クラウド要素を介して様々なクラウドコンピューティングサービスを提供でき、例えば、サービスとしてのソフトウェア（ＳａａＳ）（コラボレーションサービス、電子メールサービス、エンタープライズリソースプランニングサービス、コンテンツサービス、通信サービスなど）、サービスとしてのインフラストラクチャ（ＩａａＳ）（セキュリティサービス、ネットワーキングサービス、システム管理サービスなど）、サービスとしてのプラットフォーム（ＰａａＳ）（Ｗｅｂサービス、ストリーミングサービス、アプリケーション開発サービスなど）、およびサービスとしてのデスクトップ（ＤａａＳ）、サービスとしての情報技術管理（ＩＴａａＳ）、サービスとしての管理対象ソフトウェア（ＭＳａａＳ）、サービスとしてのモバイルバックエンド（ＭＢａａＳ）などの他のタイプのサービスである。

【0161】

本明細書に記載された例（および「など」、「例えば」、「含む」などと表現された節）の提供は、請求された主題を特定の例に限定するものとして解釈されるべきではない。むしろ、これらの例は、考えられる多くの態様の一部のみを説明することを目的としている。当業者は、機構という用語が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の適切な組み合わせを包含することができることを理解するであろう。

【0162】

上記の説明から明らかなように特に明記しない限り、説明全体を通して、「決定する」、「提供する」、「識別する」、「比較する」などの用語を利用する説明は、コンピュータシステム、または同様の電子コンピューティングデバイスのアクションおよびプロセスを指すことが理解され、コンピュータシステムのメモリまたはレジスタまたは他のそのような情報ストレージ、送信、または表示デバイス内の物理的（電子的）量として表されるデータを動作および変換する。本開示の特定の態様は、アルゴリズムの形で本明細書に記載されているプロセスステップおよび命令を含む。本開示のプロセスステップおよび命令は、ソフトウェア、ファームウェア、またはハードウェアで具体化することができ、ソフトウェアで具体化する場合、リアルタイムネットワークオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、そこから動作するためにダウンロードできることに留意されたい。

【0163】

本開示はまた、本明細書の動作を実行するための装置に関する。この装置は、必要な目的のために特別に構築され得るか、またはコンピュータによってアクセスされ得るコンピュータ可読媒体に記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピュータを含み得る。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶され得、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、磁気光学ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードまたは光学カード、特定用途向け集積回路（ＡＳＩＣ）を含む任意のタイプのディスク、または電子命令を記憶するのに適した任意のタイプの非一時的なコンピュータ可読記憶媒体などであるが、これらに限定されない。さらに、本明細書で言及されるコンピュータは、単一のプロセッサを含み得るか、またはコンピューティング能力を向上させるために複数のプロセッサ設計を採用するアーキテクチャであり得る。

【0164】

本明細書に提示されるアルゴリズムおよび動作は、任意の特定のコンピュータまたは他の装置に本質的に関連していない。様々な汎用システムもまた、本明細書の教示に従ったプログラムと共に使用され得るか、または必要な方法ステップおよびシステム関連のアクションを実行するためのより特殊な装置を構築することが便利であることが証明され得る。これらの様々なシステムに必要な構造は、同等のバリエーションとともに、当業者には明らかであろう。さらに、本開示は、任意の特定のプログラミング言語を参照して説明されていない。本明細書に記載されるように、本開示の教示を実装するために様々なプログラミング言語を使用することができ、本開示の可能性および最良の様式の開示のために特定の言語への任意の参照が提供されることが理解される。

【0165】

開示されたプロセスにおけるステップの任意の特定の順序または階層は、例示的なアプローチの例示であることが理解される。設計の好みに基づいて、プロセス内のステップの特定の順序または階層が再配置され得ること、または図示されたステップの一部のみが実行され得ることが理解される。一部の手順は同時に実行できる。例えば、特定の状況では、マルチタスクと並列処理が有利な場合がある。さらに、上記の実施形態における様々なシステム構成要素の分離は、すべての実施形態においてそのような分離を必要とするものとして理解されるべきではない。また、説明されているプログラム構成要素およびシステムは、通常、単一のソフトウェア製品に統合することも、複数のソフトウェア製品にパッケージ化することもできることを理解する必要がある。

【0166】

反射標本のマクロ検査のためのシステム、方法、および装置は、これらの図示された実施形態を特に参照して詳細に説明されてきた。しかしながら、前述の明細書に記載されているように、開示の趣旨および範囲内で様々な修正および変更を行うことができることは明らかであり、そのような修正および変更は、本開示の同等物および一部と見なされるべきである。本開示の範囲は、以下の特許請求の範囲によってのみ制限される。

【0167】

本開示のステートメントは以下を含む。

【0168】

ステートメント１．標本を保持するように構成された標本ステージと、標本ステージから標本の１つまたは複数の画像をキャプチャするために標本ステージの上方に配置された１つまたは複数の画像化デバイスと、標本ステージと画像化デバイスの間のプラットフォームに配置されたライトのセットと、標本ステージ、１つまたは複数の画像化デバイス、およびプラットフォームに結合された制御システムと、を含む検査装置であって、制御システムは、１つまたは複数のプロセッサと、メモリと、を含み、メモリは、１つまたは複数のプロセッサによって実行された結果として、制御システムに、標本の第１の画像をキャプチャするために１つまたは複数の画像化デバイスに第１の命令を提供することであって、第１の画像は、基準点の第１の側に第１の画像化アーチファクトを含む、ことと、標本の第２の画像をキャプチャするために、１つまたは複数の画像化デバイスに第２の命令を提供することであって、第２の画像は、基準点の第２の側に第２の画像化アーチファクトを含む、ことと、第１の画像から第１の画像化アーチファクトをトリミングし、第２の画像から第２の画像化アーチファクトをトリミングすることと、第１の画像と第２の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第１の画像化アーチファクトと第２の画像化アーチファクトがない、こととを、行わせる実行可能命令を記憶する、検査装置。

【0169】

ステートメント２．実行可能命令はさらに、制御システムに、１つまたは複数の画像化デバイスを第１の方向に、基準点の第１の側の上方かつ第１の側の第１の位置に並進させて、標本の第１の画像をキャプチャすることと、１つまたは複数の画像化デバイスを第２の方向に、基準点の第２の側の上方かつ第２の側の第２の位置に並進させて、標本の第２の画像をキャプチャすることと、を行わせる、ステートメント１に記載の検査装置。

【0170】

ステートメント３．実行可能命令はさらに、制御システムに、標本ステージを基準点の第１の側の下方かつ第１の側の第１の位置に並進させて、標本の第１の画像をキャプチャすることと、標本ステージを基準点の第２の側の下方かつ第２の側に第２の方向に並進させ、標本の第２の画像をキャプチャすることと、を行わせる、ステートメント１および２のいずれかに記載の検査装置。

【0171】

ステートメント４．基準点が、標本の中心線に沿って配置される、ステートメント１から３のいずれかに記載の検査装置。

【0172】

ステートメント５．画像化デバイスが回転軸に沿って移動可能である、ステートメント１から４のいずれかに記載の検査装置。

【0173】

ステートメント６．１つまたは複数の画像化デバイスは、基準点の第１の側の上方かつ第１の側に配置された第１の画像化デバイスと、基準点の第２の側の上方かつ第１の側に配置された第２の画像化デバイスと、を含み、検査装置は、第１の画像化デバイスおよび第２の画像化デバイスの下に配置されたアパーチャスライダーをさらに備え、アパーチャスライダーは、第１の画像化デバイスまたは第２の画像化デバイスのいずれかを使用して標本の画像のキャプチャを可能にするアパーチャを含む、ステートメント１から５のいずれかに記載の検査装置。

【0174】

ステートメント７．制御システムは、アパーチャが第１の画像をキャプチャするために第１の画像化デバイスと位置合わせされるように、アパーチャスライダーを第１の位置に並進させ、制御システムは、アパーチャが第２の画像をキャプチャするために第２の画像化デバイスと位置合わせされるように、アパーチャスライダーを第２の位置に並進させる、ステートメント６に記載の検査装置。

【0175】

ステートメント８．実行可能命令はさらに、制御システムに、プラットフォームを並進させることと、ライトのセットの１つまたは複数の組み合わせをアクティブ化して、照明プロファイルを決定することと、標本の第１の画像を分析して、標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従って、プラットフォームとライトのセットを調整することと、を行わせる、ステートメント１から７のいずれかに記載の検査装置。

【0176】

ステートメント９．標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すように構成されたバリアをさらに備える、ステートメント１から８のいずれかに記載の検査装置。

【0177】

ステートメント１０．実行可能命令はさらに、制御システムに、第１の画像の第１の重複領域を第２の画像の第２の重複領域と比較させて、第１の画像および第２の画像のデジタルのつなぎ合わせを可能にする一致する画像が識別されたことを決定する、ステートメント１から９のいずれかに記載の検査装置。

【0178】

ステートメント１１．検査装置の標本ステージで標本を受信することと、検査システムの基準点を識別することと、標本の第１の画像をキャプチャすることであって、第１の画像は、基準点の第１の側に第１の画像化アーチファクトを含む、ことと、標本の第２の画像をキャプチャすることであって、第２の画像は、基準点の第２の側に第２の画像化アーチファクトを含む、ことと、標本の第２の画像を評価して、標本の合成画像を生成するために第２の画像が第１の画像とともに使用可能であることを決定することと、第１の画像から第１の画像化アーチファクトをトリミングし、第２の画像から第２の画像化アーチファクトをトリミングすることと、第１の画像と第２の画像をデジタルでつなぎ合わせて、標本の合成画像を生成することであって、合成画像には、第１の画像化アーチファクトと第２の画像化アーチファクトがない、ことと、を含む、方法。

【0179】

ステートメント１２．検査装置の画像化デバイスを第１の方向に、基準点の第１の側の上方かつ第１の側の第１の位置に並進させて、第１の画像をキャプチャすることと、画像化デバイスを第２の方向に、基準点の第２の側の上方かつ第２の側の第２の位置に並進させて、第２の画像をキャプチャすることと、をさらに含む、ステートメント１１による方法。

【0180】

ステートメント１３．標本ステージを第１の方向に、基準点の第１の側の下方かつ第１の側の第１の位置に並進させて、第１の画像をキャプチャすることと、標本ステージを基準点の第２の側の下方かつ第２の側の第２の位置に並進させて、第２の画像をキャプチャすることと、をさらに含む、ステートメント１１および１２のいずれかに記載の方法。

【0181】

ステートメント１４．第１の画像をキャプチャするために、標本ステージを第１の位置に回転させることと、第１の画像をトリミングして第１の画像の第１の部分を除去することであって、第１の部分は、第１の画像化アーチファクトを含む、ことと、標本ステージを第２の位置に回転させて、第２の画像をキャプチャすることと、第２の画像をトリミングして第２の画像の第２の部分を除去することであって、第２の部分は、第２の画像化アーチファクトを含む、ことと、第２の画像をデジタル回転させて、第２の画像の評価を開始することと、をさらに含む、ステートメント１１から１３のいずれかに記載の方法。

【0182】

ステートメント１５．検査装置のアパーチャスライダーを第１の方向に並進させて、アパーチャを検査装置の第１の画像化デバイスの下に配置して、第１の画像をキャプチャすることであって、第１の画像化デバイスは、基準点の第１の側の上方かつ第１の側に配置される、ことと、検査装置のアパーチャスライダーを第２の方向に並進させて、アパーチャを検査装置の第２の画像化デバイスの下に配置して、第２の画像をキャプチャすることであって、第２の画像化デバイスは、基準点の第２の側の上方かつ第２の側に配置されている、ことと、をさらに含む、ステートメント１１から１４のいずれかに記載の方法。

【0183】

ステートメント１６．検査システムのプラットフォームを並進させることであって、ライトのセットがプラットフォーム上に配置されている、ことと、照明プロファイルを決定するために、ライトのセットの１つまたは複数の組み合わせをアクティブ化することと、標本の第１の画像を分析して、標本分類を識別することと、標本分類に基づいて、照明プロファイルを選択することと、照明プロファイルに従ってプラットフォームとライトのセットを調整することと、をさらに含む、ステートメント１１から１５のいずれかに記載の方法。

【0184】

ステートメント１７．検査装置の画像化デバイスを第１の方向に回転させて、画像化デバイスを基準点の第１の側に配置して、第１の画像をキャプチャすることと、検査装置の画像化デバイスを第２の方向に回転させて、画像化デバイスを基準点の第２の側に配置して、第２の画像をキャプチャすることと、をさらに含む、ステートメント１１から１６のいずれかに記載の方法。

【0185】

ステートメント１８．標本ステージ上に保持された標本から反射されたライトを拡散して標本に戻すことをさらに含む、ステートメント１１から１７のいずれかに記載の方法。

【0186】

ステートメント１９．第１の画像の第１の重複領域を第２の画像の第２の重複領域と比較して、第１の画像および第２の画像のデジタルのつなぎ合わせを可能にするために一致する画像が識別されたことを決定することをさらに含む、ステートメント１１から１８のいずれかに記載の方法。

【0187】

ステートメント２０．標本ステージは、Ｘ軸、Ｙ軸、Ｚ軸、および回転軸に沿って移動可能である、ステートメント１１から１９のいずれかに記載の方法。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A-4C】

【図5A-5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9A-9B】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図13E】

【図13F】

【図13G】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【国際調査報告】