特許 7300834 画像の取り込みおよび表示のためのシステム、方法、ならびに装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-22

(45)【発行日】2023-06-30

(54)【発明の名称】画像の取り込みおよび表示のためのシステム、方法、ならびに装置

(51)【国際特許分類】

   G02B 21/36 20060101AFI20230623BHJP

   G01N 21/17 20060101ALI20230623BHJP

   G06T 3/00 20060101ALI20230623BHJP

   G06T 7/30 20170101ALI20230623BHJP

   H04N 23/56 20230101ALI20230623BHJP

   H04N 23/63 20230101ALI20230623BHJP

   H04N 23/69 20230101ALI20230623BHJP

   C12M 1/00 20060101ALN20230623BHJP

【ＦＩ】

G02B21/36

G01N21/17 A

G06T3/00 750

G06T7/30

H04N23/56

H04N23/63 330

H04N23/69

C12M1/00 A

【請求項の数】 15

(21)【出願番号】P 2018559386

(86)(22)【出願日】2017-05-12

(65)【公表番号】

(43)【公表日】2019-08-29

(86)【国際出願番号】 US2017032324

(87)【国際公開番号】W WO2017197217

(87)【国際公開日】2017-11-16

【審査請求日】2020-05-08

【審判番号】

【審判請求日】2022-02-28

(31)【優先権主張番号】62/335,422

(32)【優先日】2016-05-12

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502221282

【氏名又は名称】ライフ テクノロジーズ コーポレーション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イッポリート キム

(72)【発明者】

【氏名】ポールリン ジョナサン

(72)【発明者】

【氏名】ソールズベリー リチャード

(72)【発明者】

【氏名】ストーン ローレル

(72)【発明者】

【氏名】メリウス イーサン

(72)【発明者】

【氏名】ジーゲンフース オードラ

(72)【発明者】

【氏名】パースマーク エリック

【合議体】

【審判長】加々美 一恵

【審判官】野村 伸雄

【審判官】瀬川 勝久

(56)【参考文献】

【文献】特開２００９－１４９３９（ＪＰ，Ａ）

【文献】特開２０１１－１９６８６７（ＪＰ，Ａ）

【文献】国際公開第２００４／０３６２８３（ＷＯ，Ａ１）

【文献】特開２０１５－５５８４９（ＪＰ，Ａ）

【文献】特開２００８－１９１４２７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G02B 19/00-21/00

G02B 21/06-21/36

G01N 21/00-21/74

G01N 33/48-33/98

(57)【特許請求の範囲】

【請求項1】

画像解析の方法であって、当該方法は、
第１レベルの倍率且つ第１照明条件下で、試料についての少なくとも１つの第１レベルの試料画像を収集すること；
前記第１レベルの倍率よりも大きい第２レベルの倍率且つ第２照明条件下で、対応する第１レベルの試料画像の領域を含む第１の第２レベルの試料画像を収集すること；
前記第１の第２レベルの試料画像を前記対応する第１レベルの試料画像に対してスケーリングして重ね合わせて、合成画像を生成すること；および
前記合成画像を表示すること
を含み、
前記合成画像を表示することは、
前記対応する第１レベルの試料画像を前記第１照明条件下で背景として表示すること；および
前記第１の第２レベルの試料画像の前記領域を前記合成画像の高解像度領域として表示すること
を含み、前記領域は前記第２照明条件において表示され、
当該方法は、
前記対応する第１レベルの試料画像の領域を含む第２の第２レベルの試料画像を収集すること、および、
位置合わせされた前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が、前記対応する第１レベルの試料画像の領域の連続画像を形成するように、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像を位置合わせすることをさらに含み、
前記位置合わせすることが、前記第１の第２レベルの試料画像の領域を前記第２の第２レベルの試料画像の領域と重ね合わせることによって少なくとも部分的に行われる、画像解析の方法。

【請求項2】

前記第１の第２レベルの試料画像内に含まれる、前記対応する第１レベルの試料画像の前記領域に従って、前記第１の第２レベルの試料画像が位置決めされるように、前記第１の第２レベルの試料画像が前記対応する第１レベルの試料画像上に重ね合わされる、請求項１に記載の方法。

【請求項3】

前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像を、前記対応する第１レベルの試料画像上に重ね合わせることをさらに含む、請求項１または２に記載の方法。

【請求項4】

前記第１の第２レベルの試料画像内および前記第２の第２レベルの試料画像内に含まれる、前記第１レベルの試料画像の前記領域に従って、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が互いに対して位置決めされるように、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が前記対応する第１レベルの試料画像上に重ね合わせられる、請求項３に記載の方法。

【請求項5】

前記対応する第１レベルの試料画像のビューから前記第２レベルの試料画像をユーザが選択および表示することを可能にすることをさらに含む、請求項１～４のいずれか一項に記載の方法。

【請求項6】

試料解析システムであって、当該試料解析システムは、
（ａ）第１レベルの倍率且つ第１照明条件下で第１レベルの試料画像を収集し、かつ（ｂ）前記第１レベルの倍率よりも大きい第２レベルの倍率且つ第２照明条件下で第２レベルの試料画像を収集するように構成された画像化装置であって、前記第２レベルの試料画像には、対応する第１レベルの試料画像内に少なくとも部分的に配置される領域が含まれる、画像化装置と；
前記第１レベルの試料画像上に前記第２レベルの試料画像を重ね合わせて、合成画像を生成することを行うように構成されたプロセッサと
を備え、
前記合成画像は、前記第１レベルの倍率且つ前記第１照明条件下での前記第１レベルの試料画像を背景として含むと共に、前記第１レベルの倍率にスケーリングされ且つ前記第２照明条件下で表示された前記第２レベルの試料画像の前記領域を前記合成画像の高解像度領域として含み、
前記プロセッサが、
前記第２レベルの試料画像として、前記対応する第１レベルの試料画像の領域を含む第１の第２レベルの試料画像および第２の第２レベルの試料画像を収集し、および
位置合わせされた前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が前記対応する第１レベルの試料画像の領域の連続画像を形成するように、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像を位置合わせするように構成され、
前記位置合わせすることが、前記第１の第２レベルの試料画像の領域を前記第２の第２レベルの試料画像の領域と重ね合わせることによって少なくとも部分的に行われる、試料解析システム。

【請求項7】

前記プロセッサが、少なくとも１つの収集された第２レベルの試料画像の特徴をその第２レベルの試料画像に対応する前記第１レベルの試料画像の対応する特徴と位置合わせするように構成されている、請求項６に記載のシステム。

【請求項8】

第１の第２レベルの試料画像内に含まれる、前記第１レベルの試料画像の前記領域に従って、前記第１の第２レベルの試料画像が位置決めされるように、前記プロセッサが、前記第１の第２レベルの試料画像を前記第１レベルの試料画像上に重ね合わせるように構成されている、請求項６または７に記載のシステム。

【請求項9】

前記第１の第２レベルの試料画像内および前記第２の第２レベルの試料画像内に含まれる、前記第１レベルの試料画像の前記領域に従って、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が互いに対して位置決めされるように、前記プロセッサが、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像を前記第１レベルの試料画像上に重ね合わせるように構成されている、請求項６～８のいずれか一項に記載のシステム。

【請求項10】

画像解析の方法であって、当該方法は、
第１レベルの倍率且つ第１照明条件下で、複数の第１レベルの試料画像を収集すること；
前記複数の第１レベルの試料画像のうちの少なくともいくつかの試料画像のセットの中の各メンバについて、前記第１レベルの倍率よりも大きい第２レベルの倍率且つ第２照明条件下で、対応する前記第１レベルの試料画像内に少なくとも部分的に配置された領域を含む１つ以上の第２レベルの試料画像を収集すること；
前記第１レベルの試料画像のセットの中の前記メンバのうちの少なくともいくつかについて、前記１つ以上の第２レベルの試料画像各々の特徴を、対応する前記第１レベルの試料画像の対応する特徴と位置合わせすること；
前記１つ以上の第２レベルの試料画像を、対応する前記第１レベルの試料画像に対してスケーリングして重ね合わせて、合成画像を生成すること；および
前記合成画像を表示すること
を含み、
前記合成画像を表示することは、
前記対応する第１レベルの試料画像を前記第１照明条件下で背景として表示すること；および
前記１つ以上の第２レベルの試料画像の前記特徴を前記合成画像の高解像度領域として表示すること
を含み、前記特徴は前記第２照明条件において表示され、
当該方法は、
前記１つ以上の第２レベルの試料画像として、前記対応する第１レベルの試料画像の領域を含む第１の第２レベルの試料画像および第２の第２レベルの試料画像を収集すること、および、
位置合わせされた前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像が前記対応する第１レベルの試料画像の領域の連続画像を形成するように、前記第１の第２レベルの試料画像および前記第２の第２レベルの試料画像を位置合わせすることをさらに含み、
前記位置合わせすることが、前記第１の第２レベルの試料画像の領域を前記第２の第２レベルの試料画像の領域と重ね合わせることによって少なくとも部分的に行われる、画像解析の方法。

【請求項11】

２つ以上の第１レベルの試料画像内からの１つ以上の第２レベルの試料画像が、それぞれの前記第１レベルの試料画像内の同一の相対位置で取得される、請求項１０に記載の方法。

【請求項12】

前記複数の第１レベルの試料画像を収集すること、前記第２レベルの試料画像を収集すること、またはその両方が、自動化された様式で行われる、請求項１０または１１に記載の方法。

【請求項13】

（ａ）少なくとも１つ以上の第１レベルの試料画像が、２つ以上の焦点面で取得された情報に基づいているか、（ｂ）少なくとも１つ以上の第２レベルの試料画像が、２つ以上の焦点面で取得された情報に基づいているか、または（ａ）および（ｂ）の両方である、請求項１０～１２のいずれか一項に記載の方法。

【請求項14】

第１レベルの試料画像を収集すること、および第２レベルの試料画像を収集することが、対物レンズを変更することによって行われる、請求項１０～１３のいずれか一項に記載の方法。

【請求項15】

前記合成画像を表示することが、前記対応する第１レベルの試料画像の重ね合わされた領域を前記第１の第２レベルの試料画像の前記領域でマスクすることを更に含む、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、（２０１６年５月１２日に出願された）米国特許出願第６２／３３５，４２２号、「Ｓｙｓｔｅｍｓ， Ｍｅｔｈｏｄｓ， Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｉｍａｇｅ Ｃａｐｔｕｒｅ Ａｎｄ Ｄｉｓｐｌａｙ」の優先権および利益を主張するものであり、その出願の全体が、あらゆる目的のために、その全体の参照により本明細書に組み込まれる。

【0002】

技術分野
本開示は、画像取り込み、および画像重ね合わせの分野に関する。

【背景技術】

【0003】

背景
様々な学問分野、特に細胞解析における研究者にとってよく知られている問題は、背景画像を生成するために比較的低倍率で試料画像を調査し、その画像内の関心のあるエリアを識別し、次いで、より高い倍率下で関心のあるエリアを検査する一方で拡大された関心のあるエリアがより大きい背景画像内でどこに由来するのか追跡しようと試みるプロセスである。しかしながら、このプロセスは、別々のコンピュータファイル由来の低倍率の画像と高倍率の画像とを比較することを含む場合が多く、退屈で時間がかかりかつ誤差を生じることがよくある。したがって、画像取り込みおよび表示の改良された方法ならびにシステムが、当該技術分野において長年必要とされている。

【発明の概要】

【0004】

概要
上記課題を解決するために、本開示は、まず画像解析の方法を提供し、該方法は、第１レベルの倍率で、試料についての少なくとも１つの第１レベルの画像を収集すること；第１レベルの倍率よりも大きい第２レベルの倍率で、対応する第１レベルの画像の領域を含む第１の第２レベルの画像を収集すること；および、第１の第２レベルの画像を第１レベルの画像上に重ね合わせることを含む。

【0005】

本開示はまた、試料解析システムを提供し、該システムは、（ａ）第１の試料画像を第１レベルの倍率で収集するよう、かつ（ｂ）第２の試料画像を第１レベルの倍率よりも大きい第２レベルの倍率で収集するように構成され、第２の試料画像が、対応する第１の画像内に少なくとも部分的に配置された領域を含む、画像化装置と；第２の画像を第１の画像上に重ね合わせることを行うように構成されたプロセッサとを備える。

【0006】

さらに、画像解析の方法が提供され、該方法は、第１レベルの倍率で、少なくとも１つの第１の試料画像を収集すること；第１レベルの倍率よりも大きい第２レベルの倍率で、対応する第１の画像内に少なくとも部分的に配置された領域を含む少なくとも１つの第２の試料画像を収集すること；第２の画像の特徴を第１の画像の対応する特徴と位置合わせすること；および第２の画像を第１の画像上に重ね合わせることを含む。

【0007】

また、画像解析の方法が提供され、該方法は、第１レベルの倍率で複数の第１の試料画像を収集すること；複数の第１の試料画像のうちの少なくともいくつかの試料画像のセットの中の各メンバについて、第１レベルの倍率よりも大きい第２レベルの倍率で、対応する該第１の試料画像内に少なくとも部分的に配置された領域を含む１つ以上の第２の試料画像を収集すること；第１の試料画像のセットの中の該メンバのうちの少なくともいくつかについて（または該メンバの各々さえについても）、１つ以上の第２の試料画像各々の特徴を、対応する第１の試料画像の対応する特徴と位置合わせすること；および１つ以上の第２の試料画像を対応する第１の試料画像上に重ね合わせることを含む。

【0008】

また、試料解析システムが提供され、該システムは、（ａ）第１の試料画像を第１レベルの倍率で収集するよう、かつ（ｂ）第２の試料画像を第１レベルの倍率よりも大きい第２レベルの倍率で収集するように構成され、第２の試料画像が、対応する第１の画像内に少なくとも部分的に配置された領域を含む、画像化装置と；（ａ）少なくとも１つの収集された第２の試料画像の特徴を、該第２の試料画像に対応する第１の試料画像の対応する特徴と位置合わせすること、および（ｂ）第２の画像を第１の試料画像上に重ね合わせることを行うように構成されているプロセッサとを備える。

【図面の簡単な説明】

【0009】

発明の概要、ならびに以下の詳細な説明は、添付の図面と併せて読むとき、さらに理解される。開示された主題を図示する目的で、開示される主題の例示的な実施形態が図面内に示されるが、開示される主題は、開示される特定の方法、組成物、および装置に限定されない。加えて、図面は、必ずしも縮尺通りに描画されていない。

【図1】本開示に好適な例示的な２つのカメラ装置の構成図を提供する。

【図2A】ステージのない図１の例示的な装置の構成図を提供する。

【図2B】図２Ａの装置の代替的な構成図を提供する。

【図2C】図１の装置の側面図を提供する。

【図3A】ステージを示す図１の例示的な装置の構成図を提供する。

【図3B】図３Ａの装置の代替的な構成図を提供する。

【図3C】図１の装置の側面図を提供する。

【図4】本開示に好適な例示的な単一のカメラ装置の構成図を提供する。

【図5A】ステージを示す図４の例示的な装置の構成図を提供する。

【図5B】図５Ａの装置の代替的な構成図を提供する。

【図5C】図４の装置の側面図を提供する。

【図6A】ステージを示す図４の装置の図を提供する。

【図6B】装置の内部構成部品の図を提供する。

【図6C】装置の側面の構成部品の図を提供する。

【図7】既存の手動方式に関する例示的な情報フロー図を提供する。

【図8】既存の自動化された方法に関する例示的な情報フロー図を提供する。

【図9】開示された方法の手動の実施形態に関する例示的な情報フロー図を提供する。

【図10】開示された方法の自動の実施形態に関する例示的な情報フロー図を提供する。

【図11】開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図12】第１レベル（比較的低倍率）の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図13】第２レベルの画像が画定された、第１レベル（比較的低倍率）の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図14】第２レベルの画像が画定された、第１レベル（比較的低倍率）の試料ビューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図15】第１レベルの画像を示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図16】例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図17】例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図18】例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図19】例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図20】例示的なプロセス制御メニューを示す、開示された技術の例示的な実施形態のスクリーンビューを提供する。

【図21A】第１レベルの画像上で第２レベルの倍率領域を画定する概略図を提供する。

【図21B】第２レベルの倍率で第１レベルの画像の第１の「スナップショット」をリアルタイムで選択することを図示し、第１の「スナップショット」が第１レベルの画像上に重ね合わされたままである。

【図21C】第２レベルの倍率で第１レベルの画像の第２の「スナップショット」を（例えば、リアルタイムで）選択することを図示し、第２の「スナップショット」は第１レベルの画像上に重ね合わされたままである。

【図21D】ユーザが、図２１Ａに示された関心のある物体の全体を包含する、第２レベルの画像を作製した代替図を提供する。

【図22】低倍率画像の上にユーザが描画したフリーフォームエリア（太い枠）の例示的な描写を提供し、そこからシステムが、好適な数の高倍率画像が確保されて、フリーフォームエリア全体がより高い倍率で取り込まれる（より明るい枠のボックスによって表される）ことを確実とするように、スキャンエリアを設定し得る。

【図23】本開示に従う、例示的なシステムの描写を提供する。

【図24】本開示に従う、例示的な方法の描写を提供する。

【図25】本開示に従う、代替的な例示的方法の描写を提供する。

【図26】本開示に従う、さらなる代替的な方法の描写を提供する。

【発明を実施するための形態】

【0010】

例示的な実施形態の詳細な説明
本開示は、本開示の一部を形成する、添付図面および実施例に関連して行われる以下の詳細な説明を参照することによって、より容易に理解することができる。本開示は、本明細書に記載および／または示される特定の装置、方法、用途、条件、もしくはパラメータに限定されず、本明細書で使用される用語は、単なる例としての特定の実施形態を説明するためのものであり、特許請求された主題を限定することを意図するものではない。また、添付の特許請求の範囲を含む明細書で使用されるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、複数形を含み、特定の数値の参照は、文脈が別様に明らかに規定しない限り、少なくともその特定の値を含む。本明細書で使用されるように、「複数」という用語は、２つ以上を意味する。ある範囲の値が表されるとき、別の実施形態は、１つの特定の値から、および／または他の特定の値までを含む。同様に、値が近似値として表されるとき、先行詞「約」の使用により、特定の値が別の実施形態を形成することが理解されるであろう。全ての範囲が、包括的であり、かつ組み合わせ可能である。

【0011】

明瞭にするために、別個の実施形態の文脈において、本明細書に記載されている開示された主題の特定の特徴はまた、単一の実施形態において組み合わせて提供され得ることを理解されたい。逆に、簡潔にするために、単一の実施形態の文脈中に記載されている、開示された主題の様々な特徴はまた、別々にまたは任意の副次的組み合わせで提供することができる。さらに、範囲内で述べられた値の参照は、その範囲内の各値および全ての値を含む。本明細書に引用されたいずれの文献は、あらゆる目的のために、その全体が参照により本明細書に組み込まれる。

【0012】

一態様において、本開示は、画像解析の方法を提供する。本方法は、第１レベルの倍率で、試料についての少なくとも１つの第１レベルの画像を収集すること；第１レベルの倍率よりも大きい第２レベルの倍率で、対応する第１レベルの画像の領域を含む第１の第２レベルの画像（例えば、第２レベルの倍率で収集された）を収集すること；および第１の第２レベルの画像を第１レベルの画像上に重ね合わせることを含む。

【0013】

図２６は、これらの方法の例示的な図解を提供する。示されるように、本方法は、ステップ２６００を含み得、このステップは、第１の収集状態で第１レベルの試料画像を収集することを含む。ステップ２６０２は、次いで、第１の収集状態よりも大きく異なる第２の収集状態で、第２レベルの画像を収集することを含み、第２レベルの画像は、第１レベルの画像についての少なくともいくつかの部分を含み得る。（他の箇所に記載されているように、収集状態は、画像が収集される条件、例えば、１つ以上の倍率、照明、照射などを指す。）ステップ２６０４において、第２レベルの画像は、対応する第１レベルの画像上に重ね合わされる。

【0014】

第１レベルの倍率は、ユーザのニーズに応じて、本質的に任意のレベル、例えば、１×、２×、５×、１０×、２０×、３０×、４０×、５０×、１００×、２００×、５００×、１０００×、またはそれ以上（または、任意の中間値）であり得る。第２レベルの倍率は、第１レベルの倍率より、約１．０１倍（すなわち、第２レベルの倍率が第１レベルの倍率１．０１倍）～約１０，０００倍の、例えば、約５～約５０００、約１０～約１０００、約２０～約５００、約５０～約１００、および全ての中間値を含み、好適により大きくなる。第１レベルの照明は、典型的な白色光であってもよいが、色のついた光、または１つ以上の蛍光分子を励起するように選択された光であってもよい。照明または他の条件はまた、燐光性分子の検出可能性および／または活性（例えば、検出可能な活性）を生じさせるように選択されてもよい。

【0015】

１つの例示的な例として、第１レベルの倍率は、約２×であってもよく、第２レベルの倍率は、約２０×であってもよい。異なるレベルの倍率は、例えば、対物レンズ間の切り替えによって成され得る。

【0016】

第１の第２レベル（すなわち、より高い倍率レベル）の画像は、第１レベル（すなわち、より低い倍率レベル）の画像上に重ね合わせられ得る。これは、第１の第２レベルの画像内に含まれる、第１レベルの画像の領域に従って（例えば、その上に）、第１の第２レベルの画像が位置決めされるように行われてもよい。重ね合わせは、座標系または他の空間的関係スキームに従って行うことができる。しかしながら、第２レベルの画像の位置が、第２レベルの画像が由来する第１レベルの画像の領域を反映するように、第２レベルの画像を、第１レベルの画像上に正確に重ね合わせる必要はない。いくつかの場合において、第２レベルの画像内に示される領域が、第１レベルの画像の領域に（正確に、またはほぼ同じように）重なり、そこから第２レベルの画像が取得されるように、第２レベルの画像を第１レベルの画像の上に位置合わせすること／第１レベルの画像に対して位置決めさせることが好ましい場合がある。

【0017】

１つの非限定的な例として、ユーザは、第１レベルの画像を収集し得る。その画像は、細胞内に収容され、細胞はユーザのビデオスクリーン上で幅５ｃｍの幅を有する。ユーザは、次いで第２レベルの画像を収集し、この第２レベルの画像は、第１レベルの画像の関心のある細胞を含む。

【0018】

第２レベルの画像は、次いで第２レベルの画像が取得される第１レベルの画像の領域に重なるように、第１レベルの画像上に重ね合わせられる。その際、第２レベルの画像は、第２レベルの画像内の長さのスケールが第１レベルの画像の長さのスケールと一致するようにサイズ決定され得、そのため、第１レベルの画像上に重ね合わされた第２レベルの画像内に示されたときの細胞が幅５ｃｍを有する（第１レベルの画像などの場合）が、より高い第２レベルの倍率で収集されることにより細胞がより高い解像度で直ちに可視となる。

【0019】

開示された技術はまた、本明細書の他の箇所に記載されているように、第１または第２の画像をズームインまたはそうでなければ拡大してもよい。開示された技術は、例えば、対応する第１レベルの画像の特徴に第２レベルの画像の特徴が重なるように対応する第１レベルの画像上に第２レベルの画像を位置決めすることによって、第２レベルの画像を第１レベルの画像に対してさらに位置合わしてもよい。

【0020】

例示的な一実施形態において、ユーザは、第１レベルの画像の１０×１０座標系上の場所（３、４）にある画像を、第２レベルの画像として選択し得る。第２レベルの画像は次いで、第２レベルの画像が、第１レベルの画像の１０×１０座標系上の場所（３、４）にセンタリングされる（または、近接して設置される）ように、第１レベルの画像上に重ね合わされ得る。代替的に、第２レベルの画像は、第２レベルの画像が場所（３、４）と重なるように、重ね合わされ得るが、第２レベルの画像が必ずしも場所（３、４）でセンタリングされる必要はない。本明細書の他の箇所に記載されているように、第２レベルの画像は、ユーザが第２レベルの画像上で画像を選択する、またはカーソルもしくは他のポインタを位置決めするとき、第２レベルの画像が拡大するように重ね合わされ得る。

【0021】

別の例として、ユーザは、背景の第１レベルの画像内にも配置される、いくつかの特徴（例えば、液胞）を含む画像を、第２レベルの画像として選択し得る。第２レベルの画像は、第２レベルの画像内の液胞が、第１レベルの画像内の液胞にセンタリングされる（または、近接して設置される）ように、第１レベルの画像上に重ね合わされ得る。これは、手動で（例えば、ユーザが第２レベルの画像を第１レベルの画像上の所望の場所までドラッグすることによって）、または自動化された様式で（例えば、画像位置合わせアルゴリズムによって）達成することができる。本明細書の他の箇所に記載されているように、位置合わせは、例えば、第１の第２レベルの画像の領域を第２の第２レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第１および第２の第２レベルの画像の１つ以上の特徴を互いに重ね合わせること（またはほぼ重ね合わせること）によって行われ得る。

【0022】

第２レベルの画像は、第１レベルの画像内に既に完全に含まれる試料のエリアを含み得ることを理解されるべきである。しかしながら、これは、第２レベルの画像が、第１レベルの画像内に含まれるエリアと、該第１レベルの画像内に含まれないエリアとを含み得るので、必須要件ではない。一例として、第２レベルの画像が第１レベルの画像内にある材料と、第１レベルの画像内にない材料とを含むように、第２レベルの画像は、第１レベルの画像の縁上にセンタリングされ得る。

【0023】

一実施形態において、結果は、その上に重ね合わされた、より高い倍率の第２レベルの画像を有する、第１レベルの画像である。第２レベルの画像は、第１の画像の一部に正確に重ね合わせて、そこから第２の画像が取得されるように、位置決めされ得る。いずれの特定の理論にも束縛されることなく、第２レベルの画像は、比較的高い解像度のウィンドウまたはレンズと考えることができ、それを通じてユーザが、第１レベルのウィンドウ内の関心のある領域を見ることができ、一方で第１レベルの画像内の元の位置背景における関心のあるその物体を依然として示す。そのような１つの実施例が、図２１に示され、この図は本明細書の他の箇所で記載される。

【0024】

しかしながら、第２レベルの画像によって反映される、第１の画像の領域の上に、第２レベルの画像が正確に重ね合わされる必要はないことが理解されるべきである。例えば、第１レベルの画像が、１０×１０座標系内の場所（３、４）でセンタリングされる場合、場所（３、４）の周囲で第１レベルの画像の領域を含む第２レベルの画像は、第１の画像上に重ね合わせられるとき、（３、４）でセンタリングされ得るが、また（３．１、４．２）でもセンタリングされ得る。

【0025】

開示された方法はまた、対応する第１レベルの画像の領域を含む第２の第２レベルの画像を収集することを含む。第２の第２レベルの画像は、第１の第２レベルの画像と同一または異なる倍率および／または照明で収集され得る。開示される方法およびシステムは、２つ、３つ、もしくはそれ以上の倍率および／または照明タイプで、画像の収集を企図することが理解されるべきである。第２の第２レベルの画像は、第１の第２レベルの画像の領域を含み得るが、これは必須要件ではない。

【0026】

本方法はまた、第１の第２レベルの画像および第２の第２レベルの画像が、対応する第１レベルの画像の領域の連続画像を形成するように、例えば、位置合わせされた第２レベルの画像が、第１レベルの画像の領域に及ぶように、第１の第２レベルの画像および第２の第２レベルの画像を位置合わせすること（例えば、位置決めすること）を含んでもよい。

【0027】

位置合わせは、例えば、第１の第２レベルの画像の領域を第２の第２レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第１および第２の第２レベルの画像の１つ以上の特徴（例えば、縁）を互いに重ね合わせること（またはほぼ重ね合わせること）によって行われ得る。いくつかの実施形態において、システムは、システムの移動ステージにおける誤差よりも大きい重ね合わせを強制するように動作してもよい。

【0028】

様々な位置合わせ／レジストレーションアルゴリズムが、使用され得る。いくつかの用途において、開示された技術は、第１レベルの画像から、第１レベルの画像の内容の約５～１００％をカバーするタイル状の第２レベルの画像のセットを形成するために使用され得る。

【0029】

いくつかの場合において、関心のある特徴（例えば、細胞）が大きすぎて単一の第２レベル（高倍率）の画像内に収まらない場合がある。そのような状況において、システムは、特徴全体をカバーするために必要な第２レベルの画像の数を計算し、次いで、該第２レベルの画像を必要に応じて一緒に位置合わせして、関心のある特徴の完全な画像を形成し得る。

【0030】

開示された方法はまた、第１の第２レベルの画像および第２の第２レベルの画像を、第１レベルの画像上に重ね合わせることを含んでもよい。このような一実施例が、図１１に示され、図は、背景の第１レベルの画像上に重ね合わされた複数の第２レベルの倍率の画像を示す。

【0031】

第１の第２レベルの画像内および第２の第２レベルの画像内に含まれる、第１レベルの画像の領域に従って、第１の第２レベルの画像および第２の第２レベルの画像が互いに対して位置決めされるように、第１の第２レベルの画像および第２の第２レベルの画像は、第１レベルの画像上に重ね合わせられてもよい。本明細書の他の箇所に記載される例示的な１０×１０座標系を参照すると、場所（３、４）で取得された（例えば、センタリングされた）第１の第２レベルの画像は、第１レベルの画像上のその場所に対してセンタリングされるように重ね合わされ、場所（７、９）で取得された第２の第２レベルの画像は、第１レベルの画像上の他の場所に対してセンタリングされるように重ね合わされ得る。

【0032】

本明細書の他の箇所に記載されているように、第１レベルの画像および第２レベルの画像は各々、異なる照明条件下で収集される。例えば、第１レベルの画像は、標準的な「白色」光の下で収集され得、第２レベルの画像は、特定の蛍光色素を視覚化するために最適化された照明条件下で収集され得る。また、本明細書の他の箇所に記載されているように、異なる第２レベルの画像は、互いに異なる倍率および／または照明条件で収集され得る。画像自体は、１つ、２つ、またはさらに多くの蛍光色を含有し得ることが理解されるべきである。例えば、ユーザは、第１のより低い倍率の画像に関して白色（透過）光を使用して、次いで、同じより高い倍率であるが異なる照明条件の同じ位置でいくつかの画像を取得し得る。各画像は、同じ細胞（画像１内の核、画像２内の細胞質、画像３内の神経突起）の異なる態様を含有し、画像は、核、細胞質、および神経突起のカラー画像を含有する、「合成された」（または「複合された」）画像を表示するために、共に組み合わせる。このため、本技術は、背景の細胞のグレースケール低解像度透過画像を伴う、細胞の高解像度合成カラー画像を生じさせ得る。照明条件を変更することに加えて、検出機構を変更してもよい。使用されるカメラ（例えば、カラーおよびモノカメラを介して）、検出モード（広視野もしくは共焦点など）、またはそれらの任意の組み合わせを変更してもよい。

【0033】

第１レベルの画像の場所は、自動化された様式で選択してもよい。代替的に、第１レベルの画像の場所は、手動で選択してもよい。例えば、ウェルプレートをスキャンしているユーザは、第１レベルの画像を収集するために、ウェルの左側の縁を手動で選択してもよい。代替的に、ウェルプレート上の各ウェルの中心の自動選択など、第１レベルの画像の場所は、自動的に選択され得る。同様に、第２レベルの画像の場所の選択は、手動で、または自動化された様式で行われ得る。

【0034】

第１の第２レベルの画像の場所は、第１の第２レベルの画像が第１レベルの画像内の関心のある特徴を含むように、選択され得る。例えば、第２レベルの画像の場所（および、または形状）は、第２レベルの画像が、第１レベルの画像内に示される１つ以上の細胞をその内部に含むようなものであってもよい。

【0035】

ユーザは、第１の画像のビューから、第２の画像を選択および表示することができる。本明細書の他の箇所に記載されているように、これは、第１レベルの画像の上に重ね合わされた第２レベルの画像を有する、第１レベルの画像を見ているユーザが、画像上をクリックするか、またはカーソルもしくは他のポインタを、第２レベルの画像の上に位置決めするとき、第２レベルの画像が拡大するといった方法で行われ得、その後、第２レベルの画像は、拡大するか、または新たな視認用ウィンドウをさらに開く。

【0036】

ユーザは、第１または第２レベルの画像の形状（正方形、長方形、多角形、またはカスタム）を、自動または手動の様式で設定し得る。これは、画像形状の選択肢のメニュー（例えば、ドロップダウンメニュー、または他の選択ツール）を介して行うことができる。第１または第２レベルの画像の形状は、自動化された様式で設定、例えば、特定の特徴が少なくとも部分的に画像内にあるように設定されてもよい。

【0037】

システムは、関心のある領域を画定するために、長方形、楕円、円、またはフリーフォームツールのうちの１つ以上を提供することができる。いくつかの実施形態において、これらのツールは、画像の形状を画定する必要はなく、画像を収集する場所である。例えば、低倍率の画像は、検討中の試料ウェル全体を表示することができ、ユーザは、フリーフォームツールを使用して、関心のある１つまたは複数の細胞がウェル内にある場所を画定することができる。１つの例示的な実施形態において、高倍率（例えば、４０×）で画像の第２のセットを確保することを望むユーザの場合、ソフトウェアは、ユーザが選択した形状全体をカバーするように、その画定された形状内の複数の隣接する画像を、自動的にスキャンし得る。例示的な図２２に示されるように、ユーザは、フリーフォーム形状を黒で描画することができ、システムは、好適な数（例えば、２２画像）の高倍率画像が確保されて、フリーフォームエリア全体がより高い倍率で取り込まれる（グレーで縁取られたボックスによって表される）ことを確実とするように、（例えば、自動化された様式において）スキャンエリアを設定し得る。

【0038】

図２３は、本開示に従って、システム２３００の例示的な図を提供する。示されるように、システム２３００は、イメージャ２３１４を含み得、このイメージャは、例えば、顕微鏡、ハイコンテンツスクリーニング装置などであってもよい。イメージャ２３１４は、インターフェース２３１８を介して、他の構成要素と電子的に通信することができる。様々な構成要素のうちの１つ以上は、リンケージ２３１２を介して、互いに通信することができる。システム２３００はまた、キーボード２３１２およびポインティング装置２３１０を備えることができ、この構成部品は、例えば、画像収集、画像解析、画像記憶などを制御するために使用され得る。イメージャ２３１４によって収集された画像は、グラフィックスアダプタ２３２０を介して、他の構成要素に接続され得る、ディスプレイ２３０６と通信し得る。

【0039】

グラフィックスアダプタ２３２０は、メモリ２３０４と通信してもよく、メモリはまた、プロセッサ２３０２と通信し得る。プロセッサは、開示されたステップ、例えば、より低い倍率の画像の上により高い倍率の画像を重ね合わせること、第１レベルの画像に対して第２レベルの画像を位置合わせすることなど、のうちの１つ以上を実行するように構成され得る。ハードドライブ２３０８は、１つ以上の他の構成要素と好適に通信し、画像が生の形態であろうと処理された形態であろうと、１つ以上の画像を受信および保持するように構成され得る。システム２３００はまた、ネットワークアダプタ２３２０を含むことができ、このアダプタは、無線で、またはケーブルもしくはワイヤ接続を介して、情報２３１６を送信または受信し得る。

【0040】

いくつかの実施形態において、ユーザは、最初に第１レベルの画像を収集し得る。次いで、ユーザは、（例えば、第２レベルの倍率のためのエリアの境界の形状を定義することを介して）第２レベルの倍率の領域を画定し得、第２レベルの倍率の領域は、例えば、第１レベルの画像上に重ね合わされるように見える長方形のウィンドウとして存在し得る。次いで、ユーザは、より高い倍率／解像度で第１レベルの画像の領域をリアルタイムで見るために、第１レベルの画像の周囲の第２レベルの倍率領域を、（例えば、クリック、ドラッグ、またはそうでなければ移動を介して）並進させることができる。システムは、第２レベルの画像内の長さスケールが第１の画像の長さスケールに対応するように、第２レベルの（より高い倍率の）画像を、拡大縮小するように構成されることができる。このようにして、ユーザは、第２レベルの画像ウィンドウが第１レベルの画像の周囲を並進するために、第１レベルの画像のより高い解像度のフィールドをリアルタイムで見ることができる。これは、同様にして、ユーザが第１レベルの画像の領域のより高解像度の「ウィンドウ」を見ることを可能にし、一方でまた、そのウィンドウを相対的な位置背景内に維持することも可能にする。

【0041】

ユーザが第１レベルの画像内の特定の関心のある領域を識別するとき、ユーザはその関心のある領域の第２レベルの倍率の「スナップショット」を取得することができ、このスナップショットは、第１レベルの画像上に重ね合わされたままである。このようにして、ユーザは、第１レベルの画像の一部または全部を調査しながら、一方で関心のある第２レベルの画像をリアルタイムで収集することができる。

【0042】

このようにして、ユーザは、第２レベルの画像が生成された場所から第１レベルの画像上の場所をユーザが容易に判定することを可能にする、ビューを提示することができる。これは、同様にして、ユーザが第２レベルの画像の相対位置を判定することを可能にし、ユーザが第１レベルの画像のどのエリアがより高い倍率の調査の対象となったかを、迅速に判定することを可能にする。

【0043】

１つの例示的な実施形態が、図２１に示される。図２１Ａに示されるように、ユーザは、第１レベルの画像上に第２レベルの倍率の領域（破線のボックスで示される）を画定することができる。この実施例において、第１レベルの画像は、ウェル内に配置された関心のある物体を有するウェルの円形画像である。図２１Ａに示されるように、第１レベルの画像の比較的低い倍率の結果として、物体の縁の正確な輪郭などの、関心のある物体の特定の細部の差異を認識することは困難である。

【0044】

図２１Ｂに示されるように、ユーザは、画定された第２レベルの倍率の領域を第１レベルの画像の周囲に移動させることができ、次いで、関心のある領域を「スナップショット」として選択し、このスナップショットは、第１の画像上に重ね合わされたままである。（図２１Ｂおよび図２１Ｃ）。また、図２１Ｂおよび図２１Ｃに示されるように、第１の「スナップショット」（このスナップショットが第１レベルの背景画像上に重ね合わされたままである）を生成した後、ユーザは、他の関心のあるエリアが識別される際、さらに第２レベルの倍率のスナップショットを生成することができる。

【0045】

図２１Ｂに示されるように、第２レベルの「スナップショット」は、第１レベルの画像の上に重ね合わされる。しかし、図２１Ｂにおいて見られるように、「スナップショット」は、比較的高いレベルの倍率で取得されたため、ユーザに、関心のある物体の選択された領域について、より高い解像度のビューを提供する。実際には、図２１Ｂに示されるように、第２レベルの「スナップショット」画像は、ユーザに関心のある物体の縁のより良くより高度に詳細なビューを提供し、ユーザが縁をより詳細に見ることを可能にする。

【0046】

図２１Ｃは、図２１Ｂの画像を示し、図の右上の領域に第２の第２レベルの画像が追加されている。図に図示されるように、第２の第２レベルの画像は、ユーザに、物体の関連領域の比較的高詳細図を提供する。

【0047】

図２１Ｄは、ユーザが、図２１Ａに示される関心のある物体の全体を包含する第２レベルの画像を作製した、代替図を提供する。図２１Ｄに示されるように、第２レベルの画像は、第１レベルの画像の対応する領域の上に配置され、このため、関心のある物体全体のより良く、より高詳細度の図を提供する一方で、第１レベルの画像内の元の位置背景における関心のあるその物体を依然として示している。したがって、図２１に示されるように、本方法は、（１）第１レベルの倍率で、試料についての少なくとも１つの第１レベルの画像を収集すること；（２）第１レベルの倍率よりも大きい第２レベルの倍率で、対応する第１レベルの画像の領域を含む第１の第２レベルの画像を収集すること；および（３）第１の第２レベルの画像を第１レベルの画像上に重ね合わせることを含む。

【0048】

本明細書の他の箇所に記載されているように、開示された技術は、第２レベルの画像の視野が第１レベルの画像からの視野と正確に（またはほぼ正確に、例えば、第２レベルの画像の幅の、約５％未満、約１％未満、または約０．０１％未満内）重ね合わせるように、第１レベルの画像の上に第２レベルの画像に重ねあわせるように動作する。これは、座標系を介して、第１および第２レベルの画像内の特徴を重ね合わせること／位置合わせすることによって、または当業者に既知の他の方法によって達成され得る。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第１レベルの画像を収集すること、および第２レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更（または導入）すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。

【0049】

別の態様において、本開示はまた、試料解析システムを提供する。システムは、（ａ）第１レベルの試料画像を第１レベルの倍率で収集するよう、かつ、（ｂ）第２レベルの試料画像を第１レベルの倍率よりも大きい第２レベルの倍率で収集するように構成され、第２レベルの試料画像が、対応する第１レベルの試料画像内に少なくとも部分的に配置された領域を含む、画像化装置と；第２レベルの試料画像を第１レベルの試料画像上に重ね合わせることを行うように構成されたプロセッサとを備える。

【0050】

前記プロセッサは、少なくとも１つの収集された第２レベルの画像の特徴を該第２レベルの画像に対応する第１レベルの画像の対応する特徴と位置合わせ（例えば、部分的にまたは完全に重ね合わせる）するように構成され得る。好適な位置合わせ技術は、本明細書の他の箇所に記載される。

【0051】

いくつかの実施形態において、第１の第２レベルの画像内に含まれる、第１レベルの画像の領域に従って、第１の第２レベルの画像が位置決めされるように、前記プロセッサは、第１の第２レベルの画像を第１レベルの画像上に重ね合わせるように構成され得る。これは、例えば、上記の座標系を介して、上記のような位置合わせアルゴリズムを介して、または当業者に既知の他の方法でなど、様々な方法で達成され得る。

【0052】

前記プロセッサは、対応する第１レベルの画像の領域を含む第２の第２レベルの画像を収集するように構成され得る。本明細書の他の箇所に記載されているように、第２レベルの画像は、第２レベルの画像が収集された照明および／または倍率に関して、互いに異なっていてもよい。

【0053】

位置合わせされた第１の第２レベルの画像および第２の第２レベルの画像が、対応する第１レベルの画像の領域の連続画像を形成するように、前記プロセッサは、第１の第２レベルの画像および第２の第２レベルの画像を位置合わせするように構成されてもよい。位置合わせすることは、第１の第２レベルの画像の領域を第２の第２レベルの画像の領域と重ね合わせることによって少なくとも部分的に行われてもよい。本明細書の他の箇所に記載されているように、位置合わせは、例えば、第１の第２レベルの画像の領域を第２の第２レベルの画像の領域と重ね合わせることによってなど、様々な方法で行われ得る。位置合わせはまた、第１および第２の第２レベルの画像の１つ以上の特徴を互いに重ね合わせること（またはほぼ重ね合わせること）によって行われ得る。

【0054】

プロセッサは、第１の第２レベルの画像および第２の第２レベルの画像を、第１レベルの画像上に重ね合わせるように構成されてもよい。プロセッサは、第１の第２レベルの画像内および第２の第２レベルの画像内に含まれる、第１レベルの画像の領域に従って、第１の第２レベルの画像および第２の第２レベルの画像が互いに対して位置決めされるように、第１の第２レベルの画像および第２の第２レベルの画像を第１レベルの画像上に重ね合わせるように構成され得る。

【0055】

システムは、異なる照明条件下で、第１レベルの画像および第２レベルの画像を収集するように構成されてもよい。一例として、第１レベルの画像は、標準的な、またはいわゆる「白色光」照明の下で収集され得、該第１レベルの画像の領域の第２レベルの画像は、１つ以上の染料の存在を視覚化するよう最適化された照明下で収集され得る。本開示に従うシステムは、１つ、２つ、３つ、またはそれ以上の異なるタイプの照明を供給することができる照明トレーンを含んでもよい。

【0056】

本開示に従うシステムは、自動化された様式で第１レベルの画像の場所を選択するように構成されてもよい。例えば、システムは、プレートに沿って一定間隔の距離で画像を収集することによってウェルプレート内のウェルの第１レベルの画像を収集するように構成されてもよく、画像はプレート上のウェルの場所に対応する。

【0057】

システムはまた、自動化された様式で第１の第２レベルの画像の場所を選択するように構成されてもよい。これは、関心のある１つ以上の特徴、例えば、細胞、細胞壁、色素分子などに関して、第１レベルの画像を解析することによって達成されてもよい。システムはまた、第１の第２レベルの画像が第１レベルの画像内の関心のある特徴を含むように、第１の第２レベルの画像の場所を選択するように構成されてもよい。

【0058】

システムは、ユーザが第１の画像のビューから第２の画像を選択して表示することを可能にするように構成されてもよい。例示的な図１１を参照すると、ユーザは、より大きい長方形の第１レベルの画像内で、より小さい長方形で縁取られた画像として示される、第２レベルの画像のうちの１つを選択し得る。

【0059】

システムは、第１レベルの試料画像を収集するように構成された第１の対物レンズ、および第２レベルの試料画像を収集するように構成された第２の対物レンズを含み得ることが理解されるべきである。システムは、ユーザが第１の対物レンズと第２の対物レンズを取り替えることを可能にするように構成されてもよい。システムはまた、本明細書の他の箇所に記載されているように、ユーザが２つ（またはそれ以上）の対物レンズ間で変更することに加えて、照明源、光フィルタ、焦点面、および他の変数を変更することを可能にするように構成されてもよい。

【0060】

本開示はさらに、さらなる方法を提供し、さらなる方法は、第１レベルの倍率で、少なくとも１つの第１の試料画像（これはまた第１レベルの画像として称され得る）を収集すること；第１レベルの倍率よりも大きい第２レベルの倍率で、対応する第１の画像内に少なくとも部分的に配置された領域を含む少なくとも１つの第２の試料画像（これはまた第２レベルの画像として称され得る）を収集すること；第２の画像の特徴を第１の画像の対応する特徴と位置合わせすること；および第２の画像を第１の画像上に重ね合わせることを含む。

【0061】

一実施形態が、説明のための図２４に示される。その図に示されるように、本方法は、第１の収集状態（例えば、第１レベルの倍率、第１レベルの照明など）で、第１レベルの試料画像を収集するステップ２４００を含む。本方法は、次いで第１の収集状態とは異なる第２の収集状態で、第２レベルの画像を収集するステップ２４０２を含み得る。一例として、第１レベルの画像は、第１レベルの倍率で収集され、第２レベルの画像は、第１レベルより大きい第２レベルの倍率で収集される。

【0062】

本方法は、次いで、第２レベルの画像の特徴を第２レベルの画像の対応する特徴と位置合わせするステップ２４０４を含み得る。本明細書の他の箇所に記載されているように、これは、第２レベルの画像内の細胞壁の区分を、第１レベルの画像内の細胞壁の同じ区分と位置合わせすることなどを含み得る。これはまた、第２レベルの画像の縁または領域を、第１レベルの画像の対応する縁または領域と位置合わせすることを含む。

【0063】

ステップ２４０６は、第１レベルの画像の上に第２レベルの画像を重ね合わせることを含む。重ね合わせは、第２レベルの画像が、そこから第２の画像が取得された第１の画像の領域の上に直接存在するように実行されてもよい。これは、上述したように、第１レベルの画像に対して第２レベルの画像の位置合わせを保つために行われ得る。

【0064】

開示された方法は、第１の画像内に少なくとも部分的に配置された領域を含む第３の試料画像（例えば、第２の第２レベルの画像）を収集することを含んでもよい。第２の画像の収集、第３の画像の収集、またはその両方は、自動化された様式で実行され得るが、また手動で実行されてもよい。

【0065】

本方法はまた、第３の画像を第１の画像の上に重ね合わせること、および第３の画像の特徴を第１の画像の対応する特徴と位置合わせすることを含んでもよい。

【0066】

いくつかの実施形態において、本方法は、第３の画像を第２の画像の上に重ね合わせること、および第３の画像の特徴を第２の画像の対応する特徴と位置合わせすることを含んでもよい。本方法はまた、第１の画像に対して第３の画像を重ね合わせること（またはそうでなければ位置合わせすること）を含んでもよい。

【0067】

本方法はまた、第１、第２、または両方の画像の境界線を画定することを含み得る。境界線は、予め設定された境界線の選択（例えば、ドロップダウンメニューからの選択）によって画定され得る。境界線は、正方形、長方形、円形、卵形、多角形、またはさらにはカスタムの形状であってもよい。

【0068】

いくつかの実施形態において、（ａ）少なくとも１つ以上の第１の画像が、２つ以上の焦点面で取得された情報に基づいているか、（ｂ）少なくとも１つ以上の第２の画像が、２つ以上の焦点面で取得された情報に基づいているか、または（ａ）および（ｂ）の両方である。一例として、第１の（および／または第２の）画像は、２つ以上の異なる焦点面で取得された試料の画像の合成として展開されてもよい。代替的に、第１の（および／または第２の）画像は、２つ以上の異なる照明の下で取得された試料の画像の合成として展開されてもよい。

【0069】

画像の位置合わせおよび画像の重ね合わせは、手動または自動の様式で行われ得る。本明細書の他の箇所に記載されているように、この方法はまた、ユーザが第１の画像のビューから第２の画像を選択して表示することを可能にし得る。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第１レベルの画像を収集すること、および第２レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更（または導入）すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。

【0070】

画像解析の方法もまた提供される。本方法は、第１レベルの倍率で複数の第１の試料画像を収集すること；複数の第１の画像のうちの少なくともいくつかの画像のセットの中の各メンバについて、第１レベルの倍率よりも大きい第２レベルの倍率で、対応する該第１の画像内に少なくとも部分的に配置された領域を含む１つ以上の第２の試料画像を収集すること；第１の画像のセットの中の該メンバのうちの少なくともいくつかについて（または該メンバの各々さえについても）、１つ以上の第２の画像各々の特徴を対応する該第１の画像の対応する特徴と位置合わせすること；および１つ以上の第２の画像を対応する第１の画像上に重ね合わせることを含む。

【0071】

いくつかの実施形態において、２つ以上の第１の画像内からの１つ以上の第２の試料画像が、それぞれの第１の画像内の同じ相対位置で取得される。一例として、ウェルプレート上のウェルの中心が第１の画像としての役割を果たすプロセスにおいて、第２の画像は、各ウェルの第１の画像の最上縁部の中央で取得される。

【0072】

複数の第１の画像を収集すること、第２の画像を収集すること、またはその両方を、自動化された様式で行われ得る。ユーザは、例えば、座標系または他の基準を使用して、画像間の均一な間隔を指定することによって、画像収集の場所を設定してもよい。

【0073】

いくつかの実施形態において、（ａ）少なくとも１つ以上の第１の画像が、２つ以上の焦点面で取得された情報に基づいているか、（ｂ）少なくとも１つ以上の第２の画像が、２つ以上の焦点面で取得された情報に基づいているか、または（ａ）および（ｂ）の両方である。一例として、第１の（および／または第２の）画像は、２つ以上の異なる焦点面で取得された試料の画像の合成として展開されてもよい。代替的に、第１の（および／または第２の）画像は、２つ以上の異なる照明の下で取得された試料の画像の合成として展開されてもよい。

【0074】

図２５は、本明細書に記載される例示的な方法を提供する。示されるように、本方法は、第１の収集状態で、複数の第１レベルの試料画像を収集するステップ２５００を含み得る。一例として、これは、試料プレート内の９６のウェルの少なくともいくつか（または各々）に関して、ウェルの中心の画像を収集することを含み得、これらの画像の各々は、第１レベルの倍率で取得される。

【0075】

ステップ２５０２において、本方法は、第１の収集状態とは異なる第２の収集状態で、複数の第２レベルの画像を収集することを含み得る。例として、第２レベルの画像は、対応する第１レベルの画像よりも高い倍率で取得されてもよく、または対応する第１レベルの画像とは異なる照明条件下で取得されてもよい。第２レベルの画像は、第１レベルの画像のうちの少なくともいくつかの部分、例えば、対応する第１レベルの画像の最も中央の部分のより高い倍率の画像を含んでもよい。

【0076】

ステップ２５０４において、本方法は、第２レベルの画像についての少なくともいくつかの特徴を対応する第１の画像についての対応する特徴と位置合わせすることを含み得る。上に示される９６ウェルプレートの例において、これは、例えば、第２レベルの画像の中心を、該第２レベルの画像に対応する第１レベルの画像の中心に対してセンタリングすることを含んでもよい。一例として、９６のウェルプレートの各ウェルについて、第１レベルの画像が各ウェルの中心から取得され、かつ第２レベルの画像がその同じウェルの中心から、より高い倍率で取得された場合、第２レベルの画像の中心は、第１レベルの画像の中心と位置合わせされ得、これにより、ユーザが、ウェルの中心のより高度に詳細なビューを提供し、ユーザがウェルの中心をより高度に詳細に見ることを可能にする。画像の収集は、対物レンズを変更することによって行われることが理解されるべきである。例えば、第１レベルの画像を収集すること、および第２レベルの画像を収集することが、対物レンズを変更することによって行われ得る。画像の収集はまた、照明源を変更すること、フィルタを変更（または導入）すること、焦点面を変更すること、および観察変数を変更することによって行われ得る。

【0077】

本開示はまた、試料解析システムを提供し、該システムは、（ａ）第１の試料画像を第１レベルの倍率で収集するよう、かつ（ｂ）第２の試料画像を第１レベルの倍率よりも大きい第２レベルの倍率で収集するように構成され、第２の試料画像が、対応する第１の画像内に少なくとも部分的に配置された領域を含む、画像化装置と；（ａ）少なくとも１つの収集された第２の画像の特徴を、該第２の画像に対応する第１の画像の対応する特徴と位置合わせすること、および（ｂ）第２の画像を第１の画像上に重ね合わせることを行うように構成されているプロセッサとを備える。

【0078】

システムは、１つ以上の第１の画像を収集すること、第２の画像を収集すること、またはその両方を、自動化された様式で行うように構成され得る。システムはまた、２つ以上の焦点面で取得された情報を組み合わせることによって１つ以上の第１の画像を生じさせるように構成されているか、システムが、２つ以上の焦点面で取得された情報を組み合わせることによって１つ以上の第１の画像を生じさせるように構成されているか、またはその両方である。

【0079】

いくつかの実施形態において、システムは、２つ以上の第１の画像内からの１つ以上の第２の画像が、それぞれの第１の画像内の同じ相対位置で取得されるように構成される。

【0080】

様々な画像化装置が、開示された方法およびシステムに好適であると考えられる。例示的なこのような装置は、例えば、顕微鏡、プレートリーダ、アレイスキャナ、およびハイコンテンツスクリーニング装置を含む。いくつかの例示的な例は、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ ＣＸ５（商標）、ＣＸ７（商標）、ＥＶＯＳ（商標）システムである。

【0081】

本明細書の他の箇所に記載されているように、システムは、ユーザが第１の画像のビューから第２の画像を選択して表示することを可能にするように構成されてもよい。

【0082】

システムは、第１レベルの試料画像を収集するように構成された第１の対物レンズ、および第２レベルの試料画像を収集するように構成された第２の対物レンズを含み得ることが理解されるべきである。システムは、ユーザが第１の対物レンズと第２の対物レンズを取り替えることを可能にするように構成されてもよい。システムはまた、本明細書の他の箇所に記載されているように、ユーザが２つ（またはそれ以上）の対物レンズ間で変更することに加えて、照明源、光フィルタ、焦点面、および他の変数を変更することを可能にするように構成されてもよい。

【0083】

例示的な実施形態
図１は、本開示に従う、例示的な装置１０８（例えば、Ｔｈｅｒｍｏ ＦｉｓｈｅｒによるＥＶＯＳ（商標）ラインの装置）の構成部品の図を提供する。図に示されるように、装置は、透過光集光装置１００を含み得る。集光装置は、複数の位相環を有する自動ターレットを含み得る。装置はまた、単色カメラ１０２およびカラーカメラ１０８を含むことができる。光キューブ（例えば、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ ＥＶＯＳ（商標）光キューブ）などの照明源１０４は、並進台車上に設置することができ、台車の位置は、試料１１０の照明を提供するように自動化されてもよい。様々な対物レンズがターレット１０６内に配置されてもよく、ターレットは、自動化され、または手動であってもよく、対物レンズは、所望の倍率のレベルに応じて、ユーザによって選択されてもよい。

【0084】

図２Ａは、図１の装置の代替図を提供する。図２に示されるように、モータおよび光コントローラ２００は、ステージ（図示せず）を制御するように構成されている。装置はまた、位相ターレットホール効果装置２０２を含んでもよい。図２Ｂは、第２のモータおよび光コントローラ２０４、ならびに光キューブ電力かつ信号２０６、ならびに電力かつ信号ハブ２０８を示す。装置はまた、光キューブインターフェースボード２１０を含んでもよい。状態ＬＥＤ２１２は、図２Ｃに示され、対物ターレットホール効果２１４がまた、図２Ｃに示されている。

【0085】

図３は、図１の装置のステージの図を提供する。図３Ａに示されるように、ステージは、ｘ軸モータ３００（内側ステージ）およびｙ軸モータ３０２（内側ステージ）を含んでもよい。Ｚ軸モータ１ ３０４は、図３Ｂに示され、ｚ軸モータ２ ３０６もまたその図に示される。エピ軸モータ３１０と同様に、カメラ軸モータ３０８が、その図に示される。図３Ｃは、位相ターレットモータ３１２が示されている、側面図を提供する。

【0086】

図４は、本開示に従って、単一カメラ装置の図を提供する。図に示されるように、装置は、透過光集光装置４００およびモノクロカメラ４０２を含んでもよく、このカメラは、定位置に固定され得る。光キューブ４０４は、試料照明を提供し、装置は、試料４０８のための複数の対物レンズ４０６を特徴として備え持ち得る。

【0087】

図５は、図４の装置の構成部品の図を提供する。図５Ａに示されるように、装置は、モータと、光コントローラ１ ５００と、位相ターレットホール効果５０２とを好適に含んでもよい。図５Ｂは、モータと、光コントローラ２ ５０４と、電力および信号ハブ５０６と、キューブ電源およびインターフェースアダプタ５０８とを図示する。また、キューブインターフェースボードが存在してもよい。装置は、ステータスＬＥＤ５１０、および対物ターレットホール効果５１２を含んでもよい。

【0088】

図６Ａは、図４の装置のステージ配置の詳細を提供する。図６Ａに示されるように、ステージは、ｘ軸モータ６００（内側ステージ）およびｙ軸モータ６０２（内側ステージ）を特徴として備え持ってもよい。図６Ｂは、ｚ軸モータ６０４、ならびに対物軸ターレットモータ６０６、およびエピ軸モータ６０８を示す。図６Ｃは、位相ターレットモータ６１０を有する、側面の構成部品の図を提供する。

【0089】

図７は、標準的な顕微鏡で関心のあるエリアを手動の様式で検査する、従来の方法の典型的な情報フローを示す。当業者によく知られているように、ユーザは、手動または自動ステージを使用して試料を四方に移動させて、低出力の対物レンズを用いて手動で画像を取り込んでもよい。さらに詳細に調べるのが当然である、画像についてのいくつかの特徴をユーザが識別する場合、ユーザは、その画像をディスクまたは他の媒体に保存し得る。次いで、ユーザは、異なる対物レンズを使用して関心のあるエリアのより高い倍率の画像を撮り、次に低倍率画像と高倍率画像を比較することができる。このプロセスは、当該技術分野において既知であり、ユーザの側でかなりの量の関与および記録保持を必要とするので、退屈で時間がかかる。加えて、既存のプロセスを使用するとき、ユーザは、低倍率画像内のどこから高倍率画像が取得されたかを正確に知ることができないので、画像収集スキームを再作製することは困難である。

【0090】

図８は、関心のあるエリアを自動化された様式で調べる従来の方法の典型的な情報フローを提供する。図に示されるように、ユーザは、関心のある試料領域を識別し、次いで、関心のある領域をスキャンするためにソフトウェアプログラムと係合する。ユーザが関心のあるエリアを識別する場合、ユーザは、次いで、より高い倍率の対物レンズに切り替え、新たな関心のあるエリアのスキャンとより低い倍率でスキャンされた元のエリアとの間の重なりを推定した後、第２の自動スキャンを開始する。第２のスキャンが完了した後、ユーザは、２セットの収集した画像を、別個のウィンドウにおいて比較する。このプロセスもまた、時間がかかり、かつ退屈である。さらに、ユーザは、より低い倍率の画像内のどこからより高い倍率の画像が取得されたかを正確に知らない場合がある。

【0091】

図９は、関心のある領域を手動の様式で検査する開示された方法の典型的な情報フローを提供する。図に示されるように、ユーザは、例えば、試料を四方に移動させることを介して、試料の低倍率の調査を実行する。ユーザがその低倍率画像内の関心のあるエリアを識別した後、ユーザは、より高い倍率の対物レンズに変更し、関心のあるエリアのより高い倍率の画像を取り込み得る。この新たな、より詳細な画像は、次いで、例示的な図１１に示されるように、より低い倍率の背景画像と同一のウィンドウ内に示され得る。このアプローチは、同様に、ユーザが空間コンテクスト内でより高い倍率の画像を見ることを可能にし、すなわち、より高い倍率の画像は、より高い倍率の画像が背景画像の領域の上に配置されて、そこからより高い倍率の画像が収集されるように、より低い倍率の背景画像上に重ね合わせられ得る。

【0092】

より高い倍率の画像はまた、ユーザが、さらなる倍率のためにその画像を選択する（例えば、カーソルまたは他のポインタをクリックすること、もしくは、位置決めすることを介して）ような方法で、表示され得る。このようにして、ユーザは、複数の高倍率の画像を通じて、迅速にスキャンすることができる一方でまた、背景画像上のどこから各高倍率の画像が取得されたかを見ることができる。

【0093】

図１０は、関心のあるエリアを自動化された様式で調べる、開示された方法のための典型的な情報フローを提供する。図に示されるように、ユーザは、例えば、自動ステージまたは他の自動化された動作を介して、試料を四方に移動させることを介して、試料の低倍率の調査を実行する。ユーザが低倍率の背景画像内の関心のあるエリアを識別した後、ユーザは、より高い倍率の対物レンズを選択し、次いでそのより高い倍率で関心のあるエリアの画像を取り込むことができる。図１１に示されるように、新たなより詳細な画像は、より低い倍率の背景画像と同一のウィンドウ内に表示され得る。このアプローチは、さらには、ユーザが空間コンテクスト内でより高い倍率の画像を見ることを可能にし、すなわち、より高い倍率の画像が収集される背景画像の領域上により高い倍率の画像が配置されるようにより高い倍率の画像はより低い倍率の背景画像上に重ね合わせられ得る。より高い倍率の画像はまた、ユーザがさらなる倍率のためにその画像を選択し得るように、表示されてもよい。このようにして、ユーザは、複数の高倍率の画像を通じて、迅速にスキャンすることができる一方でまた、背景画像上のどこから各高倍率の画像が取得されたかを見ることができる。

【0094】

図１１は、開示された技術の例示的な実施形態から取得された画像を提供する。本明細書の他の箇所に記載されているように、ユーザは、自動ステージを使用して、手動式または自動式のいずれかで試料を四方に移動させてもよい。ユーザは、低倍率の対物レンズを用いて画像を取り込み得、図１１において、最大の長方形画像を２×対物レンズを用いて取得したが、他の対物レンズももちろん使用され得る。関心のあるエリアが識別された後、対物レンズを変更して、より高い倍率で画像を再び取り込むことができる。新たな詳細画像（より大きい長方形画像内に差し込まれたより小さい長方形によって、図１１に示される）は、より低い倍率の背景画像と同一のウィンドウ内に示され得る。このようにして、ユーザは、単一のウィンドウ内で、より低い倍率の背景画像内で、それらの画像の相対位置を示す位置において、より詳細な画像を見てもよい。

【0095】

図１１の右側に見られるように、ユーザインターフェースはまた、観察される試料の概略図を含んでもよい。図１１において、観察される試料は、マルチウェルプレートであり、観察される特定のウェルは、画像の右上に示される位置決めグリッド上の座標（４、Ｃ）に位置付けられたウェルである。インターフェースはまた、ユーザが、使用される１つまたは複数の対物レンズ、照明、オートフォーカス、および様々な自動化特徴を制御／選択することを可能にし得る。

【0096】

図１２および図１３は、開示された技術の別の実施形態からの図を示す。図１２に示されるように、ユーザは、自動ステージを使用して、試料を四方に移動させ、低倍率の対物レンズを用いて１つ以上の画像（すなわち、第１レベルの画像）を取り込み得る。（本実施例において、２×対物レンズを用いて明視野で取得された画像の収集である。）長方形でハイライトされた領域によって、図１３において示されるように、直前に取得された画像を見ながら、関心のあるエリアが、より高い倍率（例えば、２０×、第２レベルの画像）でスキャンするために選択される。

【0097】

この選択および増加した倍率の結果が、図１４に示される。その図に示されるように、高品質の画像は、試料スライドの残りの部分から画像を通じてソートすることなく、選択されたエリアからのみ取得される。また、図１４に示されるように、第２レベルの画像は、第１レベルの画像とは異なる照明下で収集されてもよい。第２（および第１）レベルの画像はまた、ユーザが所望し得るように、さらなる画像加工（コントラスト調整、偽色追加など）を受けてもよい。

【0098】

図１５は、例示的なユーザインターフェースの別の図を提供する。図に示されるように、インターフェースの右上の領域は、取り込み、自動化、および調査という３つのタブを含む。取り込みタブは、ユーザが試料を四方に移動させ、試料の画像を取り込むことを所望するときに選択される。示されるように、インターフェースは、画像取り込みかつ試料移動をもたらすための矢印および他のボタンを含む。

【0099】

図１５の右上には、解析される試料容器、この場合はマルチウェルプレートの概略図が示されている。ユーザは、容器の予め設定されたリストから容器を選択することによって、例えば、「容器」ボタン、次いで容器のメニューから選定された所望の容器をクリックすることによって、容器のタイプを選択し得る。代替的に、ユーザは、容器の特徴、例えば、ウェルのサイズ、ウェルの間隔などを指定する独自の容器プロファイルを作成することができる。

【0100】

また、「対物」ボタンが図１５に見られる。このボタンは、ユーザが所望の対物レンズを選択することを可能にし、対物レンズターレットを画像化装置内で回転するように動作し得る。

【0101】

「光源」ボタンもまた、示される。このボタンは、ユーザが所望の照明、例えば、照明の色および／または強度を選択することを可能にするように動作する。

【0102】

他の制御は、例えば、「光」（照明のさらなる制御を可能にする）、「オートフォーカス」（ｚドライブの制御を可能にする）、および「取り込み」（画像取り込みの制御を可能にする）を含む。

【0103】

図１５の上部において、２つのボタンが示され、１つは、４つの小さい正方形が共に一括化され、別の１つは、単一の正方形を示す。これらのボタンは、ユーザが比較的低倍率で取得された第１レベルの画像のビューとより高い倍率で取得された第２レベルの画像をトグルで切り替えることを可能にする。示されるように、図１５の図は、低レベルの倍率で取得された第１レベルの画像のビューである。より高いレベルの倍率で取得された第２レベルの画像のビューは、図１１に示される。

【0104】

その図に示されるように、９６ウェルプレートのうちの１つのウェルが、示される（ウェルＣ－４）。この図は、より高い倍率の画像が、より低い倍率の画像上に重ね合わされる図を提供する。図１１に示されていないが、より高い倍率の画像は、それらがタイル張りされてまたはそうでなければ共に縫合されて連続的な合成画像を形成するように、位置合わせされてもよい。

【0105】

図１６は、ユーザがインターフェース上の「自動化」タブを選択した後のユーザビューを提供する。示されるように、ユーザは、所与の動作に対する様々なパラメータ（ハードウェア、スキャンエリア、オートフォーカスおよびＺスタック、タイムラプス、インキュベータ、画像保存設定など）を選択してもよい。

【0106】

図１７は、図１６の「ハードウェア」機能のための「編集」ボタンの使用に続くビューを提供する。図１７に示されるように、ユーザは、様々なハードウェアパラメータを調整する機会を与えられ得る。

【0107】

図１８は、スキャンエリア選択タブのためのユーザオプションのビューを提供する。示されるように、ユーザは、スキャンエリアを編集／調整してもよく、また第２レベルの画像のサイズおよび形状を設定してもよい。ユーザはまた、第１レベルの画像ごとに、第２レベルの画像の数および位置を設定してもよく、この場合、ユーザは、ウェルの第１レベルの画像ごとに２つの長方形の第２レベルの画像を収集するようにシステムを設定している。

【0108】

図１９は、オートフォーカスタブのユーザオプションのビューを提供する。示されるように、ユーザは、様々な関連するパラメータを設定してもよい。システムは、共焦点顕微鏡を利用するように構成されてもよい。システムはまた、複数の画像（例えば、単一の画像のスライス）のいわゆる「スマッシュダウン」を実行し、次いで、例えば、各スライスからの最も明るい画素、各スライスからの最も焦点が合ったもの、および同様のものを使用する合成画像を生成するように構成されてもよい。

【0109】

図２０は、画像保存タブのユーザオプションのビューを提供する。示されるように、ユーザは、様々なフォーマットで画像を保存し得る。ユーザは、画像のセットを個々のファイルとして保存することができるが、また画像を、全ての画像がタイル状関係にあるファイルとして保存することもできる。

【図1】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21A】

【図21B】

【図21C】

【図21D】

【図22】

【図23】

【図24】

【図25】

【図26】