特許 6983916 マルチアーム構造化照明撮像

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6983916

(24)【登録日】2021年11月26日

(45)【発行日】2021年12月17日

(54)【発明の名称】マルチアーム構造化照明撮像

(51)【国際特許分類】

   G02B 21/06 20060101AFI20211206BHJP

   G01N 21/17 20060101ALI20211206BHJP

【ＦＩ】

   G02B21/06

   G01N21/17 A

【請求項の数】20

【全頁数】35

(21)【出願番号】特願2019-571668(P2019-571668)

(86)(22)【出願日】2019年1月14日

(65)【公表番号】特表2021-502582(P2021-502582A)

(43)【公表日】2021年1月28日

(86)【国際出願番号】US2019013480

(87)【国際公開番号】WO2019143556

(87)【国際公開日】20190725

【審査請求日】2020年5月12日

(31)【優先権主張番号】62/618,068

(32)【優先日】2018年1月16日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】514202402

【氏名又は名称】イラミーナ インコーポレーテッド

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100173794

【弁理士】

【氏名又は名称】色部 暁義

(72)【発明者】

【氏名】スタンリー エス ホン

【審査官】 森内 正明

(56)【参考文献】

【文献】 特表２０１５−５２７６１８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１０８８７３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１６／０１２４２０８（ＵＳ，Ａ１）

【文献】 特表２００４−５０６２３４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１９２３６５（ＵＳ，Ａ１）

【文献】 特許第５９１５７４８（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００ − ２１／０１

Ｇ０１Ｎ ２１／１７ − ２１／６１

Ｇ０２Ｂ ２１／００ − ２１／３６

(57)【特許請求の範囲】

【請求項1】

光を放つ第１発光体、及び前記第１発光体が放つ光を分割して、試料の面上に複数の第１フリンジを投射する第１ビームスプリッタを含む第１光学アームと、
光を放つ第２発光体、及び前記第２発光体が放つ光を分割して、前記試料の前記面上に複数の第２フリンジを投射する第２ビームスプリッタを含む第２光学アームと、
前記第１光学アーム及び前記第２光学アームの光路を結合する光学素子と、
を備え、
前記複数の第１フリンジ及び複数の第２フリンジの光路を結合する前記光学素子が、穴を含むミラーを備え、
前記ミラーは、前記第１透過回折格子が回折する光を反射するように配置され、
前記穴は、前記第２透過回折格子が回折する少なくとも１次の光を通過させるように配置される、構造化照明撮像システム。

【請求項2】

前記第１ビームスプリッタが第１透過回折格子を備え、前記第２ビームスプリッタが第２透過回折格子を備える、請求項１に記載の構造化照明撮像システム。

【請求項3】

前記第１発光体及び第２発光体が、無偏光光を放ち、
前記第１透過回折格子及び第２透過回折格子がそれぞれ、前記第１発光体及び第２発光体の一方が放つ無偏光光を回折することができる、請求項２に記載の構造化照明撮像システム。

【請求項4】

前記複数の第１フリンジ及び複数の第２フリンジを位相シフトする１つ以上の光学素子を更に備える、請求項１に記載の構造化照明撮像システム。

【請求項5】

ａ．前記複数の第１フリンジ及び複数の第２フリンジを位相シフトする前記１つ以上の光学素子は、前記複数の第１フリンジを位相シフトする第１光学回転窓と、前記複数の第２フリンジを位相シフトする第２光学回転窓とを備え、
ｂ．前記複数の第１フリンジ及び複数の第２フリンジを位相シフトする前記１つ以上の光学素子は、前記第１透過回折格子を平行移動させる第１直線移動ステージと、前記第２透過回折格子を平行移動させる第２直線移動ステージとを備え、又は、
ｃ．前記複数の第１フリンジ及び複数の第２フリンジを位相シフトする前記１つ以上の光学素子は、単一の光学回転窓を備え、前記単一の光学回転窓は、試料までの光路の、前記穴を含む前記ミラーの後ろに位置付けられる、請求項４に記載の構造化照明撮像システム。

【請求項6】

前記単一の光学回転窓の回転軸は格子のそれぞれの光軸から４２．７５〜４７．２５°だけオフセットされる、請求項５に記載の構造化照明撮像システム。

【請求項7】

前記複数の第１フリンジが、試料面上の前記複数の第２フリンジから８５．５〜９４．５°だけ角度オフセットされる、請求項４に記載の構造化照明撮像システム。

【請求項8】

前記試料が矩形状アレイ又は六角形上アレイに規則的にパターン化される複数の特徴を含む、請求項７に記載の構造化照明撮像システム。

【請求項9】

前記複数の第１フリンジ及び複数の第２フリンジのそれぞれを前記試料上に投射する対物レンズを更に備える、請求項４に記載の構造化照明撮像システム。

【請求項10】

前記第１透過回折格子及び前記第２透過回折格子のそれぞれが放つ０次の光を妨げる１つ以上の光学ビームブロッカを更に備え、任意に前記１つ以上の光学ビームブロッカがブラッググレーティングを備える、請求項４に記載の構造化照明撮像システム。

【請求項11】

前記第１光学アームの光路と前記第２光学アームの光路とを結合する前記光学素子が、偏光ビームスプリッタを備え、
前記第１透過回折格子は垂直方向に偏光される光を回折し、
前記第２透過回折格子は水平方向に偏光される光を回折する、請求項２に記載の構造化照明撮像システム。

【請求項12】

ａ．前記第１ビームスプリッタ及び第２ビームスプリッタがそれぞれ、スプリッタキューブ若しくはプレートを備え、又は
ｂ．前記第１ビームスプリッタが第１反射回折格子を備え、前記第２ビームスプリッタが第２反射回折格子を備える、
請求項１に記載の構造化照明撮像システム。

【請求項13】

構造化照明システムの第１光学アームをオンにするステップと、
試料の複数の第１位相画像を撮像するステップと、
前記構造化照明システムの第２光学アームをオンにするステップと、
複数の第２フリンジで照射される前記試料の複数の第２位相画像を撮像するステップと、
を含む方法であり、
前記第１光学アームは光を放つ第１発光体と、前記第１発光体が放つ光を回折して、特
定の方向を向く複数の第１フリンジを前記試料の面に投射する第１回折格子とを備え、
前記複数の第１位相画像を撮像する間に、前記複数の第１フリンジの位置が前記試料の前記面にシフトし、
前記第２光学アームは光を放つ第２発光体と、前記第２発光体が放つ光を回折して、前記複数の第２フリンジを前記試料の前記面に投射する第２回折格子とを備え、
前記複数の第２フリンジは、前記試料の前記面上の前記複数の第１フリンジから角度オフセットされ、
前記複数の第２位相画像を撮像する間に、前記複数の第２フリンジの位置が前記試料の前記面にシフトされ、
前記構造化照明システムは、穴を含み、前記第１回折格子が回折する光を反射し、前記第２回折格子が回折する少なくとも１次の光を通過させるミラーを備える、方法。

【請求項14】

前記第１回折格子及び第２回折格子は透過回折格子である、請求項１３に記載の方法。

【請求項15】

前記方法は、少なくとも撮像される前記複数の第１位相画像と撮像される前記複数の第２位相画像とを使用して、撮像される前記複数の第１位相画像及び撮像される前記複数の第２位相画像のそれぞれよりも高い解像度を有する１つ以上の画像を計算的に再構築するステップを更に含む、請求項１３又は１４に記載の方法。

【請求項16】

前記複数の第１フリンジは試料面上の前記複数の第２フリンジから８５．５〜９４．５度だけ角度オフセットされる、請求項１３〜１５の何れか一項に記載の方法。

【請求項17】

前記試料は矩形状アレイ又は六角形上アレイに規則的にパターン化される複数の特徴を含む、請求項１３〜１６の何れか一項に記載の方法。

【請求項18】

前記複数の第１フリンジ及び複数の第２フリンジは、前記試料と前記第１回折格子及び第２回折格子のそれぞれとの間の光路に位置付けられる単一の光学窓を回転することによって位相シフトされ、
回転する前記単一の光学窓の回転軸は、前記第１回折格子及び第２回折格子のそれぞれの光軸からオフセットされる、請求項１３に記載の方法。

【請求項19】

前記複数の第１位相画像を撮像した後に、前記構造化照明システムの、前記第１光学アームをオフにし、前記第２光学アームをオンにする、請求項１３に記載の方法。

【請求項20】

前記第１回折格子及び前記第２回折格子は、画像を撮像する間、機械的に固定される、請求項１４〜１７の何れか一項に記載の方法。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は2018年1月16日出願の米国仮特許出願第62/618,068号であり、「マルチアーム構造化照明撮像」と題する優先権を主張するものである。上記出願の全内容を引用により本明細書に組み込む。

【背景技術】

【0002】

構造化照明顕微鏡法(SIM)は、空間的に構造化された(すなわち、パターン化された)光を用いて試料を撮像し、顕微鏡の横方向分解能を2倍以上増大できる技術を表現する。ある例では、試料の撮像中に、試料の干渉縞パターンの3つの画像が種々のパターン位相(例えば、0°、120°及び240°)で取得され、その結果、試料上の各箇所は一定範囲の照度に曝され、その行為はパターンの向きを光軸を中心に3つの別々の角度(例えば、0°、60°及び120°)に回転させることによって繰り返される。取り込まれた画像(例えば、9つの画像)は拡張された空間周波数帯域幅を有する単一の画像に組み立てられてもよく、これは実空間に再変換されて、従来の顕微鏡によって取り込まれたものよりも高い分解能を有する画像を生成してもよい。

【0003】

現在のSIMシステムの幾つかの実施形態では、直線偏光ビームが、撮像される試料上で、結み合わされ、正弦波強度変動を有する干渉縞模様として投影され得る2つ以上の別々の次数にビームを分割する光ビームスプリッタを通って方向付けられる。回折格子は、高いコヒーレンス度と安定した伝搬角度を持つビームを生成できるビームスプリッタの例である。このような2つのビームを組み合わせるときに、それらの間の干渉は、均一で規則的に繰り返される縞模様を作り出すことができ、そこでは、間隔は干渉ビーム間の角度を含む要因によって決定される。3つ以上のビームが結合される場合、結果として生じるパターンは典型的には縞間隔の混合を含み、その結果、最大強度と最小強度との間の差(「変調度」としても知られる)が低減され、SIMの目的にはあまり適さなくなる。

【0004】

現在のSIMシステムの幾つかの実施形態では、投影パターンの向きが光軸を中心にビーム分割素子を回転させることによって制御され、パターンの位相は素子を横方向に軸を越えて移動させることによって調整される。このようなシステムでは、回折格子が通常、平行移動ステージに取り付けられ、次いで、回転ステージに取り付けられる。加えて、このようなシステムはしばしば直線偏光子を利用して、光源によって放射された光を、回折格子で受光される前に偏光させる。

【発明の概要】

【課題を解決するための手段】

【0005】

本明細書に開示される実施形態は、構造化照明システム及び方法を対象とする。

【0006】

実施形態の第1のセットでは、SIM撮像システムがマルチアームSIM撮像システムとして実装されてもよく、システムの各アームはシステムの光軸に対して特定の固定向きを有する発光体およびビームスプリッタ(例えば、透過回折格子)を含む。

【0007】

マルチアームSIM撮像システムの一実施形態では、システムは、光を放つ第１発光体、及び第１発光体が放つ光を分割して、試料の面上に複数の第１フリンジを投射する第１ビームスプリッタを含む第１光学アームと、光を放つ第２発光体、及び第２発光体が放つ光を分割して、試料の面上に複数の第２フリンジを投射する第２ビームスプリッタを含む第２光学アームと、を含む。この実施形態において、システムはまた、第1アームと第2アームの光路を結合する光学素子を含んでもよい。加えて、システムは、試料によって放射された光を収集するためのイメージセンサを含んでもよい。いくつかの実施態様では、試料は矩形状アレイまたは六角形状アレイに規則的にパターン化された複数の特徴を含むことができる。

【0008】

幾つかの実施形態では、第１ビームスプリッタが第１透過回折格子を含み、第２ビームスプリッタが第２透過回折格子を含む。幾つかの実施形態では第1ビームスプリッタは第1反射回折格子を含み、第2ビームスプリッタは第2反射回折格子を含む。いくつかの実施態様では、第1および第2ビームスプリッタはそれぞれ、ビームスプリッタキューブまたはプレートを含む。

【0009】

幾つかの実施形態では、第１発光体及び第２発光体が、無偏光光を放ち、第１透過回折格子及び第２透過回折格子がそれぞれ、第１発光体及び第２発光体の一方が放つ無偏光光を回折することができる。

【0010】

幾つかの実施形態では、複数の第１フリンジ及び複数の第２フリンジの光路を結合する光学素子が、穴を含むミラーを含み、ミラーは、第１透過回折格子が回折する光を反射するように配置され、穴は、第２透過回折格子が回折する少なくとも１次の光を通過させるように配置される。幾つかの実施形態では、第1アーム及び第2アームの光路を結合する光学素子が偏光ビームスプリッタを含み、ここで第1回折格子は垂直偏光を回折し、第2回折格子は水平偏光を回折する。

【0011】

幾つかの実施形態では、マルチアームSIM撮像システムは、複数の第１フリンジ及び複数の第２フリンジを位相シフトする１つ以上の光学素子を備える。

【0012】

幾つかの実施形態では、複数の第１フリンジ及び複数の第２フリンジを位相シフトする１つ以上の光学素子は、複数の第１フリンジを位相シフトする第１光学回転窓と、複数の第２フリンジを位相シフトする第２光学回転窓とを含む。幾つかの実施形態では、複数の第１フリンジ及び複数の第２フリンジを位相シフトする１つ以上の光学素子は、第１透過回折格子を平行移動させる第１直線移動ステージと、第２透過回折格子を平行移動させる第２直線移動ステージとを含む。幾つかの実施形態では、複数の第１フリンジ及び複数の第２フリンジを位相シフトする１つ以上の光学素子は、単一の光学回転窓を含み、ここで単一の光学回転窓は、試料までの光路の、穴を含むミラーの後ろに位置付けられる。

【0013】

幾つかの実施形態では、単一の光学回転窓の回転軸は、格子のそれぞれの光軸から約４５°だけオフセットされる。

【0014】

幾つかの実施形態では、複数の第１フリンジが、試料面上の複数の第２フリンジから約９０°だけ角度オフセットされる。

【0015】

幾つかの実施形態では、システムは、複数の第１フリンジ及び複数の第２フリンジのそれぞれを試料上に投射する対物レンズを更に含む。

【0016】

幾つかの実施形態では、システムは、第１透過回折格子及び第２透過回折格子のそれぞれが放つ０次の光を妨げる１つ以上の光学ビームブロッカを更に含む。特定の実施形態では、１つ以上の光学ビームブロッカがブラッググレーティングを含む。

【0017】

マルチアームSIM撮像システムの一実施形態において、方法は、構造化照明システムの第１光学アームをオンにするステップと、試料の複数の第１位相画像を撮像するステップと、構造化照明システムの第２光学アームをオンにするステップと、複数の第２フリンジで照射される試料の複数の第２位相画像を撮像するステップと、を含み、第１光学アームは光を放つ第１発光体と、第１発光体が放つ光を回折して、特定の方向を向く複数の第１フリンジを試料の面に投射する第１回折格子とを備え、ここで複数の第１位相画像を撮像する間に、複数の第１フリンジの位置が試料の面にシフトし、第２光学アームは光を放つ第２発光体と、第２発光体が放つ光を回折して、複数の第２フリンジを試料の面に投射する第２回折格子とを備え、ここで、複数の第２フリンジは、試料の面上の複数の第１フリンジから角度オフセットされ、複数の第２フリンジを撮像する間に、複数の第２フリンジの位置が試料の面にシフトされる。この方法の実施形態では、第１回折格子及び第２回折格子は透過回折格子であり、ここで構造化照明システムは、穴を含むミラーを含み、ミラーは、第１回折格子が回折する光を反射し、第２回折格子が回折する少なくとも１次の光を通過させる。

【0018】

幾つかの実施形態では、方法は、少なくとも撮像される複数の第１位相画像と撮像される複数の第２位相画像とを使用して、撮像される複数の第１位相画像及び撮像される複数の第２位相画像のそれぞれよりも高い解像度を有する１つ以上の画像を計算的に再構築するステップを更に含む。幾つかの実施形態では、複数の第１フリンジは、試料面上の複数の第２フリンジから約９０度だけ角度オフセットされる。

【0019】

幾つかの実施形態では、複数の第１フリンジ及び複数の第２フリンジは、試料と第１回折格子及び第２回折格子のそれぞれとの間の光路に位置付けられる単一の光学窓を回転することによって位相シフトされ、ここで回転する単一の光学窓の回転軸は、第１回折格子及び第２回折格子のそれぞれの光軸からオフセットされる。

【0020】

幾つかの実施形態では、複数の第１位相画像を撮像した後に、構造化照明システムの第１光学アームをオフにし、第２光学アームをオンにする。

【0021】

方法の実施形態では、第１回折格子及び第２回折格子は、画像を撮像する間、機械的に固定される。

【0022】

第2のセットの実施態様では、SIM撮像システムはマルチビームスプリッタスライドSIM撮像システムとして実施することができ、1つの直線運動ステージにはシステムの光軸に対して対応する固定配向を有する複数ビームスプリッタが取り付けられる。

【0023】

マルチビームスプリッタスライドSIM撮像システムの一実施形態では、システムは、光を放つ第１発光体と、第１ビームスプリッタ及び第２ビームスプリッタに取り付けられる直線運動ステージと、試料が放つ光を収集するイメージセンサと、を含み、ここで第１ビームスプリッタは、発光体が放つ光を分割して、試料の面上に複数の第１フリンジを投射することができ、第２ビームスプリッタは、発光体が放つ光を分割して、試料の面上に複数の第２フリンジを投射することができる。実装において、直線運動ステージは1次元直線運動ステージであり、ここで直線運動ステージは1次元に沿って平行移動して、第1ビームスプリッタ及び第2ビームスプリッタの各々を発光体に光学的に結合し、ここで、第1ビームスプリッタは1次元に沿って第2ビームスプリッタに隣接している。実施態様では、第1の複数の縞が試料平面上の第2の複数の縞から約90度だけ角度的にオフセットされる。

【0024】

実施形態では、第1のビームスプリッタが第1の透過回折格子を含み、第2のビームスプリッタは第2の透過回折格子を含む。第1の回折格子及び第2の回折格子は1次元から角度的にオフセットされていてもよい(すなわち、光の伝搬方向を中心に回転される)。特定の実装形態では、第1の回折格子及び第2の回折格子が1次元から約±45度だけ角度的にオフセットされている。

【0025】

幾つかの実施形態では、第1の回折格子及び第2の回折格子は直線運動ステージ上に取り付けられた単一の光学素子に一体化することができる。回折格子が単一の光学素子に一体化される実装では、単一の光学素子が第1の回折格子でパターン化された第1の側面と、第2の回折格子でパターン化された第1の側面に隣接する第2の側面とを含んでもよい。

【0026】

いくつかの実施態様では、システムが第1および第2の回折格子のそれぞれによって放出される光の０次数をブロックするための1つ以上の光学ビームブロッカをさらに含むことができる。

【0027】

いくつかの実施態様では、システムが直線運動ステージと対物レンズとの間の光路内に投影レンズをさらに含むことができる。投影レンズは、第1回折格子及び第2回折のそれぞれのフーリエ変換を対物レンズの入射瞳に投影するものであってもよい。

【0028】

幾つかの実施形態では、システムが直線運動ステージ上に取り付けられた構成要素上に形成されたアライメントパターンを更に含んでもよく、アライメントパターンはイメージングアライメントのため、試料の平面上にパターンを投影するために、発光体によって放射された光を分割する。アライメントパターンは、第1回折格子及び第2回折格子の少なくとも一方を含む基板上に形成することができる。投影パターンは、投影された第1の複数の縞及び第2の複数の縞よりも低い周波数を有するラインを含み得る。

【0029】

幾つかの実施形態では、システムが、試料の平面に投影される第1の複数の縞と第2の複数の縞とを位相シフトさせるための光位相変調器を更に含むことができる。そのような実装において、光学位相変調器は、直線運動ステージとは別個の構成要素であってもよい。

【0030】

多重ビームスプリッタスライドSIM撮像システムの1つの実施において、方法は、構造化照明撮像システムの発光体をオンにするステップであって、構造化照明撮像システムは第1の回折格子及び第2の回折格子が取り付けられた一次元直線運動ステージを含み、ここで直線運動ステージは一次元に沿って平行移動することができる、ステップと、一次元に沿って直線運動ステージを平行移動させて、第1の回折格子によって試料上に投影された第1の複数の縞を位相シフトさせるステップと、直線運動ステージを平行移動させて第2の回折格子を発光体に光学的に結合させるステップと、第2の回折格子を発光体に光学的に結合させた後、直線運動ステージを一次元に沿って該直線運動段階を平行移動させて、第2の回折格子によって試料上に投影された第2の複数の縞を位相シフトさせるステップと、を含んでいる。第1の回折格子及び第2の回折格子は、透過型回折格子であってもよく、平行移動の1次元から角度的にオフセットされていてもよい。例えば、第1の回折格子及び第2の回折格子は、1次元から約±45度だけ角度的にオフセットされていてもよい。

【0031】

実装において、本方法は、直線運動ステージを1次元に沿って複数回平行移動させて、第1の回折格子によって試料上に投影された第1の複数の縞を複数回位相シフトするステップと、第1の回折格子によって試料上に投影される第1の複数の干渉縞と、第2の回折格子を発光体に光学的に結合した後、1次元に沿って直線運動ステージを複数回平行移動させて、第2の回折格子によって試料上に投影された第2の複数の縞を複数回位相シフトするステップとを更に含むことができる。

【0032】

実装において、本方法は、直線運動ステージを平行移動させて第1の複数の縞を位相シフトするために平行移動される毎に、その後試料の画像を捕捉するステップと、直線運動ステージを平行移動させて第2の複数の縞を位相シフトするために平行移動される毎に、その後試料の画像を捕捉するステップと、をさらに含むことができる。捕捉された画像は、捕捉された画像の各々よりも高い分解能を有する画像を計算的に再構成するために使用されてもよい。

【0033】

本方法の実装では、直線運動ステージが、第1の複数の縞又は第2の複数の縞が試料上で位相シフトされる毎に、1次元に沿ってほぼ同じ距離だけ平行移動される。

【0034】

特定の実装においては、第2の回折格子が発光体に光学的に結合されているときに、直線運動ステージが約10mmから15mmの間で平行移動される。

【0035】

実施の第3のセットでは、SIM撮像システムがパターン角度空間選択SIM撮像システムとして実施されてもよく、それによって、固定された2次元回折格子が空間フィルタホイールと組み合わせて使用されて、試料上に1次元フリンジパターンを投影する。

【0036】

パターン角度空間選択SIM撮像システムの1つの実施において、システムは、光を放射する発光体と、第1の方向に配向された第1の複数の縞を試料面に投影し、第1の方向に垂直な第2の方向に配向された第2の複数の縞を試料面上に投影するように、発光体によって放射される光を回折する2次元回折格子と、第1又は第2の方向のそれぞれの1つにおいて2次元回折格子から受光された回折光を通過させ、第1又は第2の方向のそれぞれの1つにおいて光を遮断し、第1の複数の開口及び第1の複数の開口に直交する第2の複数の開口とを備える空間フィルタホイールと、を含む。第1の複数の開口は第1の方向に2次元回折によって回折された光を通過させ、第2の複数の開口は第2の方向に2次元回折によって回折された光を通過させることができる。

【0037】

いくつかの実施態様では、システムが2次元回折格子によって透過される0次光を遮断するビーム遮断要素をさらに含む。特定の実施形態では、ビーム遮断素子は、素子に垂直な光を反射し、他の角度の光を通過させるようにパターニングされた回折光学素子を含む。

【0038】

幾つかの実施形態では、空間フィルタホイールが、通過されない、二次元回折格子から受け取る光の回折次数を反射できる。

【0039】

いくつかの実施態様では、2次元回折格子は透過型回折格子である。透過型回折格子は発光体から光を受け取る固体光学系の面上に配置されてもよいし、またはその面上に形成されてもよい。透過型回折格子の分散角度は、固体光学系の遠方側で0次光が遮断されるように配置されてもよい。幾つかの実施形態では、固体光学系が、2次元透過回折格子によって回折された光の1次を回折して出力するように角度を付けられた面を含む。特定の実施形態では、角度を付けられた面が集束レンズを含む。いくつかの実施態様では、投影レンズが固体光学系によって出力された光を受け取る。

【0040】

幾つかの実施形態では、２次元回折格子は２次元反射回折格子である。２次元反射回折格子は発光体から光を受け取る固体光学系の開口部とは反対側の固体光学系の面上に配置されてもよいし、またはその面上に形成されてもよい。固体光学系は固体光学系の出口面を通って2次元反射回折格子によって回折された光の1次を反射および出力するために、反射性の内部面を含んでもよい。特定の実装では、出口面が回折集束レンズを含む。いくつかの実施態様では、投影レンズは固体光学系によって出力された光を受け取ることができる。

【0041】

いくつかの実施態様では、システムが第1の複数の縞および第2の複数の縞を位相シフトするための1つ以上の光学素子をさらに含む。特定の実装では、第1の複数の縞および第2の複数の縞を位相シフトするための1つ以上の光学素子が2つの垂直方向に傾斜した平行板光学系を備える。

【0042】

パターン角度空間選択SIM撮像システムの1つの実施において、方法は、2次元回折格子を含む構造化照明撮像システムの発光体をオンにするステップと、第1の方向に配向された第1の回折光および第1の方向に垂直な第2の方向に配向された第2の回折光を出力するために、発光体によって放射された光を2次元回折格子で受光するステップと、空間フィルタホイールの第1の複数の開口を通過させ、空間フィルタホイールで第2の回折光を阻止するステップと、第1の複数の穴を通過する第1の回折光を試料面上に第1の複数の縞として投射するステップと、試料によって放射された光の第1の複数の位相画像を捕捉するステップと、を含み、第1の複数の画像の捕捉中に、第1の複数の縞が試料平面上で位相シフトされる。第1の複数の干渉縞は試料を移動させることによって(例えば、運動ステージを使用して)、投影された干渉縞を移動させることによって、または試料および投影された干渉縞の両方を移動させることによって、位相シフトされてもよい。

【0043】

実装において、本方法は、第2の回折光に空間フィルタホイールの第2の複数の開口を通過させ、第1の回折光を空間フィルタホイールで遮るように空間フィルタホイールを回転させるステップと、第2の複数の穴を通過する第2の回折光を、第1の複数の縞に直交する第2の複数の縞として試料面上に投影するステップと、試料によって放射された光の第2の複数の位相画像を捕捉するステップと、をさらに含み、第2の複数の画像の捕捉中、第2の複数の縞は試料面上で位相シフトされる。

【0044】

本方法の特定の実装形態では、2次元回折格子が、固体光学系の面上に形成されるか、又はその面上に配置される2次元透過回折格子であり、本方法は透過回折格子と反対側の固体光学系の側において、透過回折格子によって出力される0次光を阻止するステップと、固体光学系の斜面から、2次元透過回折格子によって回折される光の1次の光を回折して出力するステップと、を更に含む。

【0045】

本方法の特定の実施態様では、2次元回折格子が、発光体から光を受け取る固体光学系の開口とは反対側の固体光学系の面上に形成された、またはその面上に配置された2次元反射回折格子であり、本方法は、固体光学系の面で、2次元反射回折格子によって回折された光の1次を反射するステップをさらに含む。

【0046】

開示された技術の他の特徴および態様は、開示された技術の本明細書で説明されたいくつかの実施形態による特徴を例として示す添付の図面と併せて解釈される、以下の詳細な説明から明らかになるであろう。この概要は、特許請求の範囲及び均等物によって定められる、本明細書に記載される任意の発明の範囲を限定することを意図しない。

【0047】

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開示の末尾にある特許請求の範囲の主題のすべての組み合わせは、本明細書に開示される本発明の主題の一部であると考えられる。

【0048】

本開示は、1つ以上の実施形態に従って、以下の図面を参照して詳細に説明される。図面は、説明のみを目的として提供され、単に説明的な実装を示す。さらに、図を明確にし、説明を容易にするために、図中の要素は必ずしも一定の縮尺で描かれていないことに留意されたい。

【図面の簡単な説明】

【0049】

【図1】本明細書に記載されるいくつかの実装に従って、空間的に構造化された光で試料を照明する構造化照明撮像システムを図示する。

【図2】本明細書で説明されるいくつかの実施形態による、2アーム構造化照明顕微鏡(SIM)撮像システムの1つの例示的な光学構成を示す光学図である。

【図3】本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システムの別の例示的な光学構成を示す光学図である。

【図4】本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システムの別の例示的な光学構成を示す光学図である。

【図5】本明細書で説明されるいくつかの実施形態による、構造化光を使用して高解像度画像を生成するために、1つの撮像サイクル中にマルチアームSIM撮像システムによって実行され得る例示的な方法を示す動作フロー図である。

【図6】本明細書に記載されるいくつかの実装に従って、画像捕捉中に、2アームSIM撮像システムの垂直格子および水平格子によって、試料の平面上に投影され得る単純化された照明フリンジパターンを図示する。

【図7】本明細書に記載されるいくつかの実装に従って、偏光ビームスプリッタを使用して、垂直偏光を有する垂直格子と、水平偏光を有する水平格子とを照射する、2アームSIM撮像システムの一例の実験設計を示す。

【図8A】20x/0.75 NA顕微鏡を使用して、図7の例示的なSIM撮像システムを使用して取り込まれた無限焦点鏡像および蛍光スライドを示す。

【図8B】ビーズ付きフローセルを備えた図7のシステムを使用して取得された縞変調測定を示す図である。グラフは、図7の平行プレートW2の角度が変更されるときの、この例における位相調整サイクル中の典型的な特徴画像強度の変化を示す。

【図9】本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システムの別の例示的な光学構成を示す。

【図10A】本明細書に記載されるいくつかの実施形態による、第1の回折格子位置におけるデュアル光学格子スライドSIM撮像システムの一例の光学構成を示す模式図である。

【図10B】本明細書に記載されるいくつかの実施形態による、第2の回折格子位置における図10Aのデュアル光学格子スライドSIM撮像システムの一例の光学構成を示す模式図である。

【図11】本明細書に記載されるいくつかの実装に従って、構造化された光を使用して高解像度画像を生成するために、1つの撮像サイクルの間に複数の光学格子スライドSIM撮像システムによって実施され得る一例の方法を示す動作フロー図である。

【図12】本明細書に記載されるいくつかの実装に従って、画像撮像中にデュアル光学格子スライドSIM撮像システムの第1の回折格子および第2の回折格子によって試料の平面上に投影され得る単純化された照明フリンジパターンを示す図である。

【図13】本明細書で説明されるいくつかの実施形態による、例示的なデュアル光学格子スライドSIM撮像構成を示す図である。

【図14】本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システムの例示的な光学構成を示す模式図である。

【図15】本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システムの別の例示的な光学構成を示す模式図である。

【図16】本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システムの別の例示的な光学構成を示す模式図である。

【図17】多重光学格子スライドSIM撮像システムのいくつかの実施形態で使用され得るアライメントパターンの一例を示す。

【図18】本明細書で説明されるいくつかの実施形態による、SIM撮像システムのイメージセンサアセンブリ上に形成され得る試料を示す。

【図19】本明細書で説明されるいくつかの実施形態による、例示的なデュアル光学格子スライドSIM撮像システムのいくつかの構成要素を示す。

【発明を実施するための形態】

【0050】

本開示に含まれる図面のいくつかは、異なる視角からの開示された技術の様々な実装を示す。添付の説明テキストは「上面」、「底面」、または「側面」図などの図に言及することができるが、そのような言及は単に説明的なものであり、特に断りのない限り、開示された技術が特定の空間的配向で実施または使用されることを暗示または要求するものではない。

【0051】

図面は、網羅的ではなく、開示された厳密な形態に本開示を限定するものではない。

【0052】

本明細書において回折格子によって回折された光を指すように使用される場合、「次」または「次数」という用語は、強め合う干渉のための隣接するスリットまたは回折格子の構造からの光の経路長差を表す波長の整数を意味することを意図している。一連の格子構造または他のビーム分割構造の繰り返し上の入射光線の相互作用が、光線の一部を元のビームから予測可能な角度方向に向け直しまたは回折させることができる。「0次」または「0次最大」という用語は、回折がない回折格子によって放出された中央の明るい縞を指すことを意図している。「1次」という用語は、0次縞のいずれかの側に回折された2つの明るい縞を指すことを意図しており、経路長差は±1波長である。より高い次数は、元のビームからより大きな角度に回折される。回折格子の特性を操作して、ビーム強度のどれだけを様々な次数に向けるかを制御することができる。例えば、±1次の透過を最大化し、ゼロ次ビームの透過を最小化するために、位相格子を製造することができる。

【0053】

試料を参照するために本明細書で使用されるときに、用語「特徴」は、相対位置に従って他の点または領域から区別され得るパターン内の点または領域を意味することが意図される。個々の特徴は、特定の型の1つ以上の分子を含み得る。例えば、特徴は、特定の同一配列を有する単一の標的核酸分子を含み得るか、または特徴は同じ配列(および/またはその相補的配列)を有するいくつかの核酸分子を含み得る。

【0054】

本明細書で使用される用語「xy平面」は、デカルト座標系における直線軸xおよびyによって定義される2次元領域を意味することを意図している。検出器および検出器によって観察される物体に関して使用される場合、領域は、ビーム軸、または検出器と検出される物体との間の観察方向に直交するものとしてさらに特定され得る。

【0055】

本明細書で使用されるとき、用語「z座標」は、xy平面に直交する軸に沿った点、線、または領域の位置を特定する情報を意味することが意図される。特定の実施形態では、z軸が検出器によって観察される物体の領域に直交する。例えば、光学系に対するフォーカスの方向は、z軸に沿って指定されてもよい。

【0056】

本明細書で使用されるように、用語「光学的に結合される」は、別の要素に直接的または間接的に光を与えるように適合される1つの要素を指すことが意図される。

【0057】

上述のように、SIMシステムの既存の実装は並進ステージ上に回折格子を搭載し、並進段階は、回転ステージ上に搭載される。加えて、このようなシステムは、光源を、回折格子で受光される前に、偏光させるために直線偏光子を利用することが多い。この既存の設計は、ハイスループット顕微鏡システムで使用するための多くの欠点を有する。第1に、回転ステージは画像セットの取得中に回折格子を数回回転させなければならないため(例えば、3回)、これは、装置の速度を遅くし、その安定性に影響を及ぼす。典型的には、最も速い格子ステージは数十ミリ秒(ms)のオーダー回転することができ、これは撮像速度に機械的スループット制限を課す。第2に、既存の設計は、回転ステージの機械的許容誤差が構造化照明パターンの反復性を、1つの画像取得セットから次の画像取得セットへと制限するため、反復性が悪い。このことはまた、SIMシステムが非常に精密な回転ステージを必要とするので、SIMシステムにより高いコストを課す。

【0058】

第3に、既存のSIM設計は、格子を回転させるために行われる作動の数のために、ハイスループット顕微鏡システムでの使用に対して最も信頼性が高いものではない。例えば、1つのSIM画像セットが毎秒取得される場合、回転ステージは、毎年数百万から数千万の作動を必要とすることがある。第4に、既存のSIM設計は、直線偏光子が回折格子で受光される光の少なくとも50%をブロックするので、光学効率が低い。

【0059】

この目的のために、本明細書で開示される技術の実施形態は、改善されたSIMシステムおよび方法を対象とする。

【0060】

本明細書に開示される技術の第1の組の実施形態に従って、SIM撮像システムは、マルチアームSIM撮像システムとして実装されてもよく、それによって、システムの各アームはシステムの光軸に対して特定の固定向きを有する発光体およびビームスプリッタ(例えば、透過回折格子)を含む。これらの実施形態に従って、SIM撮像システム内のビームスプリッタは回転可能に固定され(すなわち、機械的回転を必要としない)、このことは、改善されたシステム速度、信頼性、および再現性を提供し得る。撮像される物体が主に2つの垂直軸(すなわち、垂直及び水平)に沿って配向されるシステムに対しては、ランダムに配向される物体に対して通常用いられる3つの角度の代わりに、2つのパターン角度を用いて強化された空間分解能を達成することが可能である。特定の実施形態では、システムは、固定垂直回折格子および固定水平回折格子を含む2アームSIM撮像システムとして実装され、撮像された試料上にそれぞれの縞模様を投影することができる。他の対の直交格子及びパターン角度を使用することができ、ただし、それらがサンプルオブジェクトの方位と整列していることを条件とする。加えて、システムは、2つのアームを無損失の方法で光路に結合するために、穴を有するミラーを含んでもよい。

【0061】

本明細書に開示される技術の第2のセットの実施形態に従って、SIM撮像システムは、複数のビームスプリッタスライドSIM撮像システムとして実装されてもよく、1つの直線運動ステージは、システムの光軸に対して対応する固定配向を有する複数のビームスプリッタ(例えば、回折格子)とともに取り付けられる。特定の実施形態において、SIM撮像システムはデュアル光学回折格子スライドSIM撮像システムとして実装されてもよく、それによって、撮像された試料上に投影される回折格子パターンの全ての位相シフト又は回転は、単一の運動軸に沿って運動ステージを直線的に平行移動させることによって、2つの回折格子のうちの1つを選択すること、又は選択された回折格子によって生成されるパターンの位相シフトを行うことによって、作製されてもよい。そのような実施形態では、単一のエミッタおよび単一の直線運動ステージを有する単一の光学アームのみが、試料を照射するために必要であり、このことは速度、複雑性およびコストを改善するために、可動システム部品の数を減らすなどのシステム利点を提供し得る。さらに、そのような実施形態では、偏光子がないことで高い光学効率という利点を提供することができる。

【0062】

本明細書に開示される技術の第3の組の実施形態に従って、SIM撮像システムは、パターン角度空間選択SIM撮像システムとして実装されてもよく、それによって、固定された2次元回折格子が空間フィルタホイールと組み合わせて使用されて、試料上に1次元回折パターンを投影する。そのような実施形態では、撮像システムの主要光学部品が静止したままであってもよく、これにより光学システム(および照明パターン)の安定性を改善し、システムの可動要素の重量、振動出力、およびコストを最小化し得る。

【0063】

本明細書で開示されるシステムおよび方法の様々な実装を説明する前に、本明細書で開示される技術を実装することができる例示的な環境を説明することが有用である。そのような例示的環境の1つは、空間的に構造化された光で試料を照らす、図1に示される構造化照明撮像システム100の環境である。例えば、システム100は、生物学的サンプルを撮像するために空間的に構造化された励起光を利用する構造化照明蛍光顕微鏡システムであってもよい。

【0064】

図1の例では、発光体150がコリメーションレンズ151によってコリメートされた光線を出力するように構成されている。コリメートされた光は、光構造化光学アセンブリ155によって構造化(パターン化)され、対物レンズ142を通ってダイクロイックミラー160によって試料容器110の試料上に導かれ、この試料容器は運動ステージ170上に位置決めされる。蛍光試料の場合、試料は構造化された励起光に応答して蛍光を発し、得られた光は、対物レンズ142によって収集され、カメラシステム140のイメージセンサに導かれて、蛍光を検出する。

【0065】

以下にさらに記載される種々の実装における光構造化光学アセンブリ155は、試料容器110の試料上に投射される光のパターン(例えば、フリンジ、典型的には正弦波)を生成するために、1つ以上の光回折格子または他のビーム分割要素(例えば、ビームスプリッタキューブまたはプレート)を含む。回折格子は、一次元又は二次元の透過性格子又は反射格子とすることができる。回折格子は、正弦波振幅格子又は正弦波位相格子とすることができる。

【0066】

特定の実装を参照して以下にさらに説明するように、システム100では、回折格子が上述した既存のシステムの典型的な構造化照明顕微鏡システムのような回転ステージを必要としない。いくつかの実施態様では、回折格子が撮像システムの動作中に固定されてもよい(すなわち、回転運動または直線運動を必要としない)。例えば、以下にさらに説明する特定の実装において、回折格子は互いに垂直に配向した2つの固定された１次元透過回折格子(例えば、水平回折格子及び垂直回折格子)を含むことができる。

【0067】

図1の例に図示されるように、光構造化光学アセンブリ155は、0次を含む他のすべての次数を阻止または最小化しながら、1次の回折光線（例えば ｍ ＝ ±1次)を出力する。しかしながら、代替実装態様では、追加の次数の光を試料上に投影することができる。

【0068】

各撮像サイクルの間、撮像システム100は光構造化光学アセンブリ155を利用して、種々の位相で複数の画像を取得し、縞模様は変調方向に(例えば、x-y平面内で、かつフリンジに垂直に)横方向に変位し、この手順は光軸を中心に(すなわち、試料のx-y平面に対して)パターン配向を回転することによって、1回以上繰り返される。次いで、捕捉された画像はより高い解像度の画像(例えば、個々の画像の横方向の空間解像度の約2倍を有する画像)を生成するために、計算によって再構成されてもよい。

【0069】

システム100では、発光体150がインコヒーレント発光体(例えば、1つ以上の励起ダイオードによって出力される光線を放出する)、または1つ以上のレーザまたはレーザダイオードによって出力される光の発光体などのコヒーレント発光体であってもよい。システム100の例に図示されるように、発光体150は、出力される光線を導くための光ファイバ152を含む。しかしながら、発光体150の他の構成を使用してもよい。マルチチャネル撮像システムにおける構造化照明を利用する実装(例えば、光の複数の波長を利用するマルチチャネル蛍光顕微鏡)では、光ファイバ152が複数の異なる光源(図示せず)に光学的に結合することができ、各光源は異なる波長の光を発光する。システム100は単一の発光体150を有するものとして示されているが、いくつかの実施態様では複数の発光体150を含むことができる。例えば、複数の発光体が、更に後述する、複数のアームを利用する構造化照明撮像システムの場合に含まれてもよい。

【0070】

いくつかの実施形態では、システム100が構造化ビーム形状および経路を調整するためにz軸に沿って関節運動するレンズ要素を含むことができる投影レンズ156を含むことができる。例えば、投影レンズの構成要素は、容器110内の試料のある範囲の試料厚さ(例えば、異なるカバーガラス厚さ)を考慮するために関節運動されてもよい。

【0071】

システム100の例では、流体送達モジュールまたは装置190が試薬(例えば、蛍光標識されたヌクレオチド、緩衝液、酵素、切断試薬など)の流れを、試料容器110および廃棄バルブ120に(およびそれを通して)導き得る。試料容器110は、その上に試料が提供される1つ以上の基板を含むことができる。例えば、その上に多数の異なる核酸配列を分析するためのシステムの場合、試料容器110は、配列決定される核酸が結合し、付着し、又は関連付けられる1つ以上の基板を含み得る。基板は例えば、ガラス表面、プラスチック表面、ラテックス、デキストラン、ポリスチレン表面、ポリプロピレン表面、ポリアクリルアミドゲル、金表面、およびシリコンウェーハなど、核酸を付着させることができる任意の不活性基板またはマトリックスを含むことができる。いくつかの用途では、基板が試料容器110にわたるマトリックス又はアレイに形成される複数個所のチャネル又は他の区域内にある。システム100はまた、試料容器110内の流体の状態の温度を任意に調節することができる温度ステーションアクチュエータ130およびヒーター/クーラー135を含むことができる。

【0072】

特定の実装では試料容器110は、半透明カバープレート、基板、およびそれらの間に含まれる液体を含むパターンフローセルとして実施することができ、生物学的試料は半透明カバープレートの内面または基板の内面に配置することができる。フローセルは定められたアレイ(例えば、六角形アレイ、矩形アレイなど)にパターニングされた多数(例えば、数千、数百万、または数十億)のウェルまたは領域を基材に含んでもよい。各領域は例えば、合成による配列決定を使用して配列決定され得る、DNA、RNA、または別のゲノム物質のような生物学的試料のクラスター(例えば、モノクローナルクラスター)を形成し得る。フローセルはさらに、多数の離間したレーン(例えば、8つのレーン)に分割されてもよく、各レーンは、クラスタの六角形のアレイを含む。本明細書中に開示される実施態様において使用され得る例示的なフローセルは、米国特許第8,778,848号明細書に記載される。

【0073】

試料容器110は、対物レンズ142に対する試料容器110の移動および位置合わせを提供するために、試料ステージ170上に取り付けることができる。試料ステージは、3次元のいずれかで移動することを可能にするために、1つ以上のアクチュエータを有することができる。例えば、デカルト座標系に関して、アクチュエータを、ステージが対物レンズに対してX、Y、及びZ方向に移動することを可能にするように提供し得る。このことは、サンプル容器110上の1つ以上の試料位置が対物レンズ142と光学的に位置合わせされて配置されることを可能にし得る。対物レンズ142に対する試料ステージ170の移動は、試料ステージ自体、対物レンズ、撮像システムの他のいくつかの成分、または前記のもの任意の組合せを移動させることによって達成することができる。幾つかの実施形態では、構造化照度撮像中に試料ステージ170の移動を実施して、構造化照明縞を試料に対して移動させて位相を変化させることができる。さらなる実装はまた、静止した試料上で撮像システム全体を移動させることを含むことができる。代替的に、試料容器110は、撮像中に固定されてもよい。

【0074】

幾つかの実施形態では、フォーカス(z軸)構成要素175を含み、フォーカス方向(典型的にはz軸、またはz方向と呼ばれる)における試料容器110に対する光学部品の位置決めを制御してもよい。フォーカス要素175は光学ステージ若しくは試料ステージ又はその両方に物理的に結合された1つ以上のアクチュエータを含むことができ、試料ステージ170上の試料容器110を光学要素(例えば、対物レンズ142)に対して移動させて、撮像動作のための適切な焦点合わせを提供する。例示すると、アクチュエータは例えば、ステージに又はステージと、機械的、磁気的、流体的若しくは他の取り付けによって、又は直接的若しくは間接的に接触することによって、それぞれのステージに物理的に連結されてもよい。1つ以上のアクチュエータは、試料ステージを同じ平面内に維持しながら(例えば、光軸に垂直なレベル又は水平姿勢を維持しながら)ステージをz方向に移動させるように構成され得る。1つ以上のアクチュエータは、ステージを傾斜させるように構成されることもできる。このことは、例えば、試料容器110がその表面における任意の傾きを考慮して動的に水平にされ得るように、行われ得る。

【0075】

図1は2つのビーム次数を結合し、干渉縞模様として撮像される試料上に投影するための対物レンズ142の使用を示しているが、他の好適な手段を使用して、2つのビームを結合し、および/または試料上に干渉パターンを投影することができることを理解されたい。ビームが横切る光路長がビームの時間的コヒーレンス長内であれば、(例えば、ミラーを使用して)ビームの方向を変える任意の手段で十分であり得る。さらに、いくつかの実施形態では、2つのビーム次数がビームスプリッタ(例えば、回折格子)上をある距離にわたって自動的にオーバーレイすることができる。このような実装では、回折格子が試料に十分近くに配置されていれば、回折格子の近くに干渉パターンが現れ、追加の投影システムの必要性が取り除かれ得る。したがって、本明細書で説明されるSIMの実施形態は、干渉パターンを投影するために対物レンズシステムに依存しないシステムに適用され得ることを理解されたい。

【0076】

撮像されている試料位置で試験サンプルから発する構造化光は、ダイクロイックミラー160を介してカメラシステム140の1つ以上の検出器に向けることができる。いくつかの実施形態では、1つ以上の発光フィルタを有するフィルタスイッチングアセンブリ165を含めることができ、1つ以上の発光フィルタを使用して、特定の発光波長を通過させ、他の発光波長をブロック(または反射)することができる。例えば、1つ以上の発光フィルタは、撮像システムの異なるチャネルの間で切り替えるために使用されてもよい。特定の実装において、発光フィルタは、異なる波長の発光を、カメラシステム140の異なるイメージセンサに向けるダイクロイックミラーとして実装することができる。

【0077】

カメラシステム140は試料容器110の撮像(例えば、配列決定)を監視および追跡するために、1つ以上の画像センサを含み得る。カメラシステム140は例えば、電荷結合素子(CCD)イメージセンサ・カメラとして実装することができるが、アクティブ画素センサ(例えば、相補型金属酸化物半導体(CMOS)イメージセンサ)のような他のイメージセンサ技術を使用することができる。幾つかの実施形態では、構造化照明撮像システム100が試料の活性面内の画像センサ(例えば、アクティブ画素センサ)を利用してもよい。そのような実装では、撮像された試料が撮像素子上でパターニングされ、及び/又は位置合わせされ得る。

【0078】

カメラシステム140からの出力データ(例えば、画像)は、リアルタイム分析モジュール(図示せず)に伝達されてもよく、リアルタイム分析モジュールは以下でさらに説明するように、各撮像サイクル中に取り込まれた画像を再構成して、より高い空間解像度を有する画像を生成してもよいソフトウェアアプリケーションとして実装されてもよい。あるいは、出力データが後で再構成するために記憶されてもよい。

【0079】

図示されていないが、システム100の種々の光学構成要素を同期させることを含む、構造化照明撮像システム100の動作を制御するコントローラを設けることができる。コントローラは例えば、光構造化光学アセンブリ155の構成(例えば、回折格子の選択および/または直線移動)、投影レンズ156の移動、焦点合わせ、ステージ移動、および撮像動作などのシステム動作の態様を制御するように実装することができる。様々な実装形態では、コントローラはハードウェア、アルゴリズム(例えば、機械実行可能命令)、または前記のもの組合せを使用して実装することができる。たとえば、いくつかの実装では、コントローラが関連するメモリを備える1つ以上のCPU又はプロセッサを含むことができる。別の例として、コントローラは、コンピュータプロセッサ、および機械可読命令が格納された非一時的コンピュータ可読媒体など、動作を制御するためのハードウェアまたは他の回路を備えることができる。例えば、この回路は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、プログラマブルロジックデバイス(PLD)、複合プログラマブルロジックデバイス(CPLD)、プログラマブルロジックアレイ(PLA)、プログラマブルアレイロジック(PAL)、又は他の類似する処理デバイス若しくは回路のうちの1つ以上を含むことができる。さらに別の例として、コントローラは、この回路と1つ以上のプロセッサとの組合せを備えることができる。

【0080】

＜マルチアーム構造化照明顕微鏡撮像システム＞
本明細書に開示される技術のいくつかの実装に従って、SIM撮像システムはマルチアームSIM撮像システムとして実装されてもよく、ここでシステムの各アームはシステムの光軸に対して特定の固定配向を有する発光体および回折格子を含む。

【0081】

図2は、本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システム200の1つの例示的な光学構成を示す光学図である。システム200の第1のアームは、発光体210Aと、発光体210Aによって出力された光をコリメートするための光コリメータ220Aと、光軸に関して第1の配向における回折格子230Aと、回転窓240Aと、投影レンズ250Aとを含む。システム200の第2のアームは、発光体210Bと、発光体210Bによって出力された光をコリメートする光コリメータ220Bと、光軸に関して第2の配向における回折格子230Bと、回転窓240Bと、投影レンズ250Bとを含む。この例では回折格子が図示されているが、他の実装ではビームスプリッタキューブまたはプレートのような他のビーム分割要素を使用して、SIM撮像システム200の各アームで受け取った光を分割してもよい。

【0082】

各発光体210A〜210Bはインコヒーレント発光体(例えば、1つ以上の発光ダイオード(LED)によって出力される光線を放出する)、または1つ以上のレーザまたはレーザダイオードによって出力される光エミッタなどのコヒーレント発光体とすることができる。システム200の例では、各発光体210A〜210Bは、それぞれのコリメータ220A〜220Bによってコリメートされた光ビームを出力する光ファイバである。

【0083】

いくつかの実施態様では、各光ファイバがレーザなどの対応する光源(図示せず)に光学的に結合することができる。撮像中、各光ファイバは、ファイバと光源との間の光路内に配置された高速シャッタ(図示せず)を用いて、又は撮像中にファイバの対応する光源を所定の周波数でパルス化することによって、オン又はオフに切り替えることができる。いくつかの実施態様では、各光ファイバが同じ光源に光学的に結合することができる。このような実装では、光源からの光を光ファイバの各々に導くために、ビームスプリッタ又は他の適切な光学素子を使用することができる。このような例では、各光ファイバは、ファイバとビームスプリッタとの間の光路内に配置された高速シャッタ(図示せず)を使用して、オンまたはオフに切り替えることができる。

【0084】

例示的SIM撮像システム200では、第1のアームが固定垂直格子230Aを含み、第1の方位(例えば、垂直縞模様)の格子パターンを試料上に投影し、第2のアームは固定水平格子230Bを含み、第2の方位(例えば、水平縞模様)の格子パターンを試料271上に投影する。既存のSIM撮像システムとは異なり、SIM撮像システム200のグレーティングは機械的に回転または平行移動される必要がなく、これにより、システム速度、信頼性、および再現性が向上し得る。

【0085】

図2の例で示すように、格子230A〜230Bはガラス基板又は他の適切な面に形成された複数の回折素子(例えば、平行なスリット又は溝)を含む透過回折格子であってもよい。グレーティングは、グレーティング材料の屈折率の周期的変動を提供する位相グレーティングとして実装することができる。溝または特徴の間隔は、適切な角度で光を回折し、SIM撮像システム200の動作のために撮像された試料の最小分解可能特徴サイズに調整されるように選択され得る。他の実装形態では、グレーティングは反射回折グレーティングであってもよい。

【0086】

SIM撮像システム200の例では、垂直及び水平パターンが約90度だけオフセットされている。他の実施態様では、グレーティングの他の方位を使用して、約90度のオフセットを生成することができる。例えば、グレーティングは、それらが試料271のxまたはy平面から±45度オフセットされた画像を投影するように配向されてもよい。構造化された解像度向上は2つの垂直回折格子(例えば、垂直格子および水平格子)のみを使用して達成され得るので、例示的SIM撮像システム200の構成は、矩形グリッド上に特徴を有する規則的にパターン化された試料271の場合に特に有利であり得る。

【0087】

格子230A〜230Bはシステム200の例では入力ビームを多数の次数(例えば、0次、±1次、±2次など)に回折するように構成され、その±1次を試料271上に投影することができる。この例に示されるように、垂直格子230Aは平行光ビームを第1次数回折ビーム(±1次)に回折し、ページの平面上で第1次数を広げ、水平格子230Bは平行光ビームを第1次数回折ビームに回折し、ページの平面の上下(すなわち、ページに垂直な平面内)で当該次数を広げる。システムの効率を改善するために、0次ビームおよび他のすべての高次ビーム(すなわち、±2次以上)を遮断する(すなわち、試料271上に投影された照明パターンからフィルタ除去する)ことができる。例えば、0次ビーム及び高次ビームを遮断するために、各回折格子の後に光路に次数フィルタ等の図示しないビーム遮断素子を挿入してもよい。幾つかの実施形態では回折格子230A〜230Bがビームを1次のみに回折するように構成されてもよく、0次(未回折ビーム)は何らかのビーム遮断要素によって遮断されてもよい。

【0088】

各アームは格子230の各々によって出力される回折光を位相シフトさせるために、光位相変調器または移相器240A〜240Bを含む。例えば、構造化イメージングの間、各回折ビームの光学位相は構造化パターンの各縞のピッチ(λ)のある部分(例えば、1/2、1/3、1/4等)だけシフトされてもよい。図2の例では、位相変調器240A及び240Bが、ガルバノメータ又は他の回転アクチュエータを使用して、各回折ビームの光路長を回転させ変調させることができる回転窓として実装されている。例えば、窓240Aは垂直軸の周りを回転して、垂直格子230Aによって試料271上に投影される画像を左右にシフトさせてもよく、窓240Bは水平軸の周りを回転して、水平格子230Bによって試料271上に投影される画像を上下にシフトさせてもよい。

【0089】

他の実装では、以下にさらに説明する、回折光の光路長を変化させる他の位相変調器(例えば、線形平行移動ステージ、ウェッジ等)を使用してもよい。加えて、光学位相変調器240A〜240Bは回折格子230A〜230Bの後に配置されるように示されているが、他の実装において、それらは照明システムの他の箇所に配置されてもよい。幾つかの実施形態では、異なる縞模様に対して単一の位相変調器を2つの異なる方向に動作させることができ、又は後述するように、単一の位相変調器が両経路長を調整するために単一の動きを使用することができる。

【0090】

例示的なシステム200では、穴261を有するミラー260が、2つのアームを無損失の方法で(例えば、反射性コーティングにおける小さな吸収以外に、光パワーの著しい損失なしに)光路内に結合する。ミラー260は、各格子からの回折次数が空間的に分解され、不要な次数が遮断されるように配置することができる。ミラー260は、第1アームが出力する光の1次に孔261を通過させる。ミラー260は、第2のアームによって出力された光の第1の次数を反射する。したがって、構造化照明パターンは、各エミッタをオンまたはオフにすることによって、または光源の光を光ファイバケーブルに通す光シャッタを開閉することによって、垂直方向(例えば、格子230A)から水平方向(例えば、格子230B)に切り替えることができる。他の実装では、構造化照明パターンが、光学スイッチを使用して、試料を照らすアームを変化させることによって切り替えられてもよい。

【0091】

また、例示的な撮像システム200では、投影レンズ265、半反射ミラー280、対物レンズ270、およびカメラ290が示される。投影レンズ265は、レンズ250Aと共に利用して、格子230Aのフーリエ変換を対物レンズ270の入射瞳に投影することができる。同様に、投影レンズ265は、格子230Bのフーリエ変換を対物レンズ270の入射瞳に投影するために、レンズ250Bと共に利用されてもよい。また、投影レンズ265は試料面上の格子フォーカスを調整するために、z軸に沿って関節でつながれるように実装されてもよい。半反射ミラー280は各アームから受け取った構造化照明光を対物レンズ270内に反射して試料271上まで投影し、試料271によって放射された光(例えば、励起とは異なる波長で放射される蛍光)をカメラ290上に通過させるためのダイクロイックミラーであってもよい。

【0092】

システム200の例は偏光子がないために、高い光学効率を提供し得ることに留意することは価値がある。加えて、偏光されていない光の使用は、対物レンズ270の開口数設定に応じて、パターンコントラストに大きな影響を及ぼさない場合がある。

【0093】

簡単にするために、SIM撮像システム200の光学部品は、前記の説明から省略され得ることに留意されたい。さらに、システム200はこの例では単一チャネルシステムとして示されているが、他の実装形態では(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよい。

【0094】

図3は、本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システム300の別の例示的な光学構成を示す光学図である。システム300では、穴261を有するミラー260の後に、大型の回転光学窓310を配置することができる。この場合、窓310を窓240A及び240Bの代わりに使用して、垂直及び水平回折格子によって出力される回折ビームの両方の組の位相を変調することができる。回折格子の1つの光軸に対して平行である代わりに、回転窓310の回転軸は、垂直及び水平回折格子の各々の光軸から45度オフセット(又は他の角度オフセット)されて、窓310の1つの共通回転軸に沿った両方向に沿った位相シフトを可能にしてもよい。幾つかの実施形態では、回転窓310は、公称ビーム軸を中心に回転する楔状光学系によって置き換えることができる。

【0095】

図4は、本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システム400の別の例示的な光学構成を示す光学図である。システム400では、格子230Aおよび230Bが、格子230Aおよび230Bによって放射される光の光路長(したがって位相)を変化させるために平行移動させることができるそれぞれの直線運動ステージ410Aおよび410B上に取り付けられる。直線運動ステージ410A〜410Bの運動軸は試料271に沿った格子のパターンの平行移動を実現するために、それぞれの格子の方位から垂直であってもよく、そうでなければオフセットされていてもよい。実施態様では、ステージ410Aおよび410Bはそれぞれ、投影画像を位相シフトするために格子の正確な直線状平行移動を提供するために、交差ローラ軸受、リニアモータ、高精度リニアエンコーダ、および/または他の技術を利用することができる。

【0096】

図5は本明細書で説明されるいくつかの実施形態による、構造化光を使用して高解像度画像を生成するために、1つの撮像サイクル中にマルチアームSIM撮像システムによって実行され得る例示的な方法500を示す動作フロー図である。実施形態では、方法500がサンプル全体またはより大きなサンプルの位置を撮像するために実行されてもよい。方法500は図6と関連して説明され、図6は、画像撮像中に、2アームSIM撮像システムの垂直格子および水平格子によって、試料271の平面上に投影され得る単純化された照度フリンジパターンを図示する。例えば、SIM撮像システム200は図6に示される水平および垂直照明パターンを生成するために、垂直格子230Aおよび水平格子230Bを使用してもよく、一方、位相変調器230Aおよび230Bは示される3つの位相シフトを生成するために、3つの異なる位置に設定されてもよい。

【0097】

動作510では、第1の格子配向に対応する第1のアームがオンにされ、第1のアームを使用して照明パターンの生成を開始する。例えば、撮像システム200の実装では、光ファイバ210Aと光源との間の経路内に位置決めされた高速シャッタが、光源が遮断されないように開かれるか、さもなければ作動されてもよい。あるいは、1つ以上の光源をオンまたはオフにする(例えば、パルス化する)ことができ、または光スイッチを使用して、光源を第1のアームの光路を通して(例えば、第1または第2のエミッタのうちの1つを通して)導くことができる。いくつかの例では、動作510はまた、(例えば、第1の撮像サイクルの場合に)光源をオンにすることを含んでもよい。

【0098】

一旦、第1のアームがオンになると、動作520において、第1の格子パターンが試料上に投影され、画像が撮像され得る。例えば、図6に示すように、垂直格子230Aは、試料271上に１次の照明縞を投影することができる。試料によって放射される任意の光はカメラ290によって捕捉することができ、第1のパターン(例えば、垂直パターン)の第1の位相画像を捕捉することができる。例えば、試料271の異なる特徴に位置する蛍光色素は蛍光を発し、得られた光は、対物レンズ270によって収集され、蛍光を検出するためにカメラ290の画像センサに向けられてもよい。

【0099】

追加の位相シフト画像を撮像する必要がある場合(決定530)、動作540において、格子によって投影されるパターンは、パターンの次の位相画像を捕捉するために位相シフトされてもよい。例えば、システム200の実装では、垂直格子230Aによって投影されるパターンの位相が回転光学窓240Aによって位相シフトされてもよい。あるいは、位相をシフトさせるために、平行移動ステージまたは回転光学ウェッジのような他の光学位相変調器を使用してもよい。例えば、図6の例に示すように、試料上に投影されたパターンが捕捉された前の画像から1/3λだけオフセットされるように、干渉縞パターンのピッチ(λ)の1/3だけ位相をシフトさせることができる。幾つかの実施形態では、格子によって投影されたパターンが、投影された縞が静止したままである間に、試料を移動させることによって(例えば、運動ステージを使用して)、位相シフトされてもよい。幾つかの実施形態では、格子によって投影されたパターンは試料及び投影された干渉縞の両方を移動させることによって位相シフトさせることができる。動作520〜540は第1のパターンのすべての位相画像が捕捉されるまで(例えば、図6の場合に垂直パターンの3つの位相シフト画像)、反復してもよい。

【0100】

パターンの全ての位相画像が捕捉されると、動作560において、SIM撮像システムの第2の格子配向に対応する第2のアームがオンにされ得る。例えば、撮像システム200の実装では、光ファイバ210Bと光源との間の経路内に位置決めされた高速シャッタが、光源が遮断されないように開かれるか、さもなければ作動されてもよい。あるいは、1つ以上の光源をオンまたはオフにする(例えば、パルス化する)ことができ、または第2のアームの光路を通して光源を導くために光スイッチを使用することができる。さらに、他方のアームをオフにしてもよい。次に、動作520〜540を繰り返すことによって、次のアームについて一連の位相画像を取り込むことができる。例えば、図6に示すように、水平格子230Bは１次の照明縞を試料271上に投影することができ、投影された縞は、水平パターンの3つの位相画像を捕捉するために、1/3λだけ位置をずらすことができる。別の例として、格子によって投影されるパターンは、投影された縞が静止したままである間に、試料を移動させることによって(例えば、運動ステージを使用して)、または試料および投影された縞の両方を移動させることによって、位相シフトされてもよい。

【0101】

撮像サイクルのために全ての画像が撮像されると、動作570において、撮像された画像から高解像度画像が構築され得る。例えば、図6に示す6つの画像から高解像度画像を再構築することができる。適切なアルゴリズムを使用して、これらの様々な画像を組み合わせて、個々の要素画像のいずれよりも著しく良好な空間分解能で試料の単一の画像を合成することができる。

【0102】

方法500は主に、単一チャネル撮像(例えば、単一波長を有する光源を使用して試料を画像する)の文脈で説明されたが、いくつかの実施形態では、方法500がマルチチャネル撮像(例えば、異なる波長を有する光源を使用して試料を画像する)に適合され得ることに留意されたい。そのような実施形態では、方法500が各チャンネルについて高解像度画像を生成するために、撮像システムの各チャンネルについて(例えば、順次または並行して)繰り返され得る。

【0103】

本明細書に記載される2アームSIM撮像システム200の実装はこれまで、2つのアームの光路を無損失に結合するために、穴261を有するミラー260を利用するシステム200の文脈において説明されてきたが、代替の実装において、水平および垂直回折格子230A〜230Bの2つの画像は穴を有するミラーの代わりに偏光ビームスプリッタを使用することによって、無損失に結合されてもよく、垂直偏光で垂直回折格子を照射し、水平偏光で水平回折格子を照射してもよい。そのような実施形態では、構造化照明パターンは対応する偏光照明源をオンおよびオフにすることによって、水平から垂直に切り替えることができる。

【0104】

一例を挙げて説明すると、図7は偏光ビームスプリッタを使用してアームの光路を結合し、垂直偏光で垂直格子を照射し、水平偏光で水平格子を照射する、2アームSIM撮像システム700の実験設計例を示す。図7の実施において、水平及び垂直格子はG1及びG2であり、水平及び垂直回転窓はW1及びW2であり、水平及び垂直格子画像を結合するための偏光ビームスプリッタはPBS2である。ファイバ結合モードスクランブルマルチモードレーザの出力は、Fiber1である。

【0105】

図8Aは、20x/0.75 NA顕微鏡を使用し、例示のSIM撮像システム700を用いて撮像されたアフォーカルミラーイメージおよび蛍光スライドを示す。アフォーカルミラー画像は84%の縞視認性を持つ。蛍光スライド画像は、6.6%の縞視認性を有する。

【0106】

図8Bは、ビーズ付きフローセルを有するシステム700を使用して取得された縞変調測定を示す。グラフは、図7の平行プレートW2の角度が変更されるときの、位相調整サイクル中の典型的な特徴画像強度の変化を示す。

【0107】

図9は、本明細書で説明されるいくつかの実施形態による、2アームSIM撮像システム900の別の例示的な光学構成を示す。システム900の第1のアームは、発光体910A(例えば、光ファイバ)、発光体910Aによって出力される光をコリメートする光コリメータ920A、光軸に関して第1の配向における回折格子930A、およびリレーレンズ940Aを含む。システム900の第2のアームは、発光体910Bと、発光体910Bによって出力された光をコリメートするための光コリメータ920Bと、光軸に関して第2の配向の回折格子930Bと、リレーレンズ940Bとを含む。

【0108】

システム900は、光学システムの2つのアームを結合するためのビーム結合要素950も含む。図示のように、ビーム結合要素950は、システムの第2のアームから構造化された光を通過させるための穴を有する45°プリズムと、第1のアームから受け取った構造化された光を反射させるためのミラー化された表面とを含む。ビーム結合要素950に入射する前に、各構造化された光束は一対の開口を有する空間フィルタを通過して±1次を通過させ、他の次数をブロックする。第1の平面内の第1のアームから発する構造化光は、反射光学系945によってビーム結合要素950内に向けることができる。システム900では、平行板光学素子960は、位相調整器として機能し、構造化された光を、ビーム結合素子950の後に、いずれの方位にもシフトさせるように回転させてもよい。

【0109】

本明細書で説明した実施形態は、2つの異なる角度に向けられた2つの格子を含む2アーム構造化照明撮像システムの文脈でこれまで説明してきたが、他の実施形態では、3つ以上のアームを有するシステムを実施することができることに留意されたい。矩形グリッド上に特徴を有する規則的にパターン化された試料の場合、分解能の向上は上述したように、2つの垂直角度(例えば、垂直格子および水平格子)のみで達成することができる。一方、他の試料(例えば、六角形にパターン化された試料)に対する全ての方向における画像解像度向上のために、3つの格子角度が使用されてもよい。例えば、3アームシステムは3つの発光体及び3つの固定回折格子(アーム毎に1つ)を含むことができ、ここで、各回折格子はそれぞれのパターン配向(例えば、0°パターン、120°パターン、又は240°パターン)を試料上に投影するように、システムの光軸の周囲に配向される。このようなシステムでは、穴を有する追加のミラーを使用して、追加の格子の追加の画像をシステムに無損失で結合することができる。あるいは、そのようなシステムが1つまたは複数の偏光ビームスプリッタを利用して、格子の各々の画像を結合させてもよい。

【0110】

＜多重光学回折格子スライド構造化照明顕微鏡撮像システム＞
本明細書で開示される技術のいくつかの実施形態によれば、SIM撮像システムは複数の光学格子スライドSIM撮像システムとして実施されてもよく、ここで1つの直線運動ステージはシステムの光軸に対して対応する固定配向を有する複数の回折格子(または他のビーム分割光学素子)を備えて取り付けられる。

【0111】

図10A〜10Bは、本明細書に記載されるいくつかの実装に従った、デュアル光学回折格子スライドSIM撮像システム1000の一例の光学構成を示す模式図である。以下にさらに記載されるように、システム1000の構成において、試料1070上に投影される格子パターン(例えば、パターン位相シフトまたは回転)へのすべての変更は単一の運動軸に沿って運動ステージ1030を直線的に平行移動させ、格子1031または1032を選択し(すなわち、格子の方位を選択し)、または格子1031〜1032のうちの1つを位相シフトさせることによって行われてもよい。

【0112】

システム1000は、発光体1010(例えば、光源に光学的に結合された光ファイバ)、発光体1010によって出力された光をコリメートする第1の光コリメータ1020(例えば、コリメーションレンズ)、第1の回折格子1031(例えば、水平格子)および第2の回折格子1032(例えば、垂直格子)が取り付けられた直線運動ステージ1030、投影レンズ1040、半反射ミラー1050(例えば、ダイクロイックミラー)、対物レンズ1060、試料1070、およびカメラ1080を含む。簡単にするために、SIM撮像システム1000の光学部品は、図10Aから省略することができる。さらに、システム1000はこの例では単一チャネルシステムとして示されているが、他の実装形態では、(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよい。

【0113】

図10Aによって図示されるように、回折格子1031(例えば、水平回折格子)は、平行光ビームを(ページの平面上の)1次回折光ビームに回折させてもよい。図10Bによって図示されるように、回折格子1032(例えば、垂直回折格子)は、ビームを1次に(ページの平面の上下に)回折させてもよい。この構成では単一のエミッタ1010(例えば、光ファイバ)および単一の直線運動ステージを有する単一の光学アームのみが、試料1070を撮像するために必要であり、これは速度、複雑性およびコストを改善するために、可動システム部品の数を減らすなどのシステム利点を提供し得る。加えて、システム1000において、偏光子がないことは、前述の高い光学効率の利点を提供し得る。構造化された分解能向上は2つの垂直グレーティング(例えば、垂直グレーティングおよび水平グレーティング)のみを使用して達成され得るので、例示的SIM撮像システム200の構成は、矩形グリッド上に特徴を有する規則的にパターン化された試料1070の場合に特に有利であり得る。

【0114】

システムの効率を改善するために、各格子によって出力される0次ビームおよび他のすべての高次回折ビーム(すなわち、±2次以上)を遮断する(すなわち、試料1070上に投影された照明パターンからフィルタ除去する)ことができる。例えば、次数フィルタのようなビーム遮断要素(図示せず)を、移動ステージ1030の後の光路に挿入することができる。幾つかの実施形態では回折格子1031〜1032がビームを1次のみに回折するように構成されてもよく、0次(未回折ビーム)は何らかのビーム遮断要素によって遮断されてもよい。

【0115】

システム1000の例では2つの格子が運動軸から約±45°(または約+40°/-50°、約+30°/-60°等のような、運動軸からオフセットされた他の何らかの角度)に配置されてもよく、その結果、位相シフトは単一の直線運動軸に沿って、各格子1031〜1032に対して実現され得る。いくつかの実施形態では、2つの格子が1つの物理的光学素子に組み合わされてもよい。例えば、物理光学素子の一側面は第1の配向における格子パターンを有してもよく、物理光学素子の隣接側面は第1の配向に直交する第2の配向における格子パターンを有する可能性がある。

【0116】

単一軸直線運動ステージ1030は、試料平面に対してＸ軸に沿って、または試料平面に対してＹ軸に沿って移動することを可能にするために、1つ以上のアクチュエータを含んでもよい。動作中、直線運動ステージ1030は、効率的な画像再構成のために正確な照明パターンを投影するために、十分な走行(例えば、約12〜15mm)および精度(例えば、約0.5マイクロメートル未満の反復性)を提供してもよい。運動ステージ1030が、蛍光顕微鏡などの自動化撮像システムに利用される実装において、高速動作、最小振動発生、および長い動作寿命を提供するように構成されてもよい。実施態様では、直線運動ステージ1030が交差ころ軸受、リニアモータ、高精度リニアエンコーダ、および/または他の構成要素を含むことができる。例えば、モーションステージ1030は、コントローラを使用して平行移動され得る高精度ステッパーまたはピエゾ運動ステージとして実装されてもよい。

【0117】

図11は本明細書に記載されるいくつかの実装に従って、構造化された光を使用して高解像度画像を生成するために、1つの撮像サイクルの間に複数の光学回折格子スライドSIM撮像システムによって実施され得る例示的方法1100を示す動作フロー図である。実施に応じて、方法1100は、サンプル全体またはより大きなサンプルの位置を撮像するために実行されてもよい。方法1100は図12と関連して説明され、図12は、画像撮像中に、デュアル光学回折格子スライドSIM撮像システムの第1の回折格子および第2の回折格子によって、試料1070の平面上に投影され得る単純化された照明フリンジパターンを図示する。例えば、SIM撮像システム1000は、第1の回折格子1031および第2の回折格子1032を使用して、図12に示される照明パターンを生成してもよい。図12の例に図示されるように、2つの回折格子は、試料1070の表面に垂直な縞模様を投影し、直線運動ステージ1030の運動軸から約±45°に配置される。

【0118】

動作1110では、光源がオンになる。例えば、光シャッタを作動させて、発光体1010の光ファイバを光源に光学的に結合させてもよい。別の例として、光源はパルス化されてもよく、または光スイッチを使用して、光源を発光体の光路を通して誘導してもよい。動作1120では、第1の格子パターンが試料上に投影され、画像が捕捉されてもよい。例えば、図12に示すように、第1の回折格子(例えば、回折格子1031)は、試料1070上に１次の照度縞を投影することができる。試料によって放出された光はカメラ1080によって捕捉されてもよく、第1のパターン(例えば、+45°パターン)の第1の位相画像が捕捉されてもよい。例えば、試料1070の異なる特徴に位置する蛍光色素は蛍光を発し、得られた光は、対物レンズ1060によって収集され、蛍光を検出するためにカメラ1080の画像センサに向けられてもよい。

【0119】

追加の位相シフト画像を捕捉するために、動作1140において、格子によって投影されるパターンは、直線運動ステージを平行移動させることによって位相シフトされてもよい。図12の例では、これらの位相シフト運動がステップ1および2として示されている。位相シフト移動は、格子上に投影される縞パターンをわずかにシフトさせるために、格子の小さな(例えば、約3〜5マイクロメートル以下)移動を提供し得る。

【0120】

特定の例として、図11の試料におけるフリンジのピッチλが2100nmである場合を考える。この場合、3つの位相シフトされた画像が試料において捕捉され、λ/3、すなわち700nmの投影された縞の位相シフトを必要とする。10Xの対物レンズ照明倍率を仮定すると、単一軸直線運動ステージの必要な位相シフトステップ(直線移動)は、700nm×10×sqrt(2)、すなわち約9.9μmとして計算することができる。この場合、sqrt(2)ファクタは、格子の方位と移動ステージの移動軸との間の45度のオフセットを説明する。より一般的には、この例の構成における各位相シフトステップの間の直線運動ステージの平行移動距離は以下の式によって記述することができる。ここでMAGは照明倍率である。

【0121】

【数1】

【0122】

回折格子についての全ての位相シフト画像の捕捉(決定1130)に続いて、動作1160において、システムは直線運動ステージを平行移動させることによって回折格子を切り替えて、別の回折格子を撮像システムの光源に光学的に結合させてもよい(例えば、図10Aから図10Bへの移行)。この動きは、図12の例ではステップ3として示されている。回折格子が変化する場合、直線運動ステージは比較的大きな平行移動(例えば、12〜15mmのオーダー)を提供し得る。

【0123】

次いで、一連の位相画像を、動作1120〜1140を繰り返すことによって、次の格子について捕捉することができる。例えば、図12に示すように、第2の回折格子は試料271に１次の照明縞を投影することができ、投影された縞は直線運動ステージを平行移動させることによってλ/3だけ位置をシフトさせて、格子のパターンの3つの位相画像を捕捉することができる(例えば、図12のステップ4及び5)。

【0124】

撮像サイクルのために全ての画像が撮像されると、動作1170において、撮像された画像から高解像度画像が構築され得る。例えば、図12に概略的に示す6つの画像から高解像度画像を再構成することができる。前述の例が示すように、多重光学格子スライドSIM撮像システムは有利には単一のリニアアクチュエータで縞角度および位相を切り替えることができ、それによって、構造化照明撮像システムのコストおよび複雑さを省く。

【0125】

図13は、一例のデュアル光学格子スライドSIM撮像構成1300を示す図である。図示のように、構成1300は、光を放射する光ファイバ1310、コリメータ1320、第1および第2の回折格子1331〜1332が取り付けられた直線運動ステージ1330、投影レンズ1340、および回転ミラー1350を含んでもよい。この例では、格子1331〜1332がステージ1330の移動軸に沿って互いに隣接して、同じ物体内に埋め込まれている。図示されていない他の構成要素は、ダイクロイックミラー1050、対物レンズ1060、および試料1070など、図10Aの構成要素と同様であってもよい。

【0126】

幾つかの実施形態では、デュアル光学格子スライドSIM撮像システムの直線運動ステージ又はスライドが撮像格子(例えば、直線運動ステージの運動軸から約±45°に配置された2つの回折格子)によって試料上に投影される干渉縞パターンの位置合わせを助けるために、1つ以上の追加のより低い周波数パターンを用いて取り付けられてもよい。例えば、図10A〜10Bの直線運動ステージ1030は、追加の位置合わせパターンと共に取り付けられてもよく、または図13の直線運動ステージ1330が追加の位置合わせパターンと共に取り付けられてもよい。2つの画像回折格子が図13に描かれているのと同じ基板に埋め込まれている場合には、整列回折格子がその基板に埋め込まれてもよく、または別個の基板に組み込まれてもよい。位置合わせパターンは、2つの画像回折格子の間に、または運動ステージ上の他の適当な位置に配置されてもよい。

【0127】

アライメントパターンは、照明されるときに、より低い周波数および/またはより大きなピッチを有するパターンを試料上に投影するように構成されてもよい。これらの特性のおかげで、試料に対するグレーティングの粗い整列を容易にすることができる。アライメントパターンは、平行線、直交線、および/または他の格子よりも低いスリット周波数を有する格子として実装されてもよい。いくつかの実施形態では、複数のアライメントパターンを使用することができる。図17は、本開示の実施形態で使用され得るアライメントパターンの一例を示す。この例に示されるように、アライメントパターン標章1605は、開放口1625の外側の、回折格子1615と同じ基板上に実装される。この例では、アライメントパターンが2組の直交線として実装される。この実装により、回折格子の傾きをチェックすることができる。いくつかの実施形態では、図示されたアライメントパターンが複数の領域(例えば、基板の4つのコーナー)で実施されてもよい。

【0128】

使用中、アライメントパターンは、パターンを投影するために照明されてもよい。アライメントパターンは、SIMイメージング・システムの製造中、現場設置後、または現場サービス・エンジニア・チェック中に利用することができる。いくつかの実施形態では、アライメントパターンがデュアル光学格子スライドSIM撮像システムの動作中に利用されてもよい。例えば、アライメントパターンは、試料の画像が始まる前に、アライメントパターンを投影するために照明されてもよい。

【0129】

デュアル光学回折格子スライドSIM撮像システムの幾つかの実施形態では、直線運動ステージとは別個の構成要素である光学位相変調器(例えば、回転窓)を位相同調のために利用することができる。そのような実装において、光学位相変調器は直線運動ステージの代わりに位相調整のために使用されてもよい(例えば、直線運動ステージは、2つの回折格子の間の切り替えのためにのみ使用されてもよい)。このような実施のおかげで、システムの速度、精度、および/または信頼性は運動ステージによって経時的に必要とされる平行移動の数を実質的に減少させることによって、および位相を選択するために微細な平行移動(例えば、μmの命令)を行うために運動ステージを使用する必要性を排除することによって、潜在的に改善され得る。

【0130】

光位相変調器は、格子の後(例えば、運動ステージの直後)に、光源と試料との間の光路内に配置されてもよい。図19は、そのような実施形態による、一例のデュアル光学格子スライドSIM撮像システム1900のいくつかの構成要素を示す。示されるように、システム1900は発光体1910(例えば、光源に光学的に結合された光ファイバ)、発光体1910によって出力された光をコリメートするための第1の光コリメータ1920(例えば、コリメーションレンズ)、第1の回折格子1931(例えば、水平格子)および第2の回折格子1932(例えば、垂直格子)が取り付けられた直線運動ステージ1930、および各格子によって出力された回折光を位相シフトするための光位相変調器1940を含む。

【0131】

＜パターン角空間選択構造化照明顕微鏡撮像システム＞
本明細書に開示される技術のいくつかの実装に従って、SIM撮像システムは、パターン角度空間選択SIM撮像システムとして実装されてもよく、それによって、固定された2次元回折格子が空間フィルタホイールと組み合わせて使用されて、試料上に1次元回折パターンを投影する。

【0132】

図14は、本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システム1400の例示的な光学構成を示す模式図である。簡略化のために、SIM撮像システム1400の光学部品は、図14から省略されてもよい。さらに、システム1400はこの例では単一チャネルシステムとして示されているが、他の実装形態では、(例えば、2つの異なる波長で放射する2つの異なるカメラおよび光源を使用することによって)マルチチャネルシステムとして実装されてもよい。

【0133】

図示のように、システム1400は、発光体1410(例えば、光ファイバ)、発光体1410によって発せられる光をコリメートするコリメータ1420、二次元格子1430、0次ビームブロッカ1440、光学位相変調器1450、投影レンズ1460、空間フィルタホイール1470、ダイクロイックミラー1480、対物レンズ1490、試料1491、およびカメラ1495を含む。

【0134】

この例示の構成では、格子1430が入力ビームを2つの垂直方向で多数の次数(例えば、0次、±1次、±2次等)に回折するように構成された2次元透過回折格子である。システムの効率および性能を改善するために、0次ビームおよび他のすべての高次ビーム(すなわち、±2次以上)を遮断する(すなわち、試料1491上に投影された照明パターンからフィルタ除去する)ことができる。より高い次数は、広い角度で回折され得るが、そこでは種々のフィルタエレメントを使用してフィルタリングすることができ、0次成分は試料に向かうビーム経路内の格子を真っ直ぐ通過する。0次成分をブロックするために、ビームブロッキング素子1440を、2次元回折格子1430の後に光路に挿入してもよい。例えば、ビームブロッキング要素1440は、要素に垂直な光(例えば、0次光)を反射し、+1及び-1次のような他の角度で光を通過させるようにパターン化することができる回折光素子である、体積ブラッグ格子(VBG)であってもよい。0次を除去すると、より小さくよりコンパクトな光学系を使用して、対物レンズに+1 及び -1次の焦点を合わせることができる。

【0135】

光位相変調器1450(例えば、回転窓)を使用して、入射光の位相を変化させ、試料1491上のパターン位相位置を調整してもよい。例えば、光学位相変調器1450は、光軸に対して可変角度で傾斜する平行板光学系、光軸を中心に回転する楔状光学系、ビームを平行移動させるために傾斜するミラー、電気光学素子、または音響光学素子を含む、種々の移動光学素子を含んでもよい。1つの特定の実装において、光学位相変調器1450は2つの異なる格子角度パターンの位相を調整するために、2つの垂直方向に傾斜した平行板光学系として実装されてもよい。あるいは、幾つかの実施形態では、パターン位相位置が、投影パターンが静止したままである間に、試料を移動させることによって(例えば、運動ステージを使用して)、または試料と投影パターンの両方を移動させることによって調整されてもよい。

【0136】

システム1400の例では、回転可能な空間フィルタホイール1470が、試料1491上に投影するための垂直格子画像または水平格子画像を選択するための2つの垂直方向に向けられた複数の穴(例えば、穴の垂直セット1471および穴の水平セット1472)を含んでもよい。例えば、空間フィルタホイールを回転させることによって、回折格子パターンのうちの1つの+/-1次数は、一組の穴のうちの1つを通過して、試料1491上に水平または垂直の縞パターンを生成してもよい。実施態様では、空間フィルタホイール1470は、軽量マスクまたは空間フィルタ(例えば、複数のポートまたは開口を含む回転ディスク)として実施することができる。

【0137】

システム1400の構成ではシステム1400の主要光学部品が静止したままであってもよく、これにより光学システム(および照明パターン)の安定性を向上させ、可動要素の重量、振動出力、およびコストを最小化し得る。ビーム強度のいくらか(例えば、50%まで)は空間フィルタホイール1470のいずれかの方位でフィルタ除去される必要がある場合があるため、幾つかの実施形態では、空間フィルタが適切な熱管理のために、不要なビーム(例えば、通過されない回折格子パターンの次数)をビームダンプに反射するように構成されてもよい。

【0138】

図15は、本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システム1500の別の例示的な光学構成を示す模式図である。例示的撮像システム1500では、2次元透過回折格子およびビーム遮断素子の機能が固体光学系1510に統合されてもよい。加えて、投影レンズの機能は、固体光学系1510に統合されてもよい。この実施例では、2次元透過格子1511が放出器1410(光学系1510の入力)から平行光を受け取る光学系1510の面上に、製造されまたはそれ以外の方法で配置される。回折格子1511の分散角度は、0次光を光学系の遠い側で遮断できるように配置されてもよい。両方向において、所望の+1及び-1次は、+1及び-1次を光学的に望ましい方向に回折する、角度を有する面1512(光学系1510の出力)を通って、光学系1510から出てもよい。これらの出力面は、回折集束レンズを含み得る。あるいは、別個の光学系を投影レンズとして使用して、ビームを対物レンズ1490上に集束させてもよい。システム1500では、移相器1450および回転空間フィルタマスク1470が上述のように使用されてもよい。

【0139】

図16は、本明細書で説明されるいくつかの実施形態による、パターン角度空間選択SIM撮像システム1600の別の例示的な光学構成を示す模式図である。実施例の撮像システム1600では、固体光学系1610がまた、2次元格子およびビーム遮断要素の機能を統合するために使用されてもよい。加えて、投影レンズの機能を統合してもよい。例示的な撮像システム1600とは対照的に、固体光学系1610の入力は、受ける光を2次元反射格子1611に導く入口窓または開口1614である。格子1611がこの例では反射性であるので、0次光は入口窓1614を通して反射して戻ってきてもよい。垂直方向のそれぞれにおいて、所望の+1及び-1次の回折光は、光学系1610のそれぞれの反射コーティングされた内部面1613から反射し得、出口面1612を通って出射する。実施態様では、これらの出口面が回折集束レンズを含むことができる。あるいは、別個の投影レンズ光学系1615を使用して、ビームを対物レンズ1490上に集束させてもよい。システム1600では、移相器1450および回転空間フィルタマスク1470が上述のように使用されてもよい。

【0140】

開示の幾つかの実施形態は収集された励起光(例えば、対物レンズによって再撮像された光)をイメージセンサ(例えば、CCDカメラセンサ)上に再撮像するために1つ以上の光学系を使用するSIM撮像システムの文脈において図に示されているが、本明細書に記載される種々の実施形態は撮像された試料の活性平面内にあるイメージセンサ(例えば、CMOSセンサ)を利用するSIM撮像システムに適用することができることは理解されるべきである。例示的な例として、図18は、本明細書で説明されるいくつかの実施形態による、SIM撮像システムのイメージセンサアセンブリ1740上に形成され得る試料1710を示す。例えば、試料の特徴は、イメージセンサの画素とフォトリソグラフィ的に位置合わせされてもよい。構造化された照明に応答してパターン化された試料1710によって放射された任意の光は、この例では試料1710の真下に配置されているイメージセンサアセンブリ1740によって収集される。イメージセンサアセンブリ1740上に試料1710を形成することは、撮像中に、試料1710のパターン化された特徴1711が撮像センサアセンブリ1740の特定のフォトサイト(例えば、画素)に対して位置合わせされたままであることを保証する利点を提供し得る。

【0141】

試料1710は、イメージセンサ1740の各光センサ(例えば、画素)がその上に形成および/または搭載された1つ以上の特徴1711を有するように、イメージセンサアセンブリ1740とともにパターン化および位置合わせされてもよい。図18の例に図示されるように、試料1710は、1つの特徴1711がイメージセンサアセンブリ1740の画素アレイの各画素上に形成されるように、イメージセンサアセンブリ1740上にパターン化される。他の実施態様では、2つ以上の特徴を各ピクセル上に形成することができる。

【0142】

蛍光試料の場合、例えば、試料の照明特徴1711は構造化励起光1760に応答して蛍光を発することができ、特徴1711によって放出された結果としての光1761は蛍光を検出するためにイメージセンサアセンブリ1740のフォトサイト(例えば、ピクセル)によって収集することができる。例えば、図18に図示されるように、イメージセンサアセンブリ1740の画素(1,1)および(1,3)は、その上に配置またはパターン化された試料の特徴1711によって放射される光1761を集めることができる。幾つかの実施形態では、層(図示せず)が試料1710とイメージセンサアセンブリ1740との間に絶縁を提供してもよい(例えば、試料の流体環境からイメージセンサアセンブリを遮蔽するため)。他の実装では、試料1710がイメージセンサアセンブリ1740上に取り付けられ、位置合わせされてもよい。

【0143】

図18はSIM縞が正しい向きで試料の特徴と整列するSIM撮像システムの例示的な表現を示すが、実際にはこれは必ずしもまたは典型的にSIM撮像の事例ではないことに留意されたい。例えば、時間および/または空間にわたって、隣接する縞間の間隔、構造化照明パターンの位相または角度、および/または照明された試料に対する縞パターンの方位にドリフトが存在し得る。これらのSIMパラメータの変動のために、ある例では、照射されるある特徴は８０％「オン」であることがあり、他の特徴は６０％「オン」であることがあり、およびさらに他の特徴は２０％「オン」であることがある。そうであるから、このようなシステムでは、画像再構成中にこれらのプロセス変動を考慮に入れるためにSIM撮像アルゴリズムを利用できることを理解されたい。例えば、構造化照明パラメータの変動はこれらの変動を説明するために、経時的に見積もられ及び/又は予測され得る。

【0144】

本明細書で使用されるように、モジュールという用語は、本出願の1つ以上の実施形態に従って実行することができる機能の所与のユニットを記述することができる。本明細書で使用されるように、モジュールは、任意の形態のハードウェア、ソフトウェア、またはそれらの組み合わせを利用して実装され得る。例えば、モジュールを構成するために、1つ以上のプロセッサ、コントローラ、ASIC、PLA、PAL、CPLD、フィールドプログラマブルゲートアレイ（FPGA）、論理コンポーネント、ソフトウェアルーチンまたは他のメカニズムを実装することができる。実装において、本明細書で説明される様々なモジュールは個別のモジュールとして実装されてもよく、または説明される機能および特徴は1つ以上のモジュールの間で部分的にまたは全体的に共有されてもよい。言い換えれば、この説明を読んだ後に当業者に明らかになるように、本明細書で説明される様々な特徴および機能は、任意の所与のアプリケーションで実装され得、様々な組合せおよび順列で1つ以上の別個のモジュールまたは共有モジュールで実装され得る。機能の様々な特徴または要素は個別のモジュールとして個別に説明または請求され得るが、当業者はこれらの特徴および機能が1つ以上の共通のソフトウェアおよびハードウェア要素の間で共有され得ることを理解し、そのような説明は、そのような特徴または機能を実装するために、個別のハードウェアまたはソフトウェア構成要素が使用されることを必要とせず、または暗示するものではない。

【0145】

本明細書では、用語「コンピュータ可読媒体」、「コンピュータ使用可能媒体」および「コンピュータプログラム媒体」は一般に、例えば、メモリ、記憶ユニット、および媒体などの揮発性または無不揮発性である固定の媒体を指すために使用される。これらおよび他の様々な形態のコンピュータプログラム媒体またはコンピュータ使用可能媒体は実行のために1つ以上の命令の1つ以上の配列を処理デバイスに搬送することに関与することができる。媒体に組み込まれるそのような命令は一般に、「コンピュータプログラムコード」または「コンピュータプログラム製品」(コンピュータプログラムまたは他のグループの形態でグループ化することができる)と呼ばれる。

【0146】

種々の実装例および実施形態に関して上述したが、1つ以上の個々の実施形態に記載された種々の特徴、態様および機能性はそれらが記載された特定の実施例への適用可能性に限定されるものではなく、代わりに、そのような実施形態が記載されているか否か、およびそのような特徴が記載された実施形態の一部であるか否かにかかわらず、単独で、または種々の組み合わせで、本出願の他の実施形態の1つ以上に適用可能であることが理解されるべきである。したがって、本出願の幅および範囲は、上述の例示的な実施形態のいずれによっても限定されるべきではない。

【0147】

前述の概念のすべての組み合わせ(そのような概念が相互に矛盾しない限り)は、本明細書で開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開示の末尾にある特許請求の範囲の主題のすべての組み合わせは、本明細書に開示される本発明の主題の一部であると考えられる。

【0148】

特許請求の範囲を含む、本開示全体にわたって使用される「実質的に」および「約」という用語は、処理の変動などによる小さな変動を記述し、説明するために使用される。例えば、これらの用語は、±5%以下、例えば±2%以下、例えば±1%以下、例えば±0.5%以下、例えば±0.2%以下、例えば±0.1%以下、例えば±0.05%以下を指すことができる。

【0149】

適用可能な範囲で、本明細書における用語「第1」、「第2」、「第3」などは、単に、これらの用語によって説明されるそれぞれの目的を別個のエンティティとして示すために使用され、本明細書において明示的に別段の記載がない限り、時系列順の意味を暗示することを意味しない。

【0150】

本書で使用されている用語及び語句、ならびにそれらのバリエーションは別途明示的に記載されていない限り、限定ではなく、オープンエンド型の意味にとる必要がある。前述の例として、「含む」という用語は限定なしに「含む」などを意味するものとして解釈されるべきであり、「例」という用語は論議中の項目のいくつかの例を提供するために使用され、そのリストは網羅的または限定的なものではなく、「1つの」または「1つの」（“a” or “an”）という用語は「少なくとも1つの」または「1つ以上の」などを意味するものとして解釈されるべきであり、「従来の」、「伝統的な」、「通常の」、「標準の」、「既知の」などの形容詞、および同様の意味の用語は記載された項目を、所与の期間にまたは所与の時間に利用可能な項目に限定するものと解釈されるべきではなく、代わりに、現在または将来において利用可能であるかまたは既知である可能性がある、従来の、伝統的な、通常の、または標準の技術を包含するものと解釈されるべきである。同様に、本明細書が当業者に明らかであるか又は知られている技術に言及する場合、そのような技術は、現在又は将来の任意の時点で当業者に明らかであるか又は知られている技術を包含する。

【0151】

「1つ以上」、「少なくとも」、「ただし、これらに限定されない」、またはいくつかの事例における他の同様の語句などの拡張語および句の存在は、そのような拡張語句が存在しない可能性がある事例において、より狭い事例が意図され、または必要とされることを意味すると解釈されるべきではない。「モジュール」という用語の使用は、モジュールの一部として説明または請求される構成要素または機能がすべて共通のパッケージ内に構成されることを意味するものではない。実際に、モジュールの様々な構成要素のいずれかまたはすべては、制御ロジックまたは他の構成要素であろうと、単一のパッケージに組み合わされるか、または別々に維持されることができ、さらに、複数のグループ若しくはパッケージに、または複数の位置にわたって分散されることができる。

【0152】

さらに、本明細書で説明される様々な実装形態は、例示的なブロック図、フローチャートおよび他の図に関して説明される。本明細書を読んだ後、当業者には明らかになるように、例示された実施形態およびそれらの様々な代替形態は、例示された例に限定されることなく実施することができる。例えば、ブロック図及びそれらの付随する説明は、特定のアーキテクチャ又は構造を指定するものとして解釈されるべきではない。

【0153】

本開示のさまざまな実施形態が上述されてきたが、それらは限定ではなく、例としてのみ提示されてきたことが理解されるべきである。同様に、様々な図は、本開示に含まれ得る特徴および機能を理解するのを助けるために行われる、本開示のための例示的なアーキテクチャまたは他の構成を示すことができる。本開示は例示されたアーキテクチャまたは構成に限定されるものではないが、所望の特徴は種々の代替アーキテクチャおよび構成を使用して実施することができる。実際、本開示の所望の特徴を実施するために、代替の機能的、論理的、または物理的な区分および構成をどのように実施することができるかは、当業者には明らかであろう。また、本明細書に示されたもの以外の多数の異なる構成モジュール名を、様々なパーティションに適用することができる。さらに、フロー図、動作説明、および方法クレームに関して、本明細書で工程が提示される順序は文脈が別段の指示をしない限り、様々な実装が、列挙された機能を同じ順序で実行するように実装されることを強制するものではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】