(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0018】
[第1実施形態]
以下、本発明の第1実施形態として構造化照明顕微鏡装置を説明する。
【0019】
先ず、構造化照明顕微鏡装置1の構成を説明する。
【0020】
図1は、構造化照明顕微鏡装置1の構成図である。
図1に示すとおり構造化照明顕微鏡装置1には、レーザユニット100と、光ファイバ11と、照明光学系10と、結像光学系30と、第1撮像素子351、第2撮像素子352と、制御装置39と、画像記憶・演算装置40と、画像表示装置45とが備えられる。なお、照明光学系10は落射型であり、結像光学系30の第1ダイクロイックミラー7及び対物レンズ6を介して標本5の照明を行う。
【0021】
レーザユニット100には、第1レーザ光源101、第2レーザ光源102、シャッタ103、104、ミラー105、ダイクロイックミラー106、音響光学可変フィルタ(AOTF)107、レンズ108、回転拡散板109、回転機構109A、センサ109B、レンズ110、111、FCコネクタ112が備えられる。
【0022】
第1レーザ光源101及び第2レーザ光源102の各々は可干渉光源であって、互いの出射波長は異なる。ここでは、第1レーザ光源101の波長λ1は、第2レーザ光源102の波長λ2よりも長いと仮定する(λ1>λ2)。
【0023】
第1レーザ光源101から射出した波長λ1のレーザ光(第1レーザ光)は、シャッタ103、ミラー105を介してダイクロイックミラー106へ入射すると、そのダイクロイックミラー106を反射する。一方、第2レーザ光源102から射出した波長λ2のレーザ光(第2レーザ光)は、シャッタ104を介してビームスプリッタ106へ入射すると、そのダイクロイックミラー106を透過し、第1レーザ光と統合される。
【0024】
ダイクロイックミラー106から射出したレーザ光(第1レーザ光及び第2レーザ光の少なくとも一方)は、AOTF107、レンズ108、回転拡散板109、レンズ110、レンズ111、FCコネクタ112を介して光ファイバ11の入射端に入射する。
【0025】
このうちレンズ108には、レーザ光(第1レーザ光及び第2レーザ光の少なくとも一方)を回転拡散板109上に集光させる機能があり、レンズ110、110には、回転拡散板109上に形成された集光点(レーザスポット)の像を、光ファイバ11の入射端に適当な倍率で投影する働きがある。
【0026】
ここで、回転拡散板109は、
図2(A)、(B)に示すとおり多数の微細な構造物(微細レンズや微細粒子など)をランダムに配列した透過型の拡散板であり、その基板の一部をレーザ光の光路(レーザスポットの近傍)へ挿入させている。この回転拡散板109の回転軸109Sは、レーザ光の光路に対して平行であって、レーザ光の集光点(レーザスポット)から外れている。この回転軸109Sの周りに回転拡散板109が回転すると、レーザスポットに作用する拡散パターンが変化し、その回転が繰り返されると、レーザスポットに作用する拡散パターンが周期変化する。よって、この回転拡散板109には、光ファイバ11に向かうレーザ光の時間的コヒーレンシーを低減し、後述する干渉縞の強度ムラを抑えるという働きがある。
【0027】
なお、回転拡散板109を回転させる回転機構109A(
図1)のモータとしては、振動の少ないブラシレスモータなどが適している。ブラシレスモータは、10000rpm〜40000rpmの回転数で回転拡散板109を回転させることが可能であり、現状では、10000rpm程度であれば回転拡散板109の回転速度を安定させることができる。よって、以下では回転拡散板109の回転数は10000rpmに設定されたと仮定する。因みにこの回転数10000rpmを回転周期に換算すると、6msである。
ここで、回転周期とは、回転拡散板109が1回転するのに要する時間のことである。
【0028】
また、回転拡散板109の外周側の所定位置には、非透過性のマーク109Aが形成されており、マーク109Aの軌跡上の所定箇所には、センサ109Bが非接触の状態で配置される。このセンサ109Bはフォトインタラプタなどで構成されており、センサ109Bにマーク109Aが正対しているときには、センサ109Bの検出信号の値は小さくなり、センサ109Bにマーク190Aが正対していないときには、センサ109Bの検出信号の値は大きくなる。よって、センサ109Bの検出信号は、回転拡散板109の回転タイミングを示す信号(タイミング信号)として使用可能である。
【0029】
図1に戻り、光ファイバ11は、レーザ光を導光するマルチモード光ファイバであり、回転拡散板109によるコヒーレンシー低減効果を維持したままレーザ光を導光することができる。この光ファイバ11の入射端に入射したレーザ光(第1レーザ光及び第2レーザ光の少なくとも一方)は、光ファイバ11の内部を伝搬して光ファイバ11の出射端に点光源を生成し、照明光学系10へ入射する。
【0030】
照明光学系10には、点光源の側から順に、コレクタレンズ12と、偏光板23と、回折光学素子(回折格子)13と、集光レンズ16と、0次光カットマスク14と、レンズ25と、視野絞り26と、フィールドレンズ27と、励起フィルタ28と、第1ダイクロイックミラー7と、対物レンズ6とが配置される。
【0031】
点光源から射出したレーザ光(第1レーザ光及び第2レーザ光の少なくとも一方)は、コレクタレンズ12によって平行光束に変換され、偏光板23を介して回折格子13へ入射すると、各次数の回折光束に分岐される。これら各次数の回折光束は、集光レンズ16によって瞳共役面6A’の互いに異なる位置に集光される。
【0032】
ここで、瞳共役面6A’とは、レンズ16の焦点位置(後ろ側焦点位置)であって、後述する対物レンズ6の瞳6A(±1次回折光が集光する位置)に対してレンズ27、レンズ25を介して共役な位置のことである(これらの位置の概念には、当業者が対物レンズ6、レンズ27、25の収差、ビネッティング等の設計上必要な事項を考慮して決定した位置も含まれる。)。
また、回折格子13は、照明光学系10の光軸と垂直な方向にかけて周期構造を有した1方向回折格子であり、偏光板23は、レーザ光の偏光方向を回折格子13の格子線と同じ方向に整える偏光板である。
【0033】
このうち回折格子13は、ピエゾモータ等からなる並進機構15Aによって回折光束の分岐方向(=瞳共役面6A’における±1次回折光束の集光点の配列方向)にかけて並進移動が可能である。なお、並進移動の方向は、分岐方向に一致していなくとも、分岐方向と同方向の成分を有した方向であればよい。この方向に回折格子13が並進移動すると、後述する干渉縞の位相がシフトする。
【0034】
また、回折格子13及び偏光板23及び並進機構15Aの双方は、電気モータ等からななる回動機構15Bによって光軸の周りに120°のピッチで回動可能である。回折格子13が回動すると、後述する干渉縞の方向が0°、120°、240°の間で切り替わり、回折格子13と共に偏光板23が回動すれば、干渉縞の方向と偏光方向との関係は維持される。
【0035】
なお、並進機構15Aによる並進移動の方向は、回折格子13の回動位置が0°、120°、240°の何れであった場合にも干渉縞の位相をシフトできるような所定方向に設定されるものとする。但し、この場合、並進移動量と位相シフト量との関係は回折格子13の回動位置によって異なるので、回折格子13の回動位置に依らず位相シフト量が等しくなるよう、並進移動のピッチは回折格子13の回動位置毎に設定されるものとする。
【0036】
回折格子13から射出し、瞳共役面6A’に向かった各次数の回折光束は、瞳共役面6A’の近傍に配置された0次光カットマスク14へ入射する。0次光カットマスク14は、入射した各次数の回折光束のうち必要な回折光束のみ(ここでは±1次回折光束のみとする。)を選択的に通過させるマスクである。なお、0次光カットマスク14は、マスク用の基板に複数の開口部又は透過部を形成したものであり、基板において開口部又は透過部の形成される位置は、瞳共役面6A’において±1次回折光束が入射する位置に対応する。
【0037】
この0次光カットマスク14を通過した±1次回折光束は、レンズ25によって視野絞り26付近で回折格子13と共役な面を形成した後に、フィールドレンズ27により平行光に変換され、さらに励起フィルタ28を経てから第1ダイクロイックミラー7で反射し、対物レンズ6の瞳面6A上の互いに異なる位置に集光される。
【0038】
瞳面6A上に集光した±1次回折光束の各々は、対物レンズ6の先端から射出される際には平行光束となり、標本5の表面で互いに重なり合い、干渉縞を形成する。この干渉縞が、構造化照明光として使用される。
【0039】
このような干渉縞により標本5を照明すると、干渉縞の周期構造と標本5の(蛍光領域の)周期構造とがモアレ縞を生成するが、このモアレ縞においては、標本5の高周波数の構造が元の周波数より低周波数側にシフトしているため、この構造に応じて発生した光は、元の角度よりも小さい角度で対物レンズ6へ向かうことになる。よって、干渉縞により標本5を照明すると、標本5の有する高周波数の構造情報までもが対物レンズ6によって伝達される。
【0040】
ここで、標本5は、例えば、平行平板状のガラス表面に滴下された培養液であって、その培養液におけるガラス界面の近傍には、蛍光性を有した細胞(蛍光色素で染色された細胞)が存在している。この細胞には、波長λ1の第1レーザ光によって励起される第1蛍光領域と、波長λ2の第2レーザ光によって励起される第2蛍光領域との双方が発現している。第1蛍光領域では、第1レーザ光に応じて中心波長λ1’の第1蛍光が発生し、第2蛍光領域では、第2レーザ光に応じて中心波長λ2’の第2蛍光が発生する。
【0041】
標本5で発生した蛍光(第1蛍光及び第2蛍光の少なくとも一方)は、結像光学系30へ入射する。結像光学系30には、標本5の側から順に、対物レンズ6と、第1ダイクロイックミラー7と、バリアフィルタ31と、第2対物レンズ32と、第2ダイクロイックミラー35とが配置される。
【0042】
標本5で発生した蛍光(第1蛍光及び第2蛍光の少なくとも一方)は、対物レンズ6に入射すると、対物レンズ6で平行光に変換された後、第1ダイクロイックミラー7、バリアフィルタ31、第2対物レンズ32を介して第2ダイクロイックミラー35へ入射する。第2ダイクロイックミラー35へ入射した第1蛍光は、第2ダイクロイックミラー35を反射し、第2ダイクロイックミラー35へ入射した第2蛍光は、第2ダイクロイックミラー35を透過する。
【0043】
第2ダイクロイックミラー35を反射した第1蛍光は、第1撮像素子351の撮像面361上に第1蛍光領域の変調像を形成し、第2ダイクロイックミラー35を透過した第2蛍光は、第2撮像素子352の撮像面362上に第2蛍光領域の変調像を形成する。
【0044】
第1撮像素子351、第2撮像素子352の各々は、CCD、CMOS等の電荷蓄積型の二次元撮像素子である。第1撮像素子351は、第1蛍光領域の変調像を撮像することで第1変調画像を生成して制御装置39へ送出し、第2撮像素子352は、第2蛍光領域の変調像を撮像することで第2変調画像を生成して制御装置39へ送出する。
【0045】
制御装置39は、第1レーザ光源101、第2レーザ光源102、シャッタ103、104、AOTF107、回転機構109A、センサ109B、並進機構15A、回動機構15B、第1撮像素子351、第2撮像素子352の各々を制御することで一連の第1変調画像及び一連の第2変調画像を取得すると、それら一連の第1変調画像及び一連の第2変調画像を画像記憶・演算装置40へ与える。
【0046】
ここで、制御装置39は、AOTF107の波長λ1に対する透過率を制御することにより、標本5に対する第1レーザ光の照射強度を制御することができる。これによって、第1蛍光領域の変調像の明るさを適正にし、撮像素子351のダイナミックレンジを有効利用することができる。
【0047】
また、制御装置39は、AOTF107の波長λ2に対する透過率を制御することにより、標本5に対する第2レーザ光の照射強度を制御することができる。これによって、第2蛍光領域の変調像の明るさを適正にし、撮像素子352のダイナミックレンジを有効利用することができる。
【0048】
また、制御装置39は、第1レーザ光源101のオン/オフタイミング、シャッタ103の開/閉タイミング、AOTF107の波長λ1に対するオン/オフタイミングの組み合わせを制御することにより、標本5に対する第1レーザ光の照射タイミングを制御することができる。
【0049】
また、制御装置39は、第2レーザ光源102のオン/オフタイミング、シャッタ104の開/閉タイミング、AOTF107の波長λ2に対するオン/オフタイミングの組み合せを制御することにより、標本5に対する第2レーザ光の照射タイミングを制御することができる。
【0050】
また、制御装置39は、第1撮像素子351の電荷蓄積タイミング及び電荷読出タイミングを制御することにより、第1撮像素子351のフレーム周期を制御することができる。
【0051】
また、制御装置39は、第2撮像素子352の電荷蓄積タイミング及び電荷読出タイミングを制御することにより、第2撮像素子352のフレーム周期を制御することができる。
ここで、フレーム周期とは、撮像素子による、ある画像の撮像開始から次の画像の撮像開始までの時間のことである。
【0052】
また、制御装置39は、第1撮像素子351のフレーム周期内の電荷蓄積期間と、第1撮像素子351と標本5との間に配置されたメカシャッタ(不図示)のフレーム周期内の開放期間との組み合わせを制御することにより、第1撮像素子351のフレーム周期内の露光時間(蛍光の受光時間)を制御することができる。
【0053】
また、制御装置39は、第2撮像素子352のフレーム周期内の電荷蓄積期間と、第2撮像素子352と標本5との間に配置されたメカシャッタ(不図示)のフレーム周期内の開放期間と組み合わせを制御することにより、第2撮像素子352のフレーム周期内の露光時間(蛍光の受光時間)を制御することができる。
【0054】
なお、第1撮像素子351の露光時間の制御は、第1レーザ光の照射期間の制御により行うことも可能だが、第1レーザ光の照射期間と第1蛍光の発光期間とは完全に一致するとは限らず、制御の応答性を維持するのが難しい。よって、本実施形態では、第1撮像素子351の露光時間の制御は、上記したとおり、第1レーザ光の照射期間以外のパラメータの制御により行われるものとする。この場合、第1レーザ光の照射波形は連続波(CW)に設定される。
【0055】
同様に、第2撮像素子352の露光時間の制御は、第2レーザ光の照射期間の制御により行うことも可能だが、第2レーザ光の照射期間と第2蛍光の発光期間とは完全に一致するとは限らず、制御の応答性を維持するのが難しい。よって、本実施形態では、第2撮像素子352の露光時間の制御は、上記したとおり、第2レーザ光の照射期間以外のパラメータの制御により行われるものとする。この場合、第2レーザ光の照射波形は連続波(CW)に設定される。
【0056】
また、本実施形態では、第1撮像素子351のフレーム周期内の露光時間Te
1と、第2撮像素子352のフレーム周期内の露光時間Te
2とが個別に設定されるのに対して、第1撮像素子351のフレーム周期と第2撮像素子352のフレーム周期とは、共通の値Tfに設定されるものとする。また、本実施形態では簡単のため、第1撮像素子351の電荷読出時間と、第2撮像素子532の電荷読出時間とは、共通の値To(例えば10ms)であると仮定する。
【0057】
画像記憶・演算装置40は、制御装置39から与えられた一連の第1変調画像に対して公知の復調演算を施し、第1復調画像(第1超解像画像)を生成すると共に、制御装置39から与えられた一連の第2変調画像に対して公知の復調演算を施し、第2復調画像(第2超解像画像)を生成する。なお、公知の復調演算としては、例えば、米国特許8115806に開示された方法を用いることができる。画像記憶・演算装置40は、それらの第1超解像画像及び第2超解像画像を画像記憶・演算装置40の内部メモリ(図示せず)に記憶するとともに、画像表示装置45へと送出する。
【0058】
次に、制御装置39の動作を詳しく説明する。制御装置39は、復調演算に必要な一連の第1変調画像と、復調演算に必要な一連の第2変調画像とを、以下の手順(1)〜(7)で取得する。
【0059】
(1)制御装置39は、回動機構15Bを駆動することにより、回折格子13(及び偏光板23)の回動位置を0°(第1方向)に設定する。また、制御装置39は、回転機構109Aを駆動することにより、回転拡散板109の回転を開始する。
【0060】
(2)制御装置39は、回転拡散板109の回転数が安定した時点で、並進機構15Aの駆動を開始することにより、回折格子13の並進移動を開始する。
【0061】
(3)制御装置39は、回折格子13の並進移動中に第1撮像素子351、第2撮像素子352の双方の露光(撮像)を複数枚に亘って繰り返す。
【0062】
ここで、標本5が生体標本である場合には、複数枚に亘る撮像期間中に標本5が変化する可能性があり、その場合は、変調画像上に疑似モアレが発生し、復調画像上にアーティファクトノイズの重畳する虞がある。このため、標本5が生体標本である場合は、フレーム周期内の第1撮像素子351の露光時間Te
1と、フレーム周期内の第2撮像素子532の露光時間Te
2とをそれぞれ最小限(例えば1ms未満)に抑え、このうち長い方の露光時間(例えばTe
2=1ms)と電荷読出時間To(例えば10ms)との和によって表される最短フレーム周期Ts=11msに、第1撮像素子351及び第2撮像素子352のフレーム周期Tfを設定することが考えられる。
【0063】
しかしながら、第1撮像素子351及び第2撮像素子352のフレーム周期Tfを最短フレーム周期Ts=11msに設定すると、一連の第1変調画像のフレーム間及び一連の第2変調画像のフレーム間に輝度ムラの発生することが判明した。そこで、本実施形態の制御装置39は、複数枚に亘る撮像期間中に以下の手順(4)を実行する。
【0064】
(4)制御装置39は、複数枚に亘る撮像期間中、センサ109Bを駆動することで回転拡散板109の回転周期Tr(回転拡散板109が1回転するのに要する時間)を検知し、第1撮像素子351及び第2撮像素子352のフレーム周期Tfを、
図4(A)、(B)、(C)に示すとおり、その回転周期Trの整数倍に設定する。
【0065】
具体的に、制御装置39は、第1撮像素子351の露光時間Te
1と第2撮像素子352の露光時間Te
2とのうち長い方の露光時間(例えばTe
2=1ms)と電荷読出時間To=10msとの和からなる最短フレーム周期Ts=11msを算出し、回転周期Tr=6msの整数倍(Tr=6ms、2Tr=12ms、3Tr=18ms、4Tr=24ms、…)のうち、最短フレーム周期Ts=11ms以上であって、その最短フレーム周期Ts=11msに最も近い値(12ms)に、フレーム周期Tfを設定する。
【0066】
但し、複数枚に亘る撮像期間中には回転周期Trが揺らぐ虞もある。そこで、この手順(4)における制御装置39は、センサ109Bの生成するタイミング信号をトリガーとして各フレームの露光を行う。つまり、フレーム周期TfがTf=n×Trで表される場合、制御装置39は、タイミング信号がn回生成される毎に第1撮像素子351及び第2撮像素子352を駆動する。このようにすれば、回転周期Trの揺らぎに対処することができる。
【0067】
因みに、タイミング信号の生成から第1撮像素子352及び第2撮像素子352の露光開始までに多少のディレイ時間が発生するが、複数枚に亘る撮像期間中にディレイ時間が変動しないのであれば、ディレイ時間が発生すること自体には何ら問題が無い。
【0068】
このように、第1撮像素子351のフレーム周期Tfを回転周期Trの整数倍に制御すれば、
図5(A)に示すとおり、回転拡散板109上でレーザスポットが第1撮像素子351の露光期間中に掃引する領域(掃引領域)をフレーム間で共通化することができるので、回転拡散板109の透過率にムラがあったとしても、一連の第1変調画像のフレーム間に輝度ムラが発生することは無い。このことは、第2撮像素子352(つまり第2変調画像)についても同様に当てはまる(
図5(B)参照。)。
【0069】
因みに、
図6(A)、(B)、(C)に示すとおり、第1撮像素子351のフレーム周期Tfを回転周期Trの非整数倍にした場合は、
図7(A)に示すとおり、回転拡散板109上でレーザスポットが第1撮像素子351の露光期間中に掃引する領域(掃引領域)をフレーム間で共通化することはできないので、回転拡散板109の透過率にムラがあったならば、一連の第1変調画像のフレーム間に輝度ムラが発生する。このことは、第2撮像素子352(つまり第2変調画像)についても同様に当てはまる(
図7(B)参照。)。
【0070】
また、第1変調画像のフレーム間の輝度ムラは、
図7(A)に示す掃引領域が短いときほど、つまり露光時間Te
1が回転周期Trと比較して短いときほど、発生しやすいので、この手順(4)を実行する意義は大きいと考えられる。このことは、第2変調画像(つまり第2撮像素子352)についても同様に当てはまる。
【0071】
(5)制御装置39は、複数枚に亘る撮像期間中、回折格子13の並進移動のピッチを、前述したフレーム周期Tfに応じたピッチに設定することで、一連の第1変調画像の隣接フレーム間の干渉縞の位相差と、一連の第2変調画像の隣接フレーム間の干渉縞の位相差との各々を、2π未満の所定値Δφに設定する。
【0072】
(6)制御装置39は、回動機構15Bを駆動することにより、回折格子13(及び偏光板23)の回動位置を120°(第2方向)に設定し、その状態で手順(2)〜(5)を実行する。
【0073】
(7)制御装置39は、回転機構15Bを駆動することにより、回折格子13(及び偏光板23)の回動位置を240°(第3方向)に設定し、その状態で手順(2)〜(5)を実行する。
【0074】
以上の手順(1)〜(7)により、制御装置39は、干渉縞の方向が第1方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第1変調画像と、干渉縞の方向が第2方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第1変調画像と、干渉縞の方向が第3方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第1変調画像とを順に取得する。これらの少なくとも9枚の第1変調画像が、第1超解像画像の生成に必要な一連の第1変調画像である。
【0075】
それと並行して、以上の手順(1)〜(7)により、制御装置39は、干渉縞の方向が第1方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第2変調画像と、干渉縞の方向が第2方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第2変調画像と、干渉縞の方向が第3方向であって干渉縞の位相がΔφずつずれた少なくとも3枚の第2変調画像とを順に取得する。これらの少なくとも9枚の第2変調画像が、第2超解像画像の生成に必要な一連の第2変調画像である。
【0076】
以上、本実施形態の構造化照明顕微鏡装置1は、レーザ光源(101、102)からのレーザ光で試料(標本5)を照明する照明光学系(10)と、前記照明光学系(10)により照明された前記試料(標本5)を繰り返し撮像する撮像部(撮像素子351、352)とを備え、前記照明光学系(10)は、光拡散素子(回転拡散板109)を含み、前記光拡散素子(回転拡散板109)において前記レーザ光が照射される領域の拡散パターンを周期的に変化させる制御部(回転機構109A、制御装置39)を更に備え、前記制御部(回転機構109A、制御装置39)は、前記撮像の撮像時間中における前記拡散パターンの変化が、繰り返される複数の前記撮像の間で互いに同じになるように設定を行う。
【0077】
また、前記制御部(回転機構109A、制御装置39)は、前記撮像の繰り返し周期(Tf)が拡散パターンの変化周期(Tr)の整数倍になるように前記設定を行う。
【0078】
なお、撮像の繰り返し周期(Tf)とは、フレーム周期と同様に、前記試料(標本5)の像(変調像)の撮像開始から次の標本の像(変調像)の撮像開始までの時間のことである。
【0079】
また、拡散パターンの変化周期(Tr)とは、一連の拡散パターンの(1セット分の)変化に要する時間のことである。
【0080】
また、ここでは、拡散パターンの変化が複数の前記撮像の間で互いに同じとみなす範囲を、次のとおりとする。すなわち、撮像される実視野内が一様な明るさである試料(標本5)を共通の照明条件及び共通の撮像条件で繰り返し撮像することにより複数の画像(画像セット)を取得したと仮定し、その画像セットのうち、画像を構成する全画素の輝度値の平均値が最も低い画像を基準画像とおく。このとき、基準画像以外の画像の各画素の輝度値と基準画像の対応画素の輝度値との差が±7%以下(好ましくは±5%以下)である場合に、繰り返された複数の前記撮像の間で、拡散パターンの変化が同じであったとみなす。これを実現するためには、前記光拡散素子(回転拡散板109)のうち撮像開始タイミングで光束が通過する位置と、拡散パターンの回転基準位置とのズレが、撮像時間に光束が掃引する弧の長さに対して±7%以下(好ましくは±5%以下)であればよい。整数倍の条件についても上記範囲内であれば整数倍とみなす。
【0081】
したがって、本実施形態の構造化照明顕微鏡装置1は、フレーム内の輝度ムラとフレーム間の輝度ムラとの双方を抑えることができる。
【0082】
具体的に、上述した手順(4)において、フレーム周期Tfを11ms(つまり回転周期Trの非整数倍)に設定した場合は、フレーム間の輝度変動量がフレーム間の平均輝度の18%もあったのに対し、フレーム周期Tfを12ms(つまり回転周期Trの整数倍)に設定した場合は、フレーム間の輝度変動量がフレーム間の平均輝度の0.6%にまで抑えることができた。
【0083】
また、フレーム間の輝度ムラを抑える別の方法として、回転拡散板の枚数を複数化する方法もあるが、この方法で本実施形態と同様の効果を得るためには、回転拡散板の枚数を3以上にする必要があり、これではレーザ光の光量ロスが大きい。したがって、本実施形態の方法は、レーザ光の光量ロスが抑えられるという点においても有効である。
【0084】
また、前記制御部(回転機構109A、制御装置39)は、前記拡散パターンの変化周期(Tr)に応じて前記撮像の繰り返し周期(Tf)を調整する。
【0085】
また、前記制御部(回転機構109A、制御装置39)は、前記撮像の繰り返し周期(Tf)を調整するために前記撮像部(撮像素子351、352)への駆動信号を調整する。
【0086】
したがって、前記制御部(回転機構109A、制御装置39)は、拡散パターンの変化周期(Tr)に揺らぎが生じたとしても、それに対処することができる。
【0087】
また、本実施形態の構造化照明顕微鏡装置1において、前記光拡散素子(回転拡散板109)は、回転可能な光拡散板である。
【0088】
したがって、本実施形態の構造化照明顕微鏡装置1は、拡散パターンの変化周期(Tr)を安定させることが容易であり、その結果、撮像の繰り返し周期(Tf)を拡散パターンの変化周期(Tr)の整数倍に維持することも容易である。
【0089】
また、本実施形態の構造化照明顕微鏡装置1では、前記レーザ光源(101、102)と前記照明光学系(10)との間でレーザ光を中継するマルチモードの光ファイバ(11)を更に備え、前記光拡散素子(回転拡散板109)の挿入箇所は、レーザ光源(101、102)と光ファイバ(11)との間である。
【0090】
したがって、本実施形態の構造化照明顕微鏡装置1では、振動の発生源となりうる前記光拡散素子(回転拡散板109)の挿入箇所を照明光学系(10)から隔離することと、前記光拡散素子(回転拡散板109)によるコヒーレンシーの低減効果を維持することとの双方が可能である。
【0091】
また、本実施形態の構造化照明顕微鏡装置1において、前記レーザ光源(101、102)には、第1レーザ光を出射する第1レーザ光源(101)と、第1レーザ光とは波長の異なる第2レーザ光を出射する第2レーザ光源(102)とがあり、前記撮像部(531、532)には、第1レーザ光に応じて前記試料(標本5)から射出した第1観察光(第1蛍光)を受光する第1撮像素子(531)と、第2レーザ光に応じて前記試料(標本5)から射出した第2観察光(第2蛍光)を受光する第2撮像素子(352)とがあり、第1撮像素子(351)の1回の撮像の露光時間(Te
1)と、第2撮像素子(352)の1回の撮像の露光時間(Te
2)とは、前記制御部(制御装置39)により個別に調整可能である。
【0092】
したがって、本実施形態の構造化照明顕微鏡装置1は、波長の異なる2つの像を並行して撮像することができ、しかも、それら2つの像の明るさの相違にも対処することができる。
【0093】
また、本実施形態の構造化照明顕微鏡装置1は、レーザ光による干渉縞で前記試料(標本5)を構造化照明するものであって、前記撮像部(撮像素子351、352)が取得した一連の変調画像は、超解像画像を生成するための復調演算に使用される。
【0094】
したがって、上述したとおりフレーム間の輝度ムラを抑えれば、復調演算の精度を向上させ、超解像効果を高めることができる。
【0095】
[第1実施形態の変形例]
なお、第1実施形態の制御装置39は、拡散パターンの変化周期(Tr)に応じて撮像の繰り返し周期(Tf)を調整したが、その反対に、撮像の繰り返し周期(Tf)に応じて拡散パターンの変化周期(Tr)を調整してもよい。
【0096】
具体的に、制御装置39は、第1撮像素子351の露光時間Te
1と第2撮像素子352の露光時間Te
2とのうち長い方の露光時間と電荷読出時間との和によって表される最短フレーム周期Tsに第1撮像素子351及び第2撮像素子352のフレーム周期Tfを一致させ、フレーム周期Tfが回転周期Trの整数倍となるよう、そのフレーム周期Tfに応じて回転周期Trを設定する。よって、例えば、フレーム周期Tfが11msである場合は、回転周期Trは5.5msなどに設定される。この回転周期を回転数に換算すると、10909rpmである。
【0097】
このように、フレーム周期Tfに応じて回転周期Trの方を調節すれば、フレーム周期Tfを最短フレーム周期Tsに一致させることができるので、動きの速い標本5を観察する場合に好適である。
【0098】
但し、回転周期Trの調整をするためには、回転機構109Aのモータの回転速度を調整する必要があり、その回転速度が設定速度に安定するまでには時間が掛かるので、撮像期間の前に一定の準備期間が必要となる。
【0099】
また、第1実施形態の構造化照明顕微鏡装置1では、光拡散素子として回転可能な光拡散板を使用したが、拡散パターンが可変の光拡散素子(例えば、液晶素子など)を使用し、その拡散パターンを電気制御によって周期変化させてもよい。
【0100】
また、第1実施形態の構造化照明顕微鏡装置1では、励起フィルタ28、第1ダイクロイックミラー7、バリアフィルタ31の各々をデュアルバンド対応型(2種類のレーザ光又は2種類の蛍光に作用するタイプ)としたが、このうち励起フィルタ28、バリアフィルタ31については、デュアルバンド対応型でなくても構わない。また、励起フィルタ28は省略することが可能であり、バリアフィルタ31の配置先は、第2ダイクロイックミラー35の前段ではなく後段(第1撮像素子351、第2撮像素子352の各々の直前)であっても構わない。
【0101】
また、第1実施形態の構造化照明顕微鏡装置1では、波長の異なる2つの変調像を2つの撮像素子(第1撮像素子351、第2撮像素子352)で並行に撮像したが、波長の異なる2つの変調像を2つの撮像素子(第1撮像素子351、第2撮像素子352)で順次に撮像してもよい。その場合、制御装置39は、第1撮像素子351のフレーム周期Tf
1と第2撮像素子352のフレーム周期Tf
2とを個別に設定することができる。
【0102】
例えば、制御装置39は、第1撮像素子351の露光時間Te
1と電荷読出時間Toとの和からなる最短フレーム周期Ts
1を算出し、回転周期Trの整数倍(Tr、2Tr、3Tr、4Tr、…)のうち、その最短フレーム周期Ts
1以上であって、その最短フレーム周期Ts
1に最も近い値に、第1撮像素子351のフレーム周期Tf
1を設定すればよい。また、制御装置39は、第2撮像素子352の露光時間Te
2と電荷読出時間Toとの和からなる最短フレーム周期Ts
2を算出し、回転周期Trの整数倍(Tr、2Tr、3Tr、4Tr、…)のうち、その最短フレーム周期Ts
2以上であって、その最短フレーム周期Ts
2に最も近い値に、第2撮像素子351のフレーム周期Tf
2を設定すればよい。
【0103】
また、第1実施形態の構造化照明顕微鏡装置1では、光源波長の数の切り替え数を2としたが、3以上としてもよい。また、その場合、撮像素子の数を3以上としてもよい。
【0104】
また、第1実施形態の構造化照明顕微鏡装置1では、波長の異なる複数の変調像を並行して撮像するために、撮像素子の個数を複数としたが、複数の変調像を順次に撮像する場合は、撮像素子の個数を1としてもよい。
【0105】
その場合は、第2ダイクロイックミラー35及び撮像素子351を省略すると共に、励起フィルタ28、第1ダイクロイックミラー7、バリアフィルタ31からなるユニット(キューブ)を複数個用意し、光路に配置されるユニットをそれら複数のユニットの間で切り替えながら、撮像素子352を繰り返し駆動すればよい。
【0106】
また、第1実施形態の構造化照明顕微鏡1では、干渉縞の方向を切り替えるために、回動可能な回折格子を使用したが、電気信号に応じて格子方向を切り替えることが可能な回折格子(空間光変調素子)などを使用してもよい。
【0107】
また、第1実施形態では、干渉縞の方向を120°のピッチで切り替えるために、120°のピッチで回動可能な1方向回折格子13と、(非回転の)0次光カットマスク14との組み合わせを使用したが、120°ずつ異なる3方向にかけて周期構造を有した(非回転の)3方向回折格子131’(
図3(A))と、120°のピッチで回動可能な光束選択部材18(
図3(B))との組み合わせを使用してもよい。
【0108】
図3(A)に示すとおり回折格子131’は、0°の方向V
0、120°の方向V
120、240°の方向V
240の各々にかけて周期構造を有しており、それら各方向の周期構造(格子線)の周期(格子ピッチ)は共通である。0°の方向V
0にかけて配列された複数の格子線は、入射光束を0°の方向V
0に分岐するための格子線であり、120°の方向V
120にかけて配列された複数の格子線は、入射光束を120°の方向V
120にかけて分岐するための格子線であり、240°の方向V
240にかけて配列された複数の格子線は、入射光束を240°の方向V
240にかけて分岐するための格子線である。よって、回折格子131’は、方向V
0にかけて分岐した±1次回折光束と、方向V
120にかけて分岐した±1次回折光束と、方向V
240にかけて分岐した±1次回折光束とを、同時に生成することができる。
【0109】
図3(B)に示すとおり光束選択部材18の開口パターンは、これら3対の±1次回折光束のうち何れか1対の±1次回折光束のみを通過させる第1の開口部19及び第2の開口部20からなる。この光束選択部材18は、上述した偏光板23に連動して、光軸の周りに120°のピッチで回動し、干渉縞の方向を3つの方向V
0、V
120、V
240の間で切り替える。因みに、これら第1の開口部19と第2の開口部20との各々の光軸周りの長さは、直線偏光した±1次回折光束が通過できるような長さに設定されている。つまり、第1の開口部19及び第2の開口部20の各々の形状は、部分輪帯状に近い形状である。
【0110】
また、光束選択部材18の外周部には、
図3(B)に示すように複数の(
図3(B)に示す例では6個の)切り欠き21が形成されており、光束選択部材18の近傍において切り欠き21の軌跡に正対する位置には、これらの切り欠き21の有無を検出するためのセンサ22が配置される。このセンサ22は、フォトインタラプタなどで構成され、センサ22に切り欠き21が正対しているときには、センサ22の検出信号の値は大きくなり、センサ22に切り欠き21が正体していないときには、センサ22の検出信号の値は小さくなる。よって、センサ22の検出信号は、光束選択部材18の回動位置を示す信号(角度信号)として使用可能である。
【0111】
また、干渉縞の位相をシフトさせるための回折格子131’(
図3(A))の並進方向は、干渉縞の方向(=選択された±次回折光束の分岐方向)が0°、120°、240°の何れであった場合にも干渉縞の位相をシフトできるような所定方向に設定されるものとする。但し、この場合、並進移動量と位相シフト量との関係は3つの方向V
0、V
120、V
240の間で異なるので、干渉縞の方向に依らず位相シフト量が等しくなるよう、並進移動のピッチは干渉縞の方向毎に設定されるものとする。
【0112】
また、第1実施形態の構造化照明顕微鏡1では、干渉縞の位相をシフトさせるために、並進移動可能な回折格子を使用したが、電気信号に応じて格子位置をシフトさせることが可能な回折格子(空間光変調素子)などを使用してもよい。
【0113】
また、第1実施形態では、干渉縞の方向が同一であり干渉縞の位相のみが異なる一連の第1変調画像の枚数を「少なくとも3」と説明したが、例えば、3枚、又は5枚などと設定される。その場合、第1超解像画像の生成に使用される一連の第1変調画像の枚数は、9枚又は15枚となる。
【0114】
同様に、第1実施形態では、干渉縞の方向が同一であり干渉縞の位相のみが異なる一連の第2変調画像の枚数を「少なくとも3」と説明したが、例えば、3枚、又は5枚などと設定される。その場合、第2超解像画像の生成に使用される一連の第2変調画像の枚数は、9枚又は15枚となる。
【0115】
また、第1実施形態では、構造化照明顕微鏡装置1を2次元構造化照明顕微鏡装置として使用される場合を説明したが、構造化照明顕微鏡装置1を3次元構造化照明顕微鏡装置(3D−SIM:3D-Structured Illumination Microscopy)として利用することもできる。
【0116】
その場合は、0次光カットマスク14又は光束選択部材18には、0次回折光束を通過するための開口部が更に設けられる。なお、この開口部の形成先は、光軸の近傍であって、この開口部の形状は、例えば円形である。このような0次光カットマスク14又は光束選択部材18によると、±1次回折光束だけでなく0次回折光束をも干渉縞に寄与させることができる。
【0117】
このように、3つの回折光束の干渉(3光束干渉)によって生成される干渉縞は、標本5の表面方向だけでなく、標本5の深さ方向にも空間変調されている。よって、この干渉縞によると、標本5の3次元超解像画像を生成することが可能となる。
【0118】
また、第1実施形態では、構造化照明顕微鏡装置1を2次元構造化照明顕微鏡装置として使用する際に、干渉縞に寄与する回折光束として、+1次回折光束と−1次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。
【0119】
また、第1実施形態では、構造化照明顕微鏡装置1を3次元構造化照明顕微鏡装置として使用する際に、干渉縞に寄与する回折光束として、+1次回折光束と−1次回折光束と0次回折光束との組み合わせを使用したが、他の組み合わせを使用してもよいことは言うまでもない。
【0120】
また、第1実施形態では、被観察物(試料)の例として生物標本を説明したが、これに限られることはなく、工業製品の部品等を被観察物(試料)とした場合にも本発明は適用可能である。