(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】光学機器および像の形成方法
(51)【国際特許分類】
G02B 21/00 20060101AFI20231225BHJP
G02B 21/36 20060101ALI20231225BHJP
G01N 21/64 20060101ALI20231225BHJP
G02B 21/06 20060101ALI20231225BHJP
【FI】
G02B21/00
G02B21/36
G01N21/64 F
G01N21/64 E
G02B21/06
(21)【出願番号】P 2021195800
(22)【出願日】2021-12-01
(62)【分割の表示】P 2019232155の分割
【原出願日】2016-03-10
【審査請求日】2021-12-07
(73)【特許権者】
【識別番号】390014960
【氏名又は名称】シスメックス株式会社
(74)【代理人】
【識別番号】100111383
【氏名又は名称】芝野 正雅
(74)【代理人】
【識別番号】100170922
【氏名又は名称】大橋 誠
(72)【発明者】
【氏名】岡田 昌也
(72)【発明者】
【氏名】岩永 茂樹
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】米国特許出願公開第2015/0192510(US,A1)
【文献】特開2007-183336(JP,A)
【文献】国際公開第2015/040925(WO,A1)
【文献】米国特許出願公開第2010/0278400(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 21/00 - 21/36
G02F 1/00 - 7/00
(57)【特許請求の範囲】
【請求項1】
第1の波長の光および第2の波長の光に対して位相変調を与える共通の位相変調マスクと、
前記第1の波長の光および前記第2の波長の光を、前記位相変調マスク上の同一の入射領域に入射させる照射光学系と、
前記位相変調マスクによって位相変調された前記第1の波長の光および前記第2の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備え、
前記位相変調マスクは、
前記照射光学系と前記集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、
前記位相変調器は、
前記第1の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調である前記第1の波長の光用の階調と、
前記第2の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調である前記第2の波長の光用の階調と、の間の階調の入力に基づいて設定された前記位相変調パターンにより、前記第1の波長の光および前記第2の波長の光に位相変調を与える、光学機器。
【請求項2】
前記第1の波長の光用の階調と、前記第2の波長の光用の階調と、の間の階調は、以下の式において、b/aが2/8以上8/2以下の範囲となるように設定される、請求項1に記載の光学機器。
(前記第1の波長の光用の階調×a+前記第2の波長の光用の階調×b)/(a+b)
上記式において、a、bは、何れも正の実数である。
【請求項3】
第1の波長の光および第2の波長の光に対して位相変調を与える共通の位相変調マスクと、
前記第1の波長の光および前記第2の波長の光を、前記位相変調マスク上の同一の入射領域に入射させる照射光学系と、
前記位相変調マスクによって位相変調された前記第1の波長の光および前記第2の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備え、
前記位相変調マスクは、
前記照射光学系と前記集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、
前記位相変調パターンは、前記入射領域において、前記第1の波長の光に第1位相変調を与えるための第1領域と、前記第2の波長の光に第2位相変調を与えるための第2領域と、を含む、光学機器。
【請求項4】
前記第1領域および前記第2領域は、それぞれ複数の領域から構成され、
前記第1領域の各領域と、前記第2領域の各領域とは、互いに隣り合う、請求項3に記載の光学機器。
【請求項5】
前記第1領域の各領域および前記第2領域の各領域は、方形形状である、請求項4に記載の撮像装置。
【請求項6】
前記第1領域の各領域および前記第2領域の各領域は、前記入射領域の一端から他端にわたって延びている、請求項5に記載の撮像装置。
【請求項7】
前記第1領域の各領域および前記第2領域の各領域は、リング形状である、請求項4に記載の撮像装置。
【請求項8】
前記位相変調器は、複数の液晶分子を含み、前記複数の液晶分子の夫々を回転させることにより、前記位相変調パターンを設定する、請求項1ないし7の何れか一項に記載の光学機器。
【請求項9】
前記第1の波長の光および前記第2の波長の光は、それぞれ、蛍光物質から生じる第1蛍光および第2蛍光である、請求項1ないし8の何れか一項に記載の光学機器。
【請求項10】
前記第1蛍光の波長帯域および前記第2蛍光の波長帯域は、それぞれ広がりを有しており、前記第1蛍光の波長帯域の一部と前記第2蛍光の波長帯域の一部とが互いに重なり合う、請求項9に記載の光学機器。
【請求項11】
前記第1の波長の光は、前記第1の波長に強度のピークを持つ光であり、
前記第2の波長の光は、前記第2の波長に強度のピークを持つ光である、請求項1ないし10の何れか一項に記載の光学機器。
【請求項12】
前記照射光学系は、対物レンズを備え、
前記位相変調マスクは、前記第1の波長の光の輝点および前記第2の波長の光の輝点を、それぞれ撮像面上において2点に結像させ、且つ、前記対物レンズと、前記第1の波長の光の輝点および前記第2の波長の光の輝点との距離に応じて、前記撮像面上において、前記第1の波長の光の2つの輝点像および前記第2の波長の光の2つの輝点像が回転する前記点像分布関数を形成するように、前記第1
の波長の光および前記第2
の波長の光の位相を変調する、請求項1ないし11の何れか一項に記載の光学機器。
【請求項13】
前記集光光学系は、前記第1の波長の光の前記像および前記第2の波長の光の前記像を撮像する撮像部を備える、請求項1ないし12の何れか一項に記載の光学機器。
【請求項14】
試料を設置するためのステージを備え、
前記照射光学系は、光源部から出射された光を前記試料に照射して、
前記集光光学系は、前記試料中に含まれる物質から生じた前記第1の波長の光および前記第2の波長の光を集光する、請求項13に記載の光学機器。
【請求項15】
前記試料は、第1蛍光色素と第2蛍光色素を含み、
前記光源部は、前記第1蛍光色素および前記第2蛍光色素において活性状態と不活性状態が繰り返されるように、前記試料に光を照射し、
前記撮像部は、前記第1蛍光物質および前記第2蛍光物質が活性状態と不活性状態を繰り返す間に、前記第1蛍光物質から生じた前記第1の波長の光の前記像および前記第2蛍光物質から生じた前記第2の波長の光の前記像を撮像する、請求項14に記載の光学機器。
【請求項16】
第1の波長の光および第2の波長の光から点像分布関数に応じた像を形成する方法であって、
前記第1の波長の光および前記第2の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、前記位相変調器上の同一の入射領域に、前記第1の波長の光および前記第2の波長の光を入射させ、
前記第1の波長の光について前記点像分布関数の像を形成するのに最適
な位相変調パターンの階調と、前記第2の波長の光について前記点像分布関数の像を形成するのに最適な前記位相変調パターンの階調と、の間の階調の入力に基づいて
前記位相変調器に設定された位相変調パターンにより、前記第1の波長の光および前記第2の波長の光に対して位相変調を与え、
前記位相変調器によって位相変調された前記第1の波長の光および前記第2の波長の光を前記光学系により集光して前記撮像面に点像分布関数に応じた像を形成する、像の形成方法。
【請求項17】
第1の波長の光および第2の波長の光から点像分布関数に応じた像を形成する方法であって、
前記第1の波長の光および前記第2の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、前記位相変調器上の同一の入射領域に、前記第1の波長の光および前記第2の波長の光を入射させ、
入力に基づいて
前記位相変調器に設定された位相変調パターンにより、前記第1の波長の光および前記第2の波長の光に対して位相変調を与え、
前記位相変調器によって位相変調された前記第1の波長の光および前記第2の波長の光を前記光学系により集光して前記撮像面に点像分布関数に応じた像を形成し、
前記位相変調パターンは、前記入射領域において、前記第1の波長の光に第1位相変調を与えるための第1領域と、前記第2の波長の光に第2位相変調を与えるための第2領域と、を含む、像の形成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光学機器および像の形成方法に関する。
【背景技術】
【0002】
たとえば、光学顕微鏡といった光学機器では、光の位相変調を利用して、解像度の向上や収差補正等様々な機能が実現されている。特許文献1には、所定の広域スペクトル幅内において互いに異なる複数の波長の光束の位相を変調する位相変調器が記載されている。この位相変調器は、光源から照射された光束を、回折格子により波長毎に異なる角度に回折させる。波長毎に回折された光束は集光レンズを経て空間位相変調器に入射する。位相変調器は各波長にそれぞれ対応する複数の位相変調領域を有しており、回折格子による回折によって、各波長の光束は、それぞれの波長に対応する位相変調領域に入射する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、光束を波長毎に対応する位相変調領域に入射させるために、回折格子やプリズム等によって光束を回折させることが要求される。したがって、光学系が複雑になることや、位相変調のための構成が複雑になるといった問題が生じる。また、特許文献1の位相変調器は、波長毎に複数の位相変調領域を有するため、位相変調器が大型化するといった問題も生じる。
【課題を解決するための手段】
【0005】
本発明の第1の態様は、光学機器に関する。本態様に係る光学機器は、第1の波長の光および第2の波長の光に対して位相変調を与える共通の位相変調マスクと、第1の波長の光および第2の波長の光を、位相変調マスク上の同一の入射領域に入射させる照射光学系と、位相変調マスクによって位相変調された第1の波長の光および第2の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備える。位相変調マスクは、照射光学系と集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、位相変調器は、第1の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調である第1の波長の光用の階調と、第2の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調である第2の波長の光用の階調と、の間の階調の入力に基づいて設定された位相変調パターンにより、第1の波長の光および第2の波長の光に位相変調を与える。
【0006】
本発明の第2の態様は、光学機器に関する。本態様に係る光学機器は、第1の波長の光および第2の波長の光に対して位相変調を与える共通の位相変調マスクと、第1の波長の光および第2の波長の光を、位相変調マスク上の同一の入射領域に入射させる照射光学系と、位相変調マスクによって位相変調された第1の波長の光および第2の波長の光を集光して点像分布関数に応じた像を形成する集光光学系と、を備える。位相変調マスクは、照射光学系と集光光学系との間に形成されるフーリエ面に配置され、入力に基づいて位相変調パターンを設定可能な位相変調器であり、位相変調パターンは、入射領域において、第1の波長の光に第1位相変調を与えるための第1領域と、第2の波長の光に第2位相変調を与えるための第2領域と、を含む。
【0007】
本発明の第3の態様は、第1の波長の光および第2の波長の光から点像分布関数に応じた像を形成する方法に関する。本態様に係る方法は、第1の波長の光および第2の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、位相変調器上の同一の入射領域に、第1の波長の光および第2の波長の光を入射させ、第1の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調と、第2の波長の光について点像分布関数の像を形成するのに最適な位相変調パターンの階調と、の間の階調の入力に基づいて位相変調器に設定された位相変調パターンにより、第1の波長の光および第2の波長の光に対して位相変調を与え、位相変調器によって位相変調された第1の波長の光および第2の波長の光を光学系により集光して撮像面に点像分布関数に応じた像を形成する。
【0008】
本発明の第4の態様は、第1の波長の光および第2の波長の光から点像分布関数に応じた像を形成する方法に関する。本態様に係る方法は、第1の波長の光および第2の波長の光を撮像面へと導く光学系のフーリエ面に位相変調器を配置して、位相変調器上の同一の入射領域に、第1の波長の光および第2の波長の光を入射させ、入力に基づいて位相変調器に設定された位相変調パターンにより、第1の波長の光および第2の波長の光に対して位相変調を与え、位相変調器によって位相変調された第1の波長の光および第2の波長の光を光学系により集光して撮像面に点像分布関数に応じた像を形成する。位相変調パターンは、入射領域において、第1の波長の光に第1位相変調を与えるための第1領域と、第2の波長の光に第2位相変調を与えるための第2領域と、を含む。
【発明の効果】
【0009】
本発明によれば、簡素な構成で複数の蛍光の位相を変調させることができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態に係る位相変調マスクを備えた光学機器の構成を示す模式図である。
【
図2】
図2(a)は、実施形態に係る2つの輝点像がZ軸方向における蛍光の発光点の位置に応じて撮像面上で回転することを示す模式図である。
図2(b)は、実施形態に係るDH-PSFを示す図である。
【
図3】
図3(a)は、実施形態に係る全ての第1蛍光色素が活性状態にあることを示す模式図である。
図3(b)は、実施形態に係る全ての第1蛍光色素が不活性状態にあることを示す模式図である。
図3(c)、(d)は、実施形態に係る第1蛍光色素の一部が活性状態にあることを示す模式図である。
図3(e)は、実施形態に係る全ての第2蛍光色素が活性状態にあることを示す模式図である。
図3(f)は、実施形態に係る全ての第2蛍光色素が不活性状態にあることを示す模式図である。
図3(g)、(h)は、実施形態に係る第2蛍光色素の一部が活性状態にあることを示す模式図である。
【
図4】
図4(a)~(e)は、実施形態に係る第1の3次元超解像画像を取得する手順を示す模式図である。
図4(f)は、実施形態に係る第1物質の数を取得する手順を示す模式図である。
【
図5】
図5(a)は、実施形態に係る複数の第1の2次元画像から取得された第1の3次元超解像画像と、複数の第2の2次元画像から取得された第2の3次元超解像画像とを示す模式図である。
図5(b)は、実施形態の変更例に係る複数の共通の2次元画像から取得された第1および第2の3次元超解像画像を示す模式図である。
【
図6】
図6(a)は、実施形態に係る位相変調器を備えた光学機器の構成を示す模式図である。
図6(b)は、実施形態に係る位相変調器の構成を示す模式図である。
【
図7】
図7(a)、(b)は、それぞれ、実施形態に係る位相変調器に設定される第1位相変調パターンと第2位相変調パターンを示す図である。
【
図8】
図8(a)、(b)は、実施形態に係る第1位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図8(c)、(d)は、実施形態に係る第1位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
図8(e)、(f)は、実施形態に係る第2位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図8(g)、(h)は、実施形態に係る第2位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
【
図9】
図9は、実施例1の位相変調パターンの構成を示す図である。
【
図10】
図10は、実施例1の位相変調パターンを用いた場合の第1蛍光の結像状態を示す図である。
【
図11】
図11は、実施例1の位相変調パターンを用いた場合の第2蛍光の結像状態を示す図である。
【
図12】
図12(a)、(b)は、実施例1の位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図12(c)、(d)は、実施例1の位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
【
図13】
図13(a)~(c)は、実施例1の位相変調パターンに係る第1位相変調パターンと第2位相変調パターンを統合することについて詳細に説明する図である。
図13(a)~(c)は、それぞれ、第1位相変調パターンと、第2位相変調パターンと、実施例1の位相変調パターンにおいて、液晶パネルの1つの画素位置を模式的に示す図である。
【
図14】
図14(a)は、実施例2の位相変調パターンにおける領域の配置を示す模式図である。
図14(b)~(d)は、実施例2の位相変調パターンの構成を示す模式図である。
【
図15】
図15(a)、(b)は、実施例2の位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図15(c)、(d)は、実施例2の位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
図15(e)、(f)は、実施例2の位相変調パターンを用いて第1蛍光と第2蛍光を観察した場合の結像状態を示す図である。
【
図16】
図16(a)、(b)は、それぞれ、実施例2の位相変調パターンを用いて第1蛍光と第2蛍光を広視野で観察した結果を示す図である。
【
図17】
図17(a)は、実施例3の位相変調パターンにおける領域の配置を示す模式図である。
図17(b)~(d)は、実施例3の位相変調パターンの構成を示す模式図である。
【
図18】
図18(a)、(b)は、実施例3の位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図18(c)、(d)は、実施例3の位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
図18(e)、(f)は、実施例3の位相変調パターンを用いて第1蛍光と第2蛍光を観察した場合の結像状態を示す図である。
【
図19】
図19(a)、(b)は、それぞれ、実施例3の位相変調パターンを用いて第1蛍光と第2蛍光を広視野で観察した結果を示す図である。
【
図20】
図20(a)は、実施例4の位相変調パターンにおける領域の配置を示す模式図である。
図20(b)~(d)は、実施例4の位相変調パターンの構成を示す模式図である。
【
図21】
図21(a)、(b)は、実施例4の位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図21(c)、(d)は、実施例4の位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
図21(e)、(f)は、実施例4の位相変調パターンを用いて第1蛍光と第2蛍光を観察した場合の結像状態を示す図である。
【
図22】
図22(a)、(b)は、それぞれ、実施例4の位相変調パターンを用いて第1蛍光と第2蛍光を広視野で観察した結果を示す図である。
【
図23】
図23(a)は、実施例5の位相変調パターンにおける領域の配置を示す模式図である。
図23(b)~(e)は、実施例5の位相変調パターンの構成を示す模式図である。
【
図24】
図24(a)、(b)は、実施例5の位相変調パターンを用いて第1蛍光を観察した場合の結像状態とグラフを示す図である。
図24(c)、(d)は、実施例5の位相変調パターンを用いて第2蛍光を観察した場合の結像状態とグラフを示す図である。
図24(e)、(g)は、実施例5の位相変調パターンを用いて第1蛍光を観察した場合の結像状態を示す図である。
図24(f)、(h)は、実施例5の位相変調パターンを用いて第2蛍光を観察した場合の結像状態を示す図である。
【
図25】
図25(a)、(b)は、それぞれ、実施例5の位相変調パターンを用いて第1蛍光と第2蛍光を広視野で観察した結果を示す図である。
【
図26】
図26は、実施例6の位相変調パターンの構成を示す図である。
【
図27】
図27(a)、(c)、(e)、(g)は、実施例6の位相変調パターンを用いて第1蛍光を観察した場合の結像状態を示す図である。
図27(b)、(d)、(f)、(h)は、実施例6の位相変調パターンを用いて第2蛍光を観察した場合の結像状態を示す図である。
【
図28】
図28(a)、(c)、(e)、(g)は、実施例6の位相変調パターンを用いて第1蛍光を観察した場合の結像状態を示す図である。
図28(b)、(d)、(f)、(h)は、実施例6の位相変調パターンを用いて第2蛍光を観察した場合の結像状態を示す図である。
【
図29】
図29(a)は、実施形態に係る第1位相変調パターンに対応するように作製された位相板を示す模式図である。
図29(b)は、実施形態に係る第2位相変調パターンに対応するように作製された位相板を示す模式図である。
図29(c)は、実施例1の位相変調パターンと同様に統合した位相板を示す模式図である。
図29(d)~(f)は、実施形態に係る位相板を厚み方向に平行な平面で切断したときの切断面を示す模式図である。
【
図30】
図30(a)は、実施形態に係る第1位相変調パターンに対応するように作製された位相板を示す模式図である。
図30(b)は、実施形態に係る第2位相変調パターンに対応するように作製された位相板を示す模式図である。
図30(c)は、実施例2の位相変調パターンと同様に統合した位相板を示す模式図である。
図30(d)~(f)は、実施形態に係る位相板を厚み方向に見た場合の領域を模式的に示す図である。
図30(g)~(i)は、実施形態に係る位相板を厚み方向に平行な平面で切断したときの切断面を示す模式図である。
【発明を実施するための形態】
【0011】
以下の実施形態は、中心波長の異なる2種類の蛍光を観察するための光学機器に本発明を適用したものである。実施形態の光学機器は、試料に光を照射して、試料から生じた蛍光を撮像部により撮像する蛍光顕微鏡である。本発明を適用可能な光学機器は、以下の実施形態に限られるものではなく、蛍光顕微鏡以外の顕微鏡、カメラ等の撮像機器、望遠鏡、内視鏡、プラネタリウム等であってよい。また、本発明を適用可能な光学機器は、蛍光を撮像および観察するための装置に限らず、蛍光以外の光を撮像および観察するための装置であってもよい。
【0012】
図1に示すように、光学機器10は、照射光学系30と、ビームエキスパンダ37と、ステージ40と、位相変調マスク50と、集光光学系60と、コントローラ71、72と、情報処理装置100と、を備える。
図1には、互いに直交するXYZ軸が示されている。
【0013】
ステージ40には、試料が載せられたスライドガラス41が設置される。実施形態の試料は、被検細胞を含む生体試料である。被検細胞は、たとえば病変組織から採取される。被検細胞の核は、第1物質と第2物質を含む。撮像対象となる第1物質および第2物質は、たとえば疾患マーカーとなる遺伝子、タンパク質またはペプチド等の生体物質である。実施形態の第1物質は、HER2遺伝子であり、実施形態の第2物質は、17番染色体のセントロメア領域であるCEP17である。
【0014】
試料の調製により、第1物質と第2物質には、それぞれ蛍光物質が結合している。実施形態では、第1物質に結合される蛍光物質は第1蛍光色素であり、第2物質に結合される蛍光物質は第2蛍光色素である。また、試料の調製により、被検細胞の核は、第3蛍光色素により特異的に染色されている。
【0015】
第1蛍光色素は、後述する光源21からの光が照射されると第1の波長を中心波長とする第1蛍光を生じる活性状態と、光源21からの光が照射されても第1蛍光を生じない不活性状態とにスイッチング可能である。第1蛍光色素は、光源21からの光が照射されると不活性化し、後述する光源23からの光が照射されると活性化する。第2蛍光色素は、後述する光源22からの光が照射されると第2の波長を中心波長とする第2蛍光を生じる活性状態と、光源22からの光が照射されても第2蛍光を生じない不活性状態とにスイッチング可能である。第2蛍光色素は、光源22からの光が照射されると不活性化し、光源23からの光が照射されると活性化する。第3蛍光色素は、光源23からの光が照射されると第3の波長を中心波長とする第3蛍光を生じる。
【0016】
撮像対象の物質は、上記のように物質に結合する蛍光色素に限らず、自家蛍光を生じる物質であってもよい。スライドガラス41に載せられる試料は、生体試料に限らない。撮像対象の物質は、生体試料に含まれる物質に限らず、生体試料に由来しない物質であってもよい。たとえば、撮像対象の物質は、蛍光ビーズなど、蛍光を生じる粒子等の蛍光物質であってもよい。
【0017】
照射光学系30は、光源部20と、シャッター31と、1/4波長板32と、ビームエキスパンダ33と、集光レンズ34と、ダイクロイックミラー35と、対物レンズ36と、を備える。照射光学系30は、試料に光を照射して、試料中に含まれる蛍光標識された第1~第3物質から、それぞれ第1~第3蛍光を生じさせ、第1蛍光と第2蛍光を、位相変調マスク50における同一の入射領域に入射させる。
【0018】
光源部20は、光源21~23と、ミラー24と、ダイクロイックミラー25、26と、を備える。
【0019】
光源21~23は、それぞれ、異なる波長の光を出射する。具体的には、光源21、22、23から出射される光の波長は、それぞれ、640nm、488nm、405nmである。光源21~23としては、レーザ光源を用いるのが好ましいが、水銀ランプ、キセノンランプ、LED等を用いてもよい。上述したように、光源21からの出射される光は、被検細胞に含まれる第1蛍光色素を励起させて第1蛍光を生じさせるとともに、第1蛍光色素を不活性化する。光源22から出射される光は、被検細胞に含まれる第2蛍光色素を励起させて第2蛍光を生じさせるとともに、第2蛍光色素を不活性状態にする。光源23から出射される光は、被検細胞に含まれる第3蛍光色素を励起させて第3蛍光を生じさせるとともに、第1蛍光色素と第2蛍光色素を活性状態にする。なお、実施形態では、第1蛍光の中心波長である第1の波長は690nmであり、第2蛍光の中心波長である第2の波長は530nmである。
【0020】
ミラー24は、光源21からの光を反射する。ダイクロイックミラー25は、光源21からの光を透過し、光源22からの光を反射する。ダイクロイックミラー26は、光源21、22からの光を透過し、光源23からの光を反射する。光源21~23からの光の光軸は、ミラー24とダイクロイックミラー25、26により、互いに一致させられる。なお、光源21~23に代えて、1つの光源が、波長640nm、488nm、405nmの光を出射してもよい。
【0021】
シャッター31は、コントローラ71により駆動され、光源部20から出射された光を通過させる状態と、光源部20から出射された光を遮断する状態とに切り替える。これにより、被検細胞に対する光の照射時間が調整される。1/4波長板32は、光源部20から出射された直線偏光の光を円偏光に変換する。蛍光色素は、所定の偏光方向の光に反応する。よって、光源部20から出射された励起用の光を円偏光に変換することにより、励起用の光の偏光方向が、蛍光色素が反応する偏光方向に一致し易くなる。これにより、被検細胞に含まれる蛍光色素に効率良く蛍光を励起させることができる。ビームエキスパンダ33は、スライドガラス41上における光の照射領域を広げる。集光レンズ34は、対物レンズ36からスライドガラス41に平行光が照射されるよう光を集光する。
【0022】
ダイクロイックミラー35は、光源部20から出射された光を反射し、被検細胞から生じた蛍光を透過する。対物レンズ36は、ダイクロイックミラー35で反射された光を、スライドガラス41に導く。ステージ40は、コントローラ72により駆動され、水平面であるX-Y平面内で移動する。被検細胞から生じた蛍光は、対物レンズ36を通り、ダイクロイックミラー35を透過し、ビームエキスパンダ37により平行光とされる。
【0023】
位相変調マスク50は、第1蛍光および第2蛍光に対して位相変調を与える。位相変調マスク50は、対物レンズ36と、ダイクロイックミラー35と、ビームエキスパンダ37と、集光レンズ61とが構成する光学系のフーリエ面に配置され、位相変調マスク50の同一の入射領域に入射する光の位相を変調する作用を有する。
【0024】
なお、位相差が“θ”の場合と、位相差が“θ+n×2π”(n=±0、1、2、3…)の場合とは、蛍光に対して与えられる位相差としては実質的に同じである。したがって、位相変調マスク50によって第1蛍光に与えられる位相差と第2蛍光に与えられる位相差は、1つの値に限らず、1つの値にn×2πが加算された値でもよい。
【0025】
位相変調マスク50は、位相変調マスク50を透過する光の位相を変調させる場合、
図1に示すように配置される。透過する光の位相を変調させる位相変調マスク50は、たとえば、アクリル樹脂等の透明部材からなる位相板、液晶パネルを備えた位相変調器等により構成される。
【0026】
位相変調マスク50は、位相変調マスク50により反射する光の位相を変調させる場合、
図6(a)に示すように配置される。反射する光の位相を変調させる位相変調マスク50は、たとえば、液晶パネルを備えた位相変調器、デフォーマブルミラー、デフォーマブルミラーと同様に構成された反射部材等により構成される。なお、位相変調マスク50が液晶パネルを備えた位相変調器により構成される場合、
図6(a)に示すように、ビームエキスパンダ37に代えて偏光板38とミラー39が配置され、位相変調マスク50は、位相変調器51の位置に配置される。位相変調マスク50がデフォーマブルミラーやデフォーマブルミラーと同様に構成された反射部材等により構成される場合、
図6(a)に示す構成から、偏光板38が省略され、位相変調マスク50は、位相変調器51の位置に配置される。
【0027】
透過する光の位相を変調させる位相変調マスク50の構成例については、追って
図29(a)~
図30(i)を参照して説明する。反射する光の位相を変調させる位相変調マスク50の構成例については、追って
図6(a)~
図28(h)を参照して説明する。
【0028】
位相変調マスク50は、第1蛍光色素から生じた第1蛍光の点像分布関数に応じた像を形成し、第2蛍光色素から生じた第2蛍光の点像分布関数に応じた像を形成する。実施形態の位相変調マスク50は、1つの第1蛍光色素から生じた第1蛍光を撮像部62の撮像面62aにおいて2つの焦点に結像させ、1つの第2蛍光色素から生じた第2蛍光を撮像部62の撮像面62aにおいて2つの焦点に結像させる。このような点像分布関数は、DH-PSF(Double-Helix Point Spread Function)と呼ばれる。位相変調マスク50は、フーリエ面に入射する第1蛍光および第2蛍光の位相を変調し、第1蛍光および第2蛍光の両方について、撮像面62aにおいてDH-PSFに応じた像を形成する。
【0029】
なお、位相変調マスク50は、第1蛍光と第2蛍光の場合とは異なり、第3蛍光について、撮像面62aにおいてDH-PSFに応じた像を形成するようには構成されていない。この理由は、後述するように、第3蛍光が、核の領域の特定だけに用いられるためである。位相変調マスク50を透過した第3蛍光の位相は、位相変調マスク50により多少変調されるものの、撮像部62により第3蛍光が撮像されれば、十分に核の領域を特定できる。
【0030】
集光光学系60は、位相変調された第1蛍光および第2蛍光を集光してDH-PSFに応じた像を形成する。集光光学系60は、集光レンズ61と撮像部62を備える。集光レンズ61は、位相変調マスク50を通った蛍光を集光して、撮像部62の撮像面62aに導く。撮像部62は、撮像面62aに照射された蛍光の像を撮像し、2次元画像を生成する。撮像部62は、たとえばCCD等により構成される。
【0031】
ここで、上述したように、1つの第1蛍光色素から生じた第1蛍光と、1つの第2蛍光色素から生じた第2蛍光とは、位相変調マスク50の作用により、それぞれ、撮像面62a上で2つの焦点に結像される。すなわち、撮像面62aにおいて第1蛍光と第2蛍光のDH-PSFに応じた像が形成される。このとき、位相変調マスク50の作用により、2つの焦点にそれぞれ対応する輝点像は、
図2(a)に示すように、Z軸方向すなわちスライドガラス41の深さ方向における蛍光の発光点の位置に応じて、撮像面62a上で回転する。つまり、2つの輝点像を結ぶ直線と、基準となる直線とがなす角が、Z軸方向における蛍光の発光点の位置に応じて、撮像面62a上において変化する。
【0032】
すなわち、位相変調マスク50は、対物レンズ36と試料における第1蛍光色素との距離に応じて、撮像面62a上において、第1蛍光の2つの輝点像が回転するDH-PSFを形成するように、第1蛍光の位相を変調するよう構成されている。同様に、位相変調マスク50は、対物レンズ36と試料における第2蛍光色素との距離に応じて、撮像面62a上において、第2蛍光の2つの輝点像が回転するDH-PSFを形成するように、第2蛍光の位相を変調するよう構成されている。
【0033】
たとえば、スライドガラス41においてZ軸方向に異なる2つの位置にある蛍光色素から生じた蛍光は、それぞれ位相変調マスク50により2つに分割され、撮像面62a上に照射される。このとき、撮像面62a上における2つの輝点像を結ぶ直線は、たとえば、
図2(a)に示すように、一方の蛍光色素については基準線と+θ1の角をなし、もう一方の蛍光色素については基準面と+θ2の角をなす。したがって、2つの輝点像を結ぶ直線が、基準線に対してなす角を取得すれば、Z軸方向における蛍光色素の位置を取得できる。実施形態では、第1蛍光と第2蛍光について、撮像部62により撮像された2次元画像に基づいて、上記のようにZ軸方向における位置が取得される。
【0034】
なお、DH-PSFは、
図2(b)に示す式により表すことができる。
図2(b)の式において、“輝点1”と“輝点2”は、
図2(a)に示すような撮像面62aに結像した2つの輝点像を示す。“撮像面上の座標”は、2つの輝点像の元となる蛍光色素の撮像面62a上の座標を示す。
【0035】
上記のように、位相変調マスク50の同一の入射領域には、第1蛍光および第2蛍光の両方が入射し、位相変調マスク50は、波長が互いに異なる第1蛍光および第2蛍光に対して、それぞれ位相を変調させる。これにより、第1蛍光を、第1蛍光の位相を変調させるための領域に導き、第2蛍光を、第2蛍光の位相を変調させるための領域に導く必要がない。したがって、第1蛍光の位相変調領域と第2蛍光の位相変調領域とを別々に設ける必要がないため、別々の位相変調領域に第1蛍光と第2蛍光を導くために、光束を回折するための回折格子や、光束を分岐させるためのプリズム等も不要になる。よって、位相変調マスク50によれば、簡素な構成で第1蛍光と第2蛍光の両方に対して位相を変調させ、第1蛍光と第2蛍光のDH-PSFに応じた像を形成できる。
【0036】
また、第1蛍光と第2蛍光を別の光路に分岐させるような場合、各光路の光学素子の組み付け等にずれが生じることにより、所望のDH-PSFに応じた像を形成できなくなる可能性がある。しかしながら、位相変調マスク50によれば、光路を分岐させる光学素子が不要になるため、光学素子の組み付け等のずれにより生じる影響を抑制できる。したがって、精度の高い2次元画像を生成できる。このような2次元画像の精度向上は、後述する3次元超解像画像を生成するような実施形態の光学機器10において特に好ましい。
【0037】
図1に戻り、情報処理装置100は、パーソナルコンピュータであり、本体110と、表示部120と、入力部130と、を備える。本体110は、処理部111と、記憶部112と、インターフェース113と、を備える。
【0038】
処理部111は、たとえばCPUである。記憶部112は、ROM、RAM、ハードディスク等である。処理部111は、記憶部112に記憶されたプログラムに基づいて、インターフェース113を介して、光源部20の光源21~23と、撮像部62と、コントローラ71、72を制御する。
【0039】
処理部111は、第1蛍光の2次元画像に基づいて、上記のように第1蛍光の発光点のZ軸方向における位置を取得し、第1蛍光の3次元超解像画像を生成する。同様に、処理部111は、第2蛍光の2次元画像に基づいて、上記のように第2蛍光の発光点のZ軸方向における位置を取得し、第2蛍光の3次元超解像画像を生成する。以下では、第1蛍光の2次元画像を「第1の2次元画像」と称し、第2蛍光の2次元画像を「第2の2次元画像」と称し、第3蛍光の2次元画像を「第3の2次元画像」と称する。第1蛍光の3次元超解像画像を「第1の3次元超解像画像」と称し、第2蛍光の3次元超解像画像を「第2の3次元超解像画像」と称する。
【0040】
表示部120は、処理部111による処理結果等を表示するためのディスプレイである。入力部130は、ユーザによる指示の入力を受け付けるためのキーボードとマウスである。
【0041】
次に、第1および第2の3次元超解像画像の生成手順について説明する。
【0042】
まず、
図3(a)~(d)を参照し、第1の2次元画像を取得する手順について説明する。
【0043】
図3(a)に示すように、試料の調製において、第1蛍光色素は、第1物質に特異的に結合する中間物質を介して第1物質に結合される。第1物質は遺伝子であるため、中間物質として核酸プローブを用いることができる。1つの第1物質には多数の第1蛍光色素が結合する。
図3(a)には、第1蛍光色素がそれぞれ結合した2つの第1物質が模式的に示されている。初期状態では、全ての第1蛍光色素が活性状態にある。
図3(a)に示す状態で、光源21からの光が所定時間、被検細胞に照射されると、
図3(b)に示すように、全ての第1蛍光色素が不活性状態となる。
【0044】
図3(b)に示す状態で、光源23からの光が所定時間、被検細胞に照射されると、たとえば
図3(c)に示すように、一部の第1蛍光色素が活性化する。光源23からの光の照射時間を調整することにより、活性化される第1蛍光色素の割合が変化する。
図3(c)に示す状態で、再び光源21からの光が所定時間、被検細胞に照射されると、活性化した第1蛍光色素から第1蛍光が生じ、その後、
図3(b)に示すように、全ての第1蛍光色素が不活性状態になる。
【0045】
そして、再び光源23からの光が所定時間、被検細胞に照射されると、たとえば
図3(d)に示すように、一部の第1蛍光色素が活性化する。
図3(d)に示す状態で、再び光源21からの光が所定時間、被検細胞に照射されると、活性化した第1蛍光色素から第1蛍光が生じ、その後、
図3(b)に示すように、全ての第1蛍光色素が不活性状態になる。
図3(c)、(d)に示すように、各回の活性化処理で活性化される第1蛍光色素の分布は、その都度異なる。
【0046】
処理部111は、光源21、23を駆動して、上記のように第1蛍光色素に対して活性化と不活性化を繰り返し行う。撮像部62は、その都度異なる第1蛍光色素の分布を撮像する。こうして、処理部111は、複数の第1の2次元画像、たとえば3000枚の第1の2次元画像を取得する。
【0047】
続いて、
図3(e)~(h)を参照し、第2の2次元画像を取得する手順について説明する。第2の2次元画像の取得は、第1の2次元画像の取得と略同様に行われる。
【0048】
すなわち、
図3(e)に示す初期状態で、光源22からの光が所定時間、被検細胞に照射されると、
図3(f)に示すように、全ての第2蛍光色素が不活性状態となる。
図3(f)に示す状態で、光源23からの光が所定時間、被検細胞に照射されると、たとえば
図3(g)に示すように、一部の第2蛍光色素が活性化する。
図3(g)に示す状態で、再び光源22からの光が所定時間、被検細胞に照射されると、活性化した第2蛍光色素から第2蛍光が生じ、その後、
図3(f)に示すように、全ての第2蛍光色素が不活性状態になる。そして、再び光源23からの光が所定時間、被検細胞に照射されると、たとえば
図3(h)に示すように、一部の第2蛍光色素が活性化する。
【0049】
処理部111は、光源22、23を駆動して、上記のように第2蛍光色素に対して活性化と不活性化を繰り返し行う。撮像部62は、その都度異なる第2蛍光色素の分布を撮像する。こうして、処理部111は、複数の第2の2次元画像、たとえば3000枚の第2の2次元画像を取得する。
【0050】
続いて、
図4(a)~(e)を参照し、第1の3次元超解像画像を生成する手順について説明する。なお、第2の3次元超解像画像を生成する手順は、第1の3次元超解像画像と同様であるので、以下、第1の3次元超解像画像を生成する手順についてのみ説明する。
【0051】
図4(a)に示すように、上記のようにして複数の第1の2次元画像が取得される。
図4(a)に示す第1の2次元画像上には、撮像された第1蛍光が黒丸で示されている。
図4(b)に示すように、処理部111は、それぞれの第1の2次元画像において、ガウスフィッティングにより第1蛍光の輝点81を抽出する。そして、処理部111は、抽出した輝点81について、X-Y平面における座標と、輝度とを取得する。
【0052】
続いて、処理部111は、輝度が同程度で、かつ、距離が所定の範囲内にある2つの輝点81を参照する。処理部111は、参照した2つの輝点81を、あらかじめ記憶部112に記憶された2つの輝点のテンプレートとフィッティングさせる。処理部111は、ある精度以上でフィッティングできた2つの輝点81を、1つの第1蛍光色素から生じた第1蛍光が位相変調マスク50により分割されたものであるとして、ペアリングする。
【0053】
続いて、
図4(c)に示すように、処理部111は、ペアとなる2つの輝点81に基づいて、2つの輝点81の元となる第1蛍光色素のX-Y平面における点82を取得する。続いて、
図4(d)に示すように、処理部111は、ペアとなる2つの輝点81を結ぶ直線と、基準線とのなす角度θを取得する。処理部111は、取得した角度θに基づいて、Z軸方向における第1蛍光色素の座標を算出する。こうして、
図4(e)に示すように、処理部111は、X-Y平面における座標と、Z軸方向における座標とに基づいて、複数の第1蛍光色素の3次元座標を取得する。そして、
図4(e)に示すように、処理部111は、それぞれの第1の2次元画像において取得した複数の3次元座標を重ね合わせることにより、第1の3次元超解像画像を生成する。
【0054】
このように、第1および第2の3次元超解像画像が取得されると、第1および第2の2次元画像が用いられる場合に比べて、第1蛍光の発光点および第2蛍光の発光点を精度よく把握できる。これにより、医師等は、第1および第2の3次元超解像画像を参照して、Z軸方向における第1物質の分布を把握でき、病状の判断や治療方針の決定をより的確に行える。
【0055】
次に、
図4(f)を参照し、第1物質の数を取得する手順について説明する。
【0056】
図4(f)に示すように、処理部111は、第1の3次元超解像画像の座標点を、第1物質に対応するグループに分類する。たとえば、処理部111は、所定の参照空間を3次元座標空間において走査し、この参照空間内に含まれる座標点の数が閾値より多く、かつ、周囲よりも座標点の数が多い参照空間の位置を抽出する。そして、処理部111は、抽出した位置において参照空間に含まれる座標点のグループを、
図4(f)の破線で示すように、1つの第1物質に対応するグループに分類する。
【0057】
続いて、処理部111は、被検細胞の3次元空間における核の範囲を取得する。具体的には、処理部111は、対物レンズ36をZ軸方向に変位させて、Z軸方向の異なる複数のフォーカス位置において、第3蛍光に基づく第3の2次元画像を取得する。第3の2次元画像において、第3蛍光が検出される領域は核に対応し、第3蛍光が検出されない領域は、核以外、すなわち細胞質等に対応する。処理部111は、複数の第3の2次元画像ごとに、第3蛍光が検出された領域から核の輪郭を取得する。そして、処理部111は、各フォーカス位置とその位置における核の輪郭とに基づいて、3次元座標空間における核の範囲を取得する。
【0058】
続いて、処理部111は、3次元座標空間において、被検細胞の核の範囲に含まれるグループの数を、第1物質の数として取得する。なお、第1の3次元超解像画像に複数の被検細胞が含まれる場合、第1物質の数は、たとえば、被検細胞ごとに取得された第1物質の数を平均化することにより取得される。処理部111は、第2物質の数についても、第2の3次元超解像画像に基づいて同様に取得する。
【0059】
処理部111は、上記のように取得した第1物質の数と第2物質の数との比、すなわち、“第1物質の数/第2物質の数”を算出する。“第1物質の数/第2物質の数”は、たとえば、2.2より大きいと乳癌陽性と判定でき、1.8より小さいと乳癌陰性と判定でき、1.8以上2.2以下であると境界と判定できる。
【0060】
このように、第1および第2の3次元画像に基づいて第1物質および第2物質の数が取得されると、“第1物質の数/第2物質の数”を精度よく算出できる。これにより、医師等に、より精度の高い判定結果を提示できる。
【0061】
<撮像手順の変更例>
上記撮像手順では、撮像部62により第1蛍光と第2蛍光とを別々に撮像した。この場合、
図5(a)に示すように、処理部111は、複数の第1の2次元画像を取得した後で、複数の第2の2次元画像を取得する。そして、処理部111は、複数の第1の2次元画像に基づいて、第1の3次元超解像画像を取得し、複数の第2の2次元画像に基づいて、第2の3次元超解像画像を取得する。このように、第1の2次元画像と第2の2次元画像とが別々に撮像されると、撮像に要する時間が長くなってしまう。
【0062】
そこで、上記撮像手順に代えて、撮像部62により第1蛍光と第2蛍光とを同時に撮像してもよい。この場合、処理部111は、第1および第2蛍光色素が活性状態のときに、光源21、22を同時に点灯させ、被検細胞に光源21、22からの光を同時に照射する。これにより、被検細胞から第1蛍光と第2蛍光が同時に生じ、撮像部62の撮像面62aには、第1蛍光と第2蛍光が同時に照射される。このとき取得される2次元画像は、
図5(b)に示すように、第1の2次元画像と第2の2次元画像が重ね合わされた共通の2次元画像となる。なお、このように第1蛍光と第2蛍光を同時に生じさせる場合、撮像部62はカラーCCD等により構成される。
【0063】
この場合も、
図5(b)に示すように、処理部111は、共通の2次元画像における第1蛍光に基づいて、第1の3次元超解像画像を生成し、共通の2次元画像における第2蛍光に基づいて、第2の3次元超解像画像を生成する。このように第1蛍光と第2蛍光とが同時に撮像部62により撮像されると、撮像に要する時間を大幅に短縮できる。
【0064】
<位相変調マスクの事前検証>
上述したように、位相変調マスク50は、波長が互いに異なる第1蛍光と第2蛍光に対応できるように構成された。ところで、1種類の蛍光に最適な位相差を生じさせて1種類の蛍光の点像分布関数に応じた像を適正に形成する位相変調マスクは、一般的に知られている。そこで、本発明者は、位相変調マスクを2種類の蛍光に対応させるために、まず、第1蛍光に最適な位相変調マスクにより、第1蛍光と第2蛍光の位相を変調させる検証と、第2蛍光に最適な位相変調マスクにより、第1蛍光と第2蛍光の位相を変調させる検証と、を行った。
【0065】
図6(a)に示すように、この検証で用いた光学機器10は、
図1に示す構成と比較して、ビームエキスパンダ37に代えて偏光板38とミラー39を備え、位相変調マスク50に代えて位相変調器51を備える。偏光板38は、たとえば偏光プリズムにより構成される。偏光板38は、偏光方向が位相変調器51に対して適切な偏光方向となるよう設置される。ミラー39は、偏光板38を通過した蛍光を反射して位相変調器51に導く。この検証で用いた位相変調マスクは、入射する光を反射させる際に位相を変調させる位相変調器51である。位相変調器51は、対物レンズ36と、ダイクロイックミラー35と、偏光板38と、ミラー39と、集光レンズ61とが構成する光学系のフーリエ面に配置される。位相変調器51は、
図1に示した位相変調マスク50と同様に、撮像面62aにおける点像分布関数を変調する作用を有する。
【0066】
図6(b)に示すように、位相変調器51は、液晶パネル51aを備える。位相変調器51が駆動されると、設定に応じて、液晶パネル51a内の液晶分子51bが回転し、光の入射方向における液晶分子51bの幅が変化する。このように光の入射方向において各液晶分子51bの幅が変化すると、位相変調器51の入射領域における位置に応じて屈折率の差が生じるようになる。これにより、液晶パネル51aに入射しミラー51cによって反射される光の位相が、入射位置に応じて変調される。
【0067】
位相変調器51は、画像が入力されると、入力された画像に基づいて液晶パネル51aの各画素の階調を設定する。位相変調器51に入力される画像は、位相変調器51の各画素の階調を表す情報を保持している。位相変調器51は、入力された画像から各画素に設定する階調を取得し、各画素の階調が入力画像に基づく所望の階調となるように、各液晶分子51bの回転角度を設定する。このように、位相変調器51は、入力画像に基づいて液晶分子51bの回転角度を設定し、各画素の階調パターンを設定する。なお、位相変調器51は、画像以外を受け付け可能に構成されている場合、位相変調器51の各画素の階調を表す情報を保持する画像以外のデータに基づいて、液晶パネル51aの各画素の階調を設定してもよい。
【0068】
本検証では、位相変調器51として、浜松ホトニクス社製の“LCOS-SLM01”が用いられた。ステージ40のスライドガラス41上には、第1の蛍光ビーズと第2の蛍光ビーズが配置された。第1の蛍光ビーズは、光源21からの光が照射されると、中心波長が690nmの蛍光、すなわち第1蛍光を生じる。第2の蛍光ビーズは、光源22からの光が照射されると、中心波長が530nmの蛍光、すなわち第2蛍光を生じる。
【0069】
本検証では、第1蛍光を観察する場合、第1の蛍光ビーズに対して対物レンズ36をZ軸方向にスキャンし、第1の蛍光ビーズのZ軸方向における位置を相対的に変化させた。同様に、第2蛍光を観察する場合、第2の蛍光ビーズに対して対物レンズ36をZ軸方向にスキャンし、第2の蛍光ビーズのZ軸方向における位置を相対的に変化させた。このように対物レンズ36をZ軸方向にスキャンすることにより、Z軸方向の異なる位置に複数の蛍光ビーズが配置されている状態と同様の状態にできる。そして、撮像部62により蛍光を撮像し、対物レンズ36のスキャン位置ごとに蛍光の画像を取得した。
【0070】
位相変調器51の液晶パネル51aは、
図6(b)に示したように液晶分子51bの傾きを変化させることにより、1画素につき256階調で位相変調できるよう構成されている。各画素の階調は0~255に設定可能であり、階調が0~255のいずれかに設定されることにより、256階調の位相変調が実現される。液晶パネル51aの全画素について設定された階調のパターン分布を、位相を変調させる分布として、以下「位相変調パターン」と称する。すなわち、液晶パネル51aの各画素について設定された階調の分布が、位相変調パターンに相当する。位相変調器51に画像が入力され位相変調パターンが設定されることにより、液晶パネル51aの各画素の階調が設定され、
図6(b)に示すように、位相変調器51に入射する蛍光の位相が画素ごとに変化する。
【0071】
図7(a)に示す第1位相変調パターンは、第1の波長の光用、すなわち第1蛍光に最適な位相変調パターンである。第1位相変調パターンは、第1の波長の光、すなわち第1蛍光に第1位相変調を与える。
図7(b)に示す第2位相変調パターンは、第2の波長の光用、すなわち第2蛍光に最適な位相変調パターンである。第2位相変調パターンは、第2の波長の光、すなわち第2蛍光に第2位相変調を与える。位相変調器51の位相変調パターンが第1位相変調パターンに設定されると、位相変調器51に入射する第1蛍光について、撮像面62aにおいてDH-PSFに応じた像が形成される。位相変調器51の位相変調パターンが第2位相変調パターンに設定されると、位相変調器51に入射する第2蛍光について、撮像面62aにおいてDH-PSFに応じた像が形成される。
【0072】
図7(a)、(b)において、階調が0の画素は黒で示されており、階調が255の画素は白で示されている。階調が0の画素は、入射する光の位相を変調しない。階調が255の画素に入射する第1蛍光の位相は、階調が0の画素に入射する第1蛍光の位相に対して2πだけずれる。階調が183の画素に入射する第2蛍光の位相は、階調が0の画素に入射する第2蛍光の位相に対して2πだけずれる。
【0073】
なお、本検証および後述する検証において、位相変調器51の入射面により生じる収差を補正するために、位相変調器51に第1蛍光を入射させる場合、位相変調器51に設定する位相変調パターンには、所定の第1補正マスクを合成し、位相変調器51に第2蛍光を入射させる場合、位相変調器51に設定する位相変調パターンには、所定の第2補正マスクを合成した。第1補正マスクが合成されることにより、階調が255を越える画素については、その階調を256で除算した余りの値を、当該画素の階調とした。第2補正マスクが合成されることにより、階調が183を越える画素については、その階調を184で除算した余りの値を、当該画素の階調とした。
【0074】
図8(a)~(h)を参照して、位相変調器の事前検証の結果について説明する。
【0075】
図8(a)、(b)は、位相変調器51に第1位相変調パターンを設定し、第1蛍光を観察した場合の検証結果である。この場合、
図8(a)に示すように、第1蛍光が撮像面62aにおいて2点に結像され、対物レンズ36のZ軸方向のスキャンにより、2点の結像位置により作られる直線が180度回転した。また、
図8(b)に示すように、対物レンズ36のZ軸方向のスキャン位置と、2点の結像位置により作られる直線の角度との関係は、1対1に対応したカーブとなった。
図8(a)、(b)の結果から、この場合は第1蛍光のDH-PSFに応じた像を適正に形成できることが分かった。
【0076】
図8(c)、(d)は、位相変調器51に第1位相変調パターンを設定し、第2蛍光を観察した場合の検証結果である。この場合、
図8(c)に示すように、Z軸方向の位置によってはDH-PSFの形状が崩れた。また、
図8(d)に示すように、角度とスキャン位置の関係を示すカーブにおいて、一部に大きな段差が現れた。
図8(c)、(d)の結果から、この場合は第2蛍光のDH-PSFに応じた像を適正に形成できないことが分かった。
【0077】
図8(e)、(f)は、位相変調器51に第2位相変調パターンを設定し、第1蛍光を観察した場合の検証結果である。この場合、
図8(e)に示すように、Z軸方向の位置によってはDH-PSFの形状が崩れた。また、
図8(f)に示すように、スキャン位置と角度との関係を示すカーブが大きく崩れ、スキャン位置と角度とが1対1に対応しなかった。
図8(e)、(f)の結果から、この場合は第1蛍光のDH-PSFに応じた像を適正に形成できないことが分かった。
【0078】
図8(g)、(h)は、位相変調器51に第2位相変調パターンを設定し、第2蛍光を観察した場合の検証結果である。この場合、
図8(g)に示すように、2つの輝点像が適正となった。また、
図8(h)に示すように、角度とスキャン位置との関係は、1対1に対応したカーブとなった。
図8(g)、(h)の結果から、この場合は第2蛍光のDH-PSFに応じた像を適正に形成できることが分かった。
【0079】
図8(a)、(b)、(g)、(h)の結果から、位相変調器51の位相変調パターンの設定と、位相変調器51に入射させる蛍光の中心波長との組合せが最適である場合、蛍光のDH-PSFに応じた像を適正に形成できた。このことは結果としては妥当であったと言える。一方、位相変調器51の位相変調パターンの設定と、位相変調器51に入射させる蛍光の中心波長との組合せが最適でない場合、蛍光のDH-PSFに応じた像を適正に形成できなかった。このことから、位相変調器51の位相変調パターンの設定と、位相変調器51に入射させる蛍光とを適切に選択する必要があることが分かった。
【0080】
以上の結果を踏まえて、本発明者は、第1蛍光と第2蛍光の両方に対応できるように、第1蛍光にとって最適な第1位相変調パターンと、第2蛍光にとって最適な第2位相変調パターンとを統合することを考えた。その際に、本発明者は、第1蛍光と第2蛍光の波長帯域が重なることに着目した。第1蛍光は、第1の波長に強度のピークを持つ光であり、第2蛍光は、第2の波長に強度のピークを持つ光である。すなわち、第1蛍光の波長帯域は、第1の波長を中心波長としてある程度の広がりを有しており、第2蛍光の波長帯域は、第2の波長を中心波長としてある程度の広がりを有する。そして、第1蛍光の波長帯域の一部と、第2蛍光の波長帯域の一部とは互いに重なり合う。
【0081】
発明者は、第1蛍光の波長帯域の一部と第2蛍光の波長帯域の一部とが重なり合う場合に、第1蛍光に最適な第1位相変調パターンと、第2蛍光に最適な第2位相変調パターンとを以下のように統合すれば、統合した位相変調パターンによって第1蛍光と第2蛍光のDH-PSFに応じた像が適正に形成できることを見いだした。以下に示す実施例1~6の位相変調パターンは、第1位相変調パターンと第2位相変調パターンとを様々な方法で統合した例である。また、発明者は、実施例1~6の位相変調パターンによって、第1蛍光および第2蛍光のDH-PSFに応じた像が適正に形成されるか否かを検証した。
【0082】
<実施例1の位相変調パターン>
実施例1の位相変調パターンは、第1位相変調パターンと第2位相変調パターンとを、位置ごとに所定の割合で合成することにより作製される。第1位相変調パターンと第2位相変調パターンとをa対bで合成する場合、以下の式に示すように、実施例1の位相変調パターンの階調は、第1位相変調パターンの第1の階調と、第2位相変調パターンの第2の階調とに基づいて算出される。
【0083】
実施例1の位相変調パターンの階調
=(第1の階調×a+第2の階調×b)/(a+b)
(a、bは、いずれも正の実数)
【0084】
具体的に実施例1の位相変調パターンを用いる場合、実施例1の位相変調パターンに対応する画像が作製され、作製された画像が位相変調器51に入力され、入力された画像に基づいて位相変調器51において実施例1の位相変調パターンが実現される。実施例1の位相変調パターンに対応する画像の各画素における階調は、第1の波長の光用の階調と、第2波長の光用の階調との間の階調に設定される。すなわち、第1蛍光に最適な第1位相変調パターンの同じ画素位置における階調と、第2蛍光に最適な第2位相変調パターンの同じ画素位置における階調とに基づいて、上記式により算出される。こうして作製された実施例1の位相変調パターンに対応する画像が、位相変調器51に入力されることにより、位相変調器51において実施例1の位相変調パターンが設定され、液晶パネル51aの各液晶分子51bの回転角度が設定される。
【0085】
図9は、(a、b)=(9、1)、(8、2)、(7、3)、(6、4)、(5、5)、(4、6)、(3、7)、(2、8)、(1、9)のときの、実施例1の位相変調パターンを示す図である。以下、これら9つの位相変調パターンについて検証を行った結果を示す。
【0086】
図10は、上記のような実施例1の9種類の位相変調パターンと、第1位相変調パターンと、第2位相変調パターンとを用いて、第1蛍光を観察した場合の撮像面62aにおける第1蛍光の結像状態を示す図である。上下方向は、対物レンズ36のスキャン位置を示している。最も左側の“690nm”と最も右側の“530nm”は、それぞれ第1位相変調パターンと第2位相変調パターンを用いた場合を示している。
【0087】
図10に示すように、各スキャン位置のいずれにおいても、右へ進むにつれて、すなわち第2位相変調パターンの配合比率が上昇し位相変調パターンが第2位相変調パターンに近付くにつれて、DH-PSFに応じた輝点像がぼやけていく様子が見られた。また、スキャン位置が-3μmや-4μmの場合は、右へ進むにつれて、2つの輝点の中間に0次光に基づく新たな輝点が現れた。特に、(a、b)=(1、9)の位相変調パターンと第2位相変調パターンとを用いた場合、実線の枠で囲んだ部分に示すように、0次光の輝点像の輝点強度が、DH-PSFに応じた輝点像に比べて高かった。このような場合、0次光をDH-PSFの輝点と誤認識することで、スキャン位置と角度との関係を示すカーブや、3次元超解像画像を適正に生成できない可能性がある。
【0088】
図11は、上記のような実施例1の9種類の位相変調パターンと、第1位相変調パターンと、第2位相変調パターンとを用いて、第2蛍光を観察した場合の撮像面62aにおける第2蛍光の結像状態を示す図である。
【0089】
図11に示すように、各スキャン位置のいずれにおいても、左へ進むにつれて、すなわち第1位相変調パターンの配合比率が上昇し位相変調パターンが第1位相変調パターンに近付くにつれて、DH-PSFに応じた輝点像がぼやけていく様子が見られた。特に、(a、b)=(9、1)、(8、2)、(7、3)の位相変調パターンと第1位相変調パターンとを用いた場合、実線の枠で囲んだ部分に示すように、スキャン位置によっては輝点が2点よりも多くなった。
【0090】
図10、11の結果から、(a、b)=(6、4)、(5、5)、(4、6)、(3、7)、(2、8)で実施例1の位相変調パターンを設定した場合、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0091】
さらに、(a、b)=(5、5)で実施例1の位相変調パターンを設定した場合の検証結果について、
図12(a)~(d)を参照して説明する。
【0092】
図12(a)、(b)は、第1蛍光を観察した場合の結果を示しており、
図12(c)、(d)は、第2蛍光を観察した場合の結果を示している。
図12(a)、(c)に示すように、2点の結像位置により作られる直線の傾きが-90度~+90度の範囲で、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できた。また、
図12(b)、(d)に示すように、角度とスキャン位置との関係は1対1に対応したカーブとなった。
【0093】
以上の検証結果から、位相変調器51に実施例1の位相変調パターンを設定する場合に、第1位相変調パターンと第2位相変調パターンを所定の割合で合成して実施例1の位相変調パターンとすれば、実施例1の位相変調パターンにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。なお、中心波長が異なる3種類以上の蛍光に対しても、同様に、3種類の蛍光に最適な位相変調パターンを所定の割合で合成することにより、3つの蛍光のDH-PSFに応じた像を適正に形成できる。
【0094】
次に、
図13(a)~(c)を参照して、上記のように第1位相変調パターンと第2位相変調パターンを合成することについて詳細に説明する。
図13(a)~(c)は、それぞれ、第1位相変調パターンと、第2位相変調パターンと、実施例1の位相変調パターンにおいて、液晶パネル51aの1つの画素位置を模式的に示す図である。
図13(a)~(c)では、便宜上、1つの液晶分子51bにより1つの画素の階調が設定されるものとする。
【0095】
図13(a)に示すように、第1蛍光に基づいてDH-PSFに応じた像を適正に形成させるために、所定の画素位置に入射する第1蛍光が液晶分子51bを往復で通過する距離を、第1距離L1とする。同様に、
図13(b)に示すように、第2蛍光のDH-PSFに応じた像を適正に形成させるために、所定の画素位置に入射する第2蛍光が液晶分子51bを往復で通過する距離を、第2距離L2とする。第1距離L1によって第1蛍光の位相が変調される大きさは、第2距離L2によって第2蛍光の位相が変調される大きさに等しい。すなわち、第1蛍光の波長と、第2蛍光の波長と、液晶分子51bの屈折率とを考慮すると、第1距離L1に基づく第1蛍光の光路長と第2距離L2に基づく第2蛍光の光路長とは互いに等しい。
【0096】
図13(c)に示すように、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成させるために、所定の画素位置に入射する第1蛍光と第2蛍光が液晶分子51bを往復で通過する距離を、第3距離L3とする。このとき、第3距離L3は、第1距離と第2距離との間に設定される。すなわち、実施例1の位相変調パターンの各位置における位相変調の大きさは、第1位相変調パターンにおける位相変調の大きさと、第2位相変調パターンにおける位相変調の大きさとの間の大きさに設定されている。具体的には、上記のような実施例1の位相変調パターンの式と同様、第3距離L3は、以下の式により算出される。
【0097】
第3距離L3=(第1距離L1×a+第2距離L2×b)/(a+b)
【0098】
実施例1の位相変調パターンが設定されると、
図13(c)に示すような設定が全ての画素位置において行われる。これにより、実施例1の位相変調パターンは、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できるようになる。
【0099】
なお、(a、b)=(5、5)のとき、第3距離L3は、第1距離L1と第2距離L2の中間に設定されることになる。この場合、第1蛍光には、第1蛍光を第1位相変調パターンにより位相変調させる大きさと、第1蛍光を第2位相変調パターンにより位相変調させる大きさとの中間の大きさの位相変調が生じる。第2蛍光には、第2蛍光を第1位相変調パターンにより位相変調させる大きさと、第2蛍光を第2位相変調パターンにより位相変調させる大きさとの中間の大きさの位相変調が生じる。
【0100】
<実施例2の位相変調パターン>
図14(a)に示すように、実施例2の位相変調パターンは、第1位相変調パターンと第2位相変調パターンとをモザイク状に配置することにより作製される。実施例2の位相変調パターンでは、入射領域を多数に区分した領域群が、薄いグレーの領域からなる第1領域と、濃いグレーの領域からなる第2領域とに区分される。第1領域の各領域と第2領域の各領域はそれぞれ隣り合っている。薄いグレーの領域には、第1位相変調パターンが設定され、濃いグレーの領域は、第2位相変調パターンが設定される。実施例2の位相変調パターンでは、第1領域の1つの領域と第2領域の1つの領域は、いずれも一辺がMピクセルの正方形形状とされる。
【0101】
すなわち、実施例2の位相変調パターンは、入射領域において、第1の波長の光に第1位相変調を与えるための領域、すなわち第1位相変調パターンが設定された第1領域と、第2の波長の光に第2位相変調を与えるための領域、すなわち第2位相変調パターンが設定された第2領域とを含む。言い換えれば、入射領域のある領域において、実施例2の位相変調パターンでは、第1領域に入射する光束が位相変調のために進む距離が、
図13(a)に示す第1距離L1に設定され、第2領域に入射する光束が位相変調のために進む距離が、
図13(b)に示す第2距離L2に設定される。
【0102】
図14(b)~(d)は、それぞれM=1、3、5のときの、実施例2の位相変調パターンを示す図である。
図14(b)~(d)には、中央付近における第1位相変調パターンと第2位相変調パターンの配置が拡大表示されている。以下、これら3つの位相変調パターンについて検証を行った結果を示す。
【0103】
図15(a)~(d)は、M=1の実施例2の位相変調パターンを用いて、蛍光を観察した結果を示す図である。
図15(a)、(b)に示すように、第1蛍光を観察した場合、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。
図15(c)、(d)に示すように、第2蛍光を観察した場合も、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。したがって、M=1の実施例2の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0104】
図15(e)、(f)は、M=5の実施例2の位相変調パターンを用いて、第1蛍光と第2蛍光を観察した結果を示す図である。この場合も、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、いずれも2つの輝点像が適正となった。したがって、M=5の実施例2の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0105】
図16(a)は、M=1、3の実施例2の位相変調パターンを用いて、第1蛍光を広視野で観察した結果を示す図である。
図16(b)は、M=1、3の実施例2の位相変調パターンを用いて、第2蛍光を広視野で観察した結果を示す図である。
図16(a)、(b)において、上段は、蛍光を直接観察した場合に撮像部62により生成される画像である。下段は、上段の画像のコントラストを調整した画像である。
図16(a)、(b)において、左側の画像はM=1の位相変調パターンに対応し、右側の画像はM=3の位相変調パターンに対応する。
【0106】
図16(a)、(b)の下段の画像において、矢印で示す位置に輝点が現れている。この輝点は、第1位相変調パターンと第2位相変調パターンとがモザイク状で周期的に配置されていることにより生じた回折光に基づく輝点である。回折角はMの値が大きいほど小さいため、M=1の位相変調パターンを用いた場合よりも、M=3の位相変調パターンを用いた場合の方が、回折光が画像の中心に近い領域に現れることになる。M=3の場合、本来観察したいDH-PSFに応じた輝点の一部に、回折光が重畳していることが分かった。
【0107】
したがって、実施例2の位相変調パターンを用いる場合には、Mの値をなるべく小さくするのが望ましいと言える。ただし、位相変調器51の1つの画素のサイズが小さい場合には、Mの値を大きくしても回折光が視野に入らないこともあり得る。また、回折光の輝点は、本来観察したいDH-PSFに応じた輝点に比べて暗いため、回転角度に基づいて3次元座標を算出する際に、特に問題とならないこともあり得る。なお、中心波長が異なる2種類の蛍光のDH-PSFに応じた像を適正に形成できるMの値は、上記のような1、3、5に限らない。
【0108】
<実施例3の位相変調パターン>
図17(a)に示すように、実施例3の位相変調パターンは、実施例2の位相変調パターンと同様、第1位相変調パターンと第2位相変調パターンとをモザイク状に配置することにより作製される。ただし、実施例3の位相変調パターンでは、第1領域の1つの領域と第2領域の1つの領域は、いずれも上下方向にMピクセルであり左右方向にNピクセルの長方形形状とされる。
【0109】
図17(b)~(d)は、それぞれ(M、N)=(1、2)、(1、4)、(1、32)のときの、実施例3の位相変調パターンを示す図である。以下、これら3つの位相変調パターンについて検証を行った結果を示す。
【0110】
図18(a)~(d)は、(M、N)=(1、2)の実施例3の位相変調パターンを用いて、蛍光を観察した結果を示す図である。
図18(a)、(b)に示すように、第1蛍光を観察した場合、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。
図18(c)、(d)に示すように、第2蛍光を観察した場合も、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。したがって、(M、N)=(1、2)の実施例3の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0111】
図18(e)、(f)は、(M、N)=(1、32)の実施例3の位相変調パターンを用いて、第1蛍光と第2蛍光を観察した結果を示す図である。この場合も、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。したがって、(M、N)=(1、32)の実施例3の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0112】
図19(a)は、(M、N)=(1、2)、(1、4)の実施例3の位相変調パターンを用いて、第1蛍光を広視野で観察した結果を示す図である。
図19(b)は、(M、N)=(1、2)、(1、4)の実施例3の位相変調パターンを用いて、第2蛍光を広視野で観察した結果を示す図である。
図19(a)、(b)において、左側の画像は(M、N)=(1、2)の位相変調パターンに対応し、右側の画像は(M、N)=(1、4)の位相変調パターンに対応する。
【0113】
図19(a)、(b)の下段の画像において、
図16(a)、(b)の場合と同様、矢印で示す位置に輝点が現れている。
図17(a)の上下方向と左右方向は、
図19(a)、(b)の画像において、それぞれ左右方向と上下方向に対応する。本検証では、Mの値は1に固定されているため、
図19(a)、(b)の下段の画像に示すように、回折光は左右方向において両端の同じ位置に現れた。一方、Nの値が大きくなると、回折光は左右方向における位置を保ちながら、上下方向において画像の中心に近付いた。また、(M、N)=(2、4)の条件が示すような長方形形状の実施例3の位相変調パターンを用いた場合も、実施例2の位相変調パターンの検証からも分かるように、Mの値が1から2へと大きくなることによって、回折光が左右方向において画像の中心に近付くことが想定される。
【0114】
したがって、実施例3の位相変調パターンを用いる場合には、M、Nの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる2種類の蛍光のDH-PSFに応じた像を適正に形成できるM、Nの値は、上記のような(1、2)、(1、4)、(1、32)に限らない。
【0115】
<実施例4の位相変調パターン>
図20(a)に示すように、実施例4の位相変調パターンは、第1位相変調パターンと第2位相変調パターンとをストライプ状に配置することにより作製される。第1領域の1つの領域と第2領域の1つの領域は、いずれも左右方向にMピクセルのストライプ形状とされる。第1領域の各領域と第2領域の各領域は、第1蛍光および第2蛍光が入射する入射領域の一端から他端にわたって延びている。すなわち、上下方向の長さは、設定可能な長さの最大のピクセル値とされる。
【0116】
図20(b)~(d)は、それぞれM=1、2、16のときの、実施例4の位相変調パターンを示す図である。以下、これら3つの位相変調パターンについて検証を行った結果を示す。
【0117】
図21(a)~(d)は、M=1の実施例4の位相変調パターンを用いて、蛍光を観察した結果を示す図である。
図21(a)、(b)に示すように、第1蛍光を観察した場合、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。
図21(c)、(d)に示すように、第2蛍光を観察した場合も、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。したがって、M=1の実施例4の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0118】
図21(e)、(f)は、M=16の実施例4の位相変調パターンを用いて、第1蛍光と第2蛍光を観察した結果を示す図である。この場合も、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。したがって、M=16の実施例4の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0119】
図22(a)は、M=1、2の実施例4の位相変調パターンを用いて、第1蛍光を広視野で観察した結果を示す図である。
図22(b)は、M=1、2の実施例4の位相変調パターンを用いて、第2蛍光を広視野で観察した結果を示す図である。
図22(a)、(b)において、左側の画像はM=1の位相変調パターンに対応し、右側の画像はM=2の位相変調パターンに対応する。
【0120】
図22(a)、(b)の下段の画像において、
図16(a)、(b)の場合と同様、矢印で示す位置に輝点が現れている。ただし、実施例2の位相変調パターンの場合とは異なり、
図22(a)、(b)の下段の画像に示すように、回折光は上下方向にのみ現れた。一方、Mの値が大きくなると、実施例2の位相変調パターンと同様、回折光は、上下方向において画像の中心に近付いた。
【0121】
したがって、実施例4の位相変調パターンを用いる場合には、Mの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる2種類の蛍光のDH-PSFに応じた像を適正に形成できるMの値は、上記のような1、2、16に限らない。
【0122】
<実施例5の位相変調パターン>
図23(a)に示すように、実施例5の位相変調パターンは、第1位相変調パターンと第2位相変調パターンとを同心円状に配置することにより作製される。言い換えれば、第1領域の各領域と第2領域の各領域は、同心のリング形状である。なお、第1領域の各領域の中心と第2領域の各領域の中心とは、ずれていてもよい。第1領域の1つの領域と第2領域の1つの領域は、中心からMピクセル遠ざかるごとに、互いに入れ替わるように配置される。
【0123】
図23(b)~(e)は、それぞれM=1、2、5、60のときの、実施例5の位相変調パターンを示す図である。以下、これら4つの位相変調パターンについて検証を行った結果を示す。
【0124】
図24(a)~(d)は、M=1の実施例5の位相変調パターンを用いて、蛍光を観察した結果を示す図である。
図24(a)、(b)に示すように、第1蛍光を観察した場合、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。
図24(c)、(d)に示すように、第2蛍光を観察した場合も、2つの輝点像が適正となり、スキャン位置と角度との関係も1対1に対応したカーブとなった。したがって、M=1の実施例5の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0125】
図24(e)、(f)は、M=5の実施例5の位相変調パターンを用いて、第1蛍光と第2蛍光を観察した結果を示す図である。この場合も、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。したがって、M=5の実施例5の位相変調パターンを用いることにより、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できることが分かった。
【0126】
図24(g)、(h)は、M=60の実施例5の位相変調パターンを用いて、第1蛍光と第2蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が崩れてしまうことが確認された。したがって、Mの値が大きくなり過ぎると、第1蛍光と第2蛍光のDH-PSFに応じた像を適正に形成できなくなることが分かった。
【0127】
図25(a)は、M=2、5の実施例5の位相変調パターンを用いて、第1蛍光を広視野で観察した結果を示す図である。
図25(b)は、M=2、5の実施例5の位相変調パターンを用いて、第2蛍光を広視野で観察した結果を示す図である。
図25(a)、(b)において、左側の画像はM=2の位相変調パターンに対応し、右側の画像はM=5の位相変調パターンに対応する。
【0128】
図25(a)、(b)の下段の画像において、矢印で示すような、輝点像を囲むリング状の回折光が現れている。M=2、5の下段の画像を参照すると、この回折光は、Mの値が大きくなるにつれて、より直径の小さなリング状の回折光として現れ、本来観察したいDH-PSFに応じた輝点に近付くことが分かった。したがって、実施例5の位相変調パターンを用いる場合には、Mの値をなるべく小さくするのが望ましいと言える。なお、中心波長が異なる2種類の蛍光のDH-PSFに応じた像を適正に形成できるMの値は、上記のような1、2、5に限らない。
【0129】
また、実施例5の位相変調パターンによれば、実施例2~4の位相変調パターンに比べて、回折光は円に沿ってより広い範囲に分散されるため、回折光の輝度は小さくなる。したがって、実施例5の位相変調パターンを用いる場合に、回折光が本来観察したいDH-PSFに応じた輝点に重なったとしても、大きな問題となることはない。このことから、Mの値が小さい実施例5の位相変調パターンは、実施例2~4の位相変調パターンよりも、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できると言える。
【0130】
<実施例6の位相変調パターン>
実施例6の位相変調パターンは、位置や大きさ等を変更した第1位相変調パターンと第2位相変調パターンとを、実施例2の位相変調パターンと同様に正方形形状のモザイク状に配置することにより作製される。
【0131】
図26は、8種類の実施例5の位相変調パターンを示す図である。“mosaicROTATE5”は、中心まわりに5度回転した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicROTATE30”は、中心まわりに30度回転した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicSHIFT5”は、右方向に5ピクセルだけシフトした第1位相変調パターンと、左方向に5ピクセルだけシフトした第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicSHIFT10”は、右方向に10ピクセルだけシフトした第1位相変調パターンと、左方向に10ピクセルだけシフトした第2位相変調パターンとをモザイク状に配置した位相変調パターンである。
【0132】
“mosaicEXPAND10”は、10ピクセルだけ直径を拡大した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicEXPAND40”は、40ピクセルだけ直径を拡大した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicREDUCE20”は、20ピクセルだけ直径を縮小した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。“mosaicREDUCE40”は、40ピクセルだけ直径を縮小した第1位相変調パターンと、第2位相変調パターンとをモザイク状に配置した位相変調パターンである。以下、これら8つの位相変調パターンについて検証を行った結果を示す。
【0133】
図27(a)、(b)は、“mosaicROTATE5”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。
図27(c)、(d)は、“mosaicROTATE30”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が崩れてしまうことが確認された。したがって、第1位相変調パターンの回転角度と第2位相変調パターンの回転角度の差が大きくなると、第1蛍光と第2蛍光のDH-PSFに応じた像を適正に形成できなくなることが分かった。
【0134】
図27(e)、(f)は、“mosaicSHIFT5”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、
図27(g)、(h)は、“mosaicSHIFT10”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となったが、“mosaicSHIFT5”に比べて輝点像が僅かに崩れた。
【0135】
なお、“mosaicSHIFT10”の輝点像が、“mosaicSHIFT5”に比べて僅かに崩れている理由は、1つの中心波長のみに最適な位相変調パターンに、当該中心波長の蛍光が入射する場合を考えると明らかである。すなわち、位相変調パターンに入射する蛍光が、当該位相変調パターンに最適な蛍光であっても、入射するビームの中心が位相変調パターンの中心から離れるほど、輝点像の形状が崩れる。このため、中心からのシフト量が大きい“mosaicSHIFT10”において、輝点像が崩れやすくなる。
【0136】
図28(a)、(b)は、“mosaicEXPAND10”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。
図28(c)、(d)は、“mosaicEXPAND40”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となったが、“mosaicEXPAND10”に比べて輝点像が僅かに崩れた。
【0137】
なお、“mosaicEXPAND40”の輝点像が、“mosaicEXPAND10”に比べて僅かに崩れている理由は、1つの中心波長のみに最適な位相変調パターンに、当該中心波長の蛍光が入射する場合を考えると明らかである。すなわち、位相変調パターンに入射する蛍光が、当該位相変調パターンに最適な蛍光であっても、入射するビームの直径が位相変調パターンの直径とかけ離れるほど、輝点像の形状が崩れる。このため、直径のずれ量が大きい“mosaicEXPAND40”において、輝点像が崩れやすくなる。
【0138】
図28(e)、(f)は、“mosaicREDUCE20”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となった。
図28(g)、(h)は、“mosaicREDUCE40”を用いて、蛍光を観察した結果を示す図である。この場合、第1蛍光を観察した場合と、第2蛍光を観察した場合とにおいて、2つの輝点像が適正となったが、“mosaicREDUCE20”に比べて輝点像が僅かに崩れた。なお、“mosaicREDUCE40”の輝点像が、“mosaicREDUCE20”に比べて僅かに崩れている理由は、“mosaicEXPAND40”の場合の崩れと同様の理由である。
【0139】
<透明部材からなる位相板への適用>
図29(a)~(f)を参照して、実施例1に示す位相変調パターンを、透明部材からなる位相板に適用する例について説明する。
【0140】
図29(a)は、
図7(a)に示す第1位相変調パターンに対応するように作製された位相板91である。
図29(b)は、
図7(b)に示す第2位相変調パターンに対応するように作製された位相板92である。位相板91、92は、位相板52と同じ材料からなる。位相板91において、厚みが大きい部分は、第1位相変調パターンにおいて白に近い領域に対応し、厚みが小さい部分は、第1位相変調パターンにおいて黒に近い領域に対応する。同様に、位相板92において、厚みが大きい部分は、第2位相変調パターンにおいて白に近い領域に対応し、厚みが小さい部分は、第2位相変調パターンにおいて黒に近い領域に対応する。
【0141】
位相板91の最大の厚みは、最大の厚み部分に入射する第1蛍光の位相が1波長だけずれるように設計されている。同様に、位相板92の最大の厚みは、最大の厚み部分に入射する第2蛍光の位相が1波長だけずれるように設計されている。位相板91は、第1の波長の光、すなわち第1蛍光に第1位相変調を与える。位相板92は、第2の波長の光、すなわち第2蛍光に第2位相変調を与える。
【0142】
このような位相板91、92を、実施例1の位相変調パターンと同様に合成して、
図29(c)に示すように、位相板52を作製する。位相板52の厚みは、第1の波長の光用の位相板の厚みと第2の波長の光用の位相板の厚みとの間の厚み、すなわち、第1蛍光に最適な位相板91の厚みと、第2蛍光に最適な位相板92の厚みとの間の厚みを有する。位相板52は、アクリル樹脂等の透明部材からなる。なお、位相板52を構成する透明部材は、必ずしも透明でなくてもよく、光を透過できればよい。
【0143】
なお、位相板91の厚みT1と、位相板92の厚みT2とは、以下の式により算出される。以下の式において、n1は、位相板91、92の周辺の屈折率、すなわち空気の屈折率である。n2は、位相板91、92の屈折率、すなわち作製しようとする位相板52の屈折率である。λ1は、第1蛍光の中心波長であり、λ2は、第2蛍光の中心波長である。θは、位相のシフト量である。
【0144】
厚みT1=λ1×θ/{2π(n2-n1)}
厚みT2=λ2×θ/{2π(n2-n1)}
なお、T2/T1=λ2/λ1である。
【0145】
たとえば、位相板91、92において、第1蛍光および第2蛍光の位相の最大シフト量がθmaxである場合、θmaxを上記式に代入して得られる厚みT1、T2は、それぞれ、位相板91、92の最大厚みに対応する。そして、位相板52の厚みは、位相板91の最大厚みと位相板92の最大厚みとの間の厚みに設定される。同様に、位相板91、92が最大厚みとなる領域以外の領域においても、位相板52の厚みは、位相のシフト量に基づいて得られる厚みT1と厚みT2の間の厚みに設定される。
【0146】
なお、上記厚みを算出する式において、θの範囲が、2(m-1)π<θ≦2mπ(mは正の整数)の場合、下記式が好ましい。これにより、光の透過率の低下を抑制できる。
【0147】
厚みT1=λ1{θ-2(m-1)π}/{2π(n2-n1)}
厚みT2=λ2{θ-2(m-1)π}/{2π(n2-n1)}
【0148】
図29(d)~(f)は、それぞれ、
図29(a)~(c)において点線で囲んだ領域を厚み方向に平行な平面で切断したときの切断面を模式的に示す図である。点線で囲んだ領域の厚みは、位相板91の場合、第1の厚みH1であり、位相板92の場合、第2の厚みH2であるとする。第1の厚みH1は、第1蛍光のDH-PSFに応じた像を適正に形成させるための厚みであり、第2の厚みH2は、第2蛍光のDH-PSFに応じた像を適正に形成させるための厚みである。ここで、位相板52は、実施例1の位相変調パターンを作製する場合と同様の手法に基づいて作製されており、位相板52の厚みは、位相板91の厚みと、位相板92の厚みとの間の厚みで分布する。したがって、点線で囲んだ領域の位相板52の厚みを第3の厚みH3とすると、第3の厚みH3は、以下の式により算出される。
【0149】
第3の厚みH3=(第1の厚みH1×a+第2の厚みH2×b)/(a+b)
【0150】
このように作製された位相板52は、実施例1の位相変調パターンが位相変調器51に設定された場合と同様、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できる。なお、実施例1の位相変調パターンにおける検証結果と同様、aの値とbの値が接近するほど、第1蛍光と第2蛍光の両方のDH-PSFに応じた像をより適正に形成できる。
【0151】
次に、
図30(a)~(i)を参照して、実施例2に示す位相変調パターンを、透明部材からなる位相板に適用する例について説明する。
【0152】
図30(a)の位相板91は、
図29(a)の位相板と同様であり、
図30(b)の位相板92は、
図29(b)の位相板と同様である。このような位相板91、92を、実施例2の位相変調パターンと同様にモザイク状に配置して、
図30(c)に示すように、位相板52を作製する。
【0153】
図30(d)において薄いグレーで示すように、位相板91は、全領域において第1蛍光にのみ最適な厚みとなるように作製されている。
図30(e)において濃いグレーで示すように、位相板92は、全領域において第2蛍光にのみ最適な厚みとなるように作製されている。すなわち、位相板91は、第1位相変調パターンと同様に設定されており、位相板92は、第2位相変調パターンと同様に設定されている。
図30(f)において薄いグレーと濃いグレーのモザイク形状で示すように、
図30(c)に示す位相板52は、第1蛍光に最適な厚みの第1領域と、第2蛍光に最適な厚みの第2領域とがモザイク状に配置されている。
【0154】
言い換えれば、
図30(f)において薄いグレーが示す第1領域は、入射領域において、第1の波長の光、すなわち第1蛍光に第1位相変調を与えるように構成された領域である。
図30(f)において濃いグレーが示す第2領域は、入射領域において、第2の波長の光、すなわち第2蛍光に第2位相変調を与えるように構成された領域である。
【0155】
図30(g)~(i)は、それぞれ、
図30(d)~(f)の点線で囲んだ領域を厚み方向に平行な平面で切断したとき切断面を模式的に示す図である。以下、便宜上、実施例2の位相変調パターンにおいてMの値を1とする。点線で囲んだ領域の4画素区間における厚みは、位相板91の場合、第1の厚みH11~H14であり、位相板92の場合、第2の厚みH21~H24であるとする。この場合、位相板52の厚みは、たとえば
図30(i)に示すように、位相板91の厚みと位相板92の厚みとが交互に現れるような厚みとなる。
【0156】
言い換えれば、
図30(i)に示す位相板52の構成は以下のようになる。
図30(f)に示すように、位相板52は、入射領域において、薄いグレーの領域からなる第1領域と、濃いグレーの領域からなる第2領域とを含む。第1領域の各領域と第2領域の各領域はそれぞれ隣り合っている。第1領域には、位相板91と同様の厚みが設定される。第2領域には、位相板92と同様の厚みが設定される。
図30(i)に示すように、第1領域に対応する位置の厚みは、第1の厚みH11、H13とされ、第2領域に対応する位置の厚みは、第2の厚みH22、H24とされる。
【0157】
このように作製された位相板52は、実施例1の位相変調パターンが位相変調器51に設定された場合と同様、第1蛍光と第2蛍光の両方のDH-PSFに応じた像を適正に形成できる。
【0158】
なお、上述したように、
図1に示した位相変調マスク50の構成例として、透明部材からなる位相板52と、液晶パネル51aを有する位相変調器51とについて説明したが、位相変調マスク50の構成例は、これに限らない。たとえば、位相変調マスク50は、入射面内の各位置において入射方向の異なる位置で、設定に応じて光を反射する微小なミラーを備えたデフォーマブルミラーでもよい。あるいは、位相変調マスク50は、入射面内の各位置において入射方向の異なる位置で光を反射する反射部材でもよい。
【符号の説明】
【0159】
10 光学機器
20 光源部
30 照射光学系
40 ステージ
36 対物レンズ
50 位相変調マスク
51 位相変調器
52 位相板
60 集光光学系
62 撮像部
62a 撮像面
111 処理部