(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-18
(45)【発行日】2022-10-26
(54)【発明の名称】試料観察方法、試料観察装置、及び顕微鏡
(51)【国際特許分類】
G02B 21/00 20060101AFI20221019BHJP
G02B 21/36 20060101ALI20221019BHJP
G02B 21/06 20060101ALI20221019BHJP
G01N 21/27 20060101ALI20221019BHJP
【FI】
G02B21/00
G02B21/36
G02B21/06
G01N21/27 A
(21)【出願番号】P 2019537702
(86)(22)【出願日】2018-08-24
(86)【国際出願番号】 JP2018031302
(87)【国際公開番号】W WO2019039581
(87)【国際公開日】2019-02-28
【審査請求日】2021-06-03
(31)【優先権主張番号】P 2017162635
(32)【優先日】2017-08-25
(33)【優先権主張国・地域又は機関】JP
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成26年度 独立行政法人科学技術振興機構、革新的研究開発推進プログラム(ImPACT)「生体データ解析に基づく健康・医療リスク予測モデルの構築」に係る委託研究、産業技術力強化法第19条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】100119677
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100115794
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】島野 美保子
(72)【発明者】
【氏名】備瀬 竜馬
(72)【発明者】
【氏名】鄭 銀強
(72)【発明者】
【氏名】佐藤 いまり
【審査官】岡田 弘
(56)【参考文献】
【文献】特開2010-019762(JP,A)
【文献】特開2018-021894(JP,A)
【文献】高谷 剛志,多重重み付け計測による反射・散乱光の分解,情報処理学会 シンポジウム 画像の認識・理解シンポジウム(MIRU) 2011 [online] ,日本,情報処理学会
【文献】田中 賢一郎 Kenichiro TANAKA,平行高周波照明による透視画像の散乱光除去 Descattering of Transmissive Images Using Parallel High-Frequency Illumination,電子情報通信学会論文誌 (J96-D) 第8号 THE IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS (JAPANESE EDITION),日本,一般社団法人電子情報通信学会 THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS,第J96-D巻
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00-21/00
G02B 21/06-21/36
(57)【特許請求の範囲】
【請求項1】
明部と暗部がある照明、光センサ、及びフォーカス機構を備える顕微鏡で行う試料観察方法であって、
前記フォーカス機構でZ方向において前記光センサ及び前記照明の焦点を試料内の観測点を含むXY平面に合わせるフォーカス手順と、
前記フォーカス手順を行った後、前記照明の光が前記観測点に照射する前記明部のときの第1光強度と前記観測点以外に照射している前記暗部のときの第2光強度とを前記光センサで取得する光強度取得手順と、
前記顕微鏡に接続された演算器で、前記第1光強度と前記第2光強度との差分に前記明部と前記暗部との透過率比に応じた係数を乗じて前記観測点での単一散乱光による直接成分(A)とし、前記明部と前記暗部の透過率を考慮した前記第1光強度と前記第2光強度との差分に前記明部と前記暗部との透過率比と面積比に応じた係数を乗じて前記観測点以外の非合焦点での単一散乱光(B)及び前記試料内での多重散乱光(C)による大域成分とする演算を行う演算手順と、
を行う試料観察方法。
【請求項7】
明部と暗部がある照明、光センサ、及びフォーカス機構を備える顕微鏡と、前記顕微鏡に接続される演算器と、前記顕微鏡に接続される光強度取得手段と、を備える試料観察装置であって、
前記フォーカス機構は、Z方向において前記光センサ及び前記照明の焦点を試料内の観測点を含むXY平面に合わせ、
前記光強度取得手段は、前記フォーカス機構で前記光センサと前記照明の双方の焦点を前記観測点に合わせた状態で、前記照明の光が前記観測点に照射する前記明部のときの第1光強度と前記観測点以外に照射している前記暗部のときの第2光強度とを前記光センサで取得し、
前記演算器は、前記第1光強度と前記第2光強度との差分に前記明部と前記暗部との透過率比に応じた係数を乗じて前記観測点での単一散乱光による直接成分(A)とし、前記明部と前記暗部の透過率を考慮した前記第1光強度と前記第2光強度との差分に前記明部と前記暗部との透過率比と面積比に応じた係数を乗じて前記観測点以外の非合焦点での単一散乱光(B)及び前記試料内での多重散乱光(C)による大域成分とする演算を行う
ことを特徴とする試料観察装置。
【請求項9】
前記照明は、光を透過させる前記明部と光を遮断する前記暗部とが任意の面積比率で組み合わさるフォトマスクで形成された高周波照明であり、
前記光強度取得手段は、前記光センサと前記照明の焦点を維持したまま前記試料を任意に移動させる、もしくは前記フォトマスクを任意に移動させる駆動機構である
ことを特徴とする請求項7又は8に記載の試料観察装置。
【請求項10】
前記照明は、光源を発光させる前記明部と光源を消灯させる前記暗部とを任意の面積比率で組み合わせたパターンの照明であり、
前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部である
ことを特徴とする請求項7又は8に記載の試料観察装置。
【請求項11】
前記演算器は、前記
直接成分(A)を前記観測点の画像とすることを特徴とする請求項7から10のいずれかに記載の試料観察装置。
【請求項12】
前記演算器は、前記直接成分(A)と前記照明の波長毎の光強度とから前記観測点の吸収係数を取得する演算を行うことを特徴とする請求項7から10のいずれかに記載の試料観察装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、焦点調節可能な光学系を有する顕微鏡における試料観察方法及びその装置とそれを搭載する顕微鏡に関する。
【背景技術】
【0002】
透過型光学顕微鏡は、生物医学、食品安全、および他の多くの用途に広く使用されている。顕微鏡で標本を観察する場合、光は画像センサに達する前に標本中の小さな粒子に当たり方向を変える。その結果、画像センサは、異なる経路を通る散乱光線の合計を捕捉することになる。この光の散乱は、観察される画像を不明瞭にする。
図1(b)は、マイクロメータ(
図1(a))の上に散乱物を乗せたときの透過型電子顕微鏡の観察画像である。このように光の散乱は画像を不鮮明にする。
【0003】
散乱による画像の不明瞭化は、生物医学的画像形成において大きな課題となっている。例えば、生体組織の空間スペクトル解析において、吸収係数は特定点で正確に測定できなければならない。しかし、測定された信号は、特定点と異なる点からの散乱光を含み、その散乱光は組織内の異なる点の情報を含む。生体組織の特定点で正確に測定するには、特定からの直接的な光と他の点からの散乱光を分離することが不可欠である。
【0004】
コンピュテーショナルフォトグラフィ(Computational Photography)法の分野では、試料での反射光から大域成分である相互反射等の光を除去し、鏡面反射光や拡散反射光の直接成分を抽出する方法がいくつか提案されている。例えば、非特許文献1では、高周波照明の使用を開示している。高周波照明は、高周波空間パターンを同一箇所に照射することで直接成分と大域成分とを分離することができる(例えば、非特許文献3~8を参照。)。
一方、非特許文献2では、非特許文献1の反射型の手法とは異なり、半透明物体等の透過観察における成分の分離(観測点を透過する観測点単一散乱光である直接成分と他点で散乱した他点単一散乱光や多重散乱光である大域成分との分離)を行う透過型の手法が紹介されている。この手法は、平行光の高周波照明を利用して透過光を観測しようとしている。このため、非特許文献2では特殊なレンズ(テレセントリックレンズ)を使って高周波照明を平行光とし、この平行光を観測するように構成されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】Nayar, S.K., Krishnan, G., Grossberg, M.D., Raskar, R.: Fast Separation of Direct and Global Components of a Scene Using High Frequency Illumination. ACM Transactions on Graphics 25(3), pp. 935-944 (2006)
【文献】Tanaka, K., Mukaigawa, Y., Kubo, H., Matsushita, Y., Yagi, Y.: Descattering of Transmissive Observation using Parallel High-frequency Illumination. In: IEEE Con-ference on Computational Photography, (2013)
【文献】Lamond, B., Peers, P., Debevec, P.: Fast Image-based Separation of Diffuse and Specular Reections. In ACM SIGGRAPH sketches, 2007.
【文献】Gupta, M., Tian, Y., Narasimhan, S.G., Zhang, L.: A Combined Theory of Defocused Illumination and Global Light Transport. International Journal of Computer Vision 98(2), pp. 146-167 (2012)
【文献】Achar, S., Narasimhan, S.G.: Multi Focus Structured Light for Recovering Scene Shape and Global Illumination. European Conference on Computer Vision (2014)
【文献】Reinhard, E., Khan, E. A., Akyuz, A. O., Johnson, G.: Color Imaging: Fundamentals and Applications. CRC Press (2008)
【文献】Mukaigawa, Y., Yagi, Y., Raskar, R.: Analysis of Light Transport in Scattering Media. In: IEEE Conference on Computer Vision and Pattern Recognition, pp.153{160 (2010)
【文献】Tanaka, K., Mukaigawa, Y., Kubo, H., Mtsushita, Y., Yagi, Y.: Recovering Inner Slices of Translucent Objects by Multi-frequency Illumination. In: IEEE Conference on Computer Vision and Pattern Recognition, pp. 5464-5472. (2015)
【文献】Salomatina, E., Jiang, B., Novak, J., Yaroslavsky, A. N.: Optical Properties of Normal and Cancerous Human Skin in the Visible and Near-infrared Spectral Range. Journal of Biomedical Optics 11(6) (2006)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、焦点調節可能な光学系を設けた顕微鏡の場合、試料の厚み方向の情報が加わるため、非特許文献1のような反射型の手法や非特許文献2のような平行光の高周波照明を利用する透過型の手法では、試料で反射した光や試料を透過した光を直接成分と大域成分とに分離することができず、画像の鮮明化や空間スペクトル解析が困難という課題があった。そこで、本発明は、上記課題を解決すべく、焦点調節可能な光学系を有する(平行光ではない)場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本発明に係る試料観察方法及び試料観察装置は、カメラ側のあるピクセルにおいて観測される、
照明の明部に観測点を位置させたときの、合焦での観測点からの観測点単一散乱光による直接成分(A)、非合焦点からの他点単一散乱光による大域成分(B)、及び多重散乱光による大域成分(C)から、
照明の暗部に観測点を位置させたときの、大域成分(B)及び大域成分(C)を除去することで、
明部と暗部のパターン照明として使用できる合焦状態と前記パターン照明が均一になる非合焦状態との間の差異を利用して直接成分(A)を取り出すこととした。
【0008】
具体的には、本発明に係る試料観察方法は、
Z方向において光センサ及び照明の焦点を試料内の観測点を含むXY平面に合わせるフォーカス手順と、
前記フォーカス手順を行った後、前記照明の光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手順と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分(A)、前記観測点以外での単一散乱光による大域成分(B)、及び前記試料内での多重散乱光による大域成分(C)と、前記第2光強度に含まれる、大域成分(B)及び大域成分(C)と、を利用し、前記第1光強度から直接成分(A)と大域成分(B)及び大域成分(C)とを分離する演算を行う演算手順と、
を行う。
【0009】
具体的には、本発明に係る試料観察装置は、
Z方向において光センサ及び照明の焦点を試料内の観測点を含むXY平面に合わせるフォーカス機構と、
前記フォーカス機構で前記光センサと前記照明の双方の焦点を前記観測点に合わせた状態で、前記照明の光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手段と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分(A)、前記観測点以外での単一散乱光による大域成分(B)、及び前記試料内での多重散乱光による大域成分(C)と、前記第2光強度に含まれる、大域成分(B)及び大域成分(C)と、を利用し、前記第1光強度から直接成分(A)と大域成分(B)及び大域成分(C)とを分離する演算を行う演算器と、
を備える。
【0010】
本試料観察装置が透過型(光が試料を透過するタイプ)である場合、光の経路の方向をZ方向とする。そして、前記フォーカス機構は、前記フォーカス手順で、Z方向において光センサと試料との間にある光センサ側レンズの焦点を前記試料内の観測点を含むXY平面に合わせ、Z方向において前記試料に対して前記光センサの反対側の照明と前記試料との間にある照明側レンズの焦点を前記観測点を含むXY平面に合わせる。
本試料観察装置が反射型(光が試料で反射するタイプ)である場合、試料の厚み方向をZ方向とする。そして、前記フォーカス機構は、前記フォーカス手順で、Z方向において光センサと試料との間にある光センサ側レンズの焦点を前記試料内の観測点を含むXY平面に合わせ、Z方向において前記試料に対して前記光センサの反対側の照明と前記試料との間にある照明側レンズの焦点を前記観測点を含むXY平面に合わせる。なお、光センサ側レンズと照明側レンズが1つの共通のレンズであってもよい。
【0011】
半透明の物体を顕微鏡で観測する場合、直接成分(A)に大域成分(B)と(C)が重なっておりそれらを分離する必要がある。高周波照明とカメラ(光センサ)の少なくとも一方の焦点が合っていない平面(非合焦平面)では画像がぼやけて光強度が均質になる。一方、照明とカメラ(光センサ)の焦点が合う平面(合焦平面)では照明の明部と暗部のパターンが明確となり、観測点へ光を照射あるいは非照射とすることができる。カメラは、観測点へ光を照射したときの直接成分(A)、大域成分(B)及び大域成分(C)を観測し、観測点へ光を照射しないときの大域成分(B)及び大域成分(C)を観測する。本発明は、観測点へ光を照射したときの観測結果と観測点へ光を照射しないときの観測結果との違い(差分)を利用して直接成分(A)を取り出している(非合焦平面では光強度が均一なので、観測点へ光を照射したときの大域成分(B)及び(C)と観測点へ光を照射しないときの大域成分(B)及び(C)とは同じ情報となる。)。
【0012】
前記演算器は、前記第1光強度から前記第2光強度を減算して直接成分(A)を計算し、前記観測点の画像を取得する演算を行うことを特徴とする。
【0013】
前記演算器は、前記第1光強度から前記第2光強度を減算して直接成分(A)を計算し、該直接成分(A)と前記照明の波長毎の光強度とから前記観測点の吸収係数を取得する演算を行うことを特徴とする。
【0014】
前記試料観察装置を顕微鏡に組み込むことで透過光から大域成分を除去して直接成分を取り出すことができるようになる。すなわち、本発明に係る顕微鏡は、前記試料観察装置、前記照明、前記光センサ、前記フォーカス機構を備える顕微鏡であることを特徴とする。
【0015】
従って、本発明は、焦点調節可能な光学系を有する場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。
【0016】
本発明に係る試料観察装置は、前記試料内において前記観測点を含むXY平面をZ方向に移動させ、前記観測点を含むXY平面のZ方向の位置毎に、前記フォーカス機構に前記光センサ及び前記照明の焦点を前記観測点に合わさせ、前記光強度取得手段に前記第1光強度及び前記第2光強度を取得させ、前記演算器に前記演算をさせる制御器をさらに備えることを特徴とする。本試料観察装置は、センサ側レンズと照明側レンズの双方の焦点をZ方向へ順次移動させることで、Z方向についての連続的な演算結果に基づいて、3次元画像の作成や空間的スペクトル解析が可能になる。
【0017】
前記照明は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明であり、前記光強度取得手段は、前記光センサと前記照明の焦点を維持したまま前記試料を任意に移動させる、もしくは前記フォトマスクを任意に移動させる駆動機構であってもよい。
【0018】
前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部であってもよい。
【発明の効果】
【0019】
本発明は、焦点調節可能な光学系を有する場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。
【図面の簡単な説明】
【0020】
【
図5】本発明に係る顕微鏡で取得した画像を説明する図である。
【
図6】本発明に係る顕微鏡と従来手法で行う吸収係数を測定する実験を説明する図である。
【
図7】本発明に係る顕微鏡と従来手法で行う吸収係数を測定する実験結果を説明する図である。
【発明を実施するための形態】
【0021】
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。特に、以下の実施形態では透過型の顕微鏡で説明を行うが、反射型の顕微鏡を用いても照明とカメラが試料に対して同じ側にあるだけで同様の結果を得られる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0022】
[1]透過光と散乱光の重畳
前述のように、透過光顕微鏡で観察される不明瞭な画像の理由の一つは、測定された光が、所望の観測点を通過した光に異なる点からの散乱光が重なり、試料内の異なる点で光吸収されているためである。本セクションでは、透過型顕微鏡で試料を通過するこれらの光を調べ、どのような光が重なり合ってカメラ(イメージセンサ)に到達するかを説明する。
【0023】
重なり合うすべての光を説明するために、透過型顕微鏡で観測点における光強度を測定する場合を考える。光センサに到達する光は、観測点のみで散乱する観測点単一散乱光(直接透過光)、観測点とは異なる深さにある他点で一度だけ散乱した他点単一散乱光、および多重散乱光の3種類が考えられる。
図2は各光の経路の説明図であり、観測点は白丸である。
図2(b)の黒実線矢印は、観測点でのみ散乱された後、散乱されずに光センサに到達する観測点単一散乱光(直接透過光)である。この光が観察対象の直接成分である。
図2(c)の破線矢印は、試料内で観測点と異なる深さに位置する観測点以外の点で1回だけ散乱した他点単一散乱光と、試料内で複数回散乱した多重散乱光であり、大域成分である。大域成分の散乱光は観測点単一散乱光(直接透過光)と重なり、同じ光センサに到達する(
図2(a))。大域成分は、光センサにおいて直接成分の比率を低下させ画像を不明瞭にする。したがって、光センサに到達するこれらの重なり合う光を直接成分と大域成分に分離する必要がある。
【0024】
[2]直接成分と大域成分の分離
図3(a)は、直接成分と大域成分を分離する本実施形態の透過型顕微鏡を説明する図である。本実施形態の透過型顕微鏡は、照明13、光センサ15、光センサ側レンズ12、及び照明側レンズ14を備える顕微鏡であって、透過型試料観察装置100が組み込まれることで試料50内の観測点Kのみで散乱する単一散乱光を観察可能となることを特徴とする。
図8は、本実施形態の透過型顕微鏡の説明にあたり、X,Y及びZの方向、試料50内の観測点K、並びに観測点Kを含むXY平面(スライス)を説明する図である。
【0025】
ここで、透過型試料観察装置100は、
試料50の厚みより薄い焦点深度を有し、光センサ15と試料50との間にある光センサ側レンズ12の焦点を試料50内の観測点Kに合わせる工程、及び試料50の厚みより薄い焦点深度を有し、試料50に対して光センサ15の反対側の照明13と試料50との間にある照明側レンズ14の焦点を観測点Kに合わせる工程の少なくとも一方を行うフォーカス機構18と、
照明13の光を観測点Kに照射したときの第1光強度と観測点K以外に照射したときの第2光強度とを光センサ15で取得する光強度取得手段19と、
前記第1光強度から前記第2光強度を減算した光強度を観測点Kの透過光の成分とする演算器17と、
を備える。
【0026】
演算器17は、後述する
図3(b)と(c)それぞれの状態での透過画像(光センサ15による画像)を得るように、フォーカス機構18及び光強度取得手段19を制御する。
フォーカス機構18は、演算器17の演算に基づいて焦点調節を行うものであり、例えばステッピングモータによるピント調整機構等を用いて実現することができる。また、操作者が手でピント調節つまみ等の所定の操作部を操作することによりピント調節してもよい。また、フォーカス機構18は、光軸方向(Z方向)にセンサ側レンズ12と照明側レンズ14の双方の焦点を移動させることができる。この機能により、スライスをZ方向に移動させる、すなわち、試料50内の任意の深さにある観測点Kに焦点を合わせることができる。
【0027】
光強度取得手段19の駆動機構は、演算器17の演算に基づいて後述する
図3(b)と(c)の状態を入れ替えるよう移動させるものであり、例えばステッピングモータによる移動テーブル又はフォトマスクの駆動機構であってもよい。また、操作者が、試料50を移動させるための操作部、又はフォトマスクを移動させるための操作部を操作することにより、
図3(b)と(c)の状態を入れ替えてもよい。
【0028】
本実施形態の場合、照明13は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明である。また、光強度取得手段は、光センサ15と照明13の焦点を維持したまま試料50をX方向やY方向に任意に移動させる、もしくはフォトマスクを任意に移動(明部と暗部をX方向やY方向に任意の移動)させる駆動機構である。
【0029】
本実施形態の透過型顕微鏡は、高周波照明の明部と暗部を利用し、さらに光センサ15と高周波照明13の合焦状態と非合焦状態との間の光情報の違いを利用し、直接成分と大域成分を分離する。ここで、高周波照明の像が形成される面に平行な試料内の面(XY平面)を「スライス」と呼ぶ(
図8参照)。例えば、試料50の厚みが10μmで、焦点の合っているスライスの厚みは3μmとする(試料やレンズ性能により数値は変わる)。
図4は、焦点が合っているスライスと焦点が合っていないスライスを説明する図である。光センサも高周波照明も焦点が合っていないスライスがαとγであり、焦点が合っているスライスがβである。光センサの焦点が合っている場合、その画像は
図4(a)のようになり、光センサの焦点が合っていない場合、その画像は
図4(b)のようになる。一方、高周波照明の焦点が合っている場合、その画像は
図4(c)のようになり、高周波照明のフォーカスが合っていない場合、その画像は
図4(d)のようになる。つまり、光センサと高周波照明のいずれか一方の焦点が合っていない場合、パターンがぼやけた画像(
図4(b)(d))となる。このようにパターンがぼやけたスライスでは、光強度が均一になると仮定する。つまり、光センサ側と高周波照明側の両方の焦点が合っている状態で直接成分が含まれるとみなし、光センサ側と高周波照明側のいずれか一方の焦点が合っていない状態では大域成分のみとみなす。
【0030】
まず、高周波照明のパターンが無く、カメラと照明の両方に焦点が合っている場合と、カメラと照明のいずれかの焦点が合っておらず光強度が一様である場合とを考える。観測点Kに対応する光センサ15のピクセルpで捕捉された光強度L[p]は、直接成分D[p]と大域成分G[p]との和である。
(式1)
L[p]=D[p]+G[p]
【0031】
図3(b)と
図3(c)は、光を透過する明部と光を遮断する暗部が市松模様状であるフォトマスクを介する高周波照明13を用いて試料50に照射したときの様子を模式的に示した図である。なお、説明明瞭化のため、
図3(b)と
図3(c)では、透過型試料観察装置100の記載を省略している。
【0032】
[分離演算の説明]
ここで、演算器17が行う演算内容について説明する。
観測点Kが含まれるターゲットスライスに、光センサ15と高周波照明13の焦点が合っている。
図3(b)は、光強度取得手段19でフォトマスク又は試料50を動かして観察点Xに光を照射した(フォトマスクの明部を位置させる)ときの模式図である。観察点Xに光が照射すると、光センサ15は観察点Xからの直接的な光(直接成分(A))と他の部分からの光(非合焦での観測点以外からの他点単一散乱光の成分である大域成分(B)及び多重散乱光の成分である大域成分(C))の双方を含む情報を取得する。一方、
図3(c)は、フォトマスク又は試料50を動かして観察点Xに光を照射しない(フォトマスクの暗部を位置させる)ときの模式図である。観察点Xに光が照射しないと観察点Xからの直接的な光(直接成分(A))がなく、光センサ15は他の部分からの光(大域成分(B)と(C))のみの情報を取得する。
なお、「合焦での観測点以外からの他点単一散乱光による成分(D)」はカメラの光学系で異なるピクセルに結像されるため、成分(D)は検討中のピクセルにおいて考慮不要である。
【0033】
前述のように焦点が合っていないスライス(
図4(d))において照明光が均一であると仮定すると、フォトマスクの明部と暗部の比率が1:1である場合、焦点が合っていないスライス(α、γ)内の光強度は、焦点が合っているスライスβの明部の光強度の半分の光強度となる。つまり、スライスβ以外の部分からの多重散乱光や単一散乱光の光強度は観測点Kで反射あるいは透過した光の強度の半分となる。
【0034】
このことを利用して、観測点Kに光を照射している場合の観測点Kに対応する光センサのピクセルpにおける輝度L
+[p]と、観測点Kに光を照射していない場合の輝度L
-[p]とを以下のように算出することができる。
【数2】
【数3】
ここで、S[p、x]は点x=[x、y、z]
tにおける単一散乱光の光強度である。M[p、x]は最後の散乱点がxである多重散乱光の光強度である。
【0035】
焦点深度dは範囲を有するのでピクセルpは点xの集合に対応する。Ω(p、d)はピクセルpと焦点深度dに対応する領域であり、Ψ(p)は試料50内のピクセルpに対応するすべての点xを示すとする。
【0036】
図3(b)に示すように、式(2)の第1項は、ターゲットスライス(β;z=d)における観測点Kを照射した直接透過光である。第2項は焦点から外れた異なるスライス(α、γ)での単一散乱光であり、第3項は大域成分における散乱光の多重である。従って、ターゲットスライスからの光D[p]および他のスライスからの光G[p]は、次式で表される。
【数4】
【0037】
光センサ15の全てのピクセルで直接成分および大域成分を得るためには、高周波照明パターンを動かし、それぞれのピクセルで光強度が最大のLmaxと最小のLminを取得する。L+=Lmaxであり、L-=Lminであるので式(4)を用いて各ピクセルのD[p]とG[p]を求めれば、試料50の透過光と散乱光を分離することができる。
なお、高周波照明パターンの動かし方は、例えば、高周波照明の明部と暗部をそれぞれ含むように予め設定した移動経路で動かす方法がある。また、高周波パターンフィルタの動かし方として、高周波パターンフィルタをXYZ軸電動ステージ上でXY方向にランダムに移動させる方法でもよい。この方法の場合、明部ですべての点を捕捉するために十分量の当該ターゲットスライスの観察画像を取得する必要がある。
以上、演算器17の演算について説明した。
【0038】
なお、高周波照明を形成するフォトマスクの明部と暗部との大きさに注意する必要がある。フォトマスクの明部が大きい場合、観察点で散乱された直接透過光が、同一の照明領域内で数回散乱することになる。本実施形態の透過型顕微鏡では、このような同一の照明領域内で数回散乱してしまった光も、直接成分であると判断することになる。同一の照明領域内で散乱回数は、試料の特性および高周波照明の周波数に依存するので、試料の特性に応じて高周波照明の周波数を適宜調整する必要がある。
【0039】
例えば、上記実施形態では高周波照明のパターンを明部と暗部が1:1の市松模様で説明したが、試料の特性によって明部と暗部が1:1ではないパターンの高周波照明を利用してもよいし、明部と暗部とが規則的に配列されていない不規則パターンの照明を利用してもよい。この場合、明部と暗部の比率に応じて式(2)の第2項と第3項の係数、及び式(3)の各項の係数を変更する。具体的には、高周波照明のパターンを明部と暗部が明部と暗部が1:1の市松模様の場合、式(2)と式(3)の各係数が“1/2”であるが、明部と暗部の比率に応じ当該係数を変更する(ただし、係数の合計は1である。)。例えば、
明部の割合=a、
暗部の割合=1-a、
b:明部の透過率を1とするときの暗部の透過率(0.0≦b<1)
とすると、上述した式(2)、式(3)、式(4)は、それぞれ式(2a)、式(3a)、式(4a)となる。
【数2a】
【数3a】
【数4a】
式(2a)、式(3a)、式(4a)において、a=1/2、b=0の場合が式(2)、式(3)、式(4)となる。
【0040】
また、上記実施形態では高周波照明をフォトマスクで構成することを説明したが、フォトマスクを使用せずに複数のLED等の微小光源を配列して高周波照明を構成してもよい。すなわち、前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部であることを特徴とする。
もちろん、LEDは、高周波照明だけでなく不規則パターンの照明も実現することができる。
【0041】
(実施例1)
図5(a)は、本実施例の高周波照明を用いた透過顕微鏡システムを説明する写真である。本透過顕微鏡システムは、顕微鏡、光源、高周波パターンフィルタ(フォトマスク)、カメラ(光センサ)及びXYZ軸電動ステージからなる。顕微鏡はオリンパスBX53、光源にはハロゲンランプ、XYZ軸電動ステージには駿河精機KXT04015-LCを用いた。高周波パターンフィルタとして、
図3及び
図4に示すように、照明領域(明部)と非照明領域(暗部)の比が1:1である様々な市松模様(高周波照明)のフォトマスクを用意した。具体的に、パターンの大きさは1×1μmから16×16μmまでを用意した。パターンの大きさは、例えば生体中の部位などにより、検体中に散乱体がどのくらい含まれるかに応じて決定される。イルミネーションレンズはフィルタの上に設置され、照明のフォーカス位置を変えることができる。
【0042】
まず、試料の深さ方向(Z方向)について、ある深さのターゲットスライスに、光センサ15と高周波照明13の焦点を合わせる。どちらの焦点を先に合わせてもよいが、両方の焦点を合わせる必要がある。例えば、顕微鏡の資料ステージを動かして、試料50を観察できるように光センサ15の焦点を所望のターゲットスライスに合わせておく。その後、高周波照明13の焦点を当該ターゲットスライスに合わせる。その焦点合わせには、照明側レンズ14をZ方向に移動させ、且つXYZ軸電動ステージで高周波照明パターンフィルタ13をZ方向に移動させ調整する。
【0043】
そして、明部ですべての点を捕捉するために、高周波パターンフィルタ13をXYZ軸電動ステージ上で動かし、当該ターゲットスライスの観察画像を取得する。高周波パターンフィルタの動かし方は上述の通りである。
図5(b)は高周波パターンが人間の皮膚に照射されたときの画像、
図5(c)は直接成分D[p]の画像、
図5(d)は大域成分G[p]の画像である。そして、前述の「分離演算の説明」のように観察画像を処理し、カメラの各光センサ(ピクセル)における直接成分D[p]と大域成分G[p]を取得する。ここまでの作業で、現在のターゲットスライスに対して透過光と散乱光を分離することができる。
【0044】
次に、高周波パターンフィルタ13をXYZ軸電動ステージをZ軸方向に移動することにより、上記とは別の深さのターゲットスライスに、光センサ15と高周波照明13の焦点を合わせる。そして、当該ターゲットスライスにおいて、高周波パターンフィルタ13をXYZ軸電動ステージで同様に動かして観察画像を取得する。上記と同様に「分離演算の説明」のように観察画像を処理し、当該ターゲットスライスに対して透過光と散乱光を分離することができる。
【0045】
(本実施例の効果)
非特許文献1~8に記載される手法では、光路上の重なりも含む、全ての深さ情報の重ね合わせで観測され、それらから特定の深さ(ターゲットスライス)の透過光と散乱光の情報あるいは深さ方向(Z方向)に対する透過光と散乱光の情報を取得することが困難である。一方、本透過顕微鏡システムは、特定の深さ(ターゲットスライス)の透過光と散乱光の情報を取得することができ、さらにターゲットスライスをZ方向に順次移動させて上記の処理を繰り返すことで、複数の深さのターゲットスライスに対する透過光と散乱光を分離して情報を得ることができる。本透過顕微鏡システムは、Z方向の移動をあるステップ幅で連続的に行い、連続的に深さごとのターゲットスライスにおける透過光と散乱光の情報を取得できることから、分離された透過光と散乱光の3次元情報、あるいは3次元画像情報を観察することができる。前記3次元情報は、直接成分や大域成分の3次元波長情報、それらより演算して抽出される各種情報ないし作成される画像、およびそれらより解析される結果を含む。
【0046】
(実施例2)
本実施例の説明の前に、本実施例を適用しようとする生命科学研究の分野における課題を説明する。
生命科学研究は、生体組織の非接触ないし非侵襲イメージングによる構造や機能解析が非常に期待されている。最近では、共焦点顕微鏡やライトシート顕微鏡等に代表されるように、蛍光の波長情報を手掛かりとする形態可視化が広く利用されている(Nat. Methods 8, pp.757-760, 2011)。しかし、このような共焦点顕微鏡等における蛍光色素染色による観察では、生細胞は褪色や励起光によるダメージを受けることが課題となっている。このため、染色を行わない生体組織等の顕微鏡観察が強く望まれている。しかし、一般に生体組織は散乱体を多く含んでいるため、透過光と散乱光の重ね合わせの情報が観測されており、正しく観測したい透過光が散乱の影響により不鮮明になっている。そのため、癌検出等のバイオメディカルイメージングにおいて、顕微鏡による生体組織観察の際、散乱光の影響により、吸収スペクトル等の組成情報の正しい計測が容易ではない。また、従来技術では、顕微鏡観察画像から吸収と散乱のスペクトルを分離することは困難なため、吸収と散乱を一括して減衰項とする方法がとられていた。従って、従来技術は、染色による生細胞へのダメージを軽減する代わりに、染色の波長情報が無い状態で、顕微鏡観察画像から透過光と散乱光の分離を行い、各生体組織における吸収や散乱の2次元分布情報を抽出している。
【0047】
一方、本発明に係る透過顕微鏡システムは、前述のように顕微鏡観察画像から透過光と散乱光を分離することができる。このため、後述する演算を行うことで試料の吸収係数や散乱係数を得ることができる。従って、本発明に係る透過顕微鏡システムは、試料の染色を不要とすることができ、波長情報がある状態で試料の吸収や散乱の情報を取得することができる。しかも、本発明に係る透過顕微鏡システムは、前述のように試料のZ方向にも情報を取得することができるため、試料の吸収係数や散乱係数を3次元的に取得することができる。
【0048】
以下、本実施形態の透過顕微鏡システムについて説明する。
本実施例では、空間マルチスペクトル吸収分析について従来方法と本実施例の透過顕微鏡システムを利用した方法とを説明する。
図6(a)は、比較データを取得するための従来方法による分析を説明する図である。既知試料23として、赤色色素(1mg/mL)とイントラリピッド希釈液(0.4%)の混合液をアンプルに封入し、積分球21の中心に配置した。そして、波長を変えながら光24を試料23に照射し、試料から周囲に放射される散乱光を積分球21で受光し、分光光度計22で各波長における試料23の吸収係数の解析を行った。なお、光24を白色光(多波長光)とし、分光光度計22で波長別に一括解析を行ってもよい。
なお、既知試料23の真値として、イントラリピッドを含まない赤色色素(1mg/mL)のみの溶液で吸光度を測定している。
ここで、
図6(a)のような積分球を利用した吸収係数の分析には、試料23としてある程度まとまった分量の検体が必要という課題があった。
【0049】
一方、
図6(b)は本実施例の透過顕微鏡システムを利用して試料50の吸収係数を分析する方法を説明する図である。光源13の波長を変化させつつ、試料50のうち分析したい領域に明部と暗部が配置されるように前述のように高周波パターンフィルタをXYZ軸電動ステージ上で動かした。そして、演算器17で各波長における直接成分D[p]を取得し、光源13の光強度から当該領域の吸収係数を取得する。なお、光源13の光を白色光(多波長光)とし、演算器17で波長別に一括解析を行ってもよい。
以下は、吸収係数αの算出例である。
直接成分をI
d、大域成分をI
s、入射光の強度をI
i、光センサ側レンズの焦点深度と照明側レンズの焦点深度の少ない方をX
fとすると、透過光の強度I
oは
(式1b)
I
o=I
iexp(-αX
f)
である。
また、
(式2b)
I
o=I
d+I
s
なので、観測点の吸収係数αは、
(式3b)
α=max(0,-log(I
o/I
i)/X
f)
である。
【0050】
図7は、
図6(a)の従来手法で取得した吸収係数(破線)と
図6(b)の本実施例の透過顕微鏡システムで取得した吸収係数(実線)とを波長毎に比較した図である。
図7が示すように、本実施例の透過顕微鏡システムで取得した吸収係数は
図6(a)の従来手法で取得した吸収係数と同様のスペクトル形状が得られており、従来手法を本実施例の透過顕微鏡システムに置き換え可能であることがわかる。
さらに、本実施例の透過顕微鏡システムは、積分球を利用する従来手法より少ない量の検体で吸収係数の分析が可能である。
【0051】
また、本実施例の透過顕微鏡システムは、吸収係数と同様、散乱係数も求めることができる。以下は、散乱係数βの算出例である。
直接成分Idは試料の厚さXsを用いて
(式4b)
Id = Io-Is = Ii exp{-( α+β)*Xs}
と表すことができる。従って、観測点の散乱係数βは
(式5b)
β = max(0,(-log(Id/Ii)/Xs -α)
直接成分Idでなく大域成分Isを用いる場合、
β = max(0,{-log(Io-Is)/Ii}/Xs -α)
である。
【0052】
(本実施例の効果)
本実施例の透過顕微鏡システムは、染色による生細胞へのダメージ回避のみでなく、染色処理の削減による解析時間を大幅に短縮することもできる。その結果、生体組織内および組織間の相互作用、生体組織の3次元的動態、生化学反応など、生細胞の新機能の発見や未だ明らかにされていない生体内のメカニズムの解明に貢献することが期待される。また、生化学分野に新たな分析装置を提供することで、新分析法の創出、新たな研究分野の開拓にもつながると予想され、医療技術進歩への貢献が期待できる。
【産業上の利用可能性】
【0053】
本発明に係る試料観察方法、試料観察装置、及び顕微鏡は、生化学分野だけでなく、ホログラフィ分野においても吸収と散乱によっておこるスペックルの分離にも適用することができる。また、本発明は、食品や物品検査等様々な分野での計測分析技術にも適用することができる。
【0054】
なお、上述した本発明の実施形態及び各実施例では透過型顕微鏡を例として説明したが、本発明はこれに限定されず、例えばカメラと照明が試料に対して同じ側に設けられた反射型顕微鏡であっても、半透明の試料を観察する場合には反射光から他点単一散乱光や多重散乱光の大域成分を除去する手法として本発明を同様に適用することができる。
【符号の説明】
【0055】
12:光センサ側レンズ
13:光源、高周波照明
14:照明側レンズ
15:光センサ
17:演算器
18:フォーカス機構
19:光強度取得手段
21:積分球
22:分光光度計
23:試料
24:光
50:試料
100:透過型試料観察装置