IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 大学共同利用機関法人情報・システム研究機構の特許一覧

特開2023-48189試料観察方法、試料観察装置、及び顕微鏡
<>
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図1
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図2
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図3
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図4
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図5
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図6
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図7
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図8
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図9
  • 特開-試料観察方法、試料観察装置、及び顕微鏡 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023048189
(43)【公開日】2023-04-07
(54)【発明の名称】試料観察方法、試料観察装置、及び顕微鏡
(51)【国際特許分類】
   G01N 21/49 20060101AFI20230331BHJP
   G01N 21/17 20060101ALI20230331BHJP
【FI】
G01N21/49 Z
G01N21/17 A
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021157354
(22)【出願日】2021-09-28
【新規性喪失の例外の表示】新規性喪失の例外適用申請有り
(71)【出願人】
【識別番号】504202472
【氏名又は名称】大学共同利用機関法人情報・システム研究機構
(74)【代理人】
【識別番号】100119677
【弁理士】
【氏名又は名称】岡田 賢治
(74)【代理人】
【識別番号】100115794
【弁理士】
【氏名又は名称】今下 勝博
(72)【発明者】
【氏名】島野 美保子
(72)【発明者】
【氏名】浅野 祐太
(72)【発明者】
【氏名】石原 慎
(72)【発明者】
【氏名】佐藤 いまり
(72)【発明者】
【氏名】備瀬 竜馬
【テーマコード(参考)】
2G059
【Fターム(参考)】
2G059AA05
2G059BB12
2G059BB14
2G059EE02
2G059FF01
2G059FF03
2G059GG02
2G059KK04
2G059MM01
2G059PP04
(57)【要約】
【課題】空間的に不均質な物体の散乱特性を測定することを可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することを目的とする。
【解決手段】本発明に係る試料観察方法及び試料観察装置は、市松模様のように光透過部(明部)と光遮断部(暗部)で構成される2値の照明パターンの周波数(すなわち、明部と暗部の領域の大きさ)によって、散乱角度の範囲を制御できることを特徴とする。換言すれば、本試料観察方法は、光センサが、明部のサイズが大きいとき(低周波)には散乱角度の広い光線を受光し、明部のサイズが小さいとき(高周波)には散乱角度が狭い光線を受光することを利用して空間的に不均質な物体の散乱特性を測定する。
【選択図】図6
【特許請求の範囲】
【請求項1】
Z方向において、光センサの焦点、及び光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターンの焦点を試料内の観測点を含むXY平面に合わせるフォーカス手順と、
前記フォーカス手順を行った後、前記照明パターンの前記明部を透過した光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手順と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分及び前記直接成分以外の大域成分と、前記第2光強度に含まれる前記大域成分と、を利用し、前記第1光強度から前記直接成分と前記大域成分とを分離する分離手順と、
前記照明パターンの前記明部と前記暗部との周期を変えて前記光強度取得手順と前記分離手順とを繰り返し行う繰り返し手順と、
前記照明パターンの前記周期毎に取得した前記直接成分を比較することで、前記観測点における散乱角度毎の光強度を演算する演算手順と、
を行う試料観察方法。
【請求項2】
前記散乱角度毎の光強度から、前記観測点における散乱モデルのパラメータを推定する推定手順と、
前記観測点ごとの前記パラメータを前記観測点の前記XY平面上の座標に応じて並べ、散乱特性マップを生成するマップ生成手順と、
をさらに行う請求項1に記載の試料観察方法。
【請求項3】
前記散乱特性マップが、前記パラメータに基づいて可視化されることを特徴とする請求項2に記載の試料観察方法。
【請求項4】
前記照明パターンが市松模様であることを特徴とする請求項1から3のいずれかに記載の試料観察方法。
【請求項5】
光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターンと、
Z方向において光センサ及び前記照明パターンの焦点を試料内の観測点を含むXY平面に合わせるフォーカス機構と、
前記フォーカス機構で前記光センサと前記照明パターンの双方の焦点を前記観測点に合わせた状態で、前記照明パターンの光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手段と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分及び前記直接成分以外の大域成分と、前記第2光強度に含まれる前記大域成分と、を利用し、前記第1光強度から前記直接成分と前記大域成分とを分離することを前記照明パターンの前記明部と前記暗部との周期を変えて行い、前記照明パターンの前記周期毎に取得した前記直接成分を比較することで、前記観測点における散乱角度毎の光強度を演算する演算器と、
を備える試料観察装置。
【請求項6】
前記演算器は、
前記散乱角度毎の光強度から、前記観測点における散乱モデルのパラメータを推定すること、及び
前記観測点ごとの前記パラメータを前記観測点の前記XY平面上の座標に応じて並べ、散乱特性マップを生成すること
をさらに行う請求項5に記載の試料観察装置。
【請求項7】
前記演算器は、前記散乱特性マップを前記パラメータに基づいて可視化することを特徴とする請求項6に記載の試料観察装置。
【請求項8】
前記照明パターンが市松模様であることを特徴とする請求項5から7のいずれかに記載の試料観察装置。
【請求項9】
請求項5から8のいずれかに記載の試料観察装置を備える顕微鏡。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、試料の散乱特性を計測する試料観察方法及びその装置とそれを搭載する顕微鏡に関する。
【背景技術】
【0002】
散乱は、直接反射や吸収に加えて、本質的な光学特性の一つである。近年、散乱の角度分布を含む散乱特性は、細胞の検出、癌過程の分析、異形成や癌の診断など、光学的イメージングや診断用途に使用されている(例えば、非特許文献1~3を参照。)。このため、従来の顕微鏡法では不可能だった散乱特性の可視化は、バイオメディカル画像解析等への適用が期待されている。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】LDrezek, R., et al.: Light scattering from cervical cells throughout neoplastic progression:influence of nuclear morphology, DNA content, and chromatin texture. J.Biomed. Opt. 8(1), 7-16 (2003).
【非特許文献2】Lin, X., Wan, N., Weng, L., Zhou, Y.: Light scattering from normal and cervical cancer cells. Appl. Opt. 56, 3608 (2017).
【非特許文献3】Lovat, L., et al.: 4919 a novel optical biopsy technique using elastic scattering spectroscopy for dysplasia and cancer in barrett’s esophagus. Gastrointest. Endosc.51, AN227 (2000).
【非特許文献4】Narasimhan, S., Gupta, M., Donner, C., Ramamoorthi, R., Nayar, S., Jensen, H.W.: Acquiring scattering properties of participating media by dilution. ACM Trans. Graph. 25(3), 1003-1012 (2006)
【非特許文献5】Nayar, S.K., Krishnan, G., Grossberg, M.D., Raskar, R.: Fast Separation of Direct and Global Components of a Scene Using High Frequency Illumination. ACM Transactions on Graphics 25(3), pp. 935-944 (2006)
【非特許文献6】Tanaka, K., Mukaigawa, Y., Kubo, H., Matsushita, Y., Yagi, Y.: Descattering of Transmissive Observation using Parallel High-frequency Illumination. In: IEEE Con-ference on Computational Photography, (2013)
【発明の概要】
【発明が解決しようとする課題】
【0004】
図1は、散乱特性を説明する強度分布の例である。散乱とは、図1に示すように、組織中の粒子31が入射光32を受けて、異なる方向に異なる強度で光33を再放出する現象である。本明細書では、異なる角度(散乱角度)における散乱光線の強度分布を「散乱特性」と呼ぶ。図1(b)の分布は前方散乱の例であり、散乱角度が小さい部分(例えば、θ)の光強度が高く、散乱角度が大きくなる(例えば、θ、θ)と光強度が急激に低下している。これに対し、図1(a)は当方散乱の例であり、いずれの散乱角度においても光強度が等しい。
【0005】
このような散乱特性を測定するためには、複数の散乱角度における光線の強度分布を測定する必要がある。例えば、非特許文献4は、均質な液体中で散乱した光の角度分布を観察することで散乱特性を測定する手法を開示する。
【0006】
しかし、非特許文献4の手法は液体の散乱特性を測定する手法であって、空間的に不均質な物体の散乱特性を測定することはできない。このため、現在、空間的に不均質な物体の散乱特性を測定することが必要な、上述したような細胞の検出、癌過程の分析、異形成や癌を診断することが困難という課題がある。
【0007】
そこで、本発明は、上記課題を解決すべく、空間的に不均質な物体の散乱特性を測定することを可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本発明に係る試料観察方法及び試料観察装置は、散乱角度の範囲を制御できる照明パターンの空間周波数を変化させることで、撮影された光を角度ごとの直接散乱光に分解することとした。
【0009】
具体的には、本発明に係る試料観察方法は、
Z方向において、光センサの焦点、及び光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターンの焦点を試料内の観測点を含むXY平面に合わせるフォーカス手順と、
前記フォーカス手順を行った後、前記照明パターンの前記明部を透過した光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手順と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分及び前記直接成分以外の大域成分と、前記第2光強度に含まれる前記大域成分と、を利用し、前記第1光強度から前記直接成分と前記大域成分とを分離する分離手順と、
前記照明パターンの前記明部と前記暗部との周期を変えて前記光強度取得手順と前記分離手順とを繰り返し行う繰り返し手順と、
前記照明パターンの前記周期毎に取得した前記直接成分を比較することで、前記観測点における散乱角度毎の光強度を演算する演算手順と、
を行う。
【0010】
また、本発明に係る試料観察装置は、
光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターンと、
Z方向において光センサ及び前記照明パターンの焦点を試料内の観測点を含むXY平面に合わせるフォーカス機構と、
前記フォーカス機構で前記光センサと前記照明パターンの双方の焦点を前記観測点に合わせた状態で、前記照明パターンの光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手段と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分及び前記直接成分以外の大域成分と、前記第2光強度に含まれる前記大域成分と、を利用し、前記第1光強度から前記直接成分と前記大域成分とを分離することを前記照明パターンの前記明部と前記暗部との周期を変えて行い、前記照明パターンの前記周期毎に取得した前記直接成分を比較することで、前記観測点における散乱角度毎の光強度を演算する演算器と、
を備える。
【0011】
観測した試料を可視化するために、前記演算器は、
前記散乱角度毎の光強度から、前記観測点における散乱モデルのパラメータを推定すること、及び
前記観測点ごとの前記パラメータを前記観測点の前記XY平面上の座標に応じて並べ、散乱特性マップを生成すること
をさらに行う。
【0012】
前記散乱特性マップが、前記パラメータに基づいて可視化されることが好ましい。
【0013】
ここで、前記照明パターンが市松模様であることが好ましい。
【0014】
さらに、前記試料観察装置は、光透過型の顕微鏡に搭載することができる。
【0015】
本発明は、顕微鏡下の高周波照明投影による散乱の拡がり角度の分布情報を抽出する手法である。空間的に高周波な照明パターンのサイズと散乱角度の関係性を導き、これに基づき、複数の高周波照明パターンのサイズを投影することによって、試料中の各位置での散乱の拡がり角度の分布を推定する。
【0016】
従って、本発明は、空間的に不均質な物体の散乱特性を測定することを可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。
【発明の効果】
【0017】
本発明は、空間的に不均質な物体の散乱特性を測定することを可能とする試料観察方法、試料観察装置、及び顕微鏡を提供することができる。
【図面の簡単な説明】
【0018】
図1】散乱特性を説明する図である。
図2】透過光と散乱光を説明する図である。
図3】本発明に関連する観察方法を説明する図である。
図4】本発明に関連する観察方法を説明する図である。
図5】本発明に係る顕微鏡を説明する図である。
図6】本発明に係る顕微鏡を説明する図である。
図7】本発明に係る試料観察装置の測定原理を説明する図である。
図8】本発明に係る試料観察装置の測定原理を説明する図である。
図9】本発明に係る試料観察方法を説明する図である。
図10】本発明に係る試料観察装置の測定原理を説明する図である。
【発明を実施するための形態】
【0019】
添付の図面を参照して本発明の実施形態を説明する。以下に説明する実施形態は本発明の実施例であり、本発明は、以下の実施形態に制限されるものではない。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
【0020】
(実施形態1)
透過型光学顕微鏡は、生物医学、食品安全、および他の多くの用途に広く使用されている。顕微鏡で標本を観察する場合、光は画像センサに達する前に標本中の小さな粒子に当たり方向を変える。その結果、画像センサは、異なる経路を通る散乱光線の合計を捕捉することになる。この光の散乱は、観察される画像を不明瞭にする。
【0021】
散乱による画像の不明瞭化は、生物医学的画像形成において大きな課題となっている。例えば、生体組織の空間スペクトル解析において、吸収係数は特定点で正確に測定できなければならない。しかし、測定された信号は、特定点と異なる点からの散乱光を含み、その散乱光は組織内の異なる点の情報を含む。生体組織の特定点で正確に測定するには、特定からの直接的な光と他の点からの散乱光を分離することが不可欠である。
【0022】
しかし、焦点調節可能な光学系を設けた顕微鏡の場合、試料の厚み方向の情報が加わるため、非特許文献5のような反射型の手法や非特許文献6のような平行光の高周波照明を利用する透過型の手法では、試料で反射した光や試料を透過した光を直接成分と大域成分とに分離することができず、画像の鮮明化や空間スペクトル解析が困難という課題があった。
【0023】
そこで、本実施形態では、上記課題を解決すべく、焦点調節可能な光学系を有する(平行光ではない)場合であっても、試料の画像の鮮明化や空間スペクトル解析を可能とする試料観察方法について説明する。
【0024】
[1]透過光と散乱光の重畳
前述のように、透過光顕微鏡で観察される不明瞭な画像の理由の一つは、測定された光が、所望の観測点を通過した光に異なる点からの散乱光が重なり、試料内の異なる点で光吸収されているためである。本セクションでは、透過型顕微鏡で試料を通過するこれらの光を調べ、どのような光が重なり合ってカメラ(イメージセンサ)に到達するかを説明する。
【0025】
重なり合うすべての光を説明するために、透過型顕微鏡で観測点における光強度を測定する場合を考える。光センサに到達する光は、観測点のみで散乱する観測点単一散乱光(直接透過光)、観測点とは異なる深さにある他点で一度だけ散乱した他点単一散乱光、および多重散乱光の3種類が考えられる。図2は各光の経路の説明図であり、観測点は白丸である。図2(b)の黒実線矢印は、観測点でのみ散乱された後、散乱されずに光センサに到達する観測点単一散乱光(直接透過光)である。この光が観察対象の直接成分である。図2(c)の破線矢印は、試料内で観測点と異なる深さに位置する観測点以外の点で1回だけ散乱した他点単一散乱光と、試料内で複数回散乱した多重散乱光であり、大域成分である。大域成分の散乱光は観測点単一散乱光(直接透過光)と重なり、同じ光センサに到達する(図2(a))。大域成分は、光センサにおいて直接成分の比率を低下させ画像を不明瞭にする。したがって、光センサに到達するこれらの重なり合う光を直接成分と大域成分に分離する必要がある。
【0026】
[2]直接成分と大域成分の分離
図3(a)は、直接成分と大域成分を分離する本実施形態の透過型顕微鏡を説明する図である。本実施形態の透過型顕微鏡は、照明13、光センサ15、光センサ側レンズ12、及び照明側レンズ14を備える顕微鏡であって、透過型試料観察装置100が組み込まれることで試料50内の観測点31のみで散乱する単一散乱光を観察可能となることを特徴とする。図5は、本実施形態の透過型顕微鏡の説明にあたり、X,Y及びZの方向、試料50内の観測点31、並びに観測点31を含むXY平面(スライス)を説明する図である。
【0027】
ここで、透過型試料観察装置100は、
試料50の厚みより薄い焦点深度を有し、光センサ15と試料50との間にある光センサ側レンズ12の焦点を試料50内の観測点31に合わせる工程、及び試料50の厚みより薄い焦点深度を有し、試料50に対して光センサ15の反対側の照明13と試料50との間にある照明側レンズ14の焦点を観測点31に合わせる工程の少なくとも一方を行うフォーカス機構18と、
照明13の光を観測点31に照射したときの第1光強度と観測点31以外に照射したときの第2光強度とを光センサ15で取得する光強度取得手段19と、
前記第1光強度から前記第2光強度を減算した光強度を観測点31の透過光の成分とする演算器17と、
を備える。
【0028】
演算器17は、後述する図3(b)と(c)それぞれの状態での透過画像(光センサ15による画像)を得るように、フォーカス機構18及び光強度取得手段19を制御する。
フォーカス機構18は、演算器17の演算に基づいて焦点調節を行うものであり、例えばステッピングモータによるピント調整機構等を用いて実現することができる。また、操作者が手でピント調節つまみ等の所定の操作部を操作することによりピント調節してもよい。また、フォーカス機構18は、光軸方向(Z方向)にセンサ側レンズ12と照明側レンズ14の双方の焦点を移動させることができる。この機能により、スライスをZ方向に移動させる、すなわち、試料50内の任意の深さにある観測点31に焦点を合わせることができる。
【0029】
光強度取得手段19の駆動機構は、演算器17の演算に基づいて後述する図3(b)と(c)の状態を入れ替えるよう移動させるものであり、例えばステッピングモータによる移動テーブル又はフォトマスクの駆動機構であってもよい。また、操作者が、試料50を移動させるための操作部、又はフォトマスクを移動させるための操作部を操作することにより、図3(b)と(c)の状態を入れ替えてもよい。
【0030】
本実施形態の場合、照明13は、光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさるフォトマスクで形成された高周波照明である。また、光強度取得手段は、光センサ15と照明13の焦点を維持したまま試料50をX方向やY方向に任意に移動させる、もしくはフォトマスクを任意に移動(明部と暗部をX方向やY方向に任意の移動)させる駆動機構である。
【0031】
本実施形態の透過型顕微鏡は、高周波照明の明部と暗部(高周波照明の像35)を利用し、さらに光センサ15と高周波照明13の合焦状態と非合焦状態との間の光情報の違いを利用し、直接成分と大域成分を分離する。ここで、高周波照明の像35が形成される面に平行な試料内の面(XY平面)を「スライス」と呼ぶ(図8参照)。例えば、試料50の厚みが10μmで、焦点の合っているスライスの厚みは3μmとする(試料やレンズ性能により数値は変わる)。図4は、焦点が合っているスライスと焦点が合っていないスライスを説明する図である。光センサも高周波照明も焦点が合っていないスライスがαとγであり、焦点が合っているスライスがβである。光センサの焦点が合っている場合、その画像は図4(a)のようになり、光センサの焦点が合っていない場合、その画像は図4(b)のようになる。一方、高周波照明の焦点が合っている場合、その画像は図4(c)のようになり、高周波照明のフォーカスが合っていない場合、その画像は図4(d)のようになる。つまり、光センサと高周波照明のいずれか一方の焦点が合っていない場合、パターンがぼやけた画像(図4(b)(d))となる。このようにパターンがぼやけたスライスでは、光強度が均一になると仮定する。つまり、光センサ側と高周波照明側の両方の焦点が合っている状態で直接成分が含まれるとみなし、光センサ側と高周波照明側のいずれか一方の焦点が合っていない状態では大域成分のみとみなす。
【0032】
まず、高周波照明のパターンが無く、カメラと照明の両方に焦点が合っている場合と、カメラと照明のいずれかの焦点が合っておらず光強度が一様である場合とを考える。観測点31に対応する光センサ15のピクセルpで捕捉された光強度L[p]は、直接成分D[p]と大域成分G[p]との和である。
(式1)
L[p]=D[p]+G[p]
【0033】
図3(b)と図3(c)は、光を透過する明部と光を遮断する暗部が市松模様状であるフォトマスクを介する高周波照明13を用いて試料50に照射したときの様子を模式的に示した図である。なお、説明明瞭化のため、図3(b)と図3(c)では、透過型試料観察装置100の記載を省略している。
【0034】
[分離演算の説明]
ここで、演算器17が行う演算内容について説明する。
観測点31が含まれるターゲットスライスに、光センサ15と高周波照明13の焦点が合っている。図3(b)は、光強度取得手段19でフォトマスク又は試料50を動かして観察点Xに光を照射した(フォトマスクの明部を位置させる)ときの模式図である。観察点Xに光が照射すると、光センサ15は観察点Xからの直接的な光(直接成分(A))と他の部分からの光(非合焦での観測点以外からの他点単一散乱光の成分である大域成分(B)及び多重散乱光の成分である大域成分(C))の双方を含む情報を取得する。一方、図3(c)は、フォトマスク又は試料50を動かして観察点Xに光を照射しない(フォトマスクの暗部を位置させる)ときの模式図である。観察点Xに光が照射しないと観察点Xからの直接的な光(直接成分(A))がなく、光センサ15は他の部分からの光(大域成分(B)と(C))のみの情報を取得する。
なお、「合焦での観測点以外からの他点単一散乱光による成分(D)」はカメラの光学系で異なるピクセルに結像されるため、成分(D)は検討中のピクセルにおいて考慮不要である。
【0035】
前述のように焦点が合っていないスライス(図4(d))において照明光が均一であると仮定すると、フォトマスクの明部と暗部の比率が1:1である場合、焦点が合っていないスライス(α、γ)内の光強度は、焦点が合っているスライスβの明部の光強度の半分の光強度となる。つまり、スライスβ以外の部分からの多重散乱光や単一散乱光の光強度は観測点31で反射あるいは透過した光の強度の半分となる。
【0036】
このことを利用して、観測点31に光を照射している場合の観測点31に対応する光センサのピクセルpにおける輝度L[p]と、観測点31に光を照射していない場合の輝度L[p]とを以下のように算出することができる。
【数2】
【数3】
ここで、S[p、x]は点x=[x、y、z]における単一散乱光の光強度である。M[p、x]は最後の散乱点がxである多重散乱光の光強度である。
【0037】
焦点深度dは範囲を有するのでピクセルpは点xの集合に対応する。Ω(p、d)はピクセルpと焦点深度dに対応する領域であり、Ψ(p)は試料50内のピクセルpに対応するすべての点xを示すとする。
【0038】
図3(b)に示すように、式(2)の第1項は、ターゲットスライス(β;z=d)における観測点31を照射した直接透過光である。第2項は焦点から外れた異なるスライス(α、γ)での単一散乱光であり、第3項は大域成分における散乱光の多重である。従って、ターゲットスライスからの光D[p]および他のスライスからの光G[p]は、次式で表される。
【数4】
【0039】
光センサ15の全てのピクセルで直接成分および大域成分を得るためには、高周波照明パターンを動かし、それぞれのピクセルで光強度が最大のLmaxと最小のLminを取得する。L=Lmaxであり、L=Lminであるので式(4)を用いて各ピクセルのD[p]とG[p]を求めれば、試料50の透過光と散乱光を分離することができる。
なお、高周波照明パターンの動かし方は、例えば、高周波照明の明部と暗部をそれぞれ含むように予め設定した移動経路で動かす方法がある。また、高周波パターンフィルタの動かし方として、高周波パターンフィルタをXYZ軸電動ステージ上でXY方向にランダムに移動させる方法でもよい。この方法の場合、明部ですべての点を捕捉するために十分量の当該ターゲットスライスの観察画像を取得する必要がある。
以上、演算器17の演算について説明した。
【0040】
なお、高周波照明を形成するフォトマスクの明部と暗部との大きさに注意する必要がある。フォトマスクの明部が大きい場合、観察点で散乱された直接透過光が、同一の照明領域内で数回散乱することになる。本実施形態の透過型顕微鏡では、このような同一の照明領域内で数回散乱してしまった光も、直接成分であると判断することになる。同一の照明領域内で散乱回数は、試料の特性および高周波照明の周波数に依存するので、試料の特性に応じて高周波照明の周波数を適宜調整する必要がある。
【0041】
例えば、上記実施形態では高周波照明のパターンを明部と暗部が1:1の市松模様で説明したが、試料の特性によって明部と暗部が1:1ではないパターンの高周波照明を利用してもよいし、明部と暗部とが規則的に配列されていない不規則パターンの照明を利用してもよい。
照明パターンとして、既に記載した市松模様以外に次のような照明パターンも可能である。
(a)明部と暗部として、各々透過率が100%と0%という市松模様ではなく、複数の透過率の領域から成る照明パターン
(b)市松模様ではなく、ストライプ状の明部と暗部の縞模様から成る照明パターン
(c)明暗の縞模様ではなく、透過率がなめらかに変化する(例えば、サインカーブの値を持つ)ような照明パターン
(d)縞模様、明部と暗部の境界、透過率の異なる領域同士の境界が、直線ではなく曲線である照明パターン
【0042】
この場合、明部と暗部の比率に応じて式(2)の第2項と第3項の係数、及び式(3)の各項の係数を変更する。具体的には、高周波照明のパターンを明部と暗部が明部と暗部が1:1の市松模様の場合、式(2)と式(3)の各係数が“1/2”であるが、明部と暗部の比率に応じ当該係数を変更する(ただし、係数の合計は1である。)。例えば、
明部の割合=a、
暗部の割合=1-a、
b:明部の透過率を1とするときの暗部の透過率(0.0≦b<1)
とすると、上述した式(2)、式(3)、式(4)は、それぞれ式(2a)、式(3a)、式(4a)となる。
【数2a】
【数3a】
【数4a】
式(2a)、式(3a)、式(4a)において、a=1/2、b=0の場合が式(2)、式(3)、式(4)となる。
【0043】
また、上記実施形態では高周波照明をフォトマスクで構成することを説明したが、フォトマスクを使用せずに複数のLED等の微小光源を配列して高周波照明を構成してもよい。すなわち、前記照明は、光源を発光させる明部と光源を消灯させる暗部とを任意の比率で組み合わせたパターンの照明であり、前記光強度取得手段は、前記比率を維持したまま前記明部と前記暗部を任意に移動させる光源制御部であることを特徴とする。
もちろん、LEDは、高周波照明だけでなく不規則パターンの照明も実現することができる。
【0044】
(具体的な操作方法)
本透過顕微鏡システムは、顕微鏡、光源、高周波パターンフィルタ(フォトマスク)、カメラ(光センサ)及びXYZ軸電動ステージからなる。高周波パターンフィルタとして、図3及び図4に示すように、照明領域(明部)と非照明領域(暗部)の比が1:1である様々な市松模様(高周波照明)のフォトマスクを用意した。具体的に、パターンの大きさは1×1μmから16×16μmまでを用意した。パターンの大きさは、例えば生体中の部位などにより、検体中に散乱体がどのくらい含まれるかに応じて決定される。イルミネーションレンズはフィルタの上に設置され、照明のフォーカス位置を変えることができる。
【0045】
まず、試料の深さ方向(Z方向)について、ある深さのターゲットスライスに、光センサ15と高周波照明13の焦点を合わせる。どちらの焦点を先に合わせてもよいが、両方の焦点を合わせる必要がある。例えば、顕微鏡の資料ステージを動かして、試料50を観察できるように光センサ15の焦点を所望のターゲットスライスに合わせておく。その後、高周波照明13の焦点を当該ターゲットスライスに合わせる。その焦点合わせには、照明側レンズ14をZ方向に移動させ、且つXYZ軸電動ステージで高周波照明パターンフィルタ13をZ方向に移動させ調整する。
【0046】
そして、明部ですべての点を捕捉するために、高周波パターンフィルタ13をXYZ軸電動ステージ上で動かし、当該ターゲットスライスの観察画像を取得する。高周波パターンフィルタの動かし方は上述の通りである。そして、前述の「分離演算の説明」のように観察画像を処理し、カメラの各光センサ(ピクセル)における直接成分D[p]と大域成分G[p]を取得する。ここまでの作業で、現在のターゲットスライスに対して透過光と散乱光を分離することができる。
【0047】
次に、高周波パターンフィルタ13をXYZ軸電動ステージをZ軸方向に移動することにより、上記とは別の深さのターゲットスライスに、光センサ15と高周波照明13の焦点を合わせる。そして、当該ターゲットスライスにおいて、高周波パターンフィルタ13をXYZ軸電動ステージで同様に動かして観察画像を取得する。上記と同様に「分離演算の説明」のように観察画像を処理し、当該ターゲットスライスに対して透過光と散乱光を分離することができる。
【0048】
(本実施例の効果)
非特許文献5や6に記載される手法では、光路上の重なりも含む、全ての深さ情報の重ね合わせで観測され、それらから特定の深さ(ターゲットスライス)の透過光と散乱光の情報あるいは深さ方向(Z方向)に対する透過光と散乱光の情報を取得することが困難である。一方、本透過顕微鏡システムは、特定の深さ(ターゲットスライス)の透過光と散乱光の情報を取得することができ、さらにターゲットスライスをZ方向に順次移動させて上記の処理を繰り返すことで、複数の深さのターゲットスライスに対する透過光と散乱光を分離して情報を得ることができる。本透過顕微鏡システムは、Z方向の移動をあるステップ幅で連続的に行い、連続的に深さごとのターゲットスライスにおける透過光と散乱光の情報を取得できることから、分離された透過光と散乱光の3次元情報、あるいは3次元画像情報を観察することができる。前記3次元情報は、直接成分や大域成分の3次元波長情報、それらより演算して抽出される各種情報ないし作成される画像、およびそれらより解析される結果を含む。
【0049】
(実施形態2)
本実施形態では、試料の散乱特性を計測する試料観察方法及びその装置とそれを搭載する顕微鏡を説明する。本実施形態の試料観察方法等は、実施形態1で説明した試料観察方法等に加え、空間周波数(前述した明部と暗部との周期)が異なる複数の照明パターンを用いることが特徴である。本実施形態では、照明パターンの明部と暗部との面積比率aが1/2の場合を説明するが、面積比率aは1/2に限定されない。
【0050】
図6は、本実施形態の顕微鏡を説明する図である。本顕微鏡は、光センサ15、光センサ側レンズ12、照明側レンズ14、及び試料観察装置101を備える。
【0051】
試料観察装置101は、
光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターン13と、
Z方向において光センサ15及び照明パターン13の焦点を試料50内の観測点31を含むXY平面に合わせるフォーカス機構18と、
フォーカス機構18で光センサ15と照明パターン13の双方の焦点を観測点31に合わせた状態で、照明パターン13の光を観測点31に照射したときの第1光強度と観測点31以外に照射したときの第2光強度とを光センサ15で取得する光強度取得手段19と、
前記第1光強度に含まれる、観測点31での単一散乱光による直接成分(A)、前記観測点以外での単一散乱光による大域成分(B)、及び試料50内での多重散乱光による大域成分(C)と、前記第2光強度に含まれる、大域成分(B)及び大域成分(C)と、を利用し、前記第1光強度から直接成分(A)と大域成分(B)及び大域成分(C)とを分離することを照明パターン13の前記明部と前記暗部との周期を変えて行い、照明パターン13の前記周期毎に取得した前記直接成分(A)を比較することで、前記観測点における散乱角度毎の光強度を演算する演算器17と、
を備える。
なお、本実施形態の試料観察装置101では、大域成分(B)と大域成分(C)を区別する必要はない。
【0052】
本実施形態では、照明パターン13が市松模様である場合(明部と暗部の比率は1:1である)を説明する。試料観察装置101は、例えば、4種類の照明パターン(13-1~13-4)を有する。そして、それぞれの照明パターンは空間周波数(前述した明部と暗部との周期)が異なる。実施形態1で説明したように、高周波照明の像35の明部と暗部が観測点31にあるように照明パターン13を動かす(図6(b)及び(c))。これは照明パターン(13-1~13-4)毎に行う。
【0053】
図7は、図6(b)及び(c)をより詳細に説明する図である。図7(a)は観測点31が高周波照明の像35の明部にある場合、図7(b)は観測点31が高周波照明の像35の暗部にある場合、図7(c)は(a)と(b)の差分である。光センサ15のあるピクセルpに到達する各光線は、図7のように4種類に分類できる。
(二重線矢印)散乱のない直接透過光T(p)、
(実線矢印)観測点31のみで散乱された単一散乱光S(p,K)、
(矩形点線矢印)観測点31とは異なる深さにある粒子Kのみで散乱された単一散乱光MSR(p,K)、
(丸点線矢印)他の粒子で複数回散乱され、最終的に上記3種類の光線に重なる多重散乱光MMR(p、K)。
なお、単一散乱光S(p,K)が直接成分(A)、単一散乱光MSR(p,K)が大域成分(B)、多重散乱光MMR(p、K)が大域成分(C)である。
【0054】
図7(a)の観測点31が高周波照明の像35の明部にある場合、光センサ15のあるピクセルpで撮像された画像強度L(p)は、これら4種類の光線の総和として以下のように定義される。
【数5】
ここで、Rは1つの光線、R(p)はピクセルpでとらえた単一散乱光S(p,K)の光線Rの集合、αは光線Rが通る照明パターンの明部の比率である。図10でαについての詳説をする。図10(a)は照明パターンの空間周波数が高い場合、図10(b)は照明パターンの空間周波数が低い場合である。図10において、符号36は明部及び暗部に関わらず観測点31を通る光線Rが存在しうる領域、符号37は観測点31についての合焦領域であり、光センサ15の1ピクセルに相当する。光線Rについて、合焦領域37のうち照明パターンの明部が占める体積比率がαである。
具体的には、合焦領域37に含まれる光線Rについて、
観測点31が明部のとき、αに比例する光強度が光センサ15に届き、
観測点31が暗部のとき、明と暗が反転するため、(1-α)に比例する光強度が光センサ15に届く。
実際には、αの値は、投影された照明パターンサイズやレンズの焦点距離などからシミュレーションにて、光線を散乱角度ごと追い、明部と暗部の差や、パターンサイズの差から算出する。
【0055】
図7(b)の観測点31が高周波照明の像35の暗部にある場合、光センサ15のあるピクセルpで撮像された画像強度L(p)は、単一散乱光MSR(p,K)と多重散乱光MMR(p、K)の光線の総和として以下のように定義される。
【数6】
【0056】
そして、L(p)とL(p)との差分が図7(c)のように直接透過光T(p)と単一散乱光S(p,K)の総和の光強度(本実施形態では「所望光強度」と記載する。)となる。ここまでは、実施形態1の説明と同じである。
【0057】
本実施形態では、さらに照明パターンの空間周波数を変えて(図6の照明パターン13-1~13-4を切り替えて)上記所望光強度を取得する。図8は、本発明に係る試料観察装置の原理を説明する図である。図8(a)と図8(b)で、照明パターンの空間周波数が変わると散乱光がどのように変化するかを説明する。なお、図8では、フォーカス面に対して垂直方向(Z方向であり図の縦方向)を0°、平行方向(XY平面)を90°と定義している。
【0058】
図8(a)は空間周波数が高い(市松模様のパターンが小さい)照明パターン13-1を使用して、図7で説明した所望光強度を観察するときのイメージ図である。観測点31を通る直接透過光Tと観測点31のみで散乱された単一散乱光Sは、Arの範囲で放出される。散乱角度θは、範囲Arを観測点31を頂点とする円錐と考えたときのその頂角の1/2の角度である。
【0059】
図8(b)は空間周波数が低い(市松模様のパターンが大きい)照明パターン13-2を使用して、図7で説明した所望光強度を観察するときのイメージ図である。観測点31を通る直接透過光Tと観測点31のみで散乱された単一散乱光SとSは、ArとArの範囲で放出される。散乱角度θは、範囲ArとArを含む範囲を観測点31を頂点とする円錐と考えたときのその頂角の1/2の角度である。
【0060】
図8(a)の所望光強度と図8(b)の所望光強度との差分が範囲Arに含まれる単一散乱光Sの光強度が得られる(図8(c)を参照。)。このように、空間周波数の異なる照明パターンで取得した所望光強度を比較することで、観測点31の散乱特性を測定することができる。
【0061】
つまり、試料観察装置101の試料観察方法は、空間周波数(前述した明部と暗部との周期)が異なる複数の照明パターンを用いて、散乱光の散乱角度毎の光強度分布を取得する新しい方法である。図9は、本試料観察方法を説明するフローチャートである。本試料観察方法は、
Z方向において、光センサの焦点、及び光を透過させる明部と光を遮断する暗部とが任意の比率で組み合わさる照明パターンの焦点を試料内の観測点を含むXY平面に合わせるフォーカス手順(ステップM01)と、
前記フォーカス手順を行った後、前記照明パターンの前記明部を透過した光を前記観測点に照射したときの第1光強度と前記観測点以外に照射したときの第2光強度とを前記光センサで取得する光強度取得手順(ステップM02)と、
前記第1光強度に含まれる、前記観測点での単一散乱光による直接成分(A)、前記観測点以外での単一散乱光による大域成分(B)、及び前記試料内での多重散乱光による大域成分(C)と、前記第2光強度に含まれる、大域成分(B)及び大域成分(C)と、を利用し、前記第1光強度から直接成分(A)と大域成分(B)及び大域成分(C)とを分離する分離手順(ステップM03)と、
繰り返し回数が所定回数に達していない場合(ステップM04にて“No”)、前記照明パターンの前記明部と前記暗部との周期を変えて前記光強度取得手順と前記分離手順とを繰り返し行う繰り返し手順(ステップM05)と、
繰り返し回数が所定回数に達した場合(ステップM04にて“Yes”)、前記照明パターンの前記周期毎に取得した前記直接成分(A)を比較することで、散乱角度毎の光強度を演算する演算手順(ステップM06)と、
を行う。
【0062】
本試料観察方法は、市松模様のように光透過部(明部)と光遮断部(暗部)で構成される2値の照明パターンの周波数(すなわち、明部と暗部の領域の大きさ)によって、散乱角度の範囲を制御できることを特徴とする。換言すれば、本試料観察方法は、光センサが、明部のサイズが大きいとき(低周波)には散乱角度の広い光線を受光し、明部のサイズが小さいとき(高周波)には散乱角度が狭い光線を受光することを利用して空間的に不均質な物体の散乱特性を測定する。
【0063】
演算器17は、この現象を利用し、各散乱角度の範囲の画像を推定する。例えば、演算器17は、
(α)最も高周波の照明パターンを使用した時、図1の散乱角度0~θの範囲Arに含まれる光線の光強度(直接成分)Sを得(図8(a)も参照)、
(β)次に高周波の照明パターンを使用した時、図1の散乱角度0~θの範囲Arと範囲Arに含まれる光線の光強度(直接成分)Sを得(図8(b)も参照)、
(γ)最も低周波の照明パターンを使用した時、図1の散乱角度0~θの範囲Arから範囲Arに含まれる光線の光強度(直接成分)Sを得る。
演算器17は、これらの光強度を比較し、その差分から各範囲(Ar、Ar、Ar)の画像を推定する。例えば、(γ)の光強度から(β)の光強度を減算すれば、範囲Arの光強度Sが得られる。
【0064】
上記は、演算器17での演算の原理を理解しやすくするための説明である。実際は、複数の照明パターン毎の光強度(式(5)と式(6)のセット)の行列を得ておき、次式で散乱角度を計算する。
【数7】

ここで、kは照明パターンの番号(1≦k≦K)である。K個の照明パターンを用いて、散乱角度が0度から光学レンズの特性に依存する最大角度まで、K個のグループに分ける。
【0065】
照明パターンkのi番目の散乱角度(例えばθ)の領域(例えば、S1とS2の領域)における明部と暗部の比率をaki及びa’kiと定義する(aki+a’ki=1)。これらの比率は、顕微鏡の仕様と照明パターンに基づいて計算することができる。行列Aは、これらの既知の情報から成る行列である。
【0066】
また、k番目の散乱角度(照明パターンkの散乱角度θと照明パターンk-1の散乱角度θk-1に挟まれる範囲Ar)での光強度をS{S|k=1、・・・、K}とする。行列X(p)は、k番目の散乱角度を持つ単一散乱光の行ベクトルである。G(p)は大域成分である。T(p)は、その方向が入射照明と平行なので、X(p)の第1要素にT(p)+S(p)として含まれる。
【0067】
行列L(p)は、K個の照明パターンそれぞれの明部(L+)と暗部(L-)の光強度からなるベクトルである。演算器17は、測定で得た行列L(p)と既知データである行列Aを用いて、行列X(p)を演算する。
【0068】
実際の測定では、k番目の照明パターンをシフトして各点の最大および最小の光強度をそれぞれL max(p)およびL min(p)とし、各ピクセルにおける光強度のセットを取得する。ここで、ピクセルの光強度が最大/最小の値をとるとき、そのピクセルが明部/暗部の中心にあると考えることができる。そこで、
(p)=L max(p)、
(p)=L min(p)
とする。行列L(p)と行列Aが与えられれば、平均二乗誤差
【数8】
を最小化することで、X(p)を推定することができる。この推定は、すべてのピクセルに適用できる。
【0069】
このようにして得られた光強度(すなわち、画像)の集合は、図1の粒子31における散乱特性(異なる角度における光強度の分布)を表している。これを利用して共通の散乱モデル(例えば、式(9)のHenyey-Greenstein位相関数)で角度分布を表す非対称パラメータ(散乱パラメータ)gの散乱特性マップ(gマップ)を生成し、可視化することもできる。
【数9】
ここで、θは上述した散乱角度θ、P(θ)は散乱角度θにおける光強度Sである。
【0070】
以下、gマップの生成手順について説明する。
前述のようにピクセルp(観測点31)毎に散乱角度θ毎の光強度Sを取得する。そして、散乱角度θ毎の光強度Sから、観測点31におけるHenyey-Greenstein位相関数を満たす散乱パラメータgを推定する推定手順と、
観測点31ごとの散乱パラメータgを観測点31の前記XY平面上の座標に応じて並べ、散乱特性マップを生成するマップ生成手順と、
をさらに行う。
【0071】
式(9)の位相関数はθ方向に積分すると1になる。散乱角度θごとの散乱情報、例えば得られている光強度の分布が、式(9)を満たすようなgを最適化手法等で求める。ここで、光強度については当該分布について積分したときに1になるように規格化する。また、gを最適化手法で求めるとは、光強度の分布を式(9)で表したときに最適になるgを求めるという意味である。
【0072】
例えば、あるピクセル(観測点31)について前述までの手法により、規格化された光強度S、S、S、・・・、S、・・・S、が得られたとする。これらが式(9)のP(θ)に代入し、観測点31における散乱パラメータgを推定する。実際には、上述した実施例のように、光強度Sが散乱角度がθ~θk-1といったある範囲の光強度である場合、光線を散乱角度ごと追った情報が得られる場合、あるいは散乱角度ごとの光線状況をシミュレーションにて求める場合などがあり、それぞれの場合の条件に合わせて位相関数と一致する最適なパラメータgを推定する。
【0073】
他のピクセル(観測点31)についても同様にパラメータgを推定する。これらのパラメータgをピクセルに応じて二次元に配置し、パラメータgのマップ(散乱特性マップ)を生成する。ここで、パラメータgの値をカラーや輝度で表示(gの大小を色又は輝度で表現)して可視化することが好ましい。
なお、本実施形態では、散乱モデルとしてHenyey-Greenstein位相関数のモデルを例に挙げて説明したが、等方散乱モデルや、その他の散乱モデル(位相関数)でも同様に、各散乱モデルのパラメータを推定することができる。
【0074】
図6(a)のように、試料観察装置101を一般的な透過型顕微鏡に搭載すれば、その顕微鏡で撮影した光を角度ごとの直接散乱光に分解し、散乱特性の空間分布を可視化することができる。
【産業上の利用可能性】
【0075】
本発明に係る試料観察方法、試料観察装置、及び顕微鏡は、癌検査などの病理診断、細胞観察などのバイオサイエンス、医療分野、欠陥検査などの物体の内部構造検査、空洞検出など食品検査にも適用することができる。
【符号の説明】
【0076】
12:光センサ側レンズ
13、13-1~13-4:高周波照明(照明パターン)
14:照明側レンズ
15:光センサ
17:演算器
18:フォーカス機構
19:光強度取得手段
21:積分球
22:分光光度計
23:試料
24:光
35:高周波照明の像
50:試料
100、101:透過型試料観察装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10