ホーム > 特許ランキング > 浜松ホトニクス株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-18
(45)【発行日】2024-11-26
(54)【発明の名称】試料観察装置及び試料観察方法
(51)【国際特許分類】
G02B 21/06 20060101AFI20241119BHJP
G02B 21/36 20060101ALI20241119BHJP
G01N 21/01 20060101ALI20241119BHJP
G01N 21/63 20060101ALN20241119BHJP
G01N 21/64 20060101ALN20241119BHJP
【ＦＩ】
G02B21/06
G02B21/36
G01N21/01 D
G01N21/63 Z
G01N21/64 Z
【請求項の数】
14
(21)【出願番号】P 2021070905
(22)【出願日】2021-04-20
(65)【公開番号】P2022165532
(43)【公開日】2022-11-01
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【弁理士】
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【弁理士】
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100148013
【弁理士】
【氏名又は名称】中山 浩光
(72)【発明者】
【氏名】重松 恭平
(72)【発明者】
【氏名】高橋 考二
(72)【発明者】
【氏名】井上 卓
【審査官】殿岡 雅仁
(56)【参考文献】
【文献】特開２０１２－０３２１８３（ＪＰ，Ａ）
【文献】特開２００５－２４１７３３（ＪＰ，Ａ）
【文献】Andrew J. Radosevich et al.，"Hyperspectral in vivo two-photon microscopy of intrinsic contrast"，OPTICS LETTERS，2008年09月12日，Vol.33, No.18，pp.2164-2166
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ２１／００ － ２１／３６
Ｇ０１Ｎ ２１／００ － ２１／７４
(57)【特許請求の範囲】
【請求項1】
中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を励起光として出力する光源部と、前記励起光を試料に対して走査しながら、前記パルス列に含まれる各パルス光の照射に応じた前記試料からの光応答を時間分解測定し、前記各パルス光に対する測定データを取得する測定部と、
前記試料に含まれるターゲット毎の励起スペクトルに基づいて、前記各パルス光に対する測定データに一括で線形分離処理を施す処理部と、を備える試料観察装置。
【請求項2】
前記光源部は、単一の光源から生成された前記パルス光の中心波長を時間に応じて変調することで前記パルス列を生成する請求項１記載の試料観察装置。
【請求項3】
前記光源部では、入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いて前記パルス列を生成する請求項１又は２記載の試料観察装置。
【請求項4】
前記処理部は、前記試料において前記パルス列に含まれる前記複数のパルス光に対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて前記各パルス光に対する測定データに線形分離処理を施す請求項１～３のいずれか一項記載の試料観察装置。
【請求項5】
前記線形分離処理が施された前記測定データに基づいて、特定のターゲットに関する観察像を生成する画像生成部を更に有する請求項１～４のいずれか一項記載の試料観察装置。
【請求項6】
前記画像生成部は、前記特定のターゲットに関する観察像を重畳した重畳画像を生成する請求項５記載の試料観察装置。
【請求項7】
前記測定部は、前記試料からの光応答を時間分解測定するマルチチャネルの検出部を有している請求項１～６のいずれか一項記載の試料観察装置。
【請求項8】
中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を励起光として出力する出力ステップと、前記励起光を試料に対して走査しながら、前記パルス列に含まれる各パルス光の照射に応じた前記試料からの光応答を時間分解測定し、前記各パルス光に対する測定データを取得する測定ステップと、
前記試料に含まれるターゲット毎の励起スペクトルに基づいて、前記各パルス光に対する測定データに一括で線形分離処理を施す処理ステップと、を備える試料観察方法。
【請求項9】
前記出力ステップでは、単一の光源から生成された前記パルス光の中心波長を時間に応じて変調することで前記パルス列を生成する請求項８記載の試料観察方法。
【請求項10】
前記出力ステップでは、入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いて前記パルス列を生成する請求項８又は９記載の試料観察方法。
【請求項11】
前記処理ステップでは、前記試料において前記パルス列に含まれる前記複数のパルス光に対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて前記各パルス光に対する測定データに線形分離処理を施す請求項８～１０のいずれか一項記載の試料観察方法。
【請求項12】
前記線形分離処理が施された前記測定データに基づいて、特定のターゲットに関する観察像を生成する画像生成ステップを更に有する請求項８～１１のいずれか一項記載の試料観察方法。
【請求項13】
前記画像生成ステップでは、前記特定のターゲットに関する観察像を重畳した重畳画像を生成する請求項１２記載の試料観察方法。
【請求項14】
前記測定ステップでは、マルチチャネル検出によって前記試料からの光応答を時間分解測定する請求項８～１３のいずれか一項記載の試料観察方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、試料観察装置及び試料観察方法に関する。
【背景技術】
【0002】
従来の試料観察装置として、例えば蛍光観察顕微鏡が挙げられる。蛍光観察顕微鏡では、試料内のターゲットに選択的に化学結合する色素を注入し、励起光の照射によるターゲットからの蛍光を観察する。しかしながら、蛍光観察顕微鏡では、試料が生体である場合には、侵襲性を考慮に入れる必要がある。例えば生体に対する色素の安全性や比較的高いエネルギーを有する可視域の励起光の取り扱いに十分に配慮する必要がある。
【0003】
そこで、近年では、従来の蛍光観察に代えて、多光子励起や高次高調波発生といった現象に基づく非線形光学顕微鏡が着目されてきている。非線形光学顕微鏡では、例えば波長７００ｎｍ～１７００ｎｍ程度の近赤外光が用いられる。近赤外光は、可視光に比べてエネルギーが低いため、非線形光学顕微鏡における侵襲性が比較的低いものである。また、多光子励起や高次高調波発生は、染色無しに生じる場合がある。試料の染色を必要としないという観点でも、非線形顕微鏡の侵襲性は低いと言える。多光子励起や高次高調波の発生といった複数の観測方式（modality）に基づく光応答を弁別することで、複数の異なるターゲットを識別できる機能を有する顕微鏡は、マルチモーダル顕微鏡と称される。
【0004】
非線形光学顕微鏡に関する技術としては、例えば非特許文献１，２に記載の手法がある。非特許文献１では、試料に照射する光の波長を変えながら撮像を行い、試料の画像から単一のターゲットのみが発光している部分を抽出し、当該抽出部分の励起スペクトルを基準とした分離処理を行っている。非特許文献２では、試料に照射する光の偏光をパルス毎に変調し、マウスの尻尾におけるコラーゲンの配向方向を観察している。
【先行技術文献】
【非特許文献】
【0005】
【文献】AndrewJ Radosevich et al., “Hyperspectral in-vivo two-photon microscopy of intrinsicfluorophores” Biomedical optics 2008, OSA Technical Digest (CD) paper BWG7.pdf
【文献】XimengY. Dow et al., “Imaging the Nonlinear Susceptibility Tensor of Collagen byNonlinear Optical Stokes Ellipsometry” Biophysical Journal 111, 1361－1374, October 4, 2016
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述したマルチモーダル観察では、複数の光子がターゲットで同時に吸収されるように、通常のレーザ光ではなく、超短パルス光の使用が大前提となっている。近年では、超短パルス光を発生させる光源の開発が進んできているが、その一方で、マルチモーダル観察の実現にあたっては、ターゲットの染色を用いないことが装置構築の困難性を高めている。
【0007】
具体的には、従来のマルチモーダル観察では、複数の異なる観察方式に対応する幅広い波長のパルス光を用いるため、観察方式の数に応じた複数の光源を装置に組み込む必要がある。また、試料からの異なる波長の光のそれぞれを弁別するため、ダイクロイックミラー等の波長分離素子や光検出器を観察方式の数に応じて装置に組み込む必要がある。装置のユーザが必ずしも光の専門家ではないことを考えると、典型的なマルチモーダル観察の装置は、光学系が複雑となる故にユーザにとって取り扱いが難しい装置となっている。
【0008】
また、シンプルな構成でマルチモーダル観察を実現するための課題も別に存在している。例えば単一の超短パルスレーザでマルチモーダル観察を行う場合、複数の方式による観察の実施には、波長の切り替えを行う必要がある。この波長の切り替えに際しては、有限のタイムラグが発生するため、波長の切り替えに基づく試料のリアルタイム観察は困難である。このため、例えば波長を複数の観察方式で用いる理想的な波長の平均付近に設定することで、全ての方式に基づく観察を同時に実施することが考えられる。しかしながら、この手法では、各観察方式に関して最適波長から外れた励起光を用いることになるため、Ｓ／Ｎ比の良好な観察を行うにはパルス光のエネルギーを上げざるを得ず、結果として試料の侵襲性を高めてしまうことになる。
【0009】
本開示は、上記課題の解決のためになされたものであり、簡易な光学系で試料のマルチモーダル観察を実施できる試料観察方法及び試料観察装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の一側面に係る試料観察装置は、中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を励起光として出力する光源部と、励起光を試料に対して走査しながら、パルス列に含まれる各パルス光の照射に応じた試料からの光応答を時間分解測定し、各パルス光に対する測定データを取得する測定部と、試料に含まれるターゲット毎の励起スペクトルに基づいて、各パルス光に対する測定データに線形分離処理を施す処理部と、を備える。
【0011】
この試料観察装置では、中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を形成している。複数のパルス光の中心波長のそれぞれを各観察方式に適用することで、観察方式の数に応じた複数の光源の配置が不要となる。また、この試料観察装置では、各パルス光の照射に応じた試料からの光応答を時間分解測定し、試料に含まれるターゲット毎の励起スペクトルに基づいて、各パルス光に対する測定データに線形分離処理を施している。これにより、観察方式の数に応じた波長分離素子及び光検出器を配置する必要が無くなる。また、線形分離処理を用いることで、得られた各ターゲットに関する観察像間のクロストークを原理的に回避できる。したがって、この試料観察装置では、簡易な光学系で試料のマルチモーダル観察を実施できる。
【0012】
光源部は、単一の光源から生成されたパルス光の中心波長を時間に応じて変調することでパルス列を生成してもよい。これにより、光学系を更に簡易なものとすることができる。
【0013】
光源部では、入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いてパルス列を生成してもよい。この場合、例えばファイバレーザを用いてパルス光の波長毎の時間変調を簡便に実施できる。したがって、装置の簡略化が図られる。
【0014】
処理部は、試料においてパルス列に含まれる複数のパルス光に対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて各パルス光に対する測定データに線形分離処理を施してもよい。この場合、実際の試料と同等の試料から得られた励起スペクトルを予め保有することで、線形分離処理の精度を十分に確保できる。したがって、得られた測定データ間のクロストークを一層好適に回避できる。
【0015】
試料観察装置は、線形分離処理が施された測定データに基づいて、特定のターゲットに関する観察像を生成する画像生成部を更に有していてもよい。これにより、クロストークを抑えた状態で各ターゲットに関する観察像を得ることができる。
【0016】
画像生成部は、特定のターゲットに関する観察像を重畳した重畳画像を生成してもよい。この場合、各ターゲットに関する観察結果が一つの画像にまとめられるため、観察結果を解析する際の利便性を向上できる。また、複数の観察方式を通じて観察可能となるような事象への対応も可能となる。
【0017】
測定部は、試料からの光を時間分解測定するマルチチャネルの検出部を有していてもよい。この構成によれば、励起光に含まれるパルス光の波長の数が試料のターゲットの数より少ない場合でも、試料のマルチモーダル観察を実施できる。
【0018】
本開示の一側面に係る試料観察方法は、中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を励起光として出力する出力ステップと、励起光を試料に対して走査しながら、パルス列に含まれる各パルス光の照射に応じた試料からの光応答を時間分解測定し、各パルス光に対する測定データを取得する測定ステップと、試料に含まれるターゲット毎の励起スペクトルに基づいて、各パルス光に対する測定データに線形分離処理を施す処理ステップと、を備える。
【0019】
この試料観察方法では、中心波長が異なる複数のパルス光が所定の時間間隔で並ぶパルス列を形成している。複数のパルス光の中心波長のそれぞれを各観察方式に適用することで、観察方式の数に応じた複数の光源の配置が不要となる。また、この試料観察方法では、各パルス光の照射に応じた試料からの光応答を時間分解測定し、試料に含まれるターゲット毎の励起スペクトルに基づいて、各パルス光に対する測定データに線形分離処理を施している。これにより、観察方式の数に応じた波長分離素子及び光検出器を配置する必要が無くなる。また、線形分離処理を用いることで、得られた各ターゲットに関する観察像間のクロストークを原理的に回避できる。したがって、この試料観察方法では、簡易な光学系で試料のマルチモーダル観察を実施できる。
【0020】
出力ステップでは、単一の光源から生成されたパルス光の中心波長を時間に応じて変調することでパルス列を生成してもよい。これにより、光学系を更に簡易なものとすることができる。
【0021】
出力ステップでは、入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いてパルス列を生成してもよい。この場合、例えばファイバレーザを用いてパルス光の波長毎の時間変調を簡便に実施できる。
【0022】
処理ステップでは、試料においてパルス列に含まれる複数のパルス光に対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて各パルス光に対する測定データに線形分離処理を施してもよい。この場合、実際の試料と同等の試料から得られた励起スペクトルを予め保有することで、線形分離処理の精度を十分に確保できる。したがって、得られた測定データ間のクロストークを一層好適に回避できる。
【0023】
試料観察方法は、線形分離処理が施された測定データに基づいて、特定のターゲットに関する観察像を生成する画像生成ステップを更に有していてもよい。これにより、クロストークを抑えた状態で各ターゲットに関する観察像を得ることができる。
【0024】
画像生成ステップでは、特定のターゲットに関する観察像を重畳した重畳画像を生成してもよい。この場合、各ターゲットに関する観察結果が一つの画像にまとめられるため、観察結果を解析する際の利便性を向上できる。また、複数の観察方式を通じて観察可能となるような事象への対応も可能となる。
【0025】
測定ステップでは、マルチチャネル検出によって試料からの光応答を時間分解測定してもよい。この構成によれば、励起光に含まれるパルス光の波長の数が試料のターゲットの数より少ない場合でも、試料のマルチモーダル観察を実施できる。
【発明の効果】
【0026】
本開示によれば、簡易な光学系で試料のマルチモーダル観察を実施できる。
【図面の簡単な説明】
【0027】
【図1】試料観察装置の一実施形態を示す模式的な図である。
【図2】変調部によるパルス光の時間変調の一例を示す模式的な図である。
【図3】一般的な顕微鏡システムにおける応答光取得のタイミングチャートである。
【図4】本実施形態における応答光取得のタイミングチャートである。
【図5】励起スペクトルの一例を示す図である。
【図6】線形分離処理で用いられる連立方程式の一例を示す図である。
【図7】（ａ）は、各パルス光に対する観察像を示す図であり、（ｂ）は、その重畳画像を示す図である。
【図8】試料観察方法の一実施形態を示すフローチャートである。
【図9】試料観察装置の変形例の要部を示す模式的な図である。
【図10】励起スペクトル及び発光スペクトルの一例を示す図である。
【図11】線形分離処理で用いられる連立方程式の一例を示す図である。
【発明を実施するための形態】
【0028】
以下、図面を参照しながら、本開示の一側面に係る試料観察装置及び試料観察方法の好適な実施形態について詳細に説明する。
【0029】
図１は、試料観察装置の一実施形態を示す模式的な図である。この試料観察装置１は、試料Ｓのマルチモーダル観察を実現する装置として構成されている。試料観察装置１は、当該装置単体で顕微鏡システムを構成するものであってもよく、既存の顕微鏡に対して取り付け可能にユニット化されたものであってもよい。
【0030】
マルチモーダル観察とは、複数の異なる観察方式（modality）を組み合わせた観察手法である。マルチモーダル観察では、例えば波長７００ｎｍ～１７００ｎｍ程度の近赤外光を用い、多光子励起蛍光や高次高調波の発生といった現象を組み合わせることにより、試料Ｓの染色を行わずに観察を行うことが可能となっている。マルチモーダル観察では、蛍光を発生させるための色素の使用を排除でき、また、比較的低エネルギーである近赤外光を用いることができる。このため、特に試料Ｓが生体である場合に、高い非侵襲性の確保が可能となっている。
【0031】
多光子励起蛍光は、複数の光子によって試料Ｓ中のターゲットを高エネルギー状態に励起して蛍光を放出させる手法である。多光子励起蛍光には、２光子励起蛍光或いは３光子励起蛍光などの種類がある。これらは、例えば試料Ｓの自家蛍光の観察に適用できる。多光子励起蛍光の代表的なターゲットとしては、例えばケラチンやＦＡＤなどのタンパク質、ビタミンＡなどの脂質、ＮＡＤ（Ｐ）Ｈなどの酵素が挙げられる。
【0032】
高次高調波は、多光子励起蛍光のような実励起を伴わず、一定の条件下で複数の光子を一つの光子に変換して発光させる手法である。この手法では、入射光の作用によって入射光の波長とは異なる波長の光がターゲットから発生する。第２高調波は、例えば微小構造体の観察に適用できる。第２高調波の代表的なターゲットとしては、例えばコラーゲンなどのタンパク質、ＤＮＡなどの核酸、コレステロールなどの脂質が挙げられる。第３高調波は、例えば屈折率が互いに異なる層の界面の観察に適用できる。第３高調波の代表的なターゲットとしては、例えば血球やミトコンドリアなどののタンパク質、エナメル質などの無機質が挙げられる。
【0033】
以下、試料観察装置１の具体的な構成について説明する。試料観察装置１は、図１に示すように、光源部２と、測定部３と、制御部４とを備えて構成されている。光源部２は、レーザ光源１１と、変調部１２とを有している。レーザ光源１１は、フェムト秒領域或いはピコ秒領域の近赤外の超短パルス光を出射する光源である。レーザ光源１１は、例えばチタンサファイアレーザ、Ｙｂ：ＹＡＧレーザ、Ｙｂファイバレーザ、Ｅｒファイバレーザ、Ｔｍファイバレーザなどによって構成されている。
【0034】
変調部１２は、単一のレーザ光源１１からのパルス光Ｌの中心波長を時間に応じて変調する部分である。変調部１２は、中心波長が異なる複数のパルス光Ｌが所定の時間間隔で並ぶパルス列Ｌｃを励起光Ｌｅとして出力する。図１の例では、中心波長がλ１，λ２，λ３，λ４である４つのパルス光Ｌが所定の時間間隔をもって並ぶパルス列Ｌｃが生成されている。このパルス列Ｌｃを含む光が励起光Ｌｅとして変調部１２から出力する。
【0035】
変調部１２は、例えば入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いて上記パルス列Ｌｃを生成する態様としてもよい。この場合、変調部１２は、例えば音響光学変調器とフォトニック結晶ファイバとの組み合わせによって構成できる。この構成では、音響光学変調器で強度を高速変調したパルス列Ｌｃをフォトニック結晶ファイバに伝搬させることでソリトン自己周波数シフトを生じさせることができる。変調部１２は、パルスシェーパとフォトニック結晶ファイバとの組み合わせによって構成してもよい。この場合、パルスシェーパで強度変調したマルチパルスをフォトニック結晶ファイバに伝搬させることでソリトン自己周波数シフトを生じさせることができる。
【0036】
図２の例では、波長がλ０の４つのパルス光Ｌを音響光学変調器によって４つの異なる強度に変調することにより、４つのパルス光Ｌが時間ｔ１，ｔ２，ｔ３，ｔ４において順に並ぶパルス列Ｌｃが生成されている。変調後のパルス列Ｌｃでは、時間的に先のパルス光Ｌから順に強度が徐々に小さくなっている。これらのパルス光Ｌをフォトニック結晶ファイバ１４に伝搬させることでソリトン自己周波数シフトが生じる。フォトニック結晶ファイバ１４から出力したパルス列Ｌｃでは、中心波長がλ１，λ２，λ３，λ４である４つのパルス光Ｌが時間ｔ１，ｔ２，ｔ３，ｔ４において順に並ぶこととなる。
【0037】
測定部３は、走査部１５と、コリメータレンズ１６と、対物レンズ１７と、検出部１８と、データ集録部１９とを有している。走査部１５は、励起光Ｌｅを試料Ｓ上で２次元走査する部分である。走査部１５は、例えば一対のガルバノミラー２０Ａ，２０Ｂによって構成されている。ガルバノミラー２０Ａは、励起光Ｌｅを試料Ｓのｘ方向に走査し、ガルバノミラー２０Ｂは、励起光Ｌｅを試料Ｓのｙ方向に走査する。走査部１５を構成する素子は、ガルバノミラーに限られず、ＭＥＭＳミラーなどの他の素子であってもよい。走査部１５は、音響光学変向器やｘｙステージなどの他の手段によって構成されていてもよい。
【0038】
走査部１５を経た励起光Ｌｅは、コリメータレンズ１６によって平行光化された後、対物レンズ１７によって集光され、試料Ｓに照射される。試料Ｓからは、励起光Ｌｅのパルス列に含まれる各パルス光Ｌの照射に応じた光（以下、「応答光Ｌｒ」と称す）が発生する。図１の例では、４つのパルス光Ｌの照射に応じて、４つの応答光Ｉ１，Ｉ２，Ｉ３，Ｉ４が発生する。なお、試料Ｓと検出部１８との間の光路上には、励起光Ｌｅをカットし、且つ応答光Ｌｒを通過させるフィルタ（不図示）が配置されていることが好ましい。
【0039】
検出部１８は、パルス列に含まれる各パルス光Ｌの照射に応じた試料Ｓからの応答光を時間分解測定する部分である。検出部１８は、例えば光電子増倍管によって構成されている。検出部１８は、光電子増倍管、ＭＰＰＣ(Multi pixel photon counter)、フォトダイオード、アバランシェフォトダイオードなどの時間分解測定が可能な装置によって構成されている。ここでは、検出部１８は、シングルチャネルの光電子増倍管によって構成されている。検出部１８は、応答光Ｌｒに応じた信号をデータ集録部１９に出力する。
【0040】
データ集録部１９は、励起光Ｌｅに含まれる各パルス光Ｌに対する測定データを取得する部分である。データ集録部１９は、例えばオシロスコープ、ＰＣＩボードなどによって構成されている。データ集録部１９は、検出部１８から出力された信号をデジタル化して測定データを生成し、制御部４に出力する。
【0041】
図３は、一般的な顕微鏡システムにおける応答光取得のタイミングチャートである。同図に示すように、一般的な顕微鏡システムでは、励起光であるパルス光が所定の繰り返し周波数で試料に入射する。試料に対する励起光のｘ方向及びｙ方向の走査は、パルス光の繰り返し周波数に対して十分に遅い周波数で実施される。応答光の測定データは、ｘｙ平面上の各座標において集録され、観察像として再構成される。
【0042】
これに対し、図４は、本実施形態に係る試料観察装置における応答光取得のタイミングチャートである。同図に示すように、試料観察装置１では、中心波長がλ１，λ２，λ３，λ４である４つのパルス光Ｌが時間ｔ１，ｔ２，ｔ３，ｔ４において順に並んだ励起光Ｌｅが試料Ｓに入射する。試料Ｓに対する励起光Ｌｅのｘ方向及びｙ方向の走査は、図３の場合と同様である。一方、応答光の測定データは、ｘｙ平面上の各座標において、時間ｔ１，ｔ２，ｔ３，ｔ４の異なるタイミングで時間分解されて集録され、観察像として再構成される。
【0043】
制御部４は、物理的には、ＲＡＭ、ＲＯＭなどのメモリ、ＣＰＵなどのプロセッサ（演算回路）、通信インターフェイス、ハードディスクなどの格納部、ディスプレイなどの表示部を備えて構成されたコンピュータシステムである。コンピュータシステムとしては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末など）などが挙げられる。制御部４は、ＰＬＣ（programmable logic controller）によって構成されていてもよく、ＦＰＧＡ（Field-programmable gate array）等の集積回路によって構成されていてもよい。
【0044】
制御部４は、機能的な構成要素として、駆動制御部２１と、処理部２２と、格納部２３と、画像生成部２４とを有している。駆動制御部２１は、試料観察装置１の動作を制御する部分である。駆動制御部２１は、不図示の操作部によるユーザの操作の入力に応じて、レーザ光源１１、変調部１２、及び走査部１５の各動作を制御する。
【0045】
処理部２２は、試料Ｓに含まれるターゲット毎の励起スペクトルに基づいて、各パルス光Ｌに対する測定データに線形分離処理を施す部分である。図５は、励起スペクトルの一例を示す図である。図５に示すように、励起スペクトルとは、励起光の波長を変化させながら各ターゲットからの応答光の強度を測定した際に得られるスペクトルである。一方、各ターゲットからの応答光を分光器で測定した際に得られるスペクトルは、発光スペクトル（図１０参照）と称される。
【0046】
図５の例では、ｇＲ，ｇＧ，ｇＢの３つの励起スペクトルが図示されている。本実施形態では、これらの励起スペクトルｇＲ，ｇＧ，ｇＢに関するデータは、格納部２３に予め保有されている。励起スペクトルｇＲ，ｇＧ，ｇＢは、試料Ｓにおいて励起光Ｌｅのパルス列に含まれる複数のパルス光Ｌに対して特定のターゲットのみが発光する領域（seed region）を対象として、事前の測定によって得られたものである。この他、励起スペクトルの取得方法は、In Vitroサンプルを用いて事前に励起光Ｌｅに対する応答光Ｌｒの波長依存性を測定するものであってもよく、ターゲット毎の既存のデータを参照するものであってもよい。
【0047】
励起スペクトルｇＲ，ｇＧ，ｇＢに基づく測定データの線形分離処理は、図６に示す連立方程式（１）～（４）を用いて行われる。この線形分離処理で用いる情報は、励起スペクトルｇＲ，ｇＧ，ｇＢと励起光Ｌｅに含まれるパルス光Ｌの波長λ１，λ２，λ３，λ４である。式中の｜Ｅｘ（λ）｜２は、励起光Ｌｅに含まれる各パルス光Ｌの強度である。パルス光Ｌの波長の数は、連立方程式の数に一致している。この連立方程式（１）～（４）の解を求めることで、試料観察装置１にダイクロイックミラー等の波長分離素子及び光検出器を配置することなく、時間分離した４つの応答光Ｉ１，Ｉ２，Ｉ３，Ｉ４から各ターゲット由来の応答光ＩＲ，ＩＧ，ＩＢをそれぞれ算出できる。処理部２２は、線形分離処理が施された測定データを画像生成部２４に出力する。
【0048】
画像生成部２４は、線形分離処理の結果得られた各ターゲット由来の応答光から各ターゲットに関する観察像を生成する部分である。画像生成部２４は、図７（ａ）に示すように、ｘｙ平面の各座標に対する線形分離処理の結果得られた各ターゲット由来の応答光ＩＲ，ＩＧ，ＩＢの値を二次元平面上に配列することで、各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢを生成する。また、本実施形態では、画像生成部２４は、図７（ｂ）に示すように、各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢを重畳した重畳画像Ｇｓを生成する。画像生成部２４は、生成した観察像ＧＲ，ＧＧ，ＧＢ及び重畳画像Ｇｓの全部又は一部を表示部２５に出力する。表示部２５では、複数の観察方式の全部又は一部による試料Ｓの観察結果が表示される。
【0049】
図８は、試料観察方法の一実施形態を示すフローチャートである。同図に示すように、試料観察方法は、出力ステップ（ステップＳ０１）と、測定ステップ（ステップＳ０２）と、処理ステップ（ステップＳ０３）と、画像生成ステップ（ステップＳ０４）とを備えて構成されている。
【0050】
出力ステップＳ０１では、単一の光源からのパルス光Ｌの中心波長を時間に応じて変調し、中心波長が異なる複数のパルス光Ｌが所定の時間間隔で並ぶパルス列Ｌｃを励起光Ｌｅとして出力する。ここでは、レーザ光源１１から所定の繰り返し周波数で出力した超短パルス光をソリトン自己周波数シフトを用いて変調する（図２参照）。ソリトン自己周波数シフトでは、入力強度に応じて出力波長が変わるパルス列が生成される。これにより、中心波長がλ１，λ２，λ３，λ４である４つのパルス光Ｌが時間ｔ１，ｔ２，ｔ３，ｔ４において順に並んだパルス列Ｌｃが励起光Ｌｅとして出力される。
【0051】
測定ステップＳ０２では、励起光Ｌｅを試料Ｓに対して走査しながら、パルス列に含まれる各パルス光Ｌの照射に応じた試料Ｓからの応答光Ｉ１，Ｉ２，Ｉ３，Ｉ４を時間分解測定し、各パルス光Ｌに対する測定データを取得する。続く処理ステップＳ０３では、試料Ｓに含まれるターゲット毎の励起スペクトルに基づいて、各パルス光Ｌに対する測定データに線形分離処理を施す。処理ステップＳ０３では、例えば試料Ｓにおいてパルス列に含まれる複数のパルス光Ｌに対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて各パルス光Ｌに対する測定データに線形分離処理を施す。これにより、応答光Ｉ１，Ｉ２，Ｉ３，Ｉ４の測定データから各ターゲット由来の応答光ＩＲ，ＩＧ，ＩＢを互いに分離する。
【0052】
画像生成ステップＳ０４では、ｘｙ平面の各座標に対する線形分離処理の結果得られた各ターゲット由来の応答光ＩＲ，ＩＧ，ＩＢの値を二次元平面上に配列し、各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢを生成する。また、画像生成ステップＳ０４では、各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢを重畳した重畳画像Ｇｓを生成する。その後、生成した各観察像ＧＲ，ＧＧ，ＧＢ及び重畳画像Ｇｓの全部又は一部を表示部２５に出力し、試料Ｓの各ターゲットの観察を実施する。
【0053】
以上説明したように、試料観察装置１では、中心波長が異なる複数のパルス光Ｌが所定の時間間隔で並ぶパルス列Ｌｃを形成している。複数のパルス光Ｌの中心波長のそれぞれを各観察方式に適用することで、観察方式の数に応じた複数の光源の配置が不要となる。また、試料観察装置１では、各パルス光Ｌの照射に応じた試料Ｓからの光を時間分解測定し、試料Ｓに含まれるターゲット毎の励起スペクトルに基づいて、各パルス光Ｌに対する測定データに線形分離処理を施している。これにより、観察方式の数に応じた波長分離素子及び光検出器を配置する必要が無くなる。また、線形分離処理を用いることで、得られた各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢ間のクロストークを回避できる。したがって、試料観察装置１では、簡易な光学系で試料Ｓのマルチモーダル観察を実施できる。
【0054】
この試料観察装置１では、励起光Ｌｅにおけるパルス光Ｌの繰り返し周波数を８０ＭＨｚとし、試料Ｓからの応答光Ｌｒの寿命を３ｎｓ程度と考えた場合、中心波長がλ１，λ２，λ３，λ４であるパルス光Ｌを用いて４種の観察方式による試料Ｓの観察が可能となる。また、試料観察装置１では、各ターゲットからの応答光ＩＲ，ＩＧ，ＩＢを線形分離処理によって行うため、観察対象に制限が生じることがない。このことは、ターゲットの発光スペクトルを染色によって制御できないラベルフリーの顕微鏡システムにおいては、本質的なメリットとなる。
【0055】
線形分離処理は、比較的簡単な処理であり、測定データの取得に応じてほぼリアルタイムに観察像ＧＲ，ＧＧ，ＧＢ及び重畳画像Ｇｓを得ることができる。マルチモーダル観察では、リアルタイム計測が重要である。観察方式毎に励起波長の切り替えを行う態様では、例えば医療分野において、腫瘍に隣接する血管枝での白血球の血管外漏出といった事象を観察することが難しい。こうした事象は、複数の観察方式で試料のリアルタイム観察を行うことで初めて捉えることができるものであり、試料観察装置１の高い有用性を示している。
【0056】
本実施形態では、光源部２は、単一のレーザ光源１１から生成されたパルス光Ｌの中心波長を時間に応じて変調することでパルス列Ｌｃを生成している。これにより、光学系を更に簡易なものとすることができる。また、本実施形態では、入力強度に応じて出力波長が変わるソリトン自己周波数シフトを用いてパルス列Ｌｃを生成している。このような手法により、例えばファイバレーザを用いてパルス光Ｌの波長毎の時間変調を簡便に実施できる。したがって、装置の簡略化が図られる。
【0057】
本実施形態では、試料Ｓにおいてパルス列Ｌｃに含まれる複数のパルス光Ｌに対して特定のターゲットのみが発光する領域の励起スペクトルを予め保有し、当該励起スペクトルに基づいて各パルス光Ｌに対する測定データに線形分離処理を施している。実際の試料Ｓと同等の試料Ｓから得られた励起スペクトルを予め保有することで、線形分離処理の精度を十分に確保できる。したがって、得られた測定データ間のクロストークを一層好適に回避できる。
【0058】
本実施形態では、線形分離処理が施された測定データに基づいて、各ターゲットに関する観察像ＧＲ，ＧＧ，ＧＢを生成している。これにより、クロストークを抑えた状態で各観察方式に対応した観察像ＧＲ，ＧＧ，ＧＢを得ることができる。また、本実施形態では、観察像ＧＲ，ＧＧ，ＧＢを重畳した重畳画像Ｇｓを生成している。これにより、各観察方式による観察結果が一つの画像にまとめられるため、観察結果を解析する際の利便性を向上できる。また、複数の観察方式を通じて観察可能となるような事象への対応も可能となる。
【0059】
本開示は、上記実施形態に限られるものではない。例えば上記実施形態では、シングルチャネルの検出器によって検出部１８を構成しているが、これに代えて、マルチチャネルの検出器によって検出部１８を構成してもよい。かかる検出器としては、マルチチャネルの光電子増倍管などが挙げられる。この構成によれば、励起光Ｌｅに含まれるパルス光Ｌの波長の数が試料Ｓのターゲットの数より少ない場合でも、線形分離処理で用いる連立方程式の解を求めることが可能となる。
【0060】
この構成を採用する場合、例えば図９に示すように、中心波長がλＥＸ１，λＥＸ２である２つのパルス光Ｌが順に並ぶパルス列Ｌｃを励起光Ｌｅとして生成する。これら２つのパルス光Ｌの照射に応じて、２つの応答光Ｉ１，Ｉ２が発生する。また、試料Ｓと検出部１８との間の応答光Ｌｒの光路に回折格子３１とレンズ３２とを配置し、測定部３に分光機能を付与する。回折格子３１の追加により、試料Ｓからの応答光Ｌｒの波長に応じて伝搬方向を変えることができる。したがって、検出部１８がマルチチャネルの光電子増倍管である場合、チャネルごとに異なる波長成分を同時に検出できる。
【0061】
この構成で取得した応答光Ｌｒの測定データの線形分離処理には、図１０に示すように、励起スペクトルに加えて発光スペクトルを用いる。図１０の例では、ｈＲ，ｈＧ，ｈＢの３つの発光スペクトルが、ｇＲ，ｇＧ，ｇＢの３つの励起スペクトルと共に図示されている。ＣＨ１及びＣＨ２は、光電子増倍管の２つのチャネルである。応答光Ｌｒの短波長成分は、ＣＨ１で検出され、応答光Ｌｒの長波長成分は、ＣＨ２で検出される。ＣＨ１による計測波長範囲は、［λＥＭ１，λＥＭ２］で表し、ＣＨ２による計測波長範囲は、［λＥＭ２，λＥＭ３］で表す。λＥＭ１，λＥＭ２，λＥＭ３の値は、回折格子３１の格子間隔、レンズ３２の焦点距離、回折格子３１から検出部１８までの光路長などによって調整できる。
【0062】
励起スペクトルｇＲ，ｇＧ，ｇＢ及び発光スペクトルｈＲ，ｈＧ，ｈＢに基づく測定データの線形分離処理は、図１１に示す連立方程式（１）～（４）を用いて行われる。この線形分離処理で用いる情報は、励起スペクトルｇＲ，ｇＧ，ｇＢ、発光スペクトルｈＲ，ｈＧ，ｈＢ、及び励起光Ｌｅに含まれるパルス光Ｌの波長λＥＸ１，λＥＸ２である。これらのパラメータは、ＣＨ１及びＣＨ２のそれぞれについて定義されている。ｈ（［λＥＭ１，λＥＭ２］）は、区間［λＥＭ１，λＥＭ２］における発光スペクトルの積算値であり、ｈ（［λＥＭ２，λＥＭ３］）は、区間［λＥＭ２，λＥＭ３］における発光スペクトルの積算値である。積算値は、各ターゲットに対応してそれぞれ定義されている。式中の｜Ｅ（λＥＸ１）｜２及び｜Ｅ（λＥＸ２）｜２は、励起光Ｌｅに含まれる各パルス光Ｌの強度である。
【0063】
この態様では、パルス光Ｌの波長の数は２つであるが、検出部１８のチャネル数が２であるため、パルス光Ｌの波長の数と検出部１８のチャネル数との積が連立方程式の数に一致する。したがって、図１１に示す連立方程式（１）～（４）の解を求めることができ、４つの応答光Ｉ１，ＣＨ１，Ｉ１，ＣＨ２，Ｉ２，ＣＨ１，Ｉ２，ＣＨ２から各ターゲット由来の応答光ＩＲ，ＩＧ，ＩＢをそれぞれ算出できる。
【0064】
また、例えば上記実施形態では、単一のレーザ光源１１からのパルス光Ｌの中心波長を時間に応じて変調することにより、中心波長が異なる複数のパルス光Ｌが所定の時間間隔で並ぶパルス列Ｌｃを励起光Ｌｅとして出力する光源部２を例示しているが、光源部２は、複数のレーザ光源を用いて同様の励起光Ｌｅを出力する態様であってもよい。この場合、光源部２は、例えば互いに波長の異なる複数のレーザ光源とダイクロイックミラー等の波長分離素子を組み合わせることにより、所定の時間間隔で各レーザ光源からパルス光を発生させる構成を有していてもよい。
【符号の説明】
【0065】
１…試料観察装置、２…光源部、３…測定部、１１…レーザ光源（単一の光源）、１８…検出部、２２…処理部、２４…画像生成部、Ｌ…パルス光、Ｌｃ…パルス列、Ｌｅ…励起光、Ｌｒ…応答光（試料からの光）、ＧＲ，ＧＧ，ＧＢ…観察像、Ｇｓ…重畳画像、Ｓ…試料。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】