(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-11
(45)【発行日】2024-09-20
(54)【発明の名称】観察装置および観察方法
(51)【国際特許分類】
G02B 21/36 20060101AFI20240912BHJP
G01N 21/17 20060101ALI20240912BHJP
G01N 21/45 20060101ALI20240912BHJP
G02B 21/06 20060101ALI20240912BHJP
【FI】
G02B21/36
G01N21/17 610
G01N21/45 A
G02B21/06
(21)【出願番号】P 2023023358
(22)【出願日】2023-02-17
【審査請求日】2024-06-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】000236436
【氏名又は名称】浜松ホトニクス株式会社
(74)【代理人】
【識別番号】100088155
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100113435
【氏名又は名称】黒木 義樹
(74)【代理人】
【識別番号】100140442
【氏名又は名称】柴山 健一
(74)【代理人】
【識別番号】100110582
【氏名又は名称】柴田 昌聰
(72)【発明者】
【氏名】安彦 修
(72)【発明者】
【氏名】竹内 康造
【審査官】瀬戸 息吹
(56)【参考文献】
【文献】国際公開第2022/054305(WO,A1)
【文献】特開2019-144121(JP,A)
【文献】国際公開第2021/261150(WO,A1)
【文献】特開2019-124679(JP,A)
【文献】特開2015-152660(JP,A)
【文献】国際公開第2020/013325(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00 ー 21/36
G01N 21/00 ー 21/01
G01N 21/17 ー 21/61
(57)【特許請求の範囲】
【請求項1】
複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する干渉強度画像取得部と、
複数の光照射方向それぞれについて、前記干渉強度画像に基づいて、平面波の光が第1端面および第2端面のうちの何れか一方に入射して他方まで到達したときの光の第1複素振幅画像を生成する第1複素振幅画像生成部と、
複数の光照射方向それぞれの前記第1複素振幅画像に基づいて、前記第1端面から前記第1端面と前記第2端面との間の第1中間面までの区間の第1屈折率分布画像を生成する屈折率分布画像生成部と、
前記第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1端面に入射して前記第1中間面まで到達したときの光の第2複素振幅画像を生成する第2複素振幅画像生成部と、
複数の光照射方向それぞれの前記第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、複数の光照射方向それぞれの前記第2複素振幅画像に基づいてトランスミッション行列T
1を生成するトランスミッション行列生成部と、
前記トランスミッション行列Tと前記トランスミッション行列T
1の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1中間面に入射して前記第2端面に到達したときの光の第3複素振幅画像を生成する第3複素振幅画像生成部と、
を備える観察装置。
【請求項2】
前記干渉強度画像取得部は、複数の光照射方向それぞれに沿って前記観察対象物に照射されて前記観察対象物を経た光と参照光との干渉による干渉強度画像を撮像した撮像部から、前記複数の光照射方向それぞれの前記干渉強度画像を取得する、
請求項1記載の観察装置。
【請求項3】
前記干渉強度画像取得部は、複数の光照射方向それぞれに沿って前記観察対象物に照射されて前記観察対象物を経た光と、一定の照射方向に沿って前記観察対象物に照射されて前記観察対象物を経た光と、の干渉による干渉強度画像を取得する、
請求項1に記載の観察装置。
【請求項4】
前記屈折率分布画像生成部は、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第2端面での区間の屈折率分布画像を生成する、
請求項1~3いずれか一項に記載の観察装置。
【請求項5】
前記屈折率分布画像生成部は、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第1中間面と前記第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成し、
前記第2複素振幅画像生成部は、前記第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1中間面に入射して前記第2中間面まで到達したときの光の第4複素振幅画像を生成し、
前記トランスミッション行列生成部は、複数の光照射方向それぞれの前記第3複素振幅画像に基づいてトランスミッション行列T
32を生成するとともに、複数の光照射方向それぞれの前記第4複素振幅画像に基づいてトランスミッション行列T
2を生成し、
前記第3複素振幅画像生成部は、前記トランスミッション行列T
32と前記トランスミッション行列T
2の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第2中間面に入射して前記第2端面に到達したときの光の第5複素振幅画像を生成する、
請求項1~3いずれか一項に記載の観察装置。
【請求項6】
前記屈折率分布画像生成部は、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第1中間面と前記第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成し、
前記第2複素振幅画像生成部は、前記第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、前記第2複素振幅画像で表される光が前記第1中間面に入射して前記第2中間面まで到達したときの光の第6複素振幅画像を生成し、
前記トランスミッション行列生成部は、複数の光照射方向それぞれの前記第6複素振幅画像に基づいてトランスミッション行列T
21を生成し、
前記第3複素振幅画像生成部は、前記トランスミッション行列Tと前記トランスミッション行列T
21の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第2中間面に入射して前記第2端面に到達したときの光の第7複素振幅画像を生成する、
請求項1~3いずれか一項に記載の観察装置。
【請求項7】
前記干渉強度画像取得部は、第1期間および第2期間それぞれにおいて複数の光照射方向それぞれの前記干渉強度画像を取得し、
前記第1複素振幅画像生成部は、前記第1期間および前記第2期間それぞれについて、複数の光照射方向それぞれの前記干渉強度画像に基づいて、複数の光照射方向それぞれの前記第1複素振幅画像を生成し、
前記屈折率分布画像生成部は、前記第1期間の複数の光照射方向それぞれの前記第1複素振幅画像に基づいて、前記第1屈折率分布画像を生成し、
前記第2複素振幅画像生成部は、前記第1屈折率分布画像に基づいて、複数の光照射方向それぞれの前記第2複素振幅画像を生成し、
前記トランスミッション行列生成部は、前記第2期間の複数の光照射方向それぞれの前記第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、前記第1期間の複数の光照射方向それぞれの前記第2複素振幅画像に基づいてトランスミッション行列T
1を生成し、
前記第3複素振幅画像生成部は、前記第2期間のトランスミッション行列Tと前記第1期間のトランスミッション行列T
1の逆行列との積に基づいて、複数の光照射方向それぞれの前記第3複素振幅画像を生成する、
請求項1~3いずれか一項に記載の観察装置。
【請求項8】
前記干渉強度画像取得部は、波数空間において光照射方向を表す波数ベクトルの位置が離散的かつ周期的に分布する前記複数の光照射方向それぞれに沿って光が観察対象物に照射されたときに前記干渉強度画像を撮像した撮像部から、前記複数の光照射方向それぞれの前記干渉強度画像を取得し、
前記第3複素振幅画像生成部は、前記複数の光照射方向それぞれの波数ベクトルの前記波数空間における位置の周期的分布に基づいて区分される複数の領域それぞれにおいて前記トランスミッション行列Tと前記トランスミッション行列T
1の逆行列との積を求め、これら複数の領域それぞれの前記積に基づいて複数の光照射方向それぞれの前記第3複素振幅画像を生成する、
請求項2に記載の観察装置。
【請求項9】
複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する干渉強度画像取得ステップと、
複数の光照射方向それぞれについて、前記干渉強度画像に基づいて、平面波の光が第1端面および第2端面のうちの何れか一方に入射して他方まで到達したときの光の第1複素振幅画像を生成する第1複素振幅画像生成ステップと、
複数の光照射方向それぞれの前記第1複素振幅画像に基づいて、前記第1端面から前記第1端面と前記第2端面との間の第1中間面までの区間の第1屈折率分布画像を生成する屈折率分布画像生成ステップと、
前記第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1端面に入射して前記第1中間面まで到達したときの光の第2複素振幅画像を生成する第2複素振幅画像生成ステップと、
複数の光照射方向それぞれの前記第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、複数の光照射方向それぞれの前記第2複素振幅画像に基づいてトランスミッション行列T
1を生成するトランスミッション行列生成ステップと、
前記トランスミッション行列Tと前記トランスミッション行列T
1の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1中間面に入射して前記第2端面に到達したときの光の第3複素振幅画像を生成する第3複素振幅画像生成ステップと、
を備える観察方法。
【請求項10】
前記干渉強度画像取得ステップにおいて、複数の光照射方向それぞれに沿って観察対象物に照射されて前記観察対象物を経た光と参照光との干渉による干渉強度画像を撮像した撮像部から、前記複数の光照射方向それぞれの前記干渉強度画像を取得する、
請求項9記載の観察方法。
【請求項11】
前記干渉強度画像取得ステップにおいて、複数の光照射方向それぞれに沿って前記観察対象物に照射されて前記観察対象物を経た光と、一定の照射方向に沿って前記観察対象物に照射されて前記観察対象物を経た光と、の干渉による干渉強度画像を取得する、
請求項9に記載の観察方法。
【請求項12】
前記屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第2端面での区間の屈折率分布画像を生成する、
請求項9に記載の観察方法。
【請求項13】
前記屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第1中間面と前記第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成し、
前記第2複素振幅画像生成ステップにおいて、前記第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第1中間面に入射して前記第2中間面まで到達したときの光の第4複素振幅画像を生成し、
前記トランスミッション行列生成ステップにおいて、複数の光照射方向それぞれの前記第3複素振幅画像に基づいてトランスミッション行列T
32を生成するとともに、複数の光照射方向それぞれの前記第4複素振幅画像に基づいてトランスミッション行列T
2を生成し、
前記第3複素振幅画像生成ステップにおいて、前記トランスミッション行列T
32と前記トランスミッション行列T
2の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第2中間面に入射して前記第2端面に到達したときの光の第5複素振幅画像を生成する、
請求項9に記載の観察方法。
【請求項14】
前記屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの前記第3複素振幅画像に基づいて、前記第1中間面から前記第1中間面と前記第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成し、
前記第2複素振幅画像生成ステップにおいて、前記第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、前記第2複素振幅画像で表される光が前記第1中間面に入射して前記第2中間面まで到達したときの光の第6複素振幅画像を生成し、
前記トランスミッション行列生成ステップにおいて、複数の光照射方向それぞれの前記第6複素振幅画像に基づいてトランスミッション行列T
21を生成し、
前記第3複素振幅画像生成ステップにおいて、前記トランスミッション行列Tと前記トランスミッション行列T
21の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が前記第2中間面に入射して前記第2端面に到達したときの光の第7複素振幅画像を生成する、
請求項9に記載の観察方法。
【請求項15】
前記干渉強度画像取得ステップにおいて、第1期間および第2期間それぞれにおいて複数の光照射方向それぞれの前記干渉強度画像を取得し、
前記第1複素振幅画像生成ステップにおいて、前記第1期間および前記第2期間それぞれについて、複数の光照射方向それぞれの前記干渉強度画像に基づいて、複数の光照射方向それぞれの前記第1複素振幅画像を生成し、
前記屈折率分布画像生成ステップにおいて、前記第1期間の複数の光照射方向それぞれの前記第1複素振幅画像に基づいて、前記第1屈折率分布画像を生成し、
前記第2複素振幅画像生成ステップにおいて、前記第1屈折率分布画像に基づいて、複数の光照射方向それぞれの前記第2複素振幅画像を生成し、
前記トランスミッション行列生成ステップにおいて、前記第2期間の複数の光照射方向それぞれの前記第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、前記第1期間の複数の光照射方向それぞれの前記第2複素振幅画像に基づいてトランスミッション行列T
1を生成し、
前記第3複素振幅画像生成ステップにおいて、前記第2期間のトランスミッション行列Tと前記第1期間のトランスミッション行列T
1の逆行列との積に基づいて、複数の光照射方向それぞれの前記第3複素振幅画像を生成する、
請求項9に記載の観察方法。
【請求項16】
前記干渉強度画像取得ステップにおいて、波数空間において光照射方向を表す波数ベクトルの位置が離散的かつ周期的に分布する前記複数の光照射方向それぞれに沿って光が観察対象物に照射されたときに前記干渉強度画像を撮像した撮像部から、前記複数の光照射方向それぞれの前記干渉強度画像を取得し、
前記第3複素振幅画像生成ステップにおいて、前記複数の光照射方向それぞれの波数ベクトルの前記波数空間における位置の周期的分布に基づいて区分される複数の領域それぞれにおいて前記トランスミッション行列Tと前記トランスミッション行列T
1の逆行列との積を求め、これら複数の領域それぞれの前記積に基づいて複数の光照射方向それぞれの前記第3複素振幅画像を生成する、
請求項10に記載の観察方法。
【請求項17】
請求項9~16の何れか1項に記載の観察方法の各ステップをコンピュータに実行させるためのプログラム。
【請求項18】
請求項17に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察装置および観察方法に関するものである。
【背景技術】
【0002】
近年、スフェロイドやオルガノイドと呼ばれる3次元の細胞組織を作製する技術が進歩している。また、これらの3次元細胞組織を創薬や再生医療などに応用する研究が進んでいる。これらの3次元細胞組織は光学的に透明な多重散乱体である。このような光学的に透明な散乱体をイメージングする技術として、これまでに多種多様な手法が提案されている。そのうち蛍光プローブを用いるイメージング技術としては、共焦点顕微鏡、多光子顕微鏡、ライトシート顕微鏡が挙げられる。一方、蛍光プローブを用いない非染色・非侵襲のイメージング技術としては、光コヒーレンス・トモグラフィ(Optical Coherence Tomography、OCT)などが知られている。
【0003】
スフェロイドやオルガノイドなどのような観察対象物については非染色・非侵襲のイメージングが望まれる場合が多いものの、これらの観察対象物のイメージングにOCTが適用されたという報告例は多くない。その理由としては、OCTによるイメージングの分解能が低いこと、および、OCTによるイメージングにより得られた信号の解釈が難しいこと、が考えられる。したがって、現時点では、ゴールドスタンダードとなりうる非染色の3次元細胞組織のイメージング技術は確立されていないと言ってよい。
【0004】
観察対象物の光路長を非染色・非侵襲でイメージングすることができる技術として、定量位相イメージング(Quantitative Phase Imaging、QPI)も知られている。QPIは、観察対象物(例えば細胞)の光路長という物理的な情報を取得することができることから、生物分野で応用が進んでいる。QPIにより取得した画像を用いて、微分干渉画像や位相差顕微鏡画像などの他の種類の画像を生成することができる。QPIは、情報量が比較的多い画像を取得することができる技術であり、従来の明視野画像を用いた解析よりハイコンテントな解析にも適用することができると期待されている。また、近年の機械学習による画像認識精度の向上により非染色のイメージング技術を使ったハイコンテントな解析が盛んに研究されており、今後、多重散乱体の非染色イメージングは重要な役割を担うことが期待される。しかし、QPIは、取得される画像があくまで光路長の2次元への投影であるので、真の3次元の構造を把握できない。
【0005】
また、観察対象物の光路長を非染色・非侵襲でイメージングすることができる技術として、特許文献1に記載されている光回折トモグラフィ(Optical Diffraction Tomography、ODT)も知られている。ODTは、QPIを3次元イメージング可能な技術に発展させたものであり、観察対象物の3次元屈折率トモグラフィを実現することができる。ODTを用いて細胞観察を行うことにより、細胞核やミトコンドリアなどの細胞小器官の同定が可能になり、また、3次元的な形態変化の追跡が可能になって、QPIより更にハイコンテントな解析ができることが期待されている。
【先行技術文献】
【特許文献】
【0006】
【非特許文献】
【0007】
【文献】Pritam Pai, et al, "Opticaltransmission matrix measurement sampled on a dense hexagonal lattice," OSAContinuum, Vol.3, No.3, pp.637-648 (2020).
【文献】Duygu Akbulut, et al,"Optical transmission matrix as a probe of the photonic strength,"PHYSICAL REVIEW A 94, 043817 (2016).
【文献】Elbert G. van Putten, at al."The information age in optics: Measuring the transmission matrix", [online],[令和4年12月21日検索],インターネット<URL:https://physics.aps.org/articles/v3/22?referer=apshome>
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、従来のODTは、数個からなる細胞の観察に適用され得るものの、上記のような3次元細胞組織などの多重散乱体の観察には適用が困難である。何故なら、従来のODTでは、観察対象物で生じる多重散乱光が多い場合に、取得される画像に多重散乱光の影響が大きく現れるからである。
【0009】
光の散乱とは、光が対象物と相互作用することによって光の進行方向が変えられる現象をいう。特に対象物の屈折率の空間的な不均一さが増大すると、光は対象物を通過する間に対象物と多数回相互作用するようになる。このように対象物と多数回相互作用した光は多重散乱光と呼ばれる。これに対して、対象物と一回のみ相互作用した光は単一散乱光と呼ばれる。多重散乱光は、スペックルの増大および単一散乱-多重散乱比(Single-scattering to Multi-scatteringRatio、SMR)の悪化の原因となり、測定の障壁となることが知られている。
【0010】
スペックルは、光が時間的かつ空間的にコヒーレントである場合に、多重散乱光の干渉によって空間的に強度または位相の大きな変化が引き起こされることにより生じる。スペックル発生を抑制するには、時間的または空間的にインコヒーレントである光を出力する光源を用いればよい。例えば、位相差顕微鏡などの通常の明視野顕微鏡は、ハロゲンランプや発光ダイオードなどの空間的かつ時間的にインコヒーレントな光源を用いることで、スペックルのない画像を取得している。
【0011】
SMRの悪化は、単一散乱光よりも多重散乱光が支配的になって、単一散乱光が多重散乱光の中に埋もれてしまうことにより生じる。観察対象物が大きくなって観察深度が深いほど、単一散乱光の成分は指数関数的に減少する一方で、これと対照的に多重散乱光の成分が増大する。単一散乱光は、その散乱方向が対象物の構造と直接的な対応関係を持っていることから、対象物の構造の測定に用いやすい。一方で、多重散乱光は、対象物の構造との関係が複雑であり、対象物の構造の情報を抽出することが難しい。それ故、単一散乱光を利用したイメージング技術では、多重散乱光の中に単一散乱光が埋もれると(すなわち、SMRが悪化すると)測定が失敗することが知られている。
【0012】
SMR悪化の抑制は、単一散乱光および多重散乱光のうち単一散乱光を選択的に検出するゲーティングと呼ばれる技術により可能である。ゲーティングにより多重散乱光が抑制されるので、SMR悪化の抑制と同時にスペックルの抑制も可能である。ゲーティングは、空間、時間および偏光などの自由度を用いて実現される。共焦点顕微鏡は、空間的ゲーティングの一例である。OCTは、時間的および空間的なゲーティングの一例である。
【0013】
従来のODTは、多重散乱光の影響を除去していないことから、観察対象物で生じる多重散乱光が多い場合に、取得される画像においてスペックルが増大し、また、SMRが悪化する。それ故、従来のODTは、多重散乱光の発生が少ない数個からなる細胞の観察に適用され得るものの、多重散乱光の発生が多い3次元細胞組織などの多重散乱体の観察には適用が困難である。
【0014】
本発明は、上記問題点を解消する為になされたものであり、観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる観察装置および観察方法を提供することを目的とする。
【課題を解決するための手段】
【0015】
本発明の観察装置の第1態様は、(1) 複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する干渉強度画像取得部と、(2) 複数の光照射方向それぞれについて、干渉強度画像に基づいて、平面波の光が第1端面および第2端面のうちの何れか一方に入射して他方まで到達したときの光の第1複素振幅画像を生成する第1複素振幅画像生成部と、(3) 複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1端面から第1端面と第2端面との間の第1中間面までの区間の第1屈折率分布画像を生成する屈折率分布画像生成部と、(4) 第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1端面に入射して第1中間面まで到達したときの光の第2複素振幅画像を生成する第2複素振幅画像生成部と、(5) 複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成するトランスミッション行列生成部と、(6) トランスミッション行列Tとトランスミッション行列T1の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2端面に到達したときの光の第3複素振幅画像を生成する第3複素振幅画像生成部と、を備える。
【0016】
本発明の観察装置は次のような態様としてもよい。
第2態様では、第1態様に加えて、干渉強度画像取得部は、複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する。
【0017】
第3態様では、第1態様に加えて、干渉強度画像取得部は、複数の光照射方向それぞれに沿って観察対象物に照射されて観察対象物を経た光と、一定の照射方向に沿って観察対象物に照射されて観察対象物を経た光と、の干渉による干渉強度画像を取得する。
【0018】
第4態様では、第1~第3の態様の何れかに加えて、屈折率分布画像生成部は、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2端面での区間の屈折率分布画像を生成する。
【0019】
第5態様では、第1~第4の態様の何れかに加えて、次のような構成とする。屈折率分布画像生成部は、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第1中間面と第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成する。第2複素振幅画像生成部は、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2中間面まで到達したときの光の第4複素振幅画像を生成する。トランスミッション行列生成部は、複数の光照射方向それぞれの第3複素振幅画像に基づいてトランスミッション行列T32を生成するとともに、複数の光照射方向それぞれの第4複素振幅画像に基づいてトランスミッション行列T2を生成する。第3複素振幅画像生成部は、トランスミッション行列T32とトランスミッション行列T2の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第5複素振幅画像を生成する。
【0020】
第6態様では、第1~第4の態様の何れかに加えて、次のような構成とする。屈折率分布画像生成部は、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第1中間面と第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成する。第2複素振幅画像生成部は、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、第2複素振幅画像で表される光が第1中間面に入射して第2中間面まで到達したときの光の第6複素振幅画像を生成する。トランスミッション行列生成部は、複数の光照射方向それぞれの第6複素振幅画像に基づいてトランスミッション行列T21を生成する。第3複素振幅画像生成部は、トランスミッション行列Tとトランスミッション行列T21の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第7複素振幅画像を生成する。
【0021】
第7態様では、第1~第6の態様の何れかに加えて、次のような構成とする。干渉強度画像取得部は、第1期間および第2期間それぞれにおいて複数の光照射方向それぞれの干渉強度画像を取得する。第1複素振幅画像生成部は、第1期間および第2期間それぞれについて、複数の光照射方向それぞれの干渉強度画像に基づいて、複数の光照射方向それぞれの第1複素振幅画像を生成する。屈折率分布画像生成部は、第1期間の複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1屈折率分布画像を生成する。第2複素振幅画像生成部は、第1屈折率分布画像に基づいて、複数の光照射方向それぞれの第2複素振幅画像を生成する。トランスミッション行列生成部は、第2期間の複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、第1期間の複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成する。第3複素振幅画像生成部は、第2期間のトランスミッション行列Tと第1期間のトランスミッション行列T1の逆行列との積に基づいて、複数の光照射方向それぞれの第3複素振幅画像を生成する。
【0022】
第8態様では、第2態様に加えて、次のような構成とする。干渉強度画像取得部は、波数空間において光照射方向を表す波数ベクトルの位置が離散的かつ周期的に分布する複数の光照射方向それぞれに沿って光が観察対象物に照射されたときに干渉強度画像を撮像した撮像部から、複数の光照射方向それぞれの干渉強度画像を取得する。そして、第3複素振幅画像生成部は、複数の光照射方向それぞれの波数ベクトルの波数空間における位置の周期的分布に基づいて区分される複数の領域それぞれにおいてトランスミッション行列Tとトランスミッション行列T1の逆行列との積を求め、これら複数の領域それぞれの積に基づいて複数の光照射方向それぞれの第3複素振幅画像を生成する。
【0023】
本発明の観察方法の第1態様は、(1) 複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する干渉強度画像取得ステップと、(2) 複数の光照射方向それぞれについて、干渉強度画像に基づいて、平面波の光が第1端面および第2端面のうちの何れか一方に入射して他方まで到達したときの光の第1複素振幅画像を生成する第1複素振幅画像生成ステップと、(3) 複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1端面から第1端面と第2端面との間の第1中間面までの区間の第1屈折率分布画像を生成する屈折率分布画像生成ステップと、(4) 第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1端面に入射して第1中間面まで到達したときの光の第2複素振幅画像を生成する第2複素振幅画像生成ステップと、(5) 複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成するトランスミッション行列生成ステップと、(6) トランスミッション行列Tとトランスミッション行列T1の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2端面に到達したときの光の第3複素振幅画像を生成する第3複素振幅画像生成ステップと、を備える。
【0024】
本発明の観察方法は次のような態様としてもよい。
第2態様では、第1態様に加えて、干渉強度画像取得部は、複数の光照射方向それぞれに沿って光が照射された観察対象物の干渉強度画像を取得する。
【0025】
第3態様では、第1態様に加えて、干渉強度画像取得ステップにおいて、複数の光照射方向それぞれに沿って観察対象物に照射されて観察対象物を経た光と、一定の照射方向に沿って観察対象物に照射されて観察対象物を経た光と、の干渉による干渉強度画像を取得する。
【0026】
第4態様では、第1~第3の態様の何れかに加えて、屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2端面での区間の屈折率分布画像を生成する。
【0027】
第5態様では、第1~第4の態様の何れかに加えて、次のような構成とする。屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第1中間面と第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成する。第2複素振幅画像生成ステップにおいて、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2中間面まで到達したときの光の第4複素振幅画像を生成する。トランスミッション行列生成ステップにおいて、複数の光照射方向それぞれの第3複素振幅画像に基づいてトランスミッション行列T32を生成するとともに、複数の光照射方向それぞれの第4複素振幅画像に基づいてトランスミッション行列T2を生成する。第3複素振幅画像生成ステップにおいて、トランスミッション行列T32とトランスミッション行列T2の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第5複素振幅画像を生成する。
【0028】
第6態様では、第1~第4の態様の何れかに加えて、次のような構成とする。屈折率分布画像生成ステップにおいて、複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第1中間面と第2端面との間の第2中間面までの区間の第2屈折率分布画像を生成する。第2複素振幅画像生成ステップにおいて、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、第2複素振幅画像で表される光が第1中間面に入射して第2中間面まで到達したときの光の第6複素振幅画像を生成する。トランスミッション行列生成ステップにおいて、複数の光照射方向それぞれの第6複素振幅画像に基づいてトランスミッション行列T21を生成する。第3複素振幅画像生成ステップにおいて、トランスミッション行列Tとトランスミッション行列T21の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第7複素振幅画像を生成する。
【0029】
第7態様では、第1~第6の態様の何れかに加えて、次のような構成とする。干渉強度画像取得ステップにおいて、第1期間および第2期間それぞれにおいて複数の光照射方向それぞれの干渉強度画像を取得する。第1複素振幅画像生成ステップにおいて、第1期間および第2期間それぞれについて、複数の光照射方向それぞれの干渉強度画像に基づいて、複数の光照射方向それぞれの第1複素振幅画像を生成する。屈折率分布画像生成ステップにおいて、第1期間の複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1屈折率分布画像を生成する。第2複素振幅画像生成ステップにおいて、第1屈折率分布画像に基づいて、複数の光照射方向それぞれの第2複素振幅画像を生成する。トランスミッション行列生成ステップにおいて、第2期間の複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成するとともに、第1期間の複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成する。第3複素振幅画像生成ステップにおいて、第2期間のトランスミッション行列Tと第1期間のトランスミッション行列T1の逆行列との積に基づいて、複数の光照射方向それぞれの第3複素振幅画像を生成する。
【0030】
第8態様では、第2態様に加えて、次のような構成とする。干渉強度画像取得ステップにおいて、波数空間において光照射方向を表す波数ベクトルの位置が離散的かつ周期的に分布する複数の光照射方向それぞれに沿って光が観察対象物に照射されたときに干渉強度画像を撮像した撮像部から、複数の光照射方向それぞれの干渉強度画像を取得する。そして、第3複素振幅画像生成ステップにおいて、複数の光照射方向それぞれの波数ベクトルの波数空間における位置の周期的分布に基づいて区分される複数の領域それぞれにおいてトランスミッション行列Tとトランスミッション行列T1の逆行列との積を求め、これら複数の領域それぞれの積に基づいて複数の光照射方向それぞれの第3複素振幅画像を生成する。
【0031】
本発明のプログラムは、上記の本発明の観察方法の各ステップをコンピュータに実行させるためのものである。本発明の記録媒体は、上記の本発明のプログラムを記録したコンピュータ読み取り可能なものである。
【発明の効果】
【0032】
本発明によれば、観察対象物が多重散乱体である場合であっても、多重散乱光の影響を低減して観察対象物を観察することができる。
【図面の簡単な説明】
【0033】
【
図1】
図1は、観察装置1Aの構成を示す図である。
【
図2】
図2は、観察装置1Bの構成を示す図である。
【
図3】
図3は、観察装置1Cの構成を示す図である。
【
図4】
図4は、観察装置1A~1Cの解析部50の構成を示す図である。
【
図5】
図5は、観察装置1A~1Cを用いて行う観察方法の概要を説明する図である。
【
図7】
図7は、観察方法における各画像の生成手順を説明する図である。
【
図8】
図8は、干渉強度画像取得ステップS51における観察対象物Sへの光照射方向の走査の例を示す図である。
【
図9】
図9は、観察方法の
図6のフローチャートの処理に続く処理例を説明するフローチャートである。
【
図10】
図10は、観察方法における各画像の生成手順を説明する図である。
【
図11】
図11は、観察方法の
図6のフローチャートの処理に続く他の処理例を説明するフローチャートである。
【
図12】
図12は、観察方法における各画像の生成手順を説明する図である。
【
図13】
図13は、撮像部により干渉強度画像を撮像するときの入力光U
in(k
in)および出力光u
out(r
out)を示す図である。
【
図14】
図14は、屈折率分布画像生成処理のフローチャートである。
【
図16】
図16は、第2複素振幅画像生成ステップS54のフローチャートである。
【
図17】
図17は、光照射方向の数が複素振幅画像の画素数と等しい場合の(a)k
xk
y波数空間での光照射方向の分布および(b)或る1点r
0に光を集光照射したときのトランスミッション行列T
rr(r
out;r
in=r
0)のxy空間での分布を示す図である。
【
図18】
図18は、光照射方向の数が複素振幅画像の画素数より少ない場合の(a)k
xk
y波数空間での光照射方向の分布および(b)或る1点r
0に光を集光照射したときのトランスミッション行列T’
rr(r
out;r
in=r
0)のxy空間での分布を示す図である。
【
図19】
図19は、光照射方向の数が複素振幅画像の画素数より少ない場合に全体のトランスミッション行列Tとトランスミッション行列T
1の逆行列との積を求める方法を説明する図である。
【
図20】
図20は、観察方法の他の態様における各画像の生成手順を説明する図である。
【
図21】
図21は、シミュレーション A時の配置を模式的に説明する図である。
【
図22】
図22は、シミュレーションAの結果を示す図である。
【
図23】
図23は、シミュレーションB時の配置を模式的に説明する図である。
【
図24】
図24は、シミュレーションBの結果を示す図である。
【
図25】
図25は、シミュレーションBの結果を示す図である。
【
図27】
図27は、観察装置100において、観察対象物Sへの第1分岐光および第2分岐光の入射、ならびに、観察対象物Sを経た後の撮像部150への第1分岐光および第2分岐光の入射、を模式的に示す図である。
【発明を実施するための形態】
【0034】
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。本発明は、これらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0035】
図1は、観察装置1Aの構成を示す図である。この観察装置1Aは、光源11、レンズ12、レンズ21、ミラー22、レンズ23、コンデンサレンズ24、対物レンズ25、ビームスプリッタ41、レンズ42、撮像部43および解析部50などを備える。
【0036】
光源11は、空間的・時間的にコヒーレントな光を出力するものであり、好適にはレーザ光源である。レンズ12は、光源11と光学的に接続されており、光源11から出力された光を光ファイバ14の光入射端13に集光して、その光を光入射端13に入射させる。光ファイバ14は、レンズ12により光入射端13に入射された光をファイバカプラ15へ導光する。ファイバカプラ15は、光ファイバ14と光ファイバ16,17との間で光を結合するものであり、光ファイバ14により導光されて到達した光を2分岐して、一方の分岐光を光ファイバ16により導光させ、他方の分岐光を光ファイバ17により導光させる。光ファイバ16により導光された光は光出射端18から発散光として出射される。光ファイバ17により導光された光は光出射端19から発散光として出射される。
【0037】
レンズ21は、光出射端18と光学的に接続されており、光出射端18から発散光として出力された光をコリメートする。ミラー22は、レンズ21と光学的に接続されており、レンズ21から到達した光をレンズ23へ反射させる。ミラー22の反射面の方位は可変である。レンズ23は、ミラー22と光学的に接続されている。コンデンサレンズ24は、レンズ23と光学的に接続されている。レンズ23およびコンデンサレンズ24は、好適には4f光学系を構成している。レンズ23およびコンデンサレンズ24は、ミラー22の反射面の方位に応じた光照射方向から観察対象物Sに対して光を照射する。対物レンズ25は、コンデンサレンズ24と光学的に接続されている。対物レンズ25とコンデンサレンズ24との間に観察対象物Sが配置される。対物レンズ25は、コンデンサレンズ24から出力されて観察対象物Sを経た光(物体光)を入力し、その光をビームスプリッタ41へ出力する。
【0038】
ビームスプリッタ41は、対物レンズ25と光学的に接続され、また、光出射端19とも光学的に接続されている。ビームスプリッタ41は、対物レンズ25から出力されて到達した光(物体光)と、光出射端19から出力されて到達した光(参照光)とを合波して、両光をレンズ42へ出力する。レンズ42は、ビームスプリッタ41と光学的に接続されており、ビームスプリッタ41から到達した物体光および参照光それぞれをコリメートして撮像部43へ出力する。撮像部43は、レンズ42と光学的に接続されており、レンズ42から到達した物体光と参照光との干渉による干渉縞像(干渉強度画像)を撮像する。撮像部43の撮像面への物体光の入射方向に対して参照光の入射方向は傾斜している。ビームスプリッタ41により物体光と参照光とが合波される位置は、結像レンズより後段であってもよいが、収差の影響を考慮すると、図に示されるように対物レンズ25とレンズ42との間であるのが望ましい。
【0039】
解析部50は、撮像部43と電気的に接続されており、撮像部43により撮像された干渉強度画像を入力して、この干渉強度画像に基づいて所要の処理をする。解析部50の詳細については後述する。
【0040】
図2は、観察装置1Bの構成を示す図である。この
図2に示される観察装置1Bは、
図1に示された観察装置1Aの構成に加えて、レンズ31、ミラー32およびレンズ34などを備える。
【0041】
レンズ31は、光出射端19と光学的に接続されており、光出射端19から発散光として出力された光(参照光)をコリメートする。ミラー32は、レンズ31と光学的に接続されており、レンズ31から到達した光をレンズ34へ反射させる。レンズ34は、ミラー32と光学的に接続されており、ミラー32から到達した光をビームスプリッタ41へ出力する。レンズ34から出力された光は、ビームスプリッタ41の手前で一旦集光された後、発散光としてビームスプリッタ41に入力される。ビームスプリッタ41は、対物レンズ25から出力されて到達した光(物体光)と、レンズ34から出力されて到達した光(参照光)とを合波して、両光を同軸にしてレンズ42へ出力する。撮像部43は、レンズ42から到達した物体光と参照光との干渉による干渉縞像(干渉強度画像)を撮像する。撮像部43の撮像面への物体光の入射方向に対して参照光の入射方向は平行である。
【0042】
駆動部33は、ミラー32の反射面に垂直な方向にミラー32を移動させる。駆動部33は例えばピエゾアクチュエータである。このミラー32の移動により、ファイバカプラ15における光分岐からビームスプリッタ41における合波に至るまでの物体光および参照光それぞれの光路長の差(位相差)を変化させる。この光路長差が異なると、撮像部43により撮像される干渉強度画像も異なる。
【0043】
観察装置は、
図1および
図2の構成例に限定されるものではなく、様々な変形が可能である。観察装置1A(
図1)および観察装置1B(
図2)の構成では観察対象物Sを透過した光を物体光としたが、以下に説明する観察装置1C(
図3)の構成のように観察対象物Sで反射された光を物体光としてもよい。
【0044】
図3は、観察装置1Cの構成を示す図である。観察装置1Cは、光源11、レンズ12、レンズ21、ミラー22、レンズ23、対物レンズ25、ビームスプリッタ41、レンズ42、撮像部43および解析部50などを備える。以下では、観察装置1A(
図1)と相違する点について主に説明する。
【0045】
レンズ21は、光ファイバ16の光出射端18と光学的に接続されており、光出射端18から発散光として出力された光をコリメートする。ミラー22は、レンズ21と光学的に接続されており、レンズ21から到達した光をレンズ23へ反射させる。ミラー22の反射面の方位は可変である。レンズ23は、ミラー22と光学的に接続されている。対物レンズ25は、レンズ23と光学的に接続されている。レンズ23と対物レンズ25との間にビームスプリッタ41が配置されている。レンズ23および対物レンズ25は、好適には4f光学系を構成している。レンズ23および対物レンズ25は、ミラー22の反射面の方位に応じた光照射方向から観察対象物Sに対して光を照射する。対物レンズ25は、観察対象物Sで反射された光(物体光)を入力し、その光をビームスプリッタ41へ出力する。
【0046】
ビームスプリッタ41は、対物レンズ25と光学的に接続され、また、光ファイバ17の光出射端19とも光学的に接続されている。ビームスプリッタ41は、対物レンズ25から出力されて到達した光(物体光)と、光出射端19から出力されて到達した光(参照光)とを合波して、両光をレンズ42へ出力する。レンズ42は、ビームスプリッタ41と光学的に接続されており、ビームスプリッタ41から到達した物体光および参照光それぞれをコリメートして撮像部43へ出力する。撮像部43は、レンズ42と光学的に接続されており、レンズ42から到達した物体光と参照光との干渉による干渉縞像(干渉強度画像)を撮像する。撮像部43の撮像面への物体光の入射方向に対して参照光の入射方向は傾斜している。ビームスプリッタ41により物体光と参照光とが合波される位置は、結像レンズより後段であってもよいが、収差の影響を考慮すると、図に示されるように対物レンズ25とレンズ42との間であるのが望ましい。
【0047】
観察装置1C(
図3)の構成において、観察装置1B(
図2)と同様に参照光の光路長を変化させる機構(
図2中のレンズ31、ミラー32、駆動部33およびレンズ34)を設けて、ファイバカプラ15における光分岐からビームスプリッタ41における合波に至るまでの物体光および参照光それぞれの光路長の差(位相差)を変化させてもよい。この場合、撮像部43の撮像面への物体光の入射方向に対して参照光の入射方向は平行であってよい。
【0048】
図4は、観察装置1A~1Cの解析部50の構成を示す図である。解析部50は、干渉強度画像取得部51、第1複素振幅画像生成部52、屈折率分布画像生成部53、第2複素振幅画像生成部54、トランスミッション行列生成部55、第3複素振幅画像生成部56、表示部57および記憶部58を備える。解析部50はコンピュータであってよい。解析部50は、CPU、GPU、DSPまたはFPGA等の処理装置、および、ハードディスクドライブ、フラッシュメモリ、RAMまたはROM等の記憶装置を含む。
【0049】
干渉強度画像取得部51は、ミラー22の反射面の方位を変化させることにより、観察対象物Sに対して複数の光照射方向それぞれに沿って光を照射させる。また、干渉強度画像取得部51は、複数の光照射方向それぞれについて基準位置における干渉強度画像を撮像部43から取得する。干渉強度画像取得部51は、ミラー22の反射面の方位を変化させる為の制御信号を出力する出力ポートを有し、また、撮像部43から干渉強度画像を入力する入力ポートを有する。対物レンズ25を光軸方向に移動させる必要はない。基準位置は、撮像部43の撮像面に対して共役関係にある像面位置である。
【0050】
第1複素振幅画像生成部52、屈折率分布画像生成部53、第2複素振幅画像生成部54、トランスミッション行列生成部55および第3複素振幅画像生成部56は、干渉強度画像に基づいて処理を行う。表示部57は、処理すべき画像、処理途中の画像および処理後の画像などを表示するものであり、例えば液晶ディスプレイを含む。記憶部58は、各種の画像のデータを記憶する。第1複素振幅画像生成部52、屈折率分布画像生成部53、第2複素振幅画像生成部54、トランスミッション行列生成部55、第3複素振幅画像生成部56、表示部57および記憶部58は、クラウドコンピューティングによって構成されてもよい。
【0051】
記憶部58は、干渉強度画像取得部51、第1複素振幅画像生成部52、屈折率分布画像生成部53、第2複素振幅画像生成部54、トランスミッション行列生成部55および第3複素振幅画像生成部56に各処理を実行させるためのプログラムをも記憶する。このプログラムは、観察装置の製造時または出荷時に記憶部58に記憶されていてもよいし、出荷後に通信回線を経由して取得されたものが記憶部58に記憶されてもよいし、コンピュータ読み取り可能な記録媒体2に記録されていたものが記憶部58に記憶されてもよい。記録媒体2は、フレキシブルディスク、CD-ROM、DVD-ROM、BD-ROM、USBメモリなど任意である。
【0052】
第1複素振幅画像生成部52、第2複素振幅画像生成部54および第3複素振幅画像生成部56は、何れも光の複素振幅画像を生成するものであるが、複素振幅画像の生成の為の処理の内容の点で相違する。干渉強度画像取得部51、第1複素振幅画像生成部52、屈折率分布画像生成部53、第2複素振幅画像生成部54、トランスミッション行列生成部55、第3複素振幅画像生成部56それぞれの処理の詳細については後述する。
【0053】
図5は、観察装置1A~1Cを用いて行う観察方法の概要を説明する図である。第1複素振幅画像生成部52は、干渉強度画像取得部51により取得された複数の光照射方向それぞれの干渉強度画像に基づいて第1複素振幅画像を生成し、さらに、トランスミッション行列生成部55は、この第1複素振幅画像に基づいてトランスミッション行例Tを生成する。レンズ25の光軸に垂直な複数の面(図中の例では第1端面、第1中間面、第2中間面、第2端面)により観察対象物を含む領域を複数(図中の例では3個)のブロックに区分して、第1端面と第1中間面との間の第1ブロックについてのトランスミッション行例をT
1とし、第1中間面と第2中間面との間の第2ブロックについてのトランスミッション行例をT
2とし、第2中間面と第2端面との間の第3ブロックについてのトランスミッション行例をT
3とする。全体のトランスミッション行列Tは、トランスミッション行例T
1,T
2,T
3の積(T
3T
2T
1)で近似的に表される。このことを利用して、第1~第3のブロックのうち、先ず、第1ブロックの屈折率分布画像を生成して、これを用いて第1中間面における複素振幅画像を生成し、次に、第2ブロックの屈折率分布画像を生成して、これを用いて第2中間面における複素振幅画像を生成する、というような処理を繰り返す。このようにすることで、深達度の高い屈折率分布画像を生成する。
【0054】
図6は、観察方法のフローチャートである。このフローチャートに示される観察方法は、観察装置1A(
図1)、観察装置1B(
図2)および観察装置1C(
図3)の何れを用いた場合においても可能なものである。
図7は、観察方法における各画像の生成手順を説明する図である。この観察方法は、屈折率分布画像を生成するものであって、干渉強度画像取得ステップS51、第1複素振幅画像生成ステップS52、第1屈折率分布画像生成ステップS53、第2複素振幅画像生成ステップS54、トランスミッション行列生成ステップS55および第3複素振幅画像生成ステップS56を備える。
【0055】
干渉強度画像取得ステップS51の処理は干渉強度画像取得部51により行われる。第1複素振幅画像生成ステップS52の処理は第1複素振幅画像生成部52により行われる。第1屈折率分布画像生成ステップS53の処理は屈折率分布画像生成部53により行われる。第2複素振幅画像生成ステップS54の処理は第2複素振幅画像生成部54により行われる。トランスミッション行列生成ステップS55の処理はトランスミッション行列生成部55により行われる。第3複素振幅画像生成ステップS56の処理は第3複素振幅画像生成部56により行われる。
【0056】
干渉強度画像取得ステップS51において、干渉強度画像取得部51は、ミラー22の反射面の方位を変化させることにより、観察対象物Sに対して複数の光照射方向それぞれに沿って光を照射させる。そして、干渉強度画像取得部51は、複数の光照射方向それぞれについて基準位置における干渉強度画像を撮像部43から取得する。
【0057】
図1,
図2および
図3それぞれにおいて説明の便宜のためにxyz直交座標系が示されている。z軸は対物レンズ25の光軸に対し平行である。基準位置は、撮像部43の撮像面に対して共役関係にある像面位置である。この位置をz=0とする。観察対象物Sへの光照射方向は、その照射光の波数ベクトル(k
x,k
y,k
z)のうちのk
x及びk
yにより表すことができる。
【0058】
図8は、干渉強度画像取得ステップS51における観察対象物Sへの光照射方向の走査の例を示す図である。この図では、横軸をk
xとし縦軸をk
yとしたk
xk
y平面において各々の丸印の位置が光照射方向を表している。光照射方向の走査は、k
xk
y平面において、(a)矩形格子状に離散的かつ周期的に配置されるようなものであってもよいし、(b)ハニカム状に離散的かつ周期的に配置されるようなものであってもよいし、(c)六方格子状に離散的かつ周期的に配置されるようなものであってもよいし、(d)同心の複数の円それぞれの周上に離散的に配置されるようなものであってもよいし、(e)螺旋状に離散的に配置されるようなものであってもよい。何れの場合にも、
図1および
図2の構成におけるコンデンサレンズ24または
図3の構成における対物レンズ25のNAの許す限りで光照射方向の走査が可能である。ラスタスキャンおよびランダムスキャンの何れであってもよい。ラスタスキャンの場合には、戻りスキャンが有ってもよいし無くてもよい。
【0059】
第1複素振幅画像生成ステップS52において、第1複素振幅画像生成部52は、複数の光照射方向それぞれについて、干渉強度画像取得部51により取得された干渉強度画像に基づいて第1複素振幅画像を生成する。観察装置1A(
図1)および観察装置1C(
図3)の場合には、第1複素振幅画像生成部52は、フーリエ縞解析法により、1枚の干渉強度画像に基づいて第1複素振幅画像を生成することができる。観察装置1B(
図2)の場合には、第1複素振幅画像生成部52は、位相シフト法により、物体光と参照光との間の光路長差(位相差)が互いに異なる3枚以上の干渉強度画像に基づいて第1複素振幅画像を生成することができる。この第1複素振幅画像は、平面波の光が第1端面および第2端面のうちの何れか一方に入射して他方まで到達したときの光の複素振幅画像である。
【0060】
第1屈折率分布画像生成ステップS53において、屈折率分布画像生成部53は、第1複素振幅画像生成部52により生成された複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1端面から第1中間面までの区間の第1屈折率分布画像を生成する。屈折率分布画像を生成する処理の詳細については後述する。
【0061】
第2複素振幅画像生成ステップS54において、第2複素振幅画像生成部54は、屈折率分布画像生成部53により生成された第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1端面に入射して第1中間面まで到達したときの光の第2複素振幅画像を生成する。第2複素振幅画像を生成する処理の詳細についても後述する。
【0062】
トランスミッション行列生成ステップS55において、トランスミッション行列生成部55は、第1複素振幅画像生成部52により生成された複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成する。また、トランスミッション行列生成部55は、第2複素振幅画像生成部54により生成された複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成する。トランスミッション行列の詳細についても後述する。
【0063】
第3複素振幅画像生成ステップS56において、第3複素振幅画像生成部56は、トランスミッション行列生成部55により生成されたトランスミッション行列Tとトランスミッション行列T1の逆行列との積(TT1
-1=T3T2)に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2端面に到達したときの光の第3複素振幅画像を生成する。
【0064】
第3複素振幅画像生成ステップS56の後、屈折率分布画像生成部53は、第3複素振幅画像生成部56により生成された複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2端面までの区間の屈折率分布画像を生成してもよい。或いは、
図9~
図12を用いて説明するとおり、屈折率分布画像生成部53は、第1中間面から第2中間面までの区間の第2屈折率分布画像を生成し続いて第2中間面から第2端面までの区間の第3屈折率分布画像を生成してもよい。このように、一方の端面の側のブロックから順に屈折率分布画像を生成していくことで、深達度の高い屈折率分布画像を生成することができる。
【0065】
図9は、観察方法の
図6のフローチャートの処理に続く処理例を説明するフローチャートである。
図10は、観察方法における各画像の生成手順を説明する図である。
【0066】
第2屈折率分布画像生成ステップS63において、屈折率分布画像生成部53は、第3複素振幅画像生成部56により生成された複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2中間面までの区間の第2屈折率分布画像を生成する。
【0067】
第4複素振幅画像生成ステップS64において、第2複素振幅画像生成部54は、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1中間面に入射して第2中間面まで到達したときの光の第4複素振幅画像を生成する。
【0068】
トランスミッション行列生成ステップS65において、トランスミッション行列生成部55は、複数の光照射方向それぞれの第3複素振幅画像に基づいてトランスミッション行列T32(=T3T2)を生成し、また、複数の光照射方向それぞれの第4複素振幅画像に基づいてトランスミッション行列T2を生成する。
【0069】
第5複素振幅画像生成ステップS66において、第3複素振幅画像生成部56は、トランスミッション行列T32とトランスミッション行列T2の逆行列との積(T32T2
-1=T3)に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第5複素振幅画像を生成する。
【0070】
第3屈折率分布画像生成ステップS67において、屈折率分布画像生成部53は、第5複素振幅画像生成部66により生成された複数の光照射方向それぞれの第5複素振幅画像に基づいて、第2中間面から第2端面までの区間の第3屈折率分布画像を生成する。
【0071】
図11は、観察方法の
図6のフローチャートの処理に続く他の処理例を説明するフローチャートである。
図12は、観察方法における各画像の生成手順を説明する図である。
【0072】
第2屈折率分布画像生成ステップS73において、屈折率分布画像生成部53は、第3複素振幅画像生成部56により生成された複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2中間面までの区間の第2屈折率分布画像を生成する。
【0073】
第6複素振幅画像生成ステップS74において、第2複素振幅画像生成部54は、第2屈折率分布画像に基づいて、複数の光照射方向それぞれについて、第2複素振幅画像生成部54により生成された第2複素振幅画像で表される光が第1中間面に入射して第2中間面まで到達したときの光の第6複素振幅画像を生成する。
【0074】
トランスミッション行列生成ステップS75において、トランスミッション行列生成部55は、複数の光照射方向それぞれの第6複素振幅画像に基づいてトランスミッション行列T21(=T2T1)を生成する。
【0075】
第7複素振幅画像生成ステップS76において、第3複素振幅画像生成部56は、トランスミッション行列Tとトランスミッション行列T21の逆行列との積(TT21
-1=T3)に基づいて、複数の光照射方向それぞれについて、平面波の光が第2中間面に入射して第2端面に到達したときの光の第7複素振幅画像を生成する。
【0076】
第3屈折率分布画像生成ステップS77において、屈折率分布画像生成部53は、第7複素振幅画像生成部76により生成された複数の光照射方向それぞれの第7複素振幅画像に基づいて、第2中間面から第2端面までの区間の第3屈折率分布画像を生成する。
【0077】
次に、トランスミッション行列の詳細について説明する。
図13は、撮像部により干渉強度画像を撮像するときの入力光U
in(k
in)および出力光u
out(r
out)を示す図である。U
in(k
in)は、観察対象物へ平面波として照射される光の波数k
inの複素振幅を表す。u
out(r
out)は、観察対象物から出力される光の位置r
outの複素振幅を表す。
【0078】
Uin(kin)とuout(rout)との間の関係は、下記(1)式で表される。列ベクトルUinの第n要素Uin(kin
n)は、波数kin
nの平面波の複素振幅を表す。列ベクトルuoutの第n要素uout(rout
n)は、位置rout
nで観測される光の複素振幅を表す。この式にあるN行N列の行列Trk(rout;kin)は、Uin(kin)とuout(rout)との間の線形な関係を表すものであって、トランスミッション行列と呼ばれる。このようなトランスミッション行列により、観察対象物における光の散乱過程を表すことができる。行列Trk(rout;kin)の第n1行第n2列の要素Tn1,n2は、波数kin
n2で振幅1の平面波が入力されたときに位置rout
n1で観測される光の複素振幅を表す。
【0079】
【0080】
複数の光照射方向それぞれについて撮像部により干渉強度画像を撮像するときの第nの光照射方向の入力光のベクトルUin
n(kin)は、下記(2)式で表され、第n要素の値のみが1であって、他の要素の値が0である。この入力光Uin
n(kin)に対して、出力光uout
n(rout)は、下記(3)式で表される。この(3)式は、第nの光照射方向の際に得られた複素振幅に対応する。
【0081】
【0082】
【0083】
この(2)式および上記(1)式から、下記(4)式が得られる。そして、複数の光照射方向それぞれについて同様に求めると、下記(5)式が得られる。このようにして、トランスミッション行列Trk(rout;kin)を求めることができる。
【0084】
【0085】
【0086】
このトランスミッション行列Trk(rout;kin)は、入力が波数基底であって、出力が位置基底のものである。下記(6)式により、このトランスミッション行列Trk(rout;kin)を入力に関してフーリエ変換することで、入力および出力の双方が位置基底であるトランスミッション行列Trr(rout;rin)を生成することができる。
【0087】
【0088】
このようにして生成されたトランスミッション行列Trk(rout;kin),Trr(rout;rin)は、次のような光学的意味を有するものである(非特許文献1~3)。入力が波数基底であって出力が位置基底であるトランスミッション行列Trk(rout;kin)は、観察対象物が存在しない場合(入力)の第1面上の各波数kinの光の波面に対して、観察対象物が存在する場合(出力)の第2面上の各位置routの光の波面に対する透過率を与える行列である。入力および出力の双方が位置基底であるトランスミッション行列Trr(rout;rin)は、観察対象物が存在しない場合(入力)の第1面上の各位置rinの光の波面に対して、観察対象物が存在する場合(出力)の第2面上の各位置routの光の波面に対する透過率を与える行列である。
【0089】
第3複素振幅画像生成部56は、或るトタンスミッション行例と他の或るトタンスミッション行例の逆行列との積を計算する際に、両者ともに入力が波数基底であって出力が位置基底であるトランスミッション行列Trkとしておくか、或いは、両者ともに入力および出力の双方が位置基底であるトランスミッション行列Trrとしておく。また、例えば、トランスミッション行列Tとトランスミッション行列T1の逆行列との積を計算する際に、光の自由伝搬の数値計算に基づいてトランスミッション行列T1を第1中間位置におけるトランスミッション行列としておく。他のトランスミッション行列と他のトランスミッション行列の逆行列との積の際も同様である。
【0090】
複素微分干渉画像W(rout)は、トランスミッション行列Trrを用いて、下記(7)式または(8)式により生成され得る。Trr(rout;rin)に対してroutおよびrinの双方をδrだけシアーしたTrr(rout-δr;rin-δr)の複素共役をTrr
*(rout-δr;rin-δr)とする。
【0091】
【0092】
【0093】
(7)式は、第2面上の各位置routについて、第1面においてTrr(rout;rin)とTrr
*(rout-δr;rin-δr)との要素ごとの積の総和を求めることで、複素微分干渉画像W(rout)を生成する。この総和計算は、出力側空間分解の複素微分干渉画像W(rout)を生成するものである。すなわち、入力に関しては空間分解能を有しない一方で、出力に関しては空間分解能を有するとして、入力の基底について総和を求める。これは、観察対象物の全体に同時に光を照射する(すなわち、入力に関しては空間分解能を有しない)こととし、観察対象物の二次元像を取得する(すなわち、出力に関しては空間分解能を有する)系と相似している。この系では、取得された画像では、観察対象物と受光部との間に存在する散乱体の影響が大きく現れる。
【0094】
(8)式は、第1面上の各位置rinについて、第2面においてTrr(rout;rin)とTrr
*(rout-δr;rin-δr)との要素ごとの積の総和を求めることで、複素微分干渉画像W(rin)を生成する。この総和計算は、入力側空間分解の複素微分干渉画像W(rin)を生成するものである。すなわち、入力に関しては空間分解能を有する一方で、出力に関しては空間分解能を有しないとして、出力の基底について総和を求める。これは、観察対象物上の各位置に光を集光照射するとともに当該集光点を走査する(すなわち、入力に関しては空間分解能を有する)こととし、各集光点について観察対象物を経た光の全光量を測定する(すなわち、出力に関しては空間分解能を有しない)系と相似している。この系では、観察対象物と受光部との間に存在する散乱体の影響が抑制された観察対象物の画像を取得することができる。
【0095】
δrのx成分δxおよびy成分δyのうち少なくとも一方は非0である。δx≠0,δy=0であれば、x方向をシアー方向とする複素微分干渉画像が得られる。δx=0,δy≠0であれば、y方向をシアー方向とする複素微分干渉画像が得られる。δx≠0,δy≠0であれば、δxとδyとの比に応じた方向をシアー方向とする複素微分干渉画像が得られる。
【0096】
出力側空間分解の複素微分干渉画像Wn(rout)に基づいて、下記(9)式により、位相微分画像を生成することができる。或いは、入力側空間分解の複素微分干渉画像Wn(rin)に基づいて、下記(10)式により、位相微分画像を生成することができる。複素微分干渉画像Wn(rout),Wn(rin)の位相が位相微分画像に相当する。
【0097】
【0098】
【0099】
次に、屈折率分布画像生成部53による屈折率分布画像の生成処理の詳細について説明する。
図14は、屈折率分布画像生成処理のフローチャートである。
【0100】
ステップS81において、複数の光照射方向それぞれについて、位置zに光波面を自由伝搬させて、位置zにおける複素振幅画像uを求める。例えば、z=0の位置からz=dの位置への光波面の自由伝搬を想定する場合、z=0の位置の複素振幅画像をu(x,y,0)とし、このu(x,y,0)の2次元フーリエ変換をU(kx,ky,0)とし、z=dの位置の複素振幅画像をu(x,y,d)とし、このu(x,y,d)の2次元フーリエ変換をU(kx,ky,d)とすると、自由伝搬は下記(11)式,(12)式を含む処理により計算で求めることができる。iは虚数単位であり、k0は観察対象物中における光の波数である。
【0101】
【0102】
【0103】
ステップS82において、下記(13)式により、複素微分干渉画像W(r)を生成する。δrはシアーを表す。ステップS83において、この複素微分干渉画像W(r)の位相で表される位相微分画像を生成する。
【0104】
【0105】
ステップS84において、zにδzを加算したものを新たなzとし、ステップS85において、その新たなzが最終値zendに達したか否かを判定する。新たなzが最終値zendに達していないとステップS85において判定された場合には、ステップS81に戻る。新たなzが最終値zendに達したとステップS85において判定された場合には、ステップS86へ進む。
【0106】
ステップS81からステップS85までの各処理は、zの初期値から最終値zendまでδz刻みで繰り返し行われる。この繰り返し処理により、zの初期値から最終値zendまでのδz刻みの各z位置における位相微分画像、すなわち、3次元位相微分画像が生成される。ステップS85から進んだステップS86において、3次元位相微分画像に基づいて、デコンボリューションにより屈折率分布画像を生成する。
【0107】
次に、第2複素振幅画像生成部54による複素振幅画像の生成処理の詳細について説明する。第1複素振幅画像生成部52は、実測データである干渉強度画像に基づいて複素振幅画像を生成する。第3複素振幅画像生成部56は、トランスミッション行列が複素振幅画像を表現するものであることを利用して、トランスミッション行列の演算に基づいて複素振幅画像を生成する。これに対して、第2複素振幅画像生成部54は、次のようにして、屈折率分布画像生成部53により生成された屈折率分布画像を用いて、この屈折率分布画像で表される媒質中における光の伝搬を数値計算で求めることにより複素振幅画像を生成する。
【0108】
各ブロックの屈折率分布を考慮した数値計算により、第1位置(z=zj-1)の光波面を該ブロックの内部を伝搬させることで、第2位置(z=zj)の光波面を求める。すなわち、複数の光照射方向それぞれについて、第jブロックの第1位置(z=zj-1)の複素振幅画像および第jブロックの屈折率分布に基づいて、第jブロックの第2位置(z=zj)の複素振幅画像を生成する。この処理に際して、媒質の屈折率分布を考慮して光波面の伝搬を数値計算する手法が用いられる。このような不均一媒質伝搬の数値計算手法として、BPM(Beam Propagation Method)、Split-Step Non-Paraxial(SSNP) MethodおよびMulti-layer Bornmultiple-scattering model等が知られている。以下では、BPMを用いた処理について説明する。
【0109】
図15は、BPMの処理内容を説明する図である。この図は、或る一つのブロックを示している。この図に示されるように、光伝搬経路(z方向)に沿った撮像部からの距離に基づいてブロックをM個(この図では7個)のスライス(第1~第Mのスライス)に区分する。各スライスの厚みは波長程度である。
【0110】
各スライスの厚みは一定であってもよい。ここでは、各スライスの厚みを一定値のΔzとする。第1~第Mのスライスのうちの第mスライスは、位置(zj-1+(m-1)Δz)から位置(zj-1+mΔz)までである。第1位置(z=zj-1)から第2位置(z=zj)へ向かって順に、第1~第Mのスライスにおいて順次に、屈折率分布に応じた位相変化を与えて光波面をΔzだけ伝搬させる。
【0111】
位置zにある厚みΔzのスライスを伝搬する際に光波面に与えられる位相変化o(x,y,z)は、下記(14)式で表される。この(14)式中のkvは真空中での光の波数である。δn(x,y,z)は、位置zにおける観察対象物の屈折率分布n(x,y,z)と背景(媒質)の屈折率nbとの差分であり、下記(15)式で表される。また、cosθは下記(16)式で表される。
【0112】
【0113】
【0114】
【0115】
第mスライスの位置(z=zj-1+(m-1)Δz)における光の複素振幅をu(x,y,z)とすると、第mスライスの内部を光が伝搬した後の位置(z+Δz)における光の複素振幅u(x,y,z+Δz)は、下記(17)式で表される。この(17)式中のP(kx,ky;Δz)は、下記(18)式で表される。(17)式は、光の複素振幅u(x,y,z)と位相変化o(x,y,z)との積をフーリエ変換し、このフーリエ変換の結果とP(kx,ky;Δz)との積を逆フーリエ変換することで、厚みΔzのスライスを伝搬した後の位置(z+Δz)における光の複素振幅u(x,y,z+Δz)を求めることを表している。PΔzは、Δzの光伝搬の演算を行う関数である。
【0116】
【0117】
【0118】
ブロックの各スライスにおける光波面の伝搬は、下記(19)式~(21)式で表される。すなわち、ブロックの第1位置(z=zj-1)における光の複素振幅をu(x,y,zj-1)とすると、ブロックの第1スライスを伝搬した後の光の複素振幅u(x,y,zj-1+Δz)は、下記(19)式で表される。ブロックの第(m-1)スライスを伝搬した後の光の複素振幅をu(x,y,zj-1+(m-1)Δz)とすると、ブロックの第mスライスを伝搬した後の光の複素振幅u(x,y,zj-1+mΔz)は、下記(20)式で表される。ブロックの第(M-1)スライスを伝搬した後の光の複素振幅をu(x,y,zj-1+(M-1)Δz)とすると、ブロックの第Mスライスを伝搬した後の第2位置(z=zj)における光の複素振幅u(x,y,zj)は、下記(21)式で表される。
【0119】
【0120】
【0121】
【0122】
このようにして、ブロックの屈折率分布を考慮した数値計算により、第1位置(z=zj-1)の光波面をブロック内部をスライス毎に順次に伝搬させることで、第2位置(z=zj)の光波面を求めることができる。
【0123】
図16は、第2複素振幅画像生成ステップS54のフローチャートである。ステップS91において、位置zを、ブロックの第1位置(z=z
j-1)に初期化する。ステップS92において、位置zにおける光の複素振幅u(x,y,z)と位相変化o(x,y,z)との相互作用を求める。ステップS93において、その相互作用後の光の波面を距離Δzだけ伝搬させて、位置z+Δzにおける光の複素振幅u(x,y,z+Δz)を求める。ステップS94において、Δzを加算したzを新たなzとする。ステップS95において、位置zがブロックの第2位置(z=z
j)に未だ到達していないと判断されれば、ステップS92に戻って、ステップS92~S94を繰り返す。ステップS95において、位置zがブロックの第2位置(z=z
j)に到達したと判断されれば、第2複素振幅画像生成ステップS54の処理を終了する。終了時に取得された光の複素振幅がブロックの第2位置(z=z
j)における複素振幅となる。
【0124】
ところで、干渉強度画像取得ステップS51の際の観察対象物への光照射方向の数と、複素振幅画像の画素数とは、互いに等しいことが理想的である。しかし、現実的には、光照射方向の数は複素振幅画像の画素数より少ない(アンダーサンプリング)。例えば、複素振幅画像の画素数が1024×1024であるとすると、これと同数の光照射方向を実現するのは、可能ではあっても、容易でない。或いは、撮像部により得られた画像のうち一部範囲の画像(光照射方向の数と同数の画素)のみを以降の処理に用いることも考えられるが、解像度の低下につながるので、好ましくない。
【0125】
入力および出力の双方が位置基底であるトランスミッション行列T
rr(r
out;r
in)を求める上記(6)式の積分計算は、実際の数値計算の際には下記(22)式のような総和計算となる。光照射方向の数が複素振幅画像の画素数より少ない場合、観察対象物への光照射方向の走査が
図8の(a)~(c)に示されるようにk
xk
y平面において離散的かつ周期的であると、理想的なトランスミッション行列T
rr(r
out;r
in)ではなく、これに替えて下記(23)式で表されるようなトランスミッション行列T’
rr(r
out;r
in)が得られる。(23)式中のr
pは、波数空間における複数の光照射方向の位置の周期的分布に応じたものであり、その周期の逆数に相当する。(23)式のT’
rr(r
out;r
in)は、理想的なT
rr(r
out;r
in)をr
pだけ繰り返してシフトさせて足し合わせたものに相当する。
【0126】
【0127】
【0128】
図17は、光照射方向の数が複素振幅画像の画素数と等しい場合の(a)k
xk
y波数空間での光照射方向の分布および(b)或る1点r
0に光を集光照射したときのトランスミッション行列T
rr(r
out;r
in=r
0)のxy空間での分布を示す図である。
図18は、光照射方向の数が複素振幅画像の画素数より少ない場合の(a)k
xk
y波数空間での光照射方向の分布および(b)或る1点r
0に光を集光照射したときのトランスミッション行列T’
rr(r
out;r
in=r
0)のxy空間での分布を示す図である。
図18中のr
px,r
pyは、波数空間における複数の光照射方向の位置の周期的分布に応じたものであり、その周期の逆数に相当する。この図に示されるように、光照射方向の数が複素振幅画像の画素数より少ない場合、多点照射の場合の出力となっている。このような(23)式のトランスミッション行列T’
rr(r
out;r
in)を用いて以降の各ステップの処理を行うと、空間の複数の点の結果が足し合わされてしまうことになって、複素微分干渉画像、位相微分画像および屈折率分布画像を正しく求めることができない。
【0129】
そこで、このようなアンダーサンプリングの場合には、干渉強度画像取得ステップS51において、干渉強度画像取得部51は、
図8の(a)~(c)に示されるように波数空間において光照射方向を表す波数ベクトルの位置が離散的かつ周期的に分布する複数の光照射方向それぞれに沿って光が観察対象物に照射されたときに干渉強度画像を撮像した撮像部から、複数の光照射方向それぞれの干渉強度画像を取得する。そして、第3複素振幅画像生成ステップS56において、第3複素振幅画像生成部56は、複数の光照射方向それぞれの波数ベクトルの波数空間における位置の周期的分布に基づいて区分される複数の領域それぞれにおいてトランスミッション行列Tとトランスミッション行列T
1の逆行列との積を求め、これら複数の領域それぞれの積に基づいて複数の光照射方向それぞれの第3複素振幅画像を生成する。
【0130】
すなわち、アンダーサンプリングの場合、第3複素振幅画像生成ステップS56において、
図19に示されるように、トランスミッション行列T’
rr(r
out;r
in=r
0)のxy空間を、各照射点を含む領域D(r
in-r
p)に分割する。そして、これら複数の領域D(r
in-r
p)それぞれでトランスミッション行列Tとトランスミッション行列T
1の逆行列との積を求めた後に、複数の領域D(r
in-r
p)それぞれで求めた積を貼り合わせることで、全体のトランスミッション行列Tとトランスミッション行列T
1の逆行列との積を求める(下記(24)式)。
【0131】
【0132】
本実施形態の観察装置および観察方法は、対物レンズの光軸に垂直な複数の面で観察対象物をブロック分割して、照射側または撮像側から順次に各ブロックの屈折率分布画像を生成することができる。これまでの説明では、照射側から順次に各ブロックの屈折率分布画像を生成する態様について説明してきた。しかし、
図20を用いて説明するとおり、撮像側から順次に各ブロックの屈折率分布画像を生成する態様とすることもできる。また、或る第1期間の測定データに基づいて生成された屈折率分布画像を用いて、他の第2期間の測定データに基づいて第3複素振幅画像を生成する態様も可能である。
【0133】
図20は、観察方法の他の態様における各画像の生成手順を説明する図である。互いに異なる第1期間および第2期間それぞれにおいて、干渉強度画像取得部51は、撮像部から複数の光照射方向それぞれの干渉強度画像を取得する。第1複素振幅画像生成部52は、干渉強度画像取得部51により取得された複数の光照射方向それぞれの干渉強度画像に基づいて、複数の光照射方向それぞれの第1複素振幅画像を生成する。
【0134】
屈折率分布画像生成部53は、第1複素振幅画像生成部52により生成された第1期間の複数の光照射方向それぞれの第1複素振幅画像に基づいて、第1端面から第1中間面までの区間の第1屈折率分布画像を生成する。第2複素振幅画像生成部54は、屈折率分布画像生成部53により生成された第1屈折率分布画像に基づいて、複数の光照射方向それぞれについて、平面波の光が第1端面に入射して第1中間面まで到達したときの光の第2複素振幅画像を生成する。
【0135】
トランスミッション行列生成部55は、第2期間の複数の光照射方向それぞれの第1複素振幅画像に基づいてトランスミッション行列Tを生成する。また、トランスミッション行列生成部55は、第1期間の複数の光照射方向それぞれの第2複素振幅画像に基づいてトランスミッション行列T1を生成する。第3複素振幅画像生成部56は、第2期間のトランスミッション行列Tと第1期間のトランスミッション行列T1の逆行列との積に基づいて、複数の光照射方向それぞれについて、平面波の光が平面波の光が第1中間面に入射して第2端面に到達したときの光の第3複素振幅画像を生成する。屈折率分布画像生成部53は、第3複素振幅画像生成部56により生成された複数の光照射方向それぞれの第3複素振幅画像に基づいて、第1中間面から第2中間面までの区間の第2屈折率分布画像を生成する。
【0136】
この観察方法の態様は、例えば、観察対象物の中心領域等を速いタイムラプスイメージングをする際に、全体としては屈折率分布が大きくは変化しないと仮定できるときに有効である。第1期間の測定データに基づいて第1端面と第1中間面との間の区間の屈折率分布画像を生成してトランスミッション行列T1を予め求めておけば、第2期間の測定データに基づいて生成された第1複素振幅画像およびトランスミッション行列T1に基づいて第3振幅画像を高速に生成することができる。
【0137】
次に、シミュレーション結果について説明する。以下に説明するシミュレーションA,Bは、
図2に示される測定系を用い、
図6,
図11,
図12に示される手順に従った。
【0138】
シミュレーションAでは、
図21に示されるように、5種類の位相画像を互いに間隔をあけて並列配置したものを観察対象物として用いてシミュレーションを行った。
図21は、シミュレーションA時の配置を模式的に説明する図である。第1複素振幅画像生成部52により生成される第1複素振幅画像は、5種類の位相画像の全てを通過した後の光の複素振幅画像である。第2複素振幅画像生成部54により生成される第2複素振幅画像は、5種類の位相画像のうち光照射側の3枚の位相画像を通過した位置での光の複素振幅画像である。第3複素振幅画像生成部56により生成される第3複素振幅画像は、上記の第1複素振幅画像および第2複素振幅画像に基づくトランスミッション行列の演算により生成されたものであって、5種類の位相画像のうち撮像側の2枚の位相画像を通過した光の複素振幅画像に対応する。
【0139】
図22は、シミュレーションAの結果を示す図である。
図22において、最上段は、厳密解の位相微分画像を示し、第2段は、第1複素振幅画像に基づいて生成された入力側空間分解の位相微分画像を示し、第3段は、第2複素振幅画像に基づいて生成された入力側空間分解の位相微分画像を示し、最下段は、第3複素振幅画像に基づいて生成された入力側空間分解の位相微分画像を示す。第1複素振幅画像または第2複素振幅画像に基づいて生成された入力側空間分解の位相微分画像は、撮像部から遠いほど鮮明な位相微分画像が得られた。一方で、第3複素振幅画像に基づいて生成された入力側空間分解の位相微分画像は、撮像部に近いほど鮮明な位相微分画像が得られた。シミュレーションAでは、第1複素振幅画像、第2複素振幅画像および第3複素振幅画像の何れかに基づいて位相微分画像を生成することで、深達度の高い観察対象物の観察が可能であることが示された。
【0140】
シミュレーションBでは、
図23に示されるように、細胞塊を模擬したものを観察対象物として用いてシミュレーションを行った。
図23は、シミュレーションB時の配置を模式的に説明する図である。
図24および
図25それぞれは、シミュレーションBの結果を示す図である。
【0141】
図24において、上段は、第1複素振幅画像のみに基づいて生成された入力側空間分解の位相微分画像を示し、下段は、本実施形態の方法により生成された入力側空間分解の位相微分画像を示す。また、
図24において、左端はz軸に平行な断面における位相微分画像を示し、その他はz方向の三つの位置それぞれにおけるxy断面における位相微分画像を示す。
【0142】
図25において、上段は厳密解の屈折率分布画像を示し、中段は、第1複素振幅画像のみに基づいて生成された入力側空間分解の位相微分画像から生成された屈折率分布画像を示し、下段は、本実施形態の方法により生成された入力側空間分解の位相微分画像から生成された屈折率分布画像を示す。また、
図25において、左端はy方向への最大値投影画像を示し、その他はz方向の三つの位置それぞれにおけるxy断面における屈折率分布画像を示す。
【0143】
このシミュレーションBでも、第1複素振幅画像、第2複素振幅画像および第3複素振幅画像の何れかに基づいて位相微分画像を生成することで、深達度の高い観察対象物の観察が可能であることが示された。
【0144】
以上のとおり、本実施形態によれば、観察対象物が多重散乱体である場合であっても、良好な深達度を有することができ、多重散乱光の影響を低減して観察対象物を観察することができる。
【0145】
これまで説明してきた観察装置および観察方法は、光源から出力されて2分岐された第1分岐光および第2分岐光のうち、一方の第1分岐光については観察対象物を経ることなく参照光として撮像部により受光し、他方の第2分岐光については観察対象物を経て物体光として撮像部により受光して、第2分岐光(物体光)の複数の光照射方向それぞれについて、第1分岐光(参照光)と第2分岐光(物体光)との干渉による干渉強度画像を撮像し、この干渉強度画像に基づいて複素振幅画像を生成するものであった。
【0146】
これに限られず、以下に
図26および
図27を用いて説明するように、光源から出力されて2分岐された第1分岐光および第2分岐光の双方について観察対象物を経た後に撮像部により受光して、第2分岐光の複数の光照射方向それぞれについて、第1分岐光と第2分岐光との干渉による干渉強度画像を撮像し、この干渉強度画像に基づいて複素振幅画像を生成する構成としてもよい。
【0147】
図26は、観察装置100の構成を示す図である。この観察装置100は、光源110、照射部131および撮像部150等を備える。光源110は、空間的にコヒーレントな光を出力する。光源110から出力される光は、時間的にコヒーレントであってもよいし、時間的にコヒーレントでなくてもよい。光源110は、レーザ光源であってもよいし、例えばSLD(Super Luminescent Diode)、SC(Super Continuum)光源および光周波数コム光源などの光源であってよい。また、LED(Light Emitting Diode)や水銀ランプなどから出力された空間インコヒーレントな光を、ピンホール等を通すことで空間的なコヒーレンスを高めてもよい。
【0148】
レンズ121は、光源110と光学的に接続されており、光源110から出力された光を光ファイバ123の光入射端122に集光して、その光を光入射端122に入射させる。光ファイバ123は、光入射端122に入射された光を光出射端124まで導光する。光ファイバ123により導光された光は光出射端124から発散光として出射される。レンズ125は、光出射端124と光学的に接続されており、光出射端124から発散光として出力された光を入力してコリメートし、そのコリメートした光を照射部131へ出力する。
【0149】
照射部131は、光源110から出力されてレンズ121,光ファイバ123およびレンズ125を経た光を入力し、その入力した光を2分岐して第1分岐光および第2分岐光とする。照射部131は、これら第1分岐光および第2分岐光を互いに重ね合わせて観察対象物Sに照射する。照射部131は、観察対象物Sに対して第1分岐光を一定の光照射方向に沿って照射し、観察対象物Sに対して第2分岐光を複数の光照射方向それぞれに沿って照射する。
【0150】
照射部131は、ビームスプリッタ311、位相変調型の空間光変調器313、偏光子314、2分の1波長板315、偏光子316、レンズ318および対物レンズ319を含む。
【0151】
ビームスプリッタ311は、レンズ125との間に設けられた偏光子314および2分の1波長板315を経て到達した光を空間光変調器313へ反射させる。また、ビームスプリッタ311は、空間光変調器313から到達した光を入力して、この光を偏光子316へ出力する。
【0152】
空間光変調器313は、変調面に入射される互いに直交する第1方位および第2方位それぞれの直線偏光の光のうち、第1方位の直線偏光の光に対して位相変調することなく、第2方位の直線偏光の光に対して選択的に位相変調する。偏光子314および2分の1波長板315は、ビームスプリッタ311から空間光変調器313の変調面へ入射される光が第1方位および第2方位それぞれの直線偏光成分を互いに同程度に含むように、光の偏光状態を設定する。
【0153】
偏光子316は、空間光変調器313からビームスプリッタ311を経て到達した光を入力し、その光に含まれる第1方位および第2方位それぞれの直線偏光の光を干渉可能とする。レンズ318および対物レンズ319は、偏光子316から出力された第1分岐光および第2分岐光それぞれを平面波として観察対象物Sに照射する。
【0154】
このような構成を有する照射部131は、空間光変調器313により位相変調されなかった第1方位の直線偏光の光を第1分岐光として、この第1分岐光を観察対象物Sに対して一定の光照射方向に沿って照射することができる。照射部131は、空間光変調器313により位相変調された第2方位の直線偏光の光を第2分岐光として、この第2分岐光を観察対象物Sに対して複数の光照射方向それぞれに沿って照射することができる。観察対象物Sへの第2分岐光の光照射方向は、空間光変調器313の変調面における位相変調パターンの向き及び間隔により設定することができる。また、第1分岐光と第2分岐光との間の位相差は、空間光変調器313の変調面における位相変調パターンのシフトにより設定することができる。
【0155】
なお、空間光変調器313の位置により位相差を調整することもできる。しかし、空間光変調器313の変調面における位相変調パターンのシフトにより位相差を設定する場合の方が、構成要素の機械的な移動がない点で好ましい。
【0156】
対物レンズ141は、照射部131により観察対象物Sに照射されて観察対象物Sを経た光(第1分岐光、第2分岐光)を入力し、その光をミラー142へ出力する。レンズ143は、対物レンズ141から出力されてミラー142により反射された光を入力し、その光を撮像部150の撮像面に入射させる。
【0157】
撮像部150は、レンズ143から撮像面に到達した第1分岐光および第2分岐光の双方を受光して、第1分岐光と第2分岐光との干渉による干渉強度画像を撮像する。撮像部150は、第2分岐光の複数の光照射方向それぞれについて、第1分岐光と第2分岐光との間の位相差が複数の位相差それぞれに設定されたときの干渉強度画像を撮像する。この撮像部150により撮像された干渉強度画像に基づいて所要の処理をすることで、複素振幅画像などを生成することができる。
【0158】
この観察装置100(
図26)を用いた場合の複素振幅画像生成部の処理の内容は次のとおりである。
図27は、観察装置100において、観察対象物Sへの第1分岐光および第2分岐光の入射、ならびに、観察対象物Sを経た後の撮像部150への第1分岐光および第2分岐光の入射、を模式的に示す図である。照射部131は、観察対象物Sに対して第1分岐光および第2分岐光を重ねて照射する。このとき、観察対象物Sに対する第1分岐光の光照射方向を一定とし、観察対象物Sに対する第2分岐光の光照射方向を複数の光照射方向それぞれとし、第1分岐光と第2分岐光との間の位相差φを各値に設定する。
【0159】
観察対象物Sへ入射する第1分岐光の波面をu0,in(r)と表す。第2分岐光の複数(N個)の光照射方向のうち第n光照射方向(n=1~N)に沿って観察対象物Sへ入射する第2分岐光の波面をun,in(r)exp(iφ)と表す。rは位置を表す変数である。φは、第1分岐光と第2分岐光との間の位相差である。撮像部150の撮像面または焦点面(撮像面に対して光学的に共役な面)における第1分岐光の波面をu0(r)と表し、第2分岐光の波面をun(r)exp(iφ)と表す。
【0160】
撮像部150による撮像により取得される干渉強度画像In(r,φ)は、u0(r)とun(r)exp(iφ)との和の絶対値の二乗で表される。干渉強度画像In(r,φ)は、第1分岐光と第2分岐光との間の位相差をφとして、観察対象物に対して第1分岐光を一定の光照射方向に沿って観察対象物Sへ入射させ、観察対象物に対して第2分岐光を第n光照射方向に沿って入射させたときに、撮像部150による撮像により取得される干渉強度画像である。焦点面(撮像面に対して光学的に共役な面)は、観察対象物Sにあってもよいし、観察対象物Sより撮像部150側にあってもよいし、観察対象物Sより照射部131側にあってもよい。
【0161】
第2分岐光の複数の光照射方向それぞれについて、複数の位相差φそれぞれに設定されたときに撮像部150により取得された干渉強度画像に基づいて、位相シフト法により干渉項Cn(r)=u0
*(r)・un(r)を求める。干渉項u0(r)・un
*(r)を求めてもよい。この干渉項Cn(r)を第2分岐光の複数の光照射方向それぞれについて(すなわち、各n(=1~N))について求める。
【0162】
第2分岐光の複数の光照射方向それぞれについて求めた干渉項Cn(r)に基づいて、第1分岐光の複素振幅画像を生成する。第1分岐光の複素振幅u0(r)の位相φ0(r)は、第1分岐光と第2分岐光との間の位相傾き(光入射方向の差異)を補正した後、その補正後の干渉項のコヒーレント和Csum(r)を求め、このコヒーレント和Csum(r)の位相で近似的に表すことができる。第1分岐光の複素振幅u0(r)の振幅A0(r)は、第2分岐光を観察対象物Sに照射せずに、第1分岐光のみを観察対象物Sに照射したときに、撮像部150により撮像された強度画像|u0(r)|2から求めることができる。または、第1分岐光の複素振幅u0(r)の振幅A0(r)は、干渉項Cn(r)の強度和Isum(r)の平方根で近似的に表すことができる。
【0163】
以上のようにして求めた第1分岐光の複素振幅u0(r)の位相φ0(r)および振幅A0(r)に基づいて、第1分岐光の複素振幅画像u0(r)を生成することができる。そして、第1分岐光の複素振幅画像u0(r)および干渉項Cn(r)に基づいて、複数の光照射方向それぞれの第2分岐光の複素振幅画像un(r)を生成することができる。以降の処理は、既に説明したものと同様である。
【符号の説明】
【0164】
1A~1C…観察装置、2…記録媒体、11…光源、12…レンズ、13…光入射端、14…光ファイバ、15…ファイバカプラ、16,17…光ファイバ、18,19…光出射端、21…レンズ、22…ミラー、23…レンズ、24…コンデンサレンズ、25…対物レンズ、31…レンズ、32…ミラー、33…駆動部、34…レンズ、41…ビームスプリッタ、42…レンズ、43…撮像部、50…解析部、51…干渉強度画像取得部、52…第1複素振幅画像生成部、53…屈折率分布画像生成部、54…第2複素振幅画像生成部、55…トランスミッション行列生成部、56…第3複素振幅画像生成部、57…表示部、58…記憶部、100…観察装置、110…光源、131…照射部、150…撮像部。