ホーム > 特許ランキング > 国立大学法人広島大学
知財求人 - 知財ポータルサイト「IP Force」
2023-72914ライトフィールド光学系およびライトフィールド画像処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023072914
(43)【公開日】2023-05-25
(54)【発明の名称】ライトフィールド光学系およびライトフィールド画像処理システム
(51)【国際特許分類】
G02B 21/00 20060101AFI20230518BHJP
G02B 3/00 20060101ALI20230518BHJP
G03B 15/00 20210101ALI20230518BHJP
H04N 23/55 20230101ALI20230518BHJP
H04N 23/60 20230101ALI20230518BHJP
【ＦＩ】
G02B21/00
G02B3/00 A
G03B15/00 B
H04N5/225 410
H04N5/232 290
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021185638
(22)【出願日】2021-11-15
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（令和２年度ＡＭＥＤ革新的先端研究開発支援事業・ソロタイプ「全ライフコースを対象とした個体の機能低下機構の解明」研究開発領域、産業技術力強化法第１７条の適用を受ける特許出願）
(71)【出願人】
【識別番号】504136568
【氏名又は名称】国立大学法人広島大学
(71)【出願人】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】110001933
【氏名又は名称】弁理士法人 佐野特許事務所
(72)【発明者】
【氏名】杉 拓磨
(72)【発明者】
【氏名】執行 航希
(72)【発明者】
【氏名】臼杵 深
【テーマコード（参考）】
2H052
5C122
【Ｆターム（参考）】
2H052AB01
2H052AB04
2H052AF14
2H052AF25
5C122EA29
5C122EA55
5C122FB02
5C122FB05
5C122FH18
5C122HA88
5C122HB05
5C122HB06
5C122HB10
(57)【要約】
【課題】複雑な復元処理を必要とすることなく、また、対物レンズの最大開口数を活かしながら、深い被写界深度で物体像を高分解能で得る。
【解決手段】物体側から像側に向かう方向を正として、結像レンズの像側焦点面からマイクロレンズの中心までの距離をａとし、マイクロレンズの中心からイメージセンサまでの距離をｂとし、マイクロレンズの像側焦点距離をｆMLAとしたとき、ライトフィールド光学系は、ａ＝０の場合、ｂ＜ｆMLAを満足し、ａ＜０の場合、（１／ａ＋１／ｂ）＜１／ｆMLAを満足する。
【選択図】図１
【解決手段】物体側から像側に向かう方向を正として、結像レンズの像側焦点面からマイクロレンズの中心までの距離をａとし、マイクロレンズの中心からイメージセンサまでの距離をｂとし、マイクロレンズの像側焦点距離をｆMLAとしたとき、ライトフィールド光学系は、ａ＝０の場合、ｂ＜ｆMLAを満足し、ａ＜０の場合、（１／ａ＋１／ｂ）＜１／ｆMLAを満足する。
【選択図】図１
【特許請求の範囲】
【請求項1】
メインレンズと、
複数のマイクロレンズを二次元的に配置したマイクロレンズアレイと、
前記メインレンズおよび前記マイクロレンズアレイを介して物体の像を取得するイメージセンサと、を備え、
前記メインレンズは、物体側から像側に向かって順に配置される対物レンズおよび結像レンズを含み、
前記物体側から前記像側に向かう方向を正として、
前記結像レンズの像側焦点面から前記マイクロレンズの中心までの距離をａ（ｍｍ）とし、
前記マイクロレンズの中心から前記イメージセンサまでの距離をｂ（ｍｍ）とし、
前記マイクロレンズの像側焦点距離をｆMLA（ｍｍ）としたとき、
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する、ライトフィールド光学系。
複数のマイクロレンズを二次元的に配置したマイクロレンズアレイと、
前記メインレンズおよび前記マイクロレンズアレイを介して物体の像を取得するイメージセンサと、を備え、
前記メインレンズは、物体側から像側に向かって順に配置される対物レンズおよび結像レンズを含み、
前記物体側から前記像側に向かう方向を正として、
前記結像レンズの像側焦点面から前記マイクロレンズの中心までの距離をａ（ｍｍ）とし、
前記マイクロレンズの中心から前記イメージセンサまでの距離をｂ（ｍｍ）とし、
前記マイクロレンズの像側焦点距離をｆMLA（ｍｍ）としたとき、
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する、ライトフィールド光学系。
【請求項2】
ａ＝０の場合、
０．５３３≦ｂ／ｆMLA≦０．９３３
を満足する、請求項１に記載のライトフィールド光学系。
０．５３３≦ｂ／ｆMLA≦０．９３３
を満足する、請求項１に記載のライトフィールド光学系。
【請求項3】
ａ＝０の場合、
０．６≦ｂ／ｆMLA≦０．８６７
を満足する、請求項１または２に記載のライトフィールド光学系。
０．６≦ｂ／ｆMLA≦０．８６７
を満足する、請求項１または２に記載のライトフィールド光学系。
【請求項4】
ａ＝０の場合、
０．６６７≦ｂ／ｆMLA≦０．７３３
を満足する、請求項１から３のいずれかに記載のライトフィールド光学系。
０．６６７≦ｂ／ｆMLA≦０．７３３
を満足する、請求項１から３のいずれかに記載のライトフィールド光学系。
【請求項5】
ａ＜０の場合、
－３．３３≦ａ／ｆMLA＜０
を満足する、請求項１に記載のライトフィールド光学系。
－３．３３≦ａ／ｆMLA＜０
を満足する、請求項１に記載のライトフィールド光学系。
【請求項6】
ａ＜０の場合、
－２．６７≦ａ／ｆMLA＜０
を満足する、請求項１または５に記載のライトフィールド光学系。
－２．６７≦ａ／ｆMLA＜０
を満足する、請求項１または５に記載のライトフィールド光学系。
【請求項7】
請求項１から６のいずれかに記載のライトフィールド光学系と、
前記ライトフィールド光学系によって取得された物体の像から三次元像を再構成する画像処理部と、を備え、
前記マイクロレンズアレイの個々の前記マイクロレンズに対応して前記イメージセンサ上に形成される像をマイクロレンズ像としたとき、
前記画像処理部は、前記対物レンズの物体側焦点面からの、前記物体の観察中心のずれ量と、前記マイクロレンズアレイにおける前記マイクロレンズのピッチと、予め設定された前記対物レンズの倍率と、前記距離ａと、前記距離ｂとに基づいて、前記物体の同一位置から射出されて前記メインレンズを介して前記イメージセンサに到達する複数の光線の、前記イメージセンサ上での間隔を求め、前記間隔に基づいて、隣り合う前記マイクロレンズ像に含まれる要素画像同士を重ね合わせる、ライトフィールド画像処理システム。
前記ライトフィールド光学系によって取得された物体の像から三次元像を再構成する画像処理部と、を備え、
前記マイクロレンズアレイの個々の前記マイクロレンズに対応して前記イメージセンサ上に形成される像をマイクロレンズ像としたとき、
前記画像処理部は、前記対物レンズの物体側焦点面からの、前記物体の観察中心のずれ量と、前記マイクロレンズアレイにおける前記マイクロレンズのピッチと、予め設定された前記対物レンズの倍率と、前記距離ａと、前記距離ｂとに基づいて、前記物体の同一位置から射出されて前記メインレンズを介して前記イメージセンサに到達する複数の光線の、前記イメージセンサ上での間隔を求め、前記間隔に基づいて、隣り合う前記マイクロレンズ像に含まれる要素画像同士を重ね合わせる、ライトフィールド画像処理システム。
【請求項8】
前記マイクロレンズのピッチをＭＬＰ（ｍｍ）とし、
前記間隔をΔ（ｍｍ）とし、
前記対物レンズの物体側焦点面からの、前記物体の観察中心のずれ量をｄOBJ（ｍｍ）とし、
前記対物レンズの倍率をＭとしたとき、
前記画像処理部は、以下の式（Ａ）に基づいて、前記間隔Δを求める、請求項７に記載のライトフィールド画像処理システム；
Δ＝ＭＬＰ＊｛１－（ｂ／（ｄOBJ＊Ｍ2－ａ）｝ ・・・（Ａ）
である。
前記間隔をΔ（ｍｍ）とし、
前記対物レンズの物体側焦点面からの、前記物体の観察中心のずれ量をｄOBJ（ｍｍ）とし、
前記対物レンズの倍率をＭとしたとき、
前記画像処理部は、以下の式（Ａ）に基づいて、前記間隔Δを求める、請求項７に記載のライトフィールド画像処理システム；
Δ＝ＭＬＰ＊｛１－（ｂ／（ｄOBJ＊Ｍ2－ａ）｝ ・・・（Ａ）
である。
【請求項9】
前記マイクロレンズ像に含まれる前記要素画像の一辺の大きさをＥＩLとしたとき、
前記画像処理部は、以下の式（Ｂ）に基づいて、距離ΔＥＩを求め、隣り合う一方の要素画像に対して他方の要素画像を前記距離ΔＥＩだけずらすことにより、前記要素画像同士を重ね合わせる、請求項８に記載のライトフィールド画像処理システム；
ΔＥＩ＝Δ－（ＭＬＰ－ＥＩL） ・・・（Ｂ）
である。
前記画像処理部は、以下の式（Ｂ）に基づいて、距離ΔＥＩを求め、隣り合う一方の要素画像に対して他方の要素画像を前記距離ΔＥＩだけずらすことにより、前記要素画像同士を重ね合わせる、請求項８に記載のライトフィールド画像処理システム；
ΔＥＩ＝Δ－（ＭＬＰ－ＥＩL） ・・・（Ｂ）
である。
【請求項10】
前記画像処理部は、隣り合う前記要素画像同士の重ね合わせを、前記ずれ量の異なる値ごとに行う、請求項７から９のいずれかに記載のライトフィールド画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ライトフィールド光学系と、そのライトフィールド光学系を備えたライトフィールド画像処理システムとに関する。
【背景技術】
【0002】
ライトフィールド光学系を用いた物体の観察システムは、シングルショットで、すなわち１回の撮影で、物体の三次元像を取得することができる点で非常に有用である。上記ライトフィールド光学系は、例えば非特許文献１～４に代表されるように、従来種々提案されている。
【0003】
非特許文献１～３のライトフィールド光学系は、物体からの光を、メインレンズおよびマイクロレンズアレイを介してイメージセンサに導く点で共通している。ただし、メインレンズ、マイクロレンズアレイ、イメージセンサの配置位置に関する条件は互いに異なる。非特許文献４のライトフィールド光学系は、メインレンズとマイクロレンズアレイとの間にリレーレンズを配置し、マイクロレンズアレイの各マイクロレンズを、イメージセンサ上に物体の像を結像するための結像レンズとして用いている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】“Light Field Microscopy”, Marc Levoy et al., ACM Transactions on Graphics 25(3), Proc. SIGGRAPH 2006
【非特許文献2】“The Focused Plenoptic Camera”, Andrew Lumsdaine et al., 2009 IEEE International Conference on Computational Photography (ICCP)
【非特許文献3】“Reducing Plenoptic Camera Artifacts”, Haoyu Li et al., 2019 BIOMEDICAL OPTICS EXPRESS 29
【非特許文献4】“Resolution improvements in integral microscopy with Fourier plane recording”, A. Llavador et al., 2016 OPTICS EXPRESS 20792
【発明の概要】
【発明が解決しようとする課題】
【0005】
ライトフィールド光学系を用いた観察システムでは、イメージセンサで取得される物体像、つまり、イメージセンサで取得される各マイクロレンズ像内に形成される物体像を用いることにより、物体の三次元再構成像（以下、「三次元像」とも記載）を取得することができる。このとき、メインレンズに含まれる対物レンズの光軸方向において、物体の観察中心の位置によっては、イメージセンサで取得される、各マイクロレンズによって形成される物体像がぼやける場合がある。物体の三次元像を高分解能で（高解像度で）取得するためには、上記物体像のぼやけを低減して、上記物体像を高分解能で取得することが必要である。そのためには、デコンボリューション（ぼやけを解消した物体像を復元する処理）が必要となる。
【0006】
この点、非特許文献１～３のライトフィールド光学系では、物体像を高分解能で取得できる物体の被写界深度が浅い（この点の詳細な理由については後述する）。このため、物体の観察中心が、対物レンズの物体側焦点面（ＮＯＰ：Native Object Plane）からずれた位置にあるときに、基本的に上記のデコンボリューションが必要となる。しかし、通常、デコンボリューションの計算負荷は高く、三次元像の取得には時間を要するため、三次元像の即時性のあるリアルタイムな確認が困難である。したがって、簡易な（低負荷な）方法で、物体像を高分解能で取得できるようにすることが望ましい。
【0007】
また、非特許文献４のライトフィールド光学系では、対物レンズを部分的に通過する光のみが、リレーレンズを介してマイクロレンズアレイのいずれかのマイクロレンズに入射することなり、対物レンズのＮＡ（開口数）を最大限に活かしきれていない（この点の詳細についても後述する）。このため、マイクロレンズアレイを構成するマイクロレンズの数をｎ個とすると、１つのマイクロレンズによる回折限界の分解能は、対物レンズのＮＡの１／ｎとなってしまう。
【0008】
ここで、画像信号を空間的にサンプリング（標本化）する際に、サンプリング周波数の１／２よりも高い周波数の信号をサンプリングすると、サンプリングした際に折り返し歪みが発生してしまい、再生時に元の信号が忠実に再現されない。このように折り返し歪みが発生する限界のことを、ここでは「ナイキストリミット」と呼ぶ。そして、分解能がナイキストリミットによって決まることを、「ナイキストリミット支配」と呼ぶ。これに対して、分解能が対物レンズのＮＡによって決まることを、「ＮＡ支配」と呼ぶ。非特許文献４のライトフィールド光学系では、１つのマイクロレンズによる回折限界の分解能が対物レンズのＮＡの１／ｎとなることから、結果的に、ナイキストリミット支配であった分解能がＮＡ支配の分解能となり、分解能の低下を余儀なくされる。
【0009】
本発明は、上記の問題点を解決するためになされたものであり、その目的は、複雑な復元処理を必要とすることなく、また、対物レンズの最大開口数を活かしながら、深い被写界深度で物体像を高分解能で得ることができるライトフィールド光学系と、そのライトフィールド光学系を備えたライトフィールド画像処理システムとを提供することにある。
【課題を解決するための手段】
【0010】
本発明の一側面に係るライトフィールド光学系は、メインレンズと、複数のマイクロレンズを二次元的に配置したマイクロレンズアレイと、前記メインレンズおよび前記マイクロレンズアレイを介して物体の像を取得するイメージセンサと、を備え、前記メインレンズは、物体側から像側に向かって順に配置される対物レンズおよび結像レンズを含み、前記物体側から前記像側に向かう方向を正として、前記結像レンズの像側焦点面から前記マイクロレンズの中心までの距離をａ（ｍｍ）とし、前記マイクロレンズの中心から前記イメージセンサまでの距離をｂ（ｍｍ）とし、前記マイクロレンズの像側焦点距離をｆMLA（ｍｍ）としたとき、
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する。
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する。
【0011】
本発明の他の側面に係るライトフィールド画像処理システムは、上記のライトフィールド光学系と、前記ライトフィールド光学系によって取得された物体の像から三次元像を再構成する画像処理部と、を備え、前記マイクロレンズアレイの個々の前記マイクロレンズを介して前記イメージセンサで取得される前記物体の像をマイクロレンズ像としたとき、前記画像処理部は、前記対物レンズの物体側焦点面からの、前記物体の観察中心のずれ量と、前記マイクロレンズアレイにおける前記マイクロレンズのピッチと、予め設定された前記対物レンズの倍率と、前記距離ａと、前記距離ｂとに基づいて、前記物体の同一位置から射出されて前記メインレンズを介して前記イメージセンサに到達する複数の光線の、前記イメージセンサ上での間隔を求め、前記間隔に基づいて、隣り合う前記マイクロレンズ像に含まれる要素画像同士を重ね合わせる。
【発明の効果】
【0012】
本発明によれば、複雑な復元処理を必要とすることなく、また、対物レンズの最大開口数を活かしながら、深い被写界深度で物体像を高分解能で得ることができる。
【図面の簡単な説明】
【0013】
【図1】本発明の実施の一形態に係るライトフィールド光学系の概略の構成を示す説明図である。
【図2】非特許文献１に記載のライトフィールド光学系の概略の構成を示す説明図である。
【図3】非特許文献２に記載のライトフィールド光学系の概略の構成を示す説明図である。
【図4】非特許文献３に記載のライトフィールド光学系の概略の構成を示す説明図である。
【図5】非特許文献４に記載のライトフィールド光学系の概略の構成を示す説明図である。
【図6】三次元座標系において、各光学系が満足する条件を表す領域を模式的に示す説明図である。
【図7】二次元座標系において、上記領域を模式的に示す説明図である。
【図8】ｂ＝１．４ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図9】ｂ＝１．３ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図10】ｂ＝１．２ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図11】ｂ＝１．１ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図12】ｂ＝１．０ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図13】ｂ＝０．９ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図14】ｂ＝０．８ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図15】ａ＝－５ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図16】ａ＝－４ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図17】ａ＝－２ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図18】ａ＝－１ｍｍのときに得られるカメラの撮影画像を示す説明図である。
【図19】本発明の実施の一形態に係るライトフィールド光学系を備えたライトフィールド画像処理システムの構成を示すブロック図である。
【図20】上記システムで用いられるレンダリング処理の流れを示すフローチャートである。
【図21】イメージセンサで取得された画像を少なくとも示す説明図である。
【図22】上記システムの光学系における各パラメータの幾何学的関係を模式的に示す説明図である。
【図23】隣り合う３つのマイクロレンズ像と、各マイクロレンズ像に含まれる要素画像とを模式的に示す説明図である。
【図24】ＰＱアレイと呼ばれる行列の一例を示す説明図である。
【図26】イメージセンサで取得される各マイクロレンズ像と、従来のレンダリング技術によって得られるリフォーカス像とを模式的に示す説明図である。
【図27】上記各マイクロレンズ像と、上記システムでのレンダリング技術によって得られるリフォーカス像とを模式的に示す説明図である。
【発明を実施するための形態】
【0014】
〔１．ライトフィールド光学系の構成および光学配置について〕
図１は、本発明の実施形態に係るライトフィールド光学系１０（以下、単に「光学系１０」とも称する）の概略の構成を示す説明図である。光学系１０は、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備える。
図１は、本発明の実施形態に係るライトフィールド光学系１０（以下、単に「光学系１０」とも称する）の概略の構成を示す説明図である。光学系１０は、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備える。
【0015】
メインレンズ１は、対物レンズ１１および結像レンズ１２を含む。対物レンズ１１および結像レンズ１２は、物体側から像側に向かってこの順で配置される。マイクロレンズアレイ２は、複数のマイクロレンズ２ａを二次元的に配置して構成される。イメージセンサ３は、メインレンズ１およびマイクロレンズアレイ２を介して物体の像（物体像）を取得するセンサである。
【0016】
ここで、物体側から像側に向かう方向を正としたとき、各パラメータを以下のように定義する。
ａ：結像レンズ１２の像側焦点面からマイクロレンズ２ａの中心までの距離（ｍｍ）
ｂ：マイクロレンズ２ａの中心からイメージセンサ３までの距離（ｍｍ）
ｆMLA：マイクロレンズ２ａの像側焦点距離であって、マイクロレンズ２ａの中心からマイクロレンズアレイ２の像側焦点面までの距離（ｍｍ）
ｄOBJ：対物レンズ１１の物体側焦点面からの、物体（試料）の観察中心Ｏのずれ量（ｍｍ）
Ｍ：対物レンズ１１の倍率
ｆOL：対物レンズ１１の物体側焦点距離（ｍｍ）
ｆTL：結像レンズ１２の像側焦点距離（ｍｍ）
なお、結像レンズ１２の像側焦点面のことを、Ｔ－ＮＩＰ（Native Image Plane）とも称する。マイクロレンズアレイ２の像側焦点面のことを、Ｍ－ＮＩＰとも称する。対物レンズ１１の物体側焦点面のことを、ＮＯＰ（Native Object Plane）とも称する。
ａ：結像レンズ１２の像側焦点面からマイクロレンズ２ａの中心までの距離（ｍｍ）
ｂ：マイクロレンズ２ａの中心からイメージセンサ３までの距離（ｍｍ）
ｆMLA：マイクロレンズ２ａの像側焦点距離であって、マイクロレンズ２ａの中心からマイクロレンズアレイ２の像側焦点面までの距離（ｍｍ）
ｄOBJ：対物レンズ１１の物体側焦点面からの、物体（試料）の観察中心Ｏのずれ量（ｍｍ）
Ｍ：対物レンズ１１の倍率
ｆOL：対物レンズ１１の物体側焦点距離（ｍｍ）
ｆTL：結像レンズ１２の像側焦点距離（ｍｍ）
なお、結像レンズ１２の像側焦点面のことを、Ｔ－ＮＩＰ（Native Image Plane）とも称する。マイクロレンズアレイ２の像側焦点面のことを、Ｍ－ＮＩＰとも称する。対物レンズ１１の物体側焦点面のことを、ＮＯＰ（Native Object Plane）とも称する。
【0017】
本実施形態の光学系１０は、以下の条件を満足する。すなわち、
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する。以下では、上記の条件をまとめて、条件（１）とも呼ぶ。
ａ＝０の場合、
ｂ＜ｆMLA、
を満足し、
ａ＜０の場合、
（１／ａ＋１／ｂ）＜１／ｆMLA
を満足する。以下では、上記の条件をまとめて、条件（１）とも呼ぶ。
【0018】
条件（１）を満足することにより、デコンボリューションなどの複雑な復元処理を必要とすることなく、また、対物レンズ１１の最大開口数を活かしながら、深い被写界深度で物体像を高分解能で得ることができる。なお、その効果が得られる理由の詳細については後述する。
【0019】
以下、本実施形態の光学系１０の光学配置による効果について説明する前に、ライトフィールド光学系を考える上で重要となる要素について説明し、さらに、本実施形態の光学系１０との比較のために、非特許文献１～４のライトフィールド光学系の詳細について説明する。
【0020】
〔２．ライトフィールド光学系を考える上で重要となる要素〕
ライトフィールド光学系を考える上で重要となる要素は、２つ存在する。１つ目の要素は、物体の観察中心Ｏがどのような位置にあるときに、観察中心Ｏからの光がマイクロレンズアレイ２を介してイメージセンサ３に到達して、イメージセンサ３で結像するのかという点である。２つ目の要素は、マイクロレンズ内像の倍率は、物体の観察中心Ｏの位置に対してどのように変化するのかという点である。
ライトフィールド光学系を考える上で重要となる要素は、２つ存在する。１つ目の要素は、物体の観察中心Ｏがどのような位置にあるときに、観察中心Ｏからの光がマイクロレンズアレイ２を介してイメージセンサ３に到達して、イメージセンサ３で結像するのかという点である。２つ目の要素は、マイクロレンズ内像の倍率は、物体の観察中心Ｏの位置に対してどのように変化するのかという点である。
【0021】
なお、「マイクロレンズ内像」とは、イメージセンサ３で取得される一つ一つのマイクロレンズ像の中に形成される物体の像を指す。また、「マイクロレンズ像」とは、１つのマイクロレンズ２ａに対応してイメージセンサ３上に形成される像を指す。すなわち、「マイクロレンズ像」とは、物体から射出された光が１つのマイクロレンズ２ａに対して様々な角度で入射してそこを通過し、イメージセンサ３に到達することにより、イメージセンサ３上に形成される像を指す。以下では、「マイクロレンズ内像」のことを、「マイクロレンズ像」と区別する意味で、「ＭＬ内像」とも記載する。上記した２つの要素は両方とも、ライトフィールド光学系の分解能に大きな影響を及ぼす。
【0022】
１つ目の要素についてさらに説明すると、通常の顕微鏡でも言えるように、基本的にイメージセンサ上に結像していない像はぼやけているため、それによって分解能は低下してしまう。このため、ライトフィールド光学系を用いた顕微鏡においても、マイクロレンズアレイを通過した光によってイメージセンサ上に形成される像を用いて、物体の三次元像の再構成を行う原理上、マイクロレンズ像（またはＭＬ内像）が強い非結像状態であれば、再構成された像も非結像状態となってしまい、分解能が低下する。したがって、どのような結像状態を利用しているかを理解することは、分解能がなぜ低下するのかを理解するためにも重要である。
【0023】
２つ目の要素についてさらに説明すると、ＭＬ内像の最終倍率も、物体の三次元像の分解能に直接影響を与える。以下の数１式で示すように、ＭＬ内像の最終倍率Ｍfinalは、対物レンズ１１の倍率Ｍと、ＭＬ内像の倍率ＭMLAとの積で表される。対物レンズ１１の倍率Ｍは一定であるが、ＭＬ内像の倍率ＭMLAは、物体の観察中心Ｏの位置に応じて変化する。つまり、物体の観察中心Ｏの位置がＮＯＰからずれることにより、結果的に、Ｔ－ＮＩＰの位置がｄOBJ＊Ｍ2だけずれるため、ＭＬ内像の倍率ＭMLAが変化する。なお、「＊」の記号は積を表す。
【0024】
【数1】
【0025】
メインレンズ１の物界中でのイメージセンサ３の大きさが回折限界を超える場合、ＭＬ内像の画素サイズの標本化定理により分解能が支配（規定）される。ＭＬ内像の最終倍率Ｍfinalが小さくなると、イメージセンサ３の物界中でのセンサーサイズの粗大化に起因して、高周波情報が取り扱えなくなってしまい、標本化定理によって規定される分解能が低下する。このため、ＭＬ内像の最終倍率Ｍfinalの低下を極力抑えた光学系を実現することが望ましく、そのためには、ＭＬ内像の倍率ＭMLAの低下を極力抑えた光学系を実現することが望ましい。
【0026】
〔３．非特許文献のライトフィールド光学系の詳細〕
次に、非特許文献１～４のライトフィールド光学系の詳細について説明する。併せて、各ライトフィールド光学系において、上記した重要な２つの要素（結像状態、ＭＬ内像の倍率変化）についても言及する。なお、説明の便宜上、本実施形態のライトフィールド光学系１０と同一の機能を有する部材には、同一の部材番号を付記する。
次に、非特許文献１～４のライトフィールド光学系の詳細について説明する。併せて、各ライトフィールド光学系において、上記した重要な２つの要素（結像状態、ＭＬ内像の倍率変化）についても言及する。なお、説明の便宜上、本実施形態のライトフィールド光学系１０と同一の機能を有する部材には、同一の部材番号を付記する。
【0027】
（３－１．非特許文献１のライトフィールド光学系）
図２は、非特許文献１のライトフィールド光学系１０ａ（以下、単に「光学系１０ａ」とも称する）の概略の構成を示す説明図である。光学系１０ａは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ａは、以下の条件（１ａ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ＝０、ｂ＝ｆMLA、 ・・・（１ａ）
である。
図２は、非特許文献１のライトフィールド光学系１０ａ（以下、単に「光学系１０ａ」とも称する）の概略の構成を示す説明図である。光学系１０ａは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ａは、以下の条件（１ａ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ＝０、ｂ＝ｆMLA、 ・・・（１ａ）
である。
【0028】
《結像状態について》
条件（１ａ）を満足する光学配置では、物体の観察中心Ｏとみなせる点光源が対物レンズ１１に無限に近づくときに（点光源と対物レンズ瞳との距離がゼロであるときに）、イメージセンサ３に結像する状態となる。言い換えれば、点光源からの光が、対物レンズ１１を含むメインレンズ１と、マイクロレンズアレイ２とを通過してイメージセンサ３に到達するとき、上記光が対物レンズ１１のどの位置を通過しても、イメージセンサ３で結像しない。その結果、イメージセンサ３で取得される一つ一つのマイクロレンズ像の中に、ぼやけた物体像（ＭＬ内像）が形成される。このため、物体の三次元像を高分解能で取得するためには、デコンボリューション（ぼやけを解消した物体像を復元する処理）が必須となる。しかし、この方法では計算負荷が高いため、三次元像の取得までに数分以上要し、撮影から三次元像の確認までの即時性が損なわれる。ひいては、例えば生物試料観察では、得られた三次元像をもとに即座に細胞機能の操作や新たな観察を実施する前に細胞が移動してしまうなどの問題に繋がり、スループットの高い即時的な実験が難しいという課題がある。
条件（１ａ）を満足する光学配置では、物体の観察中心Ｏとみなせる点光源が対物レンズ１１に無限に近づくときに（点光源と対物レンズ瞳との距離がゼロであるときに）、イメージセンサ３に結像する状態となる。言い換えれば、点光源からの光が、対物レンズ１１を含むメインレンズ１と、マイクロレンズアレイ２とを通過してイメージセンサ３に到達するとき、上記光が対物レンズ１１のどの位置を通過しても、イメージセンサ３で結像しない。その結果、イメージセンサ３で取得される一つ一つのマイクロレンズ像の中に、ぼやけた物体像（ＭＬ内像）が形成される。このため、物体の三次元像を高分解能で取得するためには、デコンボリューション（ぼやけを解消した物体像を復元する処理）が必須となる。しかし、この方法では計算負荷が高いため、三次元像の取得までに数分以上要し、撮影から三次元像の確認までの即時性が損なわれる。ひいては、例えば生物試料観察では、得られた三次元像をもとに即座に細胞機能の操作や新たな観察を実施する前に細胞が移動してしまうなどの問題に繋がり、スループットの高い即時的な実験が難しいという課題がある。
【0029】
《ＭＬ内像の倍率変化について》
光学系１０ａでは、ａ＝０であるため、後述する非特許文献２および３のライトフィールド光学系（ａ＜０）と比べると、ＭＬ内像の最終倍率Ｍfinalの低下を抑えることができるような、ＮＯＰからの観察中心Ｏのずれの許容範囲が、対物レンズ１１の光軸方向（以下、便宜的に「Ｚ方向」とも呼ぶ）において比較的長距離に渡って確保される。これは、数１式より、ａ＝０の場合、ＭＬ内像の倍率ＭMLAを規定するｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値が、ａ＜０の場合よりも小さくなり、ＭＬ内像の倍率ＭMLAの低下が抑えられるためである。
光学系１０ａでは、ａ＝０であるため、後述する非特許文献２および３のライトフィールド光学系（ａ＜０）と比べると、ＭＬ内像の最終倍率Ｍfinalの低下を抑えることができるような、ＮＯＰからの観察中心Ｏのずれの許容範囲が、対物レンズ１１の光軸方向（以下、便宜的に「Ｚ方向」とも呼ぶ）において比較的長距離に渡って確保される。これは、数１式より、ａ＝０の場合、ＭＬ内像の倍率ＭMLAを規定するｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値が、ａ＜０の場合よりも小さくなり、ＭＬ内像の倍率ＭMLAの低下が抑えられるためである。
【0030】
（３－２．非特許文献２のライトフィールド光学系）
図３は、非特許文献２のライトフィールド光学系１０ｂ（以下、単に「光学系１０ｂ」とも称する）の概略の構成を示す説明図である。光学系１０ｂは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｂは、以下の条件（１ｂ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ≠０（ａ＜０）、かつ、１／ａ＋１／ｂ＝１／ｆMLA ・・・（１ｂ）
である。なお、基本的にａ＜０であるため、１／ａ＋１／ｂ＝１／ｆMLA（レンズの公式）を満足するためには、ｂ＜ｆMLAであることが必要となる。
図３は、非特許文献２のライトフィールド光学系１０ｂ（以下、単に「光学系１０ｂ」とも称する）の概略の構成を示す説明図である。光学系１０ｂは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｂは、以下の条件（１ｂ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ≠０（ａ＜０）、かつ、１／ａ＋１／ｂ＝１／ｆMLA ・・・（１ｂ）
である。なお、基本的にａ＜０であるため、１／ａ＋１／ｂ＝１／ｆMLA（レンズの公式）を満足するためには、ｂ＜ｆMLAであることが必要となる。
【0031】
光学系１０ｂでは、物体の観察中心ＯがＮＯＰに存在し、そこから光が射出された際に、事前にレンズの公式が成り立つ距離ａだけ、マイクロレンズアレイ２をＴ－ＮＩＰの位置から物体側に遠ざけるように配置している。そして、レンズの公式（１／ａ＋１／ｂ＝１／ｆMLA）から決定される距離ｂだけ、マイクロレンズ２ａの中心から像側に離れた位置に、イメージセンサ３を配置している。
【0032】
《結像状態について》
光学系１０ｂのような光学配置では、図３のように、物体の観察中心ＯがＮＯＰに位置する場合に、イメージセンサ３上で最も高コントラスな像が得られることとなる。しかし、物体の観察中心Ｏが対物レンズ１１に近づくような場合、イメージセンサ３よりも後ろに、つまり、イメージセンサ３に対して対物レンズ１１とは反対側に、結像面が生成されてしまう。この場合、イメージセンサ３よりも前に、つまり、イメージセンサ３に対して対物レンズ１１側で結像する場合よりも、結像された像のＳＮ比（signal-to-noise ratio）が著しく劣化することがわかっている。このため、光学系１０ｂでは、物体の観察中心ＯがＮＯＰに位置する場合において最も高分解能な物体像が得られ、かつ、デコンボリューションを行う必要がないというメリットがあるものの、観察可能な被写界深度が著しく浅いというデメリットが存在する。そのため、例えば生物試料の観察へのアプリケーションにおいては、二次元スライス像に類似した観察結果しか得られないという課題がある。
光学系１０ｂのような光学配置では、図３のように、物体の観察中心ＯがＮＯＰに位置する場合に、イメージセンサ３上で最も高コントラスな像が得られることとなる。しかし、物体の観察中心Ｏが対物レンズ１１に近づくような場合、イメージセンサ３よりも後ろに、つまり、イメージセンサ３に対して対物レンズ１１とは反対側に、結像面が生成されてしまう。この場合、イメージセンサ３よりも前に、つまり、イメージセンサ３に対して対物レンズ１１側で結像する場合よりも、結像された像のＳＮ比（signal-to-noise ratio）が著しく劣化することがわかっている。このため、光学系１０ｂでは、物体の観察中心ＯがＮＯＰに位置する場合において最も高分解能な物体像が得られ、かつ、デコンボリューションを行う必要がないというメリットがあるものの、観察可能な被写界深度が著しく浅いというデメリットが存在する。そのため、例えば生物試料の観察へのアプリケーションにおいては、二次元スライス像に類似した観察結果しか得られないという課題がある。
【0033】
《ＭＬ内像の倍率変化について》
光学系１０ｂでは、事前に距離ａだけ、マイクロレンズアレイ２をＴ－ＮＩＰから結像レンズ１２に近づけており、ａの値が負の方向に大きくなる。このため、数１式において、ＭＬ内像の倍率ＭMLAを規定するｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値が大きくなり、これによってＭＬ内像の最終倍率Ｍfinalが低下してしまう。したがって、光学系１０ａと比べて、初期段階から（観察中心ＯがＮＯＰに位置するときから）、ＭＬ内像の最終倍率Ｍfinalが低い。そして、ＮＯＰから物体の観察中心ＯがｄOBJだけずれると、ｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値がさらに大きくなるため、ＭＬ内像の最終倍率Ｍfinalがさらに低下する。このため、光学系１０ｂでは、物体の観察中心Ｏが特定の範囲に位置するときは、物体像が高分解能で得られるが、高分解能で観察可能な被写界深度が浅く、三次元観察能が低い。
光学系１０ｂでは、事前に距離ａだけ、マイクロレンズアレイ２をＴ－ＮＩＰから結像レンズ１２に近づけており、ａの値が負の方向に大きくなる。このため、数１式において、ＭＬ内像の倍率ＭMLAを規定するｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値が大きくなり、これによってＭＬ内像の最終倍率Ｍfinalが低下してしまう。したがって、光学系１０ａと比べて、初期段階から（観察中心ＯがＮＯＰに位置するときから）、ＭＬ内像の最終倍率Ｍfinalが低い。そして、ＮＯＰから物体の観察中心ＯがｄOBJだけずれると、ｂ／（ｄOBJ＊Ｍ2－ａ）の分母の値がさらに大きくなるため、ＭＬ内像の最終倍率Ｍfinalがさらに低下する。このため、光学系１０ｂでは、物体の観察中心Ｏが特定の範囲に位置するときは、物体像が高分解能で得られるが、高分解能で観察可能な被写界深度が浅く、三次元観察能が低い。
【0034】
（３－３．非特許文献３のライトフィールド光学系）
図４は、非特許文献３のライトフィールド光学系１０ｃ（以下、単に「光学系１０ｃ」とも称する）の概略の構成を示す説明図である。光学系１０ｃは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｃは、以下の条件（１ｃ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ≠０、かつ、１／ａ＋１／ｂ＞１／ｆMLA ・・・（１ｃ）
である。
図４は、非特許文献３のライトフィールド光学系１０ｃ（以下、単に「光学系１０ｃ」とも称する）の概略の構成を示す説明図である。光学系１０ｃは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｃは、以下の条件（１ｃ）を満足する点で、上記した条件（１）を満足する本実施形態の光学系１０とは異なる。すなわち、
ａ≠０、かつ、１／ａ＋１／ｂ＞１／ｆMLA ・・・（１ｃ）
である。
【0035】
《結像状態について》
光学系１０ｃでは、１／ａ＋１／ｂ＞１／ｆMLAを満足するように、ａの値に合わせてｂの値を変化させる。光学系１０ｃでは、高分解能可能な被写界深度は、光学系１０ｂに比べると高いものの、光学系１０ａに比べると低いことがわかっている。さらに、物体の観察中心ＯがＮＯＰに位置する場合でも、イメージセンサ３上では像が結像することはない。また、物体の観察中心Ｏが対物レンズ１１に近づくにつれて、光学系１０ｂほどではないが分解能の低下も生じる。このため、基本的にデコンボリューションを行わなければ、分解能向上の効果を期待することはできない。
光学系１０ｃでは、１／ａ＋１／ｂ＞１／ｆMLAを満足するように、ａの値に合わせてｂの値を変化させる。光学系１０ｃでは、高分解能可能な被写界深度は、光学系１０ｂに比べると高いものの、光学系１０ａに比べると低いことがわかっている。さらに、物体の観察中心ＯがＮＯＰに位置する場合でも、イメージセンサ３上では像が結像することはない。また、物体の観察中心Ｏが対物レンズ１１に近づくにつれて、光学系１０ｂほどではないが分解能の低下も生じる。このため、基本的にデコンボリューションを行わなければ、分解能向上の効果を期待することはできない。
【0036】
《ＭＬ内像の倍率変化について》
光学系１０ｃでは、光学系１０ｂと同様に、ａの値がゼロで無いため（ａの値が負であるため）、初期段階から（観察中心ＯがＮＯＰに位置するときから）、ＭＬ内像の最終倍率Ｍfinalが低い。そして、ＮＯＰから物体の観察中心ＯがｄOBJだけずれると、光学系１０ｂと同様に、ＭＬ内像の最終倍率Ｍfinalがさらに低下する。このため、光学系１０ｃでは、ＮＯＰに対する物体の観察中心Ｏの位置ずれによる分解能の低下が、光学系１０ａよりも大きい。
光学系１０ｃでは、光学系１０ｂと同様に、ａの値がゼロで無いため（ａの値が負であるため）、初期段階から（観察中心ＯがＮＯＰに位置するときから）、ＭＬ内像の最終倍率Ｍfinalが低い。そして、ＮＯＰから物体の観察中心ＯがｄOBJだけずれると、光学系１０ｂと同様に、ＭＬ内像の最終倍率Ｍfinalがさらに低下する。このため、光学系１０ｃでは、ＮＯＰに対する物体の観察中心Ｏの位置ずれによる分解能の低下が、光学系１０ａよりも大きい。
【0037】
（３－４．非特許文献４のライトフィールド光学系）
図５は、非特許文献４のライトフィールド光学系１０ｄ（以下、単に「光学系１０ｄ」とも称する）の概略の構成を示す説明図である。光学系１０ｄは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｄは、リレーレンズ４をさらに備える点で、本実施形態の光学系１０とは異なる。リレーレンズ４は、メインレンズ１とマイクロレンズアレイ２との間に配置される。このようなリレーレンズ４の配置により、マイクロレンズアレイ２の各マイクロレンズ２ａに、イメージセンサ３上に物体の像を結像するための結像レンズとしての機能を持たせている。なお、図５において、ｆRLは、リレーレンズ４の物体側焦点距離（ｍｍ）を指す。
図５は、非特許文献４のライトフィールド光学系１０ｄ（以下、単に「光学系１０ｄ」とも称する）の概略の構成を示す説明図である。光学系１０ｄは、メインレンズ１と、マイクロレンズアレイ２と、イメージセンサ３と、を備え、メインレンズ１が物体側から像側に向かって配置される対物レンズ１１および結像レンズ１２を含む点で、本実施形態の光学系１０と共通する。ただし、光学系１０ｄは、リレーレンズ４をさらに備える点で、本実施形態の光学系１０とは異なる。リレーレンズ４は、メインレンズ１とマイクロレンズアレイ２との間に配置される。このようなリレーレンズ４の配置により、マイクロレンズアレイ２の各マイクロレンズ２ａに、イメージセンサ３上に物体の像を結像するための結像レンズとしての機能を持たせている。なお、図５において、ｆRLは、リレーレンズ４の物体側焦点距離（ｍｍ）を指す。
【0038】
《結像状態について》
光学系１０ｄでは、上記のように各マイクロレンズ２ａを結像レンズと用いているため、イメージセンサ３上では、非常にクリアな物体像を取得することができる。しかし、このようなマイクロレンズアレイ２の使い方では、対物レンズ１１の開口数を最大で活かせていない。その理由は、図５において、マイクロレンズアレイ２からの光線を逆追跡してできる領域Ｒ０を見ると、容易に理解することができる。すなわち、ある点光源（観察中心Ｏ）から出た光は、マイクロレンズアレイ２の各マイクロレンズ２ａの大きさの制限を受けて、対物レンズ１１に部分的に入射する。このため、対物レンズ１１の部分開口に相当する光量がマイクロレンズアレイ２の１つのマイクロレンズ２ａに入射する。
光学系１０ｄでは、上記のように各マイクロレンズ２ａを結像レンズと用いているため、イメージセンサ３上では、非常にクリアな物体像を取得することができる。しかし、このようなマイクロレンズアレイ２の使い方では、対物レンズ１１の開口数を最大で活かせていない。その理由は、図５において、マイクロレンズアレイ２からの光線を逆追跡してできる領域Ｒ０を見ると、容易に理解することができる。すなわち、ある点光源（観察中心Ｏ）から出た光は、マイクロレンズアレイ２の各マイクロレンズ２ａの大きさの制限を受けて、対物レンズ１１に部分的に入射する。このため、対物レンズ１１の部分開口に相当する光量がマイクロレンズアレイ２の１つのマイクロレンズ２ａに入射する。
【0039】
このため、図５のように、例えば５つのマイクロレンズ２ａによって対物レンズ１１からの光をイメージセンサ３に導き、イメージセンサ３上で結像させる場合、１つのマイクロレンズ２ａの回折限界（分解能）は、対物レンズ１１のＮＡの１／５になってしまう。その結果、ナイキストリミット支配だった分解能が、対物レンズ１１のＮＡ支配となってしまい、結果的に分解能の低下が生じる。
【0040】
《ＭＬ内像の倍率変化について》
光学系１０ｄでは、他の光学系１０ａ～１０ｃに比べて、１０～１００倍以上大きなサイズのレンズを有するレンズアレイを、上記のマイクロレンズアレイ２として用いる。その理由は、小さなレンズを結像レンズ代わりに使用すると、ＭＬ内像の倍率が小さすぎて、物体を観察することができないためである。このため、光学系１０ｄでは、イメージセンサ全体を７分割するような大きなレンズを有するレンズアレイを配置する。
光学系１０ｄでは、他の光学系１０ａ～１０ｃに比べて、１０～１００倍以上大きなサイズのレンズを有するレンズアレイを、上記のマイクロレンズアレイ２として用いる。その理由は、小さなレンズを結像レンズ代わりに使用すると、ＭＬ内像の倍率が小さすぎて、物体を観察することができないためである。このため、光学系１０ｄでは、イメージセンサ全体を７分割するような大きなレンズを有するレンズアレイを配置する。
【0041】
この場合、レンズアレイの大きさは、イメージセンサ３の一辺の長さを３分割させた大きさに相当する。例えば一辺の長さが３０ｍｍであるイメージセンサ３を利用する場合、レンズアレイの直径は１０ｍｍとなる。したがって、レンズアレイの焦点距離は、レンズアレイの口径に合わせて、他の光学系１０ａ～１０ｃよりも１０倍以上大きな焦点距離となる。このため、物体の観察中心Ｏの位置がＺ方向に１００μｍ～２００μｍ程度変わったとしても、ＭＬ内像の最終倍率Ｍfinalの変化はほとんどなく、基本的にナイキストリミット支配となることが無いというメリットが存在する。
【0042】
〔４．本実施形態のライトフィールド光学系の光学配置による効果〕
上述した光学系１０ａ～１０ｄを踏まえて、図１で示した本実施形態の光学系１０の効果について説明する。本実施形態の光学系１０は、上述した条件（１）を満足する。まず、条件（１）において、ａ＝０の場合について考察する。
上述した光学系１０ａ～１０ｄを踏まえて、図１で示した本実施形態の光学系１０の効果について説明する。本実施形態の光学系１０は、上述した条件（１）を満足する。まず、条件（１）において、ａ＝０の場合について考察する。
【0043】
（ａ＝０の場合）
《結像状態について》
ａ＝０の場合、ｂ＜ｆMLAを満足する。なお、ｆMLAは、用いるマイクロレンズアレイ２によって決まる値であるが、ｂは、物体の観察中心Ｏ、すなわち、物体において最も高分解能で観察したいＺ方向の位置（ｄOBJ）に合わせて、ｂ＜ｆMLAを満足する値に設定されればよい。
《結像状態について》
ａ＝０の場合、ｂ＜ｆMLAを満足する。なお、ｆMLAは、用いるマイクロレンズアレイ２によって決まる値であるが、ｂは、物体の観察中心Ｏ、すなわち、物体において最も高分解能で観察したいＺ方向の位置（ｄOBJ）に合わせて、ｂ＜ｆMLAを満足する値に設定されればよい。
【0044】
物体の観察中心ＯがＮＯＰに位置する場合の分解能は、ａ＝０であるため、光学系１０ａと同様に、マイクロレンズアレイ２によって規定される値となる。物体の観察中心ＯがＮＯＰからＺ方向にずれて位置する場合の分解能は、光学系１０ａとは異なり、ｄOBJが正の方向に大きくなるにつれて向上していく。これは、光学系１０ａとは異なり、光学系１０では、ｂ＜ｆMLAとしたことにより、つまり、イメージセンサ３をＭ－ＮＩＰの位置からＴ－ＮＩＰに近づけたことにより、有限のｄOBJでイメージセンサ３に結像する状態を作製したことによる。このときの結像状態は、ｂが大きくなるにつれてコントラストが向上することになるので、光学系１０ｂおよび１０ｃのような、ｄOBJの増大に伴うコントラストの低下が抑えられる。また、光学系１０ｄのように、リレーレンズ４（図５参照）を配置せず、これによって対物レンズ１１の実効開口数の低下が生じないため、対物レンズ１１の高いＮＡを維持することができる。
【0045】
《ＭＬ内像の倍率変化について》
ａ＝０の場合、数１式で示したＭＬ内像の倍率ＭMLAを示す式の分母のａの値が０となるため、ａ≠０である光学系１０ｂおよび１０ｃに比べて、ｄOBJの変化に対する倍率ＭMLAの変化が比較的小さくなる。これにより、ｄOBJの変化に対するＭＬ内像の最終倍率Ｍfinalの変化が比較的小さくなる。このため、光学系１０では、光学系１０ｂおよび１０ｃよりも深い被写界深度を、対物レンズ１１の実効開口数を活かした形で得ることができる。なお、光学系１０ａでは、ｄOBJの変化に対して最終倍率Ｍfinalの低下が小さいものの、その低下がゼロではないため、光学系１０ｄに比べて、高分解能で観察可能な被写界深度は低下するが、光学系１０ｄのような対物レンズ１１の開口制限を受けることはない。
ａ＝０の場合、数１式で示したＭＬ内像の倍率ＭMLAを示す式の分母のａの値が０となるため、ａ≠０である光学系１０ｂおよび１０ｃに比べて、ｄOBJの変化に対する倍率ＭMLAの変化が比較的小さくなる。これにより、ｄOBJの変化に対するＭＬ内像の最終倍率Ｍfinalの変化が比較的小さくなる。このため、光学系１０では、光学系１０ｂおよび１０ｃよりも深い被写界深度を、対物レンズ１１の実効開口数を活かした形で得ることができる。なお、光学系１０ａでは、ｄOBJの変化に対して最終倍率Ｍfinalの低下が小さいものの、その低下がゼロではないため、光学系１０ｄに比べて、高分解能で観察可能な被写界深度は低下するが、光学系１０ｄのような対物レンズ１１の開口制限を受けることはない。
【0046】
（ａ＜０の場合）
ａ＜０の場合でも、ａおよびｄOBJに合わせて、（１／ａ＋１／ｂ）＜１／ｆMLAを満足するｂの値を適切に設定することにより、ａ＝０、ｂ＜ｆMLAのときと同様の結像状態およびＭＬ内像の倍率変化を実現することができる。その結果、ａ＝０、ｂ＜ｆMLAのときと同様の効果を得ることができる。このことは、後述の考察によって裏付けられる。
ａ＜０の場合でも、ａおよびｄOBJに合わせて、（１／ａ＋１／ｂ）＜１／ｆMLAを満足するｂの値を適切に設定することにより、ａ＝０、ｂ＜ｆMLAのときと同様の結像状態およびＭＬ内像の倍率変化を実現することができる。その結果、ａ＝０、ｂ＜ｆMLAのときと同様の効果を得ることができる。このことは、後述の考察によって裏付けられる。
【0047】
以上についてまとめると、以下の通りである。本実施形態の光学系１０の光学配置では、ａ＝０であっても、ａ＜０であっても、物体の観察中心Ｏが、ＮＯＰから有限の値（ｄOBJ）をとる位置にあるときに、物体像（ＭＬ内像）をイメージセンサ３に結像させる状態を作ることができる。また、イメージセンサ３で取得される物体像の最終倍率Ｍfinal、より詳しくは、イメージセンサ３で取得される一つ一つのマイクロレンズ像の中に形成される物体像（ＭＬ内像）の最終倍率は、前述の数１式のように、対物レンズ１１の倍率Ｍと、マイクロレンズ２ａによって規定される像倍率（倍率ＭMLA）との積で決まる。ａ＝０であっても、ａ＜０であっても、ａ、ｂ、ｆMLAが上記の関係にある場合、物体の観察中心ＯがＮＯＰからずれたときでも、ＭＬ内像の倍率ＭMLAの低下を抑えることができ、これによって、最終倍率Ｍfinalの低下を抑えることができる。その結果、標本化定理で規定される分解能低下を抑制することができ、ＮＯＰからｄOBJだけずれた位置を基準として深い被写界深度を得ることができる。
【0048】
つまり、光学系１０を構成する各部材の配置の工夫のみにより、光学系１０ａ～１０ｃを用いる場合には必要な、計算負荷の高いデコンボリューションを行う必要がないため、撮影からの即時的な三次元像の再構成が可能である。また、光学系１０ｄとは異なり、対物レンズ１１の最大開口数を活かしながら、高分解可能な物体像を深い被写界深度で得ることができる。
【0049】
〔５．ａおよびｂに関する望ましい条件について〕
次に、深い被写界深度を実現する上で望ましいａおよびｂに関する条件について、従来の光学系と比較しながら以下に説明する。
次に、深い被写界深度を実現する上で望ましいａおよびｂに関する条件について、従来の光学系と比較しながら以下に説明する。
【0050】
ａおよびｂに関する条件の異なる光学系１０、１０ａ～１０ｃを比較するにあたっては、異なるｆMLAをこれらの光学系で統一して考えることが必要である。そこで、本実施形態の光学系１０の上述した条件（１）、および従来の光学系１０ａ～１０ｃの上述した条件（１ａ）～（１ｃ）をｆMLAで規格化して考える。条件（１）、（１ａ）～（１ｃ）をｆMLAで規格化すると、以下の通りとなる。なお、条件（１）をｆMLAで規格化した後の条件を、条件（１’）とする。また、条件（１ａ）～（１ｃ）をｆMLAで規格化した後の条件をそれぞれ、条件（１ａ’）～（１ｃ’）とする。
【0051】
条件（１’）
ａ＝０の場合、
（ｂ／ｆMLA）＜１、
ａ＜０の場合、
ｆMLA＊（１／ａ＋１／ｂ）＜１
ａ＝０の場合、
（ｂ／ｆMLA）＜１、
ａ＜０の場合、
ｆMLA＊（１／ａ＋１／ｂ）＜１
【0052】
ａ＝０、ｂ／ｆMLA＝１ ・・・（１ａ’）
ａ≠０（ａ＜０）、ｆMLA＊（１／ａ＋１／ｂ）＝１ ・・・（１ｂ’）
ａ≠０、ｆMLA＊（１／ａ＋１／ｂ）＞１ ・・・（１ｃ’）
ａ≠０（ａ＜０）、ｆMLA＊（１／ａ＋１／ｂ）＝１ ・・・（１ｂ’）
ａ≠０、ｆMLA＊（１／ａ＋１／ｂ）＞１ ・・・（１ｃ’）
【0053】
各条件（１’）、（１ａ’）～（１ｃ’）において、ａ、ｂ、ｆMLAによって規定される左辺の値が、右辺の１を境界にどのように変化するかを三次元の座標軸上で表現することにより、条件（１）、（１ａ）～（１ｃ）の違いを理解することが容易となる。
【0054】
図６は、三次元座標系において、各光学系が満足する条件を表す領域を模式的に示す説明図である。図６では、ａ／ｆMLA、ｂ／ｆMLA、ｆMLA＊（１／ａ＋１／ｂ）を各座標軸として上記領域を示す。図６において、ｆMLA＊（１／ａ＋１／ｂ）＝１に相当する平面をＰとすると、平面Ｐ内で、ａ／ｆMLAおよびｂ／ｆMLAの値に応じて変化する曲線が、光学系１０ｂが満足する条件（１ｂ’）を表す領域となる。また、平面ＰよりもｆMLA＊（１／ａ＋１／ｂ）の値が大きい領域が、光学系１０ｃが満足する条件（１ｃ’）を表す領域となる。これに対して、平面ＰよりもｆMLA＊（１／ａ＋１／ｂ）の値が小さい領域が、本実施形態の光学系１０が満足する条件（１’）を表す領域となる。
【0055】
図７は、図６で示した各領域を二次元座標系で示した説明図である。同図からも、条件（１’）、（１ｂ’）および（１ｃ’）を表す領域を明確に把握することができる。なお、ａ＝０（すなわちａ／ｆMLA、＝０）で、ｂ＝ｆMLAとなる点が、条件（１ａ’）を表すことになる。
【0056】
（５－１．ｂ／ｆMLAの望ましい範囲について）
次に、本実施形態の光学系１０が満足する条件（１’）において、ｂ／ｆMLAの値と、ＭＬ内像を所定の分解能で得ることができる被写界深度（すなわちｄOBJの範囲）との関係について考察した。その結果を以下に示す。なお、ここでは、ｂ／ｆMLAの変化（つまり、ｂの変化）に対する高分解可能な被写界深度の変化を調べるため、ａの値を一定値（ａ＝０）に固定して考察を行った。
次に、本実施形態の光学系１０が満足する条件（１’）において、ｂ／ｆMLAの値と、ＭＬ内像を所定の分解能で得ることができる被写界深度（すなわちｄOBJの範囲）との関係について考察した。その結果を以下に示す。なお、ここでは、ｂ／ｆMLAの変化（つまり、ｂの変化）に対する高分解可能な被写界深度の変化を調べるため、ａの値を一定値（ａ＝０）に固定して考察を行った。
【0057】
まず、使用した光学部品および観察方法は、以下の通りである。
・カメラ（イメージセンサ）：浜松ホトニクス社製 オルカライトニング（pixel size＝５．５μｍ）
・対物レンズ：ミツトヨ社製 ＨＲｘ１０（ＷＤ：１５ｍｍ、ＮＡ：０．４２）
・マイクロレンズアレイ：ＲＰＣ Ｐｈｏｔｏｎｉｃｓ社製 マイクロレンズアレイ（ｆMLA＝１．５ｍｍ、Ｄ（レンズ直径）＝１００μｍ）
・観察方法および照明系：透過観察、クリティカル照明
・カメラ（イメージセンサ）：浜松ホトニクス社製 オルカライトニング（pixel size＝５．５μｍ）
・対物レンズ：ミツトヨ社製 ＨＲｘ１０（ＷＤ：１５ｍｍ、ＮＡ：０．４２）
・マイクロレンズアレイ：ＲＰＣ Ｐｈｏｔｏｎｉｃｓ社製 マイクロレンズアレイ（ｆMLA＝１．５ｍｍ、Ｄ（レンズ直径）＝１００μｍ）
・観察方法および照明系：透過観察、クリティカル照明
【0058】
確認方法としては、まず、ａ＝０である光学系１０ａを構築し、その後、ｂの値を１．５ｍｍから０．８ｍｍまで０．１ｍｍずつ小さくした。このとき、試料からカメラに向かう方向を、正方向に大きくなる方向とする。そして、ＮＯＰの位置をｄOBJ＝０μｍとしたとき、各ｂの値において、試料の位置（観察中心Ｏに対応）を、ｄOBJ＝１５０μｍの位置から１０μｍずつＮＯＰ側に変化させてカメラで試料を撮影し、試料を識別できるＺ方向の位置（ｄOBJ）がどのように変化するかを調べた。なお、試料を識別できるかどうかは、簡易的に目視によって判断した。そして、試料を識別できるＺ方向の深さ（Ｚ方向の幅）を、高分解可能な被写界深度とした。
【0059】
また、試料としては、第１パターンから第４パターンまでを横に並べたテストパターンを用いた。各パターンは、幅２μｍのバーを２μｍ間隔で平行に並べたパターンである。ここで、第１パターンは、縦バーを横方向に並べたものである。第２パターンは、第１パターンを９０°回転させたパターンである。第３パターンは、第１パターンを任意の方向に（例えば時計回りに）４５°回転させたパターンである。第４パターンは、第１パターンを同一方向に（例えば時計回りに）１３５°回転させたパターンである。
【0060】
【0061】
ｂ＝１．５ｍｍのとき、すなわち、ｂ＝ｆMLAのとき、試料を識別できる領域（ｄOBJのＺ方向の範囲）を確認することはできなかった。
【0062】
ｂ＝１．４ｍｍのとき、図８に示すように、ｄOBJ＝５０μｍのときに、試料の識別が可能であった。なお、図示はしないが、ｄOBJ＝４０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝１．４ｍｍのとき、すなわち、ｂ／ｆMLA＝１．４／１．５＝０．９３３のとき、高分解可能な被写界深度として、１０μｍ（＝５０μｍ－４０μｍ）を確保することができる。
【0063】
ｂ＝１．３ｍｍのとき、図９に示すように、ｄOBJ＝５０μｍおよび３０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝４０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝１．３ｍｍのとき、すなわち、ｂ／ｆMLA＝１．３／１．５＝０．８６７のとき、高分解可能な被写界深度として、２０μｍ（＝５０μｍ－３０μｍ）を確保することができる。
【0064】
ｂ＝１．２ｍｍのとき、図１０に示すように、ｄOBJ＝５０μｍおよび３０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝４０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝１．２ｍｍのとき、すなわち、ｂ／ｆMLA＝１．２／１．５＝０．８のとき、高分解可能な被写界深度として、２０μｍ（＝５０μｍ－３０μｍ）を確保することができる。
【0065】
ｂ＝１．１ｍｍのとき、図１１に示すように、ｄOBJ＝５０μｍおよび２０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝４０μｍ、およびｄOBJ＝３０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝１．１ｍｍのとき、すなわち、ｂ／ｆMLA＝１．１／１．５＝０．７３３のとき、高分解可能な被写界深度として、３０μｍ（＝５０μｍ－２０μｍ）を確保することができる。
【0066】
ｂ＝１．０ｍｍのとき、図１２に示すように、ｄOBJ＝５０μｍおよび２０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝４０μｍ、およびｄOBJ＝３０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝１．０ｍｍのとき、すなわち、ｂ／ｆMLA＝１．０／１．５＝０．６６７のとき、高分解可能な被写界深度として、３０μｍ（＝５０μｍ－２０μｍ）を確保することができる。
【0067】
ｂ＝０．９ｍｍのとき、図１３に示すように、ｄOBJ＝３０μｍおよび１０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝２０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ｂ＝０．９ｍｍのとき、すなわち、ｂ／ｆMLA＝０．９／１．５＝０．６のとき、高分解可能な被写界深度として、２０μｍ（＝３０μｍ－１０μｍ）を確保することができる。
【0068】
ｂ＝０．８ｍｍのとき、図１４に示すように、ｄOBJ＝２０μｍおよび１０μｍにおいて、試料の識別が可能であった。したがって、ｂ＝０．８ｍｍのとき、すなわち、ｂ／ｆMLA＝０．８／１．５＝０．５３３のとき、高分解可能な被写界深度として、１０μｍ（＝２０μｍ－１０μｍ）を確保することができる。
【0069】
以上のことから、本実施形態の光学系１０は、ａ＝０の場合、以下の条件を満足することが望ましいと言える。すなわち、
０．５３３≦ｂ／ｆMLA≦０．９３３
である。
０．５３３≦ｂ／ｆMLA≦０．９３３
である。
【0070】
【0071】
また、本実施形態の光学系１０は、ａ＝０の場合、以下の条件を満足することがより望ましいと言える。すなわち、
０．６≦ｂ／ｆMLA≦０．８６７
である。
０．６≦ｂ／ｆMLA≦０．８６７
である。
【0072】
【0073】
また、本実施形態の光学系１０は、ａ＝０の場合、以下の条件を満足することがさらに望ましいと言える。すなわち、
０．６６７≦ｂ／ｆMLA≦０．７３３
である。
０．６６７≦ｂ／ｆMLA≦０．７３３
である。
【0074】
【0075】
以上で示した、望ましいｂ／ｆMLAの範囲は、図７で示した二次元の座標軸において、破線Ｒ１で示す領域に対応する。
【0076】
（５－２．ａ／ｆMLAの望ましい範囲について）
次に、本実施形態の光学系１０が満足する条件（１’）において、ａ／ｆMLAの値と、ＭＬ内像を所定の分解能で得ることができる被写界深度（すなわちｄOBJの範囲）との関係について考察した。その結果を以下に示す。
次に、本実施形態の光学系１０が満足する条件（１’）において、ａ／ｆMLAの値と、ＭＬ内像を所定の分解能で得ることができる被写界深度（すなわちｄOBJの範囲）との関係について考察した。その結果を以下に示す。
【0077】
なお、ここでは、ａ／ｆMLAの変化（つまり、ａの変化）に対する高分解可能な被写界深度の変化を調べるため、ｂの値を一定値（ｂ＝ｆMLA＝１．５）に固定し、ａ＜０の範囲で考察を行った。なお、ａ＜０で、かつ、ｂ＝ｆMLAの条件では、（１／ａ＋１／ｂ）＜１／ｆMLAを満足することは明らかである。
【0078】
まず、使用した光学部品および観察方法は、以下の通りである。
・カメラ（イメージセンサ）：Ｂａｓｌｅｒ社製 ａｃＡ４０２４－２９ｕｍ
・対物レンズ：ミツトヨ社製 ＨＲｘ１０（ＷＤ：１５ｍｍ、ＮＡ：０．４２）
・マイクロレンズアレイ：松浪硝子社製 マイクロレンズアレイ（ｆMLA＝１．５ｍｍ、Ｄ（レンズ直径）＝１００μｍ）
・観察方法および照明系：透過観察、クリティカル照明
・カメラ（イメージセンサ）：Ｂａｓｌｅｒ社製 ａｃＡ４０２４－２９ｕｍ
・対物レンズ：ミツトヨ社製 ＨＲｘ１０（ＷＤ：１５ｍｍ、ＮＡ：０．４２）
・マイクロレンズアレイ：松浪硝子社製 マイクロレンズアレイ（ｆMLA＝１．５ｍｍ、Ｄ（レンズ直径）＝１００μｍ）
・観察方法および照明系：透過観察、クリティカル照明
【0079】
確認方法としては、まず、ａ＝０である光学系１０ａを構築し、その後、ａ＝－１０ｍｍとなる位置にマイクロレンズアレイを配置した。そして、ｂ＝１．５ｍｍと等価となるようにカメラを配置し、ｂ＝１．５ｍｍを維持しつつ、ａの値を、ａ＝－５ｍｍ、ａ＝－４ｍｍ、ａ＝－２ｍｍ、ａ＝－１ｍｍ、の順に変化させた。そして、各ａの値において、試料の位置（観察中心Ｏに対応）を、ＮＯＰからｄOBJ＝１００μｍの位置まで１０μｍずつ変化させてカメラで試料を撮影し、試料を識別できるＺ方向の位置（ｄOBJ）がどのように変化するかを調べた。なお、試料を識別できるかどうかは、簡易的に目視によって判断した。そして、試料を識別できるＺ方向の深さ（Ｚ方向の幅）を、高分解可能な被写界深度とした。また、試料としては、前述のテストパターンを用いた。
【0080】
【0081】
ａ＝－１０ｍｍのとき、試料を識別できる領域（ｄOBJのＺ方向の範囲）を確認することはできなかった。
【0082】
ａ＝－５ｍｍのとき、図１５に示すように、ｄOBJ＝１０μｍのときに、試料の識別が可能であった。なお、図示はしないが、ｄOBJ＝０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ａ＝－５ｍｍのとき、すなわち、ａ／ｆMLA＝－５／１．５＝－３．３３のとき、高分解可能な被写界深度として、１０μｍ（＝１０μｍ－０μｍ）を確保することができる。
【0083】
ａ＝－４ｍｍのとき、図１６に示すように、ｄOBJ＝０μｍ、およびｄOBJ＝３０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝１０μｍ、およびｄOBJ＝２０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ａ＝－４ｍｍのとき、すなわち、ａ／ｆMLA＝－４／１．５＝－２．６７のとき、高分解可能な被写界深度として、３０μｍ（＝３０μｍ－０μｍ）を確保することができる。
【0084】
ａ＝－２ｍｍのとき、図１７に示すように、ｄOBJ＝２０μｍ、およびｄOBJ＝５０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝３０μｍ、およびｄOBJ＝４０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ａ＝－２ｍｍのとき、すなわち、ａ／ｆMLA＝－２／１．５＝－１．３３のとき、高分解可能な被写界深度として、３０μｍ（＝５０μｍ－２０μｍ）を確保することができる。
【0085】
ａ＝－１ｍｍのとき、図１８に示すように、ｄOBJ＝２０μｍ、およびｄOBJ＝５０μｍにおいて、試料の識別が可能であった。また、図示はしないが、ｄOBJ＝３０μｍ、およびｄOBJ＝４０μｍにおいても、同様の画像が取得され、試料の識別が可能であった。したがって、ａ＝－１ｍｍのとき、すなわち、ａ／ｆMLA＝－１／１．５＝－０．６６７のとき、高分解可能な被写界深度として、３０μｍ（＝５０μｍ－２０μｍ）を確保することができる。
【0086】
以上のことから、本実施形態の光学系１０は、ａ＜０の場合、以下の条件を満足することが望ましいと言える。すなわち、
－３．３３≦ａ／ｆMLA＜０
である。
－３．３３≦ａ／ｆMLA＜０
である。
【0087】
【0088】
また、本実施形態の光学系１０は、ａ＜０の場合、以下の条件を満足することがより望ましいと言える。すなわち、
－２．６７≦ａ／ｆMLA＜０
である。
－２．６７≦ａ／ｆMLA＜０
である。
【0089】
【0090】
以上で示した、望ましいａ／ｆMLAの範囲は、図７で示した２次元の座標軸において、破線Ｒ２で示す領域に対応する。
【0091】
なお、ａ＝－１０ｍｍのとき、つまり、ａ／ｆMLA＝－６．６７のとき、試料を識別することができていないが、上記の実験例より、ａの値が－１０ｍｍから正方向に大きくなるにつれて、高分解可能な被写界深度を確保することができている。このことから、高分解可能な被写界深度を確保するためには、本実施形態の光学系１０は、少なくとも以下の条件を満足してもよいと言える。すなわち、
－６．６７＜ａ／ｆMLA＜０
である。
－６．６７＜ａ／ｆMLA＜０
である。
【0092】
〔６．レンダリングについて〕
次に、本実施形態の光学系１０のイメージセンサ３によって取得された個々のマイクロレンズ像から再構成画像を生成するレンダリング技術について説明する。
次に、本実施形態の光学系１０のイメージセンサ３によって取得された個々のマイクロレンズ像から再構成画像を生成するレンダリング技術について説明する。
【0093】
図１９は、本実施形態のライトフィールド画像処理システム（以下、「ＬＦシステム」とも称する）１００の構成を示すブロック図である。ＬＦシステム１００は、上述した本実施形態の光学系１０と、情報処理装置５０と、を備える。情報処理装置５０は、例えばパーソナルコンピュータで構成される。光学系１０と情報処理装置５０とは、通信回線（有線または無線）を介して通信可能に接続されている。したがって、情報処理装置５０は、インターネットなどの通信回線を介して接続されるサーバ（クラウドサーバを含む）であってもよい。
【0094】
情報処理装置５０は、制御部５１と、画像処理部５２と、入力部５３と、表示部５４と、記憶部５５と、通信部５６と、を備える。制御部５１は、記憶部５５に記憶された動作プログラムに従って動作し、情報処理装置５０の各部の動作を制御する。このような制御部５１は、ＣＰＵ（Central Processing Unit）と呼ばれる中央演算処理装置によって構成される。
【0095】
画像処理部５２は、光学系１０（特にイメージセンサ３）によって取得された物体の像から三次元像を再構成して取得する。画像処理部５２は、例えば制御部５１とは別個のまたは同一のＣＰＵで構成される。なお、画像処理部５２は、ＧＰＵ（Graphics Processing Unit）で構成されてもよい。ＧＰＵは、リアルタイムな画像処理に特化した演算処理装置である。
【0096】
入力部５３は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、ユーザによる各種の情報の入力を受け付ける。表示部５４は、例えば液晶表示装置で構成され、各種の情報を表示する。記憶部５５は、各種の情報および制御部５１の動作プログラムを記憶するメモリであり、例えばハードディスク、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、の少なくともいずれかを含んで構成される。通信部５６は、外部との間で情報を送受信するための通信インターフェースであり、入出力ポート、送信回路、受信回路、アンテナ、変調回路、復調回路などを含んで構成される。
【0097】
図２０は、本実施形態のレンダリング処理の流れを示すフローチャートである。まず、光学系１０のイメージセンサ３において、各マイクロレンズ像を取得する（Ｓ１）。図２１は、イメージセンサ３で取得された画像ＭＧを少なくとも示している。画像ＭＧは、個々のマイクロレンズ像ＭＩを含む。マイクロレンズ像ＭＩは、各マイクロレンズ２ａに対応してイメージセンサ３上に形成される像を指し、図２１では、破線の円形で示す領域で示す。なお、ここでは、例として、試料として、数字の「５」を記載したシートを任意のｄOBJの位置に配置したときに取得された画像ＭＧおよびマイクロレンズ像ＭＩを示す。
【0098】
画像ＭＧのデータがイメージセンサ３から情報処理装置５０に出力されると、表示部５４に画像ＭＧが表示される。画像処理部５２は、入力部５３によるユーザの手動入力に基づき（または自動で）、画像ＭＧに含まれるマイクロレンズ像ＭＩの傾き（回転）を補正する（Ｓ２）。
【0099】
次に、画像処理部５２は、画像ＭＧに含まれるマイクロレンズ像ＭＩから要素画像ＥＩ（Elemental Image）を抽出する（Ｓ３）。この要素画像ＥＩは、マイクロレンズ像ＭＩの中で、物体（試料）の像を形成し得る要素となる画像である。要素画像ＥＩの大きさは、マイクロレンズ像ＭＩよりも小さい大きさに予め設定可能である。なお、上述した「ＭＬ内像」は、図２１において、マイクロレンズ像ＭＩの中の特定部分（例えば数字の「５」を構成する部分）を指す点で、マイクロレンズ像ＭＩの中の一定の範囲を構成する要素画像ＥＩとは区別される。
【0100】
次に、ユーザが入力部５３を操作して、物体の観察中心Ｏの位置（ＮＯＰからのずれ量ｄOBJ）を入力すると（Ｓ４）、画像処理部５２は、物体の同一位置から射出されてメインレンズ１を介してイメージセンサ３に到達する複数の光線の、イメージセンサ３上での間隔Δ（ｍｍ）を求める（Ｓ５）。このときの間隔Δは、マイクロレンズ２ａの配列ピッチをＭＬＰ（ｍｍ）とし、予め設定された対物レンズ１１の倍率をＭとして、上記のｄOBJと、ＭＬＰと、倍率Ｍと、距離ａと、距離ｂとに基づいて求められる。
【0101】
図２２は、本実施形態の光学系１０における各パラメータの幾何学的関係を模式的に示す説明図である。図中の三角形ＡＢＣと三角形ＡＢ’Ｃ’とに着目したとき、三角形の相似関係より、
辺ＢＣ：辺Ｂ’Ｃ’＝辺ＣＡ：辺Ｃ’Ａ’
である。これをパラメータで示すと、
ＭＬＰ：Δ＝（ａ＋ｄOBJ＊Ｍ2）：（ａ＋ｄOBJ＊Ｍ2－ｂ）
となる。これをΔについて解くと、以下の数２式が得られる。なお、図２２では、幾何学的関係を示すために、ａを正の値で考えているが、物体側から像側に向かう方向を正とする場合は、ａを負の値で考える必要がある。このため、数２式では、最終的に、ａを－ａで置き換えている。
辺ＢＣ：辺Ｂ’Ｃ’＝辺ＣＡ：辺Ｃ’Ａ’
である。これをパラメータで示すと、
ＭＬＰ：Δ＝（ａ＋ｄOBJ＊Ｍ2）：（ａ＋ｄOBJ＊Ｍ2－ｂ）
となる。これをΔについて解くと、以下の数２式が得られる。なお、図２２では、幾何学的関係を示すために、ａを正の値で考えているが、物体側から像側に向かう方向を正とする場合は、ａを負の値で考える必要がある。このため、数２式では、最終的に、ａを－ａで置き換えている。
【0102】
【数2】
【0103】
なお、Ｚ方向に垂直な面内で互いに垂直な２方向（Ｘ方向、Ｙ方向）に対して異方性は
存在しないため、Ｘ方向およびＹ方向にそれぞれ同一のΔを適用することが可能となる。
存在しないため、Ｘ方向およびＹ方向にそれぞれ同一のΔを適用することが可能となる。
【0104】
また、Ｓ５では、画像処理部５２は、求めた上記のΔを、各要素画像ＥＩの重ね合わせに必要な距離であるΔＥＩに変換する。ここで、正方形状の各要素画像ＥＩの１辺の大きさ（長さ）をＥＩL（ｍｍ）としたとき、ΔＥＩ（ｍｍ）は、上記のΔと、ＭＬＰと、ＥＩLとを用いて、以下のように表される。
【0105】
【数3】
【0106】
画像処理部５２は、Ｓ３で抽出した隣り合う要素画像ＥＩ（図２１の下段中央の実線の枠で囲まれた各要素画像ＥＩ）を、ΔＥＩだけずらして重ねる処理（輝度値は同一位置の画素の値を合算する）を、隣り合う要素画像ＥＩの全てに対して繰り返し行う。これにより、図２１の下段右に示すようなリフォーカス像ＲＦを取得することができる。このように、ΔＥＩを用いたＥＩ空間における同一間光線距離（Δ）をもとに、１枚のリフォーカス像ＲＦを生成することにより、ＮＯＰからｄobjだけ離れた位置の物体の像を生成することが可能になる。
【0107】
上記した各要素画像ＥＩの重ね合わせは、基本的に、ΔＥＩを利用して繰り返し計算により行われる必要があるが、それを効率的に行うために、画像処理部５２は、ＰＱアレイという、重ね合わせピクセル番号を示した行列を作製する（Ｓ６）。以下、より詳しく説明する。
【0108】
図２３は、隣り合う３つのマイクロレンズ像ＭＩ－１、ＭＩ－２、ＭＩ－３と、各マイクロレンズ像ＭＩ－１、ＭＩ－２、ＭＩ－３に含まれる要素画像ＥＩ－１、ＥＩ－２、ＥＩ－３とを模式的に示している。なお、図２３の例では、試料として、数字の「４」を記載したシートを任意のｄOBJの位置に配置したときに取得されたマイクロレンズ像ＭＩ－１～ＭＩ－３および要素画像ＥＩ－１～ＥＩ－３を示す。また、便宜上、各要素画像ＥＩ－１～ＥＩ－３において、１行目の画素に列番号を付記する。また、ここでは、各要素画像ＥＩの１辺の長さＥＩLを６（１画素の１辺の長さ×６）とし、ΔＥＩを５（１画素の１辺の長さ×５）とする。
【0109】
図２３で示した例において、列番号１～１８の各列をどのように重ね合わせるかを示すためには、図２４に示すような行列（ＰＱアレイ）を作製すればよい。例えば、上記行列では、列番号３、８、１３の各画素には、物体（「４」という数字）の同一位置から射出された光線が入射しているため、列番号３、８、１３の各画素を足し合わせる（重ね合わせる）ことを示している。上記行列を用いて各画素を足し合わせる処理は、図２５で示すような像の取得（重ね合わせ）と同じである。
【0110】
このように、画像処理部５２は、重ね合わせに必要な列番号情報を格納した行列（ＰＱアレイ）を作製し、その行列をもとに、各列を所定の量（ΔＥＩ）だけ足し合わせ、最初に列だけが足し合わされた像を作製する。その後、画像処理部５２は、上記と同様の手法で、行方向にも各画素の足し合わせ処理を行う（Ｓ７）。これにより、特定焦点面のリフォーカス像ＲＦを作製することができる。作製したリフォーカス像ＲＦのデータは、記憶部５５（図１９参照）に記憶される（Ｓ８）。
【0111】
図２６は、物体の観察中心Ｏが任意のｄOBJの位置にあるときに、イメージセンサ３で取得される各マイクロレンズ像ＭＩと、従来のレンダリング技術によって得られるリフォーカス像ＲＦ’とを模式的に示す。従来のレンダリング技術では、物体の同一位置から射出された光線の輝度の総和を一つの画素（輝度値）とする。これに対して、図２７は、図２６と同じ各マイクロレンズ像ＭＩと、本実施形態のレンダリング技術によって得られるリフォーカス像ＲＦとを模式的に示す。これらの図より、本実施形態の手法で得られるリフォーカス像ＲＦの分解能（解像度）は、従来の手法で得られるリフォーカス像ＲＦ’に比べて、明らかに高いと言える。
【0112】
次に、制御部５１（図１９参照）は、物体の三次元像を作製するにあたって、異なるｄOBJの値の入力が必要かどうかを判断する（Ｓ９）。Ｓ９にて、制御部５１は、上記入力が必要であると判断した場合には、表示部５４（図１９参照）にその旨を表示させて、ユーザに別のｄOBJの値の入力を促す。これを受けて、ユーザが入力部５３を操作して別のｄOBJの値を入力すると（Ｓ４）、画像処理部５２は、上述したＳ５～Ｓ８の処理を繰り返して、入力したｄOBJにおける物体のリフォーカス像ＲＦを生成し、そのデータを記憶部５５に記憶させる。
【0113】
一方、Ｓ９にて、制御部５１は、別のｄOBJの値の入力が不要であると判断した場合に、画像処理部５２に物体の三次元像の生成を実行させる（Ｓ１０）。すなわち、Ｓ１０では、画像処理部５２おいて、記憶部５５に記憶された各リフォーカス像ＲＦをＺ方向に並べて物体の三次元像（スタック三次元配列）を作製したり、異なる色ごとの三次元像（カラースタック）を作製する。物体の三次元像のデータは、例えば記憶部５５に記憶されるが、通信回線を介して外部のサーバ等に転送されてもよい。
【0114】
以上のように、画像処理部５２は、ＮＯＰからの物体の観察中心Ｏのずれ量であるｄOBJと、マイクロレンズ２ａのピッチＭＬＰと、予め設定された対物レンズ１１の倍率Ｍと、距離ａと、距離ｂとに基づいて、物体の同一位置から射出されてメインレンズ１を介してイメージセンサ３に到達する複数の光線の、イメージセンサ３上での間隔Δを求め、間隔Δに基づいて、隣り合うマイクロレンズ像ＭＩに含まれる要素画像ＥＩ同士を重ね合わせる（Ｓ４～Ｓ８）。
【0115】
物体の同一位置から射出されてイメージセンサ３に到達する複数の光線（以下、「同一光線」とも称する）のイメージセンサ３上での間隔Δは、図２２で示したように、光学系１０における幾何学的な関係から容易に求めることができる。したがって、求めた間隔Δに基づいて、隣り合う要素画像ＥＩ同士を重ね合わせることにより、従来の複雑な復元処理よりも高速にリフォーカス像ＲＦを得ることができる。しかも、イメージセンサ３に同一光線が到達する画素が重ね合わされるため、リフォーカス像ＲＦを高分解能で得ることができる。
【0116】
また、画像処理部５２は、具体的に、以下の式（Ａ）に基づいて、間隔Δを求める（Ｓ５）。すなわち、
Δ＝ＭＬＰ＊｛１－（ｂ／（ｄOBJ＊Ｍ2－ａ）｝ ・・・（Ａ）
である。なお、式（Ａ）は、上述した数２式と同じである。
Δ＝ＭＬＰ＊｛１－（ｂ／（ｄOBJ＊Ｍ2－ａ）｝ ・・・（Ａ）
である。なお、式（Ａ）は、上述した数２式と同じである。
【0117】
式（Ａ）は、図２２で示した光学系１０における幾何学的な関係に基づいて得られる。したがって、画像処理部５２は、式（Ａ）に基づいて、間隔Δを簡単かつ高速に求めることができる。
【0118】
また、画像処理部５２は、マイクロレンズ像ＭＩに含まれる要素画像ＥＩの一辺の大きさをＥＩLとして、以下の式（Ｂ）に基づいて、距離ΔＥＩを求める。すなわち、
ΔＥＩ＝Δ－（ＭＬＰ－ＥＩL） ・・・（Ｂ）
である。そして、画像処理部５２は、隣り合う一方の要素画像ＥＩに対して他方の要素画像ＥＩを距離ΔＥＩだけずらすことにより、要素画像ＥＩ同士を重ね合わせる（Ｓ５～Ｓ７）。なお、式（Ｂ）は、上述した数３式と同じである。
ΔＥＩ＝Δ－（ＭＬＰ－ＥＩL） ・・・（Ｂ）
である。そして、画像処理部５２は、隣り合う一方の要素画像ＥＩに対して他方の要素画像ＥＩを距離ΔＥＩだけずらすことにより、要素画像ＥＩ同士を重ね合わせる（Ｓ５～Ｓ７）。なお、式（Ｂ）は、上述した数３式と同じである。
【0119】
隣り合う要素画像ＥＩを距離ΔＥＩだけずらして重ね合わせることにより、マイクロレンズ像ＭＩの必要な部分（要素画像ＥＩ）のみを用いて、リフォーカス像ＲＦを高分解能で得ることができる。
【0120】
また、画像処理部５２は、隣り合う要素画像ＥＩ同士の重ね合わせを、ずれ量ｄOBJの異なる値ごとに行う（Ｓ４～Ｓ９）。この場合、ずれ量ｄOBJの異なる位置ごとに、リフォーカス像ＲＦが高分解能で得られる。これにより、物体の三次元情報を高分解能で得ることができる。
【0121】
〔７．補足〕
上述した本実施形態のレンダリング技術は、本実施形態の光学系１０以外のみならず、上述した光学系１０ａ～１０ｄに適用することも可能である。つまり、本実施形態のレンダリング技術を用いることにより、光学系１０ａ～１０ｄで得られるマイクロレンズ像ＭＩから、ずれ量ｄOBJの異なる位置ごとに、リフォーカス像ＲＦを高分解能で得ることが可能である。
上述した本実施形態のレンダリング技術は、本実施形態の光学系１０以外のみならず、上述した光学系１０ａ～１０ｄに適用することも可能である。つまり、本実施形態のレンダリング技術を用いることにより、光学系１０ａ～１０ｄで得られるマイクロレンズ像ＭＩから、ずれ量ｄOBJの異なる位置ごとに、リフォーカス像ＲＦを高分解能で得ることが可能である。
【0122】
シングルショットで物体の三次元像を取得できるライトフィールド光学系である本実施形態の光学系１０は、ライトフィールド顕微鏡に適用可能である。したがって、光学系１０は、例えば生命科学分野への応用が期待される。例えば、本実施形態の光学系１０によれば、計測中に三次元細胞位置のリアルタイムな確認、つまり即時的な確認が可能である。このため、光学系１０は、細胞機能を操作するための光遺伝学的手法との組み合わせなどがアプリケーションとして期待される。さらに、光学系１０では、深度の深い像を取得可能であるため、現在、二次元観察にほぼ制限されている超解像技術を三次元観察に拡張することも期待される。また、光学系１０は、ライトフィールドカメラに適用することも可能であり、この場合、例えば自動車産業への応用も期待される。さらに、光学系１０は、ライトフィールドアイに適用することも可能であり、この場合、例えばロボット産業への応用も期待される。他にも、光学系１０は、ライトフィールド内視鏡として医療現場への応用も見込むことが可能である。
【0123】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。
【産業上の利用可能性】
【0124】
本発明の光学系は、例えば、ライトフィールド顕微鏡に利用可能である。
【符号の説明】
【0125】
１ メインレンズ
２ マイクロレンズアレイ
２ａ マイクロレンズ
３ イメージセンサ
１０ 光学系（ライトフィールド光学系）
１１ 対物レンズ
１２ 結像レンズ
５２ 画像処理部
１００ ＬＦシステム（ライトフィールド画像処理システム）
２ マイクロレンズアレイ
２ａ マイクロレンズ
３ イメージセンサ
１０ 光学系（ライトフィールド光学系）
１１ 対物レンズ
１２ 結像レンズ
５２ 画像処理部
１００ ＬＦシステム（ライトフィールド画像処理システム）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
