2025-24401 画像解析装置、画像解析方法およびプログラム、ならびにライトフィールド量子計測システムおよびライトフィールド量子計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025024401

(43)【公開日】2025-02-20

(54)【発明の名称】画像解析装置、画像解析方法およびプログラム、ならびにライトフィールド量子計測システムおよびライトフィールド量子計測方法

(51)【国際特許分類】

   G01N 21/64 20060101AFI20250213BHJP

   G01N 22/00 20060101ALI20250213BHJP

   G01N 24/00 20060101ALI20250213BHJP

【ＦＩ】

G01N21/64 Z

G01N22/00 N

G01N24/00 C

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023128478

(22)【出願日】2023-08-07

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年８月１０日 ｈｔｔｐｓ：／／ｗｗｗ．ｓａｎｋｅｎ．ｏｓａｋａ－ｕ．ａｃ．ｊｐ／ｌａｂｓ／ｂｓｅ／ｂｉｏｉｍａｇｉｎｇ／ＰＤＦ／ａｂｓｔｒａｃｔ．ｐｄｆ 令和４年８月３１日 Ｔｈｅ １１０ｔｈ Ｓｃｉｅｎｃ－ｏｍｅフォーラム 令和４年９月３日 第３１回日本バイオイメージング学会学術集会ポスターセッション 令和４年９月５日 ｈｔｔｐｓ：／／ｗｗｗ２．ａｅｐｌａｎ．ｃｏ．ｊｐ／ｂｓｊ２０２２／ｐｒｏｇｒａｍ．ｈｔｍｌ 令和４年９月２９日 第６０回日本生物物理学会年会ポスターセッション 令和４年１０月２７日 ｈｔｔｐｓ：／／ｉｔｃ．ｎｉｆｓ．ａｃ．ｊｐ／ＬＯＧＩＮ．ｈｔｍｌ 令和４年１１月８日 第３１回国際土岐コンファレンス 令和４年１１月８日 ２０２２年度生理学研究所研究会「極限環境適応」参加登録者宛電子メール 令和４年１１月１０日 ２０２２年度生理学研究所研究会「極限環境適応」 令和４年１１月１０日 ｈｔｔｐｓ：／／ｍｂｓｊ２０２２．ｇａｋｋａｉ．ｏｎｌｉｎｅ 令和４年１１月２２日 ｈｔｔｐｓ：／／ｗｗｗ．ｑｓｔ．ｇｏ．ｊｐ／ｕｐｌｏａｄｅｄ／ａｔｔａｃｈｍｅｎｔ／３０３２０．ｐｄｆ 令和４年１１月２４日 日本動物行動学会第４１回大会 令和４年１１月２６日 量子生命科学先端フォーラム２０２２冬の研究会 令和４年１１月２９日 Ｔｈｅ ５ｔｈ ＩＦＱＭＳ 令和４年１１月３０日 第４５回日本分子生物学会年会 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ａｒｃｈｉｖｅ／４／４ｃ／２０２２１２０５０４１０２５％２１Ｑ－ｂｉｏ＿第十回年会プログラム．ｐｄｆ 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ａｒｃｈｉｖｅ／４／４ｃ／２０２２１２０５０４１０２５％２１Ｑ－ｂｉｏ＿第十回年会プログラム．ｐｄｆ 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ｂ／ｂ８／Ｑ－ｂｉｏ＿第十回年会ポスター要旨集．ｐｄｆ 令和４年１２月１２日 第５回ＥｘＣＥＬＬＳシンポジウム 令和４年１２月１５日 定量生物学の会第十回年会

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和５年１月１６日 ２０２２年度第１４回光塾参加登録者宛電子メール 令和５年１月１９日 ２０２２年度第１４回光塾 令和５年３月１日 ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｏｐｉｃ２０２３／ｐａｒｔｉｃｉｐａｎｔ＿ｌｏｇｉｎ？ｅｖｅｎｔＣｏｄｅ＝ｏｐｉｃ２０２３ 令和５年４月２１日 ＢＩＳＣ２０２３

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、未来社会創造事業、「共通基盤」領域、探索研究「革新的な知や製品を創出する共通基盤システム・装置の実現」、研究開発課題名「生体内三次元動態のオペランド解析技術の開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願、令和４年度、文部科学省、科学技術試験研究委託事業「量子生命技術の創製と医学・生命科学の革新」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】301032942

【氏名又は名称】国立研究開発法人量子科学技術研究開発機構

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】杉 拓磨

(72)【発明者】

【氏名】前岡 遥花

(72)【発明者】

【氏名】五十嵐 龍治

(72)【発明者】

【氏名】神長 輝一

(72)【発明者】

【氏名】柳 瑶美

(72)【発明者】

【氏名】鈴木 智達

【テーマコード（参考）】

2G043

【Ｆターム（参考）】

2G043AA04

2G043BA16

2G043FA02

2G043KA02

2G043KA09

2G043LA03

(57)【要約】

【課題】量子センサおよびライトフィールド光学系を使用して高い空間分解能で高速に試料内の三次元空間の物理量を計測する。
【解決手段】少なくとも一つの量子センサを含む試料に励起光およびマイクロ波が照射された状態でライトフィールド光学系により撮像された試料のライトフィールド画像を解析する画像解析装置30は、試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成する画像再構成部32と、各深度位置の再構成画像をスタックして試料のボルメトリック画像を再構成する三次元再構成部33と、試料のボルメトリック画像において各量子センサの三次元空間座標を求める量子センサ位置特定部34と、試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から各量子センサの蛍光強度を求める蛍光強度特定部35と、各量子センサの蛍光強度から各量子センサの三次元空間座標における物理量を算出する物理量算出部36とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する画像解析装置であって、
前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成する画像再構成部と、
前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成する三次元再構成部と、
前記試料のボルメトリック画像において各量子センサの三次元空間座標を求める量子センサ位置特定部と、
前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求める蛍光強度特定部と、
前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出する物理量算出部と、
を備えた画像解析装置。

【請求項2】

前記試料のライトフィールド画像が、前記マイクロ波の周波数を前記量子センサの光検出磁気共鳴の共鳴周波数前後でスイープさせて前記試料を連続撮像したものであり、
前記物理量算出部が、前記各量子センサの蛍光強度の変化パターンから前記各量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する前記物理量を算出する
請求項１に記載の画像解析装置。

【請求項3】

前記試料のライトフィールド画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、
前記蛍光強度特定部が、時系列的に相前後する前記マイクロ波がオンのときとオフのときの前記ライトフィールド画像に捉えられた前記各量子センサの蛍光強度の相対値を前記各量子センサの蛍光強度として求める
請求項２に記載の画像解析装置。

【請求項4】

前記試料のライトフィールド画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、
前記画像解析装置が、前記ライトフィールド画像において前記マイクロ波のオン／オフ周期で明暗する光線を量子センサの蛍光光線として識別する蛍光光線識別部をさらに備え、
前記画像再構成部が、前記識別された蛍光光線について各深度位置にリフォーカスした画像を再構成し、
前記蛍光強度特定部が、前記識別された蛍光光線の強度を求める
請求項２に記載の画像解析装置。

【請求項5】

前記量子センサが蛍光ナノダイヤモンドである
請求項１ないし４のいずれか１項に記載の画像解析装置。

【請求項6】

前記物理量が温度である
請求項１ないし４のいずれか１項に記載の画像解析装置。

【請求項7】

前記量子センサが蛍光ナノダイヤモンドであり、
前記物理量が温度である
請求項１ないし４のいずれか１項に記載の画像解析装置。

【請求項8】

少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する画像解析方法であって、
画像再構成部が、前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成するステップと、
三次元再構成部が、前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成するステップと、
量子センサ位置特定部が、前記試料のボルメトリック画像から各量子センサの三次元空間座標を求めるステップと、
蛍光強度特定部が、前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求めるステップと、
物理量算出部が、前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出するステップと、
を備えた画像解析方法。

【請求項9】

コンピューターに、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析させるプログラムであって、
前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成する画像再構成手段、
前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成する三次元再構成手段、
前記試料のボルメトリック画像から各量子センサの三次元空間座標を求める量子センサ位置特定手段、
前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求める蛍光強度特定手段、および
前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出する物理量算出手段、
としてコンピューターを機能させるプログラム。

【請求項10】

量子センサを用いて物理量を計測するシステムであって、
前記量子センサが蛍光励起する波長の励起光を発生させる励起光発生器と、
前記量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるマイクロ波発生器と、
被写体のライトフィールド画像を撮像するライトフィールド光学系と、
少なくとも一つの前記量子センサを含む試料に前記励起光および前記マイクロ波が照射された状態で前記ライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する請求項１ないし４のいずれか１項に記載の画像解析装置と、
を備えたライトフィールド量子計測システム。

【請求項11】

量子センサを用いた物理量の計測方法であって、
ライトフィールド光学系が、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で前記試料のライトフィールド画像を撮像するステップと、
請求項１ないし４のいずれか１項に記載の画像解析装置が、前記試料のライトフィールド画像を解析するステップと、
を備えたライトフィールド量子計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法およびプログラム、ならびにライトフィールド量子計測システムおよびライトフィールド量子計測方法に関し、特に、特定の条件下で蛍光する量子センサが含まれる試料のライトフィールド画像を解析して試料内の三次元空間の物理量を計測する量子計測技術に関する。

【背景技術】

【0002】

疾病や細胞の老化・がん化、放射線に対する細胞応答などの現象を理解するには、細胞や分子のわずかな変化に敏感に応答するセンサが必要となる。例えば、細胞内の温度を計測するセンサとして、これまで、タンパク質型、ポリマー型、蛍光低分子型温度計測プローブなどが開発されてきた。このような蛍光を用いた生体イメージングは、細胞や生体内の分子局在やその機能の解析のために欠かせない技術となっている。

【0003】

生命現象が引き起こす生体内の非常に小さい変化を正確に理解するには細胞や分子のわずかな変化に敏感に応答する超高感度のセンサが必要である。そのようなセンサとして量子効果を利用して磁気、磁場、温度などの物理量を計測する量子センサがあり、中でも、蛍光ナノダイヤモンド（ＦＮＤ：Fluorescent nanodiamond）が細胞イメージングや極微量ウイルス検出などにおける高感度の蛍光標識剤として注目されている。量子センサを用いて細胞内の分子を計測するには、量子センサの大きさが数十ｎｍでは大きすぎるため分子サイズの数ｎｍサイズにする必要がある。本願発明の発明者は、世界最小の数ｎｍサイズのＦＮＤの作成に成功するとともに、ＦＮＤを使用した蛍光イメージングにおいて自家蛍光や夾雑物の蛍光などの背景光が量子センサの蛍光検出の妨げとなるといった欠点を克服し、信号／背景光比（ＳＢＲ値）の向上を実現している（例えば、非特許文献１を参照）。

【0004】

一方、蛍光イメージングにより一度に複数の生体分子や細胞内挙動を繊細かつダイナミックに観察するには高速かつ大規模な三次元イメージングが必要となる。一般的に、そのような三次元画像は、コンフォーカル顕微鏡（共焦点顕微鏡）を使って試料に対する合焦位置を深度方向（Ｚ方向）に所定ピッチで連続的に変えて、各合焦位置における試料の像を撮像することで生成される。また、三次元イメージングを可能にする顕微鏡としてスピニングディスク共焦点顕微鏡がある。スピニングディスク共焦点法は、多数のピンホールが並ぶ回転ディスクにレーザー光を照射することで、複数の平行な光を作り、それらで試料を高速スキャンして共焦点画像を形成するというものである。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Tamami Yanagi, Kiichi Kaminaga, Michiyo Suzuki, Hiroshi Abe, Hiroki Yamamoto, Takeshi Ohshima, Akihiro Kuwahata, Masaki Sekino, Tatsuhiko Imaoka, Shizuko Kakinuma, Takuma Sugi, Wataru Kada, Osamu Hanaizumi, and Ryuji Igarashi, “All-Optical Wide-Field Selective Imaging of Fluorescent Nanodiamonds in Cells, In Vivo and Ex Vivo,”ACS Nano 2021 15 (8), 12869-12879, 2021年8月2日

【発明の概要】

【発明が解決しようとする課題】

【0006】

共焦点顕微鏡による三次元イメージングは、深度方向にスキャンが必要なため計測に時間がかかり、高速事象を観察するには不向きである。例えば、３０ｆｐｓで三次元空間をＺ方向に３０スキャンして撮像する場合、三次元空間全体の撮像速度は３０ｆｐｓ／３０＝１ｖｐｓとなり、三次元空間を撮るのに１秒要する。これに対し、例えば、細胞内の熱拡散率を１．５×１０^－７ｍ^２／秒とした場合、直径１０μｍの細胞内を熱が三次元的に通過するのに要する時間は０．５秒であり、共焦点顕微鏡による三次元イメージングのスピードでは細胞内の熱拡散の様子を追跡するのが困難である。

【0007】

三次元イメージングの別の選択肢としてライトフィールド顕微鏡（ＬＦＭ：Light Field Microscopy）がある。ライトフィールド（光線空間）とは三次元空間における光線の集合を表す。ＬＦＭは、多数のマイクロレンズが二次元配列されたマイクロレンズアレイを中間像面に配置し、対物レンズの開口絞り上の光線の通過位置とイメージセンサ上での光線の取得位置を得ることでライトフィールドを記録できるようにしたものである。ＬＦＭにより記録されたライトフィールド画像から、小口径レンズに相当するサブアパーチャ画像が取得できる。サブアパーチャ画像は視点をずらして被写体を部分的に撮像したものであり、それぞれがピンホール効果により深い被写界深度を持つと同時に他のサブアパーチャ画像との間で視差を有する。したがって、サブアパーチャ画像をずらして重ね合わせることで任意の深度位置にリフォーカスした画像を再構成（reconstruction）することができる。ＬＦＭは、深度方向にスキャンすることなくシングルショットで三次元像を高速に撮像することができるため、高速事象を観察するのに向いている。

【0008】

そこで、本発明は、量子センサおよびライトフィールド光学系を使用して高い空間分解能で高速に試料内の三次元空間の物理量を計測することを課題とする。

【課題を解決するための手段】

【0009】

本発明の態様１に係る画像解析装置は、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する画像解析装置であって、前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成する画像再構成部と、前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成する三次元再構成部と、前記試料のボルメトリック画像において各量子センサの三次元空間座標を求める量子センサ位置特定部と、前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求める蛍光強度特定部と、前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出する物理量算出部と、を備えている。

【0010】

本発明の態様２に係る画像解析装置は、前記態様１に係る画像解析装置において、前記試料のライトフィールド画像が、前記マイクロ波の周波数を前記量子センサの光検出磁気共鳴の共鳴周波数前後でスイープさせて前記試料を連続撮像したものであり、前記物理量算出部が、前記各量子センサの蛍光強度の変化パターンから前記各量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する前記物理量を算出する。

【0011】

本発明の態様３に係る画像解析装置は、前記態様２に係る画像解析装置において、前記試料のライトフィールド画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、前記蛍光強度特定部が、時系列的に相前後する前記マイクロ波がオンのときとオフのときの前記ライトフィールド画像に捉えられた前記各量子センサの蛍光強度の相対値を前記各量子センサの蛍光強度として求める。

【0012】

本発明の態様４に係る画像解析装置は、前記態様２に係る画像解析装置において、前記試料のライトフィールド画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、前記画像解析装置が、前記ライトフィールド画像において前記マイクロ波のオン／オフ周期で明暗する光線を量子センサの蛍光光線として識別する蛍光光線識別部をさらに備え、前記画像再構成部が、前記識別された蛍光光線について各深度位置にリフォーカスした画像を再構成し、前記蛍光強度特定部が、前記識別された蛍光光線の強度を求める。

【0013】

本発明の態様５に係る画像解析装置は、前記態様１ないし４のいずれか１態様に係る画像解析装置において、前記量子センサが蛍光ナノダイヤモンドである。

【0014】

本発明の態様６に係る画像解析装置は、前記態様１ないし５のいずれか１態様に係る画像解析装置において、前記物理量が温度である。

【0015】

本発明の態様７に係る画像解析方法は、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する画像解析方法であって、画像再構成部が、前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成するステップと、三次元再構成部が、前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成するステップと、量子センサ位置特定部が、前記試料のボルメトリック画像から各量子センサの三次元空間座標を求めるステップと、蛍光強度特定部が、前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求めるステップと、物理量算出部が、前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出するステップと、を備えている。

【0016】

本発明の態様８に係るプログラムは、コンピューターに、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態でライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析させるプログラムであって、前記試料のライトフィールド画像から各深度位置にリフォーカスした画像を再構成する画像再構成手段、前記各深度位置の再構成画像をスタックして前記試料のボルメトリック画像を再構成する三次元再構成手段、前記試料のボルメトリック画像から各量子センサの三次元空間座標を求める量子センサ位置特定手段、前記試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から前記各量子センサの蛍光強度を求める蛍光強度特定手段、および前記各量子センサの蛍光強度から前記各量子センサの三次元空間座標における物理量を算出する物理量算出手段、としてコンピューターを機能させる。

【0017】

本発明の態様９に係るライトフィールド量子計測システムは、量子センサを用いて物理量を計測するシステムであって、前記量子センサが蛍光励起する波長の励起光を発生させる励起光発生器と、前記量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるマイクロ波発生器と、被写体のライトフィールド画像を撮像するライトフィールド光学系と、少なくとも一つの前記量子センサを含む試料に前記励起光および前記マイクロ波が照射された状態で前記ライトフィールド光学系により撮像された前記試料のライトフィールド画像を解析する前記態様１ないし６のいずれか１態様に係る画像解析装置と、を備えている。

【0018】

本発明の態様１０に係るライトフィールド量子計測方法は、量子センサを用いた物理量の計測方法であって、ライトフィールド光学系が、少なくとも一つの量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で前記試料のライトフィールド画像を撮像するステップと、前記態様１ないし６のいずれか１態様に係る画像解析装置が、前記試料のライトフィールド画像を解析するステップと、を備えている。

【発明の効果】

【0019】

本発明によると、極小サイズのセンサである量子センサを使用することで高い空間分解能で試料内の三次元空間の物理量を計測することができ、さらに、試料のライトフィールド画像のワンショットから試料内の複数の量子センサの三次元空間座標を特定することができるため、共焦点顕微鏡のように深度を変えてスキャンを繰り返して三次元空間を撮像する必要がなく、高速に試料内の三次元空間の物理量を計測することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態に係るライトフィールド量子計測システムの概略図である。

【図2】図１のライトフィールド量子計測システムにおけるライトフィールド顕微鏡、記憶装置および画像解析装置の概略図である。

【図3】試料のライトフィールド画像の取得方法の一例を示すフローチャートである。

【図4】試料のライトフィールド画像の解析方法の一例を示すフローチャートである。

【図5】試料のライトフィールド画像に捉えられた量子センサ蛍光とそれ以外の光の強度変動の違いを示す模式図である。

【図6】一例に係る（ａ）ライトフィールド画像、（ｂ）要素画像群、（ｃ）再構成画像を示す図である。

【図7】一例に係るライトフィールド顕微鏡の各パラメータの幾何学関係を模式的に示す図である。

【図8】ＰＱアレイと要素画像の重ね合わせの関係を説明する図である。

【図9】ライトフィールド画像から各深度位置にリフォーカスした画像の再構成さらにボルメトリック画像の再構成を説明する図である。

【図10】量子センサの一例である蛍光ナノダイヤモンドのＯＤＭＲスペクトルの温度依存性を例示するグラフである。

【発明を実施するための形態】

【0021】

以下、適宜図面を参照しながら、本発明の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0022】

≪実施形態≫
図１は、本発明の一実施形態に係るライトフィールド量子計測システムの概略図である。本実施形態に係るライトフィールド量子計測システム１００は、少なくとも一つの量子センサを含む試料のライトフィールド画像を撮像し、その画像を解析して試料内での量子センサの三次元空間座標およびその座標における物理量を計測するものである。具体的に、ライトフィールド量子計測システム１００は、主要構成要素として、ライトフィールド顕微鏡１０と、記憶装置２０と、画像解析装置３０と、励起光発生器４０と、マイクロ波発生器５０と、同期信号発生器６０とを備えている。

【0023】

量子センサとして、例えば、蛍光ナノダイヤモンド（ＦＮＤ）を使用することができる。ＦＮＤは、直径数ｎｍ～数百ｎｍの人工ダイヤモンド粒子であり、その特徴として結晶中に不純物としての窒素原子（Nitrogen）を含んでいる。この窒素原子とその隣の空孔（Vacancy）とでＮＶＣ（Nitrogen-Vacancy Center）が形成され、５３２ｎｍの緑色光で励起すると６３７ｎｍの光子を放出（赤色蛍光）する。ＦＮＤの蛍光は耐光性に優れ、褪色や明滅も起こさないため長時間のイメージ計測に適している。さらに、ＮＶＣには窒素原子由来の電子２個と炭素原子由来の電子３個と空孔内の電子１個の計６個の電子からなる負電荷を帯びたＮＶ^－が存在する。そして、この空孔内の電子スピンが電磁波と共鳴することでＦＮＤの蛍光強度が変化するといった光検出磁気共鳴（ＯＤＭＲ：Optically Detected Magnetic Resonance）が見られる。具体的に、ＦＮＤに２．８７ＧＨｚ付近のマイクロ波を照射するとＯＤＭＲ活性によりＦＮＤの蛍光強度が弱くなる。この共鳴周波数は温度依存性を持つため、ＦＮＤの光検出磁気共鳴の共鳴周波数の変化を計測することで物理量としての温度を計測することができる。例えば、試料としての線虫C. elegansに取り込ませたＦＮＤの蛍光を計測することで、線虫の生体組織内の微小領域の温度を計測することができる。

【0024】

励起光発生器４０は、量子センサが蛍光励起する波長の励起光を発生させるデバイスである。ＦＮＤを量子センサとして使用する場合、励起光発生器４０は５３２ｎｍの緑色レーザー光を出力する。

【0025】

マイクロ波発生器５０は、量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるデバイスである。ＦＮＤを量子センサとして使用する場合、マイクロ波発生器５０はＦＮＤにおけるＮＶＣの電子スピンの共鳴周波数である２．８７ＧＨｚ前後、例えば、２．８２ＧＨｚ～２．９２ＧＨｚのマイクロ波を発生させる。また、マイクロ波発生器５０は、周波数をスイープしてマイクロ波を発生させることができるとともに、同期信号発生器６０から出力される同期信号に同期してマイクロ波をパルス状に出力することができる。

【0026】

試料はスライドガラスやシャーレなどのサンプルホルダに調整してステージに載置される。ステージの下側には対物レンズが配置されており、励起光発生器４０から出力されたレーザー光がコリメーターレンズ、コンデンサレンズ、ダイクロイックミラーなどを経由して対物レンズに入光し、対物レンズの先端からサンプルホルダ内の試料に励起光が照射される。一方、ステージに載置されたサンプルホルダの真上にコイルが配置されており、マイクロ波発生器５０から出力されたマイクロ波が同軸ケーブルを伝って先端のコイルからサンプルホルダ内の試料に照射される。

【0027】

同期信号発生器６０は、マイクロ波発生器５０の周波数スイープおよびマイクロ波の発生のオン／オフの制御、およびライトフィールド顕微鏡１０の撮像タイミングを制御するための同期信号を発生させるデバイスである。具体的には、同期信号発生器６０はファンクションジェネレータである。

【0028】

ライトフィールド顕微鏡１０、記憶装置２０および画像解析装置３０については別図を参照しながら説明する。図２は、図１のライトフィールド量子計測装置１００におけるライトフィールド顕微鏡１０、記憶装置２０および画像解析装置３０の概略図である。ライトフィールド顕微鏡１０は、ライトフィールド光学系の一例であり、メインレンズ１、マイクロレンズアレイ２、イメージセンサ３を備えている。メインレンズ１は対物レンズ、結像レンズ、吸収フィルタなどを含む場合があるが、ここでは便宜上、それらを含んだものをメインレンズ１として表す。マイクロレンズアレイ２は、複数のマイクロレンズ（レンズレット）２ａを二次元的に配列して構成され、メインレンズ１とイメージセンサ３の間に配置される。イメージセンサ３は、入力された光を光電変換して電気信号を出力する図略の複数の受光素子を二次元的に配列して構成されたＣＣＤセンサやＣＭＯＳセンサなどである。各受光素子から出力された電気信号は図略のＡ／Ｄ変換器によりデジタルデータに変換され、ライトフィールド顕微鏡１０からライトフィールド画像が出力される。

【0029】

記憶装置２０は、ＲＡＭ、ＲＯＭ、ＳＳＤ、ＨＤＤなどの記憶デバイスの集合体である。ＲＡＭは、主として画像解析装置３０が画像解析を行う際のワーキングメモリとして使用される。ＲＯＭ、ＳＳＤ、およびＨＤＤは、主として画像解析装置３０を動作させるためのコンピュータープログラムや、画像解析装置３０の解析対象である試料のライトフィールド画像、後述する画像解析において生成および使用される再構成画像、ボルメトリック画像などを一時的または長期に亘って保存する。記憶装置２０はクラウド上に配置されていてもよい。

【0030】

画像解析装置３０は、記憶装置２０に保存されている試料のライトフィールド画像を解析して画像中の量子センサの三次元空間位置を特定し、その位置における物理量を算出する。具体的には、画像解析装置３０は、蛍光光線識別部３１と、画像再構成部３２と、三次元再構成部３３と、量子センサ位置特定部３４と、蛍光強度特定部３５と、物理量算出部３６とを備えている。これら各構成要素は、ＡＳＩＣやＦＰＧＡなどのハードウェア、あるいは、記憶装置２０に記憶されているコンピュータープログラムあるいはコンピューター可読で非一時的な記録媒体に格納されて提供されるコンピュータープログラムをＣＰＵやＧＰＵなどの図略のプロセッサで実行するソフトウェアとして実現することができる。ハードウェアとソフトウェアを適宜組み合わせて実現することもできる。画像解析装置３０は、画像解析を実行中に、記憶装置２０を構成する各種記憶デバイスに適宜アクセスしてデータの書き込みおよび読み出しを行う。画像解析装置３０の構成要素のすべてまたは一部はクラウド上に配置されていてもよい。画像解析装置３０による解析結果は別の処理系に渡されてさらに別の処理がされたり、図略のユーザインターフェースを通じてユーザに結果が表示されたりする。記憶装置２０と画像解析装置３０は一体のコンピューター装置として構成されていてもよい。

【0031】

次に、画像解析装置３０の解析対象である試料のライトフィールド画像の取得方法について説明する。図３は、試料のライトフィールド画像の取得方法の一例を示すフローチャートである。まず、少なくとも一つの量子センサを含む試料が入ったサンプルホルダをステージに載置して励起光発生器４０から出力される励起光を試料に照射する（Ｓ１）。次に、マイクロ波発生器５０の発信周波数を量子センサの光検出磁気共鳴の共鳴周波数近傍の開始値に設定して周波数スイープを開始する（Ｓ２）。同期信号発生器６０の同期信号に同期して、マイクロ波発生器５０はマイクロ波をオンにし、ライトフィールド顕微鏡１０は励起光およびマイクロ波が照射された状態の試料のライトフィールド画像を撮像して記憶装置２０に保存する（Ｓ３）。続けて、同期信号発生器６０の同期信号に同期して、マイクロ波発生器５０はマイクロ波をオフにし、ライトフィールド顕微鏡１０はマイクロ波が照射されず励起光のみが照射された状態の試料のライトフィールド画像を撮像して記憶装置２０に保存する（Ｓ４）。その後、マイクロ波発生器５０は周波数をスイープし（Ｓ５）、マイクロ波の周波数が量子センサの光検出磁気共鳴の共鳴周波数近傍のスイープ終了値になるまでステップＳ３およびＳ４が繰り返し行われる。

【0032】

例えば、４００Ｈｚの同期信号に同期してマイクロ波の周波数を１００ポイントスイープさせる場合、０．５秒間で、励起光およびマイクロ波が照射された状態の試料のライトフィールド画像および励起光のみが照射された状態の試料のライトフィールド画像が交互に繰り返される２００枚のライトフィールド画像が取得される。

【0033】

なお、マイクロ波は周波数が単調増加するようにスイープしてもよいし、単調減少するようにスイープしてもよいし、周波数スイープのステップは一定値でなくてもよい。また、周波数スイープに代えて周波数ホッピングをしてもよい。一定の周波数範囲で複数の異なる周波数のマイクロ波を照射したとき試料のライトフィールド画像が複数取得できればよい。

【0034】

また、ライトフィールド顕微鏡１０の性能やフレームレートによっては１枚のライトフィールド画像に捉えられる量子センサの蛍光光線が極微弱になり得る。そのような場合、量子センサの蛍光光線の画素値を積算して光線強度を十分に大きな値にした上で後述のさまざまな解析処理を行うようにしてもよい。したがって、画像解析処理において光線強度を積算できるように、上記のステップＳ２ないしＳ５を複数回繰り返してより多くのライトフィールド画像セットを取得するようにしてもよい。

【0035】

次に、取得された試料のライトフィールド画像について画像解析装置３０による解析方法について説明する。図４は、試料のライトフィールド画像の解析方法の一例を示すフローチャートである。画像解析装置３０が、記憶装置２０から連続撮像された試料のライトフィールド画像を読み込むと（Ｓ１１）、蛍光光線識別部３１が、読み出されたライトフィールド画像中の量子センサの蛍光光線を識別する（Ｓ１２）。

【0036】

図５は、試料のライトフィールド画像に捉えられた量子センサ蛍光とそれ以外の光の強度変動の違いを示す模式図である。上述したように、量子センサに光検出磁気共鳴の共鳴周波数近傍の周波数のマイクロ波が照射されると蛍光強度が弱くなる。したがって、同期信号発生器６０から出力される一定周期の同期信号に同期してマイクロ波をオン／オフしながら試料を連続撮像したライトフィールド画像において、量子センサの蛍光強度はミクロ的にマイクロ波のオン／オフ周期で明暗しながらマクロ的にマイクロ波の周波数スイープに応じて変動する。一方、試料自体が発する自家蛍光や夾雑物の蛍光などの背景光の強度はマイクロ波のオン／オフ周期とは無関係に変化する。このような強度変化の特徴の違いから、連続撮像された試料のライトフィールド画像において量子センサの蛍光とそれ以外とを区別することができる。具体的には、蛍光光線識別部３１は、試料のライトフィールド画像においてマイクロ波のオン／オフ周期で明暗する光線を量子センサの蛍光光線として識別する。これにより、背景光が含まれるライトフィールド画像から量子センサの蛍光を効率的に抽出することができ、ＳＢＲ値（信号／背景光比）を向上させることができる。

【0037】

図４へ戻り、画像再構成部３２が、連続撮像された試料のライトフィールド画像から任意のライトフィールド画像を選んで、当該ライトフィールド画像から各深度位置にリフォーカスした画像を再構成する（Ｓ１３）。再構成された画像は記憶装置２０に一時的に保存される。なお、画像再構成部３２は、試料のライトフィールド画像に捉えられているすべての光線について画像を再構成する必要はなく、ステップＳ１２で蛍光光線識別部３１により量子センサの蛍光光線として識別された光線について各深度位置にリフォーカスした画像を再構成すればよい。これにより、量子センサの蛍光光線についてのみリフォーカス画像の再構成および後述の三次元再構成をすればよくなり、画像処理負荷が軽減されて解析速度が向上する。

【0038】

ここで、ライトフィールド画像の特徴およびリフォーカスの原理について説明する。ライトフィールド画像は、互いにずれた複数の視点から同一被写体を撮像した複数の要素画像あるいはマイクロレンズ像といったサブ画像が集まったものである。ライトフィールド画像に含まれるサブ画像の視差を利用して任意の深度位置にリフォーカスした画像を再構成することができる。図６は、一例に係るライトフィールド画像と要素画像と再構成画像とを示す図である。（ａ）ライトフィールド画像は、「／５」の文字が記されたシートをメインレンズ１の焦点面からずれた位置に置いて撮像したものである。ライトフィールド画像は、マイクロレンズアレイ２の各マイクロレンズ２ａにより撮像された多数のマイクロレンズ像ＭＩが正方格子状に配列されたマイクロレンズ像群である。各マイクロレンズ像ＭＩの形状は、破線で示したように、各マイクロレンズ２ａの円形形状を反映した略円形となっている。このように、ライトフィールド画像は、互いにずれた複数の視点から同一被写体を撮像した複数のサブ画像（図６の例ではマイクロレンズ像ＭＩ）が集まったものである。

【0039】

マイクロレンズ像ＭＩの境界付近は光線量が少ないため暗くなっており、また、マイクロレンズ２ａの端の部分を経由した光線を捉えていることで歪みが大きいため、マイクロレンズ像ＭＩの中央部分が使用される。すなわち、略円形の各マイクロレンズ像ＭＩから、例えば、当該円に内接する正方領域が要素画像ＥＩとして切り出され、それら要素画像ＥＩを正方格子状に配列したものが（ｂ）要素画像群である。

【0040】

上述したように、「／５」の文字が記されたシートがメインレンズ１の焦点面からずれた位置にあるため、（ａ）ライトフィールド画像において各マイクロレンズ２ａにより視点をずらして「／５」の文字を部分的に撮像したマイクロレンズ像、すなわち、視差を有するマイクロレンズ像が記録されている。例えば、「５」の文字の左上角部分に着目すると、被写体の当該部分から射出された光線は隣り合うマイクロレンズ像間で間隔Δをもって記録されている。（ｂ）要素画像群に示すように、マイクロレンズ像間での間隔Δは要素画像間ではΔ_ＥＩとなる。ここで、マイクロレンズ２ａのピッチをＭＬＰ、要素画像の１辺の長さをＥＩ_Ｌとすると、Δ_ＥＩは次式（１）で表される。
Δ_ＥＩ＝Δ－（ＭＬＰ－ＥＩ_Ｌ） …（１）

【0041】

要素画像群において隣り合う要素画像どうしを、視差に応じたずらし量でずらして重ね合わせることで（ｃ）再構成画像が得られる。図６の例では、隣り合う要素画像をΔ_ＥＩずつずらして重ね合わせることで、「／５」の文字が記されたシートの位置にリフォーカスされた（ｃ）再構成画像が得られる。このように、ずらし量を適宜変えて要素画像を重ね合わせることで、取得画像から逆方向の光線追跡に基づいて任意の深度位置にリフォーカスした画像を再構成することができる。

【0042】

ここで、リフォーカス対象の目的物について、メインレンズ１中の対物レンズの物体側焦点面ＮＯＰ（Native Object Plane）からのずれである深度をｄ_ｏｂｊとすると、隣り合うマイクロレンズ像間で同一点起源の光線の間隔Δと当該点の深度ｄ_ｏｂｊとの関係をライトフィールド顕微鏡１０の各パラメータを用いて表すことができる。図７は、一例に係るライトフィールド顕微鏡１０の各パラメータの幾何学関係を模式的に示す図である。図中のＯは深度ｄ_ｏｂｊの位置にある目的物、Ａはメインレンズ１による目的物Ｏの結像点、ＢおよびＣは隣り合うマイクロレンズ２ａの中心、Ｂ’およびＣ’はＢおよびＣを経由してイメージセンサ３に捉えられた目的物Ｏからの光線の位置である。図中の三角形ＡＢＣと三角形ＡＢ’Ｃ’とに着目したとき、三角形の相似関係より、
ＢＣ：Ｂ’Ｃ’＝ＣＡ：Ｃ’Ａ
である。これをパラメータで示すと、
ＭＬＰ：Δ＝（ａ＋ｄ_ｏｂｊＭ^２）：（ａ＋ｄ_ｏｂｊＭ^２－ｂ）
となる。これをΔについて解くと次式（２）が得られる。
Δ＝ＭＬＰ（１－ｂ／（ｄ_ｏｂｊＭ^２－ａ）） …（２）
ただし、ＭＬＰ：マイクロレンズ２ａのピッチ、Ｍ：メインレンズ１の対物レンズの倍率、ａ：メインレンズ１の結像レンズの像側焦点面Ｔ－ＮＩＰ（Native Image Plane）からマイクロレンズ２ａの中心までの距離、ｂ：マイクロレンズ２ａの中心からイメージセンサ３までの距離、である。

【0043】

なお、深度方向（Ｚ方向）に垂直な面内で互いに垂直な２方向（Ｘ方向、Ｙ方向）に対して異方性は存在しないため、Ｘ方向およびＹ方向にそれぞれ同一のΔを適用することができる。

【0044】

式（１）（２）からｄ_ｏｂｊとΔ_ＥＩの関係が特定される。したがって、任意の深度位置（深度ｄ_ｏｂｊ）にリフォーカスした画像を再構成するには、要素画像どうしを式（１）（２）で特定されるずらし量Δ_ＥＩでずらして重ね合わせればよい。要素画像どうしの重ね合わせは下述のＰＱアレイを参照することで容易に行うことができる。

【0045】

図８は、ＰＱアレイと要素画像の重ね合わせの関係を説明する図である。重なり合った画素を網掛け表示し、左列は要素画像が重なり合った状態を、右列は要素画像の重なりを展開した状態を示している。便宜のため、要素画像群が縦横２つ計４つの要素画像Ｄ、Ｅ、Ｆ、Ｇからなり、各要素画像のサイズは縦横５画素分とする。要素画像の配置関係は、要素画像Ｄの右に要素画像Ｅが、要素画像Ｄの下に要素画像Ｆが、要素画像Ｅの下すなわち要素画像Ｆの右に要素画像Ｇが配置されている。要素画像群における各画素を参照するために行および列に１から始まる通し番号を振る。例えば、要素画像Ｄに属する画素は第１行から第５行、かつ、第１列から第５列の範囲で参照され、要素画像Ｇに属する画素は第６行から第１０行、かつ、第６列から第１０列の範囲で参照される。以下で画素［ｍ，ｎ］は要素画像群において第ｍ行、第ｎ列に位置する画素を指す。

【0046】

図中のＺはｄ_ｏｂｊを表す深度パラメータである。便宜上、ｄ_ｏｂｊと要素画像のずらし量Δ_ＥＩを同じＺ値で表す。すなわち、Ｚ＝ｎのとき、ｄ_ｏｂｊ＝ｎであり、要素画像のずらし量Δ_ＥＩがｎ画素分であることを表す。

【0047】

Ｚ＝０のとき、すなわち、深度ｄ_ｏｂｊ＝０では要素画像どうしを重ね合わせることなく、要素画像群がそのまま再構成画像となる。

【0048】

Ｚ＝１のとき、すなわち、深度ｄ_ｏｂｊ＝１にリフォーカスした画像を再構成するには、隣り合う要素画像どうしを１画素分ずらして重ね合わせる。要素画像群におけるどの画素どうしを重ね合わせるかは、画素の重ね合わせ方を示したＰＱアレイを参照することで容易に判別することができる。ＰＱアレイは、要素画像群における画素の行番号または列番号を要素画像単位で折り返して表したものであり、図中に示したように、例えば、Ｚ＝１に対応するＰＱアレイは次のように表される。
１ ２ ３ ４ ５
６ ７ ８ ９ １０
当該ＰＱアレイは、第５行（第５列）の画素と第６行（第６列）の画素とが重なり合うことを意味する。このようなＰＱアレイをあらかじめＺ値ごとに用意して記憶装置２０に保存しておくことで、Ｚ値に応じたＰＱアレイを参照して画素の重ね合わせを実行することができる。

【0049】

Ｚ＝２のとき、すなわち、深度ｄ_ｏｂｊ＝２にリフォーカスした画像を再構成するには、隣り合う要素画像どうしを２画素分ずらして重ね合わせる。図中に示したように、例えば、Ｚ＝２に対応するＰＱアレイは次のように表される。
１ ２ ３ ４ ５
６ ７ ８ ９ １０
当該ＰＱアレイは、第４、５行（第４、５列）の画素と第６、７行（第６、７列）の画素とがそれぞれ重なり合うことを意味する。

【0050】

なお、列方向および行方向に３以上の要素画像が重なり合う場合があるが、その場合のＰＱアレイは３行以上で構成されることなる。また、上記例のように要素画像の行列が同じ画素数で構成されている場合には、要素画像の行方向の重ね合わせおよび列方向の重ね合わせに共通のＰＱアレイを使用することができるが、要素画像の行列の画素数が互いに異なる場合には、行方向のＰＱアレイおよび列方向のＰＱアレイを用意する必要がある。

【0051】

上述の手法で高分解能の画像を再構成するオプティカルセクショニング技術が本願の筆頭発明者により発明され、別出願（特願２０２２－２０２５６６）において開示されている。画像再構成部３２は、当該出願に開示されたオプティカルセクショニング技術を用いて高分解能の画像を再構成することができる。

【0052】

図４へ戻り、三次元再構成部３３が、記憶装置２０から各深度位置にリフォーカスされて再構成された画像を読み出し、それら再構成画像をスタックして試料のボルメトリック画像を再構成する（Ｓ１４）。再構成されたボルメトリック画像は記憶装置２０に一時的に保存される。図９は、ライトフィールド画像から各深度位置にリフォーカスした画像の再構成さらにボルメトリック画像の再構成を説明する図である。ライトフィールド画像中の要素画像を深度位置に応じたずらし量でずらして重ね合わせて複数の深度位置にリフォーカスした画像が再構成されるが、深度ｄ_ｏｂｊが大きくなるにつれ、要素画像のずらし量Δ_ＥＩが大きくなり、その分、再構成された画像のサイズは小さくなる。三次元再構成部３３は、そのような深度位置に応じてサイズが異なる再構成された画像を深度位置に応じてリサイズしてＺ方向（深度方向）にスタックしてボルメトリック画像を再構成する。

【0053】

図４へ戻り、量子センサ位置特定部３４が、記憶装置２０から試料のボルメトリック画像を読み出し、ボルメトリック画像において各量子センサの三次元空間座標を求める（Ｓ１５）。具体的には、量子センサ位置特定部３４は、ボルメトリック画像において各量子センサに係るボクセルを特定する。すなわち、当該特定されたボクセルで各量子センサの三次元像が表される。そして、量子センサ位置特定部３４は、各量子センサに係る三次元像の重心を求め、それを各量子センサの三次元空間位置として特定することができる。

【0054】

上記のステップＳ１３ないしＳ１５と並行または非同期に、蛍光強度特定部３５が、試料のライトフィールド画像に捉えられた同一量子センサ起源の蛍光光線から各量子センサの蛍光強度を求める（Ｓ１６）。このとき、蛍光強度特定部３５は、時系列的に相前後するマイクロ波がオンのときとオフのときのライトフィールド画像に捉えられた各量子センサの蛍光強度の相対値を各量子センサの蛍光強度として求めるようにしてもよい。蛍光強度の比や差分を当該相対値とすることができる。図５の例で説明すると、各量子センサについてミクロ的に上下する強度の相対値をその量子センサの蛍光強度と見なすようにしてもよい。これにより、背景光や量子センサの深度位置による蛍光強度への影響を排除して各量子センサの蛍光強度をより正確に特定することができる。

【0055】

また、蛍光強度特定部３５は、マイクロ波の周波数ポイントごとに各量子センサの蛍光強度を求める。これはマイクロ波の周波数スイープにより量子センサの蛍光強度がどのように変化するかその変化パターンを知るためである。蛍光強度特定部３５は、スイープされるマイクロ波の周波数ポイントごとに各量子センサの蛍光光線の画素値を積算して十分に大きな光線強度で解析処理が行えるようにしてもよい。これにより、精度よく蛍光強度の変化パターンを知ることができる。

【0056】

各量子センサの蛍光強度が特定されると、物理量算出部３６が、各量子センサの蛍光強度の変化パターンから各量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する物理量を算出する（Ｓ１７）。図１０は、量子センサの一例である蛍光ナノダイヤモンド（ＦＮＤ）のＯＤＭＲスペクトルの温度依存性を例示するグラフである。グラフの横軸は試料に照射されるマイクロ波の周波数、縦軸は蛍光強度特定部３５により特定されたＦＮＤの蛍光強度の相対値である。同グラフにおいて、２つの異なる環境下（量子センサの周辺温度が２４℃、２８℃のとき）での各周波数ポイントのＦＮＤの蛍光強度の相対値がプロットされるとともにそれぞれのフィッティングカーブが重ねて描かれている。各フィッティングカーブは、各周波数ポイントでのＦＮＤの蛍光強度を二峰性のローレンツ関数にフィッティングして得られたものである。

【0057】

同グラフからわかるように、ＦＮＤのＯＤＭＲスペクトルのフィッティングカーブは、照射されるマイクロ波が共鳴周波数に近くなるに連れ大きく減少して極小値を取り、共鳴周波数近傍においてわずかに増大して共鳴周波数において極大値を取るという特徴を有する。さらに、ＦＮＤの共鳴周波数は温度に応じて異なる。すなわち、共鳴周波数には温度依存性がある。したがって、ＦＮＤの共鳴周波数を求めることができれば、そこから物理量としての温度を求めることができる。ＦＮＤの共鳴周波数から０．１～１℃程度の精度で温度を計測することができる。

【0058】

具体的には、物理量算出部３６は、各量子センサについて、蛍光強度特定部３５により特定されたマイクロ波の周波数ポイントごとの蛍光強度を関数フィッティングしてフィッティングカーブを求めることで、そのフィッティングカーブから共鳴周波数を特定することができる。フィッティングには二峰性のローレンツ関数のほか、ガウス関数を用いることが可能である。あるいは、物理量算出部３６は、マイクロ波の周波数ポイントごとの蛍光強度を入力値、共鳴周波数を出力値としてあらかじめ学習させた機械学習モデルを使用して、蛍光強度特定部３５により特定されたマイクロ波の周波数ポイントごとの量子センサの蛍光強度を当該機械学習モデルに入力して共鳴周波数を予測させるようにしてもよい。

【0059】

なお、量子センサの大きさのばらつきなどにより同じ共鳴周波数でも対応する温度がさまざまに異なる。したがって、あらかじめ所定の温度環境下で量子センサの共鳴周波数を求めて当該温度と共鳴周波数との対応関係を特定しておいて、それを基準として、試料に含まれる量子センサの強度から特定される共鳴周波数に対して温度を算出するようにすることが好ましい。

【0060】

物理量算出部３６は、各量子センサの共鳴周波数を特定し、それに対応する温度を算出すると、量子センサ位置特定部３４により特定された各量子センサの三次元空間位置と当該算出した温度とを対応づける（Ｓ１８）。これにより、試料内で各量子センサが存在するピンポイントの各三次元空間位置の物理量、具体的には温度が計測される。

【0061】

≪効果≫
本実施形態に係るライトフィールド量子計測システム１００によると、極小サイズのセンサである量子センサを使用することで高い空間分解能で試料内の三次元空間の物理量を計測することができる。さらに、量子センサを含む試料をライトフィールド顕微鏡１０で撮像してそのライトフィールド画像を解析することで、ライトフィールド画像のワンショットから試料内の複数の量子センサの三次元空間座標を特定することができる。これにより、共焦点顕微鏡のように深度を変えてスキャンを繰り返して三次元空間を撮像する必要がなく、高速に試料内の三次元空間の物理量を計測することができる。

【0062】

≪変形例≫
試料を撮像したライトフィールド画像において量子センサの蛍光と背景光とを区別する必要がなければ、蛍光光線識別部３１およびステップＳ１２を省略しても構わない。

【0063】

マイクロ波がオンのときとオフのときの量子センサの蛍光強度の相対値を求めずに、マイクロ波がオンのときの蛍光強度をそのままその量子センサの蛍光強度として画像解析を行ってもよい。この場合、マイクロ波発生器５０のマイクロ波をオン／オフは不要であるから、ステップＳ４は省略可能である。

【0064】

量子センサとして蛍光ナノダイヤモンドを使って温度を計測する場合はマイクロ波の周波数をスイープして蛍光ナノダイヤモンドの蛍光強度の変化パターンを求めた上で共鳴周波数を特定する必要があるが、所定周波数のマイクロ波を照射したときの蛍光強度から物理量が一意に決まるような量子センサを使用する場合はマイクロ波をスイープさせる必要はない。この場合、ステップＳ２およびＳ５は省略可能である。さらに、試料を撮像したライトフィールド画像において量子センサの蛍光と背景光とを区別する必要もなければ、同期信号発生器６０は省略可能である。

【0065】

量子センサとして蛍光ナノダイヤモンドを使って温度を計測する例を説明したが、同じ原理で試料に外部磁場を与えることで電場や磁場など温度以外の物理量を計測することも可能である。例えば、下記文献には蛍光ナノダイヤモンドを磁気センサとして使用して微弱磁場を計測する手法が開示されている。
文献１：Balasubramanian, G., Chan, I., Kolesov, R. et al. Nanoscale imaging magnetometry with diamond spins under ambient conditions. Nature 455, 648-651 (2008). https://doi.org/10.1038/nature07278
文献２：Maze, J., Stanwix, P., Hodges, J. et al. Nanoscale magnetic sensing with an individual electronic spin in diamond. Nature 455, 644-647 (2008). https://doi.org/10.1038/nature07279
文献３：Taylor, J., Cappellaro, P., Childress, L. et al. High-sensitivity diamond magnetometer with nanoscale resolution. Nature Phys 4, 810-816 (2008). https://doi.org/10.1038/nphys1075

【0066】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0067】

本発明に係るライトフィールド量子計測システムおよび画像解析装置は、高い空間分解能で高速に試料内の三次元空間の物理量を計測することができるため、生体分子や細胞内挙動などの高速事象の観察に有用である。

【符号の説明】

【0068】

１００ ライトフィールド量子計測システム
１０ ライトフィールド顕微鏡（ライトフィールド光学系）
３０ 画像解析装置
３１ 蛍光光線識別部
３２ 画像再構成部
３３ 三次元再構成部
３４ 量子センサ位置特定部
３５ 蛍光強度特定部
３６ 物理量算出部
４０ 励起光発生器
５０ マイクロ波発生器
６０ 同期信号発生器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】