2025-24402 画像解析装置、画像解析方法およびプログラム、ならびに複眼光学系量子計測システムおよび複眼光学系量子計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025024402

(43)【公開日】2025-02-20

(54)【発明の名称】画像解析装置、画像解析方法およびプログラム、ならびに複眼光学系量子計測システムおよび複眼光学系量子計測方法

(51)【国際特許分類】

   G01N 21/64 20060101AFI20250213BHJP

   G01N 22/00 20060101ALI20250213BHJP

   G01N 24/00 20060101ALI20250213BHJP

【ＦＩ】

G01N21/64 Z

G01N22/00 N

G01N24/00 C

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023128479

(22)【出願日】2023-08-07

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年８月１０日 ｈｔｔｐｓ：／／ｗｗｗ．ｓａｎｋｅｎ．ｏｓａｋａ－ｕ．ａｃ．ｊｐ／ｌａｂｓ／ｂｓｅ／ｂｉｏｉｍａｇｉｎｇ／ＰＤＦ／ａｂｓｔｒａｃｔ．ｐｄｆ 令和４年８月３１日 Ｔｈｅ １１０ｔｈ Ｓｃｉｅｎｃ－ｏｍｅフォーラム 令和４年９月３日 第３１回日本バイオイメージング学会学術集会ポスターセッション 令和４年９月５日 ｈｔｔｐｓ：／／ｗｗｗ２．ａｅｐｌａｎ．ｃｏ．ｊｐ／ｂｓｊ２０２２／ｐｒｏｇｒａｍ．ｈｔｍｌ 令和４年９月２９日 第６０回日本生物物理学会年会ポスターセッション 令和４年１０月２７日 ｈｔｔｐｓ：／／ｉｔｃ．ｎｉｆｓ．ａｃ．ｊｐ／ＬＯＧＩＮ．ｈｔｍｌ 令和４年１１月８日 第３１回国際土岐コンファレンス 令和４年１１月８日 ２０２２年度生理学研究所研究会「極限環境適応」参加登録者宛電子メール 令和４年１１月１０日 ２０２２年度生理学研究所研究会「極限環境適応」 令和４年１１月１０日 ｈｔｔｐｓ：／／ｍｂｓｊ２０２２．ｇａｋｋａｉ．ｏｎｌｉｎｅ 令和４年１１月２２日 ｈｔｔｐｓ：／／ｗｗｗ．ｑｓｔ．ｇｏ．ｊｐ／ｕｐｌｏａｄｅｄ／ａｔｔａｃｈｍｅｎｔ／３０３２０．ｐｄｆ 令和４年１１月２４日 日本動物行動学会第４１回大会 令和４年１１月２６日 量子生命科学先端フォーラム２０２２冬の研究会 令和４年１１月２９日 Ｔｈｅ ５ｔｈ ＩＦＱＭＳ 令和４年１１月３０日 第４５回日本分子生物学会年会 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ａｒｃｈｉｖｅ／４／４ｃ／２０２２１２０５０４１０２５％２１Ｑ－ｂｉｏ＿第十回年会プログラム．ｐｄｆ 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ａｒｃｈｉｖｅ／４／４ｃ／２０２２１２０５０４１０２５％２１Ｑ－ｂｉｏ＿第十回年会プログラム．ｐｄｆ 令和４年１２月３日 ｈｔｔｐｓ：／／ｑ－ｂｉｏ．ｊｐ／ｉｍａｇｅｓ／ｂ／ｂ８／Ｑ－ｂｉｏ＿第十回年会ポスター要旨集．ｐｄｆ 令和４年１２月１２日 第５回ＥｘＣＥＬＬＳシンポジウム 令和４年１２月１５日 定量生物学の会第十回年会

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和５年１月１６日 ２０２２年度第１４回光塾参加登録者宛電子メール 令和５年１月１９日 ２０２２年度第１４回光塾 令和５年３月１日 ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｏｐｉｃ２０２３／ｐａｒｔｉｃｉｐａｎｔ＿ｌｏｇｉｎ？ｅｖｅｎｔＣｏｄｅ＝ｏｐｉｃ２０２３ 令和５年４月２１日 ＢＩＳＣ２０２３

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、未来社会創造事業、「共通基盤」領域、探索研究「革新的な知や製品を創出する共通基盤システム・装置の実現」、研究開発課題名「生体内三次元動態のオペランド解析技術の開発」委託事業、産業技術力強化法第１７条の適用を受ける特許出願、令和４年度、文部科学省、科学技術試験研究委託事業「量子生命技術の創製と医学・生命科学の革新」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(71)【出願人】

【識別番号】301032942

【氏名又は名称】国立研究開発法人量子科学技術研究開発機構

(74)【代理人】

【識別番号】100163186

【弁理士】

【氏名又は名称】松永 裕吉

(72)【発明者】

【氏名】杉 拓磨

(72)【発明者】

【氏名】前岡 遥花

(72)【発明者】

【氏名】中根 有梨奈

(72)【発明者】

【氏名】五十嵐 龍治

(72)【発明者】

【氏名】神長 輝一

(72)【発明者】

【氏名】柳 瑶美

(72)【発明者】

【氏名】鈴木 智達

【テーマコード（参考）】

2G043

【Ｆターム（参考）】

2G043AA04

2G043BA16

2G043EA01

2G043FA02

2G043KA02

2G043KA08

2G043KA09

2G043LA03

(57)【要約】

【課題】量子センシングにおいて何度も計測を繰り返すことなくより少ない計測回数、好ましくは１回の計測で高い精度で物理量を計測可能にする。
【解決手段】量子センサを含む試料に量子センサが蛍光励起する波長の励起光および量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された試料の多視点画像を解析する画像解析装置３０は、試料の多視点画像中の複数の要素画像に捉えられた量子センサの蛍光光線から量子センサの蛍光強度を求める蛍光強度特定部３２と、量子センサの蛍光強度から量子センサが示す物理量を算出する物理量算出部３３とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析する画像解析装置であって、
前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求める蛍光強度特定部と、
前記量子センサの蛍光強度から前記量子センサが示す物理量を算出する物理量算出部と、
を備えた画像解析装置。

【請求項2】

前記試料の多視点画像が、前記マイクロ波の周波数を前記量子センサの光検出磁気共鳴の共鳴周波数前後でスイープさせて前記試料を連続撮像したものであり、
前記物理量算出部が、前記量子センサの蛍光強度の変化パターンから前記量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する前記物理量を算出する
請求項１に記載の画像解析装置。

【請求項3】

前記試料の多視点画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、
前記蛍光強度特定部が、時系列的に相前後する前記マイクロ波がオンのときとオフのときの前記多視点画像に捉えられた前記量子センサの蛍光強度の相対値を前記量子センサの蛍光強度として求める
請求項２に記載の画像解析装置。

【請求項4】

前記試料の多視点画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、
前記画像解析装置が、前記多視点画像において前記マイクロ波のオン／オフ周期で明暗する光線を前記量子センサの蛍光光線として識別する蛍光光線識別部をさらに備え、
前記蛍光強度特定部が、前記識別された蛍光光線の強度を求める
請求項２に記載の画像解析装置。

【請求項5】

前記蛍光強度特定部が、前記量子センサの蛍光光線を捉えた複数の要素画像の中から当該蛍光光線が一定以上強いものを選択し、当該選択した要素画像に捉えられた前記量子センサの蛍光光線の画素値を平均化して前記量子センサの蛍光強度を求める
請求項１に記載の画像解析装置。

【請求項6】

前記量子センサが蛍光ナノダイヤモンドである
請求項１ないし５のいずれか１項に記載の画像解析装置。

【請求項7】

前記物理量が温度である
請求項１ないし５のいずれか１項に記載の画像解析装置。

【請求項8】

前記量子センサが蛍光ナノダイヤモンドであり、
前記物理量が温度である
請求項１ないし５のいずれか１項に記載の画像解析装置。

【請求項9】

量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析する画像解析方法であって、
蛍光強度特定部が、前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求めるステップと、
物理量算出部が、前記量子センサの蛍光強度から前記各量子センサが示す物理量を算出するステップと、
を備えた画像解析方法。

【請求項10】

コンピューターに、量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析させるプログラムであって、
前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求める蛍光強度特定手段、および
前記量子センサの蛍光強度から前記量子センサが示す物理量を算出する物理量算出手段、
としてコンピューターを機能させるプログラム。

【請求項11】

量子センサを用いて物理量を計測するシステムであって、
前記量子センサが蛍光励起する波長の励起光を発生させる励起光発生器と、
前記量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるマイクロ波発生器と、
被写体の多視点画像を撮像する複眼光学系と、
前記量子センサを含む試料に前記励起光および前記マイクロ波が照射された状態で前記複眼光学系により撮像された前記試料の多視点画像を解析する請求項１ないし５のいずれか１項に記載の画像解析装置と、
を備えた複眼光学系量子計測システム。

【請求項12】

量子センサを用いた物理量の計測方法であって、
複眼光学系が、前記量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で前記試料の多視点画像を撮像するステップと、
請求項１ないし５のいずれか１項に記載の画像解析装置が、前記試料の多視点画像を解析するステップと、
を備えた複眼光学系量子計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析装置、画像解析方法およびプログラム、ならびに複眼光学系量子計測システムおよび複眼光学系量子計測方法に関し、特に、特定の条件下で蛍光する量子センサが含まれる試料の多視点画像を解析して試料内の物理量を計測する量子計測技術に関する。

【背景技術】

【0002】

疾病や細胞の老化・がん化、放射線に対する細胞応答などの現象を理解するには、細胞や分子のわずかな変化に敏感に応答するセンサが必要となる。例えば、細胞内の温度を計測するセンサとして、これまで、タンパク質型、ポリマー型、蛍光低分子型温度計測プローブなどが開発されてきた。このような蛍光を用いた生体イメージングは、細胞や生体内の分子局在やその機能の解析のために欠かせない技術となっている。

【0003】

生命現象が引き起こす生体内の非常に小さい変化を正確に理解するには細胞や分子のわずかな変化に敏感に応答する超高感度のセンサが必要である。そのようなセンサとして量子効果を利用して磁気、磁場、温度などの物理量を計測する量子センサがあり、中でも、蛍光ナノダイヤモンド（ＦＮＤ：Fluorescent nanodiamond）が細胞イメージングや極微量ウイルス検出などにおける高感度の蛍光標識剤として注目されている。量子センサを用いて細胞内の分子を計測するには、量子センサの大きさが数十ｎｍでは大きすぎるため分子サイズの数ｎｍサイズにする必要がある。本願発明の発明者は、世界最小の数ｎｍサイズのＦＮＤの作成に成功するとともに、ＦＮＤを使用した蛍光イメージングにおいて自家蛍光や夾雑物の蛍光などの背景光が量子センサの蛍光検出の妨げとなるといった欠点を克服し、信号／背景光比（ＳＢＲ値）の向上を実現している（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Tamami Yanagi, Kiichi Kaminaga, Michiyo Suzuki, Hiroshi Abe, Hiroki Yamamoto, Takeshi Ohshima, Akihiro Kuwahata, Masaki Sekino, Tatsuhiko Imaoka, Shizuko Kakinuma, Takuma Sugi, Wataru Kada, Osamu Hanaizumi, and Ryuji Igarashi, “All-Optical Wide-Field Selective Imaging of Fluorescent Nanodiamonds in Cells, In Vivo and Ex Vivo,”ACS Nano 2021 15 (8), 12869-12879, 2021年8月2日

【発明の概要】

【発明が解決しようとする課題】

【0005】

量子センサを使用した量子センシングでは、光学系や撮像系の性能などに起因して量子センサの蛍光強度に誤差あるいはばらつきが生じることで、計測される物理量にも誤差が生じてしまう。計測を繰り返し行なってその平均を取ることで計測誤差あるいはばらつきを小さくすることができるが、それでは計測に時間がかかってしまう。

【0006】

そこで、本発明は、量子センシングにおいて何度も計測を繰り返すことなくより少ない計測回数、好ましくは１回の計測で高い精度で物理量を計測可能にすることを課題とする。

【課題を解決するための手段】

【0007】

本発明の態様１に係る画像解析装置は、量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析する画像解析装置であって、前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求める蛍光強度特定部と、前記量子センサの蛍光強度から前記量子センサが示す物理量を算出する物理量算出部と、を備えている。

【0008】

本発明の態様２に係る画像解析装置は、前記態様１に係る画像解析装置において、前記試料の多視点画像が、前記マイクロ波の周波数を前記量子センサの光検出磁気共鳴の共鳴周波数前後でスイープさせて前記試料を連続撮像したものであり、前記物理量算出部が、前記量子センサの蛍光強度の変化パターンから前記量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する前記物理量を算出する。

【0009】

本発明の態様３に係る画像解析装置は、前記態様２に係る画像解析装置において、前記試料の多視点画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、前記蛍光強度特定部が、時系列的に相前後する前記マイクロ波がオンのときとオフのときの前記多視点画像に捉えられた前記量子センサの蛍光強度の相対値を前記量子センサの蛍光強度として求める。

【0010】

本発明の態様４に係る画像解析装置は、前記態様２に係る画像解析装置において、前記試料の多視点画像が、さらに前記マイクロ波を一定周期でオン／オフしながら前記試料を連続撮像したものであり、前記画像解析装置が、前記多視点画像において前記マイクロ波のオン／オフ周期で明暗する光線を前記量子センサの蛍光光線として識別する蛍光光線識別部をさらに備え、前記蛍光強度特定部が、前記識別された蛍光光線の強度を求める。

【0011】

本発明の態様５に係る画像解析装置は、前記態様１に係る画像解析装置において、前記蛍光強度特定部が、前記量子センサの蛍光光線を捉えた複数の要素画像の中から当該蛍光光線が一定以上強いものを選択し、当該選択した要素画像に捉えられた前記量子センサの蛍光光線の画素値を平均化して前記量子センサの蛍光強度を求める。

【0012】

本発明の態様６に係る画像解析装置は、前記態様１ないし５のいずれか１態様に係る画像解析装置において、前記量子センサが蛍光ナノダイヤモンドである。

【0013】

本発明の態様７に係る画像解析装置は、前記態様１ないし６のいずれか１態様に係る画像解析装置において、前記物理量が温度である。

【0014】

本発明の態様８に係る画像解析方法は、量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析する画像解析方法であって、蛍光強度特定部が、前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求めるステップと、物理量算出部が、前記量子センサの蛍光強度から前記各量子センサが示す物理量を算出するステップと、を備えている。

【0015】

本発明の態様９に係るプログラムは、コンピューターに、量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で複眼光学系により撮像された前記試料の多視点画像を解析させるプログラムであって、前記試料の多視点画像中の複数の要素画像に捉えられた前記量子センサの蛍光光線から前記量子センサの蛍光強度を求める蛍光強度特定手段、および前記量子センサの蛍光強度から前記量子センサが示す物理量を算出する物理量算出手段、としてコンピューターを機能させる。

【0016】

本発明の態様１０に係る複眼光学系量子計測システムは、量子センサを用いて物理量を計測するシステムであって、前記量子センサが蛍光励起する波長の励起光を発生させる励起光発生器と、前記量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるマイクロ波発生器と、被写体の多視点画像を撮像する複眼光学系と、前記量子センサを含む試料に前記励起光および前記マイクロ波が照射された状態で前記複眼光学系により撮像された前記試料の多視点画像を解析する前記態様１ないし７のいずれか１態様に係る画像解析装置と、を備えている。

【0017】

本発明の態様１１に係る複眼光学系量子計測方法は、量子センサを用いた物理量の計測方法であって、複眼光学系が、前記量子センサを含む試料に前記量子センサが蛍光励起する波長の励起光および前記量子センサが光検出磁気共鳴する周波数のマイクロ波が照射された状態で前記試料の多視点画像を撮像するステップと、前記態様１ないし７のいずれか１態様に係る画像解析装置が、前記試料の多視点画像を解析するステップと、を備えている。

【発明の効果】

【0018】

本発明によると、量子センサを含む試料を複数の異なる視点から撮像した多視点画像を解析することで何度も計測を繰り返すことなくより少ない計測回数、好ましくは１回の計測で高い精度で物理量を計測することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る複眼光学系量子計測システムの概略図である。

【図2】図１の複眼光学系量子計測システムにおける複眼光学系、記憶装置および画像解析装置の概略図である。

【図3】試料の多視点画像の取得方法の一例を示すフローチャートである。

【図4】試料の多視点画像の解析方法の一例を示すフローチャートである。

【図5】複眼光学系で撮像した試料の多視点画像と単眼光学系で撮像した試料のワイドフィールド画像を比較する図である。

【図6】試料の多視点画像に捉えられた量子センサ蛍光とそれ以外の光の強度変動の違いを示す模式図である。

【図7】平均化に使用される関心領域の数と計測温度誤差の関係を例示するグラフである。

【図8】量子センサの一例である蛍光ナノダイヤモンドのＯＤＭＲスペクトルの温度依存性を例示するグラフである。

【図9】ワイドフィールド画像および多視点画像のそれぞれに基づく温度計測において積算回数と計測温度誤差の関係を例示するグラフである。

【図10】ワイドフィールド画像および多視点画像のそれぞれに基づく温度計測において励起光強度と計測温度誤差の関係を例示するグラフである。

【発明を実施するための形態】

【0020】

以下、適宜図面を参照しながら、本発明の実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本発明を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。また、図面に描かれた各部材の寸法、細部の詳細形状などは実際のものとは異なることがある。

【0021】

≪実施形態≫
図１は、本発明の一実施形態に係る複眼光学系量子計測システムの概略図である。本実施形態に係る複眼光学系量子計測システム１００は、量子センサを含む試料を複数の異なる視点から撮像した多視点画像を撮像し、その画像を解析して試料内の物理量を計測するものである。具体的に、複眼光学系量子計測システム１００は、主要構成要素として、複眼光学系１０と、記憶装置２０と、画像解析装置３０と、励起光発生器４０と、マイクロ波発生器５０と、同期信号発生器６０とを備えている。

【0022】

量子センサとして、例えば、蛍光ナノダイヤモンド（ＦＮＤ）を使用することができる。ＦＮＤは、直径数ｎｍ～数百ｎｍの人工ダイヤモンド粒子であり、その特徴として結晶中に不純物としての窒素原子（Nitrogen）を含んでいる。この窒素原子とその隣の空孔（Vacancy）とでＮＶＣ（Nitrogen-Vacancy Center）が形成され、５３２ｎｍの緑色光で励起すると６３７ｎｍの光子を放出（赤色蛍光）する。ＦＮＤの蛍光は耐光性に優れ、褪色や明滅も起こさないため長時間のイメージ計測に適している。さらに、ＮＶＣには窒素原子由来の電子２個と炭素原子由来の電子３個と空孔内の電子１個の計６個の電子からなる負電荷を帯びたＮＶ^－が存在する。そして、この空孔内の電子スピンが電磁波と共鳴することでＦＮＤの蛍光強度が変化するといった光検出磁気共鳴（ＯＤＭＲ：Optically Detected Magnetic Resonance）が見られる。具体的に、ＦＮＤに２．８７ＧＨｚ付近のマイクロ波を照射するとＯＤＭＲ活性によりＦＮＤの蛍光強度が弱くなる。この共鳴周波数は温度依存性を持つため、ＦＮＤの光検出磁気共鳴の共鳴周波数の変化を計測することで物理量としての温度を計測することができる。例えば、試料としての線虫C. elegansに取り込ませたＦＮＤの蛍光を計測することで、線虫の生体組織内の微小領域の温度を計測することができる。

【0023】

励起光発生器４０は、量子センサが蛍光励起する波長の励起光を発生させるデバイスである。ＦＮＤを量子センサとして使用する場合、励起光発生器４０は５３２ｎｍの緑色レーザー光を出力する。

【0024】

マイクロ波発生器５０は、量子センサが光検出磁気共鳴する周波数のマイクロ波を発生させるデバイスである。ＦＮＤを量子センサとして使用する場合、マイクロ波発生器５０はＦＮＤにおけるＮＶＣの電子スピンの共鳴周波数である２．８７ＧＨｚ前後、例えば、２．８２ＧＨｚ～２．９２ＧＨｚのマイクロ波を発生させる。また、マイクロ波発生器５０は、周波数をスイープしてマイクロ波を発生させることができるとともに、同期信号発生器６０から出力される同期信号に同期してマイクロ波をパルス状に出力することができる。

【0025】

試料はスライドガラスやシャーレなどのサンプルホルダに調整してステージに載置される。ステージの下側には対物レンズが配置されており、励起光発生器４０から出力されたレーザー光がコリメーターレンズ、コンデンサレンズ、ダイクロイックミラーなどを経由して対物レンズに入光し、対物レンズの先端からサンプルホルダ内の試料に励起光が照射される。一方、ステージに載置されたサンプルホルダの真上にコイルが配置されており、マイクロ波発生器５０から出力されたマイクロ波が同軸ケーブルを伝って先端のコイルからサンプルホルダ内の試料に照射される。

【0026】

同期信号発生器６０は、マイクロ波発生器５０の周波数スイープおよびマイクロ波の発生のオン／オフの制御、および複眼光学系１０の撮像タイミングを制御するための同期信号を発生させるデバイスである。具体的には、同期信号発生器６０はファンクションジェネレータである。

【0027】

複眼光学系１０、記憶装置２０および画像解析装置３０については別図を参照しながら説明する。図２は、図１の複眼光学系量子計測装置１００における複眼光学系１０、記憶装置２０および画像解析装置３０の概略図である。複眼光学系１０は、互いにずれた複数の視点から同一被写体を撮像する光学系であり、メインレンズ１、マイクロレンズアレイ２、イメージセンサ３を備えている。複眼光学系１０の一例としてライトフィールド光学系が挙げられる。メインレンズ１は対物レンズ、結像レンズ、吸収フィルタなどを含む場合があるが、ここでは便宜上、それらを含んだものをメインレンズ１として表す。マイクロレンズアレイ２は、複数のマイクロレンズ（レンズレット）２ａを二次元的に配列して構成され、メインレンズ１とイメージセンサ３の間に配置される。イメージセンサ３は、入力された光を光電変換して電気信号を出力する図略の複数の受光素子を二次元的に配列して構成されたＣＣＤセンサやＣＭＯＳセンサなどである。各受光素子から出力された電気信号は図略のＡ／Ｄ変換器によりデジタルデータに変換され、複眼光学系１０から、互いにずれた複数の視点から同一被写体を撮像した多視点画像が出力される。多視点画像の一例としてライトフィールド画像が挙げられる。

【0028】

記憶装置２０は、ＲＡＭ、ＲＯＭ、ＳＳＤ、ＨＤＤなどの記憶デバイスの集合体である。ＲＡＭは、主として画像解析装置３０が画像解析を行う際のワーキングメモリとして使用される。ＲＯＭ、ＳＳＤ、およびＨＤＤは、主として画像解析装置３０を動作させるためのコンピュータープログラムや、画像解析装置３０の解析対象である試料の多視点画像などを一時的または長期に亘って保存する。記憶装置２０はクラウド上に配置されていてもよい。

【0029】

画像解析装置３０は、記憶装置２０に保存されている試料の多視点画像を解析して画像中の量子センサが示す物理量を算出する。具体的には、画像解析装置３０は、蛍光光線識別部３１と、蛍光強度特定部３２と、物理量算出部３３とを備えている。これら各構成要素は、ＡＳＩＣやＦＰＧＡなどのハードウェア、あるいは、記憶装置２０に記憶されているコンピュータープログラムあるいはコンピューター可読で非一時的な記録媒体に格納されて提供されるコンピュータープログラムをＣＰＵやＧＰＵなどの図略のプロセッサで実行するソフトウェアとして実現することができる。ハードウェアとソフトウェアを適宜組み合わせて実現することもできる。画像解析装置３０は、画像解析を実行中に、記憶装置２０を構成する各種記憶デバイスに適宜アクセスしてデータの書き込みおよび読み出しを行う。画像解析装置３０の構成要素のすべてまたは一部はクラウド上に配置されていてもよい。画像解析装置３０による解析結果は別の処理系に渡されてさらに別の処理がされたり、図略のユーザインターフェースを通じてユーザに結果が表示されたりする。記憶装置２０と画像解析装置３０は一体のコンピューター装置として構成されていてもよい。

【0030】

次に、画像解析装置３０の解析対象である試料の多視点画像の取得方法について説明する。図３は、試料の多視点画像の取得方法の一例を示すフローチャートである。まず、量子センサを含む試料が入ったサンプルホルダをステージに載置して励起光発生器４０から出力される励起光を試料に照射する（Ｓ１）。次に、マイクロ波発生器５０の発信周波数を量子センサの光検出磁気共鳴の共鳴周波数近傍の開始値に設定して周波数スイープを開始する（Ｓ２）。同期信号発生器６０の同期信号に同期して、マイクロ波発生器５０はマイクロ波をオンにし、複眼光学系１０は励起光およびマイクロ波が照射された状態の試料の多視点画像を撮像して記憶装置２０に保存する（Ｓ３）。続けて、同期信号発生器６０の同期信号に同期して、マイクロ波発生器５０はマイクロ波をオフにし、複眼光学系１０はマイクロ波が照射されず励起光のみが照射された状態の試料の多視点画像を撮像して記憶装置２０に保存する（Ｓ４）。その後、マイクロ波発生器５０は周波数をスイープし（Ｓ５）、マイクロ波の周波数が量子センサの光検出磁気共鳴の共鳴周波数近傍のスイープ終了値になるまでステップＳ３およびＳ４が繰り返し行われる。

【0031】

例えば、４００Ｈｚの同期信号に同期してマイクロ波の周波数を１００ポイントスイープさせる場合、０．５秒間で、励起光およびマイクロ波が照射された状態の試料の多視点画像および励起光のみが照射された状態の試料の多視点画像が交互に繰り返される２００枚の多視点画像が取得される。

【0032】

なお、マイクロ波は周波数が単調増加するようにスイープしてもよいし、単調減少するようにスイープしてもよいし、周波数スイープのステップは一定値でなくてもよい。また、周波数スイープに代えて周波数ホッピングをしてもよい。一定の周波数範囲で複数の異なる周波数のマイクロ波を照射したとき試料の多視点画像が複数取得できればよい。

【0033】

また、複眼光学系１０の性能やフレームレートによっては１枚の多視点画像に捉えられる量子センサの蛍光光線が極微弱になり得る。そのような場合、量子センサの蛍光光線の画素値を積算して光線強度を十分に大きな値にした上で後述のさまざまな解析処理を行うようにしてもよい。したがって、画像解析処理において光線強度を積算できるように、上記のステップＳ２ないしＳ５を複数回繰り返してより多くの多視点画像セットを取得するようにしてもよい。

【0034】

次に、取得された試料の多視点画像について画像解析装置３０による解析方法について説明する。図４は、試料の多視点画像の解析方法の一例を示すフローチャートである。まず、画像解析装置３０が、記憶装置２０から連続撮像された試料の多視点画像を読み込む（Ｓ１１）。

【0035】

図５は、複眼光学系で撮像した試料の多視点画像と単眼光学系で撮像した試料のワイドフィールド画像を比較する図である。いずれの画像も量子センサを１個含む試料を撮像した画像である。図中の矩形枠は関心領域（ROI：Region of Interest）を表す。ここでの関心領域は量子センサの蛍光光線を捉えている領域である。多視点画像およびワイドフィールド画像のいずれの場合も関心領域の画素から量子センサの蛍光強度が求められる。

【0036】

単眼光学系では単一の視点から被写体が撮像されるため、ワイトフィールド画像において量子センサの蛍光は一つの光の像として記録される。一方、複眼光学系では同一被写体が複数の異なる視点から撮像されるため、多視点画像において量子センサの蛍光は複数の光の像として記録される。すなわち、多視点画像は同一被写体を複数の視点から撮像した複数の要素画像が集まってできており、多視点画像中の複数の要素画像のそれぞれに量子センサの蛍光が捉えられている。

【0037】

図４へ戻り、蛍光光線識別部３１が、読み出された多視点画像中の量子センサの蛍光光線を識別する（Ｓ１２）。図６は、試料の多視点画像に捉えられた量子センサ蛍光とそれ以外の光の強度変動の違いを示す模式図である。上述したように、量子センサに光検出磁気共鳴の共鳴周波数近傍の周波数のマイクロ波が照射されると蛍光強度が弱くなる。したがって、同期信号発生器６０から出力される一定周期の同期信号に同期してマイクロ波をオン／オフしながら試料を連続撮像した多視点画像において、量子センサの蛍光強度はミクロ的にマイクロ波のオン／オフ周期で明暗しながらマクロ的にマイクロ波の周波数スイープに応じて変動する。一方、試料自体が発する自家蛍光や夾雑物の蛍光などの背景光の強度はマイクロ波のオン／オフ周期とは無関係に変化する。このような強度変化の特徴の違いから、連続撮像された試料の多視点画像において量子センサの蛍光とそれ以外とを区別することができる。具体的には、蛍光光線識別部３１は、試料の多視点画像においてマイクロ波のオン／オフ周期で明暗する光線を量子センサの蛍光光線として識別する。これにより、背景光が含まれる多視点画像から量子センサの蛍光を効率的に抽出することができ、ＳＢＲ値（信号／背景光比）を向上させることができる。

【0038】

図４へ戻り、ステップＳ１３、Ｓ１４で、蛍光強度特定部３２が、試料の多視点画像中の複数の要素画像に捉えられた量子センサの蛍光光線から量子センサの蛍光強度を求める。ステップＳ１２で蛍光光線識別部３１により量子センサの蛍光光線が識別されていることから、蛍光強度特定部３２は、量子センサの蛍光光線として識別された光線についてその強度を求めればよい。

【0039】

より詳細には、蛍光強度特定部３２は、各要素画像に設定された関心領域の画素の画素値を平均化してその平均値を量子センサの蛍光強度として求める。関心領域は要素画像を同じ大きさであってもよいし、それよりも小さい領域であってもよい。

【0040】

量子センサの蛍光光線が捉えられたすべての要素画像を当該平均化の対象としなくてもよい。試料の多視点画像にはさまざまな視点から量子センサの蛍光光線を捉えた要素画像が含まれるが、中には背景とあまり区別がつかないような非常に弱い光線の要素画像も存在し、そのような要素画像の画素の画素値を平均化に含めると平均値のＳ／Ｎ比が悪くなる原因となる。

【0041】

図７は、平均化に使用される関心領域の数と計測温度誤差の関係を例示するグラフである。グラフに示したように、関心領域が１個よりも多い方が計測温度誤差は小さくなる。しかし、関心領域がある程度の数になると計測温度誤差はそれ以上小さくならない。したがって、関心領域は多ければ多いほどよいというわけではなく、ある程度の数、例えば、量子センサの蛍光光線が一定以上強いものに制限してもよい。

【0042】

図４へ戻り、蛍光強度特定部３２は、量子センサの蛍光光線を捉えた複数の要素画像の中から当該蛍光光線が一定以上強いものを選択する（Ｓ１３）。そして、蛍光強度特定部３２は、当該選択した要素画像に捉えられた量子センサの蛍光光線の画素値を平均化して量子センサの蛍光強度を求める（Ｓ１４）。

【0043】

蛍光強度特定部３２は、時系列的に相前後するマイクロ波がオンのときとオフのときの多視点画像に捉えられた量子センサの蛍光強度の相対値を量子センサの蛍光強度として求めるようにしてもよい。蛍光強度の比や差分を当該相対値とすることができる。図６の例で説明すると、ミクロ的に上下する強度の相対値を量子センサの蛍光強度と見なすようにしてもよい。これにより、背景光や量子センサの深度位置による蛍光強度への影響を排除して量子センサの蛍光強度をより正確に特定することができる。

【0044】

また、蛍光強度特定部３２は、マイクロ波の周波数ポイントごとに各量子センサの蛍光強度を求める。これはマイクロ波の周波数スイープにより量子センサの蛍光強度がどのように変化するかその変化パターンを知るためである。蛍光強度特定部３２は、スイープされるマイクロ波の周波数ポイントごとに量子センサの蛍光光線の画素値を積算して十分に大きな光線強度で解析処理が行えるようにしてもよい。これにより、精度よく蛍光強度の変化パターンを知ることができる。

【0045】

量子センサの蛍光強度が特定されると、物理量算出部３３が、量子センサの蛍光強度の変化パターンから量子センサの光検出磁気共鳴の共鳴周波数を特定し、当該特定した共鳴周波数に対応する物理量を算出する（Ｓ１５）。図８は、量子センサの一例である蛍光ナノダイヤモンド（ＦＮＤ）のＯＤＭＲスペクトルの温度依存性を例示するグラフである。グラフの横軸は試料に照射されるマイクロ波の周波数、縦軸は蛍光強度特定部３２により特定されたＦＮＤの蛍光強度の相対値である。同グラフにおいて、２つの異なる環境下（量子センサの周辺温度が２４℃、２８℃のとき）での各周波数ポイントのＦＮＤの蛍光強度の相対値がプロットされるとともにそれぞれのフィッティングカーブが重ねて描かれている。各フィッティングカーブは、各周波数ポイントでのＦＮＤの蛍光強度を二峰性のローレンツ関数にフィッティングして得られたものである。

【0046】

同グラフからわかるように、ＦＮＤのＯＤＭＲスペクトルのフィッティングカーブは、照射されるマイクロ波が共鳴周波数に近くなるに連れ大きく減少して極小値を取り、共鳴周波数近傍においてわずかに増大して共鳴周波数において極大値を取るという特徴を有する。さらに、ＦＮＤの共鳴周波数は温度に応じて異なる。すなわち、共鳴周波数には温度依存性がある。したがって、ＦＮＤの共鳴周波数を求めることができれば、そこから物理量としての温度を求めることができる。ＦＮＤの共鳴周波数から０．１～１℃程度の精度で温度を計測することができる。

【0047】

具体的には、物理量算出部３３は、量子センサについて、蛍光強度特定部３２により特定されたマイクロ波の周波数ポイントごとの蛍光強度を関数フィッティングしてフィッティングカーブを求めることで、そのフィッティングカーブから共鳴周波数を特定することができる。フィッティングには二峰性のローレンツ関数のほか、ガウス関数を用いることが可能である。あるいは、物理量算出部３３は、マイクロ波の周波数ポイントごとの蛍光強度を入力値、共鳴周波数を出力値としてあらかじめ学習させた機械学習モデルを使用して、蛍光強度特定部３２により特定されたマイクロ波の周波数ポイントごとの量子センサの蛍光強度を当該機械学習モデルに入力して共鳴周波数を予測させるようにしてもよい。

【0048】

なお、量子センサの大きさのばらつきなどにより同じ共鳴周波数でも対応する温度がさまざまに異なる。したがって、あらかじめ所定の温度環境下で量子センサの共鳴周波数を求めて当該温度と共鳴周波数との対応関係を特定しておいて、それを基準として、試料に含まれる量子センサの強度から特定される共鳴周波数に対して温度を算出するようにすることが好ましい。
≪効果≫

【0049】

図９は、ワイドフィールド画像および多視点画像のそれぞれに基づく温度計測において積算回数と計測温度誤差の関係を例示するグラフである。グラフの横軸はマイクロ波の周波数スイープの回数である積算回数、縦軸は量子センサ１つに対して温度計測を６回試行した際の温度の誤差である。各積算回数におけるエラーバーは、サンプルとして用意した５個の量子センサの個々について温度計測を試行して各試行で計測された温度の誤差のばらつきを表す。ワイドフィールド画像および多視点画像のいずれについても何回も積算する、すなわち、周波数スイープを繰り返して平均化することで計測温度誤差が下がる。特筆すべきは、多視点画像に基づく温度計測は１回の計測でワイドフィールド画像に基づく温度計測よりも計測誤差が小さいということである。また、多視点画像に基づく温度計測は２回の積算でワイドフィールド画像に基づく温度計測の５回積算に相当する計測誤差が達成できている。このことから、本実施形態に係る複眼光学系量子計測システム１００によると、何度も計測を繰り返すことなく１回の計測で高い精度で物理量を計測することができる。

【0050】

図１０は、ワイドフィールド画像および多視点画像のそれぞれに基づく温度計測において励起光強度と計測温度誤差の関係を例示するグラフである。グラフの横軸は量子センサに照射する励起光の強度、縦軸は量子センサ１つに対して温度計測を６回試行した際の温度の誤差である。各励起光強度におけるエラーバーは、サンプルとして用意した５個の量子センサの個々について温度計測を６回試行して各試行で計測された温度の誤差のばらつきを表す。ワイドフィールド画像に基づく温度計測では励起光強度が弱くなると計測温度誤差が大きくなる傾向が見られるが、多視点画像に基づく温度計測では励起光強度の大小にかかわらず計測温度誤差は概ね小さく抑えられている。また、例示したグラフでは、ワイドフィールド画像に基づく温度計測では励起光強度が１００ｍＷのとき計測温度誤差が最小となり、多視点画像に基づく温度計測では励起光強度が９０ｍＷのとき計測温度誤差が最小となるが、両者には約２．５倍もの差があり、多視点画像に基づく温度計測の方が圧倒的に計測精度がよい。このことから、本実施形態に係る複眼光学系量子計測システム１００によると、量子センサの蛍光が微弱であっても精度よく物理量を計測することができるとともに、ワイドフィールド画像に基づく物理量計測に比べ格段に高い精度で物理量を計測することができる。

【0051】

≪変形例≫
試料を撮像した多視点画像において量子センサの蛍光と背景光とを区別する必要がなければ、蛍光光線識別部３１およびステップＳ１２を省略しても構わない。

【0052】

マイクロ波がオンのときとオフのときの量子センサの蛍光強度の相対値を求めずに、マイクロ波がオンのときの蛍光強度をそのままその量子センサの蛍光強度として画像解析を行ってもよい。この場合、マイクロ波発生器５０のマイクロ波をオン／オフは不要であるから、ステップＳ４は省略可能である。

【0053】

量子センサとして蛍光ナノダイヤモンドを使って温度を計測する場合はマイクロ波の周波数をスイープして蛍光ナノダイヤモンドの蛍光強度の変化パターンを求めた上で共鳴周波数を特定する必要があるが、所定周波数のマイクロ波を照射したときの蛍光強度から物理量が一意に決まるような量子センサを使用する場合はマイクロ波をスイープさせる必要はない。この場合、ステップＳ２およびＳ５は省略可能である。さらに、試料を撮像した多視点画像において量子センサの蛍光と背景光とを区別する必要もなければ、同期信号発生器６０は省略可能である。

【0054】

時系列的に相前後するマイクロ波がオンのときとオフのときの多視点画像に捉えられた量子センサの蛍光強度の相対値化と、各要素画像に設定された関心領域の画素の画素値を平均化はどちらを先に行なってもよい。すなわち、先に量子センサの蛍光強度の相対値を求めておいてそれを複数の要素画像について平均化してもよいし、時系列的に相前後するマイクロ波がオンのときとオフのときのそれぞれについて複数の要素画素の画素値の平均値を求めておいてその平均値の比や差分を求めるようにしてもよい。

【0055】

量子センサとして蛍光ナノダイヤモンドを使って温度を計測する例を説明したが、同じ原理で試料に外部磁場を与えることで電場や磁場など温度以外の物理量を計測することも可能である。例えば、下記文献には蛍光ナノダイヤモンドを磁気センサとして使用して微弱磁場を計測する手法が開示されている。
文献１：Balasubramanian, G., Chan, I., Kolesov, R. et al. Nanoscale imaging magnetometry with diamond spins under ambient conditions. Nature 455, 648-651 (2008). https://doi.org/10.1038/nature07278
文献２：Maze, J., Stanwix, P., Hodges, J. et al. Nanoscale magnetic sensing with an individual electronic spin in diamond. Nature 455, 644-647 (2008). https://doi.org/10.1038/nature07279
文献３：Taylor, J., Cappellaro, P., Childress, L. et al. High-sensitivity diamond magnetometer with nanoscale resolution. Nature Phys 4, 810-816 (2008). https://doi.org/10.1038/nphys1075

【0056】

以上のように、本発明における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本発明における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0057】

本発明に係る複眼光学系量子計測システムおよび画像解析装置は、試料内の物理量を高い精度で計測することができるため、生体分子や細胞内挙動などの事象観察に有用である。

【符号の説明】

【0058】

１００ 複眼光学系量子計測システム
１０ 複眼光学系
３０ 画像解析装置
３１ 蛍光光線識別部
３２ 蛍光強度特定部
３３ 物理量算出部
４０ 励起光発生器
５０ マイクロ波発生器
６０ 同期信号発生器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】