特開 2023-181737 レーザ走査型顕微鏡、画像処理装置、レーザ走査型顕微鏡の動作方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023181737

(43)【公開日】2023-12-25

(54)【発明の名称】レーザ走査型顕微鏡、画像処理装置、レーザ走査型顕微鏡の動作方法、及び、プログラム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20231218BHJP

   G02B 21/36 20060101ALI20231218BHJP

   G01N 21/64 20060101ALN20231218BHJP

【ＦＩ】

G02B21/00

G02B21/36

G01N21/64 E

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022095043

(22)【出願日】2022-06-13

(71)【出願人】

【識別番号】322004393

【氏名又は名称】株式会社エビデント

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】鈴木 伸吾

【テーマコード（参考）】

2G043

2H052

【Ｆターム（参考）】

2G043AA01

2G043EA01

2G043FA01

2G043FA02

2G043FA06

2G043HA01

2G043HA02

2G043HA05

2G043HA09

2G043JA03

2G043KA02

2G043KA05

2G043KA09

2G043LA03

2G043MA12

2G043NA12

2H052AA07

2H052AA09

2H052AC14

2H052AC15

2H052AC26

2H052AC34

2H052AF14

2H052AF25

(57)【要約】

【課題】ＳｉＰＭを用いて取得した画像からノイズを除去する新たな技術を提供する。
【解決手段】レーザ走査型顕微鏡は、レーザ光で試料を走査するスキャナと、Ｓｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器と、走査画像に対してＳiＰＭにおけるダークカウントノイズの出現頻度に基づいてダークカウントノイズを除去する画像処理を実行する制御装置６と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

レーザ光で試料を走査するスキャナと、
Ｓｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器と、
前記スキャナが走査した前記試料の走査画像であって前記検出器から出力された信号に基づいて生成された前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する制御装置と、を備える
ことを特徴とするレーザ走査型顕微鏡。

【請求項2】

請求項１に記載のレーザ走査型顕微鏡において、
前記制御装置は、
前記ＳiＰＭにおける前記ダークカウントノイズの前記出現頻度と、前記レーザ走査型顕微鏡の設定と、に基づいて、前記走査画像に含まれる前記ダークカウントノイズの量をノイズ量として推定する推定部と、
前記推定部で推定した前記ノイズ量に応じて、前記走査画像から前記ダークカウントノイズを除去する除去部と、を含む
ことを特徴とするレーザ走査型顕微鏡。

【請求項3】

請求項２に記載のレーザ走査型顕微鏡において、
前記レーザ走査型顕微鏡の前記設定は、前記ＳiＰＭの設定と、前記レーザ走査型顕微鏡のスキャン設定と、を含み、
前記推定部は、
前記ＳiＰＭの前記設定に基づいて、前記ＳiＰＭにおける前記ダークカウントノイズの前記出現頻度に関する情報を取得する取得部と、
前記取得部で取得した前記情報から特定される前記ダークカウントノイズの前記出現頻度と、前記スキャン設定とに、基づいて、前記ノイズ量を統計的に算出する算出部と、を備える
ことを特徴とするレーザ走査型顕微鏡。

【請求項4】

請求項３に記載のレーザ走査型顕微鏡において、
前記算出部は、前記走査画像に含まれる前記ダークカウントノイズを含む画素の数を、前記ノイズ量として算出し、
前記除去部は、前記走査画像の前記数の画素の画素値から所定の値を差し引く
ことを特徴とするレーザ走査型顕微鏡。

【請求項5】

請求項３に記載のレーザ走査型顕微鏡において、
前記算出部は、前記取得部で取得した前記情報から特定される前記ダークカウントノイズの強度毎の前記出現頻度と、前記スキャン設定とに、基づいて、前記強度毎に前記ノイズ量を統計的に算出する
ことを特徴とするレーザ走査型顕微鏡。

【請求項6】

請求項５に記載のレーザ走査型顕微鏡において、
前記算出部は、前記走査画像に含まれる前記ダークカウントノイズを含む画素の数を、前記強度毎に前記ノイズ量として算出し、
前記除去部は、前記走査画像の前記強度毎に算出した前記数の画素の画素値から前記強度に応じた値を差し引く
ことを特徴とするレーザ走査型顕微鏡。

【請求項7】

請求項２乃至請求項６のいずれか１項に記載のレーザ走査型顕微鏡において、
前記推定部は、前記走査画像と推定した前記ノイズ量とに基づいて、前記走査画像上における前記ダークカウントノイズの出現位置を推定し、
前記除去部は、前記推定部で推定した前記ノイズ量だけ、前記走査画像上の前記推定部で推定した前記出現位置から前記ダークカウントノイズを除去する
ことを特徴とするレーザ走査型顕微鏡。

【請求項8】

請求項７に記載のレーザ走査型顕微鏡において、
前記推定部は、さらに、
前記走査画像に基づいて前記走査画像の各画素に含まれる前記ダークカウントノイズに関するスコアからなるノイズ画像を生成するノイズ画像生成部と、
前記ノイズ画像と、推定した前記ノイズ量とに基づいて、前記出現位置を決定する決定部と、を備える
ことを特徴とするレーザ走査型顕微鏡。

【請求項9】

請求項８に記載のレーザ走査型顕微鏡において、
前記ノイズ画像生成部は、前記走査画像と前記走査画像にノイズ除去フィルタを適用した画像との差分に基づいて、前記ノイズ画像を生成する
ことを特徴とするレーザ走査型顕微鏡。

【請求項10】

請求項８に記載のレーザ走査型顕微鏡において、
前記ノイズ画像生成部は、ダークカウントノイズを付加した画像と前記画像に付加した前記ダークカウントノイズの空間強度分布の関係を学習した学習済みモデルと、前記走査画像と、に基づいて、前記走査画像に含まれる前記ダークカウントノイズの出現確率の空間分布を前記ノイズ画像として生成する
ことを特徴とするレーザ走査型顕微鏡。

【請求項11】

請求項１に記載のレーザ走査型顕微鏡において、さらに、
前記制御装置は、
前記ＳiＰＭにおける前記ダークカウントノイズの前記出現頻度に関する情報を記憶するメモリを備え、
前記メモリから取得した前記情報から前記出現頻度を特定する
ことを特徴とするレーザ走査型顕微鏡。

【請求項12】

請求項１１に記載のレーザ走査型顕微鏡において、
前記メモリは、前記検出器に含まれる前記ＳiＰＭの個体毎に、前記ダークカウントノイズの前記出現頻度に関する前記情報を記憶し、
前記制御装置は、前記走査画像の生成に用いられた前記ＳｉＰＭの前記個体に対応する前記情報であって前記メモリから取得した前記情報から前記出現頻度を特定する
ことを特徴とするレーザ走査型顕微鏡。

【請求項13】

請求項１１に記載のレーザ走査型顕微鏡において、
前記メモリは、前記ＳiＰＭの前記設定毎に、前記ダークカウントノイズの前記出現頻度に関する前記情報を記憶し、
前記制御装置は、前記走査画像の生成に用いられた前記ＳiＰＭの前記設定に対応する前記情報であって前記メモリから取得した前記情報から前記出現頻度を特定する
ことを特徴とするレーザ走査型顕微鏡。

【請求項14】

請求項１３に記載のレーザ走査型顕微鏡において、
前記ＳｉＰＭの前記設定は、前記ＳiＰＭへの印加電圧に関する設定を含む
ことを特徴とするレーザ走査型顕微鏡。

【請求項15】

請求項１３に記載のレーザ走査型顕微鏡において、
前記ＳｉＰＭの前記設定は、前記ＳiＰＭが恒温化された温度に関する設定を含む
ことを特徴とするレーザ走査型顕微鏡。

【請求項16】

請求項１に記載のレーザ走査型顕微鏡において、さらに、
前記ＳｉＰＭへの光の入射を遮断する遮断部を備え、
前記制御装置は、前記遮断部が前記ＳｉＰＭへの光の入射を遮断している状態で、前記走査画像を生成するときと同じ前記ＳｉＰＭの設定で生成された画像に基づいて前記出現頻度を特定する
ことを特徴とするレーザ走査型顕微鏡。

【請求項17】

請求項１に記載のレーザ走査型顕微鏡において、
前記制御装置は、さらに、前記走査画像に対して前記画像処理を実行することで生成された補正画像を表示装置へ出力する出力部を備える
ことを特徴とするレーザ走査型顕微鏡。

【請求項18】

プロセッサを備え、
前記プロセッサは、レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像であって前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて生成された前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する
ことを特徴とする画像処理装置。

【請求項19】

レーザ走査型顕微鏡の動作方法であって、
前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて前記レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像を生成し、
前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する
ことを特徴とする動作方法。

【請求項20】

レーザ走査型顕微鏡のコンピュータに、
前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて前記レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像を生成し、
前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する
処理を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の開示は、レーザ走査型顕微鏡、画像処理装置、レーザ走査型顕微鏡の動作方法、及び、プログラムに関する。

【背景技術】

【0002】

近年、レーザ走査型顕微鏡の検出素子として、Ｓｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（以降、ＳｉＰＭと記す。）が注目されている。ＳｉＰＭを用いて取得した画像の輝度値は、ＳｉＰＭへ入射した光子数に一定の係数を乗じた値となる。このため、光子数と輝度値の比例関係に基づいて画像から光子数の定量的な測定が可能であり、光子数を計数するフォトンカウンティングデバイスとしてのＳｉＰＭの利用が多いに期待されている。

【0003】

一方で、ＳｉＰＭを使用すると、ダークカウントノイズが発生するという課題がある。ＳｉＰＭで発生するダークカウントノイズは、ランダムに発生し、且つ、光子の整数個分の信号として出力される。この特徴のため、ダークカウントノイズは、光子を検出することで出力される信号と区別することは容易ではなく、光子数を誤って計数する原因となり得る。このような技術的な課題に関連する技術は、例えば、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４２０９４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術によれば、光が入射するピクセルだけをアクティブ化することで、ダークカウントノイズの影響を軽減することができる。しかしながら、アクティブ化したピクセルで発生するダークカウントノイズの影響については避けることができない。

【0006】

以上のような実情を踏まえ、本発明の一側面に係る目的は、ＳｉＰＭを用いて取得した画像からノイズを除去する新たな技術を提供することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係るレーザ走査型顕微鏡は、レーザ光で試料を走査するスキャナと、Ｓｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器と、前記スキャナが走査した前記試料の走査画像であって前記検出器から出力された信号に基づいて生成された前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する制御装置と、を備える。

【0008】

本発明の一態様に係る画像処理装置は、プロセッサを備え、プロセッサは、レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像であって前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて生成された前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する。

【0009】

本発明の一態様に係る動作方法は、レーザ走査型顕微鏡の動作方法であって、前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて前記レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像を生成し、前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する。

【0010】

本発明の一態様に係るプログラムは、レーザ走査型顕微鏡のコンピュータに、前記レーザ走査型顕微鏡に含まれるＳｉｌｉｃｏｎ Ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ（ＳｉＰＭ）を有する検出器から出力された信号に基づいて前記レーザ走査型顕微鏡に含まれるスキャナが走査した試料の走査画像を生成し、前記走査画像に対して、前記ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、前記ダークカウントノイズを除去する画像処理を実行する処理を実行させる。

【発明の効果】

【0011】

上記の態様によれば、ＳｉＰＭを用いて取得した画像からノイズを除去する新たな技術を提供することができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係るレーザ走査型顕微鏡の構成を例示する図である。

【図2】図１に示す制御装置の機能的構成を例示する図である。

【図3】図２に示す推定部のさらに詳細な構成を例示する図である。

【図4】第１の実施形態に係るレーザ走査型顕微鏡が行う処理のフローチャートの一例である。

【図5】ダークカウントノイズ推定処理のフローチャートの一例である。

【図6】出現頻度取得処理のフローチャートの一例である。

【図7】ＳｉＰＭの設定に関する画面例である。

【図8】ダークカウントノイズの出現頻度に関する情報を含むテーブルの一例である。

【図9】ダークカウントノイズの出現頻度に関する情報を含む別のテーブルの一例である。

【図10】出現量推定処理のフローチャートの一例である。

【図11】スキャン設定に関する画面例である。

【図12】出現位置推定処理のフローチャートの一例である。

【図13】ダークカウントノイズ除去処理のフローチャートの一例である。

【図14】走査画像と補正画像のヒストグラムを比較した図である。

【図15】走査画像と平滑化処理した画像のヒストグラムを比較した図である。

【図16】第２の実施形態に係るレーザ走査型顕微鏡が行う処理のフローチャートの一例である。

【図17】レーザ走査型顕微鏡の変形例について説明するための図である。

【発明を実施するための形態】

【0013】

（第１の実施形態）
図１は、本実施形態に係るレーザ走査型顕微鏡の構成を例示する図である。蛍光顕微鏡１００は、レーザ走査型顕微鏡の一例であり、レーザ光で試料を走査するスキャナと、ＳｉＰＭを有する検出器と、スキャナが走査した試料の画像（以降、走査画像と記す。）を検出器から出力された信号に基づいて生成する制御装置と、を備えている。以下、図１を参照しながら、蛍光顕微鏡１００の構成について詳細に説明する。

【0014】

蛍光顕微鏡１００は、図１に例示したように、レーザ光で試料Ａを２次元的に走査するスキャンユニット１と、レーザ光が照射されることにより試料Ａにおいて発生してスキャンユニット１を介して入射する蛍光を検出する第１検出ユニット２及び第２検出ユニット３とを備えている。

【0015】

スキャンユニット１は、レーザ光を出射するレーザ光源１１と、レーザ光源１１からのレーザ光を試料Ａに導く照明光学系１２とを備えている。レーザ光源１１は、例えば４０５ｎｍ、４８８ｎｍ、５４３ｎｍといった発振波長の異なるものが複数種備えられ、それぞれの発振波長のレーザ光を出射制御可能なＡＯＴＦ（Ａｃｏｕｓｔｏ―Ｏｐｔｉｃｓ ｔｕｎａｂｌｅ Ｆｉｌｔｅｒ）を備えている。照明光学系１２は、レーザ光源１１からのレーザ光を導光する光ファイバ１３と、コリメートレンズ１４とを備えている。

【0016】

また、スキャンユニット１は、試料Ａからの蛍光を集光する対物レンズ１５と、対物レンズ１５により集光された蛍光を結像させる結像レンズ１６と、レーザ光で試料Ａを走査するスキャナ１７と、結像レンズ１６により結像された蛍光を略平行光にする瞳投影レンズ１８と、略平行光にされた蛍光をレーザ光の光路から分岐する励起ダイクロイックミラー１９と、分岐された蛍光を集光する共焦点レンズ２０と、集光された蛍光のうち、対物レンズ１５の焦点位置から発生した蛍光のみを通過させる共焦点ピンホール２１とを備えている。

【0017】

スキャナ１７は、例えば、互いに直交する方向に試料Ａを走査する２つのガルバノミラーを含んでいる。なお、スキャナは、ガルバノミラーの代わりに又は加えて、レゾナントミラーなどの他のスキャンデバイスを含んでもよい。

【0018】

励起ダイクロイックミラー１９は、回転可能な励起ターレット２２に分光透過率又は反射率の異なるものが複数固定されている。励起ターレット２２の回転により、光路に挿入する励起ダイクロイックミラー１９は変更可能である。

【0019】

第１検出ユニット２は、スキャンユニット１から入射する蛍光（共焦点ピンホール２１を通過した蛍光）を波長域に応じて２つの光路に分解（分光）する２つの測光ダイクロイックミラー３１Ａ、３１Ｂと、測光ダイクロイックミラー３１Ｂにより分解された一方の光路の蛍光から検出する光の波長を選択する波長選択機構３２Ａと、波長選択機構３２Ａにより選択された波長の光を検出する光検出器３３Ａと、測光ダイクロイックミラー３１Ｂにより分解された他方の光路の蛍光から検出する光の波長を選択する波長選択機構３２Ｂと、波長選択機構３２Ｂにより選択された波長の光を検出する光検出器３３Ｂを備えている。

【0020】

測光ダイクロイックミラー３１Ａ、３１Ｂは、それぞれ回転可能な測光ターレット３４Ａ、３４Ｂに分光透過率又は反射率の異なるものが複数固定されている。測光ターレット３４Ａ、３４Ｂの回転により、光路に挿入する測光ダイクロイックミラー３１Ａ、３１Ｂは変更可能である。

【0021】

測光ダイクロイックミラー３１Ａは、スキャンユニット１からの蛍光を波長域に応じて第２検出ユニット３に向けて透過または測光ダイクロイックミラー３１Ｂに向けて反射させる。測光ダイクロイックミラー３１Ｂは、測光ダイクロイックミラー３１Ａからの蛍光を波長域に応じて波長選択機構３２Ａに向けて透過または波長選択機構３２Ｂに向けて反射させる。

【0022】

波長選択機構３２Ａは、蛍光をスペクトル成分に分光する回折格子（ＶＰＨ（Ｖｏｌｕｍｅ Ｐｈａｓｅ Ｈｏｌｏｇｒａｐｈｉｃ））３５Ａと、回折格子３５Ａにより分光された蛍光を反射する搖動ミラー３６Ａと、搖動ミラー３６Ａにより反射された蛍光を光検出器３３Ａの受光面上に集光させる結像レンズ３７Ａと、結像レンズ３７Ａにより集光された蛍光を部分的に遮断するスリット（遮光スリット）３８Ａとを備えている。

【0023】

回折格子３５Ａは、測光ダイクロイックミラー３１Ｂを透過した蛍光のスペクトル成分を一方向に分光するようになっている。搖動ミラー３６Ａは、回折格子３５Ａにより分光されたスペクトル列の配列方向に直交する搖動軸回りに揺動可能に設けられている。この搖動ミラー３６Ａは、搖動角度に応じて、スリット３８Ａを通過させるスペクトル成分を変更することができるようになっている。

【0024】

スリット３８Ａは、固定部材３９Ａと、固定部材３９Ａに対してスペクトル列の配列方向に隙間をあけて配される可動部材４０Ａとを備えている。可動部材４０Ａは、固定部材３９Ａに対してスペクトル列の配列方向に移動可能に設けられており、固定部材３９Ａとの間の隙間、すなわち、蛍光を通過させる開口を広げたり狭めたりすることができるようになっている。光検出器３３Ａは、後述する光検出器３３Ｃ及び光検出器３３Ｄとは異なる波長感度特性を有し、例えば、短波長側で感度が光検出器３３Ｃ及び光検出器３３Ｄよりも高い波長感度特性を有している。

【0025】

波長選択機構３２Ｂは、波長選択機構３２Ａと同様の構成を有している。すなわち、波長選択機構３２Ｂは、回折格子（ＶＰＨ）３５Ｂと、搖動ミラー３６Ｂと、結像レンズ３７Ｂと、スリット（遮光スリット）３８Ｂとを備えている。

【0026】

回折格子３５Ｂは、測光ダイクロイックミラー３１Ｂにより反射された蛍光のスペクトル成分を一方向に分光するようになっている。搖動ミラー３６Ｂは、回折格子３５Ｂにより分光されたスペクトル列の配列方向に直交する搖動軸回りに揺動可能に設けられており、搖動角度に応じて、スリット３８Ｂを通過させるスペクトル成分を変更することができるようになっている。スリット３８Ｂは、固定部材３９Ｂと、可動部材４０Ｂとを備えている。光検出器３３Ｂは、光検出器３３Ａと同一の波長感度特性を有している。

【0027】

第２検出ユニット３は、第１検出ユニット２と同様の構成を有している。すなわち、第２検出ユニット３は、２つの測光ダイクロイックミラー３１Ｃ、３１Ｄと、波長選択機構３２Ｃと、光検出器３３Ｃと、波長選択機構３２Ｄと、光検出器３３Ｄとを備えている。

【0028】

測光ダイクロイックミラー３１Ｃ、３１Ｄは、測光ダイクロイックミラー３１Ａ、３１Ｂと同様に、それぞれ回転可能な測光ターレット３４Ｃ、３４Ｄに分光透過率又は反射率の異なるものが複数固定されている。測光ターレット３４Ｃ、３４Ｄの回転により、光路に挿入する測光ダイクロイックミラー３１Ｃ、３１Ｄは変更可能である。

【0029】

測光ダイクロイックミラー３１Ｃは、第１検出ユニット２の測光ダイクロイックミラー３１Ａからの蛍光を波長域に応じて透過または測光ダイクロイックミラー３１Ｄに向けて反射させるようになっている。測光ダイクロイックミラー３１Ｄは、測光ダイクロイックミラー３１Ｃからの蛍光を波長域に応じて波長選択機構３２Ｃに向けて透過または波長選択機構３２Ｄに向けて反射させるようになっている。

【0030】

波長選択機構３２Ｃは、測光ダイクロイックミラー３１Ｄを通過した蛍光から検出する光の波長を選択するようになっている。この波長選択機構３２Ｃは、回折格子（ＶＰＨ）３５Ｃと、搖動ミラー３６Ｃと、結像レンズ３７Ｃと、スリット（遮光スリット）３８Ｃとを備えている。

【0031】

回折格子３５Ｃは、測光ダイクロイックミラー３１Ｄからの蛍光のスペクトル成分を一方向に分光するようになっている。搖動ミラー３６Ｃは、回折格子３５Ｃにより分光されたスペクトル列の配列方向に直交する搖動軸回りに揺動可能に設けられており、搖動角度に応じて、スリット３８Ｃを通過させるスペクトル成分を変更することができるようになっている。

【0032】

スリット３８Ｃは、固定部材３９Ｃと、可動部材４０Ｃとを備えている。光検出器３３Ｃは、波長選択機構３２Ｃにより選択された波長の光を検出するようになっている。この光検出器３３Ｃは、光検出器３３Ａ及び光検出器３３Ｂとは異なる波長感度特性を有し、例えば、長波長側で感度が光検出器３３Ａ及び光検出器３３Ｂよりも高い波長感度特性を有している。

【0033】

波長選択機構３２Ｄは、測光ダイクロイックミラー３１Ｄにより反射された蛍光から検出する光の波長を選択するようになっている。この波長選択機構３２Ｄは、回折格子（ＶＰＨ）３５Ｄと、搖動ミラー３６Ｄと、結像レンズ３７Ｄと、スリット（遮光スリット）３８Ｄとを備えている。

【0034】

回折格子３５Ｄは、測光ダイクロイックミラー３１Ｄからの蛍光のスペクトル成分を一方向に分光するようになっている。搖動ミラー３６Ｄは、回折格子３５Ｄにより分光されたスペクトル列の配列方向に直交する搖動軸回りに揺動可能に設けられており、搖動角度に応じて、スリット３８Ｄを通過させるスペクトル成分を変更することができるようになっている。

【0035】

スリット３８Ｄは、固定部材３９Ｄと、可動部材４０Ｄとを備えている。光検出器３３Ｄは、波長選択機構３２Ｄにより選択された波長の光を検出するようになっている。この光検出器３３Ｄは、光検出器３３Ｃと同一の波長感度特性を有している。

【0036】

光検出器３３Ａ、光検出器３３Ｂ、光検出器３３Ｃ、及び光検出器３３Ｄの検出素子にはＳｉＰＭが用いられていて、そのＳｉＰＭはペルチェ素子で恒温化されている。即ち、光検出器３３Ａ、光検出器３３Ｂ、光検出器３３Ｃ、及び光検出器３３Ｄは、ＳｉＰＭと、冷却機構としてのペルチェ素子を有している。ＳiＰＭは、マルチピクセル化したアバランシェフォトダイオード（ＡＰＤ：Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏｄｉｏｄｅ）を含み、ガイガーモードで動作することで１光子に対して感度を有し、且つ、光子数に比例した強度の信号を出力する。

【0037】

光検出器３３Ａ、光検出器３３Ｂに含まれるＳｉＰＭは、光検出器３３Ｃ、光検出器３３Ｄに含まれるＳｉＰＭとは、タイプの異なるＳｉＰＭである。これらのタイプの違いに起因して、光検出器３３Ａ及び光検出器３３Ｂと光検出器３３Ｃ及び光検出器３３Ｄの感度特性の違いが生じている。なお、以降では、光検出器３３Ａ、光検出器３３Ｂ、光検出器３３Ｃ、及び光検出器３３Ｄを特に区別しない場合には、これらのそれぞれを、又はこれらを総称して光検出器３３として参照する。

【0038】

蛍光顕微鏡１００は、さらに、入力装置４、表示装置５、及び制御装置６を備えている。入力装置４は、ユーザの入力操作に応じて、例えば、観察対象とする蛍光色素又は波長範囲の入力、画像取得に使用する光検出器３３（ＳｉＰＭ）の設定の入力、スキャン設定の入力など、蛍光顕微鏡１００の各種設定の入力を行う。入力装置４は、例えば、キーボード、マウス、タッチパネルである。

【0039】

表示装置５は、蛍光顕微鏡１００の設定の入力を可能にする設定入力画面の表示や、画像の表示など、各種の表示を行う。表示装置５は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。

【0040】

制御装置６は、蛍光顕微鏡１００の各部を制御する。例えば、制御装置６は、蛍光顕微鏡１００の設定に応じて、スキャナ１７がレーザ光で試料Ａを走査し、且つ、試料Ａからの蛍光を検出する、ように蛍光顕微鏡１００を制御する。さらに、制御装置６は、蛍光顕微鏡１００の光検出器３３から出力された信号に基づいて試料Ａの走査画像を生成する。より詳細には、走査画像は、光検出器３３から出力された蛍光強度に関する信号とスキャナ１７の走査位置に関する信号に基づいて、構築される。

【0041】

制御装置６は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であり、プロセッサ６ａ及びメモリ６ｂを含む。制御装置６が行う各種制御は、例えば、プロセッサ６ａがメモリ６ｂに記憶されたプログラムを実行すること（所謂ソフトウェア処理）により実現されてもよいし、ハードウェア処理により実現されてもよいし、ソフトウェア処理及びハードウェア処理の組み合わせにより実現されてもよい。プロセッサ６ａは、例えば、１つ又は複数の集積回路を含む。集積回路は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などであってもよい。

【0042】

メモリ６ｂは、プロセッサ６ａが実行するプログラムを記憶する。メモリ６ｂは、プロセッサ６ａが実行するプログラムを格納した非一時的なコンピュータ可読媒体を含んでいる。メモリ６ｂは、例えば、１つ又は複数の任意の半導体メモリ、１つ又は複数のその他の記憶装置、を含むことができる。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルＲＯＭ、フラッシュメモリなどの不揮発性メモリを含んでいる。ＲＡＭには、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが含まれてもよい。その他の記憶装置には、例えば、コンピュータ可読媒体として例えば磁気ディスクを含む磁気記憶装置、コンピュータ可読媒体として例えば光ディスクを含む光学記憶装置などが含まれてもよい。

【0043】

以上のように構成された蛍光顕微鏡１００では、光検出器としてＳｉＰＭが用いられているため、制御装置６で生成された走査画像には、ダークカウントノイズと呼ばれるランダムに発生するノイズが含まれてしまう。そこで、蛍光顕微鏡１００では、制御装置６が、生成された走査画像に対して、ＳｉＰＭで発生したダークカウントノイズを除去する画像処理を実行する。より詳細には、制御装置６は、走査画像に対して、ＳiＰＭにおけるダークカウントノイズの出現頻度に基づいて、ダークカウントノイズを除去する画像処理を実行する。即ち、制御装置６は、ダークカウントノイズを除去する画像処理を実行する画像処理装置の一例である。このような出現頻度という統計情報を用いた画像処理を行うことで、従来から行われている典型的なノイズ除去のための画像処理よりも、ダークカウントノイズを良好に除去することができる。

【0044】

図２は、図１に示す制御装置の機能的構成を例示する図であり、主に上述した画像処理に関連する構成を示している。図３は、図２に示す推定部のさらに詳細な構成を例示する図である。以下では、図２及び図３を参照しながら、ダークカウントノイズ対策として制御装置６で行われる画像処理に関連する構成について説明する。

【0045】

制御装置６は、図２に示すように、走査画像生成部５０と、推定部６０と、記憶部７０と、除去部８０と、出力部９０を備えている。さらに、推定部６０は、図３に示すように、取得部６１と、算出部６２と、ノイズ画像生成部６３と、決定部６４を備えている。なお、これらの機能的構成のうち、走査画像生成部５０、推定部６０、除去部８０、及び、出力部９０は、例えば、メモリ６ｂに記憶されたプログラムを実行することでプロセッサ６ａによって実現され、記憶部７０は、例えば、メモリ６ｂによって実現される。

【0046】

走査画像生成部５０は、試料Ａの走査画像を生成する。推定部６０は、走査画像生成部５０で生成された走査画像に含まれるダークカウントノイズの量（以降、単にノイズ量と記す。）を推定する。除去部８０は、推定部６０で推定したノイズ量に応じて、走査画像からダークカウントノイズを除去する。出力部９０は、以上の画像処理によって生成された補正画像を表示装置５へ出力する。

【0047】

詳細には、推定部６０は、ＳiＰＭにおけるダークカウントノイズの出現頻度と蛍光顕微鏡１００の設定に基づいてノイズ量を推定する。推定部６０は、蛍光顕微鏡１００の設定から１走査画像当たりの測光時間を算出し、出現頻度と算出した測光時間との組み合わせでノイズ量を推定する。なお、１走査画像当たりの測光時間とは、画像を取得するための走査開始から走査終了までの走査時間のうち、実際に測光している時間、つまり、ダークカウントノイズが発生し得る期間の時間をいう。走査時間には、スキャナが画像を取得する走査範囲に対してオーバースイングしたり、次のラインに移動したりする期間の時間も含むが、これらの期間中は、測光されず信号も検出されないため、ダークカウントノイズを検出することもない。１走査画像当たりの測光時間とは、走査時間からダークカウントノイズが検出されないこの期間分の時間を差し引いた時間に相当し、その画像を構成する全画素における測光時間の合計時間である。また、蛍光顕微鏡１００の設定には、ＳiＰＭの設定（例えば、印加電圧に関する設定、恒温化された温度）と、蛍光顕微鏡１００のスキャン設定（例えば、スキャンスピード、スキャンサイズ、画像当たりのスキャン回数など）が含まれている。

【0048】

より詳細には、推定部６０では、取得部６１と算出部６２がノイズ量を推定する。取得部６１は、蛍光顕微鏡１００の設定に含まれているＳiＰＭの設定に基づいて、ＳiＰＭにおけるダークカウントノイズの出現頻度の情報（以降、単に頻度情報）を取得する。これは、ＳiＰＭの設定に応じてＳｉＰＭでの出現頻度が異なり得るからである。

【0049】

なお、記憶部７０には、頻度情報が記憶されていて、取得部６１は、記憶部７０から頻度情報を取得してもよい。記憶部７０は、ＳiＰＭの設定毎に頻度情報を記憶する。記憶部７０は、例えば、ＳiＰＭへの印加電圧に関する設定毎に頻度情報を記憶してもよく、ＳiＰＭが恒温化された温度に関する設定毎に頻度情報を記憶してもよい。

【0050】

また、記憶部７０は、光検出器３３に含まれるＳiＰＭの個体毎に頻度情報を記憶してもよく、光検出器３３に含まれるＳiＰＭのタイプ毎に頻度情報を記憶してもよい。ＳｉＰＭの設定と同様に、個体やタイプ毎にＳｉＰＭの出現頻度が異なり得るからである。そのため、取得部６１は、走査画像の生成に用いられたＳｉＰＭの個体やタイプに対応する頻度情報を取得してもよい。

【0051】

取得部６１が頻度情報を取得すると、算出部６２は、頻度情報から特定されるダークカウントノイズの出現頻度と、蛍光顕微鏡１００の設定に含まれているスキャン設定と、に基づいて、ノイズ量を統計的に算出する。具体的には、算出部６２は、出現頻度とスキャン設定から特定される測光時間であって画像を構成する全画素における測光時間の合計時間から、１走査画像当たりのダークカウントノイズの出現回数（つまり、ダークカウントノイズが含まれる画素の数）をノイズ量として算出する。

【0052】

なお、算出部６２は、取得部６１で取得した頻度情報からダークカウントノイズの出現頻度をダークカウントノイズの強度毎に特定してもよい。つまり、算出部６２は、１光子分として誤検出されたダークカウントノイズ、２光子分として誤検出されたダークカウントノイズ、・・・、Ｎ光子分として誤検出されたダークカウントノイズのそれぞれの出現頻度を特定してもよい。その場合、算出部６２は、ダークカウントノイズの強度毎にノイズ量を算出してもよい。

【0053】

推定部６０がノイズ量を画素の数として算出すると、除去部８０は、算出部６２がノイズ量として算出した数の画素の画素値から所定の値を差し引く。ここで、所定の値は、光子を検出することでＳiＰＭから出力される信号強度に対応していればよい。

【0054】

なお、算出部６２が強度毎にノイズ量を算出した場合には、除去部８０は、算出部６２が強度毎にノイズ量として算出した数の画素の画素値からその強度に応じた値を差し引く。ここで、強度に応じた値は、光子数に比例していればよい。

【0055】

以上の様に、蛍光顕微鏡１００では、制御装置６が出現頻度と蛍光顕微鏡１００の設定を用いてノイズ量を推定するため、精度良くダークカウントノイズの量を推定することが可能であり、過不足なくダークカウントノイズを除去することができる。また、制御装置６がノイズ量を画素の数として算出して、算出した数の画素に対して光子の検出に対応する値だけ画素値を調整する。これにより、画素値が入射光子数に比例するというＳｉＰＭを用いて得られる画像の特徴を失うことなく、走査画像からダークカウントノイズを除去することができる。従って、蛍光顕微鏡１００によれば、ダークカウントノイズが抑制された良好な補正画像が得られるとともに、より正確なフォトンカウンティングが可能となる。

【0056】

推定部６０は、ノイズ量に加えて、ダークカウントノイズの出現位置を推定してもよい。詳細には、推定部６０は、推定したノイズ量に基づいてダークカウントノイズの出現位置を推定してもよく、除去部８０は、推定部６０が推定したノイズ量だけ、推定部６０が推定した走査画像上の出現位置からダークカウントノイズを除去してもよい。

【0057】

より詳細には、推定部６０では、ノイズ画像生成部６３と決定部６４が出現位置を推定する。ノイズ画像生成部６３は、走査画像に基づいて走査画像の各画素に含まれるダークカウントノイズに関するスコアを算出し、そのスコアからなるノイズ画像を生成する。ノイズ画像はダークカウントノイズの発生が疑われる位置（候補位置）を特定するために使用される。ダークカウントノイズに関するスコアは、ダークカウントノイズと相関があればよい。具体的には、そのスコアは、ダークカウントノイズの強度と相関があってもよく、ダークカウントノイズの発生確率と相関があってもよい。これは、どちらの場合も候補位置を特定可能だからである。

【0058】

ノイズ画像生成部６３がノイズ画像を生成すると、決定部６４は、ノイズ画像と推定したノイズ量とに基づいて、ダークカウントノイズの出現位置を決定する。具体的には、決定部６４は、ノイズ画像のスコアに基づいて、有力な候補位置から順にノイズ量分だけ候補位置を出現位置に決定する。

【0059】

以上の様に、蛍光顕微鏡１００では、制御装置６がダークカウントノイズの出現位置を画素単位で特定し、特定された各画素から光子の検出に対応する値だけ画素値を調整する。これにより、空間方向にも時間方向にもランダムに発生するダークカウントノイズを良好に除去することができる。従って、蛍光顕微鏡１００によれば、ダークカウントノイズが抑制された良好な補正画像が得られるとともに、より正確なフォトンカウンティングが可能となる。

【0060】

図４は、本実施形態に係るレーザ走査型顕微鏡が行う処理のフローチャートの一例である。図５は、ダークカウントノイズ推定処理のフローチャートの一例である。図６は、出現頻度取得処理のフローチャートの一例である。図７は、ＳｉＰＭの設定に関する画面例である。図８は、ダークカウントノイズの出現頻度に関する情報を含むテーブルの一例である。図９は、ダークカウントノイズの出現頻度に関する情報を含む別のテーブルの一例である。図１０は、出現量推定処理のフローチャートの一例である。図１１は、スキャン設定に関する画面例である。図１２は、出現位置推定処理のフローチャートの一例である。図１３は、ダークカウントノイズ除去処理のフローチャートの一例である。図１４は、走査画像と補正画像のヒストグラムを比較した図である。図１５は、走査画像と平滑化処理した画像のヒストグラムを比較した図である。

【0061】

以下、図４から図１５を参照しながら、蛍光顕微鏡１００が走査画像生成時に行うダークカウントノイズを除去するための画像処理の具体例について詳細に説明する。なお、図４の処理は、例えば、制御装置６のプロセッサ６ａがメモリ６ｂに記憶されているプログラムを実行することで、開始される。

【0062】

まず、蛍光顕微鏡１００は、例えば、入力装置４を用いたユーザからの指示の入力に応答して、試料Ａをレーザ光で走査して、試料Ａの走査画像を生成する（ステップＳ１）。ここでは、制御装置６が光検出器３３からの出力信号とスキャナ１７の走査位置に関する信号に基づいて走査画像を構築する。

【0063】

その後、蛍光顕微鏡１００は、ダークカウントノイズ推定処理とダークカウントノイズ除去処理を行う（ステップＳ２、ステップＳ３）。これらの処理は、制御装置６で行われる。制御装置６は、ステップＳ１で生成した走査画像に対して、ダークカウントノイズ推定処理とダークカウントノイズ除去処理を含む画像処理を実行することで、走査画像からダークカウントノイズが抑制された補正画像を生成する。

【0064】

ダークカウントノイズ推定処理では、制御装置６は、図５に示すように、出現頻度取得処理（ステップＳ１１）でダークカウントノイズの出現頻度を取得し、出現量推定処理（ステップＳ１２）でダークカウントノイズの出現量を推定し、出現位置推定処理（ステップＳ１３）でダークカウントノイズの出現位置を推定する。

【0065】

出現頻度取得処理では、図６に示すように、制御装置６は、まず、ステップＳ１において走査画像の生成に用いられたＳｉＰＭの個体を特定する（ステップＳ２１）。走査画像の生成に用いられたＳｉＰＭの個体は、例えば、図７に示すような設定画面のチャンネル設定領域Ｒ１を参照することで特定してもよい。この例では、走査画像の生成に用いられたチャンネル“ＣＨ１”は光検出器“ＳｉＰＭ（Ａ）”を示している。このため、制御装置６は、光検出器“ＳｉＰＭ（Ａ）”を走査画像の生成に用いられたＳｉＰＭの個体として特定する。なお、“ＳｉＰＭ（Ａ）”は、図１に示す光検出器３３Ａに含まれるＳｉＰＭである。

【0066】

次に、制御装置６は、まず、ステップＳ１において走査画像の生成時に使用したＳｉＰＭへの印加電圧を特定する（ステップＳ２２）。ＳｉＰＭへの印加電圧は、例えば、図７に示すような設定画面のチャンネル設定領域Ｒ１を参照することで特定してもよい。この例では、走査画像の生成に使用した印加電圧は“５Ｖ”であるため、制御装置６は、“５Ｖ”をＳｉＰＭへの印加電圧として特定する。

【0067】

ＳｉＰＭの個体と印加電圧が特定されると、制御装置６は、ＳｉＰＭにおけるダークカウントノイズの出現頻度を取得する（ステップＳ２３）。ここでは、制御装置６は、メモリ６ｂに記憶されている、ＳｉＰＭの個体毎で且つ印加電圧毎のダークカウントノイズの出現頻度を格納した図８に示すテーブルＴ１を参照して、個体“ＳｉＰＭ（Ａ）”と印加電圧“５Ｖ”の組み合わせに対応する出現頻度をテーブルＴ１から取得する。この例では、制御装置６は、“４．００”（回／ｍｓｅｃ）を出現頻度として取得する。

【0068】

なお、図８に示すテーブルＴ１に格納されている情報は、予め実験等により測定した情報であり、例えば、以下の手順で生成可能である。まず、蛍光顕微鏡１００の各ＳｉＰＭに光が入射しない状態にする。その後、０℃に恒温化されたこれらのＳｉＰＭを用いて印加電圧５Ｖと８Ｖのそれぞれの設定で画像を取得する。そして、それらの画像中でダークカウントノイズが出現している画素の数をカウントする。最後にカウントした画素の数を、画像を構成する全画素における測光時間の合計時間で割って出現頻度を算出する。

【0069】

ダークカウントノイズの出現頻度を取得すると、制御装置６は、ＳｉＰＭの恒温化温度を特定する（ステップＳ２４）。ＳｉＰＭの恒温化温度は、蛍光顕微鏡１００において特定の温度に固定されている場合には、その固定値を取得する。また、恒温化温度を利用者が設定可能な場合には、個体や印加電圧を特定した場合と同様に設定画面の情報を参照して、恒温化温度を特定してもよい。なお、この例では、制御装置６は、例えば、０℃を恒温化温度として取得する。

【0070】

恒温化温度を特定すると、制御装置６は、出現頻度の補正係数を取得する（ステップＳ２５）。ここでは、制御装置６は、メモリ６ｂに記憶されている、恒温化温度毎の出現頻度の補正係数を格納した図９に示すテーブルＴ２を参照して、恒温化温度“０℃”に対応する補正係数をテーブルＴ２から取得する。この例では、制御装置６は、“１．００”を補正係数として取得する。

【0071】

なお、図９に示すテーブルＴ２に格納されている情報は、予め実験等により測定した情報であり、例えば、以下の手順で生成可能である。図８に示すテーブルＴ１に格納されている情報を生成するときと同じ手順でＳｉＰＭの恒温化温度毎に出現頻度を算出する。算出した出現頻度を恒温化温度毎にグループ化する。そして、恒温化温度０℃のグループを基準として各グループに対応する補正係数を算出する。具体的には、各グループの代表値（平均値、中央値など）を、恒温化温度０℃のグループの代表値で割ることで、補正係数を算出する。

【0072】

制御装置６は、ステップＳ２３で取得した出現頻度をステップＳ２５で取得した補正係数で補正する（ステップＳ２６）。ここでは、制御装置６は、ステップＳ２３で取得した出現頻度“４．００”（回／ｍｓｅｃ）にステップＳ２５で取得した補正係数“１．００”を乗じることで、走査画像の生成に使用したＳｉＰＭにおけるダークカウントノイズの出現頻度を算出する。これにより、ダークカウントノイズの強度に拠らない出現頻度が決定される。

【0073】

最後に、制御装置６は、ダークカウントノイズの強度毎の出現頻度を決定し（ステップＳ２７）、出現頻度取得処理を終了する。ここでは、制御装置６は、ポアソン分布を用いて、光子数に対応するダークカウントノイズの出現頻度を決定する。この例では、制御装置６は、１光子に対応するダークカウントノイズの出現頻度を“３．９６”（回／ｍｓｅｃ）に、２光子に対応するダークカウントノイズの出現頻度を“０．００７９７”（回／ｍｓｅｃ）に決定する。

【0074】

出現頻度取得処理に続いて行われる出現量推定処理では、図１０に示すように、制御装置６は、まず、走査画像の生成に用いられたスキャン設定を特定する（ステップＳ３１）。走査画像の生成に用いられたスキャン設定は、例えば、図１１に示すような設定画面のスキャン設定領域Ｒ２を参照することで特定してもよい。スキャン設定は、画像を構成する全画素における測光時間の合計時間がわかるものであればよく、図１１に示すように、スキャンスピード（１μｓｅｃ／画素）やスキャンサイズ（５１２×５１２画素）などを含んでいればよい。

【0075】

スキャン設定を特定すると、制御装置６は、スキャン設定と出現頻度取得処理で取得した出現頻度とに基づいて、走査画像におけるダークカウントノイズの出現量を画素数で算出し（ステップＳ３２）、出現量推定処理を終了する。ここでは、制御装置６は、光子数に対応するダークカウントノイズの強度毎に、ダークカウントノイズの出現量を画素数で算出する。この例では、制御装置６は、１光子に対応するダークカウントノイズの出現量を、出現頻度“３．９６”（回／ｍｓｅｃ）と画像を構成する全画素における測光時間の合計時間“１×５１２×５１２”（μｓｅｃ）を用いて１０３８回、つまり、走査画像中の１０３８画素として算出する。さらに、制御装置６は、２光子に対応するダークカウントノイズの出現量を、出現頻度“０．００７９７”（回／ｍｓｅｃ）と画像を構成する全画素における測光時間の合計時間“１×５１２×５１２”（μｓｅｃ）を用いて２回、つまり、走査画像中の２画素として算出する。

【0076】

出現量推定処理に続いて行われる出現位置推定処理では、図１２に示すように、制御装置６は、まず、走査画像に平滑化フィルタを適用し（ステップＳ４１）、平滑化画像を生成する。平滑化処理は、ローパスフィルタ処理に相当し、平滑化フィルタは、画像処理の分野で良く用いられるノイズ除去フィルタの一例である。平滑化フィルタは、具体的には、例えば、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ、リカーシブフィルタなどである。

【0077】

次に、制御装置６は、走査画像と平滑化画像の差分を取ってノイズ画像を生成する（ステップＳ４２）。ここでは、制御装置６は、走査画像の各画素の画素値から平滑化画像の対応する画素の画素値を引くことでノイズ画像を生成する。平滑化画像は、ダークカウントノイズが除去された、主にシグナル成分からなる画像である。このため、走査画像から平滑化画像を引くことで、主にノイズ成分（ダークカウントノイズ）からなるノイズ画像を生成することができる。

【0078】

最後に、制御装置６は、ノイズ画像と出現量推定処理で推定したノイズ量に基づいて、ノイズが出現する画素位置を特定し（ステップＳ４３）、出現位置推定処理を終了する。ここでは、制御装置６は、ノイズ量として算出された画素数だけノイズ画像に含まれる画素値の大きな画素から順に選択し、選択した画素の位置をダークカウントノイズが出現する画素位置として特定する。この例では、制御装置６は、ノイズ画像に含まれる、画素値の上位２画素を、２光子分のダークカウントノイズが出現する画素位置として特定し、ノイズ画像に含まれる残りの画素のうち、画素値の上位１０３８画素を、１光子分のダークカウントノイズが出現する画素位置として特定する。

【0079】

出現頻度取得処理と出現量推定処理と出現位置推定処理を含むダークカウントノイズ推定処理が終了すると、制御装置６は、ダークカウントノイズ除去処理を行う（ステップＳ３）。

【0080】

ダークカウントノイズ除去処理では、制御装置６は、図１３に示すように、走査画像から光子数毎にダークカウントノイズを除去する処理を繰り返す（ステップＳ５１からステップＳ５３）。この例では、制御装置６は、まず、走査画像中の、出現位置推定処理で特定した２光子分のダークカウントノイズが出現する画素位置の画素値から、２光子分のダークカウントノイズに対応する画素値を減算する。例えば、１光子分のダークカウントノイズに対応する画素値が１６であるならば、２光子分のダークカウントノイズに対応する画素値は３２である。その後、制御装置６は、走査画像中の、出現位置推定処理で特定した１光子分のダークカウントノイズが出現する画素位置の画素値から、１光子分のダークカウントノイズに対応する画素値を減算する。これにより、走査画像からダークカウントノイズを除去した補正画像が生成される。

【0081】

最後に、制御装置６は、補正画像を出力し（ステップＳ５４）、図４に示す処理を終了する。ここでは、制御装置６は、補正画像をメモリ６ｂに記憶するためにメモリ６ｂへ出力してもよく、補正画像を表示装置５に表示するために表示装置５へ出力してもよい。

【0082】

以上の様に、図３の処理を実行することで、蛍光顕微鏡１００は、統計的に算出したノイズ量だけ走査画像からダークカウントノイズを除去することができる。このため、ダークカウントノイズを過剰に除去してしまうことや、除去不足によりノイズが過剰に残ってしまうことを回避することができる。さらに、走査画像が有するフォトンカウンティングに適した画像特性を維持しながらダークカウントノイズを除去することができる。この点について、図１４及び図１５を参照しながら説明する。

【0083】

図１４には、走査画像に含まれる画素値（強度）のヒストグラムが破線で、また、補正画像に含まれる画素値（強度）のヒストグラムが実線で、描かれている。また、図１５には、走査画像に含まれる画素値（強度）のヒストグラムが破線で、また、平滑化画像に含まれる画素値（強度）のヒストグラムが実線で、描かれている。

【0084】

ＳｉＰＭが有する入射光子数に比例した強度の信号を出力する特性によって、走査画像のヒストグラムでは、図１４及び図１５の破線に示すように、バッググラウンドを示すピークを含む山と、１光子を示すピークを含む山と、２光子を示すピークを含む山を、しっかりと区別して検出することができる。このため、光子数を定量的に計数可能である。

【0085】

走査画像に対する上述した画像処理は、走査画像に含まれているダークカウントノイズが出現した画素の画素値から、ヒストグラムの山と山の間の距離に相当する値（１光子分の値、２光子分の値など）を引くことによってダークカウントノイズを除去するものである。この処理は、ヒストグラム上では、１光子の山や２光子の山からバッググラウンドの山への移動に相当する。そのため、図１４の実線に示すように、上述した画像処理で得られる補正画像のヒストグラムでも、バッググラウンドを示すピークを含む山と、１光子を示すピークを含む山と、２光子を示すピークを含む山は維持され、しっかりと区別して検出する可能である。

【0086】

これに対して、平滑化処理は、ヒストグラムの山を押しつぶしてすそ野を広げる作用を有しているため、図１５の実線に示すように、平滑化画像のヒストグラムでは、バッググラウンドを示すピークを含む山と、１光子を示すピークを含む山と、２光子を示すピークを含む山の境目があいまいになり、バッググラウンドに対応する画素、１光子に対応する画素、２光子に対応する画素を区別することができなくなってしまう。

【0087】

このように、蛍光顕微鏡１００では、従来はノイズ除去と同時に実現することが困難であったフォトンカウンティングに適した画像特性の維持が可能である。従って、蛍光顕微鏡１００によれば、ダークカウントノイズを抑制した補正画像を用いて正確なフォトンカウンティングが可能である。

【0088】

（第２の実施形態）
本実施形態に係るレーザ走査型顕微鏡は、図１に示す蛍光顕微鏡１００と同様の構成を有する。このため、本実施形態に係るレーザ走査型顕微鏡の構成要素については、蛍光顕微鏡１００の構成要素と同様の符号で参照する。

【0089】

図１６は、本実施形態に係るレーザ走査型顕微鏡が行う処理のフローチャートの一例である。本実施形態に係るレーザ走査型顕微鏡は、図４に示す処理の代わりに図１６に示す処理を行う点が、蛍光顕微鏡１００とは異なっている。以下、図１６を参照しながら、本実施形態に係るレーザ走査型顕微鏡が走査画像生成時に行うダークカウントノイズを除去するための画像処理の具体例について説明する。なお、図１６の処理も、図４の処理と同様に、例えば、制御装置６のプロセッサ６ａがメモリ６ｂに記憶されているプログラムを実行することで、開始される。

【0090】

図１６に示す処理は、ダークカウントノイズに対応する光子数毎に、走査画像の生成、ダークカウントノイズの推定、ダークカウントノイズの除去を行う点が、図４に示す処理とは異なっている。レーザ走査型顕微鏡は、低い光子数から順番に注目する。具体的には、レーザ走査型顕微鏡は、まず、注目する光子数を表すＮをＮ＝１に初期化する（ステップＳ６１）。その後、レーザ走査型顕微鏡は、走査画像生成処理と、ダークカウントノイズ推定処理と、ダークカウントノイズ除去処理とを、注目する光子数を繰り返し毎に１つずつインクリメントしながら、走査画像に含まれるダークカウントノイズの最大強度に対応する光子数分だけ繰り返す（ステップＳ６２からステップＳ６６）。

【0091】

ステップＳ６２の処理は、図４のステップＳ１の処理と同様である。ステップＳ６３のダークカウントノイズ推定処理は、平滑化フィルタの代わりに、機械学習によって構築された学習済みモデルを用いてノイズ画像を生成する点が、図４に示すダークカウントノイズ推定処理とは異なっている。

【0092】

具体的には、制御装置６は、ダークカウントノイズを付加した画像とその画像に付加したダークカウントノイズの空間分布の関係を学習した学習済みモデルと、走査画像と、に基づいて、走査画像内におけるダークカウントノイズの発生確率の空間分布をノイズ画像として生成する。つまり、ノイズ画像は、確率画像であり、ノイズ画像の画素値は、その画素にダークカウントノイズを含む確率を示している。なお、ノイズ画像の画素値を実数で表すことで確率を連続的に表現することが可能となるため、後述するダークカウントノイズが出現する画素位置の特定精度が向上する。

【0093】

なお、ノイズ画像の生成に使用される学習済みモデルは、例えば、以下の手順で構築可能である。まず、ダークカウントノイズが無い元画像に対して人為的にダークカウントノイズを付加した画像と、付加したダークカウントノイズだけの画像を生成する。このような画像セットを、元画像、付加するダークカウントノイズのパターン（空間強度分布）、付加するダークカウントノイズの出現頻度などを変更しながら、何セットも生成する。そして、全ての画像セットを用いて、ダークカウントノイズを付加した画像とその画像に付加したダークカウントノイズの空間分布の関係について機械学習を行うことで、ダークカウントノイズを付加した画像からダークカウントノイズだけの画像を生成する学習済みモデルを構築する。

【0094】

ノイズ画像からダークカウントノイズが出現する画素位置を特定する方法と走査画像からノイズを除去する方法については、基本的には、第１の実施形態と同様である。具体的には、制御装置６は、ノイズ量として算出された画素数だけノイズ画像に含まれる画素値（出現確率）の大きな画素から順に選択し、選択した画素の位置をダークカウントノイズが出現する画素位置として特定する。そして、ダークカウントノイズを含む画像（例えば、走査画像）の特定した画素位置の画素値からダークカウントノイズに対応する値だけ減算する。

【0095】

ただし、本実施形態では、１回目の繰り返しでは、１光子分のダークカウントノイズを除去し、２回目の繰り返しでは、２光子分のダークカウントノイズを除去する。これをダークカウントノイズの最大強度に対応する光子数分繰り返す。より詳細には、１回目の繰り返しでは、走査画像に含まれる全ノイズ量（ダークカウントノイズを含む画素数）だけ、ノイズ画像からダークカウントノイズが出現する画素位置を特定し、走査画像の特定した画素位置の画素値から１光子分のダークカウントノイズに対応する値だけ減算する。これにより、走査画像のダークカウントノイズが含まれるすべての画素に対して、１光子分に相当する値だけ画素値が調整される。

【0096】

その後、走査画像から１光子分のダークカウントノイズを除去することで生成された画像（更新画像と記す。）を上述した学習済みモデルに入力して改めてノイズ画像を生成する。そして、２回目の繰り返しでは、走査画像に含まれる全ノイズ量（ダークカウントノイズを含む画素数）から１光子分のダークカウントノイズのノイズ量（画素数）を除いたノイズ量（画素数）だけ、新たに生成されたノイズ画像からダークカウントノイズが出現する画素位置を特定し、更新画像の特定した画素位置の画素値からさらに１光子分のダークカウントノイズに対応する値だけ減算する。これにより、走査画像の２光子分以上のダークカウントノイズが含まれるすべての画素に対して、さらに１光子分に相当する値だけ画素値が調整され、合計２光子分に相当する値だけ画素値が調整される。

【0097】

走査画像に含まれるダークカウントノイズの最大強度が２光子分であれば、以上の様に２回繰り返し処理を行えばよい。走査画像に含まれるダークカウントノイズの最大強度が３光子分であれば３回繰り返し処理を行えばよく、４光子分であれば４回繰り返し処理を行えばよい。

【0098】

本実施形態に係るレーザ走査型顕微鏡によっても、第１の実施形態に係る蛍光顕微鏡１００と同様に、ダークカウントノイズを除去することが可能であり、ダークカウントノイズを抑制した補正画像を用いて正確なフォトンカウンティングを行うことができる。

【0099】

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明のレーザ走査型顕微鏡、画像処理装置、レーザ走査型顕微鏡の動作方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0100】

上述した実施形態では、図８及び図９に示すように、メモリ６ｂは、ＳｉＰＭの個体と印加電圧の組み合わせ毎に出現頻度を記憶し、さらに、恒温化温度毎に補正係数を記憶する例を示したが、出現頻度に関するこれらの情報はメモリ６ｂに別の形式で記憶されてもよい。例えば、ＳｉＰＭの個体と印加電圧と恒温化温度の組み合わせ毎に出現頻度を記憶してもよい。即ち、テーブルの構造は２次元構造に限らず、３次元以上の構造を有してもよい。

【0101】

上述した実施形態では、ＳｉＰＭの個体と印加電圧の組み合わせ毎に出現頻度を記憶する例を示したが、印加電圧に依存した出現頻度の変化がＳｉＰＭの個体や電気回路に寄らずほぼ一定である場合には、印加電圧に依存した出現頻度の変化を補正係数として管理してもよい。その場合、出現頻度は、ＳｉＰＭ毎に管理するだけでもよい。

【0102】

また、同タイプのＳｉＰＭでは個体差による出現頻度の違いが無視できる程度に小さい場合には、メモリ６ｂは、ＳｉＰＭの個体毎ではなく、タイプ毎に出現頻度を記憶してもよい。また、出現頻度について個体差もタイプ差もほとんどない場合には、メモリ６ｂは、出現頻度は単一の固定値として記憶してもよい。

【0103】

また、使用した設定に対応する出現頻度がメモリ６ｂに記憶されていない場合には、別の設定の出現頻度を補間して、使用した設定に対応する出現頻度を算出してもよい。例えば、メモリ６ｂに記憶されているテーブルに使用する印加電圧に対応する出現頻度が記憶されていない場合には、異なる印加電圧に対応する出現頻度から補間により使用する印加電圧に対応する出現頻度を算出してもよい。

【0104】

また、メモリ６ｂは、図８及ぶ図９に示すような出現頻度そのものをテーブル形式（表形式）で記憶する代わりに、出現頻度を算出するための関数やパラメータを出現頻度に関する情報として記憶してもよい。例えば、ＳｉＰＭを構成するＡＰＤの数と、ＡＰＤ１つ当たりのダークカウントノイズの出現頻度をパラメータとして記憶してもよく、ＳｉＰＭにおけるダークカウントノイズの出現頻度は、これらを用いて算出してもよい。

【0105】

上述した実施形態では、ＳiＰＭの設定やスキャン設定を蛍光顕微鏡１００の現在の設定から取得する例を示したが、これらの情報は、走査画像とともに記憶されてもよく、走査画像とともに記憶されたこれらの情報を用いて、ダークカウントノイズを除去する画像処理を実行してもよい。この場合、画像処理は、必ずしも走査画像の生成時に行う必要がなく、走査画像に対して任意のタイミングで実行されてもよい。

【0106】

また、画像処理の実行主体は、走査画像を生成する制御装置とは異なる装置であってもよい。制御装置とは別の画像処理装置で、走査画像からダークカウントノイズを除去する画像処理が行われてもよく、その画像処理装置は、レーザ走査型顕微鏡に含まれない外部装置であってもよい。

【0107】

上述した実施形態では、出現頻度に関する情報を制御装置６のメモリ６ｂから読み出す例を示したが、出現頻度に関する情報は、例えば、クラウド上に置かれたサーバ装置などの、レーザ走査型顕微鏡に含まれる制御装置とは異なる装置に記憶されてもよい。レーザ走査型顕微鏡は、クラウド上に置かれたサーバ装置から出現頻度に関する情報を取得して、走査画像からダークカウントノイズを除去してもよい。

【0108】

上述した実施形態では、予め記憶されている出現頻度に関する情報を読み出して画像処理に使用する例を示したが、出現頻度に関する情報は、必要なタイミングで作成してもよい。例えば、図１７に示すように、第１検出ユニット２及び第２検出ユニット３内に、光検出器３３のＳｉＰＭへの光の入射を遮断する遮断部（遮光部４１Ａ、遮光部４１Ｂ、遮光部４１Ｃ、遮光部４１Ｄ）を設けてもよい。制御装置６は、遮断部がＳｉＰＭへの光の入射を遮断している状態で、画像処理の対象となる走査画像を生成するときと同じＳｉＰＭの設定で生成された別の走査画像に基づいて発生頻度に関する情報を生成してもよい。このような条件で取得された走査画像からオフセット成分等を取り除くことで、ダークカウントノイズ成分だけの画像を得ることができる。ダークカウントノイズ成分だけの画像の輝度値を光子数に変換することで、ダークカウントノイズを含んだ画素の数と、各画素に何光子分のダークカウントノイズが含まれているのかを特定することができる。これらの情報から画像処理に用いられる発生頻度を特定してもよい。

【0109】

本明細書において、“Ａに基づいて”という表現は、“Ａのみに基づいて”を意味するものではなく、“少なくともＡに基づいて”を意味し、さらに、“少なくともＡに部分的に基づいて”をも意味している。即ち、“Ａに基づいて”はＡに加えてＢに基づいてもよく、Ａの一部に基づいてよい。

【符号の説明】

【0110】

４ 入力装置
５ 表示装置
６ 制御装置
６ａ プロセッサ
６ｂ メモリ
１１ レーザ光源
１７ スキャナ
３３Ａ、３３Ｂ、３３Ｃ、３３Ｄ 光検出器
４４Ａ、４４Ｂ、４４Ｃ、４４Ｄ 遮光部
５０ 走査画像生成部
６０ 推定部
６１ 取得部
６２ 算出部
６３ ノイズ画像生成部
６４ 決定部
７０ 記憶部
８０ 除去部
９０ 出力部
１００ 蛍光顕微鏡

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】