特許 7009550 顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-14

(45)【発行日】2022-01-25

(54)【発明の名称】顕微鏡画像の信号対雑音比を改善するための画像処理装置、システムおよび方法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20220118BHJP

【ＦＩ】

G02B21/00

【請求項の数】 11

【外国語出願】

(21)【出願番号】P 2020079135

(22)【出願日】2020-04-28

(65)【公開番号】P2020184072

(43)【公開日】2020-11-12

【審査請求日】2020-04-28

(31)【優先権主張番号】19171800

(32)【優先日】2019-04-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】カイ ヴァルター

(72)【発明者】

【氏名】フロリアン ツィーシェ

【審査官】岡田 弘

(56)【参考文献】

【文献】特開平０９－０３７１４４（ＪＰ，Ａ）

【文献】国際公開第２００５／０４６４７８（ＷＯ，Ａ１）

【文献】特開２０１５－０４１９２４（ＪＰ，Ａ）

【文献】特表２００９－５１５５３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／７４

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／５０

Ｇ０６Ｔ ９／００－９／４０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

顕微鏡画像の信号対雑音比を改善するための画像処理装置（２２０）であって、前記画像処理装置（２２０）は、
少なくとも一時的に顕微鏡画像を保存するように構成されたメモリ（２２２）と、
前記メモリ（２２２）に格納された顕微鏡画像（１０２；２０２）の順序付き集合の重み付きローリング平均に基づいて、出力画像（１０６；２０６）を決定するように構成された処理回路（２２４）と、
を有し、
与えられた顕微鏡画像（１０２－０；２０２－０）に、顕微鏡画像（１０２；２０２）の前記順序付き集合の複数の顕微鏡画像（１０２－１、…、１０２－Ｎ；２０２－１、…、２０２－Ｎ）を加えることによって前記重み付きローリング平均が計算され、加えられる各顕微鏡画像（１０２－１、…、１０２－Ｎ；２０２－１、…、２０２－Ｎ）は、重み（１０４－１、…、１０４－Ｎ；２０４－１、…、２０４－Ｎ）によって重み付けられており、
顕微鏡画像の前記重み（１０４－１、…、１０４－Ｎ；２０４－１、…、２０４－Ｎ）は、重み付け係数のべきとして決定されており、前記べきは、前記顕微鏡画像と、前記与えられた顕微鏡画像（１０２－０；２０２－０）と、の間の順序数の差分によって決定されており、
顕微鏡画像（１０２；２０２）の前記順序付き集合には、Ｎ＋１個の顕微鏡画像が含まれており、前記重み付け係数は、ｅ ^{－１／ｗＮ} であり、ｗは、定数であり、
定数ｗは、前記顕微鏡画像のオプティカルフローを分析することによって決定されかつ前記顕微鏡画像によって取り込まれるプロセスの時間依存性に適合可能である、
画像処理装置（２２０）。

【請求項2】

顕微鏡画像（１０２）の前記順序付き集合の前記顕微鏡画像（１０２－１、…、１０２－Ｎ）は、前記与えられた顕微鏡画像（１０２－０）に先行する顕微鏡画像である、
請求項１記載の画像処理装置（２２０）。

【請求項3】

顕微鏡画像（２０２）の前記順序付き集合には、前記与えられた顕微鏡画像（２０２－０）に先行する第１の個数の顕微鏡画像と、前記与えられた顕微鏡画像（２０２－０）よりも後の第２の個数の顕微鏡画像と、が含まれている、
請求項１または２記載の画像処理装置（２２０）。

【請求項4】

顕微鏡画像の信号対雑音比を改善するためのシステム（２００）であって、前記システム（２００）は、
請求項１から３までのいずれか１項記載の画像処理装置（２２０）と、
前記顕微鏡画像を取り込むように構成された画像センサ（２４４）または点検出器を含む検出装置（２４０）と、
を有するシステム（２００）。

【請求項5】

前記検出装置（２４０）により、試料（２６６）の画像が取り込まれ、顕微鏡画像（１０２；２０２）の前記順序付き集合は、Ｎ＋１個の顕微鏡画像を含み、個数Ｎは、前記試料の運動に適合されている、
請求項４記載のシステム（２００）。

【請求項6】

前記個数Ｎは、顕微鏡画像（１０２；２０２）の前記順序付き集合の決定したオプティカルフローに基づく、
請求項５記載のシステム（２００）。

【請求項7】

前記試料の前記運動は、第１周期を有する周期性であり、顕微鏡画像（１０２；２０２）の前記順序付き集合は、第１周期毎に１回取り込まれる顕微鏡画像を有する、
請求項５または６記載のシステム（２００）。

【請求項8】

前記システム（２００）は、さらに、
試料を取り込むように構成された顕微鏡（２６０）と、
前記出力画像（１０６；２０６）を表示するモニタ（２８０）と、
を有する、
請求項４から７までのいずれか１項記載のシステム（２００）。

【請求項9】

前記顕微鏡（２６０）は、走査型顕微鏡、ライトシート顕微鏡またはワイドフィールド顕微鏡である、
請求項８記載のシステム（２００）。

【請求項10】

前記出力画像（１０６；２０６）の決定は、カメラ（２４０）によって前記顕微鏡画像が取り込まれている間に実行され、前記与えられた顕微鏡画像（１０２－０）は、前記カメラ（２４０）によって直近に取り込まれた顕微鏡画像である、
請求項８または９記載のシステム（２００）。

【請求項11】

顕微鏡画像の信号対雑音比を改善するための方法（３００）であって、前記方法（３００）は、
少なくとも一時的に顕微鏡画像（１０２；２０２）を格納するステップ（３０２）と、
格納した前記顕微鏡画像の順序付き集合の重み付きローリング平均に基づいて、出力画像（１０６；２０６）を決定するステップ（３０６）と、
を有し、
与えられた顕微鏡画像（１０２－０；２０２－０）に、顕微鏡画像（１０２－１、…、１０２－Ｎ；２０２－１、…、２０２－Ｎ）の順序付き集合からの複数の顕微鏡画像を加えることによって前記重み付きローリング平均を計算し、各顕微鏡画像（１０２－１、…、１０２－Ｎ；２０２－１、…、２０２－Ｎ）は、重み（１０４－１、…、１０４－Ｎ；２０４－１、…、２０４－Ｎ）によって重み付けられており、
顕微鏡画像の前記重み（１０４－１、…、１０４－Ｎ；２０４－１、…、２０４－Ｎ）は、重み付け係数のべきとして決定されており、前記べきは、前記顕微鏡画像と、前記与えられた顕微鏡画像（１０２－０；２０２－０）と、の間の順序数の差分によって決定されており、
顕微鏡画像（１０２；２０２）の前記順序付き集合には、Ｎ＋１個の顕微鏡画像が含まれており、前記重み付け係数は、ｅ ^{－１／ｗＮ} であり、ｗは、定数であり、
定数ｗは、前記顕微鏡画像のオプティカルフローを分析することによって決定されかつ前記顕微鏡画像によって取り込まれるプロセスの時間依存性に適合可能である、
方法（３００）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顕微鏡画像の信号対雑音比を改善するための画像処理装置に関する。この画像処理装置は、走査型顕微鏡、ライトシート顕微鏡またはワイドフィールド顕微鏡のような顕微鏡装置に接続可能である。

【背景技術】

【0002】

顕微鏡下での試料の画像の取り込みは、数多くの画像ノイズ源の悪影響を受ける。カメラ、例えばＣＣＤは、顕微鏡システムを介して試料からわたされるフォトンを蓄積し、これにより、試料の複数の点から出る放射強度についての情報を生成する。試料の広域が照明され、この広域から出る放射がカメラによって取り込まれる場合、画像は、２次元画像フレームとして形成可能である。また試料の小さなスポットを照明して、出てくる放射を点検出器によって検出する処理によって点毎に画像を形成することも可能である。画像はまた、試料の３次元体積体を走査することによって３次元画像として生成することも可能である。択一的には３次元画像は、カメラによって、または走査処理によって取り込まれた２次元画像フレームのスタックから形成可能である。例えば生細胞におけるプロセスのような時間依存プロセスを取り込むために、順次の顕微鏡画像のスタックが生成される。顕微鏡画像のスタックは、好ましくは、調査中の時間依存プロセスを分解するために十分なフレームレートを有する。

【0003】

顕微鏡画像におけるノイズは、顕微鏡システムの制限から、またカメラにおける画像処理の制限から発生する。特に、フォトン検出の統計的および蓄積的な性質に含まれるのは、顕微鏡画像がフォトンノイズを被ることである。フォトンノイズは、検出したフォトン信号における、ポワソン分布関数によって決定される固有統計的変動と、迷光のような背景光のフォトンノイズと、の両方から発生する。検出したフォトン信号における固有統計的変動に起因するフォトンノイズは、比較的長い検出期間にわたってフォトンを収集することによって低減可能であるが、このことは、十分な時間分解能で画像化するという目標とは相反してしまう。顕微鏡画像における別のノイズ源に含まれるのは、検出器ノイズ、読み出しノイズ、熱ノイズ、および増幅器ノイズである。

【0004】

特に、共焦点顕微鏡法については、受信されるフォトン数は極めて小さい。検出されるはずであるフォトンは蛍光放射から発生するが、この蛍光放射は弱い信号である。したがって、共焦点型顕微鏡では、放射されたフォトン信号における固有統計的変動に起因するフォトンノイズが、ノイズの主たる発生源である。共焦点型顕微鏡の構成における進歩により、１２ｋＨｚまでの走査速度が可能になり、これにより、ビデオフレームレートで顕微鏡画像を取り込み可能である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、顕微鏡画像の信号対雑音比を改善する必要がある。本発明により、従来技術の上述した問題のうちの少なくともいくつかが克服される。

【0006】

本発明の目的は、顕微鏡画像の信号対雑音比を改善することである。

【課題を解決するための手段】

【0007】

この目的は、独立請求項の対象によって達成される。

【0008】

複数の実施形態は、従属請求項によって定められる。

【0009】

本発明の複数の実施形態により、顕微鏡画像の信号対雑音比を改善するための画像処理装置が提供される。画像処理装置は、少なくとも一時的に顕微鏡画像を保存するように構成されたメモリと、顕微鏡画像の重み付きローリング平均に基づいて、出力画像を決定するように構成された処理回路と、を有する。画像処理装置は、顕微鏡画像の順序付き集合から、改善された信号対雑音比を有する出力画像のスタックを生成可能である。こうすることにより、特に、順次の画像間の統計的に独立したノイズ、例えばフォトンノイズが、統計的な平均化に起因して低減され、その一方で、顕微鏡画像スタックのフレームレートが十分に高ければ、取り込まれた時間依存プロセスの信号が維持される。同時に、重み付きローリング平均の計算により、顕微鏡画像のフレームレートは維持され、これにより、出力画像のスタックの時間分解能が保たれる。

【0010】

画像処理装置の一実施形態では、出力画像を決定するために、与えられた顕微鏡画像に顕微鏡画像の順序付き集合からのＮ個の顕微鏡画像を加えることによって重み付きローリング平均が計算される。ここでは、顕微鏡画像の順序付き集合からの、加えられる各画像の、出力画像に対する関与分は、重みによって重み付けられており、これにより、Ｎ＋１個の顕微鏡画像が、出力画像を決定するために使用される。

【0011】

画像処理装置の別の一実施形態によれば、顕微鏡画像の順序付き集合の顕微鏡画像は、与えられた顕微鏡画像に先行する顕微鏡画像であり、与えられた顕微鏡画像は、直近の顕微鏡画像である。例えば、顕微鏡画像の順序付き集合は、顕微鏡画像のスタックからのＮ個の先行する顕微鏡画像から構成されていてよい。先行する顕微鏡画像を使用することにより、新たな顕微鏡画像が取り込まれると直ちに、出力画像をリアルタイムに生成可能である。例えば、直近に決定された出力画像は、次の顕微鏡画像を取り込む処理と同時にモニタに表示可能である。

【0012】

画像処理装置の別の一実施形態によれば、顕微鏡画像の順序付き集合には、与えられた顕微鏡画像に先行して取り込まれた顕微鏡画像と、与えられた顕微鏡画像よりも直近に取り込まれた顕微鏡画像と、の両方の顕微鏡画像が含まれていてよい。この実施形態において、出力画像のスタックの決定は、後処理の一ステップとして実行可能である。この実施形態によって生成される、出力画像のスタックは、改善された時間分解能を有する。

【0013】

画像処理装置の別の一実施形態によれば、特定の顕微鏡画像に適用される重みであってかつこの重みによって顕微鏡画像が出力画像に関与する重みは、０＜ｇ＜１なる重み付け係数ｇのべきとして決定されており、このべきは、特定の顕微鏡画像と、与えられた顕微鏡画像と、の間の順序数の差分によって決定される。時間ステップｋにおいて取り込まれた特定の顕微鏡画像が、顕微鏡画像のスタックにおいて順序数ｋに位置し、かつ時間ステップｊにおいて取り込まれた、与えられた顕微鏡画像が、顕微鏡画像のスタックにおいて順序数ｊに位置する場合、順序数の差分は、｜ｋ－ｊ｜である。例えば、与えられた顕微鏡画像の関与分は、重み１で重み付け可能であり、与えられた顕微鏡画像から順序数が１だけ異なる、与えられた顕微鏡画像に先行する顕微鏡画像の関与分は、重みｇで重み付け可能であり、与えられた顕微鏡画像の次の顕微鏡画像の関与分は、重みｇで重み付けることができ、与えられた顕微鏡画像に対して最後から２番の顕微鏡画像の関与分は、重みｇ^２で重み付け可能等々である。

【0014】

一実施形態によれば、重み付け係数は、ｇ＝ｅ^{－１／ｗＮ}、ただしＮは、加えられる顕微鏡画像の総数、ｗは定数であり、これにより、Ｎ＋１個の顕微鏡画像が、出力画像を決定するために使用される。

【0015】

本発明の別の一実施形態は、顕微鏡画像の信号対雑音比を改善するためのシステムであり、このシステムは、上記の複数の実施形態のうちの１つによる画像処理装置と、顕微鏡画像を取り込むように構成された検出装置と、を有する。

【0016】

このシステムの別の一実施形態によれば、システムに含まれる検出装置により、試料の画像が取り込まれ、顕微鏡画像の順序付き集合は、Ｎ＋１個の顕微鏡画像を含み、個数Ｎは、試料の運動に適合されている。例えば、試料は、生物学的プロセスを行っている生細胞であってよい。一実施形態において、試料の運動への、個数Ｎの適合化は、システムに含まれているプロセッサによって計算され、この計算は、オプティカルフローの決定に基づく。

【0017】

システムの別の一実施形態によれば、重み付き平均化は、試料の決定された周期運動に基づいていてよい。この実施形態によれば、顕微鏡画像の取り込まれたスタックは、試料の運動の周期性を示しており、これにより、時間ステップｊおよびｊ－Ｍにおいて取り込まれた顕微鏡画像は、試料の周期運動の同じ位相を示す。ただし、Ｍは第１周期である。この実施形態によれば、顕微鏡画像の順序付き集合は、第１周期Ｍ毎に取り込まれた複数の顕微鏡画像を含み、これにより、与えられた顕微鏡画像１０２－０は、時点ｊに取り込まれていてよく、直前に加えられた顕微鏡画像は、時点ｊ－Ｍに取り込まれていてよく、さらにその直前に加えられた顕微鏡画像は、時点ｊ－２Ｍに取り込まれていてよい等々である。

【0018】

本発明の別の一実施形態によれば、先の複数の実施形態のうちの１つによるシステムはさらに、試料を取り込むように構成された顕微鏡と、出力画像を表示するモニタと、を有する。複数の実施形態において、システムは、走査型顕微鏡、ライトシート顕微鏡またはワイドフィールド顕微鏡であってよい。

【0019】

一実施形態において、出力画像の決定は、カメラによって顕微鏡画像が取り込まれている間に実行され、与えられた顕微鏡画像は、カメラによって直近に取り込まれた顕微鏡画像である。

【0020】

別の一実施形態によれば、顕微鏡画像の信号対雑音比を改善するための方法では、少なくとも一時的に複数の顕微鏡画像を格納し、格納した複数の顕微鏡画像の順序付き集合の重み付きローリング平均の計算に基づいて出力画像を決定する。別の一実施形態において、この方法では、与えられた顕微鏡画像に、顕微鏡画像の順序付き集合からの複数の顕微鏡画像を加えることによって重み付きローリング平均を計算することができ、ここでは、与えられた顕微鏡画像に加える前に、重みによって各顕微鏡画像を重み付けられる。

【0021】

本発明の複数の実施形態を、添付の図面に示す。

【図面の簡単な説明】

【0022】

【図1A】Ｎ個の先行する顕微鏡画像を含めて重み付きローリング平均を計算することによって出力画像を決定することを示す図である。

【図1B】与えられた顕微鏡画像に先行する顕微鏡画像と、後続の顕微鏡画像と、の両方の、総数Ｎ個の付加的な顕微鏡画像を含めて重み付きローリング平均を計算することによって出力画像を決定することを示す図である。

【図2】本発明の一実施形態による、顕微鏡画像の信号対雑音比を改善するためのシステムの代表例を示す図である。

【図3】本発明の一実施形態による、顕微鏡画像の信号対雑音比を改善するための方法のフローチャートである。

【図4A】顕微鏡画像と、本発明の実施形態にしたがい、重み付き移動平均から得られかつ改善された信号対雑音比を有する出力画像と、を再現する図である。

【図4B】顕微鏡画像と、本発明の実施形態にしたがい、重み付き移動平均から得られかつ改善された信号対雑音比を有する出力画像と、を再現する別の図である。

【0023】

以下の詳細な説明および添付の図面により、本発明の利点のより詳細な理解が得られる。

【発明を実施するための形態】

【0024】

顕微鏡画像の信号対雑音比を改善するためのシステムおよび方法を以下に詳細に説明する。説明を目的とし、本発明の実施形態の完全な理解を提供するために、複数の実施例および特定の詳細を示す。実施形態は、請求項によって定められ、またこれらの実施例に示されたいくつかのもしくはすべての特徴を単独で、または以下で説明される別の特徴との組み合わせで含んでよく、またさらに、ここで説明する特徴およびコンセプトの変化形態および等価形態を含むことが可能である。以下の説明では、本発明の複数の実施形態を詳細に説明する図１～図３を参照する。

【0025】

図１Ａには、Ｎ＋１個の顕微鏡画像１０２－０、…、１０２－Ｎの重み付き平均として出力画像１０６を決定することが示されている。各顕微鏡画像１０２－０、…、１０２－Ｎは、それぞれの重み１０４－０、１０４－１、…、１０４－Ｎによって重み付けられて出力画像１０６に関与する。重み１０４－０、１０４－１、…、１０４－Ｎは、実数であってよい。顕微鏡画像１０２－０、…、１０２－Ｎは、顕微鏡画像のスタックの部分集合であってよい。

【0026】

一実施形態において、与えられた顕微鏡画像１０２－０は、１の重みで出力画像１０６に関与するのに対し、先行するＮ個の顕微鏡画像は、例えば順序数における差分で表されるように、それぞれの顕微鏡画像と、与えられた顕微鏡画像１０２－０と、の間のタイムラグに依存して減少する重みで関与する。重み付き平均は、Ｎ個の先行する顕微鏡画像をそれぞれ使用して、顕微鏡画像毎に計算され、これにより、出力画像１０６のフレームレートは、取り込まれた顕微鏡画像のスタックのフレームレートに等しくなる。

【0027】

例えば、顕微鏡画像のスタックは、高速のプロセスを取り込むことができ、これにより、顕微鏡画像１０２－２～１０２－０だけが、このプロセスの関連する特徴を示すようにする。顕微鏡画像１０２－２～１０２－０は、より旧い顕微鏡画像よりも、大きな重みを得るため、関連する特徴は、重み付き移動平均によって得られる出力画像において引き続いて視認可能である。

【0028】

一実施形態では、顕微鏡画像１０２－１、…、１０２－Ｎは、与えられたフレームレートでカメラによって連続的に生成される。このフレームレートは、一般に、顕微鏡画像の画像解像度の影響を受ける。一般的な解像度では、９０ｆｐｓのフレームレートが達成可能であるが、高解像度では２２ｆｐｓ、また極めて高い解像度では、０．０１ｆｐｓが達成可能である。

【0029】

複数の実施形態において、個数Ｎは、１～６５であってよい。複数の実施形態において、個数Ｎは、ユーザが入力可能である。別の複数の実施形態では、個数Ｎは、顕微鏡画像に取り込まれる時間依存の現象に、例えば生体試料の運動に基づいて決定される。複数の実施形態において、個数Ｎは１１である。

【0030】

各顕微鏡画像１０２－０、…、１０２－Ｎは、離散の時間ステップｉの添字が付された多次元アレイＴ_ｉであってよい。複数の顕微鏡画像１０２－０、…、１０２－Ｎは、取り込まれた顕微鏡画像アレイのスタック｛Ｔ_ｉ｝の部分集合であってよい。時間ステップｊにおいて撮影された顕微鏡画像１０２－０はアレイＴ_ｊに対応可能であり、時間ステップｊ－１において撮影された顕微鏡画像１０２－１は、アレイＴ_ｊ－１に対応可能であり、時間ステップｊ－２において撮影された顕微鏡画像１０２－２は、アレイＴ_ｊ－２に対応可能等々である。例えば、アレイＴ_ｉは、２次元の離散位置における光強度データに対応する２次元アレイであるか、または３次元の離散位置における光強度データに対応する３次元アレイであってよい。さらに、画像は、２または３次元アレイの３つの独立した集合に対応する３色ＲＧＢ形式で利用可能であってよい。

【0031】

出力画像に対する顕微鏡画像１０２－０、…、１０２－Ｎの関与は、対応するアレイＴ_ｉと、重み１０４－０、１０４－１、…、１０４－Ｎに対応する実数と、を乗算することによって得ることができる。出力画像は、多次元アレイＴ^’ _ｊを得るために顕微鏡画像１０２－０、…、１０２－Ｎの関与分を足し上げることによって決定可能である。

【0032】

結果的に、出力画像１０６は、顕微鏡画像１０２－１、…、１０２－Ｎと同じ画像データ形式を有し、これにより、出力画像１０６は、アレイＴ_ｊと同じ次元を有する多次元アレイＴ^’ _ｊになる。出力画像Ｔ^’ _ｉの計算は、スタック｛Ｔ_ｉ｝の取り込みと同時に実行可能であり、これにより、改善された信号対雑音比を有する出力画像のスタック｛Ｔ^’ _ｉ｝が生成される。

【0033】

一実施形態によれば、各重み１０４－０、…、１０４－Ｎは、重み付け係数ｇのべきとして決定可能であり、べきは、顕微鏡画像１０２－０と、重みが適用されるそれぞれの顕微鏡画像と、の間の順序数の差分ｉによって決定される。したがって、図１Ａを参照すると、顕微鏡画像１０２－０に適用される重み１０４－０は、１＝ｇ^０であってよく、顕微鏡画像１０２－１に適用される重み１０４－１は、ｇ^１であってよく、顕微鏡画像１０２－２に適用される重み１０４－２は、ｇ^２等々であってよく、また顕微鏡画像１０２－Ｎに適用される重み１０４－Ｎは、ｇ^Ｎであってよい。したがって出力画像１０６は、

【数1】

にしたがって、アレイＴ^’ _ｊとして決定可能である。

【0034】

一実施形態において、重み付け係数は、ｇ＝ｅ^{－１／ｗＮ}であり、ただしｗは定数である。複数の実施形態において、定数ｗは０．４であってよい。別の複数の実施形態によれば、ｗ＝２またはｗ＝０．１である。複数の実施形態おいて、定数ｗは、ユーザが入力可能である。別の複数の実施形態において、定数ｗは、顕微鏡画像のオプティカルフローを分析することによって決定されかつ顕微鏡画像によって取り込まれるプロセスの時間依存性に適合可能である。

【0035】

図１Ａによる出力画像の決定は、Ｎ個の先行する顕微鏡画像を使用し、したがって顕微鏡画像１０２－０が到来すると直ちに実行できるのに対し、図１Ｂには、先行する顕微鏡画像と、与えられた顕微鏡画像２０４－０よりも新しい顕微鏡画像と、の両方の顕微鏡画像を使用して重み付き移動平均を形成することが示されている。したがって出力画像２０６の計算は、画像スタックの後処理の一ステップとして実行可能である。

【0036】

図１Ａに示した計算と同様に、図１Ｂにしたがって決定される出力画像２０６は、Ｎ＋１個の顕微鏡の画像２０２－０、２０２－１、２０２－２、…、２０２－Ｎ－１、２０２－Ｎの重み付きの関与によって計算され、各顕微鏡画像は、それぞれの重み２０４－０、２０４－１、２０４－２…、２０４－Ｎ－１、２０４－Ｎによって重み付けられる。図１Ｂにおいて、Ｎは、偶数であり、偶数の順序数を有するすべての顕微鏡画像２０２－２、２０２－４、…、２０２－Ｎは、与えられた顕微鏡画像２０２－０よりも新しい顕微鏡画像であるのに対し、奇数の順序数を有する顕微鏡画像２０２－１、２０２－３、…、２０２－Ｎ－１は、与えられた顕微鏡画像２０２－０に先行して取り込まれている。

【0037】

顕微鏡画像に適用される重みは、それぞれの顕微鏡画像と、顕微鏡画像２０２－０と、の間の順序数の差分によって決定可能であり、これにより、特に、重み２０４－１は、重み２０４－２と同じであり、重み２０４－３は、重み２０４－４と同じであり、また重み２０４－Ｎ－１は、重み２０４－Ｎと同じである。

【0038】

したがって、出力画像２０６は、

【数2】

にしたがい、顕微鏡画像２０２に対応するアレイＴ_ｊと同じ形状でアレイＴ^’ _ｊとして決定可能である。

【0039】

数式（２）による出力画像の計算は、後処理として実行可能である。数式（２）による重み付き移動平均の決定により、顕微鏡画像に取り込まれるプロセスの時間分解能が改善される。

【0040】

移動平均を計算することにより、より多くの検出されたフォトンが、出力画像１０６、２０６を生成するために使用される。結果的に顕微鏡画像１０２、２０２間で統計的に独立しているノイズは、出力画像１０６、２０６において低減され、これにより、出力画像１０６、２０６の信号対雑音比が改善される。

【0041】

図２には、顕微鏡画像の信号対雑音比を改善するための画像処理装置を有する、顕微鏡画像の信号対雑音比を改善するためのシステム２００が示されている。画像処理装置２２０は、少なくとも一時的に顕微鏡画像を保存するように構成されたメモリ２２２または画像格納部と、メモリまたは画像格納部に格納された、顕微鏡画像の順序付き集合の重み付きローリング平均に基づいて、出力画像１０６、２０６を決定するように構成された処理回路２２４と、を有していてよい。例えば、メモリ２２２は、顕微鏡画像１０２－０、…、１０２－Ｎ、または顕微鏡画像２０２－２、…、２０２－Ｎを格納可能である。処理回路２２４による出力画像１０６、２０６の決定は、図１Ａおよび１Ｂを参照して説明した計算にしたがって行うことが可能である。処理回路２２４は、上で説明したように出力画像を決定するソフトウェアを実行する汎用ＣＰＵであってよい。別の一実施形態によれば、この処理回路は、上述のように重み付きローリング平均によって出力画像の計算を実行するように構成されたプログラマブルロジックブロックを有するＦＰＧＡ（field-programmable gate array）として実装可能である。別の一実施形態によれば、出力画像１０６、２０６の決定の一部分は、ＣＰＵ上で実行されるソフトウェアによって実行されるのに対し、この計算の別の一部分は、ＦＰＧＡによって実行される。

【0042】

画像処理装置２２０はまた、別の汎用ＣＰＵと、入出力インタフェースと、格納媒体と、を有していてよい。

【0043】

このシステムはさらに、検出装置２４０と、画像処理装置２２０を検出装置２４０に接続する入力接続手段２２６と、を有していてよい。検出装置２４０は、顕微鏡画像を取り込むように構成された画像センサ２４４を有する。複数の実施形態において、画像センサは、ＣＣＤまたはＣＭＯＳチップであってよい。画像センサは、複数のチャネルで記録するマルチスペクトルまたはハイパースペクトルカメラであってよい。別の複数の実施形態において、検出装置には、試料上のスポットを走査するスキャナと、スポットから放射される光を検出する点検出器と、が含まれている。点検出器は、光電子増幅管であってよい。

【0044】

図２に示したシステムはさらに、試料を取り込むように構成された顕微鏡２６０を有していてよい。複数の実施形態によれば、顕微鏡は、走査型顕微鏡、ライトシート顕微鏡、またはワイドフィールド顕微鏡であってよい。走査型顕微鏡は、共焦点顕微鏡、マルチフォトン顕微鏡、またはＳＴＥＤ顕微鏡であってよい。走査型顕微鏡は、励起制御および励起放射分離のための音響光学素子と、１２ｋＨｚまでの周波数において走査を可能にするレゾナントガルバノメータと、を使用可能である。顕微鏡２６０は、照明２６４、２７０およびレンズ２６２を有していてよく、また試料体２６６が視られるように構成可能である。

【0045】

複数の実施形態において、試料上のスポットの走査には、第１方向における走査線に沿って走査することと、この走査線の走査が完了した後に垂直方向に走査線をシフトすることとが含まれていてよい。複数の実施形態において、試料上のスポットの走査には、蛍光色素２６８で試料を染色することと、レーザによって蛍光色素を励起することと、点検出器によって蛍光信号を検出することと、が含まれていてよい。複数の実施形態において、試料上の一スポットの走査では、別の蛍光色素を励起するためにレーザを切り換える。一実施形態において、レーザの励起は、完了した走査線毎に切り換え可能であってよい。別の一実施形態では、レーザの励起は、２次元画像の走査が完了した後に切り換え可能である。２次元画像の走査が完了した後、走査型顕微鏡のハードウェアパラメータも変更可能である。

【0046】

複数の実施形態において、走査型顕微鏡は、小体積体から放射される蛍光だけが検出器に到達するように光ビーム路を制限するピンホール開口部を使用する共焦点顕微鏡であってよい。

【0047】

複数の実施形態において、検出装置により、１２ｋＨｚにおいてレゾナント走査型顕微鏡からの２次元顕微鏡画像が取り込まれる。５１２×５１２ピクセルの画像解像度では、２１．９ｆｐｓの、出力画像スタックのフレームレートに到達可能であるのに対し、２５６×２５６ピクセルの画像解像度では、４１．１ｆｐｓのフレームレートに到達可能であり、また１２８×１２８ピクセルの画像解像度では、７３．１７ｆｐｓのフレームレートに到達可能である。

【0048】

図２に示したシステムはまた、出力画像を表示するモニタ２８０と、画像処理装置２２０をモニタに接続する出力接続手段２２８と、を有していてもよい。

【0049】

一実施形態によれば、移動平均を計算するために使用される顕微鏡画像の個数Ｎは、顕微鏡画像の順序付き集合のオプティカルフローの計算に基づいて決定可能である。オプティカルフローの決定には、顕微鏡画像におけるエッジの識別と、識別したエッジにおけるシフトによる、試料の運動の決定と、が含まれていてよい。決定したオプティカルフローは、上で説明したように一実施形態にしたがって、重み付け係数を決定する個数Ｎおよび／または定数ｗを適合するために使用可能である。別の一実施形態では、最適な個数Ｎおよび定数ｗを決定するために、人工知能および／またはディープラーニングの手法を使用可能である。

【0050】

別の一実施形態において、試料の運動は、周期的であり、これにより、例えば、Ｋ番目毎に取り込まれる顕微鏡画像により、この試料の周期的な運動の同じ位相が取り込まれる。この実施形態では、出力画像を計算するために使用される顕微鏡画像の順序付き集合は、Ｋ－１個の顕微鏡画像によって分離される複数の顕微鏡画像を有していてよい。
したがって出力画像は、

【数3】

にしたがって計算される。

【0051】

択一的には、この実施形態における出力画像はまた、図１Ｂを参照して上で説明したように、

【数4】

にしたがって、先行する顕微鏡画像と、与えられた顕微鏡画像よりも新しい顕微鏡画像と、の両方の顕微鏡画像を使用して計算可能である。

【0052】

一実施形態によれば、出力画像の決定は、図１Ａの与えられた顕微鏡画像１０２－０が、カメラによって取り込まれた直近の顕微鏡画像になるようにして、カメラによる顕微鏡画像の取り込みと同時に行うことが可能である。これにより、出力画像は、移動平均の計算が完了した後、直ちにモニタ２８０に表示可能である。

【0053】

図３には、顕微鏡画像の信号対雑音比を改善するための方法の流れ図が示されている。この方法は、少なくとも一時的に顕微鏡画像を格納するステップ３０２を有する。この方法は選択的に、重み付き移動平均のパラメータを、例えば数式（１～４）のパラメータＮおよびｗを決定するステップ３０４を有し得る。この方法はさらに、例えば数式（１～４）にしたがって計算することにより、格納した顕微鏡画像の順序付きの集合の重み付きローリング平均に基づいて、出力画像を決定するステップ３０６を有する。方法３００は、与えられた顕微鏡画像に、顕微鏡画像の順序付き集合からの複数の顕微鏡画像を加えることによって重み付きローリング平均を計算することを含み得る。ここでは各顕微鏡画像は重みによって重み付けられている。方法３００は、選択的にさらに、決定した出力画像をモニタに表示するステップ３０８を有し得る。

【0054】

図４Ａおよび図４Ｂは、顕微鏡画像、例えば顕微鏡画像１０２または２０２と、重み付きローリング平均によって得られた出力画像、例えば１０６、２０６と、の比較を示している。図４Ａの上側のパネルには、Ｌｅｉｃａ ＴＣＳ ＳＰ８ ＳＴＥＤ顕微鏡によって取り込まれた、１０２４×１０２４ピクセルの大きさを有する、アクチンフィラメントの２次元顕微鏡画像が再現されている。この画像は、３３ｎｍのボクセルサイズで取り込まれている。図４Ａの上側のパネルの顕微鏡画像に示されているフィラメントは、フォトンノイズに起因してかろうじて見える。図４Ａの下側のパネルには、本発明の教示にしたがい、重み付き移動平均として生成された出力画像が再現されており、ここではフォトンノイズの平均化およびより多くのフォトンの収集に起因して、フィラメントを明瞭に視ることができる。この重み付き移動平均は、Ｎ＝１１、ｗ＝０．４を使用し、数式（１）にしたがって計算されている。

【0055】

図４Ｂには、Ｌｅｉｃａ ＳＰ８ ＳＴＥＤ顕微鏡によって取り込んだマウス神経細胞の顕微鏡画像の同様の比較が示されており、画像は、５１２×５１２ピクセルの大きさを有する。この画像は、２８９ｎｍのボクセルサイズで取り込まれている。図４Ｂの左側のパネルに示した細胞およびフィラメントでは、ノイズが優位になっているのに対し、Ｎ＝１１、ｗ＝０．４を使用し、数式（１）による重み付き移動平均にしたがって計算した、図４Ｂの右側のパネルの画像では、細胞およびフィラメントが、著しく明瞭に示されている。

【0056】

いくつかの態様を装置の文脈において説明してきたが、これらの様相が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0057】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがってデジタル記憶媒体は、コンピュータ読取可能であってよい。本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0058】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0059】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0060】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0061】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0062】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0063】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【符号の説明】

【0064】

１０２－０、…、１０２－Ｎ 顕微鏡画像
１０４－０、…、１０４－Ｎ 重み
１０６ 出力画像
２０２－０、…、２０２－Ｎ 顕微鏡画像
２０４－０、…、２０４－Ｎ 重み
２０６ 出力画像
２２０ 画像処理装置
２２２ メモリ
２２４ 処理回路
２２６ 入力接続手段
２２８ 出力接続手段
２４０ 検出装置
２４４ 画像センサ
２６０ 顕微鏡
２６４ 照明
２７０ 照明
２６２ レンズ
２６６ 試料体
２６８ 蛍光色素
２８０ モニタ

【図1A】

【図1B】

【図2】

【図3】

【図4A】

【図4B】