特開 2024-118458 デジタル画像化機器のためのデータ処理のための装置、顕微鏡および顕微鏡方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118458

(43)【公開日】2024-08-30

(54)【発明の名称】デジタル画像化機器のためのデータ処理のための装置、顕微鏡および顕微鏡方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20240823BHJP

   G06T 1/00 20060101ALI20240823BHJP

   G06T 5/70 20240101ALI20240823BHJP

   G02B 21/00 20060101ALI20240823BHJP

【ＦＩ】

G02B21/36

G06T1/00 280

G06T5/70

G02B21/00

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024023184

(22)【出願日】2024-02-19

(31)【優先権主張番号】10 2023 104 144.4

(32)【優先日】2023-02-20

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ファルク シュラウドラフ

(72)【発明者】

【氏名】サム シュテーブラウ

(72)【発明者】

【氏名】オイゲン ノルトハイマー

(72)【発明者】

【氏名】ベアント ヴィヅゴフスキ

【テーマコード（参考）】

2H052

5B057

【Ｆターム（参考）】

2H052AF14

2H052AF25

5B057AA20

5B057BA21

5B057CC03

5B057CE02

5B057CE06

5B057CE08

5B057DC40

(57)【要約】      （修正有）

【課題】画像化機器における作業をより省時間に実現することができる手段を提供する。
【解決手段】複数の格子要素が含まれる１つの多次元の全体格子の、格子要素ごとの読み出しによって、撮影領域のデジタル画像を生成し、画像化機器に組み込まれた制御ユニットの一部であるか、または、画像化機器の制御ユニットによって制御可能であり、全体格子のうちの少なくとも１つのすでに読み出された部分領域からの生画像データを、読み出し中に処理し、少なくとも１つの処理ステップにおいて、生画像データに依存して処理済みの画像データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

デジタル画像化機器（１０２）のためのデータ処理のための装置（１００）であって、
前記デジタル画像化機器（１０２）は、複数の格子要素（１０８）が含まれる１つの多次元の全体格子（１１０）の、格子要素ごとの読み出しによって、撮影領域（１０６）のデジタル画像（１０４）を生成するように構成されており、
前記装置（１００）は、前記画像化機器（１０２）に組み込まれた制御ユニット（１５８）の一部であるか、または、前記画像化機器（１０２）の制御ユニット（１５８）によって制御可能に構成されており、
前記装置（１００）は、
・前記全体格子（１１０）のうちの少なくとも１つのすでに読み出された部分領域（１１４）からの生画像データ（１１２）を、前記読み出し中に処理し、
・少なくとも１つの処理ステップ（１１８）において、前記生画像データ（１１２）に依存して処理済みの画像データ（１１６）を生成し、
・前記装置（１００）の外部からアクセスするために、前記処理済みの画像データ（１１６）を表示のために提供する、
ように構成されている装置（１００）。

【請求項2】

前記装置（１００）は、前記全体格子（１１０）が完全に読み出される前に、前記生画像データ（１１２）を処理するように構成されている、
請求項１記載の装置（１００）。

【請求項3】

前記装置（１００）は、すでに読み出された部分領域（１１４）から生成された前記処理済みの画像データ（１１６）を、前記画像（１０４）の少なくとも１つの継続的に更新されているデジタル部分画像（１２０）へと合成するように構成されている、
請求項１または２記載の装置（１００）。

【請求項4】

前記装置（１００）は、前記画像化機器（１０２）に埋め込まれた画像プロセッサ（１２２）および／または少なくとも１つの集積回路（１２４）、とりわけＦＰＧＡを有し、
前記少なくとも１つの処理ステップ（１１８）は、前記埋め込まれた画像プロセッサ（１２２）および／または前記集積回路（１２４）において実施される、
請求項１から３までのいずれか１項記載の装置（１００）。

【請求項5】

前記少なくとも１つの処理ステップ（１１８）は、前記部分領域（１１４）の前記生画像データ（１１２）の、フィルタマスク（１２８）を用いたフィルタリング（１２６）および／またはノイズ抑制を含む、
請求項１から４までのいずれか１項記載の装置（１００）。

【請求項6】

前記装置（１００）は、すでに読み出された前記部分領域（１１４）の前記生画像データ（１１２）および／またはすでに読み出された前記部分領域（１１４）の幾何形状に依存して前記フィルタマスク（１２８）をリアルタイムで更新するように構成されている、
請求項５記載の装置（１００）。

【請求項7】

前記装置（１００）は、前記少なくとも１つの部分領域にメタデータを対応付けるように構成されており、
前記メタデータは、前記少なくとも１つの部分領域（１１４）のそれぞれの格子要素（１０８）に紐付けられた前記生画像データ（１１２）に依存して計算される、
請求項１から６までのいずれか１項記載の装置（１００）。

【請求項8】

前記装置（１００）は、前記少なくとも１つの部分領域（１１４）のそれぞれの格子要素（１０８）に紐付けられた前記生画像データ（１１２）を、前記メタデータによって置き換えるように構成されている、
請求項７記載の装置（１００）。

【請求項9】

前記全体格子（１１０）のそれぞれの格子要素（１０８）の前記生画像データ（１１２）の少なくとも１つの下位集合は、それぞれ光子カウンタの時間依存性の測定信号を表しており、
前記装置は、蛍光寿命を表しているパラメータを、すでに読み出された前記部分領域（１１４）の前記生画像データ（１１２）の前記下位集合に基づいて計算し、すでに読み出された前記部分領域（１１４）の前記生画像データ（１１２）の前記下位集合を、前記パラメータによって置き換えるように構成されている、
請求項１から８までのいずれか１項記載の装置（１００）。

【請求項10】

前記全体格子（１１０）は、顕微鏡（１３４）の試料ボリューム（１３２）の少なくとも１つの走査されるべき部分範囲（１３０）を表しており、
前記顕微鏡（１３４）は、前記全体格子（１１０）を走査するように構成されており、
前記生画像データ（１１２）の少なくとも１つの下位集合は、走査時に測定された光強度値（１３６）を表している、
請求項１から９までのいずれか１項記載の装置（１００）。

【請求項11】

前記全体格子（１１０）は、エリア画像センサ（１４０）の検出器要素（１３８）によって形成されており、
前記部分領域（１１４）は、前記検出器要素（１３８）の下位集合によって形成されている、
請求項１から９までのいずれか１項記載の装置（１００）。

【請求項12】

前記全体格子（１１０）のそれぞれの格子要素（１０８）自体は、下部格子を有し、
前記装置は、前記下部格子の可変の領域から前記生画像データを処理するように構成されている、
請求項１から１１までのいずれか１項記載の装置（１００）。

【請求項13】

例えば共焦点レーザ走査型顕微鏡（１４４）のような顕微鏡（１３４）、とりわけデジタル光像顕微鏡（１４２）であって、
前記顕微鏡（１３４）は、請求項１から１２までのいずれか１項記載の装置（１００）および試料ボリューム（１３２）を有し、
全体格子（１１０）は、前記試料ボリューム（１３２）の部分範囲（１３０）を表しており、
前記顕微鏡（１３４）は、前記全体格子（１１０）を走査し、格子要素ごとに構築される、前記部分範囲（１３０）の画像（１０４）を生成するように構成されている、
顕微鏡（１３４）。

【請求項14】

前記顕微鏡（１３４）は、下部格子に配置された複数の検出器要素（１３８）を備えた画像センサ（１４６）を有し、
前記顕微鏡（１３４）は、前記画像センサ（１４６）を用いて、前記全体格子（１１０）のそれぞれの格子要素（１０８）において、前記検出器要素（１３８）の測定値に依存して生画像データ（１１２）を生成するように構成されている、
請求項１３記載の顕微鏡（１３４）。

【請求項15】

前記顕微鏡（１３４）は、照明装置（１４８）を有し、
前記装置（１００）は、処理済みの画像データ（１１６）の生成時に、前記生画像データ（１１２）から照明誤差を計算するように構成されている、
請求項１３または１４記載の顕微鏡（１３４）。

【請求項16】

試料ボリューム（１３２）を走査して、格子要素ごとに構築される、前記試料ボリューム（１３２）の画像（１０４）を生成するための顕微鏡方法であって、
走査中にリアルタイムで、
・前記試料ボリューム（１３２）の少なくとも１つのすでに走査された部分範囲（１３０）を表している生画像データ（１１２）が処理され、
・少なくとも１つの処理ステップ（１１８）において、前記生画像データ（１１２）に基づいて処理済みの画像データ（１１６）が生成され、
・前記処理済みの画像データ（１１６）が表示のために提供される、
顕微鏡方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像化機器、例えば限定するわけではないが顕微鏡、とりわけ光像顕微鏡、例えば共焦点レーザ走査型顕微鏡のためのデータ処理のための装置に関する。さらに、本発明は、このような顕微鏡と顕微鏡方法とに関する。

【背景技術】

【0002】

多くの研究分野、科学分野および技術分野において、撮影領域内の１つまたは複数の検査オブジェクトの画像を生成するために画像化機器が使用される。この場合、使用分野に応じて、撮影領域を相次いでスキャンまたは走査する機能原理に基づく画像化機器が利用される。そのような画像化機器により、多くの場合、検査オブジェクトを高詳細度で画像化することが可能となる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

このような画像化機器を用いたオブジェクト検査における欠点は、時間的コストが比較的高いことである。したがって、この欠点を克服する必要がある。

【0004】

したがって、本発明の課題は、上記の形式の画像化機器における作業をより省時間に実現することができる手段を提供することである。

【課題を解決するための手段】

【0005】

上記の課題は、デジタル画像化機器のためのデータ処理のための装置であって、デジタル画像化機器は、複数の格子要素が含まれる１つの多次元の全体格子の、格子要素ごとの読み出しによって、撮影領域のデジタル画像を生成するように構成されており、本装置は、画像化機器に組み込まれた制御ユニットの一部であるか、または画像化機器の制御ユニットによって制御可能に構成されている、装置によって解決される。さらに、本装置は、全体格子のうちの少なくとも１つのすでに読み出された部分領域からの生画像データを、読み出し中に処理し、少なくとも１つの処理ステップにおいて、生画像データに依存して処理済みの画像データを生成し、本装置の外部からアクセスするために、処理済みの画像データを表示のために提供するように構成されている。

【0006】

格子要素ごとの読み出しの際には、個々の格子要素における読み出しが、時間的かつ／または場所的に相互に分離されて、例えばピクセルごとに、ボクセルごとに、ラインごとに、または平面状に実施される。生画像データの処理は、とりわけ全体格子のうちの少なくとも１つのすでに読み出された部分領域からの生画像データの取得、読み出し、呼び出し、問い合わせ、または受信を含む。

【0007】

本発明が有利であるのは、装置を用いたデータ処理を、本質的に時間のかかる読み出しプロセスに併走しながら実施することができるからである。したがって、第１の生画像データが提供されるとすぐに第１の生画像データが遅延なく処理されることによって、時間を節約することができる。このことは、例えば後続する画像データ処理ステップに鑑みて有利である。なぜなら、この画像データ処理ステップを早期に開始することが可能となるからである。相応して、少なくとも１つの処理ステップは、画像データ処理ステップであってよい。しかしながら、別の異なる処理ステップを実施することもできる。

【0008】

さらに詳しく後述するように、装置の外部から提供されることにより、有利にはプレビューの生成および／または存在する撮影パラメータおよび機器設定のチェックを、依然として読み出しプロセス中に実施することが可能となる。したがって、誤撮影に起因する繰り返し率を低減することができ、このことも同様に、顕著な時間節約をもたらす。

【0009】

基礎となる冒頭の課題は、コンピュータ実装方法であって、デジタル画像化機器の、複数の格子要素が含まれる１つの全体格子のうちの少なくとも１つのすでに読み出された部分領域を表している生画像データを取得するステップと、少なくとも１つの処理ステップにおいて、生画像データに依存して処理済みの画像データを生成するステップと、処理済みの画像データを表示のために提供するステップと、を含む、コンピュータ実装方法によって解決される。とりわけ、第１の生画像データは、画像化機器によって全体画像が生成される前に取得される。例えば、３×３の部分領域からなる第１の生画像データは、全体格子の第３の行における第４のピクセルが読み出されるとすぐに取得される。

【0010】

有利には、本コンピュータ実装方法では、第１の生画像データが取得されるとすぐに、処理済みの画像データの生成を顕著な時間遅延なく開始することができる。以後、さらなる処理済みの画像データを、全体格子を読み出し終える間に生成することができる。

【0011】

それぞれ単独で有利であり、かつ相互に任意に組み合わせることができる以下の複数の実施形態により、本発明をさらに改善することができる。以下に挙げる発展形態の特徴を、これらの特徴が装置の文脈において挙げられているか、または方法の文脈において挙げられているかには関係なく、データ処理装置およびコンピュータ実装方法を改善するために同様に利用することができる。

【0012】

本発明の第１の可能な実施形態によれば、本装置は、全体格子が完全に読み出される前に、生画像データを処理するように構成可能である。したがって、有利には、読み出しプロセスが終了するまで待つ必要がなくなる。

【0013】

本発明による装置は、撮影領域を走査して、格子要素ごとに構築される、撮影領域の画像を生成するように構成されている、とりわけデジタル光像顕微鏡、例えば共焦点レーザ走査型顕微鏡のために設けられていてよい。相応して、制御ユニットは、例えば光像顕微鏡の対物レンズ、レンズ、位置調整機構、顕微鏡ステージ、または顕微鏡アタッチメントのような可動の要素を制御するように構成可能である。本装置が、既存の制御ユニットの一部であるか、または既存の制御ユニットによって制御可能に構成されていることにより、光像顕微鏡において必要とされるアセンブリの数を削減することができるか、または少なくとも不必要に増加させる必要がなくなる。

【0014】

撮影領域は、オブジェクトまたはプレパラートを備えた光像顕微鏡の試料ボリュームであってよい。この場合、全体格子は、試料ボリュームのうちの、光像顕微鏡の走査箇所によって走査される領域であってよい。

【0015】

択一的に、全体格子は、エリアセンサまたは配列によって形成されていてもよい。とりわけ、ＣＣＤセンサまたはＣＭＯＳセンサのセンサ要素が、全体格子を形成することができる。

【0016】

一般的に、全体格子は、３次元であってもよいし、または２次元であってもよい。さらに、全体格子は、複数の部分領域を含むことができる。相応して、それぞれの部分領域は、所定のサイズのデータの２次元または３次元のフィールドを表すことができる。この場合、それぞれの部分領域のサイズは、一定であってもよいし、または可変であってもよい。したがって、それぞれの部分領域は、不変または可変の個数の複数の格子要素を含む。生画像データは、第１の部分領域の全ての格子要素が読み出されるとすぐに処理される。第１の部分領域に所属していないさらに別の異なる格子要素を、事前に読み出しておくことができる。

【0017】

この場合、既述した撮影領域の画像は、全体画像を表す。したがって、本装置は、上記のシーケンスを、全体画像の生成中にすでに実行するための手段を有する。全体画像を生成する際に、全体格子の全ての格子要素が露光されて、読み出される。露光および読み出しの際には、全体格子のそれぞれの格子要素に、例えば単色の輝度値、ＲＧＢ値、または減衰曲線のヒストグラムの形態の生画像データが紐付けられる。この場合、生画像データを、３次元または２次元の行列の形態で整列させることができる。

【0018】

本装置は、すでに読み出された部分領域から生成された処理済みの画像データを、画像または全体画像の少なくとも１つの継続的に更新されているデジタル部分画像へと合成するように構成可能である。したがって、例えば、画像化機器が、所望のようにオブジェクトまたはプレパラートに向けられているかどうかをチェックするために用いることができるプレビューを取得する可能性が得られる。これにより、時間を浪費する誤撮影を防止することができ、複数の処理済みの画像データを最終的に全体画像へと合成することもできる。

【0019】

さらなる可能な実施形態によれば、本装置は、画像化機器に埋め込まれた画像プロセッサおよび／または少なくとも１つの集積回路、とりわけＦＰＧＡ（field programmable gate array）を有することができる。相応して、少なくとも１つの処理ステップは、埋め込まれた画像プロセッサおよび／または集積回路において実施可能である。

【0020】

したがって、本装置を画像化機器に完全に構造的に組み込むことが可能である。当然、必要に応じて択一的に、本装置を画像化機器に対して外部のコンポーネントとして動作させることも可能である。その場合、この組み込みは、純粋に機能的に実施される。

【0021】

埋め込まれた画像プロセッサは、いわゆるEmbedded Image Processorであってよい。集積回路は、好ましくはＩＣ、とりわけいわゆるシングルボードＦＰＧＡであってよい。したがって、この実施形態のために外部のコンピュータ（例えば、ＰＣ）は必要とされない。

【0022】

計算を加速させるために、本装置では、複数の画像プロセッサおよび／または回路を並列に接続することもできる。

【0023】

さらなる可能な実施形態によれば、少なくとも１つの処理ステップは、少なくとも１つのすでに読み出された部分領域の生画像データの、フィルタマスクを用いたフィルタリングを含むことができる。その後、フィルタ結果は、例えば処理済みの画像データをもたらす。

【0024】

２次元の全体格子の場合には、フィルタマスクは、少なくとも３×３、１×３、４×４、または５×５のフォーマットを有することができる。３次元の全体格子の場合には、フィルタマスクは、少なくとも３×３×３、１×１×３、４×４×４、または５×５×５のフォーマットを有することができる。さらに、フィルタマスクを、十字形または略円形または球形に構成してもよい。この場合、Ａ×Ｂ×Ｃのフォーマットは、フィルタマスクが、Ａ個の格子要素の高さと、Ｂ個の格子要素の幅と、Ｃ個の格子要素の深さと、を有する部分領域に対して適用されるということを表す。好ましくは、フィルタマスクは、５００個よりも多くの格子要素（例えば、ピクセルまたはボクセル）に対して同時に適用される。

【0025】

生画像データが、既述した行列の形態で配置されている場合には、２次元または３次元のフィルタ行列との行列乗算によってフィルタリングを実施することができる。この場合、フィルタ行列の行列係数を、一定のまま維持することができる。したがって、行列乗算は、比較的わずかな計算複雑性と結び付いており、埋め込まれた画像プロセッサおよび／または少なくとも１つの集積回路において容易に実施可能である。行列乗算のための例示的な計算規則の説明は、以下の図面の説明において明らかになる。

【0026】

オプションとして、行列係数は、生画像データに依存して、例えば生画像データから計算される信号対雑音比、とりわけ局所的な信号対雑音比に依存して可変であってよい。行列係数が、生画像データに合わせて適合させられることに基づいて、この実施形態は、フィルタリング結果が改善されているという点で優れている。

【0027】

択一的または付加的に、少なくとも１つの処理ステップは、ノイズ抑制を含むことができ、このノイズ抑制によって、処理済みの画像データの品質が改善される。ノイズ抑制は、例えば生画像データへの逆畳み込みまたは畳み込み演算の反転によって実施可能である。ノイズ抑制のための例示的な計算規則の説明は、以下の図面の説明において明らかになる。

【0028】

さらなる可能な実施形態によれば、本装置は、すでに読み出された部分領域の生画像データに依存してフィルタマスクを更新するように構成可能である。さらに、本装置は、すでに読み出された部分領域の位置および／または幾何形状に依存してフィルタマスクを更新するように構成可能である。例えば、全体格子の縁部近傍において、全体格子の中心部とは異なるフィルタマスクを利用することができる。

【0029】

これらの更新を、それぞれリアルタイムで実施してもよい。この場合、フィルタマスクは、好ましくは部分領域ごとに更新され、すなわち部分領域から部分領域へと、部分画像から部分画像へと、かつ／または、全体画像から全体画像へと、更新される。換言すれば、それぞれの部分領域に対して更新されたフィルタマスクが使用される。同様に、新たな部分画像または新たな全体画像が作成される前には常に、フィルタマスクを更新することができる。

【0030】

フィルタマスクの更新は、生画像データに基づく計算および／または処理済みの画像データに基づく計算によって実施可能である。既述した行列乗算の場合には、更新は、フィルタ行列の行列係数および／またはサイズの適合を含む。例えば、３次元の全体格子が平面状に読み出される場合には、利用されるフィルタ行列を、１つの平面の格子要素だけが読み出されている限りにおいて、まず初めは２次元とすることができる。複数の平面が少なくとも部分的に読み出されるとすぐに、フィルタ行列を３次元的に拡張することができる。

【0031】

オプションとして、フィルタマスクの更新を、適合させられたフィルタマスクの取得、読み出しおよび受信によって実施してもよい。とりわけ、この場合、機械学習または人工知能に基づく方法を用いて更新される適応型のフィルタマスクを使用することができる。

【0032】

さらなる実施形態によれば、本装置は、少なくとも１つの部分領域にメタデータを対応付けるように構成可能であり、これらのメタデータは、少なくとも１つの部分領域のそれぞれの格子要素に紐付けられた生画像データに依存して計算される。例えば、少なくとも１つの部分領域に、この部分領域の全ての格子要素にわたる輝度の平均値を対応付けることができる。これにより、生画像データから間接的にのみ得られる付加的な情報内容にアクセス可能にすることができる。

【0033】

この場合、メタデータは、生画像データから直接的または間接的に計算可能である。間接的な計算の場合には、メタデータは、生画像データから事前に計算された他のメタデータに基づいて特定される。事前に計算されたメタデータには、例えば、それぞれの格子要素に紐付けられている局所的な輝度に関するメタデータ、いわゆるサムドエリアテーブル（Summed-Area-Table）のエントリ、いわゆるプリフィックスサム（Prefix-Sum）の結果が含まれる。

【0034】

情報内容が同等である場合にデータ量および帯域幅を削減するために、本装置は、少なくとも１つの部分領域のそれぞれの格子要素に紐付けられた生画像データを、メタデータおよび／または処理済みの画像データによって置き換えるように構成可能である。換言すれば、それぞれの格子要素に紐付けられているデータの個数は、元々の１次データを、生画像データに依存しているより少数の２次データによって置き換えることによって削減される。例えば、生画像データを、処理済みの画像データによって上書きすることができる。

【0035】

このようなデータの上書きが有利である具体的な適用事例は、それぞれの格子要素の生画像データの少なくとも１つの下位集合または部分集合が、それぞれ光子カウンタの時間依存性の測定信号を表している場合に生じる。換言すれば、生画像データが、それぞれ蛍光寿命データとして光子カウントの時間推移または減衰曲線の光子ヒストグラムを含んでいる場合に生じる。

【0036】

その場合、本装置は、蛍光寿命を表しているパラメータを、すでに読み出された部分領域の生画像データの下位集合に基づいて計算し、すでに読み出された部分領域の生画像データの下位集合を、当該パラメータによって置き換えるように構成可能である。この場合、適切なパラメータは、減衰係数および／または時間値である。とりわけ、パラメータを計算する際には、欧州特許出願公開第２１１５５５８５号明細書の第１５頁の第１７行目～第２２頁の第７行目に記載されている方法を使用することができる。欧州特許出願公開第３４６５１５６号明細書および欧州特許出願公開第３７５２８１８号明細書も同様に、パラメータ計算を十分に説明している。したがって、ここではより詳細に説明することは省略する。

【0037】

したがって、時間依存性の測定信号を表す生画像データを持続的に記憶する必要がなくなる。なぜなら、計算されたパラメータが、蛍光寿命を十分に良好に表すからである。この実施形態では、本装置は、蛍光寿命顕微鏡において使用するために適している。

【0038】

既述した下位集合の他に、生画像データは、例えば生画像データが所属している格子要素の相対的な空間的位置および／または絶対的な空間的位置に関するデータのような、さらに別の情報を含むこともできる。それぞれの格子要素の空間的位置を、例えば、それぞれ１つの行インデックス、列インデックスおよび場合により深さインデックスによって簡単に表すことができる。

【0039】

共焦点レーザ走査型顕微鏡のために容易に使用することができる本装置のさらなる可能な実施形態によれば、全体格子は、顕微鏡の試料ボリュームの少なくとも１つの走査されるべき部分範囲を表すことができる。好ましくは、全体走査は、試料ボリューム全体を表している。顕微鏡は、好ましくは、全体格子を走査するように構成されており、生画像データの少なくとも１つの下位集合は、走査時に測定された光強度値を表している。換言すれば、顕微鏡は、試料ボリュームの部分範囲または試料ボリューム全体を、全体格子に沿って格子要素から格子要素へと走査するように構成されている。とりわけ、顕微鏡は、このためにピンホール絞りと個々の光子検出器とからなるデバイスを有することができ、ピンホール絞りと個々の光子検出器とは、顕微鏡の事前に定められた走査箇所に相次いで向けられる。既述したように、この場合、格子要素は、顕微鏡の走査箇所を表すことができる。

【0040】

複数の検出器要素からなるエリア画像センサを備えた画像化機器のために適している本装置のさらなる可能な実施形態では、全体格子は、エリア画像センサの検出器要素によって形成可能である。検出器要素は、エリア画像センサのピクセルまたはフォトダイオードであってよい。その場合、少なくとも１つの部分領域であって、この部分領域から生画像データが処理される少なくとも１つの部分領域は、検出器要素の下位集合によって形成可能である。とりわけ、部分領域は、エリア画像センサの一貫した面を含むことができる。相応して、格子要素は、検出器要素であり、生画像データは、検出器要素の出力値である。

【0041】

本発明による装置を、走査型の画像化機器において利用することもでき、この画像化機器は、ピンホール絞りと個々の光子検出器とからなる既述のデバイスの代わりに、ハニカム状に配置された検出器要素を備えたエリア検出器を有し、画像化機器のエリア検出器は、事前に定められた走査箇所に相次いで向けられるように構成されている。したがって、検出器要素の各々は、ピンホール絞りの機能を引き受けることができる。同時に、エリア検出器全体に、機械的なピンホール絞りと個々の光子検出器とを備えた従来の共焦点構造の場合よりも多くの光が収集される。

【0042】

このような走査型の画像化機器では、全体格子を、上部格子と下部格子とに分けると合理的である。とりわけ、全体格子のそれぞれの格子要素自体は、下部格子を有することができる。上部格子は、全ての走査箇所の合計から得られ、その一方で、それぞれの下部格子は、エリア検出器の全ての検出器要素の合計を表す。相応して、本装置は、下部格子の可変の領域から生画像データを処理するように構成可能である。この領域は、好ましくは一貫しており、かつ円形、矩形、正方形、六角形、または多角形である。この領域は、エリア検出器の個々の検出器要素を表してもよいし、またはエリア検出器全体を表してもよい。

【0043】

冒頭で述べた課題は、先行する実施形態による装置および試料ボリュームを有する、例えば共焦点レーザ走査型顕微鏡のような顕微鏡、とりわけデジタル光像顕微鏡によっても解決可能である。この場合、全体格子は、試料ボリュームの少なくとも１つの部分範囲または試料ボリューム全体を表している。さらに、本顕微鏡は、全体格子を走査し、格子要素ごとに構築される、部分範囲または試料ボリューム全体の画像を生成するように構成されている。換言すれば、顕微鏡は、部分範囲または試料ボリューム全体を、顕微鏡の撮影領域として走査するように構成されている。走査は、エリア走査と、オプションとしてこのエリア走査に対して垂直方向である深さ走査と、を含むことができる。

【0044】

本発明による顕微鏡は、装置の利点から利益を得ることができ、したがって、省時間の動作という点で優れている。例えば、画像のうちのすでに構築された区域を、依然として走査中に、自動的な画像処理に供することができる。

【0045】

オプションとして、本顕微鏡は、依然として走査中に、処理済みの画像データをグラフィカルに表示するように構成された少なくとも１つの表示ディスプレイを有することができる。例えば、既述したデジタル部分画像を、表示ディスプレイ上にプレビューとして出現させることができる。

【0046】

さらなる時間節約のために、本顕微鏡は、生画像データが最初にまたは次に処理されるべきである部分領域をできるだけ早期に読み出すために、撮影領域をブロックごとに走査するように構成可能である。この場合、ラインごとの走査よりも正方形状または立方体状の走査の方を優先すべきであり、これにより、例えば、３×３の部分領域からの生画像データを処理することが可能となる前に３つのラインが完全に読み出されるまで待機するという必要がなくなる。換言すれば、走査の際には、行インデックスが完全に通過される前に、列インデックスおよび／または深さインデックスが少なくとも１つだけ増やされると有利である。行インデックス、列インデックス、または深さインデックスを一時的に減らすこともできる。

【0047】

さらなる可能な実施形態によれば、本顕微鏡は、下部格子に配置された複数の検出器要素を備えた画像センサを有することができる。構造的に、この顕微鏡は、上で既述した走査型の画像化機器に相当する。相応して、本顕微鏡は、画像センサを用いて、全体格子のそれぞれの格子要素において、検出器要素の測定値に依存して生画像データを生成するように、とりわけ計算するように構成可能である。

【0048】

狭小なスペースにできるだけ多数の検出器要素が収まるように、これらの検出器要素は、好ましくは六角形に構成され、構築され、かつ／または配置されている。択一的に、画像センサは、ラインごとに読み出し可能なＳＣＭＯＳセンサ（Scientific Complementary Metal-Oxide-Semiconductor-Sensor）、またはアクティブピクセルセンサであってよい。画像センサの代わりに、顕微鏡は、上で既述したような検出ピンホール絞りと個別検出器とを備えたデバイスを有することも可能である。

【0049】

さらに、本装置は、生画像データを、画像センサまたは個別検出器から部分画像データストリームの形態で受信するように構成可能である。既述したノイズ抑制を実現するために、本装置では、部分画像データストリームに対して逆畳み込み関数、とりわけ線形の逆畳み込み関数を適用することができる。

【0050】

オプションとして、本顕微鏡は、照明装置を有することができ、本装置は、処理済みの画像データの生成時に、生画像データから照明誤差を計算するように構成可能である。例えば、既述したフィルタマスクを、計算された照明誤差に基づいてリアルタイムに適合させることができる。したがって、照明誤差をすでに早期に識別して予防的に補正することができ、また、照明誤差によって画質の損失がもたらされなくなくなる。

【0051】

補正の試みにもかかわらず照明誤差が残存している場合には、本装置は、照明誤差が存続していることを識別して、走査を中断するように構成可能である。オプションとして、対応するエラーメッセージを表示ディスプレイに出現させてもよい。これにより、完全な誤撮影による時間の浪費が防止される。

【0052】

基礎となる冒頭の課題は、試料ボリュームを走査して、格子要素ごとに構築される、試料ボリュームの画像を生成するための顕微鏡方法によっても同様に解決される。顕微鏡方法の枠内では、走査中にリアルタイムで、試料ボリュームの少なくとも１つのすでに走査された部分範囲を表している生画像データが処理され、少なくとも１つの処理ステップにおいて、生画像データに基づいて処理済みの画像データが生成され、処理済みの画像データが表示のために提供される。

【0053】

装置および顕微鏡と同様に、本発明による顕微鏡方法も、生画像データの処理を次の部分領域の走査と並行して実施することによって、格段の時間節約を達成する。

【0054】

オプションとして、プレビューを取得するために、処理済みの画像データを、すでに走査された部分領域の少なくとも１つの継続的に更新されているデジタル部分画像へと合成することができる。

【0055】

基礎となる冒頭の課題は、コンピュータプログラムおよび／またはコンピュータ可読記憶媒体によっても解決される。コンピュータプログラムは、コンピュータによって実行された場合に、上記のコンピュータ実装方法のステップをコンピュータに実施させる命令を含む。同様に、コンピュータ可読記憶媒体も、コンピュータによって実行された場合に、上記のコンピュータ実装方法のステップをコンピュータに実施させる命令を含む。

【0056】

基礎となる冒頭の課題は、上記のコンピュータ実装方法のステップを実施するための埋め込まれた画像プロセッサおよび／または集積回路の使用によっても解決される。

【0057】

前述した特徴は、たとえ明示的には記載されていなくても、本発明による方法のためにも、本発明による装置のためにも使用可能である。すなわち、方法の文脈においてのみ明示的に説明されている方法の特徴が、装置の特徴を表すこともできる。逆に、装置の文脈においてのみ説明されている装置の特徴も同様に、方法の特徴を表すことができる。この場合、装置、デバイス、またはユニットは、方法ステップまたは方法ステップの機能に対応することができる。これと同様に、方法ステップの文脈において説明されている態様は、対応するユニット、デバイス、装置、またはそれらの特性の説明も表す。装置に関して説明されている利点は、本発明による方法にも当てはまり、その逆もまた同様である。

【0058】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0059】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0060】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0061】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0062】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0063】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0064】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0065】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0066】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0067】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0068】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0069】

以下では、本発明が、例示的に図面を参照しながらより詳細に説明されている。上記の実施形態に即して、本発明による装置および／または本発明による顕微鏡および／または本発明による方法の特定の適用事例のために必要とされる特性に応じて、図示の実施形態において例示的に示されている特徴の組み合わせを、さらなる特徴によって補足することができる。また、同様に上記の実施形態に即して、記載されている実施形態における個々の特徴を、その特徴の作用が具体的な適用事例において重要でない場合には省略することもできる。図面では、同じ機能および／または同じ構造を有する要素に対しては、常に同一の参照符号が使用される。

【図面の簡単な説明】

【0070】

【図1】第１の例示的な実施形態による装置を備えた画像化機器の概略図である。

【図2】第２の例示的な実施形態による装置を備えたさらなる画像化機器の概略図である。

【図3】第３の例示的な実施形態による装置を備えたさらなる画像化機器の概略図である。

【図4】第４の例示的な実施形態による装置を備えたさらなる画像化機器の概略図である。

【図5】第５の例示的な実施形態による装置を備えたさらなる画像化機器の概略図である。

【図6】例示的な一実施形態による方法の概略フローチャートである。

【図7】図６のフローチャートの詳細を示す概略図である。

【図8】図７のフローチャートの詳細を示す概略図である。

【図9】第６の例示的な実施形態による装置を備えたさらなる画像化機器の概略図である。

【発明を実施するための形態】

【0071】

以下では、本発明による装置１００および本発明による顕微鏡１３４の構造および機能が、図１～図５および図９を参照しながら例示的に説明されている。さらに、本発明による方法を、図６～図８を参照しながら説明する。本発明のいくつかの態様は、装置１００の枠内においてのみ説明されるが、これらの態様が、対応する方法の説明を表すことも当然可能であり、例えば、装置１００のブロック、モジュール、ユニット、設備、または特性が、方法ステップに、または方法ステップの機能に対応する。これと同様に、方法ステップの枠内において説明される態様も、相応して、装置１００のブロック、モジュール、ユニット、設備、または特性の説明を表す。

【0072】

図１には、装置１００の例示的な一実施形態を備えたデジタル画像化機器１０２の簡略化された概略図が示されている。装置１００は、画像化機器１０２におけるデータ処理のために使用される。画像化機器１０２は、複数の格子要素１０８が含まれる１つの多次元の全体格子１１０の、格子要素ごとの読み出しによって、撮影領域１０６のデジタル画像１０４を生成するように構成されている。この場合、撮影領域１０６の画像１０４は、全体画像１５０を表す。全体画像１５０を生成するために、全体格子１１０の全ての格子要素１０８が露光されて、読み出される。

【0073】

露光および読み出しの際には、全体格子１１０のそれぞれの格子要素１０８に、例えば単色の輝度値、ＲＧＢ値、または減衰曲線のヒストグラムの形態の生画像データ１１２が紐付けられる。この場合、生画像データ１１２を、２次元または３次元の行列１５２の形態で整列させることができる。好ましくは、生画像データ１１２は、Ｎ次元の配列Ｉ（ｘ_ｉ）であり、ここで、Ｎは、２よりも大きい整数である。

【0074】

この場合、表現ｘ_ｉは、Ｎ個の位置値が含まれるタプル｛ｘ_１；・・・；ｘ_Ｎ｝の略記法である。したがって、ｘ_ｉは、座標｛ｘ_１；・・・；ｘ_Ｎ｝またはこの箇所に対する位置ベクトルを有する配列Ｉ（ｘ_ｉ）における１つの離散的な箇所を表す。箇所ｘ_ｉは、例えば、２次元の生画像データ１１２の場合には離散的な位置変数｛ｘ_１；ｘ_２｝からなるペアを表し、３次元の生画像データ１１２の場合には離散的な位置変数｛ｘ_１；ｘ_２；ｘ_３｝からなるトリプレットを表す。この場合、下付き数字が、行インデックスを表す。存在する場合、第２の下付き数字は、列インデックスを表し、第３の下付き数字は、深さインデックスを表す。

【0075】

以下では、特定の箇所または次元への参照指示が必要とされないので、一般的に、箇所をｘ_ｉで表し、次元をｉで表すものとする。箇所ｘ_ｉを、生画像データ１１２における個々のピクセル４００によって表してもよいし、または複数のピクセル４００のまとまったグループによって表してもよい。

【0076】

配列Ｉ（ｘ_ｉ）は、ｉ次元においてＭ_ｉ個の箇所を含むことができ、
すなわち、

【数1】

である。したがって、配列Ｉ（ｘ_ｉ）は、全体としてＭ_１×・・・×Ｍ_Ｎ個の要素を含むことができる。

【0077】

Ｉ（ｘ_ｉ）は、箇所ｘ_ｉにおける任意の値または値の組み合わせであってよく、例えば、色空間における色またはチャネルの強度を表す値、例えば、ＲＧＢ色空間における色Ｒの強度、またはＲＧＢ色空間における２つ以上の色の組み合わせられた強度、例えば（Ｒ＋Ｇ＋Ｂ）／３であってよい。マルチスペクトルまたはハイパースペクトルの画像化機器１０２によって記録された生画像データ１１２は、３つよりも多くのチャネルを含むことができる。それぞれのチャネルは、光スペクトルのそれぞれ異なるスペクトルまたはそれぞれ異なるスペクトル領域を表すことができる。例えば、可視光のスペクトルを表すために３つよりも多くのチャネルを使用することができる。

【0078】

例えば、３色のＲＧＢフォーマットにおいて使用することができる２次元の生画像データ１１２を、２次元の生画像データ１１２からなる３つの一貫した集合またはグループＩ（ｘ_ｉ）＝｛Ｉ_Ｒ（ｘ_ｉ）；Ｉ_Ｇ（ｘ_ｉ）；Ｉ_Ｂ（ｘ_ｉ）｝として見なすことができ、ここで、Ｉ_Ｒ（ｘ_ｉ）は、色Ｒの強度のような値を表し、Ｉ_Ｇ（ｘ_ｉ）は、色Ｇの強度のような値を表し、Ｉ_Ｂ（ｘ_ｉ）は、色Ｂの強度のような値を表す。択一的に、それぞれの色を、これらの色が、それぞれ別個の生画像データ１１２、すなわちＩ_Ｒ（ｘ_ｉ）、Ｉ_Ｇ（ｘ_ｉ）およびＩ_Ｂ（ｘ_ｉ）を形成するものとして見なしてもよい。

【0079】

生画像データ１１２は、例えば生画像データ１１２がそれぞれ所属している格子要素１０８の相対的な空間的位置および／または絶対的な空間的位置に関するデータのような、さらに別の情報を含むこともできる。この場合、それぞれの格子要素１０８の空間的位置を、それぞれ行列１５２の行インデックス、列インデックス、および場合により深さインデックスによって表すことができる。

【0080】

図１～図３における画像化機器１０２は、それぞれ、例えば共焦点レーザ走査型顕微鏡１４４のような顕微鏡１３４、とりわけデジタル光像顕微鏡１４２であり、装置１００は、これらの顕微鏡のために構想されていてよい。

【0081】

撮影領域１０６において顕微鏡１３４は、試料ボリューム１３２を有し、この試料ボリューム１３２内にオブジェクト２００またはプレパラート２０２を配置することができる。本発明による顕微鏡方法では、このオブジェクト２００またはプレパラート２０２を準備して、試料ボリューム１３２内に配置することができる（図６のステップ６００を参照）。

【0082】

全体格子１１０は、試料ボリューム１３２の少なくとも１つの部分範囲１３０を表していてもよいし、または試料ボリューム１３２全体を表していてもよい。オブジェクト２００またはプレパラート２０２を検査するために、顕微鏡１３４は、全体格子１１０を走査し、その際に、部分範囲１３０または試料ボリューム１３２全体のデジタル画像１０４を格子要素ごとに構築するように構成可能である（図６のステップ６０２～６２４を参照）。

【0083】

走査は、エリア走査と、オプションとしてこのエリア走査に対して垂直方向である深さ走査と、を含むことができる。この場合、顕微鏡１３４のそれぞれの走査箇所２０４は、全体格子１１０のうちの１つの格子要素１０８を表す。状況に応じて、全体格子１１０は、２次元（図１を参照）であってもよいし、または３次元（図３を参照）であってもよい。

【0084】

換言すれば、顕微鏡１３４は、試料ボリューム１３２の部分範囲１３０または試料ボリューム１３２全体を、全体格子１１０に沿って格子要素１０８から格子要素１０８へと走査するように構成されている。図３に示されている顕微鏡１３４は、このためにピンホール絞り３００と個々の光子検出器３０２とからなるデバイスを有し、ピンホール絞り３００と個々の光子検出器３０２とは、顕微鏡１３４の事前に定められた走査箇所２０４に相次いで向けられる。この場合、生画像データ１１２の少なくとも１つの下位集合は、光子検出器３０２によって測定された光強度値３０４を表している。

【0085】

オブジェクト２００が、例えば少なくとも１つの蛍光物質または少なくとも１つの自家蛍光物質のような蛍光材料を含んでいる場合には、上で既述したチャネルの各々は、それぞれ異なる蛍光スペクトルを表すことができる。例えば、オブジェクト２００内に複数の蛍光物質が存在している場合には、１つの蛍光物質のそれぞれの蛍光スペクトルを、生画像データ１１２のそれぞれ異なるチャネルによって表すことができる。一方では、照明によって選択的にトリガされる蛍光に対して、他方では、トリガされた蛍光の副生成物または２次的効果として生成される自家蛍光に対して、それぞれ異なるチャネルを使用することができる。近赤外線領域および赤外線領域を、さらなるチャネルによってカバーしてもよい。チャネルは、必ずしも強度データを含んでいなくてもよく、オブジェクト２００の画像１０４に関連している他の種類のデータを表すこともできる。例えば、チャネルは、画像１０４内の特定の箇所ｘ_ｉにおけるトリガ後の蛍光寿命を表している蛍光寿命データを含むことができる。したがって、一般的に、生画像データ１１２は、以下の形式：
Ｉ（ｘ_ｉ）＝｛Ｉ_１（ｘ_ｉ）；Ｉ_２（ｘ_ｉ）；・・・；Ｉ_Ｃ（ｘ_ｉ）｝
を取ることができ、ここで、Ｃは、生画像データ１１２におけるチャネルの総数である。

【0086】

図４に示されている画像化機器１０２は、複数の検出器要素１３８からなるエリア画像センサ１４０を有する。検出器要素１３８は、エリア画像センサ１４０のピクセル４００またはフォトダイオード４０２であってよい。ここでは、オブジェクト２００またはプレパラート２０２が位置している撮影領域１０６は、走査されるのではなく、大域的に写し撮られる。それでもなお、複数の検出器要素１３８は、相次いで読み出される。この場合、全体格子１１０は、エリア画像センサ１４０の全ての検出器要素１３８の全体によって形成されており、それぞれの検出器要素１３８が、１つの格子要素１０８を表す。

【0087】

図５には、走査型の画像化機器１０２における装置１００が示されており、この走査型の画像化機器１０２は、ピンホール絞り３００と個々の光子検出器３０２とからなる既述のデバイスの代わりに、ハニカム状に配置された検出器要素１３８を備えたエリア検出器５００を有する。エリア検出器５００は、ミラー機構３０６を介して事前に定められた走査箇所２０４に相次いで向けられるように構成されている。

【0088】

このような機器の構造を考慮すると、図５に示されている全体格子１１０を、上部格子５０２と下部格子５０４とに分けることができる。上部格子５０２は、全ての走査箇所２０４の合計から得られ、その一方で、それぞれの下部格子５０４は、エリア検出器５００の全ての検出器要素１３８の合計を表す。結果的に、下部格子５０４は、全体格子１１０のそれぞれの格子要素１０８において繰り返される。なぜなら、エリア検出器５００は、それぞれの走査箇所２０４に相次いで向けられるからである。

【0089】

前述したように、全体格子１１０は、技術的機器のうちの有形部分として存在する物理的な造形物（例えば、エリア画像センサ１４０の全ての検出器要素１３８の全体）であってよい。同様に、全体格子１１０は、情報技術的な開ループ制御命令および閉ループ制御命令によってユーザ設定の形態で事前に定められた仮想的な造形物（例えば、全ての走査箇所２０４の全体）であってもよい。同様のことが、上部格子５０２、下部格子５０４および格子要素１０８にも当てはまる。すでに読み出された格子要素１０８からの生画像データ１１２が、全体格子１１０の読み出し中に処理されるという本発明の基本思想は、物理的なケースに対しても仮想のケースに対しても適用可能である。

【0090】

装置１００は、画像化機器１０２に組み込まれた制御ユニット１５８の一部である。択一的に、装置１００は、制御ユニット１５８によって制御可能に構成可能である。図１に示されている顕微鏡１３４の場合には、制御ユニット１５８は、例えば顕微鏡１３４の対物レンズ２０６、レンズ２０８、位置調整機構２１０、顕微鏡ステージ２１２、または顕微鏡アタッチメント１６０のような可動の要素を制御するように構成可能である。とりわけ、本装置は、画像化機器１０２に埋め込まれた少なくとも１つの画像プロセッサ１２２および／または集積回路１２４、とりわけＦＰＧＡ（field programmable gate array）を有することができる。装置１００を画像化機器１０２に完全に構造的に組み込む代わりに、装置１００を画像化機器１０２に対して外部のコンポーネント９００として動作させることも可能である（図９を参照）。

【0091】

装置１００は、全体格子１１０のうちの少なくとも１つのすでに読み出された部分領域１１４からの既述した生画像データ１１２を、全体格子１１０の残りの部分領域の読み出し中に処理するように構成されている（図６のステップ６０２を参照）。生画像データ１１２の処理は、とりわけ全体格子１１０のうちの少なくとも１つのすでに読み出された部分領域１１４からの生画像データ１１２の取得、読み出し、呼び出し、問い合わせ、または受信を含む（図７のステップ７０２を参照）。とりわけ、装置１００は、全体格子１１０が完全に読み出される前に、生画像データ１１２を処理するように構成可能である（図６のステップ６１４を参照）。

【0092】

全体格子１１０は、複数の部分領域１１４を含み、これらの部分領域１１４は、相互に重なり合っていてもよい（図５を参照）。全体格子１１０の寸法に応じて、それぞれの部分領域１１４は、所定のサイズのデータの２次元または３次元のフィールド１５６を表すことができる。この場合、それぞれの部分領域１１４のサイズは、一定であってもよいし、または可変であってもよい。したがって、それぞれの部分領域１１４は、不変または可変の個数の複数の格子要素１０８を含む。生画像データ１１２は、目下の部分領域１１４の全ての格子要素１０８が完全に読み出されるとすぐに処理される。

【0093】

図４の画像化機器の場合には、生画像データ１１２が処理される少なくとも１つの部分領域１１４を、検出器要素１３８の下位集合５０６によって形成することができる。とりわけ、部分領域１１４は、エリア画像センサ１４０の一貫した面を含むことができる。相応して、生画像データ１１２は、検出器要素１３８の出力値を表す。

【0094】

相応して、図５の画像化機器１０２における装置１００は、下部格子５０４の可変の領域５０８からの生画像データ１１２を処理するように構成可能である。この領域５０８は、好ましくは一貫している。したがって、領域５０８は、エリア検出器５００の個々の検出器要素１３８のみ、例えば中央の検出器要素１３８のみとエリア検出器５００全体とを、交互に含むことができる。領域５０８が、中央の検出器要素１３８を含んでいる場合には、この中央の検出器要素１３８は、ピンホール絞り３００の機能を引き受ける。領域５０８が、エリア検出器５００全体を含んでいる場合には、機械的なピンホール絞りと個々の光子検出器とを備えた従来の共焦点構造の場合よりも多くの光を収集することができる。

【0095】

格子要素ごとの読み出しの際には、個々の格子要素１０８が、時間的かつ／または場所的に相互に分離されて、例えばピクセルごとに、ボクセルごとに、ラインごとに、または平面状に読み出される。しかしながら、生画像データ１１２が最初にまたは次に処理されるべきである部分領域１１４をできるだけ早期に読み出し終えるために、格子要素１０８をブロックごとに読み出すことも可能である。この場合、正方形状または立方体状に読み出すことが好ましく、これにより、例えば、３×３の部分領域１１４からの生画像データ１１２を処理することが可能となる前に３つのラインが完全に読み出されるまで待機するという必要がなくなる。換言すれば、読み出しの際には、行列１５２の列インデックスが完全に通過される前に、行列１５２の行インデックスおよび／または深さインデックスが少なくとも１つだけ増やされると有利である。例えば、全体格子１１０をメアンダ状に読み出すことができる（図５を参照）。行列１５２の行インデックス、列インデックスおよび／または深さインデックスを一時的に減らすこともできる。

【0096】

さらに、装置１００は、少なくとも１つの処理ステップ１１８において、生画像データ１１２に依存して処理済みの画像データ１１６を生成するように構成されている（図７を参照）。この場合、少なくとも１つの処理ステップ１１８を、埋め込まれた画像プロセッサ１２２および／または集積回路１２４において実施することができる。

【0097】

図７に示されているように、少なくとも１つの処理ステップ１１８は、すでに読み出された少なくとも１つの部分領域１１４の生画像データ１１２の、フィルタマスク１２８を用いたフィルタリング１２６を含むことができる。このようなフィルタリング１２６は、例えばローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、またはこれらのフィルタの組み合わせを含むことができる。フィルタリング１２６の実装は、公知の計算規則を用いて分析的もしくは反復的に、または機械学習または人工知能に基づいて実施可能である。

【0098】

図１には、例示的に３×３のフォーマットの２次元のフィルタマスク１２８が示されている。相応して、少なくとも１つの部分領域１１４も、３×３のフォーマットを有する。この場合、３×３のフォーマットは、フィルタマスク１２８および部分領域１１４の両方が、３つの格子要素１０８の高さと、３つの格子要素１０８の幅と、を有するということを表す。

【0099】

【数2】

は、部分領域１１４からの生画像データ１１２としての強度値を有する既述した行列１５２：

【数3】

である。

【0100】

一定のフィルタ係数ｆ_ｉ，ｊを有するフィルタ行列Ｆは、

【数4】

である。

【0101】

行ｉおよび列ｊにおける格子要素についてのフィルタ結果は、以下の一般的な計算規則：

【数5】

から得られる。

【0102】

例えば、第２列（ｊ＝２）の第２行（ｉ＝２）における格子要素の場合には、

【数6】

である。

【0103】

このフィルタ結果を、処理済みの画像データ１１６の行列

【数7】

の第２列の第２行に入力することができる：

【数8】

【0104】

択一的に、フィルタマスク１２８および部分領域１１４のフォーマットは、例えば１×３、４×４、または５×５であってよい。３次元の全体格子１１０の場合には、フィルタマスク１２８および部分領域１１４は、それぞれ３×３×３、１×１×３、４×４×４、または５×５×５のフォーマットを有することができる。さらに、フィルタマスクを、十字形または略円形または球形に構成してもよい（図示せず）。フィルタ結果のための計算規則を、３次元のケースに対しても同様に拡張することができる。

【0105】

フィルタ行列Ｆの行列係数ｆ_ｉ，ｊは、一定でなくてもよい。例えば、行列係数ｆ_ｉ，ｊは、依然としてフィルタリングされるべき生画像データ１１２に依存して可変であってよい。したがって、フィルタリングの前に、生画像データ１１２から信号対雑音比、とりわけ局所的な信号対雑音比を計算して、行列係数ｆ_ｉ，ｊの計算に一緒に含め入れることができる。

【0106】

付加的に、装置１００は、すでにフィルタリングされた生画像データ１１２に依存してフィルタマスク１２８を更新するように構成可能である。とりわけ、処理済みの画像データ１１６から信号対雑音比を計算することができる。とりわけ、フィルタリング前およびフィルタリング後における信号対雑音比の変化によって、行列係数ｆ_ｉ，ｊを定性的および定量的に推定することができる。

【0107】

さらに、装置１００は、すでに読み出された部分領域１１４の位置および／または幾何形状に依存してフィルタマスク１２８を更新するように構成可能である。例えば、全体格子１１０の縁部近傍において、全体格子１１０の中心部とは異なるフィルタマスク１２８を利用することができる。同様に、３次元の全体格子１１０が平面状に読み出される場合には、利用されるフィルタマスク１２８を、同一の平面からの格子要素１０８だけが読み出されている限りにおいて、まず初めは２次元とすることができる。複数の平面が少なくとも部分的に読み出されるとすぐに、フィルタマスク１２８を３次元的に拡張することができる。

【0108】

フィルタマスク１２８の更新を、リアルタイムで実施してもよいし、かつ／または適合させられたフィルタマスク１２８の取得、読み出し、受信によって実施してもよい。とりわけ、この場合、機械学習または人工知能に基づく方法を用いて更新される適応型のフィルタマスクを使用することができる。好ましくは、フィルタマスク１２８は、部分領域ごとに更新され、すなわち部分領域１１４から部分領域１１４へと更新される。

【0109】

例えば、フィルタリング１２６（上記を参照）または後述するノイズ抑制７００のような、本出願の枠内において説明される全ての方法も、機械学習または人工知能に基づいて実装可能である。

【0110】

択一的または付加的に、少なくとも１つの処理ステップ１１８は、ノイズ抑制７００を含むことができる（図７を参照）。後述するように、ノイズ抑制７００は、例えば生画像データ１１２への逆畳み込みまたは畳み込み演算の反転によって実施可能である。

【0111】

ノイズ抑制７００では、多くの場合に機器特有である点拡がり関数ｐｓｆと、これに加算されるノイズ項ｎと、を有する実際の画像Ｉ_ｔｒｕｅ（ｘ_ｉ）の畳み込みから、生画像データ１１２が得られるということが仮定される：
Ｉ（ｘ_ｉ）＝Ｉ_ｔｒｕｅ（ｘ_ｉ）＊ｐｓｆ＋ｎ

【0112】

実際の画像Ｉ_ｔｒｕｅ（ｘ_ｉ）の近似を取得するために、この方程式を、例えばいわゆるリチャードソン・ルーシーアルゴリズムを用いて反復的に解くことができる。

【0113】

さらに、装置１００は、画像１０４の画質を改善するために、さらなる処理ステップ１１８を実施するように構成可能である。例えば、画像化機器を使用して３次元の領域の２次元の画像１０４が記録される場合には、画像化機器の焦点領域内に位置しているものだけが鮮明に画像化される。焦点領域内に位置していないものは全て不鮮明に画像化されている。この焦点外に位置しているものが画像の一因になることによって画像誤差がもたらされ、この画像誤差を、例えば、既述した逆畳み込みによって画像鮮明性を生成するための標準的な画像化機器および画像化方法によって除去することはできない。

【0114】

これに関連して、焦点内に位置している区分は、高い空間周波数を有しており、例えば、生画像データ１１２において短距離にわたって発生する強度変化および／または色変化を担っているという仮定から出発することができる。焦点外に位置している区分の場合には、これらの区分が、低い空間周波数を有しており、すなわち、生画像データ１１２の大きな領域にわたって延在する主として漸進的である強度変化および／または色変化をもたらすということが仮定される。

【0115】

上記の仮定から出発して、生画像データ１１２にわたる強度変化および／または色変化を、付加的に、
Ｉ（ｘ_ｉ）＝Ｉ_１（ｘ_ｉ）＋Ｉ_２（ｘ_ｉ）
のように、高い空間周波数を有する焦点内に位置している区分Ｉ_１（ｘ_ｉ）と、低い空間周波数を有する焦点外に位置している区分Ｉ_２（ｘ_ｉ）と、に分解することができる。

【0116】

焦点外に位置している区分Ｉ_２（ｘ_ｉ）の低い空間周波数に基づいて、この区分Ｉ_２（ｘ_ｉ）を、多かれ少なかれ平滑であるベースラインとして見なすことができ、このベースラインは、高い空間周波数を有するオブジェクトとしての焦点内に位置している構成成分に重畳している。装置１００は、このベースラインを、生画像データ１１２への当てはめを使用して推定するように構成可能である。計算技術的に、当てはめ、すなわちベースライン推定は、離散的なベースライン推定データｆ（ｘ_ｉ）によって表される。ベースライン推定データｆ（ｘ_ｉ）も同様に、Ｎ次元と、Ｍ_１×・・・×Ｍ_Ｎ個の要素と、を有する配列であってよく、したがって、生画像データ１１２と同じ次元数を有することができる。

【0117】

ベースライン推定データを計算するために、当てはめのために最小化されるべき二乗誤差最小化基準を使用することができる。特別なケースでは、当てはめは、生画像データへの多項式当てはめであってよい。とりわけ、ベースライン推定データを、Ｎ次元の各々ｉにおける次数Ｋの多項式によって、

【数9】

のように表すことができ、ここで、ａ_ｉ，ｋは、ｉ次元における多項式の係数である。それぞれの次元ｉ＝１，・・・，Ｎごとに、別個の多項式を計算することができる。択一的に、スプライン当てはめを利用してもよい。

【0118】

ベースライン推定データが特定され、これによってＩ_２（ｘ_ｉ）のためのベースライン推定ｆ（ｘ_ｉ）が取得されるとすぐに、生画像データＩ（ｘ_ｉ）からベースライン推定ｆ（ｘ_ｉ）を減算することによって、不鮮明性が低減された処理済みの画像データＢ（ｘ_ｉ）を計算することができる：
Ｂ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）－ｆ（ｘ_ｉ）

【0119】

処理済みの画像データも、好ましくはＮ次元と、Ｍ_１×・・・×Ｍ_Ｎ個の要素と、を有する離散的な配列によって表され、したがって、好ましくは生画像データおよび／またはベースライン推定データと同じ次元数を有する。

【0120】

二乗誤差最小化基準の正確な定式化により、当てはめの特性、ひいてはベースライン推定データの特性が決定される。二乗誤差最小化基準が不適切に選択されると、焦点外に位置している区分のベースライン推定が十分な精度で表されなくなる可能性がある。一実施形態によれば、二乗誤差最小化基準Ｍ（ｆ（ｘ_ｉ））は、以下の形式：
Ｍ（ｆ（ｘ_ｉ））＝Ｃ（ｆ（ｘ_ｉ））＋Ｐ（ｆ（ｘ_ｉ））
を有することができ、ここで、Ｃ（ｆ（ｘ_ｉ））は、コスト関数であり、Ｐ（ｆ（ｘ_ｉ））は、ペナルティ項である。二乗誤差最小化基準、コスト関数およびペナルティ項は、好ましくはスカラー値である。

【0121】

特別なケースでは、コスト関数は、生画像データＩ（ｘ_ｉ）とベースライン推定データｆ（ｘ_ｉ）との間の差を表す。例えば、ε（ｘ_ｉ）が、生画像データとベースライン推定データとの間の差分項を、以下の形式：
ε（ｘ_ｉ）＝Ｉ（ｘ_ｉ）－ｆ（ｘ_ｉ）
で表す場合には、コスト関数Ｃ（ｆ（ｘ_ｉ））は、Ｌ_２ノルム

【数10】

を含むことができ、このＬ_２ノルムは、ここでは、ｉ次元における生画像データとベースライン推定データとの間の二乗の差の和の全ての次元にわたって平均化された二乗の平方根の値の和の略記として使用され、すなわち、

【数11】

である。

【0122】

Ｌ_２ノルム

【数12】

は、スカラー値である。コスト関数の一例は、

【数13】

である。

【0123】

ベースライン推定の精度を改善するために、生画像データとベースライン推定との間の差が、例えば切り捨てられた差分項の使用によって切り捨てまたは制限されると有利であろう。切り捨てられた差分項は、生画像データにおけるピークがベースライン推定データに対して及ぼす影響を低減する。このような低減は、焦点内に位置している区分がＩ（ｘ_ｉ）のピークに位置していることが仮定されるべき場合に有利である。切り捨てられた差分項に基づいて、ベースライン推定から所定の一定の閾値ｓよりも大きく逸脱する生画像データにおけるピーク値は、当てはめ、とりわけスプライン当てはめに対するコスト関数のペナルティが閾値に制限されることにより、コスト関数において「無視される」こととなる。したがって、ベースライン推定データは、制限された量までしかこのようなピーク値に追従しない。切り捨てられた２次式は、対称であってもよいし、または非対称であってもよい。以下では、切り捨てられた差分項をφ（ε（ｘ_ｉ））と称する。

【0124】

いくつかの用途では、焦点内に位置している区分は、場合によっては、生画像データのピーク値に、すなわち画像の明るい斑点にのみ位置する可能性があるか、またはそこに少なくとも優先的に位置する可能性がある。このことは、場合によっては切り捨てまたは制限された非対称である２次項が選択されることによって再現され、これにより、当てはめが、生画像データにおける谷だけに追従するが、ピークには追従しないようにすることが可能となる。例えば、非対称の切り捨てられた２次項φ（ε（ｘ_ｉ））は、

【数14】

の形式であってよい。

【0125】

さらなる特別な用途において、生画像データにおける谷、すなわち暗い領域も同様に、焦点内に位置している区分として見なされる場合には、非対称の切り捨てられた２次項の代わりに、対称の切り捨てられた２次項を使用することができる。例えば、対称の切り捨てられた２次項は、以下の形式：

【数15】

を有することができる。

【0126】

切り捨てられた２次形式を使用して、コスト関数Ｃ（ｆ（ｘ_ｉ））を、好ましくは

【数16】

のように表すことができる。

【0127】

二乗誤差最小化基準Ｍ（ｆ（ｘ_ｉ））におけるペナルティ項Ｐ（ｆ（ｘ_ｉ））は、焦点内に位置している区分Ｉ_１（ｘ_ｉ）に所属すると見なされるデータに合わせてベースライン推定が適合させられる場合にペナルティを導入する任意の形式を取ることができる。ペナルティは、生画像データの焦点内に位置している区分がベースライン推定データ内に表されている場合に、ペナルティ項の値を増加させることによって生成される。

【0128】

例えば、焦点外に位置している区分Ｉ_２（ｘ_ｉ）が低い空間周波数を有することを仮定すると、ペナルティ項は、ベースライン推定の空間周波数が大きくなる場合に大きくなる項であってよい。

【0129】

このようなペナルティ項は、一実施形態では、平滑なベースラインとは異なる非平滑なベースライン推定データを冷遇する粗さペナルティ項であってよい。このような粗さペナルティ項は、ベースライン推定データを、高い空間周波数を有するデータに近似させることに対して効果的にペナルティを与える。

【0130】

例えば、粗さペナルティ項は、ベースライン推定データの１次空間導関数、とりわけ１次空間導関数の二乗および／または絶対値を含んでいてもよいし、かつ／またはベースライン推定データの２次導関数、とりわけ２次空間導関数の二乗および／または絶対値を含んでいてもよい。一般的に、ペナルティ項は、ベースライン推定データの任意の次数の空間導関数を含んでいてもよいし、またはベースライン推定データの空間導関数の線型結合を含んでいてもよい。種々異なる次元における種々異なるペナルティ項を使用することができる。

【0131】

例えば、粗さペナルティ項Ｐ（ｆ（ｘ_ｉ））を、

【数17】

のように形成することができる。

【0132】

この粗さペナルティ項は、ベースライン推定の勾配の大きな変化率に対して、すなわち大きい曲率に対してペナルティを与え、これによって平滑な推定を優遇する。この場合、γ_ｊは、調整パラメータであり、

【数18】

は、ｊ次元における２次導関数を計算するための離散的な演算子である。離散において、畳み込みを使用して効率的に微分を実施することができる。例えば、

【数19】

であり、２次の導関数行列

【数20】

を有する。

【0133】

調整パラメータγ_ｊは、焦点が合っている画像区分Ｉ_１（ｘ_ｉ）における情報の空間的な長さスケールを表す。調整パラメータγ_ｊは、ユーザによって事前に決定可能であり、好ましくは０よりも大きい。調整パラメータγ_ｊは、計算コストを節約するために一定の値を取ってもよいし、または精度を向上させる目的で、画像の構造に局所的に依存してもよい。調整パラメータγ_ｊの単位は、ペナルティ項が無次元の大きさになるように選択される。典型的に、調整パラメータは、０．３～１００の間の値を有する。

【0134】

コスト関数Ｃ（ｆ（ｘ_ｉ））とペナルティ項Ｐ（ｆ（ｘ_ｉ））とからなる二乗誤差最小化基準Ｍ（ｆ（ｘ_ｉ））を、公知の方法を使用して最小化することができる。１つのケースでは、好ましくは反復的である半二乗最小化スキームを使用することができる。半二乗最小化スキームを実施するために、装置１００は、半二乗最小化ユニットまたは半二乗最小化処理ユニットを有することができる。半二乗最小化は、２つの反復段階を有する反復アルゴリズムを含むことができる。

【0135】

例えば、半二乗最小化スキームは、少なくとも部分的に、計算技術的に効率的であるいわゆるＬＥＧＥＮＤアルゴリズムを含むことができる。ＬＥＧＥＮＤアルゴリズムは、Idier, J. (2001): Convex Half-Quadratic Criteria and Interacting Variables for Image Restoration, IEEE Transactions on Image Processing, 10(7), P. 1001 1009と、Mazet, V., Carteret, C., Bire, D., Idier, J.,およびHumbert, B. (2005): Background Removal from Spectra by Designing and Minimizing a Non-Quadratic Cost Function, Chemometrics and Intelligent Laboratory Systems, 76, P. 121 133.と、において説明されている。これら２つの記事の全体を、参照により本明細書に援用するものとする。

【0136】

ＬＥＧＥＮＤアルゴリズムの場合には、好ましくは生画像データと同じ次元数である離散的な補助データｄ（ｘ_ｉ）が導入される。補助データは、それぞれの反復において、ベースライン推定データと、切り捨てられた２次項と、生画像データと、に依存して更新される。

【0137】

ＬＥＧＥＮＤアルゴリズムでは、収束基準が満たされるまで、２つの反復的なステップ（以後、第１および第２の反復ステップ）を使用して二乗誤差最小化基準が最小化される。収束基準を、

【数21】

として表すことができ、ここで、ｌおよびｌ－１は、それぞれ目下の反復ステップおよび先行する反復ステップを表し、ｔは、ユーザによって規定することができるスカラー収束値である。

【0138】

ＬＥＧＥＮＤアルゴリズムにおける最初のステップとして、ベースライン推定データのための開始値が定義される。

【0139】

多項式当てはめが使用される場合には、ｉ＝１，・・・，Ｎ次元の各々ごとに第１のベースライン推定

【数22】

のための適切な係数ａ_ｋからの開始値を選択することにより、ＬＥＧＥＮＤアルゴリズムを開始することができる。

【0140】

第１の反復ステップでは、補助データを、

【数23】

のように更新することができ、ここで、ｌ＝１・・・Ｌは、目下の反復のインデックスであり、αは、ユーザによって選択することができる定数である。好ましくは、αは、近似的に０．５であるが、０．５に等しくはない。αのための適切な値は、０．４９３である。

【0141】

スプライン当てはめが使用される場合には、ＬＥＧＥＮＤアルゴリズムの開始時の初期条件を、ｄ（ｘ_ｉ）＝０，ｆ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）とすることができ、反復は、第２の反復ステップに突入すると開始される。

【0142】

第２の反復ステップでは、事前に計算された補助データｄ_ｌ（ｘ_ｉ）と、先行する反復ｌ－１からのベースライン推定データｆ_ｌ－１（ｘ_ｉ）と、ペナルティ項Ｐ（ｘ_ｉ）と、に基づいて、ベースライン推定データｆ_ｌ（ｘ_ｉ）が更新される。とりわけ、更新されたベースライン推定データを、第２の反復ステップにおいて、以下の式：

【数24】

を使用して計算することができる。

【0143】

この場合、

【数25】

は、補助データｄ（ｘ_ｉ）を含め入れることによってＬＥＧＥＮＤアルゴリズムのために修正されている半二乗最小化基準を表す。

【0144】

具体的には、ベースライン推定データを、第２の反復ステップにおいて、以下の行列計算：

【数26】

を使用して更新することができる。

【0145】

この場合、

【数27】

は、（Ｍ_１×・・・×Ｍ_Ｎ）^２次元の配列である。２次元のケースでは、Ａ_ｉは、（Ｍ_ｘ－１）（Ｍ_ｙ－１）×Ｍ_ｘＭ_ｙの配列であり、

【数28】

として与えられており、なお、

【数29】

である。

【0146】

上述した収束基準が満たされるまで、ｄ_ｌ（ｘ_ｉ）およびｆ_ｌ（ｘ_ｉ）を更新するための２つの反復ステップが繰り返される。

【0147】

ベースライン推定データのさらなる計算可能性については、独国実用新案第２０２０１８００６２８４号明細書の第５頁の第１８行目～第１４頁の第１５行目を参照されたい。欧州特許第１１７２４１号明細書、欧州特許出願公開第３５８８４３０号明細書、欧州特許出願公開第３５８８４３２号明細書および欧州特許出願公開第３７１６１９９号明細書も同様に、ベースライン推定データの計算に取り組んでいる。

【0148】

オプションとして、装置１００は、少なくとも１つの部分領域１１４にメタデータ８００を対応付けるように構成可能であり、これらのメタデータ８００は、少なくとも１つの部分領域１１４のそれぞれの格子要素１０８に紐付けられた生画像データ１１２に依存して計算される。さらに、装置１００は、少なくとも１つの部分領域１１４のそれぞれの格子要素１０８に紐付けられた生画像データ１１２を、メタデータ８００および／または処理済みの画像データ１１６によって置き換えるように構成可能である。

【0149】

図８に示されているように、例えば、生画像データ１１２を、処理済みの画像データ１１６によって上書きすることができる。ここでは、それぞれの格子要素１０８の生画像データ１１２の下位集合８０２または部分集合８０４は、それぞれ光子検出器３０２の時間依存性の測定信号８０６を表している。換言すれば、生画像データ１１２は、それぞれ蛍光寿命データとして光子カウントの時間推移８０８または光子ヒストグラム８１０を含む。

【0150】

相応して、装置１００は、蛍光寿命を表しているパラメータ８１２を、すでに読み出された部分領域１１４の生画像データ１１２の下位集合８０２に基づいて計算し、すでに読み出された部分領域１１４の生画像データ１１２の下位集合８０２を、当該パラメータ８１２によって置き換えるように構成可能である。この場合、適切なパラメータ８１２は、時間値τ_ｉ，ｊであり、この時間値τ_ｉ，ｊは、外部励起後の蛍光物質の分子が、光子を放射してそれによって基底状態に戻る前に、励起状態に留まっている平均時間を示す。例えば、時間値τ_ｉ，ｊを計算する際には、欧州特許出願公開第２１１５５５８５号明細書の段落［０１２１］以降に記載されている方法を使用することができる。欧州特許出願公開第３４６５１５６号明細書および欧州特許出願公開第３７５２８１８号明細書も同様に、パラメータ計算を十分に説明している。

【0151】

計算された時間値τ_ｉ，ｊは、処理済みの画像データ１１６として装置１００から出力される。

【0152】

最後に、装置１００は、装置１００の外部からアクセスするために、処理済みの画像データ１１６を表示のために提供するように構成されている。とりわけ、本装置は、すでに読み出された部分領域１１４から生成された処理済みの画像データ１１６を、画像１０４または全体画像１５０の少なくとも１つの継続的に更新されているデジタル部分画像１２０へと合成するように構成可能である。全ての部分領域１１４が読み出されるとすぐに、処理済みの画像データ１１６を全体画像１５０へと合成することもできる。フィルタマスク１２８の既述した更新を、部分画像１２０から部分画像１２０へと、かつ／または、全体画像１５０から全体画像１５０へと、実施することもできる。

【0153】

図１および図２に示されているように、顕微鏡１３４は、処理済みの画像データ１１６をグラフィカルに表示するように構成された少なくとも１つの外部および／または内部の表示ディスプレイ１５４を有することができる。例えば、既述したデジタル部分画像１２０を、表示ディスプレイ１５４上にプレビューとして出現させることができる。

【0154】

さらに図１から、顕微鏡１３４が、照明装置１４８を有することができることが見て取れる。ここでも、装置１００は、処理済みの画像データ１１６の生成時に、生画像データ１１２から照明誤差を計算するように構成可能である。例えば、既述したフィルタマスク１２８を、計算された照明誤差に基づいてリアルタイムに適合させることができる。補正の試みにもかかわらず照明誤差が残存している場合には、装置１００は、このことを識別して、対応するエラーメッセージを表示ディスプレイ１５４に送信するように構成可能である。

【0155】

以下では、試料ボリューム１３２を走査して、格子要素ごとに構築される、試料ボリューム１３２の画像１０４を生成するための顕微鏡方法のシーケンスを、図６および図７に基づいて説明する。

【0156】

試料の準備および機器の設定（ステップ６００）の後、第１の部分領域１１４の第１の格子要素１０８が読み出される（ステップ６０４）ことにより、第１の部分領域１１４の読み出しが開始される（ステップ６０２）。第１の部分領域１１４の全ての格子要素１０８が読み出されない限り、それぞれ次の格子要素１０８が読み出される（ループフィードバック６０６）。この場合、それぞれ次の格子要素１０８は、第１の部分領域１１４に所属することができる。しかしながら、それぞれ次の格子要素１０８を、先行して読み出された格子要素１０８と同一の行または列に位置しているに過ぎない、第１の部分領域１１４の外側にある格子要素１０８とすることもできる。

【0157】

第１の部分領域１１４の全ての格子要素１０８が読み出されて初めて、図示の内側ループ６０８から離脱することができる（ループ出口６１０）。ここで、第１の部分領域１１４からの生画像データ１１２に関して、装置１００への生画像データ１１２の転送６１２および装置１００による生画像データ１１２の処理６１４が実施される。図７の詳細図に示されているように、まず始めに装置１００によって生画像データ１１２を受信することができる（ステップ７０２）。続いて、少なくとも１つの処理ステップ１１８が、既述したフィルタリング１２６、ノイズ抑制７００、蛍光寿命データ計算７０４および／または他の画像処理プロセスの形態で実施される。最後に、処理済みの画像データ１１６の出力７０６が実施される。

【0158】

ステップ７０２～７０６におけるこの処理６１４は、全体格子１１０のそれぞれの部分領域１１４ごとに繰り返され、それぞれ次の部分領域１１４の格子要素１０８が並行して読み出されている間に実行される。なぜなら、全体格子１１０の全ての部分領域１１４が読み出されない限り、それぞれ次の部分領域１１４の、格子要素ごとの読み出し６０２に移行するからである（ループフィードバック６１６）。ここでも、処理６１４の結果を、既述した継続的に更新されているデジタル部分画像１２０へと追加することができる（ステップ６１８）。全体格子１１０の全ての部分領域１１４が読み出されて初めて、図示の外側ループ６２０から離脱することができ（ループ出口６２２）、画像１０４または全体画像１５０を表示することができる（ステップ６２４）。

【0159】

ステップ６１２～６２４を、コンピュータ実装方法として実施することもできる。相応して、コンピュータプログラム９０２および／またはコンピュータ可読記憶媒体９０４は、コンピュータ９０６によって実行された場合にステップ６１２～６２４をコンピュータ９０６に実施させる命令を含むことができる。

【符号の説明】

【0160】

１００ 装置
１０２ 画像化機器
１０４ 画像
１０６ 撮影領域
１０８ 格子要素
１１０ 全体格子
１１２ 生画像データ
１１４ 部分領域
１１６ 画像データ
１１８ 処理ステップ
１２０ 部分画像
１２２ 画像プロセッサ
１２４ 回路
１２６ フィルタリング
１２８ フィルタマスク
１３０ 部分範囲
１３２ 試料ボリューム
１３４ 顕微鏡
１３６ 光強度値
１３８ 検出器要素
１４０ エリア画像センサ
１４２ 光像顕微鏡
１４４ レーザ走査型顕微鏡
１４６ 画像センサ
１４８ 照明装置
１５０ 全体画像
１５２ 行列
１５４ 表示ディスプレイ
１５６ フィールド
１５８ 制御ユニット
１６０ 顕微鏡アタッチメント
２００ オブジェクト
２０２ プレパラート
２０４ 走査箇所
２０６ 対物レンズ
２０８ レンズ
２１０ 位置調整機構
２１２ 顕微鏡ステージ
３００ ピンホール絞り
３０２ 光子検出器
３０４ 光強度値
３０６ ミラー機構
４００ ピクセル
４０２ フォトダイオード
５００ エリア検出器
５０２ 上部格子
５０４ 下部格子
５０６ 下位集合
５０８ 領域
６００ ステップ
６０２ ステップ
６０４ サブステップ
６０６ ループフィードバック
６０８ ループ
６１０ ループ出口
６１２ 転送
６１４ 処理
６１６ ループフィードバック
６１８ ステップ
６２０ ループ
６２２ ループ出口
６２４ ステップ
７００ ノイズ抑制
７０２ ステップ
７０４ 蛍光寿命データ計算
７０６ 出力
８００ メタデータ
８０２ 下位集合
８０４ 部分集合
８０６ 測定信号
８０８ 時間推移
８１０ 光子ヒストグラム
８１２ パラメータ
９００ コンポーネント
９０２ コンピュータプログラム
９０４ 記憶媒体
９０６ コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】