特表 2022-538406 位相分布を強調するための画像処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-09-02

(54)【発明の名称】位相分布を強調するための画像処理装置および方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220826BHJP

   G06T 1/40 20060101ALI20220826BHJP

   G01N 21/17 20060101ALI20220826BHJP

   G02B 21/36 20060101ALN20220826BHJP

【ＦＩ】

G06T5/00 705

G06T1/40

G01N21/17 A

G02B21/36

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021576073

(86)(22)【出願日】2020-06-19

(85)【翻訳文提出日】2022-02-18

(86)【国際出願番号】 EP2020067096

(87)【国際公開番号】W WO2020254574

(87)【国際公開日】2020-12-24

(31)【優先権主張番号】19181836.8

(32)【優先日】2019-06-21

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】カイ ヴァルター

(72)【発明者】

【氏名】ベンヤミン ダイスラー

【テーマコード（参考）】

2G059

2H052

5B057

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB14

2G059DD13

2G059EE01

2G059EE04

2G059FF01

2G059FF03

2G059GG03

2G059KK04

2G059MM01

2G059MM09

2G059MM10

2G059MM17

2H052AA08

2H052AC07

2H052AC14

2H052AF14

2H052AF25

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE05

5B057DC40

(57)【要約】

入力位相分布（Ｉ（ｘ_ｉ））を強調するための装置（１）および方法であって、ここで、本装置（１）および本方法は、
入力位相分布を取得し、入力位相分布におけるベースライン（Ｉ_２（ｘ_ｉ））の推定値としてベースライン推定値（ｆ（ｘ_ｉ））を計算するように構成され、ここで、本装置および本方法は、ベースライン推定値および入力位相分布に基づいて、出力位相分布（Ｏ（ｘ_ｉ））を取得するようにさらに構成されている。

【特許請求の範囲】

【請求項1】

入力位相分布（Ｉ（ｘ_ｉ））を強調するための装置（１）であって、
前記装置（１）は、
－前記入力位相分布（Ｉ（ｘ_ｉ））を取得し、
－前記入力位相分布（Ｉ（ｘ_ｉ））におけるベースライン（Ｉ_２（ｘ_ｉ））の推定値としてベースライン推定値（ｆ（ｘ_ｉ））を計算する、
ように構成され、
前記装置（１）は、
－前記ベースライン推定値（ｆ（ｘ_ｉ））および前記入力位相分布（Ｉ（ｘ_ｉ））に基づいて、出力位相分布（Ｏ（ｘ_ｉ））を取得するようにさらに構成されている、
装置（１）。

【請求項2】

前記装置（１）は、前記入力位相分布（Ｉ（ｘ_ｉ））から前記ベースライン推定値（ｆ（ｘ_ｉ））を減算するようにさらに構成されている、
請求項１記載の装置（１）。

【請求項3】

前記装置（１）は、
－前記ベースライン推定値（ｆ（ｘ_ｉ））を反復最小化スキーム（２１０）によって計算するようにさらに構成されている、
請求項１または２記載の装置（１）。

【請求項4】

前記反復最小化スキーム（２１０）は、最小二乗最小化規範（Ｍ（ｆ（ｘ_ｉ）））を含み、前記最小二乗最小化規範は、切断された二次項（φ（ε（ｘ_ｉ）））を含む、
請求項３記載の装置（１）。

【請求項5】

前記切断された二次項（φ（ε（ｘ_ｉ）））は、対称的である、
請求項４記載の装置（１）。

【請求項6】

前記反復最小化スキーム（２１０）は、第１の反復ステージ（４８）および第２の反復ステージ（５０）を含み、
－前記第１の反復ステージ（４８）では、補助データ（ｄ_ｌ（ｘ_ｉ））は、先行の反復（ｌ）のベースライン推定値（ｆ_ｌ－１（ｘ_ｉ））と、切断された二次項（φ（ε（ｘ_ｉ）））と、入力位相分布（Ｉ（ｘ_ｉ））と、に依存して更新され、
－前記第２の反復ステージ（５０）では、前記ベースライン推定値（ｆ（ｘ_ｉ））は、前記入力位相分布（Ｉ（ｘ_ｉ））と前記更新された補助データ（ｄ（ｘ_ｉ））との合計を用いた、離散グリーン関数（Ｇ（ｘ_ｉ））の畳み込みを使用して計算される、
請求項３から５までのいずれか１項記載の装置（１）。

【請求項7】

前記装置（１）は、
－２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））を取得し、
－位相伝達関数Ｆ（Ｈ（ｘ_ｉ））を取得する、
ようにさらに構成され、
前記装置（１）は、
前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））と前記位相伝達関数Ｆ（Ｈ（ｘ_ｉ））とから入力位相分布（Ｉ（ｘ_ｉ））を得るようにさらに構成されている、
請求項１から６までのいずれか１項記載の装置（１）。

【請求項8】

前記装置（１）は、
－正則化関数Ｒを使用して前記入力位相分布（Ｉ（ｘ_ｉ））を計算するように構成されている、
請求項７記載の装置（１）。

【請求項9】

前記装置（１）は、
－前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））を相互に減算するように構成されている、
請求項７または８記載の装置（１）。

【請求項10】

前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））は、明視野画像である、
請求項７から９までのいずれか１項記載の装置（１）。

【請求項11】

前記装置（１）は、
－前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））の各々について、異なる焦点距離、異なる照明、プローブボリューム（１２）から対物レンズ（１８）までの異なる距離、ならびに、画像センサ（９）から前記プローブボリューム（１２）までの光路（１４）の異なる長さのうちの１つを使用して、前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））を記録するように構成されている、
請求項７から１０までのいずれか１項記載の装置（１）。

【請求項12】

前記装置（１）は、
－対物レンズ（１８）の後焦点面（７０２）における制御可能なアパーチャ（４００）と、
－少なくとも２つの異なる照明設定に切り替えられるように構成された照明システム（１６）であって、前記少なくとも２つの照明設定のそれぞれにおいて、前記プローブボリューム（１２）が異なるように照明される照明システム（１６）と、
－前記プローブボリューム（１２）から少なくとも１つの画像センサ（９）まで延在し、可変の長さを有する光路（１４）と、
－少なくとも１つの画像センサ（９）を含む画像化システム（４）であって、前記画像センサ（９）は、前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））を記録するように構成された前記画像化システム（４）に対して相対的に移動可能であり、前記２つ以上のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））のそれぞれは前記プローブボリューム（１２）から異なる距離で記録される画像化システム（４）と、
－前記プローブボリューム（１２）から異なる距離に配置された少なくとも２つの画像センサ（９）と、
－対物レンズ（１８）と、
のうちの少なくとも１つを含んでおり、
前記対物レンズ（１８）は、
－光軸（６００）であって、前記光軸（６００）に沿って前記プローブボリューム（１２）に対して相対的に可動になる光軸（６００）と、
－可変焦点距離を有するレンズ（７００）と、
のうちの少なくとも１つを有する、
請求項１から１１までのいずれか１項記載の装置（１）。

【請求項13】

顕微鏡（２）であって、請求項１から１２までのいずれか１項記載の装置（１）を含んでいる、顕微鏡（２）。

【請求項14】

入力位相分布（Ｉ（ｘ_ｉ））を強調するための方法であって、
前記方法は、好適には、請求項１から１２までのいずれか１項記載の装置（１）を動作させるか、または、請求項１３記載の顕微鏡を動作させるように構成されており、
前記方法は、
－入力位相分布（Ｉ（ｘ_ｉ））を取得するステップと、
－ベースライン推定値（ｆ（ｘ_ｉ））を取得するために前記入力位相分布（Ｉ（ｘ_ｉ））におけるベースライン（Ｉ_２（ｘ_ｉ））を推定するステップと、
－前記ベースライン（Ｉ_２（ｘ_ｉ））と前記入力位相分布とから出力位相分布（Ｏ（ｘ_ｉ））を得るステップと、
を含む方法。

【請求項15】

前記入力位相分布（Ｉ（ｘ_ｉ））を取得する前記ステップは、
－少なくとも２つのデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））と、位相伝達関数Ｆ（Ｈ（ｘ_ｉ））とを取得するステップと、
－前記少なくとも２つのデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））と、前記位相伝達関数Ｆ（Ｈ（ｘ_ｉ））と、から前記入力位相分布（Ｉ（ｘ_ｉ））を取得するステップと、
をさらに含む、
請求項１４記載の方法。

【請求項16】

前記方法は、
－前記少なくとも２つのデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））を明視野顕微鏡画像として記録するステップをさらに含む、
請求項１４記載の方法。

【請求項17】

前記方法は、
－正則化関数Ｒを使用して、前記位相伝達関数Ｆ（Ｈ（ｘ_ｉ））と、前記少なくとも２つのデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））と、から前記入力位相分布（Ｉ（ｘ_ｉ））を計算するステップをさらに含む、
請求項１４から１６までのいずれか１項記載の方法。

【請求項18】

前記方法は、
－最小化スキーム（２１０）を使用して、前記ベースライン推定値（ｆ（ｘ_ｉ））を計算するステップをさらに含む、
請求項１４から１７までのいずれか１項記載の方法。

【請求項19】

コンピュータプログラムであって、前記コンピュータプログラムがプロセッサ上で実行されるときに、請求項１４から１８までのいずれか１項記載の方法を実行するためのプログラムコードを備える、コンピュータプログラム。

【請求項20】

複数のデジタル入力画像（Ｊ_ｋ（ｘ_ｉ））と複数の出力位相分布（Ｏ（ｘ_ｉ））とによってトレーニングされた、ニューラルネットワークデバイスであって、前記出力位相分布（Ｏ（ｘ_ｉ））は、請求項１４から１８までのいずれか１項記載の方法によって、入力位相分布（Ｉ（ｘ_ｉ））から作成される、ニューラルネットワークデバイス。

【請求項21】

出力位相分布（Ｏ（ｘ_ｉ））であって、請求項１４から１８までのいずれか１項記載の方法の結果である、出力位相分布（Ｏ（ｘ_ｉ））。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル入力の位相分布を強調するための画像処理装置および方法に関する。

【背景技術】

【0002】

透光性の高い対象物は、例えば顕微鏡などの観察デバイスで光学的に調べることが困難である。ごく微量の光しか吸収および／または散乱されないため、透光性の高い対象物の明視野像のコントラストは非常に小さい。したがって、光強度を用いる代わりに、透光性の高い対象物を通過する光に与えられる位相シフトが、光学的な調査のために使用される。画像の異なる位置または画素での位相シフトは、位相分布によって表される。

【0003】

位相コントラストおよび微分干渉コントラストなど、位相シフトを可視化するためのいくつかの方法は、ウェルプレートでは機能しない。その上さらに、セル計数または合流測定など、位相シフト画像もしくは位相分布の後処理は、例えば、記録された画像のセグメント化を必要とし、これは、微分干渉コントラスト画像、位相コントラスト画像、または変調コントラスト画像では実行が困難である。

【0004】

さらに、位相分布の生成に基づく干渉には、コヒーレント光源などの高価なハードウェアや、光路の慎重な分離や結合が必要であり、これらによって、顕微鏡などの既存の光学的観察デバイス内への速やかな統合が妨げられる。

【0005】

微分位相コントラストに基づく定量的な位相画像化または焦点外れ画像からの再構成には、位相伝達関数、特に位相コントラストが導出される入力画像を記録するために使用される光学的画像化システムの知識が必要である。位相伝達関数は周波数ゼロであるため、位相伝達関数を補償することにより、低周波数のアーチファクトまたはノイズが発生する。過去には、例えば環状の照明を使用することによって、対象物の照明を変化させることにより、これらの誤差を補償することが試みられていた。しかしながら、これでは露光時間がより長くなり、ウェルプレートには使用できない。

【発明の概要】

【発明が解決しようとする課題】

【0006】

したがって、迅速かつ確実に、すなわち可能な限り少ないアーチファクトを伴って位相分布を再構成することができる装置および方法を提供することが必要となる。

【課題を解決するための手段】

【0007】

この要望は、入力位相分布におけるノイズ低減のための装置であって、ここで、本装置は、入力位相分布を取得し、入力位相分布におけるベースラインの推定値としてベースライン推定値を計算するように構成され、ここで、本装置は、ベースライン推定値と入力位相分布とに基づいて出力位相分布を得るようにさらに構成されている、装置によって対処される。

【0008】

さらにこの要望は、入力位相分布におけるノイズ低減またはベースライン推定のための方法であって、本方法は、入力位相分布を取得するステップと、ベースライン推定値を得るために入力位相分布におけるベースラインを推定するステップと、ベースライン推定値と入力位相分布とから出力位相分布を得るステップと、を含む方法によって対処される。

【0009】

さらにこの課題は、コンピュータプログラムがプロセッサ上で実行されるときに、請求項に記載の方法を実行するためのプログラムコードを有するコンピュータプログラムによって、請求項に記載の方法を実行した結果である出力位相分布によって、かつ／または入力位相分布と出力位相分布とによってトレーニングされたニューラルネットワークデバイスによって、請求項に記載の方法をコンピュータに実行させるプログラムを格納している、非一時的なコンピュータ可読媒体によって解決される。ここでは、出力位相分布は、請求項に記載の方法によって入力位相分布データから作成されている。

【0010】

請求項に記載された装置および方法によれば、入力位相分布のベースラインが推定される。このベースラインは、低い空間周波数および大きな空間構造を有する入力位相分布の成分を表す。ベースラインを推定することにより、位相伝達関数のゼロによって導入される低い空間周波数のアーチファクトが推定される。したがって、ベースライン推定値は、例えば入力位相分布からベースライン推定値を除去すること、特に減算することによって、ノイズのより少ない出力位相分布を得るために使用することができる。

【0011】

入力位相分布は、好適には、Ｎ次元デジタル配列Ｉ（ｘ_ｉ）であり、ここで、Ｎは１より大きな整数であり、ｘ_１～ｘ_Ｎは、配列の次元もしくは座標を示す。デジタル配列について、ｘ_ｉは整数である。特に、入力位相分布は、例えば浮動小数点数の配列によってデジタルで表される二次元の実値配列であってよい。「空間」という用語は、配列の次元を意味する。

【0012】

項ｘ_ｉは、Ｎ個のロケーション値を含みかつ配列内の離散ロケーションｘ_ｉ（もしくは当該ロケーションに対する位置ベクトル）を表すタプル｛ｘ_１；…；ｘ_Ｎ｝の簡易表記である。ロケーションｘ_ｉは、入力位相分布データ内のピクセルまたは好適にはピクセルのコヒーレントな集合によって表現されてもよい。離散ロケーションｘ_ｉは、例えば、二次元の入力位相分布データの場合には、二つ組の離散ロケーション変数｛ｘ_１；ｘ_２｝を表し、三次元の入力位相分布データの場合には、三つ組の離散ロケーション変数｛ｘ_１；ｘ_２；ｘ_３｝を表す。ｉ番目の次元では、配列は、Ｍ_ｉ個のロケーション、すなわち、ｘｉ＝｛ｘ_ｉ，１，…，ｘ_ｉＭｉ｝を含むことができる。合計で、Ｉ（ｘ_ｉ）は、（Ｍ_１×…×Ｍ_Ｎ）個の要素を含むことができる。以下では、具体的なロケーションや具体的な次元については言及しないため、ロケーションは単にｘ_ｉによって示される。

【0013】

上記の装置および方法は、以下で説明される特徴のうちの１つまたは複数を追加することによってさらに改善されてもよい。以下の特徴のそれぞれは、他の特徴に依存することなく本発明の方法および／または装置に追加されてもよい。特に、当業者であれば、本発明の装置を知りながら、本発明の方法が本発明の装置を動作させることができるように本発明の方法を構成することができる。さらに、以下で説明するように、各特徴は、それ自体有利な技術的効果を有している。

【0014】

請求項に記載された装置および方法は、その低い空間周波数のために、入力位相分布におけるノイズ寄与が、入力位相分布配列のより広い領域にわたって拡大する主に漸進的な変化をもたらすという仮定から始まる。この仮定から出発して、入力位相分布全体にわたる変化は、１つの実施形態では、次式のように高い空間周波数コンテンツ成分Ｉ_１（ｘ_ｉ）と、低い空間周波数ノイズ成分Ｉ_２（ｘ_ｉ）と、に付加的に分離されてよい。
Ｉ（ｘ_ｉ）＝Ｉ_１（ｘ_ｉ）＋Ｉ_２（ｘ_ｉ）

【0015】

コンテンツ成分は、（付加的な）大きな構造のアーチファクトを伴わない（未知の）位相分布に対応する。その低い空間周波数のために、ノイズ成分Ｉ_２（ｘ_ｉ）は、コンテンツ成分が高い空間周波数を有する特徴として重畳される、入力位相分布の多かれ少なかれ滑らかなベースラインとみなすことができる。

【0016】

ベースライン推定値が決定され、したがってＩ_２（ｘ_ｉ）のためのベースライン推定値ｆ（ｘ_ｉ）が、例えば離散値のデジタル配列として得られたならば、出力位相分布Ｏ（ｘ_ｉ）は、ベースライン推定値と入力位相分布とから得られてもよい。特に、出力位相分布は、次式のようにベースライン推定値を入力位相分布から減算することによって計算されてもよい。
Ｏ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）－ｆ（ｘ_ｉ）

【0017】

出力位相分布Ｏ（ｘ_ｉ）は、好適には、次元ＮとＭ_１×…×Ｍ_Ｎ個の要素とを有する離散デジタルデータ配列によっても表され、したがって、好適には、入力位相分布および／またはベースライン推定と同じ次元を有する。

【0018】

好適には、ベースライン推定値は、入力位相分布に対する当てはめを使用して計算される。１つの特定の例では、この当てはめは、入力位相分布に対する多項式当てはめであってもよい。特に、ベースライン推定値は、次式のように任意のＮ次元ｉにおけるＫ次多項式によって表されてもよい。

【数1】

ここで、ａ_ｉ，ｋは、ｉ番目の次元における多項式の係数である。各次元ｉ＝１，…，Ｎに対して、別個の多項式が計算されてもよい。１つの実施形態によれば、多項式当てはめは、入力位相分布の次元に依存して、複数の次元で同時に行われてもよい。

【0019】

最大多項式次数Ｋの最適値は、ベースライン推定値に必要な平滑性に依存する。滑らかなベースラインのためには、多項式次数をできるだけ低く設定する必要があるが、非常に不規則な背景の当てはめには、より高い次数が必要になる場合がある。

【0020】

多項式当てはめの場合、ベースライン推定値は、多項式係数ａ_ｉ，ｋのみで構成される場合がある。しかしながら、多項式当てはめは、入力位相分布データに対して調整を可能にするパラメータのみが最大多項式次数であるため、制御が難しく、正確ではない可能性がある。多項式次数は、整数値しかとることができない。それゆえ、常に最適なベースライン推定値を見つけることができない場合もある。最適でない多項式当てはめは、ベースライン推定値において局所的な最小値を示す場合があり、このことは、厄介なアーチファクトにつながる可能性がある。

【0021】

したがって、別の好適な実施形態によれば、入力位相分布データに対する当てはめは、スプラインフィット、特に平滑化スプラインフィットであってもよい。スプラインフィットは、通常、多項式当てはめよりも信頼性の高い結果を提供するが、その理由は、例えば平滑性の点で制御がより簡単であり、ノイズに対してもより堅牢であり、また少ないアーチファクトしか生成しないからである。他方で、スプラインフィットは、多項式当てはめよりも計算上より複雑である。なぜなら、最小二乗最小化規範を最小化するために、各画素を、またはより一般的には入力位相分布データを変更しなければならないからである。

【0022】

ベースライン推定値が、入力位相分布データにおけるノイズもしくはベースライン寄与の正確な表現であることを保証し、ベースライン推定値がコンテンツ寄与に適合することを回避するために、最小二乗最小化規範を使用してもよい。

【0023】

最小二乗最小化規範は、ペナルティ項を含む場合がある。このペナルティ項は、高い空間周波数コンテンツを有する入力位相分布データのコンポーネントを表す、および／または小規模の構造を表すため、コンテンツ成分に属するなど、ベースライン推定値の何らかの望ましくない挙動にペナルティを課すために使用される。

【0024】

１つの実施形態によれば、最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））は、以下のような形態を有することができる。
Ｍ（ｆ（ｘ_ｉ））＝Ｃ（ｆ（ｘ_ｉ））＋Ｐ（ｆ（ｘ_ｉ））
ただしＣ（ｆ（ｘ_ｉ））は、コスト関数であり、Ｐ（ｆ（ｘ_ｉ））はペナルティ項である。最小二乗最小化規範、コスト関数、およびペナルティ項は、好適にはスカラー値である。

【0025】

１つの特定の例では、コスト関数は、入力位相分布Ｉ（ｘ_ｉ）とベースライン推定値ｆ（ｘ_ｉ）との間の差分を反映することができる。例えば、次式のようにε（ｘ_ｉ）が入力位相分布とベースライン推定値との間の差分項を表す場合、
ε（ｘ_ｉ）＝Ｉ（ｘ_ｉ）－ｆ（ｘ_ｉ）
コスト関数Ｃ（ｆ（ｘ_ｉ））は、Ｌ_２ノルム｜｜ε（ｘ_ｉ）｜｜^２を含むことができ、これは、ここでは、次式のように入力位相分布とｉ番目の次元のベースライン推定値との間の差分二乗和の全ての次元にわたる二乗平均平方根値の合計の簡略表記として使用されている。

【数2】

【0026】

Ｌ_２ノルム｜｜ε（ｘ_ｉ）｜｜^２は、スカラー値である。コスト関数の例は次式の通りである。
Ｃ（ｆ（ｘ_ｉ））＝｜｜ε（ｘ_ｉ）｜｜^２

【0027】

位相入力分布のベースライン推定値を計算するためには、ベースラインからの正および負の両方の小さな構造偏差を表現することがコスト関数の増大につながるように、対称的な差分項を有することが好ましい。

【0028】

ベースライン推定値の精度を改善するために、入力位相分布とベースライン推定値との間の差分を、例えば切断された差分項の使用によって切断すると有利な場合がある。切断された差分項は、入力位相分布におけるピークがベースライン推定値に与える影響を低減する。そのような低減は、コンテンツ成分がＩ（ｘ_ｉ）のピークを含むと想定される場合に有効である。切断された差分項のために、ベースライン推定値から予め定められた一定の閾値ｓを超えて逸脱する入力位相分布のピークは、閾値への当てはめ、特にスプラインフィットに基づく自身のペナルティの切断によって、コスト関数における重みがより小さくなる。したがって、ベースライン推定値は、限られた量までしかそのようなピークを追従しない。

【0029】

切断された差分項は、以下ではφ（ε（ｘ_ｉ））によって表される。一例として、対称的な切断された二次項は、以下のような形態を有することができる。

【数3】

ここで、ｓは、切断の値、すなわち閾値を表す。もちろん、φ（ε（ｘ_ｉ））は、他の実施形態では、｜ε（ｘ_ｉ）｜＞ｓについて、ｓ^２以外の値をとることができる。

【0030】

切断された二次項を使用することにより、コスト関数Ｃ（ｆ（ｘ_ｉ））は、好適には、次式のように表してもよい。

【数4】

【0031】

最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））におけるペナルティ項Ｐ（ｆ（ｘ_ｉ））は、ベースライン推定値がコンテンツ成分Ｉ_１（ｘ_ｉ）に属するとみなされるデータに当てはまる場合に、ペナルティを導入する任意の形態をとることができる。入力フェーズ分布におけるコンテンツ成分がベースライン推定値で表されている場合、ペナルティ項の値を増加させるペナルティが作成される。

【0032】

例えば、ノイズ成分Ｉ_２（ｘ_ｉ）が低い空間周波数を有するとみなされることが想定された場合、ペナルティ項は、ベースライン推定値の空間周波数が小さくなると大きくなる項を含むことができる。

【0033】

そのようなペナルティ項は、１つの実施形態では、滑らかなベースラインから逸脱する、滑らかでないベースライン推定値にペナルティを課す粗さペナルティ項であってもよく、したがって、高い空間周波数を有するデータの当てはめに効果的にペナルティを課す。

【0034】

別の態様によれば、滑らかなベースラインからの逸脱は、ベースライン推定値の一次導関数、すなわち急勾配もしくは勾配と、二次導関数、すなわち曲率と、のうちの少なくとも１つにおいて値を増加させることにつながる可能性がある。したがって、粗さペナルティ項は、ベースライン推定値の一次空間導関数、特に一次空間導関数の二乗および／または絶対値と、ベースライン推定値の二次導関数、特に二次空間導関数の二乗および／または絶対値と、のうちの少なくとも１つを含み得る。より一般的には、ペナルティ項は、ベースライン推定値のあらゆる任意の次数の空間導関数、またはベースライン推定値の空間導関数のあらゆる線形結合を含むことができる。異なるペナルティ項が、異なる次元で使用されてもよい。

【0035】

１つの実施形態では、ペナルティ項Ｐ（ｆ（ｘ_ｉ））は、その変数に関するベースライン推定値ｆ（ｘ_ｉ）の導関数と特徴長さｆｌの無次元結合、例えば商を含み得る。異なる特徴長さは、異なる次元のために使用してもよい。

【0036】

例えば、粗さペナルティ項Ｐ（ｆ（ｘ_ｉ））は、次式のように形成されてもよい。

【数5】

ここで、γ_ｊは、正則化パラメータであり、

【数6】

は、ｊ番目の次元における二次導関数を計算するための離散演算子である。この粗さペナルティ項は、ベースライン推定値の勾配における大きな変化率、すなわち高い曲率にペナルティを課し、したがって、滑らかな推定値に有利である。

【0037】

正則化パラメータγ_ｊは、入力位相分布の空間構造に依存して設定される。これはコンテンツ成分の一部とみなされる最大の長さスケールを表す。特徴スケールｆ^ｌ _ｊよりも大きい長さスケールを有する入力位相分布の構造は、ノイズ成分に属するとみなされる。正則化パラメータは、ユーザーによって予め定めることができ、好適にはゼロよりも大きい。

【0038】

二次導関数の単位は、（ｘ_ｉの単位）^－２、すなわち長さ^－２または時間^－２であるため、γ_ｊは、特徴長さの４乗

【数7】

に設定され、ペナルティ項はスカラー値となる。

【0039】

次式のような一次導関数∂_ｊに基づくペナルティ項では、

【数8】

正則化パラメータγ_ｊは、一次導関数の単位が（ｘ_ｉの単位）^－１であることから、特徴長さの２乗

【数9】

に等しくてよい。

【0040】

次式のような様々な導関数の組み合わせに対して、

【数10】

正則化パラメータの各々は、各導関数に依存して設定される。上記の例では、次の通りである。

【数11】

【0041】

∂_ｉ∂_ｊｆ（ｘ_ｉ，ｊ）、ｉ≠ｊなどの組み合わされた導関数では、特徴長さの対応する組み合わせ、例えばｆ^ｌ _ｉ・ｆ^ｌ _ｊが使用されてもよい。

【0042】

離散においては、畳み込みを使用して微分が効率的に計算されてよい。例えば、次式

【数12】

では、以下のような二階微分行列

【数13】

を有する。

【0043】

しかしながら、粗さペナルティ項Ｐ（ｆ（ｘ_ｉ））は、次式のように形成されるのが有利である。

【数14】

【0044】

これは、ベースライン推定値における小さなスケールの特徴および大きな勾配にペナルティを課す粗さペナルティ項である。ｊにわたる合計は、異なる次元において異なるペナルティ項および正則化パラメータを使用することができる。ここでは、ｘ_ｊおよびｆ（ｘ_ｉ）はどちらも離散的であるので、微分配列∂_ｊを用いた畳み込みによって微分を実行することができる点に留意されたい。演算子∂_ｊは、次元ｊにおける離散一次導関数または勾配演算子を表し、これは、配列によって表されてもよい。

【0045】

ベースライン推定値の導関数または導関数の線形結合の代わりに、またはそれに加えて、ペナルティ項は、特徴抽出フィルタ、特に線形フィルタまたはそのようなフィルタの線形結合を含めることができる。特徴抽出フィルタは、Ｓｏｂｅｌフィルタ、Ｌａｐｌａｃｅフィルタ、および／またはＦＩＲフィルタ、例えば、高い空間周波数用の通過帯域を有するハイパスまたはバンドパス空間フィルタであってもよい。

【0046】

そのような一般的な定式化では、ｊ番目の次元に対するペナルティ項は、一般的な演算子ζ^（ｊ）を含むことができ、次式のように表されてよい。

【数15】

【0047】

最小二乗最小化規範Ｍ（ｆ（ｘ_ｉ））は、既知の方法を使用して最小化されてもよい。１つの例では、好適には、反復最小化スキームが最小化規範の計算のために使用されてもよい。最小化を実行するために、ベースライン推定器エンジンは、最小化エンジンを含むことができる。最小化は、２つの反復ステージを有する反復機構を含むことができる。

【0048】

最小化スキームは、例えば、計算上効率的なＬＥＧＥＮＤアルゴリズムの少なくとも一部を含んでいてよい。ＬＥＧＥＮＤアルゴリズムについては、Ｉｄｉｅｒ，Ｊ．（２００１年）「Ｃｏｎｖｅｘ Ｈａｌｆ－Ｑｕａｄｒａｔｉｃ Ｃｒｉｔｅｒｉａ ａｎｄ Ｉｎｔｅｒａｃｔｉｎｇ Ｖａｒｉａｂｌｅｓ ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，１０（７）、１００１－１００９頁）、およびＭａｚｅｔ，Ｖ．、Ｃａｒｔｅｒｅｔ，Ｃ．、Ｂｉｒｅ，Ｄ、Ｉｄｉｅｒ，Ｊ．、およびＨｕｍｂｅｒｔ，Ｂ．（２００５）「Ｂａｃｋｇｒｏｕｎｄ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｓｐｅｃｔｒａ ｂｙ Ｄｅｓｉｇｎｉｎｇ ａｎｄ Ｍｉｎｉｍｉｚｉｎｇ ａ Ｎｏｎ－Ｑｕａｄｒａｔｉｃ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ」（Ｃｈｅｍｏｍｅｔｒｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｂｏｒａｔｏｒｙ Ｓｙｓｔｅｍｓ、７６、１２１－１３３頁）に記載されている。両記事は、その全体が参照により本明細書に組み込まれる。

【0049】

ＬＥＧＥＮＤアルゴリズムは、好適には、入力位相分布データと同じ次元である離散補助データｄ_ｌ（ｘ_ｉ）を導入する。補助データは、最新の初期ベースライン推定値、切断された二次項、および入力位相分布データに依存して各反復において更新される。

【0050】

ＬＥＧＥＮＤアルゴリズムでは、コスト関数のみを含みペナルティ項は含んでいない最小二乗最小化規範が、収束基準が満たされるまで、２つの反復ステップを使用して最小化される。

【0051】

適切な収束基準は、例えば、現在のベースライン推定値と先行のベースライン推定値との間の全てのロケーションｘｉにわたる差分の合計が、予め定められた閾値よりも小さいということであってもよい。

【0052】

さらなる改良において、収束基準は、次のように表されてもよい。

【数16】

ただし、ｔは、ユーザーによって設定されてよいスカラー収束値である。

【0053】

ＬＥＧＥＮＤアルゴリズムにおける開始ステップとして、ベースライン推定値の初期セットが定義される。

【0054】

ＬＥＧＥＮＤアルゴリズムは、多項式当てはめが使用される場合に、第１のベースライン推定値

【数17】

のための係数α_ｋの開始セットを、ｉ＝１，…，Ｎの多項式の各々について選択することによって開始されてよい。

【0055】

スプラインフィットが使用される場合、ＬＥＧＥＮＤアルゴリズムを開始するための初期条件はｄ_ｌ（ｘ_ｉ）＝０，ｆ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）であってよく、反復は、第２の反復ステップにおいて入力することによって開始される。

【0056】

第１の反復ステップでは、補助データは、以下のように更新されてもよい。

【数18】

ここで、ｌ＝１…Ｌは、現在の反復のインデックスであり、βは選択可能な定数である。好適には、βは、０．５に近いが０．５ではない。βの適切な値は、０．４９３である。

【0057】

第２の反復ステップでは、先行して計算された補助データｄ_ｌ（ｘ_ｉ）、先行の反復ｌ－１からのベースライン推定値ｆ_ｌ－１（ｘ_ｉ）、およびペナルティ項Ｐ（ｘ_ｉ）に基づいて、ベースライン推定値ｆ_ｌ（ｘ_ｉ）が更新される。

【0058】

ベースライン推定値ｆ_ｌ（ｘ_ｉ）は、補助データを含めることによって、ＬＥＧＥＮＤアルゴリズム用に修正された最小化規範Ｍ（ｆ（ｘ_ｉ））を最小化することであってもよい。

【0059】

特に、更新されたベースライン推定値は、第２の反復ＬＥＧＥＮＤステップにおいて、以下のような式を使用して計算することができる。

【数19】

ここで、［｜｜Ｉ（ｘ_ｉ）－ｆ_ｌ－１（ｘ_ｉ）＋ｄ_ｌ（ｘ_ｉ）｜｜^２＋Ｐ（ｆ（ｘ_ｉ））］は、修正された最小化規範を表す。

【0060】

第２の反復ステップでは、以下のような行列計算を使用してベースライン推定値を更新することができる。

【数20】

ここで

【数21】

は、（Ｍ_１×…×Ｍ_Ｎ）^２次元配列である。二次元の場合、Ａ_ｉは（Ｍ_ｘ－１）（Ｍ_ｙ－１）×Ｍ_ｘＭ_ｙ配列であり、これは以下のように、

【数22】

として与えられ、

【数23】

を伴う。

【0061】

ｄ_ｌ（ｘ_ｉ）およびｆ_ｌ（ｘ_ｉ）を更新する２つの反復ステップは、収束基準が満たされるまで繰り返される。

【0062】

別の態様によれば、ＬＥＧＥＮＤアルゴリズムの第２のステップは、行列計算の代わりに畳み込みを使用して修正される。これにより、計算労力が大幅に軽減される。

【0063】

より具体的には、好適には、更新されたベースライン推定値ｆ_ｌ（ｘ_ｉ）は、入力された位相分布と更新された補助データとの合計を用いてグリーン関数を畳み込むことによって直接的に計算される。

【0064】

より具体的な態様によれば、ＬＥＧＥＮＤアルゴリズムの第２の反復ステップは、以下のような反復ステップによって置き換えられてもよく、ここでは、更新されたベースライン推定値ｆ_ｌ（ｘ_ｉ）が、以下のようにグリーン関数Ｇ（ｘ_ｉ）を使用してｌ番目の反復において計算される。
ｆ_ｌ（ｘ_ｉ）＝Ｇ（ｘ_ｉ）＊（Ｉ（ｘ_ｉ）＋ｄ_ｌ（ｘ_ｉ））

【0065】

このステップにより、従来のＬＥＧＥＮＤアルゴリズムと比較して、計算負荷が大幅に軽減される。

【0066】

計算負荷の軽減は、上記の第２の反復ステップに従って、畳み込みが計算されるということから結果として生じる。この計算は、ＦＦＴアルゴリズムを使用して効率的に実行することができる。その上さらに、第２の反復ステップは、ＦＦＴアルゴリズムのために、グラフィックス処理ユニットまたはＦＰＧＡ等の配列プロセッサを最大限に使用することができる。入力位相分布データとその他の全ての配列とが二次元である場合、計算上の問題は、（Ｍ_ｘ×Ｍ_ｙ）^２からＭ_ｘ×Ｍ_ｙへ軽減される。一般的なＮ次元の場合には、計算負荷は、（Ｍ_１×…×Ｍ_Ｎ）^２次元行列計算から、（Ｍ_１×…×Ｍ_Ｎ）次元配列を用いたＦＦＴの計算へ軽減される。

【0067】

したがって、ベースライン推定は、二次元の入力位相分布データに対して、非常に迅速に、好適にはリアルタイムで実行することができる。（２ｋ×２ｋ）画像データ配列、ここでは画像は、５０ｍｓ以下で処理されてもよい。

【0068】

１つの特定の実施形態では、グリーン関数は、次式を有することができる。

【数24】

ここで、Ｆ［…］は、離散Ｎ次元フーリエ変換であり、Ｆ^－１［…］は、逆離散Ｎ次元フーリエ変換であり、γ_ｊは、粗さペナルティ項の正則化パラメータであり、

【数25】

は、ロケーションｍでのｉ番目の次元における離散ペナルティ配列であり、Ｎは、次元の総数である。上方のインデックスＤ^（ｊ）は、各次元ｊに対して異なるペナルティ配列が存在し得ることを示す。

【0069】

一般的には、離散ペナルティ配列

【数26】

は、ｊ番目の次元に使用されるペナルティ項Ｐ^（ｊ）（ｆ（ｘ_ｉ））の汎関数微分

【数27】

の離散表現に対応する。全ての関数は、離散配列によって表されるので、微分は、次のような畳み込みによって数値的に行うことができる。

【数28】

ここで、

【数29】

は、汎関数微分

【数30】

を計算するための離散配列である、

【0070】

上記のグリーン関数の大きな利点は、任意の形式のペナルティ項Ｐ（ｆ（ｘ_ｉ））が、最小化エンジンにおける第２の反復ステップの高速計算からの恩恵を受けることができる点にある。したがって、グリーン関数を使用する実施形態では、良好なベースライン推定値を得るための任意のペナルティ項が使用されてよい。

【0071】

ペナルティ項の一般式については、次式、

【数31】

の通りであり、前述の配列

【数32】

は、次式

【数33】

によって定義される。ここで、ζ^（ｊ）は、ペナルティ項の一般的な演算子であり、＊は、Ｎ次元畳み込みを表し、▽_ｆは、例えば強度を表すことができる、関数ｆ（ｘ_ｉ，ｍ）における離散的な一次の汎関数微分に対応する。この方程式は、最小二乗法によって解くことができる。

【0072】

例えば、ペナルティ項が次式、

【数34】

の場合、畳み込みにおける微分配列は、次のように表すことができる。

【数35】

【0073】

出力位相分布Ｏ（ｘ_ｉ）は、１つの実施形態では、既に、さらなる後処理または表示のための準備が整った出力画像を構成している場合がある。しかしながら、例えば、実数値の位相分布を、それぞれの標準化された画像フォーマットの値範囲内の整数形式に変換することによって、出力位相分布をカラーまたはモノクロ画像の画像フォーマットに変換することが必要になる場合もある。本装置は、出力位相分布を表示するためのディスプレイを含むことができる。

【0074】

別の実施形態によれば、本装置は、２つ以上のデジタル入力画像Ｊ_ｋ（ｘ_ｉ）を取得し、位相点拡がり関数Ｈ（ｘ_ｉ）を取得するように構成されてよい。これら２つのエンティティＪ_ｋ（ｘ_ｉ）およびＨ（ｘ_ｉ）のいずれかを取得することは、このエンティティを計算することができる形式でエンティティを取得することを含む。例えば、Ｈ（ｘ_ｉ）の代わりに、そのフーリエ変換Ｆ（Ｈ（ｘ_ｉ））、位相伝達関数が取得されてもよい。デジタル入力画像は、例えば、本装置に接続されている、または本装置の一部であるカメラから取得することができる。デジタル画像および位相伝達関数は、本装置に接続されてもよいし、本装置の一部であってよい記録セクションに格納されていてもよく、そこから、これらの画像が取得されてもよい。本装置は、少なくとも２つのデジタル入力画像Ｊ_ｋ（ｘ_ｉ）および位相伝達関数から入力位相分布Ｉ（ｘ_ｉ）を得るように構成されてもよい。２つの入力画像は同一であってはならず、僅かに異なることが望ましい。

【0075】

特に装置は、２つ以上のデジタル入力画像の各々について、異なる焦点距離、異なる照明方向、プローブボリュームからの対物レンズの異なる距離、ならびに画像センサおよび／または検出器からプローブボリュームまでの光路の異なる長さのうちの１つを使用して、２つ以上の入力画像を記録するように構成されてよい。

【0076】

２つ以上の入力画像は、明視野画像、特にモノクロ明視野画像であってよい。１つの実施形態によれば、偶数枚の入力画像が使用され、ここで、これらの入力画像は、逆方向に等しい変化、例えば等しい焦点外れ量または等しい照明非対称性を伴わせて、対で記録される。本装置は、入力画像を、逆方向に等しい変化を伴わせて自動的に対で記録するように構成されてもよい。２つの入力画像が位相分布を得るために使用される場合、出力位相分布における効果的なアーチファクト低減が既に達成される場合もある。

【0077】

対物レンズおよび／または画像センサ／検出器は、本装置の一部であってもよい。

【0078】

２つ以上の入力画像の記録を容易にするために、本装置は、後焦点面における制御可能なアパーチャと、プローブボリュームを少なくとも２つの異なる方向から、好適には非対称に順次もしくは同時に照明するように構成された照明システムと、少なくとも１つの画像センサおよび／または１つのカメラを含む画像化システムであって、該画像化システムは、２つ以上のデジタル入力画像を記録するように構成され、当該２つ以上の画像の各々は、プローブボリュームから異なる距離で記録される画像化システムと、少なくとも１つの光軸を有し、該光軸に沿ってプローブボリュームに対して移動可能である対物レンズと、可変焦点距離を有するレンズと、のうちの少なくとも１つを含むことができる。

【0079】

本装置および／またはそのサンプルボリュームは、少なくとも１つのウェルプレートを受容するように構成されてもよい。このウェルプレートは、ウェルプレートの１つまたは複数のウェル内に１つまたは複数の対象物を含むことができる。

【0080】

本装置は、複数の光源を有する照明システムをさらに含むことができ、複数の光源の少なくともいくつかの光源は、相互に独立して制御されるように構成される。特に、本装置は、２つ以上の入力画像のそれぞれについて、異なる、好適には非対称の照明を得るべく光源を自動的に制御するように構成されてもよい。

【0081】

照明システムは、集光レンズをさらに備えていてもよい。光源は、集光レンズの後焦点面にもしくはその近傍に配置されてもよい。代替的または付加的に、可変アパーチャ、虹彩、または絞りを、集光レンズの後焦点面に、または少なくともその近傍に配置してもよい。装置は、各入力画像を記録するために、可変アパーチャを自動的に制御するように、例えばアパーチャを２つの異なる動作状態に自動的に設定するように構成されてもよい。各動作状態では、プローブボリュームの異なる非対称照明が生成される。

【0082】

異なる焦点外れ量を有する２つ以上の入力画像を得るために、装置の以下のような実施形態の１つまたは複数が使用されてもよい。可変焦点距離を有するレンズが、対物レンズの後焦点面に、または焦点面に共役な面に配置されてもよい。画像センサ／検出器が、サンプルボリュームに関して、少なくとも２つの位置に移動可能であってもよい。各位置は、サンプルボリュームから異なる距離に配置されている。本装置は、それぞれプローブボリュームから異なる距離に配置され、入力画像を記録するために選択的に使用される２つ以上の画像センサ／検出器を含むことができる。

【0083】

１つの実施形態では、中間画像Ｉ_Ｉ（ｘ_ｉ）は、例えば、２つ以上の入力画像を相互に減算することによって、２つ以上のデジタル入力画像Ｊ_ｋ（ｘ_ｉ）から計算されてもよい。これに対応して、本装置、特にその画像プロセッサは、２つ以上の入力画像を相互に減算するように構成されてもよい。

【0084】

ウェルプレート上の対象物など薄くて透光性の高い対象物については、中間像Ｉ_Ｉ（ｘ_ｉ）のフーリエ変換Ｆ（Ｉ_Ｉ（ｘ_ｉ））は、次式のように位相分布Ｉ（ｘ_ｉ）のフーリエ変換Ｆ（Ｉ（ｘ_ｉ））と、位相点拡がり関数Ｈ（ｘ_ｉ）のフーリエ変換Ｆ（Ｈ（ｘ_ｉ））と、に関連している。
Ｆ（Ｉ_Ｉ（ｘ_ｉ））＝Ｆ（Ｈ（ｘ_ｉ））・Ｆ（Ｉ（ｘ_ｉ））

【0085】

位相伝達関数は、例えば、実験、数値シミュレーションおよび／または解析から既知であり、例えば、記録セクションから取得されてもよい。位相伝達関数は、フーリエ空間においてゼロ周波数でゼロであるため、上記のＨ（ｘ_ｉ）についての方程式は、次式のように式を最小化するなどの正則化法を使用して解くことが好適である。
｜Ｆ（Ｉ_Ｉ（ｘ_ｉ））－Ｆ（Ｈ（ｘ_ｉ））・Ｆ（Ｉ（ｘ_ｉ））｜^２＋Ｒ
ここで、Ｒは、正則化関数である。正則化関数Ｒについては、αを正則化パラメータとしたＲ＝α｜Ｆ（Ｉ（ｘ_ｉ））｜^２などのティホノフ正則化のような定式化が使用されてもよく、これは、好適には、中間画像におけるノイズ強度および／または長さスケールを表す。「真の」位相分布は、全体として、αが小さいほどより良好に適合するが、この場合、低周波数の強い（大構造の）アーチファクトが発生する。より大きなαが選択された場合、低周波数のアーチファクトはより小さくなるが、位相分布の全体的な表現は高品質ではなくなる。

【0086】

上述のようなベースライン除去を位相分布Ｉ（ｘ_ｉ）に適用することにより、ａに対してより小さな値を用いて位相分布の正則化を解くことができ、ひいては位相分布における小さな空間構造の非常に正確な表現を得ることができる。大きなスケールで低い空間周波数構造におけるアーチファクトは、それらがベースライン推定値ｆ（ｘ_ｉ）において表すことができ、入力位相分布から除去することもできるため、許容することができる。したがって、上記正則化によって計算された、好適にはαが小さい位相分布が、ベースライン推定および除去のための入力位相分布として使用される。

【0087】

少なくとも１つのデジタル入力画像、中間画像、入力位相分布、位相伝達関数、および出力位相分布を少なくとも一時的に格納するために、本装置は、記録セクションを含むことができる。

【0088】

本装置は、入力セクションを含むことができ、この入力セクションは、例えば、１つまたは複数の標準コネクタおよび／または１つまたは複数の標準化されたデータ交換プロトコルを含むことができる。入力セクションは、１つまたは複数の標準コネクタおよび／または１つまたは複数のデータ交換プロトコルを介して、入力位相分布および／または２つ以上の入力画像を受信するように適合化されてもよい。例えば、記録セクションおよび／またはカメラが、画像入力セクションに接続されてもよい。

【0089】

本装置は、画像出力セクションを含むことができ、この画像出力セクションは、例えば１つまたは複数の標準コネクタおよび／または１つまたは複数の標準化されたデータ交換プロトコルを含む。画像出力セクションは、１つまたは複数の標準コネクタおよび／または１つまたは複数のデータ交換プロトコルを介して出力画像を出力するように適合化されてもよい。例えば、別のコンピュータ、ネットワーク、および／またはディスプレイが、画像出力セクションに接続されてもよい。

【0090】

本装置は、ベースライン推定を実行するように構成されてもよい画像プロセッサをさらに含むことができる。

【0091】

画像プロセッサは、ぼけ除去セクションを含むことができる。このぼけ除去セクションは、出力画像を計算するための入力画像からベースライン寄与、例えばベースライン推定値を減算するように適合化されていてもよい。

【0092】

画像プロセッサは、ベースライン推定器エンジンを含むことができる。このベースライン推定器エンジンは、入力画像の少なくともサブセットに対する当てはめによってベースライン推定値を計算するように構成されてもよい。ベースライン推定器エンジンは、最小二乗最小化規範Ｍ（ｘ_ｉ）の離散表現を含むことができる。

【0093】

画像プロセッサは、少なくとも２つのデジタル入力画像から中間画像を計算するように、例えば２つ以上のデジタル入力画像を相互に減算するように構成されてもよい。装置は、例えば、中間画像が装置外で計算された場合、中間画像を記録セクションから取得するように構成されてもよい。

【0094】

画像プロセッサは、正則化エンジンをさらに含むことができる。この正則化エンジンは、中間画像および位相伝達関数に基づいて、例えば、中間画像におけるノイズレベルおよび／またはノイズ構造の長さスケールを表す、正則化パラメータαおよび／またはα｜Ｆ（Ｉ（ｘ_ｉ））｜^２などの正則化関数を含むティホノフ正則化の最小化によって、入力位相分布を計算するよう構成されてもよい。

【0095】

画像プロセッサ、ベースライン推定器エンジン、ぼけ除去セクション、および最小化エンジンは、それぞれ、ハードウェアで、ソフトウェアで、またはハードウェアとソフトウェアとの組み合わせとして実装されてもよい。例えば、画像プロセッサ、ベースライン推定器エンジン、ぼけ除去セクション、および最小化エンジンのうちの少なくとも１つは、少なくとも部分的に、サブルーチン、ＣＰＵなどの汎用プロセッサおよび／またはＣＰＵ、ＧＰＵ、ＦＰＧＡ、ベクトルプロセッサおよび／またはＡＳＩＣなどの専用プロセッサのセクションによって、実施することができる。

【0096】

上記の方法の１つの実施形態を実現する別のやり方は、入力位相分布データおよび出力位相分布データの二つ組を使用して人工ニューラルネットワーク、例えば畳み込みニューラルネットワークをトレーニングすることであり、ここで、出力位相分布データは、上述した方法の実施形態を使用して生成されたものである。このようにトレーニングされたニューラルネットワークデバイスは、入力位相分布データおよび出力位相分布データのトレーニングペアを生成するために使用された方法の実装とみなすことができる。

【0097】

本装置は、顕微鏡などの観察デバイスの一部であってもよい。入力画像は、カメラで記録されている必要はなく、また、可視光画像である必要もない。例えば、本装置は、コヒーレント光源または非コヒーレント光源を使用したＸ線顕微鏡、電子顕微鏡、および／または顕微鏡からの２つ以上の入力画像または入力位相分布に対して、その一部であってよく、かつ／またはその方法が実行されてもよい。

【0098】

次に、本発明を、図面にも示されているサンプルの実施形態を使用して単なる例としてさらに説明する。図面では、機能および設計の少なくとも１つに関して相互に対応する特徴には、同じ参照符号が使用されている。

【0099】

添付の実施形態に示された特徴の組み合わせは、説明のみを目的としており、変更することができる。例えば、特定の用途には不要である技術的効果を有する実施形態の特徴は省かれてよい。同様に、実施形態の一部として示されていない特徴が、この特徴に関連する技術的効果が特定の用途のために必要とされる場合には、追加されてもよい。

【0100】

上記から明らかであるように、任意のタイプの画像データが使用されてもよい。

【図面の簡単な説明】

【0101】

【図1】入力位相分布におけるベースライン除去のための装置の１つの実施形態の概略図である。

【図2】入力位相分布のベースライン除去のためのフローチャートの概略図である。

【図3】図２の細部ＩＩＩを示す図である。

【図4】装置１の概略図である。

【図5】装置１の別の概略図である。

【図6】装置１の別の概略図である。

【図7】装置１の別の概略図である。

【図8】装置１の別の概略図である。

【図9】入力位相分布のサンプルを示す図である。

【図10】図９の入力位相分布からベースライン推定値を除去した後に得られた出力位相分布を示す図である。

【図11】入力位相分布および出力位相分布を、ノイズ成分（ベースライン推定値）およびコンテンツ成分と共に示した概略図である。

【発明を実施するための形態】

【0102】

図１を始めに参照して装置１の構造を説明する。この装置１は、内視鏡または顕微鏡２ａなどの観察デバイス２であってよい。単に説明のために、装置１の例として顕微鏡２ａが示されている。顕微鏡２ａは、明視野顕微鏡、ＳＰＩＭ顕微鏡、ＳＣＡＰＥ顕微鏡、走査型顕微鏡または共焦点顕微鏡などの任意のタイプの顕微鏡であってよい。

【0103】

装置１は、画像化システム４を含むことができ、この画像化システム４は、入力画像Ｊ（ｘ_ｉ）を表す入力画像データ６を、例えばカメラ８を用いて好適にはデジタルフォーマットで捕捉するように適合化されている。カメラ８は、少なくとも１つの画像センサおよび／または検出器９を含むことができる。より具体的には、カメラ８は、モノクロカメラ、ＣＣＤカメラ、マルチスペクトルカメラもしくはハイパースペクトルカメラ、フォトンカウンタ、またはフォトセンサであってもよい。以下では、入力画像Ｊ（ｘ_ｉ）を、モノクロ画像とみなす。ただし、入力画像は、カラー画像の単一の色チャネルを表すことも、あるいはカラー画像の色チャネルの全てもしくはサブセットにわたる光強度を表すことも可能である。

【0104】

もちろん、他のタイプの入力画像データ６が、カメラ以外のデバイスもしくはセンサ、例えば１つまたは複数のマイクロフォン、振動センサ、加速度計、速度センサ、アンテナ、圧力トランスデューサ、温度センサ、容量センサ、磁気センサを用いて、放射線撮影方式、断層撮影方式、超音波方式、ならびにこれらの任意の組み合わせによって記録されてもよい。

【0105】

入力画像データ６は、配列内のロケーションｘ_ｉに依存する、測定された物理量Ｉを表すデジタル配列であってもよい。項ｘ_ｉは、Ｎ次元を含むタプル｛ｘ_１；…；ｘ_Ｎ｝に対する簡易表記である。ロケーションｘ_ｉは、入力画像データ６内のピクセル／ボクセル、または好適にはピクセル／ボクセルのコヒーレントな集合であってよい。離散ロケーションｘ_ｉは、例えば、二次元入力画像データ６の場合には、ピクセルの離散ロケーション変数｛ｘ_１；ｘ_２｝を表し、三次元入力画像データの場合には、ボクセルの三つ組の離散ロケーション変数｛ｘ_１；ｘ_２；ｘ_３｝を表す。ｉ番目の次元では、配列は、Ｍ_ｉ個のロケーションを含むことができる。すなわち、ｘ_ｉ＝｛ｘ_ｉ，１，…，ｘ_ｉ，Ｍｉ｝である。合計では、Ｊ（ｘ_ｉ）は、Ｎ次元の場合、（Ｍ_１×…×Ｍ_Ｎ）個の要素を含むことができる。２つ以上の（色）チャネルを含む入力画像Ｊ（ｘ_ｉ）は、３つ以上の次元の配列によって表されてもよく、ここでは、１つの次元は、色チャネルのインデックスである。代替的に、各チャネルを個別に見て、二次元の入力画像とみなしてもよい。

【0106】

対象物１０は、画像化システム４のプローブボリューム１２内に配置されている。プローブボリューム１２は、装置１によって検査される対象物１０を受容するように構成されている。このために、プローブボリューム１２は、好適には、画像化システム４の視野１３内に配置されている。装置１または画像化システム４の光路１４は、それぞれ、プローブボリューム１２から少なくとも１つの画像センサ／検出器９まで延在している。

【0107】

対象物１０は、好適には、薄くて高い透光性を有する。対象物１０は、ウェルプレート１５上に配置されてもよい。対象物１０は、生物および／または無生物を含んでいてもよい。

【0108】

対象物１０の高い透光性のために、入力画像Ｊ（ｘ_ｉ）における強度変化は、対象物の調査に十分な高さレベルにはならない。したがって、対象物１０にわたる透過率の差分を表す強度情報ではなく、対象物１０にわたる屈折率の差分を表す位相情報を使用して、対象物１０を調べることが好ましい。

【0109】

装置１は、プローブボリューム１２に関して画像化システム４とは反対側に配置される照明システム１６を含むことができる。この照明システム１６からの光は、対象物１０を通り、さらに存在する場合にはウェルプレート１５も通って、当該装置１の一部であってもよい画像化システム４内へ導かれ、光路１４に沿って画像センサ／検出器９まで案内される。画像化システム４は、対物レンズ１８およびチューブレンズ１９を含む。

【0110】

装置１は、入力画像データ６を少なくとも一時的に含むように適合化された記録セクション２０をさらに含むことができる。この記録セクション２０は、ＰＣおよび／またはＧＰＵ２６などの計算デバイスのＣＰＵ２２のキャッシュメモリなどの揮発性メモリもしくは不揮発性メモリを含むことができる。記録セクション２０は、ＲＡＭ、ディスクドライブ、あるいはＵＳＢスティックもしくはＳＤカードなどの交換可能な記録デバイスを含むことができる。記録セクション２０は、これらのタイプのメモリの任意の組み合わせを含むことができる。

【0111】

入力位相分布Ｉ（ｘ_ｉ）を例えばカメラ８から獲得するために、画像入力セクション２８が設けられてもよい。この画像入力セクション２８は、標準化されたデータ交換プロトコル、ハードウェアコネクタ接続および／または無線接続、あるいはそれらの任意の組み合わせなどの標準化された入力接続デバイス３０を含むことができる。カメラ８が接続されてもよい標準化された入力接続デバイス３０の例は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、およびＲＪ４５コネクタである。

【0112】

装置１は、各々が出力位相分布データ３６を１つまたは複数のディスプレイ３７に出力するように構成された、標準化されたデータ交換プロトコル、ハードウェアコネクタおよび／または無線接続、あるいはそれらの任意の組み合わせなどの標準化された出力接続デバイス３４を含むことができる画像出力セクション３２をさらに含むことができる。出力位相分布データ３６は、好適には、以下で説明するように、出力位相分布Ｏ（ｘ_ｉ）を表す離散値の離散配列によって表される。

【0113】

入力画像データ６から出力位相分布Ｏ（ｘ_ｉ）を計算するために、画像プロセッサ３８が設けられてもよい。この画像プロセッサ３８およびその構成要素は、少なくとも部分的にハードウェア、少なくとも部分的にソフトウェア、および／またはハードウェアとソフトウェアとの両方の組み合わせであってもよい。例えば、画像プロセッサ３８は、計算デバイス２４のＣＰＵ２２およびＧＰＵ２６のうちの少なくとも１つを含むことができ、ならびにソフトウェアで符号化され、ＣＰＵ２２および／またはＧＰＵ２６における動作状態としての構造エンティティとして一時的に存在するセクションを含むことができる。画像プロセッサ３８は、本発明による装置および方法に必要な動作を実行するように特別に設計された１つまたは複数のＡＳＩＣおよび／またはＦＰＧＡなどの付加的なハードウェアも含むことができる。

【0114】

装置１は、Ｋ個の複数の異なる入力画像Ｊ_１…ｋ（ｘ_ｉ）を得るように構成されてもよい。例えば、カメラ８は、２つの入力画像Ｊ_１（ｘ_ｉ）およびＪ_２（ｘ_ｉ）を（好適には自動的に）記録することができ、ここでは、照明、露光、および焦点のうちの少なくとも１つが、記録の間に、また好適には自動的に変更されている。

【0115】

装置１、特に画像プロセッサ３８は、複数の入力画像Ｊ_ｋ（ｘ_ｉ）および位相点拡がり関数Ｈ（ｘ_ｉ）から入力位相分布Ｉ（ｘ_ｉ）を得るようにさらに構成されてもよい。位相点拡がり関数Ｈ（ｘ_ｉ）、すなわちそのフーリエ変換Ｆ（Ｈ（ｘ^ｉ））、位相伝達関数は、記録セクション２０に格納されてもよい。

【0116】

入力位相分布Ｉ（ｘ_ｉ）を得るために、装置１、特に画像プロセッサ３８は、例えば、２つ以上のデジタル入力画像を互いに減算して、少なくとも２つのデジタル入力画像Ｊ_ｋ（ｘ_ｉ）から中間画像Ｉ_Ｉ（ｘ_ｉ）を計算するように構成されてもよい。最も簡単なケースでは、Ｉ_Ｉ（ｘ_ｉ）＝Ｊ_１（ｘ_ｉ）－Ｊ_２（ｘ_ｉ）である。代替的または累積的に、装置１は、例えば、中間画像Ｉ_Ｉ（ｘ_ｉ）が装置１の外部で計算されている場合、記録セクション２０から中間画像Ｉ_Ｉ（ｘ_ｉ）を取得するように構成されてもよい。

【0117】

装置１、特に画像プロセッサ３８は、正則化エンジン４０をさらに含むことができ、この正則化エンジン４０は、画像プロセッサ３８のハードウェアセクション、ソフトウェアセクション、またはハードウェアセクションとソフトウェアセクションとの組み合わせであってもよい。

【0118】

正則化エンジン４０は、中間画像Ｉ_Ｉ（ｘ_ｉ）と位相点拡がり関数Ｈ（ｘ_ｉ）とに基づいて、例えば以下のようなＩ（ｘ_ｉ）にわたる正則化関数の最小化により、
｜Ｆ（Ｉ_Ｉ（ｘ_ｉ））－Ｆ（Ｈ（ｘ_ｉ））・Ｆ（Ｉ（ｘ_ｉ））｜^２＋α｜Ｆ（Ｉ（ｘ_ｉ））｜^２
入力位相分布Ｉ（ｘ_ｉ）を計算するように構成されてもよい。ここで、αは正則化パラメータであり、これは中間画像Ｉ_Ｉ（ｘ_ｉ）におけるノイズレベルおよび／またはノイズ構造の長さスケールを表す。入力位相分布Ｉ（ｘ_ｉ）を計算するために、αは、ユーザーによって決定された値、または測定されたノイズ構造に基づいて予め定められた値に設定される。典型的には、αは、１０^－１０～１０^－６の範囲の値をとる。この範囲のαの値を使用すると、典型的には、高い空間周波数については位相分布Ｉ（ｘ_ｉ）の正確な表現につながるが、低い周波数ではアーチファクトが発生する。

【0119】

以下では、どのようにこれらのアーチファクトを位相分布Ｉ（ｘ_ｉ）から除去することができ、それによって、低い周波数についても正確な表現が得られるかが説明される。

【0120】

代替的または累積的に、装置１は、入力位相情報が装置１の外部で計算されている場合、記録セクション２０から入力位相分布Ｉ（ｘ_ｉ）を取得するように構成されてよい。取得された入力位相情報は、好適には、２つ以上の明視野画像Ｊ_ｋ（ｘ_ｉ）の差分に基づく正則化の実行によって計算され、かつ／または主に低い（空間）周波数のノイズ成分を含む。

【0121】

入力位相分布Ｉ（ｘ_ｉ）は、入力位相分布Ｉ（ｘ_ｉ）よりも改善された出力位相分布Ｏ（ｘｉ）の推定値を表すコンテンツ成分Ｉ_１（ｘ_ｉ）と、真の画像の一部ではないアーチファクトおよびノイズを含むノイズコンポーネントＩ_２（ｘ_ｉ）と、から付加的に構成されることを想定する。Ｉ_１（ｘ_ｉ）とＩ_２（ｘ_ｉ）のいずれも未知であるので、推定する必要がある。

【0122】

出力位相分布Ｏ（ｘ_ｉ）を計算するために、ノイズ成分Ｉ_２（ｘ_ｉ）は、主に低い空間周波数を有する成分から成るか、または低い空間周波数を有する成分を含んでいると想定されてよい。したがって、ノイズ成分Ｉ_２（ｘ_ｉ）は、滑らかなベースラインを表し、その周りでコンテンツ成分Ｉ_１（ｘ^ｉ）は、より高い空間周波数で変動する。対照的に、コンテンツ成分Ｉ_１（ｘ_ｉ）は、滑らかではなく、山と谷の少なくとも一方を含み、ノイズ成分Ｉ_２（ｘ_ｉ）よりも小さい長さスケールを有する構造もしくは特徴で構成されていると想定される。図１１に概略的に示すように、ノイズ成分Ｉ_２（ｘ_ｉ）、すなわちベースラインを減算することにより、ノイズが低減され、コンテンツ成分Ｉ_１（ｘ_ｉ）の構造がより明確に現れる。出力位相分布Ｏ（ｘ_ｉ）は、画像として表示される場合があるので、ノイズ成分Ｉ_２（ｘ_ｉ）を除去することで対象物１０の構造がより見やすくなる。

【0123】

ノイズ低減のために、ノイズ成分Ｉ_２（ｘ_ｉ）の推定値が計算される。この推定値は、ベースライン推定値ｆ（ｘ_ｉ）によって表されている。ベースライン推定値ｆ（ｘ_ｉ）は、好適には入力位相分布Ｉ（ｘ_ｉ）および／または出力位相分布データ３６と同じ次元を有する離散デジタル配列である。ベースライン推定値ｆ（ｘ_ｉ）は、図１ではベースライン推定値データ４４によって表されている。ベースライン推定値ｆ（ｘ_ｉ）は、少なくとも一時的に記録セクション２０に格納されてもよい。ベースライン推定値ｆ（ｘ_ｉ）が計算されると、各ロケーションｘ_ｉにおける入力位相分布Ｉ（ｘ_ｉ）からベースライン推定値ｆ（ｘ_ｉ）を減算することによって、出力位相分布Ｏ（ｘ_ｉ）が得られる。

【0124】

図１によれば、画像プロセッサ３８は、ベースライン推定器エンジン４２を含むことができ、このベースライン推定器エンジン４２は、入力位相分布データＩ（ｘ_ｉ）の少なくともサブセットに対する当てはめによってベースライン推定値ｆ（ｘ_ｉ）を計算するように構成されている。好適には、入力位相分布データの少なくともサブセットに対する当てはめは、スプラインフィットである。

【0125】

計算上効率的なスプラインフィットについて、ベースライン推定器エンジン４２は最小化エンジン４６を含むことができ、この最小化エンジン４６は、例えば、サブルーチンであってもよいし、ハードワイヤードアルゴリズムとマッチングソフトウェアとの組み合わせであってもよい。最小化エンジン４６は、最小化スキームを実行するように構成されてもよく、この目的に向けて、２つの反復ステージ４８，５０を有することができる。

【0126】

本発明によれば、最小化エンジン４６は、第２の反復ステージ５０におけるベースライン推定値４４の計算のために畳み込みを使用する。この畳み込みは、ＦＦＴを使用して配列プロセッサ上でより効率的に計算することができるので、画像プロセッサ３８は、ＧＰＵ２６などの配列プロセッサを含んでいると有利である。

【0127】

図２を参照して、入力位相分布Ｉ（ｘ_ｉ）から、または任意選択的にＫ個の複数の入力画像Ｊ_ｋ（ｘ_ｉ）から、出力位相分布Ｏ（ｘ_ｉ）を計算するステップが、それらが装置１によって実行されるものとして説明される。動作中、画像プロセッサ３８は、最小化エンジン４６を備える。

【0128】

第１のステップ２００では、プリセットされる必要があり得るベースライン推定器エンジン４２の様々なパラメータが、ユーザーによって、例えばグラフィカルユーザーインタフェース６２（図１）使用して定義されてよい。これらのパラメータは、ベースライン推定器エンジン４２によって実行されるべき入力位相分布Ｉ（ｘ_ｉ）に対する当てはめのタイプを含むことができる。例えば、ユーザーは、入力位相分布Ｉ（ｘ_ｉ）へのベースライン推定値４４の多項式当てはめか、スプラインフィットかの間で選択することができる。ユーザーは、コンテンツ成分Ｉ_１（ｘ_ｉ）をノイズ成分Ｉ_２（ｘ_ｉ）から分離するために使用してもよい長さスケールを設定することも可能である。

【0129】

ユーザーは、さらに、カメラを使用して入力画像Ｊ_ｋ（ｘ_ｉ）を記録するか、記録セクション２０から入力画像を取得するかの間で選択することができる。ユーザーは、さらに、中間画像を入力画像Ｊ_ｋ（ｘ_ｉ）から計算すべきか、記録セクション２０から取得すべきかを選択することができる。ユーザーは、さらに、入力位相分布Ｉ（ｘ_ｉ）が記録セクション２０から取得されるべきか、複数の入力画像Ｊ_ｋ（ｘ_ｉ）から計算されるべきかの選択を促してもよい。ユーザーは、入力画像Ｊ_ｋ（ｘ_ｉ）の数ならびに入力画像Ｊ_ｋ（ｘ_ｉ）間で自動的に変更されるべきパラメータ（焦点外れ量、照明、露光設定）を設定することができる。

【0130】

さらに、ユーザーは、正則化パラメータαおよびγ_ｊのための値を選択することができる。正則化パラメータγ_ｊは、以下でさらに説明するように、各次元に対して異なって選択されてもよい。

【0131】

さらに、ユーザーは、最小化スキームで使用される様々なペナルティ項Ｐ（ｆ（ｘ_ｉ））間で選択することができる。これらのペナルティ項Ｐ（ｆ（ｘ_ｉ））は、ベースライン推定値４４におけるコンテンツ成分Ｉ_１（ｘｉ）の成分表現にペナルティを課すことにより、ベースライン推定値４４の形状を決定する。例えば、ベースライン推定値４４の滑らかでない特徴にペナルティを課す様々なペナルティ項の選択がユーザーに提示されてもよい。例えば、ペナルティ項は、ベースライン推定値４４用のハイパス空間周波数フィルタであってもよく、これは、ベースライン推定値４４が高い空間周波数を有する成分を含んでいる場合に大きくなる。他のペナルティ項は、ベースライン推定値４４の勾配を含むことができる。ペナルティ項の別の例は、ベースライン推定値４４の曲率であってもよい。さらに、ソーベルフィルタ、ラプラスフィルタ、および／またはＦＩＲバンドパスフィルタ、ハイパスもしくはローパスフィルタなどの特徴抽出フィルタが、ペナルティ項としてユーザーによって選択されてもよい。さらに、上記の任意の線形結合が選択されてもよい。異なるペナルティ項が、異なる次元に対して選択されてもよい。

【0132】

ペナルティ項の一般的な表現は次式の通りである。

【数36】

ここで、ζ^（ｊ）は、ペナルティ項の特性を定義する、ペナルティ項の一般演算子である。

【0133】

以下では、ユーザーが、以下のような形態を有するベースライン推定値ｆ（ｘ_ｉ，ｍ）の勾配に基づいて、勾配ベースの粗さペナルティ項を選択することを想定する。

【数37】

【0134】

このペナルティ項は、ベースライン推定値における大きな勾配にペナルティを課す。演算子∂_ｊは、次元ｊにおける一次導関数または勾配を表す。

【0135】

上記の勾配ベースペナルティ項を使用する場合、ユーザーによって特定されるべきパラメータは、正則化パラメータの配列γ_ｊをさらに含むことができる。正則化パラメータは、長さスケールの２乗を表し、その下で入力位相分布における構造がコンテンツとみなされる。

【数38】

よりも大きい長さを有する入力位相分布Ｉ（ｘ_ｉ）における構造は、ノイズとみなされる。γ_ｊのインデックスｊから明らかであるように、正則化パラメータ、したがって長さスケールは、各次元において異なっていてもよい。もちろん、１つの方向に依存しない特徴長さだけが使用されてもよい。

【0136】

さらに、ベースライン推定器エンジン４２のためのパラメータを選択するとき、ユーザーは、ベースライン推定値ｆ（ｘ_ｉ，ｍ）に対する大きなピークの効果を特定することによって、ベースライン推定値ｆ（ｘ_ｉ，ｍ）の形状も決定する対称的な二次項φ（ε（ｘ_ｉ））間で選択することができる。

【0137】

最終的に、ユーザーは、収束基準および／または収束基準が到達しなければならない閾値を選択することができる。

【0138】

例えば、ユーザーは、以下のような対称的な切断された二次項を選択することができる。

【数39】

ここで、ｓは、ユーザーによって入力されるべき閾値を表す。この閾値は、入力位相分布データＩ（ｘ_ｉ）とベースライン推定値ｆ（ｘ_ｉ）との間の最大偏差を定める。ベースライン推定値ｆ（ｘ_ｉ）を超えるピークは、閾値分逸脱したピークよりもベースライン推定値ｆ（ｘ_ｉ）を引き寄せることはない。

【0139】

ユーザーが装置１を使用して入力画像Ｊ_ｋ（ｘ_ｉ）を記録することを選択した場合には、設定された数の入力画像Ｊ_１…ｋ（ｘ_ｉ）が、ステップ２０２において記録される。それ以外の場合には、入力画像Ｊ_ｋ（ｘ_ｉ）は記録セクション２０から取得される。

【0140】

ユーザーが中間画像Ｉ_Ｉ（ｘ_ｉ）を計算することを選択した場合には、中間画像Ｉ_Ｉ（ｘ_ｉ）が、ステップ２０４において、設定された数の入力画像Ｊ（ｘ_ｉ）から例えば減算によって装置１により計算される。ユーザーが保存された中間画像を使用することを選択した場合には、このステップで記録セクション２０からダウンロードされる。

【0141】

ステップ２０６では、入力位相分布Ｉ（ｘ_ｉ）が、装置１によって、例えばティホノフ正則化を使用して計算され、またユーザーが、既に計算された入力位相分布を使用することを選択した場合には、記録セクション２０から取得される。このステップでは、位相点拡がり関数Ｈ（ｘ_ｉ）が、記録セクション２０から取得されてもよい。

【0142】

ステップ２０８では、ベースライン推定値が、入力位相分布Ｉ（ｘ_ｉ）のために計算される。

【0143】

特に、ベースライン推定値の計算は、収束基準２１２が満たされるまで、上述したような反復二次最小化スキーム２１０を含むことができる。実施形態では、以下のような収束基準が使用される。

【数40】

ここで、ｌは、現在の反復を示し、ｔは、ユーザーが指定してもよい定数スカラー閾値である。

【0144】

収束基準２１２が満たされる場合には、ベースライン推定値ｆ（ｘ_ｉ）が正常に計算されたと推定される。したがって、ステップ２１４では、出力位相分布Ｏ（ｘ_ｉ）が、例えば入力位相分布データＩ（ｘ_ｉ）からベースライン推定値ｆ（ｘ_ｉ）を減算することによって得られる。

【0145】

出力位相分布Ｏ（ｘ_ｉ）が計算された後、逆畳み込みなどの後処理操作２１６が出力位相分布データ３６上で実行されてもよく、かつ／または出力位相分布Ｏ（ｘ_ｉ）は、後処理と共にまたは後処理なしでディスプレイ３７上に表示されてもよい。

【0146】

図３には、ベースライン推定値ｆ（ｘ_ｉ）を計算するための最小化スキーム２１０をより詳細に説明するために、図２の細部ＩＩＩが示されている。最小化スキーム２１０は、第１の反復ステージ４８および第２の反復ステージ５０を含む。

【0147】

原則として、最小化エンジン４６によって実行される最小化スキーム２１０は、ＬＥＧＥＮＤアルゴリズムであってもよい。しかしながら、本発明によれば、計算負荷を大幅に軽減するために、ＬＥＧＥＮＤアルゴリズムの第２のステップを変更することが有利である。

【0148】

図示の実施形態では、第２の反復ステージ５０は、ステップ３００においてデータを初期化した後に開始される。この時点で、ベースライン推定値ｆ（ｘ_ｉ）の第１の推定値ｆ_１（ｘ_ｉ）は、グリーン関数Ｇ（ｘ_ｉ）を用いた入力位相分布データＩ（ｘ_ｉ）の畳み込みを使用して計算される。
ｆ_１（ｘ_ｉ）＝Ｇ（ｘ_ｉ）＊Ｉ（ｘ_ｉ）

【0149】

この実施形態で使用される勾配ベースのペナルティ項について、グリーン関数は、以下のように定義される。

【数41】

ここで、Ｆ［…］は、離散Ｎ次元フーリエ変換であり、Ｆ^－１［…］は、逆離散Ｎ次元フーリエ変換であり、γ_ｊは、粗さペナルティ項の正則化パラメータであり、さらに次式の通りである。

【数42】

【0150】

次に、第１の反復ステージ４８では、補助データｄ_ｌ（ｘ_ｉ）の更新バージョンが、現在のベースライン推定値ｆ_ｌ－１（ｘ_ｉ）を使用して以下のように計算されてもよい。

【数43】

【0151】

パラメータβは、ユーザーによって指定されていてもよい定数である。典型的には、βは、０．４～０．４９９の範囲にある。

【0152】

次に、第２の反復ステージ５０では、更新されたベースライン推定値ｆ（ｘ_ｉ）が、現在の反復ｌの更新された補助データｄ_ｌ（ｘ_ｉ）を使用して以下のように計算される。
ｆ（ｘ_ｉ）＝Ｇ（ｘ_ｉ）＊（Ｉ（ｘ_ｉ）＋ｄ_ｌ（ｘ_ｉ））

【0153】

次のステップでは、収束基準２１２が満たされているか否かが検査される。収束基準２１２が満たされていない場合には、最小化スキーム２１０は、更新されたベースライン推定値ｆ_ｌ（ｘ_ｉ）を使用する反復ステップ４８に進む。

【0154】

次に、装置１の様々な例示的実施形態は、複数の入力画像Ｊ_ｋ（ｘ_ｉ）を記録するために使用可能であることが示される。これらの様々な実施形態は、個別に使用することができ、また様々な特徴の任意の組み合わせにおいて使用することができる。

【0155】

図４は、複数の入力画像Ｊ_ｋ（ｘ_ｉ）の各々について、異なる照明を使用して複数の入力画像Ｊ_ｋ（ｘ_ｉ）を記録するように構成された装置１の概略図を示す。特に、照明は非対称であってもよい。異なる照明は、例えば集光レンズ４０４の後焦点面４０２における好適には自動的に制御されるアパーチャ４００を使用することにより達成されてもよい。この実施形態によれば、装置１は、矢印４０５で示すように、入力画像Ｊ_ｋ（ｘ_ｉ）各々の照明に対して、アパーチャ４００を自動的に異なる位置に移動させるように構成されている。アパーチャ４００は、好適には、少なくとも１つの非対称に配置された半透明セクタ４０６と、少なくとも１つの補完的で非対称に配置された不透明セクタ４０８と、を含むことができる。アパーチャ４００は、異なる非対称のアパーチャ４００のマガジン４１０を含むことができる。装置は、画像センサ／検出器９を使用して、デジタル入力画像を記録するために、マガジン４１０の異なるアパーチャ４００を光路１４内に移動させるように適合化されてもよい。

【0156】

図５に示すように、代替的または付加的に、照明システム１６は、個別に制御可能な照明要素５００を含むことができ、この照明要素５００は、好適には、集光レンズ４０４の後焦点面４０２にも配置されている。この実施形態によれば、装置１は、照明要素５００の異なるセットを自動的にスイッチオンおよび／またはオフするように構成され、かつ／または異なる照明強度に自動的に切り替えるように構成されており、したがって、入力画像Ｊ_ｋ（ｘ_ｉ）の各々に対して異なる照明設定が達成される。

【0157】

図６に示すように、代替的または付加的に、対物レンズ１８および／またはチューブレンズ１９は、装置１によってその光軸６００または光路１４に沿って移動可能に支持されてもよい。装置１は、電気モータなどのアクチュエータ６０４を有する、ボールねじ駆動装置などの駆動機構６０２を含むことができる。この実施形態では、装置１は、例えば、矢印６０６で示すように駆動機構６０２を動作させることによって、入力画像Ｊ_ｋ（ｘ_ｉ）の各々について、対物レンズ１８および／またはチューブレンズ１９をプローブボリューム１２に対して異なる位置に自動的に移動させるように構成されている。

【0158】

代替的または付加的に、装置１、特に対物レンズ１８は、対物レンズ１８の後焦点面７０２またはその共役位置において可変の焦点距離を有するレンズ７００を含むことができる。これは図７に示されている。この実施形態では、装置１は、入力画像Ｊ_ｋ（ｘ_ｉ）の各々について、レンズ７００の焦点距離を自動的に変化させるように構成されている。

【0159】

図８に示すように、代替的または付加的に、装置１は、画像面８００またはプローブボリューム１２から異なる距離ｄ１，ｄ２に配置された２つ以上の画像センサ／検出器９を含むことができる。画像センサ／検出器９は、装置１内に固定的に保持されてもよいし、移動可能であってもよい。ビーム分割装置８０２は、光を同時にもしくは代替的に少なくとも２つの画像センサ／検出器９に案内し、光路１４を分割するために使用してもよい。

【0160】

図９には、従来のように得られた入力位相分布Ｉ（ｘ_ｉ）が示されている。低周波のアーチファクトは、非常に明るい領域および非常に暗い領域として可視である。

【0161】

図１０には、ベースライン推定値ｆ（ｘ_ｉ）の除去から得られた出力位相分布Ｏ（ｘ_ｉ）が示されている。画像の動特性は、図９よりも均一であり、対象物１０の詳細が低周波のアーチファクトによってぼけることはない。

【0162】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0163】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0164】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0165】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0166】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0167】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0168】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0169】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0170】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0171】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0172】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0173】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0174】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【符号の説明】

【0175】

１ 装置
２ 観察デバイス
２ａ 顕微鏡
４ 画像化システム
６ 入力画像の入力画像データＩ（ｘ_ｉ）
８ カメラ
９ 検出器／画像センサ
１０ 対象物
１２ プローブボリューム
１３ 視野
１４ 光路
１５ ウェルプレート
１６ 照明システム
１８ 対物レンズ
１９ チューブレンズ
２０ 記録セクション
２２ ＣＰＵ
２４ 計算デバイス
２６ ＧＰＵ
２８ 画像入力セクション
３０ 入力接続デバイス
３２ 画像出力セクション
３４ 出力接続デバイス
３６ 出力位相分布データ、Ｏ（ｘ_ｉ）
３７ ディスプレイ
３８ 画像プロセッサ
４０ 正則化エンジン
４２ ベースライン推定器エンジン
４４ ベースライン推定値ｆ（ｘ_ｉ）
４６ 最小化エンジン
４８ 第１の反復ステージ
５０ 第２の反復ステージ
６２ グラフィカルユーザーインタフェース
２００ 入力画像を記録または取得する
２０２ ベースライン推定値パラメータの設定
２０４ 中間画像を計算または取得する
２０６ 入力位相分布を計算または取得する
２０８ ベースライン推定値を計算する
２１０ 最小化スキーム
２１２ 収束基準
２１４ 出力位相分布を得る
２１６ 後処理操作
３００ ベースライン正則化を初期化する
４００，４００ａ，４００ｂ アパーチャ
４０２ 後焦点面
４０４ 集光レンズ
４０５ 矢印
４０６ 半透明セクタ
４０８ 不透明セクタ
４１０ マガジン
５００ 照明要素
６００ 光軸
６０２ 駆動機構
６０４ アクチュエータ
６０６ 矢印
７００ 可変焦点距離を有するレンズ
７０２ 対物レンズの後焦点面
８００ 画像面
８０２ ビーム分割装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】