特許 7589236 オートフォーカスシステムにおいて使用するためのイメージ処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】オートフォーカスシステムにおいて使用するためのイメージ処理装置および方法

(51)【国際特許分類】

   G02B 7/36 20210101AFI20241118BHJP

   G06T 7/00 20170101ALI20241118BHJP

   G06V 10/82 20220101ALI20241118BHJP

   G02B 7/28 20210101ALI20241118BHJP

   G03B 15/00 20210101ALI20241118BHJP

   G03B 13/36 20210101ALI20241118BHJP

   G02B 21/00 20060101ALI20241118BHJP

   G02B 23/24 20060101ALI20241118BHJP

【ＦＩ】

G02B7/36

G06T7/00

G06T7/00 350C

G06V10/82

G02B7/28 J

G03B15/00 L

G03B13/36

G02B21/00

G02B23/24 B

【請求項の数】 19

(21)【出願番号】P 2022513394

(86)(22)【出願日】2020-08-31

(65)【公表番号】

(43)【公表日】2022-11-04

(86)【国際出願番号】 EP2020074219

(87)【国際公開番号】W WO2021038103

(87)【国際公開日】2021-03-04

【審査請求日】2023-08-31

(31)【優先権主張番号】19194731.6

(32)【優先日】2019-08-30

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ファルク シュラウドラフ

(72)【発明者】

【氏名】マークス シェヒター

(72)【発明者】

【氏名】フランク ズィークマン

(72)【発明者】

【氏名】オリヴァー シュリッカー

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１５－２２２３１１（ＪＰ，Ａ）

【文献】特開２０１３－１９５５５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ ７／２８ － ７／４０

Ｇ０２Ｂ １９／００ －２１／００

Ｇ０２Ｂ ２１／０６ －２１／３６

Ｇ０２Ｂ ２３／２４ －２３／２６

Ｇ０３Ｂ ３／００ － ３／１２

Ｇ０３Ｂ １３／３０ －１３／３６

Ｇ０３Ｂ １５／００ －１５／０３５

Ｇ０３Ｂ １５／０６ －１５／１６

Ｇ０３Ｂ ２１／５３

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ５／２５３－ ５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ －２３／７６

Ｈ０４Ｎ ２３／９０ －２３／９５９

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

オートフォーカスシステム（１３）、特にパッシブオートフォーカスシステム（１３）においてフォーカス出力イメージ（Ｏ_ＡＦ（ｘ_ｉ））を決定するためのイメージ処理装置（１）であって、
前記イメージ処理装置（１）は、
入力イメージ（Ｉ（ｘ_ｉ））のセット（１１）を取り出し、
前記入力イメージセットの少なくとも１つの入力イメージに対し、少なくとも１つのベースライン推定値（ｆ（ｘ_ｉ））を計算し、前記少なくとも１つのベースライン推定値は、少なくとも１つの入力イメージ内の、予め定められたイメージフィーチャ長さスケール（ｆｌ_ｊ）よりも長さスケールが大きいイメージ構造を表し、
出力イメージ（Ｏ（ｘ_ｉ））のセット（３６）を計算し、
（ａ）前記入力イメージセットのそれぞれ異なる入力イメージおよび前記入力イメージに対する前記少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する前記少なくとも１つのベースライン推定値、のうちの一方に基づいて、前記出力イメージセットの各出力イメージを計算し、
前記出力イメージセットのうちの１つの出力イメージを前記フォーカス出力イメージとして決定する、
ように構成されており、
前記イメージ処理装置（１）は、
前記入力イメージセットの入力イメージ（Ｉ（ｘ _ｉ ））に対し、予め定められた第１のイメージフィーチャ長さスケール（ｆｌ _Ｉ，ｊ ）に基づき、第１のベースライン推定値（ｆ _Ｉ （ｘ _ｉ ））を計算し、前記第１のイメージフィーチャ長さスケールとは異なる第２のイメージフィーチャ長さスケール（ｆｌ _Ｉ，ｊ ））に基づき、第２のベースライン推定値（ｆ _ＩＩ （ｘ _ｉ ））を計算し、
前記第１のベースライン推定値と前記第２のベースライン推定値とに基づき出力イメージ（Ｏ（ｘ _ｉ ））を計算する、
ように構成されている、
イメージ処理装置（１）。

【請求項2】

前記イメージ処理装置（１）は、それぞれ異なる入力イメージ（Ｉ（ｘ_ｉ））および前記入力イメージに対する前記少なくとも１つのベースライン推定値（ｆ（ｘ_ｉ））に基づいて、前記出力イメージセット（３６）の各出力イメージ（Ｏ（ｘ_ｉ））を計算するように構成されており、
前記イメージ処理装置（１）は、前記出力イメージセット（３６）の出力イメージ（Ｏ（ｘ_ｉ））を取得するために、個々の前記入力イメージ（Ｉ（ｘ_ｉ））から前記少なくとも１つのベースライン推定値（ｆ（ｘ_ｉ））を除去するようにさらに構成されている、
請求項１記載のイメージ処理装置（１）。

【請求項3】

前記イメージ処理装置は、
小さい方のイメージフィーチャ長さスケール（ｆｌ_Ｉ）に基づく前記ベースライン推定値（ｆ_Ｉ（ｘ_ｉ））から、大きい方のイメージフィーチャ長さスケール（ｆｌ_ＩＩ）に基づく前記ベースライン推定値（ｆ_ＩＩ（ｘ_ｉ））を除去するように構成されている、
請求項１または２記載のイメージ処理装置（１）。

【請求項4】

オートフォーカスシステム（１３）、特にパッシブオートフォーカスシステム（１３）においてフォーカス出力イメージ（Ｏ _ＡＦ （ｘ _ｉ ））を決定するためのイメージ処理装置（１）であって、
前記イメージ処理装置（１）は、
入力イメージ（Ｉ（ｘ _ｉ ））のセット（１１）を取り出し、
前記入力イメージセットの少なくとも１つの入力イメージに対し、少なくとも１つのベースライン推定値（ｆ（ｘ _ｉ ））を計算し、前記少なくとも１つのベースライン推定値は、少なくとも１つの入力イメージ内の、予め定められたイメージフィーチャ長さスケール（ｆｌ _ｊ ）よりも長さスケールが大きいイメージ構造を表し、
出力イメージ（Ｏ（ｘ _ｉ ））のセット（３６）を計算し、
（ａ）前記入力イメージセットのそれぞれ異なる入力イメージおよび前記入力イメージに対する前記少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する前記少なくとも１つのベースライン推定値、のうちの一方に基づいて、前記出力イメージセットの各出力イメージを計算し、
前記出力イメージセットのうちの１つの出力イメージを前記フォーカス出力イメージとして決定する、
ように構成されており、
前記イメージ処理装置（１）は、
前記出力イメージセット（３６）の出力イメージ（Ｏ（ｘ_ｉ））としてベースライン推定値（ｆ（ｘ_ｉ））を取得するように構成されている、
イメージ処理装置（１）。

【請求項5】

オートフォーカスシステム（１３）、特にパッシブオートフォーカスシステム（１３）においてフォーカス出力イメージ（Ｏ _ＡＦ （ｘ _ｉ ））を決定するためのイメージ処理装置（１）であって、
前記イメージ処理装置（１）は、
入力イメージ（Ｉ（ｘ _ｉ ））のセット（１１）を取り出し、
前記入力イメージセットの少なくとも１つの入力イメージに対し、少なくとも１つのベースライン推定値（ｆ（ｘ _ｉ ））を計算し、前記少なくとも１つのベースライン推定値は、少なくとも１つの入力イメージ内の、予め定められたイメージフィーチャ長さスケール（ｆｌ _ｊ ）よりも長さスケールが大きいイメージ構造を表し、
出力イメージ（Ｏ（ｘ _ｉ ））のセット（３６）を計算し、
（ａ）前記入力イメージセットのそれぞれ異なる入力イメージおよび前記入力イメージに対する前記少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する前記少なくとも１つのベースライン推定値、のうちの一方に基づいて、前記出力イメージセットの各出力イメージを計算し、
前記出力イメージセットのうちの１つの出力イメージを前記フォーカス出力イメージとして決定する、
ように構成されており、
前記イメージ処理装置（１）は、
前記イメージフィーチャ長さスケールと前記ベースライン推定値の導関数とのスカラー結合を含む、前記ベースライン推定値のための最小二乗最小化基準（Ｍ（ｆ（ｘ_ｉ）））を用いて、前記ベースライン推定値（ｆ（ｘ_ｉ））を計算するように構成されている、
イメージ処理装置（１）。

【請求項6】

前記最小二乗最小化基準（Ｍ（ｆ（ｘ_ｉ）））は、ペナルティ項（Ｐ（ｆ（ｘ_ｉ）））を含み、前記ペナルティ項は、前記イメージフィーチャ長さスケール（ｆｌ_ｊ）を含む、
請求項５記載のイメージ処理装置（１）。

【請求項7】

前記装置（１）は、前記出力イメージ（Ｏ（ｘ_ｉ））のセットの１つの出力イメージ（Ｏ_ＡＦ（ｘ_ｉ））をフォーカスイメージとして決定するために、フォーカス関数を使用するように構成されている、
請求項１から６までのいずれか１項記載のイメージ処理装置（１）。

【請求項8】

前記フォーカス関数は、以下のリストすなわち、
前記入力イメージおよび／または前記出力イメージに含まれるエントロピー量の計算、
前記入力イメージおよび／または前記出力イメージの少なくとも一部におけるコントラストの計算、
前記入力イメージおよび／または前記出力イメージの少なくとも一部における強度および／または強度分布の計算、
位相相関の計算、
予め定められたパターンとの相関の計算、
のうち少なくとも１つのフォーカス関数を含む、
請求項７記載のイメージ処理装置（１）。

【請求項9】

前記装置（１）は、トップハット変換を使用して、入力イメージ（Ｉ（ｘ_ｉ））の前記セット（１１）のうち少なくとも１つの入力イメージ（Ｉ（ｘ_ｉ））を前処理するように構成されている、
請求項１から８までのいずれか１項記載のイメージ処理装置（１）。

【請求項10】

前記装置（１）は、イメージ品質を改善するために、かつ／またはフィルタリングのために、入力イメージの前記セット（１１）のうち少なくとも１つの入力イメージ（Ｉ（ｘ_ｉ））を前処理するように構成されている、
請求項１から９までのいずれか１項記載のイメージ処理装置（１）。

【請求項11】

請求項１から１０までのいずれか１項記載のイメージ処理装置（１）と、イメージセンサ（９）およびオートフォーカス対物レンズ（１４）を含むイメージングシステム（４）と、を備えたオートフォーカスシステム（１３）。

【請求項12】

請求項１から１０までのいずれか１項記載のイメージ処理装置（１）および請求項１１記載のオートフォーカスシステムのうちの一方と、フォーカス出力イメージ（Ｏ_ＡＦ（ｘ_ｉ））を表示するように構成されたディスプレイ（３７）と、を備えた観察装置（２）。

【請求項13】

前記観察装置は、顕微鏡（２ａ）および内視鏡のうちの一方である、
請求項１２記載の観察装置（２）。

【請求項14】

オートフォーカスシステム（１３）、特にパッシブオートフォーカスシステム（１３）においてフォーカス出力イメージ（Ｏ_ＡＦ（ｘ_ｉ））を決定するための、コンピュータ実装型イメージ処理方法であって、前記処理方法は、
入力イメージ（Ｉ（ｘ_ｉ））のセット（１１）を取り出すステップと、
前記入力イメージセットの少なくとも１つの入力イメージに対し、予め定められたイメージフィーチャ長さスケール（ｆｌ_ｊ）よりも長さスケールが大きいイメージ構造を表す、少なくとも１つのベースライン推定値（ｆ（ｘ_ｉ））を計算するステップと、
出力イメージ（Ｏ（ｘ_ｉ））のセット（３６）を計算するステップと、
を含み、
出力イメージのセットを計算する前記ステップは、
（ａ）前記入力イメージセットのそれぞれ異なる入力イメージおよび前記入力イメージに対する前記少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する前記少なくとも１つのベースライン推定値、のうちの一方に基づいて、前記出力イメージセットの各出力イメージを計算するステップと、
前記出力イメージセットのうちの１つの出力イメージを前記フォーカス出力イメージとして選択するステップと、
を含み、
前記方法は、
前記入力イメージセットの入力イメージ（Ｉ（ｘ _ｉ ））に対し、予め定められた第１のイメージフィーチャ長さスケール（ｆｌ _Ｉ，ｊ ）に基づき、第１のベースライン推定値（ｆ _Ｉ （ｘ _ｉ ））を計算し、前記第１のイメージフィーチャ長さスケールとは異なる第２のイメージフィーチャ長さスケール（ｆｌ _Ｉ，ｊ ））に基づき、第２のベースライン推定値（ｆ _ＩＩ （ｘ _ｉ ））を計算するステップと、
前記第１のベースライン推定値と前記第２のベースライン推定値とに基づき出力イメージ（Ｏ（ｘ _ｉ ））を計算するステップと、
を含む、
コンピュータ実装型イメージ処理方法。

【請求項15】

入力イメージ（Ｉ（ｘ_ｉ））の前記セット（１１）を取り出すステップは、それぞれ異なる焦点距離（１２）で、かつ／または、視野（１７）と対象物（１５）とのそれぞれ異なる相対的ポジションで、前記入力イメージセットの少なくとも一部の入力イメージを自動的にキャプチャするステップを含む、
請求項１４記載のコンピュータ実装型イメージ処理方法。

【請求項16】

請求項１４または１５記載のイメージ処理方法と、選択された前記出力イメージ（Ｏ_ＡＦ（ｘ_ｉ））を表示するステップと、を含む、
コンピュータ実装型オートフォーカス方法。

【請求項17】

コンピュータプログラムがプロセッサ上で実行されたときに請求項１４または１５記載の方法を実施するためのプログラムコードを含むコンピュータプログラム。

【請求項18】

請求項１４または１５記載のイメージ処理方法をコンピュータに実行させるコンピュータプログラムを格納している非一時的コンピュータ可読媒体。

【請求項19】

オートフォーカスシステムで使用するように構成されており、入力イメージと選択された出力イメージとから成るセットによってトレーニングされた機械学習装置であって、
請求項１４または１５記載の方法によって、前記入力イメージのセットから選択された出力イメージが生成される、
機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オートフォーカスシステム、特に顕微鏡または内視鏡におけるオートフォーカスシステムなどのパッシブオートフォーカスシステム、において使用するためのイメージ処理装置および方法に関する。

【背景技術】

【0002】

特に広視野顕微鏡法ではソフトウェアベースのパッシブオートフォーカスが、それぞれ異なる焦点ポジション／焦点距離で取得されたスタックされた入力イメージから成るセットのコントラストを比較して、最も鮮明な入力イメージを見つける。次いで、最も鮮明な入力イメージによって最良の焦点距離が規定され、またはこの入力イメージがユーザに表示されるべき出力イメージとして用いられる。焦点を見つけることすなわち最良の焦点の場所を見つけることと、焦点を保持することすなわち移動する対象物に焦点が合い続けるようにすることの双方のために、この種のオートフォーカスに基づく装置および方法を使用することができる。

【0003】

顕微鏡用のオートフォーカスシステムは、例えば米国特許出願公開第４９５８９２０号明細書から公知である。このシステムは、第１のアクティブオートフォーカスシステムを第２のパッシブオートフォーカスシステムと結合している。アクティブオートフォーカスシステムは、少なくとも１つの光ドットを対象物に投影し、ドットの反射の特性に応じてフォーカシング信号を発生させる。パッシブオートフォーカスシステムは、対象物のイメージを表すビデオ信号を生成し、次いでそのビデオ信号のイメージコントラストをフォーカシング基準として使用する。ビデオ信号はアナログ信号であり、このアナログ信号は、ハイパスフィルタリングされてから積分され、ディジタル信号に変換される。アナログビデオ信号は、適切なフォーカシングのために積分器の調節を必要とする。

【発明の概要】

【発明が解決しようとする課題】

【0004】

コントラストベースのオートフォーカスの１つの欠点は、計算負荷が大きいことである。別の欠点は、結果が拡散プローブには最適ではないことである。

【0005】

よって、拡散プローブに対して良好に動作し、焦点を見つけることと保持することの双方のために使用することができる、迅速で信頼性の高い、特にパッシブの、具体的にはソフトウェアベースの、オートフォーカスに対するニーズがある。

【課題を解決するための手段】

【0006】

このニーズは、オートフォーカスシステム、具体的にはパッシブオートフォーカスシステムおよび／またはソフトウェアオートフォーカスシステム、においてフォーカス出力イメージを決定するためのイメージ処理装置によって対処され、その際にこのイメージ処理装置は以下のように構成されている。すなわち、入力イメージセットを取り出し、入力イメージセットの少なくとも１つの、好ましくは各々の、入力イメージに対し、少なくとも１つのベースラインイメージを計算し、少なくとも１つのベースライン推定値は、少なくとも１つの入力イメージ内の、予め定められたイメージフィーチャ長さスケールよりも長さスケールが大きいイメージ構造を表し、出力イメージセットを計算し、（ａ）入力イメージセットのそれぞれ異なる入力イメージおよびこの入力イメージに対する少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する少なくとも１つのベースライン推定値、のうちの一方に基づいて、出力イメージセットの各出力イメージを計算し、出力イメージセットのうちの１つの出力イメージをフォーカス出力イメージとして決定するように構成されている。

【0007】

上述のニーズはさらに、オートフォーカスシステムにおいてフォーカス出力イメージを提供するための、以下のステップを含むコンピュータ実装型イメージ処理方法によって対処される。すなわち、入力イメージセットを取り出すステップと、出力イメージセットの１つの出力イメージに対し、予め定められたイメージフィーチャ長さスケールよりも長さスケールが大きいイメージ構造を表す、少なくとも１つのベースライン推定値を計算するステップと、出力イメージセットを計算するステップとを含み、出力イメージセットを計算するステップは、（ａ）入力イメージセットのそれぞれ異なる入力イメージおよびこの入力イメージに対する少なくとも１つのベースライン推定値、ならびに（ｂ）個々のそれぞれ異なる入力イメージに対する少なくとも１つのベースライン推定値、のうちの一方に基づいて、出力イメージセットの各出力イメージを計算するステップと、出力イメージセットのうちの１つの出力イメージをフォーカス出力イメージとして決定するステップと、を含む。

【0008】

この課題はさらに、請求項記載の方法をコンピュータに実行させるコンピュータプログラムを格納している非一時的なコンピュータ可読媒体によって、コンピュータプログラムがプロセッサ上で実行されたときに請求項記載の方法を実施するためのプログラムコードを含むコンピュータプログラムによって、請求項記載の方法の実行結果である出力イメージによって、かつ／または、入力イメージデータと、この入力イメージデータから請求項記載の方法により生成された出力イメージと、によってトレーニングされた、ニューラルネットワーク装置または機械学習装置によって解決される。

【0009】

イメージ処理装置およびイメージ処理方法の双方は、ベースライン推定値を利用する。光学系とカメラとを含むことができるイメージングシステムを用いて三次元領域の二次元イメージが記録される場合、光学系の焦点領域内にあるフィーチャのみが鮮明に描画されることになる。焦点領域内にないアイテムは不鮮明になる。入力イメージの「内容」は、かかるケースでは合焦寄与量に、すなわち焦点領域内あるフィーチャに存在すると想定される。イメージに対する非合焦寄与量によって、標準的なエンジンおよび逆畳み込みなどのイメージ鮮明化方法によっても取り除かれないアーチファクトがもたらされる。

【0010】

非合焦寄与量を、入力イメージのベースラインとして、すなわちいっそう大きいイメージフィーチャ長さスケールを含む、滑らかな漸進的な低い周波数の変化によって表現することができる。このことは、入力イメージに対する非合焦寄与量の拡散特性を反映している。合焦成分を、ベースラインを中心とする高い周波数の変化として表現することができ、その際にこの変化は、高い周波数の変化と、相応にいっそう小さい長さスケールのフィーチャと、を含む。これは、鮮明にフォーカシングされた入力イメージにおいて見られる短い距離にわたるコントラストの鋭い変化を反映している。

【0011】

ベースライン推定値を計算することにより非合焦成分を予測できるようになり、したがってフォーカス出力イメージをいっそう確実に得ることができる。

【0012】

上述の装置および方法を、以下で説明する特徴のうちの１つまたは複数を加えることによってさらに改善することができる。以下の特徴各々を、他の特徴とは無関係にイメージ処理方法、観察装置および／またはイメージ処理装置に加えることができる。しかも後で説明するように、各特徴はそれ自体で有利な技術的効果を有する。

【0013】

用語「イメージ」は、イメージとして視覚化可能などのような種類のデータにも関係するものである。最終的にイメージおよびそれらの内容は（ディジタル）イメージデータによって定義されることから、「入力イメージ」および「入力イメージデータ」または「ディジタル入力イメージデータ」、ならびに「出力イメージ」および「出力イメージデータ」または「ディジタル出力イメージデータ」なる用語は、同義的に用いられる。イメージデータを離散値とすることができ、さらに実数値とすることができ、つまり浮動点数によって表現することができ、または整数値とすることができる。

【0014】

一般的に「色」という用語は、特定の波長または特定の波長帯域における入力信号の強さまたは強度に関係するものとすることができる。波長は、周波数スペクトルまたは空間スペクトルのことを指す場合もある。用語「色」は、必ずしもイメージ入力データに限定されるものではなく、もっと後で挙げるような他の種類の入力データにも関係する場合がある。「色空間」という用語も同様に、入力イメージデータに限定されるものではなく、それぞれ異なる、オーバーラップしたまたはオーバーラップしていない、波長または波長帯域において記録された任意の入力イメージデータセットのことを指す場合もある。この文脈における波長が、空間的または時間的な波長に相当する場合もあり、つまり時間的または空間的な周波数に関係づけられている場合もある。入力信号または出力信号が記録される波長または波長帯域のセットは、「色空間」に対応する。これらの波長または波長帯域の各々１つは、別個の「チャネル」または「カラーチャネル」を構成する。

【0015】

例えば入力イメージは、ディジタル入力イメージであるとすることができ、可視光および／または不可視光の記録、入力ソナー、音響および／または超音波データ、入力レーダデータ、ケプストラムを含む入力分光分析データおよび／またはスペクトルデータ、入力マイクロ波データ、地震波データなどの入力振動データ、任意の種類の断層撮影の入力断層撮影データ、および証券取引データなどの統計データ、ならびにこれらの任意の組み合わせを表現する、好ましくはディジタルの入力イメージデータを含むことができ、またはそれらから成るものとすることができる。入力イメージを、一次元、二次元、三次元およびＮ次元のうちの１つとすることができる。入力イメージをモノクロイメージとすることができ、あるいはＲＧＢイメージ、マルチスペクトルイメージまたはハイパースペクトルイメージなどのカラーイメージとすることができる。

【0016】

出力イメージを、ディジタル出力イメージであるとすることができ、出力イメージは、可視光および／または不可視光の記録、出力ソナー、音響および／または超音波データ、出力レーダデータ、ケプストラムを含む出力分光分析データおよび／またはスペクトルデータ、出力マイクロ波データ、地震波データなどの出力振動データ、および証券取引データなどの統計データ、ならびにこれらの任意の組み合わせを表現する、好ましくはディジタルの出力イメージデータを含むことができ、またはそれらから成るものとすることができる。出力イメージデータを、一次元、二次元、三次元およびＮ次元のうちの１つとすることができる。出力イメージデータをさらなる処理のために出力することができる。

【0017】

入力イメージは好ましくはＮ次元配列Ｉ（ｘ_ｉ）であり、ただしＮは２より大きい整数である。項ｘ_ｉはタプル｛ｘ_１；…；ｘ_Ｎ｝の短縮表記であり、これはＮ個のロケーション値を含み、配列内の離散的なロケーションｘ_ｉ、またはこのロケーションへのポジションベクトル、を表す。ロケーションｘ_ｉを、入力イメージデータ内の１つのピクセルによって、または好ましくは複数のピクセルから成るひとまとまりのセットによって、表現することができる。離散的なロケーションｘ_ｉは例えば、二次元入力イメージデータのケースでは２つ１組の離散的なロケーション変数｛ｘ_１；ｘ_２｝を表し、三次元入力イメージデータのケースでは３つ１組の離散的なロケーション変数｛ｘ_１；ｘ_２；ｘ_３｝を表す。ｉ次元において、配列はＭ_ｉ個のロケーションすなわちｘ_ｉ＝｛ｘ_ｉ，１，...，ｘ_ｉ，Ｍｉ｝を含むことができる。合計でＩ（ｘ_ｉ）は（Ｍ_１×…×Ｍ_Ｎ）個の要素を含むことができる。以下では、具体的なロケーションまたは具体的な寸法には言及しないので、ロケーションは単にｘ_ｉによって示される。表記ｘ_ｉは空間領域に対して用いられ、表記ｕ_ｉは周波数領域に対して用いられる。とはいえベースライン推定値の推定、分離および／または除去のための同じ演算を、周波数領域および空間領域において使用することができる。

【0018】

入力イメージを、カラーイメージ、モノクロイメージ、あるいは少なくとも２つのステレオチャネル、左ステレオチャネルおよび右ステレオチャネルを有するカラーまたはモノクロのステレオイメージとすることができる。

【0019】

Ｉ（ｘ_ｉ）を、ロケーションｘ_ｉにおける任意の値または値の組み合わせ、例えばある色空間における色または「チャネル」の強度を表現する値など、とすることができ、例えばＲＧＢ空間における色Ｒの強度、または２つ以上の色の組み合わせ強度、例えばＲＧＢ色空間における（Ｒ＋Ｇ＋Ｂ）／３とすることができる。マルチスペクトルカメラまたはハイパースペクトルカメラにより記録された入力イメージは、３つ以上のチャネルを含むことができる。他のタイプの入力イメージについても同じことが当てはまる。

【0020】

例えば、３色ＲＧＢフォーマットにおける二次元入力イメージを、二次元入力イメージデータＩ（ｘ_ｉ）＝｛Ｉ_Ｒ（ｘ_ｉ）；Ｉ_Ｇ（ｘ_ｉ）；Ｉ_Ｂ（ｘ_ｉ）｝の３つの独立したセットと見なすことができ、ここでＩ_Ｒ（ｘ_ｉ）は色Ｒの強度などの値を表し、Ｉ_Ｇ（ｘ_ｉ）は色Ｇの強度などの値を表し、Ｉ_Ｂ（ｘ_ｉ）は色Ｂの強度などの値を表す。択一的に各色を、別個の入力イメージつまりは別個の入力イメージデータを構成するものとして見なすことができる。

【0021】

入力イメージデータがマルチスペクトルカメラまたはハイパースペクトルカメラを使用して記録されている場合には、入力イメージデータによって３つ以上のチャネルを表現することができる。各チャネルは、光スペクトルの異なるスペクトルまたはスペクトル範囲を表現することができる。例えば、３つより多くのチャネルを使用して、可視光スペクトルを表現することができる。

【0022】

対象物が、少なくとも１つの蛍光体または少なくとも１つの自己蛍光発光性物質のような蛍光材料を含んでいたならば、各チャネルがそれぞれ異なる蛍光スペクトルを表すことができる。例えば、入力イメージデータ内に複数の蛍光発光性蛍光体が存在するならば、１つの蛍光体の各蛍光スペクトルを、入力イメージデータのそれぞれ異なるチャネルによって表すことができる。さらに、一方では照明によって選択的にトリガされた蛍光のために、他方ではトリガされた蛍光の副生成物または副次的作用として生成される可能性のある自己蛍光のために、それぞれ異なるチャネルを使用することができる。付加的なチャネルによって、ＮＩＲ範囲およびＩＲ範囲をカバーすることができる。チャネルは、必ずしも強度データを含んでいなくてもよいが、対象物のイメージに関連する他の種類のデータを表すことができる。例えばチャネルは、イメージ内の特定のロケーションでのトリガ後の蛍光寿命を表す蛍光寿命データを含むことができる。したがって一般に入力イメージデータは

【数1】

の形式を有することができ、ここでＣは入力イメージデータ内のチャネルの総数である。

【0023】

装置および方法は、合焦寄与量が高い空間周波数を有し、例えば、入力イメージデータ内の短い距離にわたり発生する強度および／または色の変化に関与している、という前提から出発することができる。非合焦寄与量について前提とされるのは、低い空間周波数を有するということ、つまり主として漸進的な強度および／または入力イメージデータのいっそう大きな領域にわたり拡がる色変化をもたらす、ということである。よって、非合焦寄与量が入力イメージデータのベースラインに反映される。

【0024】

このような前提から出発して、入力イメージデータにわたる強度および／または色の変化を、

【数2】

のように、高い空間周波数の合焦成分Ｉ_Ｉ（ｘ_ｉ）と、低い周波数、ここでは低い空間周波数、の非合焦成分またはベースライン成分Ｉ_ＩＩ（ｘ_ｉ）と、に付加的に分離することができる。

【0025】

その低い空間周波数ゆえに、非合焦成分Ｉ_ＩＩ（ｘ_ｉ）を多かれ少なかれ滑らかなベースラインと見なすことができ、これに合焦成分が高い空間周波数を有するフィーチャとして重畳される。好ましくはベースラインは、入力イメージデータに対する適合を使用して推定される。計算上、適合すなわちベースライン推定値ｆ（ｘ_ｉ）は、離散ベースライン推定データによって表現される。ベースライン推定データを、Ｎ個の次元で（Ｍ_１×…×Ｍ_Ｎ）個の要素を有する超立方体配列とすることもでき、したがって入力イメージデータと同じ次元を有することができる。

【0026】

もっと一般的に言えば、既述のベースライン推定を、入力イメージからベースライン推定値を除去するためだけでなく、低い周波数／スケールの大きいフィーチャ寄与量Ｉ_ＩＩ（ｘｉ）を、高い周波数／スケールの小さいフィーチャ寄与量Ｉ_Ｉ（ｘ_ｉ）から分離するために用いることができる。その後、これら２つの成分を処理し、最終的に別々に分析することができる。例えばスペクトルデータにおいて、特にハイパースペクトルデータにおいて、スケールの大きいベースラインスペクトルフィーチャを、スケールの小さいスペクトルフィーチャから分離することができる。

【0027】

空間周波数の代わりに時間周波数が考慮される場合、当然ながら同じ考察が適用される。このケースでは、入力イメージデータは例えば、スペクトル、ケプストラムまたは複数のスペクトルまたはケプストラムを表現することができる。かくして空間領域または周波数領域において、スケールの小さい信号内容またはスケールの大きい（ベースライン）信号内容のいずれかを抽出および／または消去するために、ベースライン推定値を使用することができる。

【0028】

ベースライン推定値を計算する目的で、適合のために最小化されるべき最小二乗最小化基準が好ましく使用される。最小二乗最小化基準の正確な定式化により、適合の特性ひいてはベースライン推定値の特性が決定される。最小二乗最小化基準を不適切に選択すると、ベースライン推定値によっても非合焦成分が十分な精度では表現されなくなってしまう可能性がある。

【0029】

ベースライン推定値が、入力イメージデータにおける非合焦寄与量またはベースライン寄与量の正確な表現であることを保証し、ベースライン推定値が合焦寄与量に適合されることを回避する目的で、最小二乗最小化基準はペナルティ項を含むことができる。高い頻度の内容を有し、したがって入力イメージデータの合焦成分に属すると考えられる入力イメージデータの成分を表現するといったような、ベースライン推定値の望ましくない挙動にペナルティを科すために、ペナルティ項が使用される。

【0030】

ベースライン推定値が決定され、したがってＩ_ＩＩ（ｘ_ｉ）に対するベースライン推定値ｆ（ｘ_ｉ）が取得されたならば、出力イメージＯ（ｘ_ｉ）を、ベースライン推定値と入力イメージとから取得することができる。具体的には出力イメージを、入力イメージからベースライン推定値を減算することによって計算することができる。すなわち、

【数3】

【0031】

出力イメージＯ（ｘ_ｉ）は好ましくは、次元ＮでＭ_１×…×Ｍ_Ｎ個の要素を有する離散ディジタルデータ配列によっても表現され、したがって好ましくは入力イメージおよび／またはベースライン推定値と同じ次元を有する。

【0032】

１つの特定の例によれば、適合を入力イメージデータに対する多項式適合とすることができる。具体的には、ベースライン推定値ｆ（ｘ_ｉ）を、Ｎ次元ｉのいずれかにおけるＫ次多項式によって表現することができる。すなわち、

【数4】

ここでα_ｉ，ｋは、ｉ次元における多項式の係数である。各次元ｉ＝１，…，Ｎに対し別々の多項式を計算することができる。１つの実施形態によれば、入力イメージデータの次元次第では複数の次元において同時に、多項式適合を行うことができる。

【0033】

多項式次数Ｋの最適値は、ベースライン推定値の所要平滑度に依存する。滑らかなベースラインのためには、多項式次数をできるかぎり低く設定する必要があるが、極めて不規則な背景に適合させるためには、比較的高い次数が必要になる場合もある。

【0034】

多項式適合のケースにおいて、ベースライン推定値が多項式係数α_ｉ，_ｋのみから成るものとすることができる。ただし多項式適合は、入力イメージデータに対する調節を可能にする唯一のパラメータが最大の多項式次数であることから、制御が難しく正確ではない場合がある。多項式次数は整数値しかとることができない。よって、常に最適なベースライン推定値を見つけることができるわけではない。最適ではない多項式適合は、ベースライン推定において局所的な最小値を示す可能性があり、このことは厄介なアーチファクトをもたらすおそれがある。

【0035】

したがって別の有利な実施形態によれば、入力イメージデータに対する適合をスプライン適合、特に平滑化スプライン適合、とすることができる。スプライン適合は通常、多項式適合よりも信頼性の高い結果をもたらす。その理由は、スプライン適合は例えば平滑度に関して制御がいっそう簡単であり、かつノイズに対してロバストでありアーチファクトがいっそう少ないからである。他方、スプライン適合は、多項式適合よりも計算が複雑である。その理由は、各ピクセルを、またはもっと一般的には入力信号値を、最小二乗最小化基準を最小化するために変更しなければならないからである。

【0036】

１つの実施形態によれば、最小二乗最小化基準Ｍ（ｆ（ｘ_ｉ））は以下の形態を有することができる。すなわち、

【数5】

ここでＣ（ｆ（ｘ_ｉ））は費用関数であり、Ｐ（ｆ（ｘ_ｉ））はペナルティ項である。最小二乗最小化基準、費用関数およびペナルティ項は、好ましくはスカラー値である。

【0037】

１つの特定の例によれば、費用関数は、入力イメージＩ（ｘ_ｉ）とベースライン推定値ｆ（ｘ_ｉ）との間の差を表す。例えばε（ｘ_ｉ）が、

【数6】

のように入力イメージとベースライン推定値との間の差分項を表すならば、費用関数Ｃ（ｆ（ｘ_ｉ））は、Ｌ_２ノルム｜｜ε（ｘ_ｉ）｜｜^２を含むことができ、これはここでは、入力イメージデータとｉ次元におけるベースライン推定値との二乗差の合計のすべての次元にわたる二乗平均平方根の合計の短縮表記として使用され、すなわち、

【数7】

である。

【0038】

Ｌ_２ノルム｜｜ε（ｘ_ｉ）｜｜^２はスカラー値である。費用関数の１つの例は

【数8】

である。

【0039】

ベースライン推定値の精度を改善するために、例えば切り捨て処理される差分項を使用して、入力イメージとベースライン推定値との間の差が切り捨てられると、有利なものになり得る。切り捨て処理された差分項によって、入力イメージデータ内のピークによってベースライン推定値に及ぼされる影響が低減される。かかる低減は、合焦寄与量がＩ（ｘ_ｉ）のピークに存在することが前提とされる場合に有利である。差分項が切り捨て処理されることから、ベースライン推定値から予め定められた一定の閾値ｓを超えて逸脱した入力イメージデータにおけるピークは、適合、具体的にはスプライン適合、に科されるそれらのペナルティを閾値で切り捨てることによって、費用関数において「無視される」ことになる。かくしてベースライン推定値は、制限された量までしか、かかるピークを追従しないことになる。切り捨て処理された二次式は対称でも非対称でもよい。切り捨て処理された差分項は、以下ではφ（ε（ｘ_ｉ））によって表される。

【0040】

いくつかの用途では合焦寄与量が、入力イメージ内のピークすなわちイメージの輝点のみに、または少なくとも主としてそこに含まれている場合がある。非対称でありかつ適合、具体的にはスプライン適合、を入力イメージデータ内のピークではなくバレーに追従させることができる、切り捨て処理された二次項を選択することによって、このことを反映することができる。例えば、非対称の切り捨て処理された二次式φ（ε（ｘ_ｉ））を、

【数9】

という形式のものとすることができる。

【0041】

別の特定の用途において、バレーすなわち暗い領域または入力イメージ内で低い値を有する領域も、合焦寄与量と見なすべきであるならば、非対称の切り捨て処理された二次式の代わりに、対称の切り捨て処理された二次式を使用することができる。例えば対称の切り捨て処理された二次式は、以下の形式を有することができる。すなわち、

【数10】

【0042】

切り捨て処理された二次式を使用する場合に、費用関数Ｃ（ｆ（ｘ_ｉ））を好ましくは

【数11】

として表すことができる。

【0043】

最小二乗最小化基準Ｍ（ｆ（ｘ_ｉ））内のペナルティ項Ｐ（ｆ（ｘ_ｉ））は、ベースライン推定値が、合焦成分Ｉ_１（ｘ_ｉ）に属すると見なされるデータに適合されるならば、ペナルティを導入する任意の形式をとることができる。入力イメージ内の合焦成分がベースライン推定値において表されているならば、ペナルティ項の値が増加するというペナルティが作成される。

【0044】

例えば、非合焦成分Ｉ_２（ｘ_ｉ）が低い空間周波数を有すると見なされる、ということを前提とするならば、ペナルティ項を、ベースライン推定値の空間周波数が大きくなると大きくなる項とすることができる。

【0045】

１つの実施形態によれば、かかる項を、滑らかなベースラインから逸脱した滑らかでないベースライン推定値にペナルティを科す粗さペナルティ項とすることができる。かかる粗さペナルティ項は、高い空間周波数を有するデータの適合に対し効果的にペナルティを科す。

【0046】

別の態様によれば、滑らかなベースラインからの逸脱は、ベースライン推定値の一次導関数すなわち急峻性または勾配、および二次導関数すなわち曲率のうち少なくとも一方において、大きな値を生じさせる可能性がある。したがって粗さペナルティ項は、ベースライン推定値の一次空間導関数、特に一次空間導関数の二乗値および／または絶対値、ならびにベースライン推定値の二次導関数、特に二次空間導関数の二乗値および／または絶対値、のうちの少なくとも１つを含むことができる。もっと一般的には、ペナルティ項は、ベースライン推定値の任意の次数の空間導関数、またはベースライン推定値の空間導関数の任意の線形結合を含むことができる。それぞれ異なる次元において、それぞれ異なるペナルティ項を使用することができる。

【0047】

例えばペナルティ項Ｐ（ｆ（ｘ_ｉ））を、

【数12】

として形成することができる。

【0048】

このペナルティ項は、ベースライン推定値の勾配の大きな変化率に、言い換えれば高い曲率に、ペナルティを科し、したがって滑らかな推定値を優先するスカラー関数である。よって、これを粗さペナルティ項と称することができるのである。上記の式中、γ_ｊは正則化長さスケールであり、

【数13】

は、ｊ次元において二次導関数を計算するための離散演算子である。ｊにわたり合計することによって、それぞれ異なる次元においてそれぞれ異なる項を使用することが可能になる。

【0049】

離散の場合、畳み込みを使用して微分を効率的に計算することができる。
例えば

【数14】

であり、ここで二次導関数行列は

【数15】

である。

【0050】

択一的に例えばペナルティ項Ｐ（ｆ（ｘ_ｉ））を、

【数16】

として形成することができる。

【0051】

これは、ベースライン推定値におけるスケールの小さいフィーチャおよび大きな勾配にペナルティを科すペナルティ項である。ｘ_ｉ，ｍおよびｆ（ｘ_ｉ）は両方とも離散的であるため、導関数配列∂_ｊとの畳み込みによって微分を実施することができる、という点に留意されたい。演算子∂_ｊは、次元ｊにおける離散的な一次導関数または勾配を表す。

【0052】

ペナルティ項はスカラー量であるため、正則化長さスケールγ_ｊの単位と二次導関数演算子が互いに打ち消し合うようにする必要がある。ｎ次導関数

【数17】

は、入力イメージの対応する次元が単位［長さ］を有するならば、単位［長さ］^－ｎを有するので、ペナルティ項の一般ｎ次導関数項

【数18】

は、単位［長さ］^－２ｎを有する。その結果、正則化長さスケールγ_ｊは、単位［長さ］^２ｎを有し、つまりイメージフィーチャ長さスケールｆｌの（２^ｎ）乗すなわちγ_ｊ＝ｆｌ^２ｎを表すものと見なすことができる。このことは、２つ以上の方向における部分的な二次導関数または導関数の線形結合など、導関数のあらゆる結合についても当てはまる。後者のケースでは、例えば個々の正則化長さスケールを有する一次導関数および二次導関数の結合を含む、ペナルティ項の以下の例の場合のように、各次数の導関数をそれぞれ異なる正則化長さスケールに割り当てることができる。すなわち、

【数19】

【0053】

正則化長さスケールはイメージフィーチャを、非合焦寄与量に属するフィーチャと合焦寄与量に属するフィーチャとに分離する。正則化長さスケールに反映された長さスケールよりも大きい長さスケールを有するイメージフィーチャが、ベースライン推定値に反映されることになる。この長さスケールよりも小さい長さスケールを有するイメージフィーチャは、ベースライン推定値には反映されない。したがって正則化長さスケールを、例えば予め決定可能な、またはユーザにより設定可能な、イメージフィーチャ長さスケールｆｌに設定することによって、例えばペナルティ項におけるベースライン推定値の一次導関数についてはγ_ｊ＝ｆｌ^２、ペナルティ項におけるベースライン推定値の二次導関数についてはγ_ｊ＝ｆｌ^４と設定することによって、所定のサイズの構造がベースライン推定値に反映されるように選択することができる。もっと一般的に言えば、正則化長さスケールは、イメージフィーチャ長さスケールの関数すなわちγ_ｊ＝γ_ｊ（ｆｌ_ｊ）であり、ここでフィーチャ長さは好ましくは唯一の変数である。

【0054】

単一の入力イメージに対して、２つの異なるベースラインｆ_Ｉ（ｘ_ｉ）およびｆ_ＩＩ（ｘ_ｉ）が計算されるならば、ただし一方のベースライン推定値ｆ_Ｉ（ｘ_ｉ）に対しては第１のイメージフィーチャ長さスケールｆｌ_Ｉが、他方のベースライン推定値ｆ_ＩＩ（ｘ_ｉ）に対しては第２のイメージフィーチャ長さスケールｆｌ_ＩＩが、ｆｌ_Ｉ＞ｆｌ_ＩＩである個々の正則化長さスケールにおいて使用されたならば、ｆ_ＩＩ（ｘ_ｉ）－ｆ_Ｉ（ｘ_ｉ）によって、イメージ内の長さスケールがｆｌ_Ｉとｆｌ_ＩＩとの間にある構造がもたらされる。

【0055】

ベースライン推定値の導関数または導関数の線形結合の代わりに、またはそれに加えて、ペナルティ項には、特に線形のフィーチャ抽出フィルタ、またはかかるフィルタの線形結合を含めることができる。フィーチャ抽出フィルタを、ソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲフィルタ、例えばハイパス空間フィルタ、または高い空間周波数に対して通過帯域を有するバンドパス空間フィルタとすることができる。

【0056】

これに関して留意されたいのは、カラーイメージ、マルチスペクトルイメージまたはハイパースペクトルイメージなど、それぞれ異なる複数のカラーチャネルを有する二次元の入力イメージにおいて、カラーチャネルが別個に考慮されないならば、波長または色が第３の次元を形成することができる、ということである。この場合であれば、スペクトル長さスケールを反映する別個のイメージフィーチャ長さスケールが、この次元に割り当てられる。かかるイメージフィーチャ長さスケールを使用して、「合焦」成分に急峻な色変化を割り当て、「非合焦」成分に長い距離にわたる色変化を割り当てることができる。

【0057】

さらに、三次元カラーイメージ、マルチスペクトルイメージおよびハイパースペクトルイメージにおいて、別の次元を第３の空間次元に関連づけ、この第３の空間次元に対し別のイメージフィーチャ長さスケールを定義することができる。

【0058】

かかる一般式中、ｊ次元に対するペナルティ項は一般演算子ζ^（ｊ）を含むことができ、このペナルティ項を

【数20】

と表すことができる。

【0059】

最小二乗最小化基準Ｍ（ｆ（ｘ_ｉ））を、公知の方法を使用して最小化することができる。１つの例によれば、好ましくは反復的な最小化スキームを使用することができる。具体的には、半二次の最小化スキームを使用することができる。最小化を実行するために、ベースライン推定器エンジンは最小化エンジンを含むことができ、この最小化エンジンを特に半二次最小化エンジンとすることができる。最小化スキームまたは最小化エンジンは、２つの反復段を有する反復機構を含むことができる。

【0060】

最小化スキームは例えば、計算上効率的であるＬＥＧＥＮＤアルゴリズムの少なくとも一部を含むことができる。ＬＥＧＥＮＤアルゴリズムについては、Ｉｄｉｅｒ，Ｊ.（２４０１）：Ｃｏｎｖｅｘ Ｈａｌｆ－Ｑｕａｄｒａｔｉｃ Ｃｒｉｔｅｒｉａ ａｎｄ Ｉｎｔｅｒａｃｔｉｎｇ Ｖａｒｉａｂｌｅｓ ｆｏｒ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，１０（７），ｐ.１００１－１００９、およびＭａｚｅｔ，Ｖ.，Ｃａｒｔｅｒｅｔ，Ｃ.，Ｂｉｒｅ，Ｄ，Ｉｄｉｅｒ，Ｊ.，Ｈｕｍｂｅｒｔ，Ｂ.（２４０５）：Ｂａｃｋｇｒｏｕｎｄ Ｒｅｍｏｖａｌ ｆｒｏｍ Ｓｐｅｃｔｒｕｍ ｂｙ Ｄｅｓｉｇｎｉｎｇ ａｎｄ Ｍｉｎｉｍｉｚｉｎｇ ａ Ｎｏｎ－Ｑｕａｄｒａｔｉｃ Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ， Ｃｈｅｍｏｍｅｔｒｉｃｓ ａｎｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｌａｂｏｒａｔｏｒｙ Ｓｙｓｔｅｍｓ，７６，ｐ.１５１－１６３に記載されている。これら両方の論文は、その全体が参照により本明細書に取り込まれるものとする。

【0061】

ベースライン推定値を計算するために適用可能な他の最小化スキームは、Ｗａｎｇ，Ｇ.等（２０１４年）：Ｍｏｒｐｈｏｒｏｌｏｇｉｃａｌ Ｂａｃｋｇｒｏｕｎｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ Ｔｅｘｔ Ｉｍａｇｅ ｗｉｔｈ Ｐｏｏｒ Ｌｉｇｈｔｉｎｇ，ＰＬｏＳ Ｏｎｅ，２０１９，９（ＩＩ），ｅ１１０９９１に記載されており、この文献はその全体が参照により取り込まれるものとする。

【0062】

ＬＥＧＥＮＤアルゴリズムによれば、入力イメージデータと好ましくは同一の次元のものである離散補助データｄ（ｘ_ｉ）が導入される。補助データは、最新の初期ベースライン推定値、切り捨て処理された二次項および入力イメージデータに応じて、反復のたびに更新される。

【0063】

ＬＥＧＥＮＤアルゴリズムでは、最小二乗最小化基準は、収束基準が満たされるまで２つの反復ステップを使用して最小化される。

【0064】

適切な収束基準を例えば、すべてのロケーションｘ_ｉにわたる目下のベースライン推定値と以前のベースライン推定値との差の合計が予め定められた閾値よりも小さい、とすることができる。

【0065】

さらなる改善として、収束基準を

【数21】

と表すことができ、ここでｔはユーザにより設定可能なスカラー収束値であり、（ｌ）は反復インデックスである。

【0066】

ＬＥＧＥＮＤアルゴリズムにおける開始ステップとして、ベースライン推定値のためのベースライン推定値データの初期セットが定義される。

【0067】

多項式適合が使用されるならば、ｉ＝１，…，Ｎの多項式ごとに第１のベースライン推定値

【数22】

のための係数の開始セットａ_ｋを選択することによって、ＬＥＧＥＮＤアルゴリズムをスタートさせることができる。

【0068】

スプライン適合が使用されるならば、ＬＥＧＥＮＤアルゴリズムをスタートさせるための初期条件はｄ（ｘ_ｉ）＝０，ｆ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）であり、反復は第２の反復ステップでの入力によってスタートさせられる。

【0069】

第１の反復ステップにおいて、補助データを以下のように更新することができる。すなわち、

【数23】

ここでｌ＝１...Ｌは目下の反復のインデックスであり、αは選択可能な定数である。好ましくは、αは０.５に近いが等しくはないαの適切な値は０.４９３である。

【0070】

第２の反復ステップにおいて、以前に計算された補助データｄ_（ｌ）（ｘ_ｉ）と、先行の反復（ｌ－１）からのベースライン推定値ｆ_{（ｌ－１）}（ｘ_ｉ）と、ペナルティ項Ｐ（ｘ_ｉ）と、に基づいて、ベースライン推定値ｆ_（ｌ）（ｘ_ｉ）が更新される。

【0071】

ベースライン推定値ｆ_（ｌ）（ｘ_ｉ）は、補助データを含むことによりＬＥＧＥＮＤアルゴリズムのために修正された最小化基準Ｍ（ｆ（ｘ_ｉ））を最小化することができる。

【0072】

具体的には、更新されたベースライン推定値を、第２の反復ＬＥＧＥＮＤステップにおいて以下の式を使用して計算することができる。すなわち、

【数24】

ここで

【数25】

は、修正された最小化基準を表す。

【0073】

第２の反復ステップは、以下の行列計算を使用してベースライン推定値を更新することができる。すなわち、

【数26】

ここで

【数27】

は、（Ｍ_１×…×Ｍ_Ｎ）^２次元配列である。二次元のケースでは、Ａ_ｉは（Ｍ_ｘ－１）（Ｍ_ｙ－１）×Ｍ_ｘＭ_ｙ配列であり、

【数28】

と定められる。

【0074】

収束基準が満たされるまで、ｄ_（ｌ）（ｘ_ｉ）およびｆ_（ｌ）（ｘ_ｉ）を更新するための２つの反復ステップが繰り返される。

【0075】

非常に好ましい１つの態様によれば、ＬＥＧＥＮＤアルゴリズムの第２のステップは、行列計算の代わりに畳み込みを使用して修正される。これによって計算コストが大幅に削減される。

【0076】

いっそう具体的には、更新されたベースライン推定値ｆ_（ｌ）（ｘ_ｉ）が、入力イメージデータと更新された補助データとの合計でグリーン関数を畳み込むことによって、直接的に計算されるのが好ましい。

【0077】

本発明による解決手段のいっそう具体的な態様によれば、ＬＥＧＥＮＤアルゴリズムの第２の反復ステップを以下の反復ステップによって置き換えることができ、この場合、更新されたベースライン推定値ｆ_（ｌ）（ｘ_ｉ）が、ｌ番目の反復においてグリーン関数Ｇ（ｘ_ｉ）を使用して以下のように計算される。すなわち、

【数29】

このステップによって、従来のＬＥＧＥＮＤアルゴリズムと比較して計算負荷が大幅に軽減される。

【0078】

本発明による第２の反復ステップによれば畳み込みが計算されることから、その結果として計算負荷の軽減がもたらされる。この計算を、ＦＦＴアルゴリズムを用いて効率よく行うことができる。しかも第２の反復ステップは、ＦＦＴアルゴリズムであるがゆえに、グラフィック処理ユニットまたはＦＰＧＡといったアレイプロセッサを完全に利用することができる。入力イメージデータおよび他のすべての配列が二次元であるならば、計算問題が（Ｍ_ｘ×Ｍ_ｙ）^２からＭ_ｘ×Ｍ_ｙに軽減される。一般的なＮ次元のケースでは、計算負荷が、（Ｍ_１×…×Ｍ_Ｎ）^２次元の行列計算から、（Ｍ_１×…×Ｍ_Ｎ）次元配列によるＦＦＴの計算に軽減される。

【0079】

かくしてベースライン推定値の計算および除去を、二次元の入力イメージデータに対し非常に迅速に、好ましくはリアルタイムで実行することができる。（２ｋ×２ｋ）の出力イメージを５０ｍｓ以下で計算することができる。

【0080】

１つの特定の実施形態によれば、グリーン関数は以下の形式を有することができる。すなわち、

【数30】

ここで、Ｆ［…］はＮ次元の離散フーリエ変換であり、Ｆ^－１［…］はＮ次元の離散逆フーリエ変換であり、γ_ｊは粗さペナルティ項の正則化長さスケールであり、

【数31】

は、ロケーションｍにおけるｉ次元での離散ペナルティ配列であり、Ｎは次元の総数である。上側の指数Ｄ^（ｊ）は、次元ｊごとに異なるペナルティ配列が存在し得ることを示す。

【0081】

一般に、離散ペナルティ配列

【数32】

は、ｊ次元のために使用されるペナルティ項Ｐ^（ｊ）（ｆ（ｘ_ｉ））の汎関数微分

【数33】

の離散表現に相当する。すべての関数は離散配列によって表現されるので、微分を畳み込み

【数34】

によって数値的に実施することができ、ここで

【数35】

は、汎関数微分

【数36】

を計算するための離散配列である。

【0082】

上述のグリーン関数の大きな利点は、ペナルティ項Ｐ（ｆ（ｘ_ｉ））が最小化エンジンにおける第２の反復ステップの高速計算の恩恵を受けることができる、ということである。よって、グリーン関数を用いる実施形態においては、良好なベースライン推定値を取得するための任意のペナルティ項を使用することができる。

【0083】

ペナルティ項の一般的定式化

【数37】

のために配列

【数38】

が、

【数39】

によって定義され、ここで、ζ^（ｊ）はペナルティ項の一般演算子であり、*はＮ次元の畳み込みを指し、∇_ｆは関数ｆ（ｘ_ｉ，ｍ）における離散一次汎関数微分に対応し、これは例えば強度を表現することができる。この方程式を最小二乗法によって解くことができる。

【0084】

例えば、ペナルティ項が

【数40】

であるならば、畳み込みにおける導関数配列を

【数41】

と表すことができる。

【0085】

上述の計算スキームの任意の変形実施形態を用いることで、入力イメージＩ（ｘ_ｉ）に対し少なくとも１つのベースライン推定値ｆ（ｘ_ｉ）を計算するように、イメージ処理装置を構成することができる。ただし、２つ以上の入力イメージが予め定められた量よりも僅かにしか異ならなければ、これらの入力イメージに対し共通のベースライン推定値ｆ（ｘ_ｉ）を使用することができる。例えば、２つ以上の入力イメージの相関を計算することができ、相関が予め定められた閾値を上回っているならば、同じベースライン推定値が使用される。これにより計算負荷が軽減される。

【0086】

イメージ処理装置によって取り出される入力イメージセットは、例えば顕微鏡または内視鏡によって、オートフォーカス対物レンズなどの対物レンズの種々の焦点距離において記録された入力イメージのスタックを表すことができる。このセットは、Ｎ個の入力イメージＩ_１（ｘ_ｉ）．．．Ｉ_Ｎ（ｘ_ｉ）を含むことができる。択一的にまたは付加的に、入力イメージセットは以下のような入力イメージのスタックを表すことができる。すなわちそれらの入力イメージは、例えば顕微鏡または内視鏡によって、光学系の、具体的には光学系の対物レンズの、特にオートフォーカス対物レンズの、光軸に対し垂直な、あるいは焦点距離に対し垂直な、言い換えれば焦点面に対し平行な、１つの平面内の種々のポジションにおいて記録されたものであり、つまりｘ／ｙ方向でずらされた、すなわち焦点面に対し平行な方向で、言い換えれば焦点距離に対し垂直な方向でずらされた、種々のポジションにおいて記録されたものである。かかるオートフォーカスシステムを、移動する対象物を追跡するために使用することができる。入力イメージセット、または後続の入力イメージセットは、時変性の対象物、時不変性の対象物の種々の入力イメージを表すことができ、例えば種々の焦点距離で、種々のポジションから、かつ／または種々の色で、あるいはこれらの任意の組み合わせで撮影された入力イメージを表すことができる。

【0087】

ベースライン推定値が計算されたセットの個々の入力イメージから少なくとも１つのベースライン推定値ｆ（ｘ_ｉ）を除去するように、イメージ処理装置を構成することができる。このステップがセットの入力イメージごとに繰り返されると、出力イメージセットが取得される。その結果、入力イメージごとに出力イメージが取得される。かくしてＮ個の入力イメージから、Ｎ個の出力イメージＯ_１（ｘ_ｉ）．．．Ｏ_Ｎ（ｘｉ）が取得される。

【0088】

上述のように、非合焦成分が例えば減算によって除去されると、出力イメージセットの不鮮明さが取り除かれる。不鮮明さが取り除かれた出力イメージにより、合焦出力イメージすなわちフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）を、いっそう確実に決定することがきる。

【0089】

イメージフィーチャ長さスケールｆｌを調節することによって、フォーカス出力イメージを、１つの特定の長さスケールを有するフィーチャのみを用いて決定することができる。フォーカス出力イメージの決定が、イメージフィーチャ長さスケールｆｌよりも長さスケールの大きいフィーチャに基づくものであるとすべきならば、ベースライン推定値を出力イメージとしてそのまま使用することができる。フォーカス出力イメージの決定が、イメージフィーチャ長さスケールよりも長さスケールの小さいフィーチャに基づくものであるとすべきならば、選択は、個々の入力イメージからベースライン推定値を除去することによって計算される出力イメージに基づく。フォーカス出力イメージの選択が、特定の範囲内の長さスケールを有するフィーチャに基づくものであるとすべきならば、個々の出力イメージを取得するために、２つのベースライン推定値、すなわち第１の長さスケールｆｌ_Ｉ，ｊに基づくベースライン推定値ｆ_Ｉ（ｘ_ｉ）と、異なる第２のイメージフィーチャ長さスケールｆｌ_ＩＩ，ｊに基づくベースライン推定値ｆ_ＩＩ（ｘ_ｉ）と、を入力イメージごとに計算して減算することができる。イメージフィーチャ長さスケールを、方向ｊとは無関係とすることができる。

【0090】

フォーカス出力イメージを、フォーカス関数を使用することによって出力イメージセットから決定することができる。フォーカス関数については例えば、Ｇｒｏｅｎ，Ｆ.Ｃ.；Ｙｏｕｎｇ，Ｉ.Ｔ.；Ｌｉｇｈｔａｒｔ Ｇ.（１９８５）：Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｄｉｆｆｅｒｅｎｔ Ｆｏｃｕｓ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｕｓｅ ｉｎ Ａｕｔｏｆｏｃｕｓ Ａｌｇｏｒｉｔｈｍｓ，Ｃｙｔｏｍｅｔｒｙ，１９８５ ６（２）、８１－９１に記載されており、この文献は参照によりその全体が本明細書に取り込まれたものとする。

【0091】

具体的には、フォーカス関数は、以下のリストのうち少なくとも１つのフォーカス関数を含むことができる。すなわち、
・入力イメージおよび／または出力イメージに含まれるエントロピー量、例えば情報エントロピー量、の計算、
・入力イメージおよび／または出力イメージの少なくとも一部におけるコントラストの計算、
・入力イメージおよび／または出力イメージの少なくとも一部における強度および／または強度分布の計算、
・位相相関の計算、
・予め定められたパターンとの相関の計算。

【0092】

これまで述べてきたことからわかるように、「フォーカス」という用語は、最も鮮明な出力イメージの識別を含むだけでなく、対象物追跡の目的などのように、特定のパターン、および／またはあるパターンの最も鮮明な、かつ／または最も明るい、かつ／または最良の相関表現を含む出力イメージの識別も含むものとして、広く解されるべきである。

【0093】

例えばこの出力イメージを、情報エントロピーが最も低いフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として、選択することができる。

【0094】

パターン相関のために、静的パターンまたは可変パターンを使用することができる。例えば、パターンをユーザが予め定めることができる。択一的に、先に選択されたフォーカス出力イメージを、パターンとして使用することができ、この出力イメージを自動的にまたはユーザによって設定することができる。

【0095】

出力イメージセットからフォーカス出力イメージを選択する前に、そのセットの任意の出力イメージを後処理することができる。後処理は、逆畳み込み、ヒストグラム修正、アンシャープマスキング、エッジ強調、ノイズ低減、および／またはトップハット変換のようなイメージ鮮明度を高めるためのイメージ形態論技術のうちの少なくとも１つを含むことができる。

【0096】

同様に、ベースライン推定値を計算する前に、入力イメージを前処理することができる。例えばトップハット変換を、１つまたは複数の入力イメージに対して、あるいはすべての入力イメージに対して実行することができる。さらに入力イメージの前処理は、逆畳み込み、ヒストグラム修正、アンシャープマスキング、エッジ強調、ノイズ低減、および鮮明度を高めるための処理のうちの少なくとも１つを含むことができる。前処理は画質の最適化に役立つ。前処理はさらに、例えばイメージ分析ワークフローおよび／または機械学習を使用して、入力イメージの少なくとも一部をフィルタリングすることを含むことができる。

【0097】

イメージ処理装置をさらに、出力イメージセットにおけるフォーカス出力イメージのロケーションに応じるなど、またはフォーカス出力イメージとして選択された出力イメージを結果として生じさせた入力イメージが記録されたときの焦点距離に応じるなど、フォーカス出力イメージに応じて、オートフォーカス対物レンズを制御するように構成することができる。例えば入力イメージおよび／または出力イメージは、個々の入力イメージが記録されたときの焦点面の焦点距離を表す深度データを含むことができる。イメージ装置を、深度データに依存してオートフォーカス対物レンズを制御するように構成することができる。

【0098】

例えばイメージ処理装置を、イメージングシステムを制御して、例えばイメージングシステムの試料ホルダまたは試料テーブルの（モータ駆動による）ｘｙ運動により、フォーカス出力イメージを結果として生じさせた入力イメージの焦点面を中心にセンタリングされた入力イメージセットを記録するように、構成することができる。

【0099】

対象物追跡のため、フォーカス出力イメージに応じて、プローブボリュームまたはプローブに対し相対的な視野の動きを制御するように、イメージ処理装置を構成することができる。かかる実施形態によれば、入力イメージおよび／または入力イメージから導出された出力イメージは、好ましくは上述の深度データに加えて、焦点面に対し平行なポジションを表すポジション情報を含むことができる。

【0100】

例えばイメージ処理装置を、フォーカス出力イメージに応じて視野とプローブボリュームとを互いに相対的に移動させるように、構成することができる。そのようにすれば、対象物を追跡し、視野の予め定められたポジション、例えば中心、に保持することができる。

【0101】

イメージ処理装置はさらにイメージプロセッサを含むことができ、このイメージプロセッサを、ベースライン推定値を計算するように構成することができる。イメージプロセッサは、ベースライン推定器エンジンを含むことができる。ベースライン推定器エンジンを、ベースライン推定値を計算し、ベースライン推定値から出力イメージを取得するように整合することができる。ベースライン推定器エンジンは、最小二乗最小化基準（Ｍ（ｘ_ｉ））の離散表現を含むことができる。

【0102】

イメージプロセッサ、ベースライン推定器エンジンおよび最小化エンジン各々を、ハードウェアとして、ソフトウェアとして、またはハードウェアとソフトウェアとの組み合わせとして、実装することができる。例えば、イメージプロセッサ、ベースライン推定器エンジンおよび最小化エンジンのうちの少なくとも１つを、サブルーチン、ＣＰＵなど汎用プロセッサの１つのセクション、および／またはＣＰＵ、ＧＰＵ、ＦＰＧＡ、ベクトルプロセッサおよび／またはＡＳＩＣなどの専用プロセッサによって、少なくとも部分的に実装することができる。

【0103】

装置はイメージ記憶セクションを含むことができる。もっと具体的には、イメージプロセッサはイメージ記憶セクションを含むことができる。少なくとも一時的に入力イメージデータを含むように、信号記憶セクションを構成することができる。信号記憶セクションを、純粋にハードウェアまたはソフトウェアとして、あるいはハードウェアとソフトウェアとの組み合わせとして、実装することができる。例えば記憶セクションを、データの配列またはサブルーチンとすることができる。択一的にまたは付加的に、記憶セクションは、ハードディスク、メモリデバイスを含むことができ、配列および／またはサブルーチンが格納された揮発性および不揮発性のメモリを含むことができる。

【0104】

装置は入力セクションを含むことができる。もっと具体的には、イメージプロセッサは入力セクションを含むことができる。入力イメージを取り出すように、入力セクションを整合することができる。入力セクションを、純粋にハードウェアまたはソフトウェアとして、あるいはハードウェアとソフトウェアとの組み合わせとして、実装することができる。例えば入力セクションを、ソフトウェア機能、例えばデータ転送プロトコル、とすることができ、さらに入力セクションは、データ転送のためのインタフェースとして用いられるデータの配列を含むことができる。択一的にまたは付加的に、入力セクションは、ＵＳＢ、ＨＤＭＩおよび／またはＤｉｓｐｌａｙＰｏｒｔコネクタなど、少なくとも１つの標準化コネクタを含むことができる。

【0105】

装置は出力セクションを含むことができる。もっと具体的には、イメージプロセッサは出力セクションを含むことができる。出力イメージを出力するように、出力セクションを整合することができる。出力セクションを、純粋にハードウェアまたはソフトウェアとして、あるいはハードウェアとソフトウェアとの組み合わせとして、実装することができる。例えば出力セクションを、ソフトウェア機能、例えばデータ転送プロトコル、とすることができ、さらに出力セクションは、データ転送のためのインタフェースとして用いられるデータの配列を含むことができる。択一的にまたは付加的に、出力セクションは、ＵＳＢ、ＨＤＭＩおよび／またはＤｉｓｐｌａｙＰｏｒｔコネクタなど、少なくとも１つの標準化コネクタを含むことができる。

【0106】

イメージ処理装置を、好ましくはオートフォーカス対物レンズを含む顕微鏡または内視鏡の一部とすることができる。オートフォーカス対物レンズは好ましくは、フォーカス出力イメージに応じてイメージ処理装置により制御されるように構成されている。

【0107】

観察装置は、プローブを対物レンズの視野に対し相対的に移動させるためのアクチュエータシステムを含むことができる。イメージ処理装置を、アクチュエータシステムを動作させることによりプローブに対し相対的に視野のポジションを制御するように、構成することができる。例えば後続の入力イメージのセットを、以前のフォーカス出力イメージのここではｘ方向、ｙ方向、場合によっては同様にｚ方向におけるロケーションを中心に、センタリングして記録することができる。

【0108】

ベースライン推定およびオートフォーカスアルゴリズムを実装する別の手法は、入力イメージデータと、上述の方法の１つの実施形態を用いて生成された出力イメージデータと、から成るペアを使用して、例えば畳み込みニューラルネットワークなど人工ニューラルネットワークのような機械学習装置をトレーニングすることである。このようにしてトレーニングされた機械学習装置、言い換えればかかるトレーニング済み装置のコピーを、入力イメージデータと出力イメージデータとのトレーニング済みペアを生成するために使用された方法の１つの実装形態であると見なすことができる。

【0109】

入力イメージデータとしての入力イメージデータのケースにおいて、非合焦成分または合焦成分が除去される前に、入力イメージＩ（ｘ_ｉ）の畳み込みまたは逆畳み込みが行われなければ、装置および方法によって最良の結果がもたらされる、という点に留意されたい。ベースライン推定値を除去しておくことによって、またはベースライン推定値に対応させることによって、逆畳み込みを行うべきイメージが前処理されるならば、どのような逆畳み込みによっても最良の結果がもたらされる。

【0110】

次に、イメージ処理装置、イメージ処理方法および観察装置について、図面にも示されている１つのサンプルとしての実施形態を使用して、単なる例としてさらに説明する。図中、機能および設計の少なくとも一方に関して互いに対応する特徴に対しては、同じ参照符号が使用されている。

【0111】

本明細書に記載された実施形態に示されている特徴の組み合わせは、説明の目的のためであるにすぎず、変更することができる。例えば、特定の用途には必要とされない技術的効果を有する実施形態の特徴を省略することができる。同様に、実施形態の一部であるようには示されていない特徴を、この特徴に関連する技術的効果が特定の用途のために必要とされるならば、追加することができる。

【0112】

以下の実施例において入力イメージデータおよび出力イメージデータは、それぞれ本発明の利点を説明することを目的とした入力イメージデータおよび出力イメージデータである。これまでの記載から明らかなように、ベースライン推定値に何ら変更を加えることなく、イメージデータの代わりに、またはイメージデータに加えて、任意の他のタイプのイメージデータを使用することができる。

【図面の簡単な説明】

【0113】

【図1】オートフォーカスシステムにおいて使用するためのイメージ処理装置、オートフォーカスシステム、およびオートフォーカスシステムを含む観察装置の１つの実施形態を概略的に示す図である。

【図2】入力イメージデータ、入力イメージデータにおける合焦寄与量、入力イメージデータにおける非合焦寄与量、ベースライン推定データ、および出力イメージデータを概略的に示す図である。

【図3】ベースライン推定に基づくオートフォーカスの１つの実施形態に関するフローチャートを概略的に示す図である。

【図4】図３の細部ＩＶを示す図である。

【図5】入力イメージセットを概略的に示す図である。

【図6】出力イメージセットを概略的に示す図である。

【発明を実施するための形態】

【0114】

図１を最初に参照しながら、イメージ処理装置１およびイメージ処理方法の構造および機能について説明する。イメージ処理装置１を、内視鏡（図示せず）または顕微鏡２ａといった観察装置２の一部とすることができる。単に説明の目的で、顕微鏡２ａが観察装置２の一例として示されている。装置および方法の目的に関しては、内視鏡と顕微鏡との間に違いはない。

【0115】

観察装置２はイメージングシステム４を含むことができ、このイメージングシステム４は例えば１つまたは複数のカメラ８を用いて、好ましくはディジタル形式で入力イメージデータ６をキャプチャするように整合されている。カメラはイメージセンサ９を含むことができる。イメージセンサは、光子検出器、フォトダイオード、ラインセンサ、センサアレイ、モノクロ、ＣＣＤ、ＲＧＢ、マルチスペクトルまたはハイパースペクトルのラインセンサまたはアレイセンサを含むことができ、これは入力イメージデータ６を１つまたは複数のカラーチャネル１０に記録し、その際に各チャネル１０は好ましくは、電磁放射のそれぞれ異なる光スペクトル範囲を表す。入力イメージデータ６は、以下では入力イメージＩ（ｘ_ｉ）とも表される。

【0116】

特にイメージングシステム４を、またはもっと具体的にはイメージングシステム４のカメラ８を、複数の入力イメージＩ（ｘ_ｉ）から成るスタックまたはセット１１または後続のスタックまたはセット１１をキャプチャするように構成することができる。セット１１には、Ｎ個の入力イメージＩ_１（ｘ_ｉ）．．．Ｉ_Ｎ（ｘ_ｉ）が含まれている。したがって１つのセットの入力イメージのうち少なくとも一部が、それぞれ異なる焦点距離１２のところでキャプチャされる。図示の実施形態の場合、入力イメージはディジタル入力イメージである。

【0117】

自動的に焦点を見つけるまたは焦点を保持するために、イメージングシステム４はオートフォーカスシステム１３を含むことができる。オートフォーカスシステム１３は、好ましくはパッシブオートフォーカスシステムであり、つまりこのオートフォーカスシステム１３は、焦点距離１２を測定するためにアクティブなセンサを有しておらず、とはいえこれをアクティブオートフォーカスシステムとしてもよい。さらにオートフォーカスシステム１３は、好ましくはソフトウェアベースのものである。イメージ処理装置１をオートフォーカスシステム１３の一部とすることができる。観察装置および／またはオートフォーカスシステムは、オートフォーカス対物レンズ１４を含むことができる。

【0118】

ＲＧＢ色空間で記録するＣＣＤカメラのケースでは例えば、対象物１５の可視光または白色光のカラー入力イメージを表現するために３つのチャネル１０、例えばＲチャネル、ＧチャネルおよびＢチャネル、を設けることができる。マルチスペクトルカメラまたはハイパースペクトルカメラのケースでは、可視光範囲、ＩＲ光範囲、ＮＩＲ光範囲および紫外光範囲のうちの少なくとも１つにおいて、１つの入力イメージごとに３つ以上のチャネル１０を使用することができる。

【0119】

ただ１つのチャネル１０が二次元イメージに含まれているならば、入力イメージデータ６を二次元であると見なすことができる。２つより多いチャネル１０が入力イメージＩ（ｘ_ｉ）を構成していると見なされるならば、かつ／または入力イメージデータ６が三次元イメージのような三次元配列を表しているならば、入力イメージは２よりも高い次元を有することができる。

【0120】

対象物１５は、イメージングシステム４のプローブボリューム１６内に配置されている。プローブボリュームは、装置１によって検査されるべき対象物１５を受け入れるように構成されている。このためプローブボリュームを、イメージングシステム４の、具体的には対物レンズ１４の、視野１７内に配置しなければならない。

【0121】

観察装置はアクチュエータシステム１８を含むことができ、このアクチュエータシステム１８は、視野１７およびプローブボリューム１６または対象物１５を、互いに相対的にかつ／またはオートフォーカス対物レンズに対し相対的に、移動させるように構成されている。アクチュエータシステムは例えば電気モータを含むことができ、この電気モータによって、対象物および／または対物レンズ１４などイメージングシステムの一部を、焦点距離に対し垂直または焦点面に対し平行な方向で移動させる。この運動を、焦点距離１２の変化と同時にまたは同期して行うことができる。

【0122】

対象物１５は、生物および／または非生物を含むことができる。対象物１５はさらに、少なくとも１つの蛍光体２０のような１つまたは複数の蛍光性物質を含むことができる。マルチスペクトルカメラまたはハイパースペクトルカメラは、対象物１５内の蛍光性物質のそれぞれ異なる蛍光スペクトルごとに、１つのチャネル１０を有することができる。例えば各蛍光体２０を、照明システム１９によってトリガされた蛍光スペクトルにマッチした少なくとも１つのチャネル１０によって表すことができる。

【0123】

択一的にまたは付加的に、自己蛍光スペクトルのために、または照明システム１９により励起される蛍光によってトリガされる二次蛍光のスペクトルのために、または蛍光寿命データのために、別個のチャネル１０を設けることができる。当然ながら照明システム１９は、対象物１５において蛍光をトリガすることなく、白色光または他の任意の組成の光を放射することもでき、または単独で白色光または他の任意の組成の光を放射することができる。照明システム１９により適切な蛍光励起波長を有する光を用いて、対象物１５内の例えば蛍光体２０の蛍光を励起するように、顕微鏡２を整合することができる。照明システム１９を、プローブボリューム１６に関してイメージングシステム４の反対側に、かつ／またはイメージングシステム４と同じ側に配置することができる。

【0124】

照明システム１９がイメージングシステム４と同じ側に配置されているならば、その光をオートフォーカス対物レンズ１４を通して案内することができ、このオートフォーカス対物レンズ１４を通して入力イメージデータ６も取得される。１つの方向またはそれぞれ異なる複数の方向から光を対象物１５上に向けるために、照明システム１９は１つまたは複数のフレキシブルな光導体を含むことができ、または照明システム１９を１つまたは複数のフレキシブルな光導体から成るものとすることができる。例えばグレアを抑制するために、カメラ８またはオートフォーカス対物レンズ１４の手前の光路に適切な阻止フィルタ（図示せず）を配置することができる。蛍光のケースであれば、阻止フィルタは好ましくは照明波長だけを阻止し、対象物１５内の少なくとも１つの蛍光体２０の蛍光をカメラ８に向けて通過させることができる。

【0125】

照明システムがプローブボリューム１６の反対側に配置されているならば、その光はプローブボリューム１６を通過することができる。

【0126】

自明のとおり、一般性を制限するものではないが、任意の種類の顕微鏡によって、具体的には、広視野モードで動作可能な蛍光顕微鏡によって、かつ／または共焦点レーザ走査顕微鏡を使用して、または任意の種類の内視鏡によって、入力イメージデータ６をキャプチャすることができる。

【0127】

例えば、ライトフィールド技術を用いて、ＳＰＩＭ顕微鏡、ＳＣＡＰＥ顕微鏡により取得されたイメージを顕微鏡においてＺスタッキングすることによって、視野およびプローブまたはプローブボリュームを互いに相対的に、または対物レンズ１４に対して相対的に、焦点距離に対し垂直および／または焦点面に対し平行な方向で移動させることによって、かつ／またはＳＰＩＭ顕微鏡により取得されたイメージの三次元再構成によって、入力イメージセット１１をキャプチャすることができる。セット１１の各入力イメージは、それぞれ異なる焦点面２２を表す。三次元イメージのケースでは、各焦点面２２を二次元のグレー値またはカラー入力イメージ６と見なすことができる。各面は複数のチャネル１０を含むことができる。オートフォーカスシステム１３は好ましくは、予め定められた焦点面において入力イメージＩ（ｘ_ｉ）を自動的にキャプチャするように構成されている。簡単にするために、以下ではセット１１における入力イメージのインデックスを省略する。

【0128】

入力イメージデータ６は、強度などの量Ｉ（ｘ_ｉ）のディジタル表現であり、ここでｘ_ｉは入力イメージデータ６内のロケーションを表し、Ｉは入力イメージを構成するそのロケーションでの量である。項ｘ_ｉは、Ｎ個の次元を含み離散入力イメージデータにおける離散ロケーションｘ_ｉを表すタプル｛ｘ_１；…；ｘ_Ｎ｝の短縮表記である。ロケーションｘ_ｉを、入力イメージデータ内の１つのピクセルとすることができ、または複数のピクセルから成る好ましくはひとまとまりのセットとすることができる。離散的なロケーションｘ_ｉは例えば、二次元入力イメージデータのケースでは２つ１組の離散的なロケーション変数｛ｘ_１；ｘ_２｝を表し、三次元入力イメージデータのケースでは３つ１組の離散的なロケーション変数｛ｘ_１；ｘ_２；ｘ_３｝を表す。ｉ次元において、配列はＭ_ｉ個のロケーションすなわちｘ_ｉ＝｛ｘ_ｉ，１，...，ｘ_ｉ，Ｍｉ｝を含むことができる。合計でＩ（ｘ_ｉ）は（Ｍ_１×…×Ｍ_Ｎ）個の要素を含むことができる。Ｉ（ｘ_ｉ）を、例えばディジタル浮動小数点数として表される離散的な実数値データ、または整数値データの配列とすることができる。

【0129】

イメージ処理装置１はさらに、入力イメージデータ６を少なくとも一時的に含むように整合された記憶セクション２４を含むことができる。記憶セクション２４は、例えばＰＣのような汎用コンピューティングデバイス２６のＣＰＵ２５および／またはＧＰＵ２７のキャッシュメモリなど、揮発性または不揮発性のメモリを含むことができる。記憶セクション２４はさらに、ＲＡＭ、ハードディスクドライブ、あるいはＵＳＢスティックまたはＳＤカードなど交換可能な記憶セクションを含むことができる。記憶セクション２４は、これらのタイプのメモリの任意の組み合わせを含むことができる。択一的にまたは付加的に、記憶セクションをソフトウェアデバイスとして実装することもでき、例えばサブルーチン、関数または配列として実装することもできる。

【0130】

入力イメージセット１１を取り出すために、入力セクション２８を設けることができる。入力セクション２８は、標準化データ交換プロトコル、ハードウェアコネクタおよび／またはワイヤレスコネクション、またはこれらの任意の組み合わせなど、標準化コネクション手段３０を含むことができる。カメラ８に接続可能な標準化コネクタの例は、ＨＤＭＩコネクタ、ＵＳＢコネクタおよびＲＪ４５コネクタである。択一的にまたは付加的に、入力セクションをソフトウェアで実装することができ、例えばサブルーチン、関数または配列として実装することができ、これはデータ転送のためのソフトウェアインタフェースとして用いられる。入力セクション２８をイメージ処理装置１の一部とすることができる。

【0131】

イメージ処理装置１を、セット１１内の入力イメージＩ（ｘ_ｉ）ごとに１つの出力イメージＯ（ｘ_ｉ）を計算するように構成することができ、これによって出力イメージスタックまたは出力イメージセット３６が入力イメージセットから取得されるようになる。かくしてＮ個の入力イメージＩ_１（ｘ_ｉ）．．．Ｉ_Ｎ（ｘ_ｉ）に対し、Ｎ個の出力イメージＯ_１（ｘ_ｉ）．．．Ｏ_Ｎ（ｘｉ）が計算される。この場合も表記を簡単なままにしておくために、以下では出力イメージについてインデックスを省略する。図示の実施形態の場合、出力イメージはディジタル出力イメージである。

【0132】

イメージ処理装置１はさらに出力セクション３２を含むことができ、この出力セクション３２は、標準化データ交換プロトコル、ハードウェアコネクタおよび／またはワイヤレスコネクションといった標準化コネクション手段３４を含むことができ、各々が１つまたは複数のディスプレイ３７に出力イメージデータ３５を出力するように構成されている。出力イメージデータ３５は好ましくは入力イメージデータ６と同じ次元を有し、出力イメージＯ（ｘ_ｉ）を形成する離散値の離散配列によって表される。出力イメージデータ３５を実数値または整数値とすることができる。択一的にまたは付加的に、出力セクションをソフトウェアで実装することができ、例えばサブルーチン、関数または配列として実装することができ、これはデータ転送のためのソフトウェアインタフェースとして用いられる。出力セクション３２をイメージ処理装置１の一部とすることができる。

【0133】

入力イメージＩ（ｘ_ｉ）から出力イメージＯ（ｘ_ｉ）を計算するために、イメージプロセッサ３８を設けることができる。イメージプロセッサ３８を、少なくとも部分的にハードウェアとすることができ、少なくとも部分的にソフトウェアとすることができ、かつ／またはハードウェアおよびソフトウェア双方の組み合わせとすることができる。例えばイメージプロセッサ３８は、汎用コンピューティングデバイス２６のＣＰＵ２５およびＧＰＵ２７のうちの少なくとも一方、ならびにデータ構造およびデータセクションを含むことができ、これらのデータ構造およびデータセクションは、ソフトウェアでコーディングされており、動作状態でＣＰＵ２５および／またはＧＰＵ２７において構造的なエンティティとして一時的に存在する。イメージプロセッサ３８は、メモリおよび／またはイメージ処理装置およびイメージ処理方法のために必要とされる動作を実行するように特別に設計された１つまたは複数のＡＳＩＣなど、付加的なハードウェアを含むこともできる。

【0134】

図２を参照しながら、セット１１の入力イメージＩ（ｘ_ｉ）を処理する一般的な原理について説明した後、図１についてさらに説明を続ける。入力イメージＩ（ｘ_ｉ）のベースラインｆ（ｘ_ｉ）を推定するために、イメージプロセッサ３８はベースライン推定器エンジン４０を含むことができる。以下は、セット１１内の入力イメージのいずれについても当てはまる。

【0135】

入力イメージＩ（ｘ_ｉ）は付加的に、合焦成分すなわち入力イメージの焦点面２２内にある対象物１５の構造を含む合焦成分Ｉ_ＩＩ（ｘ_ｉ）と、主として背景からの光すなわち焦点面２２外からの光を含み得る非合焦成分Ｉ_Ｉ（ｘ_ｉ）と、から成るものとすることができる。Ｉ_Ｉ（ｘ_ｉ）もＩ_ＩＩ（ｘ_ｉ）も既知ではなく、したがって推定しなければならない。

【0136】

Ｉ_Ｉ（ｘ_ｉ）およびＩ_ＩＩ（ｘ_ｉ）を推定するために前提とするのは、非合焦成分Ｉ_ＩＩ（ｘ_ｉ）は滑らかであり、主として低い空間周波数すなわち大きな空間範囲を有する成分から成る、またはそのような成分を含む、ということである。したがって非合焦成分は、それよりも高い空間周波数で合焦成分Ｉ_ＩＩ（ｘ_ｉ）が変動する際に中心となるベースラインを表す。非合焦成分Ｉ_ＩＩ（ｘ_ｉ）は、滑らかで大きい長さスケールを有するものとされ、これとは対照的に合焦成分Ｉ_Ｉ（ｘ_ｉ）は、滑らかではなく、ピークおよびバレーのうちの少なくとも一方を含むものとされる。用途に応じて、着目対象情報はＩ_Ｉ（ｘ_ｉ）またはＩ_ＩＩ（ｘ_ｉ）のいずれかに存在し得る。

【0137】

非合焦成分Ｉ_ＩＩ（ｘ_ｉ）の推定値は、ベースライン推定値ｆ（ｘ_ｉ）によって表される。ベースライン推定値は、好ましくは入力イメージと同じ次元を有するベースライン推定データ４４の離散配列である。ベースライン推定値ｆ（ｘ_ｉ）を、少なくとも一時的に記憶セクション２４に存在させることができる。入力イメージごとに少なくとも１つのベースライン推定値ｆ（ｘ_ｉ）が計算されるので、入力イメージセット１１により結果としてベースライン推定値セット４５が生じる。例えば相関を計算することによって、２つの入力イメージＩ（ｘ_ｉ）が互いに予め定められた閾値を超えて逸脱していないと判定されたならば、２つの入力イメージＩ（ｘ_ｉ）のうちの一方のためにすでに計算されたベースライン推定値ｆ（ｘ_ｉ）を、２つの入力イメージＩ（ｘ_ｉ）のうちの他方のために使用することができる。この目的で、各ベースライン推定値ｆ（ｘ_ｉ）を少なくとも一時的に記憶セクションに格納することができる。セット４５において、各ベースライン推定値はセット１１の１つの入力イメージに関連づけられている。

【0138】

ベースライン推定値が計算されると、ここではＯ（ｘ_ｉ）として表されている合焦成分を、各ロケーションｘ_ｉにおける入力イメージＩ（ｘ_ｉ）からベースライン推定値ｆ（ｘ_ｉ）を取り除くことによって、具体的には減算することによって、取得することができる。

【0139】

イメージ処理装置１を、セット１１の少なくとも１つの入力イメージ、好ましくはすべての入力イメージ、Ｉ（ｘ_ｉ）を前処理するように構成することができる。例えばイメージ処理装置１を、少なくとも１つの入力イメージＩ（ｘ_ｉ）にトップハット変換を適用するように構成することができる。付加的にまたは択一的に、フィルタ、アンシャープマスキング、ヒストグラム均等化、モルフォロジーフィルタリング、およびイメージ品質を向上させるための他の方法を、前処理において適用するように、イメージ処理装置１を構成することができる。

【0140】

ベースライン推定器エンジン４０は、入力イメージＩ（ｘ_ｉ）を構成する入力イメージデータ６の少なくとも１つのサブセットに適合させることによって、ベースライン推定値ｆ（ｘ_ｉ）を計算するように構成されている。好ましくは、入力イメージデータの少なくともサブセットへの適合はスプライン適合である。

【0141】

計算に関して効率的なスプライン適合のために、ベースライン推定器エンジン４０は最小化エンジン４６を含むことができ、この最小化エンジン４６を例えばサブルーチンとすることができ、またはハードワイヤードアルゴリズムとマッチングソフトウェアとの組み合わせとすることができる。最小化エンジン４６を、最小化スキームを実行するように構成することができ、この目的で最小化エンジン４６は２つの反復段階４８、５０を含むことができる。

【0142】

好ましくは、最小化エンジン４６は、第２の反復段階５０においてベースライン推定値ｆ（ｘ_ｉ）を計算するために畳み込みを含む。ＦＦＴを用いてアレイプロセッサ上でいっそう効率的に畳み込みを計算することができるので、イメージプロセッサ３８がＧＰＵ２７などのアレイプロセッサを含むのが好ましい。動作中、イメージプロセッサは最小化エンジン４６を含む。

【0143】

図３を参照しながら、入力イメージＩ（ｘ_ｉ）から出力イメージＯ（ｘ_ｉ）を計算するステップについて、それらがイメージ処理装置１によって実行されるものとして説明する。

【0144】

第１のステップ６０において、プリセットする必要のあるベースライン推定器エンジン４０の様々なパラメータを、例えばグラフィカルユーザインタフェース６２（図１）を用いて、ユーザにより定義することができる。これらのパラメータは、ベースライン推定器エンジン４０によって実施されるべき入力イメージデータ６に対する適合のタイプを含むことができる。例えばユーザは、入力イメージデータ６に対するベースライン推定データ４４の多項式適合とスプライン適合とのいずれかを選択することができる。

【0145】

さらにユーザは、最小化スキームで使用される様々なペナルティ項Ｐ（ｆ（ｘ_ｉ））の中から選択することができる。ペナルティ項は、ベースライン推定値における合焦寄与量Ｉ_Ｉ（ｘ_ｉ）の成分の表現にペナルティを科すことにより、ベースライン推定値の形状を決定する。

【0146】

例えば、ベースライン推定値の滑らかでない特性にペナルティを科す様々なペナルティ項の選択を、ユーザに提示することができる。例えばペナルティ項を、ベースライン推定データ４４のためのハイパス空間周波数フィルタとすることができ、これはベースライン推定値が高い空間周波数を有する成分を含む場合にはいっそう大きくなる。他のペナルティ項は、ベースライン推定値の勾配を含むことができる。ペナルティ項の別の例をベースライン推定値の曲率とすることができる。さらにソーベルフィルタ、ラプラスフィルタおよび／またはＦＩＲバンドパスフィルタ、ハイパスフィルタまたはローパスフィルタといったフィーチャ抽出フィルタを、ペナルティ項としてユーザにより選択することができる。さらに上述のいずれかの線形結合を選択することができる。入力イメージデータ６のそれぞれ異なる次元またはそれぞれ異なるチャネルに対して、それぞれ異なるペナルティ項を選択することができる。

【0147】

ペナルティの一般的な表現は以下のとおりである。すなわち、

【数42】

ここでζ^（ｊ）は、ペナルティ項の特性を定義するペナルティ項の一般演算子である。

【0148】

以下では、下記の形態すなわち

【数43】

を有するベースライン推定値ｆ（ｘ_ｉ，ｍ）の勾配に基づいて、勾配ベースの粗さのペナルティ項をユーザが選択するものとする。

【0149】

このペナルティ項は、ベースライン推定値の大きな勾配にペナルティを科す。演算子∂ｊは、次元ｊにおける一次導関数または勾配を表す。ただしユーザに選択肢を提示してもよく、ユーザはベースライン推定値の導関数の任意の順序および組み合わせを選択することができる。例えばユーザは、上述の一次導関数の代わりに二次導関数

【数44】

、一次導関数と二次導関数との組み合わせ、または２つの方向ｘ_ｉおよびｙ_ｉにおいて結合された二次導関数

【数45】

を選択することができる。

【0150】

上述の勾配に基づくペナルティ項を用いて、ユーザが指定すべきパラメータはさらに、方向または次元ｊごとの方向依存正則化長さスケールの配列γ_ｊを含む。方向依存正則化長さスケールγ_ｊは、イメージフィーチャ長さスケールｆｌ_ｊといった方向依存長さスケールを表す。対応するイメージフィーチャ長さスケールｆｌ_ｊよりも小さい方向ｘ_ｊでの長さスケールを有するイメージ内のフィーチャは、ベースラインではなく合焦寄与量に属すると見なされる。個々の方向ｊにおけるイメージフィーチャ長さスケールよりも大きい長さを有する入力イメージ内の構造は、ベースラインに属すると見なされる。γ_ｊのインデックスｊから明らかであるように、正則化長さスケールひいてはイメージフィーチャ長さスケールを、各方向においてそれぞれ異ならせることができる。当然ながら、任意の方向について、ただ１つの一定のイメージフィーチャ長さスケールおよび／またはただ１つの一定の正則化長さスケールを使用してもよい。正則化長さスケールまたはイメージフィーチャ長さスケールのいずれかを入力するよう、ユーザに促すことができる。後者は、ユーザにとっていっそう直感的であり、ペナルティ項の正確な定式化とは無関係であることから好ましい。

【0151】

ペナルティ項Ｐ（ｆ（ｘ_ｉ））はスカラー値であるため、正則化長さスケールγ_ｊと一般演算子ζ^（ｊ）（ｆ（ｘ_ｉ，ｍ））との積はスカラーでなければならない。一般演算子が例えば勾配であるならば、正則化長さスケールは単位［長さ］^２を有する。一般演算子が二次導関数であるならば、正則化長さスケールは単位［長さ］^４を有する。勾配が使用されるこの実施形態であれば、正則化長さスケールは単位［長さ］^２を有し、したがってイメージフィーチャ長さスケールの二乗

【数46】

に等しい。

【0152】

ユーザはさらに、指定されたイメージフィーチャ長スケールよりも大きい長さスケールを有するイメージフィーチャを着目対象内容と見なして含めたいのか、または指定されたイメージフィーチャ長さスケールよりも小さい長さスケールを有するイメージフィーチャを着目対象内容と見なして含めたいのか、を選択することができる。前者の場合には、ベースライン推定値自体が出力イメージＯ（ｘ_ｉ）＝ｆ（ｘ_ｉ）と見なされることになり、後者の場合には、所望の内容を取得するために、ベースライン推定値を入力イメージから除去する必要がある。

【0153】

さらにユーザは、第１および第２のイメージフィーチャ長さスケールｆｌ_Ｉ，ｊおよびｆｌ_ＩＩ，ｊただしｆｌ_Ｉ，ｊ≠ｆｌ_ＩＩ，ｊ、または対応する正則化長さスケールγ_Ｉ，ｊおよびγＩ_Ｉ，ｊを選択することができ、これらを方向に依存しないものとしてもよく、このケースではそれぞれγ_Ｉおよびγ_ＩＩまたはｆｌ_Ｉおよびｆｌ_ＩＩとして定式化することができる。第１および第２のイメージフィーチャ長さスケールの各々について、それぞれ異なるベースライン推定値ｆ_Ｉ（ｘ_ｉ）およびｆ_ＩＩ（ｘ_ｉ）を、結果として生じたそれぞれ異なるペナルティ項から計算することができる。ベースライン推定値ｆ_Ｉ（ｘ_ｉ）には、フィーチャイメージ長さスケールｆｌ_Ｉよりも長さスケールの大きいイメージフィーチャが含まれる一方、ベースライン推定値ｆ_ＩＩ（ｘ_ｉ）には、フィーチャ長さスケールｆｌ_ＩＩよりも長さスケールの大きいイメージフィーチャが含まれる。第１および第２のイメージフィーチャ長さスケールよりも長さスケールが小さいイメージフィーチャは、個々のベースライン推定値において表されていないか、または少なくとも強く抑制されている。

【0154】

２つの異なるイメージフィーチャ長さスケールを指定することによって、単純に一方のベースライン推定値ｆ_Ｉ（ｘ_ｉ）を他方のベースライン推定値ｆ_ＩＩ（ｘ_ｉ）から除去することにより、具体的には減算することにより、２つのイメージフィーチャ長さスケールによって制限された範囲内に収まる長さスケールのフィーチャのみが表された出力イメージＯ（ｘ_ｉ）を計算することができる。

【0155】

さらにユーザは、出力イメージセット３６においてサーチすべきパターンＱ（ｘ_ｉ）を指定することができる。このパターンを例えば、対象物１５のイメージまたはその一部とすることができる。例えばこのパターンをミトコンドリアとすることができる。

【0156】

さらにユーザは、ベースライン推定値に及ぼされる大きなピークの作用を指定することによって、ベースライン推定値の形状も決定する、対称および非対称の、具体的には切り捨て処理された、二次項φ（ε（ｘ_ｉ））のいずれかを選択することができる。切り捨て処理についての値も、ユーザによって指定することができる。

【0157】

例えばユーザは、非対称の切り捨て処理された以下の二次式

【数47】

を選択することができる。式中、ｓはユーザによって入力可能な閾値を表す。閾値によって、入力イメージデータとベースライン推定値との間の最大偏差が定義される。ベースライン推定値を上回るピークは、閾値だけ隔たったピークよりも大きくベースライン推定値を引き付けない。

【0158】

最後にユーザは、収束判定基準および／または収束判定基準が到達しなければならない閾値ｔを選択することができる。

【0159】

ベースライン推定器エンジン４０のためのユーザ定義可能なパラメータが設定された後、反復最小化スキーム６６のためにステップ６４においてデータが初期化される。

【0160】

図４は、図３の細部ＩＶであり、最小化スキーム６６をいっそう詳しく説明するために、示されている。最小化スキーム６６は、第１の反復段階４８および第２の反復段階５０を含む。

【0161】

原則的に、最小化エンジン４６によって実行される最小化スキーム６６を、ＬＥＧＥＮＤアルゴリズムとすることができる。ただし、計算負荷を大幅に低減するように、ＬＥＧＥＮＤアルゴリズムの第２のステップを変更できるようにするのが好ましい。

【0162】

図示の実施形態の場合、ステップ６４においてデータを初期化した後、第２の反復段階５０に入る。この時点で、グリーン関数Ｇ（ｘ_ｉ）による入力イメージデータの畳み込みを用いて、ベースライン推定値の第１の推定値ｆ_（１）（ｘ_ｉ）が計算される。括弧内のインデックスは反復インデックスを示す。

【数48】

【0163】

この実施形態で使用される勾配ベースのペナルティ項について、グリーン関数は以下のように定義される。すなわち、

【数49】

ここで、Ｆ［…］はＮ次元の離散フーリエ変換であり、Ｆ^－１［…］はＮ次元の離散逆フーリエ変換であり、γ_ｊは粗さペナルティ項の正則化長さスケールであり、

【数50】

である。

【0164】

次いで第１の反復段階４８において、補助データの更新されたバージョンｄ_（ｌ）（ｘ_ｉ）を、目下のベースライン推定値ｆ_{（ｌ－１）}（ｘ_ｉ）を用いて、以下のように計算することができる。すなわち、

【数51】

【0165】

パラメータαは、ユーザによって指定されたかもしれない定数である。

【0166】

次に第２の反復段階５０において、更新されたベースライン推定値ｆ_{（ｌ－１）}（ｘ_ｉ）が、目下の反復（ｌ）の更新された補助データｄ_（ｌ）（ｘ_ｉ）を用いて以下のように計算される。すなわち、

【数52】

【0167】

次のステップにおいて、収束基準６８を満たすか否かがチェックされる。満たしていなければ、最小化スキーム６６は、更新されたベースライン推定値ｆ_（ｌ）（ｘ_ｉ）を用いて反復ステップ４８に進む。

【0168】

反復最小化スキーム６６は、収束基準６８が満たされるまで最小化エンジン４６によって実行される。実施形態では、一例として以下の収束基準が用いられる。すなわち、

【数53】

ここで（ｌ）は目下の反復を示し、ｔはユーザ指定可能な一定のスカラー閾値である。収束基準６８が満たされているならば、ベースライン推定値が正常に計算されたものとされる。

【0169】

ベースライン推定のための上述の最小化スキームの代わりに、他の任意の最小化スキームを使用することができ、例えば、Ｗａｇ，Ｇ.等（２０１４）：Ｍｏｒｐｈｏｌｏｇｉｃａｌ Ｂａｃｋｇｒｏｕｎｄ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｎｏｒｍａｌｉｚａｔｉｏｎ ｏｆ Ｔｅｘｔ Ｉｍａｇｅ ｗｉｔｈ Ｐｏｏｒ Ｌｉｇｈｔｉｎｇ，ＰＬｏＳ Ｏｎｅ，２０１９，９（ＩＩ），ｅ１１０９９１に記載された最小化スキームを使用することができる。

【0170】

２つの異なるイメージフィーチャ長さスケールｆｌ_Ｉ，ｊおよびｆｌ_ＩＩ，ｊがユーザによって指定されていたならば、上述のステップ６４～６８が、それぞれ異なるイメージフィーチャ長さスケールごとに１回、２度にわたり実行され、その結果、２つのベースライン推定値ｆ_Ｉ（ｘ_ｉ）とｆ_ＩＩ（ｘ_ｉ）とが得られ、それぞれ異なるイメージフィーチャ長さスケールごとに１つのベースライン推定値が得られる。換言すれば、一方のベースライン推定値ｆ_Ｉ（ｘ_ｉ）は、正則化長さスケール

【数54】

を用いて計算され、他方のベースライン推定値ｆ_ＩＩ（ｘ_ｉ）は、正則化長さスケール

【数55】

を用いて計算される。

【0171】

ステップ７０において、出力イメージＯ（ｘ_ｉ）が個々の入力イメージから取得される。出力イメージがどのように計算されるかは、ユーザ設定に依存する。

【0172】

例えば、ユーザが着目するイメージのフィーチャが、選択されているイメージフィーチャ長さスケールｆｌよりも小さい長さスケールを有する、ということをユーザが選択したならば、ステップ７０において、出力イメージデータＯ（ｘ_ｉ）を取得するために、ベースライン推定値ｆ（ｘ_ｉ）が入力イメージデータＩ（ｘ_ｉ）から除去され、具体的には減算されて、Ｏ（ｘ_ｉ）＝Ｉ（ｘ_ｉ）－ｆ（ｘ_ｉ）となる。

【0173】

イメージフィーチャ長さスケールよりも大きいフィーチャにユーザが着目している、ということをユーザが選択したならば、ステップ７０において、出力イメージがベースライン推定値と等しくなるように設定され、Ｏ（ｘ_ｉ）＝ｆ（ｘ_ｉ）となる。

【0174】

２つの指定されたイメージフィーチャ長さスケールｆｌ_Ｉおよびｆｌ_ＩＩ、ただしｆｌ_ＩＩ＞ｆｌ_Ｉ、の間の長さスケールを有する入力イメージ内のフィーチャにユーザが着目しているならば、大きい方のイメージフィーチャ長さスケールに基づくベースライン推定値が、小さい方のイメージフィーチャ長さスケールに基づくベースライン推定値から減算され、Ｏ（ｘ_ｉ）＝ｆ_Ｉ（ｘ_ｉ）－ｆ_ＩＩ（ｘ_ｉ）となる。

【0175】

ステップ７０はさらに、出力イメージの後処理を含むことができる。後処理は、アンシャープマスキング、逆畳み込み、エッジ強調、ヒストグラム修正およびノイズ低減のうちの少なくとも１つといったような任意の自動イメージ品質向上処理を含むことができる。

【0176】

ステップ６４～７０は、セット１１の入力イメージごとに実行されるので、入力イメージＩ（ｘ_ｉ）ごとに１つの出力イメージＯ（ｘｉ）が取得される。

【0177】

ステップ７２は、セット３６におけるフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）の識別に関するものであり、これによりオートフォーカス手順の結果が定義される。出力イメージＯ_ＡＦ（ｘ_ｉ）を選択するために、アプリケーションおよびユーザ設定に応じて、複数のフォーカス関数を他のフォーカス関数とは独立して、または任意に組み合わせて、適用することができる。

【0178】

フォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）を例えば、パターンＱ（ｘ_ｉ）同士の相関を計算することによって、または任意の他の種類のパターンマッチングを実施することによって、選択することができる。パターンマッチングの結果、最も高い相関が得られた出力イメージを選択することができる。このタイプのフォーカス関数を、具体的には、続いて記録される複数の入力イメージセット１１にわたりフィーチャを識別または追跡するために使用することができる。

【0179】

全体的にあるいは１つまたは複数のカラーチャネルにおいて、かつ／または１つまたは複数の予め決定されたまたは自動的に決定された領域において、最も高いコントラストを有するフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として、セット３６の出力イメージを選択することができる。

【0180】

予め決定された、例えばユーザにより指定された閾値を下回る情報エントロピーを有するフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として、セット３６の出力イメージを選択することができる。

【0181】

全体的にあるいは１つまたは複数のカラーチャネルにおいて、最も高い強度および／または最も狭い強度分布を有するフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として、セット３６の出力イメージを選択することができる。

【0182】

他のフォーカス関数については例えば、Ｇｒｏｅｎ，Ｆ.Ｃ.；Ｙｏｕｎｇ，Ｉ.Ｔ.，Ｌｉｇｔｈａｒｔ，Ｇ.（１９８５）：Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ｄｉｆｆｅｒｅｎｔ Ｆｏｃｕｓ Ｆｕｎｃｔｉｏｎｓ ｆｏｒ Ｕｓｅ ｉｎ Ａｕｔｏｆｏｃｕｓ Ａｌｇｏｒｉｔｈｍｓ，Ｃｙｔｏｍｅｔｒｙ，１９８５ ６（２）、８１－９１に記載されており、この文献は参照によりその全体が本明細書に取り込まれたものとする。

【0183】

先行の入力イメージセットから以前に選択された出力イメージと最も高い相関を有するフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として、セット３６の出力イメージを選択することができる。

【0184】

フォーカス関数を満たす出力イメージが３つ以上あるならば、中央に位置する出力イメージをフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として選択することができる。２つの出力イメージがフォーカス関数を満たすならば、短い方の焦点距離を有する出力イメージを選択することができる。

【0185】

ステップ７４において、選択された出力イメージＯ（ｘ_ｉ）すなわちＯ_ＡＦ（ｘ_ｉ）が例えば記憶セクション２４に格納され、かつ／または例えばディスプレイ３７に表示される。表示する前に、選択されたフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）をさらに処理することができ、例えば逆畳み込み、アンシャープマスキング、または出力イメージＯ（ｘ_ｉ）に対してまだ実施されていなかった他の任意のイメージ品質向上処理を実施することができる。

【0186】

イメージングシステム４が後続のセット１１を例えば連続的に取得する場合には、ステップ６４～７４が各セットに対して好ましくはリアルタイムで実行される。したがってセット１１の入力イメージＩ_ｎ（ｘ_ｉ）ごとにｎ＝１．．．Ｎ個のベースライン推定値ｆ_ｎ（ｘ_ｉ）が、好ましくは同じイメージフィーチャ長さスケールｆｌを用いて取得される。各出力イメージＯ_ｎ（ｘ_ｉ）は、個々の少なくとも１つのベースライン推定値ｆ_ｎ（ｘ_ｉ）またはｆ_Ｉ（ｘ_ｉ），ｆ_ＩＩ（ｘｉ）から、あるいは個々の入力イメージＩ_ｎ（ｘ_ｉ）およびそのベースライン推定値ｆ_ｎ（ｘ_ｉ）から、上述のようにして計算される。

【0187】

図５には、顕微鏡を使用してフォーカススタッキングにより取得された３つの入力イメージＩ_Ｉ（ｘ_ｉ）、Ｉ_ＩＩ（ｘ_ｉ）およびＩ_ＩＩＩ（ｘ_ｉ）から成るセット１１が示されている。強い非合焦成分に起因して、入力イメージが不鮮明になっている。この不鮮明さゆえに、適正なフォーカスイメージを特定するのが難しくなる。

【0188】

図６には、図５の個々の入力イメージＩ_Ｉ（ｘ_ｉ）、Ｉ_ＩＩ（ｘ_ｉ）およびＩ_ＩＩＩ（ｘ_ｉ）から、３つの入力イメージすべてに対し同じであるように選択されたイメージフィーチャ長さスケールｆｌに基づき個々のベースライン推定値ｆ_Ｉ（ｘ_ｉ）、ｆ_ＩＩ（ｘ_ｉ）およびｆ_ＩＩＩ（ｘ_ｉ）を計算することにより取得された、３つの出力イメージＯ_Ｉ（ｘ_ｉ）、Ｏ_ＩＩ（ｘ_ｉ）およびＯ_ＩＩＩ（ｘ_ｉ）が示されている。この場合には、ベースライン推定値ｆ_ｎ（ｘ_ｉ）が個々の入力イメージＩ_ｎ（ｘ_ｉ）から除去され、具体的には減算されて、個々の出力イメージＯ_ｎ（ｘ_ｉ）、ただしｎ＝１、２、３、が取得された。図６からわかるように、セット３６内の出力イメージに含まれる不鮮明さが著しく少なくなっているため、元の入力イメージを使用した場合よりもはるかに簡単にかつ著しく確実に、フォーカスイメージの特定が可能になる。フォーカス関数を用いて、例えばコントラストが最も高いセット３６の出力イメージを選択することにより、フォーカスイメージが決定される。図６の例では、出力イメージＯ_２（ｘ_ｉ）がフォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）として決定される。

【0189】

当然ながら、任意の数の入力イメージをセット１１内に含めることができ、それによって対応する量の出力イメージがセット３６内に生成される。

【0190】

１つのセット１１内において、または複数の入力イメージにわたって、２つまたはそれよりも多くの入力イメージが僅かな差異しか有していないならば、それらの入力イメージ各々に対し同じベースライン推定値を使用することができる。これによって計算コストが抑えられる。例えば、入力イメージのベースライン推定値を例えば記憶装置に格納し、２つの異なる入力イメージ間の相関を計算し、相関が予め定められた閾値を超えているか否かを判定するように、イメージ処理装置を構成することができる。イメージ処理装置によって、予め定められた閾値を超えていることが、または超えていないことが、相関測度に従い判定される場合に、事前に取得された相関する入力イメージについて格納されていたベースライン推定値を取り出してそれを適用し、新たに取得された入力イメージに対応する出力イメージを計算するように、イメージ処理装置を構成することができる。

【0191】

アクチュエータシステム１８を制御して、フォーカス出力イメージＯ_ＡＦ（ｘ_ｉ）および／またはこのフォーカス出力イメージが導出された際に用いられた入力イメージに応じて、視野１７およびプローブボリューム１６／対象物１５を互いに相対的に、かつ／またはオートフォーカス対物レンズ１４に対し相対的に移動させて焦点距離１２を変化させるように、イメージ処理装置を構成することができる。このため入力イメージまたは出力イメージ各々は、焦点距離、ｚポジションおよび／または（ｘ，ｙ）ポジションを表すポジションデータを含むことができる。焦点距離１２および／または視野１７と対象物１５との相対的ポジションを、フォーカス出力イメージまたは対応する入力イメージのポジションデータに依存して、イメージ処理装置により制御することができる。ポジションデータに応じて、例えばオートフォーカス対物レンズ１４によって設定されるべき焦点距離を表す焦点距離制御信号を生成するように、イメージ処理装置１を構成することができる。択一的にまたは付加的に、例えばアクチュエータシステム１８によって設定されるべき視野および対象物の相対的ポジションを表す対象物ポジショニング信号を生成するように、イメージ処理装置１を構成することができる。

【0192】

具体的には、入力イメージの先行のセット１１から導出されたフォーカス出力イメージに応じて、入力イメージの後続のセット１１を記録するように、観察装置２を構成可能である。具体的には、後続の入力イメージセット１１を、先行のセットのフォーカス出力イメージのポジションを中心にセンタリングさせることができる。

【0193】

フォーカス出力イメージ、このフォーカス出力イメージが導出された際に用いられた入力イメージ、および／またはフォーカス入力イメージ内またはフォーカス出力イメージを導出した際に用いられた入力イメージ内のポジションデータに応じて、プローブボリュームと視野とを互いに相対的に移動させるように、観察装置２をさらに構成することができる。

【0194】

択一的にまたは付加的に、フォーカス出力イメージ、このフォーカス出力イメージが導出された際に用いられた入力イメージ、および／またはフォーカス入力イメージ内またはフォーカス出力イメージが導出された際に用いられた入力イメージ内のポジションデータに応じて、焦点距離１２を調節するように、装置２を構成することができる。

【0195】

本明細書では、用語「および／または」は、列挙された関連項目のうちの１つまたは複数のいずれかおよびすべての組み合わせを含むものであり、「／」と略記されることもある。

【0196】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0197】

特定の実装要件に応じて、イメージ処理装置の実施形態を、完全にハードウェアで、または完全にソフトウェアで、またはソフトウェアとハードウェア双方の組み合わせで、実装することができる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、ディジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、ディジタル記録媒体は、コンピュータ読取可能であってもよい。

【0198】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0199】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0200】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0201】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0202】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、ディジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0203】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0204】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0205】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0206】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0207】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【符号の説明】

【0208】

１ イメージ処理装置
２ 観察装置
２ａ 顕微鏡
４ イメージングシステム
６ 入力イメージデータ
８ カメラ
９ イメージセンサ
１０ チャネル
１１ 入力イメージセット
１２ 焦点距離
１３ オートフォーカスシステム
１４ オートフォーカス対物レンズ
１５ 対象物
１６ プローブボリューム
１７ 視野
１８ アクチュエータシステム
１９ 照明システム
２０ 蛍光体
２２ 焦点面
２４ 記憶セクション
２５ ＣＰＵ
２６ コンピューティングデバイス
２７ ＧＰＵ
２８ 入力セクション
３０ 入力セクションのコネクション手段
３２ 出力セクション
３４ 出力セクションのコネクション手段
３５ 出力イメージデータ
３６ 出力イメージセット
３７ ディスプレイ
３８ イメージプロセッサ
４０ ベースライン推定器エンジン
４４ ベースライン推定データ
４５ ベースライン推定値セット
４６ 最小化エンジン
４８ 第１の反復段階
５０ 第２の反復段階
６０ ベースライン推定パラメータの設定
６２ グラフィカルユーザインタフェース
６４ 最小化エンジンおよびスキームの初期化
６６ 最小化エンジンおよびスキーム
６８ 収束基準
７０ 出力イメージデータの計算
７２ 後処理動作
７４ 表示

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】