特許 7105990 局所的信号対ノイズ比を用いたデコンボリューション装置およびデコンボリューション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-14

(45)【発行日】2022-07-25

(54)【発明の名称】局所的信号対ノイズ比を用いたデコンボリューション装置およびデコンボリューション方法

(51)【国際特許分類】

   G06T 5/00 20060101AFI20220715BHJP

   A61B 1/045 20060101ALI20220715BHJP

   A61B 1/00 20060101ALI20220715BHJP

   G02B 21/00 20060101ALI20220715BHJP

【ＦＩ】

G06T5/00 705

A61B1/045 611

A61B1/00 511

G02B21/00

【請求項の数】 15

(21)【出願番号】P 2021514059

(86)(22)【出願日】2019-01-25

(65)【公表番号】

(43)【公表日】2021-12-27

(86)【国際出願番号】 EP2019051863

(87)【国際公開番号】W WO2020052814

(87)【国際公開日】2020-03-19

【審査請求日】2021-05-07

(31)【優先権主張番号】18194617.9

(32)【優先日】2018-09-14

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】フローリアン ツィーシェ

(72)【発明者】

【氏名】カイ ヴァルター

(72)【発明者】

【氏名】ユルゲン レイマン

【審査官】板垣 有紀

(56)【参考文献】

【文献】国際公開第２０１４／０７４１３８（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００５／０１４７３１３（ＵＳ，Ａ１）

【文献】特開２０１５－０６４８９０（ＪＰ，Ａ）

【文献】米国特許出願公開第２００３／０２２８０６５（ＵＳ，Ａ１）

【文献】Richard L. White，Image Restoration Using the Damped Richardson-Lucy Method，The Restoration of HST Images and Spectra II Space Telescope Science Institute，1994年，pp. 104-110，<URL:https://web.ipac.caltech.edu/staff/fmasci/home/astro_refs/DampledLR94.pdf>，[検索日：2022年6月17日]

【文献】O.Laligant et al.，Edge enhancement by local deconvolution，Pattern Recognition，2005年05月，Volume 38, Issue 5，pp. 661-672，<URL:https://www.sciencedirect.com/science/article/abs/pii/S0031320304003917>，[検索日：2022年6月17日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／００

Ａ６１Ｂ １／０４５

Ａ６１Ｂ １／００

Ｇ０２Ｂ ２１／００

(57)【特許請求の範囲】

【請求項1】

複数の入力ボクセル（ｘ_ｉ）を有するデジタル入力画像（Ｉ（ｘ_ｉ））、特に顕微鏡（１２）または内視鏡などの医療用観察装置（１０）から取得されたデジタル入力画像かつ／または蛍光を用いたデジタル入力画像をデコンボリューションするための方法であって、前記方法は、
前記デジタル入力画像の入力領域（Ｒ（ｘ_ｉ））内で局所的信号対ノイズ比（ＳＮＲ（ｘ_ｉ））を計算するステップであって、前記入力領域は、前記デジタル入力画像の前記複数の入力ボクセルの部分集合から成り、目下の入力ボクセルを取り囲んでいるステップと、
前記局所的信号対ノイズ比からノイズ成分（β（ＳＮＲ））を計算するステップであって、前記ノイズ成分は、デコンボリューションにおける画像ノイズ（ｎ（［ｈ＊ｆ］（ｘ_ｉ），ｎ（ｘ_ｉ））を表すステップと、
を有し、
前記ノイズ成分を、予め定められたＳＮＲ上限閾値（ＳＮＲ_ｍａｘ）を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値（β_ｍｉｎ）に制限し、予め定められたＳＮＲ下限閾値（ＳＮＲ_ｍｉｎ）を下回る局所的信号対ノイズ比であれば、予め定められた最大ノイズ値（β_ｍａｘ）に制限する、
方法。

【請求項2】

前記局所的信号対ノイズ比（ＳＮＲ）を計算するステップは、前記入力領域（Ｒ（ｘ_ｉ））内の局所的信号レベル（Ｓ（ｘ_ｉ））と前記入力領域（Ｒ（ｘ_ｉ））内の局所的ノイズレベル（Ｎ（ｘ_ｉ））とを計算するステップを含み、
前記局所的ノイズレベルを計算するステップは、入力ボクセル（ｘ_ｉ）の少なくとも１つの連続した領域について、少なくとも１つの範囲総和テーブル（３８）を計算するステップを含む、
請求項１記載の方法。

【請求項3】

前記少なくとも１つの範囲総和テーブル（３８）を計算するステップは、プレフィックスサムを用いて並列方式で前記少なくとも１つの範囲総和テーブルを計算するステップを含む、
請求項２記載の方法。

【請求項4】

前記局所的ノイズレベル（Ｎ）を計算するステップは、少なくとも１つの範囲総和テーブル（３８）を用いて、前記デジタル入力画像（Ｉ（ｘ_ｉ））の分散を計算するステップを含む、
請求項２または３記載の方法。

【請求項5】

前記デジタル入力画像（Ｉ（ｘ_ｉ））に線形微分演算子

【数1】

を適用して微分画像データ（Ｉ’（ｘ_ｉ））を取得した後、前記分散を計算する、
請求項４記載の方法。

【請求項6】

前記線形微分演算子

【数2】

は、勾配演算子またはエッジ検出フィルタである、
請求項５記載の方法。

【請求項7】

前記局所的信号対ノイズ比（ＳＮＲ（ｘ_ｉ））を計算するステップは、前記入力領域（Ｒ（ｘ_ｉ））内の１つの入力ボクセル（ｘ_ｉ）において信号レベル（Ｓ（ｘ_ｉ））を計算するステップを含み、
前記信号レベルを計算するステップは、ブラーカーネル（ｋ_ｂ（ｘ_ｉ））を用いて前記デジタル入力画像（Ｉ（ｘ_ｉ））をコンボリューションするステップを含む、
請求項１から６までのいずれか１項記載の方法。

【請求項8】

前記ノイズ成分（β（ＳＮＲ（ｘ_ｉ）））を、勾配

【数3】

を有するように計算し、前記勾配は、前記予め定められたＳＮＲ上限閾値（ＳＮＲ_ｍａｘ）において、かつ／または、前記予め定められたＳＮＲ下限閾値（ＳＮＲ_ｍｉｎ）において、前記予め定められたＳＮＲ上限閾値（ＳＮＲ_ｍａｘ）と前記予め定められたＳＮＲ下限閾値（ＳＮＲ_ｍｉｎ）との間におけるよりも小さい、
請求項１から７までのいずれか１項記載の方法。

【請求項9】

前記ノイズ成分（β（ＳＮＲ））を計算するステップは、三角関数を計算するステップを含む、
請求項８記載の方法。

【請求項10】

前記デコンボリューションは、ルーシー－リチャードソンデコンボリューションである、
請求項１から９までのいずれか１項記載の方法。

【請求項11】

請求項１から１０までのいずれか１項記載の画像処理方法をコンピュータに実行させるプログラムを格納している非一時的コンピュータ可読媒体。

【請求項12】

請求項１から１０までのいずれか１項記載の方法を実施するように構成された画像プロセッサ（１）を有する、顕微鏡（１２）または内視鏡などの医療用観察装置（１０）。

【請求項13】

顕微鏡（１２）または内視鏡などの医療用観察装置（１０）のための画像プロセッサ（１）であって、前記画像プロセッサ（１）は、
複数の入力ボクセル（ｘ_ｉ）を有するデジタル入力画像（Ｉ（ｘ_ｉ））を格納するためのメモリ（４）と、
前記複数の入力ボクセルからデコンボリューションされた出力画像（ｆ（ｘ_ｉ））を計算するためのデコンボリューションエンジン（３４）と、
を有し、
前記デコンボリューションエンジンは、１つの入力ボクセルにおける局所的信号対ノイズ比（ＳＮＲ（ｘ_ｉ））に依存するノイズ成分（β（ＳＮＲ（ｘ_ｉ）））を有し、前記局所的信号対ノイズ比は、前記デジタル入力画像の前記複数の入力ボクセルの部分集合から成る１つの入力領域（Ｒ（ｘ_ｉ））内でのみ計算され、
前記画像プロセッサ（１）は、予め定められたＳＮＲ上限閾値（ＳＮＲ_ｍａｘ）と予め定められた信号対ノイズ下限閾値（ＳＮＲ_ｍｉｎ）とを含み、
前記ノイズ成分は、前記予め定められたＳＮＲ上限閾値（ＳＮＲ_ｍａｘ）を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値（β_ｍｉｎ）に制限され、前記予め定められた信号対ノイズ下限閾値（ＳＮＲ_ｍｉｎ）を下回る局所的信号対ノイズ比であれば、予め定められた最大値（β_ｍａｘ）に制限される、
画像プロセッサ（１）。

【請求項14】

前記画像プロセッサ（１）は、範囲総和テーブルジェネレータ（３６）を有し、前記範囲総和テーブルジェネレータは、前記デジタル入力画像の範囲総和テーブルを計算し、前記範囲総和テーブルを用いて局所的ノイズレベルを計算するように構成されている、
請求項１３記載の画像プロセッサ（１）。

【請求項15】

請求項１３または１４記載の画像プロセッサ（１）を有する顕微鏡（１２）または内視鏡。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像復元のための、特に顕微鏡または内視鏡からのデジタル入力画像のための、方法および装置に関する。

【背景技術】

【0002】

画像処理の分野では、デジタル入力画像において解像度の強化およびノイズの低減のためにデコンボリューションが知られている。デコンボリューションの基礎となる前提は、観察されるデジタル入力画像Ｉ（ｘ_ｉ）が以下のようにして実際の画像

【数1】

から生じる、ということである：

【数2】

ここでｈ（ｘ_ｉ）は、点像分布関数のような例えば記録システムからの線形の伝達関数を表し、ｎ（ｘ_ｉ）は相加性画像ノイズを表し、ｎは信号強度に依存するポアソンノイズを表し、ｘ_ｉは入力ボクセルを表し、＊はコンボリューションを表す。デコンボリューションにおいて、すなわち実際の画像

【数3】

の推定の計算において、画像ノイズはノイズ成分によって表現される。

【0003】

デジタル入力画像を、２次元またはそれよりも高次の次元とすることができる。したがって一般的に言えば、入力画像をｎ次元とすることができ、ただしｎは１よりも大きい整数であり、ｎ≧２である。

【0004】

入力ボクセルｘ_ｉ各々において、入力画像は少なくとも１つの画像パラメータＩによって表現され、これは特に光の強度で表すことのできるデジタル値である。デジタル入力画像が２次元であるならば、１つのボクセルは１つのピクセルである。もっと一般的に言えば、入力画像がｎ次元であるならば、１つのボクセルをｎ次元のデータ構造とすることができる。ｎ次元を、例えば空間的（３次元）画像および／または２つ以上の色チャネルを有する２次元の画像から生じさせることができる。例えば入力画像はボクセルごとに、Ｒ，Ｇ，Ｂ値および／または可視光および非可視光の範囲内にある他の色、ＵＶ値、ＩＲ値、ＮＩＲ値のうちのいずれか１つまたはこれらの組み合わせのような種々のスペクトル帯域において、複数の強度値を有することができ、あるいは単一のグレースケール強度値を有することができる。

【0005】

ここでは、また、以下では、入力ボクセルは、入力画像内の１つのロケーションｘ_ｉを示し、ここでｎ次元の画像についてｘ_ｉを、ｎ個の局所座標のｎタプルｘ_ｉ＝｛ｘ_１，．．．，ｘ_ｎ｝によって表現することができる。例えば２次元のＲＧＢ画像の場合にはｎ＝５が適用され、その理由は、この画像の２つの空間座標ｘ、ｙおよび３つの色チャネルが存在するからであり、Ｒ，Ｇ，Ｂ：ｘ_ｉ＝｛ｘ_１，．．．，ｘ_５｝＝｛ｘ，ｙ，Ｒ，Ｇ，Ｂ｝となるからである。択一的に、ＲＧＢ入力画像を３つの独立した２次元グレースケール画像Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）と見なすことができ、ここでＲ，Ｇ，Ｂは例えば個々の色帯域における光強度Ｉを表す。入力画像を３次元とすることもできる。３次元のグレースケール画像であればｎ＝３であり、ｘ_ｉ＝｛ｘ_１，ｘ_２，ｘ_３｝＝｛ｘ，ｙ，ｚ｝である。

【0006】

ノイズのある入力画像のデコンボリューションのためには、信号対ノイズ比に関する知識が必要とされる。実施にあたって、画像ノイズと信号対ノイズ比を推定しなければならない。このためデコンボリューションによっても、実際の入力画像

【数4】

の近似ｆ（ｘ_ｉ）しか計算できない。

【0007】

標準デコンボリューションアルゴリズムに欠けているのは、顕微鏡または内視鏡など特定の用途において最適な結果をもたらすことであり、そのような用途において、特に蛍光画像の画像特性は、人物像、景色、娯楽画像、芸術画像など他の用途において直面する画像特性とは異なる。しかも信号対ノイズ比の精巧な推定および計算は、特に最新の画像は空間解像度が高められている点からすれば、リアルタイムで実行するには、とりわけ６０Ｈｚのような高いフレームレートでデコンボリューションを維持し続けるべきときには、すぐに負荷が大きくなりすぎてしまう可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって本発明の課題は、特に蛍光画像、内視鏡画像および／または顕微鏡画像の場合に、デコンボリューション性能が改善された装置および方法を提供することにある。さらに本発明の課題は、高解像度のデジタル入力画像をリアルタイムでデコンボリューション可能な装置および方法を提供することにある。

【課題を解決するための手段】

【0009】

本発明によればこの課題は、請求項１記載の方法により解決される。この方法は、複数の入力ボクセルを有するデジタル入力画像、特に顕微鏡または内視鏡から取得された、かつ／または蛍光を用いたデジタル入力画像、のデコンボリューションのための方法に関する。この方法は、
デジタル入力画像の入力領域内で局所的信号対ノイズ比を計算するステップであって、入力領域は、デジタル入力画像の複数の入力ボクセルの部分集合から成り目下の入力ボクセルを取り囲んでいるステップと、
局所的信号対ノイズ比からノイズ成分を計算するステップであって、このノイズ成分は、デコンボリューションにおける画像ノイズを表すステップと、
を有し、
この場合、ノイズ成分を、予め定められたＳＮＲ上限閾値を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値に制限し、予め定められたＳＮＲ下限閾値を下回る局所的信号対ノイズ比であれば、予め定められた最大ノイズ値に制限する。

【0010】

さらに上述の課題は、本発明によれば請求項１３記載の医療用観察装置のための画像プロセッサによっても解決される。この画像プロセッサは、
複数の入力ボクセルを有するデジタル入力画像を格納するためのストレージセクションまたはメモリセクションと、
複数の入力ボクセルからデコンボリューションされた出力画像を計算するためのデコンボリューションエンジンと、
を有し、
この場合、デコンボリューションエンジンは、１つの入力ボクセルにおける局所的信号対ノイズ比に依存するノイズ成分を有し、局所的信号対ノイズ比は、デジタル入力画像の複数の入力ボクセルの部分集合から成る１つの入力領域内で計算され、
この場合、画像プロセッサは、予め定められたＳＮＲ上限閾値と予め定められたＳＮＲ下限閾値を含み、さらに
この場合、ノイズ成分は、予め定められたＳＮＲ上限閾値を上回る局所的信号対ノイズ比であれば、予め定められた最小ノイズ値に制限され、予め定められた信号対ノイズ下限閾値を下回る局所的信号対ノイズ比であれば、予め定められた最大値に制限される。

【0011】

本発明による解決手段によれば、入力領域についてのみ計算される局所的信号対ノイズ比を用いることにより、デコンボリューションされた出力画像の品質が改善され、すなわちノイズが低減され、かつ鮮明度が高められるようになる。これと同時に、本発明による方法および装置によれば、相加性ノイズ成分の計算を、入力ボクセルを取り囲んでいる局所的入力領域に制限することによって、さらにＳＮＲ上限閾値とＳＮＲ下限閾値を導入することによって、計算上の利点が実現される。

【0012】

本発明による方法および装置により取得される出力画像の品質が改善される１つの理由として挙げることができるのは、顕微鏡および内視鏡により、かつ／または蛍光を用いることにより、取得されるような生体物質の画像の場合には特に、ノイズの特性がデジタル入力画像全体にわたって異なる可能性がある、ということである。例えば、焦点に位置し細胞または組織の照射された部分または蛍光を発する部分を示す画像の領域内のノイズの特性は、ほとんど黒色または白色のバックグラウンドを含む領域の場合と同じものにはなり得ない。

【0013】

さらに観察されたのは、予め定められたＳＮＲ上限閾値を上回る大きい局所的信号対ノイズ比であれば、画像は十分に良好であり、正則化パラメータのさらなる計算を実施する必要がない、ということである。このため、予め定められたＳＮＲ上限閾値を上回る信号対ノイズ比であれば、ノイズ成分を予め定められた最小ノイズ値に設定することができる。

【0014】

さらに観察されたのは、著しく小さい局所的信号対ノイズ比であり、ＳＮＲ＜１またはそれどころかＳＮＲ＜＜１であると、予め定められた最大値を上回ってノイズ成分が増加してしまう可能性があり、このことは、デコンボリューションされた出力画像において改善された結果をもたらすものではない。よって、信号対ノイズが予め定められたＳＮＲ下限閾値を下回って降下したならば、ノイズ成分は予め定められた最大ＳＮＲ値に制限される。

【0015】

本発明による解決手段を、以下の特徴のうちの１つまたは複数を加えることによってさらに改善することができ、それらの特徴を互いに別個に組み合わせることができる。

【0016】

例えば画像プロセッサを、ソフトウェアデバイス、ハードウェアデバイス、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとすることができる。画像プロセッサは、ＣＰＵ、アレイプロセッサ、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡおよび／またはＦＰＵのうちの少なくとも１つを有することができる。画像プロセッサを特に、配列処理アセンブリおよび／または並列処理アセンブリを実行するのに適したものとすることができる。画像プロセッサは、１つまたは複数のソフトウェアモジュールを有することができ、このモジュールは動作中、例えばトランジスタ状態を変更することにより、プロセッサの物理的構造を変更する。

【0017】

入力画像の１つのボクセルｘ_ｉにおける信号対ノイズ比ＳＮＲ（ｘ_ｉ）を、信号レベルまたは信号強度Ｓ（ｘ_ｉ）とノイズレベルＮ（ｘ_ｉ）との比として、入力領域Ｒ（ｘ_ｉ）において計算することができる：

【数5】

【0018】

別の実施形態において、信号対ノイズ比を、

【数6】

のようにして計算することができる。

【0019】

デジタル入力画像のすべての入力ボクセルｘ_ｉについて局所的信号対ノイズ比が計算されたならば、ボクセル間の滑らかな遷移を保証するために、ローパスフィルタまたはガウシアンフィルタといった線形フィルタを用いて、結果として生じたｎ次元配列ＳＮＲ（ｘ_ｉ）をブラー処理することができる。

【0020】

好ましくは、目下のボクセルを取り囲んでいる予め定められた入力領域内のピクセルのみが、その特定の目下のボクセルにおける局所的信号対ノイズ比を計算するために用いられる。特に、ノイズレベルＮ（ｘ_ｉ）と信号レベルＳ（ｘ_ｉ）を、各々（同じ）入力領域においてのみ計算することができる。

【0021】

１つの実施形態によれば、１つの入力ボクセルｘ_ｉにおける信号レベルまたは信号強度Ｓ（ｘ_ｉ）を、局所的ＳＮＲ推定のために入力領域Ｒ（ｘ_ｉ）においてブラーカーネルｋ_ｂ（ｘ_ｉ）により入力画像Ｉ（ｘ_ｉ）をコンボリューションし、このコンボリューションの最大値をとることによって、推定することができる：

【数7】

ここでΩは、コンボリューションが実行される領域である。

【0022】

１つの実施形態によれば、入力領域は、２００～１０００個の入力ボクセルを含むことができ、より好ましくは３００～７００個の入力ボクセル、最も好ましくは約５００個の入力ボクセルを含むことができる。このサイズの入力領域は、信頼性のある統計的推定をもたらすのに十分な大きさであり、これと同時に、異なるノイズ特性を有する画像内の領域まで及ぶほどには大きすぎない。

【0023】

ブラーカーネルを、例えば以下の形態を有するガウシアンフィルタなどの線形フィルタとすることができる：

【数8】

ここで０．５＜σ_ｉ＜１．０であり、特にσ_ｉ≒０．７５である。線形フィルタは、例えば３×３または５×５のサイズを有することができる。ＧＰＵにおいてかかる２次元のブラーカーネルをそのまま計算するのは、例えば１×３または１×５のカーネルを用いた別個の１次元のパスよりも高速である。

【0024】

別の実施形態によれば、１つの入力ボクセルｘ_ｉにおけるノイズレベルＮ（ｘ_ｉ）を、有利な実施形態において入力領域内のデジタル入力画像に基づき、以下のようにして分散を計算することにより推定することができる：

【数9】

【0025】

ここでＩ’（ｘ_ｉ）は、入力画像のｎ次元のいずれかにおけるロケーションｘ_ｉでの入力画像および任意の次数の微分値または勾配である。微分値Ｉ’を例えば、入力領域Ｒ内の入力画像Ｉに線形離散演算子

【数10】

を適用することによって取得することができる。

【数11】

【0026】

特に、

【数12】

を、ソーベル演算子またはラプラス演算子などのエッジ検出フィルタ、または

【数13】

のような１次、２次、またはそれよりも高次の勾配演算子、またはかかる線形演算子の任意の線形結合とすることができる。例えば離散における２次の勾配演算子

【数14】

の適用を、２次元の場合に入力ボクセルｘ_ｉ＝｛ａ，ｂ｝，Ω∈Ｒ（ｘ_ｉ）およびＩ_ａｂ＝Ｉ（ａ，ｂ）において

【数15】

のように表現することができ、ここでΩは考察されるボリュームまたは領域である。

【0027】

１つの実施形態によれば、分散を

【数16】

のようにして計算することができ、
ここで

【数17】

は、平均値または期待値の演算子などｎ次元の配列のノルムであり、例えば

【数18】

である。１次元の場合には、ここでｚ_ｑは１次元の離散的な配列である。あとでさらに説明するように、この形式は特に、範囲総和テーブルを用いて高度に計算効率のよい手法でノイズレベルを計算するのに適している。

【0028】

（局所的な）信号対ノイズ比ＳＮＲ（ｘ_ｉ）を計算するために、また、信号対ノイズ比をブラー処理するために、画像プロセッサは信号対ノイズ計算エンジンを有することができ、これを画像プロセッサのハードウェア構成要素またはソフトウェア構成要素または双方の組み合わせとすることができる。１つの実施形態によれば、信号対ノイズ計算エンジンは、少なくとも１つのＣＰＵ、ＧＰＵ、ＦＰＵおよび／または専用ＩＣ例えばＡＳＩＣ、またはこれらの任意の組み合わせなど、別個のハードウェア構成要素、および／または１つまたは複数のサブルーチンなど、別個のソフトウェアモジュールを有することができる。信号対ノイズ計算エンジンを特に、信号レベルとノイズレベルのうちの少なくとも一方も計算するように構成することができる。

【0029】

上述のように、１つの入力ボクセルｘ_ｉにおける信号レベルとノイズレベルのうちの少なくとも一方を、好ましくは両方を、入力領域Ｒ（ｘ_ｉ）においてのみ計算することができる。このため入力領域は、デジタル入力画像の複数の入力ボクセルの部分集合だけから成る。

【0030】

入力領域は好ましくは、複数の入力ボクセルから成る１つの連続した領域である。入力領域は好ましくは、信号対ノイズ比ＳＮＲ（ｘ_ｉ）を計算する対象となる目下の入力ピクセルまたは入力ボクセルを取り囲んでいる。したがって信号対ノイズ比は局所的な値であり、この値は、各々が好ましくは同じ形状およびサイズであるそれぞれ異なる入力領域が、各入力ボクセルについて用いられることから、入力ボクセルごとに異なる。

【0031】

好ましくは、信号レベルおよび／またはノイズレベルの計算のために入力ボクセルが考慮される入力領域は、少なくとも２回転対称性を有する。各々連続している複数のいっそう小さいｎ次元の直方体領域によって、入力領域を１つのｎ次元の直方体の形状とは逸脱したものとしてもよい。例えば入力領域を、２次元の場合であれば、それ自体が入力領域の一部ではない１つまたは複数の長方形によって、長方形または正方形の形状とは異なるようにすることができる。

【0032】

特に入力領域を、複数の入力ボクセルから成る、特に複数の入力ボクセルを有する複数の長方形から成る、ｎ次元のガウス状の、円形の、メキシコ帽状の、または星形の、連続的な配置とすることができ、あるいはそれらの離散近似とすることができる。

【0033】

入力領域は、入力ピクセルの複数のｎ次元の直方体領域を重畳した結果として生じる形状を有することができる。２次元の場合、各々が少なくとも２×２または４×４のボクセルを有し得る複数の長方形の重畳によって、入力領域を構成することができる。

【0034】

１つの実施形態によれば、ノイズレベルを計算する対象となる目下の入力ボクセルに至るまでのほうが、目下の入力ボクセルからいっそう遠くに離間された入力領域内の入力ボクセルに至るまでよりも近い入力領域内の入力ボクセルに、いっそう大きい重み付けを割り当てることができる。かかる重み付けによって、入力領域がその境界に向かって滑らかに徐々にぼやけていくようになり、したがって入力ボクセル全体にわたり局所的なノイズレベルがいっそう滑らかに分布するようになる。

【0035】

入力領域内での

【数19】

を用いた局所的ノイズレベルの計算は、好ましくは範囲総和テーブルを用いて行われる。これにより局所的信号対ノイズ比を、高度に計算効率のよい手法で求めることができる。範囲総和テーブルについては、Crow, Franklin C.著の"Summed-area tables for texture mapping", ACM SIGGRAPH computer graphics, (18) 3, 1984において説明されている。範囲総和テーブルのｎ次元のバージョンについては、Tapia, Ernesto著の"A note on the computation of high-dimensional integral images", Pattern Recognition Letters, 32 (2), 2011に記載されている。

【0036】

好ましくはノイズレベルを計算する前に、入力領域全体にわたって総和する必要があるパラメータごとに、別個の範囲総和テーブルを生成することができる。

【0037】

例えば分散を

【数20】

のようにして計算するならば、

【数21】

について１つの範囲総和テーブルを生成することができ、この範囲総和テーブルが計算されてしまったならば、

【数22】

について別個の範囲総和テーブルを生成することができる。

【0038】

少なくとも１つの範囲総和テーブルを画像プロセッサの一部とすることができ、このことは例えば、画像プロセッサのストレージセクションに少なくとも一時的に格納することによって、かつ／または画像プロセッサのメモリを範囲総和テーブルの格納のために割り当てる命令によって行われる。

【0039】

分散という観点でノイズレベルを定義し、範囲総和テーブルを用いてこの分散自体を計算することによって、高度に計算効率のよいデコンボリューションアルゴリズムがもたらされ、このアルゴリズムによれば、単一の大域的信号対ノイズ比の代わりに複数の局所的信号対ノイズ比を計算することにより生じる余分な負荷が格段に低減される。

【0040】

範囲総和テーブル各々は、入力画像と同じ次元を有する複数の値から成るデジタル配列である。

【0041】

上述のように、ノイズレベルを入力領域内の微分値の分散すなわち２次の統計モーメントを計算することによって推定することができるけれども、ノイズレベルを計算するためにいっそう高次のｎ次の統計モーメントを用いることもできる。一般にｎ次の統計モーメント

【数23】

を、範囲総和テーブルを用いて計算することもできる。

【0042】

範囲総和テーブルを用いて、入力領域のサイズと形状を、目下の入力ボクセルに対し相対的に範囲総和テーブル内の座標を選択することによって、暗黙的に定義することができ、それらの座標によって、統計モーメントを計算するために用いられる総和値のブロックすなわちｎ次元の直方体が定義される。入力領域を解釈するために複数の範囲総和テーブルのブロックを結合することによって、ブロックがオーバラップした場所に位置する入力ボクセルは、いっそう大きい重み付けを自動的に獲得する。このことは、ブロックのオーバラップが入力領域の中央に位置しているような場合に好ましい。したがってこの領域に、いっそう大きい重み付けを自動的に割り当てることができる。

【0043】

本発明による画像プロセッサの場合、画像プロセッサは範囲総和テーブルジェネレータを有することができ、この範囲総和テーブルジェネレータは、領域の範囲総和テーブルを計算し、この範囲総和テーブルを用いてノイズレベルを計算するように構成されている。範囲総和テーブルジェネレータを、ハードウェアデバイス、ソフトウェアデバイス、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとすることができる。

【0044】

計算効率をさらに向上させるために、入力領域の少なくとも１つの範囲総和テーブルを、プレフィックスサムの並列計算によって生成することができる。このステップを迅速に実施する目的で、画像プロセッサまたは特に範囲総和テーブルジェネレータは好ましくは、少なくとも１つのプレフィックスサムジェネレータを有し、これをハードウェアデバイス、ソフトウェアデバイスまたはこれら２つの組み合わせとすることができる。ハードウェアデバイスは、ＧＰＵなどのアレイプロセッサ、または例えば複数のＧＰＵ、ＣＰＵおよび／またはＦＰＵを有する並列処理アセンブリを有することができる。ソフトウェアデバイスは、ハードウェアデバイスのための命令セットを有することができる。動作中、ハードウェアセットは、プレフィックスサムの並列計算を実行するために、ソフトウェアデバイスの命令セットに基づきその構造を変更することができる。プレフィックスサムジェネレータは、プレフィックスサムを並列方式で計算するように構成されている。

【0045】

様々な方法を用いてデコンボリューションを行うことができる。

【0046】

例えば、ウィーナーフィルタを用いてウィーナーデコンボリューションを実行することができる。この実施形態の場合、出力画像ｆ（ｘ_ｉ）を、観察された画像すなわちデジタル入力画像から、以下のようにして推定することができる：

【数24】

【0047】

ここでＦは、括弧内の量のｎ次元の離散フーリエ変換を表し、Ｆ［ｈ（ｘ_ｉ）］^＊は、ｈ（ｘ_ｉ）の離散フーリエ変換の複素共役である。項

【数25】

はウィーナーフィルタである。項βはウィーナーフィルタのノイズ成分であり、１つの好ましい実施形態によれば、これは上述のように局所的信号対ノイズ比ＳＮＲに依存して選択され、すなわちβ＝β（ＳＮＲ（ｘ_ｉ））である。

【0048】

別の実施形態によれば、ルーシー－リチャードソンデコンボリューションといった最大事後確率デコンボリューションを用いることができる。ルーシー－リチャードソンデコンボリューションについては例えば、Fish D. A.; Brinicombe A. M.; Pike E. R.; Walker J. G.著の"Blind deconvolution by means of the Richardson-Lucy algorithm", Journal of the Optical Society of America A, 12 (1), p. 58-65 (1995)に記載されている。ルーシー－リチャードソンデコンボリューションは特に、計算性能を向上させるためにスケーリングされた勾配投影を用いることができる。

【0049】

ルーシー－リチャードソンデコンボリューションにおいて、出力画像について以下の反復計算が実施される：

【数26】

ここでｋ番目の反復において、出力画像としてｆ^（ｋ）（ｘ_ｉ）つまり実際の画像の推定が用いられる。コンボリューションは＊によって表され、ｈ^Ｔ（ｘ_ｉ）＝ｈ（－ｘ_ｉ）は、結像システムまたはレンズの反転されたＰＳＦ（点像分布関数）である。関数Ｖ（ｘ_ｉ）は、正則化関数Ｒ_ｒｅｇ（ｘ_ｉ）の導関数である：

【数27】

【0050】

正則化関数Ｒ_ｒｅｇ（ｘ_ｉ）を、全変動

【数28】

すなわち勾配のノルム、チホノフ正則化

【数29】

およびグッズラフネス（Good’s roughness）

【数30】

、またはかかる関数の任意の好ましくは線形結合のうちの少なくとも１つとすることができる。

【0051】

項ｂ（ｘ_ｉ）はバックグラウンドパラメータである。好ましくは、バックグラウンドパラメータは、局所的信号対ノイズ比に依存するように選択され、すなわちｂ（ｘ_ｉ）：＝ｂ（ＳＮＲ（ｘ_ｉ））である。さらなる実施形態によれば、バックグラウンドパラメータを局所的信号対ノイズ比の線形関数とすることができる。

【0052】

特に鮮明なデコンボリューションされた画像をもたらす１つの実施形態によれば、バックグラウンドパラメータは、局所的信号対ノイズ比が予め定められたＳＮＲ下限閾値を上回ると、最小値に到達する。これに加え、または択一的に、バックグラウンドパラメータは、局所的信号対ノイズ比が予め定められたＳＮＲ上限閾値を下回ると、最大値に到達することができる。

【0053】

バックグラウンドパラメータは、例えば入力画像全体について上述のように計算されたノイズレベルに依存するスケーリングファクタを含むことができる。

【0054】

パラメータβは、デコンボリューションのノイズ成分に対応し、本発明の１つの実施形態によれば、局所的信号対ノイズ比に依存するように選択され、すなわちβ：＝β（ＳＮＲ（ｘ_ｉ））である。局所的信号対ノイズ比を上述のようにして計算することができる。

【0055】

デジタル入力画像に適用される特定のデコンボリューション方法にかかわらず、ノイズ成分β（ＳＮＲ）は、局所的信号対ノイズ比の連続関数として計算される。特に、ノイズ成分を単調とすることができ、好ましくは、予め定められたＳＮＲ下限閾値ＳＮＲ_ｍｉｎにおける予め定められた最大ノイズ値β_ｍａｘ、β（ＳＮＲ_ｍｉｎ）＝β_ｍａｘと、予め定められた最大ＳＮＲ値ＳＮＲ_ｍａｘにおける予め定められた最小ノイズ値β_ｍｉｎと、の間で減少する厳密に単調な関数とすることができる。

【0056】

特にノイズ成分βは、

【数31】

に依存する線形関数、多項式関数および三角関数のうちの少なくとも１つを有することができる。

【0057】

良好なデコンボリューション結果をもたらす１つの固有の実施形態によれば、ダイナミックレンジの１～１０％になるように、特に約５％になるように、β_ｍａｘを選択することができる。後者の場合、β_ｍａｘを約０．０５とすることができる。ＳＮＲ_ｍｉｎの値をゼロとすることができ、つまりＳＮＲ_ｍｉｎ＝０とすることができる。

【0058】

特に顕微鏡または内視鏡により記録されるデジタル入力画像に関して、正則化パラメータが切り捨てられる大きさである予め定められた最大ＳＮＲ値ＳＮＲ_ｍａｘは、２よりも大きく、好ましくは５よりも小さく、最も好ましくは約３である。

【0059】

ノイズ成分の勾配

【数32】

が、ＳＮＲ＝０において、かつ／または予め定められた最大ＳＮＲ値ＳＮＲ_ｍａｘにおいて、これら２つの値の間にある中間領域におけるものよりも、すなわち約

【数33】

におけるものよりも小さければ、デコンボリューションに関して良好な結果が得られた。

【0060】

著しく良好なデコンボリューション結果をもたらすさらなる好ましい実施形態によれば、ノイズ成分βは、

【数34】

を用いて計算され、ここでＳＮＲ_ｍａｘは予め定められた最大ＳＮＲ値である。

【0061】

上述の課題は、これまで述べてきた実施形態のうちの少なくとも１つにおける画像プロセッサを有する顕微鏡または内視鏡など医療用観察装置によっても解決される。

【0062】

さらに本発明は、これまで述べてきた実施形態のうちのいずれか１つにおける画像処理方法をコンピュータに実行させるプログラムを格納している非一時的コンピュータ可読媒体にも関する。

【0063】

次に、１つまたは複数の実施形態を用いて図面を参照しながら、本発明の実際の具現化形態について説明する。この説明は一例として用いられているにすぎず、本発明およびその特徴を図面に示し以下で説明することに限定しようというものでは決してない。むしろ実施形態に示されている特徴の組み合わせを、これまで述べてきたように変更することができる。例えば、１つの実施形態の複数の特徴のうちの１つまたは複数を、その技術的効果が特定の具現化形態のために不要であるならば、省略することができる。同様に、これまで述べてきた特徴のうちの１つまたは複数を、その特定の特徴の技術的効果がある特定の用途に有利であるならば、加えることができる。

【0064】

図中、構造と機能のうちの少なくとも一方に関して互いに対応する要素に対しては、同じ参照符号が用いられている。

【図面の簡単な説明】

【0065】

【図1】本発明による医療用観察装置を示す概略図である。

【図2】入力領域の一例を示す図である。

【図3】本発明による方法の概略的なフローチャートを示す図である。

【図4】デコンボリューション前の入力画像を示す図である。

【図5】公知のデコンボリューション方法を用いて図４の入力画像から計算された出力画像を示す図である。

【図6】本発明によるデコンボリューションを用いて図４の入力画像から計算された出力画像を示す図である。

【発明を実施するための形態】

【0066】

図１を参照しながら、最初に、本発明による画像プロセッサ１の構造について説明する。画像プロセッサ１は、メモリ４および集積回路６といった１つまたは複数のハードウェア構成要素２を有することができる。集積回路６は、少なくとも１つのＣＰＵ、ＧＰＵ、ＦＰＵ、ＡＳＩＣ、ＦＰＧＡおよび／またはこれらの任意の組み合わせを有することができる。画像プロセッサ１を、パーソナルコンピュータ、ラップトップまたはタブレットといったコンピュータ８の一部とすることができる。１つまたは複数のハードウェア構成要素２の代わりに、またはこれに加えて、画像プロセッサ１は、１つまたは複数のハードウェア構成要素２において実行されるように構成されたソフトウェアを有することができる。

【0067】

図１に例示的に示されているように、画像プロセッサ１を、顕微鏡１２（図示）、特に共焦点走査型顕微鏡、または内視鏡（図示せず）など、医療用観察装置１０の一部とすることができる。

【0068】

レンズ１６を有するカメラ１４のような光学記録装置を用いて、医療用観察装置１０は、入力ボクセルｘ_ｉを有するデジタル入力画像Ｉ（ｘ_ｉ）を記録する。デジタル入力画像Ｉ（ｘ_ｉ）は、例えば１つの色チャネルまたは言い換えれば１つのスペクトル帯域における強度を表すデジタル値のｎ次元配列によって表現される。例えばデジタル入力画像Ｉ（ｘ_ｉ）を、ＲＧＢカメラの場合であれば、１つまたは複数の色チャネルＲ，Ｇ，Ｂから構成することができる。

【0069】

カメラ１４をＲＧＢカメラ、モノクロカメラ、マルチスペクトルカメラ、またはハイパースペクトルカメラ、またはかかるカメラの組み合わせを有するアセンブリとすることができ、これらのカメラの画像を結合することができる。カメラ１４を特に、蛍光体が蛍光を放出する１つまたは複数のスペクトル帯域に対し感応性のカメラとすることができる。

【0070】

デジタル入力画像Ｉ（ｘ_ｉ）を２次元またはそれよりも高次の次元とすることができ、この場合、次元において空間の次元と色の次元の両方を考察することができる。カメラ１４は、デジタル入力画像Ｉ（ｘ_ｉ）の時系列１８を記録することができるけれども、以下では単一のデジタル入力画像Ｉ（ｘ_ｉ）について考察する。とはいえこの単一のデジタル入力画像を、例えばｚスタッキングにより得られた画像またはＨＤＲ画像を用いた場合のように、２つ以上のオリジナル入力画像から計算されたものとすることができる。デジタル入力画像Ｉ（ｘ_ｉ）はステレオ画像であってもよい。

【0071】

内視鏡の場合であれば、顕微鏡１２のレンズ１６を光ファイバによって置き換えることができる。他の点では内視鏡と顕微鏡を、本発明の目的に関しては同じものと見なすことができる。

【0072】

画像プロセッサ１は複数の構成要素を有することができ、それらの構成要素各々を画像プロセッサ１自体のように、ハードウェアデバイスとして、ソフトウェアデバイスとして、またはハードウェアデバイスとソフトウェアデバイス双方の組み合わせとして、構成することができる。

【0073】

例えば画像プロセッサ１は、デジタル入力画像Ｉ（ｘ_ｉ）を入力するための入力インタフェース２０を有することができる。入力インタフェース２０によって、カメラ１４への有線または無線のコネクション２２を提供することができる。デジタル入力画像Ｉ（ｘ_ｉ）は、コネクション２２を介してカメラ１４から画像プロセッサ１へ送信される。入力インタフェース２０は、ＨＤＭＩ、ＤＶＩ、Ｂｌｕｅｔｏｏｔｈ、ＴＣＰ／ＩＰまたはＲＧＢコネクション、さらに映像データおよび／または画像データを伝送するタスクに適した他の任意の形式のコネクションなど、デジタル入力画像を受信するための１つまたは複数の標準コネクションを提供することができる。

【0074】

画像プロセッサ１はさらに、デコンボリューションされたデジタル出力画像ｆ（ｘ_ｉ）をストレージ媒体へ、かつ／または接眼レンズ２８、モニタ３０および／またはバーチャルリアリティグラス３２など１つまたは複数のディスプレイデバイス２６へ、出力するための出力インタフェース２４を有することができる。１つまたは複数のディスプレイデバイス２６のうちのいずれかを、立体鏡またはホログラフィーによるものとすることができる。

【0075】

１つまたは複数のディスプレイデバイス２６を、有線および／または無線で出力インタフェース２４に接続することができる。出力インタフェース２４は、デコンボリューションされたデジタル出力画像ｆ（ｘ_ｉ）を１つまたは複数のデジタルディスプレイデバイスに送信するために、ＨＤＭＩ、ＤＶＩ、Ｂｌｕｅｔｏｏｔｈ、ＴＣＰ／ＩＰまたはＲＧＢ、またはデジタル画像データの送信を可能にする他の任意の標準など、１つまたは複数のデータ伝送標準を採用することができる。

【0076】

画像プロセッサ１は、デコンボリューションされたデジタル出力画像ｆ（ｘ_ｉ）を計算するために、デジタル入力画像Ｉ（ｘ_ｉ）のデコンボリューションを実施するように構成されている。

【0077】

図示されている実施形態の場合、画像プロセッサ１はデコンボリューションエンジン３４を有し、これはデジタル入力画像Ｉ（ｘ_ｉ）のデコンボリューションを実施するように構成されている。デコンボリューションを、ウィーナーデコンボリューションまたは最大事後確率デコンボリューション、特にルーシー－リチャードソンデコンボリューションとすることができる。

【0078】

画像プロセッサ１はさらに、範囲総和テーブルジェネレータ３６を有することができ、これは並列プレフィックスサムアルゴリズムを用いて、デジタル入力画像Ｉ（ｘ_ｉ）の少なくとも１つの範囲総和テーブル３８を計算するように構成されている。範囲総和テーブルジェネレータ３６を、画像プロセッサ１のようにハードウェアデバイス、ソフトウェアデバイスまたは双方の組み合わせとすることができる。

【0079】

図示されている実施形態の場合、範囲総和テーブルジェネレータ３６は、入力画像全体について

【数35】

の双方の範囲総和テーブルを計算するように構成されている。ここで

【数36】

は、ソーベルフィルタまたはラプラスフィルタまたは任意の次数の勾配といった線形微分演算子である。図示されている実施形態の場合、

【数37】

であり、

【数38】

は配列の平均を表す。

【0080】

範囲総和テーブルから画像全体のバックグラウンドパラメータｂ_０を、次式に従いただちに計算することができる：

【数39】

【0081】

式

【数40】

は、入力領域Ｒ（ｘ_ｉ）に等しいまたはその部分集合である領域Ω内においてのみ、演算が実行されることを表すために用いられる。入力画像の１つのボクセルｘ_ｉにおける局所的信号対ノイズ比を計算するために、入力領域Ｒ（ｘ_ｉ）が定義される。入力領域は、その後のステップで信号対ノイズ比ＳＮＲ（ｘ_ｉ）を計算すべき対象となるボクセルｘ_ｉを取り囲んでいる。入力領域は、２次元の入力画像の場合には複数の長方形のブロックから成り、ｎ次元の入力画像の場合には複数の直方体から成る。入力領域Ｒ（ｘ_ｉ）は、３００～７００個のボクセルを含み、好ましくは約５００個のボクセルを含む。

【0082】

例示的な実施形態の場合、入力画像は２次元であり、入力領域は複数の長方形によって構成されている。好ましくは複数の長方形は、入力領域Ｒ（ｘ_ｉ）の中央において、特に目下の入力ボクセルｘ_ｉにおいて、オーバラップしている。範囲総和テーブルが用いられるときには、かかるオーバラップによって、中央領域の重み付けが自動的に大きくなる。入力領域の中央で重み付けが大きくなると、入力領域のエッジにおいて滑らかなテーパ化がもたらされ、したがって改善された結果がもたらされる。

【0083】

図２には、３つの長方形４０、４２、４４の重畳により生じ、目下のボクセルｘ_ｉ上にセンタリングされた入力領域Ｒ（ｘ_ｉ）の一例が示されている。この入力領域は、少なくとも２回転対称性を有することができる。当然ながら、他の形状の入力領域を用いてもよい。入力領域Ｒ（ｘ_ｉ）が円形領域に近づくのが好ましい。範囲総和テーブルを用いる際の計算効率を高めるためには、入力領域ができるかぎり僅かな長方形および／またはできるかぎり大きな長方形を含むようにするのが望ましい。複数の長方形の重畳から入力領域を解釈することによって、重み付けが自動的に行われる。図２には、入力領域の種々の長方形部分に重み付け係数が表されている。目下のボクセルが位置しており入力領域の中央にいっそう近い部分は、中央からいっそう離れた部分よりも大きい重み付けを有する。図示されている実施例の場合、重み付け係数はそれぞれ３、２および１である。

【0084】

次いで、入力領域Ｒ（ｘ_ｉ）内のボクセルだけを用いることによって、入力ボクセルｘ_ｉにおけるノイズレベルＮ（ｘ_ｉ）が計算される。入力領域Ｒ（ｘ_ｉ）の形状は、長方形４０、４２、４４を定義することによって暗黙的に決定され、それらの長方形の総和が範囲総和テーブルから抽出される。ノイズレベルは以下のようにして計算される：

【数41】

【0085】

次に、やはり入力領域Ｒ（ｘ_ｉ）内のボクセルだけを用いることによって、信号レベルＳ（ｘ_ｉ）が以下のようにして計算される：

【数42】

【0086】

式ｋ_ｂ（ｘ_ｉ）は、２次元のガウシアンブラーカーネルを表す：

【数43】

【0087】

当然ながら、他のブラーカーネルを用いてもよい。

【0088】

ノイズレベルＮ（ｘ_ｉ）と信号レベルＳ（ｘ_ｉ）の双方が、入力ボクセルｘ_ｉ各々について求められたならば、入力ボクセルｘ_ｉ各々について信号対ノイズ比が、

【数44】

のようにして求められる。

【0089】

結果として生じたデジタル配列ＳＮＲ（ｘ_ｉ）は、入力画像Ｉ（ｘ_ｉ）と同じ次元を有する。好ましくは、配列ＳＮＲ（ｘ_ｉ）はローパスフィルタリングされ、いっそう好ましくは、σ＝０．８を有する３×３または５×５のガウシアンフィルタによってブラー処理される。

【0090】

例えばルーシー－リチャードソンデコンボリューションを用いるように選択されたならば、デコンボリューションされた出力画像ｆ（ｘ_ｉ）を計算するために、以下の反復が実行される：

【数45】

これは以下の収束判定基準が満たされるまで実行される。

【数46】

【0091】

ここでｆ^（ｋ）（ｘ_ｉ）は、ｋ番目の反復においてデコンボリューションされた出力画像を表す。ノイズ成分β（ＳＮＲ（ｘ_ｉ））は、

【数47】

のようにして計算される。ここでＳＮＲ_ｍａｘは最大ＳＮＲ閾値を表し、本実施形態ではこれは４に設定される。

【0092】

バックグラウンドパラメータｂ（ｘ_ｉ）は、本実施形態では信号対ノイズ比の線形関数となるように選択される。これは

【数48】

のようにして計算される。

【0093】

最後に式Ｖ（ｘ_ｉ）が

【数49】

のようにして計算される。

【0094】

収束判定基準が満たされたならば、ｆ^{（ｋ＋１）}（ｘ_ｉ）がデコンボリューションされたデジタル出力画像を表す。出力画像ｆ^{（ｋ＋１）}（ｘ_ｉ）は、複数の値から成るデジタル配列であり、入力画像Ｉ（ｘ_ｉ）と同じ次元を有する。

【0095】

次いで出力画像ｆ^{（ｋ＋１）}（ｘ_ｉ）が出力インタフェース２４へ出力され、そこから出力画像を、表示のために１つまたは複数のディスプレイデバイス２６のいずれかへ、かつ／またはストレージデバイスへ、送ることができる。

【0096】

図３に示されているように、画像プロセッサ１により実行されるデコンボリューションを要約することができる。

【0097】

この方法の開始にあたり、ユーザは、デコンボリューションにおいて用いられる定数および関数を選択することができ、またはこれを画像プロセッサ１によって自動的に、例えばプリセット値として、選択することができる。

【0098】

例えば、ＳＮＲ上限閾値ＳＮＲ_ｍａｘ、ＳＮＲ下限閾値ＳＮＲ_ｍｉｎを定義または変更することができる。

【0099】

ユーザはノイズ成分β（ＳＮＲ（ｘ_ｉ））の形式を、例えば利用可能な関数のリストから、選択することができる。

【0100】

ユーザは、ノイズレベルを計算するための演算子

【数50】

の特定の形式および／または統計モーメントの次数を選択することができる。

【0101】

ユーザは、配列ＳＮＲ（ｘ_ｉ）のブラー処理のために用いられる好ましくは線形のフィルタおよび／またはブラーカーネルｋ_ｂ（ｘ_ｉ）を、例えば利用可能なフィルタのリストから、選択することができる。

【0102】

ユーザは、特定のデコンボリューション方法を選択することができる。例えばユーザは、ウィーナーデコンボリューションと、ルーシー－リチャードソンデコンボリューションのような最大事後確率デコンボリューションと、のいずれかを選択することができる。

【0103】

ウィーナーデコンボリューションが選択されたならば、ユーザは、例えば目下の記録システムに適した点像分布関数などのライブラリから、伝達関数を指定または選択することができる。択一的に、伝達関数または点像分布関数を、メモリセクションまたはストレージセクションに格納することができ、例えば目下用いられているレンズ形式を自動的に検出することによって、顕微鏡または内視鏡の装備に基づき自動的に決定することができる。

【0104】

ルーシー－リチャードソンデコンボリューションが用いられるならば、ユーザは例えば、全変動

【数51】

すなわち勾配のノルム、チホノフ正則化

【数52】

およびグッズラフネス（Good’s roughness）

【数53】

、またはこれらの任意の組み合わせといった利用可能な関数のリストから、正則化関数Ｒ_ｒｅｇ（ｘ_ｉ）を選択することができる。ユーザは、バックグラウンドパラメータｂ（ｘ_ｉ）において用いられる関数を、例えばリストから関数を選択することによって、選択することができる。

【0105】

ユーザは、例えば利用可能な入力領域のリストから選択することによって、または固有の入力領域を指定することによって、入力領域Ｒ（ｘ_ｉ）の形状およびサイズを定義することができる。

【0106】

ユーザはさらに、デコンボリューションにおいて用いられるいずれの定数も設定および／または変更することができる。

【0107】

ステップ５０において、デジタル入力画像Ｉ（ｘ_ｉ）が取得される。このステップを、カメラ１４によって、または画像プロセッサ１によって、実行することができ、カメラ１４または画像プロセッサ１は例えば、メモリ４内に存在する１つまたは複数のデジタル画像、カメラ１４から取得された１つまたは複数のデジタル画像、または双方の組み合わせから、デジタル入力画像Ｉ（ｘ_ｉ）を計算することができる。

【0108】

次のステップ５２において、好ましくはプレフィックスサムなどの並列アルゴリズムを用いて、入力画像Ｉ（ｘ_ｉ）から少なくとも１つの範囲総和テーブル３８が計算される。ステップ５２を、デコンボリューションが計算される前の任意の時点に実施することができる。上述のように、少なくとも次数２を有する統計モーメントを用いてノイズレベルが計算されるならば、２つの範囲総和テーブル３８が計算される。

【0109】

複数の範囲総和テーブル３８を利用可能であれば、目下のボクセルｘ_ｉ周囲の入力領域Ｒ（ｘ_ｉ）内のボクセルのみを用いて、ステップ５４において入力画像Ｉ（ｘ_ｉ）内のすべてのボクセルｘ_ｉについて、局所的ノイズレベルＮ（ｘ_ｉ）が計算される。

【0110】

デコンボリューションが計算される前の任意の時点において、上述のように例えばガウシアンブラーカーネルを用い、ステップ５６に表されているように、入力画像Ｉ（ｘ_ｉ）のすべての入力ボクセルｘ_ｉについて、局所的信号レベルＳ（ｘ_ｉ）が求められる。入力画像Ｉ（ｘ_ｉ）の任意の入力ボクセルｘ_ｉにおいて信号レベルＳ（ｘ_ｉ）を計算するために、入力領域Ｒ（ｘ_ｉ）内のボクセルｘ_ｉのみが用いられる。

【0111】

信号レベルＳ（ｘ_ｉ）とノイズレベルＮ（ｘ_ｉ）が利用可能になれば、ステップ５８において入力画像のすべての入力ボクセルｘ_ｉについて信号対ノイズ比が求められる。

【0112】

各ボクセルｘ_ｉについて信号対ノイズ比を含む結果として生じた配列ＳＮＲ（ｘ_ｉ）を、ローパスフィルタおよび／またはガウシアンフィルタを用いてブラー処理することができる。これはステップ６０によって表されている。

【0113】

ステップ６２においてデコンボリューションが実施され、出力画像ｆ（ｘ_ｉ）が計算される。

【0114】

ステップ６４において表されているように、出力画像ｆ（ｘ_ｉ）に対しさらに後処理を実施することができる。例えば、出力画像に疑似カラーを割り当てることができ、かつ／または入力画像Ｉ（ｘ_ｉ）が蛍光を発する蛍光体の発光帯域内の蛍光画像であるならば、出力画像を他の画像とマージすることができる。

【0115】

ステップ６６において、出力画像ｆ（ｘ_ｉ）をディスプレイデバイス２６に表示させることができ、かつ／またはディスクまたはメモリカードといったストレージデバイス（図示せず）に格納することができる。

【0116】

図４～図６から、入力画像Ｉ（ｘ_ｉ）のデコンボリューションの結果が明らかになる。図４には入力画像Ｉ（ｘ_ｉ）が示されている。図５には、慣用のルーシー－リチャードソンデコンボリューションによって得られるような出力画像が示されており、このようなデコンボリューションにおいては、バックグラウンドパラメータおよびノイズ成分において、画像全体に関する大域的信号対ノイズ比だけしか用いられていなかった。

【0117】

図６には、本発明の例示的な実施形態の状況において説明したデコンボリューションを用いた結果が示されている。

【0118】

図５と図６との比較によりはっきりと示されているのは、本発明による実施形態のデコンボリューションは、慣用のデコンボリューションよりもいっそう効率的にノイズを低減することができ、かついっそう詳細な細部をレンダリングすることができる、ということである。

【0119】

これと同時に、原理的に、局所的信号対ノイズ比を用いるのは大域的信号対ノイズ比を用いるよりも計算にいっそう時間がかかるが、統計モーメントの観点から、また、プレフィックスサムにより計算される範囲総和テーブルの観点から、ノイズレベルを定義することによって、デコンボリューションされた出力画像ｆ（ｘ_ｉ）の迅速な計算が可能となる。

【符号の説明】

【0120】

１ 画像プロセッサ
２ ハードウェア構成要素
４ メモリ
６ 集積回路
８ コンピュータ
１０ 医療用観察装置
１２ 顕微鏡
１４ カメラ
１６ レンズ
１８ 入力画像の時系列
２０ 入力インタフェース
２２ カメラと画像プロセッサとの間のコネクション
２４ 出力インタフェース
２６ ディスプレイデバイス
２８ 接眼レンズ
３０ モニタ
３２ バーチャルリアリティグラス
３４ デコンボリューションエンジン
３６ 範囲総和テーブルジェネレータ
３８ 範囲総和テーブル
４０、４２、４４ 入力領域を構成する長方形
５０ デジタル入力画像を取得するステップ
５２ 範囲総和テーブルを計算するステップ
５４ ノイズレベルを計算するステップ
５６ 信号レベルを計算するステップ
５８ 信号対ノイズ比を計算するステップ
６０ 信号対ノイズ比配列をブラー処理するステップ
６２ 入力画像のデコンボリューションにより出力画像を計算するステップ
６４ 出力画像の後処理
６６ 出力画像を表示および／または格納するステップ
ｂ_０，ｂ（ｘ_ｉ） バックグラウンドパラメータ
ｆ（ｘ_ｉ） デコンボリューションされたデジタル出力画像
ｆ^{（ｋ＋１）}（ｘ_ｉ） 出力画像の反復計算における（ｋ＋１）番目の反復

【数54】

実際の画像
ｈ（ｘ_ｉ） 記録システムの伝達関数
Ｉ（ｘ_ｉ） デジタル入力画像
ｋ_ｂ（ｘ_ｉ） ブラーカーネル
Ｎ（ｘ_ｉ） ノイズレベル
Ｒ（ｘ_ｉ） 信号レベル、ノイズレベルおよび信号対ノイズ比のうちの少なくとも１つを求めるための入力領域
Ｒ_ｒｅｇ（ｘ_ｉ） 正則化関数
Ｓ（ｘ_ｉ） 信号レベル
ＳＮＲ（ｘ_ｉ） 信号対ノイズ比
ＳＮＲ_ｍａｘ （予め定められた）ＳＮＲ上限閾値
ＳＮＲ_ｍｉｎ （予め定められた）ＳＮＲ下限閾値
Ｖ（ｘ_ｉ） 正則化関数の汎関数微分
ｘ_ｉ ボクセル

【数55】

微分演算子

【数56】

配列の平均
ａ，ｂ，ｃ，ｎ，ｘ，ｙ 座標、変数
β（ｘ_ｉ） デコンボリューションのノイズ成分
β_ｍａｘ （予め定められた）最大ノイズ値
β_ｍｉｎ （予め定められた）最小ノイズ値
Ω 演算が実行される入力画像の領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】