特許 6906593 画像処理装置、蛍光観察装置および第１のタイプの蛍光観察装置を第２のタイプの蛍光観察装置においてエミュレートするための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6906593

(24)【登録日】2021年7月1日

(45)【発行日】2021年7月21日

(54)【発明の名称】画像処理装置、蛍光観察装置および第１のタイプの蛍光観察装置を第２のタイプの蛍光観察装置においてエミュレートするための方法

(51)【国際特許分類】

   A61B 1/00 20060101AFI20210708BHJP

   G02B 21/00 20060101ALI20210708BHJP

   G02B 23/24 20060101ALI20210708BHJP

   A61B 1/045 20060101ALI20210708BHJP

   G01N 21/64 20060101ALI20210708BHJP

   G06T 1/00 20060101ALI20210708BHJP

【ＦＩ】

   A61B1/00 511

   G02B21/00

   G02B23/24 A

   A61B1/00 730

   A61B1/045 610

   G01N21/64 Z

   G01N21/64 F

   G06T1/00 290Z

【請求項の数】15

【外国語出願】

【全頁数】29

(21)【出願番号】特願2019-229338(P2019-229338)

(22)【出願日】2019年12月19日

(65)【公開番号】特開2020-99695(P2020-99695A)

(43)【公開日】2020年7月2日

【審査請求日】2019年12月19日

(31)【優先権主張番号】18215010.2

(32)【優先日】2018年12月21日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【審査官】 遠藤 直恵

(56)【参考文献】

【文献】 特開２０１５−１３９６５７（ＪＰ，Ａ）

【文献】 特開２００３−１５９２１０（ＪＰ，Ａ）

【文献】 特開２００４−０００５０５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０２８００２９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １／００ −１／１４

Ｇ０２Ｂ １９／００ −２１／３６，２３／２４−２３／２６

(57)【特許請求の範囲】

【請求項1】

第１のタイプ（８２）の蛍光観察装置（１）を第２の異なるタイプ（６３）の蛍光観察装置（１）においてエミュレートするための画像処理装置（６４）において、
前記画像処理装置は、画像プロセッサ（７３）を含んでおり、少なくとも１つのデジタル蛍光画像（２０）を検索するように構成されており、
前記少なくとも１つのデジタル蛍光画像（２０）は、蛍光体（８）の蛍光スペクトル（１８）で前記第２のタイプ（６３）の蛍光観察装置（１）の画像記録システム（６２）によって記録された対象（６）を表現し、
前記画像処理装置は、タイプエミュレーションモジュール（１０８）を含んでおり、前記タイプエミュレーションモジュールは、前記第１のタイプ（８２）の蛍光観察装置（１）の画像記録システム（６２）を代理するものであり、
前記画像プロセッサ（７３）は、前記タイプエミュレーションモジュール（１０８）を、前記少なくとも１つのデジタル蛍光画像に適用し、前記少なくとも１つのデジタル蛍光画像への前記タイプエミュレーションモジュール（１０８）の適用からデジタルエミュレート蛍光出力画像（７２）を計算するように構成されており、
前記画像処理装置は、さらに、前記デジタルエミュレート蛍光出力画像（７２）を出力するように構成されている、
画像処理装置（６４）。

【請求項2】

前記タイプエミュレーションモジュール（１０８）は、デジタル背景エミュレーションフィルタ（１１０）を含んでおり、
前記デジタル背景エミュレーションフィルタは、
−前記第１のタイプ（８２）の蛍光観察装置の光源（９０）の背景照明スペクトル（１０１）と、
−前記光源と前記第１のタイプの蛍光観察装置の観察エリア（４８）との間に位置する光学照明フィルタ（８６）と、
−前記第１のタイプの蛍光観察装置のカメラシステム（２）と前記第１のタイプの観察エリア（４８）との間に位置する光学記録フィルタ（８８）と、
のうちの少なくとも１つを代理するものである、
請求項１記載の画像処理装置（６４）。

【請求項3】

前記タイプエミュレーションモジュール（１０８）は、デジタル蛍光エミュレーションフィルタ（１２０）を含んでおり、
前記デジタル蛍光エミュレーションフィルタ（１２０）は、
−蛍光体（８）の前記蛍光スペクトル（１８）と、
−前記第１のタイプ（８２）の蛍光顕微鏡または蛍光内視鏡のカメラシステム（２）と前記第１のタイプの観察エリア（４８）との間に位置する光学記録フィルタ（８８）と、
のうちの少なくとも１つを代理するものである、
請求項１または２記載の画像処理装置（６４）。

【請求項4】

前記画像処理装置は、前記第２のタイプ（６３）の蛍光観察装置（１）によって記録された、白色光によって照明された前記対象（６）を表現する少なくとも１つのデジタル白色光カラー画像（４）を検索し、前記タイプエミュレーションモジュール（１０８）が適用された前記少なくとも１つのデジタル蛍光画像（２０）と、前記少なくとも１つのデジタル白色光カラー画像と、の組み合わせから前記デジタルエミュレート蛍光出力画像（７２）を計算するようにさらに構成されている、
請求項１から３までのいずれか１項記載の画像処理装置（６４）。

【請求項5】

前記画像プロセッサ（７３）は、前記タイプエミュレーションモジュール（１０８）を前記少なくとも１つのデジタル白色光カラー画像（４）に適用し、前記タイプエミュレーションモジュール（１０８）が適用された前記少なくとも１つのデジタル蛍光画像（２０）と、前記タイプエミュレーションモジュール（１０８）が適用された前記少なくとも１つのデジタル白色光カラー画像と、の組み合わせから、前記デジタルエミュレート蛍光出力画像（７２）を計算するように構成されている、
請求項４記載の画像処理装置（６４）。

【請求項6】

前記タイプエミュレーションモジュール（１０８）は、デジタル減衰フィルタ（１３１）を含んでおり、前記画像プロセッサ（７３）は、前記デジタル減衰フィルタを前記少なくとも１つのデジタル白色光カラー画像および前記少なくとも１つのデジタル蛍光画像のうちの少なくとも１つに適用することによって、前記少なくとも１つのデジタル白色光カラー画像（４）および前記少なくとも１つのデジタル蛍光画像（２０）の強度（Ｉ）を相互に調整するように構成されている、
請求項４または５記載の画像処理装置（６４）。

【請求項7】

画像プロセッサ（７３）は、デジタル画像パターン（１５４）を生成するように構成されたパターン生成器（１５６）を含んでおり、
前記画像プロセッサ（７３）は、
前記タイプエミュレーションモジュール（１０８）を使用して計算された前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）と、
前記タイプエミュレーションモジュールを使用せずに計算された、または別のタイプエミュレーションモジュール（１０８）を使用して計算された少なくとも１つのデジタルエミュレート蛍光出力画像（７２）と、
の差分を計算するように構成されており、
前記画像プロセッサは、前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）と、前記差分に割り当てられた前記デジタル画像パターンと、の組み合わせから、少なくとも１つのデジタルパターン画像（１５０）を計算するようにさらに構成されている、
請求項１から６までのいずれか１項記載の画像処理装置（６４）。

【請求項8】

蛍光観察装置（１）、特に蛍光顕微鏡または蛍光内視鏡において、
前記蛍光観察装置（１）は、画像記録システム（６２）と、画像処理装置（６４）と、少なくとも１つの表示装置（７４）と、を含んでおり、
ー前記画像記録システム（６２）は、蛍光体（８）の蛍光スペクトル（１８）で少なくとも１つのデジタル蛍光画像（２０）を記録するように構成されており、
−前記画像処理装置（６４）は、画像プロセッサ（７３）を含んでおり、前記画像記録システムから前記少なくとも１つのデジタル蛍光画像（２０）を受信するように構成されており、
前記画像処理装置は、タイプエミュレーションモジュール（１０８）を含んでおり、前記タイプエミュレーションモジュール（１０８）は、異なるタイプ（８２）の蛍光観察装置（１）の異なる画像記録システム（６２）を代理するものであり、
前記画像プロセッサ（７３）は、前記タイプエミュレーションモジュール（１０８）を、前記少なくとも１つのデジタル蛍光画像に適用し、前記少なくとも１つのデジタル蛍光画像への前記タイプエミュレーションモジュール（１０８）の適用から少なくとも１つのデジタルエミュレート蛍光出力画像（７２）を計算するように構成されており、
前記少なくとも１つの表示装置は、前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）を表示するように構成されている、
蛍光観察装置（１）。

【請求項9】

第１のタイプ（８２）の蛍光観察装置（１）を第２のタイプ（６３）の蛍光観察装置（１）においてエミュレートするための画像処理装置（６４）の作動方法において、前記作動方法は、
−画像記録システム（６２）により、蛍光体（８）の蛍光スペクトル（１８）で前記第２のタイプの蛍光観察装置（１）によって記録された対象（６）を表現する少なくとも１つのデジタル蛍光画像（２０）を検索するステップと、
−前記画像処理装置（６４）の画像プロセッサ（７３）により、前記少なくとも１つのデジタル蛍光画像からデジタルエミュレート蛍光出力画像（７２）を計算するステップと、
−前記画像処理装置（６４）により、表示またはさらなる処理のうちの少なくとも１つのために、前記デジタルエミュレート蛍光出力画像（７２）を出力するステップと、
を含み、
前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）を計算するステップは、
−前記第１のタイプ（８２）の蛍光観察装置（１）の前記画像記録システム（６２）を代理するタイプエミュレーションモジュール（１０８）を前記少なくとも１つのデジタル蛍光画像に適用するステップを含む、
作動方法。

【請求項10】

前記作動方法は、さらに、
−前記画像処理装置（６４）により、白色光で記録された対象（６）を表現する少なくとも１つのデジタル白色光カラー画像（４）を取得するステップを含み、
前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）を計算するステップは、以下のステップ、すなわち、
−前記少なくとも１つのデジタル白色光カラー画像（４）に前記タイプエミュレーションモジュール（１０８）を適用するステップと、
−前記タイプエミュレーションモジュール（１０８）が適用された前記少なくとも１つのデジタル蛍光画像と、前記少なくとも１つのデジタル白色光カラー画像と、から前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）を生成するステップと、
のうちの少なくとも１つを含む、
請求項９記載の作動方法。

【請求項11】

前記タイプエミュレーションモジュール（１０８）を適用するステップは、さらに、前記少なくとも１つのデジタル白色光カラー画像にデジタル背景エミュレーションフィルタ（１１０）を適用して、前記少なくとも１つのデジタル白色光カラー画像（４）のスペクトルを変更するステップを含む、
請求項９または１０記載の作動方法。

【請求項12】

前記タイプエミュレーションモジュール（１０８）を適用するステップは、さらに、前記タイプエミュレーションモジュールのデジタル蛍光エミュレーションフィルタ（１２０）に依存して、疑似色を前記少なくとも１つのデジタル蛍光画像（２０）とマージするステップを含む、
請求項９から１１までのいずれか１項記載の作動方法。

【請求項13】

前記第２のタイプ（６３）の蛍光観察装置は、異なるタイプエミュレーションモジュール（１０８）を使用して、異なるタイプの蛍光観察装置のエミュレーションの切り替えを行う、
請求項９から１２までのいずれか１項記載の作動方法。

【請求項14】

前記画像プロセッサ（７３）により、タイプエミュレーションモジュール（１０８）を使用して取得された前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）と、タイプエミュレーションモジュールを使用せずに、前記少なくとも１つのデジタル白色光カラー画像（４）および前記少なくとも１つのデジタル蛍光画像（２０）から取得された少なくとも１つのデジタルエミュレート蛍光出力画像（７２）と、の差分を求め、前記少なくとも１つのデジタルエミュレート蛍光出力画像（７２）において、デジタル画像パターン（１５４）でマーキングする、
請求項９から１３までのいずれか１項記載の作動方法。

【請求項15】

命令を含むコンピュータプログラムにおいて、
前記命令は、前記コンピュータプログラムがコンピュータによって実行されると、前記コンピュータに、請求項９から１４までのいずれか１項記載の作動方法を実施させる、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、そのような画像処理装置を含んでいる蛍光観察装置、および、第１のタイプの蛍光観察装置を第２の異なるタイプの蛍光観察装置においてエミュレートするための方法に関する。蛍光観察装置は、特に顕微鏡または内視鏡、特に蛍光顕微鏡または蛍光内視鏡であってよく、より詳細には、外科用蛍光顕微鏡または外科用蛍光内視鏡であってよい。

【背景技術】

【0002】

蛍光顕微鏡および蛍光内視鏡などの蛍光観察装置は、手術を非常に容易にし、また病理学を大いに促進する。１種以上の蛍光体が、蛍光観察装置によって観察される対象（ここでは、患者の身体）に注入される。特定のスペクトル範囲、つまり蛍光体の吸収スペクトルにある光による励起に基づき、蛍光体は、蛍光スペクトルにある蛍光を放射する。１種以上の蛍光体は、特定のタイプの組織に集まるように設計されている。例えば、腫瘍に集まる蛍光体が存在するが、別の蛍光体は血流に集まる。したがって、蛍光スペクトルを見ることによって、外科医は、異なるタイプの組織を迅速に区別することができる。つまり外科医は、より良く、蛍光を発する腫瘍または蛍光を発する血管網組織の範囲を判定することができる。したがって、組織の不必要な損傷が阻止され、また腫瘍全体の除去が改善されることによって、蛍光観察装置の使用は、患者の安全性を非常に高める。

【0003】

しかしながら、手術において蛍光観察装置を安全に使用するためには、数年にわたる訓練および経験が必要になる。新たな蛍光技術が開発されても、その新たな技術によって提供される情報を安全に取り扱うために、別の蛍光技術を使用して外科医が訓練を受けることは困難であることが多い。外科医が新たな技術を受け入れることは、その新たな技術に十分に精通していないという恐怖心から生じる責任問題に起因して、障害をきたす場合がある。さらに、他の蛍光技術の能力を基礎とすることによって、新たな蛍光技術または異なる蛍光技術についての訓練を実施する必要がある。

【発明の概要】

【課題を解決するための手段】

【0004】

この問題を解決するために、本発明は、第１のタイプの蛍光観察装置を第２の異なるタイプの蛍光観察装置においてエミュレートするための画像処理装置を提供し、この画像処理装置は、画像プロセッサを含んでおり、少なくとも１つのデジタル蛍光画像を検索するように構成されており、少なくとも１つのデジタル蛍光画像は、蛍光体の蛍光スペクトルで第２のタイプの蛍光観察装置の画像記録システムによって記録された対象を表現し、さらに画像処理装置は、タイプエミュレーションモジュールを含んでおり、このタイプエミュレーションモジュールは、第１のタイプの蛍光観察装置の画像記録システムを代理するものであり、画像プロセッサは、タイプエミュレーションモジュールを、少なくとも１つのデジタル蛍光画像に適用し、少なくとも１つのデジタル蛍光画像へのタイプエミュレーションモジュールの適用からデジタルエミュレート蛍光出力画像を計算するように構成されており、さらに画像処理装置は、デジタルエミュレート出力画像を出力するように構成されている。

【0005】

さらに、本発明は、蛍光観察装置、特に蛍光顕微鏡または蛍光内視鏡に関し、この蛍光観察装置は、画像記録システムと、画像処理装置と、少なくとも１つの表示装置と、を含んでおり、画像記録システムは、蛍光体の蛍光スペクトルで少なくとも１つのデジタル蛍光画像を記録するように構成されており、画像処理装置は、画像プロセッサを含んでおり、かつ画像記録システムから少なくとも１つのデジタル蛍光画像を受信するように構成されており、画像処理装置は、タイプエミュレーションモジュールを含んでおり、タイプエミュレーションモジュールは、異なるタイプの蛍光観察装置の異なる画像記録システムを代理するものであり、画像プロセッサは、タイプエミュレーションモジュールを、少なくとも１つのデジタル蛍光画像に適用し、少なくとも１つのデジタル蛍光画像へのタイプエミュレーションモジュールの適用から少なくとも１つのデジタルエミュレート蛍光出力画像を計算するように構成されており、少なくとも１つの表示装置は、少なくとも１つのデジタルエミュレート蛍光出力画像を表示するように構成されている。

【0006】

最後に、本発明は、第１のタイプの蛍光観察装置を第２のタイプの蛍光観察装置においてエミュレートするための方法に関し、この方法は、以下のステップ、すなわち、画像記録システムを使用して、蛍光体の蛍光スペクトルで第２のタイプの蛍光観察装置によって記録された対象を表現する少なくとも１つのデジタル蛍光画像を検索するステップ、少なくとも１つのデジタル蛍光画像からデジタルエミュレート出力画像を計算するステップ、表示またはさらなる処理のうちの少なくとも１つのために、デジタルエミュレート出力画像を出力するステップ、を含み、少なくとも１つのデジタルエミュレート出力画像を計算するステップは、第１のタイプの蛍光観察装置の画像記録システムを代理するタイプエミュレーションモジュールを少なくとも１つのデジタル蛍光画像に適用するステップを含む。

【0007】

タイプエミュレーションモジュールによって、第２のタイプの蛍光観察装置は、第１のタイプの蛍光観察装置が異なる画像記録システムを使用するにもかかわらず、この第１のタイプの蛍光観察装置によって形成される画像に対応するデジタルエミュレート出力画像を計算することができる。したがって、外科医は、第２のタイプの蛍光観察装置が例えばデジタル蛍光画像を記録するために異なる技術、特に異なるハードウェアを使用する場合であっても、自身が慣れているフォーマットで結果を表示することができる。

【0008】

タイプエミュレーションモジュールは、ＡＳＩＣ、ＣＰＵ、ＦＰＧＡ、ＧＰＵおよび／またはベクトルプロセッサなどのハードウェアデバイスとして、ソフトウェアデバイス、例えば１つ以上のサブルーチンの形態でデジタル画像データに対して演算を行うように構成されているデジタルタイプエミュレーションモジュールとして、またはハードウェアデバイスおよびソフトウェアデバイスの両方の組み合わせとして実装することができる。

【0009】

以下では、本発明をさらに改善する付加的な特徴を説明する。個々の特徴を相互に独立して組み合わせることができ、また個々の特徴それぞれはそれ自体で有利である。個々の特徴を、本発明による画像処理装置、蛍光観察装置および方法に区別なく適用することができる。

【0010】

例えば、第２のタイプの蛍光観察装置によって記録された、白色光によって照明された対象を表現する少なくとも１つのデジタル白色光カラー画像を検索し、タイプエミュレーションモジュールが適用された少なくとも１つのデジタル蛍光画像と、少なくとも１つのデジタル白色光カラー画像と、の組み合わせからデジタルエミュレート出力画像を計算するように、画像処理装置をさらに構成することができる。この実施形態においては、デジタル白色光カラー画像とデジタル蛍光画像とを組み合わせることで、対象の蛍光を発する特徴を、蛍光を発しない特徴を用いるコンテキストに組み込むことができる。これが行われない場合には、そのような蛍光を発しない特徴は、デジタル蛍光画像において見ることができない。

【0011】

さらに、タイプエミュレーションモジュールを少なくとも１つのデジタル白色光カラー画像に適用し、タイプエミュレーションモジュールが適用された少なくとも１つのデジタル蛍光画像と、タイプエミュレーションモジュールが適用された少なくとも１つのデジタル白色光カラー画像と、の組み合わせから、デジタルエミュレート出力画像を計算するように、画像プロセッサを構成することができる。これによって、２つの異なるタイプの蛍光観察装置によって記録されたデジタル白色光カラー画像に影響を及ぼす、画像記録システムにおける差分をエミュレートすることもできる。

【0012】

タイプエミュレーションモジュールによってエミュレートされる第１のタイプの画像記録システムは、蛍光体の蛍光を惹起させるために第１のタイプにおいて使用される蛍光励起光と、画像の背景を照明して、蛍光を発しないエリアを可視にするために使用される背景照明光と、カメラシステムに入射する光と、のうちの少なくとも１つをフィルタリングする光学フィルタシステムを含むことができる。さらに、画像記録システムは、異なるタイプのカメラを含むことができる。例えば、第１のタイプの画像記録システムは、単一のデジタルカラー画像において、特にＲＧＢフォーマットで、背景照明および蛍光の両方を同時に捕捉するために単一のカラーカメラだけを使用することができる。第１のタイプの画像記録システムは、蛍光を生成するために第２のタイプとは異なる蛍光体を使用することもできる。

【0013】

第２のタイプの画像記録システムは、第１のタイプの画像記録システムの一部またはすべての構成要素を含むことができるが、それらの構成要素は、光のスペクトルに及ぼす影響に関して、２つのタイプ間で異なっている。例えば、第１のタイプの１つ以上の光源は、第２のタイプの対応する１つ以上の光源のスペクトルとは異なるスペクトルを有していてよい。第１のタイプの光学フィルタシステムは、第２のタイプの光学フィルタシステムのスペクトル特性とは異なるスペクトル特性、例えば異なる透過スペクトルを有していてよい。

【0014】

さらに、外科医が、タイプエミュレーションモジュールを適用した結果から得られる少なくとも１つのデジタルエミュレート出力画像と、タイプエミュレーションモジュールを適用しない結果から得られるデジタル出力画像とを切り替えることができる場合には有利である。タイプエミュレーションモジュールを適用する代わりに、第２のタイプの蛍光観察装置の異なる画像捕捉技術および／または画像処理技術を適用することもできる。このために、画像処理装置、すなわち換言すれば蛍光観察装置、または顕微鏡もしくは内視鏡は、少なくとも２つの異なる動作モードで選択的に動作するように構成することができ、異なる動作モードのうちの一方では、タイプエミュレーションモジュールの適用が禁止され、異なる動作モードのうちの他方では、異なるタイプの蛍光観察装置、特に異なる画像記録システムをエミュレートするために、タイプエミュレーションモジュールを適用することができる。代替的または累積的に、画像処理装置、蛍光観察装置、または顕微鏡もしくは内視鏡は、少なくとも２つの異なる動作モード間の切り替えを行うように構成することができ、２つの異なる動作モードそれぞれにおいて、異なるタイプエミュレーションモジュールが使用可能にされ、デジタル蛍光画像に対して演算が行われる。

【0015】

別の有利な実施形態においては、エミュレートされるべき画像記録システムにおいて使用される、またオプションとして第２のタイプにおいても使用される蛍光体は、吸収スペクトルおよび蛍光スペクトルの両方が少なくとも部分的に可視光範囲内にある蛍光体である。

【0016】

特に、背景照明スペクトルは、少なくとも部分的に、蛍光体の吸収スペクトルに対応することができる。したがって、背景照明スペクトルは、蛍光体の蛍光を惹起させるために、また対象の蛍光を発しないエリアの背景照明として使用することができる。背景照明色は、特に、標準ＣＩＥ１９３１ ２°観測者などの標準観測者、または等色関数によって特徴付けられるような他の任意の標準観測者が使用される場合には、蛍光体の吸収スペクトルと同じ色であってよい。

【0017】

特別な実施形態においては、蛍光体が、５−ＡＬＡ ｐｐＩＸである。５−ＡＬＡ ｐｐＩＸは、青色光を吸収し、したがって、吸収スペクトルは青色であり、可視スペクトルにある。蛍光スペクトルは、ピンクがかった赤色であり、やはり可視スペクトルにある。

【0018】

吸収スペクトルが青色であり、また青色光による対象の照明によって蛍光が惹起される５−ＡＬＡ ｐｐＩＸが使用される場合には、少なくとも１つのデジタルエミュレート出力画像において背景照明を表現するために少なくとも１つのデジタル白色光カラー画像の１つ以上の青色チャネルを選択することによって、第１のタイプの蛍光観察装置の青色背景照明をエミュレートすることができる。青色帯域が選択されることによって、または青色デジタル照明フィルタを適用することでデジタル白色光カラー画像の全体の色が調整されることによって、第１のタイプの蛍光観察装置において記録されたものとして、蛍光の背景が厳密にエミュレートされる。

【0019】

第２のタイプの蛍光観察装置が、マルチスペクトルカメラまたはハイパースペクトルカメラを使用する場合には、デジタル白色光カラー画像は、４つ以上の色チャネルを有することができる。一例では、デジタル白色光カラー画像および少なくとも１つのデジタル蛍光画像の両方は、単一のデジタルマルチスペクトルまたはハイパースペクトル画像の異なる色チャネルであってよい。そのような場合、色チャネルの数が異なるという点を除いて、手順はＲＧＢ画像に対する手順と同一である。デジタル白色光カラー画像およびデジタル蛍光画像は、単に、単一のデジタルマルチスペクトルまたはハイパースペクトル画像のサブセットである。

【0020】

別の実施形態によれば、第２のタイプの蛍光観察装置は、照明光を対象に向ける白色光照明源を使用して、少なくとも１つのデジタル白色光カラー画像を記録する。白色光照明源は、第２のタイプの蛍光観察装置の一部であってよい。照明源と対象との間に、照明フィルタを配置して、蛍光体の蛍光スペクトルにある蛍光波長および／または蛍光体の吸収スペクトルにある励起波長のうちの１つをブロックすることができる。蛍光波長および吸収波長に関する阻止帯域は、狭帯域であってよく、それによって照明は依然として白色光である。

【0021】

第２のタイプの蛍光観察装置は、蛍光励起光源を含むことができ、この蛍光励起光源は、白色光照明源とは別個のものであってもよいし、白色光照明源に含まれていてもよい。励起光源から対象に到達する励起光は、好適には、狭帯域である。蛍光励起フィルタを励起光源と対象との間に配置して、蛍光を惹起させるために使用される励起波長とは異なる波長をブロックすることができる。

【0022】

第２のタイプの蛍光観察装置は、さらに、デジタル白色光カラー画像を記録するためのカメラシステムと対象との間に配置された白色光記録フィルタを有することができる。白色光記録フィルタは、励起波長および蛍光波長のうちの少なくとも１つをブロックするか、または少なくとも減衰させる。少なくとも１つのデジタル白色光カラー画像は、好適には、蛍光体の蛍光を惹起させるために使用される光および／または蛍光を発する蛍光体によって放射された光は記録しない。

【0023】

別の実施形態においては、第２のタイプの蛍光観察装置が、少なくとも１つのデジタル蛍光画像を記録するために使用されるカメラシステムと対象との間に光学蛍光記録フィルタを有することができる。蛍光記録フィルタは、少なくとも１つのデジタル蛍光画像および少なくとも１つのデジタル白色光カラー画像を記録するために別個のカメラが使用される場合には、白色光記録フィルタと並行して使用することができる。蛍光記録フィルタは、蛍光波長のみを通過させて、他のすべての波長をブロックすることができる通過帯域を有することができる。したがって、第２のタイプの少なくとも１つのデジタル蛍光画像は、特に蛍光波長を有している照明が対象に到達する前にブロックされている場合には、蛍光のみを含む。そのような設定は、白色光にある対象の画像を、対象の蛍光から分離させることができ、またそれらの画像を相互に別個に処理することができる。

【0024】

同一の蛍光体が使用される場合であっても、画像記録システムの構造が異なること、また使用される照明スペクトルが異なることに起因して、第２のタイプの蛍光観察装置によって記録された情報は、第１のタイプの蛍光観察装置によって取得された情報とは異なる。第２のタイプのタイプエミュレーションモジュールは、第２のタイプの蛍光観察装置によって記録された情報を第１のタイプの蛍光観察装置によって記録された情報にマッピングすることができる情報を含んでいる。

【0025】

画像処理装置によって異なる動作モードの切り替えを実現するために、画像処理装置は、異なるタイプエミュレーションモジュールのライブラリを有することができ、各タイプエミュレーションモジュールは、異なるタイプの蛍光観察装置または異なるタイプの画像記録システムを代理するものである。例えば、異なるタイプの蛍光体と共に使用される第１のタイプの蛍光観察装置をエミュレートするために、異なるタイプエミュレーションモジュールを使用することができる。異なるタイプの蛍光観察装置において使用される異なる光源または照明スペクトルの作用をエミュレートするためにも、異なるタイプエミュレーションモジュールを使用することができる。

【0026】

１つの有利な実施形態によれば、タイプエミュレーションモジュールは、デジタル背景エミュレーションフィルタを含むことができ、このデジタル背景エミュレーションフィルタは、第１のタイプの蛍光観察装置の光源の照明スペクトル、光源と第１のタイプの蛍光観察装置の観察エリアとの間に位置する光学照明フィルタ、および第１のタイプの蛍光観察装置の観察エリアとカメラシステムの間に位置する光学記録フィルタのうちの少なくとも１つを代理するものである。デジタル背景エミュレーションフィルタによって、蛍光を発しない背景を、第１のタイプの蛍光観察装置によってレンダリングされたように、デジタルエミュレート出力画像においてレンダリングすることができる。

【0027】

デジタル背景エミュレーションフィルタは、好適には、専ら少なくとも１つのデジタル白色光カラー画像に適用される。背景照明フィルタを使用して少なくとも１つのデジタル白色光カラー画像をフィルタリングするように、画像プロセッサを構成することができる。

【0028】

デジタル背景エミュレーションフィルタは、第１のタイプの蛍光観察装置の蛍光励起スペクトルを表現する。このことは、第１のタイプの光源によって生成された蛍光励起スペクトルが蛍光を惹起させるため、またそれと同時に背景を照明するために使用される場合には、第２のタイプの蛍光観察装置において第１のタイプの蛍光観察装置をエミュレートするために特に有用である。フィルタリング後に、少なくとも１つのデジタル白色光カラー画像は、第１のタイプの蛍光観察装置において蛍光励起スペクトルによって照明されたような対象を表す。

【0029】

第１のタイプの蛍光観察装置は、観察される対象とカメラとの間に光学記録フィルタを含むことができる。記録フィルタは、好適には、蛍光体の蛍光スペクトルにある少なくとも１つの通過帯域および１つ以上の減衰帯域を有している。通過帯域によって、蛍光体の蛍光がカメラに到達することができる。１つ以上の減衰帯域によって、背景照明は少なくとも１つの通過帯域と比べて低減した強度でカメラに到達することができる。１つ以上の減衰帯域は、蛍光スペクトル外の波長を、蛍光スペクトルにおける蛍光の強度に等しい強度または明度まで減衰させる。したがって、光学記録フィルタを介して記録を行うカメラなどの観察装置にとって、背景照明および蛍光は同一の強度を有しているか、またはフィルタ装置が設計されている場合に比視感度が組み込まれていれば、理想的には同一の明度を有している。１つの実施形態においては、デジタル背景エミュレーションフィルタが、第１のタイプの蛍光観察装置の光学記録フィルタのフィルタ特性を表現することができる。代替的または累積的に、デジタル記録フィルタを、タイプエミュレーションモジュールまたはデジタル背景エミュレーションフィルタの一部として提供することができる。デジタル記録フィルタは、光学記録フィルタの伝達関数を表現する。

【0030】

１つの実施形態においては、第２のタイプの蛍光観察装置が、対象の少なくとも１つのデジタル白色光カラー画像および少なくとも１つのデジタル蛍光画像を記録する。デジタル蛍光画像は、好適には、デジタルモノクロ画像であるが、しかしながらデジタルカラー画像であってもよい。つまり、デジタル蛍光画像は、それぞれが異なる色チャネルを表現する複数のデジタルモノクロ画像を含むことができる。

【0031】

特に、第２のタイプの蛍光観察装置は、好適には、蛍光励起スペクトルにある背景照明を有していない。その代わりに、第２のタイプの蛍光観察装置は、対象を自然色でレンダリングする白色光画像を提供することができる。１つの態様によれば、画像処理装置は、タイプエミュレーションモジュール、特にデジタル背景エミュレーションフィルタを少なくとも１つのデジタル白色光カラー画像に適用することによって、第１のタイプの励起スペクトルにある背景照明をエミュレートする。

【0032】

蛍光体の吸収スペクトルまたは第１のタイプの蛍光観察装置の背景照明スペクトルが、デジタル白色光カラー画像の色空間の１つの色チャネルに対応する色を有している場合、第１のタイプの背景照明を表現するように、この色チャネルの色を選択することができる。例えば、デジタル白色光カラー画像がＲＧＢカメラによって記録され、したがってＲＧＢ色空間で記録され、また蛍光体の蛍光吸収スペクトル、または第１のタイプの蛍光観察装置において蛍光を惹起させるために使用される蛍光励起スペクトルが緑色を有している場合、ＲＧＢデジタル白色光カラー画像の緑色チャネルを使用して、第１のタイプの背景照明で記録されたような対象を表現することができる。このことは、白色光カラー画像が、相互に独立して処理することができる異なる色チャネルを含む場合には特に有利である。単一の色チャネルを選択または抽出することによって、デジタル照明フィルタなどのデジタルフィルタを２つ以上の色チャネルに適用する場合よりも高速な処理速度が得られる。この場合、タイプエミュレーションモジュール、特に背景エミュレーションフィルタは、所定の閾値を超えると現れないか、または第１のタイプの背景照明に寄与しない、少なくとも１つのデジタル白色光カラー画像のそれらの色チャネルを除去するためのデジタルマスクを含むことができる。背景照明色が割り当てられる色帯域として、少なくとも１つのデジタル白色光カラー画像の利用可能な色チャネルのうちの１つまたはそれらのサブセットが使用される場合には、デジタル背景照明フィルタを使用して、この１つ以上の色チャネルの強度または明度を調整することができる。

【0033】

デジタル背景照明フィルタを少なくとも１つのデジタル白色光カラー画像に適用するように、かつ／または少なくとも１つのデジタルエミュレート出力画像に含ませるために少なくとも１つのデジタル白色光カラー画像の１つ以上の所定の色チャネルを選択するように、画像プロセッサを構成することができる。

【0034】

タイプエミュレーションモジュールは、異なるタイプの蛍光観察装置、画像記録システム、および／または特にそれらの光学コンポーネントを代理する異なるデジタル背景エミュレーションフィルタのライブラリを含むことができる。

【0035】

別の実施形態においては、デジタル背景エミュレーションフィルタが、第１のタイプの蛍光観察装置の光源のスペクトルを代理する１つ以上のデジタル光源フィルタ、光源と第１のタイプの蛍光観察装置の観察エリアとの間に位置する光学フィルタを代理する１つ以上のデジタル照明フィルタ、および第１のタイプの蛍光観察装置の観察エリアとカメラシステムとの間に位置する光学記録フィルタを代理する１つ以上のデジタル記録フィルタ、のうちの少なくとも１つを含むことができる。

【0036】

少なくとも１つのデジタル光源フィルタ、少なくとも１つのデジタル照明フィルタおよび少なくとも１つのデジタル記録フィルタを含むリストから少なくとも２つを組み合わせることによって、例えばスペクトル領域で乗算することによって、デジタル背景エミュレーションフィルタを計算することができる。デジタル背景エミュレーションフィルタのモジュール式の設計によって、異なるタイプまたは異なるセットアップの蛍光観察装置を第２のタイプにおいて容易にエミュレートすることができる。デジタル背景エミュレーションフィルタ、デジタル光源フィルタ、デジタル照明フィルタおよび／またはデジタル記録フィルタを、例えば第２のタイプの蛍光観察装置のグラフィカルユーザインタフェースを介して、ユーザによって選択することができる。したがって、ユーザは、第２のタイプの観察装置においてエミュレートしようとしている第１のタイプの蛍光観察装置を、第２のタイプの蛍光観察装置におけるデジタル表現を選択することによって構成することができる。タイプエミュレーションモジュールは、異なるタイプの蛍光観察装置の切り替えを高速に行うために、グラフィカルユーザインタフェースを介して、ユーザによってライブラリから選択することもできる。

【0037】

別の実施形態においては、タイプエミュレーションモジュールが、デジタル蛍光エミュレーションフィルタを含んでおり、このデジタル蛍光エミュレーションフィルタは、蛍光体の蛍光スペクトル、および第１のタイプのカメラシステムと第１のタイプの観察エリアとの間に位置する光学記録フィルタのうちの少なくとも１つを代理するものである。デジタル蛍光エミュレーションフィルタは、第１のタイプの蛍光観察装置によって記録された蛍光スペクトルをエミュレートするために使用される。デジタル蛍光エミュレーションフィルタは、好適には、専ら少なくとも１つのデジタル蛍光画像に適用される。デジタル蛍光エミュレーションフィルタを少なくとも１つのデジタル蛍光画像に適用するように、画像プロセッサを構成することができる。

【0038】

デジタル蛍光エミュレーションフィルタのモジュール式の設計は好ましいと考えられる。そのような設計においては、デジタル蛍光エミュレーションフィルタは、蛍光体の蛍光スペクトルを代理するものである１つ以上のデジタル蛍光放射フィルタ、およびカメラシステムと第１のタイプの蛍光観察装置の観察エリアとの間に位置する光学記録フィルタを代理するものである１つ以上のデジタル記録フィルタのうちの少なくとも１つを含むことができる。特に、デジタル記録フィルタによってエミュレートされる光学記録フィルタは、蛍光体の蛍光スペクトル内にあるか、またはデジタル蛍光フィルタの通過帯域と重畳する通過帯域を有することができる。デジタル記録フィルタは、デジタル背景エミュレーションフィルタであり、デジタル蛍光エミュレーションフィルタも同様であってよい。

【0039】

タイプエミュレーションフィルタは、異なるタイプの蛍光観察装置、光学記録フィルタおよび／または蛍光体を代理するデジタル蛍光エミュレーションフィルタのライブラリを含むことができる。ここでもまた、そのようなライブラリによって、異なるタイプの蛍光観察装置を選択して、第２のタイプの蛍光観察装置においてエミュレーションを行うことができる。

【0040】

第１のタイプの蛍光観察装置および第２のタイプの蛍光観察装置は、一方では少なくとも１つのデジタル白色光カラー画像によって第２のタイプにおいて表現される、蛍光を発しない背景、他方では少なくとも１つのデジタル蛍光画像によって第２のタイプにおいて表現される、画像の蛍光を発するセクションの相対的な強度、または比視感度が考慮される場合には相対的な明度に関して異なっていてもよい。第２のタイプの蛍光観察装置において、背景および蛍光の相対的な強度、または相対的な明度を調整して、第１のタイプの蛍光観察装置に対応させるために、タイプエミュレーションモジュールは、デジタル白色光入力画像の平均強度または平均明度、および相互に相対的なデジタル蛍光入力画像の平均強度または平均明度のうちの少なくとも１つを調整して、例えば所定の比率を取得するデジタル減衰フィルタを含むことができる。好適には、平均強度または平均明度は、少なくとも１つのデジタル背景エミュレーションフィルタおよびデジタル蛍光エミュレーションフィルタの適用後に調整される。少なくとも１つのデジタル蛍光入力画像および少なくとも１つのデジタル白色光カラー画像の強度または明度は、好適には、平均強度を計算することによって求められる。平均強度または平均明度は、画像全体にわたる算術平均または幾何平均を使用して計算することができる。明度は、標準ＣＩＥ１９３１ ２°などの比視感度を使用して強度から計算することができる。

【0041】

デジタル蛍光フィルタおよびデジタル記録フィルタから、例えばスペクトル領域で乗算することによって、デジタル蛍光エミュレーションフィルタを計算するように、画像プロセッサを構成することができる。

【0042】

画像処理装置または画像プロセッサは、グラフィカルユーザインタフェースを含むことができ、このグラフィカルユーザインタフェースによって、ユーザは異なるデジタル蛍光エミュレーションフィルタ、デジタル蛍光放射フィルタおよび／またはデジタル記録フィルタ間での選択を行うことができる。

【0043】

第１のタイプの蛍光観察装置から第２のタイプの蛍光観察装置への技術の切り替えを容易にするために、また教練を目的として、別の実施形態においては、好適には、第２のタイプの蛍光観察装置を使用して生成された、すなわちタイプエミュレーションモジュールを使用せずに生成されたデジタルカラー出力画像と、第１のタイプの蛍光観察装置によって生成された、すなわちタイプエミュレーションモジュールを使用して生成されたデジタルカラー出力画像との差分が計算される。好適には、第２のタイプの蛍光観察装置の動作の１つの動作モードにおいて、差分がデジタル差分画像にマーキングされる。

【0044】

デジタル差分画像は、好適には、カラー画像であり、デジタルエミュレート出力画像および／または少なくとも１つのデジタル蛍光画像から計算される。差分の視覚的なマーキングによって、外科医の注意を蛍光エリアに向けることができ、この蛍光領域は、そうでない場合には、第１のタイプによって生成された画像において可視になっていないので、デジタルエミュレート出力画像に表示されない。そのようなマーキングを生成するために、パターン生成器をデジタル画像処理装置に、特にタイプエミュレーションモジュールに設けて、デジタル差分画像にデジタル画像パターンを生成することができる。パターン生成器は、さらに、疑似色の少なくとも１つの表現を含むことができ、また疑似色を少なくとも１つのパターンに割り当てるようにパターン生成器を適合させることができる。

【0045】

デジタル差分画像の１つの態様によれば、タイプエミュレーションモジュールを使用して計算されたような少なくとも１つのデジタルエミュレート出力画像がタイプエミュレーションモジュールを使用せずに計算された少なくとも１つのデジタルエミュレート出力画像とは異なるエリアに、デジタル画像パターンを生成することができる。

【0046】

別の態様によれば、デジタル蛍光抽出フィルタを設けることができる。デジタル蛍光抽出フィルタは、第１のタイプにおいて記録されるような少なくとも１つの蛍光体の蛍光を抽出するように構成されている。デジタル蛍光抽出フィルタは、デジタル蛍光エミュレーションフィルタに対応することができる。デジタル蛍光画像へのデジタル蛍光抽出フィルタの適用によって、デジタル差分画像を直接的に得ることができる。デジタル蛍光画像のフィルタリングは、特に少なくとも１つのデジタル蛍光画像がモノクロ画像であるか、または一般的にデジタルエミュレート出力画像よりも少ない色チャネルを含んでいるならば、デジタルエミュレート出力画像をフィルタリングする場合よりも計算コストに関して効率的である。

【0047】

画像プロセッサは、この差分を計算し、差分が所定の閾値を超えるエリアにデジタル画像パターンを割り当てるように構成することができる。好適には、エリアは調整可能な最小サイズ、例えば５×５ピクセルを有している。パターンは、一時的にかつ／または空間的に変化することができるか、または（一定の）疑似色のフィールドを含むことができる。別の実施形態においては、ユーザによって選択することができるか、または蛍光エミュレーションフィルタのスペクトルに対応するように選択されている蛍光疑似色を割り当てるように、パターン生成器を適合させることができる。

【0048】

空間的に変化するパターンは、例えばハッチングされたパターンであってよい。一時的に変化するパターンは、動画として表示されるパターン、例えば点滅するパターンであってよく、これは後に生成されるデジタル差分出力画像においてイネーブルまたはディスエーブルされる。

【0049】

特に、欧州特許出願公開第３２０５２５４号明細書に開示されているアルゴリズムを使用して、処理された状態または処理されていない状態にある少なくとも１つのデジタル白色光カラー画像と、やはり処理された状態または処理されていない状態にある少なくとも１つのデジタル蛍光画像とをマージすることによって、デジタルエミュレート出力画像またはデジタル差分画像を計算するように、画像プロセッサを適合させることができる。代替的に、少なくとも１つのデジタル蛍光画像がまだグレースケールカラー画像のフォーマットにない場合には、その少なくとも１つのデジタル蛍光画像をグレースケール画像に変換することができる。続いて、デジタル蛍光エミュレーションフィルタは、例えば画像プロセッサによって適用されて、グレースケールカラー画像を、蛍光体の蛍光スペクトルを表現するカラー画像に変換することができる。

【0050】

本発明は、さらに、上述の実施形態のうちのいずれかにおける画像処理装置を含んでいる、第２のタイプの蛍光観察装置に関する。蛍光観察装置は、特に、少なくとも１つのデジタル白色光カラー画像および少なくとも１つのデジタル蛍光画像を好適には同時に記録するように構成されているカメラシステムを含むことができる。蛍光観察装置は、少なくとも１つのデジタル白色光カラー画像および少なくとも１つのデジタル蛍光画像を記録するための別個の複数のカメラを含むことができるか、または４つ以上の色チャネルで少なくとも１つのデジタル白色光カラー画像および少なくとも１つのデジタル蛍光画像を記録するためのマルチスペクトルまたはハイパースペクトルカメラなどの単一のカメラを含むことができる。別個のカメラが使用される場合、少なくとも１つのデジタル白色光カラー画像を捕捉するために、ＲＧＢカメラを蛍光観察装置に含ませることができる。少なくとも１つのデジタル蛍光画像を捕捉するために、別個のモノクロカメラ、ＩＲカメラ、ＮＩＲカメラまたはＲＧＢカメラを使用することができる。上記において説明したような白色光および蛍光記録フィルタなどのフィルタシステムを含ませることができる。

【0051】

別個のカメラが使用される場合には、少なくとも１つのデジタル白色光カラー画像と少なくとも１つのデジタル蛍光画像とを空間的に整合させ、それによって、少なくとも１つのデジタル白色光カラー画像と、好適には同時に記録された少なくとも１つのデジタル蛍光画像との両方において、同一の特徴が同一の位置にあり、かつ同一の形状を有するように、画像プロセッサを構成することができる。

【0052】

最後に、本発明は、コンピュータプログラム、コンピュータプログラム製品、および／またはコンピュータプログラムを記憶している非一時的なコンピュータ可読媒体にも関し、コンピュータプログラムは、蛍光観察装置、または蛍光顕微鏡もしくは蛍光内視鏡におけるコンピュータに、上記において説明した実施形態のうちのいずれかにおける方法を実行させる。

【図面の簡単な説明】

【0053】

【図1】本発明による蛍光顕微鏡または蛍光内視鏡などの蛍光観察装置を概略的に示す。

【図2】本発明による画像処理方法の処理ステップを概略的に示す。

【図3】タイプエミュレーションモジュールのライブラリを概略的に示す。

【図4】さらなる処理ステップを概略的に示す。

【図5】異なるタイプの蛍光顕微鏡または蛍光内視鏡の出力画像における差分がデジタル画像パターンで自動的にマーキングされたデジタル差分画像を概略的に示す。

【図6A】デジタル画像パターンの概略的な表現を示す。

【図6B】デジタル画像パターンの概略的な表現を示す。

【図6C】デジタル画像パターンの概略的な表現を示す。

【図6D】デジタル画像パターンの概略的な表現を示す。

【発明を実施するための形態】

【0054】

図１を参照して、蛍光観察装置１の構造および機能を説明する。例示を目的として、図１の蛍光観察装置１は、蛍光顕微鏡、特に外科用蛍光顕微鏡である。代替的に、図１の蛍光観察装置１は、以下の説明を同様に適用することができる蛍光内視鏡、特に外科用蛍光内視鏡も考えられる。

【0055】

蛍光顕微鏡または蛍光内視鏡１は、カメラシステム２を含むことができる。カメラシステム２は、特に、手術を受ける患者の生組織または例えば生検を受ける細胞などの生組織であってよい対象６の少なくとも１つのデジタル白色光カラー画像４を記録するように構成されている。対象６には１種以上の蛍光体８が与えられているか、さもなければ対象６は１種以上の蛍光体８を含んでいる。カメラシステム２は、立体カメラシステムであってもよいし、ホログラフィカメラシステムであってもよい。結果として生じた画像は、相応のデータフォーマットで、すなわち２次元データフォーマット、立体データフォーマット、３次元データフォーマットまたはホログラフィデータフォーマットで記録することができる。

【0056】

蛍光顕微鏡または蛍光内視鏡１は、さらに、対象６を照明するための照明システム１０を含むことができる。特定のスペクトル範囲内の照明に基づいて、蛍光体８は、蛍光の放射を開始する。蛍光体８が集中していることを示すエリア１２は、蛍光体８の密度が低いエリアよりも強度の高い蛍光を放射する。蛍光体８が一切存在しない場所では、蛍光は放射されない。

【0057】

蛍光体８は、好適には、生組織１４中の特定の所定の化合物に付着するように構成されている。これらの所定の化合物は、特定のタイプの生組織１４の一般的なもの、例えば腫瘍組織または血液として選択されている。したがって、蛍光体８は、適切な化合物を含んでいる生組織１４に集まることになる。この場合、このタイプの組織は、蛍光体８の高い密度を示し、したがって、蛍光体の吸収スペクトル１６にある照明に基づいて、蛍光を発するエリア１２として可視になる。蛍光体の吸収スペクトル１６は、蛍光の放射を惹起させる照明光の波長λを有する。対照的に、蛍光スペクトル１８は、蛍光体から放射される蛍光の波長λを有する。

【0058】

異なるタイプの組織が視覚的に相互に区別されるようにするために、それらの組織が異なる蛍光色でマーキングされる場合には、対象６において２種以上の蛍光体８を使用することができる。この場合、異なる蛍光体の吸収スペクトル１６および蛍光スペクトル１８は、異なる蛍光体の蛍光を選択的かつ／または別個に惹起させる、かつ／または記録することができるようにするために、重畳しないエリアを有するべきである。

【0059】

蛍光体８の蛍光の強度分布によって、蛍光スペクトル１８で記録された画像を見ることで、組織のタイプを識別することができる。このために、カメラシステム２は、蛍光スペクトル１８の少なくとも一部で、蛍光を発する蛍光体８の少なくとも１つのデジタル蛍光画像２０を記録するように構成されている。

【0060】

デジタル蛍光画像２０は、１つの実施形態によれば、モノクロ（例えば、グレースケール）画像であってよい。別の実施形態によれば、デジタル蛍光画像２０は、デジタル白色光カラー画像４のようにカラー画像であってよい。

【0061】

カラー画像は、複数のモノクロ画像２２を含むことができる。各モノクロ画像は、異なる色チャネルを表現する。各色チャネルは、自然色および白色光を表現することができるように選択されている。例えば、デジタル白色光カラー画像４がＲＧＢフォーマットである場合、３つのモノクロ画像２２は、それぞれ１つのカラー画像から成る。各モノクロ画像２２は、１つの色チャネルに対応する。すなわち、１つのモノクロ画像は、赤色のＲ色チャネルに対応し、１つのモノクロ画像は、緑色のＧ色チャネルに対応し、１つのモノクロ画像は、青色のＢ色チャネルに対応する。デジタル白色光カラー画像４およびデジタル蛍光画像２０は、４つ以上の色チャネルを有しているデジタルカラー画像の一部であってもよい。そのようなデジタルマルチスペクトルまたはハイパースペクトルカラー画像は、カメラシステム２が４つ以上の色チャネルを同時に記録するマルチスペクトルまたはハイパースペクトルカメラを含む場合に記録することができる。

【0062】

デジタル白色光カラー画像４およびデジタル蛍光画像２０のいずれも、後続の複数の画像の時系列２４、例えばビデオの一部であってよい。さらに、各画像４、２０は、２つ以上のデジタル入力画像を含む画像処理演算の結果から得ることができる。例えば、デジタル白色光カラー画像４および／またはデジタル蛍光画像２０は、ＨＤＲ画像であってよい。ＨＤＲ画像は、コントラストが増大されており、また異なる露光レベルで記録された一連のデジタル画像から計算されている。

【0063】

各デジタル画像４、２０は、複数のピクセル２６から構成されている。画像４、２０における各ピクセル２６は、対象６の同一の場所２８に対応する。

【0064】

図１に示した実施形態においては、カメラシステム２は、２つのカメラ３０、３２を含んでいる。ＲＧＢカメラ３０は、デジタル白色光カラー画像４を記録するために使用される。ＲＧＢカメラまたは白黒カメラなどのモノクロカメラ、ＩＲカメラ、ＮＩＲカメラまたはＵＶカメラであってよい蛍光カメラ３２は、少なくとも１つのデジタル蛍光画像２０を記録するために使用される。

【0065】

異なるカメラ３０、３２が使用される場合、すべてのカメラが同一の視野角、倍率および対象６への視野を有することを保証することはできない。したがって、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０を、整合アルゴリズムを使用して相互に整合させることができる。整合後、蛍光を発するエリア１２などの対象６の特徴部は、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０においてすべて同一の位置にあり、また同一のサイズ、形状および向きを有している。

【0066】

照明システム１０は、１つ以上の光源、例えば２つの光源３４、３５を含むことができる。一方の光源３４は、対象６に向けられる背景照明光３６を生成するために使用することができる。好適には、背景照明光３６は、可視光範囲にあり、広帯域であり、また特に白色光である。少なくとも１つのデジタル白色光カラー画像４は、少なくとも大部分は、好適には専ら、背景照明光３６を使用して記録される。少なくとも１つのデジタル白色光カラー画像４は、対象６において反射された背景照明光３６を記録することによって、好適には自然色で対象６をレンダリングする。反射された背景光は、図１において参照番号３８によって示唆されている。

【0067】

可視の自然色で表される対象６の画像キャプチャを、蛍光を発する少なくとも１種の蛍光体の画像キャプチャから分離するために、第２の光源３５を使用することができる。第２の光源３５は、蛍光励起光源であり、同様に対象６に向けられる蛍光励起光を放射する。蛍光励起光４０は、好適には、少なくとも１種の蛍光体８の吸収スペクトル１６にある波長λのみを有している。背景照明に含まれる情報を、蛍光における情報から分離させるために、蛍光励起光４０は、好適には、専ら蛍光を惹起させるためにのみ使用され、対象６を照明するためには使用されない。蛍光励起光４０は、蛍光体８によって吸収され、蛍光体８は続いて、蛍光４２を放射し、次に蛍光４２は、カメラシステム２によって、少なくとも１つのデジタル蛍光画像２０において捕捉される。蛍光励起光４０の励起スペクトル４３は、吸収スペクトル１６に対応している必要はないが、しかしながら吸収スペクトル１６にある波長λのサブセットだけから成るものであってもよい。特に、励起スペクトル４３は狭帯域であってよい。

【0068】

２つの別個の光源３４、３５が図１に示されているが、その代わりに、単一の、例えば調整可能な光源を使用することもできる。さらに、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つの蛍光画像２０が同時に記録されることが好ましいが、それら２つの画像４、２０をカメラシステム２によって逐次的に記録することもできる。そのような逐次的な場合には、照明システム１０は、交番的に、背景照明光３６および蛍光励起光４０を生成することができ、カメラシステムは、各照明光の生成と同期して、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０を逐次的に記録することができる。

【0069】

一方ではデジタル白色光カラー画像４に含まれる情報、他方ではデジタル蛍光画像２０に含まれる情報を処理できるようにするために、異なる画像間のクロストークは最小限にされるべきである。このために、蛍光顕微鏡または蛍光内視鏡１は、光学フィルタシステム４４を含むことができる。光学フィルタシステム４４は、少なくとも１つのデジタル白色光カラー画像４に記録される情報と少なくとも１つのデジタル蛍光画像２０に記録される情報との重複が存在しないこと、またはそのような重複が最小限であることを保証する。これは、２つの各画像４、２０に記録される波長を分離することによって達成される。すなわち、各画像４、２０には、異なるスペクトル範囲が記録される。以下ではこれを説明する。

【0070】

フィルタシステム４４は、光学蛍光励起フィルタ４６を含んでおり、この光学蛍光励起フィルタ４６は、照明システム１０と対象６との間に、またはより好適には、蛍光顕微鏡または蛍光内視鏡１によって観察されるべき対象６が位置している観察エリア４８に配置される。蛍光励起フィルタ４６は、好適には、吸収スペクトル１６内に位置する蛍光励起通過帯域５０を有している狭帯域の帯域通過フィルタである。したがって、蛍光励起光４０は、蛍光励起通過帯域５０に収まる波長のみを含むように限定されている。光源３５が既に狭帯域である場合には、光学蛍光励起フィルタを省略することができる。いずれの場合も、蛍光励起光４０は、狭帯域の蛍光励起スペクトル４３を有している。

【0071】

光学蛍光放射フィルタ５２が、観察エリア４８とカメラシステム２との間に設けられる。光学蛍光放射フィルタ５２は、好適には、少なくとも１種の蛍光体８の蛍光スペクトル１８内に位置する蛍光放射通過帯域５４を有している狭帯域の帯域通過フィルタである。異なる複数の蛍光体８の蛍光を同時に記録するための異なる複数の蛍光カメラ３２は、それぞれ、異なる蛍光放射通過帯域５４および異なる光学蛍光放射フィルタ５２を使用することができる。したがって、少なくとも１つのデジタル蛍光画像２０に記録される光は、蛍光放射通過帯域５４に収まる波長に限定されている。

【0072】

フィルタシステム４４は、さらに、背景照明フィルタ５６を含むことができ、この背景照明フィルタ５６は、好適には、帯域阻止フィルタであり、好適には狭帯域である少なくとも１つの阻止帯域を有している。特に、背景照明フィルタ５６の１つ以上の阻止帯域は、光学フィルタシステム４４の１つ以上の蛍光励起通過帯域５０に対応することができる。背景照明フィルタ５６は、さらに、フィルタシステム４４の１つ以上の蛍光放射通過帯域５４に対応する阻止帯域を有することができる。背景照明フィルタ５６のフィルタ特性は、図１において参照番号５８によって示唆されている。背景照明フィルタ５６は、照明システム１０と観察エリア４８との間に配置される。

【0073】

背景照明光に関する蛍光励起通過帯域５０のブロックは、不注意によって、蛍光体８の蛍光が惹起されることを阻止する。この場合の蛍光は、蛍光励起光４０が例えば蛍光照明源３５を使用して生成される場合にのみ選択的に惹起される。そのような蛍光の選択的な惹起が必要ない場合、背景照明フィルタ５６は、蛍光励起通過帯域５０をブロックする必要はない。

【0074】

最後に、フィルタシステム４４は、白色光記録フィルタ６０を含むことができ、この白色光記録フィルタ６０は、カメラシステム２と観察エリア４８との間に配置される。白色光記録フィルタ６０のフィルタ特性は、図１において参照番号６１によって概略的に示されている。白色光記録フィルタ６０は、好適には、少なくとも１つの阻止帯域を有している帯域阻止フィルタであり、この阻止帯域は、背景照明フィルタ５６との関係において上記において説明した理由から、蛍光励起通過帯域５０および／または蛍光放射通過帯域５４と一致する。

【0075】

蛍光放射通過帯域５４に対応する背景照明システム５６の阻止帯域は、蛍光体８から放射された蛍光が少なくとも１つのデジタル白色光カラー画像４に記録されるべきではない場合には必要であると考えられる。そのような阻止帯域は、蛍光体８から放射された蛍光の強度が背景照明と比較して、少なくとも１つのデジタル白色光カラー画像４において無視できる程度の弱さである場合には必要ないと考えられる。したがって、背景照明フィルタ５６はオプションである。通過帯域および対応する阻止帯域は、好適には狭帯域であるので、反射された背景照明光の白色光特性は維持される。

【0076】

上述の配置構成でもって、蛍光顕微鏡または蛍光内視鏡１は、可視光スペクトルにある情報を記録し、その際、少なくとも１つのデジタル白色光カラー画像４には蛍光についての情報および蛍光を発する少なくとも１種の蛍光体８についての情報は一切記録されず、また少なくとも１つのデジタル蛍光画像２０には背景照明についての情報は一切記録されない。カメラシステム２、少なくとも１種の蛍光体８および光学フィルタシステム４４は、画像記録システム６２の一部であり、したがってタイプ６３の蛍光顕微鏡および蛍光内視鏡１である。異なるタイプの蛍光顕微鏡または蛍光内視鏡は、異なる画像記録システムを使用する。

【0077】

蛍光顕微鏡または蛍光内視鏡１は、さらに、画像処理装置６４を含んでいる。画像処理装置６４は、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０を、カメラシステム２から、またはストレージセクション６６などの据置型またはモバイルのメモリセクションから直接的に検索するように構成されている。ストレージセクション６６として、ディスクメモリ、ＲＡＭメモリもしくはＲＯＭメモリ、またはストレージ用のクラウドデバイスを挙げることができる。

【0078】

画像処理装置６４は、カメラシステム２またはストレージセクション６６を接続することができる入力セクション６８を含むことができる。入力セクション６８は、ワイヤレスまたは有線ベースであってもよいし、それら両方の組み合わせであってもよい。単一のデジタル画像または複数のデジタル画像の時系列を伝送するためにデータ伝送プロトコルを使用できる限りは、種々のデータ伝送プロトコルを、入力セクション６８に含ませることができる。適切なプロトコルの例として、インターネットへのストリーミングコネクション、またはＨＤＭＩ、ＤＶＩ、ＵＳＢ、またはＲＧＢコネクションが挙げられる。

【0079】

同様に、画像処理装置６４は、デジタルエミュレート出力画像７２を出力するための出力セクション７０を含むことができる。出力セクション７０は、入力セクション６８との関係において上記において説明したプロトコルのうちのいずれかを使用することができ、出力プロトコルは、デジタル画像またはデジタルビデオを伝送することに適している。

【0080】

画像処理装置は、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０から、少なくとも１つのデジタルエミュレート出力画像７２を計算するように構成されている。このために、画像処理装置６４は、画像プロセッサ７３を含むことができ、この画像プロセッサ７３は、ハードウェア、ソフトウェア、またはそれら両方の組み合わせであってよい。例えば、画像プロセッサ７３として、ソフトウェアを実行するための、少なくとも１つのＣＰＵ、ＦＰＵ、ＦＰＧＡ、ベクトルプロセッサ、ＧＰＵ、またはＡＳＩＣを挙げることができる。画像プロセッサ７３は、そのようなハードウェアデバイスにおいて実行されるサブルーチンを含むことができ、また例えば実行時に、電子的な構造のスイッチング状態を変更することによって、その内部構造を変更することができる。

【0081】

デジタルエミュレート出力画像７２をさらに処理することができるか、またはモニタ７６、アイピース７８またはＡＲゴーグルもしくはＶＲゴーグル８０などの表示装置７４に表示することができる。表示装置７４は、蛍光顕微鏡または蛍光内視鏡１の一部であってよい。

【0082】

本発明によれば、画像プロセッサ７３は、デジタルエミュレート出力画像７２が、画像記録システム６２などの異なるハードウェア構造、特に異なるカメラシステム２、異なる照明システム１０および／または異なる光学フィルタシステム４４を有している別のタイプ８２の蛍光顕微鏡または蛍光内視鏡１によって記録されたデジタルエミュレート出力画像７２に対応するように、デジタルエミュレート出力画像７２を計算するように構成されている。したがって、画像処理装置６４、またはタイプ６３の蛍光顕微鏡または蛍光内視鏡１は、異なる光学ハードウェアを有しているタイプ８２をエミュレートするように構成されている。

【0083】

図１には、異なるタイプ８２の顕微鏡または内視鏡が、同一の蛍光体８を有する同一の対象６を観察し、その結果、同一の視野および蛍光を発する同一のエリア１２が生じる状況が示されている。この構造がタイプ６３によってエミュレートされる。

【0084】

タイプ６３のカメラシステム２とは異なり、タイプ８２のカメラシステム２は、蛍光励起光４０が背景照明光３６としても使用される単一のデジタルカラー出力画像８４を記録する。カメラシステム２は、単一のデジタルカラー出力画像８４に背景照明光３６および蛍光４２を記録する。このために、光学フィルタシステム４４は、照明システム１０と観察エリア４８との間に配置された照明フィルタ８６およびカメラシステム２と観察エリア４８との間に配置された光学記録フィルタ８８のうちの少なくとも１つを含むことができる。

【0085】

さらに、照明システム１０は、背景照明光３６および蛍光励起光４０の両方のための光源として使用される単一の光源９０だけを含むことができる。

【0086】

カメラシステム２は、特に、単一のカラーカメラ９２を含むことができ、この単一のカラーカメラ９２は、ＲＧＢカメラであってもよいし、マルチスペクトルカメラまたはハイパースペクトルカメラであってもよい。さらに、カメラシステム２は、２次元カメラシステム、立体カメラシステム、３次元カメラシステムまたはホログラフィカメラシステムであってもよい。

【0087】

光学照明フィルタ８６は、オプションであり、狭帯域であっても広帯域であってもよい通過帯域９４を有している光学通過帯域フィルタを含むことができるか、またはそのような光学通過帯域フィルタから構成することができ、また蛍光体８の吸収スペクトル１６内の波長、さらには吸収スペクトル１６で対象６を照明するための他の任意の波長を有することができる。代替的または付加的に、照明フィルタ８６は、蛍光体８の蛍光スペクトル１８に収まる波長範囲の阻止帯域９５を有することができ、したがって、蛍光体８から蛍光として放射される可能性がある光による対象６の照明は阻止される。

【0088】

光学記録フィルタ８８は、蛍光体８の蛍光スペクトル１８にある光の強度、または比視感度が含まれる場合には光の明度と、反射された背景照明光３８とを等化させるように適合させることができる。照明フィルタ８６を用いることで、背景の光、すなわち蛍光体８の蛍光スペクトル１８に含まれない光が減衰され、蛍光体の強度に整合される。したがって、光学記録フィルタ８８は、蛍光体８の蛍光スペクトルにおける通過帯域９８にある波長λが、この帯域外にあり、かつ照明フィルタ８６の通過帯域にある波長λよりも弱く減衰されるフィルタ特性９６を有している。通過帯域９８およびより高い減衰が生じる帯域は、光学記録フィルタ８８の減衰帯域１００の一部であってよく、これは、背景照明光３６および蛍光励起光４０のスペクトル範囲に限定される。照明フィルタ８６は、通過帯域１００に整合された通過帯域を有することができる。通過帯域９８は、照明フィルタ８６の阻止帯域９５に対応する帯域であってよい。

【0089】

したがって、タイプ８２の蛍光顕微鏡または蛍光内視鏡は、背景についての情報および蛍光についての情報の両方を含む単一のデジタルカラー出力画像８４を形成する。

【0090】

蛍光顕微鏡または蛍光内視鏡１の画像処理装置６４は、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０から、とりわけ同一の蛍光体８が使用される場合には、タイプ８２のデジタルカラー出力画像８４に対応するデジタルエミュレート出力画像７２を計算するように構成されている。好適には、タイプ８２は、吸収スペクトル１６および蛍光スペクトル１８の両方が可視光範囲にある蛍光体８を使用し、それによって、蛍光励起光４０は、背景照明スペクトル１０１を有している背景照明光３６として兼用することができる。

【0091】

そのような蛍光体の一例は、５−ＡＬＡ ｐｐＩＸである。この蛍光体に関しては、吸収スペクトル１８は青色である。したがって、青色光を使用して、蛍光を惹起させることも、背景を照明することもできる。５−ＡＬＡ ｐｐＩＸの蛍光スペクトル１８はピンク色である。したがって、蛍光体として５−ＡＬＡ ｐｐＩＸを使用するタイプ８２の顕微鏡または内視鏡の結果として生じたデジタルカラー出力画像８４は、ピンク色および青色の画像になる。阻止帯域９５および通過帯域９８は、ピンク色で整合され、通過帯域９４および１００は、青色の励起色および背景照明色で整合される。

【0092】

タイプ６３の蛍光顕微鏡または蛍光内視鏡１、特にその画像処理装置６４は、タイプ８２によって使用される蛍光体とは異なる蛍光体８を使用することができ、また異なる吸収特性および放射特性を備えたその別の蛍光体を使用した場合にタイプ８２によって記録されるであろうデジタルカラー出力画像８４に対応するデジタルエミュレート出力画像７２を計算することができる。タイプ８２の蛍光顕微鏡または蛍光内視鏡１のそのような動作をエミュレートするための唯一の前提条件は、２つの異なる蛍光体８が同一のタイプの組織に結合すること、すなわち異なる蛍光体８によってマーキングされる組織のタイプが相互に対応することである。

【0093】

図２および図３を参照して、蛍光顕微鏡または蛍光内視鏡１について実行されるエミュレーションをさらに説明する。

【0094】

蛍光顕微鏡または蛍光内視鏡１においてタイプ８２をエミュレートするために、画像処理装置６４は、タイプエミュレーションモジュール１０８を含んでおり、このタイプエミュレーションモジュール１０８は、ストレージセクション６６においてソフトウェアとして常駐させてもよいし、画像プロセッサのＡＳＩＣ、ＦＰＧＡ、ＧＰＵまたはＣＰＵなどのハードウェアデバイスであってもよいし、ハードウェアおよびソフトウェアの両方から成るものであってもよい。タイプエミュレーションモジュール１０８は、タイプ８２によって生成されるであろうデジタルカラー出力画像８４をエミュレートするために、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０のうちの少なくとも１つに対して演算を行うように構成されている複数の機能、特にデジタルフィルタを含んでいる。タイプエミュレーションモジュール１０８は、対象６に入射する光３６、４０のスペクトル、カラーカメラ９２のタイプなどのカメラシステム２のタイプ、吸収スペクトル１６および蛍光スペクトル１８などの、タイプ８２において使用される蛍光体８の特性、およびフィルタシステム４４の構造およびコンポーネントなどのタイプ８２の画像記録システム６２を表現する。好適には、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０は、正規化され、またオプションとして、タイプエミュレーションモジュール１０８の適用に先行して、均質化および／またはデコンボリューションされる。

【0095】

タイプ８２の異なる光学フィルタシステム４４およびこのタイプによって使用される異なる照明スペクトルの作用、ならびに場合によっては異なる蛍光体８の異なる放射スペクトルは、画像処理装置６４が少なくとも１つのデジタル背景エミュレーションフィルタ１１０、好適には複数のデジタル背景エミュレーションフィルタ１１０から成るライブラリ１１２を含むことで考慮される。

【0096】

デジタル背景エミュレーションフィルタ１１０は、タイプ８２のカメラシステム２によって記録された光の成分、すなわち少なくとも１つのデジタルカラー出力画像８４の蛍光を発しない背景を照明するであろうスペクトルまたは色を表現する。デジタル背景エミュレーションフィルタ１１０は、ステップ１１４において、少なくとも１つのデジタル白色光カラー画像４に適用される。例えば、特定のスペクトルを有している青色光が、対象６の照明および蛍光体８の蛍光の惹起の両方のために使用される場合には、この青色光のスペクトルに対応するデジタル背景エミュレーションフィルタ１１０が使用される。このフィルタリングプロセスの後に、その時点において修正されているデジタル白色光カラー画像４によってレンダリングされた画像は、蛍光顕微鏡または蛍光内視鏡１の観察エリア４８における対象６があたかもタイプ８２と同じタイプの青色光でもって照明されているように色相調整される。

【0097】

フィルタリングプロセスは、スペクトルフィルタリング、すなわちフィルタ関数とデジタル白色光カラー画像４とのスペクトル的な乗算またはコンボリューションの計算の実行によって行うことができる。高いフレームレートで受信される高解像度の画像が使用される場合には、これに関する計算コストは高くなる可能性があるので、フィルタリングプロセスは、デジタル白色光カラー画像４のモノクロ画像２２の単純な重み付けを含むことができる。例えば、タイプ８２が対象６を照明し、蛍光を惹起するために青色光を使用した場合には、ＲＧＢ画像における緑色および赤色の色チャネルのモノクロ画像２２は、デジタル背景エミュレーションフィルタ１１０によって定義されるように、単純に０にセットすることができるか、または減衰させることができる。

【0098】

タイプエミュレーションモジュール１０８の１つのヴァリエーションにおいては、デジタル背景エミュレーションフィルタ１１０のライブラリ１１２が１つ以上のサブライブラリ１１６を含むことができ、この場合、各サブライブラリは、画像記録システム６２の異なるコンポーネントのヴァリエーションを表現する（図３を参照されたい）。１つのサブライブラリ１１６は、種々のデジタル照明フィルタ１１７を含むことができる。別のサブライブラリ１１６は、タイプ８２の光源９０によって放射される、または光学蛍光励起フィルタ４６によって生成される異なる蛍光励起スペクトル４５のデジタル表現を含むことができる。別のサブライブラリ１１６は、異なる蛍光体８の蛍光スペクトル１８のデジタル表現を含むことができる。別のサブライブラリ１１６は、異なるデジタル記録フィルタ１１８を含むことができる。別のサブライブラリ１１６は、タイプ８２の異なるカメラ９２の異なるスペクトル応答度を表現するデジタルフィルタを含むことができる。好適には、種々のサブライブラリ１１６に含まれる各デジタルフィルタは、蛍光顕微鏡または蛍光内視鏡１のユーザによって個別に選択可能であるか、またはタイプ８２がユーザによって選択された場合には、蛍光顕微鏡または蛍光内視鏡１によって自動的に選択される。続いて、結果として生じるデジタル背景エミュレーションフィルタ１１０が、単純に、種々のサブライブラリ１１６から異なるフィルタを組み合わせることによって計算される。例えば、デジタル背景エミュレーションフィルタ１１０は、周波数領域またはスペクトル領域において、光源９０、デジタル照明フィルタ１１７、デジタル記録フィルタ１１８のスペクトルのデジタル表現、蛍光スペクトル１８のデジタル表現、およびカメラ９２のスペクトル応答度を乗算することによって計算され、それによって、画像記録システム６２を正確に表現するタイプエミュレーションモジュールが達成される。

【0099】

タイプエミュレーションモジュール１０８は、さらに、デジタル蛍光エミュレーションフィルタ１２０、または複数のデジタル蛍光エミュレーションフィルタ１２０を内容とするライブラリ１２２を含むことができる。デジタル蛍光エミュレーションフィルタ１２０は、デジタル蛍光画像２０に、蛍光を発する蛍光体８に由来するタイプ８２のデジタルカラー出力画像８４において記録される色に対応する色を割り当てるために使用される。デジタル蛍光エミュレーションフィルタ１２０のライブラリ１２２には、１つ以上のサブライブラリ１２４を含むことができる。１つのサブライブラリ１２４は、蛍光体８の蛍光スペクトル１８をエミュレートするフィルタ関数を含むことができる。別のサブライブラリ１２４は、蛍光スペクトル１８に対する照明フィルタ８６の作用をエミュレートすることができる。別のサブライブラリ１２４は、光源９０のスペクトルをエミュレートする１つ以上のデジタル照明フィルタを含むことができる。別のサブライブラリ１２４は、光学記録フィルタ８８をエミュレートする１つ以上のデジタル光源フィルタを含むことができる。別のサブライブラリ１２４は、タイプ８２のカメラシステム２またはカメラ９２それぞれのスペクトル応答度を表現する１つ以上のデジタルフィルタを含むことができる。

【0100】

例えば、デジタル蛍光画像２０がモノクロ画像である場合、このデジタル蛍光画像２０は、まずステップ１２６において、カラー画像に変換することができる。続くステップ１２８においては、デジタル背景エミュレーションフィルタ１１０がデジタル白色光カラー画像４に適用されるやり方と同じやり方で、デジタル蛍光エミュレーションフィルタ１２０を適用することができる。

【0101】

ステップ１２８の別のヴァリエーションにおいては、デジタル蛍光エミュレーションフィルタ１２０によって定義された疑似色を、デジタル蛍光画像２０に割り当てることができる。このことは、メモリ空間を節約し、かつ処理を高速に維持するために、カラー画像への変換を行うことなく実施することができる。

【0102】

別のステップ１３０においては、タイプ８２における、またはタイプ８２によって形成されたデジタルカラー出力画像８４における背景および蛍光の相対的な強度および／または明度それぞれを整合させるために、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０の相対的な強度および／または明度が調整される。相対的な強度および／または明度がステップ１３０において調整される場合には、比視感度、例えばＣＩＥ比視感度を使用することができる。相対的な強度および／または明度を調整するために、デジタル減衰フィルタ１３１、または複数のデジタル減衰フィルタ１３１を含んでいるライブラリ１２２を使用することができる。

【0103】

タイプ８２における背景光および／または蛍光の何らかの減衰が、デジタル背景エミュレーションフィルタ１１０およびデジタル蛍光エミュレーションフィルタ１２０のうちの少なくとも１つの設定において既に考慮されている場合には、ステップ１３０をステップ１１４および１２８のうちの少なくとも１つに統合することもできる。

【0104】

ステップ１３２においては、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０が組み合わされる。例えば、少なくとも１つのデジタル白色光カラー画像４および少なくとも１つのデジタル蛍光画像２０は、参照によってその全体が本願に組み込まれる欧州特許出願公開第３２０５２５４号明細書に記載されているようにマージすることができる。

【0105】

結果として得られたデジタルエミュレート出力画像７２は、続くステップ１３４において表示されるか、またはさらに処理される。

【0106】

図４から図６Ｄを参照して以下において、デジタルエミュレート出力画像７２をさらに処理するための１つの考えられるステップ１３４を説明する。

【0107】

上記において説明したように、実際には、例えばタイプ６３の蛍光顕微鏡または蛍光内視鏡１において実現されるような新たな技術の能力を外科医が熟知するまでには時間が掛かる。タイプ６３は、タイプ８２と比較して、可視光データおよび蛍光データの厳密な分離に起因して、より多くのデータを取得する。したがって、ステップ１３４は、タイプ８２によって取得される蛍光データと、タイプ６３によって取得される蛍光データとの差分を表示するために使用することができる。

【0108】

これについては、ステップ１３４の例示的な実施形態を概略的に示す図４を参照して説明する。ステップ１３４は、好適には、画像処理装置６４、または特に画像プロセッサ７３において実行される。

【0109】

第１のステップ１４０においては、第１のタイプ８２によって生成されたデジタルカラー出力画像８４を表現するデジタルエミュレート出力画像７２、または代替的には少なくとも１つのデジタル蛍光画像２０が、デジタル蛍光抽出フィルタ１４２を使用してフィルタリングされる。デジタル蛍光抽出フィルタ１４２は、好適には、タイプ８２において使用されるような光学記録フィルタ８８の通過帯域９８に対応する。デジタル蛍光抽出フィルタ１４２は、通過帯域９８外にある波長λをブロックするように構成されている。複数の異なるデジタル蛍光抽出フィルタ１４２のライブラリ１１２を設けることができ、それによって、タイプ８２の異なるヴァリエーションをステップ１３４において考慮することができる。個々のデジタル蛍光抽出フィルタ１４２は、上記において説明したように、ユーザによって個別に選択することができるか、または他のデジタルフィルタと一緒に、ユーザがタイプ８２の特別なヴァリエーションを選択した場合に自動的に選択することができる。

【0110】

フィルタリングステップ１４０後のデジタル画像１４４は、蛍光体８の蛍光波長しか含んでおらず、これはタイプ８２の背景照明光３６および蛍光励起光４０を組み合わせたものに由来するクロストークを一切含まない。デジタル画像１４４は、ＲＧＢなどのカラーフォーマットであってよい。好適には、デジタル画像１４４およびデジタル蛍光画像２０は、同一のフォーマットである。同一のフォーマットでない場合には、画像１４４、２０のうちの少なくとも１つを変換して、それらの画像を同一のフォーマットにすることができる。画像７２、２０のうちの少なくとも１つの変換を行うステップ１４６は、例示を目的として、少なくとも１つのデジタル蛍光画像２０に関してのみ示されている。代替的または累積的に、これをデジタルエミュレート出力画像７２に対して実行することもでき、また特にステップ１４０に統合することができる。

【0111】

オプションとしてのフォーマット変換が行われた後に、デジタル画像１４４およびデジタル蛍光画像２０が、ステップ１４８において相互に比較される。好適には、比較されるべき画像が正規化される。比較１４８の結果として、デジタル差分画像１５０が得られる。

【0112】

ステップ１５２において、デジタルエミュレート出力画像７２に含まれる蛍光とデジタル蛍光画像２０に含まれる蛍光との差分が、デジタル画像パターン１５４でマーキングされる。このステップは、パターン生成器１５６によって実行することができ、このパターン生成器１５６は、ハードウェアデバイス、ソフトウェアデバイス、またはハードウェアおよびソフトウェアの両方の組み合わせであってよい。パターン生成器１５６は、画像処理装置６４または画像プロセッサ７３それぞれの一部である。

【0113】

ステップ１５２においては、デジタル差分画像１５０を、デジタル蛍光画像２０、デジタル白色光カラー画像４、疑似色１６２およびデジタル画像パターン１５４のうちの少なくとも１つとマージすることができる。この結果、デジタルパターン出力画像１５８が得られ、このデジタルパターン出力画像１５８を、ステップ１６０において、さらに処理することができるか、または表示することができる。

【0114】

ステップ１３４のヴァリエーションにおいては、デジタル蛍光抽出フィルタ１４２が、例えば画像プロセッサ７３によって、専ら少なくとも１つのデジタル蛍光画像２０に適用される。この場合、デジタル蛍光抽出フィルタ１４２は、上記において説明したものとは異なり、デジタルエミュレート出力画像７２に適用される。少なくとも１つのデジタル蛍光画像２０に適用されるデジタル蛍光抽出フィルタ１４２は、デジタル蛍光画像２０のコントラストを調整し、第１のタイプ８２によって記録された蛍光のコントラストを整合させるデジタルヒストグラム整合フィルタであってよい。代替的に、デジタルヒストグラム整合フィルタを適用し、その結果、デジタル差分画像１５０を直接的に得ることもできる。デジタル蛍光抽出フィルタ１４２は、画像記録システム６２の異なるヴァリエーションに関して経験的に求めることができる。デジタル蛍光抽出フィルタ１４２を適用し、その結果、デジタル差分画像１５０を直接的に得ることができる。つまり、デジタル蛍光抽出フィルタ１４２は、第１のタイプの顕微鏡または内視鏡によって捕捉された蛍光と、第２のタイプの顕微鏡または内視鏡によって捕捉された蛍光との差分を直接的に抽出することができる。

【0115】

パターン生成器１５６は、好適には、少なくとも１つのデジタル画像パターン１５４および少なくとも１つの疑似色１６２にアクセスする。デジタル画像パターンは、例えば、空間的に均一であってよい、または空間的に可変であってよい、かつ／または一時的に可変であってよいマスクを提供することができる。疑似色１６２は、デジタル画像パターンに割り当てられ、そのデジタル画像パターンをより可視にし、またデジタルタイプ差分出力画像１５８の残部から際立たせることを保証する。ライブラリ１１２では、複数の異なるデジタル画像パターン１５４および／または複数の異なる疑似色１６２を、例えばストレージセクション６６に提供することができる。パターン生成ステップ１５２において使用される個々のデジタル画像パターン１５４および／または疑似色１６２は、画像処理装置６４によって自動的に選択することができるか、またはユーザによって手動で選択することができる。

【0116】

デジタル画像パターン１５４の疑似色１６２の強度は、１つの実施例では、デジタル差分画像１５０における強度に依存して変調される。したがって、ピクセルなどの所定の場所におけるデジタル画像パターン１５４の強度、コントラストおよび／または一時的な変化率は、同一の場所またはピクセルにおけるデジタル差分画像１５０の強度に依存する。これによって、一方ではデジタル蛍光画像２０において捕捉された蛍光と、他方ではデジタルエミュレート出力画像７２において捕捉された蛍光との実際の絶対的な差分に適合されるべきデジタルタイプ差分画像１５８にデジタル画像パターンを表示することができる。

【0117】

疑似色１６２を有しているデジタル画像パターン１５４は、ステップ１５２において、好適には、デジタル蛍光画像２０および／またはデジタル白色光カラー画像４のうちの一方とマージされる。このマージは、１つの単一のステップにおいて、デジタル差分画像１５０へのデジタル画像パターン１５４の割り当てと一緒に行うことができる。

【0118】

ステップ１５２においては、デジタル画像パターン１５４の適用を制御する閾値を定義することができる。例えば、デジタル差分画像１５０における強度、または少なくとも１つのデジタルエミュレート出力画像において記録された蛍光と、少なくとも１つのデジタル蛍光画像２０において記録された蛍光との差分が、デジタル差分画像１５０における強度分布から自動的に計算することができるか、またはユーザによって手動で選択することができる閾値を上回った場合にのみ、選択されたデジタル画像パターン１５４を適用することができる。代替的または累積的に、デジタル画像パターン１５４は、この差分が下側の閾値を超えた場合にのみ適用することができ、この下側の閾値も上側の閾値と同様に、自動的にまたは手動で求めることができる。さらに、所定の最小サイズ、例えば５×５ピクセルまたは１０×１０ピクセルを有している領域にのみ、デジタル画像パターン１５４を適用することができる。

【0119】

デジタルエミュレート出力画像７２、デジタル蛍光画像２０およびデジタル白色光カラー画像４から成るグループのうちのどの画像（１つまたは複数）を、ステップ１５２におけるデジタル画像パターン１５４とデジタル差分画像１５０とのマージのための基礎として選択することができるかを選択するために、好適なデジタルスイッチ１６４を設けることができる。１つ以上の画像４、２０、７２が、デジタル画像パターン１５４が表示される背景として使用される。例えば、デジタルエミュレート出力画像７２がデジタルスイッチ１６４によって選択される場合には、光学記録フィルタ８８によってブロックされていたために、かつ／または背景照明光の明度または強度よりも低い明度および強度を有していたために蛍光が可視でなかった、デジタルエミュレート出力画像７２のエリアにおいて、デジタル画像パターン１５４は表示されることになる。ステップ１５２においてデジタル蛍光画像２０が使用される場合には、デジタル画像パターン１５４は、背景としてのデジタル蛍光画像２０において、デジタルエミュレート出力画像７２では示されない蛍光、または相応にタイプ８２によって捕捉されなかった蛍光の領域を示す。

【0120】

さらに、デジタルスイッチ１６４は、少なくとも１つのデジタル白色光カラー画像４をパターン生成およびマージステップ１５２に対して入力するように構成することもできる。この場合、白色光により照明される背景も可視となる。

【0121】

図５には、デジタルパターン出力画像１５８の一例が示されている。デジタルパターン出力画像１５８は、少なくとも１つの蛍光体８の蛍光において、デジタルエミュレート出力画像７２と、当該のデジタルエミュレート出力画像７２に関する基礎として使用されるデジタル蛍光画像２０との間に差分が存在しない、少なくとも１つの領域１６６を含むことができる。領域１６６は、好適には、デジタル画像パターン１５４においてはマーキングされていないが、しかしながらこの領域１６６には、好適には蛍光体８の蛍光を発する色、すなわち蛍光放射スペクトルに対応する疑似色を割り当てることができる。

【0122】

デジタルタイプ差分出力画像１５８は、さらに、デジタル画像パターン１５４でマーキングされなくてもよい背景１６８を含むことができる。背景１６８は、デジタル蛍光画像２０における、蛍光体８が蛍光を発していない、かつ／または蛍光の強度が閾値を下回る領域を含む。この閾値は、ここでもまた、画像統計値から自動的に求めることができるか、またはユーザによって手動で求めることができる。背景１６８に表示される画像は、上記において説明したように、スイッチ１６４によって決定することができる。

【0123】

最後に、デジタルパターン出力画像１５８は、少なくとも１つのパターン領域１７０を含むことができ、このパターン領域１７０では、（自動的にまたはユーザによって定義された強度を好適には上回る）蛍光体８の蛍光は、デジタル蛍光画像２０においては記録されているが、しかしながらデジタルエミュレート出力画像７２においては表示されない。したがって、パターン領域１７０は、タイプ６３が蛍光を検出するが、しかしながらタイプ８２が蛍光を検出しないであろう領域を表す。パターン領域１７０においては、デジタル画像パターン１５４が適用される。

【0124】

図６Ａから図６Ｄに図示した詳細Ｖは、デジタルタイプ差分出力画像１５８において使用することができるデジタル画像パターン１５４の幾つかの例を示す。

【0125】

図６Ａにおいては、領域１６６および１６８に隣接するパターン領域１７０の境界をマーキングするためにアウトライン１７２が使用されている。アウトライン１７２は、例えば点線または破線によって示唆されているように、空間的に可変のパターンを有することができる。さらに、アウトライン１７２は、矢印１７４によって示唆されているように、一時的に変化してもよい。デジタルタイプ差分出力画像１５８の後続のフレームは、例えば、異なる場所において空間的に変化するアウトライン１７２を含むことができ、それによって動画として表現されるアウトライン１７２が結果として得られる。パターン領域１７０自体は、変化しないままであってよく、またデジタル画像パターン１５４によって埋められていなくてよい。デジタル画像パターン１５４は、パターン領域１７０の境界に限定される。

【0126】

図６Ｂに示されているように、アウトライン１７２は、一時的に静的なアウトラインであってもよい。

【0127】

もちろん、例えばデジタル画像の時系列２４において、領域１６６、１６８、１７０の面積が、基礎となるデジタル蛍光画像２０およびデジタル白色光カラー画像４の変化と共に変化する場合には、パターン領域のアウトライン１７２がシフトすると考えられる。しかしながら、このことはパターンの一時的な変化を成すものとはみなされない。

【0128】

図６Ｃにおいては、デジタル画像パターン１５４がハッチングされた領域１７６を含んでいる。ハッチングされた領域１７６は、一時的に静的であり、また空間的にのみ変化する。パターンの面積は、領域１６６の面積によって決定される。デジタル画像パターン１５４は、任意のタイプのアウトライン１７２と組み合わせてもよいし、アウトラインを有していなくてもよい。

【0129】

図６Ｄは、矢印１７４によって示唆されているように、一時的に変化するハッチングされた領域１７６を含むデジタル画像パターン１５４を示す。例えば、デジタル画像パターン１５４を動画として表現し、それによって矢印１７４の方向に移動しているという印象を与えることができる。

【符号の説明】

【0130】

１ 特定のタイプの蛍光顕微鏡または蛍光内視鏡
２ カメラシステム
４ デジタル白色光カラー画像
６ 対象
８ 蛍光体
１０ 照明システム
１２ 蛍光を発する領域またはエリア
１４ 生組織
１６ 吸収スペクトル
１８ 蛍光スペクトル
２０ デジタル蛍光画像
２２ デジタルモノクロ画像
２４ デジタル画像の時系列
２６ ピクセル
２８ 場所
３０ ＲＧＢカメラ
３２ 蛍光カメラ
３４ 背景照明源
３５ 蛍光励起源
３６ 背景照明光
３８ 反射された背景照明光
４０ 蛍光励起光
４２ 蛍光
４３ 蛍光励起スペクトル
４４ 光学フィルタシステム
４６ 蛍光励起フィルタ
４８ 観察エリア
５０ 蛍光励起通過帯域
５２ 蛍光放射フィルタ
５４ 蛍光放射通過帯域
５６ 背景照明フィルタ
５８ 背景照明フィルタのフィルタ特性
６０ 白色光記録フィルタ
６１ 白色光記録フィルタのフィルタ特性
６２ 画像記録システム
６３ 蛍光顕微鏡または蛍光内視鏡の（第２の）タイプ
６４ 画像処理装置
６６ ストレージセクション
６８ 入力セクション
７０ 出力セクション
７２ デジタルエミュレート出力画像
７３ 画像プロセッサ
７４ 表示装置
７６ モニタ
７８ アイピース
８０ ＡＲゴーグルまたはＶＲゴーグル
８２ 異なるタイプまたは第１のタイプの蛍光顕微鏡または蛍光内視鏡
８４ デジタルカラー出力画像
８６ 照明フィルタ
８８ 光学記録フィルタ
９０ 光源
９２ カラーカメラ
９４ 照明フィルタの通過帯域
９５ 照明フィルタの阻止帯域
９６ 記録フィルタのフィルタ特性
９８ 記録フィルタのフィルタ特性の狭帯域
１００ 記録フィルタの減衰帯域
１０１ 背景照明フィルタ
１０８ タイプエミュレーションモジュール
１１０ デジタル背景エミュレーションフィルタ
１１２ デジタルフィルタのライブラリ
１１４ デジタル白色光カラー画像へのデジタル背景エミュレーションフィルタの適用
１１６ ライブラリのサブライブラリ
１１７ デジタル照明フィルタ
１１８ デジタル記録フィルタ
１２０ デジタル蛍光エミュレーションフィルタ
１２２ デジタル蛍光エミュレーションフィルタのライブラリ
１２４ ライブラリのサブライブラリ
１２６ カラー画像への変換
１２８ デジタル蛍光画像へのデジタル蛍光エミュレーションフィルタの適用
１３０ デジタル白色光カラー画像およびデジタル蛍光画像の相対的な強度または明度の調整
１３１ デジタル減衰フィルタ
１３２ デジタル白色光カラー画像およびデジタル蛍光画像の組み合わせ
１３４ デジタルエミュレート出力画像の表示またはさらなる処理
１４０ デジタルエミュレート出力画像のフィルタリング
１４２ デジタル蛍光抽出フィルタ
１４４ デジタル画像
１４６ 画像カメラ
１４８ デジタル出力画像とデジタル蛍光画像との比較
１５０ デジタル差分画像
１５２ パターンの生成およびマージ
１５４ デジタル画像パターン
１５６ パターン生成器
１５８ デジタルパターン出力画像
１６０ さらなる処理または表示
１６２ 疑似色
１６４ デジタルスイッチ
１６６ 差分の領域
１６８ 背景領域
１７０ パターン領域
１７２ アウトライン
１７４ 矢印
１７６ ハッチングされた領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】