特許 7078656 強度または輝度に依存する疑似色パターン特性の変化を使用する画像処理装置、画像処理方法およびそのような画像処理装置を備えた医療用観察装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-23

(45)【発行日】2022-05-31

(54)【発明の名称】強度または輝度に依存する疑似色パターン特性の変化を使用する画像処理装置、画像処理方法およびそのような画像処理装置を備えた医療用観察装置

(51)【国際特許分類】

   A61B 1/045 20060101AFI20220524BHJP

【ＦＩ】

A61B1/045 618

A61B1/045 622

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2020013724

(22)【出願日】2020-01-30

(65)【公開番号】P2020124495

(43)【公開日】2020-08-20

【審査請求日】2020-01-30

(31)【優先権主張番号】19154875

(32)【優先日】2019-01-31

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【審査官】永田 浩司

(56)【参考文献】

【文献】欧州特許出願公開第０３２４８５３１（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０１５／０２７６６０２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００２／０１３００８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００１／０２６８０１０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００

(57)【特許請求の範囲】

【請求項1】

顕微鏡（１０４）または内視鏡などの医療用観察装置（１０２）用の画像処理装置（１００）において、
前記画像処理装置は、画像プロセッサ（１０６）を含んでおり、
前記画像プロセッサは、
パターン特性（１１８）を有しておりかつ疑似色（１２０）を含んでいるデジタル疑似色パターン（１１６）を取得し、
前記デジタル疑似色パターンを、検索されたデジタル入力画像（１０８、１１０）の入力エリア（１２２）に結合させ、したがってパターン領域（１２４）を形成し、
前記パターン領域内の位置（１２６）における前記パターン特性を、前記入力エリア内の対応する位置（１２８）における強度（Ｉ）および輝度（Ｂ）のうちの一方に依存して変化させ、
前記パターン領域を含んでいる少なくとも１つのデジタル出力画像（１３０）を出力する、
ように構成されており、
前記画像プロセッサ（１０６）は、さらに、前記パターン領域（１２４）の境界（１３４）の位置（１３２）における前記パターン特性（１１８）を、前記少なくとも１つのデジタル出力画像（１３０）の前記パターン領域外の少なくとも１つの隣接する位置（１３６）の強度（Ｉ）および輝度（Ｂ）のうちの一方に依存して調整するように構成されている、
画像処理装置（１００）。

【請求項2】

顕微鏡（１０４）または内視鏡などの医療用観察装置（１０２）用の画像処理装置（１００）において、
前記画像処理装置は、画像プロセッサ（１０６）を含んでおり、
前記画像プロセッサは、
パターン特性（１１８）を有しておりかつ疑似色（１２０）を含んでいるデジタル疑似色パターン（１１６）を取得し、
前記デジタル疑似色パターンを、検索されたデジタル入力画像（１０８、１１０）の入力エリア（１２２）に結合させ、したがってパターン領域（１２４）を形成し、
前記パターン領域内の位置（１２６）における前記パターン特性を、前記入力エリア内の対応する位置（１２８）における強度（Ｉ）および輝度（Ｂ）のうちの一方に依存して変化させ、
前記パターン領域を含んでいる少なくとも１つのデジタル出力画像（１３０）を出力する、
ように構成されており、
前記画像プロセッサ（１０６）は、さらに、前記パターン領域（１２４）の境界（１３４）の位置（１３２）における前記疑似色（１２０）の強度（Ｉ）および輝度（Ｂ）のうちの一方と、前記パターン領域（１２４）外の少なくとも１つの隣接する位置（１３６）における強度および輝度のうちの一方と、の所定の差異をもたらすように構成されている、
画像処理装置（１００）。

【請求項3】

顕微鏡（１０４）または内視鏡などの医療用観察装置（１０２）用の画像処理装置（１００）において、
前記画像処理装置は、画像プロセッサ（１０６）を含んでおり、
前記画像プロセッサは、
パターン特性（１１８）を有しておりかつ疑似色（１２０）を含んでいるデジタル疑似色パターン（１１６）を取得し、
前記デジタル疑似色パターンを、検索されたデジタル入力画像（１０８、１１０）の入力エリア（１２２）に結合させ、したがってパターン領域（１２４）を形成し、
前記パターン領域内の位置（１２６）における前記パターン特性を、前記入力エリア内の対応する位置（１２８）における強度（Ｉ）および輝度（Ｂ）のうちの一方に依存して変化させ、
前記パターン領域を含んでいる少なくとも１つのデジタル出力画像（１３０）を出力する、
ように構成されており、
前記パターン領域（１２４）内の前記デジタル疑似色パターン（１１６）は、第１のパターン構成要素（１３８）および第２のパターン構成要素（１４０）を含んでおり、前記第１のパターン構成要素は、前記第２のパターン構成要素の疑似色強度および疑似色輝度とは異なる疑似色強度および疑似色輝度のうちの一方を有しており、前記第１のパターン構成要素の疑似色強度および疑似色輝度と、前記第２のパターン構成要素の疑似色強度および疑似色輝度と、の差異は、前記入力エリア（１２２）内の強度および輝度のうちの一方に依存する、
画像処理装置（１００）。

【請求項4】

前記画像プロセッサ（１０６）は、取得された前記デジタル入力画像（１０８、１１０）内の強度（Ｉ）または輝度（Ｂ）のうちの一方が、上側の閾値（８７２）を下回るかつ／または下側の閾値（７６４）を上回る入力エリア（１２２）内に前記パターン領域（１２４）を生成するように構成されている、
請求項１から３までのいずれか１項記載の画像処理装置（１００）。

【請求項5】

前記画像プロセッサ（１０６）は、さらに、前記パターン領域（１２４）内の位置（１２６）における少なくとも１つの前記疑似色（１２０）の輝度（Ｂ）および強度（Ｉ）のうちの一方を、前記入力エリア（１２２）内の対応する位置（１２８）における輝度（Ｂ）および強度（Ｉ）のうちの一方に比例するようにセットするように構成されている、
請求項１から４までのいずれか１項記載の画像処理装置（１００）。

【請求項6】

前記画像プロセッサ（１０６）は、前記入力エリア（１２２）内の強度および輝度のうちの一方に依存して、前記デジタル疑似色パターン（１１６）の時間的な変化速度および空間的な変化速度のうちの少なくとも一方を変化させるように構成されている、
請求項１から５までのいずれか１項記載の画像処理装置（１００）。

【請求項7】

前記画像プロセッサ（１０６）は、
前記デジタル入力画像（１０８、１１０）または別のデジタル入力画像を、白色光（１４６）で記録された物体（１４４）を表しているデジタル白色光画像（１４２）として検索し、別のデジタル入力画像または前記デジタル入力画像を、少なくとも１つの蛍光体（１５０）の蛍光スペクトルで記録された前記物体（１４４）を表しているデジタル蛍光画像（１４８）として検索し、
前記デジタル蛍光画像内の前記入力エリア（１２２）を特定し、
前記デジタル疑似色パターン（１１６）を前記デジタル白色光画像（１４２）とマージさせ、前記デジタル蛍光画像の前記入力エリア（１２２）内の対応する位置（１２８ａ）の輝度および強度のうちの一方に依存して、前記パターン領域（１２４）内の位置（１２６）における前記デジタル疑似色パターンの輝度および強度のうちの一方を変化させる、
ように構成されている、
請求項１から６までのいずれか１項記載の画像処理装置（１００）。

【請求項8】

医療用観察装置（１０２）において、前記医療用観察装置は、
請求項１から７までのいずれか１項記載の画像処理装置（１００）と、
１つ以上のデジタル入力画像（１０８、１１０）を記録するように構成されているカメラシステム（１１２）と、
少なくとも１つのデジタル出力画像（１３０）を表示するように構成されている少なくとも１つのディスプレイ装置（１５２）と、
を含む医療用観察装置（１０２）。

【請求項9】

前記カメラシステム（１１２）は、前記デジタル入力画像（１１０）もしくは別のデジタル入力画像を、少なくとも１つの蛍光体（１５０）の蛍光スペクトルで、デジタル蛍光画像（１４６）として記録し、かつ／または、別のデジタル入力画像もしくは前記デジタル入力画像（１０８）を、白色光で、デジタル白色光入力画像（１４２）として記録するように構成されている、
請求項８記載の医療用観察装置（１０２）。

【請求項10】

前記医療用観察装置は、顕微鏡（１０４）または内視鏡のうちの少なくとも１つを含んでいる、
請求項８または９記載の医療用観察装置（１０２）。

【請求項11】

画像プロセッサ（１０６）を含む画像処理装置（１００）の作動方法において、
前記画像プロセッサ（１０６）により、１つ以上のデジタル入力画像（１０８、１１０）を検索するステップと、
前記画像プロセッサ（１０６）により、前記１つ以上のデジタル入力画像に基づいて、少なくとも１つのデジタル出力画像（１３０）を生成するステップと、
前記画像プロセッサ（１０６）により、表示およびさらなる処理のうちの少なくとも一方のために、前記少なくとも１つのデジタル出力画像を出力するステップと、
を含み、
前記デジタル入力画像から前記少なくとも１つのデジタル出力画像を生成するステップは、
前記画像プロセッサ（１０６）により、パターン特性（１１８）を有しているデジタル疑似色パターン（１１６）を、前記１つ以上のデジタル入力画像のうちの少なくとも１つのデジタル入力画像の少なくとも１つの入力エリア（１２２）に結合させて、パターン領域（１２４）を生成するステップと、
前記画像プロセッサ（１０６）により、前記パターン領域の位置（１２６）における前記パターン特性（１１８）を、前記１つ以上のデジタル入力画像のうちの少なくとも１つのデジタル入力画像の前記入力エリア内の対応する位置（１２８）における強度および輝度のうちの一方に依存して調整するステップと、
を含み、
前記パターン領域（１２４）の境界（１３４）における位置（１３２）の輝度ならびに強度および前記パターン領域（１２４）外の隣接する位置（１３６）の輝度ならびに強度のうちの少なくとも１つに連続的な遷移をもたらす、
作動方法。

【請求項12】

コンピュータプログラムにおいて、
前記コンピュータプログラムがコンピュータによって実行されると、前記コンピュータに請求項１１記載の作動方法を実施させる命令を含んでいるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顕微鏡または内視鏡などの医療用観察装置用の画像処理装置、そのような画像処理装置を備えた医療用観察装置、および画像処理方法、例えば顕微鏡法または内視鏡法に関する。

【背景技術】

【0002】

目下、顕微鏡または内視鏡などの医療用観察装置、またはそのような医療用観察装置に関連させて使用される画像処理装置が、関心領域を自動的に特定できるようになることが必要とされている。関心領域は、例えば、観察される組織または観察される細胞の一部であってよく、そのような組織または細胞は、反射率または蛍光などの光学的な特性によって見分けることができ、またさらなる処理ステップを実施するために識別されなければならない。関心領域は、例えば、血管または腫瘍などの組織であってよい。腫瘍の場合、さらなる処理ステップとして、生検または切除が考えられる。

【0003】

しかしながら、観察されるエリアが実際に関心領域であるのか、それとも目下関心の対象ではない背景に属するものであるのかが不明瞭であることが多い。後者は特に、領域が、関心領域を明確に定義するために使用されるすべての判定基準を満たさない場合であると考えられる。例えば、あるエリアにおける蛍光強度が、それを腫瘍として明瞭にマークするために使用される閾値を僅かに下回る可能性がある。別の例では、あるエリアの強度または輝度の色が、それを血管として明瞭にマークするために使用される閾値を僅かに下回る可能性がある。

【0004】

したがって、本発明の１つの態様によれば、そのような曖昧な関心領域を識別および／または表示するための、画像処理装置、医療用観察装置、および画像処理方法が提供される。

【発明の概要】

【課題を解決するための手段】

【0005】

上記の要求は、画像プロセッサを含んでいる画像処理装置によって取り組まれ、画像プロセッサは、パターン特性を有しており、かつ規則的に変化する疑似色を含んでいるデジタル疑似色パターンを取得し、デジタル疑似色パターンを、検索されたデジタル入力画像の入力エリアに結合させ、したがってパターン領域を形成し、パターン領域内のパターン特性および位置を、デジタル入力画像および別の検索されるデジタル入力画像のうちの少なくとも一方の入力エリア内の対応する位置における強度および輝度のうちの一方に依存して変化させ、パターン領域を含んでいる少なくとも１つのデジタル出力画像を出力するように構成されている。

【0006】

上記の要求は、さらに、そのような画像処理装置と、１つ以上のデジタル入力画像を記録するように構成されているカメラシステムと、少なくとも１つのデジタル出力画像を表示するように構成されている少なくとも１つディスプレイ装置と、を含んでいる医療用観察装置によって取り組まれる。医療用観察装置の好適な実施形態は、細胞組織を検査するために使用することができる、実験室用顕微鏡などの顕微鏡、特に人体の手術、例えば神経の手術または目の手術を行うための外科用の顕微鏡、または内視鏡、特に外科用の内視鏡である。

【0007】

最後に、上記の要求は、画像処理方法によって取り組まれ、この画像処理方法は、１つ以上のデジタル入力画像を検索するステップと、１つ以上のデジタル入力画像から、少なくとも１つのデジタル出力画像を生成するステップと、表示およびさらなる処理のうちの少なくとも一方のために、少なくとも１つのデジタル画像を出力するステップと、を含んでおり、デジタル入力画像から少なくとも１つのデジタル出力画像を生成するステップは、パターン特性を有しているデジタル疑似色パターンを、１つ以上のデジタル入力画像のうちの少なくとも１つのデジタル入力画像の少なくとも１つの入力エリアに結合させて、パターン領域を生成するステップと、パターン領域の位置におけるパターン特性を、１つ以上のデジタル入力画像のうちの少なくとも１つのデジタル入力画像の入力エリア内の対応する位置における強度および輝度のうちの一方に依存して調整するステップと、を含んでいる。

【0008】

上記の方法および装置によって、不明瞭な関心領域と明瞭な関心領域とを迅速に区別することができる。関心領域に対して目下設定されているすべての判定基準を満たさない不明瞭な関心領域が表示される場合、関心領域に関するすべての判定基準を満たすエリアとは異なるように、それらの不明瞭な関心領域をマークすることに注意を払わねばならない。不明瞭な関心領域および明瞭な関心領域が同じようにマークされてしまうと、ユーザは差異を認識することができず、さらなるステップに関して誤った結論が導き出されてしまう虞がある。例えば、医療用観察装置が外科用の顕微鏡または内視鏡である場合、外科医は、不明瞭な関心領域が切除しなければならない腫瘍であると誤った判断を下してしまう虞がある。不明瞭な関心領域が実際は腫瘍ではなく、アーチファクトである場合、誤ってマークされた腫瘍が除去されると、患者に重大なリスクを与える虞がある。さらには、例えば関心領域の表示に関する判定基準を変更することによって、すべての疑わしい関心領域を手動で確認しなければならない場合、手術時間はより長くなり、外科医を疲弊させることになる。

【0009】

パターン領域内の位置におけるパターン特性を、入力エリアの対応する位置における強度および輝度のうちの一方に依存して変更することによって、デジタル疑似色パターンは、均一には適用されなくなるが、しかしながら、そのデジタル疑似色パターンが適用されるエリアの内容に即して変更される。これによって、不明瞭な関心領域を、明瞭な関心領域とは異なるように表示することができる。

【0010】

例えば、関心領域が、その関心領域に集中する蛍光体の蛍光を基礎とする場合、入力エリア内の蛍光の強度は、所定のエリアが関心領域として分類されるか否かについて決定的なものとなり得る。強度または輝度に基づいて疑似色パターンを変更することで、ユーザは、確実に腫瘍であるとは限らない関心領域を即座に認識することができる。

【0011】

別の例は、例えばその色によって識別することができる血管である。したがって、特定の色範囲にある強度が、血管として明瞭に分類されるには十分に高くない血管は、異なる疑似色パターン特性でマークすることができる。

【0012】

したがって、上記の画像処理装置、医療用観察装置および方法は、技術的な効果を使用してユーザと明確に対話することによって、医療用観察装置の取り扱いを大幅に改善する。

【0013】

上記の画像処理装置、医療用観察装置および方法は、下記の付加的な特徴のうちの１つ以上を含むことによってさらに改善することができる。以下に説明するように、それらの付加的な特徴はそれぞれ、それ自体で固有の技術的な効果を有しており、また他の付加的な特徴のうちのいずれか１つと独立して組み合わせることができる。付加的な特徴は、画像処理装置、医療用観察装置および／または画像処理方法に無差別に適用することができる。画像処理システムについて明示的に言及することなく、下記で処理ステップについて説明する場合には常に、その処理ステップを実施するように画像処理装置を相応に構成することができると解されたい。反対に、画像プロセッサが処理ステップを実施するように構成されていることが言及されている場合には、その処理ステップは、画像処理装置を含むか、または必要とする画像処理方法の実施形態の一部であってもよい。

【0014】

例えば、１つの実施形態では、画像プロセッサは、カメラシステムおよびメモリ装置のうちの少なくとも一方から１つ以上のデジタル入力画像を検索することによって、１つ以上のデジタル入力画像を取得するように構成することができる。カメラシステムは、ＣＭＯＳカメラまたはＣＣＤカメラを含むことができる。カメラシステムは、代替的にまたは累積的に、ＲＧＢカメラ、マルチスペクトルカメラおよび／またはハイパースペクトルカメラを含むことができる。カメラシステムは、さらに、白色光、ＩＲ光、ＮＩＲ光および／またはＵＶ光を含んでいる１つ以上の波長帯域で、１つ以上のデジタル入力画像を記録するように構成されているカメラを含むことができる。メモリ装置は、ハードディスクドライブ、メモリカード、メモリスティック、メモリバンク、および／または磁気ディスクおよび光ディスクのうちの少なくとも一方、を含むことができる。メモリ装置は、さらに、揮発性メモリおよび／または不揮発性メモリを含むことができる。

【0015】

入力エリア内の強度および輝度のうちの一方が特定される位置は、１つ以上のデジタル出力画像のうちの１つにおける単一のピクセルであってよい。位置は、１つ以上のデジタル入力画像内の、好適には連続するピクセルのセットであってもよい。入力エリア内の位置は、その位置が、少なくとも１つのデジタル入力画像内、ならびに少なくとも１つのデジタル入力画像から導出されるような少なくとも１つのデジタル出力画像内の同一の幾何学ポジション、および／またはパターン認識アルゴリズムによって１つ以上のデジタル入力画像から抽出されるような同一の画像特徴部内の同一の幾何学ポジションのうちの少なくとも一方を有する場合には、パターン領域内の位置に対応するとみなすことができる。入力エリアは、パターン認識アルゴリズムを使用して、特に画像処理装置によって抽出された１つ以上のデジタル入力画像内の特徴部であってよい。パターン領域内および入力エリア内のマッチング位置は、１つ以上のデジタル出力画像における解釈の制度を改善し、また疑似色パターンが、入力エリア内で観察されているものを忠実にレンダリングすることを保証する。

【0016】

１つの実施形態では、デジタル疑似色パターンを取得することは、例えばメモリ装置からデジタル疑似色パターンを検索すること、および例えば画像処理装置に記憶されている機能を使用して、デジタル疑似色パターンを生成すること、のうちの少なくとも一方を含むことができる。画像プロセッサは、例えば、所定のデジタル疑似色パターン、または１つ以上のデジタル疑似色パターンを生成するための所定の機能が記憶されているメモリを含んでいる。

【0017】

別の実施形態では、デジタル疑似色パターンは、メモリ装置に記憶することができるか、または機能を使用して生成することができる疑似色を含むことができる。機能は、画像処理装置に記憶することができる。例えば、画像プロセッサは、記憶されている疑似色のセットから、デジタル疑似色パターンの疑似色を自動的に決定するように構成することができる。疑似色は、好適には、１つの以上のデジタル出力画像の基礎となる１つ以上のデジタル入力画像のいずれにも含まれていない色である。

【0018】

パターン特性は、デジタル疑似色パターンに関して相互に区別される。パターン特性は、デジタル疑似色パターンの疑似色、強度、輝度、透明度、コントラスト、幾何学形状、時間的な変化速度および空間的な変化速度のうちの少なくとも１つを含むことができる。それらのパターン特性のいずれも、所定の位置において、入力エリア内の対応する位置における強度および輝度のうちの一方に依存して変化させることができる。

【0019】

デジタル疑似色パターンは、時間的に変化するデジタル疑似色パターンおよび空間的に変化するデジタル疑似色パターンのうちの少なくとも一方であってよい。時間的に変化するデジタル疑似色パターンは、時間的な規則性を有しており、例えば支配的な時間周波数、すなわち時間にわたるデジタル疑似色パターンの規則的な変化または反復を調整する変化速度を有している。そのような支配的な時間周波数の一例は、パターン領域内の疑似色の強度が時間にわたり変化する速度である。そのような時間的な規則性は、例えば、特定の周波数でのデジタル疑似色パターンの点滅をもたらすことができる。支配的な空間周波数、すなわち空間的な変化速度の例は、例えば、ハッチングの幅または繰り返しの幾何学デザイン間の空間的な距離である。例えば、ハッチングの点滅および／または移動などの時間的かつ空間的に変化するパターンをもたせることによって、時間的な変化および空間的な変化を組み合わせることができる。パターン領域内の位置における疑似色の強度は、入力エリア内の対応する位置における強度または輝度に依存する周波数でもって周期的に変化させることができる。時間にわたる疑似色の強度の変化は、例えば正弦波状の変化のような連続的な変化であってもよいし、例えば段階的な変化のような急激な変化であってもよい。時間的な変化の振幅および／または最大もしくは最小の強度もしくは輝度は、入力エリア内の対応する位置における強度または輝度にも依存することができる。

【0020】

別の実施形態によれば、パターン領域内の位置のデジタル疑似色パターンの第１のパターン特性は、入力エリア内のマッチング位置における強度または輝度に依存して決定することができ、またパターン領域内のデジタル疑似色パターンの第２の異なるパターン特性は、入力領域内の平均強度または平均輝度に依存することができる。より一般的に言えば、パターン領域内の疑似色パターンの位置における第１のパターン特性は、入力エリア内のマッチング位置における局所的な特性に依存することができ、またパターン領域内の疑似色パターンの第２の異なるパターン特性は、入力エリアの全域的な特性に依存することができる。全域的な特性は、局所的な特性のエリアよりも大きい画像エリアを基礎とすることができる。例えば、局所的な特性は、単一のピクセルだけを使用して決定することができ、それに対して、全域的な特性は、局所的な特性に関する単一のピクセルを含むことができる複数のピクセルを使用して決定することができる。

【0021】

例えば、第１のパターン特性は、デジタル疑似色パターンの疑似色の強度または輝度、およびコントラストのうちの少なくとも１つであってよく、第２のパターン特性は、パターンのサイズおよび点滅周波数などの、デジタル疑似色パターンの空間的な変化速度および時間的な変化速度のうちの少なくとも一方であってよい。

【0022】

デジタル入力画像は、１つ以上の色チャネルを含むことができる。単一の色チャネルで、デジタル入力画像を構成することができる。

【0023】

代替的または累積的に、空間的に変化する疑似色パターンのポジションは、後続のデジタル出力画像において周期的にシフトすることができる。例えば、デジタル疑似色パターンの幅、距離および／または形状を含む、空間的に変化するパターンの幾何学またはトポロジは、例えば後続のデジタル出力画像において、時間にわたり一定のままであってよい。観察者は、そのような時間的および空間的に変化するパターンを、一方向に移動するように感じることができる。

【0024】

別の実施形態によれば、デジタル出力画像の時系列を、単一のデジタル出力画像から計算または導出することができる。例えば、時間的に変化するパターンは、１つ以上の静止入力画像に関して計算および表示することができる。代替的に、時間的に変化するパターンは、１つ以上の後続のデジタル入力画像を基礎として、デジタル入力画像の時系列における各画像に関して計算される。

【0025】

好適には、画像プロセッサは、デジタル疑似色パターンを含んでいる少なくとも１つのデジタル出力画像をリアルタイムで計算するように構成されている。これによって、特に、デジタル入力画像がデジタル入力画像のライブストリームを表す場合には、観察者は、デジタル入力画像における決定的な変化に、迅速かつ時宜にかなって反応することができる。１つの実施形態では、デジタル入力画像毎に単一のデジタル出力画像を計算することができる。この実施形態では、デジタル出力画像のフレームレートを、デジタル入力画像のフレームレートに対応させることができる。

【0026】

別の実施形態では、デジタル疑似色パターンは、繰り返しの幾何学要素、例えば多角形、ストライプおよび／または円を含むことができる。代替的または累積的な実施形態によれば、デジタル疑似色パターンは、疑似色エリアおよび非疑似色エリアを含むことができ、かつ／または疑似色エリアおよび異なる疑似色から成るエリアまたは疑似色の異なる強度または輝度から成るエリアを含むことができる。例えば、２つの異なる種類の関心領域に分類することができる不明瞭な関心領域は、２つの異なる種類それぞれに割り当てられる２つの異なる疑似色でマークすることができる。例えば、入力エリアにおいて、２つの蛍光体の蛍光が重畳し、２つの蛍光体それぞれに異なる疑似色が割り当てられる場合には、パターン領域内の疑似色パターンは、２つの蛍光体の２つの疑似色を、例えば２色のハッチングで含むことができる。同一のことを静脈血管および動脈血管に対して維持することができる。つまり静脈血管を確実に動脈血管と区別できないケースでは、例えば赤色および青色の２色のデジタル疑似色パターンを使用することができる。

【0027】

より一般化された意味では、パターン領域内の疑似色パターンは、第１のパターン構成要素および第２のパターン構成要素のうちの少なくとも一方を含むことができ、第１のパターン構成要素は、第２のパターン構成要素とは異なる形状、疑似色、疑似色強度および疑似色輝度のうちの１つを有している。例えば、第２のパターン構成要素は、第１のパターン構成要素よりも低い疑似色強度もしくは疑似色輝度および／または異なる疑似色を有することができる。

【0028】

例えば、第１のパターン構成要素は、疑似色領域を含んでいるハッチングされた疑似色パターンの一部であってよく、それに対して、第２のパターン構成要素は、ハッチングの線間のエリアを含んでおり、したがって低い疑似色強度もしくは疑似色輝度を有しているか、または疑似色強度もしくは疑似色輝度を有していない。第１のパターン構成要素の疑似色強度または疑似色輝度と第２のパターン構成要素の疑似色強度または疑似色輝度との差異、または第１のパターン構成要素と第２のパターン構成要素とのコントラストは、１つ以上のデジタル入力画像の入力エリア内の強度および輝度のうちの一方に依存することができる。したがって、コントラスト、すなわち疑似色パターンの可視性は、入力エリアの強度または輝度に依存する。デジタル疑似色パターンのコントラストを、入力エリア内の強度または輝度と共に増加させることができる。

【0029】

そのような実施形態では、低い強度または輝度しか有しておらず、したがって殆ど視認または識別されない入力エリアは、コントラストが低いパターンを含むことになる。パターンの可視性は、パターン内の空間周波数および／または時間周波数に起因して、パターンを有していない入力エリアと比較して高められているにもかかわらず、過度に強調されない。したがって、この実施形態では、低い強度または輝度を有している入力エリアを基礎とする疑似色パターンが、高い強度または輝度を有している入力エリアを基礎とする入力パターンと混同される危険がさらに低減されている。

【0030】

別の実施形態では、画像プロセッサは、パターン領域内の位置における少なくとも１つの疑似色輝度および疑似色強度のうちの一方を、入力エリア内の対応する位置における輝度および強度のうちの一方に比例するようにセットするように構成することができる。したがって、疑似色パターンのコントラストは、入力エリア内の対応する位置の輝度および強度に依存する。これによって、観察者は、入力エリアに関して、したがって関心領域としてのパターン領域の何らかの不明瞭性に関して即座に結論を下すことができる。例えば、輝度および強度の低下と共に、少なくとも１つの疑似色輝度および疑似色強度を低減することができる。

【0031】

疑似色パターンが、第１のパターン構成要素および第２のパターン構成要素の両方を含んでいる場合には、第２のパターン構成要素が任意の疑似色を含まないことが好適であると考えられる。したがって、この実施形態では、入力エリア内の対応する位置の強度または輝度が低くなればなるほど、パターン領域内の疑似色パターンの可視性は自動的に低くなる。

【0032】

１つの実施形態では、画像処理装置は、パターン領域に加えて、１つ以上のデジタル出力画像内の疑似色領域を計算するように構成することができる。疑似色領域は、デジタル疑似色パターンを使用することなく、疑似色で着色することができる。より具体的には、参照によりその全体が本願に組み込まれるＥＰ３２０５２５４の装置および方法を使用して、疑似色エリアを計算することができる。１つ以上のデジタル出力画像内の疑似色領域は、１つ以上のデジタル入力画像内の対応する入力エリアの強度または輝度が所定の下側の閾値を上回る位置であってよい。

【0033】

ＥＰ３２０５２５４の装置および方法は、疑似色パターンを１つ以上のデジタル入力画像とマージするために使用することもできる。

【0034】

例えば、腫瘍細胞に結合する蛍光体が使用される場合には、多数の腫瘍細胞が集中するエリアに、高い蛍光強度または蛍光輝度を生じさせることができる。したがって、蛍光強度または蛍光輝度の特定の所定の閾値を上回ると、高い蛍光強度が腫瘍をマークしている確実性は高い。この上側の閾値を下回る場合、腫瘍が存在するか否かについての統計的な不確実性が高まると考えられる。この実施形態では、閾値を上回る強度または輝度を有している入力エリアは、パターンを有していない疑似色を使用して均一に着色されることになる。これは、例えば、ＥＰ３２０５２５４に記載されているような、１つ以上のデジタル入力画像のうちの別のデジタル入力画像における強度または輝度に依存して疑似色の強度または輝度を設定して、疑似色を１つ以上のデジタル入力画像のうちの１つのデジタル入力画像とマージすることによって行うことができる。閾値を下回る強度または輝度を有している入力エリアを使用して、上述のようなパターンエリアを生成することができる。したがって、パターンエリアは、不明瞭な関心領域をマークする。

【0035】

さらなる実施形態では、上側の所定の閾値を下回り、かつ下側の所定の閾値を上回る強度または輝度を有している１つ以上の好適には連続するピクセルを含ませることによって、入力エリアまたはパターンエリアそれぞれを決定することは好適であると考えられる。下側の所定の閾値を使用して、ノイズまたは測定エラーによる影響を受けた可能性がある低い強度または輝度が入力エリアに含まれることを回避することができる。

【0036】

異なる位置において閾値判定基準が満たされる場合には、デジタル入力画像は、複数の別個の入力エリアを含むことができる。

【0037】

１つ以上のデジタル入力画像は、少なくとも１つの蛍光体の蛍光スペクトルで記録された蛍光画像、白色光で記録されたデジタル白色光画像、デジタルＣＴ画像、デジタルＭＲＴ画像、デジタルラマン顕微分光画像、デジタル超音波画像、およびそれらの任意の組み合わせを含むことができる。

【0038】

画像プロセッサは、さらに、デジタル入力画像が複数の好適には連続するピクセルを含んでいる場合にのみ、そのデジタル入力画像のエリアを入力エリアとして選択するように構成することができる。例えば、デジタル疑似色パターンの所定の幾何学形状よりも大きくなるように入力エリアを選択することができる。

【0039】

１つの実施形態では、画像プロセッサは、強度または輝度が上側の閾値を下回る、かつ／または下側の閾値を上回る所定の最小数のピクセルをデジタル入力エリアが含む場合にのみ、そのデジタル入力エリアのエリアを入力エリアとして選択するように構成することができる。例えば、入力エリアの最小サイズは、３×３、４×４、または５×５のピクセルであってよい。

【0040】

画像プロセッサは、さらに、入力エリア内の１つ以上のデジタル入力画像の平均強度または平均輝度に依存して、かつ／または入力エリアとその直ぐ周囲のエリアとのコントラストに依存して、入力エリアの異なる最小サイズ判定基準またはフィルタを適用するように構成することができる。この実施形態では、小さくて明るいエリアを、より大きくて明るさがより低いエリアと同様に可視とすることができ、かつ関心領域にとって重要なエリアであるとすることができると考えられる。したがって、入力エリアのサイズは、その平均強度または平均輝度に依存することができる。平均強度が高くなればなるほど、入力エリアのサイズはより一層小さくなると考えられる。

【0041】

平均強度または平均輝度は、中央値、算術平均、幾何平均、調和平均、二乗平均、三乗平均、一般化平均、加重平均、トリム平均、ウィンザー化平均ならびに四分位平均、最頻値、ミッドレンジおよびそれらの値の任意の組み合わせのうちのいずれか１つであってよい。

【0042】

別の実施形態では、画像プロセッサは、入力エリア内の平均強度および入力エリアの周囲のエリア内の平均強度、特に入力エリアとその周囲とのコントラストを計算するように構成することができる。画像プロセッサは、入力エリアの最小サイズについての閾値を、この差異に依存して調整するように構成することができる。この判定基準を使用して、自身の周囲とは著しく異なる強度または輝度を有している入力エリアを、より高い尤度で実際の関心領域として分類することができると考えられる。

【0043】

周囲のエリアは、入力エリアが位置しているデジタル入力画像と同一のデジタル入力画像または、それとは異なるデジタル入力画像内に位置することができる。例えば、入力エリアの強度または輝度は、デジタル蛍光画像から計算することができる。

【0044】

周囲の強度または輝度は、デジタル白色光画像から特定することができる。代替的に、入力エリア内の強度または輝度は、単一の色チャネルから特定することができ、それに対して、周囲の強度または輝度は、別の色チャネルまたは複数の色チャネルの組み合わせから特定される。

【0045】

入力エリア、したがって関心領域を特定するために使用される上側の閾値および／または下側の閾値は、入力エリアの平均強度または平均輝度に依存するものとして、また同一のデジタル入力画像または異なるデジタル入力画像内の入力エリアの平均強度または平均輝度および／または周囲のエリアとのコントラストに依存するものとして、画像処理装置によって計算することができる。例えば、上側の閾値は、より低い平均強度または平均輝度を有している入力エリアと比べて高い平均強度または平均輝度を有している入力エリア内では増加させることができる。代替的にまたは付加的に、上側の閾値は、自身の周囲に対してより低いコントラストを有している入力エリアと比べて、同一のまたは異なるデジタル入力画像において周囲のエリアに対して高いコントラストを有している入力エリア内では増加させることができる。上側の閾値および／または下側の閾値は、入力エリアが位置しているデジタル入力画像または別のデジタル入力画像内の全体の平均強度または平均輝度に依存して、画像処理装置によって特定することもできる。例えば、入力エリアが位置しているデジタル入力画像の全体の強度がより高い場合には、上側の閾値および／または下側の閾値を増加させることができる。反対に、入力エリアが位置しているデジタル入力画像の全体の強度がより低い場合には、上側の閾値および／または下側の閾値を低減させることができる。

【0046】

別の実施形態では、画像処理装置は、入力エリア内の平均強度、同一のまたは異なるデジタル入力画像の周囲のエリア内の平均強度、および同一のまたは異なるデジタル入力画像内の入力エリアの強度と周囲のエリアの強度との差異またはコントラストのうちの少なくとも１つに依存して、上側の閾値および／または下側の閾値の値、入力エリアのサイズのうちの少なくとも１つを特定するためのテーブルまたは機能を含んでいる。それらの値およびサイズは、経験的に特定することができ、またメモリ装置に記憶することができる。さらに、画像処理装置の動作中に、それらの値およびサイズを教え込むためにニューラルネットワークを決定することができる。

【0047】

別の実施形態では、画像プロセッサは、入力エリアのサイズに依存して、パターン特性を変化させるように構成することができる。例えば、画像プロセッサは、疑似色パターンの２つ以上のインスタンスが入力エリアにフィットするように、デジタル疑似色パターンの幾何学形状を入力エリアのサイズに適合させるように構成することができる。別の例では、画像処理装置は、最も小さいサイズを有している入力エリアに依存して、疑似色パターンを選択するように構成することができる。別の付加的または累積的な実施形態では、画像プロセッサは、入力エリアの最小サイズまたは平均サイズに依存して、時間的に変化するパターニングか空間的に変化するパターニングを自動的に選択するように適合させることができる。例えば、入力エリアが小さい場合には、空間的な規則性を有していない点滅する疑似色を使用することができる。

【0048】

別の実施形態では、画像処理装置は、パターン領域が少なくとも所定数のピクセルを含んでいる場合にのみ、パターン領域において疑似色パターンを適用するように構成することができる。画像プロセッサは、ピクセルの数、幅ならびに／または長さなどの寸法、および入力エリアならびに／またはパターン領域のアスペクト比のうちの少なくとも１つを決定するように構成することができる。画像プロセッサは、この値を所定の値と比較して、パターン領域が最小数のピクセル、寸法、およびアスペクト比のうちの少なくとも１つを有するか否かを特定するように構成することができる。

【0049】

パターン領域または入力エリアは、それ以外の場合にはパターン化されないエリアを、そのエリアが入力エリアによって包囲されており、かつ所定のサイズを上回らない場合には含むことができる。例えば、それ以外の場合には明るい入力エリアが暗いスペックを含んでいる場合には、それが小さい場合にのみ、この暗いスペックもパターン化するために、より簡単な認識にとって好適であると考えられる。

【0050】

別の有利な実施形態では、画像プロセッサは、さらに、パターン領域の境界の位置におけるパターン特性を、少なくとも１つのデジタル出力画像のパターン領域外の少なくとも１つの隣接する位置における強度および輝度のうちの一方に依存して調整するように構成することができる。例えば、疑似色の強度および輝度は、少なくとも１つの隣接する位置における強度または輝度に依存して、画像処理装置によって変化させることができる。これによって、パターン領域の強度または輝度を、入力エリアの周囲に平滑に適合させることができる。パターン領域外の少なくとも１つの隣接する位置は、入力エリアと同一のデジタル入力画像内に必ずしも位置している必要はないが、しかしながら異なるデジタル入力画像内に位置することができる。これによって、実際に入力エリアの強度または輝度が平滑な勾配を有するパターン領域の境界において、強度または輝度が急激に変化することが阻止される。したがって、境界は人工的にハイライトされない。

【0051】

別の実施形態では、画像プロセッサは、パターン領域の境界の位置における少なくとも１つの疑似色の強度および輝度のうちの一方と、パターン領域外の少なくとも１つの隣接する位置における強度および輝度のうちの一方との所定の差異、またはコントラストをもたらすように構成することができる。これによって、パターン領域とその周囲との特定のコントラスト、したがって可視性を維持することができる。

【0052】

画像プロセッサは、さらに、白色光で記録された物体を表しているデジタル白色光画像としての１つ以上のデジタル入力画像のうちの１つのデジタル入力画像、および少なくとも１つの蛍光体の蛍光スペクトルで記録された物体を表しているデジタル蛍光画像としての１つ以上のデジタル入力画像のうちの別のデジタル入力画像を検索し、デジタル蛍光画像内の入力エリアを特定し、疑似色パターンをデジタル白色光画像とマージして、パターン領域内の位置における疑似色パターンの輝度および強度のうちの一方を、デジタル蛍光画像内の対応する位置の輝度および強度のうちの一方に依存して変化させるように構成することができる。ここでもまた、マージは、上述のように、ＥＰ３２０５２５４に記載されている装置および方法を使用して実施することができる。

【0053】

画像プロセッサは、さらに、パターン領域の境界における位置と、パターン領域外の境界における隣接する位置との間の輝度および強度のうちの一方に連続的な遷移をもたらすように構成することができる。

【0054】

医療用観察装置では、カメラシステムは、少なくとも１つの蛍光体の蛍光スペクトルで、１つ以上のデジタル入力画像のうちの少なくとも１つのデジタル入力画像をデジタル蛍光入力画像として記録し、白色光で、１つ以上のデジタル入力画像のうちの１つのデジタル入力画像をデジタル白色光入力画像として記録するように構成することができる。

【0055】

いくつかの態様を装置の文脈において説明したが、それらの態様が、対応する方法の説明も表していることは明白であり、この場合、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈において説明した態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表す。方法ステップの一部またはすべてを、ハードウェア装置、例えばプロセッサ、マイクロプロセッサ、プログラミング可能なコンピュータまたは電子回路によって（またはそれを使用して）実行することができる。一部の実施形態では、最も重要な方法ステップのうちの何らかの１つ以上の方法ステップをそのような装置によって実行することができる。

【0056】

特定の実現要求に依存して、本発明の実施形態は、ハードウェアまたはソフトウェアとして実現することができる。この実現は、各方法が実施されるようにプログラミング可能なコンピュータシステムと協働し（または協働することができ）、また電子的に可読の制御信号が記憶されている、デジタル記憶媒体、例えばフロッピディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリなどの、非一時的な記憶媒体を使用して実施することができる。したがって、デジタル記憶媒体は、コンピュータ可読であってよい。

【0057】

本発明による一部の実施形態は、本明細書において説明する方法のうちの１つが実施されるように、プログラミング可能なコンピュータシステムと協働することができる、電子的に可読な制御信号を有しているデータ担体を含む。

【0058】

一般的に、本発明の実施形態は、コンピュータにおいて実行されると、方法のうちの１つを実施するように動作するプログラムコードを有しているコンピュータプログラムとして実現することができる。プログラムコードは、例えば、機械可読担体に記憶することができる。

【0059】

別の実施形態は、機械可読担体に記憶されている、本明細書に記載する方法のうちの１つを実施するためのコンピュータプログラムを含む。

【0060】

したがって、換言すれば、本発明の実施形態は、コンピュータにおいて実行されると、本明細書に記載する方法のうちの１つを実施するためのプログラムコードを有しているコンピュータプログラムである。

【0061】

したがって、本発明のさらなる実施形態は、プロセッサによって実行されると、本明細書に記載する方法のうちの１つを実施するためのコンピュータプログラムを記憶して含んでいる、記憶媒体（またはデータ担体、またはコンピュータ可読媒体）である。データ担体、デジタル記憶媒体または記録媒体は、典型的には、有形のかつ／または非一時的なものである。本発明のさらなる実施形態は、プロセッサおよび記憶媒体を含んでいる、本明細書に記載するような装置である。

【0062】

したがって、本発明のさらなる実施形態は、本明細書に記載する方法のうちの１つを実施するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、データ通信コネクションを介して、例えばインターネットを介して伝送するように構成することができる。

【0063】

さらなる実施形態は、本明細書において説明する方法のうちの１つを実施するように構成されているか、または適合されている処理手段、例えばコンピュータまたはプログラマブルロジックデバイスを含む。

【0064】

以下では、添付の図面を参照しながら、例示的な実施形態を説明する。各図面に示されている特徴の特定の組み合わせは、単に例示に過ぎない。特定の特徴に含まれていない上述のいずれの特徴も、図面に示した実施形態に追加することができる。反対に、上述のいずれのオプションの特徴も、特定の図面に示した実施形態から除くことができる。

【図面の簡単な説明】

【0065】

【図1】医療用観察装置の１つの考えられる実施形態の概略図を示す。

【図2】デジタル疑似色パターンの概略図を示す。

【図3】デジタル疑似色パターンの概略図を示す。

【図4】デジタル疑似色パターンの概略図を示す。

【図5】デジタル疑似色パターンの概略図を示す。

【図6】デジタル疑似色パターンの概略図を示す。

【図7】出力画像を取得するための、デジタル入力画像およびデジタル疑似色パターンのマージの概略図を示す。

【図8】入力エリアの概略図を示す。

【図9】入力エリアの別の実施形態の概略図を示す。

【図10】パターン領域における線に沿った、疑似色の強度および／または輝度の変化の概略図を示す。

【図11】パターン領域における線に沿った、疑似色の強度および／または輝度の変化の別の実施形態の概略図を示す。

【図12】デジタル入力画像における入力エリアの概略図を示す。

【図13】デジタル疑似色パターンの変形形態の概略図を示す。

【図14】フローチャートの概略図を示す。

【発明を実施するための形態】

【0066】

図１には、例えば、顕微鏡１０４または内視鏡などの医療用観察装置１０２において使用されるような画像処理装置１００が示されている。画像処理装置１００は、汎用コンピュータの一部であってよい画像プロセッサ１０６を含んでいる。画像プロセッサ１０６は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせを含むことができる。画像プロセッサ１０６としては、ＣＰＵ、ＧＰＵ、ベクトルプロセッサ、ＦＰＡ、および／またはＡＳＩＣを挙げることができる。

【0067】

画像プロセッサ１０６は、デジタル疑似色パターン１１６を取得するように構成されている。デジタル疑似色パターン１１６は、パターン特性１１８を有しており、また規則的に変化する疑似色１２０を含んでいる。

【0068】

画像プロセッサ１０６は、さらに、デジタル疑似色パターン１１６を、検索されるデジタル入力画像１０８、１１０の入力エリア１２２に結合させるように構成されている。デジタル入力画像は、１つ以上の色チャネルを含むことができる。単一の色チャネルで、既に、デジタル入力画像を構成することができる。

【0069】

デジタル疑似色パターン１１６を、入力エリア１２２および／またはデジタル入力画像１０８、１１０のうちの一方のマッチングエリアに結合させることによって、パターン領域１２４がもたらされる。画像プロセッサ１０６は、また、パターン領域１２４内の位置１２６におけるパターン特性１１８を、デジタル入力画像および別の検索されるデジタル入力画像のうちの少なくとも一方の入力エリア１２２内の対応する位置１２８における強度および輝度のうちの一方に依存して変化させるように構成されている。パターン特性１１８は、デジタル疑似色パターン１１６の疑似色、強度、輝度、透明度、コントラスト、幾何学形状、時間的な変化速度および空間的な変化速度のうちの少なくとも１つを含むことができる。パターン特性１１８は、特に、光学的または視覚的な特性であってよく、それによって、種々のデジタル疑似色パターン１１６を相互に視覚的に見分けることができる。

【0070】

異なるパターン特性１１８によって、１つのデジタル出力画像１３０において同時に使用することができる異なる疑似色パターン１１６を相互に区別することができる。それらのパターン特性１１８のうちのいずれか１つのパターン特性またはそれらのパターン特性１１８の任意の組み合わせを、位置１２６において、入力エリア１２２内の対応する位置１２８における強度および輝度の一方に依存して変化させることができる。

【0071】

画像プロセッサ１０６は、さらに、パターン領域１２４を含んでいる少なくとも１つのデジタル出力画像１３０を出力するように構成されている。

【0072】

画像プロセッサ１０６は、１つ以上のデジタル入力画像１０８、１１０内の強度または輝度のうちの一方が上側の閾値を下回るかつ／または下側の閾値を上回る入力エリア１２２内にパターン領域１２４を生成するように構成することができる。入力エリア１２２内の強度または輝度は、入力エリア１２２にわたる平均強度を使用して、画像処理装置１００によって計算することができる。平均強度は、中央値、算術平均、幾何平均、調和平均、二乗平均、三乗平均、一般化平均、加重平均、トリム平均、ウィンザー化平均ならびに四分位平均、最頻値、ミッドレンジおよびそれらの任意の組み合わせのうちの少なくとも１つを使用して計算することができる。

【0073】

入力エリア１２２は、好適には、複数のピクセル１２８ｃを含んでいる。複数のピクセルの各ピクセル１２８ｃは、好適には連続しており、したがって一続きのエリアを形成している。エリアは、ピクセルの強度または輝度が、入力エリアであることに関する判定基準を満たさないために入力エリア１２２の一部とはならない１つ以上のピクセル１２８ｃを取り囲む可能性がある。これは例えば、強度もしくは輝度が下側の所定の閾値を下回る場合、または強度もしくは輝度が上側の所定の閾値を上回る場合であると考えられる。

【0074】

画像プロセッサ１０６は、さらに、パターン領域１２４の境界１３４の位置１３２におけるパターン特性１１８を、少なくとも１つのデジタル出力画像１３０のパターン領域１２４外の少なくとも１つの隣接する位置１３６における強度または輝度のうちの一方に依存して調整するように構成することができる。

【0075】

入力エリア１２２内の強度および輝度のうちの一方が特定される位置１２８は、単一のピクセル１２８ｃであってよい。相応に、パターン領域１２４内のマッチング位置１２６も単一のピクセル１２６ｃであってよい。別の実施形態では、位置１２８は、１つ以上のデジタル入力画像１０８、１１０内の、好適には連続するピクセル１２６ｃのセットを含むことができる。この場合、複数のピクセルにわたる平均強度または平均輝度を特定することができる。強度または輝度を特定するために２つ以上のデジタル入力画像１０８、１１０が使用される場合には、複数のマッチング位置１２６が使用される。別の実施形態では、位置１２８は、入力エリア１２２全体を含むことができる。

【0076】

入力エリア１２２内の位置１２８が、少なくとも１つのデジタル入力画像１０８、１１０内で、少なくとも１つのデジタル出力画像１３０内の幾何学ポジションと同一の幾何学ポジションを有している場合には、その位置１２８は、パターン領域１２４内の位置１２６に対応する、すなわち位置１２６と一致する。代替的に、２つの位置１２６、１２８が、１つ以上のデジタル入力画像１０８、１１０からパターン認識アルゴリズムによって抽出された画像特徴部と同一の画像特徴部内で同一の幾何学ポジションを有している場合には、それら２つの位置１２６、１２８が一致しているとみなすことができる。

【0077】

入力エリア１２２は、パターン認識アルゴリズムを使用して画像プロセッサ１０６によって抽出された特徴部１５４であってよい。そのような特徴部１５４の例は、白色光で記録されたデジタル白色光画像１４２内の血管であるか、またはデジタル蛍光画像１４８内の蛍光体１５０の蛍光スペクトルで記録された腫瘍である。

【0078】

別の実施形態では、画像プロセッサ１０６は、さらに、パターン領域１２４の境界１３４の位置１３２における少なくとも１つの疑似色１２０の強度または輝度と、パターン領域１２４外の少なくとも１つの隣接する位置１３６の強度および輝度のうちの一方との所定の差異をもたらすように構成することができる。

【0079】

別の実施形態では、画像プロセッサ１０６は、さらに、パターン領域１２４内の位置１２６における少なくとも１つの疑似色１２０の輝度および強度のうちの一方を、入力エリア１２２内の対応する位置１２８における輝度および強度のうちの一方に比例するようにセットするように構成することができる。

【0080】

パターン領域１２４内のデジタル疑似色パターン１１６は、第１のパターン構成要素１３８および第２のパターン構成要素１４０を含むことができる。第１のパターン構成要素１３８の疑似色輝度または疑似色強度は、好適には、第２のパターン構成要素１４０の疑似色輝度または疑似色強度とは異なる。別の変形形態では、第１のパターン構成要素１３８および第２のパターン構成要素１４０は、異なる疑似色を含むことができる。

【0081】

第１のパターン構成要素１３８および第２のパターン構成要素１４０のうちの少なくとも一方における疑似色輝度または疑似色強度は、入力エリア１２２内の輝度または強度それぞれに依存することができる。特に、位置１２６における、第１のパターン構成要素の疑似色強度または疑似色輝度と、第２のパターン構成要素の疑似色強度または疑似色輝度との差異は、入力エリア１２２内のマッチング位置１２８における強度および輝度に依存することができる。これに関して、位置１２６は、両方のパターン構成要素１３８、１４０を含むサイズを有することができる。

【0082】

図２から図６は、１１６ａ、１１６ｂ、１１６ｃ、１１６ｄ、１１６ｅで表した、種々のデジタル疑似色パターン１１６の例を示す。パターン１１６ａ～１１６ｅはいずれも、空間的および／または時間的な規則性を有している。図２および図６のパターンは、画像処理装置１００によって何らかのやり方で使用することができる疑似色パターン１１６の多様性を制限するものと解釈されるべきではない。

【0083】

疑似色パターン１１６ａ～１１６ｄはいずれも、空間的な規則性を有している。したがって、疑似色パターン１１６ａ～１１６ｄの基本成分は、それ自体、所定の空間周波数で繰り返される。基本成分は、任意の形状、例えば図２の疑似色パターン１１６ａにおける形状のような多角形の形状であってよい。疑似色パターン１１６は、疑似色パターン１１６ｂ～１１６ｄのようにハッチングであってもよい。

【0084】

図２から図６にさらに示したように、疑似色パターン１１６ａ～１１６ｅのパターン構成要素１３８、１４０は、異なる疑似色輝度または疑似色強度を有している。図２から図６における２つの構成要素１３８、１４０のうちの一方の疑似色強度または疑似色輝度は、他方の疑似色強度または疑似色輝度よりも低い。図２、図４および図６では、第１のパターン構成要素１３８は、疑似色を一切含んでおらず、それに対して、第２のパターン構成要素１４０は、疑似色を含んでいる。パターン１１６ｂでは、第１のパターン構成要素１３８は、第２のパターン構成要素１４０よりも低い強度で疑似色を含んでいる。

【0085】

図５の疑似色パターン１１６ｄおよび図６の疑似色パターン１１６ｅは、時間的な規則性を有している。図５の疑似色パターン１１６ｄでは、疑似色パターン１１６ｄの形状、ここでは一例としてのハッチングの形状は変化しないが、しかしながら時間ｔにわたりポジションが変化する。つまり、ポジションが漸次的に、あるフレーム５５６から次のフレームへとシフトすることによって、疑似色パターン１１６ｄが方向５５８に伝播している印象をもたらすことができる。特定の時間速度で、すなわち特定の周波数で、一連の後続のフレーム５５６を繰り返すことによって、時間ｔにわたる規則性が得られる。したがって、図５のデジタル疑似色パターン１１６ｄは、空間的な規則性も時間的な規則性も有している。

【0086】

図６においては、デジタル疑似色パターン１１６ｅは、時間的な規則性のみを示す。つまり、第１のパターン構成要素１３８および第２のパターン構成要素１４０は、それぞれ、特定の時間的な変化速度または時間周波数で表示される。これによって、点滅する疑似色パターン１１６ｅがもたらされる。

【0087】

画像プロセッサ１０６は、入力エリア１２２内の強度および輝度のうちの一方に依存して、デジタル疑似色パターン１１６の時間的な変化速度および空間的な変化速度のうちの少なくとも一方を変化させるように構成することができる。例えば、第１のパターン構成要素１３８または第２のパターン構成要素１４０の各パターン構成要素の距離４６０またはその幅は、入力エリア１２２内の強度または輝度に依存することができる。例えば、入力エリア１２２内の強度または輝度が増加した場合には、より高い疑似色強度または疑似色輝度を有している第２のパターン構成要素１４０それぞれの距離４６０を拡大することができる。

【0088】

画像プロセッサ１０６は、デジタル白色光画像１４２のような、１つ以上のデジタル入力画像１０８、１１０のうちの少なくとも１つの入力画像を検索するように構成することができる。デジタル白色光画像１４２は、白色光１４６で記録された物体１４４を表す。白色光１４６は、可視光周波数にある物体１４４の任意の色を忠実にレンダリングするには十分な波長を含んでいる。例えば、デジタル白色光画像１４２は、ＲＧＢフォーマットであってよい。

【0089】

画像プロセッサ１０６は、さらに、デジタル蛍光画像１４８のような、１つ以上のデジタル入力画像１０８、１１０のうちの少なくとも１つの別の入力画像を検索するように構成することができる。デジタル蛍光画像は、少なくとも１つの蛍光体１５０の蛍光スペクトルで記録された物体１４４を表す。物体が複数の蛍光体を含む場合には、複数のデジタル蛍光画像１４８を提供することができ、この場合、各デジタル蛍光画像１４８は、好適には、異なる蛍光体１５０の蛍光波長を含んでいる。

【0090】

画像処理装置１００は、さらに、少なくとも１つのデジタル蛍光画像１４８内の入力エリア１２２を特定するように構成することができる。例えば、入力エリア１２２は、デジタル蛍光画像１４８内の、蛍光輝度または蛍光強度が下側の閾値を上回るか、または上側の閾値を下回るエリアに対応するエリアとして特定することができる。代替的に、入力エリアは、デジタル蛍光画像１４８内の、強度もしくは輝度が下側の閾値を上回るエリアとして、または強度もしくは輝度が上側の閾値を下回るエリアとして特定することができる。デジタル蛍光画像１４８は、入力エリアを特定する前に、正規化かつ／またはローパスフィルタリングすることができる。

【0091】

２つ以上のデジタル蛍光画像１４８が、画像プロセッサ１０６によって検索される場合には、入力エリア１２２は、各デジタル蛍光画像１４８内で独立して特定することができる。例えば、１つのデジタル蛍光画像１４８が、酸素の豊富な赤い血液細胞に結合する蛍光体１５０の蛍光スペクトルを記録する場合には、少なくとも１つの輝度閾値または強度閾値の使用によって入力エリア１２２を特定して、入力エリア１２２を動脈血管に対応させることができる。別の蛍光体１５０ａ（図１を参照されたい）が使用されて、腫瘍細胞がマークされる場合には、この別の蛍光体１５０ａの蛍光スペクトルを含んでいるデジタル蛍光画像１４８を使用して、腫瘍を入力エリア１２２として定義することができる。好適には、２つの異なるデジタル疑似色パターンが、異なるデジタル入力画像１０８、１１０、または特にデジタル蛍光画像１４８を基礎とする、それらの２つの異なる入力エリア１２２に割り当てられる。２つの異なるデジタル疑似色パターンは、少なくとも１つのパターン特性１１８、例えば疑似色に関して異なる。

【0092】

画像プロセッサ１０６は、さらに、疑似色パターン１１６をデジタル白色光画像１４２とマージさせるように構成することができ、この場合、疑似色パターン１１６の輝度または強度、例えばパターン領域１２４内の位置１２６におけるその構成要素１３８、１４０のうちの少なくとも一方の輝度または強度は、デジタル蛍光画像１４８の入力エリア１２２内の対応する位置１２８ａの輝度または強度に依存して設定される。

【0093】

画像プロセッサ１０６は、１つ以上のデジタル入力画像１０８、１１０を、医療用観察装置１０２の一部であってよいカメラシステム１１２またはメモリ装置１１４から検索するように構成することができる。メモリ装置１１４における１つ以上のデジタル入力画像１０８、１１０は、画像情報を記憶するための任意の適切なデータフォーマット、例えばＰＤＦ、ＧＩＦ、ＴＩＦ、ＪＰＥＧ、ＴＧＡおよび／またはＭＰＧフォーマットを有することができる。メモリ装置１１４は、揮発性メモリまたは不揮発性メモリであってよい。メモリ装置１１４は、医療用観察装置１０２の固定の部分であってもよいし、取り外し可能なものであってもよい。メモリ装置１１４は、例えば、ハードディスク、メモリバンク、光学ディスク、メモリカードまたはメモリスティックであってよい。

【0094】

カメラシステム１１２は、好適には、１つ以上のデジタル入力画像１０８、１１０を記録するように構成されている。例えば、カメラシステム１１２は、１つ以上のデジタル白色光画像１４２および１つ以上のデジタル蛍光画像１４８のうちの少なくとも一方を記録するように構成することができる。カメラシステム１１２は、少なくとも１つのカメラ１１２ａを含むことができる。カメラシステム１１２は、ＣＣＤカメラまたはＣＭＯＳカメラなどの、白色光画像を記録するためのＲＧＢカメラを含むことができる。カメラシステム１１２は、付加的にまたは代替的に、ＵＶ画像、ＮＩＲ画像および／またはＩＲ画像を記録するためのカメラを含むことができる。カメラシステム１１２は、マルチスペクトルカメラまたはハイパースペクトルカメラを含むことができる。医療用観察装置１０２は、さらに、少なくとも１つのデジタル出力画像１３０を表示するように構成されている少なくとも１つのディスプレイ装置１５２を含むことができる。

【0095】

例えば、医療用観察装置１０２は、ディスプレイ装置１５２として、モニタ１５２ａ、ＶＲゴーグル１５２ｂ、および／または接眼レンズ１５２ｃを含むことができる。ディスプレイ装置１５２のうちのいずれか１つは、立体表示またはホログラフィ表示を行うものであってよい。これによって、立体デジタル入力画像１０８、１１０などの、３次元のデジタル入力画像１０８、１１０を表示することができる。

【0096】

図７には、デジタル疑似色パターン１１６が、例えばデジタル白色光画像１４２を表すデジタル入力画像１０８、および例えばデジタル蛍光画像１４８を表すデジタル入力画像１１０とどのように結合されるか、またはマージされるかが示されている。デジタル白色光画像１４２は、カラー画像または単色画像であってよい。デジタル蛍光画像１４８は、カラー画像または単色画像であってよい。デジタル蛍光画像１４８内では、入力エリア１２２が、画像処理装置１００（図１を参照されたい）によって特定されている。デジタル疑似色パターンと１つ以上のデジタル入力画像１０８、１１０との結合によって、少なくとも１つのデジタル出力画像１３０が得られる。結合機能またはマージ機能は、参照番号７６２で例示的に表されており、また（一定の）疑似色の代わりにデジタル疑似色パターンを使用することによって、ＥＰ３２０５２５４に記載されている装置および方法を使用することができる。

【0097】

入力エリア１２２は、デジタル蛍光画像１４８内の、強度Ｉまたは輝度Ｂが下側の閾値７６４を上回るエリアとして特定することができる。説明を目的として、線７６８に沿った疑似色の強度または輝度の変化７６６が概略的に示されている。入力エリア１２２は、他のデジタル入力画像１０８、すなわちデジタル白色光画像１４２内にも示唆されている。

【0098】

２つのデジタル入力画像１０８、１１０をマージする前に、位置１２６および１２８が突き合わされる。このマッチングは、例えば、デジタル入力画像１０８、１１０を記録するセンサの視野、好適にはそれぞれのセンサの視野が同一であることを保証することによって達成することができる。このケースでは、位置１２６および１２８がそれぞれのデジタル入力画像１０８、１１０内の同一の幾何学ポジションにある場合には、それらの位置１２６および１２８は一致する。マージ７６２では、入力エリア１２２内の位置１２８に対してのみ、デジタル疑似色パターン１１６が生成される。入力エリア１２２によって包囲されているか、または入力エリア１２２外に位置しており、かつ一番低い下側の閾値７６４を上回る強度または輝度を有していないエリア７７０には、好適には、１つ以上のデジタル出力画像内で疑似色パターン１１６は割り当てられない。したがって、エリア７７０は、背景とみなすことができる。

【0099】

デジタル疑似色パターン１１６の少なくとも１つのパターン特性１１８は、デジタル蛍光画像１４８内の位置１２８における強度または輝度に依存して、入力エリア１２２内で画像処理装置１００によって変更される。例えば、少なくとも１つの出力画像１３０内の位置１２６における第１の構成要素１３８および第２の構成要素１４０のうちの少なくとも一方の強度は、位置１２８における輝度または強度に依存することができる。デジタル蛍光画像１４８内のマッチング位置１２８における強度または輝度が別の位置における強度または輝度よりも高い場合には、パターン構成要素１４０、１３８のうちの少なくとも一方の疑似色の強度または輝度は、少なくとも１つのデジタル出力画像１３０内の位置１２６においてはより高くてよい。代替的に、パターン構成要素１３８とパターン構成要素１４０のコントラストを、位置１２８における強度または輝度に依存して変更することができる。例えば、より高い強度または輝度を有している位置１２８は、より低い強度または輝度を有しているデジタル蛍光画像１４８の入力エリア１２２内の位置におけるコントラストよりも高いコントラストを有している、パターン領域１２４内の疑似色パターン１１６をもたらすことができる。したがって、デジタル蛍光画像内のマッチング位置１２８における強度または輝度が増加すると、パターン領域１２４の可視性を高めることができる。代替的または累積的に、位置１２８における時間的および／または空間的な変化速度は、マッチング位置１２６の強度または輝度に依存することができる。

【0100】

少なくとも１つのデジタル出力画像１３０の線７６８ａは、デジタル蛍光画像１４８における線７６８と一致する。線７６８ａに沿って、パターン領域１２４の少なくとも１つのパターン構成要素１３８、１４０の疑似色の強度または輝度の変化７６６ａは、デジタル蛍光入力画像１４８における強度分布７６６を反映する。

【0101】

デジタル蛍光画像１４８の代わりに、別のデジタル白色光カラー画像または白色光画像１４２としての１つ以上の色チャネルを図７の変形形態において使用することができる。例えば、図７におけるデジタル入力画像１１０は、ＲＧＢデジタル入力画像１０８の赤色チャネルであってよい。そのようなケースでは、例えば、赤色チャネルの強度または輝度を使用して、動脈血管を識別することができる。デジタル白色光画像１４２の代わりに、またはそれに加えて、異なる蛍光体１５０ａ（図１を参照されたい）の蛍光スペクトルで記録された別のデジタル蛍光画像１４８を使用することができる。この付加的な蛍光画像では、蛍光体１５０のデジタル蛍光画像１４８において使用される疑似色パターンとは異なる疑似色を有しているデジタル疑似色パターンに結合させ、それによって蛍光体を視覚的に区別することができるようにするために、入力エリアを特定することができる。

【0102】

図８には、デジタル入力画像１０８、１１０の入力エリア１２２が概略的に示されている。入力エリア１２２は、強度Ｉまたは輝度Ｂが下側の閾値７６４を上回っており、またここではさらに上側の閾値８７２を下回っているすべての位置１２８によって定義されている。別の入力エリア１２２ａは、強度Ｉまたは輝度Ｂが上側の閾値８７２を上回る位置１２８によって特定することができる。

【0103】

２つの異なる入力エリア１２２、１２２ａには、好適には、異なるデジタル疑似色パターン１１６が割り当てられる。入力エリア１２２には、少なくとも１つのパターン特性１１８に関して、少なくとも１つのデジタル出力画像１３０において入力エリア１２２ａに割り当てられるデジタル疑似色パターン１１６とは異なるデジタル疑似色パターン１１６が割り当てられる。１つの変形形態では、入力エリア１２２ａには、均一の疑似色を割り当てることができ、好適には、入力エリア１２２を基礎とするパターン領域１２４において使用されるデジタル疑似色パターン１１６と同一の疑似色を割り当てることができる。

【0104】

ここでもまた、入力エリア１２２は、下側の閾値または最も低い下側の閾値７６４を下回る強度Ｉもしくは輝度Ｂを有している位置を含んでいるか、またはそのような位置から成る１つ以上のエリア７７０を含む場合がある。

【0105】

図８に示した基本的なコンセプトを、デジタル入力画像１０８、１１０内の３つ以上の入力エリア１２２に拡張することができる。領域毎に、それぞれの下側の閾値７６４およびそれぞれの上側の閾値８７２が存在してよい。これは図９に概略的に示されており、この図９では、閾値７６４、８７２の第２のペアを使用することによって、付加的に第３の入力エリア１２２ｂが特定されている。

【0106】

入力エリア１２２、１２２ａ、１２２ｂには、好適には、異なるデジタル疑似色パターン１１６が割り当てられる。特に、下側および上側の閾値７６４、８７２を有している入力エリア１２２には、それよりも高い閾値７６４、８７２を有している入力エリア１２２ｂに割り当てられたデジタル疑似色パターン１１６に比べて、低いコントラストおよび／または低い疑似色強度もしくは疑似色輝度および／または低い空間的かつ／もしくは時間的な変化速度を有している疑似色パターンが割り当てられる。

【0107】

図８および図９では、各入力エリア１２２、１２２ａ、１２２ｂに割り当てられる異なるデジタル疑似色パターン１１６が、関心領域に対応する入力エリア１２２の異なる信頼レベルを表している。パターン特性のうちの少なくとも１つを変化させることで、より低い信頼レベルでは、それぞれのエリアにおける疑似色パターンの視認性が低減される。

【0108】

例えば、一番高い上側の閾値８７２を上回る強度および輝度を有している、図８および図９における入力エリア１２２ａは、非常に高い尤度でもって腫瘍を表していると考えられるエリアを表すことができる。したがって、入力エリア１２２ａは、少なくとも１つのデジタル出力画像１３０において均一な疑似色でマークすることができ、それに対して、閾値が下がると、腫瘍の輪郭である蓋然性は低いものとしてマークするために、入力エリア１２２、１２２ｂには、可視性が次第に低くなる疑似色パターンが割り当てられる。

【0109】

図１０および図１１には、例えば、図８に示した２つの入力エリア１２２、１２２ａから得ることができるパターン領域１２４、１２４ａが示されている。図１０においては、疑似色の強度Ｉまたは輝度Ｂが、隣接する２つのパターン領域１２４、１２４ａの疑似色パターン１１６間の境界１３４にわたり連続的に変化する。少なくともパターン構成要素１３８、１４０のうちの一方においては、境界１３４を越えて隣接する２つのパターン領域１２４の強度または輝度の急激な変化が生じることはない。

【0110】

図１１においては、疑似色の強度または輝度における所定の急激な変化１１７６が、境界１３４にわたり自動的に生成される。平滑な遷移によって、入力エリア１２２自体ではなく、隣接する入力エリア１２２間の遷移に過度な注意が払われることが回避される。したがって、例えば医療用観察装置１０２が外科用の顕微鏡または内視鏡である場合には、外科医の注意が境界１３４に逸れることはない。境界１３４において所定の急激な変化１１７６が導入されることによって、境界を所定のように強調できるようになる。

【0111】

図１０においては、パターン領域１２４および隣接するパターン領域１２４ａにわたる、線１０７６に沿った概略的な疑似色強度分布１０７４が示されている。パターン領域１２４ａは、パターン領域１２４内に位置している場合もあるが、これは必ずしも必要ではない。この例では、パターン領域１２４は、単に例示であるが、ハッチングとして形成された疑似色パターン１１６を含んでいる。

【0112】

線１０７６は、ハッチングの２つのパターン構成要素１３８、１４０の疑似色のより高い強度または輝度を有しているパターン構成要素１４０に従う。デジタル疑似色パターン１１６が、多角形または円などのハッチングとは異なるパターンを使用する場合にも、同一の考察が適用される。唯一の相違は、強度または輝度の分布１０７４が、図１０において、線１０７６に沿って２つの構成要素１３８、１４０間で強度または輝度の急激な変化を示すこと、すなわちデジタル疑似色パターン１１６のコントラストの急激な変化を示すことである。パターン領域１２４が例えば均一に分布する疑似色を含むことから、そのパターン領域１２４が、時間的な規則性のみを有している疑似色パターンを含む場合には、同一のことが適用される。

【0113】

図１０において見て取れるように、境界１３４に隣接して位置するパターン領域１２４内の位置１３２は、パターン領域１２４ａ内の、境界１３４を越えて隣接する位置１３６における強度または輝度への平滑かつ連続的な遷移を形成する強度または輝度を有している。ここで、パターン領域１２４ａは、均一な疑似色を有することができる。平滑かつ連続的な遷移は、例えば、境界１３４を越える強度または輝度の勾配の平滑な変化を確立することによって、または境界１３４の両側の位置１３２、１３６に同一の強度または輝度を割り当てることによって形成することができる。

【0114】

図１０においては、デジタル疑似色パターンの第２の強度または輝度の分布１０７４ａが、強度または輝度の分布１０７４に代替的なものとして示されている。強度または輝度の分布１０７４ａにおいては、境界までの距離などの付加的な要因または入力エリア１２２内の位置１２８における強度または輝度に比例する要因を使用して、パターン領域１２４内の強度の低下を背景７７０に向かって増大させることができる。別の変形形態では、境界１３４を越えて隣接する領域１２４への平滑な遷移を有するように、また背景７７０との境界１３４における所定の値まで低下するように、強度または輝度の分布１０７４が計算される。

【0115】

別の例によれば、パターン領域１２４内のパターン構成要素１３８の強度は、１の最大値に正規化された、位置１２８における強度または輝度の平方を使用することによって計算することができる。平方強度または平方輝度は、強度または輝度における何らかの低下を強調することになる。

【0116】

図１１は、境界１３４において、その境界１３４を越えて隣接する２つの位置１３２、１３６間の疑似色強度または疑似色輝度の所定の急激な変化１１７６が、画像処理装置１００によって導入される変形形態を示す。境界１３４にわたる強度または輝度のそのような急激な変化１１７６の導入は、図１０に示した平滑な遷移に比べて、境界をよりはっきり見えるようにする。画像処理装置１００は、ユーザが、例えばグラフィカルユーザインタフェースを介して画像処理装置１００と対話することによって、所定の急激な変化１１７６を設定できるように構成することができる。

【0117】

画像処理装置１００は、入力エリア１２２が最小サイズを有する場合にのみ、入力エリア１２２を識別するように構成することができる。最小サイズは、入力エリア１２２に含まれなければならない最小数のピクセル１２８ｃ、最小エリア、入力エリアの最小アスペクト比、およびそれらの任意の組み合わせのうちのいずれか１つを含むことができる。最小サイズは、一定である必要はないが、しかしながら適応型であってよい。これは、図１２に関連させて説明する。

【0118】

画像処理装置１００は、入力エリア１２２内の平均強度または平均輝度、入力エリア１２２の平均強度または平均輝度と背景７７０の少なくとも一部の平均強度または平均輝度との差異、例えばコントラスト、および入力エリア１２２内の平均強度または平均輝度のうちの少なくとも１つに依存して最小サイズを決定するように構成することができる。

【0119】

入力エリアのコントラストの決定に関して、背景７７０全体の平均強度および平均輝度、または入力エリア１２２が含まれているデジタル入力画像１０８、１１０の残部全体の平均強度および平均輝度を計算する必要はない。画像処理装置１００によって実行される計算プロセスを加速させるためには、入力エリア１２２内の平均強度または平均輝度と、入力エリア１２２の直接周囲１２７８内の平均入力強度または平均入力輝度とのコントラストを計算すれば十分であると考えられる。直接周囲１２７８は、例えば所定の深度を有することができ、すなわち、入力エリア１２２から所定数のピクセル分、例えば３～１０ピクセル分、広がることができる。代替的または累積的に、入力エリア１２２と同数のピクセルを含むように、直接周囲１２７８を計算することができる。入力エリア１２２が１つ以上の他の入力エリア１２２ｂ、１２２ａと隣接する場合には、直接周囲１２７８は、それらの入力エリア１２２ｂ、１２２ａのピクセルを含むことができる。

【0120】

さらに、下側の閾値７６４および上側の閾値８７２のうちの少なくとも一方は、入力エリア１２２内の絶対平均強度または絶対平均輝度、入力エリア１２２の平均強度または平均輝度と、残りのデジタル入力画像１０８、１１０または各入力エリア１２２の直接周囲１２７８とのコントラストに依存することができる。例えば、上側の閾値８７２および下側の閾値７６４のうちの少なくとも一方を自動的に決定することができ、それによって、入力エリア１２２内の平均強度または平均輝度から決定されたコントラストおよびその直接周囲１２７８の平均強度または平均輝度は一定となる。

【0121】

図１２に示したように、非常に高い絶対強度または絶対輝度を有している入力エリア１１２ｃには、より低い絶対平均強度または絶対平均輝度を有している入力エリア１２２ｄよりも小さい最小サイズを画像処理装置１００によって割り当てることができる。同一のことは、各入力エリア１２２ｃ、１２２ｄと、デジタル入力画像１０８、１１０の残部または直接周囲１２７８とのコントラストが考慮される場合に維持することができる。入力エリア１２２ｄの絶対平均強度または絶対平均輝度、および／または入力エリア１２２ｄの周囲もしくはデジタル入力画像１０８、１１０の残部と入力エリア１２２ｄとのコントラストが閾値を下回る場合には、入力エリア１２２ｄが入力エリア１２２ｃと同一のサイズを有しているにもかかわらず、入力エリア１２２ｄを破棄することができる。さらに、例えば入力エリア１２２ｅが過度に長いことから、入力エリア１２２ｅのアスペクト比が所定の範囲内に収まらない場合には、入力エリア１２２ｅを破棄することができる。

【0122】

図１３には、時間的に変化する疑似色パターン１１６のパターン特性を、例えば図８および図９に示したように、入力エリア１２２の所定の位置の強度または輝度に依存してどのように変更することができるかが示されている。

【0123】

図１３に示した例では、（ａ）に図示したように、第１のパターン構成要素１３８および第２のパターン構成要素１４０が時間にわたり交互にかつ周期的に表示されることによって、時間的な規則性が達成される。２つのパターン構成要素１３８、１４０間の遷移、すなわちパターン構成要素１３８、１４０における疑似色の強度または輝度間の遷移は、（ｂ）、（ｄ）、（ｆ）および（ｈ）に示したように段階的であってもよいし、例えば（ｃ）、（ｅ）、（ｇ）および（ｉ）に示したように平滑、例えばのこぎり波状、正弦波状であってもよい。位置１２８における強度および輝度に依存して、振幅１３８０、すなわちパターン構成要素１３８とパターン構成要素１４０のコントラスト、または周波数１３８２のうちの少なくとも１つを変化させることができる。

【0124】

別の実施形態では、１つのパターン特性は、入力エリア１２２内の平均強度および平均輝度に依存することができ、それに対して、別のパターン特性は、入力エリア１２２内の位置１２６における強度または輝度に依存することができる。例えば、デジタル疑似色パターン１１６の時間的な変化速度、周期または周波数１３８２は、入力エリア１２２の平均強度および平均輝度に依存することができる。したがって、入力エリア１２２全体が、均一な点滅速度を有することになる。パターン領域１２４内の位置１２８における振幅１３８０は、入力エリア１２２内のマッチング位置１２６における強度または輝度に依存することができる。

【0125】

同一のことは、勿論、例えば時間的な変化速度が空間的な変化速度に置き換えられ、また振幅が局所的なコントラストまたは局所的な強度もしくは局所的な輝度に置き換えられる場合には、空間的に変化するデジタル疑似色パターン１１６にも適用することができる。そのようなケースでは、デジタル疑似色パターン１１６の幾何学（空間的な変化速度）は、入力エリア１２２内の平均強度または平均輝度に依存することができ、それに対して、局所的なコントラストは、入力エリア１２２内の位置１２６の強度または輝度に依存することができる。

【0126】

図１４は、上述の方法のフローチャートの概略図を示す。

【0127】

第１のステップ１４８４においては、デジタル入力画像１０８、１１０が取得される。例えば、ステップ１４８４においては、第１の蛍光体１５０の蛍光スペクトルで記録されたデジタル蛍光入力画像１４８を取得することができる。第２のオプションのステップ１４８４ａにおいては、第２の蛍光体１５０ａの蛍光スペクトルで記録された第２のデジタル蛍光入力画像１４８を取得することができる。好適には、２つの蛍光体１５０、１５０ａの蛍光スペクトルは異なる。ステップ１４８４ｂにおいては、デジタル白色光画像１４２を取得することができる。デジタル入力画像１０８、１１０を取得するステップは、少なくとも１つのカメラ１１２を用いたデジタル入力画像１０８、１１０の記録、およびメモリ装置１１４からのデジタル入力画像１０８、１１０の検索のうちの少なくとも一方を含むことができる。ステップ１４８４、１４８４ａおよび１４８４ｂは、並行して、または連続して実施することができる。

【0128】

ステップ１４８６においては、デジタル入力画像１０８、１１０の前処理を行うことができる。前処理１４８６は、異なるタイプのデジタル入力画像毎に異なっていてよい。例えば、前処理１４８６は、任意のタイプの正規化、光学歪みの補正、アンシャープマスキング、デコンボリューションおよび任意のタイプのフィルタリングを含むことができる。

【0129】

ステップ１４９０においては、各デジタル入力画像において、例えば上側の輝度閾値ならびに強度閾値および下側の輝度閾値ならびに強度閾値のうちの少なくとも１つを適用することによって、１つ以上の入力エリア１２２を特定することができる。このステップは、取得されたデジタル入力画像１０８、１１０のうちの１つ以上において実施することができる。入力エリア１２２が特定されない１つ以上のデジタル入力画像１０８、１１０、例えば図１４においてはデジタル白色光画像が存在する場合もある。しかしながら、別の実施形態では、１つ以上のデジタル白色光画像において入力エリア１２２を特定することもできる。

【0130】

続くステップ１４９２においては、デジタル疑似色パターンが取得され、１つ以上のデジタル入力画像１０８、１１０のうちの少なくとも１つのデジタル入力画像内の少なくとも１つの入力エリア１２２に結合されて、パターン領域１２４がもたらされる。デジタル疑似色パターン１１６は、メモリ装置１１４から検索することができるか、またはメモリ装置１１４に記憶されている機能を使用して生成することができる。

【0131】

ステップ１４９４においては、パターン領域１２４の所定の位置における少なくとも１つのパターン特性１１８が、１つ以上のデジタル入力画像１０８、１１０のうちの少なくとも１つのデジタル入力画像の入力エリア１２２内の対応する位置における強度および輝度のうちの一方に依存して調整される。

【0132】

ステップ１４９２および１４９４を単一のステップとして実施できることも留意されたい。例えば、調整は結合ステップの一部であってよい。

【0133】

ステップ７６２では、デジタル入力画像およびデジタル疑似色パターン１１６がマージされて、少なくとも１つのデジタル出力画像１３０が生成される。

【0134】

ステップ７６２もまた、ステップ１４９２および１４９４のいずれか一方と同時に行うことができる。例えば、デジタル疑似色パターン１１６が取得および調整されると、パターン領域１２４を、単一のステップで、少なくとも１つのデジタル出力画像１３０内に生成することができる。ステップ１４９６においては、少なくとも１つのデジタル出力画像が、さらなる処理または表示のために出力される。

【符号の説明】

【0135】

１００ 画像処理装置
１０２ 医療用観察装置
１０４ 顕微鏡
１０６ 画像プロセッサ
１０８ デジタル入力画像
１１０ デジタル入力画像
１１２ カメラシステム
１１２ａ カメラ
１１４ メモリ装置
１１６ デジタル疑似色パターン
１１６ａ～１１６ｅ デジタル疑似色パターン
１１８ パターン特性
１２０ 疑似色
１２２ 入力エリア
１２２ａ～１２２ｅ 種々の入力エリア
１２４ パターン領域
１２４ａ パターン領域
１２６ パターン領域内の位置
１２６ｃ ピクセル
１２８ 入力エリア内のマッチング位置
１２８ｃ ピクセル
１３０ デジタル出力画像
１３２ 入力エリアの境界における位置
１３４ 入力エリアの境界
１３６ 境界を越えて隣接する位置
１３８ 第１のパターン構成要素
１４０ 第２のパターン構成要素
１４２ デジタル白色光画像
１４４ 物体
１４６ 白色光
１４８ デジタル蛍光画像
１５０ 蛍光体
１５０ａ 別の蛍光体
１５２ ディスプレイ装置
１５２ａ モニタ
１５２ｂ ＶＲゴーグル
１５２ｃ 接眼レンズ
１５４ 画像特徴部
４６０ 距離
５５６ フレーム
５５８ 伝播方向
７６２ マージ機能
７６４ 下側の閾値
７６６ 強度分布
７６６ａ 強度分布の変化
７６８ 線
７７０ 背景
８７２ 上側の閾値
１０７４ 強度分布または輝度分布
１０７４ａ 強度分布または輝度分布
１０７６ 線
１１７６ 境界にわたる輝度または強度の急激な変化
１２７８ 入力エリアの周囲
１３８０ 振幅
１３８２ 周波数
１４８４ デジタル入力画像の取得
１４８４ａ デジタル入力画像の取得
１４８４ｂ デジタル入力画像の取得
１４８６ 前処理
１４９０ 入力エリアの特定
１４９２ デジタル疑似色パターンの取得
１４９４ パターン特性の調整
１４９６ さらなる処理および／または表示
Ｉ 強度
Ｂ 輝度
ｔ 時間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】