特許 7649114 光学撮像機器及び表示画像の改善方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-11

(45)【発行日】2025-03-19

(54)【発明の名称】光学撮像機器及び表示画像の改善方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20250312BHJP

   A61B 34/10 20160101ALI20250312BHJP

   H04N 23/60 20230101ALI20250312BHJP

   H04N 23/55 20230101ALI20250312BHJP

【ＦＩ】

G02B21/36

A61B34/10

H04N23/60 500

H04N23/55

【請求項の数】 14

【外国語出願】

(21)【出願番号】P 2020100440

(22)【出願日】2020-06-09

(65)【公開番号】P2021015273

(43)【公開日】2021-02-12

【審査請求日】2023-01-23

(31)【優先権主張番号】10 2019 118 508.4

(32)【優先日】2019-07-09

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】502303382

【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100202326

【弁理士】

【氏名又は名称】橋本 大佑

(72)【発明者】

【氏名】アーロイス レーゲンスブルク

(72)【発明者】

【氏名】クリストフ ハウガー

(72)【発明者】

【氏名】スザンヌ コールハンマー

【審査官】岡田 弘

(56)【参考文献】

【文献】特開２０１１－２３９２６０（ＪＰ，Ａ）

【文献】特開平０５－３４４９９７（ＪＰ，Ａ）

【文献】特開２０１２－０９５８２８（ＪＰ，Ａ）

【文献】特開２００８－０７６２５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０２Ｂ １９／００－２１／００

Ｇ０２Ｂ ２１／０６－２１／３６

Ａ６１Ｂ ３４／１０

Ｈ０４Ｎ ５／２２２－５／２５７

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０－２３／７６

Ｈ０４Ｎ ２３／９０－２３／９５９

(57)【特許請求の範囲】

【請求項1】

－少なくとも物体（４）の第一及び第二の原画像（Ｆ、Ｍ）を生成するための第一（２）及び第二のカメラ（３）を含み、前記原画像（Ｆ、Ｍ）は少なくともある画像パラメータに関して異なる光学撮像機器（１）において、
－前記第一及び第二のカメラ（２、３）は、原画像（Ｆ、Ｍ）が同じ視点から記録されるような方法で配置されることと、
－前記原画像（Ｆ、Ｍ）をさらに処理するための画像処理ユニット（１２）と、前記処理された原画像（Ｆ、Ｍ）から生成された表示画像（Ｄ１、Ｄ２）を再現するための画像表示ユニット（１６）が存在することと、
－前記画像処理ユニット（１２）は２つの前記原画像（Ｆ、Ｍ）の少なくとも一方を他方の前記原画像（Ｆ、Ｍ）からの画像情報で補足して、表示画像（Ｄ１、Ｄ２）を生成するように構成されることと、
－前記画像パラメータが被写界深度であることと、
－前記第一のカメラ（２）はカラーカメラであり、前記第二のカメラ（３）はモノクロカメラであることと、
－前記モノクロカメラ（３）の最大被写界深度は前記カラーカメラ（２）のそれより深いことと、
を特徴とする光学撮像機器（１）。

【請求項2】

前記光学撮像機器（１）は手術用デジタル顕微鏡であることを特徴とする、請求項１に記載の光学撮像機器（１）。

【請求項3】

前記カラーカメラ（２）の最大解像度は前記モノクロカメラ（３）のそれより高いことを特徴とする、請求項１又は２に記載の光学撮像機器（１）。

【請求項4】

前記モノクロカメラ（３）の最大解像度は前記カラーカメラ（２）のそれより高いことを特徴とする、請求項１又は２に記載の光学撮像機器（１）。

【請求項5】

ビームスプリッタ（５）が前記物体（４）と前記第一及び第二のカメラ（２、３）との間の光路内に配置されることを特徴とする、請求項１～４の何れか１項に記載の光学撮像機器（１）。

【請求項6】

前記ビームスプリッタ（５）はダイクロイックビームスプリッタであることを特徴とする、請求項５に記載の光学撮像機器（１）。

【請求項7】

開口絞り（１０）は前記第一及び第二のカメラ（２、３）の一方の上流に配置されることを特徴とする、請求項１～６の何れか１項に記載の光学撮像機器（１）。

【請求項8】

前記開口絞り（１０）は調節可能であるように実施されることを特徴とする、請求項７に記載の光学撮像機器（１）。

【請求項9】

前記光学撮像機器（１）は手術用立体顕微鏡であり、請求項１～７の少なくとも１項において提示された特徴は、ステレオチャネルの少なくとも１つについて実現されることを特徴とする、請求項１～８の何れか１項に記載の光学撮像機器（１）。

【請求項10】

請求項１～７の少なくとも１項において提示された特徴は両方のストレオチャネルについて実現されることを特徴とする、請求項９に記載の光学撮像機器（１）。

【請求項11】

２つの異なるカメラ（２、３）により記録される物体（４）の少なくとも２つの原画像（Ｆ、Ｍ）から画像表示ユニット（１６）上で表示される少なくとも１つの表示画像（Ｄ１、Ｄ２）を生成する方法において、
－前記２つの原画像（Ｆ、Ｍ）は少なくともある画像パラメータに関して異なり、
－前記少なくとも２つの原画像（Ｆ、Ｍ）は同じ視点から記録され、前記原画像（Ｆ、Ｍ）の少なくとも一方は、画像処理ユニット（１２）によって他方の前記原画像（Ｆ、Ｍ）の画像情報で補足されて、前記表示画像（Ｄ１、Ｄ２）が生成され、前記原画像（Ｆ、Ｍ）は、被写界深度に関して異なり、
－第一の原画像（Ｍ）はモノクロ画像であり、第二の原画像（Ｆ）はカラー画像であり、
－前記モノクロ画像（Ｍ）は前記カラー画像（Ｆ）より深い被写界深度を有することを特徴とする方法。

【請求項12】

前記方法は手術用デジタル顕微鏡によって実行されることを特徴とする、請求項１１に記載の方法。

【請求項13】

前記方法は手術用立体顕微鏡によって実行され、画像レジストレーションは両方の画像チャネルについて実行されることを特徴とする、請求項１１又は１２に記載の方法。

【請求項14】

前記方法は手術用立体顕微鏡により実行され、明るさマッチングは両方の画像チャネルについて実行されることを特徴とする、請求項１１～１３の何れか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は独国特許出願第１０ ２０１９ １１８ ５０８．４号の優先権を主張するものであり、その内容の全体を引用により本願に援用する。

【0002】

本発明は、観察方向につき少なくとも２つの画像記録ユニットを有する光学撮像機器、特に手術用デジタル顕微鏡と、観察者のために画像を生成する方法に関する。手術用デジタル顕微鏡は、観察者、例えば専門医療従事者のために、選択された光学領域の改善された空間的表示を確実に行うのに役立つ。特に、光学倍率、物体解像度、及び固有の被写界深度等の光学パラメータの適応が望ましい。

【背景技術】

【0003】

デジタル処理プロセスにより、手術用デジタル顕微鏡には、得られた画像を、光学パラメータに関して、デジタル的に後処理し、それゆえ改善できるという利点がある。しかしながら、この光学装置は技術的な限界も呈し、すなわちこの点においては、例えばカメラの単純な光学系の場合、深い被写界深度は低い物体解像度と結びつく。

【0004】

この問題に対抗するための１つの考え得る方法が特許文献１に記載されている。これは、観察者の眼のためのそれぞれのビーム経路を有する立体顕微鏡を開示しており、第一のビーム経路内の光学素子の光学的有効径は第二のビーム経路内の光学素子の光学有効直径とは異なるように実施されている。この方法で達成されるのは、２つのビーム経路の、それゆえ観察者の両眼に提供される画像の物体解像度と被写界深度が異なることである。すると観察者の脳内では、これら２つの画像が結合されて、解像度と被写界深度に関して最適化された画像が形成される。しかしながら、引用文献中で開示されている解決策には、特に、異なる画像を結合するために必要な労作の結果として、観察者がすぐに疲れるという欠点がある。

【先行技術文献】

【特許文献】

【0005】

【文献】独国特許第１０ ２００６ ０３６ ３００ Ｂ４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明の目的は、先行技術に関して改善された光学撮像機器、特に手術用デジタル顕微鏡と、先行技術から知られている解決策と比較して、生成された画像がより少ないユーザの労作で観察可能であり、より多くの情報内容を含むような画像生成方法を提供することである。

【課題を解決するための手段】

【0007】

この目的は、特許請求の範囲の独立項の特徴を有する機器及び方法により達成される。従属項は、本発明の有利な発展形及び変形型に関する。

【0008】

本発明による光学撮像機器は、少なくともある物体の第一及び第二の原画像を生成するための第一及び第二の画像記録ユニットを含む。この場合、原画像は少なくともある画像パラメータに関して異なる。この場合、画像記録ユニットは、原画像が同じ視点から記録されるような方法で配置される。さらに、本発明による光学撮像機器は、原画像をさらに処理するための画像処理ユニットと、処理された原画像から生成される表示画像を再現するための画像ディスプレイと、を含む。この場合、画像処理ユニットは、２つの原画像の少なくとも一方を他方の原画像からの画像情報で補足することによって表示画像を生成するように構成される。

【0009】

一方の原画像を他方の原画像からの画像情報で補足することにより、全体として改善された表示画像を作成できる。すると、新しい画像は、例えばより高いダイナミックレンジやより低いノイズ等の改善された特性を有することができる。

【0010】

この種の画像コンディショニングは、光学撮像機器が手術用デジタル顕微鏡である、特に手術用立体顕微鏡である応用にとって特に有利である。このような場合、改善された画像が外科医に供給されることにより、複雑であり得る手術のより安全な実行を達成できる。この場合、本発明の解決策は、ステレオチャネルの一方又は両方で実現できる。

【0011】

特に画像パラメータが被写界深度及び／又は解像度である場合に有利である。この点に関して、例えば、第一の画像記録ユニットはカラーカメラとすることができ、第二の画像記録ユニットはモノクロカメラとすることができる。

【0012】

この場合、モノクロカメラの最大被写界深度はカラーカメラのそれより大きくすることができ、カラーカメラの最大解像度はモノクロカメラのそれより高くすることができる。

【0013】

前述のように、どちらのカメラも、例えば術野等の物体を少なくともほぼ同じ視点から撮影する。画像はその後、画像処理ユニットによりコンディショニングされ、平面又は立体デジタル表示ユニット上で観察者に対して表示される。この場合、焦点面内及びその付近の物体に関する表示画像内の最大物体解像度は、カラーカメラにより撮影される原画像にほぼ又は完全に対応し得る。何れの場合も、表示画像内の最大物体解像度は、焦点面内及びその付近の物体に関する、モノクロカメラにより撮影される画像の最大物体解像度より高い。カラーカメラの被写界深度範囲の外にある物体は、表示画像の中で、モノクロカメラにより撮影された原画像内の物体解像度にほぼ又は完全に対応する物体解像度を有することができる。何れの場合も、表示画像の中の焦点面の外の物体に関する最大物体解像度は、カラーカメラにより撮影された画像の最大物体解像度より高い。この場合、両方の画像記録ユニットが同じ焦点面上に合焦されると有利である。

【0014】

同様に、カラーカメラの最大被写界深度はモノクロカメラのそれより深くすることができ、モノクロカメラの最大解像度はカラーカメラのそれより高い。

【0015】

特に、両方の画像記録ユニットをカラーカメラとすることもできる。

【0016】

本発明の１つの有利な変形型において、ビームスプリッタが物体と画像記録ユニットとの間の光路内に配置される。この場合、ビームスプリッタにより、両方の画像記録ユニットに物体の全く同じ視点を提供することができる。その特性曲線は、特に、可視スペクトル範囲内のゼロ以外のできるだけスムーズなスペクトル透過プロファイルを有することができ、それによって、可視光は両方の画像記録ユニットにより所定の分割比で記録される。

【0017】

特に、ビームスプリッタはダイクロイックビームスプリッタとすることができる。

【0018】

本発明の１つの好ましい実施形態において、開口絞りを画像記録ユニットのうちの１つの上流に配置できる。これに関して、例えば好ましくはモノクロカメラにより記録される画像の被写界深度を可変的に設定できる調節可能な開口絞りを利用することが可能である。任意選択により、別の絞り、例えば好ましくはカラーカメラの上流の追加の絞りを使用できる。調節可能な絞りは特に蛍光記録に有利であるが、これは、すると、絞りを開くことによって、より多くの蛍光がモノクロカメラに到達できるようにすることが可能であるからである。

【0019】

被写界深度を変えるために、画像記録ユニット、例えばモノクロカメラのレンズはまた、撮像の被写界深度が増大するように設計できる。

【0020】

２つの異なる画像記録ユニットにより記録された物体の少なくとも２つの原画像から画像表示ユニット上で表示される少なくとも１つの画像を生成するための本発明による方法は、２つの原画像が少なくともある画像パラメータに関して異なるという点で特異的である。本発明によれば、少なくとも２つの原画像は同じ視点から記録され、表示画像を生成するために、画像処理ユニットによって原画像の少なくとも一方が他方の原画像の画像情報で補足される。

【0021】

前述のように、この方法は手術用デジタル顕微鏡によって、例えば手術用デジタル立体顕微鏡によって実行できる。

【0022】

この場合、画像レジストレーションが両方の画像チャネルについて行われると有利である。この場合、画像レジストレーションとは、視点が異なっていても同じ画像セグメントが観察者の両眼に向けて提供されることを確実にする方法ステップを意味すると理解すべきである。このようなレジストレーションは、例えば２つの異なる画像領域の識別及びその後のマッチングによって実行できる。マッチングとは、この場合、２つの画像セグメントが合同となるようにする手段を意味すると理解すべきである。改善された全体的な視覚的印象が、画像レジストレーションにより達成できる。明るさマッチングも同様に両方の画像チャネルについて行うことにより、視覚的印象をさらに改善できる。

【0023】

表示画像は必ずしもカラー画像である必要はない。代替的又は追加的に、新しいモノクロ画像を表示画像として計算することができ、これも同様に、深い被写界深度と焦点面内の物体の高い最大物体解像度との組合せを有する。

【0024】

さらに、カラー画像は、原カラー画像の被写界深度範囲の外の領域内でモノクロ画像、例えばグレイスケール画像へと徐々に移行するように合成できる。その結果、細かく構造化された明るさ値又は輝度パターンに関するぼけた色又は色度情報が回避される。

【0025】

さらに、第一の画像記録ユニットは、第二の画像記録ユニットにより記録されるカラー画像より小さい光学イメージングスケールでモノクロ画像を記録できる。この場合、記録されたモノクロ画像はまず、最初にデジタル的にズームされ、適切に補間され、それによって事前処理されたモノクロ画像がカラー画像と同じ物体セグメントを示す。

【0026】

代替的又は追加的に、モノクロカメラとして実施される第一の画像記録ユニットは、カラーカメラより少ない数のピクセルを有することができる。この場合、モノクロ画像はまずカラー画像のピクセル数までスケールアップ／補間される。原則として、より高い被写界深度で画像を記録する画像距離ユニットは、より少ない数のピクセルを有することができる。

【0027】

本発明の例示的な実施形態及び変形型を、図面を参照しながら以下により詳しく説明する。

【図面の簡単な説明】

【0028】

【図1】本発明による例示的な手術用デジタル顕微鏡を概略図で示す。

【図2】ダイクロイックビームスプリッタの特性曲線の１つの例示的な実施形態を示す。

【図3】第一の画像処理方法のフロー図を示す。

【図4】第二の画像処理方法のフロー図を示す。

【発明を実施するための形態】

【0029】

図１は、手術用デジタル顕微鏡としての１つの実施形態の本発明による撮像機器１の概略図を示す。これは、図のように、１つの観察視点を有する平面顕微鏡とすることも、２つの観察視点を有する立体顕微鏡とすることもできる。各観察視点について、手術用顕微鏡は、物体４の原画像を記録するための画像記録ユニットとして、カラーカメラ２及びモノクロカメラ３を含む１対のカメラを含む。物体４からカメラ（２、３）への光の分割されたビーム経路は、ダイクロイックビームスプリッタ５によって実現される。この場合、ビーム経路は物体４から主対物レンズ６を介してズーム光学ユニット１７へ、次にダイクロイックビームスプリッタ５へと通過する。部分的ビームはその後、ビデオ対物レンズ８を介してカラーカメラ２へと通過する。他方で、第二の部分ビームは調節可能な開口絞り１０及びビデオ対物レンズ１１を介してモノクロカメラ３へと通過する。蛍光記録の場合、手術用デジタル顕微鏡１はビームスプリッタ５とビデオ対物レンズ８及び１１との間の旋回可能な蛍光観察フィルタ７及び９を含む。２つのカメラ２及び３により記録される原画像を処理するために、手術用デジタル顕微鏡１は、一方でカラーカメラ２及びモノクロカメラ３に、他方で画像表示ユニット１６に接続された画像処理ユニット１２を含む。物体４は光源１３により照明される。

【0030】

この例示的な実施形態において、カラーカメラ２とモノクロカメラ３とは同じ焦点面に合焦される。カラーカメラ２上の結像は、カラーカメラ２の画像が焦点面内にある物体について高い解像度を有するような方法で実現される。しかしながら、これには、カラーカメラ２の画像の浅い被写界深度が伴う。モノクロカメラ３の画像は深い被写界深度を有するが、その代わりに焦点面内にある物体の解像度は低くなる。

【0031】

ここで、モノクロカメラ３の被写界深度は、調節可能な開口絞り１０とビデオ対物レンズ１１の両方により適応させられることが想定される。調節可能な開口絞り１０も同様に、蛍光記録中に適当な光透過率を設定する役割を果たすことができる。モノクロカメラ３は、カラーカメラ２と比較してより低い解像度を有するセンサを含むことができ、これは、深い被写界深度のために低い解像度があるからである。低解像度のセンサは感光性がより高く、これは蛍光記録の場合に有利である。その結果、例えばより多くの光がダイクロイックビームスプリッタ５を介してカラーカメラ２へと通過できる。

【0032】

本発明によれば、画像処理ユニット１２によって、一方のカメラの記録画像は他方のカメラの画像情報で補足され、それによって各観察視点について深い被写界深度と高い解像度の両方を兼ね備える生成後の全体的画像が生成される。

【0033】

図２は、例示的な実施形態におけるダイクロイックビームスプリッタ５の特性曲線を示す。可視スペクトル範囲では、ダイクロイックビームスプリッタ５は透過率が一定のスムーズな透過率プロファイルを有し、それによって可視光はカラーカメラ２及びモノクロカメラ３へと所定の分割比で通過する。ダイクロイックビームスプリッタ５は、近赤外光（７００～８５０ｎｍ）については高い透過率を有する。また、可視波長範囲内の光に加えて、近赤外波長範囲の光もモノクロカメラにより検出されることも想定される。

【0034】

図３は、画像処理ユニット１２により実装できる局所比較アルゴリズム１４のフロー図を示す。この場合、画像Ｆはカラーカメラ２により記録された原画像に対応し、原画像Ｍはモノクロカメラ３により記録された画像に対応する。画像Ｆ及び画像Ｍの局所コントラスト及び局所画像シャープネスは、通常の画像シャープネスアルゴリズムにより特定される。コントラスト及び画像シャープネスの局所比較は、画像Ｍ及び画像Ｆの各画像領域について実行される。表示画像Ｄ１はその後、Ｄ１の各画像領域において、より高いシャープネス又はより高いコントラストを有する画像Ｆ又は画像Ｍからの、それに対応する画像領域が用いられるように合成され、色情報は画像Ｆから採用される。画像Ｍからのより高い解像度のグレイスケール情報の場合、生成されるカラー画像Ｄ１はデジタル的にさらにシャープ化されることが想定される。２つのもとの画像Ｍ及び画像Ｆの混合は、好ましくは移行領域で使用される。この方法は、例えばＹＣｂＣｒフォーマットでのカラー画像Ｆの輝度又はルマチャネル（“Ｙ”）においてのみ利用でき、カラー画像Ｆの色度成分は、Ｆ’の中で変更されずに（又は、輝度チャネルに基づいてデジタル的にさらにシャープ化された後に）使用される。ＹＣｂＣｒとは異なる輝度－色度色モデルの場合、方法は同様に、好ましくは輝度及び色度チャネルに応じて別々に実行される。先行技術からの他のカラーモデルも同様に、グレイスケール及びカラー情報を適当に区別して使用できる。

【0035】

図４は、デプスマップアリゴリズムが画像処理ユニット１２で使用される代替的な画像処理方法のフロー図を示す。この場合、デプスセンサにより作られたデプスマップがデータ処理のために使用される。手術用立体顕微鏡の場合、デプスマップは立体再構成により得られることが想定される。デプスマップからわかる、それぞれの画像領域の深さにより、画像Ｍ及び画像Ｆの何れが局所的により深い被写界深度又はより高い物体解像度を有するかが決定される。表示画像Ｄ２のために、各画像領域について、より深い被写界深度又はより高い解像度を有する画像領域が選択される。表示画像Ｄ２の色情報は、画像Ｆから採用される。任意選択により、移行領域では画像Ｆ及び画像Ｍの適当に混合された重み付けを実行できる。

【符号の説明】

【0036】

１ 撮像機器
２ カラーカメラ
３ モノクロカメラ
４ 物体
５ ビームスプリッタ
６ 主対物レンズ
７ 蛍光観察フィルタ
８ ビデオ対物レンズ
９ 蛍光観察フィルタ
１０ 開口絞り
１１ ビデオ対物レンズ
１２ 画像処理ユニット
１３ 光源
１４ 局所比較アルゴリズム
１５ デプスマップアルゴリズム
１６ 画像表示ユニット
１７ ズーム光学ユニット
Ｆ カラー画像
Ｍ モノクロ画像
Ｄ１ 表示画像
Ｄ２ 表示画像

【図1】

【図2】

【図3】

【図4】