特許 7378529 データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-02

(45)【発行日】2023-11-13

(54)【発明の名称】データユニットを有する手術用顕微鏡及び画像をオーバレイするための方法

(51)【国際特許分類】

   A61B 90/20 20160101AFI20231106BHJP

   A61B 34/20 20160101ALI20231106BHJP

   G02B 21/36 20060101ALI20231106BHJP

   G02B 21/22 20060101ALI20231106BHJP

【ＦＩ】

A61B90/20

A61B34/20

G02B21/36

G02B21/22

【請求項の数】 12

【外国語出願】

(21)【出願番号】P 2022064262

(22)【出願日】2022-04-08

(62)【分割の表示】P 2020070771の分割

【原出願日】2015-05-21

(65)【公開番号】P2022087198

(43)【公開日】2022-06-09

【審査請求日】2022-04-08

(31)【優先権主張番号】102014210053.4

(32)【優先日】2014-05-27

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】506085066

【氏名又は名称】カール・ツアイス・メディテック・アーゲー

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】ヴィルツバッハ，マルコ

(72)【発明者】

【氏名】ザウアー，シュテファン

(72)【発明者】

【氏名】パニッツ，ゲラルト

【審査官】近藤 裕之

(56)【参考文献】

【文献】米国特許出願公開第２００６／０２９３５５７（ＵＳ，Ａ１）

【文献】特開２０１３－２５０４７７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０２９６８８４（ＵＳ，Ａ１）

【文献】特開２００１－１１７０１８（ＪＰ，Ａ）

【文献】特開２００４－２７２２００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ９０／２０

Ａ６１Ｂ ３４／２０

Ｇ０２Ｂ ２１／３６

Ｇ０２Ｂ ２１／２２

(57)【特許請求の範囲】

【請求項1】

オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置の作動方法であって、前記画像処理装置が、以下のステップ：
－ オーバレイ画像を、第１のモードで作動された前記手術用顕微鏡のセンサによって得られ且つ前記手術用顕微鏡の制御ユニットによって記録されたデータから生成し、前記オーバレイ画像を、前記第１のモードとは異なる第２のモードで作動された前記手術用顕微鏡によって生成される前記画像にオーバレイするステップと、
－ 前記手術用顕微鏡の少なくとも１つの撮像パラメータの記憶された第１の値をデータ処理ユニットから取得するステップであって、前記少なくとも１つの撮像パラメータは、前記手術用顕微鏡のズーム、フォーカス、位置及び空間的なアライメントのうちの１つ又は複数の設定パラメータであり、且つ記憶された前記第１の値は、前記撮像パラメータの最後の有効値に対応し、前記少なくとも１つの撮像パラメータには、前記データ処理ユニットが前記手術用顕微鏡から前記第１の値を取得した際に作成されたタイムスタンプが付与されている、ステップと、
－ 前記手術用顕微鏡の前記少なくとも１つの撮像パラメータの記憶された第２の値を前記データ処理ユニットから取得するステップであって、記憶された前記第２の値は、前記画像処理装置が前記オーバレイ画像を生成し、且つ、前記データユニットが前記第１の値を取得した後に、前記少なくとも１つの撮像パラメータを変更するための前記手術用顕微鏡の動作によって変更された、前記少なくとも１つの撮像パラメータである、ステップと、
－ 前記撮像パラメータの記憶された前記第１及び第２の値に従って前記オーバレイ画像を修正するステップと、
－ 前記修正済みのオーバレイ画像を前記第２のモードで作動された前記手術用顕微鏡によって生成される前記画像とオーバレイするステップと
を実施することを含む、前記画像処理装置の作動方法。

【請求項2】

前記記録されたデータは、脳機能マッピングデータ、蛍光データ、蛍光腫瘍境界計算、トポグラフィデータ、３Ｄ情報のうちの少なくとも１つである、請求項１に記載の前記画像処理装置の作動方法。

【請求項3】

前記画像処理装置が、
－ 前記撮像パラメータの値の変化が限界値に到達すると、前記修正済みのオーバレイ画像の前記手術用顕微鏡によって生成される前記画像との前記オーバレイを破棄するステップ、前記修正済みのオーバレイ画像の前記手術用顕微鏡によって生成される前記画像との前記オーバレイを減らすステップ及び信頼性パラメータを数字若しくは記号として表示するステップの少なくとも１つを行うステップと
を含むことを特徴とする、請求項１または２に記載の前記画像処理装置の作動方法。

【請求項4】

－ 手術用顕微鏡の撮像パラメータを設定するための撮像光学ユニット及び制御ユニットを有する手術用顕微鏡と、
－ 画像処理装置であって、前記画像処理装置内に記憶されたオーバレイ画像を前記手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置であって、前記オーバレイ画像は、第１のモードで作動された前記手術用顕微鏡のセンサによって得られ且つ前記手術用顕微鏡の制御ユニットによって記録されたデータから生成されており、前記オーバレイ画像は、前記第１のモードとは異なる第２のモードで作動された前記手術用顕微鏡によって生成される画像とオーバレイする、前記画像処理装置と、
－ 前記手術用顕微鏡の前記制御ユニット及び前記画像処理装置に接続されるデータ処理ユニットと
を含む、手術用システムであって、
前記制御ユニットは、前記手術用顕微鏡の少なくとも１つの撮像パラメータが第１の値から第２の値に変化する前に、前記第１の値及び前記第２の値の両方を記憶し、且つそれらを前記データ処理ユニットに提供するように設計され、及び前記画像処理装置は、前記少なくとも１つの撮像パラメータの記憶された前記第１の値及び第２の値に対応する方法で前記オーバレイ画像を修正するように設計される、手術用システム。

【請求項5】

前記画像処理装置は、前記撮像パラメータが前記第１の値から前記第２の値に変化した後、前記修正済みのオーバレイ画像を前記第２のモードで作動された前記手術用顕微鏡によって生成される前記画像とオーバレイするようにも設計されることを特徴とする、請求項４に記載の手術用システム。

【請求項6】

前記制御ユニットが、前記第１の値及び／又は第２の値と共に少なくとも１つのタイムスタンプを記憶し、且つそれを前記データ処理ユニットに提供するように設計されることを特徴とする、請求項４又は５に記載の手術用システム。

【請求項7】

前記手術用顕微鏡を所定の空間位置に配置するために位置決めシステムが提供され、前記位置決めシステムは、前記手術用顕微鏡の位置値が第１の位置値から第２の位置値に変わる前に、少なくとも１つのタイムスタンプと共に前記第１の位置値及び前記第２の位置値の両方を記憶し、且つそれらを前記データ処理ユニットに提供するように設計されることを特徴とする、請求項６に記載の手術用システム。

【請求項8】

前記制御ユニットは、記憶済みの前記第１の値及び第２の値から修正済みのオーバレイ画像が生成されている場合にのみ前記少なくとも１つの撮像パラメータを変更するように設計されることを特徴とする、請求項４～７の何れか一項に記載の手術用システム。

【請求項9】

少なくとも１つの撮像パラメータが、前記手術用顕微鏡及び／又は患者の空間的なズーム、フォーカス、位置及びアラインメントの設定パラメータを含むことを特徴とする、請求項４～８の何れか一項に記載の手術用システム。

【請求項10】

前記データ処理ユニットは、前記撮像パラメータの値用の少なくとも１つの限界値を与えるように設計され、前記撮像パラメータの前記第２の値が前記限界値を上回る場合、前記画像処理装置は修正済みのオーバレイ画像を生成しないことを特徴とする、請求項４～９の何れか一項に記載の手術用システム。

【請求項11】

前記オーバレイ画像が、少なくとも１つのビーム分割器により、前記手術用顕微鏡によって生成される前記画像とオーバレイされることを特徴とする、請求項４～１０の何れか一項に記載の手術用システム。

【請求項12】

前記オーバレイ画像及び前記手術用顕微鏡によって生成される前記画像が映像信号としてそれぞれ互いにオーバレイされることを特徴とする、請求項４～１０の何れか一項に記載の手術用システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手術用顕微鏡と、手術用顕微鏡によって生成される画像を更なる画像とオーバレイする画像処理装置とを含む手術用システムに関する。

【背景技術】

【0002】

術中モダリティ（即ち、例えば脳機能マッピング、ＩＯＩ、５－ＡＬＡ蛍光、Ｂｌｕｅ４００、蛍光腫瘍境界計算、ＩＣＧ蛍光、ＩＲ８００、Ｆｌｏｗ８００、トポグラフィ、２Ｄ／３Ｄ画像情報等、センサによって術中に得られる診断データ）が特定の時点に作成される。一部のモダリティは、継続的に（トポグラフィ測定）又は繰り返し（Ｂｌｕｅ４００、腫瘍境界、ＩＲ８００、Ｆｌｏｗ８００等）生成することができ、他のモダリティは術中の特定の時点にのみ生成され得る（硬膜を開口した後のＩＯＩ等）。

【0003】

モダリティの記録は通常、他の設定（例えば照明やフィルタの変更等）又は手術順序の変更を必要とする。通常、この設定は組織の切除中の又は組織への治療介入中の好ましい設定と離れている。

【0004】

標準設定における様々なモダリティの情報を表示するための解決策は、上記のモダリティの１つ又は複数の画像情報を使って原位置（ｓｉｔｕｓ）の視像を拡張することによって提供される。拡張は、モダリティのデータから電子的に生成された画像を、例えば分割器のミラーを用いて視像にオーバレイする形態を取り得る。純粋に電子的なディスプレイ（例えばモニタ）の場合、このミキシングは（分割器のミラーなしに）純粋にデジタルに達成することができる（原位置及びモダリティの映像信号）。

【0005】

この解決策の１つの不都合は、モダリティが特定の時点においてのみ、又は画像が撮られた設定（ズーム、フォーカス、位置（患者に対する手術用顕微鏡の相対位置）等）でのみ有効なことである。これらの設定が変わる場合、モダリティのデータが有効性を失い、オーバレイはもはや有意味でなくなり、終了させなければならない。一部の拡張は非常に短時間にわたってのみ有効である。

【0006】

従って、拡張が有効である期間を延ばすことが好都合である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、術中モダリティの拡張をより長時間にわたり有効にし且つよりロバストにすることである。

【課題を解決するための手段】

【0008】

この目的は、請求項１に記載の手術用システム及び請求項１０に記載の方法によって達成される。

【0009】

一実施形態による手術用システムは、手術用顕微鏡の撮像パラメータを設定するための撮像光学ユニット及び制御ユニットを有する手術用顕微鏡を含む。このために実体手術用顕微鏡又はモノスコープ手術用顕微鏡を使用することができる。更に、画像処理装置であって、画像処理装置内に記憶されるオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための画像処理装置を提供し、手術用顕微鏡の本体内に配置することができる。データ処理ユニットが手術用顕微鏡の制御ユニット及び画像処理装置に接続され、データ処理ユニットは手術用顕微鏡と一体化すること、又は外部に設けることが可能である。制御ユニットは、手術用顕微鏡の少なくとも１つの撮像パラメータが第１の値から第２の値に変化する前に、第１の値及び第２の値の両方を記憶し、且つそれらをデータ処理ユニットに提供するように設計される。その結果、焦点を定め直したり位置が変化したりするなどのたびに、変更される撮像パラメータの「古い」値と「新しい」値との両方を取得し記憶する。画像処理装置は、少なくとも１つの撮像パラメータの記憶された第１の値及び第２の値に対応する方法でオーバレイ画像を修正するように設計される。従って、撮像パラメータの変化した値を考慮する適切な変換関数により、画像処理装置は、撮像パラメータが変化した画像上にオーバレイできる方法でオーバレイ画像を修正することができる。このことは、撮像パラメータが変わっても拡張を実現できるようにし、それにより、たとえ手術用顕微鏡の撮像パラメータがモダリティを記録してから変わっていても、術中モダリティをオーバレイ画像として表示することができる。

【0010】

一部の実施形態によれば、画像処理装置は、撮像パラメータが第１の値から第２の値に変化した後、修正済みのオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするようにも設計され得る。

【0011】

制御ユニットは、第１の値及び／又は第２の値と共に少なくとも１つのタイムスタンプを記憶し、且つそれをデータ処理ユニットに提供するように設計され得る。

【0012】

手術用顕微鏡を所定の空間位置に配置するために位置決めシステムが提供され得、位置決めシステムは、手術用顕微鏡の位置値が第１の位置値から第２の位置値に変わる前に、少なくとも１つのタイムスタンプと共に第１の位置値及び第２の位置値の両方を記憶し、且つそれらをデータ処理ユニットに提供するように設計される。

【0013】

制御ユニットは、修正済みのオーバレイ画像が生成されている場合にのみ少なくとも１つの撮像パラメータを変更するように設計されてもよく、そのため、修正済みのオーバレイ画像が撮像パラメータの変更前に既に提供され得る。

【0014】

少なくとも１つの撮像パラメータは、手術用顕微鏡及び／又は患者の空間的なズーム、フォーカス、位置及びアラインメントの設定パラメータであり得る。

【0015】

データ処理ユニットは、撮像パラメータの値用の少なくとも１つの限界値を与えるように設計され得、撮像パラメータの第２の値が限界値を上回る場合、画像処理装置は修正済みのオーバレイ画像を生成しない。

【0016】

オーバレイ画像は、少なくとも１つのビーム分割器により、手術用顕微鏡によって生成される画像とオーバレイされ得る。

【0017】

オーバレイ画像及び手術用顕微鏡によって生成される画像は映像信号としてそれぞれ互いにオーバレイされ得る。

【0018】

一実施形態による、オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするための方法は、
－ オーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするステップと、
－ 手術用顕微鏡の少なくとも１つの撮像パラメータの第１の値及び第２の値を記憶するステップと、
－ 撮像パラメータの記憶された第１の値及び第２の値に対応する方法でオーバレイ画像を修正するステップと、
－ 手術用顕微鏡の撮像パラメータを第１の値から第２の値に変更するステップと、
－ 修正済みのオーバレイ画像を手術用顕微鏡によって生成される画像とオーバレイするステップと
を含む。

【0019】

本発明の幾つかの例示的実施形態を添付図面に基づいて以下で説明する。

【図面の簡単な説明】

【0020】

【図1】本発明の一実施形態による実体手術用顕微鏡を有する手術用システムを示す。

【図2】別の動作状態にある図１の手術用システムを示す。

【図3】本発明による手術用システムの更なる実施形態の概略図を示す。

【図4】本発明による方法のワークフローを示す。

【図5】手術中の本発明によるシステム及び方法の一応用例を示す。

【発明を実施するための形態】

【0021】

図１に示す手術用システム１０は、手術用顕微鏡本体１２を有する手術用顕微鏡１１を含み、手術用顕微鏡本体１２は主顕微鏡対物系１６と共に切替可能な撮像光学ユニット１４を収容する。手術用システム１０は、双眼鏡筒２０を有し、双眼鏡筒２０は接点１８において本体１２に接続され、観察者の左右の眼７２、７４のための第１の接眼部２２及び第２の接眼部２４を含む。対象領域３２からの第１の観察ビーム経路２８及び第２の観察ビーム経路３０が手術用顕微鏡１１内の主顕微鏡対物系１６を通過する。

【0022】

撮像光学ユニット１４は出力結合ビーム分割器３４を含み、出力結合ビーム分割器３４は、対象領域３２から見て主顕微鏡対物系１６の反対側の第１の光学観察ビーム経路２８内に構成され、第１の観察ビーム経路２８から観察光の一部を外部結合し、それを画像取得装置３５に送る。画像取得装置３５は、対物レンズ系３７及び画像センサ３８を有する第１の画像取得アセンブリ３６と、更に対物レンズ系３７及び画像センサ３８を有する第２の画像取得アセンブリ４０とを含む。

【0023】

加えて、撮像光学ユニット１４は更なる出力結合ビーム分割器２６を有し、出力結合ビーム分割器２６は、対象領域３２から見て主顕微鏡対物系１６の反対側の第２の光学観察ビーム経路３０内に構成され、第２の観察ビーム経路３０から観察光の一部を外部結合し、それを対物レンズ系３７を有する画像取得装置３５及び画像センサ３８に送る。

【0024】

撮像光学ユニット１４内には、第１の入力結合ビーム分割器４２及び第２の入力結合ビーム分割器４４がある。これらの入力結合ビーム分割器４２、４４により、表示装置４７のディスプレイアセンブリ４８のディスプレイ４６上に、及び表示装置４７のディスプレイアセンブリ５２のディスプレイ５０上に表示される表示情報を、第１の光学観察ビーム経路２８内及び第２の光学観察ビーム経路３０内の対象領域３２の画像上にオーバレイすることができる。

【0025】

最初に説明したように、入力結合ビーム分割器４２、４４により、とりわけ術中モダリティからの画像情報を有するオーバレイ画像を、双眼鏡筒２０の接眼部２２及び接眼部２４に送られる対象領域３２の画像上にオーバレイすることができる。

【0026】

そのために、ディスプレイアセンブリ４８、５２の表示情報４６、５０が何れの場合にも表示レンズ４９、５１によって平行ビーム経路へと変えられ、双眼鏡筒２０の左右の中間像面２５、２７内に結像レンズ２１、２３によって投影される。左右の中間像面２５、２７内の中間像は、双眼鏡筒２０内の接眼部視野絞り２９、３１によって境界が定められる。左右の中間像面２５、２７内のディスプレイ４６、５０の画像の撮像尺度は、この事例では表示レンズ４９、５１の焦点距離ｆ_D及び結像レンズ２１、２３の焦点距離ｆ_Tの比率ｆ_D／ｆ_Tによって決まる。

【0027】

ディスプレイ４６、５０を活性化するために、手術用システム１０は画像処理装置５４及び画像処理装置５６を含み、これらの画像処理装置は、顕微鏡本体１２の内部又は外部に配置され得るデータ処理ユニット１００に接続される。

【0028】

第１の観察ビーム経路２８及び第２の観察ビーム経路３０から画像取得装置３５、４０によって取得される対象領域３２の画像を表示するために、手術用システム１０は、好ましくは３Ｄモニタとして形成され、画像処理装置５４、５６に接続される画像再現装置５８を有する。

【0029】

手術用顕微鏡１１の撮像光学ユニット１４は、シャッタ素子６２及びシャッタ素子６４を含む。シャッタ素子６２、６４は、両矢印６０に対応する方向に駆動機構（不図示）によって動かすことができる。シャッタ素子６２、６４により、主顕微鏡対物系１６から見て出力結合ビーム分割器３４、２６の反対側の第１の光学観察ビーム経路２８及び／又は第２の光学観察ビーム経路３０を通過させるか、又は遮断することができる。

【0030】

図１に示す手術用システム１０の動作状態では、シャッタ素子６２、６４が第１の光学観察ビーム経路２８及び第２の光学観察ビーム経路３０を通過させるように撮像光学ユニット１４が切り替えられている。次いで、主顕微鏡対物系１６を通過する対象領域３２からの光学観察ビーム経路２８及び３０が、手術用顕微鏡１１内の双眼鏡筒２０の第１の接眼部２２及び第２の接眼部２４にそれぞれ送られる。

【0031】

図２は更なる動作状態にある手術用システム１０を示し、この状態ではシャッタ素子６２、６４が第１の光学観察ビーム経路２８及び第２の光学観察ビーム経路３０を遮断する。ここでは、画像取得装置３５の画像取得アセンブリ３６及び４０によって取得され、表示装置４８、５２によって表示される対象領域３２の画像が、手術用顕微鏡１１内の双眼鏡筒２０の第１の接眼部２２及び第２の接眼部２４にそれぞれ送られる。

【0032】

従って、第１の光学観察ビーム経路２８によって対象領域３２の左側の立体部分画像を画像取得装置３５の画像取得アセンブリ３６に送ることができ、第２の光学観察ビーム経路３０によって対象領域３２の右側の立体部分画像を画像取得装置３５の画像取得アセンブリ４０に送ることができる。これにより、２つの光学観察ビーム経路２８、３０の光軸がステレオ角θを形成する。このことは、第１の観察ビーム経路２８及び第２の観察ビーム経路３０をシャッタ素子６２、６４によって遮断しても、手術用顕微鏡１１によって対象領域３２を立体表示することを可能にする。そのために、双眼鏡筒２０内の左側の立体部分画像を表示装置４７のディスプレイアセンブリ４８によって生成し、右側の立体部分画像を表示装置４７のディスプレイアセンブリ５２によって生成する。

【0033】

図３は、上記の手術用顕微鏡１１及びデータ処理ユニット１００に加えて位置決めシステム２００も備える手術用システム１０の一例を示し、位置決めシステム２００は、手術用顕微鏡１１上に装着される１つ又は複数の位置決めマーカ２０２及び位置取得ユニット２０４によって手術用顕微鏡１１の位置及び空間的な向きを取得することができる。下記の通り、位置決めシステム２００は取得した位置データをデータ処理ユニット１００に転送することができる。

【0034】

図４は、一実施形態による方法の一例を示す。この例では、手術用顕微鏡上で動作（位置、ズーム、フォーカス、モダリティ等の変更）を行う前に、拡張に必要な設定をその都度記憶する。

【0035】

まずステップＳ１で、手術用顕微鏡を第１の位置で動作させ、術中モダリティを決定して記憶する（ステップＳ２）。その後、例えばモダリティを切り替えるためのボタンの作動、ブレーキ解除、ズーム又はフォーカス設定の変更等の動作を手術用顕微鏡上で引き起こす。

【0036】

動作を開始する前に、ステップＳ３で、ナビゲーションに必要なデータ（フォーカス値、ズーム値、位置値等）が内部センサから問い合わせられ、タイムスタンプと共に提供される。データがＯＰＭＩの内部通信バス内で即時に入手できない場合、タイムスタンプに入力応答を割り当てることができるように、対応する要求を一意のタイムスタンプ／ＩＤと共に送信する。それと同時に、位置決めシステムがある場合、手術用顕微鏡と患者との間の相対位置を問い合わせるために位置決めシステムにも要求を送信する。

【0037】

位置決めシステムからの応答が僅かに遅れても、位置決めシステムが位置について与える値を撮像パラメータの関連値に割り当てることができるように、その要求にも同じタイムスタンプを割り当てる。同時に、位置決めシステムが応答しない場合の遅延リスクを最小限にするためにビルトインの時間切れもあり得る。

【0038】

次いで、そのときたどっている撮像パラメータの変化に応答して拡張を相応に適合させるために、例えばズーム変更の場合は大小を適合させるために、又は手術用顕微鏡の位置変化に空間的な向きを適合させるために、この値をステップＳ４で使用する。

【0039】

タイムスタンプを作成し、対応する要求の送信を開始し次第、ステップＳ５でオリジナル動作（ｏｒｉｇｉｎａｌ ａｃｔｉｏｎ）を行う。このことは、変更前の撮像パラメータの各事例における最後の有効値が中央データ処理ユニット内に記憶されていることを確実にする。次いでステップＳ６で、ステップＳ４において決定した修正済みモダリティと共にオーバレイ画像をレンダリングすることができる。図１に関して上記で説明したように、ここではオーバレイ画像をビーム分割器によって手術用顕微鏡の主対物レンズと接眼部との間のビーム経路に供給することができる。或いは図２に関して説明したように、対物レンズによって生成される画像を映像信号として記録し（ステップＳ７）、同じく映像信号の形態を取り得るオーバレイ画像に対して画像処理装置内でオーバレイすることができる。

【0040】

最後に、オーバレイ済みの画像を、例えば手術用顕微鏡に接続されるモニタ上に表示することができ（ステップＳ８）、又はメモリ素子内に記録及び記憶することができる（ステップＳ９）。

【0041】

手術用顕微鏡１１のモダリティ及び主設定は、中央データ処理ユニット１００に与えることができる。その後、拡張の有効性をより長い期間にわたって保つことができる。ここではモダリティは他の任意の所望のデータ処理ユニット上で、即ち、例えば手術用顕微鏡１１内の画像処理装置５４、５６上でも生成することができる。但し、中央データ処理ユニット１００上でモダリティを生成することもできる。

【0042】

原則的に、拡張が純粋に映像に基づくか、又は視像及び電子的に生成された画像のオーバレイとして実施されるかは重要ではない。後者の場合、原位置の映像信号さえ必要ない。

【0043】

中央データ処理ユニット１００は手術用顕微鏡１１に統合できるが、手術用顕微鏡１１の外部の所望の任意の位置で利用されてもよい。但し、表示される映像信号又は適合されたモダリティは、いかなる著しい時間遅延もなしに医師が表示装置上で入手できることを有利に保証すべきである。こうした「いかなる著しい時間遅延もなしに」と規定することは、ここではそれぞれのモダリティ／応用に依存し、数ミリ秒から数秒に及び得る。

【0044】

手術用顕微鏡の撮像パラメータ及び設定は、例えば手術用顕微鏡及び患者のズーム、フォーカス、又は位置である（何れの場合にも位置は、例えば位置ベクトル及び法線ベクトルによって表わされる空間的な向き及びアラインメントを含むことが可能である）。患者が動いていないことが確実な場合、手術用顕微鏡の位置及びアラインメントの変化のみを変換に使用することもできる。

【0045】

生成されるモダリティは３Ｄデータセットの形態を取ることもでき、空間的な向き及びアラインメントはやはり手術用顕微鏡及び患者の位置／アラインメント測定から分かる。これは、事実上任意の所望のアラインメントについてレンダリングすることができる。生成されるモダリティが２Ｄ又は１Ｄデータセットの形態のみを取る場合、手術用顕微鏡１１の新たなアラインメントはモダリティを新たなアラインメント上に投影することによってのみ考慮され得る。

【0046】

モダリティが継続的に取得されない場合、一部の実施形態によれば、その拡張の有効性はモダリティごとに異なる特定の因子によって決まり得る。これらの因子が変わるほど、オーバレイ画像と実体との間の不一致が大きくなる。一実施形態によれば、それぞれの因子の変化を理由に拡張を破棄すること又は拡張をもはや一概に関連するとは限らないとして印付けすることが考えられ得る。

【0047】

図５は、腫瘍境界の表現における本発明によるシステム及び方法の一応用例を示す。腫瘍の境界輪郭は蛍光像の色情報から計算する。図５及び以下の説明から明らかなように、この輪郭はズームが変わるときに容易に適合させることができる。手術用顕微鏡の光軸の変化はもはや容易に補正することができない。腫瘍の一部を除去した場合、輪郭をもはや適合させることはできない。

【0048】

一実施形態によれば、従って１つ又は複数の撮像パラメータ又は因子をモダリティについて決定することができる。次いで、それらの撮像パラメータ又は因子について、最後の決定からの最大変化の限界値を個々に及び組合せで決定することができる。撮像パラメータの値の変化がそれらの限界値の１つに到達すると拡張が無効になる。これは拡張を破棄することによって、拡張を減らすことによって、及び／又は信頼性パラメータを数字若しくは記号（バー、色変化）として表示することによって利用者に知らせることができる。

【0049】

撮像パラメータ又は因子は、例えば時間、ズーム比、光軸の動き、フォーカス（像平面）、ツールの使用（ツール全般又はカメラ画像から検出される特定のツール）、カメラによって捕捉される手術シーンの変化（例えば組織の過度な変形）を含む。

【0050】

図５に示す例は下記の通りである。

【0051】

１．Ｂｌｕｅ４００モードでは原位置を記録する。患者及び手術用顕微鏡の現在の位置は、例えば外部のナビゲーション装置から（又は手術用顕微鏡及び患者の相対位置を決定するための他の何らかのソリューションによって）要求される。ズーム、フォーカス、及び照明の設定も同様に記憶する。

【0052】

２．蛍光像の色情報から腫瘍境界を継続的に計算する。腫瘍境界は、それぞれに手術用顕微鏡の現在のアラインメント及びフォーカス／ズーム設定について有効である。ここでは腫瘍境界が２Ｄデータセットの形態を取る。手術用顕微鏡及び患者の位置並びに手術用顕微鏡の焦点面から患者の向きを明らかにする（この例では高低差は考慮しない）。

【0053】

３．手術用顕微鏡を白色光モードに切り替える。各事例の最後の輪郭及び関連する値を一緒に属するものとして（例えばＩＤ又はタイムスタンプごとに）中央データ処理ユニット内に記憶する。

【0054】

４．次いで撮像パラメータの値を変更する。
ａ．ズーム設定の値を変更する：この場合は簡単な変換規則がある。腫瘍境界はズーム比に対応する方法で変倍しなければならない。
ｂ．手術用顕微鏡のアラインメントを変更する：この場合は手術用顕微鏡の新たな向き及びアラインメントに合わせてモダリティを変換しなければならない。

【0055】

この手術用システムは、例えばセンサによって術中に得られる診断データ等の術中モダリティを手術用顕微鏡内に供給し、例えば手術用顕微鏡のズーム設定、フォーカス値、又は位置等の少なくとも１つの撮像パラメータが変わっても、その術中モダリティを手術用顕微鏡によって生成される画像と重ねることを可能にする。パラメータ値にタイムスタンプを割り当てることも可能でありながら、パラメータ値を記憶することは、オーバレイ画像を適合させるための更に遡及的に記録及び再現され得る変換規則を随時決定できることを確実にし続け得ることを意味する。

【図1】

【図2】

【図3】

【図4】

【図5】