特表 2024-538979 医用可視化システム及びかかるシステムにおけるビデオ安定化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】医用可視化システム及びかかるシステムにおけるビデオ安定化方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241018BHJP

   G02B 21/00 20060101ALI20241018BHJP

   G02B 21/24 20060101ALI20241018BHJP

   A61B 3/13 20060101ALI20241018BHJP

   H04N 23/40 20230101ALI20241018BHJP

   H04N 23/60 20230101ALI20241018BHJP

   H04N 23/63 20230101ALI20241018BHJP

   A61B 90/20 20160101ALI20241018BHJP

【ＦＩ】

G06T7/20 100

G02B21/00

G02B21/24

A61B3/13

H04N23/40 300

H04N23/60 500

H04N23/63

A61B90/20

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024521294

(86)(22)【出願日】2022-10-13

(85)【翻訳文提出日】2024-04-09

(86)【国際出願番号】 EP2022078492

(87)【国際公開番号】W WO2023062121

(87)【国際公開日】2023-04-20

(31)【優先権主張番号】102021126658.0

(32)【優先日】2021-10-14

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】502303382

【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100230514

【弁理士】

【氏名又は名称】泉 卓也

(72)【発明者】

【氏名】エンリコ ガイスラー

(72)【発明者】

【氏名】フィリップ ブレンナー

(72)【発明者】

【氏名】ドミニク シェーラー

(72)【発明者】

【氏名】マシアス ヒルエンブランド

(72)【発明者】

【氏名】ヨアヒム シュテッフェン

(72)【発明者】

【氏名】クリスティアン ヴォルフ

(72)【発明者】

【氏名】ベルント クロラ

【テーマコード（参考）】

2H052

4C316

5C122

5L096

【Ｆターム（参考）】

2H052AD04

2H052AF14

2H052AF21

2H052AF25

4C316AB16

4C316FA18

4C316FB21

5C122DA03

5C122DA26

5C122EA47

5C122FD01

5C122FH06

5C122FH11

5C122FH12

5C122FK23

5C122HA88

5L096BA06

5L096CA02

5L096DA01

5L096DA02

5L096EA23

5L096HA02

5L096MA03

(57)【要約】

本発明は、イメージセンサ（１０）を含む手術用顕微鏡におけるビデオ安定化方法を説明し、この方法は以下のステップ、すなわち、ａ）手術用顕微鏡（１）と、イメージセンサ（１０）の動きを検出してそれに対応するセンサ運動データを生成する運動検出装置（１８）を提供するステップと、ｂ）イメージセンサ（１０）によって物体視野（１４）を検出し、物体視野（１４）のビデオデータを生成し、ビデオデータを評価することによって画像運動データを生成するステップと、ｃ）ビデオデータを補正するステップであって、ｃ１）イメージセンサ（１０）の動きのみ、又はほとんどそれを示すが、物体視野内の動きは示さないか、わずかしか示さない変位ベクトルデータを、センサ運動データの複合的使用を用いて計算するステップであって、物体視野における運動の変化を示す画像運動データは、センサ運動データに基づいて重み付けされ、及び／又はフィルタ処理されるステップと、ｃ２）変位ベクトルデータに基づいてビデオデータを補正するステップを含むステップと、を含む。

【特許請求の範囲】

【請求項1】

イメージセンサ（１０）を含む医用可視化システム（１）、特に手術用顕微鏡におけるビデオ安定化方法において：
ａ）前記医用可視化システム（１）と、前記イメージセンサ（１０）の動きを検出してそれに対応するセンサ運動データを生成する運動検出装置（１８）を提供するステップと、
ｂ）前記イメージセンサ（１０）によって物体視野（１４）のビデオデータを捕捉して前記物体視野（１４）のビデオデータを生成し、前記ビデオデータを評価することによって画像運動データを生成するステップと、
ｃ）前記ビデオデータを補正するステップであって、
ｃ１）前記イメージセンサ（１０）の動きのみ、又はほとんどそれを再現するが、前記物体視野内の動きは再現しないか、わずかな程度しか再現しない変位ベクトルデータを、前記センサ運動データと前記画像運動データを組み合わせて使用して計算するステップであって、前記物体視野における運動の変化を再現する前記画像運動データは、前記センサ運動データに基づいて重み付けされ、及び／又はフィルタ処理されるステップと、
ｃ２）前記変位ベクトルデータによって前記ビデオデータを補正するステップと、
を含むステップと、
を含む方法。

【請求項2】

運動ベクトル範囲は、前記センサ運動データに基づいて画定され、この範囲内に含まれる画像運動データだけが前記変位ベクトルデータの前記計算に使用される、請求項１に記載の方法。

【請求項3】

前記変位ベクトルデータが変位ベクトルの行列を形成し、画像歪みがステップｃ）で補正される、請求項１又は２に記載の方法。

【請求項4】

前記変位ベクトルの平均値は横方向の変位を補正するために使用され、第三の空間方向に関連して、重畳倍率変更が補正に使用される、請求項３に記載の方法。

【請求項5】

前記イメージセンサは前記医用可視化システム（１）のスタンド（４）又はアーム）に取り付けられ、前記スタンド（４）又はアームの振動モデルがステップｄ１）で使用されて前記変位ベクトルデータが計算される、請求項１～４の何れか１項に記載の方法。

【請求項6】

前記変位ベクトルが評価されて、前記イメージセンサ（１０）により提供される前記撮像視野に垂直な平面内のみで生じる軸方向の振動が存在するか否かが検出され、前記医用可視化システム（１）は光学ズーム（１２）を含み、物体（１４）は既定の総合倍率で表示され、前記総合倍率のうちの前記光学ズーム（１２）により影響を受ける倍率部分は、前記軸方向の振動が検出されると拡大又は最大化される、請求項１～５の何れか１項に記載の方法。

【請求項7】

前記変位ベクトルデータが評価されて、前記イメージセンサ（１０）により提供される前記撮像視野に平行に生じる横方向の振動が存在するか否かが検出され、
－ 前記医用可視化システム（１）は光学ズーム（１２）を含み、前記物体（１４）は既定の総合倍率で表示され、前記横方向の振動が検出されたときには前記総合倍率のうちの電子ズームの部分が拡大され、
－ 前記医用可視化システム（１）は、前記イメージセンサ（１０）の上流に瞳絞り（２０）を有し、前記横方向の振動が検出されると、電子ゲインを調整しながら、この瞳絞りは開口度の点で拡大又は最大化される、
請求項１～６の何れか１項に記載の方法。

【請求項8】

前記変位ベクトルデータが評価されて、前記イメージセンサ（１０）により提供される前記撮像視野に垂直な平面のみにおいて生じる軸方向の振動が存在するか否かが検出され、
－ 前記医用可視化システム（１）は、前記イメージセンサ（１０）の上流に瞳絞り（２０）を含み、前記軸方向の振動が検出されると、電子ゲインを調整しながら、この瞳絞りは開口度の点で縮小又は最小化され、及び／又は
－ 前記医用可視化システム（１）は合焦装置（１２）を含み、これは前記軸方向の振動が検出されると焦点位置を変更するように制御される、
請求項１～７の何れか１項に記載の方法。

【請求項9】

医用可視化システム、特に手術用顕微鏡システムにおいて、
－ 物体（１４）のビデオデータを生成するためのイメージセンサ（１０）及び、前記イメージセンサ（１０）の動きを検出し、それに対応するセンサ運動データを生成するように構成された運動検出装置（１８）、と、
－ プロセッサ（８．１）と、前記イメージセンサ（１０）及び前記運動検出装置（１８）にデータリンクを介して接続されたメモリ（８．２）を含む制御装置（８）と、
－ 前記ビデオデータを表示するためのディスプレイ（２２）と、
を含み、
－ 前記制御装置（８）は、
－ 前記イメージセンサ（１０）の動きのみ、又はほとんどそれを再現するが、物体視野内の動きは再現しないか、わずかな程度しか再現しない変位ベクトルデータを、前記センサ運動データと画像運動データを組み合わせて使用して計算し、前記物体視野における動きの変化を再現する前記画像運動データは、前記センサ運動データに基づいて重み付けされ、及び／又はフィルタ処理され、
－ 前記変位ベクトルデータによって前記ビデオデータを補正し、それを前記ディスプレイ（２２）に伝送する
ように構成される医用可視化システム。

【請求項10】

前記イメージセンサ（１０）はスタンド（４）又はアームに取り付けられ、前記制御装置（８）はさらに、前記スタンド（４）又はアームの振動モデルを使って前記変位ベクトルデータを計算するように構成される、請求項９に記載の医用可視化システム。

【請求項11】

前記変位ベクトルデータは変位ベクトルの行列を形成し、前記制御装置（８）は画像歪みを補正するように構成される、請求項９又は１０に記載の医用可視化システム。

【請求項12】

前記制御装置（８）は、前記変位ベクトルの平均値を横方向の変位の補正に使用し、第三の空間方向に関連して、重畳倍率変更を補正に使用するように構成される、請求項１１に記載の医用可視化システム。

【請求項13】

前記制御装置は、前記変位ベクトルデータを評価して、前記イメージセンサ（１０）により提供される前記撮像視野に垂直な平面のみに生じる軸方向の振動が存在するか否かを検出するように構成され、
－ 前記医用可視化システム（１）は、前記制御装置（８）によって制御される光学ズーム（１２）を含み、前記物体（１４）を前記ディスプレイ（２２）上に既定の総合倍率で表示し、前記制御装置（８）はさらに、前記軸方向の振動が検出されると、前記総合倍率のうちの前記光学ズーム（１２）により影響を受ける倍率部分を拡大又は最大化するように構成され、
－ 前記医用可視化システム（１）は、前記イメージセンサ（１０）の上流に配置され、前記制御装置（８）によって制御される瞳絞り（２０）を含み、前記制御装置（８）はさらに、前記軸方向の振動が検出されると、電子ゲインを調整しながら前記瞳絞り（２０）を開口度の点で縮小又は最小化するように構成され、及び／又は
－ 前記医用可視化システム（１）は前記制御装置（８）によって制御される合焦装置（１２）を含み、前記制御装置（８）はさらに、前記軸方向の振動が検出されると、前記合焦装置（１２）を制御して焦点位置を変更するように構成される、
請求項９～１２の何れか１項に記載の医用可視化システム。

【請求項14】

前記制御装置は、前記変位ベクトルデータを制御して、前記イメージセンサ（１０）により提供される前記撮像視野に平行な平面内に生じる平行な振動が存在するか否かを検出するように構成され、
－ 前記医用可視化システム（１）は、前記制御装置（８）によって制御される光学ズーム（１２）を含み、前記物体（１４）を前記ディスプレイ（２２）上に既定の総合倍率で表示し、前記制御装置（８）はさらに、前記平行な振動が検出されると、前記総合倍率のうちの電子ズームの部分を拡大するように構成され、及び／又は
－ 前記医用可視化システム（１）は、前記イメージセンサ（１０）の上流に配置され、前記制御装置（８）によって制御される瞳絞り（２０）を含み、前記制御装置（８）はさらに、前記平行な振動が検出されると、電子ゲインを調整しながら前記瞳絞り（２０）を開口度の点で拡大又は最大化するように構成される、請求項９～１３の何れか１項に記載の医用可視化システム。

【請求項15】

前記運動検出装置（１８）は以下の装置、すなわち、前記イメージセンサ（１０）に関して固定位置にある１軸乃至６軸加速度センサ、前記イメージセンサ（１０）に関して固定位置にある１軸乃至６軸慣性測定システム、前記イメージセンサ（１０）に関して固定位置にある近接カメラ（２４）、前記イメージセンサ（１０）を直接又は間接にモニタするトラッキングシステム（２６）、前記イメージセンサ（１０）に関して固定位置にあり、パターンを前記イメージセンサ（１０）により捕捉された前記物体（１４）上に投影するパターン投影器、前記物体（１４）を直接又は間接にモニタするトラッキングシステム（２６）、瞳孔トラッカ、及び前記物体（１４）をステレオ角度で見る第二のイメージセンサ（１００ａ）のうちの少なくとも１つを含むことを特徴とする、請求項９～１４の何れか１項に記載の医用可視化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医用可視化システム、特に手術用顕微鏡システム及びかかるシステムにおけるビデオ安定化方法に関する。

【背景技術】

【0002】

医用可視化システムにおいて、例えば顕微鏡及び特に手術用顕微鏡において、表示ユニット（例えば、モニタ、複合現実グラス、デジタルアイピース、プロジェクタ等）上での安定なライブビデオ画像が必要である。

【0003】

この点において、欧州特許出願公開第３４３７５４７Ａ１号明細書から、電子式画像安定化を実行することが知られており、それにおいては、画像評価又は加速度センサが運動検出装置として使用されて、手術用顕微鏡の運動及びそこから求められる安定化のニーズを検出する。

【0004】

米国特許出願第２０１８／０１７２９７１Ａ１号明細書も同様に、運動検出装置として加速度計を使用し、画像の安定化が必要か否かを検出する。すると、これは手術用顕微鏡の光学ヘッドをそれに対応して移動させることによって、機械的な画像安定化を行う。異なる動きを区別し、特に加速度センサの信号に基づいて振動検出を実行することが意図されている。周波数解析を使って異なる振動パターン、例えば建物の振動に起因する振動と手術用顕微鏡への衝撃に起因する振動を区別する。

【0005】

米国特許出願第２０１９／０３９４４００Ａ１号明細書は、独立請求項の前文において考慮されているものであり、それも同様に、画像安定化に関し、この目的のために手術用顕微鏡の中に運動検出装置として振動センサが配置される。振動の種類はその信号から特定され、安定化の必要性が特定される。画像安定化はすると、電子式画像安定化として、すなわちビデオ画像データの適当な処理によって、又は機械的画像安定化として、すなわち光学素子若しくはイメージセンサの適当な変位によって実行される。

【0006】

中国特許第１１３１３２６１２Ａ号明細書には、異なる画像領域、この場合は前景と背景について異なる安定化方法を使用して、画像処理によってカメラの揺れを補償する画像安定化方法が記載されている。画像運動データに加えて、カメラからのジャイロスコープデータも評価される。

【0007】

米国特許第８７４９６４８Ｂ１号明細書では、特に、運動センサから得られ、記録中に登録された運動データがビデオを安定化させるための下流の画像処理動作で使用される方法が開示されている。

【0008】

手術用顕微鏡検査法では、ライブ画像が医師によって使用される。時間の遅延はきわめて煩わしい。現状技術はこの点に関して問題があることがわかっており、それは、画像安定化は比較的計算集約性が高く、したがってライブビデオの表示における時間遅延につながり得るからである。それに加えて、現状技術では物体の動きを顕微鏡の振動から区別することは難しい。

【発明の概要】

【発明が解決しようとする課題】

【0009】

したがって、本発明は、現状技術の問題を回避する、手術用顕微鏡のための改良された画像安定化を提供するという目的に基づく。

【課題を解決するための手段】

【0010】

本発明は、特許請求項１及び９において定義される。これは、医用可視化システム及び、医用可視化システムにおけるビデオ安定化方法を提供する。医用可視化システムはイメージセンサを含む。さらに、運動検出装置が使用され、それがイメージセンサの動きを検出して、それに対応するセンサ運動データを生成し、それと同時に物体のビデオ画像が医用可視化システムにより生成される。

【0011】

以下において手術用顕微鏡（システム）に言及されるかぎり、これは医用可視化システムの例である。

【0012】

イメージセンサを含む医用可視化システムにおけるビデオ安定化方法が提供され、方法は、以下のステップ：
ａ）医用可視化システムと、イメージセンサの動きを検出してそれに対応するセンサ運動データを生成する運動検出装置を提供するステップと、
ｂ）イメージセンサによって物体視野（ｏｂｊｅｃｔ ｆｉｅｌｄ）を捕捉して物体視野のビデオデータを生成し、ビデオデータを評価することによって画像運動データを生成するステップと、
ｃ）ビデオデータを補正するステップであって、
ｃ１）イメージセンサの動きのみ、又はほとんどそれを再現するが、物体視野内の動きは再現しないか、わずかな程度しか再現しない変位ベクトルデータを、センサ運動データと画像運動データを組み合わせて使用して計算するステップであって、物体視野における運動の変化を再現する画像運動データは、センサ運動データに基づいて重み付けされ、及び／又はフィルタ処理されるステップと、
ｃ２）変位ベクトルデータによってビデオデータを補正するステップ
を含むステップと、
を含む。

【0013】

さらに、物体のビデオデータを生成するイメージセンサ及びイメージセンサの動きを検出し、それに対応するセンサ運動データを生成するように構成された運動検出装置と、プロセッサとイメージセンサ及び運動検出装置にデータリンクを介して接続されたメモリを含む制御装置と、ビデオデータを表示するためのディスプレイとを含む医用可視化システムが提供され、制御装置は、
－ イメージセンサの動きのみ、又はほとんどそれを再現するが、物体視野内の動きは再現しないか、わずかな程度しか再現しない変位ベクトルデータを、センサ運動データと画像運動データを組み合わせて使用して計算するステップであって、物体視野における運動の変化を再現する画像運動データは、センサ運動データに基づいて重み付けされ、及び／又はフィルタ処理され、
－ 変位ベクトルデータによってビデオデータを補正し、それをディスプレイに伝送する
ように構成される。

【0014】

本発明は、画像安定化のために複数の運動が同時に起こり得るという発見を利用している。顕微鏡の、物体に関する動きがあり得る。これは例えば、顕微鏡の振動であるであろう。しかしながら、画像全体又は一部の何れにも発生する物体の運動もあり得る。手術用顕微鏡における一例は、心臓の動作により律動する血管であり得る。物体の中で外部から動かされる要素もあり得、これは通常、前景に現れ、それゆえぼけて見える。手術用顕微鏡の場合、これは例えば、手術器具や道具の運動を含み得る。これらの様々なコンポーネントが運動ベクトルを形成し、画像解析では相互に区別できず、このことは、現状技術による、加速度センサを追加的に使用して画像安定化の必要性を検出する場合であっても当てはまる。

【0015】

「運動ベクトル」という用語はここでは、ビデオデータの中の運動の全てを再現するベクトルを指し、これらが顕微鏡の物体に関する動き、物体自体の動き、又は画像の前景における動きの何れによるものかを問わない。これは、画像運動データから特定できる。他方で「変位ベクトルデータ」は、それに対応する画像運動データとセンサ運動データを組み合わせた評価の後に得られる変位データであり、物体視野における運動のみに起因し、又は少なくとも６０％、好ましくは７０％、より好ましくは８０％、最も好ましくは９０％の割合でそれに起因し、すなわち運動ベクトルからの所望の分離部分である。

【0016】

補正は、横方向の変位の単純な補正としても、又はワープという言葉で要約できる、より複雑な補正としても実行できる。変位ベクトルは好ましくは行列を形成し、それによってより複雑な補正が可能となる。最も単純なケースでは、平均値は横方向の変位として使用される。第三の空間方向に関連して、ワープを用いた重畳倍率変更が補正行動である。

【0017】

本発明は、画像と運動検出装置の評価を組み合わせて、運動ベクトルから、顕微鏡の物体に関する移動に起因する部分を分離する。運動ベクトル及び、それゆえ画像運動データはビデオデータ内の変位を示し、すなわちこれは関心対象の顕微鏡の動きに関して、それ自体はまだ分離されていない。センサ運動データと画像運動データの複合的な使用によって、運動ベクトルをセンサ運動データに基づいて重み付け及び／又はフィルタ処理することが可能となる。このようにして、画像センサの運動のみを再現するが物体視野内の動きは再現しない変位ベクトルデータが生成される。この複合的なアプローチにおいて運動検出装置を使用することによって、このように、運動ベクトルの重み付け又はソーティングと、それゆえ運動ベクトルのうち顕微鏡自体の動きを再現する部分の分離が可能となる。

【0018】

この組合せにより、センサ運動データの分解能を超える正確さが実現される。

【0019】

さらに、このアプローチは特に計算的に高効率で、ほとんど時間遅延を伴わないだけでなく、それには様々な種類の運動検出装置を使用でき、そのために異なる評価を行う必要がないという利点もある。関心対象部分の分離は、運動検出装置の種類と完全に無関係である。これにより、既存の手術用顕微鏡の容易な調整又は改造オプションが得られる。

【0020】

運動検出装置は以下のセンサ／技術のうちの１つ又は複数を使用し得る：
ａ．３軸に沿った線加速度を測定し、画像記録ユニット又は物体上に位置付けられる１軸乃至６軸加速度センサ
ｂ．例えば３軸に沿った線加速度及び３軸の周囲の回転を測定し（「ジャイロスコープ」）、当てはまる場合は磁界も測定し（９ＤＯＦ－絶対方位センサ）、画像記録ユニット又は物体上に位置付けられる慣性測定ユニット
ｃ．同じく画像記録ユニットに取り付けられるが、より大きい、又は異なる撮像視野（ｉｍａｇｅ ｆｉｅｌｄ）を見る（異なる方向でもある）広角近接カメラ
ｄ．画像記録ユニットに取り付けられず、画像記録ユニットの動きを外側から特定する別のカメラ、より一般的には外部トラッキングシステム、例えばレーザトラッキングシステム。この目的のために、必要に応じて、マーカやレトロリフレクタ等の追加の要素を画像記録ユニットに設置することができる。
ｅ．画像記録ユニットからのマーカ／パターン及びマーカ／パターンの相対位置の特定の画像コンテンツへの投影。マーカと残りの画像コンテンツは、同じスペクトル範囲内にあっても、計画的に分離可能なスペクトル範囲（例えば、ＩＲ）内にあってもよい。
ｆ．外部の静止物体からのマーカ／パターンの投影
ｇ．別のトラッキングシステム、例えば眼科手術用顕微鏡の瞳孔トラッキングを用いた異なる物体特徴のトラッキング
ｈ．実体顕微鏡システムの画像記録ユニットにあり得るような第二のイメージセンサ。

【0021】

手術用顕微鏡において、イメージセンサは通常、スタンド又はアームに取り付けられる。すると、スタンド又はアームの振動モデルを使って変位ベクトルデータを計算することが好ましい。この応用は、イメージセンサの典型的な振動挙動から、そこからの運動ベクトルをフィルタ処理／重み付けし、ビデオデータの補正に使用できる変位ベクトルデータを特定するまでに進むために使用される。振動モデルは、振動の解析を行うためのもの、特に特定のパラメータの振動をチェックするためのものではない。

【0022】

実施形態において、物体は既定の総合倍率で画像化され、ディスプレイ上に表示される。光学倍率（光学ズーム）とデジタル倍率（デジタルズーム）との比は好ましくは、適切であればここで再調整され得る。イメージセンサに平行な平面内で静止位置の周囲での振動が検出されなければ、ユーザにより望まれる倍率は原則としてシステムの光学倍率により設定される。その結果、最大の画像品質が得られる。他方で、静止位置の周囲でのイメージセンサに平行な振動が検出されなかった場合、部分的に光学的にズームアウトし、デジタル式にズームインすることが可能となる。これによって、その後のサイクルのためにイメージセンサ上のより大きな領域が利用可能となり、これはその後の補正ステップのために使用でき、その結果、移動する画像記録ユニットにかかわらず、ビデオの安定性が最適化される。

【0023】

イメージセンサにより提供される撮像視野の平面に垂直な振動があると、デフォーカスが生じ得る。したがって、実施形態は瞳絞りを適切に調整することが好ましく、これは、瞳絞りがイメージングの被写界深度に影響を与えることがわかっているからである。瞳絞りが狭められると、被写界深度は増大する。すると、画像輝度は慣例的に電子ゲインを調整することによって一定に保持され、すなわち瞳絞りが閉じられているときに画像ゲインが増大し、またその逆である。ここで、絞りを調整する際、振動解析の結果を考慮に入れることができる。すると、光学システムの絞りと電子ゲイン又は露出時間が再調整される。撮像視野に垂直な（光軸に沿った）静止位置の周囲での振動が検出されなければ、システムの絞りは広く開かれたままとされて、最善の画像品質が得られる。それに対して、撮像視野に垂直な静止位置の周囲での振動が検出された場合、画像絞りは被写界深度を増大させるために小さい値に設定され得る。同程度の画像輝度を得るために、電子ゲイン及び／又は露出時間が調整され得る。

【0024】

同じことが光学システムの焦点面にも当てはまる。これも、撮像視野の平面に垂直な振動によって影響を受けるが、撮像視野の平面内の振動によっては影響を受けない。光学システムの焦点面は再調整される。撮像視野に垂直な（光軸に沿った）静止位置の周囲での振動が検出されると、焦点面は次の露出期間について予測される位置に応じて再調整され、及び／又は被写界深度は、十分に大きい／完全な垂直振動範囲が十分な鮮鋭さで画像化されるように絞りを部分的に閉じることによって設定される。

【0025】

ここに記載の手術用顕微鏡システム又はここに記載の方法はまた、手術用顕微鏡の振動が常に検出されるという利点も有する。例えば純粋な画像解析の場合に起こり得るような、物体の動きが運動ベクトルから運動ベクトルデータに不正確に変換されることがなくなる。さらに、欧州特許出願公開第３４３７５４７Ａ１号明細書のように、ビデオを表示するために使用される表示装置より多くのピクセルを有するイメージセンサを使用する必要はない。実施形態において、イメージセンサとディスプレイは同じ数のピクセルを有する。

【0026】

ここに記載の概念はさらに、３Ｄでの、すなわち光軸に沿った画像安定化も実現する。それによって振動による画像のぼけを補正できる。

【0027】

センサ運動データに基づいてフィルタ処理することが好ましい。例えば、運動ベクトルの範囲を画定することができ、この範囲内に含まれる画像運動データだけが変位ベクトルデータのために使用される。この場合、フィルタ処理におけるイエス／ノーの選択だけでなく、画像運動データの重み付け、例えば距離加重が可能となる。機械学習も、フィルタ処理を改善するために使用できる。

【0028】

本発明が本明細書で手術用顕微鏡に言及するかぎり、手術用顕微鏡上で行われる方法は、必ずしも手術又は診断方法に関係しなければならないわけではない。実施形態において、人間や動物の生体に対していかなる治療又は診断方法も実行されない。手術用顕微鏡のこのような治療以外及び診断以外の使用の例は、特に眼科学において、例えば眼底を見る時、又は後の術野の予備的な明瞭化において、例えば口腔内、鼻咽頭内、若しくは耳領域内において見られる。同様に、手術用顕微鏡はまた、移植の準備のため、すなわち生体としてではない人体にも使用できる。

【0029】

いうまでもなく、上述の特徴やこれから説明する特徴は、明記された組合せのみでなく、本発明の範囲から逸脱せずにその他の組合せで、又は個別にも使用できる。

【0030】

以下に、本発明を例示的な実施形態に基づいて、同様に本発明に不可欠な特徴を開示する添付の図面を参照しながらさらにより詳しく説明する。これらの例示的実施形態は、解説のために提供されているにすぎず、限定するものと解釈されるべきではない。例えば、複数の要素又はンポーネントを有するある例示的実施形態の説明は、これらの要素又はコンポーネントの全てが実施に必要であるという意味として解釈されるべきではない。むしろ、他の例示的実施形態は代替的要素及びコンポーネント、より少ない要素又はコンポーネント、或いは追加的な要素又はコンポーネントも含み得る。異なる例示的実施形態の要素又はコンポーネントは、特に別段のことわりがないかぎり、相互に組み合わせることができる。例示的実施形態のうちの１つについて記載されている改良や変更は他の例示的実施形態にも適用できる。繰返しを避けるために、異なる図面中の同じ、又は相互に対応する要素には同じ参照符号が付されており、何度も説明しない。

【図面の簡単な説明】

【0031】

【図1】手術用顕微鏡システムの概略図を示す。

【図2】ビデオ安定化方法のブロック図を示す。

【図3】変位ベクトルデータの生成を説明するための概略図を示す。

【図4】図１の顕微鏡の改良を示す。

【図5】図１の顕微鏡の改良を示す。

【発明を実施するための形態】

【0032】

図１は、手術用顕微鏡１を概略的に示し、これは加速度センサ及び制御装置と共に手術用顕微鏡システムを構成する。手術用顕微鏡１は、顕微鏡ヘッド２を含み、これはアーム４に取り付けられる。アーム４は、ジョイント６を介して調整可能であり、顕微鏡ヘッド２の３Ｄ空間内の位置を設定できる。ジョイント６はこの目的のためのドライブを有し、アーム４の個々のセグメントを相互に関して調整できる。一般に、手術用顕微鏡１では６自由度の調整が可能であり、これはすなわち並進３と回転３である。ジョイント６はそれらのドライブに関して、アーム４の、したがって顕微鏡ヘッド２の位置を調整する制御装置８に接続される。顕微鏡ヘッド２も同様に制御装置８に接続され、これはプロセッサ８．１及びメモリ８．２を有する。これは手術用顕微鏡１の動作を制御し、後で説明するように、特に画像安定化を実行する。

【0033】

顕微鏡ヘッド２はイメージセンサ１０を含み、その上に物体１４、例えば通常は手術台であるテーブル１６の上に位置付けられた患者の一部が、通常はズームレンズとして設計される対物レンズ１２を通じて画像化される。

【0034】

顕微鏡ヘッド２には調整可能な絞り２０が提供され、これは瞳絞りとして構成されて、対物レンズ１２を通ってイメージセンサ１０に到達する光の量を設定する。通常、手術用顕微鏡１は別の要素、例えば光源等も含む。これは、本明細書で説明される詳細に関係がないため、図１の概略図では示されていない。

【0035】

顕微鏡ヘッド２は制御ライン（これ以上は明示しない）を介して制御装置８に接続され、これは顕微鏡ヘッド２における手術用顕微鏡１の動作、特にイメージセンサ１０による画像データ並びに対物レンズ１２及び瞳絞り２０の位置の記録を制御する。制御装置８はさらに、イメージセンサ１０に剛体的に接続されたイメージセンサ１０において生じた加速度を測定する加速度センサ１８の読み取りを行う。

【0036】

この手術用顕微鏡システムを利用して、ビデオデータは手術用顕微鏡１の動作中に記録され、制御装置８によって処理され、その後、ディスプレイ２２上に表示される。この場合、ビデオ安定化は、図２に概略的に示される方法にしたがって行われる。ステップＳ１で、画像情報がイメージセンサ１０によって記録され、すなわち、物体１４を示すビデオデータが適切な倍率で捕捉される。ビデオデータから、画像運動データが既知の画像評価によって特定される。画像運動データは、画像内の動きを示す。

【0037】

同時に、ステップＳ２でセンサ運動情報が加速度センサ１８を読み取ることによって取得される。ステップＳ２では、イメージセンサ１０の位置が特定され、その結果として得られるセンサ運動データが計算される。

【0038】

ステップＳ３では、画像運動データ及びセンサ運動データの組合せを使って、最大限に正確な変位ベクトルが特定される。これは、（欧州特許出願公開第３４３７５４７Ａ１号明細書のように）単にステップＳ１からの純粋な画像データを使用するだけではない。さらに、画像データの評価は、現状技術で知られているように単純にセンサ運動データの過去の分類に依存して行われるのではない。そうではなく、運動ベクトルがまず画像運動データに基づいて計算され、その後、センサ運動データに基づいて重み付け及び／又はフィルタ処理が行われる。特に、ステップＳ４でセンサ運動データに基づいて運動ベクトル範囲がフィルタにかけられ、その中には顕微鏡の動きから生じている可能性のある画像運動データが含められ得る。この範囲から外れた画像運動データは抑制され、変位ベクトルデータに寄与しない。

【0039】

これに関して、画像運動データとセンサ運動データは一般に、運動ベクトルとして又は運動ベクトル群（異なるピクセル又は部分的物体に関する）としてみなすことができることに留意すべきである。これらのデータを複合的に集約することにより、顕微鏡の動きに起因しない運動ベクトルの重み付け及び所望の区別が可能となる。これによって例えば、観察対象の物体のグローバル動きが画像記録ユニットの動きとして解釈されることが防止される。

【0040】

（センサ又はシステム情報からの）第二の情報の組み込みの別のプラスの特徴は、必要な計算労力の軽減、ひいてはビデオ伝送のレイテンシの削減である。

【0041】

ステップＳ４では、例えば、静止位置の周囲での補正すべき振幅の振動があるか否かについて、アルゴリズムによる特定が行われる。例えば、このようなアルゴリズムによる決定は以下の情報に基づいて下すことができる：
ａ．特定された変位ベクトルであり、必要に応じて、別のセンサデータがセンサ運動データを使って規定された閾値と比較される。
ｂ．変位ベクトルの経時変化であり、必要に応じて、メモリ素子からの別のセンサデータが解析モデル（例えば、指数関数的に減衰する振動）と比較される。
ｃ．変位ベクトルの経時変化であり、必要に応じて、メモリ素子からの別のセンサデータが、振動の存在に関するステートメントを可能にする機械学習方法によって検査されて特定のパターンが特定される。

【0042】

図３は、センサ運動データに基づく運動ベクトルの評価を概略的に示す。運動角度はｘ軸及びｙ軸上でプロットされ、個々の測定点は運動ベクトル２８であり、これは画像運動データから得られる。領域３０内にあるベクトル２８（「＋」でプロットされる）だけが変位ベクトルデータの特定に使用される。ｘ及びｙ軸はそれゆえ、２次元物体面内の角投影である。運動ベクトル「＋」及び「^＊」はセンサ運動データに基づいて区別される。

【0043】

勿論、この手順は二次元解析に限定されず、第三次元、すなわち物体視野上の深さの次元も考慮に入れることができる。特に、ベクトル長を個々の運動ベクトルの品質の尺度として含めることにより、最大限の精度で、特定されるべき最終的な変位ベクトルデータを（例えば平均することによって）得ることができる。

【0044】

任意選択的な下流のステップＳ５では、顕微鏡ヘッド２の光学システムが最適化される：
ａ．光学倍率（光学ズーム１２）とデジタル倍率（デジタルズーム）との比の再調整が、それが適当であれば、行われる。静止位置の周囲でのイメージセンサ１０に平行な平面内の振動が検出されなければ、ユーザにより望まれる倍率は基本的にシステムの光学倍率により設定される。その結果、最高の画像品質が得られる。他方で、静止位置の周囲でのイメージセンサ１０に平行な振動が検出された場合は、部分的に光学的にズームアウトし、デジタル的にズームインすることが可能である。これによって、その後のサイクルにイメージセンサ１０上のより大きな領域が利用可能となり、それをその後の補正ステップに使用でき、その結果、画像記録ユニットの動きに関係なく、ビデオ安定性が最適化される。
ｂ．次に、光学システムの絞り２０及び電子ゲイン又は露出時間が再調整される。イメージセンサ１０に垂直な（光軸に沿った）静止位置の周囲での振動が検出されない場合、システムの絞り２０は広く開かれて最大限の画像品質が得られる。他方で、イメージセンサ１０に垂直な静止位置の周囲での振動が検出された場合、絞り２０はより小さい値に設定されて、被写界深度が増大させられ得る。同程度の画像輝度を得るために、電子ゲイン及び／又は露出時間が調整され得る。
ｃ．対物レンズ１２の焦点面が再調整される。イメージセンサ１０に垂直な（光軸に沿った）静止位置の周囲での振動が検出されると、焦点面は次の露出期間について予測される位置にしたがって再調整され、及び／又は被写界深度は、十分に大きい／完全な垂直振動範囲が十分な鮮鋭さで画像化されるように絞りを部分的に閉じることによって設定される。

【0045】

センサ運動検出には以下を使用できる：
ａ．３軸に沿った線加速度を測定し、画像記録ユニット又は物体上に位置付けられる１軸乃至６軸加速度センサ
ｂ．例えば３軸に沿った線加速度及び３軸の周囲の回転を測定し（「ジャイロスコープ」）、当てはまる場合は磁界も測定し（９ＤＯＦ－絶対方位センサ）、画像記録ユニット又は物体上に位置付けられる慣性測定ユニット
ｃ．同じく画像記録ユニットに取り付けられるが、より大きい、又は異なる撮像視野を見る（異なる方向でもある）広角近接カメラ
ｄ．画像記録ユニットに取り付けられず、画像記録ユニットの動きを外側から特定する別のカメラ、より一般的には外部トラッキングシステム、例えばレーザトラッキングシステム。この目的のために、必要に応じて、マーカやレトロリフレクタ等の追加の要素を画像記録ユニットに設置することができる。
ｅ．画像記録ユニットからのマーカ／パターン及びマーカ／パターンの相対位置の特定の画像コンテンツへの投影。マーカと残りの画像コンテンツは、同じスペクトル範囲内にあっても、計画的に分離可能なスペクトル範囲（例えば、ＩＲ）内にあってもよい。
ｆ．外部の静止物体からのマーカ／パターンの投影
ｇ．別のトラッキングシステム、例えば眼科手術用顕微鏡の瞳孔トラッキングを用いた異なる物体特徴のトラッキング
ｈ．実体顕微鏡システムの画像記録ユニットにあり得るような第二のイメージセンサ。

【0046】

図４は、例として、顕微鏡ヘッド２の、したがってイメージセンサ１０の運動を捕捉する近接カメラ２４又は（破線の）トラッキングシステム２６を備える実施形態を示す。

【0047】

図５は、例として、第二のイメージセンサ１０ａが提供されるような、実体顕微鏡としての顕微鏡１の構成を示す。

【0048】

方法は手術用顕微鏡での使用に限定されず、画像記録ユニットが移動する、又は振動する物体の上に取り付けられ、動く可能性のある物体が観察される他の分野でも一般に使用できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】