特開 2023-92519 手術用顕微鏡システムのためのシステム、方法およびコンピュータプログラムならびに対応する手術用顕微鏡システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023092519

(43)【公開日】2023-07-03

(54)【発明の名称】手術用顕微鏡システムのためのシステム、方法およびコンピュータプログラムならびに対応する手術用顕微鏡システム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20230626BHJP

   G02B 21/36 20060101ALI20230626BHJP

   A61B 90/20 20160101ALI20230626BHJP

【ＦＩ】

G02B21/00

G02B21/36

A61B90/20

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022203195

(22)【出願日】2022-12-20

(31)【優先権主張番号】10 2021 133 956.1

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】DE

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AB04

2H052AD35

2H052AF14

2H052AF25

(57)【要約】      （修正有）

【課題】手術用顕微鏡システムを操作する改善されたコンセプトの提供。
【解決手段】システムは、顕微鏡（１２０）を用いてイメージングされる手術部位（１０）の深度特性を特定するように構成されている。システムは、手術部位（１０）の少なくとも一部の深度特性に基づいて顕微鏡（１２０）の開口数を調整するように構成されている。
【選択図】図１ｂ

【特許請求の範囲】

【請求項1】

手術用顕微鏡システム（１００；４００）の顕微鏡（１２０；４１０）のためのシステム（１１０；４２０）であって、
前記システム（１１０；４２０）は、１つまたは複数のプロセッサ（１１４）と１つまたは複数のストレージ装置（１１６）とを含んでおり、
前記システムは、
前記顕微鏡を用いてイメージングされる手術部位（１０）の深度特性を特定し、
前記手術部位の少なくとも一部の前記深度特性に基づいて前記顕微鏡の開口数を調整する、
ように構成されている、
システム（１１０；４２０）。

【請求項2】

前記システムは、
前記手術部位の少なくとも前記一部の被写界深度（１３０）を特定し、
前記被写界深度に基づいて前記顕微鏡の前記開口数を調整する、
ように構成されている、
請求項１記載のシステム。

【請求項3】

前記システムは、前記顕微鏡によって提供される前記被写界深度が、前記手術部位の少なくとも前記一部の前記被写界深度に合うように、前記開口数を調整するように構成されている、
請求項２記載のシステム。

【請求項4】

前記システムは、前記顕微鏡によって提供される前記被写界深度が、前記手術用顕微鏡システムを使用する外科医の被写界深度に関する個人的な好みにさらに適するように前記開口数を調整するように構成されている、
請求項３記載のシステム。

【請求項5】

前記システムは、
前記手術部位内の関心領域（１４０）を特定し、
前記手術部位内の前記関心領域の前記深度特性に基づいて、前記顕微鏡の前記開口数を調整する、
ように構成されている、
請求項１から４までのいずれか１項記載のシステム。

【請求項6】

前記システムは、
前記顕微鏡の光学イメージングセンサ（１２２）からイメージングセンサデータを取得し、
前記イメージングセンサデータに基づいて前記関心領域を特定する、
ように構成されている、
請求項５記載のシステム。

【請求項7】

前記システムは、
前記イメージングセンサデータに対して画像処理を実行して、手術が行われている前記手術部位の部分を特定し、
手術が行われている前記手術部位の前記部分に基づいて前記関心領域を特定する、
ように構成されている、
請求項６記載のシステム。

【請求項8】

前記システムは、前記手術用顕微鏡システムのユーザインタフェースを介して取得されたユーザ入力信号に基づいて前記関心領域を特定するように構成されている、
請求項５記載のシステム。

【請求項9】

前記システムは、
前記手術用顕微鏡システムの深度センサ（１６０）からセンサデータを取得し、
前記深度センサの前記センサデータに基づいて、前記手術部位の少なくとも前記一部の前記深度特性を特定する、
ように構成されている、
請求項１から８までのいずれか１項記載のシステム。

【請求項10】

前記システムは、
前記顕微鏡の光学イメージングセンサ（１２２）からイメージングセンサデータを取得し、
前記イメージングセンサデータに基づいて前記手術部位の少なくとも前記一部の前記深度特性を特定する、
ように構成されている、
請求項１から８までのいずれか１項記載のシステム。

【請求項11】

前記システムは、
種々異なる開口数に基づくイメージングセンサデータの複数のフレームの生成のために前記顕微鏡の前記開口数を掃引し、
前記種々異なる開口数に基づく前記イメージングセンサデータの前記複数のフレームに基づいて、前記手術部位の少なくとも前記一部の前記深度特性を特定する、
ように構成されている、
請求項１０記載のシステム。

【請求項12】

前記システムは、コントラストに基づいて、かつ／または、前記複数のフレームの各フレームの所定の空間周波数閾値を上回る空間周波数の出現度に基づいて、前記手術部位の少なくとも前記一部の前記深度特性を特定するように構成されている、
請求項１１記載のシステム。

【請求項13】

前記システムは、
種々異なる作動距離または焦点距離に基づくイメージングセンサデータの別の複数のフレームの生成のために、前記顕微鏡の作動距離および／または焦点距離の掃引を実行するように前記顕微鏡または手術用顕微鏡システムをコントロールし、
前記種々異なる作動距離または焦点距離に基づくイメージングセンサデータの前記別の複数のフレームに基づいて、前記手術部位の少なくとも前記一部の前記深度特性を特定する、
ように構成されている、
請求項１１または１２記載のシステム。

【請求項14】

前記システムは、
前記作動距離または焦点距離の前記掃引の間に生成されたイメージングセンサデータの前記別の複数のフレームのフレームに基づいて作動距離または焦点距離を選択し、
前記種々異なる開口数に基づくイメージングセンサデータの前記複数のフレームの前記生成のために、選択された前記作動距離または焦点距離を使用しながら、前記顕微鏡の前記開口数を掃引する、
ように構成されている、
請求項１３記載のシステム。

【請求項15】

顕微鏡（１２０；４１０）と、
請求項１から１４までのいずれか１項記載の前記システム（１１０；４２０）と、
を含んでいる手術用顕微鏡システム（１００；４００）。

【請求項16】

手術用顕微鏡システムの顕微鏡のための方法であって、前記方法は、
前記顕微鏡を使用してイメージングされる手術部位の深度特性を特定するステップ（２１０）と、
前記手術部位の少なくとも一部の前記深度特性に基づいて前記顕微鏡の開口数を調整するステップ（２２０）と、
を含む方法。

【請求項17】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサ上で実行されるときに、請求項１６記載の方法を実施するためのプログラムコードを有する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

例は、手術用顕微鏡システムのためのシステム、方法およびコンピュータプログラムならびに対応する手術用顕微鏡システムに関する。

【背景技術】

【0002】

手術用顕微鏡システムにおいて使用される顕微鏡のような顕微鏡は、種々の光学構成要素を含んでいる光学システムである。顕微鏡の１つの光学構成要素は虹彩絞りであり、これは、顕微鏡の接眼レンズまたは光学イメージングセンサにどの程度の光が届くかをコントロールする調整可能な開口である。虹彩絞りの開口がより大きい場合、より多くの光が虹彩絞りを通過して、接眼レンズまたは光学イメージングセンサに到達する。これによって、概して、光景または画像の解像度は増大するが、観察対象または捕捉対象の試料の光景が鮮明に見える距離間隔である、いわゆる被写界深度は減少する。虹彩絞りの開口部がより小さい場合、通過する光はより少なくなる。これによって、奥行き知覚は向上するが、解像度は低下する。手術用顕微鏡検査では、虹彩絞りの開口は、概して、状況、すなわち実行されている外科的処置に適合されておらず、そのため、外科医には、最適な光景が提供されない可能性がある。手動による調整は外科医にとって付加的な負担になり得るため、虹彩絞りの位置は、典型的には固定された位置にある。さらに、手動による調整は、虹彩絞り開口が不適切に調整されている、または忘れられている場合に、画質の低下を招く可能性がある。

【0003】

手術用顕微鏡システムを操作するための改善されたコンセプトが望まれる場合がある。

【発明の概要】

【課題を解決するための手段】

【0004】

上述の要望は、独立請求項の主題によって対処される。

【0005】

提案されたコンセプトは、次のような洞察、すなわち画質は、所与の手術状況において十分に良好であることが多いが、虹彩絞り設定が改善された場合に光学系が提供し得る最高の画質よりは劣るという洞察に基づいている。画質を改善するために、目下の手術シナリオを考慮して、画像解像度と被写界深度との間のトレードオフが行われ得る。特に、所望の被写界深度を選択する際の主要な要素は深度特性であるので、手術部位の深度特性を考慮してトレードオフが行われ得る。したがって虹彩絞り設定、すなわち顕微鏡の開口数は、手術部位の深度特性に適合するように、すなわち手術シナリオに適した被写界深度が得られるように設定されてよく、その結果、画質の改善が得られる。

【0006】

本開示の種々の例は、手術用顕微鏡システムの顕微鏡のためのシステムに関する。システムは、１つまたは複数のプロセッサと１つまたは複数のストレージ装置とを含んでいる。システムは、顕微鏡を用いてイメージングされる手術部位の深度特性を特定するように構成されている。システムは、手術部位の少なくとも一部の深度特性に基づいて顕微鏡の開口数を調整するように構成されている。上記にて概説したように、このことによって画質が改善され得る。

【0007】

種々の例では、手術部位の少なくとも一部の被写界深度を特定し、この被写界深度に基づいて顕微鏡の開口数を調整するように、システムが構成されていてよい。手術部位の少なくとも一部をカバーする被写界深度の所望の被写界深度であり得る被写界深度が、深度特性から導出されてよい。顕微鏡の開口数は、手術部位における光景の被写界深度に影響を与え、したがって、特定された被写界深度に基づいて調整可能である。その結果、システムは、顕微鏡によって提供される被写界深度が、手術部位の少なくとも一部の被写界深度に合うように、開口数を調整するように構成されていてよい。

【0008】

外科医はしばしば、毎日、連続して何時間も手術用顕微鏡を使用する。その結果、顕微鏡設定に関する外科医の個人的な好みが生じる。例えば、一部の外科医は、より幅の広い被写界深度を好み、これによって上向きまたは下向きに傾斜した視野の一部も鮮明に見え、一部の外科医は、被写界深度を手術部位の関心領域に正確に制限することで、解像度を上げることを好む。したがって、システムは、顕微鏡によって提供される被写界深度が、手術用顕微鏡システムを使用する外科医の被写界深度に関する個人的な好みにさらに適するように開口数を調整するように構成されていてよい。

【0009】

上述のように、手術部位内では、ある領域が、外科医にとって特に関心のある領域であり得る。すなわち、これは外科医が目下、この領域で手術を行っている場合である。システムは、手術部位内の関心領域を特定するように構成されていてよい。システムは、手術部位内の関心領域の深度特性に基づいて、顕微鏡の開口数を調整するように構成されていてよい。したがって、顕微鏡の開口数を調整する際に、手術部位の他の部分（これも顕微鏡の視野内に現れる）は無視されてよい。

【0010】

前記関心領域を特定するための種々の方法がある。例えば、システムは、顕微鏡の光学イメージングセンサからイメージングセンサデータを取得するように構成されていてよい。システムは、イメージングセンサデータに基づいて関心領域を特定するように構成されていてよい。特に、システムは、イメージングセンサデータに対して画像処理を実行して、手術が行われている手術部位の部分を特定し、手術が行われている手術部位の部分に基づいて関心領域を特定するように構成されていてよい。択一的または付加的に、視覚的なマーカ（手術部位の一部を強調する円など）、蛍光発光、または外科医が関心を持つ可能性が高い組織を識別するために物体検出が実行されてよい。外科医の付加的な関与を必要とすることなく、関心領域を定めるために、これらの視覚的な手がかりが使用されてよい。

【0011】

択一的または付加的に、システムは、手術用顕微鏡システムのユーザインタフェースを介して取得されたユーザ入力信号に基づいて関心領域を特定するように構成されていてよい。換言すれば、関心領域は、外科医（または助手）によって、例えばタッチスクリーンまたはポインティング装置を介して手動で定められてよい。

【0012】

いくつかの例では、深度特性を特定するために、付加的な測定ハードウェアが使用されてよい。例えば、手術用顕微鏡システムの深度センサからセンサデータを取得し、深度センサのセンサデータに基づいて、手術部位の少なくとも一部の深度特性を特定するように、システムが構成されていてよい。例えば、（光学ベースまたは超音波ベースの）飛行時間型センサ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ ｓｅｎｓｏｒ）、構造化された光センサまたは別個の対のステレオ写真測量法センサがこの目的のために使用され得る。

【0013】

手術部位の深度特性を特定するために画像処理が使用されてもよい。例えば、システムは、顕微鏡の光学イメージングセンサからイメージングセンサデータを取得して、イメージングセンサデータに基づいて手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。例えば、深度特性を特定するために、構造化された光ベースの深度測定、開口数掃引または焦点掃引のような技術が使用されてよい。

【0014】

いくつかの例では、種々異なる開口数設定が適用されてよく、結果として得られた画質が、深度特性を特定するために比較されてよい。換言すれば、開口数掃引が実行されてよい。この場合、システムは、種々異なる開口数に基づくイメージングセンサデータの複数のフレームの生成のために顕微鏡の開口数を掃引し、種々異なる開口数に基づくイメージングセンサデータの複数のフレームに基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。開口数が減少しても（すなわち、開口の直径が減少しても）、画質が大幅に向上しなければ、顕微鏡の被写界深度は、手術部位の少なくとも一部の深度プロファイルに合う可能性がある。画質を特定するために、コントラストおよび／または画像フレームの高い空間周波数の出現度が分析されてよく、そこに存在するコントラストおよび空間周波数が高くなるほど、手術部位のより多くの領域が、イメージングセンサデータにおいて鮮明であると見なされ得る。したがって、システムは、コントラストに基づいて、かつ／または複数のフレームの各フレームの所定の空間周波数閾値を上回る空間周波数の出現度に基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。

【0015】

画像の鮮明度は、開口数に関連するだけでなく、使用されている焦点距離／作動距離が適切か否かにも基づいている。したがって、深度プロファイルの特定の際に、焦点距離／作動距離も考慮されてよい。システムは、種々異なる作動距離または焦点距離に基づくイメージングセンサデータの別の複数のフレームの生成のために、顕微鏡の作動距離および／または焦点距離の掃引を実行するように顕微鏡または手術用顕微鏡システムをコントロールし、種々異なる作動距離または焦点距離に基づくイメージングセンサデータの別の複数のフレームに基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。例えば、システムは、作動距離または焦点距離の掃引の間に生成されたイメージングセンサデータの別の複数のフレームのフレームに基づいて作動距離または焦点距離を選択し、種々異なる開口数に基づくイメージングセンサデータの複数のフレームの生成のために、選択された作動距離または焦点距離を使用しながら、顕微鏡の開口数を掃引するように構成されていてよい。換言すれば、はじめに、被写界深度が適切な開始点を中心として変化することを保証するように適切な焦点距離／作動距離が設定されてよく、次いで、選択された焦点距離／作動距離に基づいて、開口数が調整されてよい。

【0016】

本開示の種々の例は、顕微鏡と上述のシステムとを含んでいる対応する手術用顕微鏡システムに関する。

【0017】

本開示の種々の例は、手術用顕微鏡システムの顕微鏡のための対応する方法に関する。この方法は、顕微鏡を使用してイメージングされる手術部位の深度特性を特定することを含んでいる。この方法は、手術部位の少なくとも一部の深度特性に基づいて顕微鏡の開口数を調整することを含んでいる。

【0018】

本開示の種々の例は、コンピュータプログラムがプロセッサ上で実行されるときに上述の方法を実施するためのプログラムコードを有する対応するコンピュータプログラムに関する。

【0019】

以降では、装置および／または方法のいくつかの例を、単なる例として、添付の図面を参照して説明する。

【図面の簡単な説明】

【0020】

【図1a】顕微鏡の種々の構成要素に接続されている手術用顕微鏡システムの顕微鏡のためのシステムの一例を示す概略図である。

【図1b】手術用顕微鏡システムの一例を示す概略図である。

【図1c】イメージングセンサデータにおける空間周波数の分布の一例を示すグラフである。

【図1d】作動距離／焦点距離と開口数設定との組み合わせのグリッドの例を示すグラフである。

【図1e】作動距離／焦点距離と開口数設定との組み合わせのグリッドの例を示すグラフである。

【図1f】手術部位の深度プロファイルを示すグラフである。

【図1g】手術部位を上から見た図である。

【図2】手術用顕微鏡システムの顕微鏡のための方法の一例を示すフローチャートである。

【図3】顕微鏡の光景の被写界深度に対する虹彩絞り開口の影響を示す概略図である。

【図4】顕微鏡とコンピュータシステムとを含んでいるシステムの一例を示す概略図である。

【発明を実施するための形態】

【0021】

次に、いくつかの例が示されている添付の図面を参照して、種々の例をより完全に説明する。図では、線、層および／または領域の厚さは、明確にするために誇張されている場合がある。

【0022】

図１ａは、顕微鏡の種々の構成要素、例えば光学イメージングセンサ１２２および虹彩絞り１２４に接続されている手術用顕微鏡システムの顕微鏡のためのシステム１１０の一例を示す概略図である。システム１１０は、顕微鏡および手術用顕微鏡システム全体の種々の態様をコントロールすることおよび／または手術用顕微鏡システムの種々のタイプのセンサデータを処理することをタスクとしている。したがって、システム１１０は、手術用顕微鏡システムの種々の構成要素と相互作用するコンピュータシステムとして実装されていてよい。

【0023】

システム１１０は、図１ａに示されているように、１つまたは複数のプロセッサ１１４および１つまたは複数のストレージ装置１１６を含んでいる。択一的に、システムはさらに、１つまたは複数のインタフェース１１２を含んでいる。１つまたは複数のプロセッサ１１４は、１つまたは複数のストレージ装置１１６およびオプションの１つまたは複数のインタフェース１１２に接続されている。概して、システムの機能は、（例えば顕微鏡の光学イメージングセンサ１２２、顕微鏡の虹彩絞り１２４、手術用顕微鏡システムのディスプレイ装置または手術用顕微鏡システムの深度センサと情報を交換するための）１つまたは複数のインタフェースおよび／または（情報を格納するための、かつ／または検索するための）１つまたは複数のストレージ装置と連携して、１つまたは複数のプロセッサによって提供される。システムは、顕微鏡を用いてイメージングされる手術部位１０の深度特性を特定するように構成されている。システムは、手術部位の少なくとも一部の深度特性に基づいて顕微鏡の開口数を調整するように構成されている。例えば、開口数は、顕微鏡の虹彩絞り１２４をコントロールすることによって調整されてよい。

【0024】

図１ａはさらに、後の段階でより詳細に紹介する、手術部位１０の、結果として生じる被写界深度１３０と、関心領域１４０と、を強調して示している。

【0025】

光学イメージングセンサ１２２および虹彩絞り１２４は、顕微鏡の一部、例えば、図１ｂに示されているような手術用顕微鏡システム１００の顕微鏡１２０の一部である。概して、顕微鏡１２０などの顕微鏡は、人間の眼（単独）で検査するには小さすぎる対象物を検査するのに適している光学機器である。例えば、顕微鏡は、試料、例えば図１ａ、図１ｂ、図１ｆおよび図３に示されている試料１０の光学的拡大を提供することができる。現代の顕微鏡では、光学的拡大はしばしば、カメラまたはイメージングセンサ、例えば顕微鏡１２０の光学イメージングセンサ１２２のために提供される。顕微鏡１２０は、対物レンズ（すなわちレンズ）などの、試料上の光景を拡大するために使用される１つまたは複数の光学的拡大構成要素をさらに含んでいてよい。

【0026】

顕微鏡には種々の種類がある。顕微鏡が医学的分野または生物学的分野で使用される場合、顕微鏡を通して観察される対象物１０は、例えばシャーレ内に配置された、または患者の身体の一部に存在している有機組織の試料であってよい。本開示において、顕微鏡１２０は、手術用顕微鏡システムの顕微鏡、すなわち、がんの外科的処置などの外科的処置の間または腫瘍手術の間に使用されるべき顕微鏡である。したがって、顕微鏡を通して観察され、画像データにおいて示される対象物は、患者の有機組織の試料であってよく、特に、外科的処置の間に外科医が手術する手術部位であってよい。

【0027】

図１ｂは、顕微鏡１２０とシステム１１０とを含んでいる手術用顕微鏡システム１００の一例を示す概略図である。概して、（手術用）顕微鏡システムは、顕微鏡１２０と、顕微鏡と共に操作される付加的な構成要素と、を含んでいるシステムである。換言すれば、顕微鏡システムは、顕微鏡と、１つまたは複数の付加的な構成要素、例えば、システム１１０（これは、顕微鏡のイメージングセンサデータをコントロールする、例えば処理するように適合されているコンピュータシステムである）、照明システム（これは、顕微鏡によってイメージングされる対象物を照明するために使用される）、付加的なセンサ、ディスプレイなどと、を含んでいるシステムである。

【0028】

図１ｂに示されている手術用顕微鏡システム１００は、多数のオプションの構成要素、例えば、（回転する）スタンドを有するベースユニット１０５（これはシステム１１０を含んでいる）、顕微鏡１２０に配置されている接眼ディスプレイ１５０ａ、ベースユニットに配置されている補助ディスプレイ１５０ｂ、深度センサ１６０、および顕微鏡１２０を所定の位置に保持し、かつベースユニット１０５および顕微鏡１２０に接続されている（ロボットのまたは手動の）アーム１７０を含んでいる。概して、これらのオプションの構成要素およびオプションではない構成要素が、システム１１０に接続されていてよく、システム１１０は、各構成要素をコントロールするように、かつ／または各構成要素と相互作用するように構成されていてよい。

【0029】

提案されたコンセプトは、主にシステム１１０によって実現され、システム１１０は、手術部位の深度特性を特定し、深度特性に従って顕微鏡１２０の虹彩絞り１２４を調整する。次に、開口数と深度特性との間の基本的な関係を紹介する。

【0030】

顕微鏡の対物レンズの焦点面における顕微鏡の分解能は、光の回折によって制限されており、この回折は顕微鏡の開口数によって特定される。特に、最大分解能、したがって解像度は開口数に比例する。実質的に、高い解像度は、虹彩絞りの開口のサイズを大きくすることによって得られる高い開口数に関連する。

【0031】

しかし、開口数は、顕微鏡の被写界深度、すなわち焦点面の外側に位置する、イメージングされる対象物の部分の鮮明度に大きな影響を及ぼす。大きな開口数は、浅い被写界深度をもたらすので、イメージングされる対象物と顕微鏡の対物レンズとセンサとの間の距離の変動によって、対象物のより多くの部分が、焦点が合っていないように見える。

【0032】

顕微鏡検査では、高い解像度と増大した被写界深度との両方が望ましい特性であるため、トレードオフが確立される：開口数は、手術部位の深度特性に基づいて調整される。

【0033】

この文脈において、手術部位の深度特性（または深度プロファイル）は、手術部位の表面上の点と顕微鏡との間の距離に関連していてよい、またはこの距離に基づいていてよい。例えば、深度特性は、（例えば、手術部位と顕微鏡との間の距離に基づいて）手術部位の表面の３次元表現（例えば３次元モデル）を含んでいてよい。いくつかの例では、深度特性は、手術部位の少なくとも一部に位置する点と顕微鏡との間の最大距離および最小距離に関する情報を含んでいてよい。

【0034】

いくつかの例では、実際の距離はそれほど重要でなく、（直接的に）深度特性に含まれていなくてよい。本発明のコンセプトにおいて、深度特性は、手術部位の深度プロファイルを特徴付ける。深度プロファイルの関連する態様は、所与の開口数および焦点距離または作動距離において、光景の鮮明度が手術部位に及ぼす影響である。したがって、焦点内にある（焦点面の周囲にある）と思われる、すなわち（十分に）鮮明に見える、手術部位の少なくとも一部の割合に関して、深度特性が定められてよい。

【0035】

深度特性の深度特性は、手術部位の少なくとも一部の被写界深度、すなわち、手術部位の全体部分（または少なくともその一部分、例えば、少なくとも８０％、少なくとも９０％または少なくとも９５％）が鮮明に見えるために必要とされる被写界深度にも関連する。したがって、深度特性を特定することによって、手術部位の少なくとも一部の被写界深度が特定されてよい。システムは、手術部位の少なくとも一部の被写界深度１３０を特定し、この被写界深度に基づいて顕微鏡の開口数を調整するように構成されていてよい。この文脈において、手術部位の少なくとも一部の被写界深度は、顕微鏡の（対物レンズ）からの手術部位の少なくとも一部内にある点の最小距離および最大距離によって画定されてよい。システムは、顕微鏡によって提供される被写界深度が、手術部位の少なくとも一部の被写界深度に合うように、開口数を調整するように構成されていてよい。例えば、システムは、手術部位の少なくとも一部の被写界深度の中心に（例えば、作動距離を変えることによって、または焦点合わせ操作を実行することによって）顕微鏡の焦点面を設定し、顕微鏡の被写界深度が手術部位の少なくとも一部の被写界深度に合うように、顕微鏡の開口数を選択するように構成されていてよい。

【0036】

外科医はしばしば、手術部位を検査する主要手段である手術用顕微鏡と、連続して何時間も過ごすので、外科医の光景の光学特性に関して、好みが生じる。例えば、一部の外科医は被写界深度よりも解像度を好み、手術部位の主要表面付近の浅い被写界深度を実質的に維持し、また、実行されている外科的処置に直接関連しない手術部位のそれほど鮮明ではない部分には関心を示さない。他の外科医は、例えば、手術中に、小さい領域外でのできごとに気付くことができるように、手術部位の全て（またはほぼ全て）を鮮明に見ることを好む。したがって、システムは、顕微鏡によって提供される被写界深度が、手術用顕微鏡システムを使用する外科医の被写界深度に関して、さらに、個人的な好みに適するように、開口数を調整するように構成されていてよい。例えば、外科医の好みの情報、すなわち被写界深度よりも解像度を好むか、またはその逆であるかの情報がシステムのストレージ装置に格納されていてよく、システムは、被写界深度が外科医の個人的な好みの光景において適しているように、開口数を選択するように構成されていてよく、これは例えば、外科医の個人的な好みが、外科医が、増大された被写界深度よりも高い解像度を優先することを示す場合に、外科医の個人的な好みに関係なく特定された（ニュートラルな）開口数に対して相対的に開口数を増大させることによって、また外科医の個人的な好みが、外科医が、増大された解像度よりも増大された被写界深度を好むことを示す場合に、ニュートラルな開口数に対して相対的に開口数を減少させることによって行われる。例えばシステムは外科医の個人的な好みを特定するように構成されていてよく、これは例えば、ニュートラルな開口数からの、外科医によって行われた調整を記録することによって行われる。いくつかの例では、（トレーニング入力試料としての）特定されたニュートラルな開口数と、教師あり学習アルゴリズムを使用して外科医によって選択された（所望の出力としての）開口数と、に基づいて、ニュートラルな開口数からの、外科医によって好まれる開口数を特定するように、機械学習モデルがトレーニングされてよい。システムは、ニュートラルな開口数に基づいて、外科医の個人的な好みに適した開口数を特定するために、上述の機械学習モデルを使用するように構成されていてよい。

【0037】

提案されたコンセプトは、顕微鏡を用いてイメージングされる手術部位１０の深度特性の特定に基づいている。例えば、図１ｂに示されているように、いくつかの例では、専用の深度センサ、例えば飛行時間型センサまたは構造化された光センサが、手術部位の深度特性を特定するために使用されてよく、これは例えば手術部位の表面上の点と顕微鏡との間の距離を特定することによって行われる。換言すれば、手術用顕微鏡システムの深度センサ１６０から（深度）センサデータを取得し、深度センサのセンサデータに基づいて、手術部位の少なくとも一部の深度特性を特定するように、システムが構成されていてよい。システムは、深度センサ１６０の（深度）センサデータに基づいて、手術部位の表面上の点と顕微鏡との間の距離を特定するように構成されていてよい。

【0038】

択一的に、手術部位の深度特性を特定するために、顕微鏡の組み込み型光学イメージングセンサが使用されてよい。したがって、システムは、顕微鏡の光学イメージングセンサ１２２からイメージングセンサデータを取得して、イメージングセンサデータに基づいて手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。以降では、顕微鏡の光学イメージングセンサに基づいて深度プロファイルを特定するための２つのアプローチを紹介する。

【0039】

第１のアプローチでは、手術部位の３次元スキャンを特定するために、ステレオ写真測量が使用されてよい。多くの場合、手術用顕微鏡システムの顕微鏡はステレオ顕微鏡であり、光学イメージングセンサ（各接眼ディスプレイに１つずつ）の対を使用して、手術部位をイメージングする。２組のイメージングセンサデータを取得するために、この対の光学イメージングセンサが使用されてよく、かつ手術部位の３次元スキャンを特定するために、２組のイメージングセンサデータに対してステレオ写真測量を実行するために、この対の光学イメージングセンサが使用されてよい。システムは、手術部位の３次元スキャンから手術部位の深度特性を特定するように構成されていてよい。

【0040】

第２のアプローチでは、画像シーケンスが、種々異なる開口数設定（および種々異なる焦点距離または作動距離）で捕捉されてよく、手術部位の深度特性を特定するために、画像の鮮明度が比較されてよい。換言すれば、システムは、種々異なる開口数に基づいているイメージングセンサデータの複数のフレームを生成するために顕微鏡の開口数を掃引し、種々異なる開口数に基づいているイメージングセンサデータの複数のフレームに基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。換言すれば、システムは、種々異なる開口数のシーケンスを設定し（これによって開口数を掃引し）、種々異なる開口数設定（すなわちイメージングセンサデータの複数のフレーム）毎に手術部位の別個の画像フレームを取得するように構成されていてよい。この場合、システムは、イメージングセンサデータの複数のフレームの種々異なる画像フレームの鮮明度を比較することによって、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。

【0041】

種々異なる画像フレームの鮮明度は、各画像のコントラストに基づいて、かつ／または各画像における高い空間周波数の割合に基づいて特定されてよい。例えば、システムは、コントラストに基づいて、かつ／または複数のフレームの各フレームの所定の空間周波数閾値を上回る空間周波数の出現度に基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。

【0042】

例えば、システムは、各画像のコントラストを特定するように構成されていてよく、これは例えば、画像のピクセルの標準偏差と平均値との比を特定することによって、または個々のピクセルとその隣り合うピクセル（すなわち隣接するピクセル）との間でカーネルベースの比較を実行することによって行われる。画像の鮮明な部分が多いほど、一般に、画像のコントラストは高くなる。

【0043】

システムはまた、例えば、画像の２Ｄフーリエ変換を実行することによって、各画像の空間周波数の分布を特定するように構成されていてよい。高い空間周波数の割合が高いほど、画像において可視の微細粒組織が多くなり、これは、微細粒組織を含んでいる画像の各部分が画像において鮮明に認識されるケースに当てはまる。図１ｃはイメージングセンサデータにおける空間周波数の分布の一例を示すグラフである。グラフ１８０は、空間周波数の分布を示しており（ｘ軸が空間周波数を表し、ｙ軸が画像中の各空間周波数の量を表す）、部分１８２は、所定の周波数閾値を上回る空間周波数の分布の部分を示している。所定の周波数を上回る空間周波数の分布の部分の積分を特定することによって、種々異なる画像における微細組織の出現度の比較に使用できる定量的計測を特定することができる。

【0044】

概して、適切な虹彩絞り設定よりもさらに重要なのは、手術部位に焦点が合っていること、すなわち焦点面が手術部位にあることである。手術部位は、（特に外科医が創傷域または腔内で手術を行う場合）深度プロファイルを有する傾向があるため、開口数の調整プロセスは、適切な開始点、すなわち適切な焦点距離または作動距離を見つけることを含んでいてよい。したがって、システムは、種々異なる作動距離または焦点距離に基づいているイメージングセンサデータの別の複数のフレームの生成のために、顕微鏡の作動距離および／または焦点距離の掃引を行うように、顕微鏡または手術用顕微鏡システムをコントロールするように構成されていてよく、かつ種々異なる作動距離または焦点距離に基づいているイメージングセンサデータの別の複数のフレームに基づいて、手術部位の少なくとも一部の深度特性を特定するように構成されていてよい。本開示において、「作動距離」および「焦点距離」という用語は、部分的に交換可能に使用されている。なぜなら、手術用顕微鏡検査においては、作動距離を変化させることによって、すなわち顕微鏡を手術部位に近づけるまたは手術部位から離すことによって、焦点距離を調整することができるからである。しかし、作動距離と焦点距離との両方が独立してコントロールされていてよい。

【0045】

図１ｄおよび図１ｅは、作動距離／焦点距離と開口数設定との組み合わせのグリッドの例を示すグラフであり、１つの例による、提案されたアプローチを強調して示している。図１ｄおよび図１ｅでは、ｘ軸が作動距離または焦点距離を表し、ｙ軸が開口数を表している。１０×１０グリッドは、１０個の異なる開口数設定と、１０個の異なる作動距離／焦点距離と、の組み合わせから定められる。しかし、他の個数の作動距離／焦点距離および開口設定も使用可能である。例えば、図１ｄに示されているように、システムは、（同じ開口数設定および異なる作動距離／焦点距離で撮影された１０個の別の画像フレームを表す、グリッドのセル１８４によって示されるように）デフォルトの開口数設定に基づいて、作動距離または焦点距離の掃引中に生成されたイメージングセンサデータの別の複数のフレームを特定するように構成されていてよい。図１ｅに示されているように、システムは、作動距離または焦点距離の掃引中に生成されるイメージングセンサデータの別の複数のフレームのフレームに基づいて作動距離または焦点距離を選択するように構成されていてよい（これは例えば、鮮明度、すなわち、コントラストおよび／または別の複数の画像フレームの所定の空間周波数閾値を上回る空間周波数の出現度を比較することによって、また例えば、最高のコントラストまたは所定の空間周波数閾値を上回る空間周波数の最高の出現度を生む作動距離／焦点距離を選択することによって行われる）。システムは、（グリッドのセル１８６によって示されているように）種々異なる開口数に基づいているイメージングセンサデータの複数のフレームの生成のために、選択された作動距離または焦点距離を利用しながら、顕微鏡の開口数を掃引するように構成されていてよい。システムは、複数の画像フレームを比較することによって（再び、鮮明度、すなわち、コントラストおよび／または複数の画像フレームの所定の空間周波数閾値を上回る空間周波数の出現度を比較することによって、また例えば、最高のコントラストまたは所定の空間周波数閾値を上回る空間周波数の最高の出現度を生む作動距離／焦点距離を選択することによって）、作動距離／焦点距離と開口数との組み合わせを選択するように構成されていてよい。図１ｅでは、作動距離／焦点距離と開口数との組み合わせを表すセル１８８が選択されている。

【0046】

図１ｄおよび図１ｅでは、（最終的に）開口数の全範囲および作動距離／焦点距離の全範囲にわたって全体的な掃引を行うアプローチが示されている。換言すれば、システムは、顕微鏡によって支持される開口数の（全体的な）所定の範囲にわたって、開口数の掃引を実行するように構成されていてよい。同様に、システムは、顕微鏡によって支持される作動距離または焦点距離の（全体的な）所定の範囲にわたって、作動距離または焦点距離の掃引を実行するように構成されていてよい。

【0047】

いくつかの例では、別のアプローチが使用されてよく、ここでは掃引は、開始点（例えば、現在使用されている開口数および／または作動距離／焦点距離）から始まり、ここでは（コントラストまたは高い空間周波数によって証明された）画像の、結果として生じる鮮明度が改善される限り、掃引が実行さる（すなわち、ヒューリスティックアプローチ）。例えば、システムは、開始作動距離または開始焦点距離を特定するように構成されていてよく、これは例えば、顕微鏡のオートフォーカス機能を使用することによって、または現在使用されている作動距離もしくは焦点距離を使用することによって行われる。システムは、開始作動距離または開始焦点距離から開始して、結果として生じる画像フレームの鮮明度が改善される限り（すなわち、画像の鮮明度に関して局所的な極大値が識別されるまで）、作動距離／焦点距離を掃引するように構成されていてよい。付加的または択一的に、システムは、開始開口数、例えばデフォルト開口数を特定するように構成されていてよい、これは、または現在使用されている開口数を使用することによって行われる。システムは、結果として生じる画像フレームの鮮明度が改善される限り（すなわち、画像の鮮明度に関して局所的な極大値が識別されるまで）、開始開口数から開始して、開口数を掃引するように構成されていてよい。例えば、開口数の掃引は、作動距離／焦点距離の掃引において識別される作動距離／焦点距離に基づいて実行されてよい。

【0048】

いくつかの例では複数の局所的な極大値は、例えば、開始作動距離／開始焦点距離または開始開口数から始まり、２つの方向（すなわち、より短い距離およびより長い距離、より小さい開口数およびより大きい開口数）において、作動距離／焦点距離または開口数を掃引することによって識別されてよい。換言すれば、各掃引は、２つの方向において、例えば、作動距離／焦点距離の増減によって、または開口数の増減によって実行されてよい。例えば、手術部位が、底部に突起を有する深い腔を含む場合には、作動距離／焦点距離および／または虹彩絞りの設定が使用されてよく、これによって全体的な画像鮮明度が向上する、またはこれによって画像の中心もしくは関心領域における全体的な画像鮮明度が向上する。

【0049】

概して、開口数は、継続的に調整されてよい。換言すれば、システムは、深度特性の特定と開口数の調整とを、例えば周期的に、顕微鏡の作動距離が変化した後に、または（外科医がいくつかの組織を除去して）手術部位が変化した後に、繰り返すように構成されていてよい。この場合、現在使用されている設定が、局所的な極大値にある、または局所的な極大値の近くにあると仮定することができる。例えば、深度特性が再特定され、開口数が再調整される場合、現在使用されている作動距離／焦点距離および／または開口数は、それぞれ、開始作動距離／開始焦点距離および開始開口数として使用されてよい。例えば、最初に、完全な掃引が、作動距離／焦点距離および／または開口数の所定の範囲全体にわたって実行されてよい。開口数が更新されるべき場合には、開始作動距離／開始焦点距離および開始開口数からそれぞれ各掃引または複数回の掃引が実行されてよい。

【0050】

手術用顕微鏡の視野が多くの場合、手術部位と極めて密に並べられている（したがって、外科医は手術部位の極めて詳細な部分まで見ることができる）のと同時に、概して、ある程度の、それほど関連していない周辺部が視野において依然として可視であってよく、例えば、これによって外科医は、外科医が手術を行っているすぐ近くの場所の外でのできごと、例えば出血を観察することができる。しかし、このようなできごとは、最高の鮮明度で示される必要がない場合がある。なぜなら、画像のその部分の鮮明度がわずかに低くても、概して、これらは感知され得るからである。したがって、提案されたコンセプトは、外科医が実際に関心を持っている、または関心を高めている視野の一部（すなわち手術部位の一部）のみに適用されてよい。したがって、システムは、手術部位内の関心領域１４０を特定し、手術部位内の関心領域の深度特性に基づいて顕微鏡の開口数を調整するように構成されていてよい。換言すれば、提案されたコンセプトは、関心領域に適用されてよく、これによって、関心領域外の手術部位／視野の部分との関連性が低くなる。

【0051】

概して、関心領域は、外科医（または助手）によって手動で定められるか、または光学イメージングセンサから導出されてよい。システムは、手術用顕微鏡システムのユーザインタフェースを介して取得されたユーザ入力信号に基づいて、関心領域を特定するように構成されている。例えば、ユーザインタフェースは、手術用顕微鏡システムのタッチスクリーンであってよい。外科医または助手は、タッチスクリーンを介して関心領域をマーキングすることができ、システムは、画像フレームにわたって関心領域の位置を追跡するように構成されていてよい。

【0052】

択一的に、関心領域が自動的に特定されてよい。例えば、図１ｆおよび図１ｇに示されているように、視野の中心を、関心領域１４０であるとみなすことができ、関心領域１４０の次に、中程度の関心領域１９０および非関心領域１９２が続く。図１ｆは、手術部位１０の深度プロファイルを示すグラフである（ｘ軸は横方向寸法を示し、ｙ軸は深度プロファイルの垂直方向寸法を示す）。深度プロファイルの中央には、関心領域１４０が示されている。関心領域の隣には、中程度の関心領域１９０が示されており、中程度の関心領域１９０の次に、非関心領域１９２が続く。図１ｇは、同じ手術部位を上から見た図であり、ここでは関心領域１４０は、中程度の関心領域１９０と、非関心領域１９２と、によって包囲されている。システムは、例えば、各画像フレームの鮮明度の比較において、中程度の関心領域または概して視野／手術部位の残りの部分に与えるのよりも高い重みを関心領域に与えることによって、種々の領域を考慮するために、重み付け関数を使用するように構成されていてよい。

【0053】

別のアプローチは、イメージングセンサデータの内容を分析することである。例えば、システムは、顕微鏡の光学イメージングセンサのイメージングセンサデータに基づいて、例えば、イメージングセンサデータ内で関心領域を識別することによって関心領域を特定するように構成されていてよい。システムは、手術されている手術部位の部分を特定するために、イメージングセンサデータに対して画像処理を実行し、手術されている手術部位の部分に基づいて関心領域を特定するように構成されていてよい。例えば、システムは、イメージングセンサデータにおける１つまたは複数の手術用ツールの位置を特定し、手術用ツールの位置に基づいて、手術されている手術部位の部分を特定するように構成されていてよい。例えば、システムは、手術されている手術部位の部分を特定するために、例えば、イメージングセンサデータ内の１つまたは複数の手術用ツールの位置を特定するために、トレーニングされた機械学習モデルを使用するように構成されていてよい。例えば、トレーニングされた機械学習モデルは、アノテーション付きの画像データに基づいてトレーニングされてよく、例えば、ここでは画像データはトレーニング試料として使用され、手術部位および／または１つまたは複数の手術用ツールの位置は、機械学習モデルの教師あり学習をベースにしたトレーニングにおいて所望の出力として使用される。択一的に、機械学習モデルは、例えば物体検出を使用して、手術されている腫瘍などの１つまたは複数の解剖学的特徴を検出するようにトレーニングされていてよい。システムは、検出された１つまたは複数の解剖学的特徴に基づいて関心領域を特定するように構成されていてよい。

【0054】

深度特性が一度特定されると、この深度特性を使用して開口数が調整される。これは、深度特性の観点から適切な開口数の設定によって行われてよい。例えば、所与の深度特性に対する開口数を導出するために、ルックアップテーブルまたは関数が使用されてよい。作動距離／焦点距離および開口数を掃引することによって深度特性が特定される場合、最高の鮮明度を生む作動距離／焦点距離および開口数設定が使用されてよい。択一的に、最低の開口数設定（すなわち最小の開口）が使用されてよく、これは、（パーセンテージ）閾値よりも大きい、次に高い開口数設定（すなわちより大きな開口数）にまさる（数値的な）改善をもたらす。換言すれば、ある開口数設定と次に大きい開口数設定との間の（数値的な）改善が閾値よりも小さい場合には、この改善は小さすぎるとみなされてよく（解像度の損失を考慮して）、次に大きい開口数が使用されていてよい。結論として、（隣接する開口数に対して、例えば次に大きい開口数に対して相対的に）開口数が鮮明度に対して行う改善が、所定の閾値よりも大きいか否かに基づいて、開口数が選択されてよい。

【0055】

提案された手術用顕微鏡システムでは、イメージングセンサデータを提供するために、光学イメージングセンサが使用される。したがって、光学イメージングセンサは、イメージングセンサデータを生成するように構成されている。例えば、顕微鏡１２０の光学イメージングセンサ１２２は、ＡＰＳ（Ａｃｔｉｖｅ Ｐｉｘｅｌ Ｓｅｎｓｏｒ）ベースのイメージングセンサもしくはＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ－Ｄｅｖｉｃｅ）ベースのイメージングセンサを含んでいてよい、またはこれらであってよい。例えば、ＡＰＳベースのイメージングセンサでは、ピクセルの光検出器とアクティブアンプとを使用して各ピクセルで光が記録される。ＡＰＳベースのイメージングセンサはしばしば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）技術またはＳ－ＣＭＯＳ（Ｓｃｉｅｎｔｉｆｉｃ ＣＭＯＳ）技術をベースにしている。ＣＣＤベースのイメージングセンサでは、入射した光子は半導体－酸化物界面で電子電荷に変換され、これはその後、イメージングセンサの回路構成によってイメージングセンサ内の容量性ビン間を移動し、イメージングが行われる。処理システム１１０は、光学イメージングセンサからイメージングセンサデータを取得する（すなわち、受け取るまたは読み出す）ように構成されていてよい。イメージングセンサデータは、光学イメージングセンサから（例えばインタフェース１１２を介して）イメージングセンサデータを受け取ることによって、またはイメージングセンサデータを光学イメージングセンサのメモリから（例えばインタフェース１１２を介して）読み出すことによって、または例えばイメージングセンサデータが光学イメージングセンサもしくは別のシステムやプロセッサによってストレージ装置１１６に書き込まれた後に、システム１１０のストレージ装置１１６からイメージングセンサデータを読み出すことによって、取得されてよい。

【0056】

システム１１０の１つまたは複数のインタフェース１１２は、モジュール内、モジュール間または種々異なるエンティティのモジュール間で、指定されたコードにしたがったデジタル（ビット）値であり得る情報を、受け取るかつ／または送るための１つまたは複数の入力および／または出力に対応することができる。例えば、１つまたは複数のインタフェース１１２は、情報を受け取るかつ／または送るように構成されているインタフェース回路構成を含んでいてよい。システム１１０の１つまたは複数のプロセッサ１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理装置、処理のための任意の手段、例えばプロセッサ、コンピュータまたは相応に適合されたソフトウェアで動作可能なプログラマブルハードウェア構成要素を使用して実装されていてよい。換言すれば、１つまたは複数のプロセッサ１１４の説明された機能は、ソフトウェアで実装されてもよく、ここでソフトウェアは、１つまたは複数のプログラマブルハードウェア構成要素において実行される。そのようなハードウェア構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラなどを含んでいてよい。システム１１０の１つまたは複数のストレージ装置１１６は、磁気記憶媒体もしくは光学記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、またはネットワークストレージなどのコンピュータ可読記憶媒体のグループのうちの少なくとも１つの要素を含んでいてよい。

【0057】

システムおよび手術用顕微鏡システムのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは後述の１つまたは複数の例に関連して言及される（例えば、図２～図４）。システムおよび手術用顕微鏡システムは１つまたは複数の追加の任意の特徴を含んでいてよく、これは、提案されたコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の例に対応する。

【0058】

図２は手術用顕微鏡システムの顕微鏡のための方法の一例を示すフローチャートである。この方法は、顕微鏡を使用してイメージングされる手術部位の深度特性を特定すること２１０を含んでいる。この方法は、手術部位の少なくとも一部の深度特性に基づいて顕微鏡の開口数を調整すること２２０を含んでいる。

【0059】

例えば、この方法は、図１ａ～図１ｇのうちの１つの図に関連して紹介されたシステムおよび／または手術用顕微鏡システムによって実装されていてよい。図１ａ～図１ｇのシステムまたは手術用顕微鏡システムに関連して紹介された特徴は、同様に、対応する方法に含まれていてよい。

【0060】

方法のさらなる詳細および態様は、提案されたコンセプトまたは上述もしくは後述の１つまたは複数の例に関連して言及される（例えば、図１ａ～１ｇ、図３～図４）。この方法は、１つまたは複数の追加の任意の特徴を含んでいてよく、これは、提案されたコンセプトの１つまたは複数の態様または上述もしくは後述の１つまたは複数の例に対応する。

【0061】

本開示の種々の例は、自動虹彩絞り調整（または虹彩絞り自動調整）のためのコンセプトに関する。

【0062】

提案されたコンセプトは、所定の基準に基づいて虹彩絞りを自動的に調整することに基づいている。これらの基準は、被写界深度（または焦点深度）の必要性を含み得る。被写界深度または焦点深度の必要性を、画像の鮮明度から推定することができる。例えば、カメラからの種々異なる組織領域の距離が測定されてよい。組織が平坦である場合、増大された被写界深度が必要とされないため、虹彩絞りを開いて、解像度の増大または最適化を行うことができる。例えば、最適なスポットを推定するために、焦点および／または虹彩絞りの微調整が使用されてよい。その結果、設定を全く変更せずに、腔に進入する際のより良好な奥行き知覚が得られる。例えば、腔に侵入する際に、虹彩絞りが自動的に閉じられてよく、これによって外科医はより良好な奥行き知覚が得られる。

【0063】

図３は、顕微鏡の光景の被写界深度に対する虹彩絞り開口の影響を示す概略図である。図３には、図１ａと同様に、手術部位１０から到達した光を記録するために使用される、顕微鏡の光学イメージングセンサ１２２が示されており、ここでは光は虹彩絞り１２４を通過する。自動虹彩絞り調整システム１１０（例えば、図１ａ～図１ｇに関連して紹介されたシステム１１０）は、より小さい開口を有する第１の設定３１０と、大きい開口を有する第２の設定３２０と、の間で、虹彩絞り１２４を自動的に調整するために使用される。第１の設定３１０は、解像度を低減させ、他方で被写界深度１３０を増大させ、第２の設定３２０は、解像度を改善し、他方で被写界深度１３０を低減させる。図示の設定は、極値を示している。これら２つの設定の間の設定も同様に使用可能であり、解像度と被写界深度との間のトレードオフが確立される。

【0064】

いくつかの例では、プロセスは、ユーザによって定められ得るまたは自動的に特定され得る関心領域に対してのみ適用されてよい。

【0065】

被写界深度の必要性の推定は、手術部位の深度特性によって表すことができる、組織の「不均一性」に直接的に関連している。不均一性または深度特性は、種々異なる虹彩絞り設定を有する画像の高速シーケンシャルキャプチャおよび画像の鮮明度の比較または手術腔の３Ｄスキャンの実行、例えばステレオ写真測量などの種々の方法の使用によって推定され得る。

【0066】

いくつかの例では、機械学習を種々の目的のために使用することができる。例えば、機械学習は、関心領域を特定するために、または所望の被写界深度を特定の外科医の個人的な好みに合わせて調整するために使用されてよい。

【0067】

自動虹彩絞り調整のために提案されたコンセプトのさらなる詳細および態様は、提案されたコンセプトまたは上述もしくは後述の１つまたは複数の例に関連して言及される（例えば、図１ａ～図２、図４）。自動虹彩絞り調整のために提案されたコンセプトは、１つまたは複数の付加的な任意の特徴を含んでいてよく、これは、提案されたコンセプトの１つまたは複数の態様または上述もしくは後述の１つまたは複数の例に対応する。

【0068】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0069】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0070】

いくつかの実施形態は、図１～図３のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１～図３のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってよい、または図１～図３のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてよい。図４は本明細書に記載された方法を実施するように構成されているシステム４００の概略図を示している。システム４００は、顕微鏡４１０とコンピュータシステム４２０とを含んでいる。顕微鏡４１０は、撮像するように構成されており、かつコンピュータシステム４２０に接続されている。コンピュータシステム４２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム４２０は、機械学習アルゴリズムを実行するように構成されていてよい。コンピュータシステム４２０と顕微鏡４１０とは別個の存在物であってよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム４２０は、顕微鏡４１０の中央処理システムの一部であってよい、かつ／またはコンピュータシステム４２０は、顕微鏡４１０のセンサ、動作部、カメラまたは照明ユニットなどの、顕微鏡４１０の従属部品の一部であってよい。

【0071】

コンピュータシステム４２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージ装置を有するローカルコンピュータ装置（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってよい、または分散コンピュータシステム（種々の場所、例えばローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンタに分散された１つまたは複数のプロセッサおよび１つまたは複数のストレージ装置を有するクラウドコンピューティングシステムなど）であってよい。コンピュータシステム４２０は、任意の回路または回路の組み合わせを含んでいてよい。１つの実施形態では、コンピュータシステム４２０は、任意の種類のものであってよい、１つまたは複数のプロセッサを含んでいてよい。本明細書で用いられるプロセッサは、任意のタイプの計算回路を意味していてよく、例えば顕微鏡または顕微鏡構成要素（例えばカメラ）または任意の他のタイプのプロセッサもしくは処理回路のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックスプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを意味していてよいが、これに制限されない。コンピュータシステム４２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）などであってよく、例えば携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システムなどの無線装置において使用される１つまたは複数の回路（通信回路など）であってよい。コンピュータシステム４２０は１つまたは複数のストレージ装置を含んでいてよく、ストレージ装置は、特定の用途に適した１つまたは複数のメモリ要素を含んでいてよく、これは例えばランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ、１つまたは複数のハードドライブおよび／または１つまたは複数のドライブであり、このドライブはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）などのリムーバブルメディアを取り扱う。コンピュータシステム４２０は、ディスプレイ装置、１つまたは複数のスピーカならびにキーボードおよび／またはコントローラを含んでいてもよく、キーボードおよび／またはコントローラは、マウス、トラックボール、タッチスクリーン、音声認識装置、またはシステムユーザがコンピュータシステム４２０に情報を入力し、コンピュータシステム４２０から情報を受け取ることを可能にする任意の他の装置を含むことができる。

【0072】

ステップの一部または全ては、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置（またはハードウェア装置を使用すること）によって実行されてよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてよい。

【0073】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、各方法が実施されるように、プログラマブルコンピュータシステムと協働する（または協働することができる）電子可読コントロール信号が格納されている、デジタル記憶媒体などの非一時的な記憶媒体、例えばフロッピーディスク、ＤＶＤ、Ｂｌｕ－Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行可能である。したがって、デジタル記憶媒体は、コンピュータ可読記憶媒体であってよい。

【0074】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる電子可読コントロール信号を有するデータ担体を含んでいる。

【0075】

概して、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてよい。

【0076】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0077】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0078】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記憶媒体（またはデータ担体、またはコンピュータ可読媒体）である。データ担体、デジタル記憶媒体または記録されている媒体は、典型的に、有形である、かつ／または非一時的である。本発明のさらなる実施形態は、プロセッサおよび記憶媒体を含んでいる、本明細書に記載されているような装置である。

【0079】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続を介して、例えばインターネットを介して転送されるように構成されていてよい。

【0080】

別の実施形態は、処理手段、例えば、コンピュータまたはプログラマブルロジック装置を含んでおり、これは、本明細書に記載のいずれかの方法を実施するように構成または適合されている。

【0081】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0082】

本発明による別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、メモリ装置などであってよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてよい。

【0083】

いくつかの実施形態では、プログラマブルロジック装置（例えばフィールドプログラマブルゲートアレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してよい。概して、好ましくは、任意のハードウェア装置によって方法が実施される。

【0084】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照し得る。例えば、機械学習では、データのルールベース変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータの変換が使用されてよい。例えば、画像の内容は、機械学習モデルを用いてまたは機械学習アルゴリズムを用いて分析されてよい。機械学習モデルが画像の内容を分析するために、機械学習モデルは、入力としてのトレーニング画像と、出力としてのトレーニング内容情報と、を使用してトレーニングされてよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文章）ならびに関連するトレーニング内容情報（例えばラベルまたはアノテーション）で機械学習モデルをトレーニングすることによって、機械学習モデルは、画像の内容を認識することを「学習」し、したがって、機械学習モデルを使用して、トレーニングデータに含まれていない画像の内容を認識することができる。同じ原理が、他の種類のセンサデータにも使用されてよい：トレーニングセンサデータおよび所望の出力を使用して機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えば、センサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを取得するために前処理されてよい。

【0085】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてよい。上述した例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニング試料を用いてトレーニングされ、ここで各試料は、複数の入力データ値と複数の所望の出力値とを含んでいてよく、すなわち各トレーニング試料は、所望の出力値と関連付けられている。トレーニング試料と所望の出力値との両方を指定することによって、機械学習モデルは、トレーニング中に提供された試料に類似する入力試料に基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてよい。半教師あり学習では、トレーニング試料の一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてよい。出力が、値（カテゴリ変数）の限られたセットに制限される場合、すなわち入力が、値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてよい。出力が（範囲内の）任意の数値を有していてよい場合、回帰アルゴリズムが使用されてよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムとの両方に類似していてよいが、２つのオブジェクトがどの程度類似しているかまたは関連しているかを測定する類似度関数を用いた例からの学習をベースにしている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムが、（例えば、入力データをグループ化またはクラスタリングすること、データにおける共通性を見出すことによって）入力データにおける構造を見出すために使用されてよい。クラスタリングは、複数の入力値を含んでいる入力データをサブセット（クラスタ）に割り当てることであるので、同じクラスタ内の入力値同士は、１つまたは複数の（所定の）類似度基準に従って類似しているが、別のクラスタに含まれている入力値とは類似していない。

【0086】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてよい。強化学習では、１つまたは複数のソフトウェアアクタ（「ソフトウェアエージェント」と称される）が、ある環境において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって証明されるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0087】

さらに、いくつかの技術が、いくつかの機械学習アルゴリズムに適用されてよい。例えば、特徴表現学習が使用されてよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてよく、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力における情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用になるように、情報を変換することもできる。特徴表現学習は、例えば、主成分分析またはクラスタ分析に基づいていてよい。

【0088】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてよく、これは、入力またはトレーニングデータの大部分と著しく種々異なることによって疑念を引き起こす入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてよい、かつ／または機械学習アルゴリズムは異常検知構成要素を含んでいてよい。

【0089】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してよい。換言すれば、機械学習モデルは、決定木をベースとしていてよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木の枝によって表されてよく、項目に対応する出力値は、決定木の葉によって表されてよい。決定木は、出力値として離散値と連続値との両方をサポートしてよい。離散値が使用される場合、決定木は、分類木として表されてよく、連続値が使用される場合、決定木は、回帰木として表されてよい。

【0090】

アソシエーション・ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数のアソシエーション・ルールに基づいていてよい。アソシエーション・ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数のリレーショナル・ルールを識別してよい、かつ／または利用してよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてよい。

【0091】

機械学習アルゴリズムは、通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてよい。実施形態では、機械学習アルゴリズムの使用は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の使用を意味していてよい。機械学習モデルの使用は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてよい。

【0092】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってよい。ＡＮＮは、網膜または脳において見られるような生物学的ニューラルネットワークがきっかけとなったシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接続、いわゆるエッジを含んでいる。通常、３つのタイプのノード、すなわち、入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノード、および出力値を提供する出力ノードが存在する。各ノードは、人工ニューロンを表していてよい。各エッジは、１つのノードから別のノードへ、情報を伝送してよい。ノードの出力は、自身の入力（例えば、自身の入力の和）の（非線形）関数として規定されてよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてよい。ノードおよび／またはエッジの重みは、学習プロセスにおいて調整されてよい。換言すれば、人工ニューラルネットワークのトレーニングは、例えば所与の入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてよい。

【0093】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてよい。サポートベクターマシンは、２つのカテゴリのいずれかへ新しい入力値を割り当てるようにトレーニングされてよい。択一的に、機械学習モデルは、確率的有向非巡回グラフィカルモデルであるベイジアンネットワークであってよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件依存性とのセットを表していてよい。択一的に、機械学習モデルは、遺伝的アルゴリズムに基づいていてよく、遺伝的アルゴリズムは、自然淘汰のプロセスを模倣した探索アルゴリズムおよびヒューリスティック技術である。

【符号の説明】

【0094】

１０ 手術部位
１００ 手術用顕微鏡システム
１０５ ベースユニット
１１０ システム
１１２ １つまたは複数のインタフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数のストレージ装置
１２０ 顕微鏡
１２２ 光学イメージングセンサ
１２４ 虹彩絞り
１３０ 被写界深度
１４０ 関心領域
１５０ａ 接眼ディスプレイ
１５０ｂ 補助ディスプレイ
１６０ 深度センサ
１７０ アーム
１８０ 空間周波数分布
１８２ 閾値を上回る空間周波数分布の部分
１８４ 作動距離／焦点距離の掃引に使用されているセル
１８６ 開口数の掃引に使用されているセル
１８８ 選択されたセル
１９０ 中程度の関心領域
１９２ 非関心領域
２１０ 深度特性の特定
２２０ 開口数の調整
３１０ より小さな開口による第１の設定
３２０ より大きな開口による第２の設定
４００ システム
４１０ 顕微鏡
４２０ コンピュータシステム

【図1a】

【図1b】

【図1c】

【図1d】

【図1e】

【図1f】

【図1g】

【図2】

【図3】

【図4】

【外国語明細書】