特表 2024-547086 顕微鏡システムおよび対応する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-26

(54)【発明の名称】顕微鏡システムおよび対応する方法

(51)【国際特許分類】

   G02B 21/00 20060101AFI20241219BHJP

   G02B 21/06 20060101ALI20241219BHJP

   G02B 21/18 20060101ALI20241219BHJP

【ＦＩ】

G02B21/00

G02B21/06

G02B21/18

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024537444

(86)(22)【出願日】2022-12-21

(85)【翻訳文提出日】2024-07-29

(86)【国際出願番号】 EP2022087165

(87)【国際公開番号】W WO2023118256

(87)【国際公開日】2023-06-29

(31)【優先権主張番号】102021134017.9

(32)【優先日】2021-12-21

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１５ Ｔｕｋａｎｇ Ｉｎｎｏｖａｔｉｏｎ Ｄｒｉｖｅ， Ｓｉｎｇａｐｏｒｅ ６１８２９９， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AA09

2H052AB01

2H052AB24

2H052AC04

2H052AC14

2H052AD04

2H052AD35

2H052AF14

2H052AF21

2H052AF25

(57)【要約】

実施例は、顕微鏡システム、例えば手術用顕微鏡システムおよび対応する方法に関する。顕微鏡システム（１００）は顕微鏡（１２０）を含み、当該顕微鏡（１２０）は、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成する第１の光学イメージングセンサ（１２２）と、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成する第２の光学イメージングセンサ（１２４）と、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と第２の波長スペクトルを有する光に対する、第１の開口数とは異なる第２の開口数を有する開口とを形成するように構成されたマルチスペクトルアイリス（１３０）と、を備える。顕微鏡システムは１つまたは複数のプロセッサ（１１４）を含み、当該１つまたは複数のプロセッサ（１１４）は、第１のイメージングセンサデータと第２のイメージングセンサデータとに基づいて合成画像を形成するように構成されている。

【特許請求の範囲】

【請求項1】

顕微鏡（１２０）と１つまたは複数のプロセッサ（１１４）とを備えた顕微鏡システム（１００）であって、
前記顕微鏡（１２０）は、
第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成する第１の光学イメージングセンサ（１２２）と、
第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成する第２の光学イメージングセンサ（１２４）と、
前記第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、前記第２の波長スペクトルを有する光に対する、前記第１の開口数とは異なる第２の開口数を有する開口と、を形成するように構成されたマルチスペクトルアイリス（１３０）と、
を含み、
前記１つまたは複数のプロセッサ（１１４）は、前記第１のイメージングセンサデータと前記第２のイメージングセンサデータとに基づいて合成画像を形成するように構成されている、
顕微鏡システム（１００）。

【請求項2】

前記第１の波長スペクトルは、反射イメージングの実行に適しており、前記第２の波長スペクトルは、蛍光イメージングの実行に適している、または
前記第１の波長スペクトルおよび前記第２の波長スペクトルは、反射イメージングの実行に適している、または
前記第１の波長スペクトルおよび前記第２の波長スペクトルは、蛍光イメージングの実行に適している、
請求項１記載の顕微鏡システム。

【請求項3】

前記第１の開口数は、前記第２の開口数よりも大きい、
請求項１または２記載の顕微鏡システム。

【請求項4】

前記１つまたは複数のプロセッサは、前記第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する前記第１のイメージングセンサデータの１つまたは複数の部分を決定し、より高い画像鮮明度を有する前記第１のイメージングセンサデータの１つまたは複数の部分を用いて合成画像を形成し、その際に前記合成画像の残りの部分を前記第２のイメージングセンサデータに基づかせるように構成されている、
請求項３記載の顕微鏡システム。

【請求項5】

前記１つまたは複数のプロセッサは、コントラストに基づいて、かつ／または、それぞれの１つまたは複数の部分における予め定められた空間周波数閾値を上回る空間周波数の存在に基づいて、前記第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する前記第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成されている、
請求項４記載の顕微鏡システム。

【請求項6】

前記１つまたは複数のプロセッサは、前記第１のイメージングセンサデータおよび前記第２のイメージングセンサデータを、それぞれ複数のピクセルを含むピクセルブロックの２次元グリッドへ細分し、ピクセルブロックベースで前記第２のイメージングセンサデータの対応する１つまたは複数の対応部分よりも高い画像鮮明度を有する前記第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成されている、
請求項３または４記載の顕微鏡システム。

【請求項7】

前記１つまたは複数のプロセッサは、前記第２のイメージングセンサデータの空間特徴を抽出し、前記第２のイメージングセンサデータからの空間特徴を前記第１のイメージングセンサデータの空間特徴および色情報とマージして合成画像を形成するように構成されている、
請求項１から６までのいずれか１項記載の顕微鏡システム。

【請求項8】

前記１つまたは複数のプロセッサは、色相、彩度およびブライトネスの色表現において前記第１のイメージングセンサデータおよび前記第２のイメージングセンサデータを処理し、前記第２のイメージングセンサデータの彩度成分およびブライトネス成分を前記第１のイメージングセンサデータの色相成分、彩度成分およびブライトネス成分とマージするように構成されている、
請求項７記載の顕微鏡システム。

【請求項9】

前記顕微鏡システムは、前記顕微鏡システムを使用してイメージングされる対象物を照明するように構成された照明システム（１４０）を備え、
前記照明システムの発光波長スペクトルは、前記第１の波長スペクトルと前記第２の波長スペクトルとを含む、
請求項１から８までのいずれか１項記載の顕微鏡システム。

【請求項10】

前記第１の波長スペクトルは、前記第２の波長スペクトルから除外された第１の波長帯域を含み、
前記第２の波長スペクトルは、前記第１の波長スペクトルから除外された第２の波長帯域を含み、
前記照明システムの発光スペクトルは、前記第１の波長帯域と前記第２の波長帯域とを含む、
請求項９記載の顕微鏡システム。

【請求項11】

前記マルチスペクトルアイリスは、前記第２の波長スペクトルを阻止するように構成された少なくとも１つのバンドパスフィルタリングコンポーネントを含む、
請求項１から１０までのいずれか１項記載の顕微鏡システム。

【請求項12】

前記マルチスペクトルアイリスは、前記第２の波長スペクトルを阻止するように構成された複数のバンドパスフィルタリングコンポーネントを含み、
前記顕微鏡は、前記複数のバンドパスフィルタリングコンポーネントの相互に対する相対位置を調整するモータを備えており、
前記１つまたは複数のプロセッサは、前記顕微鏡システムの前記モータを制御して前記複数のバンドパスフィルタリングコンポーネントの相互に対する相対位置を調整し、これにより前記第２の開口数を調整するように構成されている、
請求項１１記載の顕微鏡システム。

【請求項13】

前記複数のバンドパスフィルタリングコンポーネントは、絞りを形成している、または
前記複数のバンドパスフィルタリングコンポーネントは、２つのＬ字形バンドパスフィルタリングコンポーネントに対応する、
請求項１２記載の顕微鏡システム。

【請求項14】

前記マルチスペクトルアイリスは、前記第１の波長スペクトルと前記第２の波長スペクトルとを阻止するように構成された複数の第２のコンポーネントを備え、
前記顕微鏡は、前記複数の第２のコンポーネントの相互に対する相対位置を調整する第２のモータを備えており、
前記１つまたは複数のプロセッサは、前記第２のモータを制御して前記複数の第２のコンポーネントの相互に対する相対位置を調整し、これにより前記第１の開口数を調整するように構成されている、
請求項１１から１３までのいずれか１項記載の顕微鏡システム。

【請求項15】

前記１つまたは複数のプロセッサは、前記顕微鏡システムの少なくとも１つのモータを制御して、前記モータに前記第１の開口数および前記第２の開口数のうちの少なくとも一方を調整させるように構成されている、
請求項１から１４までのいずれか１項記載の顕微鏡システム。

【請求項16】

前記顕微鏡システムは、固定された開口数を有する複数のマルチスペクトルアイリスを備えたフィルタホイールを備えている、
請求項１から１１までのいずれか１項または請求項１５記載の顕微鏡システム。

【請求項17】

顕微鏡システムのための方法であって、前記方法は、
マルチスペクトルアイリスにより、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、第２の波長スペクトルを有する光に対する、前記第１の開口数とは異なる第２の開口数を有する開口と、を形成するステップ（２１０）と、
第１の光学イメージングセンサにより、前記第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成するステップ（２２０）と、
第２の光学イメージングセンサにより、前記第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成するステップ（２３０）と、
前記第１のイメージングセンサデータと前記第２のイメージングセンサデータとに基づいて合成画像を形成するステップ（２４０）と、
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

実施例は、顕微鏡システム、例えば手術用顕微鏡システムおよび対応する方法に関する。

【背景技術】

【0002】

顕微鏡、例えば手術用顕微鏡システムにおいて使用される顕微鏡は、さまざまな光学部品を含む光学システムである。顕微鏡の１つの光学部品はアイリスであり、これは、顕微鏡の接眼レンズまたは光学イメージングセンサにどれだけの光が達するかを制御する調整可能な開口である。アイリスの開閉は、画像の解像度および被写界深度に影響を及ぼす。アイリスの開口がより大きい場合、より多くの光がアイリスを通過して接眼レンズまたは光学イメージングセンサに達する。これにより、一般的に、ビューまたは画像の解像度は増大するが、観察されるもしくは取得される試料のビューが鮮明に見える距離間隔である被写界深度は減少する。アイリスの開口が小さくなると、通過する光は少なくなる。これにより、深度知覚は増大するが、解像度は低下する。典型的には、手術用顕微鏡は、固有のトレードオフでの許容可能なバランスが得られるよう、固定されたアイリスを「スイートスポット」に有するようにセットされている。

【0003】

いくつかの手術用顕微鏡では、解像度と被写界深度とのトレードオフを低減することのできる技術が使用されている。その動作方式は、光学接眼レンズにおいて左眼と右眼とに対して異なるアイリスサイズを利用することである。その結果、ユーザーは、それぞれ異なる品質を有する２つの画像（右／左）、すなわち、より高い解像度を有する一方の画像とより大きな被写界深度を有する他方の画像とを観察することになる。脳は、ユーザーが知覚した両眼からの情報、すなわち、高い解像度および大きな被写界深度の双方の品質を有する像を処理する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

顕微鏡検査における解像度と被写界深度とのトレードオフにさらに対処することが所望されうる。

【課題を解決するための手段】

【0005】

こうした所望は、各独立請求項の主題によって対処される。

【0006】

本開示において提案するコンセプトは、顕微鏡、特に手術用顕微鏡システムの一部として使用される顕微鏡が複数の光学イメージングセンサを含むことができるという発見に基づいている。例えば、手術用顕微鏡では、反射イメージングと蛍光イメージングとのために別個の光学イメージングセンサを使用することができる。なお、蛍光イメージングに使用されるセンサは、多くの場合に１つまたは複数の蛍光発光波長帯域、すなわち明確に規定されたスペクトルサブセットを対象としている。例えば欧州特許第３２８５１１６号明細書に示されているいわゆるマルチスペクトルアイリスを使用して、それぞれの光学イメージングセンサによって記録される２つの別個の波長スペクトルに対してそれぞれ異なるサイズのアイリス開口を形成することによって、顕微鏡の２つの別個の光学イメージングセンサに対してそれぞれ異なるサイズのアイリス開口を形成することができる。次いで、画像処理を使用して、２つの光学イメージングセンサのイメージングセンサデータを結合し、大きなアイリス開口によって得られる増大された解像度と小さなアイリス開口によって得られる増大された被写界深度とを有する合成画像を取得することができる。

【0007】

本開示のさまざまな例は、顕微鏡と１つまたは複数のプロセッサとを備えた顕微鏡システム、例えば手術用顕微鏡システムに関する。顕微鏡は、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成する第１の光学イメージングセンサを備える。顕微鏡はさらに、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成する第２の光学イメージングセンサを備える。顕微鏡はさらに、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、第２の波長スペクトルを有する光に対する第２の開口数を有する開口と、を形成するように構成されたマルチスペクトルアイリスを備える。第１の開口数は第２の開口数とは異なる。１つまたは複数のプロセッサは、第１のイメージングセンサデータと第２のイメージングセンサデータとに基づいて合成画像を形成するように構成されている。マルチスペクトルセンサを使用することによって、それぞれ異なるサイズのアイリス開口からそれぞれ異なる波長スペクトルを形成することができる。それぞれ異なるスペクトルにおける光をセンシングする２つの別個の光学イメージングセンサを使用することによって、２つのイメージングセンサデータセット、すなわち、一方の解像度が増大された画像と他方の被写界深度が増大された画像とを形成することができる。この場合、これら２つのイメージングセンサデータセットを合成画像へと結合して、増大された解像度と増大された深度知覚との双方を有する合成画像を形成することができる。

【0008】

顕微鏡検査、特に手術用顕微鏡検査では、反射イメージングと蛍光イメージングとのためにそれぞれ異なる光学イメージングセンサが使用される。こうした固有の分離を使用して、提案のコンセプトを実現することができる。例えば、第１の波長スペクトルを反射イメージングの実行に適するものとし、第２の波長スペクトルは蛍光イメージングの実行に適するものとすることができる。代替的に、第１の光学イメージングセンサおよび第２の光学イメージングセンサの双方を反射イメージングまたは蛍光イメージングに使用することもできる。換言すれば、第１の波長スペクトルおよび第２の波長スペクトルを反射イメージングの実行に適するものとし、または第１の波長スペクトルおよび第２の波長スペクトルを蛍光イメージングの実行に適するものとすることができる。

【0009】

さまざまな実施例において、第１の開口数は第２の開口数よりも大きい。したがって、第１のイメージングセンサデータは、より高い解像度を有するイメージングセンサデータを含むことができ、他方、第２のイメージングセンサデータは、より大きな被写界深度をカバーするイメージングセンサデータを含むことができる。本願においては、「解像度」なる用語は、ピクセルの量または密度を指すのではなく、一般的に、１ミリメートル当たりの線対において測定される光学解像度を指す。

【0010】

第１のイメージングセンサデータと第２のイメージングセンサデータとは合成画像へと結合され、これにより、例えばそれぞれのイメージングセンサデータの増大された解像度と増大された被写界深度との双方が使用される。解像度の増大と被写界深度の増大との双方は画像鮮明度の増大という観点において現出可能であって、解像度の増大により、それぞれの画像が焦点に合っている箇所で画像鮮明度が増大し、被写界深度の増大により、高解像度画像が焦点を外れている領域において画像鮮明度が増大する。例えば、１つまたは複数のプロセッサは、第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成可能である。１つまたは複数のプロセッサは、より高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を用いて合成画像を形成し、その際に合成画像の残りの部分を第２のイメージングセンサデータに基づかせるように構成可能である。換言すれば、より大きなアイリス開口に基づきうることから焦点が合っている箇所でより高い解像度を得ることのできる第１のイメージングセンサデータから、より高い解像度で鮮明な部分を選択することができ、残りの画像は（より低い解像度であるが、より大きな被写界深度である）第２のイメージングセンサデータに基づくものすることができる。

【0011】

それぞれのイメージングセンサデータの鮮明な部分を決定するために、種々の技術が使用可能である。例えば、１つまたは複数のプロセッサは、コントラストに基づいて、かつ／またはそれぞれの１つまたは複数の部分における予め定められた空間周波数閾値を上回る空間周波数の存在に基づいて、第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成可能である。

【0012】

いくつかの実施例では、鮮明度を決定して２つのイメージングセンサデータセットを結合するために、グリッドベースのアプローチが使用可能である。例えば、１つまたは複数のプロセッサは、第１のイメージングセンサデータおよび第２のイメージングセンサデータを、それぞれ複数のピクセルを含むピクセルブロックの２次元グリッドへ細分するように構成可能である。１つまたは複数のプロセッサは、ピクセルブロックベースで第２のイメージングセンサデータの対応する１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成可能である。例えば、ピクセルブロックベースで、それぞれのピクセルブロックをイメージングセンサデータセットのうちの１つから選択して、合成画像のために使用することができる。

【0013】

別のアプローチでは（または上述したアプローチに加えて）、２つのイメージングセンサデータセットは、一方のイメージングセンサデータセット（例えば第１のイメージングセンサデータ）からの色情報および空間特徴を使用することによって、さらに他方のイメージングセンサデータセット（例えば第２のイメージングセンサデータ）からの空間特徴（のみ）を使用することによって、別のレベルでマージすることもできる。例えば、１つまたは複数のプロセッサは、第２のイメージングセンサデータの空間特徴を抽出するように構成可能である。１つまたは複数のプロセッサは、第２のイメージングセンサデータからの空間特徴を第１のイメージングセンサデータの空間特徴および色情報とマージして合成画像を形成するように構成可能である。このことは、第２の光学イメージングセンサが全般的に蛍光イメージングに使用される場合に特に適用される。なぜなら、蛍光センサによってセンシングされる波長スペクトルは制限されており、このような蛍光センサの第２のイメージングセンサデータに含まれる色情報の有用性は第１のイメージングセンサデータに含まれる色情報の有用性よりも低くなってしまうからである。

【0014】

このような色情報と空間特徴との分離は、それぞれのイメージングセンサデータをＨＳＢ（色相、彩度、ブライトネス）色表現へ変換することによって行うことができる。例えば、１つまたは複数のプロセッサは、色相、彩度およびブライトネスの色表現において第１のイメージングセンサデータおよび第２のイメージングセンサデータを処理するように構成可能である。１つまたは複数のプロセッサは、第２のイメージングセンサデータの彩度成分およびブライトネス成分を第１のイメージングセンサデータの色相成分、彩度成分およびブライトネス成分とマージするように構成可能である。例えば、色相成分は色情報を含むことができ、彩度成分およびブライトネス成分は空間特徴を表現することができる。

【0015】

提案のコンセプトでは、２つの別個の光学イメージングセンサを使用して、それぞれのイメージングセンサデータが形成される。それぞれのイメージングセンサデータのフレームは、所定の時点で、第１のイメージングセンサデータのフレームをこれと同時に撮影された第２のイメージングセンサデータのフレームと結合することができるよう、時間同期させることができる。したがって、１つまたは複数のプロセッサは、同時に撮影された第１のイメージングセンサデータのフレームおよび第２のイメージングセンサデータのフレームに基づいて合成画像を形成するように構成可能である。このため、２つのイメージングセンサデータセットのフレームレートおよび同期は、提案のコンセプトによる影響を受けない。

【0016】

顕微鏡システム、特に手術用顕微鏡システムは、一般的に、イメージングされる対象物（すなわち試料）の照明に使用される照明システムを含む。したがって、顕微鏡システムは、当該顕微鏡システムを使用してイメージングされる対象物を照明するように構成された照明システムを備えることができる。照明システムの発光波長スペクトルは、第１の波長スペクトルと第２の波長スペクトルとを含むことができる。例えば、第１の波長スペクトルは、第２の波長スペクトルから除外された第１の波長帯域を含むことができ、第２の波長スペクトルは、第１の波長スペクトルから除外された第２の波長帯域を含むことができる。照明システムの発光スペクトルは、第１の波長帯域と第２の波長帯域とを含むことができる。実際に、第１のイメージングセンサデータおよび第２のイメージングセンサデータを同時に形成するために適切な照明が提供可能である。

【0017】

提案のコンセプトはマルチスペクトルアイリスを使用しており、これは、それぞれ異なる波長帯域にそれぞれ異なる開口数を有するアイリスである。さまざまな実施例では、このようなアイリスは、（他方の波長帯域ではなく）一方の波長帯域において知覚されたアイリス開口に影響を与えるバンドパスフィルタを使用して実行することができる。例えば、マルチスペクトルアイリスは、第２の波長スペクトルを阻止するように構成された少なくとも１つのバンドパスフィルタリングコンポーネントを含むことができる。

【0018】

いくつかの実施例では、顕微鏡は、１つまたは複数の固定開口マルチスペクトルアイリスを用いて動作可能である。例えば、顕微鏡は、固定された開口数を有する単一のマルチスペクトルアイリスまたは固定された開口数を有する複数のマルチスペクトルアイリスを有するフィルタホイールを備えることができる。

【0019】

代替的に、第１の開口数および／または第２の開口数は、モータおよび可動のコンポーネントを介して調整可能であってもよい。例えば、マルチスペクトルアイリスは、第２の波長スペクトルを阻止するように構成された複数の（第１の）バンドパスフィルタリングコンポーネントを含むことができる。顕微鏡は、複数のバンドパスフィルタリングコンポーネントの相互に対する相対位置を調整するモータを備えることができる。１つまたは複数のプロセッサは、顕微鏡システムのモータを制御して複数のバンドパスフィルタリングコンポーネントの相互に対する相対位置を調整し、これにより第２の開口数を調整するように構成可能である。例えば、複数のバンドパスフィルタリングコンポーネントは絞りを形成することができ、または複数のバンドパスフィルタリングコンポーネントが２つのＬ字形バンドパスフィルタリングコンポーネントに対応することができる。例えば、第１の開口数に影響を与えることなく使用可能な、第１の波長スペクトルに対して透過性（すなわち非遮蔽性）を有しうる複数のバンドパスフィルタリングコンポーネントを、第２の開口数を調整するために使用することができる。

【0020】

（より大きな）第１の開口数を調整するために、双方の波長スペクトルにおいて光を阻止する第２のコンポーネントセットを使用することができる。例えば、マルチスペクトルアイリスは、第１の波長スペクトルと第２の波長スペクトルとを阻止するように構成された複数の第２のコンポーネントを含むことができる。顕微鏡は、複数の第２のコンポーネントの相互に対する相対位置を調整する第２のモータを備えることができる。１つまたは複数のプロセッサは、第２のモータを制御して複数の第２のコンポーネントの相互に対する相対位置を調整し、これにより第１の開口数を調整するように構成することもできる。したがって、２つのコンポーネントセットを使用して、第１の開口数および第２の開口数を制御することができる。同様に、複数の第２のコンポーネントは絞りを形成するものであってよく、または複数の第２のコンポーネントは２つのＬ字形バンドパスフィルタリングコンポーネントに対応するものであってもよい。

【0021】

例えば、１つまたは複数のプロセッサは、顕微鏡システムの少なくとも１つのモータを制御して、当該モータに第１の開口数および第２の開口数のうちの少なくとも一方を調整させるように構成可能である。例えば、少なくとも１つのモータを使用して、コンポーネントセットを調整することができ、またはフィルタホイールを回転させることができる。

【0022】

本開示のさまざまな実施例は、対応する顕微鏡システムのための方法に関する。方法は、マルチスペクトルアイリスにより、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、第２の波長スペクトルを有する光に対する第２の開口数を有する開口と、を形成することを含む。第１の開口数は第２の開口数とは異なる。方法は、第１の光学イメージングセンサにより、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成することを含む。方法は、第２の光学イメージングセンサにより、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成することを含む。方法は、第１のイメージングセンサデータと第２のイメージングセンサデータとに基づいて合成画像を形成することを含む。

【0023】

装置および／または方法のいくつかの実施例を、例示としてのみであるが、以下に添付図を参照しながら説明する。

【図面の簡単な説明】

【0024】

【図1a】顕微鏡システムの一実施例を示す概略図である。

【図1b】手術用顕微鏡システムの一実施例を示す概略図である。

【図1c】マルチスペクトルアイリスの一実施例を示す概略図である。

【図1d】マルチスペクトルアイリスの一実施例を示す概略図である。

【図1e】マルチスペクトルアイリスの一実施例を示す概略図である。

【図1f】マルチスペクトルアイリスの一実施例を示す概略図である。

【図2】顕微鏡システムのための方法の一実施例を示すフローチャートである。

【図3】デジタルフュージョン光学系のコンセプトの一実施例を示す概略図である。

【図4】顕微鏡およびコンピュータシステムを含むシステムの一実施例を示す概略図である。

【発明を実施するための形態】

【0025】

以下に、いくつかの例が示されている添付の図面を参照して、さまざまな実施例を全般的に説明する。図中、線の太さ、層の厚さおよび／または領域の大きさにつき、明確にするために誇張したところがある。

【0026】

図１ａは、顕微鏡システム１００の一実施例を示す概略図である。顕微鏡システム１００は顕微鏡１２０を含み、当該顕微鏡１２０は、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成する第１の光学イメージングセンサ１２２と、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成する第２の光学イメージングセンサ１２４と、を備える。顕微鏡システム１００はさらに、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、第２の波長スペクトルを有する光に対する、第２の開口数を有する開口と、を形成するように構成されたマルチスペクトルアイリス１３０を含む。第１の開口数は第２の開口数とは異なる。任意選択手段として、顕微鏡システム１００はさらに、顕微鏡システム１００を用いてイメージングされるべき対象物１０を照明するように構成された照明システム１４０を備える。

【0027】

光学イメージングセンサ１２２；１２４およびアイリス１３０は、図１ａおよび図１ｂに示されているように、（手術用）顕微鏡システム１００の顕微鏡１２０の一部である。一般的に、顕微鏡１２０のような顕微鏡は、人間が肉眼（のみ）で検査するには小さすぎる対象物を検査することに適した光学機器である。例えば、顕微鏡は、試料、例えば図１ａ、図１ｂおよび図３に示されている試料１０の光学的増倍を提供することができる。現代の顕微鏡では、光学的増倍は、多くの場合にカメラまたはイメージングセンサ、例えば顕微鏡１２０の光学イメージングセンサ１２２；１２４のために提供される。顕微鏡１２０はさらに、対物レンズ（すなわちレンズ）等の試料上のビューを拡大するために使用される１つまたは複数の増倍光学部品を含むことができる。

【0028】

光学部品、例えば光学イメージングセンサ１２２；１２４を備えた顕微鏡１２０、アイリス１３０および（任意選択手段としての）照明システム等の他に、顕微鏡システムはさらに、顕微鏡システム１００内で画像処理を実行しかつ／または顕微鏡システム１００を制御するように構成された１つまたは複数のプロセッサ１１４を備えたコンピュータシステムを含む。例えば、図１ａおよび図１ｂに示されているように、１つまたは複数のプロセッサ１１４は（コンピュータ）システム１１０の一部であってよく、このシステム１１０はさらに、１つまたは複数のプロセッサ１１４に結合された１つまたは複数のインタフェース１１２および／または１つまたは複数のストレージデバイス１１６を含んでいてよい。一般的に、当該システムの機能は、１つまたは複数のプロセッサにより、（例えば、顕微鏡の光学イメージングセンサ１２２；１２４、マルチスペクトルアイリス１３０または手術用顕微鏡システムのディスプレイ装置と情報を交換するための）１つまたは複数のインタフェースおよび／または（情報を記憶するかつ／または取り出す）１つまたは複数のストレージデバイスとの連携において提供される。１つまたは複数のプロセッサ１１４またはより一般的にシステム１１０は、第１のイメージングセンサデータと第２のイメージングセンサデータとに基づいて合成画像を形成するように構成されている。

【0029】

一般的に、顕微鏡システムは、顕微鏡１２０およびこれと共に操作される付加的なコンポーネントを含むシステムである。換言すれば、顕微鏡システムは、顕微鏡と、１つまたは複数の付加的なコンポーネント、例えばシステム１１０（顕微鏡のイメージングセンサデータを制御する、例えば処理するように適応化されたコンピュータシステム）、（顕微鏡によってイメージングされる対象物を照明するために使用される）照明システム１４０、付加的なセンサ、ディスプレイ等と、を含むシステムである。

【0030】

顕微鏡にはさまざまな種類のものがある。顕微鏡が医学分野または生物学分野で使用される場合、顕微鏡を通して観察される対象物１０は、例えばシャーレ内に配置された、または患者の身体の一部に存在する、有機組織の試料でありうる。例えば、顕微鏡１２０は、手術用顕微鏡システムの顕微鏡、すなわち、腫瘍外科手術等の外科手術措置中またはがん手術中に使用される顕微鏡でありうる。したがって、顕微鏡を通して観察され、合成画像内に示される対象物は、患者の有機組織の試料であり、特に、外科手術措置中に外科医が処置を行う手術部位でありうる。

【0031】

図１ｂには、（光学イメージングセンサおよびマルチスペクトルアイリスを有する）システム１１０および顕微鏡１２０を含む手術用顕微鏡システム１００の一実施例の概略図が示されている。図１ｂに示されている手術用顕微鏡システム１００は、多数の光学コンポーネント、例えば、（回転する）スタンドを備えた（システム１１０を含む）ベースユニット１０５、顕微鏡１２０に配置された接眼ディスプレイ１５０ａ、ベースユニット１０５に配置された補助ディスプレイ１５０ｂ、およびベースユニット１０５および顕微鏡１２０に結合された、顕微鏡１２０を所定の位置に保持する（ロボットまたは手動）アーム１６０を含む。一般的に、これらの任意選択手段としてのコンポーネントおよび非任意選択手段としてのコンポーネントはシステム１１０に結合可能であり、したがって、それぞれのコンポーネントを制御するようにかつ／または相互作用させるように構成可能な１つまたは複数のプロセッサ１１４に結合可能である。

【0032】

提案のコンセプトの焦点は、３つのコンポーネント、すなわち、（正確には）２つの異なる波長スペクトルにおいてそれぞれ異なる開口数を生じるマルチスペクトルアイリス、２つの異なる波長スペクトルにおける光のセンシングに使用される光学イメージングセンサ、ならびに２つの異なる波長スペクトルにおいてセンシングされた光に基づいて合成画像を形成するように構成された１つまたは複数のプロセッサ（例えばシステム）にある。

【0033】

提案のシステムは、２つの波長スペクトルの規定と組み合わせて２つの光学イメージングセンサに対してそれぞれ異なる開口数を提供するために使用されるマルチスペクトルアイリス１３０の周囲に構築されている。顕微鏡システムがそれぞれ異なる光学イメージングセンサに対して別個のアイリスを備える幾つかのアプローチ、すなわち、第１のアイリスを通過する光が第１のセンサ（のみ）へ向かって配向され、第２のアイリスを通過する光が第２のセンサ（のみ）へ向かって配向されるアプローチが存在する一方、ここでのケースでは、マルチスペクトルアイリスを通過する光が双方の光学イメージングセンサへ向かって配向される。換言すれば、第１の光学イメージングセンサおよび第２の光学イメージングセンサに達する光は、同じアイリスを通過した光である。しかし、マルチスペクトルアイリスの光学特性に起因して、それぞれ異なる波長スペクトルによって知覚される開口数は異なる。例えば、２つの光学イメージングセンサに達する光につき同じ対物レンズを通過させることもでき、同じフォーカシングシステムを使用することができる。

【0034】

一般的な用語で言えば、マルチスペクトルアイリス１３０は、第１の波長スペクトルを有する光に対して第１の開口数を有する開口を形成し、第２の波長スペクトルを有する光に対して第２の開口数を有する開口を形成するように構成されている。第１の波長スペクトルを有する光の開口の第１の開口数は、第２の波長スペクトルを有する光の開口の第２の開口数とは異なる。このため、それぞれのスペクトルの光によって知覚される開口のサイズは異なる。これは、一方のスペクトルを阻止し、他方の波長スペクトルを通過させるコンポーネントを使用することによって達成できる。換言すれば、このことは、スペクトルのうちの１つを阻止するように構成された１つまたは複数のバンドパスフィルタによって達成することができる。以下では、第１の開口数が第２の開口数よりも大きいものとする。したがって、マルチスペクトルアイリスは、第２の波長スペクトルを阻止するように構成された少なくとも１つのバンドパスフィルタリングコンポーネント（すなわち、少なくとも１つの光学バンドパスフィルタ）を含むことができる。その一方で、少なくとも１つのバンドパスフィルタリングコンポーネントは、第１の波長スペクトルを阻止せず、すなわち、少なくとも１つのバンドパスフィルタリングコンポーネントを通過させることができる。結果として、第２の波長スペクトルによって知覚される開口は、（少なくとも１つのバンドパスフィルタリングコンポーネントが第２の波長スペクトルの開口のサイズを制限するため）第１の波長スペクトルによって知覚される開口よりも小さくなりうる。

【0035】

図１ｃ～図１ｆには、マルチスペクトルアイリスの実施例の概略図が示されている。基本的な実施例では、図１ｃに示されているように、マルチスペクトルアイリスは、２つの異なる波長スペクトルに対して２つの固定された開口数を提供することができる。図１ｃに示されているマルチスペクトルアイリス１３０は、２つのコンポーネント、すなわち、（第２の波長スペクトルを阻止するように構成された）バンドパスフィルタリングコンポーネント１３２と開口１３４とを含む。バンドパスフィルタリングコンポーネント１３２は、固定されたサイズを有し、リムによって取り囲まれている。図１ｃでは、第１の開口数は（リムによって画定される）バンドパスフィルタリングコンポーネント１３２のサイズによって定義され、第２の開口数は開口１３４のサイズによって定義される。

【0036】

いくつかの実施例では、第１の開口数および／または第２の開口数を変更することが所望されることがある。固定された開口数を有するアイリスが使用される場合、こうした変更は、例えばフィルタホイールを介して当該アイリスと別のアイリスとを交換することによって行うことができる。換言すれば、顕微鏡は、固定された開口数を有する複数のマルチスペクトルアイリスを備えたフィルタホイール（またはアイリスホイール）を含むことができる。このことに関する実施例は図１ｄに示されており、ここでは、フィルタホイール１３６が、それぞれ異なる第１の開口数および／または第２の開口数を有する４つのマルチスペクトルアイリス１３０を含む。

【0037】

一般的に、フィルタホイールは手動で回転させることができる。しかし、システムによる開口数の自動制御を可能にするために、顕微鏡に含まれる、フィルタホイールを適切な位置へ回転させるために使用されるサーボモータを介して、フィルタホイールを動作させることができる。１つまたは複数のプロセッサ（例えばシステム）は、顕微鏡システムの少なくとも１つのモータを制御して、例えばフィルタホイールを回転させることにより、モータに第１の開口数および第２の開口数のうちの少なくとも一方を調整させるように構成可能である。

【0038】

ただし、顕微鏡内でのモータの適用は、フィルタホイールの回転に限定されるものではない。これに代えて、第２の開口数または第１の開口数を調整するために、モータを使用して複数の（バンドパスフィルタリング）コンポーネントの相互に対する相対位置を調整することもできる。

【0039】

例えば、図１ｅおよび図１ｆに示されているように、マルチスペクトルアイリスは、複数のコンポーネント１３８と各コンポーネント１３８の位置を調整するモータとを含むことができる。図１ｅおよび図１ｆに示されているコンポーネント１３８は、第２の波長スペクトルの光（のみ）を阻止するように構成されたバンドパスフィルタリングコンポーネント１３８、または（例えば、金属または不透明プラスチックから形成された）第１の波長スペクトルおよび第２の波長スペクトルの双方の光を阻止するように構成されたコンポーネント１３８とすることができる。前者の場合、コンポーネントを使用して第２の開口数を調整することができる（この場合、バンドパスフィルタリングコンポーネントを通過する第１の波長スペクトルの光によって第１の開口数は影響を受けない）。後者の場合、コンポーネントは第１の開口数を調整するために使用可能である（この場合、第１の開口数よりも小さい第２の開口数は影響を受けない）。例えば、こうした２つのアイリスを組み合わせて、（光学イメージングセンサに達する光を双方のアイリスに順次に通過させる）マルチスペクトルアイリスを形成することができる。例えば、第１の波長スペクトルと第２の波長スペクトルとの双方の光を阻止するように構成された複数のコンポーネントを含む第１のアイリスと、第２の波長スペクトルの光（のみ）を阻止する（ただし、第１の波長スペクトルの光は除く）ように構成された複数のバンドパスフィルタリングコンポーネントを含む第２のアイリスと、を対象物と２つの光学イメージングセンサとの間の光路、例えば、対象物と、光学イメージングセンサの一方へ向かって配向される光の一部を分割する（その際に、ビームスプリッタダイクロイックミラーを通過する光は、他方の光学イメージングセンサへ向かって配向される）ように構成されたビームスプリッタダイクロイックミラーと、の間の光路に配置することができる。

【0040】

マルチスペクトルアイリス（例えば、マルチスペクトルアイリスの第２のアイリス）は、第２の波長スペクトルを阻止するように構成された複数の（第１の）バンドパスフィルタリングコンポーネントを含むことができる。顕微鏡は、複数の（第１の）バンドパスフィルタリングコンポーネントの相互に対する相対位置を調整するモータを備えることができる。１つまたは複数のプロセッサ（例えばシステム）は、顕微鏡システムのモータを制御して、複数の（第１の）バンドパスフィルタリングコンポーネントの相互に対する相対位置を調整し、これにより第２の開口数を調整するように構成可能である。同様に、マルチスペクトルアイリス（例えば、マルチスペクトルアイリスの第１のアイリス）は、第１の波長スペクトルおよび第２の波長スペクトルを阻止するように構成された複数の第２のコンポーネントを含むことができる。顕微鏡は、複数の第２のコンポーネントの相互に対する相対位置を調整する第２のモータを備えることができる。１つまたは複数のプロセッサ（例えばシステム）は、第２のモータを制御して、複数の第２のコンポーネントの相互に対する相対位置を調整し、これにより第１の開口数を調整するように構成可能である。

【0041】

図１ｅ～図１ｆに示されている例では、複数の第１のコンポーネントおよび／または第２のコンポーネント１３８の位置が、それぞれの開口数を調整するために相互に対して相対的に調整される。実際には、それぞれの（バンドパスフィルタリング）コンポーネントによって形成される開口のサイズがそれぞれの（バンドパスフィルタリング）コンポーネントを相互に対して相対的に移動させることによって調整され、これによりそれぞれの開口数が調整される。例えば、図１ｅに示されているように、それぞれの（バンドパスフィルタリング）コンポーネントは、２つのＬ字形コンポーネント（例えば、第１の波長スペクトルおよび第２の波長スペクトルの双方を阻止する２つのＬ字形コンポーネントまたは２つのバンドパスフィルタリングコンポーネント）１３８に対応するものであってよい。２つのＬ字形コンポーネントを共通の重心へ向かって移動させることで、２つのＬ字形のコンポーネントによって形成される開口は小さくなり、これにより開口数は小さくなる。２つのＬ字形コンポーネントを共通の重心から離れるように移動させることで、２つのＬ字形コンポーネントによって形成される開口は大きくなり、これにより開口数は大きくなる。

【0042】

代替的に、図１ｆに示されているように、それぞれの（バンドパスフィルタリング）コンポーネント１３８によって絞りを形成することもできる。コンポーネント１３８を内側へ回転させ、これにより開口１３２のサイズを小さくする（したがって開口数を小さくする）ことができ、または外側へ回転させ、これにより開口１３２のサイズを大きくすることができる。

【0043】

図１ｆのコンポーネント１３８は、第２の開口数をバンドパスフィルタにおける開口１３４のサイズに従って固定した状態で、第１の開口数を調整するために使用される。同じ方式を、例えば固定されたサイズの開口を有するバンドパスフィルタと図１ｅの２つのＬ字形コンポーネントとを組み合わせることによって、図１ｅにも適用することができる。代替的に、双方のケースにおいて、固定されたサイズの開口を有するバンドパスフィルタを使用することに代えて、複数の（第１の）バンドパスフィルタリングコンポーネントを使用して、第２の波長スペクトルのための調整可能なアイリス開口を形成することができる。

【0044】

上記にて概略を述べたように、（手術用）顕微鏡システムは、顕微鏡システムを用いてイメージングされる対象物を照明するように構成された照明システム１４０を含むことができる。第１の波長スペクトルと第２の波長スペクトルとの双方がそれぞれのセンサを使用して記録されるので、照明システムは、双方の波長スペクトルにわたる光を放出することができる。換言すれば、照明システムの発光波長スペクトルは、第１の波長スペクトルと第２の波長スペクトルとを含む（例えば、少なくとも部分的にまたは完全にカバーする）ことができる。例えば、第１の波長スペクトルは、第２の波長スペクトルから除外された第１の波長帯域を含むことができ、第２の波長スペクトルは、第１の波長スペクトルから除外された第２の波長帯域を含み、照明システムの発光スペクトルは、第１の波長帯域および第２の波長帯域を含むことができる。

【0045】

提案の顕微鏡システムでは、第１の光学イメージングセンサおよび第２の光学イメージングセンサを使用して、それぞれの波長スペクトルの光がセンシングされる（かつ測定される）。特に、第１の光学イメージングセンサ１２２は、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成するように構成されており、第２の光学イメージングセンサ１２４は、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成するように構成されている。提案のコンセプトでは、マルチスペクトルアイリスを使用して、それぞれ異なる有効開口数を有する光をセンサへ向かって通過させる。２つの（大きく）異なる開口数を有するセンサセンシング光を回避するために、第１の波長帯域と第２の波長帯域とを、例えば相互に重ならないように異ならせることができる。なお、光学イメージングセンサは、どちらの波長帯域にも限定されない。例えば、第１の光学イメージングセンサは、第１の波長スペクトルを有する光と、任意選択手段として第２の波長スペクトルを有する光の少なくとも一部と、をセンシングするように構成可能である。同様に、第２の光学イメージングセンサは、第２の波長スペクトルを有する光と、任意選択手段として第１の波長スペクトルを有する光の少なくとも一部と、をセンシングするように構成可能である。光学イメージングセンサが「他の」それぞれの波長スペクトルの光をセンシングした場合、その影響は、それぞれのイメージングセンサデータから（例えばシステムないし１つまたは複数のプロセッサによる）計算によって除去可能である。例えば、１つまたは複数のプロセッサ（例えばシステム）は、第１のイメージングセンサデータから、第２の波長スペクトルを有する光に基づく第１のイメージングセンサデータの部分を除去するように構成可能である。同様に、１つまたは複数のプロセッサ（例えばシステム）は、第２のイメージングセンサデータから、第１の波長スペクトルを有する光に基づく第２のイメージングセンサデータの部分を除去するように構成可能である。

【0046】

このことは、提案のコンセプトが手術用顕微鏡システムに適用される場合に特に重要である。例えば、手術用顕微鏡システムでは、第１の光学イメージングセンサは一般的に反射イメージングに使用可能であり、第２の光学イメージングセンサは蛍光イメージングに使用可能である。蛍光イメージングでは、蛍光体の蛍光励起波長帯域に一致する波長を有する光が、顕微鏡によって観察される対象物へ向かって放出される。患者の血管または組織に注入される化学物質でありうる蛍光体は、蛍光励起波長帯域の光によって励起されて蛍光発光波長帯域の光を放出し、この光が、蛍光イメージングに使用される少なくとも１つの光学イメージングセンサによってセンシングされる。多くのケースで、手術用顕微鏡システムは限定された蛍光体の選択をサポートしており、１つまたは複数の光学イメージングセンサは、選択される蛍光体の蛍光発光波長に合わせて調整されて蛍光イメージングに使用される。手術中、（「自然な」色で手術部位を示す）反射画像および（擬似色オーバーレイとしての）蛍光画像を外科医が観察可能なさらなる合成画像に結合することができる。したがって、１つまたは複数のプロセッサ（例えばシステム）は、第１の動作モード（すなわち、高解像度の画像および大きな被写界深度の画像の双方に基づく合成画像を形成するために使用される動作モード）において合成画像を形成し、第２の動作モード（反射イメージングおよび蛍光イメージングの複合モード）において反射イメージングおよび蛍光イメージングに基づく第２の合成画像を形成するように構成可能である。

【0047】

反射イメージング中、第２の光学イメージングセンサは、他の目的で使用されていないことがある。提案のコンセプトでは、通常は蛍光イメージングに使用される光学イメージングセンサを第２の波長スペクトルの光の記録のために転用することができる。したがって、処理システムは、第１の光学イメージングセンサを使用して反射イメージングを行い、第２の光学イメージングセンサを使用して第２の動作モードで蛍光イメージングを行うように構成可能である。換言すれば、第１の光学イメージングセンサは一般的に顕微鏡システムにおける反射イメージングに使用可能であり、第２の光学イメージングセンサは一般的に顕微鏡システムにおける蛍光イメージングに使用可能である。結果として、第２の光学イメージングセンサは、例えば第２の光学イメージングセンサと対象物との間に配置されているバンドパスフィルタにより、限定されたスペクトル（すなわち蛍光発光波長帯域）をセンシングするように、例えばセンシングのみを限定して行うように構成可能である。したがって、第２の波長スペクトルは、１つまたは複数の蛍光体の蛍光発光波長帯域を含むことができ、すなわち、１つまたは複数の蛍光体の蛍光発光波長帯域に基づくものであってよくまたはこれから成るものであってよい。したがって、第１の波長スペクトルは反射イメージングの実行に適するものであってよく、第２の波長スペクトルは蛍光イメージングの実行に適する。この場合、第１の波長スペクトルは、第２の波長スペクトルに含まれる蛍光発光帯域を除外することができるか、または１つまたは複数のプロセッサ（すなわちシステム）によりその影響が第１のイメージングセンサデータから除去された蛍光発光帯域を含むことができる。

【0048】

なお、提案のコンセプトは、他のシナリオ、例えば、第１の光学イメージングセンサおよび第２の光学イメージングセンサの双方が反射イメージングの実行に適するかつ／または反射イメージングを実行するように構成されているケース、または第１の光学イメージングセンサおよび第２の光学イメージングセンサの双方が蛍光イメージングの実行に適するかつ／または蛍光イメージングを実行するように構成されているケースにも適用可能である。したがって、第１の波長スペクトルおよび第２の波長スペクトルは、反射イメージングの実行に適するものであってよい。代替的に、第１の波長スペクトルおよび第２の波長スペクトルは、蛍光イメージングの実行に適するものであってよい。例えば、波長スペクトルは、可視光スペクトルの少なくとも５０％（または少なくとも６０％、または少なくとも７０％、または少なくとも８０％）をカバーする場合、反射イメージングの実行に適するものとなりうる。波長スペクトルは、１つまたは複数の蛍光体の１つまたは複数の蛍光発光波長帯域を対象とする場合、蛍光イメージングの実行に適するものとなりうる。

【0049】

提案のコンセプトは、第１のイメージングセンサデータのより高い解像度と、第２のイメージングセンサデータのより大きな被写界深度と、の双方を使用するように第１のイメージングセンサデータと第２のイメージングセンサデータとを結合することに基づいている。以下では、第１の波長帯域および第２の波長帯域ひいては第１のイメージングセンサデータおよび第２のイメージングセンサデータに対して有効な開口数への影響について簡単に説明する。

【0050】

顕微鏡の対物レンズの焦点面における顕微鏡の解像力は光の回折によって制限されており、この回折自体は顕微鏡の開口数によって決定されている。特に、最大解像力ひいては解像度は、開口数に比例する。実際には、高い解像度は、アイリスの開口のサイズを増大することによって得られる高い開口数に依存する。

【0051】

しかし、開口数は、顕微鏡の被写界深度、すなわち、イメージングされる対象物のうち焦点面の外側に位置する部分の鮮明度に大きな影響を及ぼす。開口数が大きいと被写界深度は浅くなり、このため、イメージングされる対象物と顕微鏡の対物レンズおよびセンサとの間の距離の変動によって、対象物のうち焦点外れとして現れる部分が多くなる。

【0052】

提案のコンセプトでは、２つのイメージングセンサデータセット、すなわち、一方の、より大きい開口数を有することで増大された解像度（および浅い被写界深度）が得られるイメージングセンサデータ（すなわち第１のイメージングセンサデータ）と、他方の、より小さい開口数を有することで増大された被写界深度（および低い解像度）が得られるイメージングセンサデータ（すなわち第２のイメージングセンサデータ）と、が形成される。２つのイメージングデータセットとも同じ視野を有することができる。１つまたは複数のプロセッサ（例えばシステム）は、（第１のイメージングセンサデータにおいて焦点が合っている画像部分における）増大された解像度と（鮮明に見える画像部分を増大するために）第２のイメージングセンサデータに基づいて増大された被写界深度との双方を有する合成画像を形成するために、２つのイメージングセンサデータセットを結合するように構成されている。以下では、合成画像を形成するための２つの技術を紹介する。これら２つの技術とも、好ましくは同期されたイメージングセンサデータに基づいて動作するという点で共通している。換言すれば、１つまたは複数のプロセッサ（例えばシステム）は、同時に撮影された、すなわち時間同期された、第１のイメージングセンサデータのフレームと第２のイメージングセンサデータのフレームとに基づいて合成画像を形成するように構成可能である。特に、第１のイメージングセンサデータと第２のイメージングセンサデータとは、（例えば、２つの開口数設定間で迅速な切り替えを行うことのできるアイリスの２つの異なる開口数設定を用いて記録されたイメージングセンサデータに基づいて）連続的に撮影されていない可能性がある。

【0053】

以下では、第１のアプローチを紹介する。当該アプローチでは、２つのイメージングセンサデータセットが分析され、イメージングセンサデータセットのうちの１つにおいて、より鮮明に見える部分が決定される。換言すれば、１つまたは複数のプロセッサ（例えばシステム）が、第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成可能である。一般的に、第１のイメージングセンサデータの一部分につき焦点が合っている場合、すなわち、当該部分が第１の光学イメージングセンサの焦点面の周囲の被写界深度にある場合、高解像度に基づくより高い画像鮮明度を提供することができる。ただし、第１の光学イメージングセンサの被写界深度は第２の光学イメージングセンサの被写界深度よりも浅いので、第１のイメージングセンサデータの多くの部分が焦点を外れ、その各部分の鮮明度が低下する可能性がある。したがって、第１のイメージングセンサデータにおいてより鮮明に見える部分、すなわち第１のイメージングセンサデータにおいて焦点が合っている部分を合成画像に含め、残りの部分を第２のイメージングセンサデータから取得することができる。換言すれば、１つまたは複数のプロセッサ（例えばシステム）が、より高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を用いて合成画像を形成し、その際に合成画像の残りの部分を第２のイメージングセンサデータに基づかせるように構成可能である。実際には、１つまたは複数のプロセッサ（例えばシステム）は、第１のイメージングセンサデータにおけるより高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分と、第２のイメージングセンサデータにおけるより高い鮮明度を有する第２のイメージングセンサデータの１つまたは複数の別の部分と、を用いて合成画像を形成するように構成可能である。

【0054】

第１のイメージングセンサデータおよび第２のイメージングセンサデータの各対応部分の鮮明度を比較するために、第１のイメージングセンサデータおよび第２のイメージングセンサデータをピクセルブロックのグリッドへと細分することができ、その際に、第１のイメージングセンサデータおよび第２のイメージングセンサデータの対応する各ピクセルブロックは、視野の各対応部分に基づく。したがって、１つまたは複数のプロセッサ（例えばシステム）は、第１のイメージングセンサデータおよび第２のイメージングセンサデータを、それぞれ複数のピクセルを含むピクセルブロックの２次元グリッドへ細分するように構成可能である。例えば、１つまたは複数のプロセッサ（例えばシステム）は、第１のイメージングセンサデータおよび第２のイメージングセンサデータをそれぞれｏ×ｐ個のピクセルのｍ×ｎ個のブロックのグリッドへ細分するように構成可能であり、ここで、ｍ，ｎ，ｏ，ｐは２以上の正の整数である。１つまたは複数のプロセッサ（例えばシステム）は、第２のイメージングセンサデータの対応する１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分をピクセルブロックベースで決定するように構成可能である。換言すれば、グリッドのピクセルブロックごとに、１つまたは複数のプロセッサ（例えばシステム）が第１のイメージングセンサデータのブロックの鮮明度を第２のイメージングセンサデータの対応するブロックの鮮明度と比較するように構成可能である。

【0055】

本開示では、画像の鮮明度を評価することで第１のイメージングセンサデータおよび第２のイメージングセンサデータの各部分が比較される。それぞれ異なる部分の鮮明度は、それぞれの画像のコントラストに基づいて、かつ／またはそれぞれの画像の高い空間周波数の割合に基づいて決定可能である。例えば、１つまたは複数のプロセッサ（例えばシステム）は、コントラストに基づいて、かつ／または各１つまたは複数の部分（例えばピクセルブロック）における予め定められた空間周波数閾値を上回る空間周波数の存在に基づいて、第２のイメージングセンサデータの１つまたは複数の対応部分よりも高い画像鮮明度を有する第１のイメージングセンサデータの１つまたは複数の部分を決定するように構成可能である。

【0056】

例えば、システムは、例えば画像のピクセルの標準偏差と平均値との比を決定することによって、または個々のピクセルとその近傍のピクセル（すなわち隣接ピクセル）との間でカーネルベースの比較を行うことによって、それぞれのイメージングセンサデータの部分（例えばピクセルブロック）のコントラストを決定するように構成可能である。画像部分がより鮮明に見えるほど、一般的に、画像のコントラストは高い。

【0057】

システムはまた、例えば、２つのイメージングセンサデータセットの２Ｄフーリエ変換を実行することによって、イメージングセンサデータのそれぞれの部分（例えばピクセルブロック）の空間周波数分布を決定するように構成可能である。イメージングセンサデータの各部分における高い空間周波数の割合が高くなるにつれて、イメージングセンサデータの当該部分においてより細かい粒度の構造が可視となるが、これは、こうした細かい粒度の構造を含む画像の各部分が鮮明であると知覚されるケースに当てはまる。予め定められた周波数を上回る空間周波数分布の部分の積分を決定することにより、イメージングセンサデータにわたる細かい粒度の構造の存在を比較するために使用可能な定量的尺度、例えば、第１のイメージングセンサデータおよび第２のイメージングセンサデータの視野の２つの対応する部分の鮮明度を比較するために使用可能な定量的尺度を決定することができる。

【0058】

第１のアプローチと組み合わせることができる第２のアプローチでは、２つのイメージングセンサデータセットがマージされる。特に、第２のイメージングセンサデータの空間特徴が、第１のイメージングセンサデータの空間特徴および色情報とマージされる。換言すれば、１つまたは複数のプロセッサ（例えばシステム）は、第２のイメージングセンサデータの空間特徴を抽出し、この第２のイメージングセンサデータからの空間特徴を第１のイメージングセンサデータの空間特徴および色情報とマージして合成画像を形成するように構成可能である。第２のイメージングセンサデータの色情報は、特に第２の光学イメージングセンサが一般的に蛍光イメージングのために使用され、したがって制限された色情報を含む場合、除外することができる。当該第２のアプローチを第１のアプローチと組み合わせるために、マージは、第２のイメージングセンサデータのうち、第１のイメージングセンサデータの対応部分よりも高い鮮明度を有する部分（すなわちピクセルブロック）に制限することができる。代替的に、視野全体にわたってマージを実行することもできる。

【0059】

こうしたマージを実行するために、第１のイメージングセンサデータおよび第２のイメージングセンサデータは、ＨＳＢ（色相、彩度、ブライトネス）、ＨＳＶ（色相、彩度、値）またはＨＳＬ（色相、彩度、明度）として知られる異なる色表現へ変換可能である。一般的に、ＨＳＢおよびＨＳＶは同じ表現に使用される２つの用語であり、ＨＳＬは類似しているが、ここで、ＨＳＬにおける最大の明度は、最大の値または最大のブライトネスが色強度を増大させるＨＳＢもしくはＨＳＶとは対照的に、純粋な白色である。ただし、２つのイメージングセンサデータセットをマージする目的で、ＨＳＢもしくはＨＳＶおよびＨＳＬの双方を使用することができる。以下では、「色相、彩度、ブライトネス」なる用語は、ＨＳＢ、ＨＳＶおよびＨＳＬの任意のものを意味するために使用される。１つまたは複数のプロセッサ（例えばシステム）は、第１のイメージングセンサデータおよび第２のイメージングセンサデータを、色相、彩度およびブライトネスの色表現において（例えばＨＳＢもしくはＨＳＶまたはＨＳＬのうちの１つへと）処理するように構成可能である。１つまたは複数のプロセッサ（例えばシステム）は、第２のイメージングセンサデータの彩度成分およびブライトネス成分もしくは値成分または明度成分を、第１のイメージングセンサデータの色相成分、彩度成分およびブライトネス成分もしくは値成分または明度成分とマージするように構成可能である。当該文脈において、マージは、マージされる２つの成分間の平均を（ピクセルごとに）決定することによって、またはマージされる２つの成分の最大値もしくは最小値を（ピクセルごとに）使用することによって、行うことができる。マージ後、イメージングセンサデータは元の色表現へと再変換可能である。例えば、第１のイメージングセンサデータおよび第２のイメージングセンサデータは、光学イメージングセンサからのＲＧＢ（赤色、緑色、青色）イメージングセンサデータとして取得可能となり、マージのためにＨＳＢ色表現もしくはＨＳＶ色表現またはＨＳＬ色表現へと変換可能となり、ＲＧＢ色表現に戻されて合成画像が取得可能となる。

【0060】

合成画像は、顕微鏡システムのユーザー、例えば外科医により観察されうる。当該目的のために、合成画像を、ディスプレイ、例えば顕微鏡システムの補助ディスプレイ１５０ｂまたは接眼ディスプレイ１５０ａに供給することができる。したがって、処理システムは、顕微鏡システムのディスプレイ装置１５０のための、合成画像に基づく表示信号を形成するように構成されている。例えば、表示信号は、ディスプレイ装置１５０を駆動する（例えば制御する）ための信号でありうる。例えば、表示信号は、ディスプレイを駆動するためのビデオデータおよび／または制御命令を含みうる。例えば、表示信号は、システムの１つまたは複数のインタフェース１１２のうちの１つを介して供給可能である。したがって、システム１１０は、ビデオ信号を顕微鏡システム１００のディスプレイ１５０に供給するのに適したビデオインタフェース１１２を含みうる。

【0061】

提案の顕微鏡システムでは、光学イメージングセンサを使用して、第１のイメージングセンサデータおよび第２のイメージングセンサデータが形成される。したがって、第１のイメージングセンサ１２２および第２の光学イメージングセンサ１２４は、それぞれ、第１のイメージングセンサデータおよび第２のイメージングセンサデータを形成するように構成されている。例えば、顕微鏡１２０の光学イメージングセンサ１２２；１２４は、ＡＰＳ（Active Pixel Sensor）ベースまたはＣＣＤ（Charge-Coupled-Device）ベースのイメージングセンサ１２２；１２４を含んでいてよく、またはこれらであってよい。例えば、ＡＰＳベースのイメージングセンサでは、光検出器とピクセルの能動増幅器とが使用されて、各ピクセルで光が記録される。ＡＰＳベースのイメージングセンサは、多くの場合に、ＣＭＯＳ（相補型金属酸化物半導体）技術またはＳ－ＣＭＯＳ（サイエンティフィックＣＭＯＳ）技術を基礎としている。ＣＣＤベースのイメージングセンサでは、入射した光子が半導体と酸化物との界面で電子電荷へ変換され、その後、イメージングセンサの回路によりイメージングセンサ内の容量性ビン間を移動して、イメージングが行われる。処理システム１１０は、それぞれの光学イメージングセンサからそれぞれのイメージングセンサデータを取得する（すなわち、受信するまたは読み出す）ように構成可能である。それぞれのイメージングセンサデータは、それぞれの光学イメージングセンサから（例えばインタフェース１１２を介して）イメージングセンサデータを受信することによって、またはそれぞれの光学イメージングセンサのメモリから（例えばインタフェース１１２を介して）それぞれのイメージングセンサデータを読み出すことによって、または例えばそれぞれの光学イメージングセンサもしくは別のシステムもしくはプロセッサによってイメージングセンサデータがシステム１１０のストレージデバイス１１６に書き込まれた後にこのストレージデバイス１１６からイメージングセンサデータを読み出すことによって、取得されうる。図１ａ、図１ｃ、図３および図４に示されているように、顕微鏡は、対象物によって反射されたまたは対象物から放出された光を第１の光学イメージングセンサおよび第２の光学イメージングセンサへ向かってガイドするビームスプリッタを含むことができる。

【0062】

システム１１０の１つまたは複数のインタフェース１１２は、モジュール内、モジュール間またはそれぞれ異なるエンティティのモジュール間で指定されたコードに従ったデジタル（ビット）値でありうる情報を受信するかつ／または送信するための１つまたは複数の入力端および／または出力端に対応することができる。例えば、１つまたは複数のインタフェース１１２は、情報を受信および／または送信するように構成されたインタフェース回路を備えることができる。システム１１０の１つまたは複数のプロセッサ１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理装置、相応に適応化されたソフトウェアを用いて動作可能な任意の処理手段、例えばプロセッサ、コンピュータもしくはプログラミング可能なハードウェアコンポーネント等を使用して実装可能である。換言すれば、１つまたは複数のプロセッサ１１４につき説明している機能を同様にソフトウェアに実装し、その後、このソフトウェアを１つまたは複数のプログラミング可能なハードウェアコンポーネントにおいて実行することができる。こうしたハードウェアコンポーネントは、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラ等を含みうる。システム１１０の１つまたは複数のストレージデバイス１１６は、コンピュータ可読記憶媒体、例えば磁気記憶媒体または光学記憶媒体、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）またはネットワークストレージのグループのうちの少なくとも１つの要素を含むことができる。

【0063】

（手術用）顕微鏡システムのさらなる詳細および態様は、提案のコンセプトまたは上述したもしくは下述する（例えば図２～図４の）１つまたは複数の実施例に関連して言及される。（手術用）顕微鏡システムは、提案のコンセプトの１つまたは複数の態様または上述したもしくは下述する１つまたは複数の実施例に対応する１つまたは複数の付加的な任意選択手段としての特徴を含むことができる。

【0064】

図２には、顕微鏡システムのための方法のフローチャートが示されている。方法は、マルチスペクトルアイリスにより、第１の波長スペクトルを有する光に対する第１の開口数を有する開口と、第２の波長スペクトルを有する光に対する、第１の開口数とは異なる第２の開口数を有する開口と、を形成すること２１０を含む。方法は、第１の光学イメージングセンサにより、第１の波長スペクトルを有する光に基づいて第１のイメージングセンサデータを形成すること２２０を含む。方法は、第２の光学イメージングセンサにより、第２の波長スペクトルを有する光に基づいて第２のイメージングセンサデータを形成すること２３０を含む。方法は、第１のイメージングセンサデータと第２のイメージングセンサデータとに基づいて合成画像を形成すること２４０を含む。

【0065】

例えば、方法は、図１ａ～図１ｆのうちの１つに関連して導入される顕微鏡システムによって実装可能である。図１ａ～図１ｆの（手術用）顕微鏡システムに関連して導入される特徴も同様に対応する方法に含まれうる。

【0066】

顕微鏡システムのための方法のさらなる詳細および態様は、提案のコンセプトまたは上述したもしくは下述する（例えば図１ａ～図１ｃ、図３～図４の）１つまたは複数の実施例に関連して言及される。顕微鏡システムのための方法は、提案のコンセプトの１つまたは複数の態様または上述したもしくは下述する１つまたは複数の実施例に対応する１つまたは複数の付加的な任意選択手段としての特徴を含むことができる。

【0067】

さまざまな実施例が「フュージョン光学系」のデジタルバージョンのためのコンセプト、すなわち、マルチスペクトルイメージングに基づくそれぞれ異なる開口数設定を同時に使用することに関しており、これにより、デジタルフュージョン光学系のためのコンセプトが提供される。

【0068】

提案のコンセプトでは、「フュージョン光学系」の動作方式がデジタルイメージングへと変換されて、増大された解像度と増大された被写界深度との双方を有する（立体画像ではない）２次元画像が形成される。提案のコンセプトでは、２つの画像（すなわち、第１のイメージングセンサデータおよび第２のイメージングセンサデータ）は、人間の脳の視覚的知覚に依拠することなく、１つの画像にデジタル式に融合されている。コスト、複雑性およびサイズを増大させる２つの異なるアイリスを有する少なくとも２つのイメージングセンサを使用することに代えて、既存の反射センサおよび蛍光センサをマルチスペクトルアイリスと組み合わせることで、提案のコンセプトを実現することができる。

【0069】

特に、マルチスペクトルイメージングシステム、例えば蛍光発光を基礎とした擬似色オーバーレイを提供するシステムでは複数のイメージングセンサが用いられ、これをフュージョン光学イメージングのために再利用することができる。擬似色蛍光オーバーレイを提供するシステムでは、各イメージングチャネル（右／左）が、白色光のために使用される一方のセンサと蛍光イメージングのために使用される他方のセンサとの２つのセンサを使用している。提案のコンセプトのさまざまな実施例において、こうしたシステムのマルチスペクトルケイパビリティまたは他の任意のマルチスペクトルシステムのマルチスペクトルケイパビリティを使用して、マルチスペクトルアイリスを用いて、フュージョン光学画像を形成することができる。上で概説したように、マルチスペクトルアイリスとは、スペクトルの一部に対しては閉鎖されたアイリスとして、スペクトルの残りの部分に対しては開放されたアイリスとしてふるまう単一の要素である。これにより、マルチスペクトルイメージングシステムの２つのセンサに、それぞれ異なるアイリス設定を有する２つの画像を取得させることができる。実際に、提案のコンセプトは、マルチスペクトルアイリスの使用とマルチスペクトルセンサとを組み合わせてフュージョン光学系を達成し、解像度と焦点深度とを組み合わせることができる。

【0070】

いくつかの例では、金属アイリスを、いくつかのスペクトル帯域（例えば第１の波長スペクトル）が全体を通過可能でありかつ他の帯域（例えば第２の波長スペクトル）が格段に小さな通過領域を有するフィルタに置き換えることができる。次に、２つの画像を融合させて合成画像を形成することができる。

【0071】

図３にはデジタルフュージョン光学系のコンセプトの概略図が示されている。図３には、顕微鏡システム３００および試料１０が示されている。顕微鏡システム３００の顕微鏡は、（高い解像度を有する第１のイメージングセンサデータを形成する）第１の光学イメージングセンサ１２２と、（より大きな被写界深度を有する第２のイメージングセンサデータを形成する）第２の光学イメージングセンサ１２４と、マルチスペクトルアイリス１３０と、ビームスプリッタ３３０とを含んでいる。マルチスペクトルアイリスは、第１の光学イメージングセンサ１２２によってセンシングされる第１の波長帯域における第１の開口数、およびこれにより得られるより広い開口（および対応するより浅い被写界深度３１０）を有する有効なアイリス１３０ａと、第２の光学イメージングセンサ１２４によってセンシングされる第２の波長帯域における第２の開口数、およびこれにより得られるより狭い開口（および対応するより深い被写界深度３２０）を有する有効なアイリス１３０ｂと、を含む。第１の光学イメージングセンサによって形成される第１のイメージングセンサデータ３４０（すなわち、より浅い被写界深度３１０のより高い解像度の画像）が、第２の光学イメージングセンサの第２のイメージングセンサデータ３５０（すなわち、より低い解像度でより深い被写界深度３２０を有する画像）と結合されて、リアルタイム画像フュージョンを使用した合成画像３６０が形成される。合成画像（すなわち融合された画像）は、増大された被写界深度および増大された解像度を有する。

【0072】

いくつかの実施例では、双方のセンサのスペクトル感度は、適切な色画像の形成のために較正することができるよう、十分なカラーレンダリング帯域を含むことができる。一方のセンサが白色光反射率のために調整されており、他方のセンサが医学的に承認された蛍光体（５－ＡＬＡ、フルオレセインおよびＩＣＧ）の蛍光イメージングのために調整されているいくつかの実施例では、ＦＬセンサのカラーコンテンツが十分ではなく適切な色画像を形成できない可能性がある。この場合、蛍光センサによって形成される画像の空間特徴のみをフルカラーコンテンツなしで抽出し、この情報を使用して、色を捕捉する他のセンサの空間特徴を改善することができる。

【0073】

２つの画像の融合はデジタル式に行うことができる。単純な実施例では、双方の画像において、例えば高い空間周波数を測定することによって局所的なコントラストを測定して、各画像の最良に焦点の合った領域を識別することができる。次いで、画像領域ごとに、より高いコントラストを有する画像から領域が取得されるように選択を行うことができる。

【0074】

デジタルフュージョンコンセプトのさらなる詳細および態様は、提案のコンセプト、または上述したもしくは下述する（例えば、図１ａ～図２、図４の）１つまたは複数の実施例に関連して言及される。デジタルフュージョンコンセプトは、提案のコンセプトの１つまたは複数の態様または上述したもしくは下述する１つまたは複数の実施例に対応する１つまたは複数の付加的な任意選択手段としての特徴を含みうる。

【0075】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0076】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0077】

いくつかの実施形態は、図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。代替的に、顕微鏡は、図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図４は本明細書に記載された方法を実行するように構成されたシステム４００の概略図を示している。システム４００は、顕微鏡４１０とコンピュータシステム４２０とを含んでいる。顕微鏡４１０は、撮像するように構成されており、かつコンピュータシステム４２０に接続されている。コンピュータシステム４２０は、本明細書に記載された方法の少なくとも一部を実行するように構成されている。コンピュータシステム４２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム４２０と顕微鏡４１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム４２０は、顕微鏡４１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム４２０は、顕微鏡４１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡４１０の従属部品の一部であってもよい。

【0078】

コンピュータシステム４２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等のさまざまな場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム４２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム４２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム４２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム４２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム４２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム４２０に情報を入力することおよびコンピュータシステム４２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0079】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0080】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実行するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0081】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実行されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0082】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実行するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0083】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを含んでいる。

【0084】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実行するためのプログラムコードを有するコンピュータプログラムである。

【0085】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実行するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0086】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0087】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実行するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0088】

別の実施形態は、本明細書に記載のいずれかの方法を実行するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0089】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実行するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0090】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実行するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実行される。

【符号の説明】

【0091】

１０ 対象物
１００ （手術用）顕微鏡システム
１１０ システム
１０５ スタンド
１１２ １つまたは複数のインタフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数のストレージデバイス
１２０ 顕微鏡
１２２ 第１の光学イメージングセンサ
１２４ 第２の光学イメージングセンサ
１３０ マルチスペクトルアイリス、アイリス
１３２ バンドパスフィルタリングコンポーネント
１３４ 開口
１３６ フィルタホイール
１３８ コンポーネント
１４０ 照明システム
１５０ａ 接眼ディスプレイ
１５０ｂ 補助ディスプレイ
１６０ アーム
２１０ 第１の開口数を有する開口と第２の開口数を有する開口とを形成する
２２０ 第１のイメージングセンサデータを形成する
２３０ 第２のイメージングセンサデータを形成する
２４０ 合成画像を形成する
３００ 顕微鏡システム
３１０，３２０ 被写界深度
３３０ ビームスプリッタ
３４０ 第１のイメージングセンサデータ
３５０ 第２のイメージングセンサデータ
３６０ 合成画像
４００ システム
４１０ 顕微鏡
４２０ コンピュータシステム

【図1a】

【図1b】

【図1c】

【図1d】

【図1e】

【図1f】

【図2】

【図3】

【図4】

【国際調査報告】