特表 2023-512616 顕微鏡システムを制御する装置、方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-03-28

(54)【発明の名称】顕微鏡システムを制御する装置、方法およびコンピュータプログラム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20230320BHJP

   A61B 90/25 20160101ALI20230320BHJP

【ＦＩ】

G02B21/00

A61B90/25

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022543629

(86)(22)【出願日】2021-01-18

(85)【翻訳文提出日】2022-09-16

(86)【国際出願番号】 EP2021050932

(87)【国際公開番号】W WO2021148346

(87)【国際公開日】2021-07-29

(31)【優先権主張番号】20152639.9

(32)【優先日】2020-01-20

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AD05

2H052AF01

2H052AF14

2H052AF25

(57)【要約】

実施例は、顕微鏡システムを制御する装置、方法、コンピュータプログラムおよび対応する顕微鏡システムに関する。顕微鏡システムを制御する装置は、カメラモジュールと通信するインタフェースを備えている。カメラモジュールは、顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適している。装置は、インタフェースを介してカメラモジュールからカメラ画像データを取得するように構成された処理モジュールを含む。処理モジュールは、カメラ画像データを処理して、顕微鏡システムのディスプレイに対するユーザの頭部の角度方向に関する情報を決定するように構成されている。処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システムのための制御信号を供給するように構成されている。

【特許請求の範囲】

【請求項1】

顕微鏡システム（１００；４００）を制御する装置（１１０；４２０）であって、前記装置は、
顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適したカメラモジュール（１２０）と通信するインタフェース（１１２）と、
処理モジュール（１１４）と、
を備え、
前記処理モジュール（１１４）は、
前記インタフェースを介して前記カメラモジュールからカメラ画像データを取得し、
前記カメラ画像データを処理して、前記顕微鏡システムのディスプレイ（１４０）に対する前記ユーザの頭部の角度方向に関する情報を決定し、
前記ユーザの頭部の角度方向に関する情報に基づいて、前記顕微鏡システムのロボット調整システム（１３０）のための制御信号を供給する、
ように構成されている、
装置（１１０；４２０）。

【請求項2】

前記処理モジュールは、前記カメラ画像データに基づいて、前記ディスプレイに向かう前記顕微鏡システムの前記ユーザの視野角を決定し、前記ユーザの視野角に基づいて前記制御信号を供給するように構成されている、
請求項１記載の装置。

【請求項3】

前記処理モジュールは、前記ユーザの頭部の角度方向に基づいて、前記ユーザの視野角を決定するように構成されている、
請求項２記載の装置。

【請求項4】

前記処理モジュールは、前記ユーザの片目または両目のアイトラッキングを行い、前記ユーザの頭部の角度方向と前記アイトラッキングとに基づいて前記ユーザの視野角を決定するように構成されている、
請求項３記載の装置。

【請求項5】

前記処理モジュールは、前記カメラ画像データについての画像分析を使用して前記角度方向に関する情報を決定するように構成されている、
請求項１から４までのいずれか１項記載の装置。

【請求項6】

前記顕微鏡システムの前記ディスプレイは、前記顕微鏡システムの顕微鏡の接眼レンズに近接して配置された補助ディスプレイであるか、または、
前記顕微鏡システムの前記ディスプレイは、前記顕微鏡システムのベースユニットに配置された補助ディスプレイであるか、または、
前記顕微鏡システムの前記ディスプレイは、前記顕微鏡システムの顕微鏡の接眼レンズの接眼ディスプレイである、
請求項１から５までのいずれか１項記載の装置。

【請求項7】

前記処理モジュールは、前記カメラ画像データに基づいて、一点への前記ユーザの凝視を決定するように構成されており、前記処理モジュールは、前記顕微鏡システムの顕微鏡（１５０；４１０）の中心視点が前記一点に固定されたままとなるよう、前記ロボット調整システムのための制御信号を決定するように構成されている、
請求項１から６までのいずれか１項記載の装置。

【請求項8】

前記処理モジュールは、前記カメラ画像データに基づいて、前記ユーザの頭部の位置に関する情報および前記ユーザの頭部の角度に関する情報を決定し、前記ユーザの頭部の位置に関する情報および前記ユーザの頭部の角度に関する情報に基づいて、前記ユーザの頭部の角度方向に関する情報を決定するように構成されている、
請求項１から７までのいずれか１項記載の装置。

【請求項9】

前記処理モジュールは、前記ユーザの頭部の位置が前記ユーザの頭部の角度の対応する変化を生じさせることなく変化した場合に、前記顕微鏡システムの顕微鏡の視野のパンが前記ロボット調整システムによりトリガされるように前記制御信号を生成すべく構成されており、かつ／または、
前記処理モジュールは、前記ユーザの頭部の位置がユーザの頭部の角度の対応する変化を伴って変化した場合に、前記顕微鏡システムの顕微鏡の視野角の調整が前記ロボット調整システムによりトリガされるように前記制御信号を生成すべく構成されている、
請求項８記載の装置。

【請求項10】

顕微鏡システム（１００；４００）を制御する装置（１１０；４２０）であって、前記装置は、
顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適したカメラモジュール（１２０）と通信するインタフェース（１１２）と、
処理モジュール（１１４）と、
を備え、
前記処理モジュール（１１４）は、
前記インタフェースを介して前記カメラモジュールからカメラ画像データを取得し、
前記カメラ画像データを処理して、前記ユーザの頭部の角度方向に関する情報を決定し、一点への前記ユーザの凝視を決定し、
前記ユーザの頭部の角度方向に関する情報に基づいて、前記顕微鏡システムの顕微鏡（１５０；４１０）の視点が前記一点に固定されたままとなるよう、前記顕微鏡システムのロボット調整システム（１３０）のための制御信号を供給する、
ように構成されている、
装置（１１０；４２０）。

【請求項11】

前記処理モジュールは、前記顕微鏡システムのディスプレイ（１４０）に対する前記顕微鏡のユーザの頭部の角度方向に関する情報を決定するように構成されている、
請求項１０記載の装置。

【請求項12】

前記顕微鏡システムは、手術用顕微鏡システムであり、前記処理モジュールは、前記手術用顕微鏡システムの手術用顕微鏡（１５０；４１０）によって観察される手術部位に対する前記顕微鏡のユーザの頭部の角度方向に関する情報を決定するように構成されている、
請求項１０記載の装置。

【請求項13】

顕微鏡システムを制御する方法であって、前記方法は、
前記顕微鏡システムのカメラモジュールから、前記顕微鏡システムのユーザの頭部のカメラ画像データを取得するステップ（２１０）と、
前記カメラ画像データを処理して、前記顕微鏡システムのディスプレイに対する前記ユーザの頭部の角度方向に関する情報を決定するステップ（２２０）と、
前記ユーザの頭部の角度方向に関する情報に基づいて、前記顕微鏡システムのロボット調整システムのための制御信号を供給するステップ（２３０）と、
を含む方法。

【請求項14】

顕微鏡システムを制御する方法であって、前記方法は、
前記顕微鏡システムのカメラモジュールから、前記顕微鏡システムのユーザの頭部のカメラ画像データを取得するステップ（３１０）と、
前記カメラ画像データを処理して、前記ユーザの頭部の角度方向に関する情報を決定し、一点への前記ユーザの凝視を決定するステップ（３２０）と、
前記ユーザの頭部の角度方向に関する情報に基づいて、前記顕微鏡システムの顕微鏡（１５０）の視点が前記一点に固定されたままとなるよう、前記顕微鏡システムのロボット調整システムのための制御信号を供給するステップ（３３０）と、
を含む方法。

【請求項15】

プロセッサ上で実行される際に、請求項１３または１４記載の方法のうちの少なくとも１つを実行するためのプログラムコードを含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施例は、顕微鏡システムを制御する装置、方法、コンピュータプログラムならびに対応する顕微鏡システムに関する。

【背景技術】

【0002】

手術用顕微鏡システムは、オプティカルキャリア（すなわち手術用顕微鏡）を可能な限り簡単かつスムーズに移動させ、理想的には無重力感を与えることができるように設計されることが多い。いくつかのケースでは、手術用顕微鏡を移動させるために、ロボットアームのようなロボット調整システムが使用される。移動は、多くの場合、ノブおよびボタンを用いて行われ、このノブおよびボタンは、手術用顕微鏡の位置、手術用顕微鏡の角度および他の機能、例えばズームレベル、照明などを個別に制御するために使用される。手術用顕微鏡の所望の視野を得るために調整可能な多くの要因に起因して、ロボット調整システムの制御に外科医の時間および集中力が取られてしまうことがある。米国特許第５３４５０８７号明細書には、手術用顕微鏡を空間的に位置決めする光ガイドシステムが示されており、このシステムは器具の無接触ガイドを提供している。この特許文献では、光源が外科医の頭部に取り付けられており、外科医の頭部の方向を決定して相応に電動調整機構を制御するためにこの光源が検出される。これにより、頭部が初期化フェーズにおいて所定の位置にもたらされ、この所定の位置に対する頭部の移動がトラッキングされる。これにより、人間が異なる視点を取る際に利用するメカニズムを考慮しない、電動調整機構の基本的な非接触制御が提供される。

【0003】

ロボット調整システムの制御を改善する、改善された顕微鏡システムへの需要が存在しうる。

【発明の概要】

【課題を解決するための手段】

【0004】

本開示の実施形態は、外科医が頭部の運動を行う際に得たいと望む視点を判別する代わりに、他のシステムが外科医の頭部の運動と等価の純粋に機械的な運動のみを提供するという知見に基づく。実施形態では、ユーザの頭部の角度方向は、一点すなわちディスプレイに対してまたは手術部位に対して決定され、この角度方向は、操作者がどの視点から当該一点を直視しようとするかを判別するために、および、この所望の視点の変化を達成するためにロボット調整システムをどのように調整すればよいかを決定するために使用される。よって、実施形態では、頭部の運動、ジェスチャおよび表情を顕微鏡の制御に利用することができ、これにより、直感的にロボットを制御するための頭部のトラッキングが提供される。一実施形態では、ユーザの頭部に追従するロボットによる、顕微鏡の位置合わせの調整が行われる。

【0005】

本開示の実施形態は、顕微鏡システムを制御する装置を提供する。装置は、カメラモジュールと通信するインタフェースを備える。カメラモジュールは、顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適している。装置は、処理モジュールを備えており、この処理モジュールは、インタフェースを介してカメラモジュールからカメラ画像データを取得するように構成されている。処理モジュールは、カメラ画像データを処理して、顕微鏡システムのディスプレイに対するユーザの頭部の角度方向に関する情報を決定するように構成されている。処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システムのための制御信号を供給するように構成されている。顕微鏡システムのディスプレイに対するユーザの頭部の角度方向を決定することにより、ディスプレイに対する頭部の方向の変化を、理解しやすい形式で顕微鏡システムの視点の変化に変換することができ、これにより、顕微鏡システムのユーザ／外科医による顕微鏡システムの制御が改善される。

【0006】

少なくともいくつかの実施形態では、処理モジュールは、カメラ画像データに基づいて、ディスプレイに向かう顕微鏡システムのユーザの視野角を決定するように構成されている。処理モジュールは、ユーザの視野角に基づいて制御信号を供給するように構成されていてよい。当該視野角は、顕微鏡が視野角から導出された視野を提供するようにロボットアームを調整するために使用可能である。

【0007】

例えば、処理モジュールは、ユーザの頭部の角度方向に基づいて、ユーザの視野角を決定するように構成されていてよい。角度方向は、視野角の粗い粒度の決定を提供することができる。

【0008】

いくつかの実施形態によれば、処理モジュールは、ユーザの片目または両目のアイトラッキングを行うように構成されている。処理モジュールは、ユーザの頭部の角度方向とアイトラッキングとに基づいてユーザの視野角を決定するように構成されていてよい。これにより、視野角のより精細な粒度での決定を提供することができる。

【0009】

処理モジュールは、カメラ画像データについての画像分析を使用して角度方向に関する情報を決定するように構成されていてよい。これにより、ユーザが付加的なトラッキングマーカーを装着する必要なく、角度方向を決定することができる。

【0010】

いくつかの実施形態では、顕微鏡システムのディスプレイは、顕微鏡システムの顕微鏡の接眼レンズに近接して配置された補助ディスプレイである。これにより、外科医は、手術野から離れる必要なく、ロボットアームのインサイチュ調整を行うことができる。

【0011】

代替的に、顕微鏡システムのディスプレイは、顕微鏡システムのベースユニットに配置された補助ディスプレイであってもよい。これにより、外科的処置の準備においてまたは付加的な外科スタッフによって使用可能な、より大きなディスプレイの使用を可能とすることができる。

【0012】

いくつかの実施形態では、顕微鏡システムのディスプレイは、顕微鏡システムの顕微鏡の接眼レンズの接眼ディスプレイであってもよい。この場合にも、これにより、外科医が、手術部位から離れる必要なく、ロボットアームのインサイチュ調整を可能とすることができる。

【0013】

種々の実施形態では、処理モジュールは、カメラ画像データに基づいて、一点へのユーザの凝視を決定するように構成されている。処理モジュールは、顕微鏡システムの顕微鏡の（中心）視点が当該一点に固定されたままとなるよう、ロボット調整システムのための制御信号を決定すべく構成されていてよい。（中心の）一点（例えば凝視の焦点）は、ロボットアームの調整における視覚的なアンカーとして機能しうる。

【0014】

処理モジュールは、カメラ画像に基づいて、ユーザの頭部の位置に関する情報およびユーザの頭部の角度に関する情報を決定するように構成されていてよい。処理モジュールは、ユーザの頭部の位置に関する情報およびユーザの頭部の角度に関する情報に基づいて、ユーザの頭部の角度方向に関する情報を決定するように構成されていてよい。角度方向はディスプレイに対して相対的に定められるので、位置および角度の両方が（例えば、ディスプレイに対して絶対的なまたは相対的な）角度方向の決定の要因となりうる。

【0015】

例えば、処理モジュールは、ユーザの頭部の位置がユーザの頭部の角度の対応する変化を生じさせることなく変化した場合に、顕微鏡システムの顕微鏡の視野のパンがロボット調整システムによりトリガされるように制御信号を生成すべく構成されていてよい。これは、頭部の位置の運動とロボットアームの方向との間の自然な変換を提供することができる。

【0016】

付加的にもしくは代替的に、処理モジュールは、ユーザの頭部の位置がユーザの頭部の角度の対応する変化を伴って変化した場合に、顕微鏡システムの顕微鏡の視野角の調整がロボット調整システムによりトリガされるように制御信号を生成すべく構成されていてもよい。これにより、頭部の角度の変化とロボットアームの方向との間の理解しやすい変換を提供することができる。

【0017】

いくつかの実施形態では、インタフェースは、顕微鏡システムの入力装置からトリガ信号を取得することに適している。処理モジュールは、入力装置のトリガ信号に応答して制御信号を供給するように構成されていてよい。したがって、制御信号は、ユーザによって明示的にトリガされた場合にのみ供給可能となり、これによりロボットアームの所望でない調整が回避される。

【0018】

例えば、制御信号は、顕微鏡システムの顕微鏡の空間的位置、顕微鏡の観察角度、顕微鏡のズーム、顕微鏡の動作距離および顕微鏡の照明のうちの少なくとも１つを調整するように構成されていてよい。例えば、上記のグループのうちの複数の要素を同時に調整することができ、これにより顕微鏡の様々な特性の調整が提供される。

【0019】

実施形態は、顕微鏡システムを制御するための別の装置をさらに提供する。この装置は、カメラモジュールと通信するインタフェースを備えている。カメラモジュールは、顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適している。装置は、処理モジュールを備え、この処理モジュールは、インタフェースを介してカメラモジュールからカメラ画像データを取得するように構成されている。処理モジュールは、カメラ画像データを処理して、ユーザの頭部の角度方向に関する情報を決定し、かつ一点へのユーザの凝視を決定するように構成されている。処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムの顕微鏡の（中心）視点が当該一点に固定されたままとなるよう、顕微鏡システムのロボット調整システムのための制御信号を供給するように構成されている。ユーザの頭部の角度方向を決定することにより、ディスプレイに対する頭部の方向の変化を顕微鏡システムの視点の変化へと有機的に変換することができ、これにより、外科医と顕微鏡システムとの間の相互作用が改善される。当該一点へのユーザの凝視により、ロボットアームの調整のための視覚的なアンカーを提供することができる。

【0020】

例えば、処理モジュールは、顕微鏡システムのディスプレイに対する顕微鏡のユーザの頭部の角度方向に関する情報を決定するように構成されていてよい。言い換えれば、ディスプレイは、角度方向を決定するための基準点として使用されうるものであり、ロボットアームの調整において外科医に基準が提供される。

【0021】

代替的に、顕微鏡システムは、手術用顕微鏡システムであってもよい。処理モジュールは、手術用顕微鏡システムの手術用顕微鏡によって観察される手術部位に対する顕微鏡のユーザの頭部の角度方向に関する情報を決定するように構成されていてよい。このケースでは、外科医は、手術部位に向かう自身の角度方向を調整することによりロボットアームを制御することができ、次いで、当該ロボットアームが並進されて顕微鏡の同等の方向が提供される。

【0022】

本開示の実施形態は、上記の装置の一方または両方を含む顕微鏡システムをさらに提供する。

【0023】

本開示の実施形態は、顕微鏡システムを制御する方法をさらに提供する。方法は、顕微鏡システムのカメラモジュールから、顕微鏡システムのユーザの頭部のカメラ画像データを取得することを含む。方法は、カメラ画像データを処理して、顕微鏡システムのディスプレイに対するユーザの頭部の角度方向に関する情報を決定することを含む。方法は、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システムのための制御信号を供給することを含む。

【0024】

本開示の実施形態は、顕微鏡システムを制御する方法をさらに提供する。方法は、顕微鏡システムのカメラモジュールから、顕微鏡システムのユーザの頭部のカメラ画像データを取得することを含む。方法は、カメラ画像データを処理して、ユーザの頭部の角度方向に関する情報を決定し、かつ一点へのユーザの凝視を決定することを含む。方法は、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムの顕微鏡の（中心）視点が当該一点に固定されたままとなるよう、顕微鏡システムのロボット調整システムのための制御信号を供給することを含む。

【0025】

本開示の実施形態は、プロセッサ上で実行される際に、上記の方法のうちの少なくとも１つを実行するためのプログラムコードを含む、コンピュータプログラムをさらに提供する。

【0026】

以下では、装置および／または方法のいくつかの実施例を、単なる例としてではあるが、添付の図面を参照して説明する。

【図面の簡単な説明】

【0027】

【図1a】顕微鏡システムを制御する装置の実施形態を示すブロック図である。

【図1b】顕微鏡システムを制御する装置を含む顕微鏡システムの実施形態を示すブロック図である。

【図2】顕微鏡システムを制御する方法の一実施形態を示すフローチャートである。

【図3】顕微鏡システムを制御する方法の別の実施形態を示すフローチャートである。

【図4】顕微鏡およびコンピュータシステムを含むシステムを示す概略図である。

【発明を実施するための形態】

【0028】

次に、いくつかの実施例が示されている添付の図面を参照して、様々な実施例をより詳細に説明する。図中、線の太さ、層の厚さおよび／または領域の大きさは、明確にするために誇張したところがある。

【0029】

図１ａおよび図１ｂには、顕微鏡システム１００を制御する装置１１０の実施形態のブロック図が示されている。装置は、カメラモジュール１２０と通信するインタフェース１１２を含む。カメラモジュールは、顕微鏡システムのユーザの頭部のカメラ画像データを供給することに適している。装置は、インタフェース１１２に結合された処理モジュール１１４を含む。処理モジュール１１４は、インタフェースを介してカメラモジュールからカメラ画像データを取得するように構成されている。

【0030】

続いて、カメラ画像データが処理されて、ディスプレイに対する、またはユーザの注視が（ディスプレイ上にまたは手術部位に）固定された一点に対する、ユーザの頭部の角度方向に関する情報が決定される。したがって、いくつかの実施形態では、処理モジュール１１４は、カメラ画像データを処理して、顕微鏡システムのディスプレイ１４０に対するユーザの頭部の角度方向に関する情報を決定するように構成されている。この場合、処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システム１３０のための制御信号を供給するように構成されている。代替的にもしくは付加的に、処理モジュール１１４は、カメラ画像データを処理して、ユーザの頭部の角度方向に関する情報を決定し、一点に対するユーザの凝視を決定するように構成されていてよい。この場合、処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムの顕微鏡１５０の中心視点が当該一点に固定されたままとなるよう、顕微鏡システムのロボット調整システム１３０のための制御信号を供給するように構成されている。

【0031】

図１ｂにはさらに、装置１１０、カメラモジュール１２０、ロボット調整システム１３０、任意選択手段としてのディスプレイ１４０、さらなる任意選択手段としての顕微鏡１５０、および、さらなる任意選択手段としての入力装置１６０を備えた顕微鏡システム１００が示されている。

【0032】

以下の説明は、図１ａおよび図１ｂの制御装置１１０および顕微鏡システム１００ならびに図２および図３の対応する方法に関する。

【0033】

本開示の実施形態は、顕微鏡システム１００を制御する装置、方法およびコンピュータプログラムに関する。一般に、顕微鏡とは、人間が目視（のみ）で検査するには小さすぎる対象物の検査に適した光学機器である。例えば、顕微鏡は、有機組織の試料などの対象物の光学的拡大を提供することができる。手術用顕微鏡は、手術中に使用される顕微鏡であり、すなわち手術中の（外科医による）使用に適した顕微鏡である。このような手術用顕微鏡システムは、手術用顕微鏡を外科医の所望どおりに、例えば手術空間の近傍に位置決めするために使用されるアームまたは位置決め手段をしばしば含むので、手術用顕微鏡を使用して管束または組織の拡大ビューを提供することができる。このようなアームまたは位置決め手段は、通常、手術部位の拡大画像を提供しながら、手術の実施に十分な空間を外科医に提供するために、多種多様に異なる位置および／または角度を提供するように適応化されている。さらに、手術用顕微鏡システムのアームまたは位置決め手段は、手術用顕微鏡システムのアームまたは位置決め手段の運動を支援するため、例えばウェイトおよびカウンタウェイト、空気圧システム、またはモータを使用して手術用顕微鏡の容易な位置決めが可能となるように設計されていることが多い。上で説明したように、手術用顕微鏡システムなどの多くの顕微鏡システムは、顕微鏡システムを使用して観察される試料に対して相対的に顕微鏡システムの顕微鏡を位置決めするための、ロボットアームなどのロボット調整システムを有している。言い換えれば、ロボット調整システムは、顕微鏡システムのアームを調整するように構成されていてよい。例えば、ロボット調整システムは（手術用）顕微鏡システムのロボットアームであってよい。このようなロボット調整システムは、システムの調整に関して多数の自由度をしばしば提供し、多くの場合に試料に対する相対的な顕微鏡の角度方向ならびに顕微鏡の３次元位置を調整することができる。したがって、ロボットアームへの調整は直接的でないことが多い。いくつかのシステムでは、ユーザ／操作者、例えば外科医は、この場合サーボモータとして動作するロボット調整システムによって支援されて、顕微鏡に取り付けられたハンドルを掴んで手動での顕微鏡の位置変更を行うことができ、これにより、重いことの多い機械の運動を容易にすることができる。なお、実施形態では、カメラ画像データの処理によって導出されたユーザの頭部の角度方向に基づくロボット調整システムの制御が選択される。言い換えれば、顕微鏡システムは、ユーザの頭部の角度方向に基づいて制御可能なロボットアームなどのロボット調整システムを有する手術用顕微鏡システムであってよい。

【0034】

顕微鏡システムは、自身のユーザの頭部のカメラ画像データを供給することに適したカメラモジュール１２０を含んでいる。言い換えれば、カメラモジュール１２０は、顕微鏡システムのユーザの頭部のカメラ画像データを供給するように構成されていてよい。一般に、カメラモジュールは、ＡＰＳ（Active Pixel Sensor）方式、またはＣＣＤ（Charge-Coupled-Device）方式の撮像センサモジュールを含んでいてよい。例えば、ＡＰＳ方式の撮像センサモジュールでは、受光素子と画素の能動増幅器とを使用して各画素で光を記録する。ＡＰＳ方式の撮像センサモジュールは、多くの場合、ＣＭＯＳ（相補的金属酸化物半導体）またはＳ－ＣＭＯＳ（サイエンティフィックＣＭＯＳ）技術を基礎としている。ＣＣＤ方式の撮像センサモジュールでは、入射した光子は半導体－酸化物界面で電子電荷に変換され、この電子電荷は、その後、撮像を実行するためのセンサ撮像モジュールの制御回路によって撮像センサモジュール内の容量性ビン間を移動する。代替的にもしくは付加的に、カメラモジュールは、深度センシングカメラモジュールであってもよいし、または深度センシングカメラモジュール画像の供給に適した深度センサを含む、深度センシングカメラを含んでいてもよい。したがって、カメラ画像データは、深度センシングカメラ画像データであってよく、または２次元成分および深度センシング成分を含んでいてもよい。例えば、カメラモジュールは、深度センサ、例えば飛行時間方式の深度センサまたはstructured-light方式の深度センサを含んでいてよい。カメラ画像データは、ユーザの頭部の２次元カメラ画像データおよび／またはユーザの頭部の３次元カメラ画像データを含んでいてよい。

【0035】

処理モジュール１１４は、カメラ画像データを処理して、例えば、ディスプレイ１４０または手術部位に対するユーザの頭部の角度方向に関する情報を決定するように構成されている。一般に、ユーザの頭部の角度方向は、基準点、例えば頭部の静止位置またはディスプレイ１４０または手術部位に対する、頭部の角度を含みうる。さらに、角度方向は、座標系に対する頭部の位置を含むことができ、この座標系は、顕微鏡システムに対して、ディスプレイに対して、または手術部位に対して相対的とすることができる。言い換えれば、処理モジュールは、カメラ画像に基づいて、ユーザの頭部の位置に関する情報およびユーザの頭部の角度（例えば、基準点に対する角度）に関する情報を決定するように構成されていてよい。処理モジュールは、ユーザの頭部の位置に関する情報とユーザの頭部の角度に関する情報とに基づいて、ユーザの頭部の角度方向に関する情報を決定するように構成されていてよい。角度方向に関する情報は、（基準点に対する）頭部の角度および／または頭部の位置の数値を含むことができる。

【0036】

カメラ画像データの処理は、画像分析を使用して実行されうる。言い換えれば、処理モジュールは、カメラ画像データについての画像分析を使用して、角度方向に関する情報を決定するように構成されていてよい。例えば、画像分析を使用して、カメラ画像データ内の頭部の１つまたは複数の特徴を識別することができる。例えば、処理モジュールは、ユーザの頭部の輪郭を決定し、（２次元または３次元の）カメラ画像データ内の目および／または鼻を識別し、頭部の輪郭とこの頭部の輪郭に対して相対的な目および／または鼻の位置とに基づいてユーザの頭部の角度方向を導出することにより、ユーザの頭部の角度方向を決定するように構成されうる。画像分析は、頭部の（自然な）輪郭に基づくものとすることができる。例えば、画像分析は、ユーザの頭部に取り付けられているトラッキングマーカーに基づかなくても可能である。反対に、処理モジュールは、（人工的に追加された）トラッキングマーカーを識別することなく、ユーザの頭部の角度方向に関する情報を決定するように構成されていてよい。

【0037】

種々の実施形態では、顕微鏡システムのディスプレイ１４０に対するユーザの頭部の角度方向に関する情報が決定される。例えば、ディスプレイ１４０は、視覚的な形態で情報を提示する電子出力装置でありうる。例えば、ディスプレイ１４０は、顕微鏡によって観察される試料の画像、例えば手術用顕微鏡によって観察される手術部位の画像を電子的に表示することに適していてよく、かつ／またはそのように構成されていてよい。処理モジュール１１４は、観察されるべき試料の画像をディスプレイ１１４に供給するように構成されていてよい。少なくともいくつかの実施形態では、画像は、顕微鏡１５０の別のカメラ（図示せず）の別のカメラ画像データに基づく。例えば、処理モジュール１１４は、別のカメラから別のカメラ画像データを取得し、ディスプレイ１１４のための画像を生成するように構成されうる。例えば、ディスプレイ１４０は、液晶ディスプレイ（ＬＣＤ）ベースのディスプレイまたは有機発光ダイオード（ＯＬＥＤ）ベースのディスプレイであってよい。いくつかの実施形態では、ディスプレイは、顕微鏡システムの顕微鏡１５０の接眼レンズの表面に、またはこの接眼レンズ内に、配置されうる。例えば、ディスプレイは、顕微鏡の接眼レンズの上方に配置されてもよいし、または顕微鏡の接眼レンズ内に組み込まれてもよい。言い換えれば、顕微鏡システムのディスプレイは、顕微鏡システムの顕微鏡の接眼レンズに近接して配置された補助ディスプレイ１４０ａであってよい。例えば、ディスプレイ１４０ａ，１４０ｂは、顕微鏡システムの顕微鏡１５０に取り付け可能である。例えば、顕微鏡システムのディスプレイは、顕微鏡システムの顕微鏡の接眼レンズの接眼ディスプレイ１４０ｂであってよい。代替的に、顕微鏡システムのディスプレイは、顕微鏡システムのベースユニット（例えば、装置１１０を含むスタンド）に配置された補助ディスプレイ１４０ｃであってもよい。例えば、ディスプレイ１４０ｂは、別のアーム１４５を介して顕微鏡システムのベースユニットに取り付けられていてもよい。

【0038】

上述したように、いくつかの実施形態では、ユーザの頭部の角度方向は、ディスプレイ１４０に対してまたは手術用顕微鏡によって観察される手術部位に対して決定される。例えば、これは、ディスプレイまたは手術部位に向かうユーザの視野角を決定することによって達成されうる。言い換えれば、処理モジュールは、カメラ画像データに基づいて、ディスプレイに向かう（または手術部位に向かう）顕微鏡システムのユーザの視野角を決定するように構成されうる。例えば、処理モジュールは、頭部の輪郭に基づいて、また頭部の輪郭に対して相対的な目および／または鼻の位置に基づいて、かつユーザの頭部の位置に基づいて、ディスプレイまたは手術部位に向かうユーザの視野角を導出するように構成されていてよい。例えば、処理モジュールは、ユーザの頭部の角度方向に基づいて、ユーザの視野角を決定するように構成されていてよい。例えば、ユーザの頭部の角度方向は、例えば角度方向の角度成分が基準点としてのディスプレイまたは手術部位に対して決定される場合、ディスプレイまたは手術部位に向かうユーザの視野角を含みうる。いくつかの実施形態では、これは、ロボット調整システムの調整の実行に十分な精度を有する視野角を決定するために十分でありうる。しかしながら、いくつかの実施形態では、処理モジュールは、ユーザ（すなわち外科医）がどこを見ているかをより正確に学習するために、アイトラッキングを実行するように構成することができる。言い換えれば、処理モジュールは、ユーザの片目または両目へのアイトラッキングを行うように構成されていてよい。例えば、処理モジュールは、カメラ画像データに画像処理を実行して、ユーザの片目または両目についてアイトラッキングを行うように構成されていてよい。代替的に、画像処理は、例えば、角度方向の決定に使用される３次元カメラ画像データに加えて、専用のアイトラッキングカメラの別のカメラ画像データに対して実行されてもよい。処理モジュール１１４は、ユーザの頭部の角度方向とアイトラッキングとに基づいて、ユーザの視野角を決定するように構成されていてよい。言い換えれば、処理モジュール１１４は、アイトラッキングに基づき、決定されたユーザの視野角を微調整するように構成されていてよい。

【0039】

処理モジュールは、ユーザの視野角に基づいて制御信号を供給するように構成されうる。例えば、処理モジュール１１４は、ユーザの視野角を顕微鏡１５０の対応する方向へ変換し、顕微鏡１５０の対応する方向への作用を生じさせるための制御信号を供給するように構成されていてよい。例えば、制御信号は、ロボット調整システムが、ユーザの視野角に基づく角度、例えばユーザの視野角に対応する角度で、顕微鏡１５０を配置する作用を生じさせるために供給されうる。

【0040】

顕微鏡の位置決めを変更する際には、（試料の、または手術部位の）一点を「アンカー点」として使用することができ、これは、視野角または距離／ズームレベルが変更される間、例えばユーザが関心点に集中してこれを種々の角度から見ることができるよう、固定されたままとなる。したがって、当該一点へのユーザの凝視が決定され、この一点が、（ロボット調整モジュールを介した）顕微鏡の調整におけるアンカー点として機能しうる。言い換えれば、処理モジュールは、カメラ画像データに基づいて、一点（例えば、スクリーン上の一点、スクリーン上に示されている試料／手術部位の一点、または手術部位の一点）へのユーザの凝視を決定するように構成されていてよい。処理モジュールは、カメラ画像データを処理して、当該一点へのユーザの凝視を決定するように構成されていてよい。例えば、処理モジュールは、アイトラッキングを用いて、例えばアイトラッキングに関連するユーザの頭部の角度方向を用いて、当該一点へのユーザの凝視を決定するように構成されていてよい。処理モジュールは、顕微鏡システムの顕微鏡１５０のビューの中心視点が当該一点に固定されたままとなるよう、ロボット調整システムのための制御信号を決定するように構成されうる。言い換えれば、処理モジュールは、顕微鏡１５０の視野内の類似の位置（例えば同じ位置）に当該一点がとどまるよう、ロボット調整システムのための制御信号を決定すべく構成されていてよい。

【0041】

一般に、ユーザが単に頭部の位置のみを変更するか否か、またはユーザが頭部の角度を変更するか否かに応じて、異なるアプローチを採用することができる。例えば、ユーザが角度を変更することなく（または閾値未満の、例えば５°未満の角度の変更を伴って）自身の頭部の位置を変更するのみであった場合、制御信号は、試料野／手術野にわたって顕微鏡の視野がパンするように（すなわち水平にかつ／または垂直にスクロールを行うように）生成されうる。言い換えれば、処理モジュールは、ユーザの頭部の位置が対応するユーザの頭部の角度の変化を生じさせることなく変化した場合、顕微鏡システムの顕微鏡の視野のパンがロボット調整システムによりトリガされるように制御信号を生成すべく構成されていてよい。頭部の角度のみが変化した場合、パニングを行わずに視野角を調整することができる。言い換えれば、処理モジュールは、ユーザの頭部の位置がユーザの頭部の角度の対応する変化を伴って変化した場合、顕微鏡システムの顕微鏡の視野角の調整がロボット調整システムによりトリガされるように制御信号を生成すべく構成されていてよい。この場合も、処理モジュールは、例えばユーザが凝視している一点または視野の中心点に基づいて顕微鏡システムの顕微鏡１５０の中心視点が視野内の一点に固定されたままとなるよう、ロボット調整システムのための制御信号を決定すべく構成されていてよい。言い換えれば、処理モジュールは、例えばユーザが凝視している一点または視野の中心点が、顕微鏡１５０の視野内の類似の位置（例えば同じ位置）にとどまるように、ロボット調整システムのための制御信号を決定すべく構成されていてよい。この場合、視野角の変化によって、例えば上述した一点に基づき、視野のパニングを行うこともできる。さらに、いくつかの実施形態によれば、処理モジュールは、カメラ画像データに基づきユーザの肩の位置、姿勢および／または運動に関する情報を決定し、肩の位置、姿勢および／または運動に関する情報を用いて制御信号を生成するように構成することができる。

【0042】

処理モジュールは、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システム１３０のための制御信号を供給するように構成されている。上述したように、処理モジュール１１４は、ユーザの視野角を顕微鏡１５０の対応する方向へ変換し、顕微鏡１５０の対応する方向への作用を生じさせるための制御信号を供給するように構成されうる。顕微鏡１５０の方向への作用を生じさせるために、ロボット調整システムの種々の特性を調整することができる。例えば、制御信号は、顕微鏡システムの顕微鏡１５０の空間的位置、顕微鏡の観察角度、顕微鏡のズーム、顕微鏡の作動距離および顕微鏡の照明のうちの少なくとも１つを調整するように構成されていてよい。例えば、制御信号は、例えば所望の空間的位置を得るために例えばロボットアームのロボット関節を制御することで顕微鏡の空間的位置が変更されるよう、ロボット調整システムを制御することにより、顕微鏡１５０の空間的位置ひいては作動距離を調整するように構成可能である。ロボット調整システムを制御することによって顕微鏡の観察角度を調整するように制御信号を構成することができ、これにより、顕微鏡の空間的位置が変更され、観察角度を取得するための試料または手術部位に向かう顕微鏡の角度が変更される。制御信号はさらに、顕微鏡のズームおよび／または照明を変更すべく顕微鏡を制御するように構成されていてよい。したがって、制御信号は、顕微鏡１５０または顕微鏡システム１５０の照明ユニットに供給することもできる。

【0043】

場合によっては、ユーザ／外科医が顕微鏡の位置を変更しようとする状況に制御信号の供給を制限し、この状況以外での制御信号の生成または供給を控えることが望ましいことがある。これを達成するために、ユーザ／外科医は、制御信号の生成／供給を作動（または停止）させるために、入力デバイスを介してトリガを与えることができる。したがって、インタフェースは、顕微鏡システムの入力装置１６０からトリガ信号を取得することに適していてよい。例えば、入力デバイスは、ボタン、タッチ方式のインタフェース（タッチスクリーンまたは容量性スイッチなど）、光学方式の入力デバイス（例えば、光源と受信機との間の経路を遮断することによって入力デバイスが起動される）、超音波方式の入力デバイス（例えば手または物体を超音波方式の入力デバイスに近づけることによって、入力デバイスが起動される）および音声作動入力デバイスのうちの１つであってよい。処理モジュールは、入力装置のトリガ信号に応答して制御信号を供給するように構成されていてよい。言い換えれば、処理モジュールは、入力デバイスによってトリガされた場合に（かつ／または入力デバイスによってトリガされている間）（のみ）制御信号を供給するように構成されていてよい。

【0044】

インタフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードによるデジタル（ビット）値であってよい情報を受信するかつ／または送信するための１つまたは複数の入力側および／または出力側に対応しうる。例えば、インタフェース１１２は、情報を受信するかつ／または送信するように構成されたインタフェース回路を備えることができる。実施形態では、処理モジュール１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、任意の処理手段、例えば、プロセッサ、コンピュータ、または相応に適応化されたソフトウェアで動作可能なプログラマブルハードウェアコンポーネントを使用して実装されうる。言い換えれば、処理モジュール１１４について説明した機能は、ソフトウェアで実装されてよく、その場合、ソフトウェアは、１つまたは複数のプログラマブルハードウェアコンポーネントにおいて実行される。このようなハードウェアコンポーネントは、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラなどを含みうる。

【0045】

顕微鏡システムまたは顕微鏡システムを制御する装置のさらなる詳細および態様を、提案しているコンセプトまたは上述もしくは下述の１つまたは複数の実施例に関連して言及する（例えば、図２～図４）。顕微鏡システムまたは顕微鏡システムを制御する装置は、提案しているコンセプトの１つまたは複数の態様または上述もしくは下述の１つまたは複数の実施例に対応する１つまたは複数の付加的な任意の特徴も含みうる。

【0046】

図２には、顕微鏡システムを制御するための（対応する）方法の一実施形態のフローチャートが示されている。例えば、顕微鏡システムは、図１ｂの顕微鏡システムと同様に実現可能である。方法は、顕微鏡システムのカメラモジュールから顕微鏡システムのユーザの頭部のカメラ画像データを取得すること２１０を含む。方法は、カメラ画像データを処理して、顕微鏡システムのディスプレイ１４０に対するユーザの頭部の角度方向に関する情報を決定すること２２０を含む。当該方法は、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムのロボット調整システムのための制御信号を供給すること２３０を含む。

【0047】

上で示したように、図１ａおよび／または図１ｂの装置１１０および顕微鏡システム１００に関連して説明した特徴は、図２の方法にも同様に適用することができる。

【0048】

方法のさらなる詳細および態様を、提案しているコンセプトまたは上述もしくは下述の１つまたは複数の実施例に関連して言及する（例えば、図１または図３～図４）。方法は、提案しているコンセプトの１つまたは複数の態様または上述もしくは下述の１つまたは複数の実施例に対応する１つまたは複数の付加的な任意の特徴も含みうる。

【0049】

図３には、顕微鏡システムを制御するための（対応する）方法のさらなる実施形態のフローチャートが示されている。例えば、顕微鏡システムは、図１ｂの顕微鏡システムと同様に実現可能である。方法は、顕微鏡システムのカメラモジュールから顕微鏡システムのユーザの頭部のカメラ画像データを取得すること３１０を含む。方法は、カメラ画像データを処理して、ユーザの頭部の角度方向に関する情報を決定し、かつ一点へのユーザの凝視を決定すること３２０を含む。方法はさらに、ユーザの頭部の角度方向に関する情報に基づいて、顕微鏡システムの顕微鏡の中心視点が一点に固定されたままとなるよう、顕微鏡システムのロボット調整システムのための制御信号を供給すること３３０を含む。

【0050】

上述したように、図１ａおよび／または図１ｂの装置１１０および顕微鏡システム１００に関連して説明した特徴を、同様に図３の方法にも適用することができる。

【0051】

方法のさらなる詳細および態様を、提案しているコンセプトまたは上述もしくは下述の１つまたは複数の実施例に関連して言及する（例えば、図１、図２または図４）。方法は、提案しているコンセプトの１つまたは複数の態様または上述もしくは下述の１つまたは複数の実施例に対応する１つまたは複数の付加的な任意の特徴を含みうる。

【0052】

少なくともいくつかの実施形態は、ロボットアームに取り付けられた撮像システムの使用に関する。ロボットアームに取り付けられた撮像システム（例えば手術用顕微鏡）を使用することにより、撮像システムが空間内を（典型的には６自由度で）移動し、これにより、撮像設定の多くの調整、例えば、
１．空間的位置ｘ，ｙ，ｚ（３自由度）
２．観察角度θ，φ，ω（３自由度）
３．ズーム、作動距離、照明／感度（３自由度）
が可能となる。

【0053】

このような調整は、従来のノブ／ボタン調整で実行される場合には複雑となることがある。また、このような調整には、時間とユーザの注意とが必要となりうる。さらに、複雑な調整、例えばポイントロック（観察角度を変えながら観察中心を凝視する）を行うよう要求されることがあり、このような複雑な調整には、パラメータの組み合わされた調整（例えば、位置決めを球面に対して行う一方、観察角度を相応に適応化する）が必要とされうる。

【0054】

しかし、人間の視覚はロボット撮像システムと機械的／幾何学的に類似しており、物体の形状を知覚するために人間は直感的に当該観察ジオメトリを調整している。実施形態は、人間がロボット撮像システム（例えば図１ａおよび／または図１ｂの顕微鏡システム１００）を自然な観察の動き／ジェスチャに似た直感的な手法で制御することができる制御システム（例えば、図１ａおよび／または図１ｂの装置１１０）を提供する。特に、複数の実施形態が、人間の姿勢および頭部の動き（例えば頭部の角度方向）の認識に焦点を当て、これを（例えば制御信号を供給することによって）ロボット撮像システムを配置するためのガイドとして解釈することができる。このようなシステムは、次のコンセプトの任意の組み合わせであってよい。すなわち、
１．人間の頭部の観察ジオメトリ、すなわち頭部の位置（ｘ，ｙ，ｚ）および角度（θ，φ，ω）（すなわち角度方向）の複製。さらに、アイトラッキング情報を含めることもできる。
２．一定の調整をするための人間の頭部の動き／ジェスチャの解釈。例えば、頭部が回転することなく空間（ｘ，ｙ，ｚ）内で移動しているならば、これは視野のパンを意味しうるものであり、一方、（ｘ，ｙ，ｚ）の移動が頭部のカウンタバランス回転（θ，φ，ω）と組み合わされている場合、これはポイントロック調整として解釈されうる。さらに、アイトラッキングおよび肩位置も、よりロバストなインタラクションに使用することができる。

【0055】

コンセプトのさらなる詳細および態様を、提案しているコンセプトまたは上述もしくは下述の１つまたは複数の実施例に関連して言及する（例えば図１～図３）。当該コンセプトは、提案しているコンセプトの１つまたは複数の態様または上述もしくは下述の１つまたは複数の実施例に対応する１つまたは複数の付加的な任意の特徴を含みうる。

【0056】

いくつかの実施形態は、図１～図３の１つまたは複数の図に関連して説明したようなシステムを含む顕微鏡に関する。代替的に、顕微鏡は、図１～図３の１つまたは複数の図に関連して説明したようなシステムの一部であってよく、または図１～図３の１つまたは複数の図に関連して説明したようなシステムに接続されていてもよい。図４には、本明細書に記載する方法を実施するように構成されたシステム４００の概略図が示されている。システム４００は、図１ｂの顕微鏡１５０に対応しうる顕微鏡４１０と、図１ａおよび／または図１ｂの装置１１０に対応しうるコンピュータシステム４２０と、を備えている。顕微鏡４１０は撮像のために構成されており、コンピュータシステム４２０に接続されている。コンピュータシステム４２０は、本明細書に記載する方法の少なくとも一部を実行するように構成されている。コンピュータシステム４２０は、機械学習アルゴリズムを実行するように構成されていてよい。コンピュータシステム４２０と顕微鏡４１０とは別個のものであってよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム４２０は、顕微鏡４１０の中央処理システムの一部であってよく、かつ／または顕微鏡４１０の従属部品の一部、例えば顕微鏡４１０のセンサ、アクタ、カメラまたは照明ユニットなどであってもよい。

【0057】

コンピュータシステム４２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム４２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム４２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム４２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム４２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム４２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザがコンピュータシステム４２０に情報を入力することおよびコンピュータシステム４２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0058】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0059】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0060】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0061】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0062】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0063】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0064】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0065】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0066】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0067】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0068】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0069】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールドプログラマブルゲートアレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0070】

本明細書で使用しているように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」と略記されることがある。

【0071】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が対応する方法の説明も表していることは明らかであり、ここではブロックまたは装置がステップまたステップの特徴に対応している。同様に、ステップの文脈において説明された態様も、対応する装置の対応するブロックまたは項目または特徴の説明を表している。

【符号の説明】

【0072】

１００ 顕微鏡システム
１１０ 顕微鏡システムを制御する装置
１１２ インタフェース
１１４ 処理モジュール
１２０ カメラモジュール
１３０ ロボット調整システム
１４０ ディスプレイ（サフィックスａ～ｃ）
１４５，１５５ アーム
１５０ 顕微鏡
１６０ 入力装置
２１０ カメラ画像データを取得する
２２０ カメラ画像データを処理する
２３０ 制御信号を供給する
３１０ カメラ画像データを取得する
３２０ カメラ画像データを処理する
３３０ 制御信号を供給する
４００ システム
４１０ 顕微鏡
４２０ コンピュータシステム

【図1a】

【図1b】

【図2】

【図3】

【図4】

【国際調査報告】