▶ ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッドの特許一覧
特表2023-546609顕微鏡システム用のシステムおよび対応する方法およびコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-06
(54)【発明の名称】顕微鏡システム用のシステムおよび対応する方法およびコンピュータプログラム
(51)【国際特許分類】
G02B 21/00 20060101AFI20231027BHJP
A61B 90/20 20160101ALI20231027BHJP
【ＦＩ】
G02B21/00
A61B90/20
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023524826
(86)(22)【出願日】2021-10-18
(85)【翻訳文提出日】2023-05-26
(86)【国際出願番号】 EP2021078786
(87)【国際公開番号】W WO2022084240
(87)【国際公開日】2022-04-28
(31)【優先権主張番号】20203489.8
(32)【優先日】2020-10-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】516114695
【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド
【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．
【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】アルヴィン コック
(72)【発明者】
【氏名】ジアハオ パン
【テーマコード（参考）】
2H052
【Ｆターム（参考）】
2H052AF01
2H052AF02
2H052AF21
(57)【要約】
実施例は、顕微鏡システム用のシステムと、このようなシステムを有する顕微鏡システムと、対応する方法と、コンピュータプログラムと、に関する。本システムは、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを有する。本システムは、トリガ信号を取得するように構成されている。トリガ信号は、顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。本システムは、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するように構成されている。本システムは、顕微鏡システムのディスプレイ装置に、視覚的オーバーレイを有する表示信号を供給するように構成されている。
【特許請求の範囲】
【請求項1】
顕微鏡システム（１００，５００，７００）用のシステム（１１０，７２０）であって、前記システム（１１０，７２０）は、１つまたは複数のプロセッサ（１１４）および１つまたは複数のストレージデバイス（１１６）を有し、前記システムは、前記顕微鏡システムの入力装置（１２０，１２５）に関連付けられた制御機能の視覚表現を表示したいという、前記顕微鏡システムのユーザーの要求を示すトリガ信号を取得し、
前記トリガ信号に基づいて、前記視覚表現を有する視覚的オーバーレイを生成し、
前記顕微鏡システムのディスプレイ装置（１３０）に、前記視覚的オーバーレイを有する表示信号を供給する、
ように構成されている、システム（１１０，７２０）。
【請求項2】
前記システムは、前記顕微鏡システムの１つまたは複数の入力装置（１２０，１２５）の１つから前記トリガ信号を取得し、前記トリガ信号が受信される前記入力装置に関連付けられた前記制御機能の視覚表現との前記視覚的オーバーレイを生成するように構成されている、請求項１記載のシステム。
【請求項3】
前記システムは、前記入力装置のボタンから前記トリガ信号を取得するように構成されている、請求項１または２記載のシステム。
【請求項4】
前記システムは、前記顕微鏡システムのマイクロフォン（１４０）を介して取り込んだ音声を処理し、取り込んだ前記音声内でユーザーによって話された１つまたは複数のキーワードに基づいて、前記トリガ信号を生成するように構成されているか、または、前記システムは、前記顕微鏡システムのタッチスクリーン（１５０）を介して前記トリガ信号を取得するように構成されている、
請求項１記載のシステム。
【請求項5】
前記視覚表現は、前記顕微鏡システムのフットペダル（１２０）に、ハンドル（１２５に）、前記顕微鏡システムのマウススイッチに、または、前記顕微鏡システムのアイトラッキングシステムに関連付けられた制御機能を表す、請求項１から４までのいずれか１項記載のシステム。
【請求項6】
前記入力装置は、２つ以上のモードの１つが前記入力装置においてアクティブな状態で、前記入力装置の２つ以上のモードに関連付けられた２つ以上の機能セットを有し、前記システムは、前記入力装置においてアクティブであるモードに関連付けられた機能セットに基づいて、前記視覚表現を生成するように構成されている、
請求項１から５までのいずれか１項記載のシステム。
【請求項7】
前記制御機能の前記視覚表現は、前記制御機能が関連付けられた前記入力装置の視覚表現を有する、請求項１から６までのいずれか１項記載のシステム。
【請求項8】
前記システムは、別のトリガ信号を取得するように構成されており、前記別のトリガ信号は、前記入力装置に関連付けられた制御機能を切り換えたいという、前記顕微鏡システムのユーザーの要求を示しており、前記システムは、前記別のトリガ信号に基づいて前記入力装置に関連付けられた前記制御機能を切り換えるように構成されており、前記システムは、前記入力装置に関連付けられた前記制御機能を切り換えた後、前記視覚表現を適合させるように構成されている、請求項１から７までのいずれか１項記載のシステム。
【請求項9】
前記システムは、前記視覚的オーバーレイを生成して、前記視覚的オーバーレイが、前記入力装置に現在、関連付けられている制御機能の視覚表現と、切り換え後に前記入力装置との関連付けに利用可能な制御機能の視覚表現と、を有するように構成されている、請求項８記載のシステム。
【請求項10】
前記視覚表現は、前記入力装置の複数の入力モダリティに関連付けられた複数の制御機能を表す、請求項１から９までのいずれか１項記載のシステム。
【請求項11】
請求項１から１０までのいずれか１項記載のシステム（１１０）と、入力装置（１２０，１２５）と、ディスプレイ装置（１３０）と、を有する顕微鏡システム（１００）。
【請求項12】
前記入力装置は、前記顕微鏡システムのフットペダル（１２０）、ハンドル（１２５）、マウススイッチまたはアイトラッキングシステムの１つである、請求項１１記載の顕微鏡システム。
【請求項13】
前記入力装置は、複数の入力モダリティを有し、複数の前記入力モダリティは、１つまたは複数のボタン、１つまたは複数のスイッチ、１つまたは複数のロータリコントロール部および１つまたは複数のコントロールスティックの少なくとも１つを有する、請求項１１または１２記載の顕微鏡システム。
【請求項14】
顕微鏡システムのための方法であって、前記方法は、前記顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を表示したいという、前記顕微鏡システムのユーザーの要求を示すトリガ信号を取得するステップ（２１０）と、
前記トリガ信号に基づいて、前記視覚表現を有する視覚的オーバーレイを生成するステップ（２２０）と、
前記顕微鏡システムのディスプレイ装置に、前記視覚的オーバーレイを有するディスプレイ信号を供給するステップ（２３０）と、
を有する方法。
【請求項15】
コンピュータプログラムがプロセッサ上で実行されるときに、請求項１４記載の方法を実行するプログラムコードを備えたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
実施例は、顕微鏡システム用のシステムと、このようなシステムを有する顕微鏡システムと、対応する方法と、コンピュータプログラムと、に関する。
【背景技術】
【0002】
今日の顕微鏡システム、特に手術用顕微鏡システムにより、顕微鏡の操作中にユーザー（すなわち外科医）を支援するための多種多様な機能が提供される。同時に、ユーザーは、アイピースから目を離したくないという可能性がある。このことは、様々な機能を制御するために使用される入力装置が、ユーザーから隠されてしまう可能性があるため、顕微鏡システムの動作を複雑にしてしまうことがある。また、ユーザーに利用可能な異なる機能が数多くあることに起因して、入力装置のどの入力モダリティにより、どの機能が取り扱われるかがユーザーには確信できないようになってしまうことがある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
顕微鏡システムのユーザーがより容易に機能を理解し易くなる、顕微鏡システムのための改善されたコンセプトが提供されることが要求されている可能性がある。
【課題を解決するための手段】
【0004】
この要求は、独立請求項の対象によって取り扱われる。
【0005】
本開示の実施形態により、顕微鏡システムと、顕微鏡システム用の対応するシステムと、方法と、コンピュータプログラムと、が提供される。本開示の実施形態は、顕微鏡、特に手術用顕微鏡の操作中、顕微鏡のユーザーに多数の機能が自由に利用可能であるという発見に基づいている。例えば、眼の手術に使用される手術用顕微鏡では、それぞれ入力装置には、異なる入力モダリティ（例えば、ボタン、足作動型ボタン、コントロールスティック等）が含まれていてよく、ここでは手術用顕微鏡の動作モードに基づいて、入力モダリティに異なる機能が割り当てられる。また、それぞれのユーザー（例えば外科医）は、入力モダリティと顕微鏡の（制御）機能との間に、固定された関係がないように、自身の好ましい機能セットを入力装置に自由に割り当てることができる。本開示の実施形態により、与えられた入力装置を介してユーザーに利用可能である制御機能の視覚的オーバーレイを生成するように構成された、顕微鏡システム用のシステムと、対応する顕微鏡システムと、方法と、コンピュータプログラムと、が提供される。視覚的オーバーレイは、顕微鏡システムのディスプレイ装置、例えば、接眼ディスプレイまたは補助ディスプレイに提供され、制御機能が様々な入力モダリティに割り当てられていることを確認するために、顕微鏡のユーザーがこの視覚的オーバーレイを詳細に調べることができる。視覚的オーバーレイを呼び出すために、ユーザーは、トリガ信号を使用してシステムをトリガすることができ、このトリガ信号は、制御機能が表示されているまさにその入力装置を使用して生成されてもよいか、または異なるシステム、例えば、音声制御またはタッチベースのインタフェース等を使用して生成されてもよい。
【0006】
本開示の様々な実施形態は、顕微鏡システム用のシステムに関する。本システムは、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを有する。本システムは、トリガ信号を取得するように構成されている。トリガ信号は、顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。本システムは、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するように構成されている。本システムは、顕微鏡システムのディスプレイ装置に表示信号を供給するように構成されている。表示信号は、視覚的オーバーレイを有する。顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を有する視覚的オーバーレイは、顕微鏡システムのユーザー、例えば外科医が使用することができ、これにより、様々な入力モダリティに割り当てられている制御機能についての情報が通知され続ける。
【0007】
いくつかの実施例では、システムは、顕微鏡システムの１つまたは複数の入力装置の１つからトリガ信号を取得し、トリガ信号が受信される入力装置に関連付けられた制御機能の視覚表現との視覚的オーバーレイを生成するように構成されている。換言すると、トリガされる視覚的オーバーレイは、トリガを生成するために使用されるのと同じ入力装置に関係し得る。例えば、システムは、入力装置のボタンからトリガ信号を取得するように構成されていてもよい。このボタンは、顕微鏡システムが使用されている動作のモードにかかわらず、一定のままであってもよい。
【0008】
入力装置それ自体の他に、オーバーレイの表示をトリガするために別のモダリティが使用されてもよい。例えば、システムは、顕微鏡システムのマイクロフォンを介して取り込んだ音声を処理し、取り込んだ音声内でユーザーによって話された１つまたは複数のキーワードに基づいて、トリガ信号を生成するように構成されていてもよい。この実装形態では、ユーザー／外科医が使用しようとしている別の入力モダリティから手または足を移動させることを要求されないことがある。択一的または付加的に、システムは、顕微鏡システムのタッチスクリーンを介してトリガ信号を取得するように構成されていてもよい。例えば、助手により、タッチスクリーンを介して視覚的補佐がトリガされてもよい。
【0009】
顕微鏡システム、特に手術用顕微鏡システムは、広範囲の異なる入力装置を特徴としている。したがって視覚表現は、顕微鏡システムのフットペダルに、ハンドルに、顕微鏡システムのマウス（mouth）スイッチに、または顕微鏡システムのアイトラッキングシステムに関連付けられた制御機能を表すことができる。
【0010】
上で指摘したように、顕微鏡システム、特に手術用顕微鏡システムは、異なる動作モードで操作されてもよく、ここでは制御機能は、動作モード間で変化する、入力装置の入力モダリティに割り当てられている。したがって、入力装置は、入力装置の２つ以上のモードに関連付けられ、２つ以上のモードの１つが入力装置においてアクティブである２つ以上の機能セットを有していてもよい（または機能セットに作用するように構成されていてもよい）。本システムは、入力装置においてアクティブなモードに関連付けられた機能セットに基づいて、視覚表現を生成するように構成されていてもよい。換言すると、視覚的オーバーレイは、現在使用している動作モードに基づいて適合可能である。
【0011】
いくつかの実施例では、制御機能の視覚表現は、制御機能が関連付けられた入力装置の視覚表現を有する。これにより、特に、複雑な形状を有する入力装置、例えば、異なる側面に入力モダリティを備えたハンドル等に関連付けられた制御機能のよりわかり易い表示を可能にすることができる。
【0012】
前述のように、顕微鏡システムを介して、特に手術用顕微鏡システムを介して利用可能な制御機能は、絶えず拡張している。しかしながら、入力装置の限られた個数の異なる入力モダリティだけが同時に利用可能である。より多くの機能をサポートするために、「機能の無制限の選択」が、さらなるトリガ信号を介して使用可能である。換言すると、本システムは、別のトリガ信号を取得するように構成されていてもよく、この別のトリガ信号は、入力装置に関連付けられた制御機能を切り換えたいという、顕微鏡システムのユーザーの要求を示している。本システムは、別のトリガ信号に基づいて、入力装置に関連付けられた制御機能を切り換えるように構成されていてもよい。本システムは、入力装置に関連付けられた制御機能を切り換えた後に視覚表現を適合させるように構成されていてもよい。制御機能を切り換えることによって、入力装置を介してより多くの個数の機能を利用することができるのに対し、視覚的オーバーレイは、新たに選択された（すなわち切り換えられた）機能に関連付けられた入力装置の入力モダリティを示すために使用可能である。
【0013】
選択に利用可能な制御機能および選択の作用は、オーバーレイを介して強調表示可能である。換言すると、システムは、視覚的オーバーレイを生成して、この視覚的オーバーレイが、入力装置に現在、関連付けられている制御機能の視覚表現と、切り換え後に入力装置との関連付けに利用可能な制御機能の視覚表現と、を有するように構成されていてもよい。
【0014】
前に指摘したように、入力装置は、複数の入力モダリティ、例えば、１つまたは複数のボタン、１つまたは複数のパッド、１つまたは複数のコントロールスティック、１つまたは複数のロータリコントロール部等の少なくとも１つを有していてもよい。したがって、視覚表現は、入力装置の複数の入力モダリティに関連付けられた複数の制御機能を表すことができる。
【0015】
本開示の様々な実施形態によってさらに、システムと、入力装置と、ディスプレイ装置と、を有する顕微鏡システムが提供される。例えば、入力装置は、顕微鏡システムのフットペダル、ハンドル、マウススイッチまたはアイトラッキングシステムの１つであってもよい。上と同様に、入力装置は複数の入力モダリティを有することができ、複数の入力モダリティは、１つまたは複数のボタン、１つまたは複数のスイッチ、１つまたは複数のロータリコントロール部および１つまたは複数のコントロールスティックの少なくとも１つを有していてもよい。
【0016】
本開示の種々の実施形態によってさらに、顕微鏡システムのための対応する方法が提供される。本方法は、トリガ信号を取得するステップを有する。トリガ信号は、顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。本方法は、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するステップを有する。本方法は、顕微鏡システムのディスプレイ装置に、視覚的オーバーレイを有する表示信号を供給するステップを有する。
【0017】
本開示の様々な実施形態によってさらに、コンピュータプログラムがプロセッサ上で実行される場合に、本方法を実行するためのプログラムコードを有する、対応するコンピュータプログラムが提供される。
【0018】
以下では、単なる実施例として、また添付の図面を参照して、装置および／または方法のいくつかの実施例を説明する。
【図面の簡単な説明】
【0019】
【図1a】顕微鏡システム用のシステムの１つの実施例のブロック図である。
【図1b】眼科で使用される手術用顕微鏡システムの概略図である。
【図2】顕微鏡システムのための方法の１つの実際例のフローチャートである。
【図3a】手術用顕微鏡システムのフットペダルに割り当てられている機能の概略図である。
【図3b】手術用顕微鏡システムのフットペダルに割り当てられている機能の別の概略図である。
【図4a】顕微鏡システム用の入力装置および入力装置の入力モダリティの概略図である。
【図4b】顕微鏡システム用の入力装置および入力装置の入力モダリティの別の概略図である。
【図4c】顕微鏡システム用の入力装置および入力装置の入力モダリティのさらに別の概略図である。
【図5a】顕微鏡システムのディスプレイ装置上に表示される手術ガイダンスオーバーレイの概略図である。
【図5b】顕微鏡システムのディスプレイ装置上に表示される手術ガイダンスオーバーレイの別の概略図である。
【図6】画面上メニューの１つの実施例を示す図である。
【図7】顕微鏡およびコンピュータシステムを有するシステムの１つの実施例を示す図である。
【発明を実施するための形態】
【0020】
以下では、いくつかの実施例が示されている添付の図を参照して、様々な実施例をより完全に説明する。図において、線の太さ、層および／または領域は明瞭にするために誇張されていることがある。
【0021】
図１ａには、顕微鏡システム１００用のシステム１１０の１つの実施例のブロック図が示されている。システム１１０は、１つまたは複数のプロセッサ１１４と、１つまたは複数のストレージデバイス１１６と、を有する。システムは選択的にはさらにインタフェース１１２を有する。１つまたは複数のプロセッサ１１４は、選択的なインタフェース１１２と、１つまたは複数のストレージデバイス１１６と、に接続されている。一般に、システム１１０の機能は、１つまたは複数のプロセッサ１１４によって、例えば、選択的なインタフェース１１２および／または１つまたは複数のストレージデバイス１１６と合わせて提供される。
【0022】
本システムは、（例えばインタフェース１１２を介して）トリガ信号を取得するように構成されている。トリガ信号は、顕微鏡システムの入力装置１２０，１２５に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。本システムは、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するように構成されている。本システムは、（例えばインタフェース１１２を介して）顕微鏡システムのディスプレイ装置１３０に表示信号を供給するように構成されている。表示信号は、視覚的オーバーレイを有する。
【0023】
本開示の様々な実施形態によってさらに、システム１１０を有する顕微鏡システム１００、例えば手術用顕微鏡システム１００が提供される。図１ｂには、システム１００を有する、眼科で使用される手術用顕微鏡システムの概略図が示されている。顕微鏡システム１００はさらに、１つまたは複数の入力装置１２０，１２５、例えば、フットペダル１２０および／またはハンドル１２５、ディスプレイ装置１３０、および顕微鏡１６０を有する。顕微鏡システム１１０は、１つまたは複数の付加的で選択的な機能、例えば、（システム１１０を有する）ベースユニット１０５、顕微鏡１６０が取り付けられたアーム１７０、またはマイクロフォン１４０等を有していてもよい。例えば、顕微鏡１６０は、アイピース１３０を有していてもよい。図１ｂに示した顕微鏡システムは、外科医によって手術部位で使用され得る手術用顕微鏡システムである。特に、図１ｂに示した顕微鏡システムは、眼科（眼科手術）で使用される手術用顕微鏡システムであるが、別のタイプの手術用顕微鏡システム、例えば神経外科で使用される手術用顕微鏡システム等においても同じコンセプトが使用されてもよい。例えば、顕微鏡システムは、１つまたは複数の付加的なシステム、例えば光干渉断層撮影（ＯＣＴ）システム（図示せず）等を有していてもよいか、またはこれと組み合わせて使用可能である。
【0024】
本開示の実施形態は、顕微鏡システム、例えば図１ｂに関連して述べた顕微鏡システム１００等に適したシステム、方法およびコンピュータプログラムに関する。上述したように、顕微鏡１６０と顕微鏡システム１００とが区別され、ここでは顕微鏡システムは、顕微鏡１６０と、顕微鏡１６０と共に使用される様々なコンポーネント、例えば、照明システム、補助ディスプレイ等と、を有する。顕微鏡システムでは、実際の顕微鏡は、顕微鏡システムの光学部品を有するため、「オプティカルキャリア」と称されることも多い。一般に顕微鏡とは、人間の目（だけで）で検査するには小さすぎる対象体を検査するのに適した光学機器である。例えば、顕微鏡は、対象体の光学拡大を提供することができる。現代の顕微鏡では、光学拡大は、カメラまたはイメージングセンサに提供されることが多い。顕微鏡１６０はさらに、サンプル上の視野を拡大するために使用される１つまたは複数の光学拡大コンポーネントを含んでいてもよい。
【0025】
様々なタイプの顕微鏡が存在する。顕微鏡システムが医学分野または生物学分野で使用される場合、顕微鏡を通して見られる対象体は、有機組織のサンプル、例えばペトリ皿内に配置されたサンプル、または患者の身体の一部に存在するサンプルであってもよい。例えば、顕微鏡システム１００は、実験室で使用する顕微鏡システム、例えば、ペトリ皿内の有機組織のサンプルを検査するために使用することができる顕微鏡であってもよい。択一的に、顕微鏡１６０は、手術用顕微鏡システム１００の一部、例えば、手術手技中に使用される顕微鏡であってもよい。このようなシステムは、例えば図１ｂに示されている。複数の実施形態は、顕微鏡システムに関連して説明されているが、より一般的な仕方で、任意の光学装置にも適用可能である。例えば、顕微鏡システムは、材料、例えば金属または複合材料の材料試験または完全性試験を行うためのシステムであってもよい。
【0026】
本システムは、顕微鏡システムの入力装置１２０，１２５に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示すトリガ信号を取得するように構成されている。一般に、トリガ信号は、２つのタイプのソースから、すなわち、視覚表現を生成すべき入力装置または別の入力装置またはモダリティのいずれかから生じてもよい。
【0027】
第１のケースでは、トリガ信号は、視覚表現を生成すべき入力装置を示すこともできる。例えば、顕微鏡システムは、１つまたは複数の入力装置（例えば、複数の入力装置）を有していてもよい。トリガ信号を生じさせる入力装置（すなわち、トリガ信号が取得される入力装置）に応じて、１つまたは複数の入力装置の１つを選択することができ、選択した入力装置について視覚表現を生成することができる。換言すると、システムは、顕微鏡システムの１つまたは複数の入力装置１２０，１２５の１つからトリガ信号を取得し、トリガ信号が受信された入力装置（すなわち、トリガ信号を生じた入力装置）に関連付けられた制御機能の視覚表現との視覚的オーバーレイを生成するように構成されていてもよい。例えば、トリガ信号が顕微鏡システムのフットペダルから受信される場合、視覚表現は上記フットペダルに関連していてもよい。例えば、システムは、入力装置のボタンから、または入力装置のボタンを介して、トリガ信号を取得するように構成されていてもよい。換言すると、トリガ信号は、入力装置のボタンが作動されたことに応じて生成されてもよい。
【0028】
第２のケースでは、トリガ信号は、視覚表現が生成される入力モダリティとは異なる入力モダリティから受信され、この入力モダリティから生じ、この入力モダリティによって生成される。例えば、トリガ信号は、顕微鏡システムのセンサによって生成される入力信号を処理することにより、システムそれ自体によって生成されてもよい。例えば、顕微鏡システムは、マイクロフォン１４０を有していてもよいし、マイクロフォン１４０に接続されていてもよい。本システムは、マイクロフォン１４０を介して取り込んだ音声を処理し、取り込んだ音声内でユーザーによって話された１つまたは複数のキーワードに基づいて、トリガ信号を生成するように構成されていてもよい。例えば、システムは、取り込んだ音声内の１つまたは複数のキーワード（またはキーフレーズ）、例えば、「フットペダルの機能を示せ」または「メイン入力装置の概要を示せ」または「顕微鏡をフォーカスする／ズームする仕方は」等を検出するように構成することもできる。顕微鏡システムは、別のタイプのセンサ、例えば、ユーザーのアイトラッキングを実行するためのカメラ、またはユーザーのジェスチャを検出するための深度センサ等も有していてもよい。本システムは、カメラまたは深度センサのセンサデータを処理し、センサデータに基づいてトリガ信号を生成するように構成されていてもよい。いくつかの実施例では、トリガ信号は、顕微鏡システムのタッチスクリーン１５０を介して生成されてもよい。換言すると、本システムは、顕微鏡システムのタッチスクリーン１５０を介してトリガ信号を取得するように構成されていてもよい。例えば、トリガ信号を生成するために、ユーザー／外科医自身によってまたは助手によってタッチスクリーンを作動させることもできる。
【0029】
一般に、提案したコンセプトは、任意のタイプの入力装置に使用可能である。（手術用）顕微鏡システムでは、主に使用される２つの入力装置は、顕微鏡システムのフットペダル１２０およびハンドル１２５である。しかしながら、別の入力装置、例えば、顕微鏡システムのマウススイッチまたはアイトラッキングシステム等にも同じコンセプトを適用することができる。換言すると、入力装置は、顕微鏡システムのフットペダル１２０、ハンドル１２５、マウススイッチまたはアイトラッキングシステムの１つであってもよい。したがって視覚表現は、顕微鏡システムのフットペダル１２０に、ハンドル１２５に、顕微鏡システムのマウススイッチに、または顕微鏡システムのアイトラッキングシステムに関連付けられた制御機能を表すことができる。いずれのケースでも、入力装置または１つもしくは複数の入力装置は、１つまたは複数の入力モダリティに関連付けられた制御機能に関して再構成可能である１つまたは複数の入力モダリティを有する入力装置／１つまたは複数の入力装置であってもよい。同時に、入力装置の制御機能が入力装置それ自体に表示されないこともある。特に、入力装置は、タッチスクリーンでなくてもよく、タッチスクリーンの場合と同様に、グラフィカルユーザーインタフェースの要素の制御機能がつねに画面上に表示されていてもよい。例えば、入力装置は、ディスプレイ装置とは別体であってもよい。例えば、入力装置は、タッチスクリーンとは別の物理的な入力装置であってもよい。
【0030】
本願では、「入力装置」と「入力モダリティ」とを区別する。一般に、「入力装置」は、装置それ自体、例えばフットペダルまたはハンドル等に関係していてもよく、「入力モダリティ」は、制御機能をトリガするために入力装置によって提供される手段に関係していてもよい。例えば、入力装置は、複数の入力モダリティを含んでいてもよく、ここで複数の入力モダリティは、１つまたは複数のボタン、１つまたは複数のスイッチ、１つまたは複数のロータリコントロール部、および１つまたは複数のコントロールスティックの少なくとも１つを有していてもよい。例えば、入力装置の「フットペダル」１２０は、複数の入力モダリティ、例えば、押下可能なボタン、１つまたは別の方向に傾けることができるパッド、または複数の方向の１つに傾けることができるコントロールスティックを有していてもよい。例えば、図４ａには、６つのボタン４０１，４０４，４０５，４０８，４１３および４１４と、左（４０２，４０６）および右（４０３，４０７）にそれぞれ押すことができる２つのパッドと、左４０９、上４１０、右４１１および下４１２に傾けることが可能なコントロールスティックと、を備えたフットペダル（すなわち入力装置）が示されており、ボタンにより、パッドを押すことができる方向およびコントロールスティックを傾けることができる方向によって、全部で１４個の入力モダリティ（ボタンを介して６個、パッドを介して４個、コントロールスティックを介して４個）が提供される。入力装置がアイトラッキングシステムである場合、ユーザーが注視する異なる方向は、入力モダリティに対応していてもよい。入力装置がマウススイッチである場合、入力モダリティは、「作動モダリティ」（例えば、顎を介して作動されるスイッチ）、および口を介して作動される４方向ジョイスティックであってよい。
【0031】
明らかなように、「フットペダル」という用語は、足によって作動可能な単一のボタンに使用されるのではなく、複数の入力モダリティを有する入力装置全体に使用される。同様に、図４ｂに示したハンドルはそれぞれ２つの入力モダリティ、すなわち時計回りの回転および反時計回りの回転を有する。図４ｃのハンドルは、１０個の入力モダリティを有し、６個のボタン４３５～４４０と、４方向（４３１～４３４）に向けることができるコントロールスティックと、を有する。明らかなように、複数の制御機能は、入力装置の複数の入力モダリティに関連付けることができる。したがって、視覚表現は、入力装置の複数の入力モダリティに関連付けられた複数の制御機能を表すことができる。
【0032】
上の実施例から明らかなように、複雑な形状を有し得る入力装置、例えば図４ｃに示されている制御ハンドル等により、多数の入力モダリティをサポートすることができる。視覚的オーバーレイの理解し易さを助けるために、入力装置の視覚表現は、視覚表現、例えば３次元視覚表現に含まれていてもよい。換言すると、制御機能の視覚表現は、制御機能が関連付けられた入力装置の視覚表現、例えば３次元表現等を有していてもよい。いくつかの実施例では、ディスプレイ装置１３０は、３次元画像を表示するためのディスプレイ装置であってもよい。例えば、ディスプレイ装置は、ユーザー／外科医が偏光ガラスを着用した状態で、異なる偏光を使用して３次元画像を提供するように構成されてもよい。
【0033】
トリガ信号は、顕微鏡システムの入力装置１２０，１２５に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。換言すると、トリガ信号は、入力装置に関連付けられた制御機能の視覚表現をディスプレイに表示するためにユーザーによってトリガされる。したがって、視覚表現は、トリガ信号に応じて表示される。いくつかの実施例では、トリガ信号がアクティブである限り（その場合にのみ）、視覚表現が示されてもよい。択一的には、視覚表現は、トリガ信号に応じて事前に定められた時間の間、表示され、事前に定められた時間の後、隠されてもよい。例えば、本システムは、事前に定められた時間の後、視覚表現を隠す、かつ／またはフェードアウトするように構成されていてもよい。
【0034】
本システムは、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するように構成されている。一般に、制御機能のあらゆる種類の視覚表現が、視覚的オーバーレイの一部であってもよい。例えば、視覚表現は、制御機能のピクトグラム表現を有していてもよいか、または視覚表現は、制御機能のテキスト表現を有していてもよい。換言すると、入力モダリティの１つの入力モダリティを介してアクセス可能なそれぞれの制御機能について、視覚表現は、例えば図３ａおよび図３ｂに示したようなテキスト表現またはピクトグラム表現を有していてもよい。例えば、視覚的オーバーレイは、入力装置のレイアウトを模倣した形の、入力モダリティに関連付けられている制御機能の視覚表現を有していてもよく、例えば、図３ａ～図４ｃに示したように、例えば、入力デバイスそれ自体の視覚表現の近傍に配置されている、制御機能の視覚表現を有する。例えば、視覚表現は、顕微鏡システムのフットペダル１２０に、ハンドル１２５に、顕微鏡システムのマウススイッチに、または顕微鏡システムのアイトラッキングシステムに、かつ／または特に、それぞれの入力装置によって提供される入力モダリティに関連付けられた制御機能を表すことができる。
【0035】
一般に、制御機能は、トリガされまたは適合され得る、顕微鏡システムの任意の機能、例えば、ズーム機能、フォーカス機能、顕微鏡システムのロボットアームの運動、顕微鏡システムの画像処理機能、顕微鏡システムの表示機能、顕微鏡システムの照明機能（例えば蛍光刺激または可視光照明）等に関連していてもよい。いくつかのケースでは、制御機能は、顕微鏡システムに接続された別の装置、例えば、眼科手術に使用される手術用顕微鏡システムの場合の光干渉断層撮影および眼内レンズガイダンス等に関係していてもよい。換言すると、制御機能は、顕微鏡システムによって提供される機能、および／または顕微鏡システムに接続された、もしくは顕微鏡システムに一体化された装置、例えば、ＯＣＴシステムまたはレンズガイダンス等によって提供される機能に関係していてもよい。
【0036】
上述したように、顕微鏡システム、特に手術用顕微鏡システムは、１つ以上の動作モードを有していてもよい。例えば、眼科手術に使用される手術用顕微鏡システムは、硝子体網膜モードおよびＯＣＴモードを有していてもよい。異なる動作モードでは、入力装置／入力装置の入力モダリティに、異なる制御機能を関連付けることができる。例えば、図３ａおよび図３ｂでは、硝子体網膜（ＶＲ）およびＯＣＴ動作モードにおける機能の割り当ての実施例が示されている。硝子体網膜モードでは、全ライトのオン／オフ、倍率－、倍率＋、ＯＣＴモードオン／オフ、フォーカス－、フォーカス＋、ＶＲ同期フォーカス＋、ＶＲ同期フォーカス－、Ｘ－、Ｘ＋、Ｙ＋、Ｙ－およびＶＲモードオン／オフの機能が、入力装置の異なるモダリティに割り当てられている。ＯＣＴモードでは、ＯＣＴライブモード／フリーズ、ＯＣＴ最適化、ＯＣＴ自動位置決め、ＯＣＴモードオン／オフ、ＯＣＴスキャン、ＯＣＴ次プロシージャ、ＯＣＴ Ｚ－、ＯＣＴ Ｚ＋、ＯＣＴ左、ＯＣＴ右、ＯＣＴ上、ＯＣＴ下、ＯＣＴセーブｂおよびＯＣＴジョイスティック状態変更の機能が、入力装置の異なるモダリティに割り当てられている。より正式な言い方をすると、入力装置は、入力装置の２つ以上のモードに関連付けられた２つ以上の機能セットを有していてもよいか、またはこれらで構成されていてもよい。同時に、入力装置の２つ以上のモードは、顕微鏡システムの２つ以上の動作モードに関連付けられてもよい。２つ以上のモードの１つ（すなわち１つのモード）が、（所定の時点に）入力装置においてアクティブであってもよい。本システムは、入力装置においてアクティブなモードに関連付けられた機能セットに基づいて、視覚表現を生成するように構成されていてもよい。換言すると、視覚表現は、入力装置／顕微鏡システムにおいてどのモードがアクティブであるかに応じて生成されてもよい。
【0037】
いくつかのケースでは、利用可能な異なる機能の個数は、入力装置または１つもしくは複数の入力装置によって提供される入力モダリティを上回る。どの入力装置のどの入力モダリティにも割り当てられていない可能性のあるこのような機能の選択を可能にするために、視覚的オーバーレイが使用可能である。例えば、視覚的オーバーレイは、入力装置に関連付けられた制御機能の視覚表現に加えて、利用可能な別の機能についての情報を表示するために使用可能である。これにより、顕微鏡システムが、視覚的オーバーレイを介して顕微鏡システムのユーザーに利用可能な「無制限の機能」を提供できるようにすることができる。無制限の機能にアクセスするために、ユーザーは、別のトリガ信号を介して、利用可能な機能を表示するようにシステムに要求することができる。換言すると、システムは、別のトリガ信号を取得するように構成されていてもよい。例えば、別のトリガ信号は、上で規定したトリガ信号と同様に取得されてもよく、複数の入力装置の１つから、タッチスクリーンから生じてもよく、またはセンサ入力に基づいて、システムによって生成されてもよい。別のトリガ信号は、入力装置に関連付けられた制御機能を切り換えたいという、顕微鏡システムのユーザーの要求を示していてもよい。したがって、本システムは、別のトリガ信号に基づいて、入力装置に関連付けられた制御機能を切り換えるように構成されていてもよい。換言すると、本システムは、別のトリガ信号の受信に応じて、入力装置に関連付けられた制御機能を切り換えるためにトリガされてもよい。例えば、入力装置のそれぞれの入力モダリティに関連付けられた機能は、別のトリガ信号に基づき、入力装置に関連付けられた制御機能を切り換えることによって変更可能である。したがって、本システムは、入力装置に関連付けられた制御機能を切り換えた後、（切り換え後に入力装置に関連付けられた制御機能を示すために）視覚表現を適合させるように構成されていてもよい。
【0038】
多くのケースでは、利用可能な機能の量は膨大であるため、ユーザー／外科医は、要求した制御機能に到達するために、多数の機能にわたって切り換える必要がある。適切には、利用可能な制御機能を視覚的オーバーレイに表示することができるため、ユーザー／外科医は、利用可能な機能に気付かされ、視覚的オーバーレイによって支援されて、要求した制御機能を選択することができる。例えば、図６では、ユーザーによる選択のために、７つの異なる制御機能６１０～６７０がスクリーン上のアイテムとして示されている。したがって、システムは、視覚的オーバーレイを生成して、この視覚的オーバーレイが、入力装置に現在、関連付けられている制御機能の視覚表現（すなわち、入力装置に関連付けられた制御機能の視覚表現）と、切り換え後に入力装置との関連付けに利用可能な制御機能の視覚表現と、を含むように構成することができる。換言すると、利用可能な制御機能、すなわち、切り換え後の入力装置との関連付けに利用可能な制御機能を視覚的オーバーレイの一部として表示することができる。例えば、切り換え後の入力装置との関連付けに利用可能な、制御機能の視覚表現は、例えば、別のトリガ信号の受信に応じて、または別のトリガ信号が受信される限り、入力装置に現在、関連付けられている制御機能の視覚表現と並べて、またはその代わりに示されてもよい。
【0039】
いくつかの実施例では、スマートガイダンス機能が提供可能である。例えば、本システムは、手術用顕微鏡システムの支援によって実行される手術の進行状況に基づいて、切り換え後の入力装置との関連付けに利用可能な制御機能を選択するように構成可能である。さらに、本システムは、外科医が実行している手術の後続のステップに関連付けられた制御機能を選択するために外科医がガイドされるように、視覚的オーバーレイを生成するように構成されていてもよい。
【0040】
本システムは、（例えば、インタフェース１１２を介して）顕微鏡システムのディスプレイ装置１３０に、視覚的オーバーレイを有する表示信号を供給するように構成されている。ディスプレイ装置は、表示信号に基づいて視覚的オーバーレイを表示するように、例えば、表示信号に基づいてサンプル上のビューの上に視覚的オーバーレイを挿入するように構成されていてもよい。例えば、ディスプレイ信号は、視覚的オーバーレイを有するビデオストリームまたは制御命令を有していてもよく、例えば、これにより、それぞれのディスプレイ装置によって視覚的オーバーレイが表示される。例えば、ディスプレイ装置は、顕微鏡の接眼ディスプレイおよび手術用顕微鏡システムの補助ディスプレイの１つであってよい。現代の（手術用）顕微鏡システムでは、サンプル上のビューは、ディスプレイを介して、例えば、接眼ディスプレイ、補助ディスプレイまたはヘッドセットディスプレイ等を介して、例えば、それぞれの顕微鏡の光イメージングセンサの画像センサデータに基づいて生成されるビデオストリームを使用して供給されることが多い。このケースでは、視覚的オーバーレイは、ビデオストリーム上に単にオーバーレイされてもよい。例えば、本システムは、顕微鏡の光イメージングセンサの画像センサデータを取得し、画像センサデータに基づいてビデオストリームを生成し、またビデオストリーム上に視覚的オーバーレイをオーバーレイすることによって表示信号を生成するように構成されていてもよい。
【0041】
択一的には、視覚的オーバーレイは、サンプルの光学ビュー上にオーバーレイされてもよい。例えば、顕微鏡のアイピースは、サンプル上に光学ビューを供給するように構成されていてよく、ディスプレイ装置は、例えば、顕微鏡の光路内に配置されたマジックミラーまたは半透明ディスプレイを使用して、サンプル上の光学ビューにオーバーレイを挿入するように構成されていてもよい。例えば、顕微鏡は、少なくとも１つの光路を有する光学顕微鏡であってもよい。マジックミラーは、光路内に配置可能であり、視覚的オーバーレイは、マジックミラー上に投影可能であり、ゆえにサンプル上のビューにオーバーレイ可能である。このケースでは、ディスプレイ装置は、ミラーに向かって視覚的オーバーレイを投影し、例えば、これにより、視覚的オーバーレイが、顕微鏡のアイピースに向かって反射されるように構成されている投影装置であってもよい。択一的には、ディスプレイは、顕微鏡の光路内にオーバーレイを供給するために使用されてもよい。例えば、ディスプレイ装置は、光路内に配置されている少なくとも１つのディスプレイを有していてもよい。例えば、ディスプレイは、投影ベースのディスプレイ、およびスクリーンベースのディスプレイ、例えば液晶ディスプレイ（ＬＣＤ）、または有機発光ダイオード（ＯＬＥＤ）ベースのディスプレイ等の１つであってもよい。例えば、ディスプレイは、光学立体顕微鏡のアイピース内に、例えば、それぞれの接眼鏡における１つのディスプレイ内に配置されてもよい。例えば、２つのディスプレイを使用して、拡張現実接眼鏡、すなわち拡張現実接アイピースに光学顕微鏡の接眼鏡を変えることができる。択一的に、拡張現実接アイピース／接眼鏡を実装するために別の技術を使用することもできる。
【0042】
インタフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードによるデジタル（ビット）値であってもよい情報を受信および／または送信するための１つまたは複数の入力部および／または出力部に対応していてもよい。例えば、インタフェース１１２は、情報を受信および／または送信するように構成されたインタフェース回路を有してもよい。複数の実施形態では、１つまたは複数のプロセッサ１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理装置、任意の処理手段、例えば、相応に適合されたソフトウェアで動作可能なプロセッサ、コンピュータ、またはプログラミング可能なハードウェアコンポーネント等を使用して実装されてもよい。換言すると、１つまたは複数のプロセッサ１１４の記述した機能は、ソフトウェアで実装されてもよく、このソフトウェアはこの場合に１つまたは複数のプログラミング可能なハードウェアコンポーネント上で実行される。このようなハードウェアコンポーネントは、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラ等を有していてもよい。少なくともいくつかの実施形態では、１つまたは複数のストレージデバイス１１６は、コンピュータ読取記憶媒体、例えば、磁気または光学記憶媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、またはネットワークストレージ等のグループの少なくとも１つの要素を有していてもよい。
【0043】
提案したコンセプトまたは上述もしくは後述の１つまたは複数の実施例に関連して（例えば、図２～図７）、本システムおよび顕微鏡システムのさらなる詳細および態様を述べる。本システムまたは顕微鏡システムは、提案したコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の実施例に対応する１つまたは複数の付加的で選択的な特徴を有していてもよい。
【0044】
図２には、顕微鏡システムのための対応する方法の１つの実際例のフローチャートが示されている。本方法は、トリガ信号を取得するステップ２１０を有する。トリガ信号は、顕微鏡システムの入力装置に関連付けられた制御機能の視覚表現を表示したいという、顕微鏡システムのユーザーの要求を示している。本方法は、トリガ信号に基づいて、視覚表現を有する視覚的オーバーレイを生成するステップ２２０を有する。本方法は、顕微鏡システムのディスプレイ装置に、視覚的オーバーレイを有するディスプレイ信号を供給するステップ２３０を有する。
【0045】
【0046】
提案したコンセプトまたは上述もしくは後述の１つまたは複数の実施例に関連して（例えば、図１ａ～図１ｂ、図３～図７）、本方法のさらなる詳細および態様を述べる。本方法は、提案したコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の実施例に対応する１つまたは複数の付加的で選択的な特徴を有していてもよい。
【0047】
本開示の様々な態様は、顕微鏡インタラクションのための手術制御ガイダンスに関する。
【0048】
（フットスイッチとしても知られる）フットペダルおよびハンドルコントロールは、手術において極めて重要な役割を果たす。モデルおよびメーカー間で微妙なぱらつきはあるが、顕微鏡フットペダルの基本および顕微鏡の操作は同様である。主な顕微鏡制御は、焦点、ズームおよびセンタリングである。付加的な機能には、顕微鏡の照明をオンオフにする能力も輝度を調整する能力も含まれる。
【0049】
しかしながら、様々なタイプの手術の間、１つのフットペダルよりも多くのフットペダルが使用されているため、外科医の手足はビジー状態になることがあり、例えば、眼科における基本的な白内障手術では、一方の足は顕微鏡ペダル上に置かれ、他方の足は水晶体乳化用ペダル上に置かれ、一方の手は水晶体乳化ハンドピースとインタラクトし、他方の手は水晶体乳化チョッパ器具を保持する。
【0050】
眼科では、一般的な手術には複数のフットペダルが必要とされることがあり、外科医は、顕微鏡制御用のフットペダル、水晶体洗浄、吸引および超音波出力送出を制御するための水晶体乳化用フットペダル、硝子体切除用フットペダル、およびレーザ光凝固用フットペダルを制御することができる。マイクロサージャリーでは、右ハンドルおよび左ハンドルの両方に合計２０個の機能を提供するために、顕微鏡ハンドルにはそれぞれ１０個までの機能をプログラミングできる。
【0051】
これにより、いくつかの課題が生じる。第１に、経験の浅い外科医は、フットペダルにどのような機能がプログラミングされているかを思い出すことに苦労することがあり、時には手術中に容易に参照できるように、制御のハードコピーのプリントアウトまたは手描きのイラストを顕微鏡に貼り付けることもある。
【0052】
患者の転帰および外科医の効率を改善するための高度な手術ガイダンス技術の導入により、新たなソフトウェアアプリケーションが顕微鏡に一体化される（例えば眼内レンズガイダンス、光干渉断層画像視覚化、拡張蛍光イメージング）。これらの手術ガイダンスアプリケーションは、顕微鏡上で利用可能な同じフットペダルおよびハンドルによってアクティブ化されて制御される。その結果、経験豊富な外科医は、付加的な機能をプログラムし、これらの新たな制御に再度、慣れるために、新たなセットの課題に取り組むことができる。これらの外科医にとっての痛点は、プログラムされた機能がモード間で異なり得るため、それぞれの手術「モード」（通常、硝子体網膜、ＯＣＴ機能等）について、それぞれのフットペダルまたはハンドルボタンの関連付けられた機能を思い出すことになり得る。
【0053】
図３ａおよび図３ｂには、手術用顕微鏡システムのフットペダルに割り当てられている機能の概略図が示されている。図３ａおよび図３ｂには、高度な手術ガイダンスアプリケーションのための新たな機能により、どのように付加的な複雑さが持ち込まれるかが示されており、経験豊富な外科医は、手術モード（例えば硝子体網膜機能、ＯＣＴ機能）間で切り換える場合に、フットペダルおよびハンドルにプログラミングされた特定の機能を記憶することができる。図３ａおよび図３ｂのフットペダルは、複数の入力モダリティを有し、これらの入力モダリティは、下側左ボタン３０１ａ／ｂと、下側右ボタン３０４ａ／ｂと、左側部３０２ａ／ｂおよび右側部３０３ａ／ｂを有する下側パッドと、中央左ボタン３０５ａ／ｂと、中央右ボタン３０６ａ／ｂと、左側部３０７ａ／ｂおよび右側部３０８ａ／ｂを有する中央パッドと、左位置３０９ａ／ｂ、上位置３１０ａ／ｂ、右位置３１１ａ／ｂおよび下位置３１２ａ／ｂに動かすことが可能なスティックを有する上部コントロールスティックと、上部左ボタン３１３ａ／ｂと、上部右ボタン３１４ａ／ｂと、を有する。例えば、図３ａには、硝子体網膜モード用の機能の例示的な割り当てが示されており、ここでは、（制御）機能の全ライトオン／オフが下側左ボタン３０１ａに割り当てられており、倍率－が下側パッドの左側部３０２ａに割り当てられており、倍率＋が下側パッドの右側部３０３ａに割り当てられており、ＯＣＴモードオン／オフが下側右ボタン３０４ａに割り当てられており、フォーカス－が中央左ボタン３０５ａに割り当てられており、フォーカス＋が中央右ボタン３０６ａに割り当てられており、ＶＲ同期フォーカス＋が中央パッドの左側部３０７ａに割り当てられており、ＶＲ同期フォーカス－が、中央パッドの右側部３０８ａに割り当てられており、Ｘ－が左位置３０９ａに動く上部コントロールスティックに割り当てられており、Ｘ＋が右位置３１１ａに動く上部コントロールスティックに割り当てられており、Ｙ＋が、上位置３１０ａに動く上部コントロールスティックに割り当てられており、Ｙ－が、下位置３１２ａに動く上部コントロールスティックに割り当てられており、上部左ボタン３１３ａには何も割り当てられておらず、ＶＲモードオン／オフが上部右ボタン３１４ａに割り当てられている。
【0054】
図３ｂには、ＯＣＴモード用の機能の例示的な割り当てが示されており、ここでは、（制御）機能のＯＣＴライブモード／フリーズが下側左ボタン３０１ｂに割り当てられており、ＯＣＴ最適化が下側パッドの左側部３０２ｂに割り当てられており、ＯＣＴ自動位置決めが下側パッドの右側部３０３ｂに割り当てられており、ＯＣＴモードオン／オフが下側右ボタン３０４ｂに割り当てられており、ＯＣＴスキャンが中央左ボタン３０５ｂに割り当てられており、ＯＣＴ次プロシージャが中央右ボタン３０６ｂに割り当てられており、ＯＣＴ Ｚ－が中央パッドの左側部３０７ｂに割り当てられており、ＯＣＴ Ｚ＋が中央パッドの右側部３０８ｂに割り当てられており、ＯＣＴ左が、左位置３０９ｂに動く上部コントロールスティックに割り当てられており、ＯＣＴ右が、右位置３１１ｂに動く上部コントロールスティックに割り当てられており、ＯＣＴ上が、上位置３１０ｂに動く上部コントロールスティックに割り当てられており、ＯＣＴ下が、下位置３１２ｂに動く上部コントロールスティックに割り当てられており、ＯＣＴ保存が、上部左ボタン３１３ｂに割り当てられており、ＯＣＴジョイスティック状態変更が上部右ボタン３１４ｂに割り当てられている。
【0055】
フットペダルおよびハンドル上では、限られたインタラクションが利用可能であり、これらの限られたインタラクションにより、制御においてプログラミングすることができる機能の個数が限定されることがある。例えば、眼科では、フットペダル上に１２個～１４個の機能が加わると共に、ハンドル上の様々なモダリティに４個の機能が、またマイクロサージャリーでは、ハンドル上に最大１０個の機能が割り当て可能である。外科医は、手術前に、残りの未選択機能はアクセス不可にした状態で、どの機能が必要であるかを優先付けしてプログラミングを行うことができる。
【0056】
このことは、フットペダルまたはハンドル上に付加的な機能をプログラミングすることを必要とする新たな技術の採用障壁につながる可能性がある。利用可能なインタラクションが限られているため、外科医は、「モード」（通常、硝子体網膜、ＯＣＴ機能等）間で切り換えるために専用のボタンをプログラミングすることが多く、これにより前述したように複雑になってしまう。
【0057】
図４ａ～図４ｃには、顕微鏡システム用の入力装置および入力装置の入力モダリティの概略図が示されている。図４ａおよび図４ｂには、眼科においてフットペダルおよびハンドル上で利用可能な限られたインタラクション、すなわちフットペダル上の１２個～１４個（下側左ボタン４０１と、下側右ボタン４０４と、左側部４０２および右側部４０３を有する下側パッドと、中央左ボタン４０５と、中央右ボタン４０６と、左側部４０７および右側部４０８を有する中央パッドと、左位置４０９、上位置４１０、右位置４１１、および下位置４１２に動かすことができるスティックを有する上部コントロールスティックと、上部左ボタン４１３と、上部右ボタン４１４）に加え、ハンドル上の４個（左側部上の時計回りの回転４２１、左側部上の反時計回りの回転４２２、右側部上の時計回りの回転４２３、右側部上の反時計回りの回転４２４）が示されている。図４ｃには、マイクロサージャリーにおいてハンドル上で利用可能な限られたインタラクション、すなわち、ハンドル上の最大１０個のインタラクション（上４３１、左４３２、右４３３および下４３４の位置に動かすことができる上部コントロールスティック、上側左ボタン４３５、上側右ボタン４３６、下側左ボタン４３７、下側右ボタン４３８、右側ボタン４３９ならびに背面ボタン４４０）が示されている。
【0058】
本開示の様々な態様により、顕微鏡スタンドモニタ、ヘッドアップディスプレイまたは外部手術室モニタのいずれかに投影される（ディスプレイ装置の）画面上にフットペダルまたはハンドル機能の手術ガイダンスオーバーレイが提供される。このオーバーレイは、手術中の外科医に対するリマインダとして、ハンドルまたはフットスイッチに事前プログラミングされている機能を表示することができる。このオーバーレイは、ハンドルまたはフットスイッチ上の専用ボタンをトリガすることによって、または顕微鏡タッチスクリーン上のユーザーインタフェースを介して、またはハンドルまたはフットスイッチ機能のいずれかのアクティベーションを介してアクティブ化することができる。換言すると、トリガ信号は、ハンドルまたはフットスイッチ上の専用のボタンのトリガに応じて、または顕微鏡タッチスクリーン上のユーザーインタフェースを介して、またはハンドルまたはフットスイッチ機能のいずれかのアクティベーションを介して生成されてもよい。このオーバーレイは、手術ワークフローを中断することなく、自動的にフェードインおよびフェードアウトさせることができる。
【0059】
以下では、提案したコンセプトの概要を示す。提案したコンセプトでは、外科医の制御の手術ガイダンスオーバーレイ、すなわち視覚的オーバーレイ、すなわち（フットスイッチまたはハンドルを介する）制御機能の視覚表現は、顕微鏡スタンドモニタ、ヘッドアップ３Ｄディスプレイ、外部手術室モニタまたはデジタルビューアに投影される。このオーバーレイにより、手術中に外科医が参照するためのクイックガイドが提供される。外科医が、手術ワークフローから途切れのないビューを得られるようにするために、ヘッドアップ３Ｄディスプレイまたは任意のデジタルビューアにオーバーレイを表示することができる。
【0060】
いくつかのケースでは、入力装置および顕微鏡システムは、複数の動作モード、または略してモードをサポートすることができる。このケースではオーバーレイは、手術中に使用している手術モードにしたがい、フットペダルボタンおよびハンドルインタラクションの関連付けられた機能を表示することができる。表示される機能は、モードによって異なっていてもよい。
【0061】
いくつかの実施例では、スマートガイダンス機能が提供可能である。例えば、臨床ワークフロー効率を改善するために、手術ステップにおける次の機能を選択するように外科医に促しかつ外科医をガイドするようにスマートガイダンス機能を一体化することができる。
【0062】
またオーバーレイは、サードパーティアクセサリからの機能およびガイダンス、例えば、水晶体乳化または硝子体網膜器具用のペダル制御等を表示するようにプログラミング可能であり、これにより、外科医に対して手術コックピット体験を行うことができるようにし、この際に全ての有用なデータおよび制御が、外科医によって一目で捉えられるように表示される。
【0063】
オーバーレイに使用されるディスプレイ形式について、オーバーレイは、アクティベーションと同時にレイヤにおける透明なフェードとして表示されてもよく、これは追加のステップを必要とすることなく自動的にフェードアウトしてもよい。
【0064】
手術ガイダンスオーバーレイは、ハンドルまたはフットスイッチ上で専用に事前プログラミングされたインタラクションをトリガすることにより、または顕微鏡モニタ上のタッチインタフェースを介してアクティブになってよく、またはハンドルまたはフットスイッチ上で標準機能がトリガされるときに自動的にアクティブになってもよい。また手術ガイダンスオーバーレイは、別の手段、例えば音声認識、頭部運動、アイトラッキング、またはフットペダルまたはハンドル上のタッチ対応インタフェース等によってアクティブにされてもよい。
【0065】
付加的にオーバーレイは、選択のために回転させることができるオプションのリストを画面上に表示することにより、機能の無制限の選択を外科医に提供することができる。換言すると、手術ガイダンスオーバーレイは、外科医による選択およびアクティベーションのために画面上に表示可能な、機能の無限の範囲を提供することができる。これにより、外科医は、フットペダル（最大１４の機能）上に、またはハンドル（最大４個の眼科、最大１０個のマイクロサージャリー）上に事前プログラミング可能なものを越えることができる。
【0066】
これらの付加的な機能、すなわち「無制限の機能」は、画面上の回転メニューまたはポップアップメニューとして表示可能であり、これにより、顕微鏡に接続されたフットペダル、ハンドルまたはタッチインタフェースによるアクティベーションのために選択可能な機能の範囲が提供される。表示される付加的な機能は、操作中の手術モードに基づいて推奨される事前設定の範囲であってよいか、または外科医は、アクティベーションまたは停止のために画面上に表示されるように、自身の好みの機能を事前に選択してもよい。これは、手術ワークフロー、例えば光干渉断層撮影および眼内レンズガイダンス等をガイドするために、ますます多くの機能が顕微鏡システムに一体化されることを考えると特に有益である。将来の手術トレンドがますますデジタルワークフローに向かって進むにつれて、新たなソフトウェア機能、例えば、ツールトラッキング、特徴認識、音声認識等は、顕微鏡機能の一部として一体化可能であり、これらの新たなソフトウェア機能には同じ入力装置を介してアクセス可能である。これらの多数の新しい機能は、手術中に表示、選択およびアクティブ化される提案したコンセプトから恩恵を受けることができる。手術ガイダンスオーバーレイは、これを可能にするプラットフォームを提供することができ、これにより、外科医が、ハンドルおよびフットスイッチ上での限られたインタラクションを越えて操作できるようになる。
【0067】
図５ａおよび図５ｂには、顕微鏡システムのディスプレイ装置に表示される手術ガイダンスオーバーレイの概略図が示されている。図５ａには、顕微鏡システム５００の顕微鏡ディスプレイ１３０上にオーバーレイとして表示されるフットペダル１２０またはハンドル機能１２５が示されている。このオーバーレイは、ハンドルまたはフットスイッチ上の専用ボタンをトリガすることによって、または顕微鏡タッチスクリーン上のユーザーインタフェースを介して、またはハンドルまたはフットスイッチ機能のいずれかのアクティベーションを介してアクティブ化することができる。図５ｂには、顕微鏡システム５００の別の実装形態において、手術コックピット体験の一部として、３Ｄヘッドアップ手術ディスプレイ１３０上にオーバーレイとして表示されるフットペダルまたはハンドル機能が示されている。ここでもこのオーバーレイは、ハンドルまたはフットスイッチ上の専用ボタンをトリガすることによって、または、顕微鏡タッチスクリーン上のユーザーインタフェースを介して、または、ハンドルまたはフットスイッチ機能のいずれかのアクティベーションを介してアクティブ化可能である。
【0068】
図６に示したように、外科医は、フットペダルおよびハンドル上で利用可能な物理的インタラクションの個数によって限定されるのではなく、画面上のオプションメニューにより、手術中に表示かつ選択可能な実質的に無制限な個数の機能が提供される。図６には、メニューアイテム６１０（ツールトラッキングのアクティブ化）、６２０（デジタルフィルタのアクティブ化）、６３０（音声コマンドのアクティブ化）、６４０（ＯＣＴ再生）、６５０ ＯＣＴスキャン、６６０（フォトキャプチャ）および６７０（ビデオレコード）を有する画面上のメニューの実施例が示されている。
【0069】
提案したコンセプト、または上述もしくは後述の１つまたは複数の実施例（例えば、図１ａ～図２）に関連して手術ガイダンスオーバーレイのさらなる詳細および態様を述べる。手術ガイダンスオーバーレイは、提案したコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の実施例に対応する１つまたは複数の付加的で選択的な機能を有していてもよい。
【0070】
本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。
【0071】
いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。
【0072】
いくつかの実施形態は、図１から図６のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図６のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図６のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図７は、本明細書に記載された方法を実施するように構成されたシステム７００の概略図を示している。システム７００は、顕微鏡７１０とコンピュータシステム７２０とを含んでいる。顕微鏡７１０は、撮像するように構成されており、かつコンピュータシステム７２０に接続されている。コンピュータシステム７２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム７２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム７２０と顕微鏡７１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム７２０は、顕微鏡７１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム７２０は、顕微鏡７１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡７１０の従属部品の一部であってもよい。
【0073】
コンピュータシステム７２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム７２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム７２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム７２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム７２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム７２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム７２０に情報を入力すること、およびコンピュータシステム７０２から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。
【0074】
ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。
【0075】
一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。
【0076】
本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。
【0077】
一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。
【0078】
別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。
【0079】
したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。
【0080】
したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。
【0081】
したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。
【0082】
別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。
【0083】
別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。
【0084】
本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。
【0085】
いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。
【符号の説明】
【0086】
１００ 顕微鏡システム
１０５ ベースユニット
１１０ システム
１１２ インタフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数のストレージデバイス
１２０ フットペダル
１２５ ハンドル
１３０ ディスプレイ
１４０ マイクロフォン
１５０ タッチスクリーン
１６０ 顕微鏡
１７０ アーム
２１０ トリガ信号の取得
２２０ 視覚的オーバーレイの生成
２３０ ディスプレイ信号の供給
３０１ａ／ｂ 下側左ボタン
３０２ａ／ｂ 下側パッドの左側部
３０３ａ／ｂ 下側パッドの右側部
３０４ａ／ｂ 下側右ボタン
３０５ａ／ｂ 中央左ボタン
３０６ａ／ｂ 中央右ボタン
３０７ａ／ｂ 中央パッドの左側部
３０８ａ／ｂ 中央パッドの右側部
３０９ａ／ｂ コントロールスティックの左位置
３１０ａ／ｂ コントロールスティックの上位置
３１１ａ／ｂ コントロールスティックの右位置
３１２ａ／ｂ コントロールスティックの下位置
３１３ａ／ｂ 上部左ボタン
３１４ａ／ｂ 上部右ボタン
４０１ 下側左ボタン
４０２ 下側パッドの左側部
４０３ 下側パッドの右側部
４０４ 下側右ボタン
４０５ 中央左ボタン
４０６ 中央右ボタン
４０７ 中央パッドの左側部
４０８ 中央パッドの右側部
４０９ コントロールスティックの左位置
４１０ コントロールスティックの上位置
４１１ コントロールスティックの右位置
４１２ コントロールスティックの下位置
４１３ 上部左ボタン
４１４ 上部右ボタン
４２１ 左ハンドルの時計回りの回転
４２２ 左ハンドルの反時計回りの回転
４２３ 右ハンドルの時計回りの回転
４２４ 右ハンドルの反時計回りの回転
４３１ コントロールスティックの上位置
４３２ コントロールスティックの左位置
４３３ 上部コントロールスティックの右位置
４３４ 上部コントロールスティックの下位置
４３５ 上側左ボタン
４３６ 上側右ボタン
４３７ 下側左ボタン
４３８ 下側右ボタン
４３９ 右側ボタン
４４０ 背面ボタン
５００ 顕微鏡システム
６１０～６７０ メニュー項目
７００ システム
７１０ 顕微鏡
７２０ コンピュータシステム
１０５ ベースユニット
１１０ システム
１１２ インタフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数のストレージデバイス
１２０ フットペダル
１２５ ハンドル
１３０ ディスプレイ
１４０ マイクロフォン
１５０ タッチスクリーン
１６０ 顕微鏡
１７０ アーム
２１０ トリガ信号の取得
２２０ 視覚的オーバーレイの生成
２３０ ディスプレイ信号の供給
３０１ａ／ｂ 下側左ボタン
３０２ａ／ｂ 下側パッドの左側部
３０３ａ／ｂ 下側パッドの右側部
３０４ａ／ｂ 下側右ボタン
３０５ａ／ｂ 中央左ボタン
３０６ａ／ｂ 中央右ボタン
３０７ａ／ｂ 中央パッドの左側部
３０８ａ／ｂ 中央パッドの右側部
３０９ａ／ｂ コントロールスティックの左位置
３１０ａ／ｂ コントロールスティックの上位置
３１１ａ／ｂ コントロールスティックの右位置
３１２ａ／ｂ コントロールスティックの下位置
３１３ａ／ｂ 上部左ボタン
３１４ａ／ｂ 上部右ボタン
４０１ 下側左ボタン
４０２ 下側パッドの左側部
４０３ 下側パッドの右側部
４０４ 下側右ボタン
４０５ 中央左ボタン
４０６ 中央右ボタン
４０７ 中央パッドの左側部
４０８ 中央パッドの右側部
４０９ コントロールスティックの左位置
４１０ コントロールスティックの上位置
４１１ コントロールスティックの右位置
４１２ コントロールスティックの下位置
４１３ 上部左ボタン
４１４ 上部右ボタン
４２１ 左ハンドルの時計回りの回転
４２２ 左ハンドルの反時計回りの回転
４２３ 右ハンドルの時計回りの回転
４２４ 右ハンドルの反時計回りの回転
４３１ コントロールスティックの上位置
４３２ コントロールスティックの左位置
４３３ 上部コントロールスティックの右位置
４３４ 上部コントロールスティックの下位置
４３５ 上側左ボタン
４３６ 上側右ボタン
４３７ 下側左ボタン
４３８ 下側右ボタン
４３９ 右側ボタン
４４０ 背面ボタン
５００ 顕微鏡システム
６１０～６７０ メニュー項目
７００ システム
７１０ 顕微鏡
７２０ コンピュータシステム
【図1a】
【図1b】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図4c】
【図5a】
【図5b】
【図6】
【図7】
【国際調査報告】