(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6463428
(24)【登録日】2019年1月11日
(45)【発行日】2019年2月6日
(54)【発明の名称】ジェスチャ制御機能を有する手術用顕微鏡、および、手術用顕微鏡のジェスチャ制御を行う方法
(51)【国際特許分類】
A61B 90/20 20160101AFI20190128BHJP
G02B 21/22 20060101ALI20190128BHJP
【FI】
A61B90/20
G02B21/22
【請求項の数】14
【外国語出願】
【全頁数】20
(21)【出願番号】特願2017-157117(P2017-157117)
(22)【出願日】2017年8月16日
(65)【公開番号】特開2018-29961(P2018-29961A)
(43)【公開日】2018年3月1日
【審査請求日】2017年8月16日
(31)【優先権主張番号】16184312.3
(32)【優先日】2016年8月16日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】516114695
【氏名又は名称】ライカ インストゥルメンツ (シンガポール) プライヴェット リミテッド
【氏名又は名称原語表記】Leica Instruments (Singapore) Pte. Ltd.
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100135633
【弁理士】
【氏名又は名称】二宮 浩康
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ゲオルゲ テメリス
【審査官】
中村 一雄
(56)【参考文献】
【文献】
特表2015−521913(JP,A)
【文献】
国際公開第2015/012006(WO,A1)
【文献】
米国特許出願公開第2012/0323364(US,A1)
【文献】
米国特許出願公開第2010/0245557(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 90/20
G02B 21/22
(57)【特許請求の範囲】
【請求項1】
視野(9)を有し、少なくとも部分的に前記視野(9)内に位置する検査領域(11)をイメージングする光学イメージング装置(3)を含む、
手術用顕微鏡(1)において、
前記手術用顕微鏡(1)は、
対象物(29)の動き(65)を非接触で検出するジェスチャ検出ユニット(17)をさらに含み、
前記ジェスチャ検出ユニット(17)は、信号路(76)を介して前記光学イメージング装置(3)に接続されており、
前記ジェスチャ検出ユニット(17)は、前記対象物(29)の前記動き(65)に基づいて、前記信号路(76)を介して制御信号(77)を前記光学イメージング装置(3)へ出力するように構成されており、
前記光学イメージング装置(3)は、前記制御信号(77)に基づいてその状態を変更するように構成されており、
前記ジェスチャ検出ユニット(17)は、前記検査領域(11)と前記光学イメージング装置(3)との間に位置し、かつ前記検査領域(11)から離間した3次元の検出領域(21)を有し、
前記ジェスチャ検出ユニット(17)のジェスチャ検出は、前記検出領域(21)内での前記対象物(29)の前記動き(65)に制限されている、
ことを特徴とする手術用顕微鏡(1)。
【請求項2】
前記検出領域(21)は、少なくとも部分的に前記検査領域(11)に重なる、
請求項1記載の手術用顕微鏡(1)。
【請求項3】
前記ジェスチャ検出ユニット(17)は、前記検出領域(21)内での前記対象物(29)の3次元の動き(65)を区別する運動検出モジュール(78)をさらに含み、
前記運動検出モジュール(78)は、運動データ線路(79)を介して前記ジェスチャ検出ユニット(17)に接続されており、
前記運動検出モジュール(78)は、前記対象物(29)の前記動き(65)に基づいて、前記運動データ線路(79)を介して運動データ信号(80)を前記ジェスチャ検出ユニット(17)へ出力するように構成されている、
請求項1または2記載の手術用顕微鏡(1)。
【請求項4】
前記ジェスチャ検出ユニット(17)は、前記運動データ線路(79)を介して前記運動検出モジュール(78)に接続された関係マッピングユニット(81)をさらに含み、
前記関係マッピングユニット(81)は、前記対象物(29)の動き(65)と、前記信号路(76)を介して前記光学イメージング装置(3)へ供給される制御信号(77)との間の関係をマッピングするように構成されている、
請求項3記載の手術用顕微鏡(1)。
【請求項5】
前記光学イメージング装置(3)は、制御信号(77)に応じて位置を変化させる可動機械要素(82)を含む、
請求項1から4までのいずれか1項記載の手術用顕微鏡(1)。
【請求項6】
前記光学イメージング装置(3)は、該光学イメージング装置(3)に光学的に接続された投影ユニット(83)を含み、
前記投影ユニット(83)は、付加画像および/またはインタラクティブ画像(71)を、イメージングされた前記検査領域(11)に少なくとも部分的に重なる少なくとも1つのインタラクション部(73)へ投影するように構成されている、
請求項1から5までのいずれか1項記載の手術用顕微鏡(1)。
【請求項7】
視野(9)を有し、少なくとも部分的に前記視野(9)内に位置する検査領域(11)をイメージングする光学イメージング装置(3)を含む手術用顕微鏡(1)のジェスチャ制御を行う方法であって、
ジェスチャ検出ユニット(17)によって、3次元の検出領域(21)における対象物(29)の動き(65)を非接触で検出するステップであって、前記検出領域(21)は、前記検査領域(11)と前記光学イメージング装置(3)との間に位置し、かつ前記検査領域(11)から離間しており、前記ジェスチャ検出ユニット(17)のジェスチャ検出は、前記検出領域(21)内での前記対象物(29)の前記動き(65)に制限されている、ステップと、
前記対象物(29)の前記動き(65)に基づいて前記光学イメージング装置(3)を制御するステップと
を含む、方法。
【請求項8】
前記方法は、前記対象物(29)の距離および/または運動データを計算ユニットに供給するステップをさらに含む、
請求項7記載の方法。
【請求項9】
前記方法は、検出された前記対象物(29)の前記動き(65)を区別するステップをさらに含む、
請求項7または8記載の方法。
【請求項10】
前記方法は、前記対象物(29)の前記動き(65)を予め定められた動きのパターンと比較するステップをさらに含む、
請求項7から9までのいずれか1項記載の方法。
【請求項11】
前記方法は、前記対象物(29)の前記動き(65)に基づいて、前記手術用顕微鏡(1)の可動機械要素(82)を制御するステップをさらに含む、
請求項7から10までのいずれか1項記載の方法。
【請求項12】
前記方法は、
少なくとも1つの付加画像および/またはインタラクティブ画像(71)を、イメージングされた検査領域(11)の少なくとも1つのインタラクション部(73)へ投影するステップと、
前記対象物(29)の前記動き(65)を、予め定められたインタラクション運動のパターンと比較するステップと、
前記少なくとも1つのインタラクション部(73)内の前記対象物(29)の動き(65)に基づいて、前記光学イメージング装置(3)および/または前記手術用顕微鏡(1)を制御するステップと、
をさらに含む、
請求項7から11までのいずれか1項記載の方法。
【請求項13】
前記方法は、
前記対象物(29)を光学的に検出するステップと、
前記対象物(29)のタイプを識別するために、検出された前記対象物(29)と予め定められた対象物のパターンとを比較するステップと、
前記対象物(29)の前記タイプに基づいて少なくとも2つの関係マップのいずれかを選択するステップと
をさらに含む、
請求項7から12までのいずれか1項記載の方法。
【請求項14】
請求項7から13までのいずれか1項記載の方法を実行するように構成された、非一時性の記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視野を有し、少なくとも部分的に視野内に位置する検査領域をイメージングする光学イメージング装置を含む、手術用顕微鏡に関する。本発明はさらに、光学イメージング装置を含む手術用顕微鏡のジェスチャ制御を行う方法に関する。
【0002】
手術用顕微鏡は、術者が外科手術を行うために手術領域に容易にアクセスできるよう、手術領域での低倍率および比較的大きな作動距離を提供することを目的とした光学デバイスである。手術領域または検査領域は、通常は光学イメージング装置によってイメージングされ、当該光学イメージング装置により、通常は立体視アイピースを介してかつ/またはモニタもしくはスクリーンを介して、術者の目に対し、検査領域の画像が形成される。当該アイピースまたはモニタもしくはスクリーンは、光学イメージング装置でイメージングされかつ画像記録用カメラによって検出された画像を表示する。
【0003】
手術用顕微鏡は、術者の手術への集中維持の妨げが最小となるように設計されている。しかし、手術ワークフローは、術者が、例えば焦点、ズーム、視野など、すなわち、その時点で観察している手術領域もしくは検査領域の顕微鏡パラメータを変更するときに妨げられる。こうした顕微鏡パラメータの変更には、術者が手術器具から手を離し、顕微鏡のインタラクション手段、例えば顕微鏡ハンドル、ボタンおよび調整ホイールなどを操作することが要求される。
【0004】
したがって、手術中に何らかの顕微鏡パラメータを変更するには、従来技術の手術用顕微鏡を利用している術者は、顕微鏡のインタラクション手段に手を伸ばしてこれを操作すべく、手術器具を作業場所などに置かなければならない。こうした術者の調整操作によって、手術ワークフローが中断されて術者の集中が失われることがあり、そのため、この術者は、顕微鏡アイピースから視線を外して異なる周囲光条件へ適応するという不便を強いられる。さらに、こうした調整は患者での手術を遅延させることがある。また、手術器具を置く必要から、汚染の危険も増大する。加えて、術者は、最適でない顕微鏡設定、すなわち、上述した不便および遅延を回避するための改善の余地をいまだ有する設定を利用することになりかねない。
【0005】
上述した不便性は、フットスイッチおよびマウススイッチなどの、術者が顕微鏡を足もしくは口で制御できるようにする従来技術手段の開発をもたらした。フットスイッチまたはマウススイッチを利用すれば上述した欠点のうち幾つかは克服できるかもしれないが、こうした従来技術手段は直感的でなく、トレーニングを要し、全ての術者にとって便利であるとはいえない状態にとどまっている。さらに、フットスイッチは、手術用顕微鏡の視野の制御には適しておらず、手動制御と同等の正確性は得られない。したがって、顕微鏡ハンドルは顕微鏡の制御および顕微鏡とのインタラクションのための主たる手法として用いられ続けている。
【0006】
したがって、本発明の課題の1つは、既存の手術用顕微鏡を、特に妨害のない手術ワークフローの点で、それぞれ例えば調整による妨害が最小に保たれる手術ワークフローの点で、さらに発展させた手術用顕微鏡を提供することにある。
【0007】
さらに、本発明の課題の別の1つとして、当該手術用顕微鏡と同じ利点を提供できる方法を提供することも挙げられる。
【0008】
冒頭に言及した形式の手術用顕微鏡では、上記課題は、本発明にしたがって、手術用顕微鏡がさらに、対象物の動き、例えば指および器具の少なくとも一方の動きを検出するジェスチャ検出ユニットを含み、このジェスチャ検出ユニットが、信号路を介して光学イメージング装置に接続されており、かつ対象物の動きに基づいて信号路を介して制御信号を光学イメージング装置へ出力するように構成されており、光学イメージング装置が制御信号に基づいてその状態を変更するように構成されていることにより、解決される。
【0009】
冒頭に言及した形式の方法では、上記課題は、本発明にしたがって、基準点に対する動き、特にジェスチャ検出ユニットに対する対象物の動き、例えば指および器具の少なくとも一方の動きを非接触で検出する、かつ/または対象物から基準点までの距離を非接触で検出するステップと、対象物の動きに基づいて光学イメージング装置を制御するステップとを含む方法により、解決される。
【0010】
以下では、本発明のさらなる実施形態を説明する。ここで説明するさらなる実施形態はそれぞれ、固有の利点および技術的効果を有し、よって、説明する他のいずれの実施形態とも任意に組み合わせることができる。
【0011】
対象物の動きは、手術用顕微鏡の隣接域で、好ましくは術者の手の届く範囲内で検出可能である。より好ましくは、対象物の動きは、光学イメージング装置と検査領域との間で検出される。
【0012】
動きまたは距離の非接触での検出は、光学手段または超音波手段によって実現可能である。
【0013】
手術用顕微鏡の隣接域での対象物の動きの検出とは、術者が顕微鏡の側方に手を配し、何も触らずに顕微鏡を回転させまたはその位置を変えることのできる仮想ハンドルとして作用させることができるという利点を有する。
【0014】
ジェスチャ制御の基準点は予め定めることができ、したがって好ましくはジェスチャ検出ユニットであってよい。当該基準点を検査領域内に配置することもできる。いずれの場合にも、対象物の絶対位置は、対象物の相対運動または相対位置の計算にしか用いられない。
【0015】
こうした本発明の手術用顕微鏡は、術者が手術プロシージャへの集中を維持できるという利点、ジェスチャによる手術用顕微鏡の制御は顕微鏡ハンドルによる制御よりも迅速に行えるため手術用顕微鏡の調整中もしくは再調整中に遅延が発生しないという利点、および、術者が手術用顕微鏡の調整もしくは再調整のために手術器具を置く必要がないので汚染の危険が最小化されるという利点を有する。また、例えばフットスイッチもしくはマウススイッチを用いる場合よりも、手術用顕微鏡の手動制御はいっそう正確となる。このように、本発明の利点の1つは、術者の注意を逸らしたりまたは手術ワークフローを妨害したりせずに術者および手術ワークフローを支援できる手術用顕微鏡を提供できるということである。
【0016】
本発明のジェスチャ制御機能を有する手術用顕微鏡のさらなる利点は、手術用顕微鏡の直感的操作が可能となり、モバイルフォンのオペレーティングシステムに類似した手術用顕微鏡のインタラクティブな操作手段と、手術用顕微鏡に既存の要素すなわち3Dカメラまたは微分干渉コントラストユニット(DICユニット)を用いた本発明のジェスチャ制御を実現する手段とが得られ、既存の安価な手術用顕微鏡のアップグレードが提供されることである。さらに、本発明は、ボタン、フットスイッチまたはマウススイッチなどの可視の要素を追加する必要がないので、既存の手術用顕微鏡の外観を変化させない。
【0017】
ジェスチャとは、指もしくは器具などの1つの対象物の動き、または、2つの対象物相互の相対運動、または、1つもしくは複数の対象物の回転であると理解されたい。1つもしくは複数の対象物の回転は、いずれかの空間軸線を中心として、例えばイメージング軸線に対して垂直なまたは平行な軸線を中心として行うことができる。こうした空間軸線を中心とした回転は任意に組み合わせ可能である。
【0018】
本発明の手術用顕微鏡は、検出ユニットによって検出可能な複雑なジェスチャのセット、例えば親指を立てる、掌を開く、掌を閉じるなどを含むことができる。さらに、任意の数の指の検出、例えば2本の指の検出も、ジェスチャ検出ユニットによって1つのジェスチャとして解釈することができる。
【0019】
対象物の動きは手術領域に対してほぼ平行な平面において行うことができ、これは水平運動と称することができる。イメージング軸線に対して平行な対象物の動きは、垂直運動と称することができる。
【0020】
手術領域は、検査領域と称することもでき、手術もしくは検査を受ける患者の一部であって、手術用顕微鏡の視野としてアドレシング可能な部分であると理解されたい。手術用顕微鏡の視野は、顕微鏡の対物レンズの開口数と、対物レンズから検出領域までの距離とによって定められる。検出領域は、光学イメージング装置の光軸に対して、特に、光学イメージング装置のうち検査領域に面する光学要素の光軸すなわちその時点で適用されている顕微鏡対物レンズの光軸に対して、ほぼ垂直である。
【0021】
手術用顕微鏡は、顕微鏡を支持するアームを含むことができ、このアームはスタンドに取り付け可能である。手術用顕微鏡には通常、ステージは設けられないが、付加的なステージを有するように修正した構成も可能である。
【0022】
対象物の動きは、光学イメージング装置の視野内で検出可能である。言い換えれば、対象物の動きが光学イメージング装置の視野内で検出可能であるとは、つまり、対象物とその動きとが光学イメージング装置によってイメージングされ、術者が視認できるということである。
【0023】
手術用顕微鏡はさらに、全体的な立体視アイピースのうち1つのアイピースが用いられたか、2つのアイピースが用いられたか、または、どちらのアイピースも用いられなかったかを判別するアイピース制御ユニットを含むことができる。ここでの判別部は、術者が顔をアイピースに近づけた場合にアイピースを起動可能な接近センサとして理解できる。
【0024】
術者が片方の目のみを立体視アイピースに近づけた場合、使用されるほうのアイピースのみを起動可能であり、つまりこのアイピースのみに、イメージングされた手術領域を供給可能である。術者の妨げとならないよう、使用されないアイピースは起動されない。つまり、使用されないアイピースによる、イメージングされた検査領域または手術領域への障害光は伝送されない。
【0025】
立体視アイピースの2つのアイピースのどちらも使用されない場合、手術用顕微鏡は照明のオフ切り替えを開始できる。照明のオフ切り替えは、好ましくは予め定められた遅延時間の後に実行可能となる。したがって、術者に対する短時間の中断は、手術用顕微鏡の照明の切り替えが開始されるほど長くはならない。
【0026】
また、片方のみのアイピースの使用の検出は、術者のジェスチャとして解釈することもできる。手術用顕微鏡が片方のみのアイピースの使用を検出した場合、ジェスチャ検出ユニットは、このジェスチャを左右の選択と解釈することができ、これは、例えば手術用顕微鏡の初期化中の照明または倍率の選択などであってよい。
【0027】
本発明の手術用顕微鏡の別の実施形態によれば、対象物のこうした動きを実行し、光学イメージング装置の視野の隣接域で、検査領域に面する対物レンズの光軸に対して垂直な方向で検出することができる。好ましくは、検出は、視野のうち術者が指および/または器具を届かせるのに都合がよい一方側で実行され、ここで、本発明の手術用顕微鏡のこの実施形態では、指および/または器具は、アイピースまたは顕微鏡のスクリーンを介しても術者に不可視である。
【0028】
ジェスチャ検出ユニットは、光検出によって、つまり非接触で、対象物の動きを検出する。制御信号は、電気線路を介してアナログ信号またはデジタル信号の形態で出力可能であり、また、無線で受信器へ伝送することもできる。制御信号の無線伝送は、例えば、制御信号がジェスチャ制御ユニットから離れた位置にある手術用顕微鏡の被制御部材へ送信されるために電気線路の故障の危険、例えば電気線路での障害の危険が増大するような場合に有利である。
【0029】
ジェスチャ検出ユニットは、手術用顕微鏡に組み込んで設けることができる。つまり、ジェスチャ検出ユニットは既存のあらゆる手術用顕微鏡に統合可能である。
【0030】
また、ジェスチャ検出ユニットを、手術用顕微鏡に取り付けられる別個のユニットとして構成し、手術用顕微鏡のワイヤケーブルまたは無線コネクション手段に接続することもできる。
【0031】
本発明の手術用顕微鏡の第1の有利な実施形態では、ジェスチャ検出ユニットは、検査領域と光学イメージング装置との間に位置しかつ検査領域から離間した検出領域を含み、ここで、ジェスチャ検出ユニットのジェスチャ検出は、当該検出領域内での対象物の動きに限定される。
【0032】
こうした検出領域は、ジェスチャすなわち対象物の動きを検出するための3次元ボリュームと解釈すべきである。当該検出領域の外側では、対象物の動きは、光学イメージング装置へ出力される制御信号を形成しない。検出領域を検査領域から離れた位置に定めることにより、検査領域で患者の手術が行われている間、術者、特に例えばメスなどの器具によって手術用顕微鏡が調整もしくは再調整されることはないという利点が得られる。つまり、検査領域のうち光学イメージング装置によってイメージングされた部分は変更されず、術者が例えば視野の変化などによって注意を逸らされることがない。ただし、指を検出領域内へ動かすことにより、術者が手術用顕微鏡の調整もしくは再調整を行うこともできる。
【0033】
本発明の手術用顕微鏡の第2の有利な実施形態では、検出領域は、少なくとも部分的に検査領域に重なる。当該実施形態では、検査領域のうち、光学イメージング装置によってイメージングされてアイピースまたはスクリーンを介して術者が視認できる部分が、動く対象物をもイメージングする。このことにより、術者が対象物の動きを正確に監視できるという利点が得られる。
【0034】
検出領域は、光学イメージング装置の視野を越えて延在可能である。つまり、対象物の動きの検出は、視野によって制限されるのでない検出領域において、視野の外側で行われる。視野を越えて延在する検出領域は、例えばパン(顕微鏡の対物レンズの光軸に対してほぼ垂直な平面における手術領域もしくは検査領域のシフト)またはズーム(倍率変更)などの手術用顕微鏡の所定の調整にとって有利でありうる。
【0035】
本発明の手術用顕微鏡の別の有利な実施形態では、ジェスチャ検出ユニットはさらに、検出領域内の対象物の3次元の運動を区別する運動検出モジュールを含み、この運動検出モジュールは、運動データ線路を介してジェスチャ検出ユニットに接続され、かつ対象物の動きに基づいて運動データ線路を介して運動データ信号をジェスチャ検出ユニットへ出力するように構成される。
【0036】
運動検出モジュールは、その時点で適用されている顕微鏡の対物レンズの光軸に対してほぼ垂直な検出平面で行われた動きを区別できる。つまり、検出平面は検査領域に対してほぼ平行であり、検出領域内に位置する。検出領域はその時点で適用されている顕微鏡の対物レンズの光軸に沿って延在するので、多様な検出平面が可能である。
【0037】
運動検出モジュールは、検出平面内の対象物の動きと、検出平面に対してほぼ垂直な方向に沿った対象物の動きとを区別できる。
【0038】
運動検出モジュールは、さらに、対象物までの距離に依存する距離信号を形成するように構成可能な距離検出ユニットを含むことができる。距離検出ユニットは、距離線路を介して距離信号をバイナリ比較器へ供給でき、このバイナリ比較器によって、対象物がその時点で適用されている顕微鏡の対物レンズの光軸に沿った方向で検出領域内にあるかが判別される。
【0039】
運動検出モジュールはさらに、検出平面内の動きと検出平面に対して垂直な動きとを組み合わせた動き、すなわち3次元の運動を検出するように構成可能である。
【0040】
本発明の手術用顕微鏡の別の有利な実施形態では、ジェスチャ検出ユニットはさらに、運動データ線路を介して運動検出モジュールに接続された関係マッピングユニットを含み、この関係マッピングユニットは、対象物の動きと、信号路を介して光学イメージング装置へ供給される制御信号との間の関係をマッピングするように構成される。
【0041】
関係マッピングユニットは、非一時性の記憶媒体に格納可能な、特定の制御信号と対象物の動きのパターンとの双方向固有の対応関係を表す関係マップを形成するように構成可能である。
【0042】
関係マッピングユニットはさらに、対象物の運動データを受信して、測定された動きのパターンに対応して見出された特定の動きのパターンを符号化した信号を出力する、類似性ユニットを含むことができる。
【0043】
関係マッピングユニットは、計算ユニットに接続可能であるか、または、計算ユニットを含むことができる。計算ユニットは、マイクロコントローラまたはパーソナルコンピュータなどであってよい。計算ユニットは、一般に、または、サービスおよびメンテナンス中にのみ、ユーザとのインタラクションが可能である。計算ユニットはさらに、ユーザ特有の対象物の動きを関係マップに記録するように構成可能である。
【0044】
本発明の手術用顕微鏡の別の有利な実施形態では、光学イメージング装置は、制御信号に応じて位置を変化させる可動機械要素を含む。当該実施形態によれば、術者が手術用顕微鏡を機械的に制御できるという利点、例として、例えば患者領域および手術領域の種々の領域をイメージングすべく、検査領域の部分に対して視野を移動させることができるという利点が得られる。
【0045】
さらに、手術用顕微鏡の機械要素が、位置および/または光強度および/または適用されるフィルタの点で調整可能な、かつ/または照明手段に対する類似の調整が可能な、可動照明手段を含む構成も考えられる。
【0046】
本発明の手術用顕微鏡の別の有利な実施形態では、光学イメージング装置は、この光学イメージング装置に光学的に接続された投影ユニットを含み、この投影ユニットは、付加画像および/またはインタラクティブ画像を、イメージングされた検査領域に少なくとも部分的に重なる少なくとも1つのインタラクション部に投影するように構成される。
【0047】
投影ユニットは、手術用顕微鏡の転用性およびインタラクション性の増大という利点を有する。
【0048】
投影ユニットは、画像のオーバレイの可能なビームコンバイナを介して、光学イメージング装置に光学的に接続できる。別の実施形態では、投影ユニットは、付加画像および/またはインタラクティブ画像を直接に現実画像として検査領域に投影することができる。なおここでは、視認性のために、仮想画像をオーバレイすることが好ましい。
【0049】
インタラクション部とは、イメージングされた検査領域の一部分であって、好ましくはイメージングされた検査領域の縁に位置する部分、より好ましくは角に位置する部分であると理解されたい。つまり、インタラクション部とは、イメージングされた検査領域のうち、手術用顕微鏡のアイピースまたはスクリーンを介してのみ可視となりうる仮想セクションである。
【0050】
投影ユニットによる付加画像および/またはインタラクティブ画像のオーバレイは、例えば、不透明なオーバレイまたは半透明なオーバレイで実行可能である。
【0051】
投影ユニットは、手術用顕微鏡のパラメータ、または、例えば患者のバイタルサインを含む画像を投影することができる。投影画像はさらに、本発明の方法に関連して以下に説明する機能を有する投影仮想ボタンとしても機能しうる。
【0052】
上で言及した本発明の方法は主として2つのステップを有する。第1のステップでは、対象物の動きが、光学的に、つまり非接触方式で、検出される。動きの検出とは、その時点で適用されている顕微鏡の対物レンズの光軸に対してほぼ垂直な平面内の動きと、対象物からジェスチャ検出ユニットまでの距離の検出とをいう。よって、本発明の方法は、対象物の3次元の運動を検出するように構成される。
【0053】
第2のステップでは、ジェスチャ検出ユニットが、対象物の動きに基づいて光学イメージング装置を制御する制御信号をこの光学イメージング装置へ供給する。
【0054】
本発明の方法の第1の有利な実施形態では、当該方法はさらに、対象物の距離および運動データを計算ユニットへ供給するステップを含む。対象物の距離および運動データはデータ線路を介して供給可能であり、ここで、データはアナログまたはデジタルで符号化可能である。計算ユニットは、受信した対象物の距離および運動データを一時記憶するように構成可能である。
【0055】
本発明の方法の第2の有利な実施形態では、当該方法はさらに、検出された対象物の動きを区別するステップを含む。当該区別の第1のステップは、検査領域に対して平行に配向された平面内の対象物の動きと、検査領域に対してほぼ垂直な方向の動き、すなわち、その時点で適用されている顕微鏡対物レンズの光軸に対して平行な動きとを区別すること、または、これら2つの組み合わせ運動を区別することであってよい。
【0056】
本発明の方法の別の有利な実施形態には、対象物の動きと予め定められた動きのパターンとを比較するさらなるステップが含まれる。当該ステップ中、計算ユニットに格納可能な対象物の距離および運動データは、例えば関係マップに格納可能な、予め定められた動きのパターンと比較される。当該関係マップは、読み出され、測定された距離および動いている対象物の運動データと比較される。関係マップの項目それぞれにつき、測定された対象物の動きと対応する予め定められた動きのパターンとの類似度を表す類似値を出力でき、類似値どうしを比較して順序づけることができる。ここでは、測定された動きと予め定められた運動のパターンとの最高類似度を表す最高類似値を出力可能である。
【0057】
本発明の方法の別の実施形態では、当該方法がさらに、対象物の動きに基づいて手術用顕微鏡の可動機械要素を制御するステップを含むと有利である。
【0058】
当該方法の当該ステップでは、制御信号は、ジェスチャ検出ユニットによって形成され、信号路または無線コネクションを介して手術用顕微鏡の受信器へ供給される。当該受信器は制御信号を受信して解釈し、続いて、受信した制御信号に応じて手術用顕微鏡のステータスの変更を開始する。
【0059】
本発明の方法の別の有利な実施形態では、当該方法はさらに、少なくとも1つの付加画像および/またはインタラクティブ画像を、イメージングされた検査領域の少なくとも1つのインタラクション部へ投影するステップと、対象物を予め定められたインタラクション運動のパターンと比較するステップと、少なくとも1つのインタラクション部内の対象物の動きに基づいて、光学イメージング装置および/または手術用顕微鏡を制御するステップとを含む。
【0060】
こうした実施形態は、転用性および術者による非接触での光入力に応答して実行可能な機能性が増大されるという利点を有する。
【0061】
当該実施形態では、イメージングされた検査領域の少なくとも1つのインタラクション部へ投影される付加画像および/またはインタラクティブ画像は、手術環境および/または患者のデータの画像を含むことができる。このような投影画像は、患者のバイタルサインまたは手術用顕微鏡のパラメータまたは術者に関心ある類似のデータであってよい。
【0062】
当該方法は、対象物の位置とイメージングされた検査領域の少なくとも1つのインタラクション部の位置とを比較するように構成可能であり、さらに、対象物がインタラクション部内に位置することが検出された場合、第2の関係マップのローディングを開始することができる。第2の関係マップは、対象物がインタラクション部外の検出領域で検出された場合にローディングされる第1の関係マップと同様に、予め定められた動きのパターンの種々のセットを含むことができる。
【0063】
オフライン動きが検出された後、当該方法の当該実施形態では、手術用顕微鏡の設定の変更、例えば手術用顕微鏡の照明モードもしくはイメージングモードの変更、検査領域においてその時点で観察されている部分の画像保存、または、実行すべき類似の機能を開始することができる。
【0064】
オフライン運動とは、ユーザが対象物とインタラクションした後に、すなわち、対象物の運動後に実行される所定の操作を開始することであると理解されたい。例えば、顕微鏡のイメージングモードの変更は、対象物のマウスクリックに類似した垂直運動が検出された後に実行できる。反対に、オンライン運動とは、対象物が動いている間に所定の操作を直接に開始することであり、例えばイメージングされた検査領域のパン、ズームまたはチルトが挙げられる。
【0065】
本発明の方法の別の有利な実施形態では、当該方法はさらに、対象物を光学的に検出するステップと、対象物のタイプを識別するために、検出された対象物と予め定められた対象物のパターンとを比較するステップと、対象物のタイプに基づいて少なくとも2つの関係マップからいずれかを選択するステップとを含む。当該方法の当該実施形態は、対象物によって制御できる可能パラメータが対象物に応じて定められるという利点を有する。つまり、メスが検出された場合、このメスの動きに基づいて行える操作を、指が検出された場合に行える操作と区別できる。このことは例えば、メスが検出された場合に、意図しないメスでの切除を回避するために、患者の動きを非アクティブ化できるという意味で、有利である。
【0066】
さらに、メスが検出された場合にローディングされる関係マップは、指が検出された場合にローディングされる関係マップより精細な調整段階を有することができる。こうした区別により、手術用顕微鏡の粗調整を術者の指によって実行できる一方、メスが使用される場合には微調整を実行できる。
【0067】
当該方法の当該実施形態では、2つ以上の異なる対象物が検出される場合、例えばメスまたは指のどちらの対象物が対応する関係マップのローディングを開始したかを判別するさらなるステップを含むことができる。対象物の動きにマッピングされた手術用顕微鏡の操作の所定のサブセットを全ての操作モードに設けることができ、ここで、種々の操作モードにおいて粗調整または微調整を行うことができる。
【0068】
本発明の手術用顕微鏡および本発明の方法のジェスチャ検出は、適切なモデルおよびアルゴリズム、例えば3Dモデルベースアルゴリズム、アピアランスベースアルゴリズム、スケルトンベースアルゴリズムおよび類似のアプローチを基礎とすることができる。
【0069】
ジェスチャ検出は、典型的には、ステレオカメラ、深度認識カメラ、シングルカメラまたはマルチ距離検出ユニットによって実行可能である。
【0070】
上述したいずれかの実施形態における本発明の方法は、適切なタイプの非一時性の記憶媒体によって実現される。非一時性の記憶媒体は、例えば、CDもしくはDVDなどの光学記憶媒体、FDもしくはHDDなどの磁気記憶媒体、または、電荷蓄積に基づく非一時性記憶媒体(フラッシュメモリ)であってよい。これらの非一時性記憶媒体は、マイクロコントローラ内またはユーザのための入出力手段を提供しうるパーソナルコンピュータ内に配置可能である。
【0071】
以下では、対象物の可能な動きの幾つかの例を、手術用顕微鏡の対応する可能な調整操作とともに示す。
【0072】
以下の説明では、例となる座標系として、検査領域に対して平行な平面に配置されたx軸およびy軸と検査領域に対してほぼ垂直に配向されたz軸との、相互に垂直に配向された3軸を含む座標系を導入する。検査領域のうち術者に可視となるイメージング部分に対して、x軸は、術者が観察する画像の左側から右側へ延在するように配向可能である。y軸は、当該x軸に対して垂直に配向可能であり、術者が観察する画像の下方から上方へ延在可能である。z軸は、検査領域から手術用顕微鏡の光学イメージング装置へ向かうように配向可能である。
【0073】
このように定義される座標系では、単独の対象物の動きは、x軸に沿って、および、y軸に沿って、および、x軸に沿った動きとy軸に沿った動きとから成る1方向に沿って行うことができる。ジェスチャ検出ユニットが検出したこうした動きによって、対象物の位置に置かれた画像の定点が対象物に沿って動き、検査領域のイメージング部分の運動(スクロール/パン)を開始させることができる。
【0074】
対象物で可能なさらなる動きは、半円または円の弧角セクタを記述する軌跡に沿って行われる。画像の定点(からの)こうした対象物の動きによって、検査領域のイメージング部分に、画像中心を中心とした回転を開始させることができる。
【0075】
z軸に沿った対象物の動きは、顕微鏡の焦点の変化すなわち作動距離を変化させることがある。対象物が動いている間の作動距離の変化を回避するために、作動距離の変更開始は、イメージングされた検査領域のうちその中心から離間して配置されうる部分に制限することができる。
【0076】
また、例えば輝度および照明モードの点で、対象物の動きに基づいて照明を制御することもできる。照明強度の変更に対して、イメージングされた検査領域の条片状セクションを、術者が観察する画像の上縁に位置するように適用する構成も考えられる。つまり、画像の上縁に位置する当該セクションにおいて、照明強度を増大するには対象物を左方から右方へ動かし、相応に照明強度を低減するには対象物を右方から左方へ動かすことができる。
【0077】
対象物の動きによって制御可能な他の顕微鏡パラメータとして、照明光源の偏光状態、照明モード(例えば白色光、狭帯域イメージング、緑色光)、および、光学イメージング装置の光路に導入可能なフィルタなどが挙げられる。
【0078】
さらに、対象物のz軸に沿った動きは、マウスクリックと同様のユーザ入力として解釈可能である。特に、イメージングされた検査領域に付加画像および/またはインタラクティブ画像を投影する投影ユニットと組み合わせて、術者が、少なくとも1つの投影画像の下方に対象物(術者の指またはメス)を配し、z軸に沿って対象物の動きを実行することにより、手術用顕微鏡またはその計算ユニットの予め定められた機能をトリガすることができる。イメージングされた検査領域のインタラクション部におけるz軸に沿ったこうした動きにより、対応するインタラクション部に関連する機能を開始できる。こうした機能として、例えば、手術用顕微鏡を種々のイメージングモードへ切り替えることが挙げられる。
【0079】
イメージングされた検査領域のインタラクション部に投影される画像を焦点の種々のモードに関連づけ、こうしたインタラクション部におけるz方向に沿った対象物の動きによって焦点を手動からローカルへ切り替え、または、アウトフォーカスのオンオフを切り替えることもできる。
【0080】
さらに、ジェスチャ検出ユニットは2つ以上の対象物を同時に検出することができ、ここで、2つの異なる対象物は、互いに向き合う方向へ、または、互いに離れる方向へ、動くことが可能である。こうした組み合わせ動きの検出により、光学イメージング装置のズームアウトもしくはズームインすなわち手術用顕微鏡の倍率変更を開始する制御信号を形成することができる。
【0081】
2つの対象物の組み合わせ運動の別の可能な組み合わせから、検査領域のチルトを行うことができる。当該チルトは、その時点で適用されている対物レンズの光軸が検査領域に対して垂直に配向されていない場合に、利用可能である。さらに、回転運動と検査領域のチルトとの種々の組み合わせも可能であって、関係マップにしたがって、すなわち、上述した関係マップに予め定められた動きのパターンを記憶することにより、プログラミングできる。
【0082】
特に、ズームインもしくはズームアウトもしくは視野移動のための上述したジェスチャは、スマートフォンで通常利用されているゆえに術者にもなじみ深いジェスチャにきわめてよく似ているので、例えばフットスイッチおよびマウススイッチの場合のような集中的なトレーニングは必要ない。
【0083】
本発明の手術用顕微鏡および本発明の手術用顕微鏡のジェスチャ制御を行う方法は、さらに、ジェスチャ制御のアクティブ化もしくは非アクティブ化を行うオンオフジェスチャを含むことができる。任意の可能なジェスチャ、例えば、スクリーンの所定エリアもしくは検出領域の所定エリアに対象物もしくは指を配し、対象物もしくは指による仮想のダブルクリックを行うことによって、ジェスチャ制御をアクティブ化もしくは非アクティブ化できる。ここで、対象物もしくは指は、このエリアでのクリックを実行することもできるし、または、ジェスチャ制御のアクティブ化もしくは非アクティブ化のために数秒そこに留めることもできる。
【0084】
さらに、ジェスチャ制御のアクティブ化もしくは非アクティブ化は、同じジェスチャもしくは異なるジェスチャによって実行できるが、オーディオコメント、手術用顕微鏡の物理ボタン、アイピースの使用、または、術者の手もしくは指もしくは対象物による複雑なジェスチャによっても実行できる。こうした複雑なジェスチャは、好ましくは、顕微鏡の隣接域で、すなわち、対象物とイメージングされるエリアとの間以外の領域で、行うことができる。特に複雑なジェスチャは、術者によるジェスチャ制御の意図しないアクティブ化もしくは非アクティブ化が生じえないという利点を有する。
【0085】
手術用顕微鏡は、術者用アイピースの側方に配置可能であって、補助者が術者の邪魔にならずに検査領域での術者の措置を観察して手術をフォローできるように検査領域をイメージング可能な、補助者用アイピースを含むことができる。補助者用アイピースも、この補助者用アイピースが使用されているかを検出するセンサ装置を含むことができる。術者用アイピースが使用されておらず、補助者用アイピースのみが使用されていることを手術用顕微鏡が検出した場合、補助者用アイピースを通してイメージングされる視野を、例えば90°回転させることによって、補助者用アイピースを使用している観察者の位置へ適合化でき、相応にジェスチャ制御の環境も90°回転させることができる。
【0086】
したがって、補助者用アイピースは、そちらの位置のほうが術者にとってより都合が良い場合、術者用アイピースとして利用することもできる。
【0087】
手術用顕微鏡はさらに、視覚化手段、例えば投影ユニットまたは照明手段へ伝達されるフィードバック信号を出力するように構成可能なフィードバック形成器を含むことができる。当該フィードバック信号は、所定のジェスチャに対応する音を形成し、術者に聴取可能なフィードバックを提供する音響手段すなわちスピーカへも伝送可能である。さらに、当該フィードバック信号は、所定のジェスチャの検出を表す機械的フィードバック手段、例えば振動エレメントへも伝送可能である。
【0088】
フィードバック形成器は、ジェスチャの検出を表すフィードバックの形成のみを行うように構成してもよいし、または、ジェスチャに関連する対応行動を実行するように構成してもよい。また、ジェスチャ制御に関連しない種々の顕微鏡機能、例えば最大ズーム、エラー表示、画像保存、または、患者のバイタルが注意を要する場合などの機能を含むように構成してもよい。
【0089】
以下では、添付図を参照しながら本発明を例示しつつ説明する。図中、同じ機能および/または同じ技術効果を提供する要素には同じ参照番号を付してある。
【0090】
図示した特徴以下に説明する特徴の組み合わせは例示にすぎない。特定の特徴の上述した技術効果が特定の用途に対して必要とされる場合または省略してかまわない場合、個々の特徴を追加または省略できる。
【図面の簡単な説明】
【0091】
【
図1】本発明の手術用顕微鏡の第1の実施形態の概略的な側面図が示されている。
【
図2】本発明の手術用顕微鏡の第2の実施形態の概略的な正面図が示されている。
【
図3】対象物の可能な種々の動きのパターンが示されている。
【
図4】本発明の手術用顕微鏡の作動距離の典型的な調整が示されている。
【
図5】イメージング注記を選択するための4つのインタラクション部のうち1つの例示的な用途が示されている。
【0092】
図1には、本発明の手術用顕微鏡1の第1の実施形態の概略的な側面図が示されており、この手術用顕微鏡1は光学イメージング装置3を含み、この光学イメージング装置3は、例えばアイピース5を含む立体視アイピース4と、手術用顕微鏡1の側部に配置された補助者用アイピース5aを含む補助者用立体視アイピース4aと、対物レンズ7とを有する。光学イメージング装置3は、患者13であってよい検査領域11の一部である視野9を定める。
【0093】
視野9は、光学イメージング装置3の開口数とz軸に沿って測定される作動距離15とによって定められる。視野9はx軸およびy軸に沿って延在する。
【0094】
手術用顕微鏡1はさらに、この手術用顕微鏡1のハウジング19に取り付けられるジェスチャ検出ユニット17を含む。ジェスチャ検出ユニット17は、
図1の実施形態では基準点38として作用する。他の実施形態では、基準点38は例えば検査領域11に位置してもよい。
【0095】
アイピース5および補助者用アイピース5aは、これらのアイピース5,5aのどちらがイメージングされた視野9の観察に用いられたかを検出するセンサ6を含む。当該センサ6は、図示の実施形態ではセンサ6aに近接して設けられている。
【0096】
ジェスチャ検出ユニット17は2つの信号路76を含み、ここで、第1の信号路76は電気線路(実線)であり、第2の信号路76は無線コネクション(破線)である。これら2つの信号路76を介して、制御信号77が矢印で示されているように伝送される。
【0097】
実線で示されている信号路76は、手術用顕微鏡1を支持する支持アーム82bのジョイント82aである可動機械要素に接続されている。
【0098】
ジェスチャ検出ユニット17は、ジェスチャの検出領域21が少なくとも部分的に光学イメージング装置3の観察領域23に重なるよう、x軸を中心としてチルトされ、かつ視野9に面して配置されている。観察領域23は破線の囲みによって表示されている。
【0099】
対物レンズ7は、z軸に対して平行な光軸25を定めている。光軸25は対物レンズ7にしたがって配向されており、光学イメージング装置3の別の要素(例えばアイピース5)に必ずしもしたがわなくてよいことに注意されたい。
【0100】
図1では、3Dボリュームとしての検出領域21は、検査領域11の視野9までの所定の距離の位置に定められている。破線で囲まれたボリューム内の(図示されていない)対象物の動きのみが検出される。つまり、上述した対象物の(z軸に対する)動きまたは検出領域21より下方の動きは無視され、制御信号を形成しない。
【0101】
図2には、本発明の手術用顕微鏡1の第2の実施形態の概略的な正面図が示されている。ここでは、ジェスチャ検出ユニット17が手術用顕微鏡1のハウジング19内に統合されて構成されている。当該実施形態は、補助者用立体視アイピース4aを含まない。
【0102】
図2に示されている実施形態では、手術用顕微鏡1の3Dカメラ27により、信号路76を介して対象物29の距離情報が供給される。
【0103】
ジェスチャ検出ユニット17はさらに、信号路76aを介して3Dカメラ27からのデータが供給される運動検出モジュール78を含む。
【0104】
運動検出モジュール78は、運動データ信号80を、運動データ線路79を介してジェスチャ検出ユニット17へ供給する。
【0105】
信号路76を介して、ジェスチャ検出ユニット17は、制御信号77を光学イメージング装置3へ出力する。制御信号77および運動データ信号80は矢印で表されている。
【0106】
ジェスチャ検出ユニット17はさらに、検出された動き65を光学イメージング装置3または可動機械要素82によって行われる操作にマッピングする関係マッピングユニット81を含む。
【0107】
手術用顕微鏡1はさらに、付加画像および/または(図示されていない)インタラクティブ画像71をイメージングされた検査領域へ投影するように構成された投影ユニット83を含む。図示の実施形態では、投影ユニット83は、光学イメージング装置3への光結合のために、ビームスプリッタ33を利用している。
【0108】
図2では、対象物29は検出領域21内に位置するメス31であり、その動きがジェスチャ検出ユニット17によって検出される。
【0109】
3Dカメラ27は概略的に示されているのみであって、ビームスプリッタ33および2Dセンサ35のみが示されている。2DセンサはCCDカメラであってよい。2つのチャネルのセクション23a,23bをそれぞれ異なって観察できるため、視野9の3次元画像を形成ないしイメージングし、アイピース5を介して観察することができる。
【0110】
図2に示されている手術用顕微鏡1の実施形態では、ジェスチャ検出ユニット17は3Dカメラ27から、特には2Dセンサ35からデータを受信し、メス31の距離データを評価する。ここで、当該距離データはメス31の頂部からの距離37に相当する。
【0111】
図2の手術用顕微鏡1は、補助者用立体視アイピース4aを含んでいない。
【0112】
図3には、(図示されていない)対象物の種々の動きのパターンが概略的に示されており、ここでは、単手指ジェスチャ39と2手指ジェスチャ41とを区別できる。
【0113】
可能な単手指ジェスチャ39は、y軸に沿った対象物の動き、例えば垂直ジェスチャ43、水平ジェスチャ45、2D組み合わせジェスチャ47、円運動ジェスチャ49、および、z軸を測定できる場合の、z方向に沿って対象物が動く上昇ジェスチャ51である。
【0114】
可能な2手指ジェスチャ41は、位置調整ジェスチャ53a,53b、ズームインジェスチャ55およびズームアウトジェスチャ57である。
【0115】
z軸に沿って可能な2手指ジェスチャ41は、(図示されていない)2つの対象物がz方向に沿って動く第2の上昇ジェスチャ59のケースで示されており、ここでは、太い矢印がそれぞれ異なる方向を指しているが、これは図に対して選択されているパースペクティブ線のためである。
【0116】
図3にはさらに、可能な単手指ジェスチャ39である回転ジェスチャ49aおよび円運動ジェスチャ49も示されている。回転ジェスチャ49aは、x‐y平面において、第1の回転位置31aから第2の回転位置31bおよび第3の回転位置31cへのメス31の回転により行われる。
【0117】
図4には、メス31の動きに基づき、光学イメージング装置によって実行される操作の例が示されている。
【0118】
図4には、光学イメージング装置3の2つの状態での視野9の画像が示されている。未焦準状態61では、画像は、不正確な作動距離とこれによる手術用顕微鏡1の焦点外れとのために暈けている。
【0119】
未焦準状態61において、メス31は、
図4では見えない(例えば
図2を参照)検出領域21内に位置している。つまり、メス31の動きは(図示されていない)ジェスチャ検出ユニット17によって検出され、このジェスチャ検出ユニット17により、光学イメージング装置3の状態を変更するための制御信号が形成される。
【0120】
メス31は、矢印によって示されている動き65を実行する。当該動き65は、メス31の開始位置67で開始され、終了位置69で終了する。
【0121】
検出された動きにより、光学イメージング装置3の作動距離を制御する制御信号が形成され、当該制御信号により、光学イメージング装置3の作動距離15の変更が開始され、手術用顕微鏡1の焦点が調整される。
【0122】
メス31が開始位置67から終了位置69へ移動すると、メス31の動き65がオンラインジェスチャとして検出される。つまり、術者は、動き65中に直接に手術用顕微鏡1の状態変更を視認できる。
【0123】
光学イメージング装置3によりイメージングされた視野9が焦準状態63に至ると、術者はメスの動きを停止する。当該停止位置は終了位置69に対応する。
【0124】
図5には、幾つかのイメージングモードからいずれかのモードを選択するためのインタラクション部の例示的な用途が示されている。
【0125】
図5には、焦準状態63の同じ視野9が示されており、ここでは、(図示されていない)投影ユニットが、4つの半透明な画像71を、オーバレイ方式で、イメージングされた検査領域に投影している。当該画像71は、視野9のインタラクション部73を定めている。当該画像71およびインタラクション部73には、
図5の第1のビュー75aにおいてのみ番号が付されている。
【0126】
画像71は、対応するインタラクション部73によってアクティブ化可能な、光学イメージング装置3の操作の視覚的フィードバックを含む。
【0127】
図5では、図示されているインタラクション部73は種々のイメージングモードに対応している。ここで、メス31は、第1のビュー75aではインタラクション部73外に位置しているが、その後、第2のビュー75bでは左下のインタラクション部73aへ移動している。
【0128】
第3のビュー75cでは、メス31の動き65は画面から出ており、このことがz軸に沿った矢印で示されている。当該ジェスチャは(図示されていない)ジェスチャ検出ユニット17によって検出され、このジェスチャ検出ユニット17によって制御信号が形成され、この制御信号が(図示されていない)計算ユニットによって処理される。当該計算ユニットは、続いて、イメージングモードを、左下のインタラクション部73aに対応するものへと変更する。
【0129】
図5の第3のビュー75cにおいて選択されたイメージングモードは、モード「MFL400」である。メス31の動き65が認識された後、左下のインタラクション部73aに対応する機能をアクティブ化する動き65が検出されたことは、左下のインタラクション部73aにおける代替画像71すなわち修正画像71の投影によって表される。
【0130】
第3のビュー75cに示されている動き65はオフライン運動であり、つまり、インタラクション部73のアクティブ化に対応する操作は動き65の完了後でないと実行されない。
【0131】
図の説明の最初の部分で既に言及したように、
図1−
図5に示されている実施形態は、例示のためのものであって、本発明の権利保護範囲を限定するものではないと理解されたい。したがって、任意の数のインタラクション部73、単手指ジェスチャ39、2手指ジェスチャ41および視野9の機能セクションを設けることができる。
【符号の説明】
【0132】
1 手術用顕微鏡、 3 光学イメージング装置、 4 立体視アイピース、 4a 補助者用立体視アイピース、 5 アイピース、 5a 補助者用アイピース、 6 センサ、 6a 近接センサ、 7 対物レンズ、 9 視野、 11 検査領域、 13 患者、 15 作動距離、 17 ジェスチャ検出ユニット、 19 ハウジング、 21 検出領域、 23,23a,23b 観察領域、 25 光軸、 27 3Dカメラ、 29 対象物、 31 メス、 31a 第1の回転位置、 31b 第2の回転位置、 31c 第3の回転位置、 33 ビームスプリッタ、 35 2Dセンサ、 37 距離、 38 基準点、 39 単手指ジェスチャ、 41 2手指ジェスチャ、 43 垂直ジェスチャ、 45 水平ジェスチャ、 47 2D組み合わせジェスチャ、 49 円運動ジェスチャ、 49a 回転ジェスチャ、 51 上昇ジェスチャ、 53a,53b 位置調整ジェスチャ、 55 ズームインジェスチャ、 57 ズームアウトジェスチャ、 59 第2の上昇ジェスチャ、 61 未焦準状態、 63 焦準状態、 65 動き、 67 開始位置、 69 終了位置、 71 画像、 73 インタラクション部、 73a 左下のインタラクション部、 75a 第1のビュー、 75b 第2のビュー、 75c 第3のビュー、 76,76a 信号路、 77 制御信号、 78 運動検出モジュール、 79 運動データ線路、 80 運動データ信号、 81 関係マッピングユニット、 82 可動機械要素、 82a ジョイント、 82b 支持アーム、 83 投影ユニット、 x x軸、 y y軸、 z z軸