特表 2024-505269 外科用顕微鏡及びカメラを備える外科的補助システムと表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-02-05

(54)【発明の名称】外科用顕微鏡及びカメラを備える外科的補助システムと表示方法

(51)【国際特許分類】

   A61B 34/10 20160101AFI20240129BHJP

【ＦＩ】

A61B34/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023546561

(86)(22)【出願日】2022-01-31

(85)【翻訳文提出日】2023-09-22

(86)【国際出願番号】 EP2022052202

(87)【国際公開番号】W WO2022162217

(87)【国際公開日】2022-08-04

(31)【優先権主張番号】102021102274.6

(32)【優先日】2021-02-01

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】523290953

【氏名又は名称】ビー．ブラウン ニュー ベンチャーズ ゲーエムベーハー

【氏名又は名称原語表記】Ｂ． Ｂｒａｕｎ Ｎｅｗ Ｖｅｎｔｕｒｅｓ ＧｍｂＨ

【住所又は居所原語表記】Ｂｅｒｌｉｎｅｒ Ａｌｌｅｅ ２， ７９１１０ Ｆｒｅｉｂｕｒｇ Ｉｍ Ｂｒｅｉｓｇａｕ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】アミール サルベスタニ

(57)【要約】

本開示は、患者（Ｐ）への外科的介入で使用される外科的な補助システム（１）に関し、補助システムは、外科用の顕微鏡（２）であって、ハウジング（６）と、光学顕微鏡軸（１０）の方向で対象領域（Ｂ）の光学的倍率を提供し、下流の顕微鏡画像ユニット（１２）によってデジタルの顕微鏡画像（１４）を作成するように適合された光学系（８）とを含む可動式の顕微鏡ヘッド（４）と、ベース（１８）に接続された可動式の顕微鏡アーム（１６）であって、その上に可動式の顕微鏡ヘッド（４）が取り付けられており、顕微鏡ヘッド（４）の位置及び／又は向きを調整するように適合された可動式の顕微鏡アーム（１６）と、を備える顕微鏡（２）と、視覚的コンテンツを表示するための少なくとも１つの表示装置（２０）と、顕微鏡画像（１４）を処理し、表示のために表示装置（２０）を適宜制御するように適合された制御ユニット（２２）と、を備え、外科用の顕微鏡（２）は、顕微鏡ヘッド（４）に配置されている少なくとも１つの周囲カメラ（２６）を有するカメラシステム（２４）をさらに備え、周囲カメラ（２６）は、周囲カメラ（２６）によって、光学系（８）によって対象とされた領域（Ｂ）と対象領域（Ｂ）の周りの周囲（Ｕ）との両方を撮影し、周囲画像（３０）を提供するために、周囲カメラ（２６）の視野（３６）が、光学系（８）の視野（３４）を含むように適合されており、制御装置（２２）は、周囲画像（３０）を処理し、顕微鏡画像（１４）と周囲画像（３０）とを含む合成ビュー（３２）を生成し、それを表示装置（２０）によって視覚的に出力するようにさらに適合されている。さらに、本開示は、画像表示方法、記憶媒体、及び無菌空間に関する。
【選択図】図１

【特許請求の範囲】

【請求項1】

患者（Ｐ）への外科的介入で使用される外科的な補助システム（１）であって、前記補助システム（１）は、
外科用の顕微鏡（２）であって、
ハウジング（６）と、光学顕微鏡軸（１０）の方向で対象領域（Ｂ）の光学的倍率を提供し、下流の顕微鏡画像ユニット（１２）を介してデジタルの顕微鏡画像（１４）を生成するように適合された光学系（８）とを含む、可動式の顕微鏡ヘッド（４）と、
ベース（１８）に接続された可動式の顕微鏡アーム（１６）であって、その上に可動式の前記顕微鏡ヘッド（４）が取り付けられており、特に支持されており、前記顕微鏡ヘッド（４）の位置及び／又は向きを調整するように適合されている可動式の顕微鏡アーム（１６）と、を備える顕微鏡（２）と、
視覚的コンテンツを表示するための少なくとも１つの表示装置（２０；３８）と、
前記顕微鏡画像（１４）を処理し、表示のために前記表示装置（２０；３８）を適宜制御するように適合されている制御ユニット（２２）と、を備え、
外科用の前記顕微鏡（２）、特に前記顕微鏡ヘッド（４）は、前記顕微鏡ヘッド（４）上、特に前記ハウジング（６）上に、好ましくはしっかりと配置された少なくとも１つの周囲カメラ（２６）を有するカメラシステム（２４）をさらに備え、
前記周囲カメラ（２６）は、特にその光学カメラ軸（２８）の向きとカメラ光学系とを介して、前記周囲カメラ（２６）によって、前記光学系（８）によって対象とされた前記領域（Ｂ）と対象の前記領域（Ｂ）の周りの周囲（Ｕ）との両方を検出し、周囲画像（３０）を提供するために、前記周囲カメラ（２６）の視野（３６）が、特に所定の距離から、前記光学系（８）の視野（３４）を含むように適合されており、
前記制御装置（２２）は、前記周囲画像（３０）を処理し、前記顕微鏡画像（１４）と前記周囲画像（３０）とを有する合成ビュー（３２）を生成し、それを前記表示装置（２０；３８）によって視覚的に出力するようにさらに適合されていることを特徴とする、外科的な補助システム（１）。

【請求項2】

外科的な前記補助システム（１）は、術前の３Ｄ画像データ、特にＭＲＩ画像データ及び／又はＣＴ画像データを有する記憶ユニット（４２）をさらに備え、
前記補助システム（１）、特に前記制御ユニット（２２）は、前記カメラシステム（２４）によって、特に前記周囲カメラ（２６）のみを用いて、前記患者（Ｐ）の３Ｄ構造、特に前記患者（Ｐ）の顔の３Ｄ構造を空間的に検出し、前記患者（Ｐ）を登録するために、検出された前記３Ｄ構造を前記３Ｄ画像データと関連付けるように適合されていることを特徴とする、請求項１に記載の外科的な補助システム（１）。

【請求項3】

３Ｄ構造を検出するために、前記カメラシステム（２４）は、３Ｄカメラ及び／又は２Ｄカメラを有し、特に前記カメラシステム（２４）の唯一の２Ｄカメラ又は３Ｄカメラとして前記周囲カメラ（２６）で構成されており、
前記２Ｄカメラの場合、前記２Ｄカメラは、関心領域の様々なビューを得るために、前記患者（Ｐ）の関心領域上を動かされ、前記制御ユニット（２２）は、画像解析を用いて、前記様々なビューから３Ｄ構造を算出するように適合されていることを特徴とする、請求項１又は請求項２に記載の外科的な補助システム（１）。

【請求項4】

前記補助システム（１）は、前記顕微鏡ヘッド（４）の位置、特にポーズを検出し、それを前記制御ユニット（２２）に提供するように構成されており、
前記制御ユニット（２２）は、前記顕微鏡ヘッド（４）の前記位置、特に前記ポーズを、登録位置及び関連する周囲画像（３０）として、特に検出された３Ｄ構造として、前記記憶ユニット（４２）に記憶するように適合されており、
記憶された前記登録位置又はポーズで周囲画像（３０）を更新する際に、前記制御ユニット（２２）は、記憶された前記周囲画像（３０）と新たに検出された周囲画像（３０）との重ね合わせ、特に部分領域の重ね合わせが、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、請求項２又は請求項３の１つに記載の外科的な補助システム（１）。

【請求項5】

外科用の前記顕微鏡（２）は、可動式の前記顕微鏡アーム（１６）及び可動式の前記顕微鏡ヘッド（４）を能動的に動かすために、少なくとも１つのアクチュエータを備えており、
前記制御装置（２２）は、前記顕微鏡ヘッド（４）を所定の位置及び／又は向きへ能動的に動かすように前記アクチュエータを制御するようさらに適合されていることを特徴とする、先行の請求項の１つに記載の外科的な補助システム（１）。

【請求項6】

前記補助システム（１）は、前記周囲画像（３０）においてフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えており、
前記制御ユニット（２２）は、前記光学顕微鏡軸（１０）が、特に所定の関連距離及び／又は所定の画像角度で、前記患者（Ｐ）における選択された前記フォーカス点と位置合わせされるように、選択された前記フォーカス点に基づいて、少なくとも１つの前記アクチュエータを介して、前記顕微鏡アーム（１６）及び前記顕微鏡ヘッド（４）を能動的に制御するように適合されていることを特徴とする、請求項５に記載の外科的な補助システム（１）。

【請求項7】

前記制御ユニット（２２）は、前記周囲画像（３０）の画像解析及び／又は前記顕微鏡ヘッド（４）に設けられたセンサを介して、前記顕微鏡ヘッド（４）の領域内にある物体と、前記物体までの可動式の前記顕微鏡ヘッド（４）の距離とを検出し、前記物体と衝突の可能性がある場合、特に前記距離が所定の距離を下回る場合、アラーム信号を発し、及び／又は、前記顕微鏡ヘッド（４）の少なくとも動きの自由度を制限し、特に前記顕微鏡ヘッド（４）の全体的な動きを停止するように適合されていることを特徴とする、先行する請求項の１つに記載の外科的な補助システム（１）。

【請求項8】

前記制御ユニット（２２）は、前記カメラシステム（２４）、特に少なくとも前記周囲画像（３０）、特にマーカ及び／又は前記患者（Ｐ）の特徴を使用して、医療器具（４４）及び／又は前記顕微鏡ヘッド（４）のポーズを正しく検出する、特に連続的に追跡するように適合されていることを特徴とする、先行する請求項の１つに記載の外科的な補助システム（１）。

【請求項9】

少なくとも１つの医療器具（４４）のデータ、特に幾何学的関係と、関連する使用指示とが前記記憶ユニット（４２）に記憶されており、
前記制御ユニット（２２）は、記憶された前記データに基づいて、特に前記幾何学的関係に基づいて、前記周囲画像（３０）において外科用器具（４４）を検出し、前記表示装置（２０；３８）を介して、前記関連する使用指示をユーザに出力するように適合されていることを特徴とする、先行する請求項の１つに記載の外科的な補助システム（１）。

【請求項10】

少なくとも１つの前記表示装置は、ＯＲモニタ（２０）、及び／又は頭部装着型ディスプレイ（３８）、及び／又はフェードイン可能なデータを有する双眼システムであることを特徴とする、先行する請求項の１つに記載の外科的な補助システム（１）。

【請求項11】

前記光学系（８）の倍率は、少なくとも５倍、特に少なくとも１０倍であり、前記光学系（８）がズーム機能を有することが好ましく、及び／又は
前記周囲カメラ（２６）の倍率は、最大で５倍、特に最大で１倍であることを特徴とする、先行する請求項の１つに記載の外科的な補助システム（１）。

【請求項12】

顕微鏡画像（１４）と周囲画像（３０）とを関連付けて表示するため、特に請求項１～１１の１つに記載の外科的な補助システム（１）のための画像表示方法であって、画像表示方法は、
好ましくは、外科用の顕微鏡（２）の可動式の顕微鏡ヘッド（４）に周囲カメラ（２６）を配置するステップ（Ｓ１）と、
可動式の前記顕微鏡ヘッド（４）に配置されている光学系（８）を介して、領域（Ｂ）を対象とするステップ（Ｓ２）と、
前記顕微鏡ヘッド（４）に配置されている顕微鏡画像ユニット（１２）によって、前記光学系（８）により提供される倍率の顕微鏡画像（１４）を生成するステップ（Ｓ３）と、
前記顕微鏡ヘッド（４）に配置されている周囲カメラ（２６）によって、周囲画像（３０）を生成するステップ（Ｓ４）であって、前記周囲カメラ（２６）の視野（３６）は、特に所定の距離から、前記光学系（８）の視野（３４）を含む、ステップと、
前記顕微鏡画像（１４）と前記周囲画像（３０）とを含む合成ビュー（３２）を生成するステップ（Ｓ５）と、
表示装置（２０；３８）によって、前記合成ビュー（３２）を出力するステップ（Ｓ６）と、を備える画像表示方法。

【請求項13】

コンピュータによって実行されると、前記コンピュータに請求項１２の方法ステップを実行させる命令を備えるコンピュータ読み取り可能な記憶媒体。

【請求項14】

手術室（１００）などの医療無菌空間であって、請求項１～１１の１つに記載の外科的な補助システム（１）を備えることを特徴とする、医療無菌空間。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、患者への外科的介入／外科的処置において使用される外科用顕微鏡／手術用顕微鏡を備える外科的補助システムに関する。外科用顕微鏡は、ハウジングと、特にハウジング内に設けられており、光学顕微鏡軸の方向に、特に５ｃｍから８０ｃｍの間の距離、特に好ましくは２０ｃｍから６０ｃｍの間の距離で、対象領域（介入領域）の光学倍率を提供し、特にセンサを備える顕微鏡画像ユニットによって（デジタル）顕微鏡画像を作成し、デジタル的に／コンピュータで読み取り可能なように顕微鏡画像を提供するように適合された光学系と、を含む可動式の顕微鏡ヘッドを備える。さらに、外科用顕微鏡は、基部に設けられた関節可動式／可動式の顕微鏡アームを備え、この顕微鏡アーム上に可動式の顕微鏡ヘッドが配置されており、特に支持されており、顕微鏡アームは、空間内で顕微鏡ヘッドの位置及び／又は向きを調節するように適合されている。外科的補助システムは、視覚的コンテンツを表示するための少なくとも１つの表示装置と、顕微鏡画像を処理し、それに応じた表示のために表示装置を制御するように適合された制御ユニットと、をさらに備える。さらに、本開示は、特許請求の範囲のプレアンブルに係る画像表示方法、記憶媒体、及び無菌空間に関する。

【背景技術】

【0002】

手術用顕微鏡又は外科用顕微鏡は、外科的介入、特に神経外科、脊椎外科、マイクロサージャリーで使用される標準的な器具である。これらの外科用顕微鏡は、通常、双眼光学系を備えており、これにより、外科医は、光学的に拡大された顕微鏡画像／顕微鏡映像／顕微鏡写真を直接見ることができる、あるいは、（デジタル的に）記録された顕微鏡写真を視覚的に表示するためのＯＲモニタなどの表示装置／外部通知装置を介して拡大表示された顕微鏡画像／顕微鏡映像／顕微鏡写真を見ることができる。しかしながら、いずれの場合においても、外科医は、双眼鏡又はＯＲモニタを通して、非常に高い倍率で対象介入領域の顕微鏡画像のみを見ることになる。その結果、外科医は、自身の手や外科的介入中に使用する医療器具の位置を確認するために、（顕微鏡画像の）周囲の手術領域／術野／介入領域を見ることができないか、少なくともそうすることが困難である。外科用顕微鏡の視野に入るのは、適切な位置に置かれた外科用器具の先端のみである。

【0003】

しかしながら、顕微鏡画像の周りを見ることは、実際の介入領域の外での損傷を避けるために、非常に重要である。周りを見るためには、外科医は、双眼システムや顕微鏡の表示装置から目を離して、外科用顕微鏡が対象としている領域の周囲を素早く視覚的に把握した後、再び顕微鏡画像へ戻らなければならず、これは介入中に大きな負担となる。２つの視野モダリティの異なる視野方向間の絶えず変化させ、外科医の頭の中で絶えず相関関係を保つことは、疲れるだけでなく、思わぬミスにつながってしまうことも多い。

【0004】

また、外科用顕微鏡は、一方では、特に担当の外科医が、外科用顕微鏡を容易に扱って覗き込むことができるように、あるいはＯＲモニタを良好な視野で見ることができるように、また他方では、術野／手術領域／介入領域を良好に見ることができるように手術室に配置されなければならない。したがって、ＯＲモニタは、外科医が両方のモダリティの良好な視野を有するように配置されなければならないが、これによって、手術室における配置の柔軟性が制限されてしまう。また、通常、顕微鏡の顕微鏡ヘッドの設置容積によって患者を直視することが妨げられてしまうので、外科医が介入領域を直接見ることは困難である。さらに、この位置とそれに対応する良好な視野は外科医だけに確保されるものであり、手術室の他の位置にいる他の手術スタッフは、ＯＲモニタによって表示される顕微鏡画像や介入領域を見ることが困難である。したがって、医療スタッフは、好ましくない位置にいる場合、常に頭の向きを変えて、見る方向を変えることを余儀なくされる。

【0005】

例えば、ＵＳ ２０１９０２９０１ Ａ１は、外科医の頭部に設けられたポータブル視覚化システムと組み合わせて使用される外科用顕微鏡を備える補助システムを開示している。この視覚化システムを使うと、外科医は、自分の目の視野角に応じて、顕微鏡画像又は一種の拡大画像／拡大表示のいずれかを見ることができる。これにより、外科医は２つのモダリティを切り替えることができるが、このような視覚化システムには制限や困難が伴う。光学系が一体化されているので、視覚化システムは重く、製造コストが高く、また、外科医の眼へのビーム経路が常に正確でなければならないため、エラーが発生しやすい。また、外科医は、視覚化システムのせいで周囲の知覚を失ってしまう。

【0006】

例えば、ＵＳ９，９３６，８６３ Ｂ２は、特に外科用顕微鏡の中央顕微鏡画像と創傷拡張装置に設けられた追加カメラの周囲画像を外科医に提供するために、患者上にある創傷拡張装置に設けられた追加カメラを有する外科用顕微鏡を備えるシステムを開示している。しかし、このようなシステムには、カメラが設けられた創傷拡張装置を患者に装着しなければならず、また外科医に重要な情報を提供する介入部位の周囲環境が光学的に撮影されないという欠点がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

従って、本開示の課題は、従来技術の欠点を回避するか、少なくとも低減することであり、特に、手術室内の参加者／医療スタッフ、特に（主導役の）外科医が、介入部位の対象領域の（拡大）顕微鏡画像／顕微鏡写真と介入部位の対象領域の周囲環境の表示との支援的な情報融合を一元的かつ直感的に見ることが可能な、外科的補助システム、（画像）表示方法、記憶媒体、及び無菌空間を提供することである。また、特に、不注意で意図しない動作による組織の損傷や外科的介入の継続時間を回避するか、又は少なくとも最小限に抑えるために、手と目の連係が改善され、介入領域／手術領域／術野への安全なアクセスが確保されるべきである。特に、顕微鏡画像と環境からの情報をリンクさせることによって、介入に必然的に伴う外科医の頭の動きや精神的なストレスを最小限に抑えるべきである。

【課題を解決するための手段】

【0008】

これらの課題は、請求項１の特徴による汎用の外科的補助システムに関して解決され、請求項１２の特徴による汎用の画像表示方法に関して解決され、請求項１３の特徴による汎用のコンピュータ読取可能記憶媒体に関して解決され、請求項１４の特徴による汎用の無菌空間に関して解決される。

【0009】

基本的に、外科用顕微鏡、特に顕微鏡ヘッドは、少なくとも１つの追加カメラを含むカメラシステムを備える。カメラは、顕微鏡ヘッド上、特に顕微鏡光学系のハウジング上に、特に固定的に／しっかりと取り付けられて、配置されている。したがって、光学顕微鏡の軸は、光学カメラの軸と同様の視野方向を向く。そのため、顕微鏡画像とカメラ画像の両方は、特に相互に関連している。追加の周囲／環境カメラは、外科用顕微鏡と比較して低倍率の画像、又は、好ましくは外科用顕微鏡の光学系と同様の視野方向の広角画像／広角写真を生成する。周囲カメラ又はカメラシステムの別のカメラは、顕微鏡ヘッド内、特にハウジング内に配置されるか又は一体化されるように、顕微鏡ヘッドに配置されてもよい。

【0010】

外科用顕微鏡（又は光学系）による顕微鏡画像と周囲カメラによる周囲画像の両画像は、制御ユニットによって処理され、両画像を含む合成ビューが生成される。そして、両画像の情報が視覚的に得られるこの（デジタル的に生成された）合成ビューは、表示装置によって一元的に出力される。

【0011】

このように、この補助システムは、ユーザ、特に外科医が、頭の位置や見る方向を変えることなく、拡大された介入領域の内部と、介入領域の周囲／外部の概観との両方を視覚的に把握することを可能にする。特に、一元的な表示によって、連係が向上し、疲労が緩和され、介入時間が短くなる。また、より良い概観が外科医に提供されるので、患者の安全性も向上する。

【0012】

言い換えれば、外科用顕微鏡、特に顕微鏡ヘッドは、少なくとも１つの周囲カメラを含むカメラシステムを備え、周囲カメラは、顕微鏡ヘッドに配置されているか、又は顕微鏡ヘッドに接続されている。特に、周囲カメラはハウジングに取り付けられている。周囲カメラは、顕微鏡ヘッド、特にハウジングにしっかりと固定され、顕微鏡ヘッドと光学系に対する向きが常に一定に保たれることが好ましい。光学系が対象とする領域と対象領域の周囲との両方を周囲カメラによって検出し、デジタル的に／コンピュータ読み取り可能に周囲画像を提供するために、周囲カメラは、特にその光学カメラ軸の向きを介して、及び／又はそのカメラ光学系を介して、周囲カメラの視野が、特に所定の距離から、好ましくはカメラの前面又は顕微鏡ヘッドの側面まで５ｃｍの距離から、外科用顕微鏡の光学系の視野を含む／包含する／備える／伴うように適合されている。制御装置は、周囲画像を処理し、顕微鏡画像と周囲画像との合成ビューを生成し、表示装置によって合成ビューを視覚的に出力するようにさらに適合されている。

【0013】

ここで、合成ビューとは、顕微鏡画像と周囲画像の両方の情報が単一のビューで一元的に表示されることを意味する。言い換えると、合成ビューには、顕微鏡画像と、必要に応じて画像処理された周囲画像とが表示される。

【0014】

特に、周囲カメラは、外科用顕微鏡の光学系と同様の又は平行な視野方向を有する。従って、対象領域に加えて、この対象領域の周囲環境も光学的に記録される。光学系の光軸と周囲カメラの光軸は、同じように配置されている、特に互いに平行又は実質的に平行に配置されているとも言える。ここで、光学的検出は、特に可視光域に限定される必要はなく、可視光域より下及び上の他の周波数を含んでもよいことに留意されたい。例えば、赤外線画像が、周囲画像として周囲カメラによって記録されてもよく、制御ユニットによって処理されてもよく、適切に出力されてもよい。周囲カメラ、特に周囲カメラ及び制御ユニット、又はカメラシステムの別のカメラは、三次元画像及び／又はいわゆる深度マップを記録又は生成するように適合されてもよいことが好ましい。このように、時二次元画像だけでなく、周囲の三次元構造も得られる。深度マップには、視点から表面までの距離に関する情報が含まれるので、三次元構造が検出される。

【0015】

視野という用語は、光学系や周囲のカメラの画角の中で、画像を撮影できる領域を意味する。言い換えると、周端縁によって制限された、画像ユニット又はセンサに捉えられた画像／イメージである。これは、光軸と同軸に配置され、その先端が光学系の前面に位置する円錐に例えることができる。円錐の内部体積内のすべての「物体」を記録することができる。円錐の開口角が、可能な画像領域を規定する。ここで、顕微鏡の円錐は、図式的には、周囲カメラの円錐内（内部）に位置する。従って、周囲カメラは、対象領域も周囲カメラの円錐内にあるので、対象領域を検出することができ、さらにこの領域の周囲環境も検出できる。周囲カメラは（円錐の）広い開口角を有し、それに応じて倍率が低いが、顕微鏡の光学系は、非常に狭い開口角を有し、それに応じて倍率が高い。

【0016】

有利な実施形態は、従属請求項に記載され、以下に説明される。

【0017】

好ましい実施形態によれば、補助システムは、術前の三次元画像データ、特にＭＲＩ画像データ及び／又はＣＴ画像データが記憶された記憶ユニットをさらに備えてよく、補助システム、特に制御ユニットは、カメラシステムを用いて、特に周囲カメラのみを用いて、患者、特に頭部、特に好ましくは患者の顔の３Ｄ（即ち三次元）構造を空間的に検出し、特に外科用顕微鏡、特に好ましくは顕微鏡ヘッドに関して患者を登録するために、検出された３Ｄ構造を３Ｄ画像データと関連付けるように適合されていてもよい。換言すれば、特に制御ユニットは、患者を登録するために、患者の記憶された３Ｄ画像データ、特に磁気共鳴画像法（ＭＲＩ）又はコンピュータ断層撮影法（ＣＴ）の記憶されたデータに基づいて、記録された３Ｄ構造を３Ｄ画像データと関連付けるように適合されていてもよい。このように、変換行列を介して、患者のローカル座標系が、外科用顕微鏡のローカル座標系、特に顕微鏡ヘッドのローカル座標系にリンクする。このようにして、３Ｄ画像データは、幾何学的に患者に関連付けられてもよいし、又は顕微鏡ヘッドにリンクされてもよい。したがって、周囲カメラを使って簡単に患者を登録することができる。顕微鏡ヘッドが動くと、顕微鏡ヘッドの動きが検出／追跡され、それに応じて３Ｄ画像データと関連付けられてもよい。このように、周囲カメラを備える補助システムのもう１つの機能は、外科的ナビゲーションシステムを使用する際に患者を登録することである。さらに言い換えると、パターン認識によって患者を登録するために、追加の周囲カメラが使用されてもよい。患者の３Ｄ表面、例えば顔が抽出され、ＣＴ画像データやＭＲＩ画像データなどの術前３Ｄデータセットの３Ｄ画像データの３Ｄ表面と関連付けられる。周囲カメラは、このようにして、患者表面の３Ｄ画像、例えば顔の３Ｄ画像を生成し、この３Ｄ画像は、ＭＲＩ画像データなどの術前３Ｄ画像データと関連付けられてよく、制御ユニットはそれに応じて適合される。関連付けのための外部参照は、特に、剛体及び／又は光学パターン及び／又は特徴的な目印であってもよい。周囲カメラは、登録に使用される領域、例えば顔において、患者に位置合わせされる。３Ｄという用語は、患者の構造、画像データ、又は表面が、空間的であること、すなわち３次元であることを意味する。空間的な寸法を有する患者の身体又は身体の少なくとも一部は、例えばデカルト座標系（Ｘ、Ｙ、Ｚ）の３次元空間における画像データとしてデジタル的に利用可能である。

【0018】

更なる実施形態によれば、３Ｄ構造を介した登録に加えて又はその代替として、患者に取り付けられた少なくとも１つのマーカを介した登録が行われてもよい。制御ユニットは、少なくとも１つのマーカの検出された所定の位置を介して、外科用顕微鏡、特に顕微鏡ヘッドに対して患者を登録するように適合されている。この登録は、画像処理技術を用いることによって、マーカを使用して行われてもよいし、マーカを使用せずに（マーカレスで）行われてもよい。ポーズという用語は、位置と向きの両方を意味する。

【0019】

３Ｄ構造の検出のために、カメラシステムは、３Ｄカメラ及び／又は２Ｄカメラを有してよく、特に、カメラシステムの唯一の２Ｄカメラ又は３Ｄカメラとして周囲カメラのみで構成されることが好ましい。２Ｄカメラの場合、関心領域の様々なビューを得るために、２Ｄカメラは、患者の関心領域上を動かされてもよい。そして、制御ユニットは、画像解析（マシンビジョン）を使用して、撮影された様々なビューから３Ｄ構造を算出するように適合されている。このように、３Ｄ表面／３Ｄ構造を生成するために、３Ｄカメラが使用されるか、又は、患者上を動かされて、様々な視点からの画像を生成する２Ｄカメラが使用される。このようにして生成された３Ｄ構造／３Ｄ表面は、制御ユニットを介して、特に術前の３Ｄ画像データと関連付けられてもよい。

【0020】

本開示の一態様によれば、補助システムは、特に、少なくとも１つのセンサを備えていてもよく、顕微鏡ヘッドの位置、特にポーズを検出し、それを位置データ又はポーズデータとして制御ユニットに提供するように適合されていてもよい。制御ユニットは、登録時の顕微鏡ヘッドの位置、特にポーズを、登録位置及び関連周囲画像、特に検出された３Ｄ構造として記憶ユニットに記憶するように適合されていることが好ましい。記憶された登録位置又はポーズで再登録する際に、制御ユニットは、記憶された３Ｄ構造と再検出された３Ｄ構造との重ね合わせが、特に介入中に変化しない重ね合わせの部分領域（カバー又は創傷エッジ／切開境界など）において、所定の閾値を超えてずれている場合に、登録ずれが存在すると判定してもよい。特に、制御ユニットは、ずれ量を計算するように適合されていてもよい。例えば、特徴的に予め規定された点のセットが決められており、記憶された３Ｄ構造と新たに検出された３Ｄ構造との対応する点の間の距離が合計されてもよい。距離の合計が閾値を超える場合、ずれが存在すると判定されてもよい。制御ユニットは、オフセットによって、特に空間内の並進のオフセット及び／又は軸を中心とする回転のオフセットによって、登録を自動的に修正するように適合され得てもよいことが好ましい。言い換えれば、補助システムは、好ましくは、（同じポーズの）２つの周囲画像間のずれを検出し、オフセット／変位／ずれを計算し、所定のオフセットを補正するように適合されていてもよい。特に、制御ユニットは、例えば、表示装置を介して視覚的に、及び／又はオーディオ装置を介して音響的に、ずれの存在をユーザに通知してもよい。特に、補助システムを介してアラーム信号が出力されてもよい。特に、補助システムは、周囲カメラ及び適合された制御ユニットによって、例えば、患者追跡装置の意図しない動きによって生じるナビゲーションの不正確さを自動的に検出し、修正してもよい。周囲カメラと外科用顕微鏡の光学系は、幾何学的に関連付けられている。初期登録中又は初期登録後、周囲カメラは、特定の位置（登録位置）又はポーズから介入領域の画像を撮影する。この位置又はポーズは、患者追跡装置から顕微鏡追跡装置への相対変換（変換マトリックス）として計算される。精度を確認するために、手術中いつでも顕微鏡ヘッドをこの登録位置へと動かし（戻し）、再び写真（周囲画像）を撮影してもよい。最初の登録時の画像と精度チェック時の画像（新しい周囲画像）の両画像が、重ね合わされる。不正確さやずれがなければ、これらの画像は、介入中に変更されない特定の画像部分／画像領域（カバーや傷の境界／切開の境界など）の全てにおいて一致する。一方、ずれや不正確さがある場合、２つの画像／写真は互いにオフセットしている。特に、ユーザにそのずれを通知してもよい。さらに、オフセットを計算することによって、外科医にずれ量を知らせてもよい。さらに、制御ユニットによって、決定されたオフセットを用いて登録を調整することにより、不正確さが自動的に修正されてもよいことが好ましい。

【0021】

本開示の更なる態様によれば、記憶される登録位置に代えて又はそれに加えて、幾何学的位置、特に顕微鏡ヘッドのポーズも予め決められてもよく、特に介入領域の検出又は患者の顔の検出を介してそこから周囲画像を行うために、その位置に顕微鏡ヘッドが動かされる。ずれを計算するための補助システムの構成に関する上記の特徴は、この様態にも見出される。

【0022】

特に、外科用顕微鏡は、可動式の顕微鏡アーム及び可動式の顕微鏡ヘッドを能動的に動かす及び制御するための少なくとも１つのアクチュエータを備えてよく、制御ユニットは、空間内の所定の位置及び／又は向きに顕微鏡ヘッドを動かすようにアクチュエータを制御するようにさらに適合されていてもよい。このように、顕微鏡ヘッドは、手動ではなく自動的に、特に所定の位置（位置及び向き）へ「動かされ」てもよい。このように、例えば、明確な繰り返し精度で、上述した登録位置を再現することができたり、記憶されたビューを外科用顕微鏡によって「呼び出す」ことができる。

【0023】

独立して請求項に記載され得る本発明の一態様によれば、周囲カメラ及び／又は画像ユニットは、好ましくは少なくとも３５メガピクセルの高解像度センサを備えてよく、制御ユニットは、画像に関してセンサの１つの領域、特に中央領域をデジタル的に拡大する一方で、センサの他の領域に対しては低い倍率を使用するように適合されていてもよい。

【0024】

本開示のさらなる態様によれば、制御ユニットは、特に最初に、周囲画像を生成し、周囲画像内の少なくとも１つの特徴的な目印を抽出し、検出された顕微鏡ヘッドのポーズ（顕微鏡ヘッドと周囲カメラとの幾何学的関係が定義されている）に基づいて、顕微鏡ヘッドに対する抽出された目印の位置、特にポーズを特定し、つまり、基準座標系に対する空間内の目印の位置を特定し、周囲画像の特徴的な目印と関連付けられ決定された位置又はポーズとを基準値として記憶ユニットに記憶するように適合されており、制御ユニットは、現在の周囲画像においてこの抽出された目印を連続的に認識し、空間における目印の現在の位置、特に現在のポーズを連続的に特定し、記憶された位置又はポーズと現在の位置又はポーズとの間にずれがある場合に、登録にずれがあると判定するようにさらに適合されている。特に、制御ユニットは、表示装置を介して対応するメッセージを出力する。言い換えれば、一実施形態では、登録位置のずれを検出する代わりに、予め決められていない位置又はポーズの登録のずれを決定するために、方法又は対応するように適合された制御ユニットを使用してもよい。この場合、周囲カメラによって観察又は検出された領域のうち、介入中に変化しない部分領域が使用される。この領域において、画像処理法を用いて追跡可能な目印が抽出される。目印は、介入や処置の開始時に最初に見つけられる又は決められてもよいし、介入中に継続的に見つけられる又は決められてもよい。目印は、顕微鏡ヘッドの位置や向きが変わっても周囲カメラによって検出できるようなものでなければならない。周囲カメラの視野内にある各目印の位置は、特に画像処理方法によって、周囲カメラに対して連続的に特定される。顕微鏡ヘッドに対する周囲カメラの幾何学的関係又はポーズが既知であり、顕微鏡ヘッドの位置が測定可能であることから、観察された目印の位置も既知であるか、又は制御ユニットによって計算又は特定することができる。このようにして特定された目印位置は、予想される目印位置又はポーズ（目標位置）と比較されてもよい。ここでずれが見られる場合には、登録のずれが考えられる。予想される目印位置は、目印の更なる検出のための基準値として使用できるように、特に目印の最初の観察又は検出時に、システム又は記憶ユニットに記憶される。

【0025】

本開示の更なる態様によれば、制御ユニットは、画像処理方法によって周囲カメラに対する目印の位置、特にポーズを特定し、このポーズを目印の既知のポーズ、特にナビゲーションシステムの外部カメラによって検出された目印のポーズ及び／又は顕微鏡の光学系及び画像ユニットによって検出されたポーズと比較し、過剰決定システムの最小化方法を用いて、カメラシステムの登録を改善し、及び／又はカメラシステムのエラーを最小化するように適合されていてもよい。換言すると、一実施形態によれば、周囲カメラに対する観察された又は特徴的な目印の特定された位置又はポーズは、ナビゲーションシステム又は登録の精度を向上させるためにも使用することができる。このために、顕微鏡ヘッドのポーズ、周囲カメラのポーズ、及び目印のポーズが、既知であるか又は特定可能であることが想定される。周囲カメラに対する目印の位置、特にポーズが、画像処理法を用いて（制御ユニットによって）特定される場合、顕微鏡又は顕微鏡ヘッドの位置、特にポーズを介して、目印の位置を特定する別の方法もある。カメラシステムや登録の不正確さに起因して、２つの方法において目印の位置が異なる。数学的な観点では、これは過剰決定システムになる。最小化技術を用いると、この過剰決定を利用して、カメラシステムのエラーやナビゲーションシステムの登録のエラーを継続的に改善でき、システム全体の精度を向上させることができる。

【0026】

本開示のさらなる態様によれば、能動的に可動な顕微鏡ヘッドの場合、補助システムは、周囲カメラの周囲画像におけるフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えていてもよい。制御ユニットは、光学顕微鏡の軸が、患者において、特に所定の関連する距離で及び／又は所定の画像角度で、選択されたフォーカス点と位置合わせされるように、選択されたフォーカス点に基づいて、少なくとも１つのアクチュエータを介して顕微鏡アーム及び顕微鏡ヘッドを能動的に制御し、動かすように適合されていてもよい。このように、外科医が周囲画像の選択された点にワンタッチするだけで、顕微鏡を適切な焦点に合わせることができる、直感的で自動調節可能な外科用顕微鏡が提供される。このように、周囲カメラを備える補助システムの付加的な機能は、周囲カメラの周囲画像において対象／フォーカス点を決め、フォーカス点が顕微鏡画像の焦点又は外科用顕微鏡の光学系の焦点にあるように顕微鏡を動かすことにより、ロボットガイド外科用顕微鏡を対象フィールドへ動かすことである。

【0027】

本開示のさらなる態様によれば、制御ユニットは、周囲画像の画像解析及び／又は顕微鏡ヘッドに設けられたセンサによって、顕微鏡ヘッドの領域内の物体と、この物体までの可動式顕微鏡ヘッドの距離とを検出するように適合されていてもよい。この物体と衝突の可能性がある場合、特に距離が所定の距離を下回っている場合、補助システム、特に制御ユニットは、アラーム信号、特にオーディオ装置を介したアラーム音、及び／又は表示装置を介したアラーム表示を発するように適合されており、及び／又は、顕微鏡ヘッド及び／又は顕微鏡アームの少なくとも動きの自由度を制限するように、特に、顕微鏡ヘッド、特に外科用顕微鏡全体の全体的な動きを停止するように適合されている。したがって、付加的な周囲カメラを備える補助システムの更なる機能は、補助システムが顕微鏡ヘッドまでの距離を特定し、その距離が足りない場合には視覚的又は聴覚的に警告を発することによって、又は、ロボットガイド式の外科顕微鏡の場合には動きを停止させることによって、顕微鏡と物体との衝突を防止することである。周囲カメラ／概観カメラは、特にロボットアームの形態の顕微鏡アーム上でガイドされる顕微鏡ヘッドの自律的な移動中の衝突も検出することができる。そして、例えばブレーキやロックシステムによって、その動きを時間内に停止させることができる。顕微鏡アームやロボットアームが手動でガイドされる場合でも、衝突を検知し、それ以上の動きを防止することができる。

【0028】

制御ユニットは、カメラシステム、特に少なくとも周囲画像、特にマーカ及び／又は患者の特徴を介して、医療器具、特に外科用器具のポーズ、及び／又は顕微鏡ヘッドのポーズを正しく検出する、特に正しく追跡するように適合され得てもよいことが好ましい。従って、周囲カメラは、特に医療器具のポーズを連続的に検出してもよい。検出された医療器具のこのポーズは、特に、仮想の位置及び／又は向きを概略的に表示することによって、又は対応する位置に仮想の器具を重ねることによって、３Ｄ画像データで再現されてもよい。特に、顕微鏡ヘッドに対する患者及び／又は医療器具の相対的なポーズは、３Ｄ画像データで正確に表示されてもよい。さらに、特に、検出された顕微鏡ヘッドも仮想の顕微鏡ヘッドとして３Ｄ画像データに表示されてもよい。言い換えれば、周囲カメラを備える補助システムは、特に、外科用顕微鏡の使用中に患者の位置、特にポーズを追跡するために使用されてもよい。顕微鏡ヘッドに対する患者の位置、特にポーズを特定又は見つけるために、剛体又は光学パターン又は固有の解剖学的目印などの外部参照をこの目的のために使用し得ることが好ましい。これにより、ＭＲＩ画像データなどの術前の３Ｄ画像データと関連付けられた顕微鏡画像を表示することができる。周囲カメラは、外科用器具、特にマーカを備える外科用器具を追跡し、その位置、特にポーズを術前の３Ｄ画像データの顕微鏡画像に重ね合わせるためにも使用されてもよいことが好ましい。このように、付加的な周囲カメラを備える補助システムのもう１つの機能は、外科用ナビゲーションシステムの使用中に、患者及び／又は外科用器具及び／又は外科用顕微鏡自体を追跡する／追いかけるために補助システムを提供することである。例えば、追跡のために周囲カメラの視野内のマーカを使用してもよいし、あるいは、患者や器具に固有の特徴を利用して、マーカなしで追跡を行うこともできる。この場合、周囲カメラは、外科用ナビゲーションシステムで通常使用される外部カメラに取って代わることができる。さらに、周囲カメラは、一時的に外部カメラの視野制限（例えば、オーバーラップによる）が発生しても、特徴や器具を検出するため、特にその位置を特定するために、一時的に外科用ナビゲーションシステムの外部カメラに取って代わったり、又はそれを補完したりすることもできる。

【0029】

本開示のさらなる態様によれば、少なくとも１つの医療器具のデータ、特に幾何学的関係と、関連する使用指示と、が、記憶ユニットに保存／記憶されてもよい。制御ユニットは、記憶されたデータに基づいて、特に記憶された幾何学的関係に基づいて、周囲画像内の外科用器具を検出し、表示装置及び／又はオーディオ装置を介して関連する記憶された使用指示をユーザに出力するようにさらに適合されていてもよい。従って、周囲カメラを備える補助システムの付加的な機能は、使用される医療器具、特に外科用器具の認知と、外科医への関連する使用指示の提供である。

【0030】

一実施形態によれば、少なくとも１つの表示装置は、ＯＲモニタ及び／又は頭部装着型ディスプレイ（ＨＭＤ）及び／又は重ね合わせ可能なデータを有する双眼システムであってもよい。表示装置がＯＲモニタである場合、合成ビューは、画像としてＯＲモニタに表示される。補助システムが表示装置として頭部装着型ディスプレイ／仮想現実ゴーグルを有する場合、合成ビューは、ディスプレイを介して出力されてもよい。特に、外科用顕微鏡及び／又は周囲カメラが３Ｄ画像を生成するように適合されている場合、外科医に空間的なビューが提供されるように、合成ビューは頭部装着型ディスプレイを介して３次元的に出力されてもよい。外科医が両眼で観察する双眼システムの場合、周囲データは、例えばプリズム及びディスプレイを介して、画像平面に重ね合わせられてもよい。これは、拡張現実システムを構成する。言い換えれば、少なくとも１つの表示装置は、（ＯＲ）モニタ及び／又は頭部装着型ディスプレイ及び／又は双眼システムであってもよい。

【0031】

特に、制御ユニットは、合成ビューとして顕微鏡画像と周囲画像の横並び表示又は重ね合わせ表示を生成し、表示装置を介してそれを出力するように適合されていてもよい。言い換えれば、顕微鏡画像と周囲画像が、横並びで又は重ねられて表示されてもよい。重ね合わせ表示の場合、顕微鏡画像（例えば、透明性なし）が制御ユニットによって合成ビューの中央領域に生成されてよく、周囲画像はこの顕微鏡画像の周りの背景として表示される。

【0032】

さらなる実施形態によれば、光学系の倍率は、少なくとも５倍、特に少なくとも１０倍、特に好ましくは少なくとも４０倍であってもよい。外科用顕微鏡の光学系はズーム機能を有し得ることが好ましい。周囲カメラの倍率は、最大５倍、特に最大１倍であり得ることがさらに好ましい。光学系と画像ユニットを備える外科用顕微鏡が比較的高い倍率を提供する一方で、光学系を備える周囲カメラは、広角画像を生成し、それを環境表示のための周囲画像として提供するように適合されている。

【0033】

本開示の一態様によれば、カメラシステムは、周囲カメラに加えて、介入領域の周りの視野を拡大するために、第２のカメラ、特に加えて第３のカメラ、特に好ましくは加えて第４のカメラをさらに備えてもよい。このように、カメラシステムでは、術野外の視野を拡大するために、周囲カメラに加えて、追加のカメラを使用してもよい。

【0034】

特に、広角の周囲画像を提供するために、周囲カメラの光学系の焦点距離は、最小１０ｍｍ及び／又は最大５０ｍｍであってもよく、又は、視野角は、少なくとも４５°、好ましくは少なくとも７０°であってもよい。

【0035】

光学顕微鏡軸は、最大１０ｃｍ、特に好ましくは最大５ｃｍの距離で、光学カメラ軸と交差する又は光学カメラ軸を通過してもよいことが好ましい。特に、光学顕微鏡軸と光学カメラ軸との間の角度は、最小２°及び／又は最大１５°であってもよい。あるいは、光学顕微鏡軸と光学カメラ軸は、互いに平行であることが好ましい。

【0036】

２つの異なる画像を表示するための（画像）表示方法に関して、本開示の課題及び目的は、以下のステップによって解決される：好ましくは、外科用顕微鏡の可動式顕微鏡ヘッドに周囲カメラを配置するステップ、可動式顕微鏡ヘッドに配置されている光学系を介して領域を対象とするステップ、光学系によって提供される倍率の顕微鏡ヘッド上又は内に配置されている顕微鏡画像ユニットによって顕微鏡画像を生成するステップ、顕微鏡ヘッドに配置されている周囲カメラによって周囲画像を生成するステップであって、周囲カメラの視野、特に所定の距離からの周囲カメラの視野が光学系の視野を含む、周囲画像を生成するステップ、顕微鏡画像と周囲画像とを含む合成ビューを生成するステップ、表示装置によって合成ビューを出力するステップ。この表示方法は、両方の画像モダリティを一元的に外科医に提供する。

【0037】

表示方法は、術前の３Ｄ画像データ、特にＭＲＩ画像データ及び／又はＣＴ画像データを読み込むステップと、周囲カメラによって患者の３Ｄ構造を検出するステップと、検出された３Ｄ構造と３Ｄ画像データとを関連付けるステップと、関連付けによって患者を登録するステップとをさらに含み得ることが好ましい。

【0038】

一実施形態によれば、表示方法は、患者を初期登録するステップと、顕微鏡ヘッドのポーズを検出するステップと、周囲カメラによって周囲画像を生成するステップと、検出されたポーズ（登録位置）と周囲画像とを記憶するステップと、顕微鏡ヘッドを動かした後、記憶されたポーズへ戻すステップと、周囲画像を再取得するステップと、記憶された周囲画像と新しい周囲画像とを比較するステップと、記憶された周囲画像と新しい周囲画像との間のずれを判定するステップと、ずれが閾値を超えている場合に音響信号又は視覚信号を出力するステップ、及び／又は、オフセットを計算し、初期登録にオフセットを適用するステップを含んでよい。

【0039】

特に、外科的補助システムに関して上述され、本方法にも同様に適用できるように、観察された目印の位置を目印の基準位置と連続的に比較し、ずれを判定してもよい。ずれが検出される場合、特に、登録のずれが存在すると判断されてよく、メッセージが出されることが好ましい。登録のずれを連続的に検出する方法を使用する場合、登録位置を記憶すること、登録位置で環境を撮像すること、及び環境の撮像を伴って登録位置へ戻ることを省略することができる。

【0040】

さらなる実施形態によれば、表示方法は、周囲画像において、医療器具とその位置及び／又は向きとを検出するステップと、医療器具のポーズを３Ｄ画像データへ転送するステップと、仮想の医療器具のビュー又は少なくとも概略ビューを３Ｄ画像データに表示するステップとを含んでもよい。

【0041】

表示方法は、周囲カメラによって患者及び／又は外科用器具及び／又は顕微鏡ヘッドを追跡するステップと、対応する動作データを提供するステップとを含むことが好ましい。

【0042】

さらに、表示方法は、特に、周囲画像内で検出された物体までの距離を特定するステップと、距離が短い場合に、アラーム信号を出力するステップ、及び／又は顕微鏡ヘッドの動きの自由度を制限するステップ、特に顕微鏡ヘッドの動きを停止／阻止するステップと、を含んでもよい。周囲カメラ／概観カメラの周囲画像は、特にロボットアームの形態の顕微鏡アームの自律的又は協調的な移動中に衝突を検出するために使用することもできる。したがって、ブレーキシステムにより、動きを時間内に停止させることができる。例えば、顕微鏡アームやロボットアームが外科医によって手動でガイドされる場合でも、衝突を検出し、それ以上の動きを防止することができる。

【0043】

本開示の一態様によれば、表示方法は、周囲画像内のフォーカス点を読み取るステップと、光学顕微鏡軸が、特に所定の距離で及び／又は所定の画像角度で、選択されたフォーカス点と位置合わせされるように、顕微鏡アームと顕微鏡ヘッドを制御するステップとを含んでもよい。

【0044】

表示方法は、周囲画像において医療器具を検出するステップと、表示装置を介して、医療器具に関連する使用指示を出力するステップとを含み得ることが好ましい。

【0045】

ここで、本開示の表示方法の特徴は、本開示の外科的補助システムにも転用可能であり、その逆でもよいことに留意されたい。

【0046】

コンピュータ読み取り可能記憶媒体に関して、本開示の課題及び目的は、コンピュータ読み取り可能記憶媒体が、コンピュータによって実行されたときに、本開示による画像表示方法の方法ステップをコンピュータに実行させる命令を備えることによって解決される。

【0047】

一般的な無菌空間に関して、本開示の課題は、医療用無菌空間が本開示による外科的補助システムを備えることで解決される。

【0048】

本開示は、添付図面を用いて好ましい実施形態を参照して以下に説明される。

【図面の簡単な説明】

【0049】

【図1】第１の好ましい実施形態の外科用補助システムの概略斜視図であり、外科的補助システムは移動式の外科用顕微鏡として提供されている。

【図2】図１の外科用顕微鏡の顕微鏡ヘッドの概略斜視図である。

【図3】介入中の図１及び図２の補助システムのさらなる概略斜視図である。

【図4】さらに好ましい実施形態による、頭部装着型ディスプレイを備える外科用補助システムの概略図である。

【図5】周囲カメラによる３Ｄ構造の検出を示す概略図である。

【図6】好ましい実施形態による画像表示方法のフローチャートを示す。

【発明を実施するための形態】

【0050】

図は概略的なものであるにすぎず、本開示を理解しやすくすることのみを目的としている。同じ要素には同じ参照符号が付されている。様々な実施形態の特徴は入れ替えることができる。

【0051】

図１～図３の各々は、患者Ｐに対する外科的介入で使用される、第１の好ましい実施形態の外科的補助システム１（以下、補助システムと呼ぶ）の概略斜視図である。補助システム１は、患者Ｐ（概略的にのみ図示される）に対する外科的介入中に適切な視覚化によって手術室にいる参加者、特に外科医をサポートするために、好ましい実施形態の手術室１００の形態の医療無菌空間内で使用される。中央の無菌外科的介入領域で、患者Ｐに対して低侵襲性介入が行われる。

【0052】

好ましい本実施形態では、外科的補助システム１は、外科用顕微鏡２を備え、移動可能で自律的に動作する外科用顕微鏡２として構成されている。具体的には、外科用顕微鏡２（以下、単に顕微鏡と呼ぶ）は、可動に取り付けられた前面可動／調節可能な顕微鏡ヘッド４を有する。したがって、顕微鏡ヘッド４の位置と向きを個別に調整することができる。

【0053】

可動式の顕微鏡ヘッド４は、ハウジング６と、このハウジング内に配置され、レンズやレンズ系などの複数の光学素子を有する光学系８とを有する。本実施形態では、単眼光学系が設けられている。しかしながら、例えば三次元の顕微鏡画像を作成するために、双眼光学系８が設けられてももちろんよい。光学系は、外科用顕微鏡で一般的であるように、光学顕微鏡軸１０の方向で対象領域Ｂの光学倍率を提供するように適合されている。特に、光学系は、５ｃｍから８０ｃｍの間の距離で前置レンズ（図示せず）と対向する対象領域Ｂに鋭く焦点を合わせ、倍率を提供するように適合されている。こうして提供される倍率は、ＣＭＯＳセンサやＣＣＤセンサなどのセンサを備える下流の顕微鏡画像ユニット１２（以下、画像ユニットと呼ぶ）によって検出され、画像ユニットは、デジタル／コンピュータ読み取り可能な顕微鏡画像１４を生成する。

【0054】

また、顕微鏡ヘッド４は、台車状のベース１８に支持された可動式の顕微鏡アーム１６に取り付けられている。顕微鏡アーム１６は、ベース１８と顕微鏡ヘッド４に対応する２つのアーム要素を有するロボットアーム、特に協調的なロボットアームの形態をしており、これによって、顕微鏡２は、空間における顕微鏡ヘッド４の位置及び／又は向きを設定し、外科医が拡大して見たい対象領域Ｂに顕微鏡ヘッド４を位置合わせすることができる。

【0055】

この拡大図を視覚的に表示するために、補助システム１又は移動可能な顕微鏡２は、カンチレバー上にＯＲモニタ２０を備える。制御ユニット２２は、顕微鏡画像１４を処理し、ＯＲモニタ２０を介して表示を出力する。

【0056】

公知の補助システムとは対照的に、顕微鏡２の顕微鏡ヘッド４は、周囲カメラ２６（以下、カメラと呼ぶ）を備えるカメラシステム２４をさらに備えている。このカメラ２６は、顕微鏡２の光学系８とカメラ２６とが互いに対して常に同じ相対的な向きとなるように、顕微鏡ヘッド４のハウジング６にしっかり取り付けられている。具体的には、光学系８の対象である領域Ｂと対象領域Ｂの周りの周囲Ｕとの両方を周囲カメラ２６によって検出し、カメラ２６によって対応する周囲画像３０を提供するために、周囲カメラ２６は、その光学カメラ軸２８の向きとカメラ光学系を介して、周囲カメラ２６の（カメラ）視野３６が、所定の距離から光学系８の（顕微鏡）視野３４を含むように適合されている。

【0057】

制御装置２２は、この周囲画像３０を処理し、顕微鏡画像１４と周囲画像３０とを含む横並び表示の形態の合成ビュー３２を生成し、それを表示装置２０によって視覚的に出力するように適合されている。

【0058】

このように、可動式の顕微鏡ヘッド４は、付加的な周囲カメラ２６を備えている。カメラ２６の光学カメラ軸２８の視方向又は向きは、顕微鏡２の光学系８の光学顕微鏡軸１０の視方向と同様である。この付加的なカメラ２６は広角ビューを生成するので、光学系８の対象である領域Ｂの周りの術野である周囲Ｕを撮影することが可能となり、特に、切開境界、外科医の手、使用される器具などを撮影することが可能となる。顕微鏡画像と共にカメラ２６の画像／映像を表示することにより、外科医は、頭の位置や見る方向を変えることなく、介入領域の「内側」と「外側」の両方を見ることができる。この点において、カメラ２６は、顕微鏡ヘッド４に固定的に取り付けられており、顕微鏡ヘッド４と患者Ｐとの距離が近くても、例えば１０～３０ｃｍであっても、介入領域の周囲Ｕを撮像又は検出するように適合されている。この補助システム１では、外科医は、ＯＲモニタ２０上で、高倍率の顕微鏡画像１４と低倍率の付加的な周囲画像３０との両方を見る。従って、外科医は、一目で、介入領域内側の高解像度領域と外側の明瞭な領域との両方を直感的に見ることができる。

【0059】

顕微鏡ヘッド４は、顕微鏡２の光学系８とカメラ２６の光学系という２つの異なる「光学系」を有しており、これらの光学系は、その配置により互いに関連している。顕微鏡２の光学系８は高倍率の画像を生成する役割を果たし、関連する光学系を備える付加的なカメラ２６は広角画像を生成する役割を果たす。両光学系は、関連しており、視野方向は同様であり、介入領域／手術フィールドへ向けられてもよい。カメラ２６を有するカメラシステム２４は、例えば、介入部位の周りの切開境界又は手及び／又は器具を伴う手術環境を検出するために、低倍率で広い視野３６を有する一方で、光学システム８は、高倍率で狭い視野３４を有する。そして、合成ビュー３２は、２つの画像１４、３０を一元的に表示し、外科医だけでなく他の医療従事者もが、互いに関連する両方の画像モダリティを一目で見ることを可能にする。

【0060】

カメラシステム２４は、カメラ２６に加えて、例えば、ステレオ画像を作成するため、又は複数のビューを撮影し、それらを合成ビュー３２で適宜合成するために、顕微鏡ヘッドに取り付けられた別のカメラを有してもよい。さらに、カメラ２６自体が、２Ｄカメラに加えて、３Ｄカメラ又はステレオカメラであってもよい。

【0061】

カメラ２６は、対象領域Ｂ又は周囲に焦点を合わせるオートフォーカス機能を有する。さらに、カメラ２６は、周囲画像３０を特定の介入に最適に調整するズーム機能を有してもよい。さらに、光学系８も、顕微鏡２の倍率を調整するズーム機能を有してもよい。ズーム機能は、互いに相対的に動くレンズを介した連続的なものであってもよいし、回転するノーズピースのように離散的なものであってもよい。特に、外科医は、顕微鏡ヘッドのノブを使ってズーム／倍率を調整することができてもよい。また、カメラ２６及び／又は光学系８は、焦点及び光入力を制御するための調節可能なアイリスを有してもよい。

【0062】

制御ユニット２２は２つの画像をデジタル処理するので、制御ユニット２２は、特に、適切な合成ビュー３２を生成するために、様々なデジタル分析、画像処理、及び制御を実行することができる。例えば、制御ユニット２２は、画像の明るさやコントラストなどの様々な画像パラメータを変更するように適合されていてもよい。他のデジタルデータが、合成ビュー３２に含まれてもよい。制御ユニット２２は、中央処理装置（ＣＰＵ）、ＲＡＭなどの揮発性メモリ、ＲＯＭ、及びＳＳＤなどの不揮発性メモリを備えてもよい。

【0063】

顕微鏡アーム１６は、複数のアクチュエータによって能動的に制御可能である。顕微鏡アーム１６の各要素に設けられたセンサによって、顕微鏡アーム１６と顕微鏡ヘッド４のポーズが特定され、制御ユニット２２に伝達される。外科医は、タッチスクリーンとして設計されたＯＲモニタ２０上の周囲画像３０において、指を使って手動でフォーカス点を選択することができる。この設定されたフォーカス点が制御ユニット２２に伝えられると、制御ユニット２２は、顕微鏡アーム１６のアクチュエータと顕微鏡ヘッドの軸受けを能動的に制御して動かし、設定されたフォーカス点に基づいて、所定の距離と垂直な画像角度で、光学顕微鏡軸１０が患者Ｐ上のフォーカス点に位置合わせされる。このようにして、対象領域Ｂがフォーカス点に設定され、外科医は、この点において容易に介入を行ったり、拡大画像を表示したりすることができる。また、異なるビューを自動で切り替えるために、フォーカス点を保存してもよい。

【0064】

さらに、制御ユニット２２は、周囲画像３０の画像解析によって物体を検出し、さらに物体までの距離を計算するようにさらに適合されている。代替的又は追加的に、物体と距離を特定するために、顕微鏡ヘッド４に距離センサが設けられてよく、特に、異なる方向で複数の距離センサが設けられてもよい。動作範囲内でこのように検出された物体と衝突の可能性がある場合、補助システム１は、オーディオ装置（図示せず）を介して音響アラーム信号（衝突警告）を発し、顕微鏡アーム１６の動きを阻止する。特に、顕微鏡アーム１６と顕微鏡ヘッド４の動きは完全に停止される（衝突防止）。これにより、物体との衝突が防止される。

【0065】

図４は、さらなる第２の好ましい実施形態の外科的補助システム１を示す。第１の実施形態と同様に、顕微鏡ヘッド４は、顕微鏡アーム１６を介して固定ベース１８に可動に取り付けられており、光学系８は、領域Ｂを対象とすることができる。周囲カメラ２６は、対象領域Ｂにおいて光学カメラ軸２８が光学顕微鏡軸１０と交差するように配向されている。これにより、周囲画像が、対象領域に関して同心又は対称となる。ここでも、制御ユニット２２は、２つの画像１４、３０を処理し、合成ビュー３２を生成する。

【0066】

しかしながら、第１の実施形態とは対照的に、合成ビュー３２は、モニタを介して出力されるのではなく、頭部装着型ディスプレイ／ＨＭＤ眼鏡３８（以下、眼鏡と称する）を介して出力される。このため、眼鏡３８は、ディスプレイと、さらに光学系とを備えてもよい。具体的には、制御ユニットは、データを眼鏡３８に無線で送信する送受信ユニット４０を制御する。そこで受信されたデータは、眼鏡３８に表示される。

【0067】

補助システム１はまた、外科用ナビゲーションシステムを使用し、患者ＰのＭＲＩ画像及びＣＴ画像が３Ｄ画像データとして記憶される記憶ユニット４２も備えている。制御ユニット２２は、顕微鏡ヘッド４がカメラ２６と適切に位置合わせされたときに、患者の顔の３Ｄ構造（図５参照）を３次元的に検出するように適合されている。このようにして検出された患者の顔の３Ｄ構造は、３Ｄ画像データの患者の顔の仮想３Ｄ構造と照合され、２つの３Ｄ構造は、初期登録を実行し、顕微鏡ヘッド４に対して患者Ｐを登録するために、関連付けられる。顕微鏡ヘッド４が動くと、センサが対応する動きを検出する。

【0068】

図５は、図４の補助システムで実行される患者の顔の３Ｄ構造での登録機能を概略的に示している。カメラ２６は、２Ｄカメラであり、患者の顔の関心領域（破線参照）上で動かされて、患者の顔の様々なビューを取得し、マシンビジョン法又は制御ユニット２２によって実行される画像解析によって顔の３Ｄ構造を算出する。このようにして得られた顔の３Ｄ構造は、３Ｄ画像データの仮想３Ｄ構造と重ね合わせられてもよく、いうなれば関連付けられてもよく、あるいは、制御ユニット２２自身が、３Ｄ構造に基づいて患者Ｐの位置を特定してもよい。

【0069】

さらに、図４の補助システム１の制御ユニット２２は、医療器具４４に取り付けられているマーカ４６又は特徴、特に幾何学的な特徴によって、周囲画像３０を介して医療器具４４を検出し、そのポーズ及び／又は機能を特定するように適合されている。特徴の場合、器具４４の仮想の幾何学的関係が記憶ユニット４２に記憶されていてもよく、制御ユニット２２はこれを照合のために使用してもよい。そして、このようにして検出された医療器具４４は、検出された位置で３Ｄ画像データに重ね合わせられてもよく、外科用ナビゲーションに使用されてもよい。特に、制御ユニットは、外科医に介入のさらなるガイダンスを提供するために、合成ビューに使用指示のデータをさらに重ねてもよい。特に、周囲カメラ３０による器具４４の検出は、例えば、器具４４が視野を不明瞭にしてしまったり、器具の先端が視野内にある状態で器具４４が配置及び／又は位置合わせされてしまったりすることなく、例えば、対象領域Ｂの良好な視野を得るために、制御ユニット２２がロボットガイドの顕微鏡アーム１６を介して顕微鏡ヘッド４を最適に配置及び／又は位置合わせするために使用されてもよい。

【0070】

制御ユニット２２はまた、例えば患者追跡装置／マーカの望ましくない動きに起因するナビゲーションのずれを自動的に検出するように適合されている。この目的のために、補助システム１は、初期登録の後、顕微鏡ヘッド４を所定の位置（登録位置及び向き、以下、登録位置と呼ぶ）へと動かし、カメラ２６によって周囲画像３０を生成するように適合されており、この周囲画像は記憶ユニット４２に記憶される。登録位置は、患者追跡装置（不図示）と顕微鏡ヘッド追跡装置（不図示）との間の相対変換として算出される。確実にずれがないようにするために、外科医（又は外科医に指示された誰か）は、手術中に時々、顕微鏡ヘッド４を登録位置へと動かして、新しい周囲画像３０を生成してもよい。そして、新しい周囲画像を記憶ユニット４２に記憶されている周囲画像３０に重ね合わせて、比較する。ずれがないか、許容できる程度の小さなずれであれば、２つの周囲画像３０のうちの切開境界や手術用ドレープなどの変化しない部分領域は互いに関連付けられたままであり、制御ユニット２２は、対応する画像解析を用いて、ずれがないか、許容できる程度のずれであると判定する。しかしながら、２つの周囲画像３０の部分領域（実際には変化しない構造を含む）が互いに許容値／限界を超えてずれている場合、制御ユニット２２はこれを検出し、眼鏡３８又はモニタを介して外科医にメッセージを出力する。さらに、制御ユニット２２は、適切な計算方法によってずれの程度を計算し、そのずれ量を外科医へ出力する。これにより、外科医は、このずれが過大であるか否かを判断でき、適切な処置をとることができる。代替的に又は追加的に、登録のずれの継続的な検出又は登録精度の継続的な改善を実現するための画像処理アルゴリズムが、制御ユニット２２の記憶ユニット４２に記憶されてもよい。

【0071】

加えて又は代替的に、制御ユニット２２はまた、記憶されている周囲画像３０と新しい周囲画像３０との間の変位／オフセットを決定し、このオフセットを登録に適合するか、又は顕微鏡ヘッドもしくは外科用ナビゲーションシステムのローカル座標系などのローカル座標系と患者Ｐのローカル座標系との間の変換行列に適宜適合し、このオフセットを補正するように適合されていてもよい。

【0072】

図６は、顕微鏡画像１４と周囲画像３０とを関連付けて表示するための、本開示の好ましい実施形態による画像表示方法（以下、表示方法という）のフローチャートを示す。この表示方法は、上述した外科的補助システム１で適宜用いられる。

【0073】

最初のステップＳ１では、周囲カメラ２６が、好ましくは外科用顕微鏡２の可動式顕微鏡ヘッド４に配置されてよく、特にしっかりと取り付けられてもよい。

【0074】

ステップＳ２では、可動式顕微鏡ヘッド４に配置された光学系８によって、領域Ｂが対象とされる。続くステップＳ３では、顕微鏡ヘッド４に配置された顕微鏡画像ユニット１２によって、光学系８が提供する倍率の顕微鏡画像１４が生成される。さらに、ステップＳ４では、顕微鏡ヘッド４に配置された周囲カメラ２６によって周囲画像３０が生成され、周囲カメラ２６の視野３６は、特に所定の距離から、光学系８の視野３４を含む。

【0075】

ステップＳ５では、制御ユニット２２によって、顕微鏡画像１４と周囲画像３０を含む合成ビュー３２が作成され、ステップＳ６では、表示装置２０、３８によって、合成ビュー３２が最終的に出力される。

【符号の説明】

【0076】

１：外科的補助システム
２：外科用顕微鏡
４：顕微鏡ヘッド
６：ハウジング
８：光学系
１０：光学顕微鏡軸
１２：顕微鏡画像ユニット
１４：顕微鏡画像
１６：顕微鏡アーム
１８：ベース
２０：ＯＲモニタ
２２：制御ユニット
２４：カメラシステム
２６：周囲カメラ
２８：光学カメラ軸
３０：周囲画像
３２：合成ビュー
３４：光学系の視野
３６：カメラの視野
３８：頭部装着型ディスプレイ／眼鏡
４０：送受信ユニット
４２：記憶ユニット
４４：医療器具
４６：マーカ
１００：手術室
Ｐ：患者
Ｂ：対象領域
Ｕ：周囲
Ｓ１：周囲カメラを配置するステップ
Ｓ２：領域を対象とするステップ
Ｓ３：顕微鏡画像を生成するステップ
Ｓ４：周囲画像を生成するステップ
Ｓ５：合成ビューを生成するステップ
Ｓ６：合成ビューを出力するステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2023-10-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

患者への外科的介入で使用される外科的な補助システムであって、前記補助システムは、
外科用の顕微鏡であって、
ハウジングと、光学顕微鏡軸の方向で対象領域の光学的倍率を提供し、下流の顕微鏡画像ユニットを介してデジタルの顕微鏡画像を生成するように適合された光学系とを含む、可動式の顕微鏡ヘッドと、
ベースに接続された可動式の顕微鏡アームであって、その上に可動式の前記顕微鏡ヘッドが取り付けられており、前記顕微鏡ヘッドの位置及び／又は向きを調整するように適合されている可動式の顕微鏡アームと、を備える顕微鏡と、
視覚的コンテンツを表示するための少なくとも１つの表示装置と、
前記顕微鏡画像を処理し、表示のために前記表示装置を適宜制御するように適合されている制御ユニットと、を備え、
外科用の前記顕微鏡は、前記顕微鏡ヘッド上に配置された少なくとも１つの周囲カメラを有するカメラシステムをさらに備え、
前記周囲カメラは、前記周囲カメラによって、前記光学系によって対象とされた前記領域と対象の前記領域の周りの周囲との両方を検出し、周囲画像を提供するために、前記周囲カメラの視野が前記光学系の視野を含むように適合されており、
前記制御装置は、前記周囲画像を処理し、前記顕微鏡画像と前記周囲画像とを有する合成ビューを生成し、それを前記表示装置によって視覚的に出力するようにさらに適合されており、
外科的な前記補助システムは、術前の３Ｄ画像データを有する記憶ユニットをさらに備え、
前記補助システムの前記制御ユニットは、前記カメラシステムによって、前記患者の３Ｄ構造を空間的に検出し、前記患者を登録するために、検出された前記３Ｄ構造を前記３Ｄ画像データと関連付けるように適合されていることを特徴とする、外科的な補助システム。

【請求項2】

３Ｄ構造を検出するために、前記カメラシステムは、３Ｄカメラ及び／又は２Ｄカメラを有し、
前記２Ｄカメラの場合、前記２Ｄカメラは、関心領域の様々なビューを得るために、前記患者の関心領域上を動かされ、前記制御ユニットは、画像解析を用いて、前記様々なビューから３Ｄ構造を算出するように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項3】

前記補助システムは、前記顕微鏡ヘッドの位置を検出し、それを前記制御ユニットに提供するように構成されており、
前記制御ユニットは、前記顕微鏡ヘッドの前記位置を、登録位置及び関連する周囲画像として、前記記憶ユニットに記憶するように適合されており、
記憶された前記登録位置で周囲画像を更新する際に、前記制御ユニットは、記憶された前記周囲画像と新たに検出された周囲画像との重ね合わせが、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、請求項１に記載の外科的な補助システム。

【請求項4】

外科用の前記顕微鏡は、可動式の前記顕微鏡アーム及び可動式の前記顕微鏡ヘッドを能動的に動かすために、少なくとも１つのアクチュエータを備えており、
前記制御装置は、前記顕微鏡ヘッドを所定の位置及び／又は向きへ能動的に動かすように前記アクチュエータを制御するようさらに適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項5】

前記補助システムは、前記周囲画像においてフォーカス点を選択するための入力ユニットを備えており、
前記制御ユニットは、前記光学顕微鏡軸が、所定の関連距離及び／又は所定の画像角度で、前記患者における選択された前記フォーカス点と位置合わせされるように、選択された前記フォーカス点に基づいて、少なくとも１つの前記アクチュエータを介して、前記顕微鏡アーム及び前記顕微鏡ヘッドを能動的に制御するように適合されていることを特徴とする、請求項４に記載の外科的な補助システム。

【請求項6】

前記制御ユニットは、前記周囲画像の画像解析及び／又は前記顕微鏡ヘッドに設けられたセンサを介して、前記顕微鏡ヘッドの領域内にある物体と、前記物体までの可動式の前記顕微鏡ヘッドの距離とを検出し、前記物体と衝突の可能性がある場合、前記距離が所定の距離を下回る場合、アラーム信号を発し、及び／又は、前記顕微鏡ヘッド（４）の少なくとも動きの自由度を制限するように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項7】

前記制御ユニットは、前記カメラシステムの少なくとも前記周囲画像及びマーカ及び／又は前記患者の特徴を使用して、医療器具及び／又は前記顕微鏡ヘッドのポーズを正しく検出し、連続的に追跡するように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項8】

少なくとも１つの医療器具の幾何学的関係を含むデータと、関連する使用指示とが記憶ユニットに記憶されており、
前記制御ユニットは、記憶された前記データの前記幾何学的関係に基づいて、前記周囲画像において外科用器具を検出し、前記表示装置を介して、前記関連する使用指示をユーザに出力するように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項9】

少なくとも１つの前記表示装置は、ＯＲモニタ、及び／又は頭部装着型ディスプレイ、及び／又は重ね合わせ可能なデータを有する双眼システムであることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項10】

前記光学系の倍率は、少なくとも５倍であり、前記光学系がズーム機能を有し、及び／又は
前記周囲カメラの倍率は、最大で５倍であることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項11】

外科的な補助システムのために顕微鏡画像と周囲画像とを関連付けて表示するための画像表示方法であって、画像表示方法は、
可動式の前記顕微鏡ヘッドに配置されている光学系を介して、領域を対象とするステップと、
前記顕微鏡ヘッドに配置されている顕微鏡画像ユニットによって、前記光学系により提供される倍率の顕微鏡画像を生成するステップと、
前記顕微鏡ヘッドに配置されている周囲カメラによって、周囲画像を生成するステップであって、前記周囲カメラの視野は、前記光学系の視野を含む、ステップと、
前記顕微鏡画像と前記周囲画像とを含む合成ビューを生成するステップと、
表示装置によって、前記合成ビューを出力するステップと、
カメラシステムによって患者の３Ｄ構造を空間的に検出し、前記患者を登録するために、検出された前記３Ｄ構造を３Ｄ画像データと関連付けるステップと、を備える画像表示方法。

【請求項12】

コンピュータによって実行されると、前記コンピュータに請求項１１の方法ステップを実行させる命令を備えるコンピュータ読み取り可能な記憶媒体。

【請求項13】

手術室などの医療無菌空間であって、請求項１に記載の外科的な補助システムを備えることを特徴とする、医療無菌空間。

【請求項14】

前記顕微鏡ヘッドは、前記カメラシステムを備え、
前記顕微鏡ヘッドは、その光学カメラ軸の向き及びカメラ光学系を介して、前記周囲カメラの視野が前記光学系の前記視野を含むように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項15】

前記補助システムは、前記患者の前記３Ｄ構造として、前記患者の顔を空間的に検出するように適合されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項16】

前記患者を登録するために、前記周囲カメラのみを用いて、検出された前記３Ｄ構造を前記３Ｄ画像データと関連付けることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項17】

前記周囲カメラは、前記ハウジングにしっかりと配置されていることを特徴とする、請求項１に記載の外科的な補助システム。

【請求項18】

前記カメラシステムは、前記カメラシステムの唯一の２Ｄカメラ又は３Ｄカメラとして前記周囲カメラで構成されていることを特徴とする、請求項２に記載の外科的な補助システム。

【請求項19】

前記補助システムは、前記顕微鏡ヘッドのポーズを検出し、それを前記制御ユニットへ提供するように構成されており、
前記制御ユニットは、前記顕微鏡ヘッドの前記ポーズを、検出された３Ｄ構造の形態で登録ポーズ及び前記関連する周囲画像として、記憶ユニットに記憶し、
記憶された前記登録ポーズで周囲画像を更新する際に、前記制御ユニットは、記憶された前記周囲画像と新たに検出された周囲画像との重ね合わせの部分領域が、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、請求項３に記載の外科的な補助システム。

【請求項20】

外科用の顕微鏡の可動式の顕微鏡ヘッドに周囲カメラを配置するステップをさらに備える、請求項１１に記載の画像表示方法。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００７５

【補正方法】変更

【補正の内容】

【0075】

ステップＳ５では、制御ユニット２２によって、顕微鏡画像１４と周囲画像３０を含む合成ビュー３２が作成され、ステップＳ６では、表示装置２０、３８によって、合成ビュー３２が最終的に出力される。
（項目１）
患者（Ｐ）への外科的介入で使用される外科的な補助システム（１）であって、前記補助システム（１）は、
外科用の顕微鏡（２）であって、
ハウジング（６）と、光学顕微鏡軸（１０）の方向で対象領域（Ｂ）の光学的倍率を提供し、下流の顕微鏡画像ユニット（１２）を介してデジタルの顕微鏡画像（１４）を生成するように適合された光学系（８）とを含む、可動式の顕微鏡ヘッド（４）と、
ベース（１８）に接続された可動式の顕微鏡アーム（１６）であって、その上に可動式の前記顕微鏡ヘッド（４）が取り付けられており、特に支持されており、前記顕微鏡ヘッド（４）の位置及び／又は向きを調整するように適合されている可動式の顕微鏡アーム（１６）と、を備える顕微鏡（２）と、
視覚的コンテンツを表示するための少なくとも１つの表示装置（２０；３８）と、
前記顕微鏡画像（１４）を処理し、表示のために前記表示装置（２０；３８）を適宜制御するように適合されている制御ユニット（２２）と、を備え、
外科用の前記顕微鏡（２）、特に前記顕微鏡ヘッド（４）は、前記顕微鏡ヘッド（４）上、特に前記ハウジング（６）上に、好ましくはしっかりと配置された少なくとも１つの周囲カメラ（２６）を有するカメラシステム（２４）をさらに備え、
前記周囲カメラ（２６）は、特にその光学カメラ軸（２８）の向きとカメラ光学系とを介して、前記周囲カメラ（２６）によって、前記光学系（８）によって対象とされた前記領域（Ｂ）と対象の前記領域（Ｂ）の周りの周囲（Ｕ）との両方を検出し、周囲画像（３０）を提供するために、前記周囲カメラ（２６）の視野（３６）が、特に所定の距離から、前記光学系（８）の視野（３４）を含むように適合されており、
前記制御装置（２２）は、前記周囲画像（３０）を処理し、前記顕微鏡画像（１４）と前記周囲画像（３０）とを有する合成ビュー（３２）を生成し、それを前記表示装置（２０；３８）によって視覚的に出力するようにさらに適合されていることを特徴とする、外科的な補助システム（１）。
（項目２）
外科的な前記補助システム（１）は、術前の３Ｄ画像データ、特にＭＲＩ画像データ及び／又はＣＴ画像データを有する記憶ユニット（４２）をさらに備え、
前記補助システム（１）、特に前記制御ユニット（２２）は、前記カメラシステム（２４）によって、特に前記周囲カメラ（２６）のみを用いて、前記患者（Ｐ）の３Ｄ構造、特に前記患者（Ｐ）の顔の３Ｄ構造を空間的に検出し、前記患者（Ｐ）を登録するために、検出された前記３Ｄ構造を前記３Ｄ画像データと関連付けるように適合されていることを特徴とする、項目１に記載の外科的な補助システム（１）。
（項目３）
３Ｄ構造を検出するために、前記カメラシステム（２４）は、３Ｄカメラ及び／又は２Ｄカメラを有し、特に前記カメラシステム（２４）の唯一の２Ｄカメラ又は３Ｄカメラとして前記周囲カメラ（２６）で構成されており、
前記２Ｄカメラの場合、前記２Ｄカメラは、関心領域の様々なビューを得るために、前記患者（Ｐ）の関心領域上を動かされ、前記制御ユニット（２２）は、画像解析を用いて、前記様々なビューから３Ｄ構造を算出するように適合されていることを特徴とする、項目１又は項目２に記載の外科的な補助システム（１）。
（項目４）
前記補助システム（１）は、前記顕微鏡ヘッド（４）の位置、特にポーズを検出し、それを前記制御ユニット（２２）に提供するように構成されており、
前記制御ユニット（２２）は、前記顕微鏡ヘッド（４）の前記位置、特に前記ポーズを、登録位置及び関連する周囲画像（３０）として、特に検出された３Ｄ構造として、前記記憶ユニット（４２）に記憶するように適合されており、
記憶された前記登録位置又はポーズで周囲画像（３０）を更新する際に、前記制御ユニット（２２）は、記憶された前記周囲画像（３０）と新たに検出された周囲画像（３０）との重ね合わせ、特に部分領域の重ね合わせが、所定の閾値を超えてずれている場合に、ずれが存在すると判定することを特徴とする、項目２又は項目３の１つに記載の外科的な補助システム（１）。
（項目５）
外科用の前記顕微鏡（２）は、可動式の前記顕微鏡アーム（１６）及び可動式の前記顕微鏡ヘッド（４）を能動的に動かすために、少なくとも１つのアクチュエータを備えており、
前記制御装置（２２）は、前記顕微鏡ヘッド（４）を所定の位置及び／又は向きへ能動的に動かすように前記アクチュエータを制御するようさらに適合されていることを特徴とする、先行の項目の１つに記載の外科的な補助システム（１）。
（項目６）
前記補助システム（１）は、前記周囲画像（３０）においてフォーカス点を選択するための入力ユニット、特にタッチスクリーンを備えており、
前記制御ユニット（２２）は、前記光学顕微鏡軸（１０）が、特に所定の関連距離及び／又は所定の画像角度で、前記患者（Ｐ）における選択された前記フォーカス点と位置合わせされるように、選択された前記フォーカス点に基づいて、少なくとも１つの前記アクチュエータを介して、前記顕微鏡アーム（１６）及び前記顕微鏡ヘッド（４）を能動的に制御するように適合されていることを特徴とする、項目５に記載の外科的な補助システム（１）。
（項目７）
前記制御ユニット（２２）は、前記周囲画像（３０）の画像解析及び／又は前記顕微鏡ヘッド（４）に設けられたセンサを介して、前記顕微鏡ヘッド（４）の領域内にある物体と、前記物体までの可動式の前記顕微鏡ヘッド（４）の距離とを検出し、前記物体と衝突の可能性がある場合、特に前記距離が所定の距離を下回る場合、アラーム信号を発し、及び／又は、前記顕微鏡ヘッド（４）の少なくとも動きの自由度を制限し、特に前記顕微鏡ヘッド（４）の全体的な動きを停止するように適合されていることを特徴とする、先行する項目の１つに記載の外科的な補助システム（１）。
（項目８）
前記制御ユニット（２２）は、前記カメラシステム（２４）、特に少なくとも前記周囲画像（３０）、特にマーカ及び／又は前記患者（Ｐ）の特徴を使用して、医療器具（４４）及び／又は前記顕微鏡ヘッド（４）のポーズを正しく検出する、特に連続的に追跡するように適合されていることを特徴とする、先行する項目の１つに記載の外科的な補助システム（１）。
（項目９）
少なくとも１つの医療器具（４４）のデータ、特に幾何学的関係と、関連する使用指示とが前記記憶ユニット（４２）に記憶されており、
前記制御ユニット（２２）は、記憶された前記データに基づいて、特に前記幾何学的関係に基づいて、前記周囲画像（３０）において外科用器具（４４）を検出し、前記表示装置（２０；３８）を介して、前記関連する使用指示をユーザに出力するように適合されていることを特徴とする、先行する項目の１つに記載の外科的な補助システム（１）。
（項目１０）
少なくとも１つの前記表示装置は、ＯＲモニタ（２０）、及び／又は頭部装着型ディスプレイ（３８）、及び／又はフェードイン可能なデータを有する双眼システムであることを特徴とする、先行する項目の１つに記載の外科的な補助システム（１）。
（項目１１）
前記光学系（８）の倍率は、少なくとも５倍、特に少なくとも１０倍であり、前記光学系（８）がズーム機能を有することが好ましく、及び／又は
前記周囲カメラ（２６）の倍率は、最大で５倍、特に最大で１倍であることを特徴とする、先行する項目の１つに記載の外科的な補助システム（１）。
（項目１２）
顕微鏡画像（１４）と周囲画像（３０）とを関連付けて表示するため、特に項目１～１１の１つに記載の外科的な補助システム（１）のための画像表示方法であって、画像表示方法は、
好ましくは、外科用の顕微鏡（２）の可動式の顕微鏡ヘッド（４）に周囲カメラ（２６）を配置するステップ（Ｓ１）と、
可動式の前記顕微鏡ヘッド（４）に配置されている光学系（８）を介して、領域（Ｂ）を対象とするステップ（Ｓ２）と、
前記顕微鏡ヘッド（４）に配置されている顕微鏡画像ユニット（１２）によって、前記光学系（８）により提供される倍率の顕微鏡画像（１４）を生成するステップ（Ｓ３）と、
前記顕微鏡ヘッド（４）に配置されている周囲カメラ（２６）によって、周囲画像（３０）を生成するステップ（Ｓ４）であって、前記周囲カメラ（２６）の視野（３６）は、特に所定の距離から、前記光学系（８）の視野（３４）を含む、ステップと、
前記顕微鏡画像（１４）と前記周囲画像（３０）とを含む合成ビュー（３２）を生成するステップ（Ｓ５）と、
表示装置（２０；３８）によって、前記合成ビュー（３２）を出力するステップ（Ｓ６）と、を備える画像表示方法。
（項目１３）
コンピュータによって実行されると、前記コンピュータに項目１２の方法ステップを実行させる命令を備えるコンピュータ読み取り可能な記憶媒体。
（項目１４）
手術室（１００）などの医療無菌空間であって、項目１～１１の１つに記載の外科的な補助システム（１）を備えることを特徴とする、医療無菌空間。

【国際調査報告】