知財求人 - 知財ポータルサイト「IP Force」
▶ カール ツアイス メディテック アクチエンゲゼルシャフトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-02
(54)【発明の名称】手術のためのツールの種類に依存しない支援機能
(51)【国際特許分類】
A61B 90/20 20160101AFI20240126BHJP
【ＦＩ】
A61B90/20
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023544722
(86)(22)【出願日】2022-01-25
(85)【翻訳文提出日】2023-07-31
(86)【国際出願番号】 EP2022051576
(87)【国際公開番号】W WO2022161930
(87)【国際公開日】2022-08-04
(31)【優先権主張番号】102021101694.0
(32)【優先日】2021-01-26
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100230514
【弁理士】
【氏名又は名称】泉 卓也
(72)【発明者】
【氏名】マルクス フィリップ
(72)【発明者】
【氏名】ステファン ザウアー
(57)【要約】
本発明は、患者に対する外科手術のための支援機能を制御する手法に関する。手術領域のマップ（７６）を取得するために機械学習アルゴルズムが使用される。このマップは、外科手術に関連して支援機能を制御するために使用できる。マップは、手術器具の存在する確率がより高いことに関連付けられる１つ又は複数の活動領域（１０１～１０３）を示す。
【特許請求の範囲】
【請求項1】
患者に対する外科的介入のための支援機能を制御する方法において、－手術用顕微鏡（８０１）によって撮影され、前記外科的介入の介入領域（５０）を画像化する、異なる時点で撮影された少なくとも２つの顕微鏡画像（７１、７２）に基づいて、機械学習アルゴリズム（８２）を適用して前記介入領域（５０）のマップ（７６）を取得することと、
－前記マップ（７６）を使用することによって前記外科的介入に関連する支援機能を制御することと、
を含み、
前記マップ（７６）は、前記介入領域（５０）内の、活動が増大しており、前記活動増大の結果として手術器具（５１、５２）の存在の確率が増大したことに関連付けられる１つ又は複数の活動エリア（１０１、１０２、１０３）を示す方法。
【請求項2】
前記マップ（７６）は、手術器具（５１、５２）の種類の違いに関して非依存的であり、前記支援機能は、前記手術器具（５１、５２）の種類の違いに関して非依存的に制御される、
請求項１に記載の方法。
【請求項3】
前記マップ（７６）は、前記介入領域（５０）の複数のエリアについて、手術器具（５１、５２）の有無に関する確率値（１５２）を含み、前記１つ又は複数の活動エリア（１０１、１０２、１０３）は、前記確率値（１５２）のより高い前記エリアに位置特定される、
請求項１又は２に記載の方法。
【請求項4】
前記マップ（７６）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）のためのマスク（１５１）を含む、請求項１～３の何れか１項に記載の方法。
【請求項5】
前記マップ（７６）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）に関するコンテクスト情報を示す１つ又は複数の特徴（１１１、１１２）を含む、請求項１～４の何れか１項に記載の方法。
【請求項6】
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴（１１１）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の活動エリア群が１つ又は複数の空間的隣接関係を満たすことを示し、及び／又は前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴（１１２）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の活動エリアの１つ又は複数の解剖学的隣接関係が満たされたことを示し、及び／又は
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の中の手術器具（５１、５２）の数を示し、及び／又は
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）における動的特長を示す、
請求項５に記載の方法。
【請求項7】
さらに、－前記１つ又は複数の活動エリア（１０１、１０２、１０３）の順序を、前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴に基づいて特定することを含み、
前記支援機能は前記順序に応じて制御される、
請求項５又は６に記載の方法。
【請求項8】
前記機械学習アルゴリズム（８２）は、例えば前記少なくとも２つの顕微鏡画像（７１、７２）の組合せに基づいて特定され、オプティカルフローを符号化する組合せ画像（７５）、並びに／又は前記少なくとも２つの顕微鏡画像（７１、７２）及び／若しくは前記外科的介入のコンテクストを入力として取得する、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記マップ（７６）を使用して、前記外科的介入に関連する前記支援機能を制御することは、－前記マップ（７６）を入力として取得する少なくとも１つの制御アルゴリズム（８３）を適用して、前記支援機能のための制御データ（７７）を取得することを含む、
請求項１～８の何れか１項に記載の方法。
【請求項10】
前記制御アルゴリズム（８３）は、前記外科的介入のコンテクストを別の入力として取得し、及び／又は前記少なくとも１つの制御アルゴリズムは、前記マップ（７６）の１つ又は複数の特徴に応じて前記制御データを選択するための境界条件を規定する所定の規則群を考慮に入れる、
請求項９に記載の方法。
【請求項11】
前記支援機能は以下の要素、すなわち前記手術用顕微鏡（８０１）の位置を調整すること、前記手術用顕微鏡（８０１）の倍率を変更すること、前記手術用顕微鏡（８０１）のピントを調節すること、前記手術用顕微鏡（８０１）による前記介入領域の照明を調整することからなる群より選択される、請求項１～１０の何れか１項に記載の方法。
【請求項12】
さらに、－前記少なくとも２つの顕微鏡画像の中の手術器具の存在を物体認識アルゴリズムによって認識することを含み、
前記支援機能は、前記少なくとも２つの顕微鏡画像の中で手術器具の存在が認識された場合にのみ開始される、
請求項１～１１の何れか１項に記載の方法。
【請求項13】
前記物体認識アルゴリズムは、前記少なくとも２つの顕微鏡画像の中で前記手術器具の位置特定を行わない、請求項１２に記載の方法。
【請求項14】
患者への外科的介入の支援機能を制御する制御装置において、－手術用顕微鏡（８０１）によって撮影され、前記外科的介入の介入領域（５０）を画像化する、異なる時点で撮影された少なくとも２つの顕微鏡画像（７１、７２）に基づいて、機械学習アルゴリズム（８２）を適用して前記介入領域（５０）のマップ（７６）を取得するステップと、
－前記マップ（７６）を使用することによって前記外科的介入に関連する支援機能を制御するステップ
を実行するように構成され、
前記マップ（７６）は、前記介入領域（５０）内の、活動が増大しており、前記活動増大の結果として手術器具（５１、５２）の存在の確率がより高いことに関連付けられる１つ又は複数の活動エリア（１０１、１０２、１０３）を示す制御装置。
【請求項15】
－請求項１４に記載の前記制御装置と、－前記手術用顕微鏡の位置を調整するためのアクチュエータを備える前記手術用顕微鏡（８０１）と、
を含むシステムにおいて、
前記支援機能は前記手術用顕微鏡の前記位置調整を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の各種の例は、手術用顕微鏡の顕微鏡画像に基づく外科的介入に関連する支援機能を制御する手法に関する。
【背景技術】
【0002】
先行技術では、使用者、一般的には外科医に対して様々な種類の項目の情報を提供する手術用顕微鏡が開示されている。例えば、独国特許出願公開第１０２０３２１５Ａ１号明細書には、電子画像信号を生成するカメラを含む手術用顕微鏡が記載されている。画像信号は電子アイピース上に表示され、これは電子画像データのための相応の表示装置を含む。そこには別の項目の情報も出力され得る。手術用顕微鏡は、独国特許出願公開１０ ２０１４ １１３ ９３５Ａ１号明細書からも知られている。
【0003】
典型的な手術用顕微鏡においては多くの設定が考えられる。それには多くの場合、手術中の良好な設定を選択するために多大な支出を要し得る。
【0004】
文献、欧州特許第３５９３７０４号明細書の開示がとりわけ知られており、その中では画像処理及び過去の手術のデータベースに基づいて動作を導き出す支援用内視鏡が開示されている。この場合、マニュアルで作成されたデータベースが使用される。このような技術はフレキシビリティの点で制約があることが多く、したがってたびたび不正確となる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、外科的介入に関連する支援機能を制御するための改良された方法が求められている。特に、外科的介入中に使用される手術用顕微鏡の制御に関連する支援機能を制御することが求められている。
【課題を解決するための手段】
【0006】
この目的は、独立特許請求項の特徴によって達成される。従属特許請求項の特徴は、実施形態を定義する。
【0007】
以下に、頭部、眼領域、心臓部、脊柱（神経学）、耳鼻咽喉部、又は歯牙領域における外科的介入中、特に顕微手術による介入中にコンピュータ実装アルゴリズムによって支援を提供するための技術を説明する。
【0008】
この目的のために、支援機能は適切に制御される。支援機能は外科的介入中に使用される機器の１つ又は複数の部品を自動的に制御し得る。手術用顕微鏡を制御できる。支援機能はまた、ユーザインタラクションを提供すること、例えば命令の付与等を行うこともできる。
【0009】
各種の例において、例えば、支援機能の１つ又は複数の動作を開始することができる。その１つ又は複数の動作が開始された時点を特定できる。動作の種類もまた特定できる。
【0010】
支援機能を制御するために、手術用顕微鏡の顕微鏡画像は、その顕微鏡画像により画像化された介入領域のマップを得るために使用される。
【0011】
マップは、一般的に言えば、介入領域内で顕微鏡画像に基づいて認識された１つ又は複数の活動エリアの時間コンテクスト及び／又は空間コンテクストを示すことができる。活動の増大は、活動エリアの中で、介入領域内の他のエリアとの比較により確認できる。換言すれば、マップは複数のエリアを有することができ、幾つかのエリアは、それらにおける活動又は動的特長がマップの他のエリアと比較して増大していれば活動エリアであると特定できる。動的特長の増大は、特に対応する活動エリア内の手術器具の動きによってもたらされ得る。
【0012】
このような技術は、顕微鏡画像内での経時変化が特に手術器具（ツールとも呼ばれる）の動きによって引き起こされ得るという見識に基づく。本明細書に記載の様々な例は、外科的介入に関連する支援機能を制御するために使用される手術器具の種類を明確に認識する必要がないという見識に基づく。むしろ、例えば以下の原理、すなわち「何かが動いている場所が手術器具の存在する可能性のある位置である」という原理にしたがって、介入領域内の異なるゾーンにおける手術器具の有無のみを顕微鏡画像の比較に基づいて特定することができる。換言すれば、マップはツールの種類に非依存であり得、すなわち例えば手術器具の種類の違いによって変化することはない。したがって、１つ又は複数の活動エリアを特定するマップは、顕微鏡画像の時間コンテクストに基づいて特定できる。すると、支援機能はこのマップに基づいて制御できる。特に、例えば手術用顕微鏡の位置を変えることができる。これは、手術器具が顕微鏡画像の中で認識されたことを前提条件として行うことができる。
【0013】
１つの例によれば、患者に対する外科的介入のための支援機能を制御する方法は、機械学習アルゴリズムを適用することを含む。これは、手術用顕微鏡によって撮影された少なくとも２つの顕微鏡画像に基づく。少なくとも２つの顕微鏡画像は、外科的介入の介入領域を画像化する。少なくとも２つの顕微鏡画像は、異なる時点に、すなわち例えば２つ又はそれ以上の時点に撮影される。機械学習アルゴリズムを適用することに基づいて、介入領域のマップが得られる。このマップは、介入領域内の１つ又は複数の活動エリアを示す。１つ又は複数の活動エリアは、手術器具の存在の確率がより高いことに関連付けられる。方法はさらに、マップを使って外科的介入に関連する支援機能を制御することを含む。
【0014】
一般的に、１つ又は複数のマップを特定することも想定される。以下において、この技術は簡素化するために１つのマップに関して説明されている。しかしながら、それに対応する技術は複数のマップについて繰り返すことができる。一般的に、例えば複数のマップ、例えば介入領域ごとに１つを使用することによって複数の介入領域を考えることも想定される。
【0015】
少なくとも２つの顕微鏡画像は、例えば単画像、ステレオ画像、深度情報を符号化する画像を含む群から選択できる。ステレオ画像は、深度情報を符号化できる。したがって、一般的に言えば、少なくとも２つの顕微鏡画像は、任意選択により例えば深度情報等のさらなる情報を符号化することもできる。この目的のために適当なイメージングモダリティを使用できる。例えば、対応する情報は飛行時間イメージング及び／又は構造化照明及び／又はステレオイメージングによって撮影できる。構造化照明を使用する場合、照明パターンを介入領域に投射することができ、深度情報を介入領域のトポグラフィによる照明パターンの歪みに基づいて確認できる。例えば、対応するトポグラフィ画像は、前処理ステップで顕微鏡画像ごとのこのような符号化された深度情報に基づいて生成でき、このトポグラフィ画像はその後、機械学習アルゴリズムのための入力として使用できる。
【0016】
本明細書に記載の様々な例において、異なる種類の機械学習アルゴリズムを使用できる。特に、例えば深層ニューラルネットワーク、例えば畳み込みニューラルネットワークを使用できる。
【0017】
顕微鏡画像が撮影される異なる時点間の時間間隔は、手術器具が典型的に外科医によって動かされる時間スケールに対応させることができる。すなわち、時間間隔は例えば秒の範囲とすることができ、すなわち、例えば２００ｍｓ～５秒の範囲とすることができる。
【0018】
活動エリアとはこのように、手術器具が位置付けられている確率が、介入領域内の他のエリアと比較して、より高いエリアを指すことができる。
【0019】
このような技術は、手術器具が時間に応じて動かされ、その結果、顕微鏡画像のコントラストが時間的に変化するという見識に基づく。活動エリアは、時間的に変化するコントラストを考慮することによって特定できる。バックグラウンド、すなわち患者の解剖学的特徴は多くの場合、典型的に比較的静的であり得る。
【0020】
マップは、一般的に言えば、少なくとも２つの顕微鏡画像により示される意味論的コンテクストの、これらの顕微鏡画像の撮影に使用された手術用顕微鏡のイメージングモダリティから抽出された特定の特徴を表すことができる。マップはそれゆえ、少なくとも２つの顕微鏡画像から、及び任意選択により機械学習アルゴリズムへのさらなる入力に基づいて特徴を抽出できる。マップは、例えばその少なくとも２つの顕微鏡画像に含まれるノイズ又はかく乱がマップの特徴として使用されないように補正的に調整できる。顕微鏡画像のコントラストは典型的に、使用されるイメージングモダリティに依存する。マップはコントラストを抽出できる。
【0021】
マップ及び少なくとも２つの顕微鏡画像は、一般的な基準座標系の中で定義できる。このことにより、マップによって示される特徴、例えば活動エリアの位置と少なくとも２つの顕微鏡画像の中のそれに対応する位置との間の割当てを行うことが可能となる。顕微鏡画像は、手術用顕微鏡の実視野を画像化する。前記実視野は介入領域を含むことができる。
【0022】
このような技術は、支援機能を１つ又は複数の活動エリアの識別に基づいて制御することが有益であるという見識に基づく。支援機能を制御するためには、介入領域における手術器具の存在及び特にその位置を判断の根拠として使用された場合に特に有益であることが多い。各種の例は、介入領域内の特定の活動エリアに手術器具が存在することのほうが、手術器具の種類を区別することより、支援機能の正確な制御にとって重要であり得るという見識に基づく。
【0023】
これに関して、各種の例において、マップを手術器具の種類の違いに関しては非依存とすること、すなわち手術器具の種類を区別しないことが可能であり得る（ツールの種類に非依存のマップ）。この場合、手術器具の種類とは、例えば手術器具の形状、外観、及びそれによって実現される機能を意味する。手術器具の種類とは例えば、ナイフ、剪刀、クランプ、メス、吸引器、ピンセット、ＣＵＳＡ、骨パンチ等であり得る。しかしながら、手術器具の種類は外科医に依存することは意図されない。すなわち、換言すれば、手術器具の種類は手術の実際の例での手術器具の特定の役割に依存することは意図されない。例えば、特定の種類の手術器具、例えばナイフは、様々な外科医によって様々な方法で使用され得て、例えばナイフは外科医によって持ち方、動かし方、すなわちその動きのパターンが異なり得る。しかしながら、手術器具のこのような使用は活動エリアを画定し、この点に関してマップにより表されることができる。
【0024】
これは、換言すれば、活動エリアは手術器具の存在を示すが、マップには手術器具の種類の違いを区別するような対応する特徴が含まれないことを意味する。
【0025】
支援機能のロバストな制御は、特に手術器具の種類の区別を行わなければ可能であることが実証されている。これは特に、手術器具の外観は、たとえ同じ種類の手術器具であっても、顕著に異なり得ることによるかもしれない。例えば、手術器具の色と形状はメーカによって大きな差があり得る。支援機能の制御の信頼性は、手術器具の種類の区別を考慮した場合に悪影響を受けることがわかっており、それはこのようにすると新たな誤差原因が発生するからである。機械学習アルゴリズムは、手術器具の種類の区別が求められなければ、よりロバストに訓練できる。したがって、各種の例において、支援機能が手術器具の種類の違いに関して非依存的に制御されること、すなわち手術器具の種類の違いに応じて制御されることは意図されないようにすることが可能である。
【0026】
活動エリアはマップの中に様々な方法でレンダリングできる。
【0027】
例えば、マップが、介入領域の複数のエリアについて、手術器具の有無に関する確率値を含むことが想定される。これは確率マップに対応することになる。このようにして活動エリアを示すことができる。この場合、１つ又は複数の活動エリアを確率値のより高いエリアに局限することができる。
【0028】
手術器具の存在をチェックでき、手術器具の位置は特定されない。手術器具が認識されたかに応じて、支援機能を選択的に開始できるか、又は、手術器具が認識されたか否かに応じて、異なる支援機能を開始できる。このような変形型は、手術器具は確実に認識できるとの見識に基づいており、活動エリアを示すマップを支援機能の空間成分（ｓｐａｔｉａｌ ｃｏｍｐｏｎｅｎｔ）のために使用できるため、位置特定は不要である。これは、手術器具が顕微鏡画像中に存在する場合、一般にその手術器具によってより多くの活動が開始されるという見識に基づく（それゆえ、マップの特定の他に、例えばオプティカルフローに基づく手術器具の位置特定を別に行う必要がない）。これは、手術器具の存在の認識は、活動エリア内の活動の増大が実際に（他のかく乱によるのではなく）手術器具に起因するとの推定に使用できることを意味する。
【0029】
機械学習アルゴリズムは、連続的な確率値を出力するために回帰層を有することができる。
【0030】
このようにして、介入領域内の活動エリアの位置に関する確率分布を明示することが可能であり得る。このようにして、支援機能はより区別的な方法で制御できる。
【0031】
例えば、基本的にいわゆる「顕著性」分析に関連して知られているような機械学習アルゴリズムに関連する技術が、このような確率値に関して使用できる。例えば、Ｒｅｄｄｙ，Ｎａｖｙａｓｒｉ，ｅｔａｌ．“Ｔｉｄｙｉｎｇ ｄｅｅｐ ｓａｌｉｅｎｃｙ ｐｒｅｄｉｃｔｉｏｎ ａｒｃｈｉｔｅｃｔｕｒｅｓ．”ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：２００３．０４９４２（２０２０）を参照されたい。例えば、この場合、人工深層ニューラルネットワークを使用できる。これらのネットワークは、画像情報を次元削減特徴ベクトル又は特徴マトリクスに変換する符号化ブランチを有することができる。その後、任意選択により、復号化を行って所望の分解能までアップサンプリングすることができる。この場合、符号化の潜在特徴は用途特化的な方法で定義できる。活動エリアを示すための確率分布の使用の代わりに、又はそれに加えて、決定論的位置特定も実行できる。例えば、特定の位置の特定が活動エリアの中か外かに関して二値分別（ｂｉｎａｒｙ ｄｉｆｆｅｒｅｎｔｉａｔｉｏｎ）を行うことができる。機械学習アルゴリズムは、二値分類のための分類層を含むことができる。これに関して、１つ又は複数の活動エリアのためにマスクを使用できる。前記マスクは、介入領域内の異なる位置間の二値区別（ｂｉｎａｒｙ ｄｉｓｃｒｉｍｉｎａｔｉｏｎ）を提供する、すなわち、各ケースにおいて介入領域内の特定の位置が活動エリアの中にあるか、外にあるかを明示することができる。
【0032】
マップはそれゆえ、一般的に言えば、活動エリアを対応する特徴として含むことができる。１つ又は複数の活動エリアを指定するマップの特徴の他に、マップはまた、さらに別の特徴、例えば患者の解剖学的特徴の位置、手術用顕微鏡の実視野内の基準位置、例えば実視野の中心等も含むことができる。しかしながら、活動エリアに関係のないこのような特徴の代わりに、又はそれに加えて、マップには１つ又は複数の活動エリアのコンテクスト情報を示す１つ又は複数の別の特徴を含めることができる。
【0033】
ここで、様々な種類の特徴が考えられる。マップには、１つ又は複数の活動エリア以外の別の特徴として、１つ又は複数の活動エリアの活動エリアグループが１つ又は複数の空間的隣接関係を満たすことを示す特徴を含めることができる。マップは、例えば２つ以上の活動エリアを示すことができる。活動エリアグループはしたがって、２つ以上の活動エリアを含むことができる。すると、機械学習アルゴリズムによって、あるグルーフの活動エリアが相対的な空間配置（空間的隣接関係）に関する特定の基準を満たすか否かを確認するためのチェックを行うことができる。例えば、それぞれのグループの活動エリア間の距離が所定の閾値より小さいか否か、すなわち、活動エリアが相互に比較的近くにあること（これは、手術器具が相互の近くに位置付けられることを示し得る）を確認するためのチェックを行うことができる。他の隣接関係は例えば、同じグループ内の相互に最も近い活動エリア間の平均距離に関するであろう。
【0034】
マップに関するグループの活動エリアが空間的隣接関係を満たすとの追加的な識別によって、マップに基づいて支援機能を制御する際に、対応するコンテクスト情報を考慮することが可能となる。例えば、幾つかの変形型では、支援機能の制御において、相互に近い活動エリアの空間クラスタを、例えば介入領域内の他の活動エリアから長い距離に隔離して配置された活動エリアより重視することが有益であり得る。
【0035】
活動エリア群自体の中で定義されるこのような隣接関係の他に、患者の解剖学的構造内の１つ又は複数の活動エリアの配置に関連して定義される隣接関係も代替的又は追加的に考慮に入れることができる。マップはしたがって、１つ又は複数の活動エリアの中の活動エリアの１つ又は複数の解剖学的隣接関係を満たすことを示す特徴を含むことができる。例えば、保護された解剖学的領域、例えば感覚器官の比較的近くに配置された活動エリアを識別できる。特に解剖学的標的領域、例えば除去すべき腫瘍の近くに位置付けられた活動エリアも識別できる。
【0036】
このような解剖学的コンテクストは支援機能を確実に制御することにおいて有益である可能性があることが実証されている。例えば、外科医の注意力の増大は、感覚器官に近い活動エリア等について想定される、等である。例えば、患者の傷つきやすい解剖学的特徴の特に近くに配置された、又は外科的介入の標的領域に近い活動エリアは、支援機能の制御においてより重視され得る。これは、このような活動エリアは典型的に、外科医のより高い注意力を必要とするとの見識に基づく。さらに、このようにして、複数の活動エリアの順序を規定することができ、支援機能はその順序にしたがって規定される、より高い階級レベルにある活動エリアに関連して意図的に実行できる。
【0037】
マップが任意選択的に含むことができ、活動エリアに関するコンテクスト情報を提供する別の特徴は、例えば活動エリアにおける手術器具の数に関するものであろう。
【0038】
複数の手術器具が相互に関して重ねて、又は隣り合わせで使用されることがある。すると、マップは対応する活動エリアに幾つの対応する手術器具が含まれるかを示すことができるであろう。機械学習アルゴリズムは、対応する分類／回帰を実行できる。
【0039】
例えば、その中に比較的多くの手術器具が配置された活動エリアでは、例えばその中に比較的少ない手術器具が配置された活動エリアと比較して、より高い外科医の注意力が必要となり得る。複数の活動エリアの順序はまた、活動エリアごとの使用される手術器具の数のこのような表示に基づいて規定することもできる。例えば、多くの手術器具が位置付けられた活動エリアは、その順序のうち、より高い階層レベルにあると判断できることが想定されるであろう。
【0040】
マップは、上述の特徴クラスの代わりに、又はそれに加えて、１つ又は複数の活動エリアの活動エリアにおける、特に画像の部分／要素における動的特長、例えば活動の増大若しくは動的特長の増大、又は動きの増大／活発化を示すこともできる。例えば、特定の手術器具、例えば組織を固定するためのクランプは比較的静止した状態で位置付けられることが想定可能であり、それに対して他の手術器具、例えば吸引器はマニュアルで導かれ、それゆえ比較的動的な状態で位置付けられる。これは、異なる活動エリア内の動的特長において表現でき、例えば異なる顕微鏡画像間のオプティカルフローの強度により定量化され、手術器具の種類はモデル又はアルゴリズムにより訓練されず、及び／又は認識されない。
【0041】
典型的に、位置付けの点で高い動的特長を有する手術器具は外科医にとって、特に手で誘導される手術器具の場合、比較的重要であり得る。活動エリア間の順序はまた、活動エリア内の手術器具の動的特長を考慮しても特定されることが想定可能であろう。
【0042】
一般的に言えば、方法には１つ又は複数の活動エリアの順序を特定することをさらに含めることが可能であろう。
【0043】
順序は、１つ又は複数の活動エリアに関するコンテクスト情報を含む１つ又は複数の特徴に基づいて特定できる。支援機能はすると、この順序に応じて制御できる。
【0044】
それゆえ、順序は活動エリア間の階層を定義できる。より高い階層レベルにある活動エリアは、より低い階層レベルにある支援エリアより、支援機能の制御により大きな影響を与える可能性がある。
【0045】
目的の矛盾は特に、このような技術によって解決できる。例えば、相互に離れた位置に配置された複数の異なる活動エリアがある場合、これらの活動エリアのうちの１つのみをある時点での手術用顕微鏡の実視野の中心に位置付けることができる。すると、対応する目的の矛盾は、順序に従って、「最も重要な」活動エリアが実視野の中心に位置付けられれば解決できる。これによって、外科的介入の要求事項に合わせられた、支援機能の特に良好な制御が可能となる。
【0046】
順序は、例えば機械学習アルゴリズムにより特定できる。しかしながら、順序は下流の制御アルゴリズムによって特定されることも想定可能であろう。
【0047】
ここまで、少なくとも２つの顕微鏡画像に基づいて作成され、１つ又は複数の活動エリアに関連付けられる特徴を含むマップに関連する様々な例について述べた。機械学習アルゴリズムはこのマップを入力に基づいて作成する。
【0048】
この入力は、少なくとも２つの顕微鏡画像に基づく。１つの変形型において、機械学習アルゴリズムは少なくとも２つの顕微鏡画像を直接入力として取得することが想定可能であろう。例えば、少なくとも２つの顕微鏡画像は、機械学習アルゴリズムに別々のチャネルとして伝送できる。しかしながら、代替的又は追加的に、機械学習アルゴリズムが入力として取得するさらなる、又は他の情報もまた、少なくとも２つの顕微鏡画像に基づいて特定できる。
【0049】
様々な例において、少なくとも２つの顕微鏡画像を前処理して機械学習アルゴリズムへの入力を取得することは、コンピュータ実装前処理アルゴリズムによって実行できる。
【0050】
例えば、深度情報は、例えば前処理アルゴリズムによって介入領域のトポグラフィ画像を作成するために使用できる。深度情報は、例えばステレオイメージング、飛行時間イメージング、及び／又は構造化照明により生成できる。このような特定はまた、組合せ画像が確認される前にも実行でき、これについては後で説明する。
【0051】
組合せ画像を少なくとも２つの顕微鏡画像の組合せに基づいて特定すること、及び機械学習アルゴリズムがこの組合せ画像を入力として取得することも可能であろう。
【0052】
組合せ画像は、少なくとも２つの顕微鏡画像の顕微鏡画像間の差分量としてオプティカルフロー値を含むことができる。空間情報は一般に、オプティカルフロー画像の場合、除去される。オプティカルフローは、像点の移動を符号化できる。オプティカルフローは、例えばイメージング光学ユニットの基準系における物体空間の可視点の速度－像面に投射されたもの－を明示するベクトル場を説明できる。オプティカルフロー画像を特定するための対応する組合せアルゴリズムは、例えば像点ごと又はブロックごとに動作できる。組合せ画像の特定の形態としてオプティカルフロー画像を取得するための１つの例示的な組合せアルゴリズムは、例えばＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．８９３４－８９４３）の中のＳｕｎ、Ｄ．，Ｙａｎｇ，Ｓ．，Ｌｉｕ，Ｍ．Ｙ．，＆ Ｋａｕｔｚ，Ｊ．（２０１８）．Ｐｗｃ－ｎｅｔ：Ｃｎｎｓ ｆｏｒ ｏｐｔｉｃａｌ ｆｌｏｗ ｕｓｉｎｇ ｐｙｒａｍｉｄ，ｗａｒｐｉｎｇ，ａｎｄ ｃｏｓｔ ｖｏｌｕｍｅに記載されている。組合せ画像の特定の形態としてオプティカルフロー画像を取得するための別の例示的組合せアルゴリズムは、例えばＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．８９８１－８９８９）の中のＨｕｉ、Ｔ．Ｗ．，Ｔａｎｇ，Ｘ．，＆ Ｌｏｙ，Ｃ．Ｃ．（２０１８）に記載されている。組合せ画像の特定の形態としてオプティカルフロー画像を取得するための別の例示的組合せアルゴリズムは、例えばＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．２４６２－２４７０）の中のＩＩｇ．Ｅ．，Ｍａｙｅｒ，Ｎ．，Ｓａｉｋｉａ，Ｔ．，Ｋｅｕｐｅｒ，Ｍ．，Ｄｏｓｏｖｉｔｓｋｉｙ，Ａ．，＆ Ｂｒｏｘ，Ｔ．（２０１７）．Ｆｌｏｗｎｅｔ２．０：Ｅｖｏｌｕｔｉｏｎ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｎｅｔｗｏｒｋｓに記載されている。
【0053】
一般的に、本明細書に記載の各種の例において、それゆえ、２つ以上の顕微鏡画像に基づいて、コントラストとしてのオプティカルフロー値を有する組合せ画像を特定する、すなわちオプティカルフローを明示する組合せアルゴリズムを使用することができる。この場合、このような組合せアルゴリズムでは、手術器具の他に、背景もある程度の動きを有し得ることを考慮に入れることができる。しかしながら、この場合、マップを作成する機械学習アルゴリズムがオプティカルフロー画像に基づいて背景と手術器具とを区別できるようにすることも可能である。これは、手術器具に関するオプティカルフロー値が典型的に、背景のオプティカルフロー値の特徴と異なることによる。例えば、オプティカルフローのベクトル場における連続的な均質のエリアは手術器具を示す、背景は移動しないか、器具とは異なる方向に移動する（例えば、２つの器具のうちの１つのみが背景と接触した場合）、動きの大きさの点で器具に関するものは背景と比較して大きな差がある、すなわち背景の動きはより小さいことが多い、手術器具についてはオプティカルフローの勾配が大きい。
【0054】
マップを特定する機械学習アルゴリズムとコントラストとしてのオプティカルフロー値を有する組合せ画像を特定する組合せアルゴリズムがうまく協働するために、両アルゴリズムのエンドツーエンドの訓練が想定され得る。
【0055】
本明細書に記載の各種の例において、少なくとも２つの顕微鏡画像が介入領域に関して同じ姿勢の手術用顕微鏡で、すなわち介入領域に関して同じ距離及び同じ向きの手術用顕微鏡のイメージング光学ユニットで撮影されるようにすることが可能である。１つのこのような例では、組合せ画像は少なくとも２つの顕微鏡画像間の差分を形成することによって直接得ることができる。
【0056】
しかしながら、他の例では、少なくとも２つの顕微鏡画像が介入領域に関して異なる姿勢の手術用顕微鏡で撮影されたとすることも可能であろう。１つのこのような例では、少なくとも２つの顕微鏡画像の共通座標系とのレジストレーションを行い、その後、このレジストレーションに基づいて共通座標系に変換することができる。その後、それに対応する変換された少なくとも２つの顕微鏡画像を相互に組み合わせることによってスーパインポーズされた顕微鏡画像を取得できる。
【0057】
以上、機械学習アルゴリズムの入力が少なくとも２つの顕微鏡画像に基づく各種の変形型について述べた。任意選択により、少なくとも２つの顕微鏡画像に基づかない１つ又は別の入力も使用できる。
【0058】
例えば、機械学習アルゴリズムは、外科的介入のコンテクストを別の入力として取得できる。対応するコンテクスト情報は、例えば手術の種類、手術の進行状況、手術の外科医等を示すことができる。このような補足的情報は、支援機能を意図的に制御するうえで有益であり得る。
【0059】
本明細書に記載の各種の変形型において、機械学習アルゴリズムにより出力として提供されたマップを入力として取得する少なくとも１つの制御アルゴリズムを使用できる。
【0060】
すると、この少なくとも１つの制御アルゴリズムは支援機能のための制御データを出力として提供できる。制御データは、例えば、外科的介入中に使用される個々の器具（例えば、手術用顕微鏡）の１つ又は複数のアクチュエータに転送できる。制御データはまた、例えば外科的介入を行う外科医に対してユーザ誘導を出力するために、マンマシンインタフェースに転送することもできる。
【0061】
一般的に言えば、制御データは支援機能の種類及び支援機能を行う時点のうちの少なくとも１つを規定できる。
【0062】
例えば、原則として支援機能の異なる動作を実行でき、異なる動作はマップの内容に応じて選択できることが想定可能である。代替的又は追加的に、マップの内容に応じて、ある動作をより早い段階で、又はより遅い段階で実行されるようにすることができる。
【0063】
制御アルゴリズムは入力としてマップを取得する。様々な例において、制御アルゴリズムが１つ又は複数の他の入力を取得することも可能であろう。例えば、制御アルゴリズムは、別の入力として外科的介入のコンテクストを得ることができる。外科用介入のコンテクストに関する詳細については、マップを出力として提供する機械学習アルゴリズムのための別の入力に関連してすでに上で説明しており、それに対応する詳細は、制御アルゴリズムに関しても当てはまる。
【0064】
制御アルゴリズムでは所定の規則群を考慮できる。例えば、規則群は制御アルゴリズムに別の入力として転送できる。規則群はまた、一定に事前に決定することもできる。
【0065】
規則群は、マップの１つ又は複数の特徴に応じた制御データ選択のための境界条件を規定できる。このようにして、例えば、支援機能の提供の連続性を確保することができる。例えば、支援機能により提供される動作の急激な変化を回避できる。使用者ごとの選好も考慮に入れることができる。
【0066】
規則群は、例えば支援機能の動作の時間的平滑化を規定できる。この目的のために、対応する動作の何れかのローパスフィルタリングを出力側で実行できる。機械学習アルゴリズムにより連続して取得される複数のマップの時間的変化も、入力側で考慮に入れることができる。例えば、対応するローパスフィルタリングは、機械学習アルゴリズムにより連続的に取得される、それに対応する時系列のマップに適用できる。
【0067】
規則群の例示的な規則は例えば、「支援機能の動作は、手術器具の複数の器具が顕微鏡画像の中に見える場合にのみ実行される」又は、「手術用顕微鏡の焦点は、２つ以上の手術器具群が見える場合に、少なくとも１つの他の手術器具群と空間的に隣接して配置されていない１つの手術器具群には手術用顕微鏡のピントを合わせない」とすることができる。
【0068】
規則群はまた、活動エリアの順序をどのように特定するかを、例えば前述のように活動エリアのコンテクスト情報に関する特徴に応じて特定することを特定できる。すると、支援機能はこのような順序に応じて制御できる。
【0069】
このような順序に応じて考慮することのできる例示的な規則は、例えば、「複数の手術器具のツールの先端が空間的に近接している場合、さらなる依存的決定のために、対応する活動エリアをより重要視する」又は、「２つの手術器具が活動エリアの中にあり、それゆえ空間的に近接している場合、対応する活動エリアには他の活動エリアより重きが置かれる」である。
【0070】
一般的に、本明細書に記載の各種の例では、多岐にわたる支援機能を制御できる。例えば、少なくとも２つの顕微鏡画像を撮影する手術用顕微鏡に関連する支援機能は、どのマップが作成されたかに基づいて制御できる。しかしながら、手術用顕微鏡に関係のない支援機能が制御されることも想定可能であり、例えばこのような支援機能は、外科的介入に関連して使用される、或いはマンマシンインタフェースを介してユーザ誘導を可能にする他の個々の器具に関係することができる。
【0071】
例えば、支援機能は以下の要素、すなわち手術用顕微鏡の位置を調整すること、手術用顕微鏡の倍率を変更すること、手術用顕微鏡のピントを合わせること、手術用顕微鏡による照明による介入領域の照明を調整することを含むグループから選択することが想定可能であろう。
【0072】
例えば、支援機能は、手術用顕微鏡の位置を１つ又は複数の活動エリアのうちの少なくとも１つと手術用顕微鏡の実視野の中心との間の距離に応じて変更することが想定可能であろう。すなわち、換言すれば、認識された活動エリアは、手術用顕微鏡の実視野の中心に配置することができる（「オートセンタリング」という）。
【0073】
例えば、活動エリアの順序を例えば活動エリアのコンテクスト情報を説明する特徴に基づいて、すなわち活動エリア間の、又は患者の解剖学的構造に関する空間的及び／又は解剖学的隣接関係に基づいて規定するための技術について上で述べた。すると、対応する活動エリアをこの順序に基づいて選択でき、手術用顕微鏡を活動エリアに関してセンタリングできる。このような技術は、外科医にとって、多くの場合、特定の活動エリアを実視野の中心に位置付けることは、そこで外科的介入を狙い通りの方法で進めるために特に重要であるとの見識に基づく。それゆえ、支援機能を特に意図的に提供できる。
【0074】
コンピュータプログラム若しくはコンピュータプログラム製品又はコンピュータ可読記憶媒体は、プログラムコードを含む。プログラムコードはプロセッサにロードされ、それによって実行されることが可能である。プロセッサがプログラムコードを実行すると、これはプロセッサに、患者に対する外科的介入のための支援機能を制御するための方法を実行させる。この方法は、機械学習アルゴリズムを適用して介入領域のマップを取得することを含む。この適用は、少なくとも２つの顕微鏡画像に基づく。少なくとも２つの顕微鏡画像は手術用顕微鏡によって撮影されたものであり、外科的介入の介入領域を画像化する。少なくとも２つの顕微鏡画像は異なる時点で撮影されたものである。この方法は、マップを使って外科的介入に関連する支援機能を制御することをさらに含む。この場合、マップは、介入領域のうち、手術器具が存在する確率がより高いことに関連付けられる１つ又は複数の活動エリアを示す。
【0075】
患者に対する外科的介入のための支援機能を制御する制御装置は、少なくとも１つの顕微鏡画像に基づく機械学習アルゴリズムを適用することにより、このようにして介入領域のマップを取得するように構成される。少なくとも２つの顕微鏡画像は、手術用顕微鏡によって撮影され、介入領域を画像化する。少なくとも２つの顕微鏡画像は、異なる時点で撮影される。制御装置はさらに、マップを使って外科的介入に関連する支援機能を制御するように構成される。マップは、介入領域のうち、手術器具が存在する確率がより高いことに関連付けられる１つ又は複数の活動エリアを示す。
【0076】
システムは、例えば制御装置と手術用顕微鏡を含むことができる。
【0077】
手術用顕微鏡は、手術用顕微鏡の位置を変更するためのアクチュエータを有することができる。
【0078】
支援機能はすると、手術用顕微鏡の位置調整を含むことができる。
【0079】
上述の特徴及び以下で説明する特徴は、明示的に記載されたそれに対応する組合せにおいてだけでなく、別の組合せでも、又は単独でも使用でき、これも本発明の保護範囲から逸脱しない。
【図面の簡単な説明】
【0080】
【図1】各種の例による手術用顕微鏡を概略的に示す。
【図2】手術の標的領域は、各種の例による標的領域に関する手術用顕微鏡の相対的位置決めを概略的に示す。
【図3】顕微鏡画像を評価し、及び／又は支援機能を制御するために、本明細書に記載の各種の例に関連して使用できる装置を概略的に示す。
【図4】例示的なデータ処理を概略的に示す。
【図5】各種の例による、対応するマップ内の活動エリアを概略的に示す。
【図6】活動エリアを表すマップに関連するさらに詳細な部分を示す。
【図7】１つの例示的な方法のフローチャートである。
【図8】１つの例示的な方法のフローチャートである。
【発明を実施するための形態】
【0081】
上述の本発明の特性、特徴、及び利点並びにこれらを実現する方法は、図面に関連してより詳しく説明される例示的実施形態の以下の説明からより明らかとなり、より明確に理解されるであろう。
【0082】
以下に、図面を参照しながら好ましい実施形態に基づいて本発明をより詳しく説明する。図中、同じ参照符号は同じ又は同様の要素を示す。図面は、本発明の各種の実施形態の概略表現である。図中に示される要素は、必ずしも正しい縮尺によって描かれているとは限らない。むしろ、図中に示される様々な要素は、それらの機能及び一般的目的が当業者にとってより分かりやすくなるように描かれている。図中に示される機能ユニット及び要素間の接続及び連結はまた、間接的な接続又は連結としても実装できる。接続又は連結は、有線でも無線でも実装できる。機能ユニットは、ハードウェア、ソフトウェア、又はコードウェアとソフトウェアの組合せとしても実装できる。
【0083】
本発明の各種の例は、外科的介入の実行中に支援機能を制御するための技術に関する。本明細書に記載の各種の例においては、様々な種類の支援機能を制御できる。
【0084】
例えば、外科的介入を行う外科医にユーザ誘導を提供する支援機能を制御できる。外科的介入において使用される手術用顕微鏡又はその他の個々の器具（例えば、マイクロインスペクションツール又は共焦点内視顕微鏡）を制御することも可能であろう。支援機能はまた、異なる種類の動作も提供できる。
【0085】
本発明の各種の例は、手術中の手術用顕微鏡の設定を特定することに関する。本明細書に記載の各種の例において、支援機能に関する手術用顕微鏡の異なる設定を特定できる。例えば、手術を受ける患者に関する手術用顕微鏡の相対的位置決め、すなわち距離及び／又は向き（姿勢）を特定することが想定可能であろう。代替的又は追加的に、手術用顕微鏡の光学系の設定もまた特定でき、これは例えば倍率（ズーム）、照明強度、及び／又はコントラストである。動作モードもまた特定でき、これは例えば間接若しくは直接照明の使用、又は特定の波長の光による照明である。蛍光モードをアクティベートできる。ビデオ設定を設定できる。
【0086】
各種の例は、設定のマニュアルでの特定と適用、例えば手術用顕微鏡のマニュアルでの位置調整が、手術中にそれを実行する外科医にとって、思考力及びメンタルの面での負荷を増大させ得るとの見識に基づく。例えば、マニュアルでの位置調整には、「フリーハンド」が必要であり、したがって、外科医は手術器具を置くか、又は手術器具の変更のための停止時間の間、待たなければならない。実行段階で手術器具を置けば、マニュアルでの位置調整により手術が中断されることになる。外科医が位置調整のための適切な好機を待った場合、外科医が少なくとも部分的に、最適とは言えない設定の手術用顕微鏡でその手術を実行するリスクがある。手術用顕微鏡の位置決めには多くの場合、豊富な経験が必要となり得る。したがって、本明細書に記載の各種の例では、手術用顕微鏡の設定を対応する支援機能に関して自動的に特定し、それゆえ外科医の負担を解消することが可能となる。
【0087】
一般的に、支援機能は全自動的又は半自動的に制御できる。例えば、手術用顕微鏡に関連して上述した対応する設定を自動的に提供でき、又はそれに対応するユーザ誘導を出力できる。
【0088】
本明細書に記載の各種の例において、支援機能は外科的介入の介入領域における手術器具の認識に基づいて制御される。手術器具は認識できるが、必ずしも位置特定する必要はない。外科医は手術器具を使って作業するため、支援機能は手術器具を使って作業する外科医の集中力の焦点と連携させることができる。手術器具の認識により、活動の活発化がアーチファクトや外乱に起因するものではなく、実際に外科医による意図的な操作に起因することを確認できる。このようにして、連続的なマンマシンインタラクションが可能となる。
【0089】
介入領域における手術器具を認識するリファレンス実装が想定可能である。例えば、一例は、例えば米国特許第１０７６９４４３Ｂ号明細書に記載されている。例えば、リファレンス実装は、手術器具に参照マーキングを取り付けることに基づく。すると参照マーキングを追跡し、認識することができる。例えば、電磁トラッキング又は光学トラッキングが考えられる。このようなマーカに基づくリファレンス実装の１つの欠点は、手術器具に参照マーキングを取り付ける必要があることである。それに加えて、認識された参照マーキングに基づいて位置を追跡できるようにする対応するデータを捕捉するために、別のハードウェアのための支出が必要となり得る。異なる分類のリファレンス実装は、手術器具のマーカを用いない認識を利用する。例えば、画像処理アルゴリズムを使って、手術用顕微鏡の顕微鏡画像中の異なる種類の手術器具を認識できる。このようなアプローチによるロバスト性は比較的乏しいかもしれない。これは、手術器具の色と形状が多種多様であることによる。したがって、手術器具を認識するための対応するアルゴリズムのパラメータ化又は訓練は複雑であり、エラーが生じやすい場合が多い。認識されるパラメータ空間もまた、手術器具の種類が多いことにより広くなる。
【0090】
マーカに基づく手術器具認識の場合及びマーカを使用しない手術器具認識の場合の何れにおいても、ロバストな技術的解決策を得るためには、典型的に画像の特性、例えば被写界深度、照明、シェーディング、反射、コントラスト、変化する蛍光の変化を考慮する必要がある。画像特性のこのような変化は、使用される手術用顕微鏡の種類に依存する、作動又は停止できるイメージングモダリティの違いにより生じ得る。しかしながら、異なる画像特性はまた、例えば背景照明が、例えば手術室によって異なることによっても生じ得る。
【0091】
本明細書に記載の各種の技術において、支援機能は、手術器具の考え得る位置を考慮してロバストに制御できる。これは、特にツールの種類に依存せずに行うことができる。リファレンス実装に関して上述したような欠点を克服できる。
【0092】
各種の例によれば、それゆえ、手術器具の明確な認識及び／又は位置特定と手術器具の種類の分類は行わなくてもよく、これは前述のリファレンス実装とは対照的である。手術器具の存在の確率がより高いことに関連付けられる活動エリアを使用する黙示的アプローチが、手術器具のこのような明示的認識の代わりに使用される。活動エリアは、少なくとも２つの顕微鏡画像の比較から導き出すことができる。特に、活動エリアは、少なくとも２つの顕微鏡画像のうちの、動的特長が増大している、例えば活動が増大した、又は動きが活発化した領域に対応できる。このような技術は、関連する手術器具は典型的に動かされ、したがって一連の顕微鏡画像の中に、より多くの動的特長と共に現れるとの見識に基づく。特に、動的特長は、比較的静的な背景、例えば組織や固定後の手術器具、例えばクランプ等に関して増大する。これは、時間的コンテクストを活動エリアの認識に利用できることを意味する。換言すれば、活動の増大は、他のエリア、すなわち活動エリアではないエリアに比べて動的特長又は動きの量が増大しているかもしれない活動エリアの動的特長の増大又は動きの活発化を特定することによって特定できる。増大した活動の量は、活動エリア内の、手術器具の動きにより説明される、例えば動的特長又は動きの量、例えば動きの速度若しくは距離、又はオプティカルフロー、一般的には時間コンテクスト及び／又は空間コンテクストを含むことができ、これは少なくとも２つの顕微鏡画像の中で画像化できる。さらに、活動エリア内に手術器具が存在する確率がより高いことは、活動の活発化に基づいて、換言すれば活動が増大したとの特定に基づいて特定できる。
【0093】
各種の例によれば、このような活動エリアは介入領域のマップの中に特徴として保存できる。これによって、特にイメージングモダリティの具体的な特性、例えばコントラスト、照明、シャドウキャスティング等からの抽出が可能となる。これは、少なくとも２つの連続する顕微鏡画像における相対的変化を考慮することにより実行できる。静的特性は、イメージングモダリティの特性を含め、認識され、マップの作成において無視できる。その結果、支援機能を特にロバストに制御できる。
【0094】
図１は、手術のための手術用顕微鏡８０１を概略的に記している。この図の例では、手術用顕微鏡８０１はアイピース８０３を含む。アイピース８０３を通じて、外科医は手術用顕微鏡８０１の実視野８０４の中にある物体の拡大画像を観察できる。図の例では、これは手術台に横たわる患者８０５である。
【0095】
光学的アイピースの代わりに、又はそれに加えて、顕微鏡画像を提供するカメラ（デジタル手術用顕微鏡）も使用できる。
【0096】
手術機器８０８もマンマシンインタフェースとして提供され、例えばこれはハンドル又はフットスイッチとして具現化できる。図１に示される実施形態では、これはハンドルである。手術機器８０８によれば、クロスビーム８５０に固定されたアイピース８０３を移動できる。手術用顕微鏡の対応する設定にしたがって、移動を制御データに基づいて自動的に実行するためのモータを提供できる。モータはまた、ハンドル８０８により引き起こされる移動も支援できる。
【0097】
さらに、手術用顕微鏡８０１のための制御装置８０９も提供され、複合型顕微鏡の動作並びにアイピース８０３内での画像及び追加的な情報とデータの表示を制御する。制御装置８０９は、外科医との相互作用を実行できる。例えば、制御装置８０９は、手術用顕微鏡の設定を適当な制御データに基づいて変更できる。この目的のために、１つ又は複数のアクチュエータを、例えばクロスビームを移動させるため、光学ユニットを変えるため等に制御できる。設定はまた、センサデータのデジタル後処理を含むことができる。設定はまた、例えば撮影されたデジタル画像のためのデータ捕捉パラメータに関するものとすることもできる。また、設定に応じて異なる画像ソースやイメージングモードを切り替えることも可能であろう。このような設定は、少なくとも一部に支援機能によって自動的に行うことができる。
【0098】
手術用顕微鏡８０１はまた、１つ又は複数の別のセンサ８６０、例えばモーションセンサ又は熱画像カメラ又はマイクロフォン又はサラウンドカメラ等も含むことができる。このような別のセンサ８６０はまた、手術用顕微鏡の設定に応じて異なる動作を行うことができる。このようなセンサ８６０は外科的介入のコンテクストを説明するコンテクスト情報を提供できる。
【0099】
神経外科では、手術用顕微鏡は介入領域を可視化するために使用される。このような介入領域は多くの場合、狭い空洞の中の低い構造によって特徴付けられる。手術の種類に応じて、手術用顕微鏡はほぼ毎分の頻度で介入領域に関する新たな観察方向を調整する必要があり、これは、例えば器具の位置の変化によって新たな死角ができるからである。現在市販されている手術用顕微鏡の場合、このために、外科医はシステムの位置をマニュアルで調整する必要があり、すなわち外科医は例えば顕微鏡に取り付けられたハンドルを握り、システムを新たな姿勢（顕微鏡の位置及び向き）に誘導する。本明細書に記載の各種の例において、支援機能はこのような位置調整を補助するか、さらには自動化することができる。しかしながら、この場合、本明細書に記載の支援機能は、手術用顕微鏡の対応する位置調整に限定されない。代替的又は追加的に、手術用顕微鏡のその他の設定を変更して、例えば倍率を設定し、ピントを調節し、照明を調整すること等も想定可能であろう。幾つかの例において、支援機能は手術用顕微鏡の設定に関係せず、むしろ別の器具、例えば患者が横たわる手術台、マイクロインスペクションツール、又は共焦点内視顕微鏡等が設定される。マンマシンインタフェースもまた、ユーザ誘導を行うために支援機能に関して制御できる。
【0100】
図２は、手術用顕微鏡８０１の光学ユニット８０６の、患者の頭蓋冠５４内の原位置５３に関する例示的な位置決めを示している。その全てが介入領域５０を画定する（図１も参照のこと）。それに加えて、介入領域５０内に配置された手術器具５１、５２も示されている。
【0101】
図３は、本明細書に記載の各種の例におけるデータ処理に使用可能な装置９０を概略的に示している。例えば、装置９０はＰＣ又はクラウドサーバとすることができる。装置９０は、支援機能を制御するための制御装置を実装できる。装置９０は、手術用顕微鏡８０１の制御装置８０９の一部とすることができる。
【0102】
装置９０は、プロセッサユニット９１と不揮発性メモリ９２を含む。プロセッサユニット９１は、プログラムコードを不揮発性メモリ９２からロードし、前記コードを実行することができる。これには、プロセッサユニット９１が本明細書に記載の例による手法、例えば活動エリアがマークされる、介入領域のマップを取得するために機械学習アルゴリズムを適用すること、機械学習アルゴリズムを訓練データに基づいて訓練すること、前処理アルゴリズムを一連の顕微鏡画像に適用し、前処理アルゴリズムの出力が機械学習アルゴリズムへの入力となるようにすること、マップを入力として取得する制御アルゴリズムを入力として適用して、支援機能のための制御データを提供すること等を実行するという効果を有する。
【0103】
例えば装置９０による、データ処理の例示的な実装に関する詳細を、図４に関して以下に説明する。
【0104】
図４は、本発明の各種の例による支援機能を制御するためのデータ手処理に関連する態様を示している。図４によるデータ処理は、例えば装置９０により、特にプロセッサユニット９１により、不揮発性メモリ９２から読み出されるプログラムコードに基づいて実行できる。
【0105】
図４は、２つの顕微鏡画像７１、７２が得られることを示している。顕微鏡画像７１、７２は、介入領域５０を画像化することができ、手術用顕微鏡８０１により撮影できる。２つの顕微鏡画像７１、７２は、前処理アルゴリズム８１によって入力として使用される（しかしながら、これは一般的に任意選択的であり、前処理もまた実行できる）。
【0106】
一般的に、本明細書に記載の各種の例において、２つの顕微鏡画像７１、７２より多くの画像を使ってマップを特定することもできる。
【0107】
任意選択による前処理アルゴリズム８１は、出力７５を提供し、それが今度は機械学習アルゴリズム８２のための入力となる。例えば、前処理アルゴリズム８１が２つの顕微鏡画像７１、７２の組合せに基づいて組合せ画像を特定することが可能であろう。組合せは、例えば差分形成（ｄｉｆｆｅｒｅｎｃｅ ｆｏｒｍａｔｉｏｎ）又は積算によって実行できる。組合せ画像は、異なる顕微鏡画像７１、７２間の動的特長を示す。顕微鏡画像７１、７２からは別の情報、例えばトポグラフィ画像の深度情報も抽出できる。
【0108】
機械学習アルゴリズム８２は、前処理アルゴリズム８１の出力７５、例えば前述の組合せ画像又はトポグラフィ画像を入力として取得する。機械学習アルゴリズムはまた、別の入力も取得できる。図４は、機械学習アルゴリズム８２が顕微鏡画像７１、７２の両方を別の入力として受け取ることを示している（前処理が行われない場合、機械学習アルゴリズム８２は顕微鏡画像７１、７２のみを取得することもできる）。
【0109】
それに加えて、機械学習アルゴリズム８２は、別の入力として、図１を参照されたいが、手術用顕微鏡の追加的センサ、例えばセンサ８６０からのセンサデータ７８を取得できる。機械学習アルゴリズム８２は、追加的又は代替的に、外科的介入のコンテクストを説明する状態データ７９も取得できる。例えば、内視鏡等により撮影された、他の顕微鏡画像も取得できる。
【0110】
機械学習アルゴリズム８２はマップ７６を提供する。マップ７６は、所定の具体的な特徴クラスの特徴を使用することにより、介入領域５０をマッピングする。特に、手術器具が存在する確率がより高いことに関連付けられる１つ又は複数の活動エリアがマップ７６の中に記録される。マップはすると、支援機能を制御するために使用できる。この目的のために、各種の例において、同じく図４に示されているように、制御アルゴリズム８３をマップ７６に適用し、そのようにして手術用顕微鏡８０１を適切に設定するように制御データ７７を取得できる。
【0111】
図４は、制御アルゴリズム８３が、機械学習アルゴリズム８２の代わりに、又はそれに加えて、外科的介入のコンテクストを説明する状態データ７９を別の入力として取得できることを示している。その結果、支援機能のコンテクストに依存する制御を可能にすることができる。
【0112】
一般に、制御アルゴリズム８３は、マップ７６の１つ又は複数の特徴に応じて、制御データ選択のための境界条件を規定する所定の規則群を考慮に入れることができる。規則群は、例えば支援機能の動作の時間的平滑化を規定できる。規則群は、例えば複数の活動エリアの順序を規定できる。この順序はすると、支援機能の制御に影響を与え得る。
【0113】
図４のデータ処理は、基本的にモジュール式に構成される。例えば、前処理アルゴリズム８１は基本的に任意選択的である。例えば、機械学習アルゴリズム８２が顕微鏡画像７１、７２を直接入力として取得することも想定可能であろう。制御アルゴリズム８３は、機械学習アルゴリズム８２の中に組み込むことができる。これに関して、図４はデータ処理の１つの例示的なアーキテクチャを示しているにすぎない。
【0114】
図５は、マップ７６に関連する態様を示している。３つの活動エリア１０１～１０３がマップ７６の中に記録されている（図５の例では活動エリア１０１～１０３の輪郭が示されている）。１つ又は複数の手術器具群は、活動エリアの各々の中により高い確率で位置付けられている。
【0115】
しかしながら、マップ７６は手術器具の種類は区別しない。したがって、支援機能もまた、手術器具の種類の違いによっては制御されない。マップ７６はそれゆえ、介入領域５０の中の異なる位置における手術器具の存在を説明する活動エリア１０１～１０３の形態の特徴を含む。他方で、手術器具は物体認識に基づいて位置特定される必要はない（換言すれば、マップ７６は、活動の増大の原因に関しては非依存的に作成でき、それによってロバスト性が向上する）。
【0116】
活動エリア１０１～１０３の特徴の他に、図の例におけるマップ７６はまた、別の特徴、すなわちマーキング１１１～１１２の形態の特徴をも含む。これは一般的に任意選択的である。これらの特徴は、活動エリアのコンテクスト情報を説明する。活動エリア１０２にはマーキング１１１が付され、活動エリア１０３にはマーキング１１１とマーキング１１２の両方が付されている。
【0117】
この場合のマーキング１１１は、それぞれマーキングされた活動エリア１０２、１０３が空間的隣接関係を満たすことを識別する。図の例では、２つの活動エリア１０２、１０３は相互の近くに、例えば特定の所定の閾値より近くに配置され、それゆえ対応する空間的隣接関係を満たしている。それに対して、活動エリア１０１は特に近い隣接エリアを持たず、したがって対応する空間的隣接関係を満たさない。
【0118】
マーキング１１２は、対応する活動エリア１０３が対応する解剖学的隣接マーキングを満たすことを識別する。例えば、活動エリア１０３は、特定の解剖学的構造の特に近くに、例えば原位置５３の特に近くに配置されることが想定可能であろう。例えば、解剖学的特徴は、前処理アルゴリズム８１によって解剖学的コンテクストとして位置特定でき、機械学習アルゴリズム８２に別の入力として転送できる。
【0119】
一般的に、マーキング１１１～１１２は、活動エリア１０１～１０３に関連するコンテクスト情報を提供する。このようなコンテクスト情報は、支援機能が制御されるときに考慮に入れることができる。本明細書に記載の各種の例において、マップ７６の活動エリア１０１～１０３はこのようなコンテクスト情報に基づいて分別され、対応する順序が支援機能の制御に使用されることが想定可能である。例えば、制御アルゴリズムの規則群は、順序がどのように特定されるか、すなわち、例えば順序を特定する際にどのコンテクスト情報が考慮されるか、又はマップ７６のコンテクスト情報を説明する異なる特徴がどのように重み付けされるかを規定できる。
【0120】
ここまで、空間及び解剖学的隣接関係がコンテクスト情報の例として説明されているが、一般には、他の、又はさらなる種類のコンテクスト情報も考慮できる。例えば、マップ７６はそれぞれの活動エリア１０１～１０３の中の手術器具の数及び／又はそれぞれの活動エリア１０１～１０３の中の動的特長を示す別の特徴を含むことができる。このような、及びその他の種類のコンテクスト情報は全て、支援機能を制御するとき、例えば順次を特定するときに考慮できる。
【0121】
図６は、活動エリア１０１～１０３に関連する態様を示す。特に、図６は、例として活動エリア１０１について、活動エリアがマップ７６の中でどのように描かれるかを示している。図６の例では、まずマスク１５１が活動エリア１０１のために使用さる。マスク１５１は、活動エリア１０１の中及び外の領域への二値分割を行い、マスク１５１の輪郭が示されている。
【0122】
このようなマスク１５１の使用の代わりに、又はそれに食えて、マップ７６はまた、手術器具の有無に関する確率値１５２も含むことができ、これは図６では対応する等値線により表されている。活動エリアはすると、介入領域５０のうち、手術器具が存在する確率値が５０％（又は他の何れかの閾値）より高い部分として定義できる。
【0123】
【0124】
ボックス３００５で、機械学習アルゴリズム８２の訓練が行われる。この目的のために、機械学習アルゴリズム８２のパラメータを数値反復最適化プロセスで調整するために正解が使用される。
【0125】
ボックス３０１０で、その時点で訓練された機械学習アルゴリズムが推論のために使用され、すなわち、支援機能は外科的介入中に、正解がない状態で制御される。
【0126】
ボックス３００５の訓練は、教師あり又は半教師あり又は教師なしで実行できる。例えば、活動エリア及び任意選択によりマップの別の特徴にマニュアルで注釈をつけることができ、このようにして正解が得られ、すると、機械学習アルゴリズム８２のパラメータの調整を対応するラベルに基づいて行うことができる。
【0127】
図８は、１つの例示的な方法を示す。図８の方法はデータ処理システムにより実行できる。例えば、図８の方法は、装置９０によって、例えばプロセッサユニット９１によって、メモリ９２から読み出されるプログラムコードに基づいて実行できる。
【0128】
【0129】
ボックス３０５０で、２つ以上の顕微鏡画像の画像撮影が行われる。立体顕微鏡画像を撮影できる。
【0130】
この目的のために、例えば、適当な制御命令を手術用顕微鏡に送信できる。すると、画像データを受け取ることができる。
【0131】
２つ以上の顕微鏡画像は、介入領域に関する所定の姿勢で、例えば固定された姿勢で撮影できる。
【0132】
ボックス３０５５では、ボックス３０５０からの顕微鏡画像の前処理が任意選択的に実行される。例えば、オプティカルフローをボックス３０５０から得られた顕微鏡画像から抽出できる。一般的に言えば、顕微鏡画像間の時間的コンテクストを特定することができる。
【0133】
対応する技術については、例えば図４及び前処理アルゴリズム８１に関連してすでに説明した。
【0134】
ボックス３０６０で、介入領域に関する様々な特徴の種類をマッピングするマップが作成される。機械学習アルゴリズムがこの目的のために使用される。１つの例は、いわゆる「顕著性」予測アルゴリズムであろう。特に、活動エリアは図５に関連してすでに説明したようにマッピングされる。
【0135】
一般的に言えば、マップは、介入領域内の特定の空間点、例えば特定のｘｙピクセルに、又は一般的には特定のエリアに手術器具の動的な活動が存在するか否か、及び適当であれば、その確率はどれだけかを空間的に関係付けられる方法で符号化できる。例えば、図６に関して説明したように、確率マップを出力できる。
【0136】
任意選択により、活動エリアに関するコンテクスト情報もマッピングできる。このようなコンテクスト情報は、例えばそれぞれの活動エリア内の動的特長、それぞれの活動エリア内の手術器具の数、活動エリア間の空間的隣接関係、活動エリアの解剖学的隣接関係等を含む。
【0137】
ボックス３０６０からのマップに基づいて、ボックス３０６５では、支援機能を任意選択的に制御できる。例えば、支援機能の特定の動作を開始すべきか否かの決定を下すことができる。特定の動作が開始される場合、これは、使用者に対する推奨及び／又はリクエスト、半自動的支援、又は全自動的支援として実装できる。
【0138】
幾つかの例において、ボックス３０６０では、顕微鏡画像の中で１つ又は複数の手術器具群が認識されるか否かをチェックすることができる。これは、物体認識アルゴリズムに基づいて実行できる。手術器具の位置特定は行わなくてよい。１つ又は複数の手術器具群が認識された場合、続いて支援機能を開始できる。例えば、物体認識アルゴリズムは、１つ又は複数の手術器具群が顕微鏡画像の中で認識された場合、「イエス」を出力できる。物体認識アルゴリズムは、何れの手術器具群も認識されなければ、「ノー」を出力できる。換言すれば、これは二値結果に対応する。認識された手術器具群の数もまた出力できる。位置は示される必要がない。
【0139】
幾つかの例において、開始基準である「手術器具が認識されること」の代わりに、又はそれに加えて、支援機能の開始を１つ又は複数の他の開始基準に依存させることも想定可能であろう。１つの例は、例えば音声コマンド、例えば「センタリング」、又はボタン、例えばフットスイッチの操作であろう。
【0140】
このような物体認識アルゴリズムは、例えばボックス３０６０でマップを特定するアルゴリズムに関して、時間的に並行して、及び例えば独立して使用できる（図４のアルゴリズム８２参照）。
【0141】
それゆえ、物体認識アルゴリズムは、活動エリア内の活動の増大が実際に外科医による手術器具の使用から生じているか、或いは、例えば画像アーチファクト又は可変的なシャドウキャスティング又はその他のかく乱に起因するかに関する判断の妥当性確認に使用できる。活動エリアが外科医の活動によって特定されると仮定できるのは、手術器具が認識された場合に限られる。これは、支援機能の開始基準の役割を果たすことかできる。支援機能に関して、例えばボックス３０６０からのマップを入力として受け取る制御アルゴリズムを使用できる。対応する技術については、例えば図４の制御アルゴリズム８３に関連して説明した。
【0142】
支援機能は、例えば活動エリアを顕微鏡の実視野の中心に置くことができる。この目的のために、例えば顕微鏡の位置調整のためにロボットアームを制御することができる。
【0143】
ボックス３０５０～３０６５は、その都度、最新の方法で支援機能を制御するために繰り返し実行できる。
【0144】
したがって、要約すれば、外科的介入中に介入領域における活動を黙示的に認識することを可能にする技術について説明した。対応する活動の意味論的な意味を抽出でき、手術器具の種類を明確に区別する必要がない。対応するマップは、活動エリアを示すことができる。すると、マップに応じて支援機能を制御できる。例えば、支援機能の１つ又は複数の動作を開始すべきか否かを決定するためのチェックを行うことかできる。
【0145】
顕微鏡画像を手術用顕微鏡によって撮影できる方法を説明した。顕微鏡画像は、異なる時点に撮影できる。
【0146】
このような顕微鏡画像に基づいて、２つの顕微鏡画像間の変化の量としてオプティカルフローを示す組合せ画像を特定することが可能となる。顕微鏡画像はまた、機械学習アルゴリズムに直接伝送することもできる。顕微鏡画像はまた、組合せ画像と融合することもできる。
【0147】
制御アルゴリズムは、支援機能を制御すために使用できる。前記アルゴリズムは、例えば１つ又は複数の所定の規則を考慮に入れることができる。規則の例は、支援機能の特定の動作が、任意選択的に特定の空間的隣接関係を満たす、２つ以上の活動エリアが認識された場合のみ実行される、というものである。
【0148】
言うまでもなく、上述の本発明の実施形態及び態様の特徴は相互に組み合わせることができる。特に、特徴は、記載されている組合せにおいてだけでなく、他の組合せにおいても、又はそれ自体でも使用でき、これも本発明の範囲から逸脱しない。
【0149】
例えば、１つ又は複数の活動エリアを示すマップが１つの介入領域について作成される技術について上で説明した。一般に、複数の介入領域に関する複数のマップを作成することが可能であり、これらは例えば、顕微鏡画像の中で相互に隣に見える。この目的のために、本明細書に記載の技術は、それぞれの場合において複数のマップの各々に適用できる。
【0150】
さらに、異なる時点に撮影された２つ以上の顕微鏡画像が使用される技術について上で説明した。基本的に、ある時間範囲内に撮影された一連の顕微鏡画像を使用することが可能であり、それらの顕微鏡画像のうちの幾つかはその時間範囲内の異なる時点で撮影され、任意選択的に、顕微鏡画像のうちの幾つかはその時間範囲内の同じ時点で撮影される。これは、時間範囲内の少なくとも幾つかの時点について、例えば異なるイメージング光学ユニットによって、又は複数のイメージングモダリティを使って複数の顕微鏡画像が撮影された結果として、冗長的な情報があり得る。マルチモードでのイメージングが可能である。このようにマルチモードで、及び／又は冗長的に撮影される顕微鏡画像は、その後、融合することができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【手続補正書】
【提出日】2023-09-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
制御装置の作動方法において、－前記制御装置が、手術用顕微鏡（８０１）によって撮影され、外科的介入の介入領域（５０）を画像化する、異なる時点で撮影された少なくとも２つの顕微鏡画像（７１、７２）に基づいて、機械学習アルゴリズム（８２）を適用して前記介入領域（５０）のマップ（７６）を取得するステップと、
－前記制御装置が、前記マップ（７６）を使用することによって前記外科的介入に関連する支援機能を制御するステップと、
を含み、
前記マップ（７６）は、前記介入領域（５０）内の、活動増大があり、前記活動増大の結果として手術器具（５１、５２）の存在の確率が増大したことに関連付けられる１つ又は複数の活動エリア（１０１、１０２、１０３）を示し、
前記支援機能は以下の要素、すなわち、前記支援機能が前記手術用顕微鏡（８０１）の位置を調整するステップ、前記支援機能が前記手術用顕微鏡（８０１）の倍率を変更するステップ、前記支援機能が前記手術用顕微鏡（８０１）のピントを調節するステップ、前記支援機能が前記手術用顕微鏡（８０１）による前記介入領域の照明を調整するステップからなる群より選択される方法。
【請求項2】
前記マップ（７６）は、手術器具（５１、５２）の種類の違いに関して非依存的であり、前記支援機能は、前記手術器具（５１、５２）の種類の違いに関して非依存的に制御される、
請求項１に記載の方法。
【請求項3】
前記マップ（７６）は、前記介入領域（５０）の複数のエリアについて、手術器具（５１、５２）の有無に関する確率値（１５２）を含み、前記１つ又は複数の活動エリア（１０１、１０２、１０３）は、前記確率値（１５２）のより高い前記エリアに位置特定される、
請求項１又は２に記載の方法。
【請求項4】
前記マップ（７６）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）のためのマスク（１５１）を含む、請求項１～３の何れか１項に記載の方法。
【請求項5】
前記マップ（７６）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）に関するコンテクスト情報を示す１つ又は複数の特徴（１１１、１１２）を含む、請求項１～４の何れか１項に記載の方法。
【請求項6】
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴（１１１）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の活動エリア群が１つ又は複数の空間的隣接関係を満たすことを示し、及び／又は前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴（１１２）は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の活動エリアの１つ又は複数の解剖学的隣接関係が満たされたことを示し、及び／又は
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の中の手術器具（５１、５２）の数を示し、及び／又は
前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴は、前記１つ又は複数の活動エリア（１０１、１０２、１０３）における動的特長を示す、
請求項５に記載の方法。
【請求項7】
さらに、－前記制御装置が、前記１つ又は複数の活動エリア（１０１、１０２、１０３）の順序を、前記１つ又は複数の活動エリア（１０１、１０２、１０３）のコンテクスト情報を含む前記１つ又は複数の特徴に基づいて特定するステップを含み、
前記支援機能は前記順序に応じて制御される、
請求項５又は６に記載の方法。
【請求項8】
前記機械学習アルゴリズム（８２）は、例えば前記少なくとも２つの顕微鏡画像（７１、７２）の組合せに基づいて特定され、オプティカルフローを符号化する組合せ画像（７５）、並びに／又は前記少なくとも２つの顕微鏡画像（７１、７２）及び／若しくは前記外科的介入のコンテクストを入力として取得する、請求項１～７の何れか１項に記載の方法。
【請求項9】
前記制御装置が、前記マップ（７６）を使用することによって前記外科的介入に関連する前記支援機能を制御するステップは、－前記制御装置が、前記マップ（７６）を入力として取得する少なくとも１つの制御アルゴリズム（８３）を適用して、前記支援機能のための制御データ（７７）を取得するステップを含む、
請求項１～８の何れか１項に記載の方法。
【請求項10】
前記制御アルゴリズム（８３）は、前記外科的介入のコンテクストを別の入力として取得し、及び／又は前記少なくとも１つの制御アルゴリズムは、前記マップ（７６）の１つ又は複数の特徴に応じて前記制御データを選択するための境界条件を規定する所定の規則群を考慮に入れる、
請求項９に記載の方法。
【請求項11】
さらに、－前記制御装置が、前記少なくとも２つの顕微鏡画像の中の手術器具の存在を物体認識アルゴリズムによって認識するステップを含み、
前記支援機能は、前記少なくとも２つの顕微鏡画像の中で手術器具の存在が認識された場合にのみ開始される、
請求項１～１０の何れか１項に記載の方法。
【請求項12】
前記物体認識アルゴリズムは、前記少なくとも２つの顕微鏡画像の中で前記手術器具の位置特定を行わない、請求項１１に記載の方法。
【請求項13】
患者への外科的介入の支援機能を制御する制御装置において、－手術用顕微鏡（８０１）によって撮影され、前記外科的介入の介入領域（５０）を画像化する、異なる時点で撮影された少なくとも２つの顕微鏡画像（７１、７２）に基づいて、機械学習アルゴリズム（８２）を適用して前記介入領域（５０）のマップ（７６）を取得するステップと、
－前記マップ（７６）を使用することによって前記外科的介入に関連する支援機能を制御するステップ
を実行するように構成され、
前記マップ（７６）は、前記介入領域（５０）内の、活動増大があり、前記活動増大の結果として手術器具（５１、５２）の存在の確率がより高いことに関連付けられる１つ又は複数の活動エリア（１０１、１０２、１０３）を示し、
前記支援機能は以下の要素、すなわち、前記支援機能が前記手術用顕微鏡（８０１）の位置を調整するステップ、前記支援機能が前記手術用顕微鏡（８０１）の倍率を変更するステップ、前記支援機能が前記手術用顕微鏡（８０１）のピントを調節するステップ、前記支援機能が前記手術用顕微鏡（８０１）による前記介入領域の照明を調整するステップからなる群より選択される制御装置。
【請求項14】
－請求項１３に記載の前記制御装置と、－前記手術用顕微鏡の位置調整をするためのアクチュエータを備える前記手術用顕微鏡（８０１）と、
を含むシステムにおいて、
前記支援機能は前記手術用顕微鏡の前記位置調整を含むシステム。
【国際調査報告】