特表 2024-515280 眼科用顕微鏡システム、対応するシステム、方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-08

(54)【発明の名称】眼科用顕微鏡システム、対応するシステム、方法およびコンピュータプログラム

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240401BHJP

   A61F 9/007 20060101ALI20240401BHJP

【ＦＩ】

A61B34/20

A61F9/007 200C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023562706

(86)(22)【出願日】2022-04-07

(85)【翻訳文提出日】2023-12-05

(86)【国際出願番号】 EP2022059245

(87)【国際公開番号】W WO2022218809

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】102021109118.7

(32)【優先日】2021-04-13

(33)【優先権主張国・地域又は機関】DE

(81)【指定国・地域】

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】アルヴィン コック

(72)【発明者】

【氏名】ガオ ヤング

(72)【発明者】

【氏名】ジェン－ドン ゼン

(72)【発明者】

【氏名】ジアハオ パン

(57)【要約】

例は、眼科用顕微鏡システム、眼科用顕微鏡システムのための対応するシステム、方法およびコンピュータプログラムに関する。システムは、１つまたは複数のプロセッサと１つまたは複数のストレージデバイスとを含んでいる。システムは、眼科用顕微鏡システムの少なくとも１つのイメージング装置から眼の術中センサデータを取得するように構成されている。システムは、機械学習モデルを用いて術中センサデータを処理するように構成されている。機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。システムは、眼の１つまたは複数の解剖学的特徴に関する情報に基づいて、眼科用顕微鏡システムのディスプレイ装置のためのディスプレイ信号を生成するように構成されている。ディスプレイ信号は、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含んでいる。

【特許請求の範囲】

【請求項1】

眼科用顕微鏡システム（１００；９００）のためのシステム（１１０；９２０）であって、
前記システムは、１つまたは複数のプロセッサ（１１４）と１つまたは複数のストレージデバイス（１１６）とを含んでおり、
前記システムは、前記眼科用顕微鏡システムの少なくとも１つのイメージング装置（１２０；１４２；１５０）から眼の術中センサデータを取得するように構成されており、
前記システムは、機械学習モデルを用いて前記術中センサデータを処理するように構成されており、前記機械学習モデルは、前記術中センサデータに基づいて、前記眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされており、
前記システムは、前記眼の前記１つまたは複数の解剖学的特徴に関する前記情報に基づいて、前記眼科用顕微鏡システムのディスプレイ装置（１３０ａ；１３０ｂ；１３０ｃ）のためのディスプレイ信号を生成するように構成されており、前記ディスプレイ信号は、前記眼の前記１つまたは複数の解剖学的特徴に関して前記眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含んでいる、
システム（１１０；９２０）。

【請求項2】

前記視覚的誘導オーバーレイは、外科的処置の間に前記眼科用顕微鏡システムのユーザーを誘導するのに適した、前記眼の前記１つまたは複数の解剖学的特徴の注釈を含んでいる、
請求項１記載のシステム。

【請求項3】

前記システムは、術中センサデータの継続的に更新されたストリームとして前記術中センサデータを取得するように構成されており、
前記システムは、術中センサデータの前記継続的に更新されたストリームに基づいて、前記視覚的誘導オーバーレイを更新するように構成されている、
請求項１または２記載のシステム。

【請求項4】

前記システムは、前記ディスプレイ信号内の前記術中センサデータの視覚的表現の上に前記視覚的誘導オーバーレイを重ね合わせるように構成されている、
請求項１から３までのいずれか１項記載のシステム。

【請求項5】

前記システムは、複数の視覚的インジケータのうちの１つまたは複数の視覚的インジケータを備える前記視覚的誘導オーバーレイを生成するように構成されており、前記複数の視覚的インジケータは、前記１つまたは複数の解剖学的特徴の少なくともサブセットのテキスト注釈、前記１つまたは複数の解剖学的特徴の１つまたは複数の表面を強調表示するためのオーバーレイ、前記１つまたは複数の解剖学的特徴の１つまたは複数の縁部を強調表示するためのオーバーレイ、１つまたは複数の方向インジケータおよび前記１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関連する１つまたは複数のインジケータのうちの１つまたは複数を含んでいる、
請求項１から４までのいずれか１項記載のシステム。

【請求項6】

前記システムは、前記複数の視覚的インジケータのサブセットの選択に基づいて、前記視覚的誘導オーバーレイを生成するように構成されており、
前記選択は、前記眼科用顕微鏡システムのユーザーの入力に基づいている、または
前記システムは、前記眼科用顕微鏡システムの助けを借りて実行される眼科外科的処置の進行に基づいて、前記選択を決定するように構成されている、
請求項５記載のシステム。

【請求項7】

前記術中センサデータは、術中光干渉断層計センサデータを含んでおり、
前記機械学習モデルは、前記術中光干渉断層計センサデータに基づいて、前記眼の１つまたは複数の層に関する情報を出力するようにトレーニングされており、
前記システムは、前記眼の前記１つまたは複数の層の少なくともサブセットを強調表示するまたは前記眼の前記１つまたは複数の層の少なくともサブセットに注釈を付ける視覚的インジケータを備える前記視覚的誘導オーバーレイを生成するように構成されている、
請求項１から６までのいずれか１項記載のシステム。

【請求項8】

前記機械学習モデルは、前記術中センサデータ内の前記１つまたは複数の解剖学的特徴の分類に関する情報を出力するようにトレーニングされており、
前記システムは、前記１つまたは複数の解剖学的特徴の前記分類に関連する視覚的インジケータを備える前記視覚的誘導オーバーレイを生成するように構成されている、
請求項１から７までのいずれか１項記載のシステム。

【請求項9】

前記機械学習モデルは、前記眼の前記１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関する情報を出力するようにトレーニングされており、
前記システムは、前記１つまたは複数の異常に関する視覚的インジケータを備える前記視覚的誘導オーバーレイを生成するように構成されている、
請求項１から８までのいずれか１項記載のシステム。

【請求項10】

前記術中センサデータは、第１のイメージング装置からの第１の術中センサデータと、第２のイメージング装置からの第２の術中センサデータと、を含んでおり、
前記システムは、前記第１の術中センサデータの第１の視覚的表現と、前記第２の術中センサデータの第２の視覚的表現と、を備える前記ディスプレイ信号を生成するように構成されており、
前記システムは、前記第１の術中センサデータに基づいて、前記機械学習モデルによって検知された異常の視覚的インジケータを、前記ディスプレイ信号内の前記第２の術中センサデータの前記第２の視覚的表現の対応する位置の上に重ね合わせるように構成されている、
請求項９記載のシステム。

【請求項11】

前記システムは、前記術中センサデータにおける１つまたは複数の手術器具の存在を検出するように構成されており、
前記システムは、検出された前記１つまたは複数の手術器具と前記１つまたは複数の解剖学的特徴との間の距離を決定するように構成されており、
前記システムは、検出された前記１つまたは複数の手術器具と前記１つまたは複数の解剖学的特徴との間の前記距離を表す視覚的インジケータを備える前記視覚的誘導オーバーレイを生成するように構成されている、
請求項１から１０までのいずれか１項記載のシステム。

【請求項12】

前記術中センサデータは、前記眼科用顕微鏡システムの術中光干渉断層計装置（１２０）の術中光干渉断層計センサデータ、前記眼科用顕微鏡システムの顕微鏡（１４０；９１０）のイメージングセンサ（１４２）の術中イメージングセンサデータおよび前記眼科用顕微鏡システムの内視鏡（１５０）の術中内視鏡センサデータのうちの１つまたは複数を含んでいる、
請求項１から１１までのいずれか１項記載のシステム。

【請求項13】

眼科用顕微鏡システム（１００；９００）であって、
少なくとも１つのイメージング装置（１２０；１４２；１５０）、ディスプレイ装置（１３０ａ；１３０ｂ；１３０ｃ）および請求項１から１２までのいずれか１項記載の前記システム（１１０；９２０）を含んでいる、
眼科用顕微鏡システム（１００；９００）。

【請求項14】

眼科用顕微鏡システム（１００；９００）のための方法であって、前記方法は、
前記眼科用顕微鏡システムの少なくとも１つのイメージング装置から眼の術中センサデータを取得するステップ（８１０）と、
機械学習モデルを用いて前記術中センサデータを処理するステップ（８２０）であって、前記機械学習モデルは、前記術中センサデータに基づいて、前記眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされているステップと、
前記眼の前記１つまたは複数の解剖学的特徴に関する情報に基づいてディスプレイ信号を生成するステップ（８３０）であって、前記ディスプレイ信号は、前記眼の前記１つまたは複数の解剖学的特徴に関して前記眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含んでいるステップと、
を含む方法。

【請求項15】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサ上で実行されるときに請求項１４記載の方法を実施するためのプログラムコードを有する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

例は、眼科用顕微鏡システム、眼科用顕微鏡システムのための対応するシステム、方法およびコンピュータプログラムに関し、より具体的には、ただし排他的ではなく、眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを生成するためのコンセプトに関する。

【背景技術】

【0002】

組織構造の視覚化は、外科用顕微鏡検査における主要な焦点である。しかし、各手術用顕微鏡システムの接眼レンズを通した、そのような組織構造の視覚化には、固有の課題があり得る。例えば、眼科用顕微鏡システムを用いて行われる白内障手術では、眼科医は、嚢、水晶体および前房構造を視覚化するのに理想的なコントラストを提供する、いわゆる赤色反射に頼ることが多い。赤色反射は、眼の水晶体と後嚢との間に必要なコントラストを提供することができ、これによって、外科医が眼内で作業している深度に関する情報が提供される。しかし、濁りが進行している白内障では、赤色反射光の透過が白内障水晶体の混濁によって遮断されることがあり、これによって、観察される赤色反射の強度が制限される。

【0003】

水晶体嚢の後面は、白内障手術の間に、前部と後部との間に障壁をもたらす。白内障手術の間の後嚢の偶発的な引裂は、水晶体の除去を複雑にし、移植水晶体の挿入を妨げ、術後の問題の発生率を高める。しかし、外科医は、特に赤色反射照明が不足している場合に、膜状コラーゲン構造の深さおよび強度の測定に苦労することがある。

【0004】

眼の後部における網膜手術は、しばしば剥離処置、例えば、黄斑円孔、黄斑すぼみ、網膜上膜、糖尿病性黄斑浮腫、網膜剥離を含む様々な硝子体網膜疾患を治療するための網膜上膜（ＥＲＭ）または内境界膜（ＩＬＭ）の剥離を伴う。どちらの網膜膜も半透明であり、厚さは数ミクロンであるため、外科医はしばしば、これらの膜を染色および視覚化するためにトリパンブルーまたはインドシアニングリーン（ＩＣＧ）等の有毒色素を用いる。

【0005】

硝子体（液体）の除去は、患者の網膜剥離の再発を予防するための別の重要なワークフローステップである。外科医はときに、眼の中の硝子体ポケットの完全な除去を保証するために、透明な硝子体の白色を染色するためにステロイドを使用する。しかし、これらのステロイドは同様に、患者にとって有毒である可能性があり、外科医はしばしば、可能な場合は、手術でのこれらのステロイドの使用を制限するか、または完全に回避することを試みる。

【0006】

後部における観察は、内部照明システムや半透明の組織特徴からの不十分なまたは弱い照明によってさらに複雑になる場合があり、その結果、眼の特徴を区別することが困難になる。

【0007】

画像認識、承認知能および機械学習は、医療分野における画像の分析、特に眼の構造を示す画像の分析にも使用され、この眼の構造が識別されてきた。しかし、そのようなシステムは、例えば眼の構造の静止画像に注釈を付けるために、静的データに対してのみ使用される。

【0008】

一部の眼内レンズ（ＩＯＬ）誘導システムは、白内障手術中に眼内レンズの正しい位置決めを可能にするために、瞳孔サイズおよび強膜血管の蛇行および厚さを識別することに限定される、多少の画像認識能力を有している。しかし、そのようなシステムは、術前の計画およびトーリックＩＯＬの位置合わせに限定されており、概して、術中に関心対象の眼の特徴を識別および追跡する機能を提供するものではない。

【発明の概要】

【発明が解決しようとする課題】

【0009】

眼科用顕微鏡システムのコンセプトを改善することが要望され得る。

【課題を解決するための手段】

【0010】

この要望は、独立請求項の主題によって対処される。

【0011】

本開示の種々の実施形態は、眼科用顕微鏡システムの少なくとも１つのイメージングセンサの術中センサデータの機械学習に基づく分析を採用して、外科的処置の間、外科医を誘導することができるという知見に基づいている。解剖学的特徴は、機械学習を用いて、例えば、解剖学的特徴を分類および位置特定するために、かつ／または解剖学的特徴に関する異常を検知するために、術中センサデータにおいて識別および追跡される。手術中に外科医を誘導するために、術中センサデータの視覚的表現内で関心対象の解剖学的特徴を強調表示するために、または解剖学的特徴に注釈を付けるために使用される視覚的オーバーレイが生成される。例えば、一部の解剖学的構造が、例えば、上述した後嚢の縁部を強調表示するためにまたは網膜における孔または角膜移植片の誤った向き等の異常に注釈を付けるために、強調表示されてもよい。実際には、提案されたコンセプトは、手術用ディスプレイ内の１つまたは複数の特徴を強調表示および追跡するためにデジタル拡張を用いた、後嚢、網膜膜または黄斑円孔等の、関心対象の眼の特徴を識別するための方法を提供する。

【0012】

本開示の種々の例は、眼科用顕微鏡システムのためのシステムに関する。システムは、１つまたは複数のプロセッサと１つまたは複数のストレージデバイスとを含む。システムは、眼科用顕微鏡システムの少なくとも１つのイメージング装置から眼の術中センサデータを取得するように構成されている。システムは、機械学習モデルを用いて術中センサデータを処理するように構成されている。機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。システムは、眼の１つまたは複数の解剖学的特徴に関する情報に基づいて、眼科用顕微鏡システムのディスプレイ装置のためのディスプレイ信号を生成するように構成されている。ディスプレイ信号は、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含む。例えば、機械学習モデルは、眼の解剖学的特徴（すなわち眼の特徴）をリアルタイムで追跡するために使用されてもよく、それに対して、視覚的誘導オーバーレイは、手術中に外科医を支援するために、少なくとも一部の解剖学的特徴に注釈を付けるまたは少なくとも一部の解剖学的特徴を強調表示するために使用されてもよい。

【0013】

概して、外科医は、眼の１つまたは複数の解剖学的特徴に注釈を付けることによって、例えば、テキスト注釈を提供することによって、解剖学的特徴を強調表示することによって、１つまたは複数の解剖学的特徴の縁部を強調表示／追跡することによって、または１つまたは複数の解剖学的特徴に関して異常を強調表示することによって、誘導され得る。したがって、視覚的誘導オーバーレイは、外科的処置の間に眼科用顕微鏡システムのユーザーを誘導するのに適した、眼の１つまたは複数の解剖学的特徴の注釈を含んでいてもよい。

【0014】

眼科手術中、外科医の操作によって、眼の状態は継続的に変化する。したがって、術中センサデータが更新され、継続的に処理されてもよく、それに応じて視覚的誘導オーバーレイが更新されてもよい。換言すれば、システムは、術中センサデータの継続的に更新されたストリームとして術中センサデータを取得するように構成されていてもよい。システムは、術中センサデータの継続的に更新されたストリームに基づいて、視覚的誘導オーバーレイを更新するように構成されていてもよい。

【0015】

視覚的誘導オーバーレイは、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するために使用される。したがって、視覚的誘導オーバーレイは、術中センサデータの上に、またはむしろ、術中センサデータの視覚的表現の上に重ね合わせられてもよい。換言すれば、システムは、ディスプレイ信号内の術中センサデータの視覚的表現の上に視覚的誘導オーバーレイを重ね合わせるように構成されていてもよい。

【0016】

上述のように、１つまたは複数の解剖学的特徴に、視覚的誘導オーバーレイ内で注釈が付けられていてもよい。システムは、複数の視覚的インジケータのうちの１つまたは複数の視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、複数の視覚的インジケータは、１つまたは複数の解剖学的特徴の少なくともサブセットのテキスト注釈、１つまたは複数の解剖学的特徴の１つまたは複数の表面を強調表示するためのオーバーレイ、１つまたは複数の解剖学的特徴の１つまたは複数の縁部を強調表示するためのオーバーレイ、１つまたは複数の方向インジケータおよび１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関連する１つまたは複数のインジケータのうちの１つまたは複数を含む。例えば、テキスト注釈は、１つまたは複数の解剖学的特徴にラベルを付けるために、１つまたは複数の解剖学的特徴に関する異常を記述するために、または後続のタスクを記述するために、外科的処置の間に使用されてもよい。例えば、解剖学的特徴の表面または縁部を強調表示するためのオーバーレイは、外科医による術中センサデータの視覚的表現における解剖学的特徴の区別を支援することができる。方向オペレータは、実行されるべきさらなる操作の場所に向かって外科医を誘導することができる。同様に、異常に関連するインジケータは、異常を外科医に警告するため、かつ実行されるべきさらなる操作の場所に向かって外科医を誘導するために使用されてもよい。

【0017】

しかし、異なる外科的処置または外科的処置の異なる段階では、異なる解剖学的特徴が外科医にとって関心対象になり得る。したがって、解剖学的特徴のサブセットのみが視覚的誘導オーバーレイのために考慮される可能性がある。換言すれば、システムは、複数の視覚的インジケータのサブセットの選択に基づいて、視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、選択は、眼科用顕微鏡システムのユーザーの入力に基づいていてもよい。換言すれば、ユーザー、例えば外科医は、視覚的誘導オーバーレイに対して、解剖学的特徴を選択してもよい、または解剖学的特徴のカテゴリを選択してもよい。付加的または択一的に、システムは、眼科用顕微鏡システムの助けを借りて実行される眼科外科的処置の進行に基づいて、この選択を決定するように構成されていてもよい。換言すれば、外科的処置の進行を追跡し、外科的処置の進行に基づいて考慮される１つまたは複数の解剖学的特徴を調整するために、自動化されたシステムが使用されてもよく、これは、外科医が外科的処置に集中することができるよう、外科医に対するオーバーヘッドを軽減することができる。

【0018】

眼科処置中の主な手段は光干渉断層計（ＯＣＴ）であり、これは、１つまたは複数の走査線における眼の層の深さプロファイルを取得するために用いられる。例えば、術中センサデータは、術中光干渉断層計センサデータを含んでいてもよい。機械学習モデルが、術中光干渉断層計センサデータに基づいて、眼の１つまたは複数の層に関する情報を出力するようにトレーニングされてもよい。システムは、眼の１つまたは複数の層の少なくともサブセットを強調表示するまたは眼の１つまたは複数の層の少なくともサブセットに注釈を付ける視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、眼の層は、術中イメージングセンサデータを介して視覚的に区別することが難しい場合があるので、ＯＣＴが、手術中に深さ方向で外科医を誘導するために使用される。術中ＯＣＴセンサデータに示されている特徴に注釈を付けること／特徴を強調表示することによって、このナビゲーションを容易にすることができ、外科医に、異常を気付かせることができる。

【0019】

いくつかの例では機械学習モデルは、術中センサデータ内の１つまたは複数の解剖学的特徴の分類に関する情報を出力するようにトレーニングされている。システムは、１つまたは複数の解剖学的特徴の分類に関連する視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、これは、外科医による術中センサデータの視覚的表現における解剖学的特徴の区別を支援するために使用されてもよい。

【0020】

上述のように、提案されたコンセプトを使用して、異常を検知し、強調表示することができる。したがって、機械学習モデルは、眼の１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関する情報を出力するようにトレーニングされてもよい。システムは、１つまたは複数の異常に関する視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、異常が検知されたときに警告メッセージが示されてもよい。換言すれば、システムは、ディスプレイ信号内の１つまたは複数の異常に関する警報を含むように、または眼科用顕微鏡システムの出力装置を介して警報を出力するように構成されていてもよい。付加的または択一的に、異常の位置が、術中センサデータの視覚的表現において強調表示されてもよい、または異常が、外科医によって実行されるタスクのリストに追加されてもよい。

【0021】

いくつかの例では、システムは複数のイメージング装置を含んでいてもよく、例えば眼科用顕微鏡システムの顕微鏡のイメージングセンサおよび上述のＯＣＴシステム等を含んでいてもよい。多くのケースでは、複数のイメージング装置のうちの１つのイメージング装置の術中センサデータが、所与の解剖学的特徴を検出するのにより適している場合がある。例えば、術中ＯＣＴセンサデータは、特に、眼の層を検出して区別するのに特に適している。例えば、術中ＯＣＴセンサデータにおける眼の複数の層のうちの１つの層に関して異常が検知された場合には、この異常は、術中ＯＣＴセンサデータの視覚的表現において強調表示される可能性があるだけでなく、顕微鏡のイメージングセンサの術中センサデータの視覚的表現の対応する位置においても（または顕微鏡のイメージングセンサの術中センサデータの視覚的表現の対応する位置においてのみ）強調表示される可能性がある。より一般的な言い方で言うと、術中センサデータは、第１のイメージング装置からの第１の術中センサデータと、第２のイメージング装置からの第２の術中センサデータと、を含んでいてもよい。システムは、第１の術中センサデータの第１の視覚的表現と、第２の術中センサデータの第２の視覚的表現と、を備えるディスプレイ信号を生成するように構成されていてもよい。システムは、第１の術中センサデータに基づいて、機械学習モデルによって検知された異常の視覚的インジケータを、ディスプレイ信号内の第２の術中センサデータの第２の視覚的表現の対応する位置の上に重ね合わせるように構成されていてもよい。例えば、対応している（例えば、同じ形状、色および／または線スタイルを有している）視覚的インジケータが、両方の視覚的表現の上に重ね合わせられてもよく、これによって、外科医がこれらの視覚的インジケータ間の対応を認識することができる。

【0022】

外科医を誘導して手術を容易にするために使用され得る別の態様は、１つまたは複数の解剖学的特徴に対して相対的な手術器具の追跡である。例えば、手術器具と解剖学的特徴との間の距離を追跡することができ、これによって外科医は、望ましくない切開を生じさせることなく、解剖学的特徴の縁部に近接して操作を行うことができる。したがって、システムは、術中センサデータにおける１つまたは複数の手術器具の存在を検出するように構成されていてもよい。システムは、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離を決定するように構成されていてもよい。システムは、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離を表す視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。

【0023】

上述の記載で概略を述べたように、提案されたコンセプトによって異なる種類の術中センサデータを処理することができる。例えば、術中センサデータは、眼科用顕微鏡システムの術中光干渉断層計装置の術中光干渉断層計センサデータ、眼科用顕微鏡システムの顕微鏡のイメージングセンサの術中イメージングセンサデータおよび眼科用顕微鏡システムの内視鏡の術中内視鏡センサデータのうちの１つまたは複数を含んでいてもよい。例えば、異なる種類の術中センサデータは、異なる種類の解剖学的特徴を検出するために特に適している。

【0024】

生成されたディスプレイ信号は、眼科用顕微鏡システムのディスプレイ装置を介して出力されてもよい。例えば、システムは、ディスプレイ信号を眼科用顕微鏡システムのディスプレイ装置に提供するように構成されていてもよい。例えば、ディスプレイ装置は、ヘッドアップディスプレイ、頭部に取り付けられるディスプレイ、眼科用顕微鏡システムの顕微鏡に取り付けられるディスプレイおよび眼科用顕微鏡システムの顕微鏡の接眼ディスプレイのうちの１つであってもよい。

【0025】

本開示の種々の態様は、少なくとも１つのイメージング装置、ディスプレイ装置および上記で提示されたシステムを含んでいる、対応する眼科用顕微鏡システムに関する。例えば、少なくとも１つのイメージング装置は、術中光干渉断層計装置、顕微鏡のイメージングセンサおよび内視鏡のうちの少なくとも１つを含んでいてもよい。例えば、異なるイメージング装置の術中センサデータは、異なる種類の解剖学的特徴の検出に特に適していてもよい。

【0026】

本開示の種々の態様は、眼科用顕微鏡システムのための対応する方法に関する。この方法は、眼科用顕微鏡システムの少なくとも１つのイメージング装置から眼の術中センサデータを取得することを含む。この方法は、機械学習モデルを用いて術中センサデータを処理することを含む。機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。この方法は、眼の１つまたは複数の解剖学的特徴に関する情報に基づいてディスプレイ信号を生成することを含む。ディスプレイ信号は、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含む。

【0027】

本開示の種々の態様は、コンピュータプログラムがプロセッサ上で実行されるときに上述の方法を実施するためのプログラムコードを有する対応するコンピュータプログラムに関する。

【0028】

以降では、装置および／または方法のいくつかの例を、単なる例として、添付の図面を参照して説明する。

【図面の簡単な説明】

【0029】

【図1a】眼科用顕微鏡システムのためのシステムの例のブロック図を示す図である。

【図1b】眼科用顕微鏡システムの構成要素の文脈における眼科用顕微鏡システムのためのシステムの例の概略図を示す図である。

【図1c】眼科用顕微鏡システムの例の概略図を示す図である。

【図2a】カメラセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴の注釈の例の概略図を示す図である。

【図2b】カメラセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴の注釈の例の概略図を示す図である。

【図3a】ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴のテキスト注釈の例の概略図を示す図である。

【図3b】ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴のグラフィカル注釈の例の概略図を示す図である。

【図3c】並べて示されたカメラセンサデータの視覚的表現の例とＯＣＴセンサデータの視覚的表現の例との概略図を示す図である。

【図4a】眼の複数の層のテキスト注釈およびグラフィカル注釈の例の概略図を示す図である。

【図4b】ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、眼の複数の層のグラフィカル注釈の例の概略図を示す図である。

【図5a】後嚢破裂を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図5b】後嚢破裂を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図6a】カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、網膜の孔を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図6b】カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、角膜移植片における異常を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図6c】カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、開いている切開創を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図7】器具の先端と解剖学的特徴との間の相対的な距離を強調表示するグラフィカル注釈の例の概略図を示す図である。

【図8】眼科用顕微鏡システムのための方法の例のフローチャートを示す図である。

【図9】顕微鏡およびコンピュータシステムを含んでいるシステムの概略図を示す図である。

【発明を実施するための形態】

【0030】

次に、いくつかの例が示されている添付の図面を参照して、様々な例をより完全に説明する。図中、線、層および／または領域の厚さは、見やすくするために誇張されていることがある。

【0031】

図１ａは、（図１ｃに示されている）眼科用顕微鏡システムのためのシステム１１０の例のブロック図を示す。任意選択で、システムはインタフェース１１２を含む。システム１１０は、１つまたは複数のプロセッサ１１４と１つまたは複数のストレージデバイス１１６とを含む。任意選択で、システムはインタフェース１１２を含む。１つまたは複数のプロセッサは、１つまたは複数のストレージデバイスおよび任意選択のインタフェースに接続されている。概して、システムの機能は、１つまたは複数のプロセッサによって、例えば、（情報を交換するための）任意選択のインタフェースおよび／または（データを保存するための）１つまたは複数のストレージデバイスと共に提供される。

【0032】

システムは、例えば、インタフェース１１２を介して、眼科用顕微鏡システムの（図１ｂおよび／または図１ｃに示されているような）少なくとも１つのイメージング装置１２０；１４２；１５０から眼の術中センサデータを取得するように構成されている。システムは、機械学習モデルを用いて術中センサデータを処理するように構成されている。機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。システムは、眼の１つまたは複数の解剖学的特徴に関する情報に基づいて、眼科用顕微鏡システムの（図１ｂおよび／または図１ｃに示されているような）ディスプレイ装置１３０；１３０ａ；１３０ｂ；１３０ｃのためのディスプレイ信号を生成するように構成されている。ディスプレイ信号は、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含む。

【0033】

図１ａには、システム１１０が単独で示されている。しかし、システム１１０は、図１ｂに示されているように、眼科用顕微鏡システムの１つまたは複数の任意選択的な構成要素に接続されていてもよい。図１ｂは、眼科用顕微鏡システムの構成要素の文脈における、眼科用顕微鏡システムのためのシステムの例の概略図を示す。例えば、図１ｂに示されているように、システム１１０は、術中光干渉断層計（術中ＯＣＴまたはｉＯＣＴ）装置１２０、顕微鏡のイメージングセンサ１４２および眼科用顕微鏡システムの内視鏡１５０等の、眼科用顕微鏡システムの少なくとも１つのイメージング装置に接続されていてもよい。例えば、イメージングセンサ１４２が顕微鏡（１４０、図１ｃに示されているような）内に組み込まれてもよく、他方でＯＣＴ装置１２０および内視鏡は直接的に眼１６０において、または眼１６０の中において使用される。

【0034】

図１ｃは、眼科用顕微鏡システム１００の例の概略図を示す。眼科用顕微鏡システムは、少なくとも１つのイメージング装置、例えばＯＣＴ装置１２０、顕微鏡１４０のイメージングセンサ１４２、または内視鏡１５０、ディスプレイ装置１３０ａ；１３０ｂ；１３０ｃおよびシステム１１０を備える。図１ｃには、３つの潜在的なディスプレイ装置、すなわち、ヘッドアップディスプレイ１３０ａ、顕微鏡１４０の接眼ディスプレイ１３０ｂおよび顕微鏡（または顕微鏡の保持構造）に取り付けられるディスプレイ１３０ｃが示されている。名前が示すように、眼科用顕微鏡システムは、顕微鏡１４０をさらに含む。

【0035】

概して、図１ｃに示された顕微鏡１４０等の顕微鏡は、人間が目視（単独）で検査するには小さすぎる可能性があるオブジェクトを検査するのに適した光学器具である。例えば、顕微鏡は、サンプルの光学的拡大を提供することができる。現代の顕微鏡では、光学的拡大は、カメラまたは顕微鏡１４０のイメージングセンサ１４２等のイメージングセンサのために提供されることが多い。換言すれば、顕微鏡１４０は、デジタル顕微鏡または光学－デジタル複合顕微鏡であってもよい。択一的に、純粋に光学的なアプローチを取ることができる。顕微鏡１４０は、対物レンズ（すなわちレンズ）等の、サンプル上のビューを拡大するために使用される１つまたは複数の光学的拡大構成要素をさらに含んでいてもよい。本出願の文脈では、用語「眼科用顕微鏡システム」は、実際の顕微鏡（光学構成要素を含み、したがって「オプティクスキャリア」とも表される）の一部ではないが、システム１１０、ＯＣＴ装置１２０、ディスプレイ１３０ａから１３０ｃまたは内視鏡１５０のような、顕微鏡に付随して使用される、システムの部分を包含するために使用される。

【0036】

図１ｃに示された顕微鏡システムは、眼科手術、すなわち眼の手術の間に使用するための手術用顕微鏡システムである眼科用顕微鏡システムである。図１ｃに示された眼科用顕微鏡システム１００は、多数の任意選択的な構成要素を含み、例えば（回転式の）スタンドを有する（システム１１０を含んでいる）ベースユニット１０５、および顕微鏡１４０を所定の位置に保持し、ベースユニット１０５および顕微鏡１４０に結合されている（ロボットまたは手動）アーム１７０を含む。本開示は、眼の手術において使用するための眼科用（手術用）顕微鏡および眼科用顕微鏡システムに関するものであるので、サンプルは、顕微鏡を通して観察され、患者の眼１６０または少なくとも眼の一部である。

【0037】

本開示の種々の例は、例えば、眼の１つまたは複数の解剖学的特徴に関して、眼の１つまたは複数の解剖学的特徴に注釈を付けることによって、眼科用顕微鏡システムのユーザー、例えば外科医を誘導するための視覚的誘導オーバーレイを生成するために使用される。その結果、この視覚的誘導オーバーレイは、少なくとも１つのイメージングセンサの術中センサデータの機械学習に基づいた分析に基づく。したがって、システムは、眼科用顕微鏡システムの少なくとも１つのイメージング装置１２０；１４２；１５０から眼の術中センサデータを取得するように構成されている。例えば、システムは、インタフェース１１２を介して術中センサデータを受け取るように構成されていてもよく、すなわち、少なくとも１つのイメージング装置は、術中センサデータをシステムに能動的に提供するように構成されていてもよい。択一的に、システムは、少なくとも１つのイメージング装置から、またはシステムの外部にあり、かつ少なくとも１つのイメージングセンサ装置の外部にあるメモリから、術中センサデータを読み出すように構成されていてもよい。

【0038】

概して、提案されたシステムは、手術中に使用されるように設計されており、したがって「術中」センサデータの使用に合わせて設計されている。したがって、術中センサデータは、外科的処置の間に生成されたセンサデータであり得る。例えば、術中センサデータは、例えば、外科的処置の準備中など、外科的処置の開始前に収集されたセンサデータではなく、例えば、最初の切開が行われた後に収集されたセンサデータである可能性がある。種々の例では、術中センサデータは継続的に更新され、外科的処置の進行に応じて、術中センサデータは外科的処置の進行を記録する。したがって、術中センサデータを継続的に新たに取得する、例えば、受け取るまたは読み出すこともでき、これによって、視覚的誘導オーバーレイを、最新の術中センサデータに基づいて継続的に再生成することができる。その結果、システムが、術中センサデータを、術中センサデータの継続的に更新されたストリームとして取得するように構成されていてもよい。したがって、以降でより詳細に述べられるように、システムは、術中センサデータの継続的に更新されたストリームに基づいて、視覚的誘導オーバーレイを更新するように構成されていてもよい。実際には、術中センサデータとその上に生成される視覚的誘導オーバーレイとは、（ほぼ）リアルタイムで（例えば、最大で５００ｍｓの遅延を伴って）観察される眼を表すことができる。

【0039】

上述のように、眼科用顕微鏡システムは、ｉＯＣＴ装置１２０、イメージングセンサ１４２または内視鏡１５０等の種々のイメージング装置を含んでいてもよい。術中センサデータは、眼科用顕微鏡システムの術中光干渉断層計装置１２０の術中光干渉断層計センサデータ、眼科用顕微鏡システムの顕微鏡１４０のイメージングセンサ１４２の術中イメージングセンサデータおよび眼科用顕微鏡システムの内視鏡１５０の術中内視鏡センサデータのうちの１つまたは複数を、対応して含んでいてもよい。いくつかのケースでは、術中センサデータは、例えば２つ以上のイメージングセンサからの術中センサデータの２つ以上のセットを含んでいてもよい。

【0040】

術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を決定するために、機械学習を用いて術中センサデータが処理される。したがって、方法は、カメラ（顕微鏡システムのイメージングセンサ等）、術中光干渉断層計（ｉＯＣＴ）システム、または他のイメージング装備品によって提供可能な、術中センサデータに基づく画像認識を用いて、解剖学的（組織）特徴を認識し、デジタル追跡するために設けられている。機械学習モデルをトレーニングするために使用可能な画像およびビデオデータセットのライブラリから参照することによって、機械学習（ＭＬ）および特に深層学習（ＤＬ）に基づくソフトウェアは、解剖学的または病理学的特徴を識別、位置特定および定量化することができてもよく、これは例えば、角膜、虹彩、前房角、後嚢の区別等である。手術用カメラ、ｉＯＣＴまたは他の形態のイメージング装備品からの術中ビデオから、ソフトウェアは、目下観察されている特徴について、リアルタイムで推論を行うことに適していてよい。したがって、提案されたコンセプトは、後嚢、網膜膜または黄斑円孔等の関心対象の眼の特徴を識別し、手術用ディスプレイにおいて、この特徴を強調表示および追跡するためにデジタル拡張を使用する方法を提供する。換言すれば、種々の例は、組織特徴のデジタルの視覚タグ付けを実行することができる。

【0041】

機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論、されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0042】

本開示の文脈では、機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。換言すれば、術中センサデータは機械学習モデルの入力側に提供され、眼の１つまたは複数の解剖学的特徴に関する情報は機械学習モデルの出力側で提供される。したがって、機械学習モデルは、術中センサデータを１つまたは複数の解剖学的特徴に関する情報に変換する。この変換を実行するために、機械学習モデルは、トレーニングデータでトレーニングされる。

【0043】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。

【0044】

提案されたコンセプトでは、機械学習モデルは、１つまたは複数の解剖学的特徴の特性を導出および出力する目的で、１つまたは複数の解剖学的特徴を表す術中センサデータを処理するようにトレーニングされている。例えば、１つまたは複数の解剖学的特徴は、眼の少なくとも１つの層、眼の少なくとも１つの組織構造、少なくとも１つの移植片および少なくとも１つの病理学的特徴のうちの１つまたは複数を含んでいてもよい。概して、機械学習モデルによって提供され得る１つまたは複数の解剖学的特徴に関する情報の（少なくとも）４つの一般的なカテゴリが存在し、これらのカテゴリは、１つまたは複数の解剖学的特徴の同一性または分類、１つまたは複数の解剖学的特徴の位置、１つまたは複数の解剖学的特徴の定量化および１つまたは複数の解剖学的特徴の中の異常である。

【0045】

機械学習モデルによる１つまたは複数の解剖学的特徴の分析を容易にするまたは可能にするために、機械学習モデルは、術中センサデータ内で１つまたは複数の解剖学的特徴を検出してセグメント化するようにトレーニングされてもよい。換言すれば、術中センサデータ内で個々の解剖学的特徴を区別する目的で、１つまたは複数の解剖学的特徴のセグメント化を行うように機械学習モデルがトレーニングされてもよい。例えば、教師あり学習は、トレーニング入力データとして、上述のセンサからのセンサデータのサンプルを使用し、所望の出力として、このサンプルの手動でセグメント化されたバージョンを使用して、セグメント化を実行するように機械学習モデルをトレーニングするために使用されてもよい。セグメント化された解剖学的特徴は、続いて、機械学習モデルによって別々に（または同時に）処理されてもよい。いくつかの例では機械学習モデルは、２つ以上のサブモデルを含んでいてもよく、すなわち、１つまたは複数の解剖学的特徴を分離するために、画像セグメント化を実行する第１のサブモデルと、セグメント化された解剖学的特徴のさらなる分析を実行する１つまたは複数の第２のサブモデルと、を含んでいてもよい。

【0046】

例えば、機械学習モデルは、１つまたは複数の解剖学的特徴の同一性を決定するようにトレーニングされてもよい。機械学習では、このタスクは「分類」タスクと表される。換言すれば、機械学習モデルは、１つまたは複数の解剖学的特徴を分類するように、すなわち術中センサデータ内の１つまたは複数の解剖学的特徴の分類に関する情報を出力するようにトレーニングされてもよい。上述の記載で概略を述べたように、教師あり学習を使用して、分類を実行するための機械学習モデルをトレーニングすることができる。例えば、解剖学的特徴を表すトレーニングサンプルがトレーニング入力として提供されてもよく、トレーニングサンプルにおいて表される解剖学的特徴の分類に関する情報が、機械学習モデルのトレーニングの所望の出力として提供されてもよい。実際には、術中センサデータに対して特徴認識が行われており、後嚢、網膜膜または黄斑円孔のような関心対象の眼の特徴を識別するための方法が提供される。上で示唆したように、機械学習モデルまたは機械学習モデルの第２のサブモデルの１つは、１つまたは複数の解剖学的特徴のセグメント化に基づいて、各解剖学的特徴を別個に処理するようにトレーニングされてもよい。

【0047】

種々の例では、１つまたは複数の解剖学的特徴の位置および／または範囲は、機械学習モデルによって出力される。例えば、１つまたは複数の解剖学的特徴の位置および／または範囲が、１つまたは複数の解剖学的特徴のセグメント化に基づいて出力されてもよい。換言すれば、機械学習モデルは、セグメント化の結果として、１つまたは複数の解剖学的特徴の位置および／または範囲を表す１つまたは複数の点を出力するようにトレーニングされてもよい。同様に、１つまたは複数の解剖学的特徴の定量化が、１つまたは複数の解剖学的特徴のセグメント化に基づいて、例えば、セグメント化された各解剖学的特徴の数および／またはサイズを決定するために使用されてもよい後処理タスク中に行われてもよい。

【0048】

上述のように、いくつかの例では、術中センサデータは、術中光干渉断層計センサデータを含む。光干渉断層計はしばしば、眼の層を走査するために使用され、眼の層の深さ分析を提供する。これらの層は、術中ＯＣＴセンサデータによって表され、機械学習モデルによってセグメント化および識別され得る。その結果、機械学習モデルは、術中光干渉断層計センサデータに基づいて、眼の１つまたは複数の層に関する情報を出力するようにトレーニングされてもよい。異なる種類の術中センサデータの処理を容易にするために、術中センサデータが、機械学習モデルに画像データとして入力されてもよい。例えば、術中ＯＣＴセンサデータは画像データに変換され、画像データとして機械学習モデルに提供されてもよい。

【0049】

この文脈において、眼の各層が、眼の別個の解剖学的特徴とみなされてもよい。その結果、上述の記載で概略を述べたように、機械学習モデルは、眼の１つまたは複数の解剖学的特徴に対応する１つまたは複数の層の分類に関する情報を出力するようにトレーニングされてもよい。同様に、機械学習モデルが、眼の１つまたは複数の解剖学的特徴に対応する１つまたは複数の層に対応する１つまたは複数の層の位置および／または範囲を表す１つまたは複数の点を出力するようにトレーニングされてもよい。

【0050】

いくつかの例では、機械学習モデルはさらに、異常検知のために使用される。換言すれば、機械学習モデルは、眼の１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関する情報を出力するようにトレーニングされてもよい。この文脈において、異常検知は、２つの種類の異常、すなわち外科的処置の一部として扱われる解剖学的特徴に関する異常、例えば、図６ａに関連して示された網膜内の孔、または図６ｂに関連して示された誤って配向された角膜移植片、および図６ｃに示されたような、切開創等の外科的処置の望ましくないまたは必要とされる副産物である解剖学的特徴に関する異常のうちの少なくとも１つの種類の異常を識別するために使用されてもよい。この場合も、教師あり学習を使用して、眼の１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関する情報を出力するように機械学習モデルをトレーニングすることができる。例えば、異常を表すセンサデータのサンプルがトレーニングサンプルとして使用されてもよく、異常の位置および／または異常の分類が、機械学習モデルのトレーニングのための所望の出力として使用されてもよい。その結果、１つまたは複数の異常に関する情報が、１つまたは複数の異常の位置および／または分類に関する情報を含んでいてもよい。例えば、１つまたは複数の第２のサブモデルのうちの１つの第２のサブモデルが、セグメント化された解剖学的特徴に対して別個に異常検知を実行するようにトレーニングされてもよい。

【0051】

概して、機械学習モデルが、様々な異なる種類の解剖学的特徴の分類、位置特定、定量化または異常検知を実行するために使用されてもよい。しかし、多くのケースでは、解剖学的特徴のサブセットのみがユーザー、例えば外科医にとって関心対象であり得る。ユーザーは、ソフトウェアが全ての組織特徴を自動的に検出できるようにする、または識別されるべき、関心対象の特徴を手動で選択できるようにすることができる。特徴のサブセットだけが関心対象である場合、機械学習モデルの出力は、関心対象の解剖学的特徴（のみ）を含むようにフィルタリングされてもよい、または別の入力が機械学習モデルに提供されてもよく、これはその機械学習モデルにとって関心対象である特徴を示す。この入力は、機械学習モデルのトレーニングにおいて考慮されてもよい。

【0052】

機械学習モデルのトレーニングが、眼科用顕微鏡システムおよび対応するシステム、方法、ならびにコンピュータプログラムの文脈において説明されたが、機械学習モデルがシステムにロードされ、術中センサデータを処理するために使用される前に、機械学習モデルのトレーニングが終了する場合がある。換言すれば、機械学習モデルは、眼科用顕微鏡システムの外部にある存在物によってトレーニングされる事前トレーニング済みの機械学習モデルであってもよい。

【0053】

機械学習モデルの出力は、視覚的誘導オーバーレイと共にディスプレイ信号を生成するために使用される。換言すれば、システムは、眼の１つまたは複数の解剖学的特徴に関する情報に基づいて、眼科用顕微鏡システムのディスプレイ装置のためのディスプレイ信号を生成するように構成されている。概して、ディスプレイ信号は、ディスプレイを駆動（例えば制御）するための信号であってもよい。例えば、ディスプレイ信号が、ビデオデータおよび／またはディスプレイを駆動するための制御命令を含んでいてもよい。例えば、ディスプレイ信号は、システムの１つまたは複数のインタフェース１１２のうちの１つのインタフェースを介して提供されてもよい。したがって、システム１１０は、ビデオ信号をタッチスクリーンのディスプレイに提供するのに適したビデオインタフェース１１２を含んでいてもよい。

【0054】

ディスプレイ信号は、視覚的誘導オーバーレイを含む。名前が示すように、視覚的誘導オーバーレイは、ディスプレイ信号の１つまたは複数の他の視覚的な構成要素の上に重ね合わせられてもよい。例えば、ディスプレイ信号は、術中センサデータの視覚的表現をさらに含んでいてもよい。換言すれば、システムは、ディスプレイ信号内の術中センサデータの視覚的表現の上に視覚的誘導オーバーレイを重ね合わせるように構成されていてもよい。さらに、視覚的誘導オーバーレイの、視覚的インジケータ等の１つまたは複数の要素の位置が、術中センサデータの対応する部分と一致していてもよい。

【0055】

システムは、ディスプレイ信号の一部として視覚的誘導オーバーレイを生成するように構成されており、視覚的誘導オーバーレイは、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するのに適している。これは、１つまたは複数の解剖学的特徴に関して術中センサデータに注釈を付けることによって行われてもよく、視覚的誘導オーバーレイは術中センサデータの注釈を含んでいる。換言すれば、視覚的誘導オーバーレイは、外科的処置中に眼科用顕微鏡システムのユーザーを誘導するのに適した、眼の１つまたは複数の解剖学的特徴の注釈を含んでいてもよい。例えば、手術用ディスプレイにおいて解剖学的特徴を強調表示および追跡するためにデジタル拡張を使用することができる。

【0056】

例えば、注釈付けが、１つまたは複数の視覚的インジケータを視覚的誘導オーバーレイに含めることによって実行されてもよい。換言すれば、システムは、複数の視覚的インジケータのうちの１つまたは複数のインジケータを有する視覚的誘導オーバーレイを生成するように構成されていてもよい。１つまたは複数の視覚的インジケータは、１つまたは複数の解剖学的特徴に注釈を付けるために使用されてもよい。したがって、例えば、視覚的誘導オーバーレイにおける視覚的インジケータの位置が術中センサデータの表現に示された対応する解剖学的特徴の位置と一致するように、１つまたは複数の視覚的インジケータが、ディスプレイ信号における１つまたは複数の解剖学的特徴の上に重ね合わせられてもよい。このようなアプローチは、種々の種類の視覚的インジケータに適用可能である。例えば、複数の視覚的インジケータは、１つまたは複数の解剖学的特徴の１つまたは複数の表面を強調表示するためのオーバーレイ、１つまたは複数の解剖学的特徴の１つまたは複数の縁部を強調表示するためのオーバーレイ、１つまたは複数の方向インジケータおよび１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関連する１つまたは複数のインジケータのうちの１つまたは複数を含んでいてもよい。これらの種類の視覚的インジケータは、術中センサデータの視覚的表現に示された対応する解剖学的特徴の上に直接的に重ね合わせられてもよい。いくつかの例では、複数の視覚的インジケータは、１つまたは複数の解剖学的特徴の少なくともサブセットのテキスト注釈を含んでいてもよい。図２ａ、図２ｂ、図３ａおよび図４ａに示されているように、そのようなテキスト注釈は、例えば視覚的な要素によってリンク付けされている術中センサデータの視覚的表現に示されている各解剖学的特徴の近くに重ね合わせられて示されていてもよい、またはディスプレイ信号の一部であるユーザーインタフェースの一部として一般的な情報として示されていてもよい。

【0057】

上述のように、術中センサデータを外科的処置の間に継続的に更新することができる。これに対応して、システムは、術中センサデータの継続的に更新されたストリームに基づいて、視覚的誘導オーバーレイを更新するように構成されていてもよい。例えば、システムは、術中センサデータの継続的に更新されたストリームに基づいて、視覚的誘導オーバーレイを周期的に再生成するように構成されていてもよい。例えば、術中センサデータの継続的に更新されたストリームは、術中センサデータの一連のサンプルを含んでいてもよい。システムは、機械学習モデルを用いて（例えば、ｎ番目のサンプルごとに、または事前に定められた頻度に従って）、この一連のサンプルのうちのサンプルの少なくともサブセットを処理し、機械学習モデルの最新の出力に基づいて視覚的誘導表示を再生成するように構成されていてもよい。

【0058】

以降では、外科的処置の間に外科医を誘導する視覚的インジケータの使用を説明するいくつかの例が提供される。

【0059】

機械学習モデルに関して概説したように、機械学習モデルは、術中センサデータ内の１つまたは複数の解剖学的特徴の分類に関する情報を出力するようにトレーニングされてもよい。この分類は、各解剖学的特徴のテキスト注釈またはグラフィカル注釈を提供するために、視覚的誘導オーバーレイに入力するために使用されてもよい。換言すれば、システムは、１つまたは複数の解剖学的特徴の分類に関連する視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。分類に関連するそのような視覚的インジケータの例は、図２ａから図４ｂに示されている。

【0060】

図２ａおよび図２ｂは、カメラセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴の注釈の例の概略図を示している。図２ａおよび図２ｂにおいて、ソフトウェアは、後部および前部における病理学的特徴を識別、位置特定および定量化するために使用される。手術用カメラ、ｉＯＣＴまたは他の形態のイメージング装備品からの術中ビデオから、ソフトウェアは、目下観察されている特徴について、リアルタイムで推論を行うことができる。例えば、図２ａには、眼のカメラ画像において可視の解剖学的特徴の注釈が示されている。図２ａでは、以降の数字によって表されるように、テキスト注釈をカメラ画像の上に重ね合わせることができる。例えば、図２ａは、収縮溝２０１、瞳孔２０２、コラレット２０３、陰窩２０４、毛様体領域２０５、瞳孔領域２０６および放射状溝２０７の注釈を示す。図２ｂでは、解剖学的特徴、ならびに特に出血および動脈瘤のような解剖学的特徴に関する異常に、テキスト注釈として注釈が付けられている。図２ｂは、軟性白斑２１１、出血２１２、微小動脈瘤２１３、血管構造２１４、硬性白斑２１５、視神経乳頭２１６、微小出血２１７および黄斑２１８の注釈を示す。

【0061】

カメラ、ｉＯＣＴまたは他のイメージング装備品の両方からの入力の組み合わせを使用して、ソフトウェアは、構造のサイズおよび深さのような、解剖学的詳細の解釈を行うことができる。提案されたコンセプトの適用例は、白内障手術中の後嚢の検出に関し、これによって外科医のワークフローの誘導が支援されて、ハイドロダイセクション、水晶体超音波乳化およびレンズの配置を実行する際の嚢の偶発的な引裂および破裂が防止される。後嚢のこの検出を、ＯＣＴセンサデータに基づいて実行することができ、このセンサデータを、眼の異なる層を区別するために用いることができる。したがって、システムは、眼の１つまたは複数の層の少なくともサブセットの強調表示または注釈付けを行う視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。実際には、術中ＯＣＴセンサデータに基づいて機械学習モデルによって生成された、眼の１つまたは複数の層に関する情報が、眼の１つまたは複数の層の少なくともサブセットの強調表示または注釈付けを行う視覚的インジケータを備える視覚的誘導オーバーレイを生成するために使用されてもよい。

【0062】

図３ａから図３ｃは、嚢の偶発的な引裂および破裂を防止するための、外科的処置の間の、後嚢の検出を示す。特に、図３ａは、術中ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴のテキスト注釈の例の概略図を示す。図３ａにおいては、前嚢３０１、ＩＯＬ３０２および後嚢３０３に注釈を付けるためにテキスト注釈が使用される。

【0063】

図３ｂにおいては、異なるアプローチが選択されている。図３ｂは、ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた解剖学的特徴のグラフィカル注釈の例の概略図を示す。図３ｂにおいて、解剖学的特徴の縁部を強調表示する２つの視覚的インジケータは、視覚的誘導オーバーレイ、すなわちＩＯＬの縁部を強調表示する線３１１および後嚢の縁部を強調表示する線３１２に含まれている。

【0064】

図３ｃにおいては、術中センサデータの２つの視覚的表現３２１；３２３を含んでいるディスプレイ信号の例が示されている。図３ｃは、並べて示されたカメラセンサデータの視覚的表現の例とＯＣＴセンサデータの視覚的表現の例との概略図を示す。左側には、顕微鏡のイメージングセンサの術中イメージングセンサデータの視覚的表現３２１が示されており（以降では「カメラビュー」と表される）、右側には、術中ＯＣＴセンサデータの視覚的表現３２３が示されている（以降では「ＯＣＴビュー」と表される）。カメラビュー３２１の上には、ＯＣＴの現在の走査線３２２が重ね合わせられている。当業者には明らかであるように、ＯＣＴは、ターゲットの三次元走査を得るための走査技術である。しかし、視覚的表現３２３は、三次元走査の断面の二次元視覚的表現のみを示す。ＯＣＴ走査線３２２は、術中ＯＣＴセンサデータの視覚的表現３２３に断面が示されている位置を表す。走査線を、ユーザーによって、例えば、走査線を直接的に、または術中ＯＣＴセンサデータの視覚的表現３２３の下方に示されているスライダ制御を介して移動させることによって、移動させることができる。

【0065】

種々の組織構造を術中に、リアルタイムで識別することができる。情報の過負荷を防ぐために、いくつかの例では、ユーザーは、自身のワークフローステップに関連する特定の関心対象の特徴の閲覧のみを付加的に選択することができる。換言すれば、システムは、複数の視覚的インジケータのサブセットの選択に基づいて、視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば、１つまたは複数の解剖学的特徴のサブセット、したがって複数の視覚的インジケータのサブセットが、ユーザーによって選択されてもよい。付加的または択一的に、ユーザーは、複数の視覚的インジケータを決定するために、視覚的インジケータの種類または原因のサブセットを選択してもよい。したがって、複数の視覚的インジケータのサブセットの選択は、眼科用顕微鏡システムのユーザーの入力に基づいていてもよい。これを、インタラクティブグラフィカルユーザーインタフェースを介して、または顕微鏡のハンドルおよびフットスイッチを介して行うことができる。

【0066】

次いで、選択された組織特徴が、手術用ディスプレイにデジタルで拡張されてもよく、これは、縁部にわたってトレースすること、解剖学的情報を提供すること、構造を強調表示すること、方向情報または手術のワークフローを誘導するための他の形式の情報を提供することのいずれかによって行われる。

【0067】

図４ａから図４ｂでは、ユーザーが、自身のワークフローステップに関連する特定の関心対象の特徴の閲覧のみを選択することができる方法について例が示されている。図４ａは、眼の複数の層のテキスト注釈およびグラフィカル注釈の例の概略図を示す。図４ａは、層、すなわち内境界膜（ＩＬＭ）４０１、網膜神経線維層（ＲＮＦＬ）４０２、網膜神経節細胞層（ＧＣＬ）４０３、内網状層（ＩＰＬ）４０４、内顆粒層（ＩＮＬ）４０５、外網状層（ＯＰＬ）４０６、外顆粒層（ＯＮＬ）４０７、外境界膜（ＥＬＭ）４０８、感光体層（ＰＲ）４０９、網膜色素上皮細胞（ＲＰＥ）４１０、ブルッフ膜（ＢＭ）４１１、脈絡毛細血管板（ＣＣ）４１２および脈絡膜実質（ＣＳ）４１３を示す。例えば、各層の頭字語が、強調表示されている層のどちら側に示されてもよい。例えば、ユーザーは、関心対象の層を、例えば、図４ａに示されたものと同様の図においてこれらの層を選択または選択解除することによって選択してもよい。

【0068】

択一的に、関心対象の層、またはより一般的に、関心対象の解剖学的特徴が、外科的処置の進行に基づいて自動的に選択されてもよい。例えば、システムは、眼科用顕微鏡システムの助けを借りて実行される眼科外科的処置の進行に基づいて、複数の視覚的インジケータのサブセットの選択を決定するように構成されていてもよい。例えば、システムは、例えば術前の計画に基づいて、眼科外科的処置の進行を追跡し、複数の視覚的インジケータのサブセットに対する、視覚的インジケータの事前に定められたセットを選択するように構成されていてもよい。

【0069】

ユーザーによる、またはシステムによる選択の結果が図４ｂに示されている。図４ｂは、ＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、眼の複数の層のグラフィカル注釈の例の概略図を示す。図４ａでは、これらの層のサブセット（感光体層４２４、内境界膜４２５、網膜神経線維４２６および外顆粒層４２７）のみが線状トレースによって強調表示されている。図４ｂは、さらに、眼におけるカメラビュー４２１およびＯＣＴビュー４２３を示しており、かつＯＣＴ走査線４２２の位置を示している。

【0070】

付加的に、例えば組織構造の異常または手術技術における潜在的なエラーによる、生じ得る合併症に対する警報を提供するために、スクリーン上に警告を提供することができる。したがって、上述のように、機械学習モデルは、眼の１つまたは複数の解剖学的特徴に関する１つまたは複数の異常に関する情報を出力するようにトレーニングされてもよい。システムは、１つまたは複数の異常に関する視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。換言すれば、視覚的誘導オーバーレイは、１つまたは複数の異常をユーザーに警告するまたは通知する視覚的インジケータを含んでいてもよい。例えば、視覚的インジケータは、警告メッセージ、警告ピクトグラム、および／または異常の位置の概要を示す視覚的インジケータのうちの１つまたは複数を含んでいてもよい。したがって、システムは、ディスプレイ信号内に１つまたは複数の異常に対する警報を含むように構成されていてもよい。択一的または付加的に、システムは、警告灯またはスピーカー等の、眼科用顕微鏡システムの出力装置を介して警報を出力するように構成されていてもよい。

【0071】

図５ａおよび図５ｂに示されているように、異常な組織構造に起因する、生じ得る合併症に対する警報を提供するために、スクリーン上に警告を提供することができる。そのような警告の有用な適用は、形状の異常な変形の検知または後嚢の微小断裂の検知にあり、これはハイドロダイセクション、水晶体超音波乳化およびレンズの配置を実行する際に、後嚢破裂のリスクが高いことを示す。図５ａおよび図５ｂは、後嚢破裂を強調表示するグラフィカル注釈の例の概略図を示す。図５ａは、眼の２つのビュー、すなわちカメラビュー５０１とＯＣＴビュー５０５とを示しており、ここではＯＣＴ走査線５０２がカメラビュー５０１の上に重ね合わせられている。カメラビューにおいて、２つの線５０３；５０４が重ね合わせられて示されており、これによって、異常な組織構造、このケースでは後嚢における破裂の第１の縁部および第２の縁部が強調表示される。２つの異なるＯＣＴ走査位置における対応する破裂が、ＯＣＴビュー５０５において線５０６；５０７によって強調表示される。任意選択的に、１つまたは複数の警告ピクトグラム５０９と共に、付加的に警告メッセージ５０８「後嚢破裂」が示されてもよい。

【0072】

さらに、システムは、特定の処置が完了した場合に、手術確認およびナビゲーション誘導を提供することができる。例えば、網膜に残っている孔を、ｉＯＣＴを用いた画像認識を通して検知し、容易な追跡のために手術用ディスプレイにおいて強調表示することができる。別の例は角膜移植処置に関し、ここでは提案されたシステムは、移植片が正しい向きにあり、移植部位にわたって正確に整列させられているか否かを検出することができる。図６ａから図６ｃは、対応する例を示す。

【0073】

図６ａは、特定の処置が完了したか否かに基づく、手術確認およびナビゲーション誘導の例を示す。この例では、網膜に残っている孔を、ｉＯＣＴを用いた画像認識を通して検知し、容易な追跡のために手術用ディスプレイにおいて強調表示することができる。図６ａは、カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられた、網膜にある孔を強調表示するグラフィカル注釈の例の概略図を示す。図６ａは、図４ｂから図５ｂと同様に、眼における２つのビュー、すなわちカメラビュー６０１およびＯＣＴビュー６０７を示す。ＯＣＴの走査線６０２は、カメラビュー６０１の上に重ね合わせられている。図６ａにおいては、網膜における第１の孔および第２の孔が、円６０３；６０６ａによって強調表示されている。対応する円６０６ｂによって、ＯＣＴビュー６０７における第２の孔が強調表示される。さらに、２つの孔に対して、方向マーカ６０４；６０５が示されている。例えば、方向マーカは、外科医を孔の位置に向かって誘導するために使用されてもよい。

【0074】

図６ａにおいて見て取れるように、２つ以上のイメージング装置から術中センサデータの２つ以上のセットが取得される、いくつかのケースでは、術中センサデータの一方のセットにおいて異常が検知されることがあり、インジケータが、術中センサデータの他方のセットの視覚的表現の上に重ね合わせられてもよい。例えば、図６ａでは、異常が術中ＯＣＴセンサデータにおいて検知され、顕微鏡のイメージングセンサの術中ＯＣＴセンサデータおよび術中イメージングセンサデータの視覚的表現の上に重ね合わせられる。換言すれば、術中センサデータは、第１のイメージング装置からの第１の術中センサデータ（例えば術中ＯＣＴセンサデータ）と、第２のイメージング装置からの第２の術中センサデータ（例えば術中イメージングセンサデータ）と、を含んでいてもよい。システムは、第１の術中センサデータの第１の視覚的表現と、第２の術中センサデータの第２の視覚的表現と、を有するディスプレイ信号を生成するように構成されていてもよい。例えば図６ａのカメラビュー６０１は、第２の術中センサデータの第２の視覚的表現を示していてもよく、図６ａのＯＣＴビュー６０７は、第１の術中センサデータの第１の視覚的表現を示していてもよい。システムは、例えば、第１の術中センサデータの視覚的表現６０７の上に重ね合わせられた異常の視覚的インジケータ６０６ｂに加えて、ディスプレイ信号内の第２の術中センサデータの第２の視覚的表現６０１の対応する位置の上に、第１の術中センサデータに基づいて、機械学習モデルによって検知された異常の視覚的インジケータ６０３；６０４；６０５；６０６ａを重ね合わせるように構成されていてもよい。このコンセプトの別の例は図６ｂに示されている。

【0075】

図６ｂは、特定の処置が完了したか否かに基づく、手術確認およびナビゲーション誘導の別の例を示す。この例では、システムは、角膜移植片が正しい方向に配置されていないか、または正確に位置合わせされていない場合に、認識をして、促す。図６ｂは、角膜移植片における異常を強調表示するグラフィカル注釈の例の概略図を示し、これは、カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられている。図６ｂは、カメラビュー６１１と、第１および第２のＯＣＴビュー６１６；６１７と、を示す。２つのＯＣＴ装置が使用されるので、第１のＯＣＴの第１の走査線６１２および第２のＯＣＴの第２の走査線６１４が示されている。この例において、三角形６１３ａ；６１５ａが、カメラビューの上に重ね合わせられた角膜移植片における第１の異常および第２の異常を強調表示するために使用され、他方で三角形６１３ｂ；６１５ｂは、第１および第２のＯＣＴビュー６１６；６１７における同じ異常を強調表示する。例えば、術中センサデータの異なる視覚的表現の上に重ね合わせられている、対応している視覚的インジケータ（すなわち三角形）同士が、同じ形状、同じ色および／または同じ線パターンを有していてもよい。

【0076】

図６ｃは、特定の処置が完了したか否かに基づく、手術確認およびナビゲーション誘導の別の例を示す。この例では、システムは、切開創が開いており、さらにハイドレーションを必要とする場合に、認識をして、促す。図６ｃは、開いている切開創を強調表示するグラフィカル注釈の例の概略図を示し、このグラフィカル注釈は、カメラセンサデータの視覚的表現およびＯＣＴセンサデータの視覚的表現の上に重ね合わせられている。図６ｃは、カメラビュー６２１と、第１のＯＣＴビュー６２５と、第２のＯＣＴビュー６２７と、を示す。図６ｃは、対応する第１および第２のＯＣＴ走査線６２２；６２３をさらに示す。図６ｃにおいて、開いている切開創を強調表示する楕円６２４ａがカメラビューの上に重ね合わせられており、開いている切開創を強調表示する、対応する楕円６２４ｂがＯＣＴビューの上に重ね合わせられている。これに加えて、警告メッセージ６２６「ハイドレーションが必要であり、創傷は閉じられていない」が表示される。

【0077】

いくつかの例では、例えば、器具の先端と組織構造との間の相対的な距離を追跡するために、器具検出が組み込まれてもよい。例えば、器具の先端と組織構造との間の相対的な距離を追跡するために、器具の形状プロファイルが識別されてよい。これによって、外科医は、関心対象の組織特徴に対して相対的な、自身の器具の深さおよび距離を追跡しながら、正確な、視覚的に誘導された操作タスクを実行することができる。

【0078】

したがって、システムは、術中センサデータにおける１つまたは複数の手術器具の存在を検出するように構成されていてもよい。例えば、システムは、オブジェクト検出アルゴリズムを使用して１つまたは複数の手術器具の存在を検出するように構成されていてもよく、これは例えば、視覚的なオブジェクトマッチングアルゴリズムまたは術中センサデータ内の１つまたは複数の器具を検出するようにトレーニングされている機械学習モデルである（例えば、機械学習モデルの教師あり学習ベースのトレーニングを使用する）。例えば、術中センサデータを処理するために使用される機械学習モデルが、術中センサデータにおける１つまたは複数の器具を検出して位置特定するようにさらにトレーニングされてもよい。

【0079】

システムはさらに、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離を決定するように構成されていてもよい。例えば、１つまたは複数の手術器具を検出するために使用される術中センサデータ、例えば図７に示されているような術中センサデータは、１つまたは複数の手術器具に対して相対的に既知のスケールを有していてもよい、または１つまたは複数の手術器具のサイズが、術中センサデータのスケールを決定するために使用されてもよい。システムは、術中センサデータのスケールに基づいて、かつ術中センサデータの視覚的表現における、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離（例えばピクセル単位）に基づいて、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離を決定するように構成されていてもよい。択一的に、距離を、各術中センサデータの視覚的表現における、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離（例えばピクセル単位）に対応づけることができる。システムは、検出された１つまたは複数の手術器具と１つまたは複数の解剖学的特徴との間の距離を表す視覚的インジケータを備える視覚的誘導オーバーレイを生成するように構成されていてもよい。例えば検出された１つまたは複数の手術器具の間の距離の可視性を改善するために、検出された１つまたは複数の手術器具の間の距離を表す視覚的インジケータが距離の数値表現を含んでいてもよい、または視覚的インジケータが、視覚的表現のコントラストを増大させてもよい、かつ／または１つまたは複数の手術器具の縁部および／または１つまたは複数の解剖学的縁部を強調表示してもよい。いくつかの例では、この距離が閾値よりも低い場合、距離を表す視覚的インジケータが近接警告を含んでいてもよい。

【0080】

図７は、器具の先端と組織構造との間の相対的な距離を追跡するために、器具検出を組み込むことができる方法の例を示す。図７は、器具の先端と解剖学的特徴との間の相対的な距離を強調表示するグラフィカル注釈の例の概略図を示す。図７は、カメラビュー７０１およびＯＣＴビュー７０４を示す。器具の先端７０５は、術中ＯＣＴセンサデータにおいて検出され、視覚センサデータの視覚的表現において強調表示される。円７０２から円７０３は、カメラビューおよびＯＣＴビューにおいて器具の先端を強調表示するために用いられる。例えば、図７は、カメラビューにおいて第１の器具の先端を強調表示する円７０２ａと、ＯＣＴビューにおいて第１の器具の先端を強調表示する、対応する円７０２ｂと、カメラビューにおいて第２の器具の先端を強調表示する円７０３ａと、ＯＣＴビューにおいて第２の器具の先端を強調表示する、対応する円７０３ｂと、を示す。図６ａから図６ｃに示されている例と同様に、同じ器具の先端の輪郭を描く、円等の対応する視覚的インジケータ同士が、同じ色、同じ形状および／または同じ線パターンを有していてもよい。

【0081】

ディスプレイ信号は、眼科用顕微鏡システムのディスプレイ装置のために生成される。これに対応して、システムは、ディスプレイ信号を眼科用顕微鏡システムのディスプレイ装置に提供するように構成されていてもよい。例えば、手術用ディスプレイは、３Ｄヘッドアップ手術用モニタ、頭部に取り付けられるまたは顕微鏡に取り付けられるデジタルビューアまたは顕微鏡接眼レンズ内への画像装入の形態であってもよい。したがって、図１ｃに示されているように、ディスプレイ装置は、ヘッドアップディスプレイ１３０ａ（すなわち、手術部位を見下ろすのではなく、外科医が真っ直ぐ前を見ながら見るディスプレイ）、頭部に取り付けられるディスプレイ（図示せず）、例えば仮想現実ゴーグルまたは拡張現実眼鏡または複合現実眼鏡、眼科用顕微鏡システムの顕微鏡に取り付けられるディスプレイ１３０ｃおよび眼科用顕微鏡システムの顕微鏡の接眼ディスプレイ１３０ｂのうちの１つであってもよい。

【0082】

１つまたは複数のインタフェース１１２は、モジュール内、モジュール間、または異なる存在物のモジュール間で、指定されたコードによるデジタル（ビット）値であり得る情報を受け取る、かつ／または伝送するための１つまたは複数の入力および／または出力に対応することができる。例えば、１つまたは複数のインタフェース１１２は、情報を受け取るように、かつ／または伝送するように構成されているインタフェース回路を含んでいてもよい。実施形態では、１つまたは複数のプロセッサ１１４が、１つまたは複数の処理ユニット、１つまたは複数の処理装置、相応に適合されているソフトウェアで動作可能なプロセッサ、コンピュータまたはプログラミング可能なハードウェア構成要素等の処理のための任意の手段を使用して実装されてもよい。換言すれば、１つまたは複数のプロセッサ１１４の説明された機能は、同様にソフトウェアで実装されてもよく、ソフトウェアは、次いで、１つまたは複数のプログラミング可能なハードウェア構成要素において実行される。そのようなハードウェア構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラ等を含んでいてもよい。少なくともいくつかの実施形態では、１つまたは複数のストレージデバイス１１６は、磁気記録媒体または光学記録媒体、例えばハードディスクドライブ、フラッシュメモリ、ソリッドステートディスク（ＳＳＤ）、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）またはネットワークストレージ等の、コンピュータ読取可能な記録媒体のグループのうちの少なくとも１つの要素を含んでいてもよい。

【0083】

システムおよび眼科用顕微鏡システムのさらなる詳細および態様は、提案されたコンセプト、または前述もしくは後述の１つまたは複数の例（例えば、図８から図９）に関連して言及される。システムおよび眼科用顕微鏡システムは、提案されたコンセプトの１つまたは複数の態様、または前述もしくは後述の１つまたは複数の例に対応する１つまたは複数の追加の任意選択の特徴を含んでいてもよい。

【0084】

図８は、眼科用顕微鏡システム、例えば図１ａから図７に関連して紹介された眼科用顕微鏡システムのための、対応する（コンピュータ実装される）方法の例のフローチャートを示す。例えば、この方法は、図１ａから図７に関連して紹介されたシステム１１０によって実施されてもよい。この方法は、眼科用顕微鏡システムの少なくとも１つのイメージング装置から眼の術中センサデータを取得すること８１０を含む。この方法は、機械学習モデルを用いて術中センサデータを処理すること８２０を含む。機械学習モデルは、術中センサデータに基づいて、眼の１つまたは複数の解剖学的特徴に関する情報を出力するようにトレーニングされている。この方法は、眼の１つまたは複数の解剖学的特徴に関する情報に基づいてディスプレイ信号を生成すること８３０を含む。ディスプレイ信号は、眼の１つまたは複数の解剖学的特徴に関して眼科用顕微鏡システムのユーザーを誘導するための視覚的誘導オーバーレイを含む。

【0085】

任意選択的に、この方法は、１つまたは複数のさらなる特徴、例えば、図１ａから図７に関連して導入されたシステムまたは手術用顕微鏡システムによって導入された１つまたは複数の特徴を含んでいてもよい。

【0086】

方法のさらなる詳細および態様は、提案されたコンセプト、または前述もしくは後述の１つまたは複数の例（例えば、図１ａから図７、図９）に関連して言及される。この方法は、提案されたコンセプトの１つまたは複数の態様、または前述もしくは後述の１つまたは複数の例に対応する１つまたは複数の追加の任意選択の特徴を含んでいてもよい。

【0087】

いくつかの実施形態は、図１から図８のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図８のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図８のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図９は本明細書に記載された方法を実施するように構成されたシステム９００の概略図を示している。システム９００は、顕微鏡９１０とコンピュータシステム９２０とを含んでいる。顕微鏡９１０は、撮像するように構成されており、かつコンピュータシステム９２０に接続されている。コンピュータシステム９２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム９２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム９２０と顕微鏡９１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム９２０は、顕微鏡９１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム９２０は、顕微鏡９１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡９１０の従属部品の一部であってもよい。

【0088】

コンピュータシステム９２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム９２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム９２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム９２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム９２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム９２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム９２０に情報を入力すること、およびコンピュータシステム９２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0089】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0090】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ハードディスクドライブ（ＨＤＤ）、ソリッドステートディスク（ＳＳＤ）、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0091】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0092】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0093】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0094】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0095】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0096】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0097】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0098】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0099】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0100】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0101】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。図１ａから図７を参照して、２つの学習アプローチ、すなわち教師あり学習および半教師あり学習が議論された。

【0102】

教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0103】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0104】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0105】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0106】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0107】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0108】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0109】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジと、を含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0110】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0111】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0112】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【符号の説明】

【0113】

１００ 眼科用顕微鏡システム
１０５ ベースユニット
１１０ システム
１１２ インタフェース
１１４ プロセッサ
１１６ ストレージデバイス
１２０ ＯＣＴ装置
１３０ ディスプレイ装置
１３０ａ ヘッドアップディスプレイ
１３０ｂ 接眼ディスプレイ
１３０ｃ 顕微鏡に取り付けられるディスプレイ
１４０ 顕微鏡
１４２ 光学イメージングセンサ
１５０ 内視鏡
１６０ 眼
１７０ アーム
２０１～２１８ 解剖学的特徴のテキスト注釈
３０１ 前嚢
３０２ ＩＯＬ
３０３ 後嚢
３１１ ＩＯＬの縁部を強調表示する線
３１２ 後嚢を強調表示する線
３２１ カメラビュー
３２２ ＯＣＴの走査線
３２３ ＯＣＴビュー
４０１～４１３ 眼の層
４２１ カメラビュー
４２２ ＯＣＴの走査線
４２３ ＯＣＴビュー
４２４～４２７ 眼の層を強調表示する線
５０１ カメラビュー
５０２ ＯＣＴの走査線
５０３，５０４ 異常な組織構造の縁部を強調表示する線
５０５ ＯＣＴビュー
５０６，５０７ ＯＣＴにおいて異常な組織構造を強調表示する線
５０８ 警告メッセージ「後嚢破裂」
５０９ 警告ピクトグラム
６０１ カメラビュー
６０２ ＯＣＴの走査線
６０３，６０６ａ カメラビューにおいて網膜にある孔を強調表示する円
６０４，６０５ 方向マーカ
６０６ｂ ＯＣＴビューにおいて網膜にある孔を強調表示する円
６０７ ＯＣＴビュー
６１１ カメラビュー
６１２，６１４ ＯＣＴの走査線
６１３ａ；６１５ａ カメラビューにおいて角膜移植片の異常を強調表示する三角形
６１３ｂ；６１５ｂ ＯＣＴビューにおいて角膜移植片の異常を強調表示する三角形
６１６，６１７ ＯＣＴビュー
６２１ カメラビュー
６２２，６２３ ＯＣＴ走査線
６２４ａ カメラビューにおいて開いている切開創を強調表示する楕円
６２４ｂ ＯＣＴビューにおいて開いている切開創を強調表示する楕円
６２５，６２７ ＯＣＴビュー
６２６ 警告メッセージ「ハイドレーションが必要であり、創傷は閉じられていない」
７０１ カメラビュー
７０２ａ，７０３ａ カメラビューにおいて器具の先端を強調表示する円
７０２ｂ，７０３ｂ ＯＣＴビューにおいて器具の先端を強調表示する円
７０４ ＯＣＴビュー
７０５ 器具の先端
８１０ 術中センサデータを取得すること
８２０ 機械学習モデルを用いて術中センサデータを処理すること
８３０ 視覚的誘導オーバーレイを伴うディスプレイ信号を生成すること
９００ システム
９１０ 顕微鏡
９２０ コンピュータシステム

【図1a】

【図1b】

【図1c】

【図2a】

【図2b】

【図3a】

【図3b】

【図3c】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図6c】

【図7】

【図8】

【図9】

【国際調査報告】