(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-01
(54)【発明の名称】手術顕微鏡の動作方法及び手術顕微鏡
(51)【国際特許分類】
A61F 9/007 20060101AFI20240423BHJP
A61B 3/13 20060101ALI20240423BHJP
G02B 21/22 20060101ALI20240423BHJP
G02B 21/00 20060101ALI20240423BHJP
【FI】
A61F9/007 200C
A61B3/13
G02B21/22
G02B21/00
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023562303
(86)(22)【出願日】2022-04-21
(85)【翻訳文提出日】2023-10-10
(86)【国際出願番号】 EP2022060491
(87)【国際公開番号】W WO2022223663
(87)【国際公開日】2022-10-27
(31)【優先権主張番号】102021204031.4
(32)【優先日】2021-04-22
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】502303382
【氏名又は名称】カール ツアイス メディテック アクチエンゲゼルシャフト
(74)【代理人】
【識別番号】100147485
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100230514
【氏名又は名称】泉 卓也
(72)【発明者】
【氏名】ヘッサム ローダキ
(72)【発明者】
【氏名】アボウザー エスラミ
(72)【発明者】
【氏名】ムハド ハサン サルハン
【テーマコード(参考)】
2H052
4C316
【Fターム(参考)】
2H052AB17
2H052AB19
2H052AF14
2H052AF25
4C316AA03
4C316AA25
4C316AA28
4C316AB17
4C316FC12
4C316FZ01
(57)【要約】
本発明は、手術顕微鏡(1)の動作方法に関し、この方法では、捕捉領域(10)の左側画像(21l)は左側カメラ(2)によって捕捉され、捕捉領域(10)の右側画像(21r)は右側カメラ(3)によって捕捉され、捕捉された画像(21l、21r)は、手術顕微鏡(1)の制御装置(6)により提供される少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給され、標的物(20)は、捕捉画像(21l、21r)の中で、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって捕捉画像(21l、21r)に基づいて識別され、最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は手術顕微鏡(1)のアクチュエータシステム(5)のための制御コマンド(42)が推定され、手術顕微鏡(1)のアクチュエータシステム(5)のための制御コマンド(42)は、推定された最適な顕微鏡パラメータ(40)及び/又は推定された顕微鏡パラメータ(41)の変更(41)に基づいて生成され、及び/又はアクチュエータシステム(5)は、生成及び/又は推定された制御コマンド(42)に応じて制御される。本発明はまた、手術顕微鏡(1)にも関する。
【特許請求の範囲】
【請求項1】
手術顕微鏡(1)の操作方法であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)は前記手術顕微鏡(1)の左側カメラ(2)によって捕捉され、
前記捕捉領域(10)の右側画像表現(21r)は前記手術顕微鏡(1)の右側カメラ(3)によって捕捉され、
前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)は、前記手術顕微鏡(1)の制御装置(6)により利用可能にされる少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給され、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって、前記捕捉された画像表現(21l、21r)の中の標的物(20)が識別され、そのために、最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記手術顕微鏡(1)のアクチュエータシステム(5)のための制御コマンド(42)が、前記捕捉された画像表現(21l、21r)に基づいて推定され、
前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)は、前記制御装置(6)によって、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(41)の推定された変更(41)から生成され、及び/又は前記アクチュエータシステム(5)は、前記生成及び/又は推定された制御コマンド(42)にしたがって制御される方法。
【請求項2】
前記画像表現(21l、21r)の前記捕捉中に設定される顕微鏡パラメータ(43)もまた、前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして追加的に供給されることを特徴とする、請求項1に記載の方法。
【請求項3】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給されることを特徴とする、請求項1又は2に記載の方法。
【請求項4】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給され、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から選択され、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法が使用されることを特徴とする、請求項1~3の何れか1項に記載の方法。
【請求項5】
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、各推定出力に関する信頼値を推定して提供し、前記提供された信頼値は指定された閾値(44)と比較され、前記提供された信頼値が前記指定された閾値(44)より低い場合、前記方法は中止されることを特徴とする、請求項1~4の何れか1項に記載の方法。
【請求項6】
開始コマンド(24)が入力として検出され、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記識別と前記推定、及び前記制御は、前記開始コマンド(24)が検出されると開始されることを特徴とする、請求項1~5の何れか1項に記載の方法。
【請求項7】
前記少なくとも1つの訓練済み機械学習方法(30)は少なくとも1つの訓練済みニューラルネットワークを含むことを特徴とする、請求項1~6の何れか1項に記載の方法。
【請求項8】
手術顕微鏡(1)であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)を捕捉するようになされた左側カメラ(2)と、
前記捕捉領域(10)の右側画像表現(21r)を捕捉するようになされた右側カメラ(3)と、
顕微鏡パラメータ(40)にしたがって前記手術顕微鏡(1)の構成を設定するようになされたアクチュエータシステム(5)と、
制御装置(6)と、を含み、前記制御装置(6)は、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を利用可能にし、前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)を前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給するようになされ、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、前記捕捉された画像表現(21l、21r)中の標的物(20)を識別し、そのために最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記アクチュエータシステム(5)のための制御コマンド(42)を、前記捕捉された画像表現(21l、21r)に基づいて推定し、提供するようになされ、及び/又は訓練され、
前記制御装置(6)はさらに、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(40)の推定された変更(41)から前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)を生成し、並びに/又は前記生成及び/若しくは推定された制御コマンド(42)にしたがって前記手術顕微鏡(1)の前記アクチュエータシステム(5)を制御するようになされる手術顕微鏡(1)。
【請求項9】
少なくとも1つのインタフェース(9-1、9-2)を特徴とし、前記少なくとも1つのインタフェース(9-1、9-2)は、手術の種類(22)及び/又は前記手術のフェーズ(23)を検出及び/又は受信するようになされ、前記制御装置(6)はさらに、前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)を前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして供給し、及び/又は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を選択して、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を使用のために利用可能にするようになされることを特徴とする、請求項8に記載の手術顕微鏡(1)。
【請求項10】
ユーザインタフェース(9-2)を特徴とし、前記ユーザインタフェース(9-2)は、入力で開始コマンド(24)を捕捉するようになされ、前記制御装置(6)は、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記推定、及び前記制御を前記開始コマンド(24)が検出されたときに開始するようになされることを特徴とする、請求項8又は9に記載の手術顕微鏡(1)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手術顕微鏡の動作方法及び手術顕微鏡に関する。
【背景技術】
【0002】
手術を支援するために手術顕微鏡を用いる場合、処置を開始する前に、手術標的物(例えば、眼の角膜輪部、開頭術中のグリオーマ等)に応じて顕微鏡パラメータを設定しなければならない。顕微鏡パラメータは特に、手術標的物に関する顕微鏡ヘッドの位置に関し、また、画像生成光学ユニットのパラメータにも関する。特に、顕微鏡パラメータは、焦点若しくは焦点面、倍率、及び/又は標的物へのセンタリングに関する。このような設定プロセスは通常、要求が厳しく、時間がかかる。
【0003】
米国特許出願公開第2019/0313902A1号明細書では、眼科手術中に、XY平面内手部患者の眼の視野を高倍率で自動的にセンタリングするための方法とシステムが開示されている。この方法は、視野の中心を、眼手術中に高倍率で患者の眼の視野から捕捉されたリアルタイムのビデオ信号の中で捕捉された円形画像の中心に自動的に移動させることを含む。
【0004】
米国特許第9479759B2号明細書では、オートフォーカス機能を備える光学ステレオ装置及びそれに対応する光学ステレオ装置のためのオートフォーカス方法が開示されている。光学ステレオ装置は、右眼の画像と左眼の画像を合成することによって関心対象物のステレオ画像を提供するようになされた画像生成手段と、画像生成手段に動作的に接続されて、右眼の画像と左眼の画像を受け取って、画像生成手段の焦点位置を設定するようになされた制御ユニットを有する。
【0005】
国際公開第2009/080790A1号パンフレットでは、眼の検査又は眼の治療中に特徴的な眼構成要素の半径及び/又は位置を確認する方法が開示されている。この方法では、眼の少なくとも一部分のデジタル画像がカメラにより記録される。この画像は、異なる大きさのリング状の比較物体と、リング状の比較物体が画像内の同じ半径のリング状の濃度段差と一致したときに画像と比較物体との一致が最良となるような方法で相関させられる。デジタル画像との局所一致レベルの高い比較物体が確認され、特徴的な眼構成要素の半径及び/又は位置が、一致度の高いこれらの比較物体から引き出される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、顕微鏡パラメータを自動的に特定し、設定できる手術顕微鏡の動作方法及び手術顕微鏡を提供する目的に基づく。
【課題を解決するための手段】
【0007】
本発明によれば、この目的は、特許請求項1の特徴を有する方法及び特許請求項8の特徴を有する手術顕微鏡によって達成される。本発明の有利な構成は、従属項からわかるであろう。
【0008】
本発明の基本的アイディアの1つは、少なくとも1つの訓練済みの機械学習方法及び/又はコンピュータビジョン評価方法を使って、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムの制御コマンドを、捕捉された左側画像表現及び捕捉された右側画像表現に基づいて推定するというものである。訓練済みの少なくとも1つの機械学習方法は特に、画像表現中の(手術)標的物を識別し、この標的物のための最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを推定する。推定は、特に1つのみの左側画像表現と1つのみの右側画像表現を用いて行われる。標的物を識別する際、特に標的物の種類と画像表現中の標的物の位置が識別又は特定される。標的物は例えば、眼の角膜輪部、開頭術でのグリオーマ等とすることができる。代替的又は追加的に、(手術)標的物は、画像表現の中で特にコンピュータビジョン評価方法によって識別される。標的物は、特に機械学習方法及び/又はコンピュータビジョン評価方法によって識別され、標的物の事前の予備的選択及び/若しくは選択並びに/又はマーキングは行われない。最適な顕微鏡パラメータは、特にその後捕捉される画像表現中で識別される標的物の提示に関して、すなわち手術顕微鏡の構成変更後に最適化される。換言すれば、顕微鏡パラメータは、手術標的物に対する最適な作業のために推定される。制御装置は、最適な顕微鏡パラメータ及び/又は顕微鏡パラメータの変更を設定するように手術顕微鏡のアクチュエータシステムを制御して、この目的のために制御コマンドを生成する。少なくとも1つの訓練済みの機械学習方法がすでに制御コマンドを推定している場合、これらは制御装置によって、手術顕微鏡のアクチュエータシステムの、それに対応する制御により実行される。
【0009】
特に、手術顕微鏡の動作方法が提供され、手術顕微鏡の捕捉領域の左側画像表現は手術顕微鏡の左側カメラにより捕捉され、捕捉領域の右側画像表現は手術顕微鏡の右側カメラにより捕捉され、捕捉された左側画像表現と捕捉された右側画像表現は、手術顕微鏡の制御装置により提供される少なくとも1つの機械学習方法及び/又はコンピュータビジョン評価方法への入力データとして供給され、少なくとも1つの訓練済みの機械学習方法及び/又はコンピュータビジョン評価方法によって、捕捉された画像表現中の標的物が識別され、そのために最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドが捕捉された画像表現に基づいて推定され、手術顕微鏡のアクチュエータシステムのための制御コマンドは、制御装置によって、推定された最適な顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から生成され、及び/又はアクチュエータシステムは生成及び/又は推定された制御コマンドにしたがって制御される。
【0010】
さらに、特に、手術顕微鏡が提供され、これは、手術顕微鏡の捕捉領域の左側画像表現を捕捉するようになされた左側カメラと、捕捉領域の右側画像表現を捕捉するようになされた右側カメラと、顕微鏡パラメータにしたがって手術顕微鏡の構成を設定するようになされたアクチュエータシステムと、制御装置と、を含み、制御装置は、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を利用可能にし、捕捉された左側画像表現と捕捉された右側画像表現を少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法への入力データとして供給するようになされ、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、捕捉された画像表現中の標的物を識別し、そのための最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又はアクチュエータシステムのための制御コマンドを、捕捉された画像表現に基づいて推定し、提供するようになされ、及び/又は訓練され、制御装置はさらに、推定された最適な顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から手術顕微鏡のアクチュエータシステムのための制御コマンドを生成し、並びに/又は生成及び/若しくは推定された制御コマンドにしたがって手術顕微鏡のアクチュエータシステムを制御するようになされる。
【0011】
この方法及び手術顕微鏡の利点は、手術顕微鏡の調整をより素早く行えることである。少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを、特に1回のイテレーションで推定し、すなわち、中間のイテレーションは不要である。特に、最適化ループは不要であり、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドはその代わりに、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を1回適用すれば得られる。特に、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は(最適な顕微鏡パラメータを設定するための)制御コマンドを、(単一の)捕捉された左側画像表現及び(単一の)捕捉された右側画像表現に基づいて推定する。これによって、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを特に迅速に、時間をかけずに推定して提供することが可能となる。標的物は、特に少なくとも1つの訓練済み機械学習方法及びコンピュータビジョン評価方法のみによって識別される。ここで、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、捕捉された左側画像表現中及び捕捉された右側画像表現中の標的物を検出する。特に、標的物の事前の予備選択及び/若しくは選択並びに/又はマーキングは不要であり、そのため、識別と推定は特に、標的物の事前の予備選択及び/若しくは選択並びに/又はマーキングを行わずに実行される。位置の明示も不要であり、これは、識別及び推定が特に標的物の位置明示又は位置マーキングを行わずに実行されることを意味する。最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は(最適な顕微鏡パラメータを設定するための)制御コマンドは、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法によって、(単一の)左側画像表現及び(単一の)右側画像表現の捕捉後の時点で提供できる。特に、この方法及び手術顕微鏡により、手術顕微鏡を自動的に、手術標的物にとって最適な方法で、すなわち所望の、及び/又は好ましい目標の構成に自動的に構成できる。この方法を実行した後、外科医は手術を直接開始できるか、又は手術の中間ステップを開始できる。このようにして、制御コマンドを生成するために、特に画像表現の時間的シーケンス又はビデオシーケンスを記録又は捕捉する必要はない。特に、ステレオ画像表現の単一の右側又は左側画像表現があれば、制御コマンドを生成するのに十分であり得る。
【0012】
手術顕微鏡は特に立体手術顕微鏡であり、この場合、左及び右のビーム経路によって捕捉領域の立体捕捉が可能となる。左側ビーム経路により、捕捉領域を左側カメラにより捕捉できる。右側ビーム経路により、捕捉領域を右側カメラにより捕捉できる。これによって、左側画像表現と右側画像表現の捕捉が可能となる。このプロセスで生じる視差効果により、特に捕捉領域の深度情報を取得することも可能である、この情報もまた、特に少なくとも1つの訓練済み機械学習方法によって評価される。
【0013】
手術顕微鏡のアクチュエータシステムは、特にアクチュエータ及び/又はモータを含む。特に、顕微鏡ヘッドの位置は、手術顕微鏡のアクチュエータシステムによって変更でき、顕微鏡ヘッドは特に、手術顕微鏡の画像生成光学ユニットを含む。さらに、特に手術顕微鏡の画像生成光学ユニットのレンズの位置はアクチュエータシステムによって変更できる。アクチュエータシステムは、制御装置によって開及び/又は閉ループで制御され、アクチュエータシステムは、このために実際の状態を捕捉するためのセンサシステムを有することができる。
【0014】
顕微鏡パラメータは特に、顕微鏡ヘッドの(例えば、x、y、及びz方向への)位置、及び画像生成光学ユニットのパラメータ(例えば、倍率等)も含む。特に顕微鏡パラメータは焦点若しくは焦点面、倍率、及び/又は標的物上へのセンタリングに関する。フォーカスは、標的物からの顕微鏡ヘッドの位置を(特にz方向への移動によって)変更することによって実現される。センタリングは特に、顕微鏡ヘッドの位置を変化させることによって実行され、顕微鏡ヘッドは特に物体面に平行な平面(xy平面とも呼ばれる)内で移動される。倍率は特に、手術顕微鏡の画像生成光学ユニット内のレンズのレンズ位置を変更することによって実現される。
【0015】
顕微鏡パラメータの変更は特に、顕微鏡パラメータに関する差値を指し、これは、最適な顕微鏡パラメータ(目標の顕微鏡パラメータ又は目標の構成)を実現するために現在の顕微鏡パラメータ(実際の顕微鏡パラメータ)に基づいて設定しなければならない。
【0016】
アクチュエータシステム制御コマンドは特に、最適な顕微鏡パラメータ(目標の顕微鏡パラメータ)を実現するために現在の顕微鏡パラメータ(実際の顕微鏡パラメータ)に基づいて設定しなければならない制御コマンドである。
【0017】
制御装置の各部は、個別に、又はハードウェアとソフトウェアの組合せとして一緒に、例えばマイクロコントローラ又はマイクロプロセッサ上で実行されるプログラムコードの形態で具現化できる。しかしながら、各部を個別に、又は特定用途集積回路(ASIC)若しくはフィールドプログラマブルゲートアレイ(FPGA)として一緒に設計することも可能であり得る。特に、制御装置は少なくとも1つのコンピューティングデバイスと少なくとも1つのメモリを含む。
【0018】
訓練済み機械学習方法は、少なくとも1つの訓練データセットを使って訓練されるか、又はその方法に先立つ訓練フェーズの過程ですでに訓練されている。このような訓練データセットは、右及び左画像表現のペアを含み、これらは少なくとも最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドで注釈が付けられる。注釈は、少なくとも1つの機械学習方法を訓練するときのグラウンドトゥルースを形成する。また、手術標的の種類とペア画像表現の中の位置が注釈又はグラウンドトゥルースとして明示されるようにもなされ得る。訓練自体は馴染み深い方法で、例えば教師あり学習によって行われる。最適な顕微鏡パラメータは、特に手作業で、手術顕微鏡の所望の最適な構成に基づいて特定又は定義される。換言すれば、特に手作業で、どの構成を用いて手術標的物に対して最適な作業を実行できる、又はすべきであるかが定義される。それぞれの目標の構成は、毎回適切なペアとして捕捉された画像表現に注釈を付けるためのグラウンドトゥルースとして使用される。
【0019】
代替案として、標的物は、捕捉された画像表現の中で、代替的又は追加的に(少なくとも1つの)コンピュータビジョン評価方法によって識別され、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドはそのために、捕捉された画像表現に基づいて推定される。以下の説明文では、コンピュータビジョン評価方法の実施形態が例として、標的物に眼の角膜輪部を用いて説明される。左側及び右側画像表現が捕捉された後、複数のリング状テンプレート(画像表現)が捕捉された画像表現に信号を使って相関させられる。特に、ここでは捕捉された画像表現との局所相関が行われる。テンプレート(画像表現)は、それぞれの場合で、異なる大きさ(又は異なる直径)のリングを含むか又は包含する。テンプレート(画像表現)の1つと捕捉された画像表現との間の相関値が大きい場合、ここでは一致を意味する。最大の相関値は、捕捉された画像表現における角膜輪部の位置及び半径を特定する。相関値が指定された閾値より大きい場合、(手術)標的物、この場合は角膜輪部、の認識が成功している。そうでなければ、(手術)標的物、すなわち角膜輪部は捕捉された画像表現の中で認識できない。この場合、方法は特に、成功しないまま終了される。最も高い相関値の結果はすると、2つの捕捉された画像表現の中の角膜輪部の中心位置(これは特に、テンプレート中、相関値が最も大きい位置におけるそれぞれのリングの中心点である)を特定するために使用できる。このようにして識別された(手術)標的物からスタートして、2つの捕捉された画像表現中の角膜輪部の中心位置から始まる例においては、その後、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドを推定できる。例えば、特定されたそれぞれの中心位置は、カメラのそれぞれの捕捉領域の中心へと移動させることができる。捕捉された眼の画像表現の中で角膜輪部を見つけることは、例えば国際公開第2009/080790A1号パンフレットに記載されている。他の(手術)標的物を識別する場合は、すると、特にそのために構成され、及び/又はそれに適したテンプレート(画像表現)が使用される。しかしながら、他の(手術)標的物のための手順も基本的に同じである。
【0020】
1つの実施形態において、画像表現の捕捉中に設定される顕微鏡パラメータもまた、少なくとも1つの訓練済み機械学習方法への入力データとして追加的に供給されるようになされる。それによって、特に実際の顕微鏡パラメータが2つの画像表現の捕捉中に少なくとも1つの訓練済み機械学習方法に供給される。これは、顕微鏡パラメータを推定するとき並びに/又は顕微鏡パラメータ及び/若しくは制御コマンドを変更するときの正確さを高めることができる。したがって、このような実際の顕微鏡パラメータはまた、少なくとも1つの機械学習方法の訓練フェーズ中に、訓練データ中の画像表現ペアのためのそれぞれの注釈又はグラウンドトゥルースとしてすでに考慮されている。特に、このように考慮することにより、同様の手術標的物の、特に異なる倍率レベルではなく、異なるサイズスケールの管理を改善できる。
【0021】
1つの実施形態において、手術の種類及び/又は手術のフェーズが検出及び/又は受信されるようになされ、訓練済み機械学習方法への入力データとして供給される。これによって、手術標的物の識別と、顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定の正確さを高めることができる。手術の種類及び/又は手術のフェーズは例えば、ユーザインタフェースによってユーザに問い合わせ、及び/又は検出することができる。また、手術の種類及び/又は手術のフェーズを他のソースから取得することもできる。例えば、データベースはこの情報を提供でき、及び/又はこの情報は手術計画及び/又は手術ログから検索することができる。手術の種類及び/又は手術のフェーズはすると、それぞれの画像表現ペアにリンクされるグラウンドトゥルースとして訓練フェーズ中にすでに考慮される。
【0022】
1つの実施形態において、手術の種類及び/又は手術のフェーズが検出及び/又は受信されるようになされ、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は手術の種類及び/又は手術のフェーズに応じて、複数の訓練済み機械学習方法及び/又はコンピュータビジョン評価方法から選択され、選択された少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法が使用される。それによって、その手術の種類及び/又はその手術のフェーズのために特化された機械学習方法及び/又はコンピュータビジョン評価方法を選択し、利用可能にできる。これによって、正確さを高めることができる。さらに、特化された機械学習方法には典型的に、適用中に必要な計算力がより少なくてよく、これによってリソースの節約できる。特に、特化された機械学習方法は通常、より迅速に行うことができる。したがって、手術の種類及び/又はフェーズのために特化された複数の機械学習方法がそれに対応して生成されるか、又は訓練フェーズで訓練される。
【0023】
手術顕微鏡の対応する実施形態では、手術顕微鏡が少なくとも1つのインタフェースを有するようになされ、少なくとも1つのインタフェースは、手術の種類及び/又は手術のフェーズを検出及び/又は受信するようになされ、制御装置はさらに、手術の種類及び/又は手術のフェーズを少なくとも1つの訓練済み機械学習方法への入力データとして供給し、及び/又は手術の種類及び/又は手術のフェーズに応じて複数の訓練済み機械学習方法及び/又はコンピュータビジョン評価方法から少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を選択して、選択された少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を使用のために利用可能にするようになされる。少なくとも1つのインタフェースは、例えばディスプレイ及びオペレーティングデバイスの形態のユーザインタフェースとすることができる。代替的又は追加的に、インタフェースはまた、データ処理システムに接続するために使用でき、これは例えば、手術計画を提供し、手術の種類及び/又は手術のフェーズを手術計画に基づいてインタフェースに供給する。
【0024】
1つの実施形態において、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法が各推定出力に関する信頼値を推定し、提供するようになされ、提供された信頼値は指定された閾値と比較され、この方法は、提供された信頼値が指定された閾値より低い場合、中止される。それによって、手術標的物の識別、並びに/又は顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定が指定された信頼度を有することを確実にすることができ、顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドは、十分な信頼度に達した場合のみ設定又は変更される。特に、これによって手術顕微鏡の誤った操作制御又は故障を防止できる。信頼値及び閾値はまた、各々が複数のエントリを有するベクトルの形態とすることもできる。すると、エントリは相互に個別に比較される。
【0025】
1つの実施形態において、開始コマンドが入力として検出されるようになされ、画像表現の捕捉、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの識別と推定、及び制御は、開始コマンドが検出されると開始される。これによって、ユーザ、特に外科医又は助手が希望すればいつでも方法を開始できる。
【0026】
手術顕微鏡の対応する実施形態において、手術顕微鏡はユーザインタフェースを有し、ユーザインタフェースは入力として開始コマンドを検出するようになされ、制御装置は、開始コマンドが検出されると、画像表現の捕捉、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定、及び制御を開始するようになされる。ユーザインタフェースは、例えば操作要素、例えばボタンを含み得て、それを用いて方法を開始できる。特に、ユーザインタフェースにより、特にボタンにより、倍率、フォーカス、及び/又は手術標的物上へのセンタリングの自動設定をこの方法にしたがって開始できる。
【0027】
1つの実施形態において、少なくとも1つの訓練済み機械学習方法は少なくとも1つの訓練済みニューラルネットワークを含むようになされる。特に、訓練済みニューラルネットワークは、訓練済み回帰ニューラルネットワーク(CNN)とすることかできる。しかしながら、原則としてその他の機械学習方法も使用できる。
【0028】
手術顕微鏡の構成に関するその他の特徴は方法の構成の説明から明らかとなる。ここで、手術顕微鏡の利点もそれぞれ、方法の構成と同じである。
【0029】
以下に、図面を参照しながら好ましい例示的実施形態に基づいて本発明をより詳しく説明する。
【図面の簡単な説明】
【0030】
【
図1】手術顕微鏡の1つの実施形態の概略図を示す。
【
図2】機械学習方法の訓練フェーズを説明するための概略的フローチャートを示す。
【
図3】手術顕微鏡の動作方法のある実施形態の概略的フローチャートを示す。
【発明を実施するための形態】
【0031】
図1は、手術顕微鏡1の1つの実施形態の概略図を示す。手術顕微鏡1は、左側カメラ2、右側カメラ3、及びアクチュエータシステム5を含み、これらは顕微鏡ヘッド4の中に配置される。左側カメラ2と右側カメラ3は、立体画像生成光学ユニットのビーム経路上に配置される。アクチュエータシステム5は例えば、アクチュエータとステップモータを含む。さらに、手術顕微鏡1は制御装置6を含む。制御装置6は、コンピューティングデバイス6-1とメモリ6-2を含む。コンピューティングデバイス6-1は、少なくとも1つのマイクロプロセッサを含む。コンピューティングデバイス6-1は、メモリ6-2に記憶されたデータにアクセスでき、データに対する演算動作を実行できる。特に、コンピューティングデバイス6-1は、メモリ6-2に記憶されたプログラムコードを実行して、本開示に記載された方法の措置を実行する。制御装置6はインタフェース6-3、6-4をさらに含み、これらは信号ライン7l、7r、8を介してカメラ2、3及びアクチュエータシステム5に接続される。
【0032】
以下の説明文の中で、手術顕微鏡1の動作方法のある実施形態を、手術顕微鏡1を使って説明する。
【0033】
手術標的物20は、手術顕微鏡1の捕捉領域10内に配置される。これは例えば、眼の角膜輪部又は開頭術におけるグリオーマ等とすることができる。
【0034】
捕捉領域10の左側画像表現21lは左側カメラ2によって捕捉される。右側カメラ3により、捕捉領域10の右側画像表現21rが、特に同時に捕捉される。画像表現21l、21rは合同で特に立体画像表現を形成する。捕捉された画像表現21l、21rは、制御装置6にインタフェース6-3を介して供給される。
【0035】
制御装置6は、訓練済み機械学習方法30を利用可能にする。この目的のために、訓練済み機械学習方法30の説明がメモリ6-2に記憶され、コンピューティングデバイス6-1によって提供されるように実行される。特に、訓練済み機械学習方法30は訓練済みニューラルネットワーク31、特に回帰ニューラルネットワークを含む。ニューラルネットワーク31の構造的な説明とパラメータ(フィルタパラメータ、重み付け等)はメモリ6-2に記憶される。コンピューティングデバイス6-2は、その構造的な説明とパラメータにしたがって訓練済みニューラルネットワーク31を利用可能にするか、又はそれらにしたがって実行する。
【0036】
捕捉された左側画像表現21lと捕捉された右側画像表現21rは、利用可能な状態とされた訓練済み機械学習方法30への、特に訓練済みニューラルネットワーク31への入力データとして供給される。
【0037】
訓練済み機械学習方法30により、特に訓練済みニューラルネットワーク31により、捕捉された画像表現21l、21r内の標的物20が識別され、そのために最適な顕微鏡パラメータ40並びに/又は顕微鏡パラメータ40及び/若しくは手術顕微鏡1のアクチュエータシステム5のための制御コマンド42の変更41が、捕捉された画像表現21l、21rに基づいて推定される。
【0038】
訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31によって、最適な顕微鏡パラメータ40及び/又は顕微鏡パラメータ40の変更41が推定されるか、又は制御コマンド42が推定されるかは、訓練済み機械学習方法30がどのように設計されているか、すなわち少なくとも1つの機械学習方法30がどのような構造であり、訓練フェーズでそれが何のために訓練されたかによって決まる。
【0039】
最適な顕微鏡パラメータ40及び/又は顕微鏡パラメータ40の変更41が推定された場合、手術顕微鏡1のアクチュエータシステム5のための制御コマンドは、制御装置6により、推定された最適な顕微鏡パラメータ40及び/又は推定された顕微鏡パラメータ40の変更41から生成される。制御装置6は、生成された制御コマンド42にしたがってアクチュエータシステム5を制御する。
【0040】
制御コマンド42がアクチュエータシステム4のために推定された場合、制御装置6は推定された制御コマンド42にしたがってアクチュエータシステム4を制御する。
【0041】
最適な顕微鏡パラメータ40は、特に顕微鏡ヘッド5のフォーカス、倍率、及びセンタリングのためのパラメータを含む。フォーカスのためのパラメータは特に、顕微鏡ヘッド4をz方向に移動させることによって設定される。倍率パラメータは、特に顕微鏡ヘッド4の中の画像生成光学ユニット内のレンズの位置を変更することによって設定される。顕微鏡ヘッド4のセンタリングのためのパラメータは、特に顕微鏡ヘッド4をx-y方向に移動させることによって設定される。原則として、最適な顕微鏡パラメータ40はまた、手術顕微鏡1のその他のパラメータ、例えば手術顕微鏡の光源に関するパラメータ及び/又はカメラのパラメータ等も含み得る。
【0042】
代替的又は追加的に、標的物20は捕捉された画像表現21l、21rの中で、1つの(少なくとも1つの)コンピュータビジョン評価方法によって識別され、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41並びに/又は手術顕微鏡1のアクチュエータシステム5のための制御コマンド42はそのために、捕捉された画像表現21l、21rに基づいて推定される。この方法については、概説の中で例としてすでに説明した。
【0043】
画像表現21l、21rの捕捉中に設定される顕微鏡パラメータ43もまた、訓練済み機械学習方法30への、特に訓練済みニューラルネットワーク31への入力データとして追加的に供給されるようになされ得る。これらの顕微鏡パラメータ43はまた、実際の顕微鏡パラメータと呼ぶこともできるが、それは、これらが画像表現21l、21rの捕捉中の手術顕微鏡1の構成の実際の状態を表しているからである。これらの実際の顕微鏡パラメータ43は、特に手術顕微鏡1のフォーカス、倍率、及び/又はセンタリングに関するパラメータを含む。
【0044】
手術の種類22及び/又は手術のフェーズ23が検出及/又は受信され、訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31への入力データとして供給されるようになされ得る。この目的のために、手術顕微鏡1はインタフェース9-1を有し、それを用いて手術の種類22及び/又は手術のフェーズ23を検出及び/又は受信できる。検出のために、インタフェース9-1は例えばユーザインタフェース9-2として設計され、それによってユーザ、特に外科医又は助手は、手術の種類22及び/又はフェーズ23を入力できる。代替的又は追加的に、手術の種類22及び/又はフェーズ23はまた、例えば手術計画を提供する手術プランニングシステムに問い合わせ、及び/又はそれによって利用可能にすることもできる。
【0045】
また、手術の種類22及び/又は手術のフェーズ23が検出及び/又は受信されるようにもなされ、訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31及び/又はコンピュータビジョン評価法方法は複数の訓練済み機械学習方法30、特に複数の訓練済みニューラルネットワーク31、及び/又はコンピュータビジョン評価方法から、手術の種類22及び/又は手術のフェーズ23に応じて選択され、選択された訓練済み機械学習方法30、特に選択された訓練済みニューラルネットワーク31、及び/又は選択されたコンピュータビジョン評価方法が使用される。
【0046】
訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31及び/又はコンピュータビジョン評価方法が各々の推定出力の信頼値を推定し、提供するようになされ得て、提供された信頼値は指定された閾値44と比較され、この方法は、提供された信頼値が指定された閾値44より低ければ中止される。訓練済み機械学習方法30の、特に訓練済みニューラルネットワーク31の、及び/又はコンピュータビジョン評価方法の出力は、推定された手術標的物20と、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41、並びに/又はアクチュエータシステム5のための制御コマンド42の両方を含むことができる。特に、推定の信頼値はそれぞれの出力値について提供され、指定された閾値44と比較される。したがって、信頼値と指定された閾値44はまた、それぞれの出力値に応じた複数のエントリを有するベクトルとして構成することもできる。それによって、手術顕微鏡1の構成は、手術標的物20の識別中及び/又は推定中に最低限のセキュリティが守られる場合のみ変更される。そうでなければ、手術顕微鏡の構成は変更されない。
【0047】
開始コマンド24が入力として検出されるようになされ得て、画像表現21l、21rの捕捉、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41並びに/又は制御コマンド42の識別と推定、及び制御は、開始コマンド24が検出されると開始される。この目的のために、手術顕微鏡1はユーザインタフェース9-2を有する。これは例えば、ボタンの形態の操作要素を含み得て、それを用いてこの方法の措置を開始するための開始コマンド24がユーザによって、特に外科医又は助手によって発出されることが可能である。
【0048】
図2は、少なくとも1つの機械学習方法、特に訓練済みの少なくとも1つのニューラルネットワークの訓練フェーズのシーケンスを説明するための概略的フローチャートを示す。
【0049】
訓練データセットは、措置100でコンパイルされる。この場合、左及び右側で捕捉される画像表現(ステレオ画像表現)は注釈付きの、すなわちグラウンドトゥルースにリンクされたペアで提供される。画像表現は、手術標的物(例えば、眼の角膜輪部の中心、開頭術におけるグリオーマ等)を示す。設計によって、注釈は最適な顕微鏡パラメータ(例えば、最適な顕微鏡ヘッドのx-y-z位置及びレンズ位置、又は画像生成光学ユニットの倍率仕様:7.5x等)及び/又は顕微鏡パラメータの変更(例えば、差値の形態であり、例えばx-y-z位置の差:x方向に200μm、y方向に-400μm、等)及び/又は手術顕微鏡のアクチュエータシステムのための制御コマンドを含む。最適な顕微鏡パラメータは、特に手作業で手術顕微鏡の所望の最適な構成に基づいて特定される。換言すれば、特に手作業で、特にどの構成を用いて手術標的物に対して最適な作業を実行できる、又はすべきであるかが定義される。それぞれの目標の構成は、毎回適切なペアとして捕捉された画像表現に注釈を付けるためのグラウンドトゥルースとして使用される。
【0050】
また、訓練データセットがさらなるデータを含むようにもなされ得る。これによって特に、推定中の正確さを高めることができる。さらなるデータは特に、それぞれの画像表現ペア(ステレオ画像表現)の捕捉中の手術顕微鏡の実際の状態又は実際の構成を説明する顕微鏡パラメータであり得る。特に、これらはフォーカス(例えば、z位置の形態であり、
図1を参照されたい)、倍率(例えば、3.2x等)、及び顕微鏡ヘッドのセンタリング又は位置(例えば、顕微鏡ヘッドのx-y位置)の実際の状態である。さらなるデータはまた、手術顕微鏡の特性(例えば、対物レンズの種類、例えば200f等)も含み得る。
【0051】
措置101で、ペアで提供される画像表現は訓練される機械学習方法への入力データとして供給される。機械学習方法の推定される出力はすると、グラウンドトゥルースと比較されて、比較結果に基づいて機械学習方法のパラメータが設定される。これは、訓練データセット全体に対して、既知の方法で、例えば教師あり学習により複数のイテレーションで行われる。訓練は、推定時に所定のみ機能品質が達成されるまで続けられる。訓練データセットはまた、2つの部分に分割でき、一方の部分は訓練のために使用され、他方の部分は機能品質の試験に使用される。
【0052】
措置102で、訓練済み機械学習方法は、特に構造的な説明及びパラメータ(フィルタパラメータ、重み付け等)の形態であり、手術顕微鏡の制御装置のメモリにロードされる。制御装置は次に、訓練済み機械学習方法を適用して、その機能を利用可能にすることができる。
【0053】
複数の手術標的物のための1つの機械学習方法が訓練され、使用されるようになされ得る。しかしながら、手術の種類及び/又はフェーズに応じて特に訓練された機械学習方法を訓練し、それらを選択し、それぞれの用途のために利用可能にするようにもなされ得る。これによって、特化された機械学習方法を適用する際に必要な計算力を縮小できる。
【0054】
機械学習方法は、特に少なくとも1つのニューラルネットワーク、特に少なくとも1つの回帰ニューラルネットワークを含む。
【0055】
図3は、手術顕微鏡の動作方法のある実施形態の概略的フローチャートを示す。方法の措置は、例えば手術顕微鏡のユーザインタフェースで開始コマンドが検出されるとすぐに、200から始まる。
【0056】
措置を開始した後、措置201、202で、捕捉領域の左側画像表現が手術顕微鏡の左側カメラにより捕捉され、それと同時に、捕捉領域の右側画像表現が手術顕微鏡の右側カメラにより捕捉される。
【0057】
措置203で、捕捉された画像表現中の(手術)標的物は、少なくとも1つの訓練済み機械学習方法によって、特に少なくとも1つの訓練済みニューラルネットワークによって、捕捉された画像表現に基づいて識別される。手術標的物は例えば、眼の角膜輪部又はグリオーマであり得る。
【0058】
措置204は、手術標的物を識別する際の信頼度が指定された閾値を超えるか否かをチェックする。信頼値はここでは、各出力について、特に少なくとも1つの訓練済み機械学習方法によって推定され、提供される。例えば、複数の考え得る手術標的物について、特定の種類の手術標的物が(画像表現中の推定された位置に)存在するそれぞれの可能性が推定され、信頼値は確率の各々について推定される。典型的に、最も高い(信頼度としての)確率値が示された手術標的物が結果の中から選択される。この確率値又は推定された信頼度は、その後、指定された閾値と比較される。
【0059】
推定された信頼度が指定された閾値に到達しない場合、措置205で方法は成功せずに中止され、終了される。それに対応するエラーメッセージが、例えば手術顕微鏡の表示装置上に出力されるようになされ得る。
【0060】
他方で、推定された信頼度が指定された閾値に到達したか、又はそれを超える場合、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドが措置206で少なくとも1つの訓練済み機械学習方法によって、特に少なくとも1つの訓練済みニューラルネットワークによって推定される。
【0061】
措置203及び206は、(単一の)訓練済み機械学習方法により実行できる。しかしながら、措置203及び206が2つの別々の訓練済み機械学習方法によって実行されるようにもなされ得る。
【0062】
措置207は、推定された最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドが設定可能であるか否かがチェックされる。例えば、手術顕微鏡の所望の目標の構成が、例えば最適なセンタリングに必要な顕微鏡ヘッドの移動が可動範囲から外れることから、アクチュエータシステムのための制御コマンドの考え得るパラメータ範囲に含まれないこと等が起こり得る。
【0063】
目標の構成を設定できない場合、方法は措置205で成功せずに中止され、終了される。それに対応するエラーメッセージが、例えば手術顕微鏡の表示装置に出力されるようになされ得る。
【0064】
それに対して、目標の構成を設定できる場合は、措置208で目標の構成が設定される。この目的のために、少なくとも1つの機械学習方法によって、特に少なくとも1つのニューラルネットワークによって推定されたものに応じて、手術顕微鏡のアクチュエータシステムのための制御コマンドが推定された顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から生成され、アクチュエータシステムに送信される。他方で、制御コマンドが少なくとも1つの訓練済み機械学習方法によって、特に訓練済みの少なくとも1つのニューラルネットワークによって推定された場合、推定された制御コマンドはアクチュエータシステムに供給される。
【0065】
目標の構成が設定されると、方法は措置209で成功裏に終了される。ここで、それに対応する成功通知が、例えば手術顕微鏡の表示装置に出力されるようになされ得る。
【0066】
この方法と手術顕微鏡により、手術顕微鏡は、認識された手術標的物にとって最適な顕微鏡パラメータに合わせて自動的に構成されることが可能となる。このことは、手術中のワークフローを改善できる。
【符号の説明】
【0067】
1 手術顕微鏡
2 左側カメラ
3 右側カメラ
4 顕微鏡ヘッド
5 アクチュエータシステム
6 制御装置
6-1 コンピューティングデバイス
6-2 メモリ
6-3 インタフェース
6-4 インタフェース
7l 信号ライン(左側カメラ)
7r 信号ライン(右側カメラ)
8 信号ライン(アクチュエータシステム)
9-1 インタフェース
9-2 ユーザインタフェース
10 捕捉領域
20 (手術)標的物
21l 左側画像表現
21r 右側画像表現
22 手術の種類
23 手術のフェーズ
24 開始コマンド
30 訓練済みの機械学習方法
31 訓練済みのニューラルネットワーク
40 最適な顕微鏡パラメータ
41 顕微鏡パラメータの変更
42 制御コマンド
43 調整された顕微鏡パラメータ
44 閾値(信頼度の)
100~102 措置(訓練フェーズ)
200~209 方法の措置
【手続補正書】
【提出日】2023-07-03
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手術顕微鏡の動作方法及び手術顕微鏡に関する。
【背景技術】
【0002】
手術を支援するために手術顕微鏡を用いる場合、処置を開始する前に、手術標的物(例えば、眼の角膜輪部、開頭術中のグリオーマ等)に応じて顕微鏡パラメータを設定しなければならない。顕微鏡パラメータは特に、手術標的物に関する顕微鏡ヘッドの位置に関し、また、画像生成光学ユニットのパラメータにも関する。特に、顕微鏡パラメータは、焦点若しくは焦点面、倍率、及び/又は標的物へのセンタリングに関する。このような設定プロセスは通常、要求が厳しく、時間がかかる。
【0003】
米国特許出願公開第2019/0313902A1号明細書では、眼科手術中に、XY平面内手部患者の眼の視野を高倍率で自動的にセンタリングするための方法とシステムが開示されている。この方法は、視野の中心を、眼手術中に高倍率で患者の眼の視野から捕捉されたリアルタイムのビデオ信号の中で捕捉された円形画像の中心に自動的に移動させることを含む。
【0004】
米国特許第9479759B2号明細書では、オートフォーカス機能を備える光学ステレオ装置及びそれに対応する光学ステレオ装置のためのオートフォーカス方法が開示されている。光学ステレオ装置は、右眼の画像と左眼の画像を合成することによって関心対象物のステレオ画像を提供するようになされた画像生成手段と、画像生成手段に動作的に接続されて、右眼の画像と左眼の画像を受け取って、画像生成手段の焦点位置を設定するようになされた制御ユニットを有する。
【0005】
国際公開第2009/080790A1号パンフレットでは、眼の検査又は眼の治療中に特徴的な眼構成要素の半径及び/又は位置を確認する方法が開示されている。この方法では、眼の少なくとも一部分のデジタル画像がカメラにより記録される。この画像は、異なる大きさのリング状の比較物体と、リング状の比較物体が画像内の同じ半径のリング状の濃度段差と一致したときに画像と比較物体との一致が最良となるような方法で相関させられる。デジタル画像との局所一致レベルの高い比較物体が確認され、特徴的な眼構成要素の半径及び/又は位置が、一致度の高いこれらの比較物体から引き出される。
【0006】
独国特許出願公開第102014102080A1号明細書では、画像記録システムが開示されている。この画像記録システムは、画像記録のための複数の画像記録パラメータを自動的に設定する制御装置を含む。制御装置は、ルールセットを適用することによって複数の画像記録パラメータを設定するようになされる。制御装置は、このルールセットを自動的に学習又は採用するようになされる。
【0007】
独国特許出願公開第102018217903A1号明細書では、少なくとも1つの顕微鏡又は顕微鏡システムのワークフローを最適化する方法及び装置が開示されている。この方法及び装置は以下のステップを含む:少なくとも1つの顕微鏡及び/又は顕微鏡システムの1つ又は複数の構成要素を使ってワークフローを実行するステップであって、ワークフローは第1のデータを取得するステップと、訓練済みモデルを取得された第1のデータに適用するステップと、訓練済みモデルの適用に基づいてワークフローに関する少なくとも1つの決定を下すステップを含む、ステップ。
【0008】
独国特許出願公開第102018219867A1号明細書では、訓練済みモデルによって焦点位置を特定する方法及び装置が開示されている。この方法及び装置には、少なくとも1つの第1の画像の記録が含まれ、少なくとも1つの記録された第1の画像の画像データは、その少なくとも1つの第1の画像の記録中の少なくとも1つの第1の焦点位置に依存し、また、訓練済みモデルにより少なくとも1つの記録された第1の画像の解析に基づいて第2の焦点位置を特定することが含まれる。
【0009】
中国特許第111491151A号明細書では、顕微鏡下手術用3次元ビデオ再生方法が開示されている。この方法は、顕微鏡光学システムからリアルタイム視点画像を取得するステップと、深度マップを取得するステップと、深部マップをセグメント化して第1のマスク画像を構成するステップと、第1のマスク画像に対するマスク画像構成の実行と拡張の実行を繰り返し、動作を組み合わせて第4のマスク画像を取得するステップと、第4のマスク画像に含まれるマスク情報にしたがって二重視点で画像を分解するステップと、二重視点の画像をレンダリング及び合成して、顕微鏡画像システム上で表示できる3次元画像を取得するステップと、立体画像にしだかって立体ビデオを出力するステップと、を含み、光学フローに基づく標的検出アルゴリズムが顕微鏡下手術野内の手術器具の終端を追跡するために使用され、光学顕微鏡システムの動作距離が調整され、更新される。
【0010】
米国特許出願公開第2019/0324252A1号明細書では、自動ズーム制御機能を備える手術顕微鏡システムが開示されている。公開後の文献、独国特許出願公開第102019133174A1号明細書は、コンテキストに応じたホワイトバランスの方法が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0011】
本発明は、顕微鏡パラメータを自動的に特定し、設定できる手術顕微鏡の動作方法及び手術顕微鏡を提供する目的に基づく。
【課題を解決するための手段】
【0012】
本発明によれば、この目的は、特許請求項1の特徴を有する方法及び特許請求項8の特徴を有する手術顕微鏡によって達成される。本発明の有利な構成は、従属項からわかるであろう。
【0013】
本発明の基本的アイディアの1つは、少なくとも1つの訓練済みの機械学習方法及び/又はコンピュータビジョン評価方法を使って、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムの制御コマンドを、捕捉された左側画像表現及び捕捉された右側画像表現に基づいて推定するというものである。訓練済みの少なくとも1つの機械学習方法は特に、画像表現中の(手術)標的物を識別し、この標的物のための最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを推定する。推定は、特に1つのみの左側画像表現と1つのみの右側画像表現を用いて行われる。標的物を識別する際、特に標的物の種類と画像表現中の標的物の位置が識別又は特定される。標的物は例えば、眼の角膜輪部、開頭術でのグリオーマ等とすることができる。代替的又は追加的に、(手術)標的物は、画像表現の中で特にコンピュータビジョン評価方法によって識別される。標的物は、特に機械学習方法及び/又はコンピュータビジョン評価方法によって識別され、標的物の事前の予備的選択及び/若しくは選択並びに/又はマーキングは行われない。最適な顕微鏡パラメータは、特にその後捕捉される画像表現中で識別される標的物の提示に関して、すなわち手術顕微鏡の構成変更後に最適化される。換言すれば、顕微鏡パラメータは、手術標的物に対する最適な作業のために推定される。制御装置は、最適な顕微鏡パラメータ及び/又は顕微鏡パラメータの変更を設定するように手術顕微鏡のアクチュエータシステムを制御して、この目的のために制御コマンドを生成する。少なくとも1つの訓練済みの機械学習方法がすでに制御コマンドを推定している場合、これらは制御装置によって、手術顕微鏡のアクチュエータシステムの、それに対応する制御により実行される。
【0014】
特に、手術顕微鏡の動作方法が提供され、手術顕微鏡の捕捉領域の左側画像表現は手術顕微鏡の左側カメラにより捕捉され、捕捉領域の右側画像表現は手術顕微鏡の右側カメラにより捕捉され、捕捉された左側画像表現と捕捉された右側画像表現は、手術顕微鏡の制御装置により提供される少なくとも1つの機械学習方法及び/又はコンピュータビジョン評価方法への入力データとして供給され、少なくとも1つの訓練済みの機械学習方法及び/又はコンピュータビジョン評価方法によって、捕捉された画像表現中の標的物が識別され、そのために最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドが捕捉された画像表現に基づいて推定され、手術顕微鏡のアクチュエータシステムのための制御コマンドは、制御装置によって、推定された最適な顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から生成され、及び/又はアクチュエータシステムは生成及び/又は推定された制御コマンドにしたがって制御される。
【0015】
さらに、特に、手術顕微鏡が提供され、これは、手術顕微鏡の捕捉領域の左側画像表現を捕捉するようになされた左側カメラと、捕捉領域の右側画像表現を捕捉するようになされた右側カメラと、顕微鏡パラメータにしたがって手術顕微鏡の構成を設定するようになされたアクチュエータシステムと、制御装置と、を含み、制御装置は、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を利用可能にし、捕捉された左側画像表現と捕捉された右側画像表現を少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法への入力データとして供給するようになされ、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、捕捉された画像表現中の標的物を識別し、そのための最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又はアクチュエータシステムのための制御コマンドを、捕捉された画像表現に基づいて推定し、提供するようになされ、及び/又は訓練され、制御装置はさらに、推定された最適な顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から手術顕微鏡のアクチュエータシステムのための制御コマンドを生成し、並びに/又は生成及び/若しくは推定された制御コマンドにしたがって手術顕微鏡のアクチュエータシステムを制御するようになされる。
【0016】
この方法及び手術顕微鏡の利点は、手術顕微鏡の調整をより素早く行えることである。少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを、特に1回のイテレーションで推定し、すなわち、中間のイテレーションは不要である。特に、最適化ループは不要であり、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドはその代わりに、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を1回適用すれば得られる。特に、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は(最適な顕微鏡パラメータを設定するための)制御コマンドを、(単一の)捕捉された左側画像表現及び(単一の)捕捉された右側画像表現に基づいて推定する。これによって、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドを特に迅速に、時間をかけずに推定して提供することが可能となる。標的物は、特に少なくとも1つの訓練済み機械学習方法及びコンピュータビジョン評価方法のみによって識別される。ここで、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は、捕捉された左側画像表現中及び捕捉された右側画像表現中の標的物を検出する。特に、標的物の事前の予備選択及び/若しくは選択並びに/又はマーキングは不要であり、そのため、識別と推定は特に、標的物の事前の予備選択及び/若しくは選択並びに/又はマーキングを行わずに実行される。位置の明示も不要であり、これは、識別及び推定が特に標的物の位置明示又は位置マーキングを行わずに実行されることを意味する。最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は(最適な顕微鏡パラメータを設定するための)制御コマンドは、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法によって、(単一の)左側画像表現及び(単一の)右側画像表現の捕捉後の時点で提供できる。特に、この方法及び手術顕微鏡により、手術顕微鏡を自動的に、手術標的物にとって最適な方法で、すなわち所望の、及び/又は好ましい目標の構成に自動的に構成できる。この方法を実行した後、外科医は手術を直接開始できるか、又は手術の中間ステップを開始できる。このようにして、制御コマンドを生成するために、特に画像表現の時間的シーケンス又はビデオシーケンスを記録又は捕捉する必要はない。特に、ステレオ画像表現の単一の右側又は左側画像表現があれば、制御コマンドを生成するのに十分であり得る。
【0017】
手術顕微鏡は特に立体手術顕微鏡であり、この場合、左及び右のビーム経路によって捕捉領域の立体捕捉が可能となる。左側ビーム経路により、捕捉領域を左側カメラにより捕捉できる。右側ビーム経路により、捕捉領域を右側カメラにより捕捉できる。これによって、左側画像表現と右側画像表現の捕捉が可能となる。このプロセスで生じる視差効果により、特に捕捉領域の深度情報を取得することも可能である、この情報もまた、特に少なくとも1つの訓練済み機械学習方法によって評価される。
【0018】
手術顕微鏡のアクチュエータシステムは、特にアクチュエータ及び/又はモータを含む。特に、顕微鏡ヘッドの位置は、手術顕微鏡のアクチュエータシステムによって変更でき、顕微鏡ヘッドは特に、手術顕微鏡の画像生成光学ユニットを含む。さらに、特に手術顕微鏡の画像生成光学ユニットのレンズの位置はアクチュエータシステムによって変更できる。アクチュエータシステムは、制御装置によって開及び/又は閉ループで制御され、アクチュエータシステムは、このために実際の状態を捕捉するためのセンサシステムを有することができる。
【0019】
顕微鏡パラメータは特に、顕微鏡ヘッドの(例えば、x、y、及びz方向への)位置、及び画像生成光学ユニットのパラメータ(例えば、倍率等)も含む。特に顕微鏡パラメータは焦点若しくは焦点面、倍率、及び/又は標的物上へのセンタリングに関する。フォーカスは、標的物からの顕微鏡ヘッドの位置を(特にz方向への移動によって)変更することによって実現される。センタリングは特に、顕微鏡ヘッドの位置を変化させることによって実行され、顕微鏡ヘッドは特に物体面に平行な平面(xy平面とも呼ばれる)内で移動される。倍率は特に、手術顕微鏡の画像生成光学ユニット内のレンズのレンズ位置を変更することによって実現される。
【0020】
顕微鏡パラメータの変更は特に、顕微鏡パラメータに関する差値を指し、これは、最適な顕微鏡パラメータ(目標の顕微鏡パラメータ又は目標の構成)を実現するために現在の顕微鏡パラメータ(実際の顕微鏡パラメータ)に基づいて設定しなければならない。
【0021】
アクチュエータシステム制御コマンドは特に、最適な顕微鏡パラメータ(目標の顕微鏡パラメータ)を実現するために現在の顕微鏡パラメータ(実際の顕微鏡パラメータ)に基づいて設定しなければならない制御コマンドである。
【0022】
制御装置の各部は、個別に、又はハードウェアとソフトウェアの組合せとして一緒に、例えばマイクロコントローラ又はマイクロプロセッサ上で実行されるプログラムコードの形態で具現化できる。しかしながら、各部を個別に、又は特定用途集積回路(ASIC)若しくはフィールドプログラマブルゲートアレイ(FPGA)として一緒に設計することも可能であり得る。特に、制御装置は少なくとも1つのコンピューティングデバイスと少なくとも1つのメモリを含む。
【0023】
訓練済み機械学習方法は、少なくとも1つの訓練データセットを使って訓練されるか、又はその方法に先立つ訓練フェーズの過程ですでに訓練されている。このような訓練データセットは、右及び左画像表現のペアを含み、これらは少なくとも最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドで注釈が付けられる。注釈は、少なくとも1つの機械学習方法を訓練するときのグラウンドトゥルースを形成する。また、手術標的の種類とペア画像表現の中の位置が注釈又はグラウンドトゥルースとして明示されるようにもなされ得る。訓練自体は馴染み深い方法で、例えば教師あり学習によって行われる。最適な顕微鏡パラメータは、特に手作業で、手術顕微鏡の所望の最適な構成に基づいて特定又は定義される。換言すれば、特に手作業で、どの構成を用いて手術標的物に対して最適な作業を実行できる、又はすべきであるかが定義される。それぞれの目標の構成は、毎回適切なペアとして捕捉された画像表現に注釈を付けるためのグラウンドトゥルースとして使用される。
【0024】
代替案として、標的物は、捕捉された画像表現の中で、代替的又は追加的に(少なくとも1つの)コンピュータビジョン評価方法によって識別され、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドはそのために、捕捉された画像表現に基づいて推定される。以下の説明文では、コンピュータビジョン評価方法の実施形態が例として、標的物に眼の角膜輪部を用いて説明される。左側及び右側画像表現が捕捉された後、複数のリング状テンプレート(画像表現)が捕捉された画像表現に信号を使って相関させられる。特に、ここでは捕捉された画像表現との局所相関が行われる。テンプレート(画像表現)は、それぞれの場合で、異なる大きさ(又は異なる直径)のリングを含むか又は包含する。テンプレート(画像表現)の1つと捕捉された画像表現との間の相関値が大きい場合、ここでは一致を意味する。最大の相関値は、捕捉された画像表現における角膜輪部の位置及び半径を特定する。相関値が指定された閾値より大きい場合、(手術)標的物、この場合は角膜輪部、の認識が成功している。そうでなければ、(手術)標的物、すなわち角膜輪部は捕捉された画像表現の中で認識できない。この場合、方法は特に、成功しないまま終了される。最も高い相関値の結果はすると、2つの捕捉された画像表現の中の角膜輪部の中心位置(これは特に、テンプレート中、相関値が最も大きい位置におけるそれぞれのリングの中心点である)を特定するために使用できる。このようにして識別された(手術)標的物からスタートして、2つの捕捉された画像表現中の角膜輪部の中心位置から始まる例においては、その後、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドを推定できる。例えば、特定されたそれぞれの中心位置は、カメラのそれぞれの捕捉領域の中心へと移動させることができる。捕捉された眼の画像表現の中で角膜輪部を見つけることは、例えば国際公開第2009/080790A1号パンフレットに記載されている。他の(手術)標的物を識別する場合は、すると、特にそのために構成され、及び/又はそれに適したテンプレート(画像表現)が使用される。しかしながら、他の(手術)標的物のための手順も基本的に同じである。
【0025】
1つの実施形態において、画像表現の捕捉中に設定される顕微鏡パラメータもまた、少なくとも1つの訓練済み機械学習方法への入力データとして追加的に供給されるようになされる。それによって、特に実際の顕微鏡パラメータが2つの画像表現の捕捉中に少なくとも1つの訓練済み機械学習方法に供給される。これは、顕微鏡パラメータを推定するとき並びに/又は顕微鏡パラメータ及び/若しくは制御コマンドを変更するときの正確さを高めることができる。したがって、このような実際の顕微鏡パラメータはまた、少なくとも1つの機械学習方法の訓練フェーズ中に、訓練データ中の画像表現ペアのためのそれぞれの注釈又はグラウンドトゥルースとしてすでに考慮されている。特に、このように考慮することにより、同様の手術標的物の、特に異なる倍率レベルではなく、異なるサイズスケールの管理を改善できる。
【0026】
1つの実施形態において、手術の種類及び/又は手術のフェーズが検出及び/又は受信されるようになされ、訓練済み機械学習方法への入力データとして供給される。これによって、手術標的物の識別と、顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定の正確さを高めることができる。手術の種類及び/又は手術のフェーズは例えば、ユーザインタフェースによってユーザに問い合わせ、及び/又は検出することができる。また、手術の種類及び/又は手術のフェーズを他のソースから取得することもできる。例えば、データベースはこの情報を提供でき、及び/又はこの情報は手術計画及び/又は手術ログから検索することができる。手術の種類及び/又は手術のフェーズはすると、それぞれの画像表現ペアにリンクされるグラウンドトゥルースとして訓練フェーズ中にすでに考慮される。
【0027】
1つの実施形態において、手術の種類及び/又は手術のフェーズが検出及び/又は受信されるようになされ、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法は手術の種類及び/又は手術のフェーズに応じて、複数の訓練済み機械学習方法及び/又はコンピュータビジョン評価方法から選択され、選択された少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法が使用される。それによって、その手術の種類及び/又はその手術のフェーズのために特化された機械学習方法及び/又はコンピュータビジョン評価方法を選択し、利用可能にできる。これによって、正確さを高めることができる。さらに、特化された機械学習方法には典型的に、適用中に必要な計算力がより少なくてよく、これによってリソースの節約できる。特に、特化された機械学習方法は通常、より迅速に行うことができる。したがって、手術の種類及び/又はフェーズのために特化された複数の機械学習方法がそれに対応して生成されるか、又は訓練フェーズで訓練される。
【0028】
手術顕微鏡の対応する実施形態では、手術顕微鏡が少なくとも1つのインタフェースを有するようになされ、少なくとも1つのインタフェースは、手術の種類及び/又は手術のフェーズを検出及び/又は受信するようになされ、制御装置はさらに、手術の種類及び/又は手術のフェーズを少なくとも1つの訓練済み機械学習方法への入力データとして供給し、及び/又は手術の種類及び/又は手術のフェーズに応じて複数の訓練済み機械学習方法及び/又はコンピュータビジョン評価方法から少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を選択して、選択された少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法を使用のために利用可能にするようになされる。少なくとも1つのインタフェースは、例えばディスプレイ及びオペレーティングデバイスの形態のユーザインタフェースとすることができる。代替的又は追加的に、インタフェースはまた、データ処理システムに接続するために使用でき、これは例えば、手術計画を提供し、手術の種類及び/又は手術のフェーズを手術計画に基づいてインタフェースに供給する。
【0029】
1つの実施形態において、少なくとも1つの訓練済み機械学習方法及び/又はコンピュータビジョン評価方法が各推定出力に関する信頼値を推定し、提供するようになされ、提供された信頼値は指定された閾値と比較され、この方法は、提供された信頼値が指定された閾値より低い場合、中止される。それによって、手術標的物の識別、並びに/又は顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定が指定された信頼度を有することを確実にすることができ、顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドは、十分な信頼度に達した場合のみ設定又は変更される。特に、これによって手術顕微鏡の誤った操作制御又は故障を防止できる。信頼値及び閾値はまた、各々が複数のエントリを有するベクトルの形態とすることもできる。すると、エントリは相互に個別に比較される。
【0030】
1つの実施形態において、開始コマンドが入力として検出されるようになされ、画像表現の捕捉、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの識別と推定、及び制御は、開始コマンドが検出されると開始される。これによって、ユーザ、特に外科医又は助手が希望すればいつでも方法を開始できる。
【0031】
手術顕微鏡の対応する実施形態において、手術顕微鏡はユーザインタフェースを有し、ユーザインタフェースは入力として開始コマンドを検出するようになされ、制御装置は、開始コマンドが検出されると、画像表現の捕捉、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドの推定、及び制御を開始するようになされる。ユーザインタフェースは、例えば操作要素、例えばボタンを含み得て、それを用いて方法を開始できる。特に、ユーザインタフェースにより、特にボタンにより、倍率、フォーカス、及び/又は手術標的物上へのセンタリングの自動設定をこの方法にしたがって開始できる。
【0032】
1つの実施形態において、少なくとも1つの訓練済み機械学習方法は少なくとも1つの訓練済みニューラルネットワークを含むようになされる。特に、訓練済みニューラルネットワークは、訓練済み回帰ニューラルネットワーク(CNN)とすることかできる。しかしながら、原則としてその他の機械学習方法も使用できる。
【0033】
手術顕微鏡の構成に関するその他の特徴は方法の構成の説明から明らかとなる。ここで、手術顕微鏡の利点もそれぞれ、方法の構成と同じである。
【0034】
以下に、図面を参照しながら好ましい例示的実施形態に基づいて本発明をより詳しく説明する。
【図面の簡単な説明】
【0035】
【
図1】手術顕微鏡の1つの実施形態の概略図を示す。
【
図2】機械学習方法の訓練フェーズを説明するための概略的フローチャートを示す。
【
図3】手術顕微鏡の動作方法のある実施形態の概略的フローチャートを示す。
【発明を実施するための形態】
【0036】
図1は、手術顕微鏡1の1つの実施形態の概略図を示す。手術顕微鏡1は、左側カメラ2、右側カメラ3、及びアクチュエータシステム5を含み、これらは顕微鏡ヘッド4の中に配置される。左側カメラ2と右側カメラ3は、立体画像生成光学ユニットのビーム経路上に配置される。アクチュエータシステム5は例えば、アクチュエータとステップモータを含む。さらに、手術顕微鏡1は制御装置6を含む。制御装置6は、コンピューティングデバイス6-1とメモリ6-2を含む。コンピューティングデバイス6-1は、少なくとも1つのマイクロプロセッサを含む。コンピューティングデバイス6-1は、メモリ6-2に記憶されたデータにアクセスでき、データに対する演算動作を実行できる。特に、コンピューティングデバイス6-1は、メモリ6-2に記憶されたプログラムコードを実行して、本開示に記載された方法の措置を実行する。制御装置6はインタフェース6-3、6-4をさらに含み、これらは信号ライン7l、7r、8を介してカメラ2、3及びアクチュエータシステム5に接続される。
【0037】
以下の説明文の中で、手術顕微鏡1の動作方法のある実施形態を、手術顕微鏡1を使って説明する。
【0038】
手術標的物20は、手術顕微鏡1の捕捉領域10内に配置される。これは例えば、眼の角膜輪部又は開頭術におけるグリオーマ等とすることができる。
【0039】
捕捉領域10の左側画像表現21lは左側カメラ2によって捕捉される。右側カメラ3により、捕捉領域10の右側画像表現21rが、特に同時に捕捉される。画像表現21l、21rは合同で特に立体画像表現を形成する。捕捉された画像表現21l、21rは、制御装置6にインタフェース6-3を介して供給される。
【0040】
制御装置6は、訓練済み機械学習方法30を利用可能にする。この目的のために、訓練済み機械学習方法30の説明がメモリ6-2に記憶され、コンピューティングデバイス6-1によって提供されるように実行される。特に、訓練済み機械学習方法30は訓練済みニューラルネットワーク31、特に回帰ニューラルネットワークを含む。ニューラルネットワーク31の構造的な説明とパラメータ(フィルタパラメータ、重み付け等)はメモリ6-2に記憶される。コンピューティングデバイス6-2は、その構造的な説明とパラメータにしたがって訓練済みニューラルネットワーク31を利用可能にするか、又はそれらにしたがって実行する。
【0041】
捕捉された左側画像表現21lと捕捉された右側画像表現21rは、利用可能な状態とされた訓練済み機械学習方法30への、特に訓練済みニューラルネットワーク31への入力データとして供給される。
【0042】
訓練済み機械学習方法30により、特に訓練済みニューラルネットワーク31により、捕捉された画像表現21l、21r内の標的物20が識別され、そのために最適な顕微鏡パラメータ40並びに/又は顕微鏡パラメータ40及び/若しくは手術顕微鏡1のアクチュエータシステム5のための制御コマンド42の変更41が、捕捉された画像表現21l、21rに基づいて推定される。
【0043】
訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31によって、最適な顕微鏡パラメータ40及び/又は顕微鏡パラメータ40の変更41が推定されるか、又は制御コマンド42が推定されるかは、訓練済み機械学習方法30がどのように設計されているか、すなわち少なくとも1つの機械学習方法30がどのような構造であり、訓練フェーズでそれが何のために訓練されたかによって決まる。
【0044】
最適な顕微鏡パラメータ40及び/又は顕微鏡パラメータ40の変更41が推定された場合、手術顕微鏡1のアクチュエータシステム5のための制御コマンドは、制御装置6により、推定された最適な顕微鏡パラメータ40及び/又は推定された顕微鏡パラメータ40の変更41から生成される。制御装置6は、生成された制御コマンド42にしたがってアクチュエータシステム5を制御する。
【0045】
制御コマンド42がアクチュエータシステム4のために推定された場合、制御装置6は推定された制御コマンド42にしたがってアクチュエータシステム4を制御する。
【0046】
最適な顕微鏡パラメータ40は、特に顕微鏡ヘッド5のフォーカス、倍率、及びセンタリングのためのパラメータを含む。フォーカスのためのパラメータは特に、顕微鏡ヘッド4をz方向に移動させることによって設定される。倍率パラメータは、特に顕微鏡ヘッド4の中の画像生成光学ユニット内のレンズの位置を変更することによって設定される。顕微鏡ヘッド4のセンタリングのためのパラメータは、特に顕微鏡ヘッド4をx-y方向に移動させることによって設定される。原則として、最適な顕微鏡パラメータ40はまた、手術顕微鏡1のその他のパラメータ、例えば手術顕微鏡の光源に関するパラメータ及び/又はカメラのパラメータ等も含み得る。
【0047】
代替的又は追加的に、標的物20は捕捉された画像表現21l、21rの中で、1つの(少なくとも1つの)コンピュータビジョン評価方法によって識別され、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41並びに/又は手術顕微鏡1のアクチュエータシステム5のための制御コマンド42はそのために、捕捉された画像表現21l、21rに基づいて推定される。この方法については、概説の中で例としてすでに説明した。
【0048】
画像表現21l、21rの捕捉中に設定される顕微鏡パラメータ43もまた、訓練済み機械学習方法30への、特に訓練済みニューラルネットワーク31への入力データとして追加的に供給されるようになされ得る。これらの顕微鏡パラメータ43はまた、実際の顕微鏡パラメータと呼ぶこともできるが、それは、これらが画像表現21l、21rの捕捉中の手術顕微鏡1の構成の実際の状態を表しているからである。これらの実際の顕微鏡パラメータ43は、特に手術顕微鏡1のフォーカス、倍率、及び/又はセンタリングに関するパラメータを含む。
【0049】
手術の種類22及び/又は手術のフェーズ23が検出及/又は受信され、訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31への入力データとして供給されるようになされ得る。この目的のために、手術顕微鏡1はインタフェース9-1を有し、それを用いて手術の種類22及び/又は手術のフェーズ23を検出及び/又は受信できる。検出のために、インタフェース9-1は例えばユーザインタフェース9-2として設計され、それによってユーザ、特に外科医又は助手は、手術の種類22及び/又はフェーズ23を入力できる。代替的又は追加的に、手術の種類22及び/又はフェーズ23はまた、例えば手術計画を提供する手術プランニングシステムに問い合わせ、及び/又はそれによって利用可能にすることもできる。
【0050】
また、手術の種類22及び/又は手術のフェーズ23が検出及び/又は受信されるようにもなされ、訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31及び/又はコンピュータビジョン評価法方法は複数の訓練済み機械学習方法30、特に複数の訓練済みニューラルネットワーク31、及び/又はコンピュータビジョン評価方法から、手術の種類22及び/又は手術のフェーズ23に応じて選択され、選択された訓練済み機械学習方法30、特に選択された訓練済みニューラルネットワーク31、及び/又は選択されたコンピュータビジョン評価方法が使用される。
【0051】
訓練済み機械学習方法30、特に訓練済みニューラルネットワーク31及び/又はコンピュータビジョン評価方法が各々の推定出力の信頼値を推定し、提供するようになされ得て、提供された信頼値は指定された閾値44と比較され、この方法は、提供された信頼値が指定された閾値44より低ければ中止される。訓練済み機械学習方法30の、特に訓練済みニューラルネットワーク31の、及び/又はコンピュータビジョン評価方法の出力は、推定された手術標的物20と、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41、並びに/又はアクチュエータシステム5のための制御コマンド42の両方を含むことができる。特に、推定の信頼値はそれぞれの出力値について提供され、指定された閾値44と比較される。したがって、信頼値と指定された閾値44はまた、それぞれの出力値に応じた複数のエントリを有するベクトルとして構成することもできる。それによって、手術顕微鏡1の構成は、手術標的物20の識別中及び/又は推定中に最低限のセキュリティが守られる場合のみ変更される。そうでなければ、手術顕微鏡の構成は変更されない。
【0052】
開始コマンド24が入力として検出されるようになされ得て、画像表現21l、21rの捕捉、最適な顕微鏡パラメータ40及び/若しくは顕微鏡パラメータ40の変更41並びに/又は制御コマンド42の識別と推定、及び制御は、開始コマンド24が検出されると開始される。この目的のために、手術顕微鏡1はユーザインタフェース9-2を有する。これは例えば、ボタンの形態の操作要素を含み得て、それを用いてこの方法の措置を開始するための開始コマンド24がユーザによって、特に外科医又は助手によって発出されることが可能である。
【0053】
図2は、少なくとも1つの機械学習方法、特に訓練済みの少なくとも1つのニューラルネットワークの訓練フェーズのシーケンスを説明するための概略的フローチャートを示す。
【0054】
訓練データセットは、措置100でコンパイルされる。この場合、左及び右側で捕捉される画像表現(ステレオ画像表現)は注釈付きの、すなわちグラウンドトゥルースにリンクされたペアで提供される。画像表現は、手術標的物(例えば、眼の角膜輪部の中心、開頭術におけるグリオーマ等)を示す。設計によって、注釈は最適な顕微鏡パラメータ(例えば、最適な顕微鏡ヘッドのx-y-z位置及びレンズ位置、又は画像生成光学ユニットの倍率仕様:7.5x等)及び/又は顕微鏡パラメータの変更(例えば、差値の形態であり、例えばx-y-z位置の差:x方向に200μm、y方向に-400μm、等)及び/又は手術顕微鏡のアクチュエータシステムのための制御コマンドを含む。最適な顕微鏡パラメータは、特に手作業で手術顕微鏡の所望の最適な構成に基づいて特定される。換言すれば、特に手作業で、特にどの構成を用いて手術標的物に対して最適な作業を実行できる、又はすべきであるかが定義される。それぞれの目標の構成は、毎回適切なペアとして捕捉された画像表現に注釈を付けるためのグラウンドトゥルースとして使用される。
【0055】
また、訓練データセットがさらなるデータを含むようにもなされ得る。これによって特に、推定中の正確さを高めることができる。さらなるデータは特に、それぞれの画像表現ペア(ステレオ画像表現)の捕捉中の手術顕微鏡の実際の状態又は実際の構成を説明する顕微鏡パラメータであり得る。特に、これらはフォーカス(例えば、z位置の形態であり、
図1を参照されたい)、倍率(例えば、3.2x等)、及び顕微鏡ヘッドのセンタリング又は位置(例えば、顕微鏡ヘッドのx-y位置)の実際の状態である。さらなるデータはまた、手術顕微鏡の特性(例えば、対物レンズの種類、例えば200f等)も含み得る。
【0056】
措置101で、ペアで提供される画像表現は訓練される機械学習方法への入力データとして供給される。機械学習方法の推定される出力はすると、グラウンドトゥルースと比較されて、比較結果に基づいて機械学習方法のパラメータが設定される。これは、訓練データセット全体に対して、既知の方法で、例えば教師あり学習により複数のイテレーションで行われる。訓練は、推定時に所定のみ機能品質が達成されるまで続けられる。訓練データセットはまた、2つの部分に分割でき、一方の部分は訓練のために使用され、他方の部分は機能品質の試験に使用される。
【0057】
措置102で、訓練済み機械学習方法は、特に構造的な説明及びパラメータ(フィルタパラメータ、重み付け等)の形態であり、手術顕微鏡の制御装置のメモリにロードされる。制御装置は次に、訓練済み機械学習方法を適用して、その機能を利用可能にすることができる。
【0058】
複数の手術標的物のための1つの機械学習方法が訓練され、使用されるようになされ得る。しかしながら、手術の種類及び/又はフェーズに応じて特に訓練された機械学習方法を訓練し、それらを選択し、それぞれの用途のために利用可能にするようにもなされ得る。これによって、特化された機械学習方法を適用する際に必要な計算力を縮小できる。
【0059】
機械学習方法は、特に少なくとも1つのニューラルネットワーク、特に少なくとも1つの回帰ニューラルネットワークを含む。
【0060】
図3は、手術顕微鏡の動作方法のある実施形態の概略的フローチャートを示す。方法の措置は、例えば手術顕微鏡のユーザインタフェースで開始コマンドが検出されるとすぐに、200から始まる。
【0061】
措置を開始した後、措置201、202で、捕捉領域の左側画像表現が手術顕微鏡の左側カメラにより捕捉され、それと同時に、捕捉領域の右側画像表現が手術顕微鏡の右側カメラにより捕捉される。
【0062】
措置203で、捕捉された画像表現中の(手術)標的物は、少なくとも1つの訓練済み機械学習方法によって、特に少なくとも1つの訓練済みニューラルネットワークによって、捕捉された画像表現に基づいて識別される。手術標的物は例えば、眼の角膜輪部又はグリオーマであり得る。
【0063】
措置204は、手術標的物を識別する際の信頼度が指定された閾値を超えるか否かをチェックする。信頼値はここでは、各出力について、特に少なくとも1つの訓練済み機械学習方法によって推定され、提供される。例えば、複数の考え得る手術標的物について、特定の種類の手術標的物が(画像表現中の推定された位置に)存在するそれぞれの可能性が推定され、信頼値は確率の各々について推定される。典型的に、最も高い(信頼度としての)確率値が示された手術標的物が結果の中から選択される。この確率値又は推定された信頼度は、その後、指定された閾値と比較される。
【0064】
推定された信頼度が指定された閾値に到達しない場合、措置205で方法は成功せずに中止され、終了される。それに対応するエラーメッセージが、例えば手術顕微鏡の表示装置上に出力されるようになされ得る。
【0065】
他方で、推定された信頼度が指定された閾値に到達したか、又はそれを超える場合、最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は手術顕微鏡のアクチュエータシステムのための制御コマンドが措置206で少なくとも1つの訓練済み機械学習方法によって、特に少なくとも1つの訓練済みニューラルネットワークによって推定される。
【0066】
措置203及び206は、(単一の)訓練済み機械学習方法により実行できる。しかしながら、措置203及び206が2つの別々の訓練済み機械学習方法によって実行されるようにもなされ得る。
【0067】
措置207は、推定された最適な顕微鏡パラメータ及び/若しくは顕微鏡パラメータの変更並びに/又は制御コマンドが設定可能であるか否かがチェックされる。例えば、手術顕微鏡の所望の目標の構成が、例えば最適なセンタリングに必要な顕微鏡ヘッドの移動が可動範囲から外れることから、アクチュエータシステムのための制御コマンドの考え得るパラメータ範囲に含まれないこと等が起こり得る。
【0068】
目標の構成を設定できない場合、方法は措置205で成功せずに中止され、終了される。それに対応するエラーメッセージが、例えば手術顕微鏡の表示装置に出力されるようになされ得る。
【0069】
それに対して、目標の構成を設定できる場合は、措置208で目標の構成が設定される。この目的のために、少なくとも1つの機械学習方法によって、特に少なくとも1つのニューラルネットワークによって推定されたものに応じて、手術顕微鏡のアクチュエータシステムのための制御コマンドが推定された顕微鏡パラメータ及び/又は推定された顕微鏡パラメータの変更から生成され、アクチュエータシステムに送信される。他方で、制御コマンドが少なくとも1つの訓練済み機械学習方法によって、特に訓練済みの少なくとも1つのニューラルネットワークによって推定された場合、推定された制御コマンドはアクチュエータシステムに供給される。
【0070】
目標の構成が設定されると、方法は措置209で成功裏に終了される。ここで、それに対応する成功通知が、例えば手術顕微鏡の表示装置に出力されるようになされ得る。
【0071】
この方法と手術顕微鏡により、手術顕微鏡は、認識された手術標的物にとって最適な顕微鏡パラメータに合わせて自動的に構成されることが可能となる。このことは、手術中のワークフローを改善できる。
【符号の説明】
【0072】
1 手術顕微鏡
2 左側カメラ
3 右側カメラ
4 顕微鏡ヘッド
5 アクチュエータシステム
6 制御装置
6-1 コンピューティングデバイス
6-2 メモリ
6-3 インタフェース
6-4 インタフェース
7l 信号ライン(左側カメラ)
7r 信号ライン(右側カメラ)
8 信号ライン(アクチュエータシステム)
9-1 インタフェース
9-2 ユーザインタフェース
10 捕捉領域
20 (手術)標的物
21l 左側画像表現
21r 右側画像表現
22 手術の種類
23 手術のフェーズ
24 開始コマンド
30 訓練済みの機械学習方法
31 訓練済みのニューラルネットワーク
40 最適な顕微鏡パラメータ
41 顕微鏡パラメータの変更
42 制御コマンド
43 調整された顕微鏡パラメータ
44 閾値(信頼度の)
100~102 措置(訓練フェーズ)
200~209 方法の措置
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
手術顕微鏡(1)の操作方法であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)は前記手術顕微鏡(1)の左側カメラ(2)によって捕捉され、
前記捕捉領域(10)の右側画像表現(21r)は前記手術顕微鏡(1)の右側カメラ(3)によって捕捉され、
前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)とは、前記手術顕微鏡(1)の制御装置(6)により利用可能にされる少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給され、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって、前記捕捉された画像表現(21l、21r)の中の
手術標的物(20)が識別され、
前記標的物(20)の前記識別中に、前記標的物の種類及び前記標的物(20)の位置が前記画像表現(21l、21r)の中で特定され、最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記手術顕微鏡(1)のアクチュエータシステム(5)のための制御コマンド(42)が
、前記識別された標的物(20)のために、前記捕捉された画像表現(21l、21r)に基づいて推定され、
前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)は、前記制御装置(6)によって、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(41)の推定された変更(41)から生成され、及び/又は前記アクチュエータシステム(5)は、前記生成及び/又は推定された制御コマンド(42)にしたがって制御され
、前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、各推定出力の信頼値を推定して提供し、前記出力は、前記識別された手術標的物(20)を含み、前記提供された信頼値は指定された閾値(44)と比較され、前記方法は、前記提供された信頼値が前記指定された閾値(44)より低いと中止される方法。
【請求項2】
前記画像表現(21l、21r)の前記捕捉中に設定される顕微鏡パラメータ(43)もまた、前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして追加的に供給されることを特徴とする、請求項1に記載の方法。
【請求項3】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給されることを特徴とする、請求項1又は2に記載の方法。
【請求項4】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給され、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から選択され、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法が使用されることを特徴とする、請求項1~3の何れか1項に記載の方法。
【請求項5】
開始コマンド(24)が入力として検出され、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記識別と前記推定、及び前記制御は、前記開始コマンド(24)が検出されると開始されることを特徴とする、請求項1~
4の何れか1項に記載の方法。
【請求項6】
前記少なくとも1つの訓練済み機械学習方法(30)は少なくとも1つの訓練済みニューラルネットワークを含むことを特徴とする、請求項1~
5の何れか1項に記載の方法。
【請求項7】
前記手術標的物(20)の前記識別は、前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって行われ、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は前記アクチュエータシステム(5)のための制御コマンド(42)の前記推定は、単一の捕捉された左側画像表現(21l)と単一の捕捉された右側画像表現(21r)に基づいて行われることを特徴とする、請求項1~6の何れか1項に記載の方法。
【請求項8】
手術顕微鏡(1)であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)を捕捉するようになされた左側カメラ(2)と、
前記捕捉領域(10)の右側画像表現(21r)を捕捉するようになされた右側カメラ(3)と、
顕微鏡パラメータ(40)にしたがって前記手術顕微鏡(1)の構成を設定するようになされたアクチュエータシステム(5)と、
制御装置(6)と、を含み、前記制御装置(6)は、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を利用可能にし、前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)を前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給するようになされ、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、前記捕捉された画像表現(21l、21r)中の
手術標的物(20)を識別し、
前記標的物の前記識別中に前記画像表現(21l、21r)の中で前記標的物(20)の種類及び前記標的物(20)の位置を特定し、そのために最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記アクチュエータシステム(5)のための制御コマンド(42)を、前記捕捉された画像表現(21l、21r)に基づいて推定し、提供するようになさ
れ、
前記制御装置(6)はさらに、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(40)の推定された変更(41)から前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)を生成し、並びに/又は前記生成及び/若しくは推定された制御コマンド(42)にしたがって前記手術顕微
鏡の前記アクチュエータシステム(5)を制御するようになされ
、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、各推定出力の信頼値を推定して提供し、前記出力は、前記識別された手術標的物(20)を含み、前記制御装置(6)はさらに、前記提供された信頼値を指定された閾値(44)と比較し、前記提供された信頼値が前記指定された閾値(44)より低いと前記方法を中止するようになされる手術顕微鏡(1)。
【請求項9】
少なくとも1つのインタフェース(9-1、9-2)を特徴とし、前記少なくとも1つのインタフェース(9-1、9-2)は、手術の種類(22)及び/又は前記手術のフェーズ(23)を検出及び/又は受信するようになされ、前記制御装置(6)はさらに、前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)を前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして供給し、及び/又は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を選択して、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を使用のために利用可能にするようになされることを特徴とする、請求項8に記載の手術顕微鏡(1)。
【請求項10】
ユーザインタフェース(9-2)を特徴とし、前記ユーザインタフェース(9-2)は、入力で開始コマンド(24)を捕捉するようになされ、前記制御装置(6)は、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記推定、及び前記制御を前記開始コマンド(24)が検出されたときに開始するようになされることを特徴とする、請求項8又は9に記載の手術顕微鏡(1)。
【手続補正書】
【提出日】2023-11-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
手術顕微鏡(1)の操作方法であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)は前記手術顕微鏡(1)の左側カメラ(2)によって捕捉され、
前記捕捉領域(10)の右側画像表現(21r)は前記手術顕微鏡(1)の右側カメラ(3)によって捕捉され、
前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)とは、前記手術顕微鏡(1)の制御装置(6)により利用可能にされる少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給され、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって、前記捕捉された画像表現(21l、21r)の中の手術標的物(20)が識別され、前記標的物(20)の前記識別中に、前記標的物の種類及び前記標的物(20)の位置が前記画像表現(21l、21r)の中で特定され、最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記手術顕微鏡(1)のアクチュエータシステム(5)のための制御コマンド(42)が、前記識別された標的物(20)のために、前記捕捉された画像表現(21l、21r)に基づいて推定され、
前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)は、前記制御装置(6)によって、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(41)の推定された変更(41)から生成され、及び/又は前記アクチュエータシステム(5)は、前記生成及び/又は推定された制御コマンド(42)にしたがって制御され、前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、各推定出力の信頼値を推定して提供し、前記出力は、前記識別された手術標的物(20)を含み、前記提供された信頼値は指定された閾値(44)と比較され、前記方法は、前記提供された信頼値が前記指定された閾値(44)より低いと中止される方法。
【請求項2】
前記画像表現(21l、21r)の前記捕捉中に設定される顕微鏡パラメータ(43)もまた、前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして追加的に供給されることを特徴とする、請求項1に記載の方法。
【請求項3】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給されることを特徴とする、請求項1又は2に記載の方法。
【請求項4】
手術の種類(22)及び/又は前記手術のフェーズ(23)が検出及び/又は受信されて、前記訓練済み機械学習方法(30)への入力データとして供給され、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から選択され、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法が使用されることを特徴とする、請求項1
又は2に記載の方法。
【請求項5】
開始コマンド(24)が入力として検出され、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記識別と前記推定、及び前記制御は、前記開始コマンド(24)が検出されると開始されることを特徴とする、請求項1
又は2に記載の方法。
【請求項6】
前記少なくとも1つの訓練済み機械学習方法(30)は少なくとも1つの訓練済みニューラルネットワークを含むことを特徴とする、請求項1
又は2に記載の方法。
【請求項7】
前記手術標的物(20)の前記識別は、前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法によって行われ、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は前記アクチュエータシステム(5)のための制御コマンド(42)の前記推定は、単一の捕捉された左側画像表現(21l)と単一の捕捉された右側画像表現(21r)に基づいて行われることを特徴とする、請求項1
又は2に記載の方法。
【請求項8】
手術顕微鏡(1)であって、
前記手術顕微鏡(1)の捕捉領域(10)の左側画像表現(21l)を捕捉するようになされた左側カメラ(2)と、
前記捕捉領域(10)の右側画像表現(21r)を捕捉するようになされた右側カメラ(3)と、
顕微鏡パラメータ(40)にしたがって前記手術顕微鏡(1)の構成を設定するようになされたアクチュエータシステム(5)と、
制御装置(6)と、を含み、前記制御装置(6)は、少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を利用可能にし、前記捕捉された左側画像表現(21l)と前記捕捉された右側画像表現(21r)を前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法への入力データとして供給するようになされ、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、前記捕捉された画像表現(21l、21r)中の手術標的物(20)を識別し、前記標的物の前記識別中に前記画像表現(21l、21r)の中で前記標的物(20)の種類及び前記標的物(20)の位置を特定し、そのために最適な顕微鏡パラメータ(40)及び/若しくは顕微鏡パラメータ(40)の変更(41)並びに/又は前記アクチュエータシステム(5)のための制御コマンド(42)を、前記捕捉された画像表現(21l、21r)に基づいて推定し、提供するようになされ、
前記制御装置(6)はさらに、前記推定された最適な顕微鏡パラメータ(40)及び/又は前記顕微鏡パラメータ(40)の推定された変更(41)から前記手術顕微鏡(1)の前記アクチュエータシステム(5)のための制御コマンド(42)を生成し、並びに/又は前記生成及び/若しくは推定された制御コマンド(42)にしたがって前記手術顕微鏡の前記アクチュエータシステム(5)を制御するようになされ、
前記少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法は、各推定出力の信頼値を推定して提供し、前記出力は、前記識別された手術標的物(20)を含み、前記制御装置(6)はさらに、前記提供された信頼値を指定された閾値(44)と比較し、前記提供された信頼値が前記指定された閾値(44)より低いと前記方法を中止するようになされる手術顕微鏡(1)。
【請求項9】
少なくとも1つのインタフェース(9-1、9-2)を特徴とし、前記少なくとも1つのインタフェース(9-1、9-2)は、手術の種類(22)及び/又は前記手術のフェーズ(23)を検出及び/又は受信するようになされ、前記制御装置(6)はさらに、前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)を前記少なくとも1つの訓練済み機械学習方法(30)への入力データとして供給し、及び/又は前記手術の前記種類(22)及び/又は前記手術の前記フェーズ(23)に応じて複数の訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法から少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を選択して、前記選択された少なくとも1つの訓練済み機械学習方法(30)及び/又はコンピュータビジョン評価方法を使用のために利用可能にするようになされることを特徴とする、請求項8に記載の手術顕微鏡(1)。
【請求項10】
ユーザインタフェース(9-2)を特徴とし、前記ユーザインタフェース(9-2)は、入力で開始コマンド(24)を捕捉するようになされ、前記制御装置(6)は、前記画像表現(21l、21r)の前記捕捉、前記最適な顕微鏡パラメータ(40)及び/若しくは前記顕微鏡パラメータ(40)の変更(41)並びに/又は制御コマンド(42)の前記推定、及び前記制御を前記開始コマンド(24)が検出されたときに開始するようになされることを特徴とする、請求項8又は9に記載の手術顕微鏡(1)。
【国際調査報告】