特開 2023-115914 外科用顕微鏡システムならびに外科用顕微鏡システムの顕微鏡のためのシステム、方法およびコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023115914

(43)【公開日】2023-08-21

(54)【発明の名称】外科用顕微鏡システムならびに外科用顕微鏡システムの顕微鏡のためのシステム、方法およびコンピュータプログラム

(51)【国際特許分類】

   G02B 21/36 20060101AFI20230814BHJP

   G02B 21/00 20060101ALI20230814BHJP

   G03B 15/00 20210101ALI20230814BHJP

   G03B 13/36 20210101ALI20230814BHJP

   G02B 7/28 20210101ALI20230814BHJP

   A61B 90/20 20160101ALI20230814BHJP

【ＦＩ】

G02B21/36

G02B21/00

G03B15/00 Q

G03B15/00 H

G03B13/36

G02B7/28 J

A61B90/20

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023016940

(22)【出願日】2023-02-07

(31)【優先権主張番号】10 2022 102 898.4

(32)【優先日】2022-02-08

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ゲオルゲ テメリス

【テーマコード（参考）】

2H011

2H052

2H151

【Ｆターム（参考）】

2H011BB03

2H052AD09

2H052AF14

2H052AF25

2H151AA11

2H151DA03

2H151DA26

(57)【要約】      （修正有）

【課題】外科用顕微鏡システムならびに外科用顕微鏡システムの顕微鏡のためのシステム、方法およびコンピュータプログラムの提供。
【解決手段】顕微鏡の少なくとも１つの光学撮像センサ１２２から撮像センサデータを取得することと、外科用顕微鏡システムのユーザの入力に基づいて、ユーザの関心エリアに関する情報を決定することと、関心エリア内の解剖学的関心特徴を決定することと、撮像センサデータにおける解剖学的関心特徴の位置を検出するように構成されていることと、解剖学的関心特徴の位置に焦点を合わせるために、顕微鏡のオートフォーカス機能をトリガするように構成されている。
【選択図】図１ａ

【特許請求の範囲】

【請求項1】

外科用顕微鏡システム（１００；４００）の顕微鏡（１２０；４１０）のためのシステム（１１０；４２０）であって、前記システム（１１０；４２０）は、１つまたは複数のプロセッサ（１１４）および１つまたは複数の記憶デバイス（１１６）を備え、前記システムは、
前記顕微鏡の少なくとも１つの光学撮像センサ（１２２）から撮像センサデータを取得することと、
前記外科用顕微鏡システムのユーザの入力に基づいて、前記ユーザの関心エリアに関する情報を決定することと、
前記関心エリア内の解剖学的関心特徴を決定することと、
前記撮像センサデータにおける前記解剖学的関心特徴の位置を検出することと、
前記解剖学的関心特徴の位置に焦点を合わせるために、前記顕微鏡のオートフォーカス機能をトリガすることと、
を行うように構成されているシステム。

【請求項2】

前記システムは、前記撮像センサデータの複数のフレーム全体にわたって前記解剖学的関心特徴の位置を追跡するように構成されている、
請求項１記載のシステム。

【請求項3】

前記システムは、前記解剖学的関心特徴の位置が少なくとも所定の時間間隔だけ前記撮像センサデータの視野に対してシフトされた場合に、前記オートフォーカス機能をトリガするように構成されている、
請求項２記載のシステム。

【請求項4】

前記システムは、前記撮像センサデータの多くとも１つおきのフレームにおいて前記解剖学的関心特徴の位置を検出するように構成されている、
請求項２または３記載のシステム。

【請求項5】

前記システムは、前記撮像センサデータにおける前記関心エリアの位置を特定し、前記関心エリアを表す前記撮像センサデータの一部分内の解剖学的関心特徴を決定するように構成されている、
請求項１から４までのいずれか１項記載のシステム。

【請求項6】

前記システムは、前記関心エリアを表す撮像センサデータの少なくとも一部分に対して画像セグメンテーションを実行して、前記関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴を決定し、前記関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴に基づいて解剖学的関心特徴を決定するように構成されている、
請求項５記載のシステム。

【請求項7】

前記システムは、前記関心エリアを表す撮像センサデータの少なくとも一部分に対して対象物検出を実行して、前記関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴を識別し、前記関心エリアを表す撮像センサデータの一部分内に存在する識別された少なくとも１つの特徴に基づいて解剖学的関心特徴を決定するように構成されている、
請求項５または６記載のシステム。

【請求項8】

前記システムは、前記対象物検出を実行して、前記関心エリアを表す前記撮像センサデータの少なくとも一部分内の血管、血管の分岐点、出血および腫瘍のうちの少なくとも１つを識別するように構成されている、
請求項７記載のシステム。

【請求項9】

前記システムは、前記対象物検出を実行して、クリップおよびステッチのうちの少なくとも１つを非解剖学的関心特徴として識別し、前記撮像センサデータにおける前記非解剖学的関心特徴の位置を検出し、前記非解剖学的関心特徴の位置にさらに基づいて前記顕微鏡の前記オートフォーカス機能を実行するように構成されている、
請求項７または８記載のシステム。

【請求項10】

前記システムは、前記解剖学的関心特徴の範囲を、前記解剖学的関心特徴が基づく特徴に隣接して位置する１つまたは複数の特徴の範囲に基づいて決定するように構成されている、
請求項５から９までのいずれか１項記載のシステム。

【請求項11】

前記システムは、前記ユーザによって示される関心エリアが２つ以上の特徴または２つ以上の特徴の間のエリアに関連する場合、前記２つ以上の特徴に基づいて解剖学的関心特徴を決定し、前記２つ以上の特徴の位置に基づいて前記解剖学的関心特徴の位置を決定するように構成されている、
請求項５から１０までのいずれか１項記載のシステム。

【請求項12】

前記システムは、前記ユーザによって示される関心エリアが前記２つ以上の特徴の間のエリアに関連する場合、前記関心エリア内に位置する特徴および前記関心エリア外に位置する特徴から前記２つ以上の特徴を選択するように構成されている、
請求項１１記載のシステム。

【請求項13】

前記システムは、前記撮像センサデータ内で前記ユーザによって操作されたポインタを検出して前記関心エリアを決定するように構成されており、
または、前記システムは、前記撮像センサデータにおいて前記ユーザによって手術されている手術部位の一部分を決定して前記関心エリアを決定するように構成されており、
または、前記システムは、視線追跡機構を使用して前記関心エリアを決定するように構成されており、
または、前記システムは、前記外科用顕微鏡システムの音声コマンドシステムを介して取得された解剖学的特徴の音声記述に基づいて前記関心エリアを決定するように構成されており、
または、前記システムは、前記外科用顕微鏡システムのユーザインタフェース（１３０）を介して取得されたユーザ入力信号に基づいて前記関心エリアを決定するように構成されており、
または、前記システムは、前記ユーザが視野の位置合わせを終了した後に、所定の画像エリアから前記関心エリアを決定するように構成されている、
請求項１から１２までのいずれか１項記載のシステム。

【請求項14】

前記システムは、画像セグメンテーションおよび／または対象物検出を実行して、前記撮像センサデータにおける複数の特徴を決定し、前記複数の特徴の視覚的表現を決定し、前記視覚的表現を含む表示信号を前記外科用顕微鏡システムの表示デバイス（１３０）に提供し、前記複数の特徴の視覚的表現に応答して前記ユーザの入力を取得するように構成されている、
請求項１から１３までのいずれか１項記載のシステム。

【請求項15】

前記撮像センサデータは、カラー撮像データを有する第１の成分と、ハイパースペクトル撮像データ、マルチスペクトル撮像データ、蛍光撮像データのうちの少なくとも１つを有する第２の成分と、を含み、前記システムは、少なくとも前記第２の成分に基づいて、前記解剖学的関心特徴を決定しかつ／または前記解剖学的関心特徴の位置を検出するように構成されている、
請求項１から１４までのいずれか１項記載のシステム。

【請求項16】

前記システムは、前記撮像センサデータに基づいてデジタルビューを生成し、前記デジタルビュー内の関心エリアおよび／または関心特徴を強調表示し、前記デジタルビューを含む表示信号を前記外科用顕微鏡システムの表示デバイス（１３０）に提供するように構成されている、
請求項１から１５までのいずれか１項記載のシステム。

【請求項17】

光学撮像センサを有する顕微鏡（１２０；４１０）と、請求項１から１６までのいずれか１項記載のシステム（１１０；４２０）と、を備える、
外科用顕微鏡システム（１００；４００）。

【請求項18】

外科用顕微鏡システムの顕微鏡のための方法であって、前記方法は、
前記顕微鏡の少なくとも１つの光学撮像センサから撮像センサデータを取得すること（２１０）と、
前記外科用顕微鏡システムのユーザの入力に基づいて、前記ユーザの関心エリアに関する情報を決定すること（２２０）と、
前記関心エリア内の解剖学的関心特徴を決定すること（２３０）と、
前記撮像センサデータにおける前記解剖学的関心特徴の位置を検出すること（２４０）と、
前記解剖学的関心特徴の位置に焦点を合わせるために、前記顕微鏡のオートフォーカス機能をトリガすること（２５０）と、
を含む方法。

【請求項19】

コンピュータプログラムであって、
プロセッサ上で実行される際に請求項１８記載の方法を実行するためのプログラムコードを有する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

例は、外科用顕微鏡システムならびに外科用顕微鏡システムの顕微鏡のためのシステム、方法およびコンピュータプログラムに関するものである。

【背景技術】

【0002】

オートフォーカスは、現在の光学カメラにおいて一般に使用されている機能である。例えば、外科用顕微鏡はオートフォーカス機能を提供していることが多い。しかし、外科用顕微鏡では、通常のオートフォーカス機能は、事前に定義された画像エリアを焦点基準として使用するのが一般的である。多くの場合、外科医にとっての関心エリアは、こうしたオートフォーカスエリア内に存在しないことが多い。このため、外科医が意図した以外のエリアにカメラが焦点を合わせてしまう可能性がある。

【0003】

スマートフォンおよびミラーレス交換レンズカメラでは、人間の顔を探索し、顔に焦点を合わせようとする拡張オートフォーカス機能が提供されている。画像内で顔が移動した場合であっても、オートフォーカスは顔を探索し続け、これに応じて焦点を調整することができる。

【0004】

外科用顕微鏡および他の医療用光学撮像デバイスでは、関心エリアは、人間の顔ほど普遍的なものとはならない。むしろ関心エリアは、解剖学的または形態学的構造、例えば血管または外科的空洞など、それぞれ任意のものでありうる。したがって、顔などの場合のように空間パターンを事前に定義し、画像内でそれを探索してオートフォーカスターゲットを設定することは不可能である。

【0005】

外科用顕微鏡のオートフォーカス機能を改善することへの要望が生じうる。

【発明の概要】

【課題を解決するための手段】

【0006】

この要望は、独立請求項の主題によって対処される。

【0007】

提案の概念は、手術中、外科医は小さな領域（すなわち実際の手術部位）に集中しており、そのエリアの周りの他の部分にはあまり関心がないという知見に基づいている。この領域は、１つまたは複数の解剖学的特徴によって定義または描写されるものであり、外科医は、これらの解剖学的特徴上またはこれらの解剖学的特徴間のいずれかにおいて手術を行っている。提案の概念では、外科医は、画像内のエリアを指し示すことによって、提案の機能をトリガして、画像焦点がこのエリアに自動的に合わされるようにすることができる。外科医は命令を提供することができ、当該命令により、追従すべきエリア内の解剖学的特徴が識別される。例えば、システムは、所与のエリアにおいてユーザが指定した血管に追従するよう命令を受けることがあり、または命令が具体的でなく、どの特徴が示されたエリアに暗示されるかについての何らかの仮定を提案の機能が行うこと、例えば外科医によって示されたエリアに外科的空洞が含まれる場合にこの外科的空洞を選択することとなることもある。したがって、提案の概念により、外科医は、スマートかつ有意にオートフォーカスエリアを選択することが可能となり、これにより、オートフォーカスは、空間的に固定された画像のエリアではなく、特定の画像特徴に従うことができる。

【0008】

本開示の種々の例は、外科用顕微鏡システムの顕微鏡のためのシステムに関する。システムは、１つまたは複数のプロセッサおよび１つまたは複数の記憶デバイスを備える。システムは、顕微鏡の少なくとも１つの光学撮像センサから撮像センサデータを取得するように構成されている。システムは、外科用顕微鏡システムのユーザの入力に基づいて、ユーザの関心エリアに関する情報を決定するように構成されている。システムは、関心エリア内の解剖学的関心特徴を決定するように構成されている。システムは、撮像センサデータにおける解剖学的関心特徴の位置を検出するように構成されている。システムは、解剖学的関心特徴の位置に焦点を合わせるために、顕微鏡のオートフォーカス機能をトリガするように構成されている。ユーザ入力に基づいて関心エリアを決定することによって、潜在的な関心特徴を決定するための十分な情報を検出アルゴリズムに提供することができ、当該関心特徴が、追跡され、オートフォーカス機能のためのターゲットとして使用され、潜在的な関心特徴が外科的処置全体にわたって焦点を維持するようにすることができる。

【0009】

概して、システムは、撮像センサデータの複数のフレーム全体にわたって解剖学的関心特徴の位置を追跡するように構成することができる。複数のフレーム全体にわたって特徴を追跡することによって、オートフォーカス機能は、解剖学的関心特徴の現在の位置に基づいて焦点を調整するようにトリガされうる。

【0010】

例えば、システムは、解剖学的関心特徴の位置が少なくとも所定の時間間隔だけ撮像センサデータの視野に対してシフトされた場合に、オートフォーカス機能をトリガするように構成されてもよい。換言すれば、関心特徴の位置が単に一時的でなくシフトされた場合（例えば、視野が外科医によって変更された場合、または外科医が関心特徴を移動させた場合）、オートフォーカス機能を用いて、解剖学的関心特徴の現在の位置に焦点を調整することができる。

【0011】

外科用顕微鏡システムは、概して画像処理用の強力なプロセッサを備えているが、解剖学的特徴の位置の検出をフレームのサブセットのみ、例えばｎ番目ごとのフレームに限定することによって、提案の概念の効率を改善することができる。例えば、システムは、撮像センサデータの多くとも１つおきのフレームにおいて解剖学的関心特徴の位置を検出するように構成可能である。

【0012】

種々の例では、解剖学的関心特徴は、機械学習モデルに基づきうるソフトウェアアルゴリズムを使用して検出される。撮像センサデータを関心エリアに限定することによって、当該ソフトウェアアルゴリズムが必要とする労力を低減することができ、精度を改善することができる。例えば、システムは、撮像センサデータにおける関心エリアの位置を特定するように構成されうる。システムは、関心エリアを表す撮像センサデータの一部分内の解剖学的関心特徴を決定するように構成されてもよい。

【0013】

関心エリア内でそれぞれ異なる解剖学的特徴が（機械学習ベースの）アルゴリズムによって識別されることもあり、各解剖学的関心特徴を識別された解剖学的特徴の中から選択することができる。例えば、システムは、関心エリアを表す撮像センサデータの少なくとも一部分に対して画像セグメンテーションを実行して、関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴を決定するように構成可能である。これに加えてまたはこれに代えて、システムは、関心エリアを表す撮像センサデータの少なくとも一部分上で対象物検出を実行して、関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴を識別するように構成されてもよい。システムは、関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴に基づいて、解剖学的関心特徴を決定するように構成可能である。例えば、既存の画像セグメンテーション機械学習モデルまたは対象物検出機械学習モデルが、関心エリアに存在する解剖学的特徴を決定するために利用され、その中から解剖学的関心特徴が選択されるようにすることができる。

【0014】

例えば脳外科手術の間、外科医にとって潜在的に関心のある種々の特徴が存在することになる。例えば、システムは、対象物検出を実行して、関心エリアを表す撮像センサデータの少なくとも一部分内の血管、血管の分岐点、出血および腫瘍のうちの少なくとも１つを識別するように構成可能である。

【0015】

加えて、非解剖学的特徴も検出され、非解剖学的関心特徴を定義するために使用することができ、場合によっては解剖学的関心特徴の代わりに使用することができる。例えば、システムは、対象物検出を実行して、クリップおよびステッチのうちの少なくとも１つを非解剖学的関心特徴として識別するように構成されうる。システムは、撮像センサデータにおける非解剖学的関心特徴の位置を検出するように構成可能である。システムは、非解剖学的関心特徴の位置にさらに基づいて顕微鏡のオートフォーカス機能を実行するように構成可能である。場合によっては、クリップまたはステッチなどの非解剖学的特徴は、外科医が手術することを意図した手術部位の一部分に正しく配置され、オートフォーカス機能に関して有用なターゲットとなる。

【0016】

いくつかの例では、解剖学的関心特徴は、より大きな解剖学的特徴の一部でありうる。例えば、解剖学的特徴は、より大きな血管の一部である血管内の分枝であってもよい。したがって、このより大きな解剖学的特徴は、より小さな解剖学的特徴に細分されてもよく、隣接する解剖学的特徴により、より大きな解剖学的特徴内の所与の解剖学的特徴の範囲が定義される。例えば、システムは、解剖学的関心特徴の範囲を、解剖学的関心特徴が基づく特徴に隣接して位置する１つまたは複数の特徴の範囲に基づいて決定するように構成可能である。

【0017】

いくつかの例では、関心エリアは、単一の解剖学的関心特徴によっては定義できず、特徴間のエリアまたは特徴のグループに関連していることがある。例えば、システムは、ユーザによって示される関心エリアが２つ以上の特徴または２つ以上の特徴の間のエリアに関連する場合、２つ以上の特徴に基づいて解剖学的関心特徴を決定し、２つ以上の特徴の位置に基づいて解剖学的関心特徴の位置を決定するように構成されてもよい。

【0018】

このとき、関心エリアの境界を定める特徴が関心エリアの外側にあることもある。したがって、システムは、ユーザによって示される関心エリアが２つ以上の特徴の間のエリアに関連する場合、関心エリア内に位置する特徴および関心エリア外に位置する特徴から２つ以上の特徴を選択するように構成可能である。

【0019】

ユーザが関心エリアを指定するための種々の選択肢が存在する。例えば、システムは、撮像センサデータ内でユーザによって操作されたポインタを検出して、関心エリアを決定するように構成可能である。これに代えてまたはこれに加えて、システムは、外科用顕微鏡システムのユーザインタフェースを介して取得されたユーザ入力信号に基づいて、関心エリアを決定するように構成されてもよい。ポインタまたはユーザインタフェースは、関心エリアの非常に正確な指定を可能にする。

【0020】

これに代えてまたはこれに加えて、システムは、外科用顕微鏡システムの音声コマンドシステムを介して取得された解剖学的特徴の音声記述に基づいて関心エリアを決定するように構成される。このようにして、外科医が器具を手術部位から遠ざける必要なく、関心エリアを定義することができる。

【0021】

先に列挙した選択肢により、外科医は、関心エリアを明示的に定義することが可能になる。しかし、いくつかの例では、関心エリアは、例えば外科医の行動から関心エリアを推測することによって、暗黙的に定義されることもある。例えば、システムは、撮像センサデータにおけるユーザによって手術されている手術部位の一部分を決定して関心エリアを決定するように構成可能である。これに代えてまたはこれに加えて、システムは、視線追跡機構を使用して関心エリアを決定するように構成されてもよい。これに代えてまたはこれに加えて、システムは、ユーザが視野の位置合わせを終了した後に、所定の画像エリア（好ましくは視野の中心）から関心エリアを決定するように構成されてもよい。これらの場合、ユーザは、関心エリアを明示的に定義する必要がないため、外科医が必要とする労力が軽減される。

【0022】

いくつかの例では、関心エリアの定義を容易にするために、いくらかの量の画像処理が実行されうる。例えば、システムは、画像セグメンテーションおよび／または対象物検出を実行して、撮像センサデータにおける複数の特徴を決定するように構成されていてよい。システムは、複数の特徴の視覚的表現を決定し、この視覚的表現を含む表示信号を外科用顕微鏡システムの表示デバイスに提供するように構成されてもよい。システムは、複数の特徴の視覚的表現に応答してユーザの入力を取得するように構成されてもよい。複数の特徴の視覚的表現を提供することによって、ユーザは、検出された特徴の中から選択して、関心エリアを定義することができる。

【0023】

外科用顕微鏡システムは、多くの場合、血管または組織内に注入されたフルオロフォアによって放出される蛍光発光を検出するように適応化されている。これらの蛍光発光を使用して、解剖学的関心特徴を明確に識別することができる。また、マルチスペクトル撮像から得られた情報などの追加の撮像情報を使用して、解剖学的関心特徴を明確に識別することができる。例えば、撮像センサデータには、カラー撮像データを有する第１の成分と、ハイパースペクトル撮像データ、マルチスペクトル撮像データ、蛍光撮像データのうちの少なくとも１つを有する第２の成分と、が含まれうる。システムは、少なくとも第２の成分に基づいて、解剖学的関心特徴を決定しかつ／または解剖学的関心特徴の位置を検出するように構成可能である。

【0024】

決定された解剖学的（または非解剖学的）関心特徴は、例えば強調表示されてユーザに提示可能であるので、ユーザは、「正しい」特徴がオートフォーカス機能のために使用されることの保証を得ることができる。例えば、システムは、撮像センサデータに基づいてデジタルビューを生成するように構成可能である。システムは、デジタルビュー内の関心エリアおよび／または解剖学的（または非解剖学的）関心特徴を強調表示するように構成可能である。システムは、デジタルビューを含む表示信号を外科用顕微鏡システムの表示デバイスに提供するように構成可能である。

【0025】

種々の例は、光学撮像センサを有する顕微鏡と、上記にて提示したシステムと、を備える外科用顕微鏡システムに関する。

【0026】

種々の例は、上記に対応する、外科用顕微鏡システムの顕微鏡のための方法に関する。方法は、顕微鏡の少なくとも１つの光学撮像センサから撮像センサデータを取得することを含む。方法は、外科用顕微鏡システムのユーザの入力に基づいて、ユーザの関心エリアに関する情報を決定することを含む。方法は、関心エリア内の解剖学的関心特徴を決定することを含む。方法は、撮像センサデータにおける解剖学的関心特徴の位置を検出することを含む。方法は、解剖学的関心特徴の位置に焦点を合わせるために、顕微鏡のオートフォーカス機能をトリガすることを含む。

【0027】

種々の例は、コンピュータプログラムであって、プロセッサ上で実行される際に上記の方法を実行するためのプログラムコードを有する対応するコンピュータプログラムに関する。

【0028】

装置および／または方法のいくつかの例を、単に例としてではあるが、添付の図面を参照して以下に説明する。

【図面の簡単な説明】

【0029】

【図1a】外科用顕微鏡システムの顕微鏡のためのシステムの一例のブロック図である。

【図1b】外科用顕微鏡システムの一例の概略図である。

【図1c】脳の血管に関する解剖学的関心特徴の図である。

【図1d】脳の血管に関する解剖学的関心特徴の図である。

【図1e】脳の血管に関する解剖学的関心特徴の図である。

【図2】外科用顕微鏡システムの顕微鏡のための方法の一例のフローチャートを示す図である。

【図3】脳の手術部位上のデジタルビューの一例の概略図である。

【図4】顕微鏡およびコンピュータシステムを含むシステムの概略図である。

【発明を実施するための形態】

【0030】

次に、いくつかの例が示されている添付の図面を参照しながら、種々の例についてより十分に説明する。図面において、線、層および／または領域の厚さは、明確にするために誇張されている場合がある。

【0031】

図１ａは、外科用顕微鏡システム１００（図１ｂにより詳細に示されている）の顕微鏡１２０のためのシステム１１０の一例のブロック図を示している。外科用顕微鏡システム１００は、デジタル顕微鏡である顕微鏡１２０を備え、すなわち、システム１１０に結合された光学撮像センサ１２２を備える。概して、顕微鏡１２０などの顕微鏡は、人間の目（のみ）で検査するには小さすぎる対象物を検査するのに適した光学機器である。例えば、顕微鏡は、サンプルの光学的な拡大を提供することができる。現代の顕微鏡では、光学的な拡大は、多くの場合、顕微鏡１２０の光学撮像センサ１２２などのカメラまたは撮像センサのために提供される。顕微鏡１２０はさらに、対物レンズ（すなわちレンズ）などのサンプル上のビューを拡大するために使用される、１つまたは複数の光学拡大部品を備えることができる。

【0032】

顕微鏡１２０の一部である光学部品の他に、外科用顕微鏡システム１００は、コンピュータシステムであるシステム１１０をさらに備える。システムは、１つまたは複数のプロセッサ１１４および１つまたは複数の記憶デバイス１１６を備える。任意選択手段として、システムは、１つまたは複数のインタフェース１１２をさらに備えることができる。図１ａに示されているように、１つまたは複数のプロセッサ１１４は、１つまたは複数の記憶デバイス１１６および（任意選択手段としての）１つまたは複数のインタフェースに結合される。概して、システムの機能は、１つまたは複数のインタフェース１１２（例えば、顕微鏡の光学撮像センサ１２２または外科用顕微鏡システムの表示デバイス１３０と情報を交換するため）および／または１つまたは複数の記憶デバイス１１６（情報を記憶および／または取得するため）と併せて、１つまたは複数のプロセッサ１１４によって提供される。システム１１０は、顕微鏡の少なくとも１つの光学撮像センサ１２２から撮像センサデータを取得するように構成されている。システム１１０は、外科用顕微鏡システムのユーザの入力に基づいて、ユーザの関心エリアに関する情報を決定するように構成されている。システム１１０は、関心エリア内の解剖学的関心特徴を決定するように構成されている。システム１１０は、撮像センサデータにおける解剖学的関心特徴の位置を検出するように構成されている。システム１１０は、解剖学的関心特徴の位置に焦点を合わせるために、顕微鏡のオートフォーカス機能をトリガするように構成されている。明らかなように、システム１１０は、外科用顕微鏡システム１００内の撮像センサデータを処理するための、ならびに／または顕微鏡１２０および／もしくは外科用顕微鏡システム１００の他の構成要素を制御するためのシステムである。

【0033】

概して、外科用顕微鏡システム１００などの顕微鏡システムは、顕微鏡１２０、（外科用顕微鏡システムを制御し、例えば顕微鏡の撮像センサデータを処理するように適応化されたコンピュータシステムである）システム１１０などの顕微鏡とともに操作される追加の構成要素、追加のセンサ、ディスプレイなどを備えるシステムである。

【0034】

種々の異なるタイプの顕微鏡が存在する。顕微鏡が医療または生物学の分野で使用される場合、顕微鏡を通して観察される対象物は、例えばペトリ皿内に配置されたまたは患者の身体の一部に存在する、有機組織のサンプルであってよい。この場合、顕微鏡１２０は、外科用顕微鏡システムの顕微鏡であり、すなわち、腫瘍学上の外科的処置などの外科的処置中、または腫瘍手術中に使用される顕微鏡である。したがって、顕微鏡を通して観察され、合成画像として示される対象物は、患者の有機組織のサンプルであってよく、特に外科医が外科処置中に手術する手術部位であってよい。以下では、撮像される対象、すなわち手術部位は、神経外科手術中の脳の手術部位であるものとする。しかしながら、提案の概念は、心臓手術または眼科学のような他のタイプの手術にも適している。

【0035】

図１ｂは、システム１１０と（光学撮像センサ１２２を有する）顕微鏡１２０とを備えた外科用顕微鏡システム１００の一例の概略図を示している。図１ｂに示されている外科用顕微鏡システム１００は、（回転）スタンドを有するベースユニット１０５（システム１１０を含む）、顕微鏡１２０に配置された接眼ディスプレイ１３０ａ、ベースユニット１０５に配置された補助ディスプレイ１３０ｂ、ならびに顕微鏡１２０を所定の位置に保持し、ベースユニット１０５および顕微鏡１２０に結合された（ロボットまたは手動）アーム１４０などの複数の任意選択手段としての構成要素を含む。概して、これらの任意選択手段および非任意選択手段としての構成要素はシステム１１０に結合可能であり、当該システム１１０は、それぞれの構成要素を制御し、かつ／またはそれぞれの構成要素とインタラクションを有するように構成可能である。

【0036】

提案の概念は、ユーザ入力を取得して関心エリアを定義することと、ユーザが指定した関心エリアを使用して解剖学的関心特徴を決定することとの２つの主要な構成要素に基づいており、解剖学的関心特徴は、次いで、視野が変化した場合または関心特徴が移動した場合であってもオートフォーカスが解剖学的関心特徴に適用可能となるように追跡される。

【0037】

提案の概念は、ユーザ入力に基づいて関心エリアを決定することから開始する。このタスクを実行するための種々の選択肢が存在する。例えば、ユーザは、指、手術器具、または専用ポインタデバイス（例えば、光などのアクティブ視覚マーカ、２次元コードなどのパッシブ視覚マーカを有する）などのポインタを使用して、１つまたは複数の解剖学的特徴を指し、または包囲し、関心エリアを示すことができる（点または円を取り囲む関心エリアがユーザによって示される）。ポインティングおよび／または包囲は、撮像センサデータにおけるポインティングおよび／または包囲アクションを決定するようにトレーニングされている機械学習モデルを使用して、または撮像センサデータに基づいて（例えば、アクティブもしくはパッシブ視覚マーカに基づいて、または指の先端上で対象物検出を実行することによって）ポインティングまたは包囲アクションを決定するように構成された決定論的アルゴリズムを使用して検出することができる。システムは、撮像センサデータ内でユーザによって操作されたポインタを検出して、関心エリアを決定するように構成することができる。例えば、システムは、ユーザが視野内の（単一の）位置を指し示した場合、（単一の）点の周囲の関心エリアを決定するように構成可能である。例えば、ユーザが特徴（例えば、解剖学的または非解剖学的特徴）を指し示した場合、関心エリアは当該特徴を取り囲むことができる。システムは、ユーザが視野内のエリアを包囲した場合、ユーザによって包囲されているエリアと一致するように関心エリアを決定するように構成することができる。例えば、ユーザが特徴または相互に隣接する特徴のセットを包囲した場合、関心エリアは、当該特徴または当該特徴のセットを取り囲むことができる。システムは、ユーザが複数の位置を指し示した場合、その点が同じ解剖学的特徴と交差するかどうかを判定し、次いで、解剖学的特徴の当該部分（各部分）の周りに関心エリアを設定するように構成することができる。例えば、ユーザが細長い血管に沿って複数回指し示した場合、関心エリアは、（例えば図１ｅに示されているように）外科医が指し示した血管の各部分を取り囲むことができる。

【0038】

ユーザが、外科用顕微鏡システムのタッチパネルなどのユーザインタフェースを介して関心エリアを定義する場合、類似したアプローチを行うことができる。例えば、システムは、外科用顕微鏡システムのユーザインタフェースを介して取得されたユーザ入力信号に基づいて関心エリアを決定するように構成されていてもよい。この場合も、ユーザは、単一または複数の点または円を使用して、関心エリアを定義することができる。

【0039】

選択プロセスをサポートするために、撮像センサデータを分析して、解剖学的特徴（例えば、血管、腫瘍、分枝、組織の一部分など）または非解剖学的特徴（例えば、クリップまたはステッチ）などの撮像センサデータにおける特徴を決定および区別することができる。このために、以下の機械学習ベースの技術、すなわち画像セグメンテーションおよび対象物検出のうちの１つまたは両方が使用されうる。システムは、画像セグメンテーションおよび／または対象物検出を実行して、撮像センサデータにおける複数の特徴を決定するように構成されうる。対象物検出では、撮像センサデータにおける１つまたは複数の予め定義された対象物（すなわち、それぞれの機械学習モデルがトレーニングされる対象物）の位置が、（機械学習モデルが複数の異なるタイプの対象物を検出するようにトレーニングされる場合に）対象物の分類とともに、機械学習モデルによって出力される。概して、１つまたは複数の予め定義された対象物の位置は、バウンディングボックスすなわち検出されているそれぞれの対象物を取り囲む矩形形状を形成する位置のセットとして与えられる。画像セグメンテーションでは、特徴（すなわち、同様の属性を有する、例えば、同じ対象物に属する、撮像センサデータの一部分）の位置が、機械学習モデルによって出力される。概して、特徴の位置は、ピクセルマスクとして提供される。すなわち、特徴に属するピクセルの位置は、特徴ごとに出力される。

【0040】

対象物検出および画像セグメンテーションの両方について、それぞれのタスクを実行するようにトレーニングされた機械学習モデルが使用される。例えば、対象物検出を実行するようにトレーニングされている機械学習モデルをトレーニングするために、撮像センサデータの複数またはサンプルがトレーニング入力サンプルとして提供されてよく、バウンディングボックス座標の対応するリストがトレーニングの所望の出力として提供されてよく、教師あり学習ベースのトレーニングアルゴリズムが複数のトレーニング入力サンプルおよび対応する所望の出力を使用してトレーニングを実行するために使用されてよい。例えば、画像セグメンテーションを実行するようにトレーニングされている機械学習モデルをトレーニングするために、撮像センサデータの複数またはサンプルが、トレーニング入力サンプルとして提供されてよく、対応するピクセルマスクが、トレーニングの所望の出力として提供されてよく、教師あり学習ベースのトレーニングアルゴリズムが、複数のトレーニング入力サンプルおよび対応する所望の出力を使用してトレーニングを実行するために使用されてもよい。いくつかの例では、同じ機械学習モデルを使用して、対象物検出と画像セグメンテーションの両方が実行されてもよい。この場合、前述の２つのタイプの所望の出力は、トレーニング中に並行して使用されてもよく、機械学習モデルは、バウンディングボックスおよびピクセルマスクの両方を出力するようにトレーニングされうる。機械学習モデルは、関心エリアの選択をサポートするためだけでなく、後の段階で示されるように、解剖学的関心特徴を決定するためにも使用されうる。

【0041】

システムは、複数の特徴の視覚的表現を決定するように構成することができる。例えば、システムは、複数の特徴を強調表示および／または描写するオーバレイを用いて、例えば、（例えば、ピクセルマスクまたはバウンディングボックスに基づいて）特徴の周囲の輪郭を用いて、かつ／または（例えば、ピクセルマスクまたはバウンディングボックスに基づいて）それぞれの特徴にわたってオーバレイされるカラーオーバレイを用いて、視覚的表現を決定するように構成されうる。例えば、対象物検出が実行されている場合、特徴に関する記述が特徴の隣に含まれることがある。加えて、グリッドが表示されてもよく、これは、音声ベースのユーザインタフェースに有用となりうる。例えば、視覚的表現が、顕微鏡を通して観察されている手術部位のデジタルビューに含まれてもよく、例えばデジタルビュー上にオーバレイされてもよい。システムは、視覚的表現（を有するデジタルビュー）を含む表示信号を外科用顕微鏡システムの表示デバイス１３０（例えば、接眼ディスプレイ１３０ａまたは補助ディスプレイ１３０ｂ）に提供するように構成することができる。ユーザは、視覚的表現を使用して、例えば１つまたは複数の特徴を指し示すことによって、または特徴を包囲することによって、関心エリアを選択することができる。したがって、システムは、複数の特徴の視覚的表現に応答して、ユーザの入力を取得するように構成されうる。

【0042】

この視覚的表現は、関心エリアを選択するために音声ベースのユーザインタフェースが使用される場合に、特に有用でありうる。例えば、システムは、外科用顕微鏡システムの音声コマンドシステムを介して取得された解剖学的特徴の音声記述に基づいて、関心エリアを決定するように構成されうる。システムは、音声処理アルゴリズムを使用して音声記述を処理して、記述されている解剖学的特徴を、対象物検出および／または画像セグメンテーションを使用して識別された複数の特徴のうちの１つと関連付けるように構成することができる。例えば、システムは、音声記述がグリッドのセルへの参照を含む場合、グリッドのセル内に示される記述に適応化する解剖学的特徴を選択し、選択された解剖学的特徴に基づいて関心エリアを決定するように構成されていてもよい。これに代えてまたはこれに加えて、自然言語記述（例えば「右下側の最大の分枝」または「図の右側に示される２つの分枝の間の血管の一部分」）が使用され、システムがこの自然言語記述に基づいて解剖学的特徴を選択し、選択された解剖学的特徴に基づいて関心エリアを決定するように構成することもできる。

【0043】

上記では、関心エリアは、ユーザによって明示的に選択される。代替手段として、関心エリアの選択は、関心エリアを決定するためにユーザ（例えば外科医）の行動を解釈するシステムを用いて、暗黙的に実行することもできる。例えば、システムは、撮像センサデータにおけるユーザによって手術されている手術部位の一部分を決定して、関心エリアを決定するように構成されうる。例えば、システムは、対象物検出を実行して、撮像センサデータにおける１つまたは複数の手術器具の位置を検出し、１つまたは複数の手術器具の位置に基づいて、ユーザによって手術されている手術部位の一部分を決定し、１つまたは複数の手術器具の位置の周囲（例えば、１つまたは複数の手術器具の手術部位に面する側の周囲）の関心エリアを決定するように構成することができる。これに加えてまたはこれに代えて、システムは、視線追跡機構を使用して、例えば顕微鏡の接眼レンズを通してユーザの視線を追跡し、所定の時間間隔の間、視線が集束されるエリアである関心エリアを決定することによって、関心エリアを決定するように構成することもできる。これに代えてまたはこれに加えて、システムは、ユーザが視野の位置合わせを終了した後（すなわち、ユーザが顕微鏡の位置を変更するかまたは顕微鏡の倍率を調整した後）、所定の画像エリア（視野内、例えば視野の少なくとも１０％および最大５０％を網羅する視野内の中心エリア）から関心エリアを決定するように構成されていてもよい。

【0044】

関心エリアが決定されると、関心エリア内の解剖学的関心特徴が選択される。具体的には、システムは、撮像センサデータにおける関心エリア（したがって現在の視野）の位置を特定し、例えば前述の対象物検出または画像セグメンテーションなどの画像処理技術を使用して、関心エリアを表す撮像センサデータの一部分内の解剖学的関心特徴を決定するように構成されうる。換言すれば、画像処理技術が、例えば関心エリアの選択に加えての付加的なユーザ入力なしに、解剖学的関心特徴を自動的に選択するために使用される。

【0045】

上記で概説したように、２つの技術「対象物検出」および「画像セグメンテーション」のうちの少なくとも１つを使用して、撮像センサデータを分析し、撮像センサデータにおける特徴（例えば、解剖学的特徴または非解剖学的特徴）を決定し、決定された特徴の中から解剖学的特徴を選択することができる。このために、撮像センサデータにわたる特徴の（任意選択手段としての）過去の決定が使用されてもよく、あるいは関心エリア（および以下で明らかとなるように、いくつかの潜在的な周囲エリア）に対応する撮像センサデータのサブセットに対して対象物検出または画像セグメンテーションが実行されうる。したがって、システムは、関心エリアを表す撮像センサデータの少なくとも一部分に対して画像セグメンテーションを実行して、関心エリアを表す撮像センサデータの一部分内に存在する少なくとも１つの特徴を決定し、関心エリアを表す撮像センサデータの一部分内に存在する（例えば交差する）少なくとも１つの特徴（例えばピクセルマスク）に基づいて、解剖学的関心特徴を決定するように構成することができる。これに代えてまたはこれに加えて、システムは、関心エリアを表す撮像センサデータの少なくとも一部分に対して対象物検出を実行して、関心エリアを表す撮像センサデータの一部分内に存在する（例えば交差する）少なくとも１つの特徴（例えば、バウンディングボックス）を識別し、関心エリアを表す撮像センサデータの一部分内に存在する識別された少なくとも１つの特徴に基づいて、解剖学的関心特徴を決定するように構成することができる。換言すれば、画像セグメンテーション機械学習モデルの対象物検出の出力が、１つまたは複数の特徴が撮像センサデータにおける関心エリアと交差することを示した場合、当該特徴（または複数の特徴）は、関心特徴として使用することができる。複数の点がユーザによって示された場合、その点の全てまたは大部分と交差する特徴または特徴の組み合わせが解剖学的関心特徴として選択されてもよい。

【0046】

いくつかの例では、解剖学的関心特徴を選択するために使用されている特徴は、特徴の特定のグループに制限されうる。例えば、システムは、対象物検出を実行して、関心エリアを表す撮像センサデータの少なくとも一部分内の血管、血管の分岐点、出血、腫瘍、外科的空洞、所定の色を有する組織、変色を有する組織、隆起エリアおよび陥没エリアのうちの少なくとも１つを識別するように構成されてもよい。したがって、対象物検出を実行するようにトレーニングされている機械学習モデルは、撮像センサデータにおける血管、血管の分岐点、出血、腫瘍、外科的空洞、所定の色を有する組織、変色を有する組織、隆起エリアおよび陥没エリアのうちの少なくとも１つを検出するようにトレーニングされうる。同様に、画像セグメンテーションを実行するようにトレーニングされている機械学習モデルは、撮像センサデータにおける血管、血管の分岐点、出血、腫瘍、外科的空洞、所定の色を有する組織、変色を有する組織、隆起エリアおよび陥没エリアのうちの少なくとも１つに対して画像セグメンテーションを実行するようにトレーニングされうる。したがって、解剖学的関心特徴は、前述の血管、分岐点、出血、腫瘍、外科的空洞、所定の色を有する組織、変色を有する組織、隆起エリア、または陥没エリアなどの特定の特徴を表す、バウンディングボックスまたはピクセルマスクなどの情報を出力するようにトレーニングされている１つまたは複数の機械学習モデルの出力に基づいて選択されうる。

【0047】

以下では、提案の方法が神経手術中に収集された撮像センサデータにどのように適用されるかについてのいくつかの例を示す。図１ｃ～図１ｅは、脳の血管に関する解剖学的関心特徴の図を示している。例えば、システムは、動脈、静脈、およびこれらについての一意の形状識別子、例えば分岐などの形態学的特徴および色特徴を識別してもよい。図１ｃには、複数の分枝を有する脳の血管が示されている。神経外科においては、多くの場合、かかる血管の分枝が特に重要である。したがって、図１ｄに示されているように、システムは、血管の分岐点１５０～１５８（分岐点の周りのバウンディングボックスとして示される）を識別するために対象物検出を使用するように構成されうる。関心エリアがバウンディングボックスのうちの１つと交差する場合、当該分岐点は、解剖学的関心特徴として選択されうる。いくつかの例では、システムは、関心エリア内の低コントラストまたは不可視情報を識別するように構成されうる。例えば、外科医が静脈を複数回指し示した場合、システムは、それが近くの動脈ではなく静脈の周囲であることを理解することができ、または外科医が空洞の表面上の完全に酸素化した血液（微小出血）をクリックした場合、システムは、血液飽和およびこの要素の形状（微小出血）を考慮して、外科的空洞を識別することができる。加えて、ハイパースペクトル撮像または蛍光撮像からの撮像センサデータなどの付加的画像情報も考慮されうる。例えば、撮像センサデータには、（例えば、白色光反射率撮像からの）カラー撮像データを有する第１の成分と、ハイパースペクトル撮像データ、マルチスペクトル撮像データおよび蛍光撮像データのうちの少なくとも１つを有する第２の成分と、が含まれてもよい。第２の成分は、例えば、隣接する波長帯域からの色情報と混合されることにより、または蛍光発光が（白色光反射率撮像を行うために用いられる照明からそれぞれの蛍光発光波長帯域を除外することで）白色光反射率画像から除外もしくは排除されることにより、第１の成分内に存在しないか、または区別できない情報を含むことができる。この付加的情報を使用して、解剖学的関心特徴を区別または選択することができる。したがって、システムは、少なくとも第２の成分に基づいて、例えば、ハイパーまたはマルチスペクトル撮像センサデータにおいて分離された、蛍光発光または色情報を使用して、撮像センサデータにおいて可視の他の特徴から解剖学的関心特徴を区別することによって、解剖学的関心特徴を決定し、かつ／または解剖学的関心特徴の位置を検出するように構成することができる。

【0048】

いくつかの例では、システムはまた、ユーザ定義エリア内に直接に存在しない、同じ血管の分岐などの隣接する構造を考慮することができ、すなわち、あるセグメントを、２つの特徴的な分枝または血管湾曲部の間の血管部分としてアルゴリズムによって理解することができる。例えば、図１ｅに示されているように、大きな湾曲部１６０は、例えば、湾曲部の経路に沿って複数回指し示すことによって、または湾曲の中心を指し示すことによって、（より大きな血管の一部である）解剖学的関心特徴として選択可能となる。代替手段として、分岐点１６４；１６６間の血管の一部分１６２が選択されてもよい。したがって、システムは、解剖学的関心特徴が基づく特徴に隣接して位置する１つまたは複数の特徴の範囲に基づいて、解剖学的関心特徴の範囲を決定するように構成することができる。例えば、システムは、隣接して位置する特徴に基づいて関心特徴の範囲を限定するように、例えば、血管の一部分に隣接して位置する２つの分岐点１６４；１６６の位置に基づいて解剖学的関心特徴として選択される血管の一部分１６２を限定するように構成されていてよい。

【0049】

いくつかの例では、２つの特徴的な特徴の間のエリアを関心エリアと見なすことができる。特徴的な特徴が存在しない場合、関心エリア、したがって解剖学的関心特徴は、関心エリアの外側であっても、他の特徴に対して空間的に配向されたエリアとして指定することができる。例えば、システムは、ユーザによって示される関心エリアが２つ以上の特徴または２つ以上の特徴の間のエリアに関連する場合、２つ以上の特徴に基づいて解剖学的関心特徴を決定し、２つ以上の特徴の位置に基づいて解剖学的関心特徴の位置を決定するように構成することができる。さらに、システムは、ユーザによって示された関心エリアが２つ以上の特徴の間のエリアに関連する場合、関心エリア内に位置する特徴および関心エリア外に位置する特徴から２つ以上の特徴を選択するように構成可能である。例えば、関心エリアは、アルゴリズムによって、ユーザが指示した関心エリアの近くであるが外側にある２つの垂直に配向された血管の間の組織として理解されてもよい。より広範な視野を有する２次光学撮像センサもまた、この目的のために、すなわち、関心エリアの外側の特徴を選択するために使用可能である。いくつかの例では、上述した画像分析／処理技術を使用して、低コントラストの特徴、もしくは不可視の特徴、または定量化を必要とする特徴を抽出することができる。例えば、システムは、画像処理を実行して、密度、分岐および曲率などの血管／毛細血管に関連するパラメータを測定し、これらのパラメータを使用して、解剖学的関心特徴をセグメント化し、識別するように構成可能である。例えば、高密度の毛細血管を有する組織エリアが解剖学的関心特徴であってよい。

【0050】

いくつかの例では、システムは、クリップまたはステッチなどの異物を考慮することもできる。例えば、システムは、対象物検出を実行して、クリップおよびステッチのうちの少なくとも１つを非解剖学的関心特徴として識別するように構成可能である。したがって、対象物検出および／または画像セグメンテーションを実行するようにトレーニングされている機械学習モデルは、（トレーニング入力サンプルとしての）非解剖学的特徴を示す撮像センサデータと、所望の出力としての対応するバウンディングボックス座標および／またはピクセルマスクと、に基づいてトレーニングすることができる。システムは、撮像センサデータにおける非解剖学的関心特徴の位置を検出し、非解剖学的関心特徴の位置にさらに基づいて顕微鏡のオートフォーカス機能を実行するように構成することができる。非解剖学的関心特徴は、解剖学的関心特徴に加えてまたはこれに代えて使用可能であり、例えば、システムは、オートフォーカス能力に関して解剖学的特徴および非解剖学的特徴の両方を使用することをサポート可能である。例えば、ユーザが解剖学的関心特徴を指し示すか、または関心エリアが（より顕著な）解剖学的特徴を含む場合、オートフォーカス機能をこの解剖学的特徴に基づいて実行することができ、ユーザが非解剖学的関心特徴を指し示すか、または関心エリアが（より顕著な）非解剖学的特徴を含む場合、オートフォーカス機能を非解剖学的特徴に基づいて実行することができる。換言すれば、ユーザ選択が（明らかに）非解剖学的特徴に関連する場合、オートフォーカス機能は非解剖学的特徴に基づいて実行されうるが、そうでない場合、オートフォーカス機能は解剖学的特徴に基づいて実行さうる。

【0051】

解剖学的（または非解剖学的）関心特徴が決定されると、オートフォーカス機能が関心特徴に向けられることになる。特に、システムは、撮像センサデータにおける解剖学的関心特徴の位置を検出し、解剖学的または非解剖学的関心特徴の位置に焦点を合わせるように顕微鏡のオートフォーカス機能をトリガするように構成される。換言すれば、システムは、オートフォーカスシステムによって使用される焦点を（解剖学的または非解剖学的）関心特徴の位置に設定するように構成されうる。

【0052】

種々の例では、関心特徴の精緻な決定が行われ、フレーム全体にわたって関心特徴を追跡し、いったん視野が（例えば、ユーザが顕微鏡を移動させ、または顕微鏡の倍率を変化させたために）変化すると、または関心特徴の位置が変化すると、オートフォーカス機能を再連動させることが可能となる。したがって、システムは、例えば、複数のフレームに対して対象物検出または画像セグメンテーションを実行し、（例えば、画像セグメンテーションによって出力されたピクセルマスクによって示される特徴の形状に基づいて）後続のフレームの特徴間の対応を決定することによって、撮像センサデータの複数のフレーム全体にわたって解剖学的または非解剖学的関心特徴の位置を追跡するように構成されうる。しかしながら、このプロセスは計算量が多く、後続のフレーム間の差は通常小さいため、追跡は、撮像センサデータのフレームレートよりも低いフレームレートで実行することができる。したがって、システムは、撮像センサデータの多くとも１つおきのフレーム（例えば、ｎ番目ごとのフレーム、ｎ∈｛２，３，４，６，１０，１２，１５，２４，３０，４５，６０｝）において解剖学的関心特徴の位置を検出するように構成することができる。システムは、少なくとも所定の時間間隔の間、例えば、少なくとも１秒、または少なくとも２秒、または少なくとも５秒、または少なくとも１０秒の間、解剖学的または非解剖学的関心特徴の位置が撮像センサデータの視野に対してシフトされた場合（例えば、視野がシフトされたとき、または解剖学的特徴が移動したとき）、オートフォーカス機能をトリガするように構成することができる。換言すれば、解剖学的または非解剖学的関心特徴の位置が視野に対して一時的だけでなく変化した場合には、解剖学的または非解剖学的関心特徴の位置に基づいてオートフォーカス機能を再連動させることができる。システムは、例えば、連続するフレームにおける関心特徴の位置を比較することによって、視野に対してシフトした関心特徴を検出するように構成されていてよい。

【0053】

いくつかの例では、関心特徴は、外科的処置中に変化しうる。例えば、関心特徴が腫瘍である場合、腫瘍は除去されうるし、関心特徴が血管である場合、血管は変形することがあり、関心特徴が２つの血管の交差である場合、血管のうちの１つが除去されることがある。かかる場合、解剖学的関心特徴は、更新および／または再定義することができる。換言すれば、システムは、過去に決定された関心特徴が除去または変形された場合に、解剖学的関心特徴の決定を繰り返すように構成することができる。この場合、過去の解剖学的関心特徴を取り囲むエリアを関心エリアとして使用することができ、新たな解剖学的関心特徴を当該関心エリア内で決定することもできる。例えば、解剖学的関心特徴が血管であり、ある時点で血管が変形した場合、新たな変形した形状が解剖学的関心特徴の定義において使用されうる。これに代えてまたはこれに加えて、異なるタイプの動的な解剖学的関心特徴定義が使用されてもよい。例えば、解剖学的関心特徴が、動脈と静脈とが交差している点として開始し、手術中に静脈が視野から除去されうる。この場合、解剖学的関心特徴は、特定の分岐の後の動脈部分として動的に再定義することができる。いくつかの例では、外科医が作業しているエリアを考慮することによって、スマートで動的な解剖学的関心特徴の適応化を実行することができる。例えば、外科医が、より深い腫瘍に向かって組織を掘り進んでいるとき、アルゴリズムは、「行動点（point of action）」に従うことができる。

【0054】

選択されている解剖学的または非解剖学的関心特徴、したがってオートフォーカス機能に関して使用されている点は、外科用顕微鏡システムのユーザ（例えば、外科医）に伝達することができる。上記で概説したように、手術部位のデジタルビューは、撮像センサデータに基づいて生成することができ、これは、付加的情報、例えば、外科用顕微鏡システムの設定などとともに手術部位を示す。したがって、システムは、撮像センサデータに基づいてデジタルビューを生成するように構成することができる。加えて、選択された解剖学的または非解剖学的関心特徴は、例えば、解剖学的または非解剖学的関心特徴の上にカラーオーバレイを示すことによって、または焦点を表す視覚的インジケータを示すことによって、強調表示されてもよい。システムは、例えば、輪郭、カラーオーバレイ、または視覚インジケータを有するオーバレイを追加することによって、デジタルビュー内の関心エリア（例えば輪郭として）および／または関心特徴（例えば、焦点を表す別の輪郭、カラーオーバレイ、または視覚インジケータとして）を強調表示するように構成することができる。システムは、デジタルビューを含む表示信号を外科用顕微鏡システムの表示デバイス１３０に提供するように構成可能である。

【0055】

種々の例では、複数の特徴の視覚的表現および／または手術部位のデジタルビューが生成され、表示信号の一部として外科用顕微鏡システムのディスプレイ１３０に提供される。視覚的表現またはデジタルビューは、外科用顕微鏡システムのユーザ、例えば外科医が視認することができる。この目的のために、表示信号は、顕微鏡システムのディスプレイ、例えば、補助ディスプレイ１３０ｂまたは接眼ディスプレイ１３０ａに提供されうる。したがって、システムは、顕微鏡システムの表示デバイス１３０のための表示信号を生成するように構成可能であり、この表示信号はデジタルビューまたは視覚的表現に基づく。例えば、表示信号は、表示デバイス１３０を駆動（例えば制御）するための信号であってよい。例えば、表示信号は、ディスプレイを駆動するためのビデオデータおよび／または制御命令を含んでもよい。例えば、表示信号は、システムの１つまたは複数のインタフェース１１２のうちの１つを介して提供可能である。したがって、システム１１０は、顕微鏡システム１００のディスプレイ１３０に表示信号を提供するのに適したビデオインタフェース１１２を備えることができる。

【0056】

提案の顕微鏡システムでは、少なくとも１つの光学撮像センサを使用して、撮像センサデータが提供される。したがって、光学撮像センサ１２２は、撮像センサデータを生成するように構成されている。例えば、顕微鏡１２０の少なくとも１つの光学撮像センサ１２２は、アクティブピクセルセンサ（ＡＰＳ：Active Pixel Sensor）もしくは電荷結合素子（ＣＣＤ：Charge-Coupled-Device）をベースとした撮像センサ１２２を含むか、またはこれらであってよい。例えば、ＡＰＳ系撮像センサでは、光は、ピクセルの光検出器およびアクティブ増幅器を使用して、各ピクセルにおいて記録される。ＡＰＳ系撮像センサは、多くの場合、相補型金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-Oxide-Semiconductor）またはサイエンティフィックＣＭＯＳ（Ｓ－ＣＭＯＳ：Scientific CMOS）技術に基づいている。ＣＣＤ系撮像センサでは、入射光子は半導体－酸化物界面において電子電荷へ変換され、続いて、撮像を行うための撮像センサ回路により、撮像センサ内の容量ビン間を移動する。処理システム１１０は、光学撮像センサから撮像センサデータを取得する（すなわち受信するかまたは読み出す）ように構成することができる。撮像センサデータは、（例えばインタフェース１１２を介して）光学撮像センサから撮像センサデータを受信することによって、（例えばインタフェース１１２を介して）光学撮像センサのメモリから撮像センサデータを読み出すことによって、または例えば撮像センサデータが光学撮像センサによりまたは別のシステムもしくはプロセッサによって記憶デバイス１１６に書き込まれた後にシステム１１０の記憶デバイス１１６から撮像センサデータを読み出すことによって、取得することができる。

【0057】

システム１１０の１つまたは複数のインタフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードに従ってデジタル（ビット）値でありうる情報を受信および／または送信するための１つまたは複数の入力および／または出力に対応することができる。例えば、１つまたは複数のインタフェース１１２は、情報を受信および／または送信するように構成されたインタフェース回路を備えてもよい。システム１１０の１つまたは複数のプロセッサ１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、プロセッサ、コンピュータ、またはそれに応じて適応化されたソフトウェアとともに動作可能なプログラマブルハードウェア構成要素など、処理のための任意の手段を使用して実装することができる。換言すれば、１つまたは複数のプロセッサ１１４の上述した機能はソフトウェアとして実装可能であり、この場合、ソフトウェアが１つまたは複数のプログラマブルハードウェア構成要素上で実行される。かかるハードウェア構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラなどを備えることができる。システム１１０の１つまたは複数の記憶デバイス１１６は、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、またはネットワーク記憶装置などの磁気または光学記憶媒体などのコンピュータ可読記憶媒体のグループの少なくとも１つの要素を含むことができる。

【0058】

外科用顕微鏡システムのさらなる詳細および態様を、提案の概念、または上記もしくは下記の１つまたは複数の例（例えば図２～図４）に関連して言及する。外科用顕微鏡システムは、提案の概念の１つまたは複数の態様、または上記もしくは下記の１つまたは複数の例に対応する１つまたは複数の追加の任意選択手段としての特徴を備えることができる。

【0059】

図２は、外科用顕微鏡システムの顕微鏡のための対応する方法の一例のフローチャートを示している。方法は、顕微鏡の少なくとも１つの光学撮像センサから撮像センサデータを取得すること（２１０）を含む。方法は、外科用顕微鏡システムのユーザの入力に基づいて、ユーザの関心エリアに関する情報を決定すること（２２０）を含む。方法は、関心エリア内の解剖学的関心特徴を決定すること（２３０）を含む。方法は、撮像センサデータにおける解剖学的関心特徴の位置を検出すること（２４０）を含む。方法は、解剖学的関心特徴の位置に焦点を合わせるために、顕微鏡のオートフォーカス機能をトリガすること（２５０）を含む。

【0060】

例えば、方法は、図１ａ～図１ｅのうちの１つに関連して導入された外科用顕微鏡システムによって実装することができる。図１ａ～図１ｅの外科用顕微鏡システムに関連して紹介された特徴は、対応する方法にも同様に含まれうる。

【0061】

方法のさらなる詳細および態様は、提案の概念、または上記もしくは下記の１つまたは複数の例（例えば図１ａ～図１ｅ、図３～図４）に関連して言及される。方法は、提案の概念の１つまたは複数の態様、または上記もしくは下記の１つまたは複数の例に対応する１つまたは複数の追加の任意の特徴を含みうる。

【0062】

本開示の種々の例は、アダプティブオートフォーカスのための概念に関する。

【0063】

概して、外科医は、顕微鏡を移動させるたびに関心領域に手動で焦点を合わせる必要がある。提案の概念は、外科医が手動で（一度だけ）定義した関心領域のオートフォーカスを提供するものである。したがって、外科医が顕微鏡を移動させるたびに焦点を調整する時間を費やす必要はない。結果として、関心領域に常に焦点を合わせることができる。

【0064】

図３は、脳の手術部位に関するデジタルビューの一例の概略図を示している。図３は、決定された関心特徴に基づいて焦点が調整される前に設定された現在の焦点３１０を示している。焦点３に基づいて、領域３２０は焦点が合っている。図３は、血管の湾曲領域に対応する関心特徴３３０をさらに示している。強調表示された関心特徴の周辺のロックは、オートフォーカスシステムがこの関心特徴にロックされていることを示す。図３は、フォーカス機能をロックするためにトリガされうる第１のユーザインタフェース要素３４０と、中心機能にロックするためにトリガされうる第２のユーザインタフェース要素３５０と、をさらに示している。

【0065】

提案の概念は、４つの構成要素に基づいている。第１の構成要素では、外科医が、焦点を合わせ続ける必要がある関心エリアを鑑別する。第２の構成要素では、アルゴリズムが、図１ａ～図２に関連して説明したように、局所情報、すなわち関心領域（ＲＯＩ）また関心エリアを、画像内で探索される関心特徴（ＦＯＩ）へ変換する。第３の構成要素では、アルゴリズムは、各フレームで識別されたＦＯＩを探索し、関連する画像部分を焦点ＲＯＩとしてセグメンテーションする。第４の構成要素では、焦点ＲＯＩがオートフォーカス機能に伝達される。

【0066】

以下では、上に列挙された４つの基本的な構成要素についてのいくつかの実装例を示す。例えば、第１の構成要素に関して、外科医は、ポインティングデバイス、例えばコンピュータマウスまたはタッチパネルを使用して、ＲＯＩを定義することができる。これに代えてまたはこれに加えて、外科医は、視野内の対象物、例えば外科用ツールの先端または指先を使用することもできる。いくつかの例では、顕微鏡システムには、視線追跡デバイスを使用することができ、これにより、外科医は、画像エリアを見てＲＯＩを示すことができる。例えば、定義済みのＲＯＩは、標準的な（すなわち、幾何学的な）形状（例えば円または正方形）を使用して定義可能であり、または所望の構造の輪郭を描く自由形式の線を使用して定義されてもよい。

【0067】

いくつかの例では、ユーザは、所望の特徴を１回または複数回ポイントまたはクリックすることができ、例えば、血管に沿ってクリックすることができる。これに加えてまたはこれに代えて、外科医は、音声コマンド、例えば、「左上側における大動脈の分岐を辿る」を使用してもよい。いくつかの例では、顕微鏡が、異なる基準に基づいて画像をセグメンテーションすることができ、外科医は、セグメントのうちの１つ、例えば、血管のセグメンテーションおよび血管特徴（例えば分岐、変形、色）、外科的空洞、色／変色および隆起エリアを選択することができる。例えば、セグメンテーションには、蛍光、マルチスペクトル／ハイパースペクトル画像および術前データ（例えば、腫瘍が組織の深部にあることが既知である）などの、カラー画像に示される情報以外の情報が（も）使用されうる。例えば、画像のセグメンテーションは、外科医の外科的アクティビティ、例えば、外科医が切断、接触、操作しているエリアによって行われるか、またはこれによって支援可能である。

【0068】

ＲＯＩが外科医によって選択された後、システムは、関心特徴（ＦＯＩ）を識別すること、すなわち、提案の概念の第２の構成要素を実行することができる。例えば、システムは、動脈、静脈、およびこれらについての一意の形状識別子、例えば、分岐などの形態学的特徴および色特徴を識別することもできる。システムは、ＲＯＩ内の低コントラストまたは不可視情報を識別することができる。例えば、外科医が静脈上で複数回クリックした場合、システムは、それが近くの動脈ではなく静脈の周囲であることを理解することができ、または外科医が空洞の表面上の完全に酸素化した血液（微小出血）をクリックした場合、アルゴリズムは、血液飽和およびこの要素の形状（微小出血）を考慮して、外科的空洞を識別することができる。いくつかの例では、システムはまた、ユーザ定義エリア内に直接に存在しない、同じ血管の分岐などの隣接する構造を考慮することができ、すなわち、あるセグメントを、２つの特徴的な分枝または血管湾曲の間の血管部分としてアルゴリズムによって理解することができる。いくつかの例では、システムは、クリップまたはステッチなどの異物を考慮することができる。

【0069】

特徴的な特徴が存在しない場合、ＲＯＩの外側であっても、他の特徴に対して空間的に配向されたエリアとして、ＲＯＩ、したがってＦＯＩを定義することが可能でありうる。例えば、ＲＯＩは、ユーザが指示したＲＯＩの近くであるが外側にある２つの垂直に配向された血管の間の組織としてアルゴリズムによって理解可能である。より広範な視野（ＦｏＶ）を有する２次カメラをこの目的のために使用することもできる。いくつかの例では、画像分析／処理技術を使用して、低コントラストな特徴、もしくは不可視の特徴、または定量化を必要とする特徴を抽出することができる。例えば、画像処理は、密度、分岐および曲率などの血管／毛細血管に関連するパラメータを測定し、これらのパラメータを使用して、ＦＯＩをセグメンテーションし、識別することができる。高密度の毛細血管を有する組織エリアがＦＯＩとされてもよい。概して、ＦＯＩは、任意の１つまたは複数の特徴によって記述することができる。ＦＯＩ識別プロセスの結果を可視化して、認識の有効性を保証することができる。外科医は、これを確認でき、または外科医は、これが間違っている場合にのみ措置を講じることができる。例えば、システムは、特定の記号（例えば、変色したパッチのサイズを示す矢印、血管の湾曲部を示す弧、または蛍光信号の存在）を用いて、アルゴリズムが追跡のために使用する特徴のタイプを示すことができる。これにより、外科医は、追跡の有効性をより適切に制御できるようになる。

【0070】

システムの第３の構成要素では、アルゴリズムがＦＯＩを探索する。例えば、アルゴリズムは、動的ＦＯＩ記述を使用してＦＯＩを探索することができる。例えば、ＦＯＩは、各フレームにおいて探索可能であるが、周期的に（例えばｎ番目のフレームごとに）、ＦＯＩの記述が再定義（すなわち更新）されてもよい。例えば、ＦＯＩが血管であり、ある時点で血管が変形した場合、新たな変形した形状が定義において使用されうる。これに代えてまたはこれに加えて、異なるタイプの動的ＦＯＩ定義が使用されてもよい。例えば、上記で特定した動的ＦＯＩ定義に加えて、異なるタイプのＦＯＩは、ＦＯＩの定義方法を変更する能力を提供することができる。例えば、ＦＯＩは動脈が静脈と交差している点として開始しうるが、手術中に静脈がＦＯＶから除去されることがある。この場合、ＦＯＩは、特定の分岐の後の動脈部分として動的に再定義可能である。いくつかの例では、外科医が作業しているエリアを考慮することによって、スマートで動的なＦＯＩの適応化を実行することができる。例えば、外科医が、より深い腫瘍に向かって組織を深部方向へ進んでいるとき、アルゴリズムは「行動点」に従うことができる。ＦＯＩの定義と同様に、ＦＯＩ探索プロセスの結果が（例えば、オートフォーカスに使用されている現在のＲＯＩの輪郭を描くことによって）可視化可能となる。これは、連続的に、周期的に（例えば１５秒ごとに１秒間の点滅）、パラメータに変化があった場合（例えば解剖学的構造の長さが変化した場合）、または認識された特徴が変化した場合（例えばアルゴリズムが血管の交差を追跡することを停止して分岐を追跡した場合）に行うことができる。いくつかの例では、提案のシステムは、ＦＯＩの識別におけるアルゴリズムの確実性を示すことができる。これにより、外科医は、手術の重要な部分の前にＲＯＩ／ＦＯＩを再定義することが可能となるため、重要な外科手術ステップにおいてオートフォーカスが失敗するという大きな不都合を避けることができる。

【0071】

第４の構成要素、すなわち、オートフォーカスサブシステムへのＲＯＩの通信に関して、以下の実装アプローチを使用することができる。例えば、焦点ＲＯＩは、アルゴリズムによるＦＯＩの瞬間的な誤解釈に起因するエラーを回避するために、時間遅延を伴って伝達されうる。例えば、ＦＯＩが別の対象物（例えば、組織、ツール、ガーゼ）によって覆われている場合、これによってアルゴリズムが「おかしくなる」ことはない。例えば、通信頻度は、ＦＯＩ認識の確実性／信頼度による影響を受けることがある。例えば、アルゴリズムが確実である場合（つまりＦＯＩが高い確実性で見出された場合）、焦点ＲＯＩは瞬時に更新可能であるが、確実性が低い場合、信頼度が上昇するかまたは警告が発せられるまで待機することができる。いくつかの例では、ＲＯＩは、異なる信頼度を有するＲＯＩゾーンに対して異なる重みを含みうる。例えば、良好に認識される組織構造は、９０％の重量を有する場合があり、同時に、曖昧な認識を有する（例えば、蛍光信号が弱いため）他の組織エリアは、３０％の重量を有する場合がある。これは、オートフォーカスが、高い信頼度でゾーンに焦点を合わせることを優先することができることを意味する。

【0072】

アダプティブオートフォーカスのための概念のさらなる詳細および態様は、上記もしくは下記で説明する提案の概念または１つまたは複数の例（例えば、図１ａ～図２、図４）に関して言及される。アダプティブオートフォーカスのための概念は、提案の概念の１つまたは複数の態様、または上記もしくは下記の１つまたは複数の例に対応する１つまたは複数の追加の任意選択手段としての特徴を備えることができる。

【0073】

いくつかの実施形態は、図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。代替的に、顕微鏡は、図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってよく、または図１から図３のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図４は本明細書に記載された方法を実行するように構成されたシステム４００の概略図を示している。システム４００は、顕微鏡４１０とコンピュータシステム４２０とを含んでいる。顕微鏡４１０は、撮像するように構成されており、かつコンピュータシステム４２０に接続されている。コンピュータシステム４２０は、本明細書に記載された方法の少なくとも一部を実行するように構成されている。コンピュータシステム４２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム４２０と顕微鏡４１０は別個の存在物であってよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム４２０は、顕微鏡４１０の中央処理システムの一部であってよく、かつ／またはコンピュータシステム４２０は、顕微鏡４１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡４１０の従属部品の一部であってもよい。

【0074】

コンピュータシステム４２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話機）であってよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム４２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム４２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてよいが、これらに限定されない。コンピュータシステム４２０に含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってよく、例えばこれは、携帯電話機、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム４２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム４２０はディスプレイ装置、１つまたは複数のスピーカおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含みうるコントローラ、またはシステムのユーザがコンピュータシステム４２０に情報を入力すること、およびコンピュータシステム４２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0075】

ステップの一部または全部が、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0076】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装されうる。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0077】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0078】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行される際にいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0079】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0080】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行される際に本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0081】

したがって、本発明の別の実施形態は、プロセッサによって実行される際に本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0082】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0083】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適応化されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0084】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0085】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0086】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0087】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0088】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0089】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0090】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0091】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0092】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0093】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0094】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0095】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0096】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0097】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジと、を含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0098】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【符号の説明】

【0099】

１００ 外科用顕微鏡システム
１１０ システム
１１２ １つまたは複数のインタフェース
１１４ １つまたは複数のプロセッサ
１１６ １つまたは複数の記憶デバイス
１２０ 顕微鏡
１２２ 光学撮像センサ
１３０ ディスプレイ
１３０ａ 接眼ディスプレイ
１３０ｂ 補助ディスプレイ
１４０ アーム
１５０～１５８ 血管の分岐点
１６０ 血管の湾曲部
１６２ 血管の一部分
１６４；１６６ 血管の分岐点
２１０ 撮像センサデータを取得する
２２０ 関心エリアに関する情報を決定する
２３０ 解剖学的関心特徴を決定する
２４０ 解剖学的関心特徴の位置を検出する
２５０ オートフォーカス機能をトリガする
３１０ 現在の焦点
３２０ 焦点が合っている領域
３３０ 関心特徴
３４０；３５０ ユーザインタフェース要素
４００ システム
４１０ 顕微鏡
４２０ コンピュータシステム

【図1a】

【図1b】

【図1c】

【図1d】

【図1e】

【図2】

【図3】

【図4】

【外国語明細書】