特開 2023-118100 撮像デバイスのための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023118100

(43)【公開日】2023-08-24

(54)【発明の名称】撮像デバイスのための装置および方法

(51)【国際特許分類】

   A61B 3/14 20060101AFI20230817BHJP

   A61B 3/13 20060101ALI20230817BHJP

   G02B 21/00 20060101ALI20230817BHJP

   A61F 9/007 20060101ALI20230817BHJP

【ＦＩ】

A61B3/14

A61B3/13

G02B21/00

A61F9/007 200C

【審査請求】未請求

【請求項の数】22

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023019405

(22)【出願日】2023-02-10

(31)【優先権主張番号】10 2022 103 281.7

(32)【優先日】2022-02-11

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１２ Ｔｅｂａｎ Ｇａｒｄｅｎｓ Ｃｒｅｓｃｅｎｔ， Ｓｉｎｇａｐｏｒｅ ６０８９２４， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ガオ ヤング

(72)【発明者】

【氏名】アルヴィン コック

【テーマコード（参考）】

2H052

4C316

【Ｆターム（参考）】

2H052AA13

2H052AB01

2H052AF14

2H052AF25

4C316AA03

4C316AA07

4C316AA08

4C316AA09

4C316AB16

4C316FA08

4C316FB05

4C316FB26

4C316FC12

4C316FY05

(57)【要約】      （修正有）

【課題】焦点面において正確に位置決めされていない可能性がある特徴の適切な解像を支援することができる。
【解決手段】第１の焦点面から捕捉された像の特徴を識別するように、第１の焦点面を基準とする焦点位置を決定するように、かつアパーチャ設定を決定するように、構成されている装置が開示される。焦点位置およびアパーチャ設定において被写界深度が提供される。装置は、さらに第１の焦点面を基準とする第２の面および第３の面のうちの少なくとも１つを決定するように構成されうる。焦点位置およびアパーチャ設定において、第２の面または第３の面のうちの少なくとも１つに焦点が合っている。
【選択図】なし

【特許請求の範囲】

【請求項1】

装置であって、前記装置は、
第１の焦点面（１４１；２４１）から捕捉された像の特徴（１２０；２２０）を識別することと、
前記第１の焦点面を基準とする焦点位置（１４５，２４５）を決定することと、
アパーチャ設定を決定することと、
を行うように構成されており、
前記焦点位置（１４５，２４５）および前記アパーチャ設定において被写界深度が提供される、
装置。

【請求項2】

前記装置は、
前記第１の焦点面（１４１；２４１）を基準とする第２の面（１４２；２４２）および第３の面（１４３；２４３）のうちの少なくとも１つを決定するようにさらに構成されており、
前記焦点位置（１４５，２４５）および前記アパーチャ設定において、前記第２の面または前記第３の面のうちの少なくとも１つに焦点が合っている、
請求項１記載の装置。

【請求項3】

前記焦点位置を決定することは、前記第１の焦点面から前記焦点位置までのオフセット（２６０）を決定することを含む、
請求項１または２記載の装置。

【請求項4】

前記焦点位置は、前記第２の面と前記第３の面との間に存在する、
請求項２または３記載の装置。

【請求項5】

前記アパーチャ設定は、前記焦点位置（１４５，２４５）において前記第２の面および前記第３の面の各々に対して焦点の合う最大アパーチャである、
請求項２から４までのいずれか１項記載の装置。

【請求項6】

前記装置は、撮像デバイス（１００）の焦点およびアパーチャを制御するために前記焦点位置および前記アパーチャ設定を出力するようにさらに構成されている、
請求項１から５までのいずれか１項記載の装置。

【請求項7】

前記装置は、前記第１の焦点面にフォーカシングするためのオートフォーカシングプロシージャを制御するようにさらに構成されている、
請求項１から６までのいずれか１項記載の装置。

【請求項8】

前記装置は、前記第１の焦点面から像を捕捉するための全開アパーチャ設定を出力するようにさらに構成されている、
請求項１から７までのいずれか１項記載の装置。

【請求項9】

前記特徴（１２０；２２０）は、被験者の眼球の虹彩または眼球の角膜縁である、
請求項１から８までのいずれか１項記載の装置。

【請求項10】

前記装置には、
（１ａ）焦点が合っている角膜の最前部外面および水晶体後嚢を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、または
（１ｂ）焦点が合っている角膜の最前部内面および水晶体後嚢を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、または
（２）焦点が合っている視野の中心の網膜および前記視野の周辺の網膜を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、または
（３）（角膜移植の場合）焦点が合っている角膜に最も近い表面および前記角膜から最も遠い表面を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、または
（４）（角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および角膜縁を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、または
（５）（角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および前記角膜の８００マイクロメートル後方の面を含めるように構成された、前記焦点位置、前記第２の面および前記第３の面、
のうちの少なくとも１つが設けられている、
請求項２から９までのいずれか１項記載の装置。

【請求項11】

前記装置は、
前記第２の焦点面の第２の特徴を識別すること、または
前記第３の面の第３の特徴を識別すること、
のうちの少なくとも１つを行うようにさらに構成されている、
請求項２から１０までのいずれか１項記載の装置。

【請求項12】

前記第２の特徴は、角膜であり、かつ、前記第３の特徴は、水晶体後嚢である、または
前記第２の特徴は、視野の中心の網膜であり、かつ、前記第３の特徴は、前記視野の周辺の網膜である、
請求項１１記載の装置。

【請求項13】

前記装置は、入力を受け取るようにさらに構成されており、
前記入力は、
前記特徴の識別、被写界深度、前記第１の焦点面から前記第２の焦点面までの第１の距離、前記第１の焦点面から前記第３の面までの第２の距離、または、前記第２の焦点面から前記第３の面までの第３の距離、
のうちの少なくとも１つを含み、
前記入力は、ユーザからまたはメモリから受け取られる、
請求項２から１２までのいずれか１項記載の装置。

【請求項14】

前記装置は、前記特徴（１２０；２２０）が特徴認識アルゴリズムによって識別されるようにさらに構成されている、
請求項１から１３までのいずれか１項記載の装置。

【請求項15】

前記装置は、前記特徴がトレーニング済み機械学習アルゴリズムによって識別されるようにさらに構成されている、
請求項１から１４までのいずれか１項記載の装置。

【請求項16】

前記装置は、前記特徴、前記第２の面または前記第３の面を外科手術のワークフローに基づいて決定するようにさらに構成されている、
請求項２から１５までのいずれか１項記載の装置。

【請求項17】

前記装置は、
前記第１の焦点面からの像を含む像を捕捉するための検出器と、
フォーカシングのための調節可能なレンズアセンブリと、
調節可能なアパーチャと、
をさらに備える、
請求項１から１６までのいずれか１項記載の装置。

【請求項18】

前記装置は、第２の撮像デバイスから入力を受け取るようにさらに構成されている、
請求項１７記載の装置。

【請求項19】

前記装置は、前記第２の面（３４２）の第２の特徴（３２２）に基づいて、前記第２の面（３４２）を決定するようにさらに構成されている、
請求項２から１８までのいずれか１項記載の装置。

【請求項20】

撮像デバイスを制御する方法であって、前記方法は、
第１の焦点面（１４１；２４１）から捕捉された像の特徴（１２０；２２０）を識別するステップと、
焦点位置（１４５，２４５）を決定するステップと、
アパーチャ設定（１５５）を決定するステップと、
撮像デバイスの焦点およびアパーチャを制御するために前記焦点位置および前記アパーチャ設定を出力するステップと、
を含む方法。

【請求項21】

前記方法は、前記第１の焦点面（１４１；２４１）を基準とする第２の面（１４２；２４２）または第３の面（１４３；２４３）のうちの少なくとも１つを決定するステップをさらに含み、
前記焦点位置（１４５，２４５）および前記アパーチャ設定（１５５）において、前記第２の面または前記第３の面のうちの少なくとも１つに焦点が合っている、
請求項２０記載の撮像デバイスを制御する方法。

【請求項22】

コンピュータプログラムであって、
前記コンピュータプログラムが少なくとも１つのプロセッサ上で実行される際に、請求項２０または２１記載の方法を実行するためのプログラムコードを有する、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本実施例は、光学撮像デバイス、例えば外科用顕微鏡などの撮像デバイスの設定を決定するための装置に関するものである。

【背景技術】

【0002】

光学撮像デバイスの被写界深度はアパーチャによって影響されうる。アパーチャを絞ることで被写界深度を深くすることができ、これにより、焦点面において正確に位置決めされていない可能性がある特徴の適切な解像を支援することができる。特に、外科用顕微鏡において、焦点とアパーチャ設定とを正確に決定することにより、ユーザの関心対象である特徴の解像を支援することができる。

【発明の概要】

【課題を解決するための手段】

【0003】

装置に関連する実施形態は、第１の焦点面から捕捉された像の特徴を識別することと、第１の焦点面を基準とする焦点位置を決定することと、アパーチャ設定を決定することと、を行うように構成されている。当該焦点位置および当該アパーチャ設定において被写界深度が提供される。本装置は、視野内においてそれぞれ異なる深度で特徴を視覚化することを支援できる。

【0004】

また、本明細書では、第１の焦点面を基準とする第２の面または第３の面のうちの少なくとも１つを決定するように構成されている装置が開示される。ここでの焦点位置およびアパーチャ設定において、第２の面または第３の面のうちの少なくとも１つに焦点が合っている。本装置は、視野内において異なる深度で特徴を視覚化すること、とりわけ第２の面および／または第３の面における特徴を視覚化することを支援できる。

【0005】

本明細書では、第１の焦点面から焦点位置までのオフセットを決定することにより焦点位置を決定するように構成されている装置が開示される。第１の焦点面からの焦点をオフセットすることにより、特徴のより広い範囲に焦点を合わせることができる。焦点位置は、第２の面と第３の面との間に存在しうる。被写界深度は、第２の面および第３の面における特徴に焦点が合うように設定可能であるので、これにより視野の視覚化を支援することができる。

【0006】

本明細書では、アパーチャ設定が、焦点位置において第２の面および第３の面の各々に対して焦点の合う最大アパーチャである装置が開示される。最大アパーチャは、より大きな集光を可能にし、かつ信号／雑音を増大させ、かつ／またはより低いフルエンスを可能にすることで、試料の照射を低減させることを可能にする。

【0007】

本明細書では、撮像デバイスの焦点およびアパーチャを制御するために焦点位置およびアパーチャ設定を出力するようにさらに構成されている装置が開示される。撮像デバイスは、複数の面における特徴の視覚化を例えば同時に提供するように制御されうる。

【0008】

本明細書では、第１の焦点面にフォーカシングするためのオートフォーカシングプロシージャを制御するようにさらに構成されている装置が開示される。オートフォーカシングによる第１の焦点面の決定は、特徴の異なる面を決定する基礎となる標準開始点を提供しうる。

【0009】

本明細書では、第１の焦点面から像を捕捉するための全開アパーチャ設定を出力するようにさらに構成されている装置が開示される。第１の焦点面の捕捉における全開アパーチャは、装置のＺ位置をより正確に設定し、その後の面の決定においても、例えば、これらの面は第１の焦点面を基準として決定されるので、より正確に行えるようになる。

【0010】

本明細書における特徴は、被験者の眼球の虹彩または眼球の角膜縁でありうる。このような特徴は、高コントラストおよび／または面のその後の決定の基礎となる既知の開始面を提供しうる。

【0011】

本明細書では、
（１ａ）焦点が合っている角膜の最前部外面および水晶体後嚢を含めるように構成された、焦点位置、第２の面および第３の面、または
（１ｂ）焦点が合っている角膜の最前部内面および水晶体後嚢を含めるように構成された、焦点位置、第２の面および第３の面、または
（２）焦点が合っている視野の中心の網膜および視野の周辺の網膜を含めるように構成された、焦点位置、第２の面および第３の面、または
（３）（角膜移植の場合）焦点が合っている角膜に最も近い表面および角膜から最も遠い表面を含めるように構成された、焦点位置、第２の面および第３の面、または
（４）（角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および角膜縁を含めるように構成された、焦点位置、第２の面および第３の面、または
（５）（角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および角膜の８００マイクロメートル後方の面を含めるように構成された、焦点位置、第２の面および第３の面、のうちの少なくとも１つが設けられている、装置が開示される。

【0012】

上記の例は、異なる面に存在する、焦点の合った複数の特徴を提供することで外科医を支援することができる。例えば、焦点位置および／またはアパーチャ設定の自動化は、手動調整および／または試行錯誤での調整が必要なものよりも、より高い利便性で、より解像度の高い像を外科医に提供することができる。

【0013】

本明細書では、第２の焦点面の第２の特徴を識別すること、または第３の面の第３の特徴を識別すること、のうちの少なくとも１つを行うようにさらに構成されている装置が開示される。特徴を識別することで、ユーザにとって貴重なコンテンツおよび情報量の多い像が保証されるよう支援することができる。例えば、特徴認識アルゴリズムおよび／または機械学習アルゴリズムなどのコンピュータアルゴリズムが、第１の特徴および／または第２の特徴を識別してもよい。

【0014】

本明細書では、第２の特徴は角膜であり、第３の特徴は水晶体後嚢であるか、または第２の特徴は視野の中心の網膜であり、第３の特徴は視野の周辺の網膜である装置が開示される。これらの特定の特徴に焦点を合わせることで、外科医による術野の視覚化を支援することができる。

【0015】

本明細書では、入力を受け取るようにさらに構成されている装置が開示される。入力は、特徴の識別、被写界深度、第１の焦点面から第２の焦点面までの第１の距離、第１の焦点面から第３の面までの第２の距離、または第２の焦点面から第３の面までの第３の距離、のうちの少なくとも１つを含む。入力はユーザから、またはメモリから受け取られる。入力を提供することで、パラメータ、特にアパーチャおよび焦点を決定する方法の柔軟性が増す。

【0016】

本明細書では、特徴認識アルゴリズムによって特徴を識別するようにさらに構成されている装置が開示される。アルゴリズムは、設定の決定、特にアパーチャおよび焦点の決定の簡素化を支援することができる。アルゴリズムは、代替的に／付加的に、第１の焦点面以外の面に存在する可能性がある第２の特徴および／または第３の特徴を識別することができる。

【0017】

本明細書では、トレーニング済み機械学習アルゴリズムによって特徴を識別するようにさらに構成されている装置が開示される。機械学習アルゴリズムは、特にアパーチャおよび焦点の設定の決定の簡素化を支援することができる。

【0018】

本明細書では、特徴、第２の面、または第３の面のうちの少なくとも１つを、外科手術のワークフローに基づいて決定するようにさらに構成されている装置が開示される。ワークフローに基づく特徴および／または面の決定は、設定の決定、特にアパーチャおよび焦点のより正確な決定を支援することができる。装置はまた、外科手術のワークフローのステップを決定することができるので、例えば、外科手術のワークフローに関連する視野内の構造体の視覚化を支援する光学設定（焦点ポイントやアパーチャなど）の決定を支援することができる。

【0019】

本明細書では、第１の焦点面からの像を含む像を捕捉する検出器と、フォーカシングのための調節可能なレンズアセンブリと、調節可能なアパーチャと、をさらに備える装置が開示される。これらの構成要素は、視野を最適に視覚化するための光学設定の提供を支援することができる。

【0020】

本明細書では、光干渉断層画像デバイスなどの第２の撮像デバイスからの入力を受け取るようにさらに構成されている装置が開示される。第２の撮像デバイスは、特徴および／または面の決定に対する精度の向上を提供することが可能であり、これにより関心対象である異なる面における特徴を含んでより正確にフォーカシングを行うことができる。

【0021】

本明細書では、第２の面の第２の特徴に基づいて、第２の面を決定するようにさらに構成されている装置が開示される。特徴に基づいて面を決定することは、設定の精度、例えば焦点位置およびアパーチャの精度を高めることを可能にする。

【0022】

本明細書では、第１の焦点面から捕捉された像の特徴を識別することと、焦点位置を決定することと、アパーチャ設定を決定することと、撮像デバイスの焦点およびアパーチャを制御するために焦点位置およびアパーチャ設定を出力することと、を含む、撮像デバイスを制御する方法が開示される。本方法は、視野内において異なる深度で特徴を視覚化することを支援可能である。

【0023】

本明細書では、第１の焦点面を基準とする第２の面または第３の面のうちの少なくとも１つを決定することを、さらに含み、ここで、焦点位置およびアパーチャ設定において、第２の面または第３の面のうちの少なくとも１つに焦点が合っている、撮像デバイスを制御する方法が開示される。本方法は、視野内において異なる深度で特徴を視覚化することを支援可能である。本明細書では、撮像デバイスを制御する方法を実行するためのプログラムコードを有するコンピュータプログラムが開示される。

【0024】

以下、添付図面を参照して、いくつかの実施例に係る装置および／または方法を単に例示として説明する。

【図面の簡単な説明】

【0025】

【図1A】撮像デバイスを示した図である。

【図1B】撮像デバイスを制御する方法を示した図である。

【図2】眼球を示した図である。

【図3】眼球を示した図である。

【図4】眼球を示した図である。

【図5】外科手術用撮像デバイスを示した図である。

【発明を実施するための形態】

【0026】

ここでは、いくつかの例が図示されている添付の図面を参照して、さまざまな実施例をより詳細に説明する。図面において、線、レイヤおよび／または領域の厚さは明瞭化のために誇張したところがある。

【0027】

図１Ａは、像を捕捉する撮像デバイス１００の一実施例による図であり、例えば、像とは、撮像デバイス１００が焦点位置１４５へのフォーカシングを行う際に収集された像のことである。撮像デバイス１００は、調節可能なアパーチャ１５０を有しうる。撮像デバイス１００により収集された光は、レンズアセンブリ１１０およびアパーチャ１５０を通過することができ、検出器１７０によって捕捉可能となる。焦点位置１４５およびアパーチャ設定は、例えば、被写界深度１５６が設けられるように決定されうる。被写界深度１５６は、焦点位置１４５へ向かって、また焦点位置１４５から離れるように、例えばＺ方向で撮像デバイス１００へ向かって、また撮像デバイス１００から離れるように、軸方向に延在可能である。

【0028】

検出器１７０は、第１の焦点面からの像を含む像およびその後捕捉される像、例えば焦点位置および／またはアパーチャ設定が決定された後に捕捉される像を捕捉するためのものであってよい。調節可能なレンズアセンブリ１１０はフォーカシングのためのものであってよい。

【0029】

撮像デバイス１００は、少なくとも１つのプロセッサ１０２および少なくとも１つのメモリ１０３を含む装置１０１などの装置１０１と通信可能に結合可能である。装置１０１は、撮像デバイス１００を制御するためのものであってよく、例えば、焦点および／またはアパーチャ設定、例えばレンズアセンブリ１１０および／またはアパーチャ１５０を制御する制御信号を出力することを含む。装置１０１は、撮像デバイス１００から捕捉された像を受け取ることができる。撮像デバイス１００は、例えば眼科用手術顕微鏡でありうる。他の外科用顕微鏡も可能である。

【0030】

図１Ａはまた、第１の焦点面１４１の特徴１２０も示している。第２の面１４２および第３の面１４３も示されている。図１Ａの例においては、撮像デバイス１００が焦点位置１４５にフォーカシングされ、かつアパーチャ設定が決定可能であるときに、被写界深度１５６、例えば第２の面１４２または第３の面１４３のうちの少なくとも１つを含む被写界深度１５６が提供される。決定された焦点位置１４５は、第２の面１４２と第３の面１４３との間に存在しうる。アパーチャ設定は、焦点位置１４５において、第２の面および第３の面の各々が焦点の合う最大アパーチャとなるように決定可能である。

【0031】

関心対象である特徴は、第２の面１４２および／または第３の面１４３において識別されうる。代替的に／付加的に、第２の面１４２および／または第３の面１４３は、メモリ内のデータから決定することもできる。例えば、特徴１２０と、第２の面１４２および／または第３の面１４３にそれぞれ存在していることが既知であるかまたは存在することが予測される第２の特徴および／または第３の特徴と、の間に、既知の空間関係（例えば、距離、特に撮像デバイス１００の光軸に沿った距離および／または相対位置）が存在しうる。

【0032】

例えば、第１の焦点面１４１はオートフォーカシングによって決定されるが、このオートフォーカシングは、コントラストを最大化するためのアルゴリズムおよび／または焦点面１４１の特徴１２０を識別して組み合わせたコントラストを最大化するためのアルゴリズムを含みうる。特徴１２０はオートフォーカシングプロシージャの間にかつ／またはその後直ちに識別されうる。

【0033】

図１Ｂは、本明細書に記載のさまざまな任意の形式および構成を含む図１Ａの撮像デバイス１００などの撮像デバイスを制御する方法１９０を示している。本方法は、第１の焦点面１４１から捕捉された像の特徴１２０を識別すること１９２、（第１の焦点面１４１と同一平面上にある、または第１の焦点面１４１からオフセットされている可能性のある）焦点位置１４５を決定すること１９４、アパーチャ設定を決定すること１９６を含む。本方法は、撮像デバイスの焦点およびアパーチャを制御するための焦点位置およびアパーチャ設定を出力すること１９８も含みうる。本明細書において、焦点位置とは、少なくとも１つのレンズ、例えばレンズアセンブリ１１０のレンズなど、光学素子の位置／設定を意味しうる。位置および／または設定は、例えば対物空間において撮像デバイス１００のフォーカシングがなされる点／面である焦点位置を変更する効果を有しうる。特徴１２０を識別すること１９２の前に、本方法は、第１の焦点面へのフォーカシングを生じさせうるオートフォーカシングおよび／またはフォーカス設定プロシージャを制御することを含みうる。代替的に／付加的に、オートフォーカシングプロシージャは、特徴１２０を識別すること１９２および／または特徴１２０のコントラストを最大化することを含みうる。

【0034】

例えば、方法１９０は、１９２で識別された特徴１２０の像を捕捉するために、開放アパーチャ設定（例えば全開設定）を出力することを含みうる。オートフォーカシングプロシージャは、図１Ｂにおいて示されたステップに先行させることができ、開放アパーチャ設定（例えば全開設定）を使用できる。開放アパーチャは、被写界深度を浅くすることができ、したがって、第１の焦点面１４１をより正確に決定することができる。第１の焦点面１４１の決定の正確性がより向上する結果、後続の焦点位置１４５および／またはアパーチャ設定の決定をより正確なものとすることができる。本方法は、本明細書に記載の撮像デバイス１００および／または装置１０１に関連して記載されるこれらの例を含む、本明細書に記載の実施例により修正可能である。

【0035】

本明細書では、撮像デバイス１００の制御など、本明細書に記載の任意の１つまたは複数の方法を実行するためのプログラムコードを有するコンピュータプログラムが開示される。

【0036】

図２は、対物空間における対象物の一例であり、このケースでは眼球２００の断面図を示している。種々のタイプの外科手術における関心対象である特徴を含む外科手術の場面など、他の対象物も想定される。

【0037】

図２の例は、本明細書に記載の実施形態による、焦点位置１４５およびアパーチャ設定を決定する装置１０１の機能を理解するのに役立つ。図２の例では、撮像デバイス１００は、第１の焦点面２４１からの像を捕捉する。像の特徴２２０（例えば、虹彩もしくは角膜縁、または網膜手術での黄斑など）が識別される。オートフォーカシングプロシージャは、コントラストを最大化するなどして、第１の焦点面２４１を決定することができる。代替的に／付加的に、機械学習アルゴリズムなどのコンピュータアルゴリズムが特徴２２０を識別することもできる。

【0038】

特徴２２０の識別は、例えば視野内で識別可能または予測可能な例えば予測された他の特徴である別の特徴の存在と相関されうる。当該他の特徴は、特徴２２０と同じ焦点面２４１にあってもよいし、異なる焦点面にあってもよい。

【0039】

図２は、（例えば被写界深度２５０と比較して）比較的浅い被写界深度２６１を有する比較的大きなアパーチャに対する、第１の焦点面における比較的浅い被写界深度２６１（例えば、光軸に沿って比較的短い距離で延在する被写界深度）を示している。焦点位置２４５およびアパーチャ設定が決定された後、被写界深度２５０が提供される。焦点位置２４５およびアパーチャ設定は、例えば撮像デバイス１００が焦点位置２４５および決定されたアパーチャ設定の被写界深度２５０にあるとき、第２の面２４２および第３の面２４３のうちの少なくとも１つに焦点が合うように決定可能である。例えば、第２の面２４２は、水晶体嚢の後面など、第２の特徴の予測された面または識別された面と一致させることができる。

【0040】

第２の面２４２および／または第３の面２４３は、第１の焦点面にフォーカシングされているときには、撮像デバイスの最大被写界深度の外側にある可能性がある。第１の焦点面２４１から特に大きなオフセットでフォーカシングされたとき、例えば、決定された焦点位置２４５で焦点が合っている第２の面２４２および／または第３の面２４３は、第１の焦点面２４１でフォーカシングされたときのデバイスの最大被写界深度の外側にある可能性がある。オフセットにより、第２の面２４２および／または第３の面２４３にも焦点を合わせることが可能となり、かつ／または焦点位置がオフセットされない場合の被写界深度上のハードウェア制限を克服することもできるので、こうしたオフセットを提供することが有利でありうる。

【0041】

一実施形態において、焦点位置２４５を決定することは、第１の焦点面２４１から焦点位置２４５までのオフセット２６０、例えば非ゼロフォーカスオフセットを決定することを含みうる。代替的には、オフセットがないかまたはオフセットがゼロであるように決定される。非ゼロフォーカスオフセットは、撮像デバイス１００が第１の焦点面２４１にフォーカシングされているときに、第２の面２４２が機器の最大被写界深度の外側にある場合に決定可能である。例えば、最大被写界深度を決定しうる最小アパーチャ径が存在しうる。撮像デバイス１００が第１の焦点面２４１にフォーカシングされているときに、第２の面２４２の特徴が被写界深度を超える場合、例えば、焦点位置２４５において第２の面２４２に焦点が合うよう、非ゼロフォーカスオフセットを決定することができる。第１の焦点面２４１、第２の面２４２および第３の面２４３のうちの少なくとも１つにおいて、決定された焦点位置２４５およびアパーチャ設定で焦点を合わせることができる。第３の特徴が第３の面２４３に存在する（例えば予測されるかつ／または識別される）こともある。

【0042】

図２の例では、最大被写界深度２５１は、第１の焦点面２４１を中心とするのではなく、焦点位置２４５を中心として描かれている。図２の例は、第１の焦点面２４１から焦点位置２４５までのオフセット２６０が非ゼロのケースを示している。撮像デバイス１００が第１の焦点面２４１にフォーカシングされているとき、例えば第２の面２４２が最大被写界深度２５１の内側にある場合、ゼロオフセット２６０を決定することができる。任意の所与の焦点位置における被写界深度は可変であり、かつアパーチャ設定に依存する。

【0043】

例えば、装置１０１は、第１の焦点面１４１に焦点を合わせているとき、第２の面２４２が撮像デバイス１００の可能な被写界深度の外側にあることを判定する。第２の面２４２は、メモリから（例えば関心対象である特徴の相対位置のデータを提供するデータベースから）決定されうる。例えば、関心対象である特徴の相対深度は、面の相対位置、例えば第１の焦点面２４１を基準とする第２の面２４２および／または第３の面２４３の位置を決定するために使用可能である。

【0044】

代替的に／付加的に、第２の面２４２は、撮像デバイス１００および／または第２の撮像デバイスのライブ画像などの画像から、装置１０１によって決定されることもある。例えば、撮像デバイス１００は、２つ以上の焦点位置および／またはアパーチャ設定において像を捕捉し、第２の特徴を識別することができる。代替的に／付加的に、第２の面は、深度情報を提供する第２の撮像デバイスによって決定されることもある。例えば、光干渉断層計（optical coherence tomography，ＯＣＴ）が、視野内のそれぞれ異なる面および／または特徴の識別を可能にする画像を提供することができる。例えば、角膜、水晶体嚢および／または網膜の境界面がＯＣＴ画像から判別されうる。第２の面および／または第３の面は、ＯＣＴ画像に基づいて、かつ／またはＯＣＴ画像などの画像から識別された特徴（特に眼球の解剖学的特徴など）に基づいて決定されうる。

【0045】

撮像デバイス１００の光学設定、例えば装置１０１によって決定された光学設定を有し、これにより、それぞれ異なる面における解剖学的特徴などの特徴に同時に焦点を合わせることができることが望ましいとされうる。図２は、それぞれの解剖学的特徴が決定された面および／または予測された面でありうる、第２の面２４２および／または第３の面２４３を示している。第２の面２４２および第３の面２４３に焦点が合うように、（第１の焦点面２４１を基準とする）焦点位置２４５およびアパーチャ設定を決定することができる。

【0046】

別のケースにおいては、第１の焦点面２４１において像が捕捉された後、焦点位置２４５が第１の焦点面２４１にあるときに、第２の面２４２が最大被写界深度内に入るように決定される。このようなケースでは、オフセット２６０はゼロとされうる。決定された焦点位置２４５は、第１の焦点面２４１と同じとなりうる。アパーチャ設定は、被写界深度が少なくとも第２の面２４２まで延在するように決定されうる。第１の焦点面２４１から捕捉された像は、最大アパーチャのような広いアパーチャで捕捉され、その後、第２の面２４２および／または第３の面２４３に焦点が合うようにアパーチャを絞ることができる。特にオートフォーカシングプロシージャ中に広いアパーチャを使用することで、例えば、特徴２２０が識別される第１の焦点面２４１から像を捕捉する前に、撮像デバイス１００の焦点位置をより正確に決定することができる。

【0047】

図３は、撮像デバイス１００の対物空間において、試料である眼球３００の一例を示す図である。図３では、最大被写界深度３５１が第１の焦点面３４１からゼロオフセット（ゼロフォーカスオフセット）のときに、第２の面３４２に焦点を合わせることのできる例が図示されている。例えば、第２の特徴３２２は第２の面内（例えば水晶体の後面）に存在しうる。決定された焦点位置３４５は第１の焦点面３４１と同じ面内に存在しうる。決定された焦点位置３４５において、図３に示されているように、デバイス１００が決定された焦点位置３４５および決定されたアパーチャ設定にあるときに焦点が合うように、第２の面３４２は第１の焦点面３４１からオフセットされうる。ゼロとなりうるフォーカスオフセットは、第２の面３４２および／または第３の面３４３の決定に基づいて決定されうる。

【0048】

第２の面３４２および／または第３の面３４３の決定は、特徴の相対位置、例えば、第２の面３４２内にある第２の特徴３２２の位置および／または第３の面３４３内の第３の特徴の位置に基づいてなされうる。

【0049】

第３の面３４３は、焦点位置３４５から第２の面３４２への方向とは反対側に位置する面に相当しうることが決定されうる。決定された焦点位置３４５からの、第３の面３４３までの距離と、第２の面３４２までの距離と、は同じであってよい。

【0050】

一実施例では、第２の面３４２を決定することによって、第３の面が、焦点位置３４５を挟んだ反対方向で焦点位置３４５からの距離が第２の面３４２までの距離と同じとなる面として自動的に決定される。このようにして第３の面３４３が決定された後、アルゴリズム、コンピュータプログラムおよび／または装置１０１が、どの特徴に焦点を合わせるべきかの予測を決定することができる。焦点位置は、例えば、第２の面３４２の第２の特徴３２２を被写界深度内に維持しながら、例えば、アパーチャ設定における被写界深度内に、例えば焦点の合った別の特徴（例えば第３の特徴）を含むように、さらに調整されうる。

【0051】

焦点オフセットは非ゼロとなるように決定されうる。

【0052】

図２の例では第２の面２４２および第３の面２４３は、第１の焦点面２４１からは異なる距離にあったが、代替的に／付加的に、第２の面２４２および第３の面２４３が焦点位置２４５から等距離となるようにオフセット２６０を決定してもよい。

【0053】

第２の面３４２内に位置する関心対象である第２の特徴３２２が存在しうる。図３の実施例において、第２の特徴３２２は、焦点位置３４５のときに、撮像デバイスの最大被写界深度内に位置する。アパーチャ設定は、焦点位置３４５のときに第２の面３４２に焦点が合うように決定されうる。

【0054】

図４は、例えば、装置１０１によって制御される図１Ａの撮像デバイス１００のような撮像デバイスの対物空間における、眼球４００の断面の別の例を示す図である。図４では、第２の面４４２は、角膜の最前部外面でありうる第２の特徴４２２を含む。焦点位置４４５は、第２の面４４２と第３の面４４３との間に存在する。第３の面４４３は、角膜縁でありうる第３の特徴４２３を含む。焦点位置４４５およびアパーチャ設定は、第２の面４４２および第３の面４４３の各々に焦点が合うように、例えば、第１の焦点面（例えば、図１Ａの面１４１を参照のこと）から捕捉された像の（第１の）特徴（例えば、図１Ａの特徴１２０を参照のこと）が識別された後に決定可能となる。第１の焦点面は、オートフォーカシングプロシージャの焦点面、例えばコントラスト最大化する焦点面とすることができる。代替的に／付加的に、オートフォーカシングプロシージャは、焦点位置の正確性／精度を向上させうる広いアパーチャ設定（例えば、最大アパーチャ）において像を捕捉することを含みうる。

【0055】

第２の特徴４２２および／または第３の特徴４２３は予測される特徴でありうる。例えば、第２の特徴４２２は第２の面４４２内にあることが予測される。第３の特徴４２３は、第３の面４４３内にあることが予測されうる。予測される特徴は、メモリ内に記憶されたデータ、例えば画像に基づいて決定された特徴でありうる。予測される特徴は、特徴認識などのコンピュータアルゴリズムに基づいて、例えば機械学習アルゴリズムを用いて決定されうる。代替的に／付加的に、視野内の予測される特徴は、第２の撮像デバイス（例えばＯＣＴ）からの画像に基づいて決定されうる。

【0056】

代替的に／付加的に、第２の面４４２および／または第３の面４４３は、第１の焦点面（例えば第１の焦点面３４１を参照のこと）で識別された特徴、第２の面４４２における第２の特徴４２２、または第３の面４４３における第３の特徴４２３のうちの任意の１つまたは複数の相対位置に基づいて決定されてもよい。例えば、このような特徴の相対位置は、第２の面４４２および／または第３の面４４３のうちの少なくとも１つに焦点が合うよう、焦点位置４４５、焦点位置４４５での被写界深度４５１および／またはアパーチャ設定を決定するために使用されうる。焦点位置４４５およびアパーチャ設定は、第２の面４４２および第３の面４４３の各々に焦点が合うように決定されうる。

【0057】

焦点位置、第２の面および第３の面の可能な構成に関しては、いくつかの代替的／付加的な例が提供されており、
（１ａ）焦点が合っている角膜の最前部外面および水晶体後嚢を含めるように構成された、焦点位置、第２の面および第３の面、
（１ｂ）焦点が合っている角膜の最前部内面および水晶体後嚢を含めるように構成された、焦点位置、第２の面および第３の面、
（２）焦点が合っている視野の中心の網膜および視野の周辺の網膜を含めるように構成された、焦点位置、第２の面および第３の面、
（３）（例えば、角膜移植処置中）焦点が合っている角膜に最も近い表面および角膜から最も遠い表面を含めるように構成された、焦点位置、第２の面および第３の面、
（４）（例えば、角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および角膜縁を含めるように構成された、焦点位置、第２の面および第３の面、
（５）（例えば、角膜内皮形成術の場合）焦点が合っている角膜の最前部外面および角膜の８００マイクロメートル後方の面を含めるように構成された、焦点位置、第２の面および第３の面、
が挙げられる。

【0058】

上記に挙げた例など、本明細書における実施例では、アパーチャ設定は、撮像デバイス１００が決定された焦点位置１４５およびアパーチャ設定にあるときに、第２の面または第３の面の各々に焦点が合うように決定されうる。代替的に、撮像デバイス１００が決定された焦点位置１４５およびアパーチャ設定にあるときには、第２の面または第３の面のうちの少なくとも１つに焦点が合っている。上記の例において記載した解剖学的特徴は、本明細書に記載の第１の特徴、第２の特徴および／または第３の特徴の例でありうる。例えば、上記の各例の解剖学的特徴は、第２の特徴および第３の特徴の例であり、これらはそれぞれ、例えば（角膜縁または虹彩でありうる）第１の特徴が識別されて焦点位置およびアパーチャが決定された後、決定された焦点位置およびアパーチャ設定で焦点の合った状態にある。

【0059】

装置１０１（例えば撮像デバイス１００を制御する装置１０１）は、第１の焦点面の特徴に加えて、追加の特徴を識別するように構成可能である。例えば、装置１０１は、第２の面の第２の特徴または第３の面の第３の特徴のうちの少なくとも１つを識別することができる。代替的に／付加的に、装置１０１は、第２の面および第３の面のうちの少なくとも１つを決定するためのデータ、例えば、第１の焦点面と第２の面および第３の面のうちの少なくとも１つとの相対位置を提供するデータを受け取ることができる。第２の特徴および／または第３の特徴の識別の確認は、決定された焦点位置から捕捉された像から（例えば特徴認識アルゴリズムによって）なされうる。このような確認は、決定された焦点位置およびアパーチャ設定がユーザのために被写界深度を適切に提供していることを示すことができる。

【0060】

一実施例において、第２の特徴は角膜であり、第３の特徴は水晶体後嚢である。別の例では、第２の特徴は視野の中心の網膜であり、第３の特徴は視野の周辺の網膜でありうる。

【0061】

装置１０１は、（例えばユーザからのおよび／またはメモリからの）入力を受け取ることが可能である。受け取った入力は、特徴の識別、被写界深度（例えばアパーチャ設定の被写界深度）、第１の焦点面から第２の焦点面までの第１の距離、第１の焦点面から第３の面までの第２の距離、または第２の焦点面から第３の面までの第３の距離のうちの少なくとも１つを含むことができる。

【0062】

（第１の焦点面から捕捉された像の）特徴、第２の特徴、または第３の特徴のうちの少なくとも１つを識別することは、特徴認識アルゴリズムおよび／またはトレーニング済み機械学習アルゴリズムによって行われうる。特徴、第２の面、または第３の面の決定は、外科手術のワークフローに基づいて行われうる。例えば、外科手術のワークフローでは、どの解剖学的特徴が関心対象であるのか、例えばどの特徴に焦点を合わせるべきかが決定されうる。画像認識アルゴリズムを使用して外科手術のワークフローの段階を識別することができ、決定された外科手術のワークフローの段階が、例えば第２の面および／または第３の面を決定することによって、焦点位置および／またはアパーチャを決定するために続いて使用可能となる。

【0063】

本明細書では、装置１０１は第２の撮像デバイス（光干渉断層撮像デバイスなど）に通信可能に結合されうる。例えば、装置１０１は、第１の焦点面、第２の面、第３の面、第２の特徴、または第３の特徴のうちの任意の１つまたは複数を決定するために、第２の撮像デバイスからの入力を受け取ることができる。

【0064】

本明細書では、特徴は、撮像デバイスによる１つまたは複数の像の捕捉に基づいて決定されうる。特徴は、任意の１つまたは複数の捕捉された像において識別されうる。特徴は、代替的に／付加的にメモリ内に記憶されたデータに基づいて決定可能である。例えば、さまざまな解剖学的特徴の相対位置はメモリ内に記憶されうる。特徴が焦点面から捕捉された像において識別されるとき、他の特徴の相対位置は、それらの相対距離および向きに基づいて決定されうる。特徴は、患者の解剖学的特徴でありうる。複数の特徴の相対距離および／または向きは、複数の像を捕捉してかつ特徴を識別することによって、かつ／または相対距離および／または向きが導出されうるメモリ内のデータにアクセスすることによって決定可能である。

【0065】

本明細書では、撮像デバイス１００などの撮像デバイスは、眼科用手術顕微鏡などの外科用顕微鏡でありうる。検出器１７０は、カメラ、例えば、デジタルカメラでありうる。眼科用手術顕微鏡は、例えば、角膜、白内障、網膜などの手術で使用されうる。顕微鏡は、（例えば１７５ｍｍ、２００ｍｍまたは２２５ｍｍの作業距離を使用して）最適化可能な距離でフォーカシング可能である。明確に視認可能にするために、さまざまなプロシージャが深度の種々の範囲において最適化されうる。本明細書では、外科手術などの繊細かつ／または精密なタスクを実行するために視覚化においてデバイスのユーザを支援する撮像デバイスのさまざまな作業パラメータ、例えば焦点およびアパーチャ設定を制御するための装置、撮像デバイスおよび方法が記載される。

【0066】

例えば、白内障手術では、角膜上部の直下から後嚢の後ろまでを観察することが外科医にとっては有益でありうる。網膜の手術においては、周辺部および網膜にシャープにフォーカシングされた像を観察することにより、ユーザにとって不便かつ注意散漫に陥りやすい再フォーカシングを避けられるので、外科医にとっては有益でありうる。

【0067】

従来のコントラストベースのオートフォーカシングは、像を提供し、かつ／またはどの特徴が最も高いコントラストを含むかに依存して焦点面を決定しうる。代替的に／付加的に、ユーザ入力は焦点面を部分的に決定しうる。オートフォーカシングプロシージャには、例えば特徴の周辺における、被写界深度（ＤｏＦ）および／またはアパーチャ設定の高度な決定のためのアルゴリズムは含まれない場合がある。立体視も同様に、被写界深度および／またはどの特徴に焦点が合っているかの判定において限界がある場合がある。

【0068】

本明細書では、被写界深度、焦点位置および／またはアパーチャ設定を決定するための１つまたは複数の特徴の認識をいかに含むかが開示されており、これにより、特に、特徴が撮像デバイスの光軸に沿って異なる軸方向距離に位置しているときに、試料の１つまたは複数の特徴の高解像度での（例えばフォーカシングされた）視覚化を行うことができる。例えば、本明細書では、本明細書に記載の構成および／または方法が使用されると、眼球の複数の解剖学的特徴が視覚化可能となる。このような構成および／または方法は組み合わせ可能であり、オートフォーカシングとの組み合わせおよび外科手術のワークフローの決定／認識との組み合わせを含む。

【0069】

本明細書に記載の撮像デバイスは、例えば、外科手術の場面で、例えば、処置を受ける患者に対して、焦点位置、アパーチャ設定および／または被写界深度を決定することを可能にする。従来のコントラストベースのオートフォーカシングは、どの特徴が高コントラストを有するかに依存して、またはユーザ入力に依存して定められる。従来のコントラストベースのオートフォーカシングでは、焦点が合っている特徴の周辺の被写界深度（ＤｏＦ）の配置が考慮されないことがある。立体視にも同様の限界が存在する。

【0070】

本明細書に記載の撮像デバイスは、１つまたは複数のデジタルビデオカメラ、ビデオ信号プロセッサ、（例えば、レンズアセンブリを使用する）電子調節型フォーカスおよび／または像を捕捉するように構成されている検出器の光路における電子調節型アパーチャ／ダイアフラム（例えば、アクチュエータを使用する）を有しうる。

【0071】

実施例では、手術部位の深度（例えば前眼房の深度）が、例えば関心対象である特徴（例えば本明細書に記載の第１の焦点面の特徴、第２の特徴および／または第３の特徴）の相対位置を決定するために、術前に決定されうる。このような位置を決定するためのデータをメモリ内に記憶可能とすること（例えば装置１０１および／または撮像デバイス１００に入力すること）ができる。代替的に／付加的に、撮像デバイス１００から捕捉された像内の特徴を、単独で、またはメモリからのデータもしくは第２の撮像デバイスからのデータと組み合わせて認識することにより、特徴の深度および／または相対位置を決定することができる。

【0072】

少なくとも１つのプロセッサが、本明細書に記載の方法および装置に使用されうる。プロセッサは、例えば必要とされる被写界深度を計算することができる。例えば、アパーチャ、作業距離および／またはズーム設定と撮像デバイスの被写界深度との関係を既知とすることにより、プロセッサは、所望の／必要なＤｏＦを提供するアパーチャ設定を決定／選択することができる。（例えば装置１０１から）制御信号を出力することにより、撮像デバイス１００においてアパーチャ設定が適応化可能となる。アクチュエータが、アパーチャ１５０および／またはレンズアセンブリ１１０の設定などの設定を実現するために制御されうる。代替的に／付加的に、輝度およびビデオ信号対雑音比を維持すべく、照明が、アパーチャ／ダイアフラムの調整に起因する光透過率の変化を補償するために調節されうる。アパーチャ設定が小さくなればなるほど照明の明るさを増大させることができ、アパーチャ設定が大きくなればなるほど照明の明るさを減少させることができる。

【0073】

装置１０１のプロセッサは、像を分析することができる。プロセッサは、顕微鏡のフォーカシングが最適に行われるように、関心対象である手術部位（例えば、眼球の虹彩または角膜縁）を検出し、位置特定することができる。代替的に／付加的に、プロセッサは特徴を識別することもできる。自動識別、検出および／または位置特定を実現するために、顕微鏡下で撮影された組織の特徴のラベル付き画像を使用して機械学習システムをトレーニングすることができる。代替的／付加的なアルゴリズムについては本明細書にて後述する。トレーニング用の画像の特徴は、例えば、特徴認識のためのアルゴリズムをトレーニングするためのものであり、アルゴリズムをトレーニングするために使用されるデータ内においてラベル付けされうる。

【0074】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0075】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0076】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論、されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0077】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0078】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0079】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0080】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0081】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0082】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0083】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0084】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジと、を含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

【0085】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0086】

図５は、図１Ａに関して記載した撮像デバイスなどの、外科用撮像デバイスを示す図である。図５の外科用撮像デバイス５００は、制御用の装置５０１を含みうる。代替的に／付加的に、外科用撮像デバイス５００を制御するための装置５０１を当該デバイス５００と通信可能に結合してもよい。例えば、外科用撮像デバイス５００は、１つまたは複数のプロセッサ５１０およびメモリ５２０（１つまたは複数のメモリデバイスを含みうる）を有するコンピュータデバイス（例えばパソコン、ラップトップ、タブレットコンピュータ、またはモバイルフォン）を含む。メモリ５２０は、コンピュータデバイス内に配置され、かつ／または分散型コンピューティングシステム（例えば、さまざまな場所、例えば、ローカルクライアントおよび１つまたは複数のリモートサーバファームおよび／またはデータセンタに分散されている１つまたは複数のプロセッサ５１０および１つまたは複数のメモリ５２０を有するクラウドコンピューティングシステム）内に存在しうる。外科用撮像デバイス５００は、外科用撮像デバイス５００のさまざまな構成要素を結合するためのシステムバスを含むデータ処理システムを含みうる。システムバスは、外科用撮像デバイス５００のさまざまな構成要素間の通信リンクを提供することができ、単一のバスとして、組み合わせたバスとして、または任意の他の適切な方式で実装可能である。

【0087】

電子アセンブリは、システムバスに結合されうる。電子アセンブリは、任意の回路または回路の組み合わせを含みうる。１つの実施形態では、電子アセンブリは、任意の種類のものとすることができるプロセッサを含む。本明細書で使用されるように、プロセッサは、以下に限定されるものではないが、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他のタイプのプロセッサまたは処理回路等のあらゆるタイプの計算回路を意図していてよい。電子アセンブリに含まれうる他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってよく、例えば、これらは、携帯電話機、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線デバイスにおいて使用される１つまたは複数の回路（通信回路等）等である。外科用撮像デバイス５００は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子をそれぞれ含みうる１つまたは複数のメモリ５２０、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。

【0088】

外科用撮像デバイス５００はディスプレイ、１つまたは複数のスピーカーおよび／またはキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識デバイスを含みうるコントローラ、またはシステムのユーザが外科用撮像デバイス５００に情報を入力すること、および、外科用撮像デバイス５００から情報を受け取ることを可能にする任意の他のデバイスも含んでいてもよい。

【0089】

付加的に撮像デバイス５００は、コンピュータデバイスまたは分散型コンピューティングシステムに接続された顕微鏡を含みうる。外科用撮像デバイス５００は、像のために必要なデータを取得するための検出器を含みうる。

【0090】

付加的に撮像デバイス５００は、コンピュータデバイスまたは分散型コンピューティングシステムに接続された顕微鏡を含みうる。顕微鏡は、生物学関連の画像ベースの入力トレーニングデータを生物学的標本から画像を撮影することによって生成するように構成されうる。

【0091】

本明細書では、顕微鏡は、光顕微鏡（例えば、超解像顕微鏡またはナノ顕微鏡のような、回折限界顕微鏡またはサブ回折限界顕微鏡）でありうる。顕微鏡は、スタンドアローン型の顕微鏡であってもよいし、付属の構成要素（例えば、共焦点スキャナ、追加のカメラ、レーザー、人工気候室、自動装填機構、液体処理システム、追加の多光子光路、ライトシート撮像、光ピンセットなどの取り付けられた光学部品）を有する顕微鏡システムであってよい。組織、生物学的標本などに関連する対象物（例えば、タンパク質、核酸、脂質）を撮像するためのモダリティなど、他の撮像モダリティも使用可能である。例えば、上記または下記の実施形態による顕微鏡により、深部を発見する顕微鏡法が可能となりうる。

【0092】

撮像デバイス５００は、手術部位からの画像を取得するための、カメラであってよい検出器を含みうる。検出器は、図示の顕微鏡などの外科用撮像デバイスの一部であってよい。

【0093】

図５は、顕微鏡に結合可能な画像処理デバイスを含みうる装置５０１を図示したものである。画像処理デバイスは、例えば、コンピュータプロセッサなどのプロセッサ５１０を含みうる。撮像デバイス（例えば、外科用撮像デバイス５００）は、通信可能にメモリに結合され、かつ／または内部に配置されたメモリ５２０を含みうる。デバイス５０１は、ディスプレイを有するか、またはディスプレイに出力を提供することができる。画像処理デバイス５０１は、外科用撮像デバイス５００に結合可能であってよい（またはその一部であってよい）。画像処理デバイス５０１は、例えば顕微鏡に結合可能である。画像処理デバイス５０１と顕微鏡などの撮像装置とで、外科用撮像デバイス５００を形成することが可能である。

【0094】

ディスプレイ用の画像は、手術のリアルタイム画像（例えば、検出器によって取得されたライブ画像）を含みうる。

【0095】

プロセッサ５１０は、画像処理、設定（例えばアパーチャ設定および焦点位置）の決定、特徴の決定および／または面の決定の方法など、本明細書に記載の方法を実行するために使用されうる。

【0096】

例えば、手術中、装置５０１は、検出器（例えばカメラ）を含むことができる顕微鏡などの手術器具に通信可能に結合されうる。図５に示されているように、外科用器具は、顕微鏡、例えば外科用顕微鏡でありうる。手術器具は、超音波デバイス、光干渉断層計デバイス、またはカメラなどの別のタイプの撮像デバイスでありうる。

【0097】

装置５０１は、メモリストレージデバイス５２０を含むことができ、かつ／または外部メモリ（例えば１つまたは複数のメモリデバイス）に結合可能である。画像／画像データは、例えばローカルでおよび／またはリモートメモリ内でアクセスされうる。プロセッサ５１０（複数のコアおよび／または複数のプロセッサを有しうる）は画像処理および本明細書に記載の方法のために使用されうる。

【0098】

本明細書においては、第１の焦点面、第２の面および第３の面は、撮像デバイスの光軸に対して垂直でありうる。代替的に／付加的に、面は互いに平行である。代替的に／付加的に、面は互いにオフセットされる。

【0099】

本明細書では、特徴２２０のような特徴は、例えば、視野内における、患者および／または組織などの解剖的構造体でありうる。

【0100】

本明細書では、第１の焦点面から捕捉された像は、オートフォーカシングプロシージャの後に直ちに捕捉可能となる。

【0101】

本明細書では、フォーカスオフセットは、ごくわずかな倍率の変更、例えば１０％未満、５％未満、２％未満などの倍率の変更により実行されうる。

【0102】

上記については、理解を助けるために例を示したものであり、添付の特許請求の範囲で定義される本発明を限定することを意図するものではない。

【符号の説明】

【0103】

１００ 撮像デバイス
１０１ 装置
１０２ プロセッサ
１０３ メモリ
１１０ レンズアセンブリ
１２０ 特徴
１４１ 第１の焦点面
１４２ 第２の面
１４３ 第３の面
１４５ 焦点位置
１５０ アパーチャ
１５６ 被写界深度
１７０ 検出器
１９０ 方法
１９２ 特徴を識別する
１９４ 焦点を決定する
１９６ アパーチャを決定する
１９８ 出力する
２００ 眼球
２２０ 特徴
２４１ 第１の焦点面
２４２ 第２の面
２４３ 第３の面
２４５ 焦点位置
２５０ 被写界深度
２５１ 最大被写界深度
２６０ オフセット
２６１ 被写界深度
３００ 眼球
３２２ 第２の特徴
３４１ 第１の焦点面
３４２ 第２の面
３４３ 第３の面
３４５ 焦点位置
３５１ 被写界深度
４００ 眼球
４２２ 第２の特徴
４２３ 第３の特徴
４４２ 第２の面
４４３ 第３の面
４４５ 焦点位置
４５１ 被写界深度
５００ 撮像デバイス
５０１ 装置
５１０ プロセッサ
５２０ メモリ

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】