特開 2024-133014 科学用または手術用イメージングシステムのためのシステム、方法およびコンピュータプログラム、科学用または手術用イメージングシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133014

(43)【公開日】2024-10-01

(54)【発明の名称】科学用または手術用イメージングシステムのためのシステム、方法およびコンピュータプログラム、科学用または手術用イメージングシステム

(51)【国際特許分類】

   G02B 21/00 20060101AFI20240920BHJP

   G02B 21/36 20060101ALI20240920BHJP

   G02B 21/06 20060101ALI20240920BHJP

   A61B 90/30 20160101ALI20240920BHJP

   A61F 9/007 20060101ALI20240920BHJP

   A61B 3/13 20060101ALI20240920BHJP

【ＦＩ】

G02B21/00

G02B21/36

G02B21/06

A61B90/30

A61F9/007 200C

A61B3/13

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024040074

(22)【出願日】2024-03-14

(31)【優先権主張番号】23161981

(32)【優先日】2023-03-15

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】516114695

【氏名又は名称】ライカ インストゥルメンツ （シンガポール） プライヴェット リミテッド

【氏名又は名称原語表記】Ｌｅｉｃａ Ｉｎｓｔｒｕｍｅｎｔｓ （Ｓｉｎｇａｐｏｒｅ） Ｐｔｅ． Ｌｔｄ．

【住所又は居所原語表記】１５ Ｔｕｋａｎｇ Ｉｎｎｏｖａｔｉｏｎ Ｄｒｉｖｅ， Ｓｉｎｇａｐｏｒｅ ６１８２９９， Ｓｉｎｇａｐｏｒｅ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】アルヴィン コック

(72)【発明者】

【氏名】ジアハオ パン

(72)【発明者】

【氏名】ガオ ヤング

(72)【発明者】

【氏名】ジェンドン ゼン

(72)【発明者】

【氏名】チャールズ ジャン

(72)【発明者】

【氏名】ジェン イェ

(72)【発明者】

【氏名】チンソン ゾウ

(72)【発明者】

【氏名】ギム トン テオ

【テーマコード（参考）】

2H052

4C316

【Ｆターム（参考）】

2H052AC26

2H052AD04

2H052AF14

2H052AF21

2H052AF25

4C316AA09

4C316AB16

4C316FB21

4C316FC12

4C316FZ02

(57)【要約】      （修正有）

【課題】手術中に照明を提供するための改善されたコンセプトが要求されることもある。
【解決手段】実施例は、科学用または手術用イメージングシステムのためのシステムと、このようなシステムを含んでいる科学用または手術用イメージングシステムと、対応する方法と、コンピュータプログラムと、に関する。本システムは、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを含んでいる。本システムは、科学用または手術用光学イメージングシステムとは別体の照明システムによって使用される１つまたは複数の照明パラメータに関する情報を照明システムから取得するように構成されている。本システムは、１つまたは複数の照明パラメータに基づいて、科学用または手術用光学イメージングシステムのイメージング装置の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するように構成されている。
【選択図】図１ｂ

【特許請求の範囲】

【請求項1】

科学用または手術用光学イメージングシステム（１００，１２００）のためのシステム（１１０，１２２０）であって、前記システムは、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを含んでおり、前記システムは、
前記科学用または手術用光学イメージングシステムとは別体の照明システム（５０）によって使用される１つまたは複数の照明パラメータに関する情報を前記照明システムから取得し、
１つまたは複数の前記照明パラメータに基づいて、前記科学用または手術用光学イメージングシステムのイメージング装置（１２０）の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定する、
ように構成されているシステム（１１０，１２２０）。

【請求項2】

前記システムは、１つまたは複数の前記照明パラメータに基づいて、画像処理パラメータおよび画像収集パラメータのうちの少なくとも１つを決定するように構成されている、請求項１記載のシステム。

【請求項3】

前記システムは、１つまたは複数の前記照明パラメータに基づいて、露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータ、ハイライトリカバリパラメータのうちの少なくとも１つと、少なくとも１つのホワイトバランスパラメータと、を決定するように構成されている、
請求項１または２記載のシステム。

【請求項4】

１つまたは複数の前記照明パラメータは、照明強度パラメータ、照明角度パラメータおよび照明波長パラメータのうちの少なくとも１つを含んでいる、
請求項１から３までのいずれか１項記載のシステム。

【請求項5】

前記システムは、１つまたは複数の前記照明パラメータに基づき、前記光学イメージングセンサを使用するための少なくとも１つの前記パラメータを決定するための探索空間を限定するように、また限定された前記探索空間に基づいて少なくとも１つのパラメータを決定するように構成されている、
請求項１から４までのいずれか１項記載のシステム。

【請求項6】

前記システムは、１つまたは複数の前記照明パラメータに含まれる照明強度パラメータおよび照明波長パラメータのうちの少なくとも１つに基づいて、前記光学イメージングセンサを使用するための少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように構成されている、
請求項５記載のシステム。

【請求項7】

前記システムは、前記照明システムによって照明されかつ前記光学イメージングセンサによって観察されるサンプルの予想される組成に基づいて、少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように構成されている、
請求項６記載のシステム。

【請求項8】

前記システムは、１つまたは複数の前記照明パラメータに含まれる照明強度パラメータおよび照明角度パラメータのうちの少なくとも１つに基づいて、前記光学イメージングセンサを使用するために露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータおよびハイライトリカバリパラメータのうちの少なくとも１つを決定するための探索空間を限定するように構成されている、
請求項５から７までのいずれか１項記載のシステム。

【請求項9】

前記システムは、限定された前記探索空間に基づき、かつ前記光学イメージングセンサのイメージングセンサデータのヒストグラムに基づき、前記露出期間パラメータ、前記感度パラメータ、前記開口数パラメータ、前記輝度パラメータ、前記シャドウリカバリパラメータおよび前記ハイライトリカバリパラメータのうちの少なくとも１つを決定するように構成されている、
請求項８記載のシステム。

【請求項10】

前記システムは、少なくとも１つの前記パラメータを決定するようにトレーニングされた機械学習モデルの出力に基づき、前記光学イメージングセンサを使用するための少なくとも１つの前記パラメータを決定するように構成されており、１つまたは複数の前記照明パラメータ、および、前記光学イメージングセンサのイメージングセンサデータの少なくともヒストグラムとは、トレーニングされた前記機械学習モデルへの入力として使用される、
請求項１から４までのいずれか１項記載のシステム。

【請求項11】

前記システムは、前記科学用または手術用イメージングシステムの動作中に、教師あり学習を使用し、１つまたは複数のトレーニングデータを使用して前記機械学習モデルを調整するように構成されており、各トレーニングデータセットは、１つまたは複数の照明パラメータと、イメージングセンサデータの少なくとも前記ヒストグラムと、ユーザが少なくとも１つのパラメータを手動で選択しているインスタンスの光学イメージングセンサを使用するために手動で選択された少なくとも１つのパラメータと、を含んでいる、
請求項１０記載のシステム。

【請求項12】

前記システムは、前記科学用または手術用イメージングシステムのディスプレイ装置（１３０）に表示信号を出力するように構成されており、前記表示信号は、前記光学イメージングセンサを使用するための少なくとも１つの前記パラメータに基づき、かつ前記光学イメージングセンサのイメージングセンサデータに基づいている、
請求項１から１１までのいずれか１項記載のシステム。

【請求項13】

前記システムは、眼科顕微鏡用のシステムであり、前記システムは、眼科用エンドイルミネーションシステムから１つまたは複数の前記照明パラメータについての前記情報を取得するように構成されている、
請求項１から１２までのいずれか１項記載のシステム。

【請求項14】

科学用または手術用光学イメージングシステムのための方法であって、前記方法は、
前記科学用または手術用光学イメージングシステムにより、前記科学用または手術用光学イメージングシステムとは別体の照明システムによって使用される１つまたは複数の照明パラメータに関する情報を前記照明システムから取得するステップ（２１０）と、
１つまたは複数の前記照明パラメータに基づいて、前記科学用または手術用光学イメージングシステムのイメージング装置の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するステップ（２２０）と、
を含んでいる方法。

【請求項15】

コンピュータプログラムがプロセッサ上で動作する場合に、請求項１４記載の方法を実施するためのプログラムコードを備えたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施例は、科学用または手術用イメージングシステムのためのシステムと、このようなシステムを含んでいる科学用または手術用イメージングシステムと、対応する方法と、コンピュータプログラムと、に関する。

【背景技術】

【0002】

深い腔内で手術する外科医に共通するペインポイントは、照明がないことおよび手術部位の視認性が低いことである。エンドイルミネーションシステム、例えば、網膜手術に使用される光ファイバまたはシャンデリア等は、手術腔内に挿入され、このようなシナリオにおいて、例えば眼科手術中に視認性を提供する。それぞれの照明システムによって放出される光波長の調整は手術中に、組織の特徴、変色、色素、液体等をより明瞭に視覚化できるようにするために行われる。さらに、手術部位にわたる照明の強度は手術中に、外科医によって行われる、器具、組織の移動および調整によって変化する。例えば、強度は、網膜損傷を防ぐために減少され、視認性が低い場合には増大され得る。

【0003】

手術用カメラ、すなわち、外科手技、例えば眼科手技等中に使用するためのカメラは一般的に、自身の性能を改善するために微調整される。改善された性能が可能になる設定はこの場合、「カメラシーンファイル」として保存されることが多く、これらは、固定された（すなわち、手術中に変化しない）較正された設定である。換言すれば、較正されたカメラ設定（例えば、露出、カラーバランス、コントラスト、シャドウ、ハイライト、輝度、彩度、鮮やかさ、鮮明度など）は固定されており、照明システムのリアルタイムの変化に反応しない。ユーザは、手術中に照明、例えば照明源を変更するときに、これらのカメラシーンファイルを切り換えるかまたは手動で設定を調整することができ、または手術中に、視覚化が不十分な場合には照明設定を一貫して調整することができる。

【0004】

手術中に照明を提供するための改善されたコンセプトが要求されることもある。

【発明の概要】

【課題を解決するための手段】

【0005】

この要求は、独立請求項の対象によって取り扱われる。

【0006】

本開示のさまざまな実施例は、手術中に使用される照明システム、また特にエンドイルミネータが、１つまたは複数の照明パラメータ、例えば、照明強度パラメータ、照明角度パラメータおよび照明波長パラメータ等を設定することにより、通常、コンピュータシステムによって制御されるということが判明したことに基づいている。しかしながら、このようなエンドイルミネータは通常、手術用イメージングシステム（例えば手術用顕微鏡）とは別体であるため、これらの照明パラメータは、手術用イメージングシステムによって制御されない。提案されるコンセプトでは、照明パラメータは、照明システムにより、手術用イメージングシステムに供給され、また光学イメージングセンサを使用するための少なくとも１つのパラメータ、例えば、露出、感度、開口数、ホワイトバランス等を調整するために手術用イメージングシステムによって使用される。これにより、光学イメージングセンサを使用するための少なくとも１つのパラメータの自動調整が可能になり、したがって、使用されるそれぞれの照明設定についてのシーンファイルを手動で選択する手間を掛けることなく、デジタル手術用ビューの改善された品質が可能になる。同じコンセプトは、別のシナリオ、例えば、科学用顕微鏡を使用して観察されるサンプルを照明するために専用の照明システムが使用される科学用イメージングにおいて使用されてもよい。

【0007】

本開示のいくつかの態様は、科学用または手術用光学イメージングシステムためのシステムに関する。本システムは、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを含んでいる。本システムは、科学用または手術用光学イメージングシステムとは別体である照明システムによって使用される１つまたは複数の照明パラメータに関する情報を照明システムから取得するように構成されている。本システムは、１つまたは複数の照明パラメータに基づいて、科学用または手術用光学イメージングシステムのイメージング装置の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するように構成されている。これにより、光学イメージングセンサを使用するための少なくとも１つのパラメータの自動調整が可能になり、したがって、使用されるそれぞれの照明設定についてのシーンファイルを手動で選択する手間を掛けることなく、デジタル手術用ビューの改善された品質が可能になる。

【0008】

本願の文脈において、「光学イメージングセンサを使用するための少なくとも１つのパラメータ」という言い回しは、収集時に設定されるパラメータ、例えば、使用される開口数パラメータ、使用される露出パラメータ等と、イメージングセンサデータを解釈または処理するために使用されるパラメータと、の両方に使用されてもよい。したがって、本システムは、１つまたは複数の照明パラメータに基づき、画像処理パラメータおよび画像収集パラメータのうちの少なくとも１つを決定するように構成されていてもよい。どちらのタイプのパラメータにも、本願で提案される動的調整が役立ち得る。

【0009】

例えば、以下のパラメータのうちの１つまたは複数は、１つまたは複数の照明パラメータに基づいて調整されてもよい。例えば、本システムは、１つまたは複数の照明パラメータに基づいて、露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータ、ハイライトリカバリパラメータのうちの少なくとも１つと、少なくとも１つのホワイトバランスパラメータとを決定するように構成されていてもよい。例えば、後者のパラメータは、照明システムによって使用される波長スペクトルに関する情報から導出されてもよく、またはこの情報によって制約されてもよい。前者のパラメータは、照明システムの照明強度および／または照明角度に関する情報から導出されてもよく、またはこの情報によって制約されてもよい。したがって、１つまたは複数の照明パラメータは、照明強度パラメータ、照明角度パラメータおよび照明波長パラメータのうちの少なくとも１つを含んでいてもよい。これらのパラメータは特に、露出／輝度またはカラーバランスに関するさまざまなパラメータを設定するために特に有効である。

【0010】

一般的に、イメージングシステムは、光学イメージングセンサを使用するためのパラメータを自動的に設定することができる。１つまたは複数の照明パラメータに関する情報は、光学イメージングセンサを使用するために、ひいては決定された少なくとも１つのパラメータの品質を向上させるために、少なくとも１つのパラメータの自動決定をガイドするために使用されてもよい。したがって、システムは、１つまたは複数の照明パラメータに基づいて、光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するための探索空間を限定し、また限定された探索空間に基づいて少なくとも１つのパラメータを決定するように構成されていてもよい。探索空間を限定することにより、少なくとも１つのパラメータを決定するための計算複雑度を低減することができると共に、特に、複数のパラメータ値が最初のうちに実現可能であると考えられるシナリオにおいて、決定された少なくとも１つのパラメータの品質を向上させることができる。

【0011】

例えば、システムは、１つまたは複数の照明パラメータに含まれる照明強度パラメータおよび照明波長パラメータのうちの少なくとも１つに基づいて、光学イメージングセンサを使用するための少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように構成されていてもよい。これにより、特に、画像フレームに無彩色が示されないことが多い手術用設定において、ホワイト／カラーバランスパラメータの品質を改善することができる。付加的または択一的には本システムは、照明システムによって照明されかつ光学イメージングセンサによって観察されるサンプルの予想される組成に基づいて、少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように構成されていてもよい。換言すれば、既知の手術用シナリオ（例えば、色が手術にわたってほとんど均一である網膜手術または脳外科手術等）から出発して、探索空間をさらに制約することができる。

【0012】

同様に、限定された探索空間内で、露出に関連するパラメータが決定されてもよい。例えば、本システムは、１つまたは複数の照明パラメータに含まれる照明強度パラメータおよび照明角度パラメータのうちの少なくとも１つに基づいて、光学イメージングセンサを使用するために、露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータおよびハイライトリカバリパラメータのうちの少なくとも１つを決定するための探索空間を限定するように構成されていてもよい。

【0013】

限定された探索空間内でパラメータを決定するために、光学イメージングセンサを使用するために現在使用されているパラメータに基づくヒストグラムが使用されてもよい。例えば、本システムは、限定された探索空間に基づき、かつ光学イメージングセンサのイメージングセンサデータのヒストグラムに基づき、露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータおよびハイライトリカバリパラメータのうちの少なくとも１つを決定するように構成されていてもよい。例えば、ヒストグラムが確定的でなく、２つ以上の実現可能な選択肢を示す場合、限定された探索空間は、２つ以上の選択肢のうちのどちらを取るべきかを指示することができる。

【0014】

いくつかの実施例では、ルールベースのアプローチの代わりに、機械学習を使用して、少なくとも１つのパラメータを決定することができる。例えば、本システムは、１つまたは複数の照明パラメータと、トレーニングされる機械学習モデルへの入力として使用される、光学イメージングセンサのイメージングセンサデータの少なくともヒストグラムとにより、少なくとも１つのパラメータを決定するようにトレーニングされる機械学習モデルの出力に基づいて、光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するように構成されていてもよい。これにより、意思決定を容易にすることができると共に、科学用または手術用イメージングシステムのユーザが行った前のアクションを考慮することができる。

【0015】

さまざまな実施例では、本システムは、科学用または手術用イメージングシステムの動作中に、教師あり学習を使用し、１つまたは複数のトレーニングデータセットを使用して機械学習モデルを調整するように構成されていてもよく、各トレーニングデータセットは、１つまたは複数の照明パラメータと、イメージングセンサデータの少なくともヒストグラムと、ユーザが少なくとも１つのパラメータを手動で選択しているインスタンスの光学イメージングセンサを使用するために手動で選択された少なくとも１つのパラメータとを含んでいる。例えば、時間の経過と共に、ユーザが、光学イメージングセンサを使用するための少なくとも１つのパラメータの自動決定を上書きすることを決定した場合、ユーザの好みに合わせて機械学習モデルを調整することができる。

【0016】

提案されるコンセプトでは、例えば、エンドイルミネーションシステムであってよい照明システムは、科学用または手術用イメージングシステムとは別体である。例えば、本システムは、有線ネットワーク接続、無線ネットワーク接続、およびインターネットサービスのうちの少なくとも１つを介して、照明システムから１つまたは複数の照明パラメータに関する情報を取得するように構成されていてもよい。使用されている接続は、それぞれのシステムの相互運用機能に依存していてもよい。

【0017】

本願のコンセプトは、科学用または手術用イメージングシステムの光学イメージングセンサに適用される。科学用または手術用イメージングシステム内で、この光学イメージングセンサは、光学イメージングセンサを使用するための少なくとも１つのパラメータに基づいて、手術部位またはサンプルのデジタルビューを生成するために使用されてもよい。例えば、本システムは、科学用または手術用イメージングシステムのディスプレイ装置に表示信号を出力するように構成されていてもよい。表示信号は、光学イメージングセンサを使用するための少なくとも１つのパラメータに基づいていてもよく、また光学イメージングセンサのイメージングセンサデータに基づいていてもよい。したがって、ディスプレイ装置を介して科学用または手術用イメージングシステムを使用するユーザには、光学イメージングセンサを使用するための少なくとも１つのパラメータの自動決定が役立ち得る。

【0018】

シーンファイルの使用に関して、本願のコンセプトは、サンプルの照明が時間で変化するシナリオにおいて特に有効である。例えば、本システムは、１つまたは複数の照明パラメータが変化すると、光学イメージングセンサを使用するための少なくとも１つのパラメータを更新するように構成されていてもよい。したがって、光学イメージングセンサを使用するための少なくとも１つのパラメータは、変更された１つまたは複数の照明パラメータに適合させられてもよい。

【0019】

いくつかの実施例では、本システムは、科学用または手術用イメージングシステムのディスプレイ装置に表示信号を出力するように構成されていてもよい。表示信号は、１つまたは複数の照明パラメータに基づいて決定される少なくとも１つのパラメータに基づいて、光学イメージングセンサを使用するための第１モードを選択するための、また光学イメージングセンサを使用するための第２モードを選択するためのユーザインタフェースを含んでいてもよい。第２モードは、少なくとも１つの光学イメージングセンサを使用するための少なくとも１つの静的パラメータに基づいていてもよい。換言すれば、ユーザは、（例えば、ユーザ／外科医が静的なシーンファイルで作業することに慣れているため）静的なシーンファイルを使用するか、または少なくとも１つのパラメータが動的に調整されるモードを使用するかを選択することができる。これにより、各ユーザには、科学用または手術用イメージングシステムを使用するための適切な設定を提供することができる。

【0020】

本開示では、眼科用顕微鏡について多くの実施例が示されている。例えば、本システムは、眼科顕微鏡用のシステムであってもよい。本システムは、眼科用エンドイルミネーションシステムから１つまたは複数の照明パラメータについての情報を取得するように構成されていてもよい。このシナリオでは、提案されるコンセプトは特に有益になり得る。というのは、照明は眼科手術中に変化することが多く、目下のサンプル（例えば網膜）より、ホワイトバランス調整のための無彩色の基準は提供されないからである。

【0021】

本開示のいくつかの態様は、光学イメージングセンサを備えたイメージング装置を含む科学用または手術用光学イメージングシステムと、上述のシステムとに関する。

【0022】

本開示のいくつの態様は、科学用または手術用光学イメージングシステムのための対応する方法に関する。本方法は、科学用または手術用光学イメージングシステムにより、科学用または手術用光学イメージングシステムとは別体の照明システムによって使用される１つまたは複数の照明パラメータに関する情報を照明システムから取得するステップを含んでいる。本方法は、１つまたは複数の照明パラメータに基づいて、科学用または手術用光学イメージングシステムのイメージング装置の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するステップを含んでいる。

【0023】

本開示の別の１つの態様は、コンピュータプログラムがプロセッサ上で動作する場合に、上記の方法を実施するためのプログラムコードを備えたコンピュータプログラムに関する。

【0024】

以下では、単なる例として、また添付の図面を参照して、装置および／または方法のいくつかの実施例を説明する。

【図面の簡単な説明】

【0025】

【図1a】科学用または手術用イメージングシステムのためのシステムの１つの実施例の概略図である。

【図1b】照明システムに接続されている科学用または手術用イメージングシステムの１つの実施例の概略図である。

【図2】科学用または手術用イメージングシステムのための方法の１つの実施例のフローチャートである。

【図3】網膜手術用のエンドイルミネーションシステムの概略図である。

【図4】網膜手術用のエンドイルミネーションシステムの別の概略図である。

【図5】網膜手術用のエンドイルミネーションシステムのさらに別の概略図である。

【図6】エンドイルミネータによって生成される異なるタイプの光ビームの実施例の概略図である。

【図7】照明の欠如と、深い腔内の手術部位の、結果として生じる低い視認性とを説明する概略図である。

【図8】シーンファイルまたは動的シーンファイルをユーザが選択できるようにするユーザインタフェースの概略図である。

【図9】シーンファイルに含まれる設定の１つの実施例を示す図である。

【図10a】露出パラメータを決定する１つの実施例を示す図である。

【図10b】露出パラメータを決定する別の１つの実施例を示す図である。

【図10c】露出パラメータを決定するさらに別の１つの実施例を示す図である。

【図10d】露出パラメータを決定するさらに別の１つの実施例を示す図である。

【図10e】露出パラメータを決定するさらに別の１つの実施例を示す図である。

【図10f】露出パラメータを決定するさらに別の１つの実施例を示す図である。

【図11a】カラーバランスを動的に決定する１つの実施例を示す図である。

【図11b】カラーバランスを動的に決定する別の１つの実施例を示す図である。

【図12】コンピュータシステムおよび光学イメージング装置を含んでいるシステムの概略図である。

【発明を実施するための形態】

【0026】

以下では、いくつかの実施例が示されている添付の図を参照して、さまざまな実施例をより完全に説明する。図において、線の太さ、層および／または領域は明瞭にするために誇張されていることがある。

【0027】

図１ａには、（図１ｂに示した）科学用または手術用イメージングシステム１００のためのシステム１１０の１つの実施例の概略図が示されている。システム１１０は、科学用または手術用イメージングシステム１００の１つのコンポーネントであり、科学用または手術用イメージングシステム１００のさまざまな側面を制御するために使用されてもよい。特に、このシステムは、以下でより詳細に説明するさまざまな手段を介して、科学用または手術用イメージングシステムのイメージング装置１２０の光学イメージングセンサによるイメージングセンサデータの収集および／または処理に使用されてもよい。システム１１０はさらに、科学用または手術用イメージングシステムの付加的な側面を制御するように、例えば、科学用または手術用イメージングシステムのさまざまなディスプレイのための表示信号を供給するように構成されていてもよい。

【0028】

一般的に、システム１１０は、コンピュータシステムと見なされてもよい。システム１１０は、１つまたは複数のプロセッサ１１４と、１つまたは複数のストレージデバイス１１６とを含んでいる。システム１１０は選択的にはさらに、１つまたは複数のインタフェース１１２を含んでいる。１つまたは複数のプロセッサ１１４は、１つまたは複数のストレージデバイス１１６と、１つまたは複数のインタフェース１１２とに接続されている。一般的に、システム１１０の機能は、（科学用または手術用イメージングシステム１００の１つまたは複数の別のコンポーネントと、また科学用または手術用イメージングシステム１００の外部の、例えば、イメージング装置１２０の光学イメージングセンサ、および科学用または手術用イメージングシステムとは別体の照明システム５０等の１つまたは複数の別のコンポーネントとデータ／情報を交換するための）１つまたは複数のインタフェース１１２と関連して、また（情報、例えば、１つまたは複数のプロセッサによって実行されるコンピュータプログラムの機械可読命令を格納するための）１つまたは複数のストレージデバイス１１６に関連して、１つまたは複数のプロセッサ１１４によって提供可能である。一般的に、１つまたは複数のプロセッサ１１４の機能は、機械可読命令を実行する１つまたは複数のプロセッサ１１４によって実装されてもよい。したがって、１つまたは複数のプロセッサ１１４のものとされる任意の特徴は、複数の機械可読命令の１つまたは複数の命令によって定義されてもよい。システム１１０は、例えば、１つまたは複数のストレージデバイス１１６内に機械可読命令を含んでいてもよい。

【0029】

上で概説したように、システム１１０は、科学用または手術用イメージングシステム１００の一部であり、このシステム１００は、システム１１０に加えてさまざまなコンポーネントを含んでいる。例えば、科学用または手術用イメージングシステム１００は、イメージング装置１２０を含んでおり、また１つまたは複数の付加的なコンポーネント、例えば１つまたは複数のディスプレイ１３０ａ～１３０ｃ等を含んでいてもよい。図１ｂには、このような科学用または手術用イメージングシステム１００、特に手術用顕微鏡システム１００の１つの実施例の概略図が示されている。以下では、科学用または手術用イメージングシステム１００は、手術用顕微鏡システム１００と称されることもあり、手術用顕微鏡システム１００は、イメージング装置１２０として（手術用）顕微鏡を含んでいる手術用イメージングシステム１００である。しかしながら、提案されるコンセプトはこのような実施形態に限定されない。科学用または手術用イメージングシステム１００は、さまざまな（単一または複数の）イメージング装置、例えば、１つまたは複数の顕微鏡、１つまたは複数の内視鏡、１つまたは複数の外視鏡（ときに体外テレスコープとも称される）等に基づいていてもよい。外視鏡は、カメラベースのイメージングシステム、特に、高倍率および高い被写界深度で手術部位の画像を提供するのに適しているカメラベースの３Ｄイメージングシステムである。接眼レンズを介して使用され得る顕微鏡と比較して、外視鏡は、ディスプレイモダリティ、例えばモニタまたはヘッドマウントディスプレイ等を介してのみ使用される。したがって、科学用または手術用イメージングシステムは択一的に、手術用内視鏡システムまたは手術用外視鏡システムであってもよい。さらに択一的には、科学用または手術用イメージングシステムは、顕微鏡、例えば実験室用顕微鏡を含んでいる科学用イメージングシステムであってもよい。しかしながら、以下の説明では、手術用イメージング装置１２０が手術用眼科顕微鏡であり、科学用または手術用イメージングシステム１００が手術用眼科顕微鏡システム１００であることを想定する。

【0030】

したがって、科学用または手術用イメージングシステムまたは手術用顕微鏡システム１００は、イメージング装置、例えば顕微鏡１２０等を含んでいてもよい。一般的に、顕微鏡、例えば顕微鏡１２０等は、人間が目（だけ）で検査するには小さすぎる対象体を検査するのに適した光学機器である。例えば、顕微鏡は、サンプルの光学拡大機能を提供することもできる。本願のコンセプトでは、光学拡大機能は（また）光学イメージングセンサにも提供される。したがって、顕微鏡１２０は、システム１１０に接続された光学イメージングセンサを含んでいる。顕微鏡１２０はさらに、サンプルにおけるビューを拡大するために使用される、１つまたは複数の光学拡大コンポーネント、例えば対物レンズ等を有していてもよい。例えば、手術用イメージング装置または顕微鏡１２０はしばしば、科学用または手術用イメージングシステムの「オプティクスキャリア」とも称される。

【0031】

さまざまな異なるタイプの手術用イメージング装置が存在する。手術用イメージング装置が、医療分野または生物学分野で使用される場合、手術用イメージング装置を通して観察される対象体は、例えばシャーレ内に配置された、または患者の身体の一部に存在する有機組織のサンプルであってもよい。本明細書で提示されるさまざまな実施例において、手術用イメージング装置１２０は、手術用顕微鏡システムの顕微鏡、すなわち、外科手技、例えば眼科手技（すなわち眼科手術）等中に使用される顕微鏡であってもよい。したがって、（手術用イメージング装置の視野に示される）、手術用イメージング装置を通して観察される対象体であって、（選択的な）光学イメージングセンサによって供給されるイメージングセンサデータに基づいて生成されるデジタルビューに示される対象体は、患者の有機組織のサンプルであってもよく、特に、外科手技中に外科医が手術する手術部位であってもよく、例えば眼であってもよい。しかしながら、提案されるコンセプトは、他のタイプの手術、例えば、神経外科手術または心臓外科手術等にも適している。

【0032】

図１ｂには、システム１１０および顕微鏡１２０を含んでいる、科学用または手術用イメージングシステム１００、特に手術用眼科顕微鏡システム１００の１つの実施例の概略図が示されている。図１ｂに示した手術用顕微鏡システム１００は、多くの選択的なコンポーネント、例えば、（転がり）スタンドを備えた（システム１１０を含んでいる）ベースユニットと、顕微鏡１２０に配置された接眼ディスプレイ１３０ｂと、ベースユニットに配置された補助ディスプレイ１３０ａと、手術用眼科顕微鏡システム１００のアームに配置された小型補助ディスプレイ１３０ｃと、顕微鏡１２０を所定の位置に保持するアームであって、ベースユニットおよび顕微鏡１２０に連結されたアーム等とを含んでいる。一般的に、これらの選択的なコンポーネントおよび選択的でないコンポーネントは、それぞれのコンポーネントを制御しかつ／またはこれらのコンポーネントと相互作用するように構成されていてもよいシステム１１０に接続されていてもよい。科学用または手術用イメージングシステム１００（例えばシステム１１０）は、外部照明システム５０に接続されている。

【0033】

提案されるコンセプトでは、本システムは、科学用または手術用光学イメージングシステムとは別体の照明システム５０によって使用される１つまたは複数の照明パラメータに関する情報に基づいて、科学用または手術用光学イメージングシステム１００のイメージング装置１２０の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するために使用される。換言すれば、本システムにより、外部照明システムによって使用されるパラメータについての知識が使用されて、光学イメージングセンサを使用するための少なくとも１つのパラメータが決定され、次いで、少なくとも１つのこのパラメータが使用されて、光学イメージングセンサからのイメージングセンサデータが取得および／または処理される。

【0034】

提案されるコンセプトは、外部照明システムからの１つまたは複数の照明パラメータに関する情報の取得（例えば受信、読出し）によって開始される。一例を挙げると、図３～図６に関連して示したように、このような外部照明システムは、例えば、エンドイルミネーションシステムであってもよい。エンドイルミネータは、最小侵襲手術中に照明を提供するために使用される医療装置である。この装置は通常、光源と、手術部位に光を供給する光ファイバケーブルとを含んでいる。エンドイルミネータは、腹腔鏡下、胸腔鏡下、および他のタイプの最小侵襲手術において使用される。特に、本開示において言及するエンドイルミネーションシステムは、図３～図６に示したように、網膜手術において使用するためのエンドイルミネーションシステムであってもよく、このエンドイルミネーションシステムはしばしば眼の毛様体扁平部を通して挿入される。したがって、システム１１０は、眼科顕微鏡用のシステムであってもよい。このシステム１１０は、眼科用エンドイルミネーションシステム５０から１つまたは複数の照明パラメータに関する情報を取得するように構成されていてもよい。このような照明システムは通常、網膜手術中に使用される手術用眼科顕微鏡とは別体である。提案されるコンセプトでは、照明システムの１つまたは複数の照明パラメータは、照明システムから科学用または手術用顕微鏡システム（例えば科学用または手術用顕微鏡システムのシステム１１０）に送信される。例えば、本システムは、有線ネットワーク接続、無線ネットワーク接続、およびインターネットサービスのうちの少なくとも１つを介して、照明システムから１つまたは複数の照明パラメータに関する情報を取得するように構成されていてもよい。特に、本システムは、標準ISO/IEEE 11073 SDC（International Standardization Organization / Institute of Electrical and Electronics Engineers standard 11073 “Service-oriented Device Connectivity”）に従って、１つまたは複数の照明パラメータに関する情報を取得するように構成されていてもよく、この標準は、動的インターネットプロトコル（ＩＰ）ネットワークにおいて、医療装置と外部システムとの間でリアルタイム情報を相互運用可能に交換するための国際標準のファミリーである。

【0035】

光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するために、照明の２つの側面、すなわち、サンプルに適用される照明がどの程度、明るいかと、照明の色スペクトルが何であるかが、主な関心対象である。前者は、２つの側面、すなわち、光源がどの程度、明るく（例えばルクス強度）、また照明が適用される面積がどの程度、大きいかによって決定される。したがって、１つまたは複数の照明パラメータは、照明強度パラメータ（例えば光源のルクス強度）と、光ビームの拡がり、ひいては光が投影される表面も決定する照明角度パラメータとのうちの少なくとも１つを含んでいてもよい。照明の色スペクトルは、１つまたは複数の照明パラメータに含まれる照明波長パラメータ、すなわち、照明システムによって供給される光の色スペクトルを示すパラメータから取得可能である。

【0036】

１つまたは複数の照明パラメータを使用して、本システムにより、イメージング装置１２０の光学イメージングセンサを使用するための少なくとも１つのパラメータが決定される。この関連において、少なくとも１つのパラメータは、光学イメージングセンサによるイメージングセンサデータ収集中に使用されるパラメータと、光学イメージングセンサによって供給されるイメージングセンサデータを処理または解釈するために使用されるパラメータと、の両方に関連していてもよい。換言すれば、本システムは、１つまたは複数の照明パラメータに基づいて、画像処理パラメータおよび画像収集パラメータのうちの少なくとも１つを決定するように構成されていてもよい。違いを説明するために述べると、画像収集パラメータは、画像収集中に光学イメージングセンサを制御するために、例えば、光学イメージングセンサを制御して、フレーム当たりに与えられた露出時間を使用するように、与えられたセンサ感度（「ＩＳＯ」値）を使用するように、または与えられた開口数を使用するように使用されてもよい。画像処理パラメータは、光学イメージングセンサによって供給されるイメージングセンサデータを解釈または処理するために、例えば、イメージングセンサデータの処理したデータのホワイトポイント／カラーバランス（本開示では、カラーバランスおよびホワイトバランスが区別なく使用される）を設定するために、イメージングセンサデータの処理したデータのコントラスト調整を制御するために、イメージングセンサデータの処理したデータの輝度調整を制御するために、イメージングセンサデータの処理したデータの生成中に行われるシャドウリカバリを制御するために、かつ／またはイメージングセンサデータの処理したデータの生成中に行われるハイライトリカバリを制御するために使用されてもよい。例えば、本システムは、１つまたは複数の数の照明パラメータに基づいて、露出期間パラメータと、感度パラメータと、（画像収集パラメータとしての）開口数パラメータと、輝度パラメータと、シャドウリカバリパラメータと、（画像処理パラメータとしての）ハイライトリカバリパラメータと、（イメージ収集またはイメージ処理パラメータであってよい）少なくとも１つのホワイトバランスパラメータとのうちの１つを決定するように構成されていてもよい。本システムはさらに、少なくとも１つの画像収集パラメータを使用して、光学イメージングセンサ（または開口数の場合にはイメージング装置）の画像収集を制御するように構成されていてもよい。本システムは、少なくとも１つの画像処理パラメータに基づいて、光学イメージングセンサからイメージングセンサデータを取得し、イメージングセンサデータを処理または解釈して、処理されたイメージングセンサデータを生成するように構成されていてもよい。

【0037】

以下では、光学イメージングセンサを使用するための少なくとも１つのパラメータをどのように決定できるかについてのいくつかの実施例を示す。一般的に、画像収集および画像処理パラメータの自動決定は大部分が、デジタルイメージングの関連において知られている。例えば、イメージングセンサデータは、（例えば、イメージングセンサデータのヒストグラムを決定することによって）分析されてもよく、画像収集パラメータおよび／または画像処理パラメータは、イメージングセンサデータの分析に基づいて設定されてもよく、これにより、例えば、結果として得られる、処理されたイメージングセンサデータの所望の品質が得られる。提案されるコンセプトでは、この自動決定プロセスは、１つまたは複数の照明パラメータに基づいてガイドされてもよい。別の言い方をすれば、照明に関する知識があれば、画像収集および／または画像処理パラメータを自動的に決定するための探索空間を限定することができる。換言すれば、本システムは、１つまたは複数の照明パラメータに基づき、光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するための探索空間を限定するために、また限定された探索空間に基づいて少なくとも１つのパラメータを決定するように構成されていてもよい。したがってこの場合、限定された探索空間は、光学イメージングセンサを使用するためのそれぞれのパラメータの自動決定をガイドするために使用されてもよい。例えばヒストグラムに基づく、それぞれのパラメータの自動決定は、本開示の範囲外であり、工業的手法に従って、限定された探索空間内で行うことができる。

【0038】

以下では、このような限定された探索空間を決定するための、また光学イメージングセンサを使用するためのそれぞれのパラメータを決定することを目的として、限定された探索空間を使用するために２つの実施例を示す。図１０ａ～図１０ｆに関連して、より詳細に示されている第１実施例は、使用される露出設定に関する。本願の文脈において、露出設定は、画像収集に対して、さまざまなパラメータに影響を及ぼすことがあり、露出設定は、光学イメージングセンサにおける個々のフレームの露出期間、光学イメージングセンサの感度、および光学イメージングセンサと、イメージングされるサンプルとの間に配置された絞りの開口数に影響を及ぼすことがある。処理側では、露出設定は、イメージングセンサデータに対して行われる輝度調整と、コントラスト調整と、シャドウリカバリと、ハイライトリカバリとに影響を与えることがある。したがって、本システムは、露出設定を決定するための、すなわち、光学イメージングセンサを使用するための露出期間パラメータ、感度パラメータ、開口数パラメータ、輝度パラメータ、シャドウリカバリパラメータ、およびハイライトリカバリパラメータのうちの少なくとも１つを決定するための探索空間を限定するように構成されていてもよい。この限定された探索空間は、サンプルに適用された照明の上述の輝度に基づいて、すなわち、照明強度および照明角度に基づいて決定される。したがって、本システムは、１つまたは複数の照明パラメータに含まれる照明強度パラメータおよび照明角度パラメータのうちの少なくとも１つに基づいて、露出設定を決定するための探索空間を決定するように構成されていてもよい。以下では、図１０ａ～図１０ｆを参照して、これをどのようにして達成できるのかについての１つの実施例を示す。

【0039】

サンプルの輝度についての知識を使用して、各照明設定について（例えば、照明強度パラメータと照明角度パラメータとの各組み合わせについて）尤度関数を決定することができ、この尤度関数により、それぞれの照明設定において、対応する露出設定がどの程度、尤もらしいかが示される。図１０ｂには、３つの異なる照明設定について、異なる３つの尤度関数１０３０，１０１０および１０４０が示されている。図１０ａ～図１０ｆの例では、照明設定１０１０が使用されており、この照明設定１０１０は、システムにより、１つまたは複数の照明パラメータから導出可能である。換言すれば、本システムは、使用される照明設定（例えば、照明強度パラメータと照明角度パラメータとの組み合わせ）を決定し、対応する露出設定が、それぞれの照明設定においてどの程度、尤もらしいかを示す尤度関数を決定する（例えば、照明設定に対してあらかじめ定められた尤度関数の使用）ように構成されていてもよい。図１０ａ～図１０ｆの例では、図１０ａに示したように、初期露出設定１０２０は、使用されている照明設定の尤度関数の端部に位置している。「正しい」（例えば、改善された）露出設定を決定するために、初期露出設定に基づいて生成された（図１０ｄに示した）ヒストグラムが使用されてもよい。換言すれば、システムは、例えば、限定された探索空間に基づき、かつ光学イメージングセンサのイメージングセンサデータのヒストグラムに基づき、露出設定、例えば、露出期間パラメータと、感度パラメータと、開口数パラメータと、輝度パラメータと、シャドウリカバリパラメータと、ハイライトリカバリパラメータとのうちの少なくとも１つを決定するように構成されていてもよい。例えば、このヒストグラムを使用して、このヒストグラムによると、対応する露出設定がどの程度、尤もらしいかを示す別の１つの尤度関数を決定することができる。図１０ｃに見て取れるように、ヒストグラムから導出される尤度関数１０５０は、露出が、（図１０ｄのヒストグラムの左側部分１０６０によって示した露出不足の部分を修正するために）増大されるか、または（図１０ｄのヒストグラムの右側部分１０７０によって示した露出過剰の部分を修正するために）減少されるかを示す。２つの尤度関数を組み合わせることにより、図１０ｅに示したように、尤度関数の組み合わせ（例えば乗算）の最大値により、低下した露出設定１０８０が示されているように、露出を少なくすることによって露出設定を改善できることが示されている。結果として、図１０ｆに示したように、イメージングセンサデータのさらに大きな部分が露出不足になる。しかしながら、イメージングセンサデータ内の関心領域は、ここではもはや飽和しておらず、ユーザは、関心領域をより明瞭に見ることができる。

【0040】

カラー／ホワイトバランスについても同様のアプローチが使用可能である。この場合、本システムは、１つまたは複数の照明パラメータに含まれる照明強度パラメータおよび照明波長パラメータのうちの少なくとも１つに基づいて、光学イメージングセンサを使用するための少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように構成されていてもよい。このことは、図１１ａおよび図１１ｂに示されている。画像照明波長パラメータ（および選択的には照明強度）がわかることにより、光源の色度の拡がりを決定してＣＩＥ（国際照明委員会）１９３１色度図にプロットすることができる。そこでは、これらにより、ホワイトバランス探索領域を限定することができる。図１１ｂでは、異なる光源または光源設定の色度の拡がりは、より小さい円１１１０として示されており、ここでは楕円形１１２０はホワイトバランス探索領域を示している。この場合、本システムは、例えば異なる方向に沿った可変の拡がりおよび尤度値で、それぞれの光源の色度の拡がりの近傍において、一部の領域に自動ホワイトバランス探索を限定してよい。

【0041】

いずれのケースにおいても、それぞれの照明パラメータだけなくサンプルの色特性も既知であれば、ユーザは、サンプルによる光の反射を知覚し、ひいてはこの光の反射がサンプルの色および材料組成によって決定されるため、探索空間をさらに限定することができる。換言すれば、照明システムによって照明されかつ光学イメージングセンサによって観察されるサンプルの予想される組成（例えば、色、形状および反射率）に基づいて、少なくとも１つのホワイトバランスパラメータを決定するための探索空間を限定するように本システムが構成されていてもよい。例えば、第１実施例に対し、サンプルの予想される特定の組成について、例えば網膜手術のケースにおける網膜について、異なる照明設定の尤度関数が決定されてもよい。同様に、光源の色度の拡がりからホワイトバランスを決定するための尤度関数は、サンプルの予想される特定の組成について決定されてもよい。

【0042】

先の実施例では、尤度関数は主に、光学イメージングセンサを使用するためのそれぞれのパラメータを決定するために使用されていた。別のいくつかの実装形態では、（明示的な）尤度関数は、光学イメージングセンサを使用するためのそれぞれのパラメータを決定するようにトレーニングされた機械学習モデルに置き換えられてもよい。換言すれば、本システムは、少なくとも１つのパラメータを決定するようにトレーニングされた機械学習モデルの出力に基づいて、光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するように構成されていてもよい。機械学習モデルの入力には、１つまたは複数の照明パラメータと、光学イメージングセンサのイメージングセンサデータの少なくともヒストグラムとが使用されてもよい。

【0043】

以下では、機械学習について、また本願の文脈における機械学習の適用について手短に紹介する。機械学習は、コンピュータシステムが、明示的な命令を使用することなく、代わりにモデルおよび推論に依拠して、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルのことを指していてもよい。例えば、機械学習では、ルールベースのデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルによって画像コンテンツが分析されるために、機械学習モデルは、入力としてのトレーニング画像と、出力としてのトレーニングコンテンツ情報とを用いてトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）と、関連付けられたトレーニングコンテンツ情報（例えばラベルまたは注釈）とによって機械学習モデルをトレーニングすることにより、機械学習モデルは、画像コンテンツを認識することを「学習」し、これにより、トレーニングデータに含まれていない画像コンテンツが、機械学習モデルを用いて認識可能である。同じ方式は、他の種類のセンサデータにも同じように使用可能であり、すなわち、トレーニングセンサデータおよび所望の出力を用いて機械学習モデルをトレーニングすることにより、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに供給される非トレーニングセンサデータに基づいて出力を供給するために使用可能である。供給されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0044】

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上で規定した実施例では、「教師あり学習」と称されるトレーニング法か使用される。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、それぞれのサンプルは、複数の入力データ値と、複数の所望の出力値とを含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けられている。トレーニングサンプルおよび所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に供給されたサンプルに類似する入力サンプルに基づいて、どの出力値を供給するのかを「学習」する。教師あり学習とは別に、半教師あり学習が用いられてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値が欠落している。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。値の、限定されたセット（カテゴリ変数）に出力が制限される場合、すなわち、限られた値のセットの１つに入力が分類される場合、分類アルゴリズムが使用されてもよい。出力が（所定の範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つの対象体がどの程度、類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づく。機械学習モデルをトレーニングするために、教師あり学習または半教師あり学習とは別に、教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給されてもよく、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおける構造を見つけるために使用されてもよい。クラスタリングは、同じクラスタ内の入力値が、１つまたは複数の（あらかじめ定めた）類似度判定基準に従って類似しているが、他のクラスタに含まれている入力値と類似していないように、複数の入力値を含んでいる入力データをサブセット（クラスタ）に割り当てることである。

【0045】

強化学習は、機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は、機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、所定の環境において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、１つまたは複数のソフトウェアエージェントをトレーニングして、これがアクションを選択するようにし、これにより、累積報酬が増加し、与えられたタスクにおいて（報酬の増加によって証明されるように）より良くなるソフトウェアエージェントが得られるようにすることに基づいている。

【0046】

提案されるコンセプトでは、機械学習モデルをトレーニングするために、教師あり学習が主に使用されてもよい。特に、手術用顕微鏡の関連において、例えば、手術を再現するために、手術中にさまざまなデータの一部が記録される。このような記録は、機械学習モデルをトレーニングするために使用可能である。例えば、手術中に記録したイメージングセンサデータの未処理のデータを処理して、イメージングセンサデータのヒストグラムを生成してもよい。択一的に、イメージングセンサデータの未処理のデータは、入力として使用可能である。さらに、１つまたは複数の照明パラメータを記録してもよい。ヒストグラムまたはイメージングセンサデータおよび１つまたは複数の照明パラメータ（それぞれのヒストグラムになる）は、機械学習モデルをトレーニングする場合のトレーニング入力として使用されてもよい。それぞれの外科医が選択した光学イメージングセンサを動作させるためのパラメータは、所望のトレーニング出力として使用されてもよく、これらのパラメータは、外科医が選択したそれぞれのシーンファイルから導出されてもよい。したがって、機械学習モデルは、教師あり学習を用い、各トレーニングデータセットが１つまたは複数の照明パラメータと、イメージングセンサデータの少なくともヒストグラム（イメージングセンサデータそれ自体ではない場合）と、光学イメージングセンサを使用するための少なくとも１つの手動で選択したパラメータとを含んでいるトレーニングデータセット上でトレーニングされてもよい。いくつかの実施例では、トレーニングは、システム１１０によって実行されてもよい。しかしながら好ましくは、トレーニングは、科学用または手術用イメージングシステムのメーカによって事前に行われてもよい。

【0047】

しかしながら、トレーニングは継続可能であり、したがって機械学習モデルは、システム１１０によって現場で微調整可能である。例えば、システムは、科学用または手術用イメージングシステムの動作中に、１つまたは複数のトレーニングデータセットを使用し、教師あり学習を使用して機械学習モデルを調整（すなわち微調整）するように構成されていてもよい。上のように、各トレーニングデータセットは、１つまたは複数の照明パラメータと、イメージングセンサデータの少なくともヒストグラム（イメージングセンサデータでない場合、またはその両方）と、ユーザが少なくとも１つのパラメータを手動で選択しているインスタンスの光学イメージングセンサを使用するために手動で選択された少なくとも１つのパラメータとを含んでいる。換言すれば、ユーザ／外科医が、光学イメージングセンサを使用するための、決定された少なくとも１つのパラメータを上書きにすることを決定するたびに、機械学習モデルを微調整するために使用されてもよいトレーニングデータセットが生成されてもよい。

【0048】

シーンファイルの選択に対する提案されるコンセプトの主な利点は、これが提供する自動作用であり、すなわち、照明がユーザによって調整される場合、照明システムによって供給される１つまたは複数の照明パラメータが変化する。このことは、光学イメージングセンサを使用するための少なくとも１つのパラメータを再決定するためのトリガとして使用可能である。換言すれば、本システムは、１つまたは複数の照明パラメータにおける変化に応じて、光学イメージングセンサを使用するための少なくとも１つのパラメータを更新するように構成されていてもよい。

【0049】

提案されるコンセプトでは、結果として得られる（処理された）イメージングセンサデータにより、サンプルの改善されたビューが提供されるように、光学イメージングセンサを使用するための少なくとも１つのパラメータが決定される。改善されたこのビューは、サンプルのデジタルビューの一部として提供される。（例えば手術部位の）このデジタルビューが作成され、表示信号の一部として手術用イメージングシステムのディスプレイに供給される。換言すれば、本システムは、科学用または手術用イメージングシステムのディスプレイ装置１３０に、デジタルビューを含んでいる表示信号を出力するように構成されていてもよい。デジタルビューを生成するために、本システムは、（処理された）イメージングセンサデータに基づいてデジタルビューを生成するように構成されていてもよく、ここでは（処理された）イメージングセンサデータは、光学イメージングセンサを使用するための少なくとも１つのパラメータに基づいて生成されている。したがって、表示信号は、光学イメージングセンサを使用するための少なくとも１つのパラメータに基づき、かつ光学イメージングセンサのイメージングセンサデータに基づいてもよい。このデジタルビューは、科学手術用イメージングシステムのユーザ、例えば外科医が見ることができる。このために、表示信号は、ディスプレイ、例えば、手術用顕微鏡システムのベースユニットに配置された補助ディスプレイ、手術用イメージング装置の接眼レンズ内に組み込まれた接眼ディスプレイ、またはヘッドマウントディスプレイの１つまたは２つのディスプレイに供給可能である。例えば、表示信号は、それぞれのディスプレイ装置を駆動（例えば、制御）するための信号であってもよい。例えば、表示信号は、ビデオデータおよび／またはディスプレイを駆動するための制御命令を含んでいてもよい。例えば、表示信号は、本システムの１つまたは複数のインタフェース１１２の１つを介して供給されてもよい。したがって、本システム１１０は、顕微鏡システム１００のディスプレイ１３０に表示信号を供給するのに適したビデオインタフェース１１２を含んでいてもよい。

【0050】

デジタルビューに加えて、ディスプレイはまた、科学用または手術用イメージングシステムのユーザにユーザインタフェースを提供するために使用されてもよい。この場合、表示信号は、光学イメージングセンサを使用するための異なるモードを選択するためのユーザインタフェースを有していてもよい。例えば、光学イメージングセンサを使用するための第１モードを選択するための、また光学イメージングセンサを使用するための第２モードを選択するためのユーザインタフェースが示されてもよい。例えば、複数のモードのうちの１つ（例えば第１モード）は、提案されるコンセプトに基づいていてよく、すなわち、１つまたは複数の照明パラメータに基づいて決定される少なくとも１つのパラメータに基づいていてもよい。他のモード（例えば、第２モード）は、少なくとも１つの光学イメージングセンサを使用するための少なくとも１つの静的パラメータに基づいていてもよい。換言すれば、第１モードは動的モードであってよく、第２モードは静的なシーンファイルに基づいていてもよい。このようなユーザインタフェースの実施例は、図８に示されている。

【0051】

提案される科学用または手術用イメージングシステムでは、上述したイメージングセンサデータを供給する光学イメージングセンサが使用される。したがって、（例えば、顕微鏡の）科学用または手術用イメージング装置１２０の一部であってもよい光学イメージングセンサは、イメージングセンサデータを生成するように構成されていてよい。例えば、手術用イメージング装置１２０の光学イメージングセンサは、ＡＰＳ（Active Pixel Sensor）ベースまたはＣＣＤ（Charge-Coupled-Device）ベースのイメージングセンサを含んでいてよいかまたはこれらであってよい。例えば、ＡＰＳベースのイメージングセンサでは、光検出器と、ピクセルのアクティブアンプとを使用してそれぞれのピクセルにおいて光が記録される。ＡＰＳベースのイメージングセンサは、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）またはＳ－ＣＭＯＳ（Scientific CMOS）技術に基づいていることが多い。ＣＣＤベースのイメージングセンサでは、到来する光子が、半導体酸化物界面で電子電荷に変換され、これらの電子電荷は次いで、イメージングセンサにおける容量性ビン間で、イメージングセンサの回路によって移動させられて、イメージングが行われる。本システム１１０は、光学イメージングセンサからイメージングセンサデータを取得（すなわち、受信または読み出し）するように構成されていてもよい。イメージングセンサデータは、光学イメージングセンサから（例えばインタフェース１１２を介して）イメージングセンサデータを受信することにより、光学イメージングセンサのメモリから（例えばインタフェース１１２を介して）イメージングセンサデータを読み出すことにより、または例えば、イメージングセンサデータが光学イメージングセンサもしくは別の１つのシステムもしくはプロセッサによってストレージデバイス１１６に書き込まれた後、本システム１１０のストレージデバイス１１６からイメージングセンサデータを読み取ることによって取得可能である。

【0052】

本システム１１０の１つまたは複数のインタフェース１１２は、モジュール内、モジュール間、または異なるエンティティのモジュール間で、指定されたコードにしたがったデジタル（ビット）値であってもよい情報を受信および／または送信するための１つまたは複数の入力部および／または出力部に対応していてもよい。例えば、１つまたは複数のインタフェース１１２は、情報を受信および／または送信するように構成されたインタフェース回路を含んでいてもよい。本システム１１０の１つまたは複数のプロセッサ１１４は、１つまたは複数の処理ユニット、１つまたは複数の処理装置、処理のための任意の手段、例えば、プロセッサ、コンピュータ、もしくは相応に適合させられたソフトウェアと動作可能なプログラマブルハードウェアコンポーネント等を使用して実装されていてもよい。換言すれば、１つまたは複数のプロセッサ１１４の説明した機能は、ソフトウェアで実装されていてもよく、このソフトウェアはこの場合に１つまたは複数のプログラマブルハードウェアコンポーネント上で実行される。このようなハードウェアコンポーネントは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マイクロコントローラ等を含んでいてもよい。本システム１１０の１つまたは複数のストレージデバイス１１６は、コンピュータ読取可能な記録媒体、例えば磁気または光学記録媒体、例えば、ハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電子消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、またはネットワークストレージ等のグループの少なくとも１つの要素を含んでいてもよい。

【0053】

本システムおよび科学用または手術用イメージングシステムのさらなる詳細および側面は、提案されるコンセプト、または上もしくは下で説明される１つもしくは複数の実施例に関連して言及される（例えば図２～図１２）。本システムおよび／または科学用または手術用イメージングシステムは、提案されるコンセプトの１つもしくは複数の側面、または上もしくは下で説明される１つもしくは複数の実施例に対応する１つもしくは複数の付加的で選択的な特徴を含んでいてもよい。

【0054】

図２には、科学用または手術用イメージングシステムのための方法の１つの実施例のフローチャートが示されている。例えば、本方法は、図１ｂに示した科学用または手術用イメージングシステム１００により、特に図１ａおよび図１ｂに示したシステム１１０によって実施可能である。本方法は、科学用または手術用光学イメージングシステムにより、科学用または手術用光学イメージングシステムとは別体の照明システムによって使用される１つまたは複数の照明パラメータに関する情報を照明システムから取得するステップ２１０を含んでいる。本方法は、１つまたは複数の照明パラメータに基づいて、科学用または手術用光学イメージングシステムのイメージング装置の光学イメージングセンサを使用するための少なくとも１つのパラメータを決定するステップ２２０を含んでいる。図１ａ～図１ｂおよび図３～図１２の科学用または手術用イメージングシステムに関連して説明する特徴は同様に、図２の方法に含まれていてもよい。

【0055】

本方法のさらなる詳細および側面は、提案されるコンセプト、または上もしくは下で説明される１つまたは複数の実施例に関連して言及される（例えば、図１ａ～図１ｂ、図３～図１２）。本方法は、提案されるコンセプトの１つもしくは複数の側面、または上もしくは下で説明される１つもしくは複数の実施例に対応する１つまたは複数の付加的で選択的な特徴を含んでいてもよい。

【0056】

本開示のさまざまな実施例は、リアルタイム照明情報に基づいて、カメラ設定を動的に較正するためのコンセプト（例えば方法）に関する（「ダイナミックカメラ」）。提案されるコンセプトは、照明システムからの入力に基づいて、手術用画像を自動的に較正するためのアプローチに関する。深い腔内で手術する外科医に共通するペインポイントは、照明がないことおよび手術部位の視認性が低いことである。眼科では、網膜のワークフローが視認できないことは、外科医の間で不満になっている。

【0057】

現在の眼科用エンドイルミネーションシステムにより、眼の後部空洞に挿入可能な光ファイバまたはシャンデリアが提供され、外科医は、現在のワークフローに応じて、手技全体を通してルクス強度および波長を調整することができる（例えば、反射を低減するために液体空気交換中に照明を下げ、染色膜をより良好に視覚化するために波長を変更する）。

【0058】

図３、図４および図５には、網膜手術用のエンドイルミネーションシステムの概略図が示されている。図３には、光源としてのエンドイルミネータ３１０および硝子体カッター３２０と共に眼３００が示されている。図４には、シャンデリアのエンドイルミネータ４１０（およびキセノン光源への対応する接続部４１５）と、毛様体扁平部を通って進入する剛性光ファイバ４２０によって実装される第２のエンドイルミネータ（およびキセノン光源への対応する接続部４２５）と共に眼が示されている。図４にはさらに、眼の強膜４３０、脈絡膜４４０および網膜４５０が示されている。図５には、（結果として生じる光ビーム５３０と共に）光源５１０および硝子体切除器５２０とが眼の硝子体に進入している様子が示されている。図５にはさらに、網膜５４０および出血５５０が示されている。

【0059】

図６には、狭幅かつ対称的なビーム６１０から、わずかに幅広の対的称なビーム６２０、幅広の対称的なビーム６３０、および非対称なビーム６４０までに及ぶ、エンドイルミネータによって生成される異なるタイプの光ビームの実施例の概略図が示されている。図７には、照明がないことおよびその結果として深い腔内の手術部位の視認性の低さを示す概略図が提示されている。

【0060】

提案されるコンセプトでは、カメラ設定は、手術用照明システム（例えば網膜エンドイルミネーションシステム）からのリアルタイムデータから動的に更新され、このカメラ設定により、照明強度または色波長スペクトルの変化とは無関係に、より一貫して均質に照明された手術ビューが可能になる。これにより、外科医は、照明源に対する調整または移動が手術中に行われた場合であっても、関心対象の手術部位の均一な被写界深度、解像度、照明およびテクスチャを知覚することができる。したがって、提案されるコンセプトは、外科医（および他の施術者）に対し、手術中に行われた調整または移動とは無関係に、関心対象の手術部位の均一な被写界深度、解像度、照明およびテクスチャを知覚する能力を提供することができる。

【0061】

提案されるコンセプトは、照明システムからの入力に基づいて、手術用画像の自動較正を提供するためのアプローチに関する。カメラ設定（例えば、露出、カラーバランス、コントラスト、シャドウ、ハイライト、輝度、彩度、鮮やかさ、鮮明度等）は、手術用照明システム（例えば１つまたは複数の網膜エンドイルミネーションシステム）からのリアルタイムデータに基づいて動的に調整される。照明システムからのデータは、イメージングシステムへの有線接続、無線接続、またはネットワーク接続を介して供給される。このデータには、照明パラメータ、例えば、照明の１つまたは複数のルクス強度値、１つまたは複数の色波長スペクトル、および角度開口数等が含まれていてもよい。例えば、接続は、動的ＩＰネットワークにおける医療装置と外部システムとの間でのリアルタイム情報の相互運用可能な交換のための国際標準のファミリーであるISO/IEEE 11073 SDCに基づいてもよい。ＴＬＳ（Transport Layer Security）１．２＋は、通信を暗号化するために適用されてもよく、各装置は、それぞれの証明書の認可および認証に基づいて接続を信頼することができる。

【0062】

イメージングシステムにより、上記の照明データが受信され、次いで、照明システムの現在の変化に迅速に反応できるように、設定（例えば、露出、カラーバランス、コントラスト、シャドウ、ハイライト、輝度、彩度、鮮やかさ、鮮明度のうち１つまたは複数等）における改善された、または最適に較正された調整のセットが処理されて解釈される。例えば、照明システムの色設定軸に沿って、複数の較正点からのスペクトルデータを集めることができる。動作中、カメラは、これらの較正点の間で補間を行い、色補正マトリクスならびにホワイトバランスゲインを設定してカラーレンダリングを改善することができる。さらに、フィードバックループを確立できる場合には、よりスマートな自動調整を可能にするために機械学習アルゴリズムを組み込むことができる。

【0063】

図３～図５から明らかなように、エンドイルミネータプローブの先端部は、（これがシャンデリアプローブでない限り）眼房を動き回ることができる。これにより、プローブと網膜との間の間隔が変化する。プローブから到来する光は、円錐の形状を有しているため、プローブが移動するのに伴って、照明領域もそのサイズおよび輝度が変化する。典型的には、カメラ画像の自動露出は、カメラピクセル間の光強度分布に基づいて動作する。光プローブが網膜の近くにあると、照明領域を観察するピクセルは飽和してしまい、信頼性の高い強度測定が利用できなくなることがある。その一方、シーンの残りの部分は、照明されずに暗くなってしまうことがあり、自動露出プロセスにより、このシーンを明るくするためのゲインまたは露出期間がさらに増大されてしまうことがある。エンドイルミネータの光強度が顕微鏡カメラに通信される提案されるコンセプトにより、カメラは、光源設定に適切と思われる自動露出設定にその範囲を限定し、シーンの過剰な露出を回避することができる。

【0064】

さらに、科学用または手術用イメージングシステム、例えば手術用顕微鏡等は、異なる時点に異なる光源で使用することができる。さらに、いくつかのエンドイルミネータにより、色再現性と光毒性との間のトレードオフを可能にするために、フィルタまたは調整可能な光源を介して、調整可能なカラーバランスが提供される。このようにカラーバランスが可変であることにより、自動ホワイトバランスが通常、顕微鏡カメラにおいて有効になり、これにより、キャプチャしたビデオにおける過剰な色かぶりが回避される。網膜は一般的に黄橙色で、無彩色領域を有しないため、自動ホワイトバランスでは、シーンの反射率から光源の作用を容易に分離できない。これにより、ビデオにおける不正確なカラーバランスが生じてしまうことがあり、網膜の自然色が抑制される。提案されるコンセプトを使用して、光源のカラーバランスは、カメラに転送されてもよい。この場合にカメラは、光が与えられたときに、妥当と思われる選択肢のセットに、その自動ホワイトバランスの探索を制約することができ、双眼ビューに一層類似しているビデオ出力を作成することができる。

【0065】

これらの調整により、ルクス強度または色波長スペクトルが変化した場合であっても、より高い一貫性と、より均質に照明される手術ビューとが可能になる。照明の変化に動的に反応することにより、カメラシステムは、ノイズレベルを例えば最小限に抑えつつ、関心対象の手術部位に一貫した均質な露出を提供することができる。さらに、周辺組織の自然色または染色を介する強調は、波長における調整を介することによっても保持することができる。これにより、ワークフロー全体を通して、より明るく、より鮮明で、カラーバランスのとれた手術ビューが可能になる。

【0066】

別のシステムでは、カメラの設定を設定するために「カメラシーンファイル」が使用される。カメラシーンファイルは、固定された（すなわち、手術中に変更されない）較正された設定である。提案されるコンセプトでは、（レガシーの目的で保存されることがある）シーンファイルに加えて、またはシーンファイルの代わりに、設定が動的に調整されてもよい。図８には、シーンファイルまたは動的シーンファイル（すなわち、カメラ設定の動的調整）をユーザが選択できるようにするユーザインタフェースの概略図が示されている。図８では上部にさまざまなタブ、例えばメイン、速度／傾斜、フットスイッチ等が、また前面にはカメラ設定８１０が示されている。カメラ設定内には、シーンファイル（「ＸＸＸ」）１～１０が示されている。さらに、動的シーンファイルＹＹＹ１およびＹＹＹ２が示されている。動的シーンファイルＹＹＹ１およびＹＹＹ２は、付加的な選択肢として、例えば、照明システムが顕微鏡に接続されている場合に（のみ）ユーザインタフェースに提供される。

【0067】

図９には、シーンファイルに含まれる設定の実施例が示されている。図９の例では、これらの設定には、コントラスト（９１０）、シャドウ（９２０）、ハイライト（９３０）、彩度（９４０）、輝度（９５０）、開口数（９６０）およびカラーバランス（９７０）が含まれている。さらに、ユーザはプリセット（９８０）を選択する選択肢を有する。提案されるコンセプトにより、これらの設定のうちの１つまたは複数が動的に決定されてもよい。例えば、イメージングシステムにより、照明システムから照明データ（すなわち、照明システムの１つまたは複数の照明パラメータに関する情報）を受信し、次いで、カメラ設定（例えば、露出、カラーバランス、コントラスト、シャドウ、ハイライト、輝度、彩度、鮮やかさ、鮮明度等）における改善または最適に較正された調整のセットを処理して解釈することができ、これによって照明システムの現在の変化に迅速に反応することができる。結果として、手術中の照明ルクス強度または色波長スペクトルに対する調整とは無関係に、一貫した均質な露出および色を手術部位に適用することができる。

【0068】

図１０ａ～図１０ｆには、カメラ（選択的なイメージングセンサ）の露出（期間）パラメータの決定の１つの実施例が示されている。トレーニングサンプルを使用して、または典型的な後方手術の光反射および透過をモデリングすることにより、尤度関数のセットを構成することができる。それぞれの特定の光強度、または関数間の露出差の量だけシフトされてはいるが他の点では同じ関数のグループについて、このような関数が複数、設けられていてもよい。この光強度パラメータは、光源からの単一の数値（入力強度）、または光強度と、使用される光プローブとを含むパラメータのセット（出力強度の関数）であってよい。図１０ａ、図１０ｂ、図１０ｃ、図１０ｅにおいて、ｘ軸は、露出設定を示しており、ｙ軸は、それぞれの露出設定の正しさの尤度を示している。図１０ａには、現在の露出設定１０２０と共に、光強度Ｂについての光強度ベースの尤度関数１０１０が示されている。光強度ベースの尤度関数１０１０と現在の設定１０２０との間の関係は、露出過多である可能性を示唆している。図１０ｂには、光強度ベースの尤度関数１０３０，１０１０および１０４０が、光強度Ａ、ＢおよびＣについてそれぞれ示されている。図１０ｃには、図１０ｄに示した入力ヒストグラムから導出した、ヒストグラムベースの尤度関数１０５０が示されている。図１０ｄのヒストグラムだけが包括的である。これは、シーンの大部分の露出不足（ヒストグラムの部分１０６０を参照されたい）、または小さなスポットライト（ヒストグラムの部分１０７０）の露出過多のいずれかを示唆する。ライブシーンが与えられると、イメージングシステムにより、エンドイルミネータの強度パラメータと、自身のヒストグラムとが組み合わされて、ユーザの意図が、広い領域または小さなスポットのどちらを光で照らそうとしているかが決定される。図１０ｅでは、（実際に使用されている光強度Ｂの）光強度ベースの尤度関数１０１０と、ヒストグラムベースの尤度関数１０５０とが組み合わせられ、新たな設定１０８０が、ヒストグラムベースの尤度関数１０５０の左側のピークと、光強度ベースの尤度関数１０１０との交わりの一部であることが示されている。というのは、右側のピークは、光強度ベースの尤度関数１０１０と意味があるようには交わっていないためである。結果は、図１０ｆに示されており、情報のこれらの２つの部分を組み合わせることにより、決定が明確になる。すなわち、スポットライト領域における露出過多を補正するために露出設定を低減する（図１０ｆに示した、結果的に得られるヒストグラムの部分１０９０を参照されたい）。スポットライト照明の場合、自動露出アルゴリズムは、シーンのより暗い領域を差しつかえのないように無視して、ハイライトを最適な露光にすることに集中することができる。露出の決定は依然として、ヒストグラム（または別の強度分布）の測定値に依存することに注意されたい。というのは、光強度と露出設定との固定の関係により、プローブ間隔、透過率または反射率の変化は考慮されないからである。このプロセスは、ヒストグラムおよび光強度情報の両方に基づいて、露出設定の尤度の最大化の増大と見なすことができる。機械学習アルゴリズムは、記録したカメラヒストグラムおよび光強度設定を入力とし、ユーザによって設定された、いくつかの手動露出量をターゲットとして、実際のまたはシミュレートされた後続の手術セッションを使用してトレーニング可能である。

【0069】

自動ホワイトバランスにも同様に、外部光源の色パラメータが制約として役立つことがある。網膜が自然の黄橙色を呈し、かつ白色、青色、または緑色の染料が適用されていると、自動ホワイトバランスアルゴリズムは、入射光の色からシーンの反射率および透過率を確実に区別することができない。これは、ホワイトバランスの目標が、人間の観察者の、異なる光の色への適合を模倣しようとする場合にはさらに複雑である。図１１ａおよび図１１ｂには、カラーバランスを動的に決定する１つの実施例が示されている。図１１ａには、プロットされた黒体軌跡および相関付けられた色温度を有するＣＩＥ１９３１色度図が示されている。図１１ｂには、照明データに基づいて、カラーバランスについての探索領域をどのように制限することができるかが示されている。小さな円１１１０は、さまざまな光源の、または異なる色設定における１つの光源の色度の拡がりを表している。大きい方の楕円１１２０は、ホワイトバランス探索領域を表している。提案されるコンセプトを使用して、光源により、その色度座標または類似のカラーバランス情報を顕微鏡カメラに送信することができる。次いで、カメラにより、その自動ホワイトバランス探索が、異なる方向に沿った可変の拡がりおよび尤度値で、これらの座標の近傍における一部の領域に限定される。

【0070】

尤度関数または別の何らかの形態における制約は、実際の手術シーンまたはシミュレートされた手術シーンの測定値から得られるものであってよく、またスクリーンに光学双眼ビューをエミュレートしようとする場合には、主観的に現実的なカラーレンダリングを目標とすることができる。

【0071】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0072】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【0073】

いくつかの実施形態は、図１ａから図１１ｂのうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、科学用または手術用イメージングシステム、例えば顕微鏡等は、図１ａから図１１ｂのうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１ａから図１１ｂのうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図１２は本明細書に記載された方法を実施するように構成されたシステム１２００の概略図を示している。システム１２００は、科学用または手術用イメージングシステム（例えば、顕微鏡）１２１０とコンピュータシステム１２２０とを含んでいる。科学用または手術用イメージングシステム１２１０は、撮像するように構成されており、かつコンピュータシステム１２２０に接続されている。コンピュータシステム１２２０は、本明細書で説明した方法の少なくとも一部を実施するように構成されている。コンピュータシステム１２２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム１２２０と顕微鏡１２１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム１２２０は、顕微鏡１２１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム１２２０は、顕微鏡１２１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡１２１０の従属部品の一部であってもよい。

【0074】

コンピュータシステム１２２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等のさまざまな場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム１２２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム１２２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム１２２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム１２２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム１２２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザがコンピュータシステム１２２０に情報を入力すること、およびコンピュータシステム１２２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0075】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0076】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0077】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0078】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0079】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0080】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0081】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0082】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0083】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0084】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0085】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0086】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0087】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。

【0088】

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスタ分析に基づいていてもよい。

【0089】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0090】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0091】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0092】

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0093】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、すなわち、与えられた入力に対して所望の出力が得られるようにするために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。例えば、機械学習モデルは、ディープニューラルネットワーク、例えば、１つまたは複数の隠れ層（すなわち、隠れノードだけを含んでいる層）を有する人工ニューラルネットワークであってもよい。

【0094】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数と自身の条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【符号の説明】

【0095】

５０ 照明システム、エンドイルミネータ
１００ 科学用または手術用イメージングシステム
１１０ システム
１１２ インタフェース
１１４ プロセッサ
１１６ ストレージデバイス
１２０ 科学用または手術用イメージング装置
１３０ａ～ｃ ディスプレイ
２１０ １つまたは複数の照明パラメータに関する情報の取得
２２０ 光学イメージングセンサを使用するための少なくとも１つのパラメータの決定
３００ 眼
３１０ エンドイルミネータ
３２０ 硝子体カッター
４１０ エンドイルミネータ
４１５ キセノン光源との接続
４２０ 剛性光ファイバ
４２５ キセノン光源との接続
４３０ 強膜
４４０ 脈絡膜
４５０ 網膜
５１０ 光源
５２０ 硝子体切除器
５３０ 光ビーム
５４０ 網膜
５５０ 出血
６１０～６４０ 光ビーム
８１０カメラ設定タブ
９１０ コントラスト設定
９２０ シャドウ設定
９３０ ハイライト設定
９４０ 彩度設定
９５０ 輝度設定
９６０ 開口数設定
９７０ カラーバランス設定
９８０ プリセット
１０１０，１０３０，１０４０ 異なる照明設定の尤度関数
１０２０ 現在の露出設定
１０５０ ヒストグラムによる尤度関数
１０６０ ヒストグラムの左側部分
１０７０ ヒストグラムの右側部分
１０８０ 新たな露出設定
１０９０ ヒストグラムの部分
１１１０ 光源の色度の拡がり／設定を表す小さな円
１１２０ホワイトバランス探索領域
１２００ システム
１２１０ イメージング装置
１２２０ コンピュータシステム

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10a】

【図10b】

【図10c】

【図10d】

【図10e】

【図10f】

【図11a】

【図11b】

【図12】

【外国語明細書】