特開 2024-85410 科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のためにトレーニングコーパスを生成するための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のために機械学習モデルを使用するための方法、システムおよびコンピュータシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085410

(43)【公開日】2024-06-26

(54)【発明の名称】科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のためにトレーニングコーパスを生成するための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のために機械学習モデルを使用するための方法、システムおよびコンピュータシステム

(51)【国際特許分類】

   G06V 10/70 20220101AFI20240619BHJP

   G06T 1/00 20060101ALI20240619BHJP

   G06T 7/00 20170101ALI20240619BHJP

   G06V 10/82 20220101ALI20240619BHJP

【ＦＩ】

G06V10/70

G06T1/00 290

G06T7/00 350C

G06V10/82

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023210466

(22)【出願日】2023-12-13

(31)【優先権主張番号】22213531

(32)【優先日】2022-12-14

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】511079735

【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ

【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】コンスタンティン カッペル

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057AA07

5B057BA02

5B057CA08

5B057CA16

5B057CB16

5B057DB09

5B057DC40

5L096AA06

5L096BA06

5L096DA01

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】科学用または外科用イメージングデバイスによって生成された画像を、リアルタイムで処理するための要望が存在する。
【解決手段】科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法は、トレーニング入力画像として使用するために、複数の画像５１０を得ることと、複数のトレーニング入力画像に基づいており、かつ、画像処理ワークフロー５００に基づいている複数のトレーニング出力５２０を得ることと、を含む。画像処理ワークフローは、複数の画像処理ステップを含んでいる。方法はまた、複数のトレーニング入力画像および複数のトレーニング出力を用いて、機械学習モデルをトレーニング５７０することを含む。
【選択図】図５

【特許請求の範囲】

【請求項1】

科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法であって、前記方法は、
複数のトレーニング入力画像として使用するために、科学用または外科用イメージングシステムの複数の画像（４１０；４２０）を得るステップ（２１０）と、
前記複数のトレーニング入力画像に基づいており、かつ前記科学用または外科用イメージングシステムの画像処理ワークフローに基づいている複数のトレーニング出力（４３０～４３５，５２０）を得るステップ（２２０）であって、前記画像処理ワークフローは、複数の画像処理ステップを含んでいるステップと、
前記複数のトレーニング入力画像および前記複数のトレーニング出力を用いて、前記機械学習モデル（４５０，４５５）をトレーニングするステップ（２４０）と、
を含んでいる方法。

【請求項2】

前記方法は、
さらなるトレーニング入力として前記画像処理ワークフローの１つまたは複数の入力パラメータを得るステップ（２３０）と、
さらなるトレーニング入力としての前記１つまたは複数の入力パラメータを用いて前記機械学習モデルをトレーニングするステップと、
をさらに含んでいる、
請求項１記載の方法。

【請求項3】

前記方法は、
品質基準に従って前記機械学習モデルの出力を評価するステップ（２５０）と、
前記機械学習モデルの前記出力の前記評価に基づいて、前記画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号（５８０）を提供するステップ（２５５）と、
をさらに含んでいる、
請求項１または２記載の方法。

【請求項4】

前記機械学習モデルは、前記画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号（５８０）を生成するようにトレーニングされる、
請求項１から３までのいずれか１項記載の方法。

【請求項5】

前記機械学習モデルは、前記機械学習モデルの入力側に前記複数のトレーニング入力画像を適用し、前記機械学習モデルのトレーニング中に前記複数のトレーニング出力を所望の出力として使用することによって、教師あり学習を用いて、前記科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされる、
請求項１から４までのいずれか１項記載の方法。

【請求項6】

前記機械学習モデルは、強化学習を用いて、前記科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされ、
トレーニング中の前記機械学習モデルの前記出力と、前記複数のトレーニング出力のうちの１つのトレーニング出力と、の間の差は、前記強化学習に基づくトレーニング中に報酬を決定するために使用される、
請求項１から５までのいずれか１項記載の方法。

【請求項7】

前記機械学習モデルは、前記科学用または外科用イメージングシステムの画像を出力に変換するために、敵対的生成ネットワークの対の生成器モデルとしてトレーニングされ、敵対的生成ネットワークの前記対の識別器モデルは、前記複数のトレーニング出力に基づいてトレーニングされる、
請求項１から６までのいずれか１項記載の方法。

【請求項8】

科学用または外科用イメージングシステム（３００）のための方法であって、前記方法は、
前記科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、複数の画像（４５０；５１０）を生成するステップ（１１０）と、
前記科学用または外科用イメージングシステムの画像処理ワークフロー（４００；５００）を用いて、前記複数の画像に基づいて複数の出力（４３０～４３５，５２０）を生成するステップ（１２０）であって、前記画像処理ワークフローは、複数の画像処理ステップ（４２０～４２５）を含んでいるステップと、
請求項１から７までのいずれか１項記載の方法に従って、機械学習モデルをトレーニングするために、トレーニング入力画像として前記複数の画像を提供し、トレーニング出力として前記複数の出力を提供するステップ（１３０）と、
を含んでいる方法。

【請求項9】

前記方法は、
前記トレーニングされた機械学習モデル（５５５）を得るステップ（１６０）と、
前記画像処理ワークフローを、請求項１から７までのいずれか１項記載の方法に従ってトレーニングされた前記機械学習モデルと置き換えるステップ（１７０）と、
をさらに含んでいる、
請求項８記載の方法。

【請求項10】

前記方法は、請求項１から７までのいずれか１項記載の方法を用いて前記機械学習モデルをトレーニングするステップをさらに含んでいる、
請求項８または９記載の方法。

【請求項11】

前記方法は、
フィードバック信号（５８０）を得るステップ（１４０）であって、前記フィードバック信号は、前記機械学習モデル（５５５）の前記トレーニングに基づいているか、または、前記機械学習モデルが前記科学用または外科用イメージングシステムによって使用される場合には、トレーニングされた前記機械学習モデルの出力に基づいているステップと、
前記フィードバック信号を、前記画像処理ワークフローまたはトレーニングされた前記機械学習モデルへの入力として使用するステップ（１４５）と、
をさらに含んでいる、
請求項８から１０までのいずれか１項記載の方法。

【請求項12】

前記画像処理ワークフローは、１つまたは複数の決定論的画像処理ステップ、反復最適化成分を備える１つまたは複数の画像処理ステップ、および、１つまたは複数の機械学習ベースの画像処理ステップのうちの少なくとも１つを含んでいる、
請求項８から１１までのいずれか１項記載の方法。

【請求項13】

科学用または外科用イメージングシステム（３００）のためのシステム（３１０）であって、
前記システムは、１つまたは複数のプロセッサ（３１４）と、１つまたは複数のストレージデバイス（３１６）と、を含んでおり、
前記システムは、請求項１から７までのいずれか１項記載の方法および請求項８から１２までのいずれか１項記載の方法のうちの少なくとも１つを実施するように構成されている、
システム（３１０）。

【請求項14】

科学用または外科用イメージングシステム（３００）のためのシステム（３１０）であって、
前記システムは、１つまたは複数のプロセッサ（３１４）と、１つまたは複数のストレージデバイス（３１６）と、を含んでおり、
前記システムは、
前記科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、画像を得るように構成されており、
請求項１から７までのいずれか１項記載の方法に従ってトレーニングされた機械学習モデルを用いて画像を処理するように構成されており、
前記機械学習モデルの出力を使用するように構成されている、
システム（３１０）。

【請求項15】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサ上で実行されるときに請求項１から７までのいずれか１項記載の方法または請求項８から１２までのいずれか１項記載の方法を実施するためのプログラムコードを備えている、
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

例は、科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のためにトレーニングコーパスを生成するための方法、システムおよびコンピュータシステム、ならびに科学用または外科用イメージングシステムにおける使用のために機械学習モデルを使用するための方法、システムおよびコンピュータシステムに関し、さらにはそのようなシステムを備えている科学用または外科用イメージングシステムに関する。

【背景技術】

【0002】

顕微鏡、外視鏡、内視鏡等のような最新の科学用または外科用イメージングデバイスは、科学用または外科用イメージングデバイス内で使用される各１つのセンサまたは複数のセンサによって撮像された画像に対して画像処理を実行することが多い。そのような画像処理は、一般に種々異なるタイプの画像に適用されるタスク、例えばノイズ除去またはコントラスト調整から、極めて特殊なタスク、例えば蛍光画像からの擬似色オーバーレイの作成、幾何学的特徴または解剖学的特徴の強調表示など、までにわたっていてもよい。この目的のために、種々異なる画像処理タスクが、各イメージングデバイスに組み込まれているまたは各イメージングデバイスに結合されているコンピュータシステムによって実行されてもよい。多くのケースにおいて、これらの画像処理タスクはまとめて、後に実行される複数の画像処理ステップを含んでいる、いわゆる画像処理ワークフローにグループ化され、すなわち、ステップｎは、先行のステップｎ－１の出力を使用する。イメージングデバイスによって捕捉された画像に対して実行される画像処理ステップが多いほど、演算負荷が大きくなり、画像処理ワークフローのレイテンシが大きくなる。

【0003】

科学用または外科用イメージングデバイスによって生成された画像を、好ましくはリアルタイムで処理するための改善されたコンセプトに対する要望が存在し得る。

【発明の概要】

【課題を解決するための手段】

【0004】

独立請求項の主題はこの要望に取り組む。

【0005】

本開示の種々の例は、画像処理ワークフローによって実行される画像処理タスクを統合された様式で行うように、すなわち、種々異なる画像処理ステップによって生成される中間出力を必要とせずに行うように、ディープニューラルネットワーク等の機械学習モデルをトレーニングすることによって、複数の一連の画像処理ステップを含み得る複雑な画像処理ワークフローを簡素化し、より効率的にすることができるという知見に基づいている。実際には、一連の画像処理ステップを実行する代わりに、１つの、機械学習ベースの処理ステップが使用され、画像処理ワークフロー全体が置き換えられる。これは、画像を処理するのに必要な計算量を減らすとともに、置き換えられるワークフローのシーケンシャルな性質によって導入される遅延を減らし得る。

【0006】

大規模なＤＮＮの出力またはＤＮＮの集合体を用いて小規模なディープニューラルネットワーク（ＤＮＮ）をトレーニングすることによって動作する技術である知識蒸留、または以前にデータの大規模なコーパスでトレーニングされ、現在、元のコーパスと同じまたは異なるドメインからの小規模なトレーニングセットを用いて洗練または再利用されている、ＤＮＮのわずか数層の再トレーニングまたは微調整の技術を指す転移学習等の、様々な圧縮技術がディープニューラルネットワークに関して知られているが、これらの技術は概してＤＮＮにのみ適用され、一連の画像処理ステップを含んでいるワークフローには適用されない。

【0007】

本開示のいくつかの態様は、科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法に関する。方法は、トレーニング入力画像として使用するために、科学用または外科用イメージングシステムの複数の画像を得ることを含んでいる。方法は、複数のトレーニング入力画像に基づいており、かつ科学用または外科用イメージングシステムの画像処理ワークフローに基づいている複数のトレーニング出力を得ることを含んでいる。画像処理ワークフローは、複数の画像処理ステップを含んでいる。方法は、複数のトレーニング入力画像および複数のトレーニング出力を用いて、機械学習モデルをトレーニングすることを含んでいる。機械学習モデルをトレーニングすることによって、画像処理ワークフローを、最終的には、トレーニングされた機械学習モデルによって置き換えることができ、その結果、複雑さおよびレイテンシが低減される。

【0008】

いくつかのケースでは、画像処理ワークフローの画像処理ステップの種々の側面を制御するために、画像処理ワークフローがパラメータ化可能である。例えばこれらのパラメータは、オーバーレイに使用される色、オブジェクト検出に使用される閾値、バウンディングボックスのサイズ等の側面を制御してもよい。機械学習モデルを用いる場合に、同じタイプのパラメータ化をサポートするために、また、そのようなパラメータが機械学習モデルの入力パラメータとして使用されてもよく、したがって機械学習モデルのトレーニング中に使用されてもよい。例えば、方法は、さらなるトレーニング入力として画像処理ワークフローの１つまたは複数の入力パラメータを得ることおよびさらなるトレーニング入力としての１つまたは複数の入力パラメータを用いて機械学習モデルをトレーニングすることを含んでいてもよい。これによって、機械学習モデルが、その機械学習モデルが由来する画像処理ワークフローを置き換えるために使用される場合、その機械学習モデルの同一または類似のパラメータ化が可能になり得る。

【0009】

概して、そのような入力パラメータは、知識を有するユーザーによって、手近にあるアプリケーションの要件に合わせてワークフローを調整するために使用されてもよい。しかし、いくつかのケースでは、選択された入力パラメータが理想的なものに満たない場合があるので、入力パラメータを調整することによって画像処理ワークフローのパフォーマンスが改善され得る。入力パラメータは通常、ユーザーによって規定されるので、最初はユーザーが、適切な入力パラメータを見つける負担を有していることがある。しかし、適切かつ定量化可能な品質基準を規定できる場合には、このタスクを、トレーニングプロセスの一部として自動的に実行することもできる。例えば、方法は、品質基準に従って機械学習モデルの出力を評価することを含んでいてもよい。方法は、機械学習モデルの出力の評価に基づいて、画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号を提供することを含んでいてもよい。このようにして、画像処理ワークフローのパフォーマンスが、トレーニング中に、またはトレーニングの一部として改善されてもよく、その結果、トレーニング出力が改善され、結果として、品質が改善されたトレーニングされた機械学習モデルも得られる。

【0010】

上述の例では、機械学習モデルの出力は、品質基準に従って評価され、すなわち、フィードバック信号の生成は、機械学習モデルとは別のアルゴリズムによって実行される。しかし、択一的に、機械学習モデルは、出力を生成するようにトレーニングされるだけでなく、フィードバック信号を生成するようにもトレーニングされ得る。換言すれば、機械学習モデルは、画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号を生成するようにトレーニングされ得る。これによって、フィードバック信号を生成するための別個のアルゴリズムの必要性を回避することができる。しかし、フィードバック信号を生成するために機械学習モデルをトレーニングするために付加的な損失関数および付加的な計算労力が必要とされ得る。

【0011】

そのような機械学習モデルをトレーニングするために適した種々異なるトレーニング技術が存在する。例えば、機械学習モデルは、機械学習モデルの入力側に複数のトレーニング入力画像を適用し、機械学習モデルのトレーニング中に複数のトレーニング出力を所望の出力として使用することによって、教師あり学習を用いて、科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされてもよい。教師あり学習が使用される場合、トレーニング入力データおよびトレーニング出力データが、トレーニングの品質に関する主な要因であり、また、勾配降下法等のよく使用される損失関数を使用することができる。

【0012】

別の適切な技術は、強化学習である。換言すれば、機械学習モデルは、強化学習を用いて、科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされてもよい。このケースでは、トレーニング中の機械学習モデルの出力と、複数のトレーニング出力のうちの１つのトレーニング出力との間の差が、強化学習に基づくトレーニング中に報酬を決定するために使用されてもよい。これによって、報酬機能の規定がより複雑になる場合がある。しかし、（教師あり学習に必要とされる）フィードバック信号に関するラベル付きデータ（すなわち所望の出力）が存在しないため、出力に加えて、機械学習モデルによってフィードバック信号が生成されるべき場合には、強化学習がより良好に適し得る。

【0013】

第３のタイプのトレーニングは、互いに対して動作する２つのエージェント、すなわち、画像を出力に変換する生成器モデルと、出力の品質を評価する識別器モデルとに基づいている。換言すれば、機械学習モデルは、科学用または外科用イメージングシステムの画像を出力に変換するために、敵対的生成ネットワークの対の生成器モデルとしてトレーニングされてもよい。敵対的生成ネットワークの対の識別器モデルは、複数のトレーニング出力に基づいてトレーニングされてもよい。強化学習と同様に、フィードバック信号に関するラベル付きデータ（すなわち所望の出力）が存在しないため、出力に加えて、機械学習モデルによってフィードバック信号が生成されるべき場合には、このアプローチがより良好に適し得る。

【0014】

提案されたコンセプトでは、機械学習モデルは、画像を出力に変換するようにトレーニングされている。この文脈において、処理された画像もしくは入力画像に関する情報（例えば、オブジェクトの位置、または画像を記述するテキスト、または画像を表すもしくは画像に関する様々なタイプの情報を含むベクトル）、または時間座標（画像のストリーム（すなわちビデオ）を処理するために機械学習モデルが使用される場合）等の様々なタイプの適切な出力が存在する。したがって機械学習モデルは、科学用または外科用イメージングシステムの画像に基づいて、画像、ベクトル、空間座標および時間座標のうちの少なくとも１つを出力するようにトレーニングされ得る。

【0015】

トレーニングに加えて、トレーニングデータの生成およびトレーニングされた機械学習モデルの使用は、本開示の２つの別の態様である。

【0016】

本開示の種々の態様は、科学用または外科用イメージングシステムのための方法に関する。方法は、科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、複数の画像を生成することを含んでいる。方法は、科学用または外科用イメージングシステムの画像処理ワークフローを用いて、複数の画像に基づいて複数の出力を生成することをさらに含んでおり、画像処理ワークフローは、複数の画像処理ステップを含んでいる。方法は、例えば上述したトレーニングに従って、機械学習モデルをトレーニングするために、トレーニング入力画像として複数の画像を提供し、トレーニング出力として複数の出力を提供することを含んでいる。画像を生成し、画像処理ワークフローを用いてそれらを処理することによって、機械学習モデルをトレーニングするための適切なトレーニングデータを生成することができる。

【0017】

機械学習モデルがトレーニングされると、これを用いて、画像処理ワークフローを置き換えることができる。したがって、方法は、トレーニングされた機械学習モデルを得ることを含んでいてもよい。方法は、画像処理ワークフローを、上述したトレーニング方法に従ってトレーニングされた機械学習モデルと置き換えることを含んでいてもよい。これによって、後に、画像を処理するために必要な計算労力が低減され得る、また画像処理のレイテンシも低減され得る。

【0018】

提案された、画像処理ワークフローの圧縮は、１つの、独立した画像処理ワークフローに適用可能であるだけでなく、階層的にも使用可能である。換言すれば、処理される画像処理ワークフローは、第２の比較的大きな画像処理ワークフローの一部であってもよい。この第２の画像処理ワークフローにも同じ技術を適用可能である。例えば、画像処理ワークフローは、第２の画像処理ワークフローの一部であってもよい。方法は、画像処理ワークフローを機械学習モデルによって置き換えた後に、第２の画像処理ワークフローを用いて、第２の複数の画像に基づいて第２の複数の出力を生成すること、第２の複数の画像をトレーニング入力画像として提供し、第２の複数の出力を、例えば、上述したトレーニング方法に従って、第２の機械学習モデルをトレーニングするためのトレーニング出力として提供することを含んでいてもよい。

【0019】

機械学習モデルのトレーニングは、主に、別個の（トレーニング）方法として説明されているが、２つの方法が同様に１つに組み合わされてもよい。例えば、方法はさらに、上述したトレーニング方法を用いて機械学習モデルをトレーニングすることを含んでいてもよい。

【0020】

いくつかのケースでは、トレーニングデータの生成と、対応するトレーニングとが、（科学用または外科用イメージングシステムの一部である）同じシステムにおいて実行されてもよく、例えば、科学用または外科用イメージングシステムの休止時間の間、トレーニングが実行されてもよい。換言すれば、複数の画像および複数の出力の生成ならびに機械学習モデルのトレーニングは、科学用または外科用イメージングシステムのシステムによって実行されてもよい。これによって、別の存在物を必要とすることなく、オンプレミスでの画像処理ワークフローの自動置き換えが可能となり得る。

【0021】

択一的に、トレーニングデータの生成と機械学習モデルのトレーニングとが、異なる存在物によって実行されてもよい。換言すれば、複数の画像および複数の出力の生成が、科学用または外科用イメージングシステムのシステムによって実行されてもよい。機械学習モデルのトレーニングが、別個のコンピュータシステムによって実行されてもよい。これによって、処理能力が制限されたシステムによる、このコンセプトの使用を実現することができる。なぜなら、機械学習モデルのトレーニングは、大量の（グラフィックス）メモリを必要とする計算量の多いタスクだからである。

【0022】

トレーニング方法に関連して概説したように、フィードバックパスが、トレーニング方法と、トレーニングデータの生成との間に確立されてもよい。例えば、方法は、フィードバック信号を得ることを含んでいてもよい。フィードバック信号は、機械学習モデルのトレーニングに基づいていてもよい、または機械学習モデルが科学用または外科用イメージングシステムによって使用される場合には、トレーニングされた機械学習モデルの出力に基づいていてもよい。方法は、フィードバック信号を、画像処理ワークフローまたはトレーニングされた機械学習モデルへの入力として使用することを含んでいてもよい。例えば、フィードバック信号の使用は、１つまたは複数の画像処理ステップの１つまたは複数のパラメータを適合させることを含んでいてもよい。これによって、画像処理ワークフローの品質が改善され、結果的に、より良好なトレーニング画像が得られ得る。

【0023】

トレーニングデータの生成中にフィードバック信号が画像処理ワークフローに適用される場合には、フィードバック信号が適用された後に、出力が再生成されてもよい。換言すれば、方法は、適合させられた画像処理ワークフローを用いて、複数の出力を再生成すること、および再生成された出力を、機械学習モデルをトレーニングするためのトレーニング出力として提供することを含んでいてもよい。したがって、改善されたトレーニング出力が生成され、機械学習モデルをトレーニングするために使用されてもよい。

【0024】

先行の例では、フィードバック信号に従って入力パラメータが設定された。しかし、少なくとも最初は、これらの入力パラメータはユーザーによって規定され得る。入力パラメータに関する情報は、さらに、機械学習モデルのトレーニング中に、付加的なトレーニング入力として使用されてもよい。換言すれば、画像処理ワークフローは、１つまたは複数の入力パラメータに基づいて実行されてもよい。方法は、機械学習モデルをトレーニングするためのさらなるトレーニング入力として、１つまたは複数の入力パラメータを提供することを含んでいてもよい。これによって、パラメータ化可能なワークフローを置き換えるために、パラメータ化可能な機械学習モデルをトレーニングすることが可能になり得る。

【0025】

上で概説したように、処理された画像もしくは入力画像に関する情報（例えば、オブジェクトの位置、または画像を記述するテキスト、または画像を表すもしくは画像に関する様々なタイプの情報を含むベクトル）、または時間座標（画像のストリーム（すなわちビデオ）を処理するために機械学習モデルが使用される場合）等の様々なタイプの適切な出力が存在する。したがって、複数の出力がそれぞれ、画像、ベクトル、空間座標および時間座標のうちの少なくとも１つを含んでいてもよい。

【0026】

提案されたコンセプトは、シーケンシャルに実行されるべき複数のステップを備える複雑な画像処理ワークフローを処理する場合に特に有用である。したがって、画像処理ワークフローは、シーケンシャルに実行される複数の画像処理ステップを含んでいてもよい。そのようなケースでは、１つの機械学習モデルによるワークフローの置き換えの利点が、画像を処理するための計算労力と発生するレイテンシとの両方に関して、最大となり得る。

【0027】

画像処理ワークフローの一部とすることができる、様々なタイプの処理ステップが存在する。例えば、画像処理ワークフローは、１つまたは複数の決定論的画像処理ステップ、反復最適化成分を備える１つまたは複数の画像処理ステップ、および１つまたは複数の機械学習ベースの画像処理ステップのうちの少なくとも１つを含んでいてもよい。特に、反復最適化成分を備える画像処理ステップ（すなわち、品質をさらに改善させるために複数回繰り返される画像処理ステップ）および機械学習ベースの画像処理ステップは、提案されたコンセプトに従って圧縮されることによって利益を得ることができる。さらに、画像処理パイプラインが、画像を変換する画像処理ステップと、この画像を分析する画像処理ステップと、を含んでいてもよい。換言すれば、複数の画像処理ステップが、１つまたは複数の画像変換ステップおよび１つまたは複数の画像分析ステップのうちの少なくとも１つを含んでいてもよい。

【0028】

上述の方法の両方が、コンピュータシステムによって、例えば同じコンピュータシステムによって、または異なるコンピュータシステムによって実行されてもよい。本開示のある態様は、科学用または外科用イメージングシステムのためのシステム、例えばコンピュータシステムに関する。システムは、１つまたは複数のプロセッサと１つまたは複数のストレージデバイスとを含んでいる。例えば、システムは、上述の方法のうちの少なくとも１つを実施するように構成されていてもよい。

【0029】

別の態様は、（トレーニングデータを生成することなく）トレーニングされた機械学習モデルを単に使用するシステムに関する。換言すれば、本開示の１つの態様は、科学用または外科用イメージングシステムのためのシステムに関する。システムは、１つまたは複数のプロセッサと、１つまたは複数のストレージデバイスと、を含んでいる。システムは、科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、画像を得るように構成されている。システムは、上述したトレーニング方法に従ってトレーニングされた機械学習モデルを用いて画像を処理するように構成されている。システムは、機械学習モデルの出力を使用するように構成されている。

【0030】

そのようなシステムは、例えば組み込みシステムまたはモバイルデバイスといった、処理能力が低いシステムであってもよい。例えばシステムは、科学用または外科用イメージングシステムの一部として使用するための組み込みシステムであってもよい。択一的に、システムは、科学用または外科用イメージングシステムに結合されるのに適し得るモバイルデバイスであってもよい。画像処理ワークフローが機械学習モデルに圧縮されない場合には、そのようなシステムは、少なくとも許容可能なレイテンシ／遅延で画像を処理するのに適していない場合がある。

【0031】

本開示の別の態様は、上述のシステムのうちの少なくとも１つを含んでいる、顕微鏡システムであってもよい、科学用または外科用イメージングシステムに関する。これによって、適切なトレーニングデータを生成する、かつ／または機械学習モデルをトレーニングするために、科学用または外科用イメージングシステムがトレーニングされた機械学習モデルを使用することが可能になり得る。

【0032】

本開示の別の態様は、コンピュータプログラムがプロセッサ上で実行されるときに上述の方法のうちの少なくとも１つを実施するためのプログラムコードを備えたコンピュータプログラムに関する。

【0033】

以降では、装置および／または方法のいくつかの例を、単なる例として、添付の図面を参照して説明する。

【図面の簡単な説明】

【0034】

【図1a】科学用または外科用イメージングシステムのための方法の例のフローチャートを示す図である。

【図1b】科学用または外科用イメージングシステムのための方法の例のフローチャートを示す図である。

【図2a】機械学習モデルをトレーニングするための方法の例のフローチャートを示す図である。

【図2b】機械学習モデルをトレーニングするための方法の例のフローチャートを示す図である。

【図3】科学用または外科用イメージングシステムのためのシステムの例、ならびにそのようなシステムを含んでいる科学用または外科用イメージングシステムの例を概略的に示す図である。

【図4】画像分析ワークフローの例を概略的に示す図である。

【図5】ディープニューラルネットワークをトレーニングするためのワークフローの例を概略的に示す図である。

【図6】画像分析ワークフローを圧縮するためのワークフローの例を概略的に示す図である。

【図7】イメージングデバイスとコンピュータシステムとを含んでいるシステムを概略的に示す図である。

【発明を実施するための形態】

【0035】

次に、いくつかの例が示されている添付の図を参照して、様々な例をより詳しく説明する。図中、線の太さ、層の厚さおよび／または領域の厚さは、見やすくするために誇張されていることがある。

【0036】

図１ａおよび図１ｂは、例えば、図３に示されている科学用または外科用イメージングシステム３００等の、科学用または外科用イメージングシステムのための方法の例のフローチャートを示している。方法は、科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、複数の画像を生成すること１１０を含んでいる。方法は、科学用または外科用イメージングシステムの画像処理ワークフローを用いて、複数の画像に基づいて複数の出力を生成すること１２０を含んでいる。画像処理ワークフローは、複数の画像処理ステップを含んでいる。方法は、例えば、図２ａおよび／または図２ｂに関連して紹介される方法を用いて、機械学習モデルをトレーニングするために、トレーニング入力画像として複数の画像を提供し、トレーニング出力として複数の出力を提供すること１３０を含んでいる。任意選択で、方法は、トレーニングされた機械学習モデルを得ること１６０を含んでいる。例えば、この方法は、（コンピュータ）システム、例えば、図３および図７に関連してそれぞれ紹介されるシステム３１０またはコンピュータシステム７２０によって実施されてもよい。

【0037】

上で概説したように、提案されたコンセプトは、画像処理ワークフローによって実行される画像処理タスクを統合された様式で行うように、すなわち、種々異なる画像処理ステップによって生成される中間出力を必要とせずに行うように、ディープニューラルネットワーク等の機械学習モデルをトレーニングすることによって、複数の一連の画像処理ステップを含み得る複雑な画像処理ワークフローを簡素化し、より効率的にすることができるという知見に基づいている。そのような機械学習モデルをトレーニングするために、トレーニングコーパスの構築と、機械学習モデルの実際のトレーニングとの２つのタスクが実行されるべきである。前者は図１ａおよび／または図１ｂに関連して説明され、後者は図２ａおよび／または図２ｂに関連して説明される。これらのタスクおよび各方法は、別の存在物によって実行されても、同じ存在物によって実行されてもよい。

【0038】

図１ａおよび／または図１ｂの方法は主に、トレーニングコーパスの生成、すなわち機械学習モデルをトレーニングするための適切なトレーニングデータの収集に関する。二次的な態様として、機械学習モデルの使用について論じられる。トレーニングコーパスを生成するために、図１ａおよび／または図１ｂの方法は、手近にある科学用または外科用イメージングシステムの設備を使用する。

【0039】

提案されたコンセプトでは、用語「科学用または外科用イメージングシステム」は、手近にあるイメージングシステムの能力を強調するために使用されている。例えば、そのような科学用または外科用イメージングシステムは、顕微鏡（例えば、外科用顕微鏡、材料科学顕微鏡、実験室用顕微鏡等）、内視鏡または外視鏡（ときに体外テレスコープとも称される）等の、科学用または外科用イメージングデバイスの周りに集められてもよい。外視鏡は、カメラベースのイメージングシステム、特にカメラベースの３Ｄイメージングシステムであり、これらは、高い倍率および深い被写界深度を有する手術部位の画像を提供するのに適している。接眼レンズを介して使用され得る顕微鏡と比較して、外視鏡は、モニタまたはヘッドマウントディスプレイのようなディスプレイモダリティだけを介して使用される。

【0040】

各イメージングデバイスに加えて、科学用または外科用イメージングシステムは、１つまたは複数の付加的な構成要素を含んでいる。特に、科学用または外科用イメージングシステムは、（コンピュータ）システムをさらに含んでいてよく、これは、（一時的にまたは永続的に）各イメージングデバイスに結合されていてもよい。一方では、そのようなシステムは、科学用または外科用イメージングシステムの照明システムのように、科学用または外科用イメージングシステムの様々な側面を制御するために使用されてもよい。他方では、そのようなシステムは、各イメージングデバイスの光学イメージングセンサのイメージングセンサデータを処理するために使用されてもよい。後者の能力は、トレーニング入力画像の生成のための基礎である。上で概説したように、方法は、科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、（例えば、それぞれ図４および図５に４１０，５１０として示されている）複数の画像を生成すること１１０を含んでいる。例えば、生のイメージングセンサデータが、科学用または外科用イメージングシステムの光学イメージングセンサから（例えば、システムのインタフェースを介して）得られ、複数の画像を生成するために処理されてもよい。択一的に、生のイメージングセンサデータが複数の画像として使用されてもよい、または複数の画像が、直接的にイメージング光学センサから（システムのインタフェースを介して）得られてもよい。例えば、画像は、２次元からｎ次元の画像であってよく、ここでは付加的な次元（２つを超える）は、深さ次元、時間次元、または異なるチャネルのうちの１つまたは複数である。任意選択で、各トレーニング画像が画像処理ワークフローに入力される前に、デベイヤリング、ノイズ除去または生のイメージングセンサデータからのマルチスペクトル画像の生成等のある程度の前処理が実行されてもよい。結果として得られた画像が、機械学習モデルのトレーニングのためのトレーニング入力画像として使用され得る。

【0041】

トレーニング入力画像の他に、対応するトレーニング出力が生成される（図４の４３０から４３５、図５の５２０）。これらのトレーニング出力は、トレーニングのために使用され、例えば、教師あり学習が使用される場合には所望の出力として使用され、強化学習が使用される場合には報酬を決定するために使用され、または敵対的生成ネットワークが使用される場合には識別器をトレーニングするために使用される。提案されたコンセプトでは、これらのトレーニング出力は、トレーニングされた機械学習モデルによって置き換えられるべき画像処理ワークフローによって生成される。以降では、そのような画像処理ワークフローについて簡単な紹介を行う。

【0042】

実験室用顕微鏡または外科用顕微鏡等の最新の科学用または外科用イメージングシステムは、多くの場合、サンプルの拡大図の提供を超える機能を提供する。拡大図に加えて、各イメージングデバイスのイメージングセンサのイメージングセンサデータに基づいて生成された画像が処理され、拡張され、サンプルの拡張された図が提供される。この目的のために、一連の画像処理ステップが画像上で実行され、ここでは後続のステップ（例えばステップｎ）が、各先行のステップ（例えばステップｎ－１）に適用される。このプロセスの図解が図４および図５に示されている。図４および図５では、入力画像Ｉ_ｉ４１０，５１０が、画像処理ステップ４２０から４２５のシーケンスを含んでいる画像処理ワークフローＷ_１４００，５００に入力される。その後、ワークフローＷ_１は、例えば、画像Ｉ_ｉ毎に、出力Ｏ_ｉを出力する。図４に示されているように、画像４３０、ベクトル４３３または座標４３５等の、種々異なるタイプの出力（例えば、一度に複数の種々異なる出力またはそれらのうちの１つの出力）が提供されてもよい。したがって、複数の出力がそれぞれ、画像４３０、（画像の埋め込み等の画像に関する情報を含んでいる）ベクトル４３３、空間座標４３５（例えばバウンディングボックスもしくはポリゴンの座標、または中心点の座標）および時間座標（例えばタイムスタンプ）のうちの少なくとも１つを含んでいてもよい。

【0043】

画像処理ワークフロー内では、任意の画像処理ステップのシーケンスが使用される。特に、画像処理ワークフローは、シーケンシャルに実行される複数の画像処理ステップ、すなわち、少なくとも２つの画像処理ステップを含んでおり、ここでは第２の画像処理ステップは、（少なくとも）第１の画像処理ステップの結果に基づいて適用される。例を挙げると、画像処理ワークフローは、デベイヤリング、ノイズ除去、鮮明化、コントラスト調整等の１つまたは複数の汎用画像処理ステップを含んでいてもよい。これに加えて、または択一的に、いくつかの特定用途向け画像処理ステップが適用されてもよい。例えば、蛍光イメージングが（実験室用顕微鏡、外科用顕微鏡、外科用内視鏡または外科用外視鏡セッティングにおいて）実行される場合、蛍光発光が、（第１の画像処理ステップにおいて）画像において検出され、（後続の第２の画像処理ステップにおいて）疑似カラーオーバーレイを生成するために使用され、（後続の第３の画像処理ステップにおいて）画像の上にオーバーレイされてもよい。択一的に、（第１の画像処理ステップまたは第２の画像処理ステップにおいて）画像セグメンテーションおよび／またはオブジェクト検出が、画像内の１つまたは複数の関心領域を検出するために使用されてもよく、ここでは、（後続の第３の画像処理ステップおよび／または第４の画像処理ステップにおいて）画像セグメンテーション／オブジェクト検出の範囲に応じて、画像の異なる部分に対して異なるタイプの画像変換が実行される。したがって、複数の画像処理ステップが、１つまたは複数の画像変換ステップおよび１つまたは複数の画像分析ステップ（例えばオブジェクト検出／画像セグメンテーション）のうちの少なくとも１つを含んでいてもよい。

【0044】

そのような画像処理ステップが、種々異なる技術を用いて実装されてもよい。例えば、（ワンパス）決定論的フィルタを用いて（これは例えば、同じ色／チャネルの隣接ピクセルの内容に基づいて外れ値を除去する）、反復決定論的フィルタ（すなわち、マルチパス決定論的フィルタ）を用いて（これは例えば、隣接ピクセルの内容に基づいて差を徐々に減らす）、（ワンパス）機械学習ベースフィルタを用いて（これは例えば、ノイズの低減のためにトレーニングされた機械学習モデルに一度、画像を通す）、または反復（マルチパス）機械学習ベースフィルタを用いて（これは例えば敵対的生成ネットワークまたは強化学習に基づいている）、ノイズ除去が実行されてもよい。換言すれば、画像処理ワークフローは、１つまたは複数の（ワンパスまたは反復／マルチパス）決定論的画像処理ステップ、反復最適化成分を備える１つまたは複数の（決定論的または機械学習ベース）画像処理ステップ、および１つまたは複数の機械学習ベース（ワンパスまたは反復／マルチパス）画像処理ステップのうちの少なくとも１つを含んでいてもよい。これらのフィルタのうち、特に、反復（すなわちマルチパス）フィルタは、計算量が多く、かつランタイムに関して非決定論的となる傾向があり、これは、画像または光学イメージングセンサのイメージングセンサデータのライブ処理のための（例えば、イメージングシステムのディスプレイ、デジタル接眼レンズまたはヘッドマウントディスプレイ上にライブ画像を生成するための）画像処理ワークフローであり得る画像処理ワークフローにおいては望ましくない。

【0045】

提案されたコンセプトでは、機械学習モデルをトレーニングするためのトレーニング出力として使用するために、画像処理ワークフローが、複数の画像からの複数の出力（例えば、各画像に対する１つまたは複数の出力）を生成する１２０ために適用される。

【0046】

複数の画像および複数の出力が得られると、これらの画像および出力は、機械学習モデルをトレーニングするために、トレーニング入力画像およびトレーニング出力として提供される１３０。例えば、トレーニング入力画像およびトレーニング出力は、システムによる後続のトレーニングにおいて使用するために、システムのストレージデバイス（図３の３１６）に格納されていてよい、またはこれらは、例えば、システムのインタフェースを介してまたはリムーバブルストレージ（例えばフラッシュドライブ）を介して、別のシステム（例えばクラウドサーバ）に提供されてもよい。

【0047】

いくつかのケースでは、図４に詳細に示されているように、画像処理ワークフローをパラメータ化することによって、画像処理ワークフローを（図４のユーザー４５０によって）手近にある特定のアプリケーションに（手動で）適合させることができる。例えば、画像処理ワークフローが、１つまたは複数の入力パラメータに基づいて実行されてもよい。そのような入力パラメータが、ノイズ除去の厳密性を制御する数値パラメータもしくは疑似カラーオーバーレイの色を制御する数値パラメータ等の１つまたは複数の数値パラメータならびに／または１つまたは複数の列挙型パラメータを含んでいてもよく、これは表示、非表示または強調表示のための２つ以上のスペクトル波長帯域間の選択、オブジェクト検出によって検出されるべき２つ以上のタイプのオブジェクト間の選択等である。これらの入力パラメータは、基本的に、画像処理ワークフローの出力に影響を与え得る。これらの入力パラメータを考慮に入れるように機械学習モデルをトレーニングするために、機械学習モデルのトレーニング中に、１つまたは複数の入力パラメータがさらなるトレーニング入力として使用されてもよい（結果として対応するトレーニング出力が得られる）。したがって、図１ｂに詳細に示されているように、方法は、機械学習モデルをトレーニングするためのさらなるトレーニング入力として１つまたは複数の入力パラメータを提供すること１３５を含んでいてもよい。

【0048】

上述のセクションでは、１つまたは複数の入力パラメータの選択を手動のプロセスとして説明した。しかし、本開示のいくつかの例では、これらの１つまたは複数の入力パラメータが、トレーニングコーパスの生成中に調整されてもよい。このケースでは、図２および図５に関連してより詳細に説明されるように、機械学習モデルのトレーニング中に、１つまたは複数の入力パラメータを適合させるために使用されるべきフィードバック信号を生成することができる。したがって、図１ｂに詳細に示されているように、方法は、フィードバック信号（図５の５８０）を得ること１４０を含んでいてもよい。このフィードバック信号は、機械学習モデルのトレーニング中に、または（トレーニングされた機械学習モデルが画像処理ワークフローとともに使用される、または画像処理ワークフローの代わりに使用される場合に）イメージングシステムの「通常」動作中にも生成可能である。例えば、図２および図５に関連してより詳しく概説されるように、フィードバック信号は、機械学習モデルのトレーニングに基づいていてもよい、または機械学習モデルが科学用または外科用イメージングシステムによって使用される場合には、トレーニングされた機械学習モデルの出力に基づいていてもよい。次いで、このフィードバック信号が、例えば、１つまたは複数の入力パラメータを適合させるために、画像処理ワークフローへの入力として使用されてもよい１４５。特に、フィードバック信号の使用は、画像処理ワークフローの１つまたは複数の画像処理ステップの１つまたは複数の（数値または列挙型）パラメータを適合させることを含んでいてもよい。パラメータが調整されると、トレーニング出力が再び生成され得るので、機械学習モデルのトレーニングを続行することができる、または改善されたパラメータに基づくトレーニング出力によって再開することができる。したがって、図１ｂに詳細に示されているように、方法は、適合させられた画像処理ワークフローを用いて、複数の出力を再生成すること１５０、および再生成された出力を、機械学習モデルをトレーニングするためのトレーニング出力として提供すること１５５を含んでいてもよい。これらのトレーニング出力は、以前に提出されたトレーニング出力を拡張することがある、または以前に提出されたトレーニング出力に取って代わることがある。これらは同じトレーニング入力画像に基づいているので、トレーニング入力画像が再提供されない可能性がある。

【0049】

次いで、生成されたトレーニングコーパス、すなわちトレーニング入力画像、任意選択的なさらなるトレーニング入力およびトレーニング出力が、機械学習モデルをトレーニングするために使用され得る。多くのケースでは、これは、科学用または外科用イメージングシステムの一部であるシステム、または科学用または外科用イメージングシステムに結合されているシステムとは異なるコンピュータシステム、例えば、クラウドベースのコンピュータシステムを用いて実行されてもよい。換言すれば、複数の画像および複数の出力の生成は、科学用または外科用イメージングシステムのシステムによって実行されてもよく、機械学習モデルのトレーニングは、クラウドベースのコンピュータシステム等の別のコンピュータシステムによって実行されてもよい。択一的に、トレーニングコーパスの生成と機械学習モデルのトレーニングとの両方が、科学用または外科用画像処理システムのシステムによって局所的に実行されてもよい。換言すれば、複数の画像および複数の出力の生成ならびに機械学習モデルのトレーニングが、科学用または外科用イメージングシステムのシステムによって実行されてもよい。その結果、上述のシステムによって実行可能なこの方法が、例えば、図２ａおよび／または図２ｂに関連して紹介される方法を用いて、機械学習モデルをトレーニングすることをさらに含んでいてもよい。

【0050】

上で概説したように、提案されたコンセプトの１つの目的は、科学用または外科用イメージングデバイスによって生成された画像を、好ましくはリアルタイムで処理するための改善されたコンセプトを提供することである。このコンセプトには、機械学習モデルのトレーニングが含まれるだけでなく、画像処理ワークフローの代わりに機械学習モデルを使用することも含まれ得る。したがって、図１ｂに詳細に示されているように、方法は、トレーニングされた機械学習モデル、すなわちトレーニング入力画像（およびさらなるトレーニング入力）と、科学用または外科用イメージングシステムによって生成されたトレーニング出力とを用いてトレーニングされた機械学習モデルを得ること１６０を含んでいてもよい。トレーニングされた機械学習モデルが得られると、これが、画像処理ワークフローの代わりに使用されてもよい。したがって、図１ｂに詳細に示されているように、方法は、画像処理ワークフローを、図２ａおよび／または図２ｂの方法に従う機械学習モデルと置き換えること１７０を含んでいてもよい。

【0051】

いくつかの例では、上述のフィードバック信号は、（トレーニングされた）機械学習モデルを用いることによって、科学用または外科用イメージングシステムにおいて局所的に生成され得る。いくつかのケースでは、局所的に生成されたこのフィードバック信号を、画像処理ワークフローのための局所的なフィードバック信号として用いることができる。択一的に、これを、トレーニングされた機械学習モデル自体に対する局所的なフィードバック信号として用いることができる。したがって、次いで、フィードバック信号が、トレーニングされた機械学習モデルへの入力として使用されてもよい１４５。このケースでは、フィードバック信号がどのように生成されるかに応じて（これは図２ａから図２ｂ、図５に関連して詳述される）、フィードバックループがパラメータ空間の望ましくない部分にドリフトするのを回避するために、適切な損失関数が使用されてもよい、または正則化が適用されてもよい。

【0052】

先行の例では、１つの画像処理ワークフローが参照された。しかし、このコンセプトは、入れ子にされた複数の画像処理ワークフローにも適用されてもよい。例えば、図６に関連して示されているように、第１の画像処理ワークフローが、提案されたコンセプトに従ってトレーニングされた機械学習モデルに「圧縮」された後に、同じコンセプトが、トレーニングされた機械学習モデルによって置き換えられる上述の第１の画像処理ワークフローを含む第２の画像処理ワークフローに再び適用されてもよい。例えば、この画像処理ワークフロー（以降では第１の画像処理ワークフローと称する）は、第２の画像処理ワークフロー（図６の６２０）の一部であってもよい。例えば、第２の画像処理ワークフローは、第１の画像処理ワークフローと類似していてもよく、処理ステップの１つとしてトレーニングされた機械学習モデルを含んでいる。ここで第２の画像処理ワークフローにも、同じ圧縮プロセスが適用されてもよい。例えば、図１ｂに詳細に示されているように、方法は、画像処理ワークフローを機械学習モデルと置き換えた後に、第２の画像処理ワークフローを用いて、第２の複数の画像に基づいて第２の複数の出力を生成すること１８０を含んでいてもよい。例えば、第２の複数の画像が、複数の画像に対応していてもよい。択一的に、第２の複数の画像が、光学イメージングセンサの新たに得られたイメージングセンサデータに基づく、新たに得られた画像であってもよい。例えば図２ａおよび／または図２ｂの方法に従って、第２の機械学習モデルをトレーニングするために、第２の複数の画像がトレーニング入力画像として、また第２の複数の出力がトレーニング出力として提供されてもよい（図６の６６０）１８５。第１の画像処理ワークフローと同様に、フィードバック信号が、第２の画像処理ワークフローの（入力）パラメータを制御するために得られてもよい。第１の機械学習モデルのトレーニングと同様に実装され得るトレーニングプロセスの後、トレーニングされた第２の機械学習モデルが得られてもよく、またこれが第２の画像処理ワークフローを置き換えるために使用されてもよい。例えば、第２の画像処理ワークフローが別のより大きな第３の画像処理ワークフローの一部である場合に、このプロセスが繰り返されてもよい。

【0053】

科学用または外科用イメージングシステムのための方法のさらなる詳細および態様は、提案されたコンセプトまたは上述もしくは後述の１つまたは複数の例（例えば図２ａから図７）に関連して言及される。科学用または外科用イメージングシステムのための方法は、提案されたコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的な機能を含んでいてもよい。

【0054】

図２ａおよび図２ｂは、科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法の例のフローチャートを示している。例えば、図１ａおよび／または図１ｂの方法を用いて生成されたトレーニングコーパスを用いて、図１ａおよび／または図１ｂに関連して紹介された機械学習モデルをトレーニングするために、図２ａおよび／または図２ｂの方法が使用されてもよい。方法は、トレーニング入力画像としての使用のために、科学用または外科用イメージングシステムの複数の画像を得ること２１０を含んでいる。方法は、複数のトレーニング入力画像に基づいており、かつ科学用または外科用イメージングシステムの画像処理ワークフローに基づいている複数のトレーニング出力を得ること２２０を含んでいる。画像処理ワークフローは、複数の画像処理ステップを含んでいる。方法は、複数のトレーニング入力画像と複数のトレーニング出力とを用いて、機械学習モデルをトレーニングすること２４０を含んでいる。例えば、この方法が、コンピュータシステムによって、例えば、図３に関連して紹介されるシステム３１０によって、または図７に関連して紹介されるコンピュータシステム７２０によって実施されてもよい。例えば、この方法が、クラウドベースのコンピュータシステムによって実施されてもよい。

【0055】

図１ａに関連して概説したように、２つのタスク、すなわちトレーニングコーパスの構築と機械学習モデルの実際のトレーニングとの２つのタスクが、提案されたコンセプトの一部として実行されるべきである。前者は図１ａおよび／または図１ｂに関連して説明されており、後者はここで図２ａおよび／または図２ｂを参照して説明される（そのようなトレーニングのより詳細な例は、図５に関連して得られる）。これらの２つのタスクは結び付けられており、すなわち、機械学習モデルをトレーニングする目的で、トレーニングコーパスが生成され、機械学習モデルは、このコーパスを用いてトレーニングされる。

【0056】

方法は、トレーニングコーパスを得ることによって、すなわちトレーニング入力画像を得ること２１０によって、かつ複数のトレーニング出力を得ること２２０によって始まる。さらに、方法は、さらなるトレーニング入力として画像処理ワークフローの１つまたは複数の入力パラメータを得ること２３０を含んでいてもよい（ここでは、機械学習モデルが、さらなるトレーニング入力である１つまたは複数の入力パラメータを用いてトレーニングされる）。トレーニングコーパスのこれらの構成要素は、図１ａおよび／または図１ｂに関連して説明されている。これらは、科学用または外科用イメージングシステムの（コンピュータ）システムから、例えば、システムからトレーニングコーパスを受け取ることによって、システムを起源とするフラッシュドライブからトレーニングコーパスを読み取ることによって、または科学用または外科用イメージングシステムのシステム上で図２ａおよび／または図２ｂの方法を実施することによって、得られてもよい。

【0057】

トレーニングコーパスが利用可能になると、このトレーニングコーパスを使用して、機械学習モデルをトレーニングすることができる。以降では、機械学習モデルのトレーニングに焦点を当てて、機械学習に関する簡単な紹介を行う。

【0058】

機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照する。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを用いて、または機械学習アルゴリズムを用いて分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を用いてトレーニングされてもよい。多数のトレーニング画像（すなわちトレーニングコーパス）および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

【0059】

このケースでは、機械学習モデルは、画像処理ワークフローを模倣するようにトレーニングされており、これは、自身の入力側で画像を受け入れ、かつ画像処理ワークフローに入力された画像に基づいて出力を生成する。したがって、機械学習モデルは、科学用または外科用イメージングシステムの１つの画像（または複数の画像が同時に入力される場合には複数の画像であり、これは、マルチスペクトルイメージングまたは同時に蛍光イメージングと白色光イメージングとが使用されるケースであり得る）を出力に変換するようにトレーニングされる。例えば、機械学習モデルが、図１ａおよび／または図１ｂに関連して、画像処理ワークフロー、ひいては結果として得られた機械学習モデルの潜在的な出力として説明されている、科学用または外科用イメージングシステムの１つ画像（または複数の画像）に基づいて、画像、ベクトル、空間座標および時間座標のうちの少なくとも１つを出力するようにトレーニングされてもよい。

【0060】

機械学習モデルは、トレーニング入力データを用いてトレーニングされる。上述の画像分類の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習が、目下トレーニングされている機械学習モデルに適用されてもよい。例えば、機械学習モデルは、教師あり学習を用いて、機械学習モデルの入力に（トレーニングサンプルとして）複数のトレーニング入力画像を適用し、機械学習モデルのトレーニング中に複数のトレーニング出力を所望の出力として（所望の出力値として）使用することによって、科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされてもよい。例えば、勾配降下法等の適切な損失関数が選択されてもよく、これによって機械学習モデルは、科学用または外科用イメージングシステムの画像が供給されると、徐々に、「正しい」（または少なくとも類似の）出力を提供することを学習する。例えば、損失関数は、所与のトレーニング入力画像について、機械学習モデルによって提供された出力と、トレーニング入力画像に対応するトレーニング出力との間の差を低減するための損失関数であってもよい。例えば、機械学習モデルが画像を出力するようにトレーニングされている場合、ピクセル毎の損失関数が使用されてもよい、または知覚損失関数が使用されてもよい（これは、ピクセル間の絶対誤差の代わりに、全てのピクセル間の誤差の平均二乗和に基づいている）。

【0061】

教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち、入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関連しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。

【0062】

教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

【0063】

手近にある機械学習モデルをトレーニングするのに適した教師なし学習技術は、敵対的生成ネットワーク（ＧＡＮ）の使用である。敵対的トレーニングでは、生成器モデルがトレーニングされて、候補が生成され、これが識別器モデルによって評価される。生成器モデルと識別器モデルとの両方がまとめてトレーニングされ、これによって、生成器モデルによって生成される候補の品質（および識別器モデルによって実行される評価の品質）における安定した改善がもたらされる。このコンセプトでは、機械学習モデルは、科学用または外科用イメージングシステムの画像を出力に変換するために、敵対的生成ネットワークの対の生成器モデル（敵対的学習の特定の実装）としてトレーニングされてもよい。敵対的生成ネットワークの対の識別器モデルは、科学用または外科用イメージングシステムの出力を評価するために使用され、これは例えば、生成された出力のバイナリの合格／不合格評価を出力することによって、または科学用または外科用イメージングシステムの出力をスケールで格付けすることによって行われる。上述の評価を実行するために、識別器モデルは、複数のトレーニング出力に基づいてトレーニングされてもよく、例えば「良好」な出力と「不良」な出力（または「合格」出力と「不合格」出力）とを識別器モデルが区別できるようにトレーニングされてもよい。この目的のために、教師あり学習が使用されてもよい。例えば、識別器モデルが、トレーニング入力画像およびトレーニング出力（これは例えば、対応するトレーニング出力、トレーニング入力画像に基づいた生成器モデルによって生成された出力、または対応するトレーニング出力のランダムに歪められたバージョンのいずれかである）に基づいて、識別器に入力されている出力が、「リアル」な対応する出力に対応するか否かを示すバイナリ値を出力するようにトレーニングされていてもよい。識別器の教師あり学習ベースのトレーニングの所望の出力値として、識別器に入力される出力が「リアル」な対応する出力に対応するかどうかを示す対応するバイナリ値が使用されてもよい。

【0064】

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

【0065】

この文脈では、機械学習モデルは、強化学習を用いて、科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされてもよい。このケースでは、トレーニング出力は、各変換の報酬を決定するために使用されてもよい。特に、強化学習に基づくトレーニング中に報酬を決定するために、トレーニング中の機械学習モデルの出力と、複数のトレーニング出力のトレーニング出力との間の差が使用されてもよい。上述したピクセル毎の損失および知覚損失と同様に、報酬が、トレーニング中の機械学習モデルの出力とトレーニング出力との間のピクセル毎の差に基づいて、または全ピクセルにわたる差の平均に基づいて計算されてもよい。

【0066】

機械学習アルゴリズムは、通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

【0067】

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジを含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノード、および出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整すること、すなわち、与えられた入力に対して所望の出力を得ることを含んでいてもよい。

【0068】

特に、このコンセプトにおいてトレーニングされる機械学習モデルは、ＡＮＮベースの機械学習モデル、特にディープニューラルネットワーク（ＤＮＮ）であってよく、すなわち、（入力ノードを含む）入力層と、（出力ノードを含む）出力層と、入力層と出力層との間の１つまたは複数の（隠れノードを含む）隠れ層とを有するニューラルネットワークである。例えば、機械学習モデルを実装するために、種々のタイプのＤＮＮ、例えば、ＭＬＰ（多層パーセプトロン）、ＣＮＮ（畳み込みニューラルネットワーク）、ＲＮＮ（リカレントニューラルネットワーク）またはＴｒａｎｓｆｏｒｍｅｒ（主に注意機構に基づくニューラルネットワーク）が使用されてもよい。

【0069】

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

【0070】

図１ａおよび／または図１ｂに関連して概説したように、フィードバックパスを、機械学習モデルのトレーニングと画像処理ワークフローとの間に導入して、画像処理ワークフローの様々なステップのパラメータの選択を改善することができる。これは、トレーニング中に機械学習モデルの出力を（例えば、品質基準に関して）評価することによって行われてもよい、または出力だけでなくフィードバック信号も提供するように機械学習モデルをトレーニングすることによって行われてもよい。したがって、図２ｂに詳細に示されているように、方法は、品質基準に従って機械学習モデルの出力を評価すること２５０を含んでいてもよい。方法は、機械学習モデルの出力の評価に基づいて、画像処理ワークフローの１つまたは複数のパラメータを適合させるためにフィードバック信号（図５の５８０）を提供すること２５５を含んでいてもよい。例えば、品質基準は、輝度、コントラスト、高い空間周波数の存在、バウンディングボックスのサイズ、関心領域と他の領域との間の線引き等のうちの少なくとも１つに関するものであってもよい。機械学習モデルによる画像出力は、機械学習モデルの出力の評価中に、所望の輝度、コントラスト、高い空間周波数の存在、バウンディングボックスのサイズ等と比較されてもよい。輝度と所望の輝度との間の差、コントラストと所望のコントラストとの間の差等のマッチングを含んでいるルールブック、および画像処理ワークフローの対応するパラメータが、フィードバック信号を生成するために使用されてもよい。

【0071】

択一的に、機械学習モデルが、フィードバック信号を生成するようにトレーニングされてもよい。換言すれば、機械学習モデルは、画像処理ワークフローの１つまたは複数のパラメータを適合させるためにフィードバック信号５８０を生成するようにトレーニングされてもよい。そのようなトレーニングについてのさらなる詳細は、図５に関連して示されている。要するに、画像と出力との間の変換に対する損失関数または報酬関数に加えて、付加的な損失関数または報酬関数が規定されていてもよく、これによって改善されたトレーニングコーパスが生成され、これによってトレーニングされた機械学習モデルのより良好なパフォーマンスが得られる。さらに、機械学習モデルは、画像処理ワークフローの少なくともいくつかのパラメータに対する（例えば、パラメータを表すベクトルに対するまたはパラメータの埋め込みに対する）付加的な入力と、フィードバック信号に対する１つまたは複数の付加的な出力とによってトレーニングされる。例えば、機械学習モデルは、次いで、損失関数または報酬関数を用いてトレーニングされてもよく、これは、各パラメータに応じて、平均二乗誤差（すなわちＬ２ノルム）、平均絶対誤差（すなわちＬ１ノルム）またはバイナリクロスエントロピー等の分類損失を含んでいる、画像対画像（または画像対出力）損失／報酬を改善するための損失／報酬とフィードバック信号に対する適切な損失／報酬との重み付けされた線形結合を含んでいる。したがって機械学習モデルは、画像処理ワークフローに対する所望の出力とパラメータセットとの両方を予測する２つの出力を有していてもよい。その結果、これまで見られなかった入力画像に対して新しいパラメータセットを予測することができ、この新たなパラメータセットを、機械学習モデルの使用中に使用することもできる。換言すれば、フィードバック信号は、機械学習モデルの出力側から機械学習モデルの入力側にフィードバック信号をフィードバックすることによって、反復して使用されてもよい。

【0072】

機械学習モデルをトレーニングするための方法のさらなる詳細および態様は、提案されたコンセプト、または上述もしくは後述の１つまたは複数の例（例えば、図１ａから図１ｂ、図３から図７）に関連して言及される。機械学習モデルをトレーニングするための方法は、提案されたコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的な特徴を含んでいてもよい。

【0073】

図３は、科学用または外科用イメージングシステム３００のためのシステム３１０の例の概略図を示している。図３にはさらに、科学用または外科用イメージングシステム３００が示されており、科学用または外科用イメージングシステム３００は、この種のシステム３１０と、科学用または外科用イメージングデバイス３２０とを備えている。

【0074】

図１ａおよび図１ｂに関連して概説したように、提案されたコンセプトは、科学用または外科用イメージングシステムに関しており、科学用または外科用イメージングシステムは、光学構成要素およびイメージング構成要素（すなわち、顕微鏡、内視鏡または外視鏡等の科学用または外科用イメージングデバイス）と、科学用または外科用イメージングシステムの様々な側面を制御するために使用されるが（照明、ロボットアーム、電動サンプル台等）、科学用または外科用イメージングデバイスによって提供されるイメージングセンサデータ上で画像処理を実行するためにも使用される（コンピュータ）システムとの両方を備えるシステムである。

【0075】

図３は、そのようなタスクの実行に適したそのようなシステム３１０の例を示している。システム３１０は、１つまたは複数のプロセッサ３１４と、１つまたは複数のストレージデバイス３１６と、を含んでいる。任意選択で、システム３１０は、１つまたは複数のインタフェース３１２をさらに含んでいる。１つまたは複数のプロセッサ３１４は、１つまたは複数のストレージデバイス３１６および１つまたは複数のインタフェース３１２に結合されている。概して、システム３１０の機能は、１つまたは複数のプロセッサ３１４によって提供されてもよく、これは、（科学用または外科用イメージングデバイス３２０の１つまたは複数の光学イメージングセンサ、別のシステム（例えば、クラウドベースのシステム）、または科学用または外科用イメージングシステムの表示デバイス等の、科学用または外科用イメージングシステム３００の１つまたは複数の他の構成要素および科学用または外科用イメージングシステム３００の外部の１つまたは複数の他の構成要素とのデータ／情報の交換のための）１つまたは複数のインタフェース３１２と連携して、かつ（１つまたは複数のプロセッサによって実行されるコンピュータプログラムの機械読取可能な命令等の情報を格納するための）１つまたは複数のストレージデバイス３１６と連携して行われる。概して、１つまたは複数のプロセッサ３１４の機能は、機械読取可能な命令を実行する１つまたは複数のプロセッサ３１４によって実装されてもよい。したがって、１つまたは複数のプロセッサ３１４に割り当てられた任意の特徴は、複数の機械読取可能な命令のうちの１つまたは複数の命令によって規定されてもよい。システム３１０は、例えば、１つまたは複数のストレージデバイス３１６内に、機械読取可能な命令を含んでいてもよい。

【0076】

そのようなシステムが、種々のタスクを実行するために使用されてもよい。例えば、システムが、図１ａおよび／または図１ｂに関連して示された方法を実施するように構成されていてもよい。択一的または付加的に、システムが、図１ａおよび／または図１ｂに関連して示された方法を実施するように構成されていてもよい。

【0077】

いくつかの例では、そのようなシステムは、図１ａおよび／または図１ｂに関連して説明された画像処理ワークフローを（少なくともリアルタイムで）実行することができないシステム、例えば、科学用または外科用イメージングデバイスに一時的に結合されている組み込みシステムまたはモバイルシステムであってもよい。そのようなシステムは、圧縮されていない画像処理ワークフローを実行することはできないが、トレーニングされた機械学習モデルを用いて画像を処理することに適している場合がある。したがって、図１ａおよび／または図１ｂの方法のいずれかを実施する代わりに、システム３１０が、科学用または外科用イメージングシステム３００の光学イメージングセンサのイメージングセンサデータに基づいて、画像（または画像のストリーム）を得るように構成されていてもよい。システムは、図２ａおよび／または図２ｂの方法に従ってトレーニングされた機械学習モデルを用いて画像を処理するように構成されていてもよい。システムは、機械学習モデルの出力を使用するように構成されていてもよい。例えば、そのようなシステム３１０は、科学用または外科用イメージングシステム３００の一部として使用するための組み込みシステムであっもてよい。択一的に、そのようなシステム３１０は、科学用または外科用イメージングシステム３００に結合するのに適したものであり得るモバイルデバイスであってよい。いくつかの例は、システム３１０によって実行されるタスクを実行するための対応する方法およびコンピュータプログラムに関する。

【0078】

例えば、いくつかの例では、複数のシステム３１０が使用されてもよく、例えば、図１ａおよび／または図１ｂの方法を実施するための第１のシステム、図２ａおよび／または図２ｂの方法を実施するための第２のシステム、ならびに画像データを処理するために機械学習モデルを使用するための任意選択的な第３のシステムが使用されてもよく、または図１ａから図２ｂの方法を実施するための第１のシステムならびに画像データを処理するために機械学習モデルを使用するための第２のシステムが使用されてもよい。

【0079】

提案された科学用または外科用イメージングシステムでは、少なくとも１つの光学イメージングセンサが、上述したイメージングセンサデータを提供するために使用されてもよい。したがって、（例えば、顕微鏡の）提案された科学用または外科用イメージングデバイス３２０の一部であり得る、光学イメージングセンサが、イメージングセンサデータを生成するように構成されていてもよい。例えば、提案された科学用または外科用イメージングデバイス３２０の少なくとも１つの光学イメージングセンサは、ＡＰＳ（Active Pixel Sensor）方式またはＣＣＤ（Charge-Coupled-Device）方式のイメージングセンサを含んでいてもよい、またはこれらであってもよい。例えば、ＡＰＳ方式のイメージングセンサでは、受光素子とピクセルのアクティブアンプとを用いて各ピクセルで光が記録される。ＡＰＳ方式のイメージングセンサは、多くの場合、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）技術またはＳ－ＣＭＯＳ（Scientific CMOS）技術をベースにしている。ＣＣＤ方式のイメージングセンサでは、入射した光子は半導体－酸化物界面で電子電荷に変換され、これらはその後、イメージングセンサの回路構成によってイメージングセンサ内の容量性ビン間を移動し、イメージングが行われる。システム３１０は、光学イメージングセンサからイメージングセンサデータを得る（すなわち、受け取るまたは読み出す）ように構成されていてもよい。イメージングセンサデータは、光学イメージングセンサから（例えばインタフェース３１２を介して）イメージングセンサデータを受け取ることによって、光学イメージングセンサのメモリから（例えばインタフェース３１２を介して）イメージングセンサデータを読み取ることによって、または例えばイメージングセンサデータが光学イメージングセンサまたは別のシステムもしくはプロセッサによってストレージデバイス３１６に書き込まれた後に、システム３１０のストレージデバイス３１６からイメージングセンサデータを読み取ることによって得られてもよい。

【0080】

システム３１０の１つまたは複数のインタフェース３１２は、モジュール内、モジュール間、または異なる存在物のモジュール間で、指定されたコードにしたがったデジタル（ビット）値であり得る情報を受け取るかつ／または伝送するための１つまたは複数の入力側および／または出力側に対応していてもよい。例えば、１つまたは複数のインタフェース３１２は、情報を受け取るかつ／または伝送するように構成されているインタフェース回路を含んでいてもよい。システム３１０の１つまたは複数のプロセッサ３１４は、１つまたは複数の処理ユニット、１つまたは複数の処理デバイス、プロセッサ、コンピュータ、または相応に適合させられたソフトウェアで動作可能なプログラム可能なハードウェア構成要素等の処理のための任意の手段を用いて実装されてもよい。換言すれば、１つまたは複数のプロセッサ３１４の説明された機能は、ソフトウェアで実装されてもよく、ソフトウェアは、次いで、１つまたは複数のプログラム可能なハードウェア構成要素において実行される。そのようなハードウェア構成要素は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、マイクロコントローラ等を含んでいてもよい。システム３１０の１つまたは複数のストレージデバイス３１６は、磁気記録媒体または光学記録媒体、例えばハードディスクドライブ、フラッシュメモリ、フロッピーディスク、ランダムアクセスメモリ（ＲＡＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電子消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、またはネットワークストレージ等のコンピュータ可読記録媒体のグループのうちの少なくとも１つの要素を含んでいてもよい。

【0081】

システムおよび科学用または外科用イメージングシステムのさらなる詳細および態様は、提案されたコンセプトに関連して、または上述もしくは後述の１つまたは複数の例（例えば、図１ａから図２ｂ、図３から図７）に関連して言及される。このシステムおよび科学用または外科用イメージングシステムは、提案されたコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的な特徴を含んでいてもよい。

【0082】

本開示の種々の例は、任意のステップで画像分析ワークフローをディープニューラルネットワークに圧縮するための、以降では「ＤＥＥＰＲＥＳＳＯ」とも称されるコンセプトに関する。

【0083】

提案されたコンセプトは、顕微鏡または他の生物医学イメージングデバイスによって作成された画像の画像分析の促進に焦点を当てている。種々の例は、コンピュータ上の分析ソフトウェア、組み込みデバイス上の分析ソフトウェア、またはクラウド内の分析ソフトウェアの一部として、画像分析ワークフローを実行することを必要とする。これらのいずれも、画像を目下取得している顕微鏡に取り付け可能である。

【0084】

提案されたコンセプトの種々の態様は、画像分析ワークフロー（図４の４００）の出力の使用を可能にするシステムに関し、これは、ＤＮＮをトレーニングするためのトレーニングセットを生成するための複数の処理または分析ステップｓ_ｊを含んでおり、これによって、ＤＮＮはエンドツーエンドでトレーニング可能になり、ワークフローを置き換えることができる。トレーニング中、ＤＮＮは、ワークフローの入力画像を入力として受け取り、ワークフローの出力を再作成のための目標として受け取る。これによって、ＤＮＮは、入力画像から出力へのマッピングを学習し、その後にワークフロー全体を置き換えることができる。

【0085】

上述のことを行う目的は、複雑な画像分析ワークフローを、１つのステップで出力を生成するディープニューラルネットワーク（ＤＮＮ）によって置き換えることである。この置き換えは、ワークフローの圧縮とも称される。その結果、画像分析の適用が、圧縮後に必要とするステップがわずか１つになり得る。これによって、（モバイルシステムまたは組み込みシステム等の）制限されているリソースを備えるデバイスに複雑な画像分析を展開することが可能になる。さらに、（複数のディープニューラルネットワークが画像分析ワークフローの一部であるケースでは）ストレージの削減も必要とされ得る。要するに、ディープニューラルネットワークは、入力画像にシーケンシャルに適用される（目標ニューラルネットワークと比較して）任意のサイズのディープニューラルネットワークを必要とする、０個～複数個のステップを含み得る画像分析ワークフローの出力でトレーニングされてもよい。

【0086】

図４は、画像処理および／または画像分析の複数の種々異なるステップ４２０から４２５を含んでいる画像分析ワークフロー４００の例の概略図を示している。画像４１０は、ワークフローを通過し、最終的な画像４３０がワークフローによって出力されるまで、新しい画像が各ステップで計算されてもよい。択一的または付加的に、出力が、バウンディングボックスまたはそれらの組み合わせ等のベクトル４３３または画像ドメイン内の点４３５も表していてもよい。例えば、ワークフローは、ワークフローの各ステップを設定することができる、または既存のステップを変更することができるユーザー４５０によって作成されている。

【0087】

画像分析は、複数のタスク（図４の４２０から４２５）を含んでいてよく、これらは、画像分類（ベクトルへの画像のマッピング）、オブジェクト検出（オブジェクト位置に対する分類とボックス回帰）、セマンティックセグメンテーション（ピクセル分類）、インスタンスセグメンテーション（ピクセル分類およびオブジェクトインスタンスの番号付け）等である。ときには、１つのアルゴリズムが、複雑なタスクを履行するのに十分な場合もある。しかし、いくつかのケースでは、複数のステップの組み合わせが使用されてもよい。これらのステップは、ノイズ除去、特定の周波数のフィルタリング、フーリエ空間への変換およびその逆の変換、物理モデルの適用またはトレーニングされたＤＮＮを通じた画像の通過等のような前処理ステップを必要とし得る。

【0088】

最終的に、各ステップｓ_ｊの詳細にかかわらず、入力画像Ｉ（図４の４１０）が出力Ｏに変換され、この出力Ｏは、画像４３０、ベクトル４３３、空間座標または時間座標４５５（画像と同じ空間における点）、テキスト、またはそれらの組み合わせ（図４の４３０から４３５）であり得る。これらのステップは、長い計算時間および反復ステップを必要とすることがあり、これは高速計算またはさらにはリアルタイム計算には向いていない。

【0089】

図５は、ディープニューラルネットワークをトレーニングするためのワークフローの例を概略的に示している。種々の例では、図３に関連して紹介されたシステム３１０または図７のコンピュータシステム７２０等のコンピュータが、（既存の）画像分析ワークフローＷ_１（図５の５００）を実行するように構成されており、科学用または外科用イメージングシステムの複数の画像、すなわち図１ａから図２ｂに関連して考察されたトレーニング入力画像に対応し得る複数の入力画像（図５の５１０）を備えたリポジトリにアクセスする。任意選択で、ワークフローＷ_１は、Ｗ_１における１つのステップが複数のステップｓ_ｊまたは再帰的に複数のワークフロー自体から構成され得る、入れ子にされたワークフローであってよい。リポジトリからの各画像Ｉ_ｉに対して、出力Ｏ_ｉが計算され（図５の５２０）、この出力Ｏ_ｉは、図１ａから図２ｂに関連して考察された、複数の出力のうちのこれらの出力、すなわちトレーニング出力に対応するものであってもよい。その結果、出力をランダムアクセスメモリ（ＲＡＭ）（図５の５４０）に保存することができ、キャッシュすることができ、またはリポジトリ（図５の５３０）に書き込むことができる。したがって、以前はワークフローＷ_１の一部でなかった新たなＤＮＮ Ｄ（図５の５５０）をトレーニングする５７０ためのトレーニングコーパス（またはトレーニングセット）が生成される（図５の５６０）。例えば、トレーニングコーパス、またはトレーニングセットは、入力データ（すなわちトレーニング入力画像）およびワークフローによって生成された出力データ（すなわちトレーニング出力）のタプルを含んでいる。トレーニングの結果、ＤＮＮ Ｄ’（図５の５５５）、すなわちトレーニングされた機械学習モデルが得られ、これは、図１ａから図１ｂの方法において使用されてもよく、またワークフローを置き換えるのに適した、図２ａから図２ｂの方法によってトレーニングされてもよい。

【0090】

概して、ＤＮＮ Ｄのトレーニングは、トレーニングコーパスが最初に構築され、Ｄのトレーニングが厳密にその後に実行されるという意味で、「オフライン」で実行され得る。択一的に、ＤＮＮ Ｄのトレーニングは、Ｄが、ＤＮＮがトレーニングされる（入力、出力）画像またはそれらのバッチの対を生成するＷ_１によって反復的にトレーニングされ、次いで次のバッチが利用可能となるという意味で、「オンライン」で実行され得る。

【0091】

「オンライン」トレーニングの特定の実装において、トレーニングされるＤＮＮ Ｄ’とワークフローＷ_１との間にフィードバックループが挿入されてもよい。したがって、トレーニング５７０およびトレーニングデータの生成５６０を、フィードバックループと並行して実行することができる。このフィードバックループは、ワークフローＷ_１のワークフローステップｓ_ｊのパラメータＨ_ｉに関係し得る、すなわち、ワークフローのステップのパラメータは、フィードバックループに従って適合させられ得る。フィードバックループは、ワークフローにおける１つまたは複数のステップ（図５の５９０）のパラメータＨ_ｉを再構成するために、損失関数Ｌおよび／または他のメトリックＭ（図５の５８０）を使用してもよく（したがってフィードバック信号が提供される）、これによって、トレーニングされたＤＮＮのパフォーマンスをより良好にする、改善されたまたは最適なトレーニングデータが生成される。換言すれば、トレーニングセットの作成を改善して、結果として、より高いパフォーマンスを有するトレーニングされたモデルを得ることができる。

【0092】

他方で、これらのパラメータが、トレーニングされるＤＮＮ Ｄによって考慮されてもよい。トレーニング中、ＤＮＮ Ｄへの入力は、画像Ｉ_ｉだけでなく、ワークフローＷ_１の各ステップｓ_ｊをパラメータ化するために使用されるいくつかのまたは全てのパラメータＨ_ｉも含んでいる可能性がある。これらのパラメータを、Ｄに個別に、または連結ベクトルとして、または密なベクトル表現（埋め込み）として入力することができる。このケースでは、ＤＮＮ Ｄは、（画像入力に加えて）第２の入力ノードを有し、この第２の入力ノードは、ＤＮＮ Ｄ全体のサブネットワークを含んでいる任意の個数の計算ステップを通過することが可能であり、これによって、パラメータ入力を処理、精製またはリサイズして、計算されたアクティベーションａ_ｉを生成することができる。次いで、これらのアクティベーションを組み合わせることができ、例えば、ＤＮＮ Ｄの画像入力から計算されたアクティベーションｂ_ｉに加えることができる、またはこれに連結することができる。

【0093】

入力画像Ｉ_ｉを用いたＤＮＮ Ｄのトレーニング中、所望の出力は、出力画像Ｏおよび（フィードバックループに使用される）パラメータセットＨ_ｉの両方であり得る。モデルは、次いで、損失関数を用いてトレーニングされてもよく、これは、平均二乗誤差（すなわちＬ２ノルム）、平均絶対誤差（すなわちＬ１ノルム）またはＨ_ｉにおけるパラメータに関連するバイナリクロスエントロピー等の分類損失を含んでいる、画像対画像損失を改善するための損失とＨ_ｉに対する適切な損失との重み付けされた線形結合を含んでいる。したがって、モデルＤは、Ｏ_ｉをもたらすワークフローＷ_１に対する所望の出力画像と、パラメータセットＨ_ｉとの両方を予測する２つの出力を有していてもよい。その結果、これまで見られなかった入力画像に対して新しいパラメータセットＨ_ｉ’を予測することができ、これを、ＤＮＮ Ｄの使用中に使用することもできる。次に、トレーニングされたモデルの出力が、Ｈ_ｉ’によってパラメータ化されたワークフローＷ_１の出力と比較され得る。これは、一般化が不十分なケースにおいて役立つ可能性がある、またはＤから得られた結果Ｏ_ｉを解釈する際に役立つ可能性がある。

【0094】

特定の例では、トレーニングされたＤＮＮ Ｄ’は、ワークフローＷ_１の一部であってよく、そのパラメータは、トレーニング中に反復的に改善可能であり、したがって、結果Ｏ_ｉおよびトレーニングされたＤＮＮの両方が並行して改善されるという意味において、ワークフローは自己回帰性になる。

【0095】

実際には、複数の処理または分析ステップを含んでいるワークフローＷ_１が、ＤＮＮによって実現される１つのステップに圧縮される。トレーニング中、ＤＮＮは、ワークフローの入力画像を入力として受け取り、ワークフローの出力を再作成の目標として受け取る。これによって、ＤＮＮは、入力画像から出力へのマッピングを学習し、その後にワークフロー全体を置き換えることができる。

【0096】

概して、トレーニングされたＤＮＮ Ｄ’は、モバイルデバイスまたは組み込みシステムにロード可能であり、そこにおいて、自身が圧縮した元のワークフローよりも高速に実行される。モバイルデバイスまたは組み込みデバイスは、顕微鏡または生物医学イメージングシステムに取り付け可能である。択一的または付加的に、顕微鏡または生物医学イメージングシステムが、画像分析に並行して画像取得を実行してもよい。このケースでは、複数の入力画像（図４の４１０）が、顕微鏡から取得されてもよい。

【0097】

ワークフローを用いてトレーニングセットを繰り返し作成し、そのワークフローを圧縮する新しいモデルをトレーニングし、その新しいワークフローを拡張するプロセスが図６に示されている。このプロセスを用いれば、新たにトレーニングされたＤＮＮ Ｄ’が新たなワークフローＷ_２の一部となることができ、その結果、これを入れ子にすることができる。Ｗ_２を、後に、別のＤＮＮ Ｄ_２に圧縮することができる。図６は、図５に示されたものと類似の、画像分析ワークフローを圧縮するための第１の圧縮ワークフロー６００の例を概略的に示している。ワークフローＷ_１を用いて生成されたトレーニングセットは、結果として、与えられた入力Ｉ_ｉにおいて、Ｗ_１によって生成された出力Ｏ_ｉと類似の出力Ｏ’_ｉを生成することができるトレーニングされたＤＮＮ Ｄ’を生じさせる。トレーニングされたＤＮＮ Ｄ’は、与えられた入力Ｉ_ｉにおいて出力Ｏ’_ｉを生成するトレーニングされたＤＮＮ Ｄ’を含んでいる新たな画像分析ワークフローＷ_２６２０の１つのステップ６３０であってよい。任意選択で、ユーザー６３３、コンピュータもしくは組み込みシステム６３６上で実行される機械学習モデル、またはクラウド６３９内で実行される機械学習モデルは、Ｗ_２において、さらなる画像分析ステップ６４０，６４５を追加する、構成するまたは変更することができる。この拡張されたワークフローＷ_２は、次いで、第２の圧縮ワークフロー６１０を用いて、新たなトレーニングセット（Ｉ’_ｉ；Ｏ’_ｉ）を作成することによって、新たにトレーニングされたＤＮＮ Ｄ’’に再び圧縮され得る。この新たなトレーニングセットの入力画像Ｉ’_ｉは、元の入力Ｉ_ｉと同じであっても異なっていてもよい。新たにトレーニングされたＤＮＮ Ｄ’’は、確率論的に初期化されたモデルパラメータΘ_ｉを用いてトレーニングされ得る、または開始点としてＤ’のモデルパラメータをロードし得る。Ｄ’’は、新たなワークフローＷ_３６５０におけるステップ６６０となり得るものであり、新たなトレーニングセットを作成し、ワークフローを新たな、より短いワークフローに圧縮し、そのワークフローを変更するプロセスは、必要な回数だけ繰り返され得る。

【0098】

任意選択で、各ラウンド（例えば、図６の６００，６１０，６２０）が、トレーニングセットを作成するワークフローにおける個々のステップを再構成するためのフィードバックループを有することができ、かつ／または各ワークフローの個々のステップは、ユーザー（図６の６３３）によって再構成され得る、またはローカルマシン（図６の６３６）上でもしくはクラウド（図６の６３９）において実行される、独立してトレーニングされた機械学習モデルによって自動的に再構成され得る。

【0099】

このコンセプトでは、種々の頭字語および用語が使用されており、これらは以降で短く要約される。ＤＮＮは、任意のアルゴリズムを必要とし得るディープニューラルネットワークであり、これは、ＭＬＰ（多層パーセプトロン）、ＣＮＮ（畳み込みニューラルネットワーク）、ＲＮＮ（リカレントニューラルネットワーク）またはＴｒａｎｓｆｏｒｍｅｒ（主に注意機構に基づくニューラルネットワーク）である。目標となるニューラルネットワークは、このコンセプトに記載されているように、複雑な画像分析ワークフローの出力を用いてトレーニングされるディープニューラルネットワークである。画像は、例えば次元ＸＹ（すなわち、２つの横方向次元ＸおよびＹ）、ＸＹＺ（すなわち、２つの横方向次元Ｘ＋Ｙに深さ次元Ｚを加えたもの）、ＸＹ＋Ｔ（ＸＹ＋時間）、ＸＹＺ＋Ｃ（ＸＹＺ＋チャネル）、ＸＹＺ＋Ｔ（ＸＹＺ＋時間）、ＸＹＺＣＴ（ＸＹＺ＋チャネル＋時間）、ＸＹＺＣＴ＋他のモダリティを有するデジタル画像である。換言すれば、ｎ∈Ｎを有する２ＤまたはｎＤデジタル画像（テンソル）である。（画像処理）ワークフローとは、ｉ番目のステップの出力が（ｉ＋１）番目のステップの入力に渡される、複数の画像処理ステップまたは画像分析ステップのシーケンシャルな実行を指す。このコンセプトにおいて、（ワークフローの）圧縮とは、複数のステップを含んでいる複雑な画像分析ワークフローを、同じワークフローの出力を生成するように学習された１つのニューラルネットワークによって置き換えることを指す。

【0100】

ＤＥＥＰＲＥＳＳＯコンセプトのさらなる詳細および態様は、提案されたコンセプト、または上述もしくは後述の１つまたは複数の例（例えば、図１ａから図３、図７）に関連して言及される。ＤＥＥＰＲＥＳＳＯコンセプトは、提案されたコンセプトの１つまたは複数の態様、または上述もしくは後述の１つまたは複数の例に対応する１つまたは複数の付加的な任意選択的な特徴を含んでいてもよい。

【0101】

いくつかの実施形態は、図１ａから図６のうちの１つまたは複数の図に関連して説明されたようなシステムを含んでいるイメージデバイス、特に、科学用または外科用イメージングデバイス、例えば顕微鏡、内視鏡または外視鏡に関する。択一的に、イメージングデバイスは、図１ａから図６のうちの１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１ａから図６のうちの１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。図７は本明細書に記載された方法を実施するように構成されたシステム７００の概略図を示している。システム７００は、イメージングデバイス７１０、特に、科学用または外科用イメージングデバイス、例えば顕微鏡、内視鏡または外視鏡とコンピュータシステム７２０とを含んでいる。イメージングデバイス７１０は、撮像するように構成されており、かつコンピュータシステム７２０に接続されている。コンピュータシステム７２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム７２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム７２０とイメージングデバイス７１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム７２０は、イメージングデバイス７１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム７２０は、イメージングデバイス７１０のセンサ、アクター、カメラまたは照明ユニット等の、イメージングデバイス７１０の従属部品の一部であってもよい。

【0102】

コンピュータシステム７２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム７２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム７２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム７２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム７２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム７２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム７２０に情報を入力すること、およびコンピュータシステム７２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

【0103】

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

【0104】

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

【0105】

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

【0106】

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

【0107】

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

【0108】

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

【0109】

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

【0110】

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

【0111】

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

【0112】

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

【0113】

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

【0114】

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

【0115】

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいてもよい。さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

【0116】

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

【0117】

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

【0118】

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

【0119】

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

【0120】

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

【符号の説明】

【0121】

１１０ 複数の画像を生成すること
１２０ 複数の出力を生成すること
１３０ 機械学習モデルをトレーニングするために、トレーニング入力画像として複数の画像を提供し、トレーニング出力として複数の出力を提供すること
１３５ さらなるトレーニング入力として１つまたは複数の入力パラメータを提供すること
１４０ フィードバック信号を得ること
１４５ フィードバック信号を入力として使用すること
１５０ 複数の出力を再生成すること
１５５ 再生成された出力をトレーニング出力として提供すること
１６０ トレーニングされた機械学習モデルを得ること
１７０ 画像処理ワークフローをトレーニングされた機械学習モデルと置き換えること
１８０ 第２の複数の出力を生成すること
１８５ 第２の機械学習モデルをトレーニングするために、トレーニング入力画像として第２の複数の画像を提供し、トレーニング出力として第２の複数の出力を提供すること
２１０ 複数の画像を得ること
２２０ 複数のトレーニング出力を得ること
２３０ １つまたは複数の入力パラメータを得ること
２４０ 機械学習モデルをトレーニングすること
２５０ 出力を評価すること
２５５ フィードバック信号を提供すること
３００ 科学用または外科用イメージングシステム
３１０ システム
３１２ インタフェース
３１４ プロセッサ
３１６ ストレージデバイス
３２０ 科学用または外科用イメージングデバイス
４００ 画像処理ワークフロー
４１０ 画像
４２０～４２５ ワークフローのステップ
４３０ 画像
４３３ ベクトル
４３５ 画像ドメイン内の点
４５０ ユーザー
５００ ワークフロー
５１０ 入力画像
５２０ 出力
５３０ 永久記憶装置／リポジトリ
５４０ ＲＡＭ
５５０ （トレーニングされていない）ＤＮＮ
５５５ トレーニングされたＤＮＮ
５６０ トレーニングコーパス／トレーニングデータを生成すること
５７０ トレーニング
５８０ フィードバックループ
５９０ パラメータ化可能なステップ
６００ 第１の圧縮ワークフロー
６１０ 第２の圧縮ワークフロー
６２０ ワークフロー
６３０ 圧縮されたワークフローによって置き換えられるステップ
６３３ ユーザー
６３６ コンピュータまたは組み込みシステム
６３９ クラウド
６４０，６４５ さらなる画像分析ステップ
６５０ ワークフロー
６６０ 圧縮されたワークフローによって置き換えられるステップ
７００ システム
７１０ イメージングデバイス、顕微鏡
７２０ コンピュータシステム

【図1a】

【図1b】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-02-14

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

科学用または外科用イメージングシステムにおける使用のために機械学習モデルをトレーニングするための方法であって、前記方法は、
複数のトレーニング入力画像として使用するために、科学用または外科用イメージングシステムの複数の画像（４１０；４２０）を得るステップ（２１０）と、
前記複数のトレーニング入力画像に基づいており、かつ前記科学用または外科用イメージングシステムの画像処理ワークフローに基づいている複数のトレーニング出力（４３０～４３５，５２０）を得るステップ（２２０）であって、前記画像処理ワークフローは、複数の画像処理ステップを含んでいるステップと、
前記複数のトレーニング入力画像および前記複数のトレーニング出力を用いて、前記機械学習モデル（４５０，４５５）をトレーニングするステップ（２４０）と、
を含んでいる方法。

【請求項2】

前記方法は、
さらなるトレーニング入力として前記画像処理ワークフローの１つまたは複数の入力パラメータを得るステップ（２３０）と、
さらなるトレーニング入力としての前記１つまたは複数の入力パラメータを用いて前記機械学習モデルをトレーニングするステップと、
をさらに含んでいる、
請求項１記載の方法。

【請求項3】

前記方法は、
品質基準に従って前記機械学習モデルの出力を評価するステップ（２５０）と、
前記機械学習モデルの前記出力の前記評価に基づいて、前記画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号（５８０）を提供するステップ（２５５）と、
をさらに含んでいる、
請求項１記載の方法。

【請求項4】

前記機械学習モデルは、前記画像処理ワークフローの１つまたは複数のパラメータを適合させるためのフィードバック信号（５８０）を生成するようにトレーニングされる、
請求項１記載の方法。

【請求項5】

前記機械学習モデルは、前記機械学習モデルの入力側に前記複数のトレーニング入力画像を適用し、前記機械学習モデルのトレーニング中に前記複数のトレーニング出力を所望の出力として使用することによって、教師あり学習を用いて、前記科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされる、
請求項１記載の方法。

【請求項6】

前記機械学習モデルは、強化学習を用いて、前記科学用または外科用イメージングシステムの画像を出力に変換するようにトレーニングされ、
トレーニング中の前記機械学習モデルの前記出力と、前記複数のトレーニング出力のうちの１つのトレーニング出力と、の間の差は、前記強化学習に基づくトレーニング中に報酬を決定するために使用される、
請求項１記載の方法。

【請求項7】

前記機械学習モデルは、前記科学用または外科用イメージングシステムの画像を出力に変換するために、敵対的生成ネットワークの対の生成器モデルとしてトレーニングされ、敵対的生成ネットワークの前記対の識別器モデルは、前記複数のトレーニング出力に基づいてトレーニングされる、
請求項１記載の方法。

【請求項8】

科学用または外科用イメージングシステム（３００）のための方法であって、前記方法は、
前記科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、複数の画像（４５０；５１０）を生成するステップ（１１０）と、
前記科学用または外科用イメージングシステムの画像処理ワークフロー（４００；５００）を用いて、前記複数の画像に基づいて複数の出力（４３０～４３５，５２０）を生成するステップ（１２０）であって、前記画像処理ワークフローは、複数の画像処理ステップ（４２０～４２５）を含んでいるステップと、
請求項１記載の方法に従って、機械学習モデルをトレーニングするために、トレーニング入力画像として前記複数の画像を提供し、トレーニング出力として前記複数の出力を提供するステップ（１３０）と、
を含んでいる方法。

【請求項9】

前記方法は、
前記トレーニングされた機械学習モデル（５５５）を得るステップ（１６０）と、
前記画像処理ワークフローを、請求項１記載の方法に従ってトレーニングされた前記機械学習モデルと置き換えるステップ（１７０）と、
をさらに含んでいる、
請求項８記載の方法。

【請求項10】

前記方法は、請求項１記載の方法を用いて前記機械学習モデルをトレーニングするステップをさらに含んでいる、
請求項８記載の方法。

【請求項11】

前記方法は、
フィードバック信号（５８０）を得るステップ（１４０）であって、前記フィードバック信号は、前記機械学習モデル（５５５）の前記トレーニングに基づいているか、または、前記機械学習モデルが前記科学用または外科用イメージングシステムによって使用される場合には、トレーニングされた前記機械学習モデルの出力に基づいているステップと、
前記フィードバック信号を、前記画像処理ワークフローまたはトレーニングされた前記機械学習モデルへの入力として使用するステップ（１４５）と、
をさらに含んでいる、
請求項８記載の方法。

【請求項12】

前記画像処理ワークフローは、１つまたは複数の決定論的画像処理ステップ、反復最適化成分を備える１つまたは複数の画像処理ステップ、および、１つまたは複数の機械学習ベースの画像処理ステップのうちの少なくとも１つを含んでいる、
請求項８記載の方法。

【請求項13】

科学用または外科用イメージングシステム（３００）のためのシステム（３１０）であって、
前記システムは、１つまたは複数のプロセッサ（３１４）と、１つまたは複数のストレージデバイス（３１６）と、を含んでおり、
前記システムは、請求項１記載の方法および請求項８記載の方法のうちの少なくとも１つを実施するように構成されている、
システム（３１０）。

【請求項14】

科学用または外科用イメージングシステム（３００）のためのシステム（３１０）であって、
前記システムは、１つまたは複数のプロセッサ（３１４）と、１つまたは複数のストレージデバイス（３１６）と、を含んでおり、
前記システムは、
前記科学用または外科用イメージングシステムの光学イメージングセンサのイメージングセンサデータに基づいて、画像を得るように構成されており、
請求項１記載の方法に従ってトレーニングされた機械学習モデルを用いて画像を処理するように構成されており、
前記機械学習モデルの出力を使用するように構成されている、
システム（３１０）。

【請求項15】

コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサ上で実行されるときに請求項１記載の方法または請求項８記載の方法を実施するためのプログラムコードを備えている、
コンピュータプログラム。

【外国語明細書】