▶ ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-14
(45)【発行日】2023-08-22
(54)【発明の名称】顕微鏡のワークフローの最適化
(51)【国際特許分類】
G06N 20/00 20190101AFI20230815BHJP
G02B 21/00 20060101ALI20230815BHJP
【ＦＩ】
G06N20/00
G02B21/00
【請求項の数】
4
(21)【出願番号】P 2021521214
(86)(22)【出願日】2019-09-25
(65)【公表番号】
(43)【公表日】2022-01-14
(86)【国際出願番号】 EP2019075850
(87)【国際公開番号】W WO2020078679
(87)【国際公開日】2020-04-23
【審査請求日】2021-06-11
(31)【優先権主張番号】102018217901.8
(32)【優先日】2018-10-18
(33)【優先権主張国・地域又は機関】DE
【前置審査】
(73)【特許権者】
【識別番号】511079735
【氏名又は名称】ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング
【氏名又は名称原語表記】Ｌｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ ＣＭＳ ＧｍｂＨ
【住所又は居所原語表記】Ｅｒｎｓｔ－Ｌｅｉｔｚ－Ｓｔｒａｓｓｅ １７－３７， Ｄ－３５５７８ Ｗｅｔｚｌａｒ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】フランク ズィークマン
(72)【発明者】
【氏名】コンスタンティン カッペル
【審査官】▲はま▼中 信行
(56)【参考文献】
【文献】特開２００７－１３３８５９（ＪＰ，Ａ）
【文献】特開２００５－２４２８０３（ＪＰ，Ａ）
【文献】国際公開第２０１８／０７１９５８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
ワークフローの適応化のためのシステムであって、前記システムは、
１つまたは複数の顕微鏡および／または顕微鏡システム（２１０；３３０，３５０；５００；１０５０；１２１２，１２１４，１２１６）のワークフローを最適化するための装置を１つまたは複数含んでおり、
前記装置は、
１つまたは複数のプロセッサ（１１０）と、
１つまたは複数のコンピュータ可読記憶媒体（１２０）と、
を含んでおり、
コンピュータ実行可能命令は、前記コンピュータ可読記憶媒体（１２０）上に格納されており、前記コンピュータ実行可能命令は、前記１つまたは複数のプロセッサ（１１０）によって実行されると、
ａ）１つまたは複数の顕微鏡および／または顕微鏡システム（２１０；３３０，３５０；５００；１０５０；１２１２，１２１４，１２１６）の１つまたは複数の構成要素（２６０，２７０）が、第１のデータ（５１０，５２０）の検出を含むワークフローを実行することと、
ｂ）少なくとも部分的に、検出された前記第１のデータ（５１０，５２０）に基づいて、前記ワークフローに対して１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を決定することと、
を引き起こし、
前記１つまたは複数の装置は、前記１つまたは複数の顕微鏡および／または顕微鏡システム（２１０；３３０，３５０；５００；１０５０；１２１２，１２１４，１２１６）の一部であり、第２のデータを検出するように構成されており、
前記システムは、計算リソース（８６０，８７０；９３０，９８０）を含んでいるクラウド（３００；７３０；９３０；１２４０）を含んでおり、前記計算リソース（８６０，８７０；９３０，９８０）は、１つまたは複数のモデルをトレーニングするように構成されており、
前記システムは、前記１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を前記１つまたは複数の装置のうちの少なくとも１つの装置に実装するように構成されているモデルマネージャ（１０００；１１６０）を含んでおり、
前記モデルマネージャ（１０００；１１６０）は、モデルデータベース（１０２５）を用いて権利管理（１０２０）を調整するように構成されており、前記モデルデータベース（１０２５）は、情報である、モデルアーキテクチャ、モデルパラメータ、モデルメタデータおよびモデル権利のうちの少なくとも１つを格納しており、
前記モデルマネージャ（１０００；１１６０）は、前記１つまたは複数の装置の個々の装置または装置グループ間での通信を制御するように構成されており、
前記モデルマネージャ（１０００；１１６０）は、トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のバージョンを管理するように構成されており、
前記モデルマネージャ（１０００；１１６０）は、トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を適用範囲に割り当てるように構成されており、
前記モデルマネージャ（１０００；１１６０）は、コンテナ内のトレーニング済みモデルを前記１つまたは複数の装置のうちの少なくとも１つの装置に出力するように構成されており、前記モデルマネージャ（１０００；１１６０）は、コンテナマネージャを含んでおり、前記コンテナマネージャは、トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）の前記実行のためのコンテナを作成または提供し、かつ／または
前記モデルマネージャ（１０００；１１６０）は、トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のメタデータを管理するように構成されており、前記メタデータは、前記トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を管理するために利用され、かつ／または、前記メタデータは、前記トレーニング済みモデルの一義的な識別、前記トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のバージョン番号、機器内の使用場所の識別、前記トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のカテゴリおよび前記トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のタスクのうちの少なくとも１つを含んでいる、
システム。
【請求項2】
前記計算リソース（８６０，８７０；９３０，９８０）は、前記１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）のうちの少なくとも１つのトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を、検出された前記第２のデータに基づいて適応させるように構成されており、前記第２のデータは、前記少なくとも１つのトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）または前記少なくとも１つのトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）の一部、前記１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）の入力データを含んでいる検出されたデータ、前記入力データの注釈、データの非表示表現、前記入力データに適用された前記トレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）の出力値の評価、ユーザ入力のうちの少なくとも１つを含んでおり、かつ／または
前記１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）は、異なるデータタイプでトレーニングされている、
請求項１記載のシステム。
【請求項3】
前記システムは、前記１つまたは複数の装置のうちの少なくとも１つ装置上のソフトウェア構成要素としてモデルストア（１１００）をさらに含んでおり、前記モデルストア（１１００）は、トレーニング済みモデルを選択するように構成されており、かつ／または前記システムは、ローカルな実行のために、インタフェースおよび前記モデルストア（１１００）を用いてトレーニング済みモデルをダウンロードするように構成されている、請求項１および２のうちのいずれか１項記載のシステム。
【請求項4】
前記モデルマネージャ（１０００；１１６０）は、イベントに基づいて、前記１つまたは複数の装置のうちの少なくとも１つの装置に、前記１つまたは複数のトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を実装し、前記イベントは、Ｗｅｂサービスを介したユーザからのリクエストの受け取り（１０１０）と、
前記１つまたは複数のトレーニング済みモデルのトレーニング済みモデル（４２０，４３０，４４０；５３０；１２２０）を用いた前記第１のデータ（５１０，５２０）の分析結果に関連したリクエストの受け取り（１０１１）と、
前記ワークフローのステップに基づいたリクエストの受け取りと、
モデルメタデータ、非表示表現またはモデルパラメータ上でのデータマイニングによる１つまたは複数の結果の受け取り（１０１３）と、
モデルストアからのリクエストの受け取り（１０１４）と、
実験条件が属する明示的なモデルパラメータの検出に関連したリクエストの受け取り（１０１５）と、
のうちの少なくとも１つを含んでいる、
請求項１から３までのいずれか１項記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予測（推論）のために、顕微鏡の測定において使用することができるトレーニング済みモデルを用いて、１つまたは複数の顕微鏡、顕微鏡システムまたは顕微鏡システムの結合体のワークフローを最適化するための方法および装置に関する。
【背景技術】
【0002】
顕微鏡は極めてさまざまな分野で使用されており、種々のサンプルおよび対象物の検査に利用可能である。特に基礎研究または臨床適用では、各サンプルが著しく異なっていることがあり、記録されたデータが高い変動性を示すことがある。さらに、可能な限り多くの新たな情報および知識を測定から得るために、顕微鏡による実験または測定は、ますます広範囲に、かつ労力のかかるものになっている。顕微鏡による測定の自動化によって、人間が常駐することなく、測定を実行することが可能になった。しかし、従来技術は、既存のシステムのいくつかの欠点および問題を示しており、以降ではそれらを考察する。
【0003】
従来の顕微鏡は、例えば、事前にプログラミングされたスキームに従って実験を実行することができる。しかし、これによって、情報量の少ないデータが過度に多く記録されてしまう、または重要な生物学的現象を取り逃がしてしまう可能性がある。なぜなら、この生物学的現象が、事前にプログラミングされたスキームの一部ではなかった場合、ワークフローへの介入を許可するために、実験を完全に中断しなければならないからである。これらの生物学的現象を観察できるようにするためには、比較的多くの実験を実行しなければならないので、結果的にこれには、データの格納および評価のための高いコストがかかってしまう。
【0004】
さらに、従前のシステムは、特に画像処理に関して、限られた、事前に定められたアプリケーションの基盤しかサポートすることができない。したがって、システムが時代遅れになり、しばしば、適用範囲を拡張することができない、または適用範囲の拡張に多大な労力がかかってしまうことがある。これによって、従来のシステムでは、外部の提供者からの新規購入または付加的な拡張の購入に高いコストがかかってしまうことがある。画像処理によるフィードバックを備える顕微鏡は、非同期的に動作する画像処理の結果に関連して画像記録条件を検出することができるが、このような方法は精度が低く、検査されるサンプルの特別なケースにのみ使用される。変動性の大きい未知のアプリケーションまたはサンプルには、個々の問題ごとに画像処理を最初から開発するために、新たに時間を費やすことが求められる。さらに、信頼できるフィードバックは十分な数の画像が記録された後にのみ可能になるので、多くの場合、従来のフィードバック方法は効果をもたらさない。
【0005】
これまで、ニューラルネットワークは、顕微鏡によって記録された画像の評価および／または処理にのみ使用されてきた。例えば、ＵＳ ２０１０／０１８３２１７は、ノイズが多いか、色の勾配またはグレーレベルの勾配が低い、電子顕微鏡によって記録された画像を復元するためのニューラルネットワークの使用について記載している。測定結果を最適化するために画像の後処理をベースにしている方法の欠点は、記録された元の画像の情報が後処理によって失われてしまう可能性があり、画像の欠陥の原因が除去されないということである。なぜなら、画像の後処理のためのニューラルネットワークは、測定中にワークフローに介入することができないからである。
【0006】
さらに、機器のパラメータが標準から外れると問題が発生する。例えば、フォトセンサが過変調すると、照明が行われなくなる、温度が過度に高くなる、または焦点がずれる。通常、実験はこのような時点から使用不可能になり、完全に繰り返されなくてはならない。これによって、コストが高くなり、かつ費やされる時間が多くなる。択一的に、従前のシステムは驚くべきことに、例えば顕微鏡の状態の監視が不足しているために、故障することもある。使用者にとって予測不可能なこのような故障には、実験の失敗および動作の経過の中断のために、コストがかかってしまうことがある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
したがって、本発明の課題は、顕微鏡またはその構成要素によって実行されるワークフローを最適化することである。
【課題を解決するための手段】
【0008】
本発明は、少なくとも１つの顕微鏡または顕微鏡システムのワークフローを最適化するための方法および装置によって、上述の問題および課題を解決する。この方法は、少なくとも１つの顕微鏡および／または顕微鏡システムの１つまたは複数の構成要素によってワークフローを実行するステップを含んでおり、ワークフローは、第１のデータの検出を含んでいる。この方法はさらに、ワークフローに対してトレーニング済みモデルを決定するステップを含んでおり、ここでこの決定は、少なくとも部分的に、検出された第１のデータに基づいている。
【0009】
本発明による装置は、１つまたは複数のプロセッサおよび１つまたは複数のコンピュータ可読記憶媒体を含んでおり、１つまたは複数のコンピュータ可読記憶媒体上にコンピュータ実行可能命令が格納されており、このコンピュータ実行可能命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数の顕微鏡および／または顕微鏡システムの１つまたは複数の構成要素が、第１のデータの検出を含んでいるワークフローを実行すること、さらに、少なくとも部分的に、検出された第１のデータに基づいて、ワークフローに対して１つまたは複数のトレーニング済みモデルが決定されることを引き起こす。
【0010】
本発明による方法および本発明による装置は、例えばディープラーニングの意図で、ニューラルネットワークに基づくことができるトレーニング済みモデルが、１つまたは複数の顕微鏡および／または顕微鏡システムの１つまたは複数の構成要素によって実行されるワークフローに対して決定されるという利点を有している。これによって、変動性の高いサンプルで、１つまたは複数の顕微鏡のワークフローを自動化することができ、サンプルに関連して、最適なワークフローを実行することができる。さらに、トレーニング済みモデルは、少量のデータに基づいたワークフローの正確な予測を可能にし、従来技術の方法と比較して、これまで知られていなかったアプリケーションに対する、より良好な一般化可能性を可能にする。
【0011】
本発明による方法および本発明による装置をそれぞれ、特別な構成によってさらに改良することができる。ここで、以降に記載される本発明の構成の個々の技術的な特徴を、任意に互いに組み合わせることができる、かつ／または省略することができる。これは、省略された技術的な特徴によって達成される技術的な効果が重要でない場合に限る。
【0012】
一実施形態では、トレーニング済みモデルの決定は、１つまたは複数のトレーニング済みマスタモデルを用いた第１のデータの分析を含んでいる。１つまたは複数のトレーニング済みマスタモデルは、検出された第１のデータの分析からの情報に基づいて、１つまたは複数のトレーニング済みモデルを決定することができる。一実施例では、１つまたは複数のトレーニング済みモデルを決定するステップは、多数のモデルから１つまたは複数の、特定の様式でトレーニングされたモデルを選択することを含んでいる。１つまたは複数のトレーニング済みマスタモデルは、例えば、第１のステップにおいて、検出された第１のデータを分類し、多数のモデルから、検出されたデータまたはデータのクラスに適した、１つまたは複数のトレーニング済みモデルを選択することができ、次にこれらのモデルが適用されてよい。多数のモデルは、多数の、トレーニング済みモデルを含んでいてよく、かつ使用領域によって分類されていてよい、かつ／または階層的に編制されていてよい。多数のトレーニング済みモデルからの個々のトレーニング済みモデルは、個々のタイプのサンプル、実験、測定または機器設定に特化されていてよい。
【0013】
一実施形態では、この方法はさらに、１つまたは複数の特定のトレーニング済みモデルを自動的に適用するステップを含んでいる。１つまたは複数の特定のトレーニング済みモデルを第１のデータまたは新たに検出されたデータに適用することができる。例えば、１つまたは複数のトレーニング済みモデルが決定された後、次のステップにおいて新たなデータを検出することができ、１つまたは複数の特定のトレーニング済みモデルを新たに検出されたデータに適用することができる。さらに、この方法は、１つまたは複数の特定のトレーニング済みモデルの適用に基づいて、ワークフローに関して少なくとも１つの判断を下すステップを含むことができる。１つまたは複数のトレーニング済みモデルを決定することによって、まだ測定のランタイム中に、特別な状況への迅速な適合化を行うことができる。さらに、特別な状況に対してトレーニング済みモデルが決定され、適用され、特別な状況に対してトレーニングされたモデルは高い予測精度を有することができるので、トレーニング済みモデルの決定は測定データの大きな分散を可能にする。階層構造とトレーニング済みモデルの選択とによって、適切な測定に対する適切なモデルを段階的に選択することが可能になる。
【0014】
さらなる構成では、ワークフローを最適化するための方法は、１つまたは複数のトレーニング済みモデルの適応化のステップを含むことができる。適応化のステップは、少なくとも部分的に、集約されたデータを用いて、トレーニング済みモデルの一部をトレーニングすることを含むことができる。付加的または択一的に、適応化のステップは、１つまたは複数のソースから生じた集約されたデータを用いて、トレーニング済みモデルをトレーニングすることを含むことができる。集約されたデータは、クラウド、サーバまたはワークステーションコンピュータに自動的に、半自動的にまたは手動でアップロードされたデータを含むことができる。集約されたデータは、トレーニング済みモデルまたはトレーニング済みモデルの一部、トレーニング済みモデルの入力データを含んでいる検出されたデータ、入力データの注釈、データの非表示表現、入力データに適用されたトレーニング済みモデルの出力値の評価およびユーザ入力のうちの少なくとも１つを含むことができる。
【0015】
したがって、このような有利な構成では、トレーニング済みモデルを更新するため、またはトレーニング済みモデルを適用範囲に対して明確にするために、わずかな労力で、トレーニング済みモデルをワークフローに対して変更または適応させることができる。これによって、モデルの継続的なさらなる開発およびワークフローの最適化が可能になる。さらに、モデルを再トレーニングまたは適応化によって、顕微鏡の使用範囲を拡大する、または明確にすることができ、この際に新たな画像処理ソフトウェアを購入したり、最初から再プログラミングしたりする必要はない。
【0016】
ワークフローを最適化するための本発明による方法の一構成では、この方法は、第２のデータを検出および／または送信するステップを含んでいる。第２のデータの検出は、トレーニング済みモデルによって規定された状態から偏差する、ユーザによって規定された状態の検出を含むことができ、ここで第２のデータは、ユーザによって規定された状態に対する、トレーニング済みモデルによって規定された状態の偏差の表現またはユーザによって規定された状態の表現である。このようなデータを用いてトレーニング済みモデルを適応させることができる、またはさらにトレーニングすることができ、したがって、ユーザが望む設定にトレーニングすることができる。これによって、新たな適用領域が開放され、顕微鏡の使いやすさの観点からワークフローを最適化し、ユーザの要望に適応させることができる。一実施形態では、検出された第２のデータは、クラウド、サーバまたはワークステーションコンピュータに送信され、そこで集約され、新たなもののトレーニングのため、または既存のものの改良（適応化）のために利用され得る。したがって、顕微鏡は、機械学習、ディープラーニングまたは同様の方法に基づく、さらなるモデルの開発のためのデータソースになることができる。トレーニング済みモデルは、クラウド、サーバまたはワークステーションコンピュータ上で、１つまたは複数のソースからのデータでトレーニングされてよい、かつ顕微鏡または顕微鏡システムおよび／または顕微鏡または顕微鏡システムの取り付けられている構成要素にロードされてよい。
【0017】
一実施形態では、この方法をＷｅｂサービスとして実行することができ、この場合には、１つまたは複数のトレーニング済みモデルがクラウドにおいて適用される。択一的に、１つまたは複数のトレーニング済みモデルを、ワークステーションコンピュータ、少なくとも１つの顕微鏡または顕微鏡システムおよび／または少なくとも１つの顕微鏡または顕微鏡システムの取り付けられている構成要素に適用することができる。
【0018】
本発明による装置の一構成では、１つまたは複数のトレーニング済みモデルの適用は、検出された第１のデータの分析を含むことができる。この装置は、顕微鏡の一部（例えばマイクロコンピュータ）であっても、顕微鏡とは別に存在しており、ネットワークを介して顕微鏡に接続されている組み込みコンピュータまたはシステムコンピュータであってもよい。さらに、この装置は、トレーニング済みモデルを最高速度で、もしくはリアルタイムで実行できるようにする。顕微鏡は、相互に接続されている、機能的にネットワーク化されたサブシステムまたはモジュールで構成されていてよい。
【0019】
サブシステム、構成要素またはモジュールは、顕微鏡検査タスクの枠において、課されている課題の解決に寄与するすべてのシステムを含んでいる。顕微鏡サブシステムはここで顕微鏡自体に、例えばカメラ、検出器、顕微鏡テーブル、モータ、ソフトウェアモジュール、ファームウェアモジュール等に配置されていてよい。しかし、これらは顕微鏡から空間的に分離して、例えばデータベース、ネットワーク接続、分析ソフトウェア、ミクロトーム、自動ピペッティングマシン、ロボット、他の顕微鏡、一群の顕微鏡またはコンピュータ等に配置されていてもよい。
【0020】
実施形態では、本発明による装置の１つまたは複数のプロセッサは、コンピューティングアクセラレータ、例えばグラフィック処理ユニット、すなわちＧＰＵ、テンソル・プロセッシング・ユニット、すなわちＴＰＵ、機械学習、すなわちＭＬおよび／またはディープラーニング、すなわちＤＬに特化した特定用途向け集積回路、すなわちＡＳＩＣまたはフィールド・プログラマブル・ゲート・アレイ、すなわちＦＰＧＡまたは少なくとも１つの中央処理装置、すなわちＣＰＵを含むことができる。ここでは、トレーニングと、１つまたは複数のトレーニング済みモデルの適用が含まれる推論とを区別する必要がある。トレーニングでは、モデルは自身のパラメータを変更することによって、モデルの「経験」を表すデータの非表示表現に基づいて特定のタイプの予測を行うことを「学習」する。トレーニングには、大量のデータ、大きなメモリ帯域幅および大きな計算容量が必要である。これに対して推論とは、１つまたは幾つかのデータポイントで可能な限り迅速に予測を行うことである。ここでは、比較的少ない計算能力とメモリ帯域幅とがあればよい。したがって、顕微鏡のワークフローを最適化するために、１つまたは複数のトレーニング済みモデルをわずかな労力でローカルに適用することができる。
【0021】
上述のように、トレーニングには大きなメモリ帯域幅と計算容量とを必要とするので、モデルを独立コンピュータ、サーバまたはクラウドでトレーニングすることができる。本発明によるシステムの１つまたは複数の構成では、モデルを継続的にトレーニングまたは再トレーニングすることができる。次に、改良されたモデルを、本発明による装置にロードすることができる。このようなタイプのトレーニングまたは微調整の利点は、多くのソース（使用者、顕微鏡または顕微鏡システム）のデータを集約して、トレーニングまたは微調整に使用できるということである。さらに、未知のサンプルまたは新たな状況下ですでに測定を実行した顕微鏡のデータを使用することができる。したがって、顕微鏡が未知のサンプルまたは新たな状況下での測定をまだ実行していないのにもかかわらず、このような顕微鏡用に適切にトレーニングされたモデルがすでに利用可能である。
【0022】
検出された第１のデータは、以下のうちの少なくとも１つを含んでいてよい：画像データ、ユーザ入力、エラーメッセージ、メタデータ、１つまたは複数の構成要素のパラメータデータ、実験の経過に関するデータ、試薬および材料に関する情報、対象物またはサンプルに関する情報、使用者に関連したデータおよび１つまたは複数の顕微鏡および／または顕微鏡システムによって実行される測定の経過中に制御される機器の機器データ。さらに、マスタモデルは、検出された第１のデータの分析からの情報に基づいて、検出されたデータまたは新たに記録されたデータへの適用に対する１つまたは複数のトレーニング済みモデルを、有利には自動的にまたは半自動的に決定することができる。このような１つまたは複数のトレーニング済みモデルは、ローカルに格納されていてよい。したがって、装置は、特定の測定に対して、適切なモデルを効率的かつ迅速に提供することができる。なぜなら、トレーニング済みモデルの選択が装置上でローカルに行われるからである。
【0023】
上述のものと組み合わせることができる一構成では、本発明による装置は、１つまたは複数のトレーニング済みモデルのうちの少なくとも１つのトレーニング済みモデルを適応させるように構成されている。この適応化は、１つまたは複数のトレーニング済みモデルのうちの少なくとも１つのトレーニング済みモデルの１つまたは複数の部分のみをトレーニングすることを含むことができる。付加的または択一的に、適応化は、第２のデータを用いた、１つまたは複数のトレーニング済みモデルのうちの少なくとも１つのトレーニング済みモデルのトレーニングを含むことができる。第２のデータは、例えば、注釈付きの第１のデータを含むことができる。第１のデータの注釈は、検出された第１のデータに適用された少なくとも１つのトレーニング済みモデルの目標出力値、または検出された第１のデータからの対応する入力値の出力値の評価を含むことができる。実施形態では、１つまたは複数のトレーニング済みモデルの適用に基づいて下された少なくとも１つの判断を評価することができる。例えば、画像データへのトレーニング済みモデルの適用に関連して設定された顕微鏡の照明設定が、ユーザによって、不良である。または不十分であると評価されることがある。１つまたは複数のトレーニング済みモデルのうちの少なくとも１つのトレーニング済みモデルを、１人または複数のユーザによる１つまたは複数の否定的な評価に関連して適応させることができる。この適応化によって、検出された第１のデータに適用される少なくとも１つのトレーニング済みモデルの予測精度を高めることができ、トレーニング済みモデルのより良好な予測によってワークフローをさらに最適化することができる。トレーニング済みモデルを、集約された第２のデータに基づいて、装置上またはクラウド内でローカルに適応させること（微調整すること）ができる。モデルのトレーニングとは対照的に、モデルの適応化は、格段に少ないトレーニングデータで、新たな、しかし類似したクラスのデータに対するトレーニング済みモデルの予測精度を高めることができる。元来は、このようなクラスのデータにモデルはトレーニングされていなかった。
【0024】
本発明による装置の１つまたは複数の構成では、この装置は、システムの一部として、ネットワーク接続を介して、サーバまたはクラウドと通信することができる。特に、本発明による１つまたは複数の装置、ワークステーションコンピュータおよび顕微鏡または顕微鏡システムならびにそれらの構成要素は互いに通信することができる。ここでデータ（検出されたデータ、例えば画像、機器データ、実験の経過に関するデータ、モデルまたはモデルの一部、データの非表示表現または他の様式で自身の次元数に関して圧縮されたデータ、少なくとも１つのトレーニング済みモデルの入力データ、入力データに適用された少なくとも１つのトレーニング済みモデルの目標出力値に関する注釈、少なくとも１つのトレーニング済みモデルの出力値の評価、１つまたは複数の構成要素のうちの少なくとも１つの構成要素のパラメータデータ、ユーザ入力、エラーメッセージ、試薬、サンプルおよび材料に関する情報、１つまたは複数の顕微鏡および／または顕微鏡システムによって実行される測定の経過中に制御される機器の機器データ、または使用者に関連したデータ）をサーバまたはクラウドに送ることができる。ここで既存のモデルを微調整（「Ｆｉｎｅ－Ｔｕｎｉｎｇ」）および改良することができる。次に、自動的または半自動的に、トレーニング済みモデルの新たな改良されたバージョンを、１つの装置または複数の装置にロードし、適用することができる。これによって、顕微鏡による実験経過と静止画像処理プロセスとの間でフィードバックが生じるだけでなく、フィードバックはデータ処理または画像処理の内容にも影響し、測定の経過中にモデルが行う判断および評価を変更する可能性がある。したがって、ワークフローをモデルの変更によって最適化することができ、多くの場合、変更することができる。個々のシステムと顕微鏡または顕微鏡グループとの通信の制御、編制ならびにモデルのバージョン管理は、モデルマネージャと称されるソフトウェアの一部によって担われてよい。モデルマネージャは、適応化が行われたまたは微調整が行われた少なくとも１つのトレーニング済みモデルを、１つまたは複数の装置のうちの少なくとも１つの装置に実装するように構成されていてよい。これは、測定の経過中またはワークフローの実行中に少なくとも１つの顕微鏡および／または顕微鏡システムの１つまたは複数の構成要素によって行われ得る。
【0025】
実施形態では、システムはさらに、１つまたは複数の装置のうちの少なくとも１つ装置上のソフトウェア構成要素としてモデルストアを含むことができる。このモデルストアによって、トレーニング済みモデルが選択されてよい。システムは、１つまたは複数の装置上でのローカルな実行のために、インタフェースおよびモデルストアを用いて、トレーニング済みモデルをダウンロードすることができる。さらに、イベントに基づいて、モデルマネージャは、１つまたは複数の装置のうちの少なくとも１つの装置に、１つまたは複数のトレーニング済みモデルを実装することができる。イベントは、以降のうちの少なくとも１つを含んでいてよい：Ｗｅｂサービスを介したユーザからのリクエストの受け取り、１つまたは複数のトレーニング済みモデルのトレーニング済みモデルを用いた第１のデータの分析結果に関連したリクエストの受け取り、ワークフローのステップに基づいたリクエストの受け取り、モデルメタデータ、非表示表現またはモデルパラメータ上でのデータマイニングによる１つまたは複数の結果の受け取り、モデルストアからのリクエストの受け取り、実験条件が属する明示的なモデルパラメータの検出に関連したリクエストの受け取り。一実施形態では、モデルマネージャは、モデルデータベースを用いて権利管理を調整するように構成されていてよい。ここでモデルデータベースは、情報である、モデルアーキテクチャ、モデルパラメータ、モデルメタデータおよびモデル権利のうちの少なくとも１つを格納している。これによって、１つまたは複数の装置の個々の装置または装置グループ間での通信が制御される、かつ／またはトレーニング済みモデルを適用範囲に割り当てるために、トレーニング済みモデルのバージョンが管理される、かつ／またはコンテナ内のトレーニング済みモデルが１つまたは複数の装置のうちの少なくとも１つの装置に出力され、ここで、モデルマネージャはコンテナマネージャを含んでおり、コンテナマネージャはトレーニング済みモデルの実行のためのコンテナを作成または提供し、かつ／またはトレーニング済みモデルのメタデータが管理され、ここでメタデータはトレーニング済みモデルを管理するために利用され、かつ／またはここでメタデータは、トレーニング済みモデルの一義的な識別、トレーニング済みモデルのバージョン番号、機器内の使用場所の識別、トレーニング済みモデルのカテゴリおよびトレーニング済みモデルのタスクのうちの少なくとも１つを含んでいる。
【0026】
本発明の対象を、例示的な図面に基づいて、以降でより詳細に説明する。本発明の有利な構成の例が図示されている。
【図面の簡単な説明】
【0027】
【図1】一実施形態によるワークフローの最適化のための本発明による装置の概略図である。
【図2】一実施形態によるワークフローの最適化のための本発明によるシステムの概略図である。
【図3】一実施形態によるワークフローの最適化のための本発明によるシステムの概略図である。
【図4】一実施形態によるモデルの適用のための本発明による方法の概略図である。
【図5】一実施形態によるモデルの適用のための本発明による方法の概略図である。
【図6】一実施形態による、コンテナにおけるディープラーニングモデルの提供のための本発明によるシステムの概略図である。
【図7】一実施形態によるＷｅｂサービスとしてディープラーニング推論を提供するための本発明によるシステムの概略図である。
【図8】一実施形態による、独立コンピュータまたはローカルネットワーク内のサーバでモデルをトレーニングするための本発明によるシステムの概略図である。
【図9】一実施形態による、クラウド内でＷｅｂサービスとしてモデルをトレーニングするための本発明によるシステムの概略図である。
【図10】一実施形態によるモデルマネージャの概略図である。
【図11】一実施形態によるモデルストアの概略図である。
【図12】本発明による方法の一実施形態の概略的なフローチャートである。
【図13】本発明による方法の一実施形態の概略的なフローチャートである。
【発明を実施するための形態】
【0028】
図１は、１つまたは複数のプロセッサ１１０および１つまたは複数の記憶媒体１２０を含んでいる装置１００を示している。装置は、顕微鏡および／または顕微鏡システムの一部であってよい。択一的に、装置１００は、顕微鏡または顕微鏡システムから空間的に分離されていて、ネットワークを介して顕微鏡または顕微鏡システムに接続されていてもよい。顕微鏡システムは、１つまたは複数の構成要素、モジュール、顕微鏡および／またはサブシステムを含むことができる。１つまたは複数の構成要素、モジュール、顕微鏡および／またはサブシステムは、ネットワーク、例えば無線ネットワークを介して相互に接続されていてよい。顕微鏡システムは、顕微鏡タスクの枠において、課せられている課題の解決に寄与するすべてのサブシステム、構成要素またはモジュールを含むことができる。サブシステム、構成要素またはモジュールはここで、顕微鏡自体に、例えばカメラ、検出器、顕微鏡テーブル、モータ、ソフトウェアモジュール、ファームウェアモジュール等に配置されていてよい。しかしこれらが、顕微鏡の外部に、例えばデータベース、ネットワーク接続、分析ソフトウェア、ミクロトーム、自動ピペッティングマシン、ロボット、他の顕微鏡、一群の顕微鏡またはワークステーションコンピュータ等に配置されていてもよい。
【0029】
装置１００は、マイクロコンピュータ、ワークステーションコンピュータ、コンピュータまたは組み込みコンピュータであってよい。１つまたは複数のプロセッサ１１０は、コンピューティングアクセラレータ、例えばグラフィック処理ユニット（ＧＰＵ）、テンソル・プロセッシング・ユニット（ＴＰＵ）、機械学習（ＭＬ）および／またはディープラーニング（ＤＬ）に特化した特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または少なくとも１つのＣＰＵ（中央処理装置）を含んでいてよい。特定用途向け集積回路（英語でＡｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ、カスタムチップとも称される）は、集積回路として実現可能な電子回路である。ＡＳＩＣは特別な問題に自身のアーキテクチャを適合させているため、マイクロコントローラにおけるソフトウェアを介した機能的に同等な実装よりも極めて効率的に、かつかなり高速に動作する。テンソルフロープロセッサとも称されるテンソル・プロセッシング・ユニット（ＴＰＵ）は、特定用途向けチップであり、ＣＰＵと比較して機械学習の枠におけるアプリケーションを高速化することができる。このような特化されたハードウェアまたは同様の特化されたハードウェアを利用して、ディープラーニングの課題を最適に解決することができる。特に推論が必要とする計算能力は、トレーニング、すなわちモデルの開発と比べて桁違いに少なく、通常のＣＰＵ上でも機能する。さらに、実施形態では、装置は、１つまたは複数のトレーニング済みモデル１３０を含んでいてよい。１つまたは複数のトレーニング済みモデル１３０を用いて、装置は、人工知能（ＫＩ）を用いて、顕微鏡または顕微鏡システムのワークフローに関する判断を下すことができるようになる。１つまたは複数のトレーニング済みモデル１３０は、１つまたは複数のプロセッサによって実行され得る。
【0030】
推論は、適用機械または装置に、トレーニングされたニューラルネットワークを伝送することを含んでおり、これは、このような伝送によって、適用機械または装置が付加的な「知能」を獲得するように行われる。したがって、適用機械または装置は、所望の課題を自身で解決することができるようになる。これによって、認知機能が強化された装置が得られる。認知機能が強化されたとは、ニューラルネットワーク（もしくはディープラーニングモデル）または他の機械学習プロセスを使用することによって装置が、画像コンテンツまたは他のデータを意味に関して識別し、処理することができるようになることを意味している。
【0031】
図２は、一実施形態において、顕微鏡２１０とＫＩ（人工知能）能力を有する装置２２０および２３０との間の通信を示している。ここでは個々の顕微鏡自身が、トレーニング済みモデル（例えばニューラルネットワーク）の実行を可能にし、これにＫＩ能力を与えるハードウェア加速化部および／またはマイクロコンピュータを含むことができる。トレーニング済みモデルは、ディープラーニング結果ネットワークを含むことができる。このようなニューラルネットワークは、少なくとも１つのディープラーニングプロセスおよび／または少なくとも１つのディープラーニング方式によって習得した結果を表すことができる。このようなニューラルネットワークは、適切な様式で、自動学習によって、収集された知識を特定のタスク集合体に凝縮する。これは、特定のタスクが以降自動的に、最高の質で実行され得るように、行われる。
【0032】
顕微鏡２１０は、１つまたは複数の構成要素２６０および２７０を含んでいてよい。アクチュエータ２６０およびセンサ２７０等の顕微鏡のさまざまな構成要素自体がＫＩ能力を有していてよく、マイクロコンピュータまたはＦＰＧＡを含んでいてよい。顕微鏡２１０は、データを検出するように構成されている少なくとも１つの構成要素、例えばセンサ２７０を含んでいる。検出されたデータは、画像データとメタデータとを含んでいてよい。少なくとも１つの構成要素は、それぞれが異なるデータを検出する、複数の異なる構成要素を含んでいてよい。一実施形態では、検出されたデータは、拡張マークアップ言語（ＸＭＬ）データ等の構造化されたデータを含んでいる。これによって、１つまたは複数の顕微鏡または顕微鏡システムのさまざまな構成要素の検出されたデータを均一に提供および処理することが可能になる。
【0033】
図２および以降の図のすべては、単に例示的に光学顕微鏡として顕微鏡を示している。実施形態では、顕微鏡は、すべてのタイプの顕微鏡を含むことができる。例えば、顕微鏡は、以降のいずれかを含むことができる：光学顕微鏡、立体顕微鏡、共焦点顕微鏡、スリットランプ顕微鏡、手術用顕微鏡、デジタル顕微鏡、ＵＳＢ顕微鏡、電子顕微鏡、走査型電子顕微鏡、ミラー顕微鏡、蛍光顕微鏡、集束イオンビーム（ＦＩＢ）顕微鏡、ヘリウムイオン顕微鏡、磁気共鳴顕微鏡、中性子顕微鏡、走査型ＳＱＵＩＤ顕微鏡、Ｘ線顕微鏡、超音波顕微鏡、選択的平面照明顕微鏡（ＳＰＩＭ）または音響顕微鏡等。
【0034】
顕微鏡２１０は、組み込みシステム２２０およびその制御コンピュータ２３０と通信するように構成されている。一例では、顕微鏡は、ハードウェア加速されたＫＩを有する１つまたは複数の組み込みシステム２２０およびその制御コンピュータ２３０と、同時にもしくは並行して、双方向通信リンク２４０および２５０を介して通信する。双方向通信リンク２４０および２５０、例えばディープラーニングバスを介して、データ（例えば画像、機器パラメータ、実験パラメータ、生物学的データ等）およびモデル、それらの構成部分またはデータの非表示表現（「ｈｉｄｄｅｎ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」）を交換することができる。ここでモデルは、（モデルの一部のトレーニングまたは適応化によって）実験の経過中に変更されてよい。さらに、新たなモデルを顕微鏡または装置にロードし、使用することができる。これは、モデル自身が成し遂げたデータの識別および解釈に基づいて行われてよい。
【0035】
モデルは、使いやすさが向上するように、使用者に関連した使用状況データを評価することもできる。このために使用できるデータには、とりわけマウスの動き、クリック数、クリック間の時間、画像データとの相互作用およびユーザが行った機器パラメータの設定である。これによって、顕微鏡の操作性を向上させることができるデータが提供される。同様に、トレーニング済みモデルは、実験中にユーザインタフェースを動的または非動的に適合させることができるため、関連する操作要素が顕著に強調表示される、かつ／または互いに空間的に近づけられ、使いやすさが直接的に向上する。これによって、学習するユーザインタフェースを用いて、使いやすさを継続的に向上させることができる。
【0036】
モデルの継続的な改良のために、一実施形態では、可能な限り多くの使用者のデータが検出される。使用者は、どのデータが集められ、匿名で処理されてよいのか、自身の好みを知らせることができる。さらに、実験の経過に対する、ユーザインタフェースの適切な箇所で、モデルの予測を評価することが可能であってよい。一例では、システムは、移入された細胞の数を示すことができる。一実施形態では、使用者は、このような値を上書きすることができる。これによって再び、モデルを微調整するために新たなデータポイントが提供される。したがって使用者は、改良されたモデルをいつでもダウンロードすることができるという利点を有している。同様に製造者にとっては、自身の提供物を絶えず改良することが可能になる。
【0037】
図３は、複数の顕微鏡から構成される結合システム３１０を形成するために組み合わされている複数の顕微鏡３３０ａ、３３０ｂおよび３３０ｃを示している。さらに、図３は、顕微鏡システム３５０ａおよび３５０ｃならびに顕微鏡３５０ｂを含んでいる異種の結合システム３２０を示している。この結合システムは、特定の数の顕微鏡および／または顕微鏡システムに固定されていない。顕微鏡および顕微鏡システムの数は、適用範囲および測定範囲に応じて異なっていてよい。
【0038】
顕微鏡３３０も顕微鏡システム３５０も、１つまたは複数のＫＩ能力を有する対応構成要素を含むことができる。図２の顕微鏡のように、顕微鏡システムは、ネットワークを介して他のＫＩ能力を有する装置またはシステムと通信することができる。顕微鏡システム３５０は、例えば、双方向接続を介して、１つまたは複数の組み込みシステムおよび／または１つまたは複数の制御コンピュータまたはワークステーションコンピュータとデータを交換することができる（図示せず）。このようなデータは、顕微鏡システムまたは顕微鏡システムの構成要素によって検出されたデータ、モデルまたは非表示表現を含んでいてよい。顕微鏡３３０および／または顕微鏡システム３５０は、例えばＧＰＵ、ＴＰＵ、機械学習（ＭＬ）および／またはディープラーニング（ＤＬ）に特化した特定用途向け集積回路（ＡＳＩＣ）またはＦＰＧＡ等のＫＩモデル用のハードウェア加速化部を備える集積マイクロプロセッサを含むことができる。
【0039】
図３にはさらに、結合システムにおける顕微鏡３３０と顕微鏡システム３５０との通信が示されている。結合システム３１０の顕微鏡３３０または顕微鏡システム３５０ならびにそれらに取り付けられている構成要素、例えば組み込みコンピュータまたはシステムコンピュータ（図示せず）は、相互に、およびクラウド３００またはサーバと、例えばデータまたはモデルを交換するために通信することができる。
【0040】
結合体内の通信は、複雑な、多様かつ／または並行化された実験または測定を調整するために用いられてよい。ここでは、制御信号、データ（画像、機器パラメータ、非表示表現）およびモデルを交換することができる。特に、装置上で、顕微鏡、顕微鏡システムまたは結合システムに関連してトレーニングされた、または適応させられたモデルを、結合体、他の結合体内の他の装置またはクラウドと交換することができる。これは、ユーザ権利およびプロジェクト属性を管理することによって行われる。ここで使用者は自身で、発生しているデータストリームおよびモデルを、誰が見ることを許可されているか、かつ利用することを許可されているかを決定することができる。クラウドにアップロードされたモデルは、関与するすべての実験室または施設の経験を集約し、このようにして、すべての使用者に提供され得るモデルの継続的な開発を可能にする。
【0041】
上述のように、ワーキンググループと機関との間のモデルおよびデータの交換は、クラウドを用いて、かつクラウドを介して行うことができる。顕微鏡、顕微鏡システムおよびそれらに取り付けられている構成要素は相互に通信することができ、かつディープラーニングバスシステムを介してワークステーションコンピュータと通信することができる。このために、特化されたハードウェアおよび／またはＴＣＰ／ＩＰネットワーク接続等を使用することができる。同じ接続を介してワーキンググループは、それぞれ１つまたは複数の顕微鏡または顕微鏡システムを含んでいる他のワーキンググループ、サーバシステム、クラウドおよび／または他の機関と通信する。学習したすべての情報、データ、非表示表現、モデルおよびメタデータは相互に交換されてよく、かつモデルマネージャおよび権利マネージメントによって管理されてよい。
【0042】
顕微鏡とその構成要素との間の通信について図２および図３に記載された構造は、顕微鏡、顕微鏡システムおよび顕微鏡システムの結合体ならびにワーキンググループおよび機関の間の通信にも使用することができる。以降の特性を有するディープラーニングバスシステムを通信に使用することができる。
・すべてのサブシステム、すなわち顕微鏡構成要素、センサおよびアクチュエータの相互の、および適切なモデルとのネットワーク化。これらのサブシステムはインテリジェントであってよい、すなわち、自身でニューラルネットワークまたは機械知能を備えていてよい、またはインテリジェントでなくてよい。
・すべてのサブシステムおよびモジュール、顕微鏡および顕微鏡システムのネットワーク化は、ドメインおよびサブドメインを備えた階層構造を生じさせる。
・すべてのドメインおよびサブドメインならびに属するシステムおよびサブシステムが一元的に検出および捜索可能であってよく、これによってモデルマネージャ（図１０を参照）がモデルをそれらに分配することができる。
・タイムクリティカルなアプリケーションでの通信のために、バスシステムに特化されたハードウェアを使用することができる。択一的に、ＴＣＰ／ＩＰまたは適切なＷｅｂ標準に従ってネットワーク接続を使用することもできる。
・バスシステムは、少なくとも以降のデータを管理する必要がある：各構成要素（アクチュエータ、センサ、顕微鏡、顕微鏡システム、コンピュータリソース、ワーキンググループ、機関）のＩＤ；作者による権利管理、機関、実行する機械の書き込み権利／読み取り権利、所望の支払いシステム；実験およびモデルからのメタデータ；画像データ；学習されたパラメータを備えたモデルおよびそのアーキテクチャ、アクティベーションおよび非表示表現；必要なインタフェース；環境変数を備えた必要なランタイム環境、ライブラリ等；モデルマネージャおよび権利マネージメントによって必要とされるすべての他のデータ。
・多数の異なる、ＫＩ能力を有する構成要素を通じて、ドメインとサブドメインとを備える階層構造が生じる。すべての構成要素はディレクトリにおいて検出され、見つけられる。権利マネージメントはすべてのレベル（すなわち、顕微鏡に取り付けられている構成要素、顕微鏡／顕微鏡システム、ワーキンググループ、コンピュータリソース、機関）で行われる。これによって、すべての動作部の共同作業を可能にする、論理的かつ階層的な機能構造が生じる。
・すべてのサブシステム、すなわち顕微鏡構成要素、センサおよびアクチュエータの相互の、および適切なモデルとのネットワーク化。これらのサブシステムはインテリジェントであってよい、すなわち、自身でニューラルネットワークまたは機械知能を備えていてよい、またはインテリジェントでなくてよい。
・すべてのサブシステムおよびモジュール、顕微鏡および顕微鏡システムのネットワーク化は、ドメインおよびサブドメインを備えた階層構造を生じさせる。
・すべてのドメインおよびサブドメインならびに属するシステムおよびサブシステムが一元的に検出および捜索可能であってよく、これによってモデルマネージャ（図１０を参照）がモデルをそれらに分配することができる。
・タイムクリティカルなアプリケーションでの通信のために、バスシステムに特化されたハードウェアを使用することができる。択一的に、ＴＣＰ／ＩＰまたは適切なＷｅｂ標準に従ってネットワーク接続を使用することもできる。
・バスシステムは、少なくとも以降のデータを管理する必要がある：各構成要素（アクチュエータ、センサ、顕微鏡、顕微鏡システム、コンピュータリソース、ワーキンググループ、機関）のＩＤ；作者による権利管理、機関、実行する機械の書き込み権利／読み取り権利、所望の支払いシステム；実験およびモデルからのメタデータ；画像データ；学習されたパラメータを備えたモデルおよびそのアーキテクチャ、アクティベーションおよび非表示表現；必要なインタフェース；環境変数を備えた必要なランタイム環境、ライブラリ等；モデルマネージャおよび権利マネージメントによって必要とされるすべての他のデータ。
・多数の異なる、ＫＩ能力を有する構成要素を通じて、ドメインとサブドメインとを備える階層構造が生じる。すべての構成要素はディレクトリにおいて検出され、見つけられる。権利マネージメントはすべてのレベル（すなわち、顕微鏡に取り付けられている構成要素、顕微鏡／顕微鏡システム、ワーキンググループ、コンピュータリソース、機関）で行われる。これによって、すべての動作部の共同作業を可能にする、論理的かつ階層的な機能構造が生じる。
【0043】
通信およびデータ格納にオープン標準を使用することによって、個々の顕微鏡を顕微鏡の結合体または分散型ワーキンググループに、例えばグローバルに拡張することができる。これらは相互に接続され、相互に学習し、したがって、個々の使用者に対しても、大規模な研究ネットワークにおいても、機器を継続的に改良する。
【0044】
顕微鏡は、相互に接続されている、機能的にネットワーク化されたサブシステム、構成要素またはモジュールで構成されている。このような接続は、顕微鏡サブシステム、顕微鏡全体および顕微鏡の結合体またはネットワークのレベルに存在している。これらの３つのレベルのそれぞれで、より高いレベルの抽象化において、モジュールまたは構成要素という言葉が使用され得る。各モジュールは、モジュール内の各ハードウェアまたはソフトウェアに依存せず、ユーザ権利管理を有するスリムなインタフェースを介して通信する。各モジュールは、自身の状態を標準化された形式で常に記録する。このようなタイプの通信および状態パラメータの検出は、ラボラトリオートメーション、サンプル準備機器、液体をピペッティングするための機器、気候室、他多数の非顕微鏡にも適用可能である。
【0045】
通信は、個々の顕微鏡（図２を参照）、顕微鏡システム（図２および図３を参照）または顕微鏡と顕微鏡システムとの結合体（図３を参照）およびそれぞれに取り付けられているそれらの構成要素（例えばアクチュエータおよびセンサ）、組み込みコンピュータ、１つまたは複数のシステムコンピュータおよびクラウド（図３を参照）の間で実行され得る。このような実施形態において重要なのは、データ、モデルおよび次元数が低減されたデータの形態として見て取ることができる、データの非表示表現を絶えず交換し、クラウドと同期させることが可能なことである。後者は、モデルの継続的なさらなる開発を可能にし、したがってモデルは、すべての使用者の集められた経験から利を得て、新たな課題を解決することができる。そうでない場合には、ディープラーニングベースのモデルをトレーニングするために大量のデータが必要になるだろう。
【0046】
顕微鏡、顕微鏡システム、結合システムおよびクラウドのネットワーク化によって、いくつかの形式のフィードバックが生じる。
１）フィードバック－顕微鏡：実験の経過中、データは事前に定められたモデルまたは画像処理シーケンスによって非同期的に評価され、抽出された情報に基づいて、実行中の実験に影響を与える判断が下される（例えば、記録場所、記録速度または照明、検出または光学系等の画像記録様式）。
１）フィードバック－顕微鏡：実験の経過中、データは事前に定められたモデルまたは画像処理シーケンスによって非同期的に評価され、抽出された情報に基づいて、実行中の実験に影響を与える判断が下される（例えば、記録場所、記録速度または照明、検出または光学系等の画像記録様式）。
【0047】
２）モデルへのフィードバック：モデルを継続的にさらに微調整（「Ｆｉｎｅ－Ｔｕｎｉｎｇ」）することができるので、それによってモデルの予測精度がますます改良されるため、フィードバックが生じ、このフィードバックは、データを継続的に評価するモデルを、実験のランタイム中でも変更し、改良することができる。
【0048】
フィードバックの場合には、方式または方法全体は、ディープラーニングを用いて見いだされた結果が顕微鏡システムまたは顕微鏡サブシステムに影響を及ぼして、一種のフィードバックループが生じるように構成されていてよい。システムは、フィードバックによって、特定の対象物をより最適に記録することができるように漸近的に、最適かつ安定した状態に移行されるか、適切に適応する（システム設定）。
【0049】
３）記録されたデータの画像識別および／または評価に基づいて、他の対象物タイプ、他の色、および全般的に他の適用をサポートするために、ランタイム中にモデルを交換すること、およびリロードすることができる。これは、実験または測定のランタイム中にも行うことが可能であり、これによって顕微鏡は極めて動的に、かつ適合性のあるものになる。
【0050】
これらの形式のフィードバックによって、顕微鏡測定時のワークフローを最適化するための新たな方法が可能になる。
【0051】
図４は、大きな変動性を伴うデータに関する推論のための階層的配置を示している。例えば顕微鏡は、画像データおよび他のデータタイプが著しく異なる基礎研究または臨床適用において使用されていてよい。したがって、「マスタモデル」を使用して先に分類ステップを実行し、対応するデータドメインに対する正しいモデルを自動的に選択することが有利であり得る。モデルの階層的な集合体を使用するというこのような原則は、１つのデータドメインに限定されるものではなく、さまざまなデータタイプおよびドメインを含んでいてよい。同様に、複数の階層的に編制されたモデル集合体をカスケード接続して、データドメインを複数の次元に従って編制し、異なる適用およびデータの変動性にもかかわらず自動的に推論を実行できるようにすることができる。図４は、変動性の高いデータ（この場合には画像データ４１０）の例を示しており、例えば、これらは単一細胞の蛍光画像４１２、ＨＥ染色された組織切片４１４または干渉コントラスト画像４１６であってよい。それにもかかわらず、効果的かつ高い精度で推論を実行することができるようにするために、マスタモデル４００は、画像データ４１０の異なるデータドメインを区別するようにトレーニングされる。このような分類の結果は、対応する検出された画像データ４１２、４１４、４１６のドメインに対して、適切なモデル４２０、４３０および４４０を決定することを可能にする。このようなドメインに対する適切なモデル４２０、４３０および４４０を、その後、自動的に、対応する画像データ４１２、４１４、４１６に適用することができる。次に、モデル４２０、４３０および４４０およびそれらの推論を用いて、予測
を行うことができる。ワークフローに関する判断を、このような予測に基づいて下すことができる。例えば「マスタ」モデルまたは世界モデルは、使用範囲の分類を行い、適切なモデルを自動的に選択することができる。例えば、顕微鏡のワークフロー中に、ＨＥ染色された組織切片の画像データ４１４を検出することができる。マスタモデル４００をこのような画像データに適用して、トレーニング済みモデル４１２を決定することができる。トレーニング済みモデル４１２は、ＨＥ染色された組織切片からの画像データのために特別にトレーニングされたトレーニング済みモデルであってよい。この場合には、特定のモデル４１２を、ＨＥ染色された組織切片の画像データ４１４に自動的に適用して、正確な予測を行うことができる。
【数1】
【0052】
図５は、トレーニング済みモデル５３０の適用ケースを示している。モデル５３０は、顕微鏡５００およびその構成要素（例えばセンサ）によってワークフロー中に検出されたデータ５２０および５１０に適用される。実行中の実験または実行中の測定は、さまざまなタイプであってよく、かつさまざまな構成要素またはセンサによって検出されたデータを継続的に生成する。図５の場合、これは、画像５２０およびメタデータまたは状態パラメータ５１０であってよい。データ５２０および５１０は、事前にトレーニングされたモデル５３０によって分析される。次に、モデルおよび／または分析の適用に基づいて、判断５４０を下すことができる。トレーニング済みモデル５３０は、１つまたは複数の異なるタイプのデータセットを評価および／または分析することができ、この分析に基づいて、顕微鏡および／または顕微鏡の構成要素のワークフローに影響を与える判断を下すことができる。図５の場合、モデル５３０を用いて、すべてのパラメータが正常範囲内にあるか否かを決定することができる。このような場合には、実験または測定を継続することができる。そうでない場合、例えば、ここでは検出器の過度の露出の場合には、ステップ５５０に示されるように、実行中の実験または測定を一時停止し、最後の位置の記録を繰り返すことができる。このために実施例において付加的に、顕微鏡５００の構成要素のパラメータが変更されてよい、またはエラーメッセージまたは警告が送信されてもよい。その後、実験または測定を計画どおりに続行することができる。画像またはメタデータ、機器パラメータ、他のモデルの予測またはユーザ入力等のあらゆる種類のデータをエラー識別に使用することができる。モデル５３０の分析に基づく判断は、顕微鏡、顕微鏡システム、顕微鏡の結合体またはそれらに取り付けられている構成要素のすべてのコントロールパラメータならびにユーザまたはサービス技術者の他の実験機器またはモバイル機器の経過に影響を及ぼし得る。例えば、エラーメッセージをサービス技術者またはクラウドに送信することができる。エラーメッセージがクラウドに送信される場合には、ここで、同じソースまたは他のソースからのこのようなエラーメッセージおよび他のエラーメッセージに基づいて、同様に、人工知能を用いてモデルをトレーニングすることができる。この場合にこのような新たなトレーニング済みモデルは、エラーを自動的に取り除くために判断を下すことができるので、測定または実験が中止されるのを防ぐことができる。
【0053】
さらに、顕微鏡システムのモジュールまたは構成要素の状態パラメータを記録することで、常に自己診断を行うことが可能になる。このような自己診断によって、測定の経過中および測定後の両方で実験結果の質の管理を行うことが可能になる。さらに、自己診断によって、技術サービスによる自動的、半自動的または手動のコントロール、または必要に応じてサービスコールのトリガが可能になるため、実験および／または測定の円滑な経過が保証され得る。これは、個々のモジュールまたは構成要素のレベルでの機器パラメータの監視による顕微鏡の高い可用性を可能にする。
【0054】
センサによって検出された、または論理的に検出されたすべての機器パラメータに対して、統計的な意味でのしきい値または期待値を伴う間隔の意味で、標準範囲が規定されてよい。定められているこの間隔を逸脱すると、顕微鏡は、他の顕微鏡、使用者またはサービス技術者によって解釈可能なイベントを自動的にトリガすることができる。同様に、トレーニング済みモデルは、監視されずに、データストリーム内の異常を検索し、異常が発生した場合に同様に、対応するイベントをトリガすることができる。イベントは同様に、ネットワークを介して、例えばＷｅｂ－ＡＰＩを介して送信され、他の顕微鏡の制御ソフトウェア、使用者のユーザインタフェース、サービス技術者のモバイル機器に達する、またはクラウド内のトレーニングデータとして達する。
【0055】
実施形態では、インテリジェントなエラー管理が存在している。顕微鏡によって生成されたエラーメッセージは、継続的に集められ、モデルによって評価されてよい。このようなエラーメッセージは製造者の開発部門において分析されてよく、モデルの監視された、または監視されていないトレーニングのためにトレーニングデータレコードが作成されてよい。このトレーニングデータレコードは次に、特定のエラーを認識し、それらを克服するための措置を自動的に取ることができる。次に、これらのトレーニング済みモデルは、付加的に、例えばＷｉＦｉ、ケーブル、Ｂｌｕｅｔｏｏｔｈ（登録商標）、光、スティック、ディスク等を介して、本発明による装置にロードされ、実行されてよい。これによって、顕微鏡は一種の「自己修復力」を発揮することができる。これは、エラーが発生した場合に、単に経過が停止されたり、実験データが使用不可能にされるのではなく、顕微鏡が自身の状態を再プログラミングしたり、機器パラメータを変更したりして、円滑な経過が引き続き可能であることによって行われる（図５を参照）。さらに、顕微鏡はモバイル機器を介して使用者に問題を通知し、判断を下すために入力を促すことができる。同様にモデルの監視されていないトレーニング（「教師なし学習」）が可能であり、これは、例えば、異常なシナリオまたは危険なシナリオを識別するために、すでに実験中に行われてよい。この場合には、使用者はこれについて警告を受け、対抗するように制御してよい、または潜在的に有害な操作エラーについて通知を受けることができる。これによって、実験時の安全性を高めることができる。
【0056】
例えばレーザー出力、センサの増幅電圧または気候室の温度に変動が生じた場合、実験結果は悪影響を受ける可能性がある。これを記録し、モデルを用いて自動的に識別することで、データの質を評価することができる。記録中にデータの質の問題が登録および識別された場合、顕微鏡は実験全体または実験の一部を繰り返すことができる。これによって、使用者の生産性が向上する。なぜなら、不必要な手動の繰り返しが回避され、データの解釈可能性が向上するからである。これは、生体系の予期しない現象を機器パラメータと相関させることができるためである。例えば、温度が下がると、細胞はよりゆっくりと分裂し得る。これは自動的に識別されてよく、使用者に通知され、ユーザは実験を続行するか、中止するかまたは繰り返すのかを判断することができる。記録された機器パラメータおよび状態パラメータならびにこのモデルによるそれらの解釈およびそのために使用されるモデルは、オープンフォーマットにおいて一緒に格納されてよい。これによって、実験は完全に再現可能になる。
【0057】
実験、サンプル、サンプル準備および実験の経過に関するデータが利用可能な場合、モデルによって、必要な試薬がいつ足りなくなるかを予測することができ、このような化学的または生物学的な試薬を自動的に、または半自動的に注文することができる。試薬および材料の自動的または半自動的な再注文によって、長期的な実験または産業界での適用の円滑で中断のない経過が保証される。
【0058】
モデルマネージャまたはユーザによって選択されたモデル、またはそれらに基づくＫＩアプリケーションが、実験のランタイム中に、実験の前に、または実験の後にすばやく利用できるようになる。さらに、これらは、画像取得ソフトウェアとは独立して、バージョン管理および管理されてよく、さらにマイクロコンピュータから、組み込みコンピュータを介して、独立コンピュータを介して、クラウドまで、さまざまなシステムまたはシステム構成要素上でスケーラブルであってよい。有利な実施形態では、コンテナ技術が使用される。そのようなコンテナ（図６，６１０）は、すべての環境変数、名前空間およびランタイム環境およびアプリケーションまたはモデルの動作に必要なすべてのライブラリ、ならびにモデルまたはアプリケーション自体を含んでいる。コンテナは以降の図面において、単に例示的に示されており、限定するために示されているのではない。例えば、Ｐｙｔｈｏｎの代わりに他のプログラミング言語を使用することもできる。
【0059】
図６は、コンテナ内のディープラーニングモデルの提供を示している。ランタイム環境、必要なすべてのドライバおよびライブラリならびにディープラーニングモデルまたはそれに基づくアプリケーションを、コンテナにおいて提供することができる。画像記録ソフトウェア６００は、ディープラーニングバスシステム６２０の要件を満たす適切なインタフェースを介してこのようなコンテナ６１０と通信する。推論の適用ケースでは、データの入力／出力は、画像記録ソフトウェアによって担われる。
【0060】
画像記録ソフトウェア６００は、それによって１つまたは複数の顕微鏡または顕微鏡システムおよび／またはそれらの構成要素が制御されるソフトウェア構成要素であってよい。さらに、画像記録ソフトウェア６００は、ユーザインタフェースであってよい。検出された画像、実験データ、実験メタデータおよびトレーニング結果の基本的な管理は、画像記録ソフトウェア６００によって担われてよい。
【0061】
図７は、Ｗｅｂサービスとしてのディープラーニング推論の提供を示している。Ｗｅｂサーバおよび属するフロントエンドは、コンテナ７００内で開始される。ユーザはフロントエンドを介して通信し、指示を送る。Ｗｅｂサーバは、モデルマネージャを用いて、クラウド７３０、研究機関７４０またはユーザの独立コンピュータ７５０からデータおよびモデルを呼び出す。Ｗｅｂアプリケーションは、ディープラーニングバスシステム７２０のＷｅｂインタフェースを介して、ディープラーニングコンテナ７１０と通信する。ディープラーニングコンテナ７１０は（推論のための）トレーニング済みモデルの適用を含んでおり、結果をＷｅｂサーバに送り返す。これによって出力が計算され、Ｗｅｂフロントエンドを介してユーザに表示される。場合によっては、結果がユーザの独立コンピュータまたは顕微鏡（システム）にすぐに伝送されてもよく、ここでこれは実験の続行に影響を与えることができる、または制御タスクを担うことができる。
【0062】
コンテナを使用することによって、組み込みシステムを介して、ＧＰＵ、ＴＰＵ、ＡＳＩＣまたはＦＰＧＡを備えたワークステーションコンピュータを介して、クラウドアプリケーションまでマイクロコンピュータをスケーリングすることが可能になる。この際に、基本的には、モデルおよびモデルの動作に必要な、直接的に関連するソフトウェアで何らかの変更が行われる必要はない。
【0063】
図８は、独立コンピュータ上、またはローカルネットワーク内のサーバ上でのモデルのトレーニングを示している。画像記録ソフトウェア８００は、ディープラーニングバスシステム８２０を介してディープラーニングコンテナ８１０に接続されており、入力データおよび／または出力データの規模を決定する。トレーニングのために、ディープラーニングコンテナ８１０が、その上にデータも存在しているコンピュータリソース上で実行される。トレーニングには最大のメモリ帯域幅が必要なので、ディープラーニングコンテナにはメモリマネージャ８３０も含まれており、メモリマネージャ８３０は必要に応じて、高速ローカルメモリ８４０上にデータをバッファリングし、データバッチをディープラーニングモデルに提供することができる。画像記録ソフトウェア８００は、独立コンピュータ８６０上、またはネットワーク内のサーバ８７０上に、ディープラーニングバスシステム８５０を介して、実験データ、実験メタデータおよびトレーニング結果を格納することを担う。その上でディープラーニングコンテナ８１０が実行されるコンピュータリソースは、データ伝送パスを短くするために、８６０または８７０と同一であってよい。記録ソフトウェア８００は、ローカルなワークステーション８６０上で実行されてよい。
【0064】
モデルは、ディープラーニング方式を使用してトレーニングされてよい。これは、計画に沿った、少なくとも１つのディープラーニング方法の適用を含んでいるが、有利には特定の目標を達成するために複数のディープラーニング方法を含んでいる。ここでの目標は、分析（例えば画像分析、対象物識別、コンテキスト識別等）に関連していてよい、または制御（フィードバック－顕微鏡、センサ－適応、方法－適応、システム－最適化等）に関連していてよい。ディープラーニング方法は、経過を後追い可能な段階に分ける一連のステップを含んでいてよく、これによって、このような経過を繰り返すことができるようになる。これらのステップは、特定のディープラーニングアルゴリズムであってよい。しかし、ネットワークが学習をする方式（バックプロパゲーション）であってもよく、これは例えば、データ収集の様式またはハードウェアを介したデータの処理様式等であってよい。
【0065】
図９は、クラウド内のＷｅｂサービスとしてモデルをトレーニングするためのシステムを示している。このような形式のトレーニングは、３つのタイプの適用ケースをサポートする。第１のケースでは、ユーザ９１１は、特定のアプリケーションに対してモデルをトレーニングするために、クラウド９３０内のＷｅｂアプリケーション９１０と対話する。これは通常、モデルストア（図１１）を介して行われる。第２および第３のケースでは、使用者は自身のワークステーションに座って、画像記録ソフトウェア９００を操作する。後者はクラウド９３０内のＷｅｂアプリケーション９１０と通信する。これはディープラーニングバスシステムを介して行われ、ディープラーニングバスシステムはユーザによって双方向的に制御され、同様にＷｅｂフロントエンドを用いて、またはＡＰＩを介して、Ｗｅｂサーバによって直接的にプログラミングで制御される。Ｗｅｂサーバは、クラウドにデータを一時的に格納することができる、またはメモリ９５０から付加的なデータを照会することができる。モデルマネージャ９４５を用いて、Ｗｅｂサーバは、トレーニングのための計算リソースの提供に取り組む。トレーニングに必要なデータは、ディープラーニングバスシステム９４４を介してディープラーニングコンテナ８１０に送られる。ディープラーニングコンテナ８１０は、図８のディープラーニングコンテナ８１０に相応していてよい。これは、メモリマネージャと高速ローカルメモリとを使用して、高速トレーニングのためにデータをバッファリングする。トレーニングは、大きい計算能力を備える計算リソース９７５上で行われる。高速ローカルメモリは、固有の計算リソースであっても、計算リソース９７５の一部であってもよい。すなわち、クラウドサービスは、データパスを短くするために計算リソース９７５上で実行されても、（例えば、トレーニングが、モデルストアを介してサービスとして提供される場合には）第三者の計算リソース上で実行されてもよい。ローカルな格納のために、高速ＮＶＭｅ－ＳＳＤまたは将来の形式の高速不揮発性メモリが使用されてよい。トレーニングの結果は、画像記録ソフトウェアに提供される。画像記録ソフトウェアはこれを、ローカルに９８０またはサーバ９９０上に格納することができ、そこからさらなるデータをリロードすることもできる。記録ソフトウェア９００は、通常、ローカルなワークステーション９８０上で実行される。
【0066】
適用ケース１に戻る：使用者９１１は、新たなモデルのトレーニングを必要としているが、固有のリソースを有していないことがある。この場合に、モデルストア（図１１）を用いて、完成したモデルまたはサービスおよび計算リソースの提供者を探すために、使用者は、クラウド９３０のＷｅｂアプリケーション９１０を使用する。Ｗｅｂサーバは、モデルマネージャ９４５を用いて、適切な完成したモデルを見つける、または強力な計算リソース９７５上で新たなモデルをトレーニングする。このような場合、使用者９１１は、Ｗｅｂインタフェースを介してデータをアップロードし、Ｗｅｂサーバは、場合によって、Ｗウェブまたはクラウドからさらなる必要なデータをリロードすることができる９５０。データは、ディープラーニングバス９４４を介してディープラーニングコンテナ８１０に送られる。トレーニングのためのデータバッチのリロードは迅速に行われなければならないので、ディープラーニングコンテナは、固有のメモリマネージャによって管理される高速バッファメモリを有することがある（これに対しては、図８も参照）。これは論理レベルである。ハードウェアの側面では、高速バッファメモリ（例えば高速ＮＶＭｅ－ＳＳＤメモリ）は、その上でディープラーニングコンテナも実行され得る、実行する計算リソース９７５と同じであってもよい。
【0067】
適用ケース２：使用者９１２は、自身の顕微鏡に座って、記録ソフトウェア９００を操作する。記録ソフトウェア９００は、使用者に、新たなモデルをトレーニングすることを提供し、このために固有のユーザインタフェースをもたらす、またはＷｅｂフロントエンドを提供する。したがって、ユーザ９１２は、双方向的に指示を与えることができる。
【0068】
適用ケース３：記録ソフトウェア９００はプログラミングでトレーニングを制御する。したがって、トレーニングは実験の一部であり、実験の経過に影響を与え得る。例えば、まだ知られていない新たなデータを使用して事前にトレーニングされたモデルが微調整されるべきだが、これが局部的に不可能である、または望ましくない場合、またはサービス提供者または第三者も適切なモデルを有しており、このようなモデルまたは新たなモデルのトレーニングがサービスとしてモデルストアに提供される場合に、これが必要である。このような意味でのサービスは、事前にトレーニングされたモデル、事前に構成されたコンテナ内のトレーニング環境、計算リソースを提供すること、新たなモデルの作成およびそのトレーニング、既存のデータに手動でまたは自動で注釈を付けることまたはそれらの組み合わせであってよい。
【0069】
図１０は、正しいアプリケーションおよび機械に対して正しいモデルを提供するように構成されているモデルマネージャ１０００の概略的な構造を示している。さまざまな経路を介して、照会はモデルマネージャへ到来する。すなわち、Ｗｅｂサービスを介してユーザから１０１０、画像処理の結果として１０１１、実験のプロセス経過におけるステップとして１０１２、モデルメタデータ、非表示表現またはモデルパラメータ上でのデータマイニングの結果として１０１３、モデルストアからの照会として１０１４、または実験条件が属する明示的なモデルパラメータとして１０１５、到来する。権利管理１０２０は、モデルデータベース１０２５を用いてモデルマネージャ内で行われる。ここには以降の情報が格納されていてよい：モデルアーキテクチャ（すべての計算ステップを備える「ニューラルネットワーク」のトポロジ）、モデルパラメータ（英語で「ｍｏｄｅｌ ｗｅｉｇｈｔｓ」、すなわち学習された情報）、モデルメタデータおよび／またはモデル権利。同様にコンテナ管理１０３０が、モデルマネージャ内で行われてよい。コンテナマネージャは、コンテナ（例えばＤｏｃｋｅｒコンテナ）におけるモデルの提供（「Ｄｅｐｌｏｙｍｅｎｔ」）を可能にする。このために、コンテナマネージャは、以降の情報を含むことができるコンテナデータベース１０３５を使用する：事前に完成された画像および画像を生成するための指示。モデルデータベース１０２５からのモデルメタデータに基づいて、コンテナマネージャは、適切なコンテナ画像を見つける、または新たなコンテナ画像を生成することができる。モデルマネージャは、コンテナ内の所望のモデルを、対応するターゲットシステムまたは対応する装置に出力する。これは、場合によっては組み込みシステムまたは取り付けられている構成要素を備えている顕微鏡／顕微鏡システム１０５０、Ｗｅｂサービス１０５１、モデルストア１０５２または計算リソース１０５３であってよい。後者は、組み込みシステム、マイクロコンピュータ、顕微鏡ワークステーションまたはサーバであってよい。
【0070】
モデルマネージャは、正しい目的のための正しいモデルの選択、モデルに対するメタデータの管理およびモデルを実行するためのコンテナの作成に用いられるすべてのタスクを担う。さらにモデルマネージャは、モデルの権利管理を行うことができる。データベースには任意の数のモデルが存在していてよいので、有利には、適切なモデルを検索および選択するためのさまざまな基準が設けられている。
【0071】
モデルに関連する一連のメタデータは、モデルマネージャのさまざまなタスクに対して設定されている。表１は、いくつかの例示的なメタデータとその目的とをまとめたものである。
【表1】
【0072】
モデルの実行は、環境を著しく変える必要なく、取り付けられている顕微鏡構成要素またはクラウド上での単独コンピュータ、組み込みコンピュータ、ＦＰＧＡ、ＴＰＵおよび／またはＡＳＩＣ等のさまざまな環境にモデルが柔軟に統合されるように行われ得る。ディープラーニング領域における技術は急速に発展しているため、各モデルのランタイム環境は個別に適合可能かつバージョン管理可能であってよい。したがって、実施形態では、コンテナ技術が使用される。これによって、すべてのソフトウェアライブラリ、環境変数、および「名前空間」がモデルと一緒に管理および提供される。モデルマネージャは、メタデータに基づいて、どの事前に完成されたコンテナが使用可能であるかを識別する、または新たな適切なコンテナを動的に作成して、これを管理する。計算加速のためのライブラリ、表１のフィールド（４）には、例えばＣＵ－ＤＡまたはＯｐｅｎＣＬのどのバージョンが必要なのかが格納されている。さらなるライブラリ、例えばＰｙｔｈｏｎバージョン（または別のプログラミング言語のバージョン）およびＰｙｔｈｏｎディストリビューション、テンソルフロー、Ｐｙｔｏｒｃｈ等は、表１のフィールド（５）に格納されていてよい。表１のフィールド（６）には、モデルの入力側および出力側でのテンソルの正確な次元数ならびにそれらのデータタイプが格納されている。これは、コンテナおよびデータ記録ソフトウェアのインタフェースを構成し、正しいモデルを選択するために使用される。転移学習の場合には、このようにして、事前にトレーニングされたモデルの一部を新たなアプリケーションコンテキストにおいて再利用して、他のモデル部分と組み合わせることもできる。モデルは、さまざまなハードウェア上で、かつ顕微鏡またはユーザのワークフローのさまざまな位置で実行されてよく、例えば記録中にリアルタイムに実行されてよい、フィードバック－顕微鏡検査に対する記録中に非同期的に実行されてよい、または後処理において実行されてよい。フィールド（７）および（８）は、このために使用される。メモリ要件およびワークフロー内の位置に基づいて、顕微鏡システムのどの構成要素上でモデルを実行することができるのか、かつ／またはモデルが実行されなければならないのかが決定される。これは例えばポイントスキャナにおけるＦＰＧＡ、カメラ、三脚またはワークステーションのＣＰＵもしくはＧＰＵ、ＴＰＵまたはＡＳＩＣ上で、または計算クラスタ上で、またはクラウドにおいて行われる。表１のフィールド（９）～（１２）は、所与の問題に対して適切なモデルを選択するために用いられる。このために、フィールド（９）に従ってモデルカテゴリまたはデータドメインが決定される。これは例えば、これが、画像またはテキストを識別するモデルであるのか、またはこれが、分類の問題または回帰の問題を解決するのか等である。能力に関するメトリック（例えば予測精度、「適合率」、「再現率」、「Ｆ１スコア」、「ｄｉｃｅ ｌｏｓｓ」、「ＳＳＩＭ」等）がフィールド（１０）において検出される。これらに基づいて、適切なモデルを選択することができるだけでなく、既存のモデルを継続的に改良することもできる。
【0073】
したがって、モデルマネージャのデータベース内のすべての適切なモデルの全体は、特別な課題をより良好に、かつより差別化して解決することを全体として学習する「スーパーモデル」のように動作する。ユーザデータに基づいて引き続き改良されたモデルを、世界中のユーザおよびユーザグループのさまざまなデータと絶えず交換することによって、適切なデータドメインのすべてのユーザデータ上でグローバルな学習プロセスが行われ、これはモデルの提供を常に改良する。これは、唯一のユーザシステムでのニューラルネットワークの単純かつ独立した適用に対する利点の１つである。
【0074】
明示的なモデル特徴は、表１のフィールド（１１）に格納される。これは、色、細胞株、実験プロトコル、生物学的ＤＮＡ配列またはタンパク質配列、記録速度、温度、湿度、緩衝剤のＣＯ２含有量、培養液、照明、検出パラメータ他多数の、実験からのメタデータである。適切なモデルを選択するための別の可能性は、フィールド（１２）の暗黙的なモデル特徴である。これは、例のデータセットに基づいたニューラルネットワークの事前に計算されたアクティベーションである、またはモデルの学習されたセマンティクスを反映する学習されたモデルパラメータでもある。「ｋ－ｍｅａｎｓクラスタリング」、「ｍｅａｎ ｓｈｉｆｔクラスタリング」または「ｔ－ＳＮＥ」等の適切な教師なし（「ｕｎｓｕｐｅｒｖｉｓｅｄ」）学習方式によって、ユーザが何もしなくても、モデル間の意味的関係を識別することができる。したがって、これまで知られていなかったモデルをユーザに見つけて、それらをユーザに提案することも可能である。表１のフィールド（１３）～（１５）では、モデルの権利管理を扱う。作者、すなわちフィールド（１３）は、モデルを無料で、または支払いと引き換えに提供することができる。フィールド（１４）に格納されているさまざまな支払いモデルが、このために使用可能である。これは例えば、ダウンロード時の一括支払いまたは利用期間または利用頻度に基づく、利用に関連する支払いである。フィールド（１５）では、どの機械が、該当するモデルの実行を許可されているかが管理される。特定の適用領域、例えば医学、病理学または体外診断の分野では、特定の基準、検査基準または認証が遵守されなければならない。したがって、そのような分野でのモデルの実行またはリロードは厳密に規制されている必要がある。対照的に、純粋に研究に用いられる機器は、任意のモデルを実行またはリロードすることができる。
【0075】
さまざまな検索用語、決まった表現およびフィルタを使用した検索を、上述したすべてのメタデータに対して実行することができる。同様にモデルを管理、選択および継続的に改良するために、このようなメタデータに対してデータマイニングを行うことができる。
【0076】
図１１は、モデルストア１１００の概略図を示している。モデルストア１１００は、「バイオイメージ・インフォマティクス」の分野におけるモデルおよびサービスの市場である。顕微鏡またはＷｅｂサービスの使用者１１１０は、モデルを検索し、サービス（モデルの作成または画像処理プロセス等）を要求し、お金またはポイントシステムで支払いをする。この検索は、Ｗｅｂフロントエンド１１３０を介して行われる。ここでは画像処理または顕微鏡学の分野の専門家１１２０も、自身のモデルおよびサービスを提供する。モデルの作成と画像処理プロセスとに加えて、このサービスは、固有の計算リソースの提供も含んでいる。Ｗｅｂフロントエンドは、ショップバックエンド１１４０を介して、支払い情報、ユーザポイント（「Ｃｒｅｄｉｔｓ」）およびユーザレベル（「Ｔｉｅｒｓ」）を処理する。ショップバックエンドには、適切なビジネスパートナを見つけるためのマッチメイキングサービスが含まれている。ショップバックエンドは、ユーザプロファイル、ユーザのＣｒｅｄｉｔ、ユーザのＴｉｅｒおよびユーザの詳細に関する必要な情報をユーザデータベース１１４５に格納している。モデルストアは、ステップ１１５０においてモデルマネージャ１１６０を介して使用者の検索照会を処理し、ステップ１１５５において適切なモデルを返してもらう。逆に、専門家によって提供されたモデルは、モデルマネージャ１１６０によって管理される。サービスを実行するために計算リソース１１７０が必要な場合、製造者は、それらを提供するか、専門家１１２０または第三者によって提供されたリソース１１７０を提供し、そこで所望のモデルまたは画像処理プロセスを提供することができる。ここで、使用者は新たなモデルを自身の顕微鏡にダウンロードし、そこで実行することができる、または使用者は例えば、画像処理プロセスをダウンロードし、実行することができる、または使用者は、製造者または第三者によって提供されたクラウドサービス上でこれを実行することができる。
【0077】
図１２は、ワークフローを最適化するための本発明による方法の一実施形態の概略図を示している。測定システム１２１２、１２１４および１２１６はそれぞれ、その上でトレーニング済みモデル１２２０が実行される少なくとも１つの装置を含んでいる。少なくとも１つの装置は、ワークステーションコンピュータ、組み込みコンピュータ、センサ、アクチュエータおよび／または顕微鏡を含むことができる。少なくとも１つの装置および１つまたは複数の顕微鏡および／または顕微鏡システムに加えて、測定システム自体は、測定の実行に関与するさらなる機器を含むことができる。これには、例えば、ラボラトリオートメーションのための機器、１つまたは複数のセンサ、１つまたは複数のアクチュエータ、１つまたは複数のサンプル調製機器、１つまたは複数のミクロトーム、液体をピペッティングするための１つまたは複数の機器および／または気候室が含まれていてよく、これらはネットワーク、例えば無線ネットワークを介して相互に接続されている。測定システム１２１２、１２１４および１２１６はさらに、空間的に分離されていてよく、異なるユーザによって操作されてよい。
【0078】
同じトレーニング済みモデル１２２０が、各測定システム１２１２、１２１４および１２１６において適用されてよい。トレーニング済みモデル１２２０は、トレーニング済みモデル１２２０への入力Ｘｉに対して、出力
を供給する。トレーニング済みモデルは、検出されたデータに適用されてよく、これはワークフロー中に、１つまたは複数の顕微鏡の１つまたは複数の構成要素、例えばカメラ等のセンサによって検出されたものである。検出されたデータは、モデルに対する入力Ｘｉとして用いられ、画像データ、メタデータ、パラメータデータ、実験の経過に関するデータ、試薬および材料に関する情報、検査される対象物または検査されるサンプルに関する情報、使用者に関連したデータおよび／または１つまたは複数の顕微鏡および／または顕微鏡システムによって実行される測定の経過中に制御される機器の機器データを含むことができる。トレーニング済みモデルの出力
に基づいて、１つまたは複数の顕微鏡または測定システム１２１２、１２１４および１２１６のワークフローに関して少なくとも１つの判断を下すことができる。少なくとも１つの判断は、１つまたは複数の顕微鏡またはそれらの構成要素の自動的または半自動的な状態変化を含むことができる。例えば、出力
を、１つまたは複数の構成要素の制御に利用することができる、または出力
に基づいて、さらなるトレーニング済みモデルを選択し、適用することができる。択一的に、出力
によって、エラーが表示されてよい、または測定に関与する機器のパラメータデータが変更されてよい。
【数2】
【数3】
【数4】
【数5】
【数6】
【0079】
出力
は、ステップ１２３０において評価される。評価は、測定システム１２１２のユーザによる入力の検出に基づくことができ、否定的または肯定的な評価を含むことができる。一例では、測定システム１２１２の顕微鏡のカメラが画像を検出する。検出された画像は、トレーニング済みモデル１２２０を用いて分析される。検出された画像のピクセルは、トレーニング済みモデル１２２０の入力値Ｘｉに対応し得る。このような例では、トレーニング済みモデル１２２０は、サンプルの最適な照明を決定するようにトレーニングされていてよく、検出された画像に適用されて、光源の強度に対する予測または出力
を供給する。次のステップにおいて、光源の強度が自動的に設定されてよく、新たな強度でさらなる測定が実行されてよい。ユーザによる予測または出力の評価は、能動的または受動的に行われてよい。例えば、ユーザは予測された強度を上書きすることができる。システムは、ユーザ入力を検出し、予測または出力を否定的に評価する。なぜなら、予測された強度にユーザが満足していなかったと仮定されるからである。これに相応して、ユーザ入力がないのは、肯定的な評価として評価され得る。一実施例では、ユーザに、予測の評価が能動的に尋ねられてよい。検出されたデータは、この評価に関連して注釈が付けられてよく、トレーニングデータとして利用可能である。
【数7】
【数8】
【0080】
次のステップでは、第２のデータがクラウド１２４０に送られる。第２のデータは、自動的に、半自動的にまたは手動でクラウド１２４０にアップロードされてよく、以降のうちの少なくとも１つを含むことができる：少なくとも１つのトレーニング済みモデル１２２０またはその一部、少なくとも１つのトレーニング済みモデルに対する入力データを含む、検出されたデータ、入力データに適用された少なくとも１つのトレーニング済みモデルの目標出力値に関する注釈、データの非表示表現、少なくとも１つのトレーニング済みモデルの出力値の評価、１つまたは複数の構成要素のうちの少なくとも１つの構成要素のパラメータデータ、ユーザ入力、実験の経過に関するデータ、エラーメッセージ、試薬および材料に関する情報、１つまたは複数の顕微鏡および／または顕微鏡システムによって実行される測定の経過中に制御される機器の機器データおよび使用者に関連したデータ。第２のデータは、１つまたは複数のソースから到来し得る。図１２では例として３つのソース（測定システム１２１２、１２１４および１２１６）が示されている。一実施例では、第２のデータは、クラウド１２４０に集約される。
【0081】
ステップ１２５０において、トレーニング済みモデル１２２０は、適応化が行われたモデル１２６０を得るために、クラウド１２４０において修正される、または適応させられる。ステップ１２５０は、適応化が行われたトレーニング済みモデル１２６０を得るために、少なくとも部分的に第２のデータを使用したトレーニング済みモデル１２２０の少なくとも一部のトレーニングを含んでいてよい。択一的に、クラウド１２４０内の集約されたデータを用いて、新たなモデルをトレーニングすることもできる。適応化が行われたトレーニング済みモデル１２６０は、適応化が行われたトレーニング済みモデル１２６０への入力Ｘｉに対して、出力
を供給する。したがって、トレーニング済みモデル１２２０および適応化が行われたトレーニング済みモデル１２６０への同じ入力Ｘｉに対して、異なる出力
および
を得ることができる。したがって、入力Ｘｉに基づいて、適応化が行われたトレーニング済みモデル１２６０は、トレーニング済みモデル１２２０とは異なる、ワークフローに対する予測を行うことができる。一実施形態では、適応化が行われたトレーニング済みモデル１２６０の予測または出力
は、特定のまたは特別な適用ケースに有利である。例えば、適応化によって、検出されたデータに適用される、少なくとも１つのトレーニング済みモデルの予測精度を高めることができる。顕微鏡または顕微鏡システムのワークフローを、適応化が行われたトレーニング済みモデルのより良好な予測または最適化された出力によって最適化することができる。
【数9】
【数10】
【数11】
【数12】
【0082】
さらなるステップ１２７０において、適応化が行われたトレーニング済みモデル１２６０または新たなトレーニング済みモデルが、測定システム１２１２、１２１４および１２１６の１つまたは複数の装置にロードされ得る、かつ／または適用され得る。これは、自動的に、半自動的にまたは手動で行われてよい。したがって、トレーニング済みモデルを継続的に改良することができ、顕微鏡または顕微鏡システムのワークフローを改良することができる。
【0083】
図１３は、少なくとも１つの顕微鏡または顕微鏡システムのワークフローを最適化するための、本発明による方法１３００の実施例による概略的なフローチャートを示している。方法１３００は、ステップ１３１０を含んでおり、このステップにおいて、少なくとも１つの顕微鏡および／または顕微鏡システムの１つまたは複数の構成要素によって実行されるワークフロー中にデータが検出される。データは、この１つまたは複数の構成要素のうちの１つの構成要素、例えばセンサによって検出されてよい。
【0084】
ステップ１３２０において、１つまたは複数のトレーニング済みモデルが、少なくとも部分的に、検出されたデータに基づいて決定される。１つまたは複数のトレーニング済みモデルの決定は、トレーニング済みマスタモデルを検出されたデータに適用することを含んでいてよい。１つまたは複数のトレーニング済みモデルは、ローカルに格納され、ローカルなデータベースから呼び出ことができる多数のトレーニング済みモデルから選択されてよい。
【0085】
任意選択的なステップ１３３０において、１つまたは複数の特定のトレーニング済みモデルが、検出されたデータに適用される。これは、ワークフローの実行中に行われ得る。１つまたは複数のトレーニング済みモデルの適用は、１つまたは複数のトレーニング済みモデルを用いたデータの分析を含むことができ、それに基づいて、ワークフローに関する少なくとも１つの判断を下すことができる。１つまたは複数のトレーニング済みモデルは、Ｗｅｂサービスとして、ワークステーションコンピュータ、顕微鏡または顕微鏡システムおよび／または顕微鏡または顕微鏡システムの取り付けられている構成要素に適用されてよい。
【0086】
一実施形態では、さらなるステップ１３４０において、ワークフローに関する少なくとも１つの判断が、１つまたは複数のトレーニング済みモデルの適用に基づいて下される。これは、１つまたは複数の構成要素のうちの少なくとも１つの構成要素の制御を含むことができる。
【0087】
一実施形態では、１つまたは複数のトレーニング済みモデルまたはトレーニング済みマスタモデルの適応化が行われてよい。このために、１つまたは複数のトレーニング済みモデルまたはトレーニング済みマスタモデルをサーバ、クラウドまたはワークステーションコンピュータ上でトレーニングすることができる。サーバ、クラウドまたはワークステーションコンピュータは、ディープラーニングモデルを用いてトレーニングすることができるように構成されている。これは、さまざまなソースからの集約されたデータに基づいて行われてよい。しかし、１つまたは複数のトレーニング済みモデルまたはトレーニング済みマスタモデルの一部のみをトレーニングすることもできる。このようなトレーニング方法（微調整とも称される）が必要とする計算はわずかなので、１つまたは複数のトレーニング済みモデルまたはトレーニング済みマスタモデルの一部の適応化をサーバ、クラウド、またはワークステーションコンピュータ上で実行することも、顕微鏡の一部であるマイクロコンピュータ、組み込みコンピュータまたは顕微鏡システム内の他の装置上で実行することもできる。さまざまなソースのデータを微調整に使用することもできる。
【0088】
顕微鏡の測定に使用され、そこで予測（推論）を行う、予測モデル／トレーニング済みモデルの選択および使用によって、ワークフローが最適化され、顕微鏡測定の適用範囲が広げられる。このようなモデルによる推論の適用範囲は多様であり、とりわけ、顕微鏡または実験経過の全体または一部の自動化（例えば対象物の発見、照明パラメータまたは検出パラメータの設定）、画像の再構築および画像の欠陥の除去（例えばノイズ除去）、データにおけるデータマイニング（例えば個々の対象物のセグメンテーション、表現型の識別）、顕微鏡の自己診断、サービスコールの調整、実験の質の管理および再現可能性および使いやすさの向上を含んでいる。予測モデルを微調整することによって、予測モデルを継続的に改良する、かつ／またはモデルの適用範囲を明確にすることができる。これは有利には、ニューラルネットワーク内の少数のノードのみをトレーニングすることによって行われ得る。
【符号の説明】
【0089】
１００ 装置
１１０ １つまたは複数のプロセッサ
１２０ １つまたは複数の記憶媒体
１３０ トレーニング済みモデル
２１０ 顕微鏡
２２０ 組み込みコンピュータ
２３０ システムコンピュータ
２４０，２５０ 双方向通信リンク
２６０ アクチュエータ
２７０ センサ
３３０ａ，３３０ｂ，３３０ｃ，３５０ｂ 顕微鏡
３５０ａ，３５０ｃ 顕微鏡システム
４００ マスタモデル
４１０，４１２，４１４，４１６ データドメイン
４２０，４３０，４４０ トレーニング済みモデル
５００ 顕微鏡／顕微鏡システム
５１０，５２０ データ
５３０ トレーニング済みモデル
５４０，５５０ ステップ
６００ 画像記録ソフトウェア
６１０ コンテナ
６２０ ディープラーニングバスシステム
６３０ ネットワークメモリまたはクラウドメモリ
７００ コンテナ
７１０ ディープラーニングコンテナ
７２０ ディープラーニングバスシステム
７３０ クラウド
７４０ 研究機関
７５０ ユーザの独立コンピュータ
８００ 画像記録ソフトウェア
８１０ ディープラーニングコンテナ
８２０ ディープラーニングバスシステム
８３０ メモリマネージャ
８４０ 高速ローカルメモリ
８５０ ディープラーニングバスシステム
８６０ 独立コンピュータ
８７０ ネットワーク内のサーバ
９１０ Ｗｅｂアプリケーション
９１１，９１２ ユーザ
９３０ クラウド
９４４ ディープラーニングバスシステム
９４５ モデルマネージャ
９５０ メモリ
９７５ 高い計算能力を備える計算リソース
９８０ システムコンピュータ
９９０ サーバ
１０００ モデルマネージャ
１０１０～１０１５ ステップ
１０２０ 権利管理
１０２５ モデルデータベース
１０１４ モデルストア
１０３０ コンテナ管理
１０３５ コンテナデータベース
１０５０ 顕微鏡
１０５１ Ｗｅｂサービス
１０５２ モデルストア
１０５３ 計算リソース
１１００ モデルストア
１１１０ 使用者
１１３０ Ｗｅｂフロントエンド
１１２０ 専門家
１１４０ ショップバックエンド
１１４５ ユーザデータベース
１１５０，１１５５ ステップ
１１６０ モデルマネージャ
１１７０ 計算リソース
１２１２～１２１６ 測定システム
１２２０ トレーニング済みモデル
１２３０ 評価
１２４０ クラウド
１２５０ ステップ
１２６０ 適応化が行われたトレーニング済みモデル
１２７０ ステップ
１３００ 方法
１３１０～１３４０ ステップ
１１０ １つまたは複数のプロセッサ
１２０ １つまたは複数の記憶媒体
１３０ トレーニング済みモデル
２１０ 顕微鏡
２２０ 組み込みコンピュータ
２３０ システムコンピュータ
２４０，２５０ 双方向通信リンク
２６０ アクチュエータ
２７０ センサ
３３０ａ，３３０ｂ，３３０ｃ，３５０ｂ 顕微鏡
３５０ａ，３５０ｃ 顕微鏡システム
４００ マスタモデル
４１０，４１２，４１４，４１６ データドメイン
４２０，４３０，４４０ トレーニング済みモデル
５００ 顕微鏡／顕微鏡システム
５１０，５２０ データ
５３０ トレーニング済みモデル
５４０，５５０ ステップ
６００ 画像記録ソフトウェア
６１０ コンテナ
６２０ ディープラーニングバスシステム
６３０ ネットワークメモリまたはクラウドメモリ
７００ コンテナ
７１０ ディープラーニングコンテナ
７２０ ディープラーニングバスシステム
７３０ クラウド
７４０ 研究機関
７５０ ユーザの独立コンピュータ
８００ 画像記録ソフトウェア
８１０ ディープラーニングコンテナ
８２０ ディープラーニングバスシステム
８３０ メモリマネージャ
８４０ 高速ローカルメモリ
８５０ ディープラーニングバスシステム
８６０ 独立コンピュータ
８７０ ネットワーク内のサーバ
９１０ Ｗｅｂアプリケーション
９１１，９１２ ユーザ
９３０ クラウド
９４４ ディープラーニングバスシステム
９４５ モデルマネージャ
９５０ メモリ
９７５ 高い計算能力を備える計算リソース
９８０ システムコンピュータ
９９０ サーバ
１０００ モデルマネージャ
１０１０～１０１５ ステップ
１０２０ 権利管理
１０２５ モデルデータベース
１０１４ モデルストア
１０３０ コンテナ管理
１０３５ コンテナデータベース
１０５０ 顕微鏡
１０５１ Ｗｅｂサービス
１０５２ モデルストア
１０５３ 計算リソース
１１００ モデルストア
１１１０ 使用者
１１３０ Ｗｅｂフロントエンド
１１２０ 専門家
１１４０ ショップバックエンド
１１４５ ユーザデータベース
１１５０，１１５５ ステップ
１１６０ モデルマネージャ
１１７０ 計算リソース
１２１２～１２１６ 測定システム
１２２０ トレーニング済みモデル
１２３０ 評価
１２４０ クラウド
１２５０ ステップ
１２６０ 適応化が行われたトレーニング済みモデル
１２７０ ステップ
１３００ 方法
１３１０～１３４０ ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】