特表2024-530492 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ テイアサイエンティフィック，エルエルシーの特許一覧

特表2024-530492マルチモーダル顕微鏡検査用のシステムおよび方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6A
6B
6C

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-21

(54)【発明の名称】マルチモーダル顕微鏡検査用のシステムおよび方法

(51)【国際特許分類】

G06T 1/00 20060101AFI20240814BHJP

G06T 3/16 20240101ALI20240814BHJP

G06T 5/60 20240101ALI20240814BHJP

G06T 7/00 20170101ALI20240814BHJP

G06V 10/80 20220101ALI20240814BHJP

G06V 10/82 20220101ALI20240814BHJP

【ＦＩ】

G06T1/00 280

G06T1/00 500B

G06T3/16

G06T5/60

G06T7/00 600

G06T7/00 350B

G06V10/80

G06V10/82

【審査請求】有

【予備審査請求】有

(21)【出願番号】P 2024507179

(86)(22)【出願日】2022-04-15

(85)【翻訳文提出日】2024-03-29

(86)【国際出願番号】 US2022024985

(87)【国際公開番号】W WO2023014410

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】63/229,290

(32)【優先日】2021-08-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/718,805

(32)【優先日】2022-04-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】524047501

【氏名又は名称】テイアサイエンティフィック，エルエルシー

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤寛之

(72)【発明者】

【氏名】フィールド，クリストファー

(72)【発明者】

【氏名】フィールド，ケビン

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA16

5B057CB12

5B057CB16

5B057CC01

5B057CG10

5B057DA17

5L096AA13

5L096BA20

5L096DA01

5L096DA04

(57)【要約】

製造元のデータ形式およびＡＰＩの制限を回避する、小規模コンピュータアーキテクチャ上でマルチモーダル顕微鏡の画像データを処理するためのシステムおよび方法である。前記システムおよび方法は、顕微鏡機器の制御ハードウェアで利用できるウェブベースのアプリケーションを活用しており、これにより、制御ハードウェアの直接視覚出力がキャプチャされ、エッジコンピューティングデバイスに送信され、１つ以上の推論モデルによって並行して処理されて、複合ハイパーイメージを構築する。
【選択図】図６Ｂ

【特許請求の範囲】

【請求項1】

画像データを処理してハイパーイメージを生成するシステムであって、
少なくとも１つの画像キャプチャデバイスと、
前記少なくとも１つの画像キャプチャデバイスを動作させるために、前記少なくとも１つの画像キャプチャデバイスに接続可能な少なくとも１つの制御コンピュータと、
を含み、
ハイパーイメージを構築するために、少なくとも１つのデータストリームは少なくとも１つの推論モデルで処理され、
前記少なくとも１つのデータストリームのうちの第１のデータストリームは、前記少なくとも１つの制御コンピュータの画面キャプチャを含み、
前記画面キャプチャは、前記少なくとも１つの制御コンピュータが前記少なくとも１つの画像キャプチャデバイスによってキャプチャされた画像データを表示している間に取得される、
システム。

【請求項2】

前記画面キャプチャは、前記少なくとも１つの制御コンピュータに遠隔実行可能な命令を提供することによって取得される、請求項１に記載のシステム。

【請求項3】

前記遠隔実行可能な命令はウェブベースのアプリケーションである、請求項２に記載のシステム。

【請求項4】

前記画面キャプチャは、前記少なくとも１つの制御コンピュータのディスプレイの少なくとも一部を含む、請求項１に記載のシステム。

【請求項5】

前記ディスプレイは、前記少なくとも１つの制御コンピュータの物理ディスプレイおよび仮想ディスプレイのうちの少なくとも１つを含む、請求項４に記載のシステム。

【請求項6】

前記少なくとも１つのデータストリームは複数のデータストリームであり、前記複数のデータストリームのうちの第２のデータストリームは、ストレージデバイスから取得された以前に記録された表示情報を含む、請求項１に記載のシステム。

【請求項7】

前記少なくとも１つのデータストリームは複数のデータストリームであり、前記複数のデータストリームは、前記複数のデータストリームのうちの１つ以上のデータストリームのタイムシフト、タイムスケール、およびレイテンシ補正のうちの少なくとも１つを介して一貫性が保たれる、請求項１に記載のシステム。

【請求項8】

前記少なくとも１つのデータストリームは複数のデータストリームであり、前記複数のデータストリームのうちの第３のデータストリームは、追加の制御コンピュータの物理ディスプレイのウェブカメラフィードを含み、前記追加の制御コンピュータは、少なくとも１つの追加の画像キャプチャデバイスに接続され、前記少なくとも１つの追加の画像キャプチャデバイスによってキャプチャされた画像データを表示する、請求項１に記載のシステム。

【請求項9】

前記少なくとも１つの推論モデルは機械学習アルゴリズムとして構成される、請求項１に記載のシステム。

【請求項10】

前記少なくとも１つの画像キャプチャデバイスは顕微鏡機器である、請求項１に記載のシステム。

【請求項11】

画像データを処理してハイパーイメージを生成する方法であって、
少なくとも１つの制御コンピュータによって制御可能な少なくとも１つの画像キャプチャデバイスによって、試料の画像データをキャプチャするステップと、
前記少なくとも１つの制御コンピュータから少なくとも１つのデータストリームのうちの第１のデータストリームを取得するステップと、
ハイパーイメージを構築するために、前記少なくとも１つのデータストリームを少なくとも１つの推論モデルで処理するステップと、
を含み、
前記少なくとも１つのデータストリームのうちの前記第１のデータストリームは、前記少なくとも１つの制御コンピュータの画面キャプチャを含み、
前記画面キャプチャは、前記少なくとも１つの制御コンピュータが前記少なくとも１つの画像キャプチャデバイスによってキャプチャされた画像データを表示している間に取得される、
方法。

【請求項12】

前記画面キャプチャを取得するために、前記少なくとも１つの制御コンピュータに遠隔実行可能な命令を提供するステップをさらに含む、請求項１１に記載の方法。

【請求項13】

前記遠隔実行可能な命令はウェブベースのアプリケーションである、請求項１２に記載の方法。

【請求項14】

前記画面キャプチャは、前記少なくとも１つの制御コンピュータのディスプレイの少なくとも一部を含み、
前記ディスプレイは、前記少なくとも１つの制御コンピュータの物理ディスプレイおよび仮想ディスプレイのうちの少なくとも１つを含む、
請求項１１に記載の方法。

【請求項15】

前記少なくとも１つのデータストリームは複数のデータストリームであり、前記複数のデータストリームのうちの第２のデータストリームは、ストレージデバイスから取得された以前に記録された表示情報を含み、
前記複数のデータストリームは、タイムシフト、タイムスケール、およびレイテンシ補正のうちの少なくとも１つを前記複数のデータストリームのうちの１つ以上のデータストリームに適用することによって一貫性が保たれる、
請求項１１に記載の方法。

【請求項16】

前記少なくとも１つの推論モデルは、エッジコンピューティングデバイス上で実行可能な機械学習アルゴリズムとして構成される、請求項１１に記載の方法。

【請求項17】

前記機械学習アルゴリズムは畳み込みニューラルネットワークである、請求項１６に記載の方法。

【請求項18】

前記機械学習アルゴリズムは畳み込みニューラルネットワークの近似である、請求項１６に記載の方法。

【請求項19】

前記少なくとも１つのデータストリームのうちの第４のデータストリームは前記ハイパーイメージである、請求項１１に記載の方法。

【請求項20】

画像データを処理してハイパーイメージを生成するエッジコンピューティングデバイスであって、
ハイパーイメージを構築するために、少なくとも１つの推論モデルで少なくとも１つのデータストリームを処理する並列コンピューティングプロセッサを含み、
前記エッジコンピューティングデバイスは、少なくとも１つの画像キャプチャデバイスを動作させるように構成された制御コンピュータに接続される、または制御コンピュータとして機能し、
前記エッジコンピューティングデバイスは、前記少なくとも１つのデータストリームのうちの第１のデータストリームを取得するように構成され、
前記少なくとも１つのデータストリームのうちの前記第１のデータストリームは、少なくとも１つの制御コンピュータの画面キャプチャを含み、
前記画面キャプチャは、前記少なくとも１つの制御コンピュータが前記少なくとも１つの画像キャプチャデバイスによってキャプチャされた画像データを表示している間に取得される、
エッジコンピューティングデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０２２年４月１２日に出願された米国特許出願第１７／７１８，８０５号、および２０２１年８月４日に出願された米国仮特許出願第６３／２２９，２９０号（発明名称「マルチモーダル顕微鏡検査用のシステムおよび方法」）に基づく優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

材料科学の分野、さらには顕微鏡法の分野においても、一般に顕微鏡は材料の局所構造や化学的性質の変化を評価および調査するための重要なツールである。材料のこれらの基本的な構成要素を調べることにより、マクロ特性とミクロ特性の関係をより深く理解することができ、その結果、今後の研究開発の指針となるだけでなく、材料がなぜそのように動作または失敗したのかを遡及的に判断することができる。

【0003】

電子顕微鏡技術の進歩は、典型的なワークフローおよび方法論に革命をもたらしたが、これらの進歩は、有用な結果を得るために評価される必要がある非常に大量のデータの作成にもつながった。電荷結合素子（ＣＣＤ）、またはより一般的にはコンピュータ制御の画像取得装置では、かつて労働集約的なプロセスを、取得時点に近い画像キャプチャに置き換え、これらの顕微鏡を使用したリアルタイム観察を可能にする。多次元画像セット（またはハイパーイメージ）を生み出すマルチモーダルデータ取得の最近の発展により、処理する必要のある利用可能なデータの量が飛躍的に増加している。

【0004】

その結果、顕微鏡データの取得にかかる時間で科学者たちが遭遇したボトルネックが、そのデータの分析にかかる時間での別のボトルネックに変わった。この情報の分析は、高度なスキルを必要とする労働集約的な作業である。さらに、手動分析はエラーやバイアスが発生しやすく、最新の機器ではうまく拡張できない。

【0005】

それに応じて、専門家は、これらのデータセット、特にディープ畳み込みニューラルネットワーク（ＣＮＮ）およびビジョントランスフォーマー（ＶｉＴ）の処理を自動化する試みにおいて、人工知能および機械学習に注目している。しかし、これらの取り組みの欠点は、有用な結果を効果的に提供するために、これらのネットワークを実行するために必要な大量のハードウェアおよび／またはクラウドベースのコンピューティングリソースにある。

【0006】

ＣＮＮおよびＶｉＴを利用するソリューションは魅力的であるが、一般的な研究室の実際の運用上の制約を考慮すると実用的ではない。研究室では、外部インターネット接続のないネットワーク上の機器を隔離するのが標準的な方法であり、その結果、通常、クラウドベースのシステムをリアルタイムで操作する機能がなくなる。これらの複雑な顕微鏡を操作するために必要な様々な独自のシステムやソフトウェアにより、研究室内のマシン間であっても、移植性がほとんどまたはまったくないデータセットやファイル形式になることもよくある。さらに、機密保持契約などにより、たとえ技術的なハードルを克服できたとしても、クラウドベースのシステムの使用は困難または不可能になっている。

【0007】

そこで、実用的かつ平均的な研究室にとって利用可能であり、現代の顕微鏡法で生成される膨大なデータセットの処理に必要な労力を軽減するシステムおよび方法が必要とされている。

【発明の概要】

【0008】

本発明は、顕微鏡画像の解析と定量化に必要な労力と専門知識を削減するスケーラブルでアクセス可能なソリューションを提供する、マシンおよびコンピュータビジョンを活用する人工知能プラットフォームを包含する。マシンビジョンプラットフォームは、一般的な研究室がアクセスできるコンピュータハードウェアを使用して、スタンドアロンの顕微鏡間で特徴ラベル付けアルゴリズムをホストし、展開し、インターフェースする役割を果たす。

【0009】

ここでは、サーバ（好ましくはウェブサーバ）は、リアルタイムのシングルまたはマルチモーダル顕微鏡データフローを提供できる１つ以上の顕微鏡機器とインターフェースするために使用される。各機器の制御ハードウェアは、サーバによって提供されるウェブベースのアプリケーションを実行することにより、制御ハードウェアの物理または仮想ディスプレイから直接キャプチャされた１つ以上のデータストリームをサーバに提供することができる。これらのデータフローのそれぞれは、データセットの整列と自動特徴検出を実行するために、クライアントおよび／またはサーバによって、人工知能アーキテクチャまたは人工知能アーキテクチャの変換で処理するための複数のモダリティワークフローに変換され、その結果、対応するハイパーイメージ（単数または複数）および／または視覚的および数値的定量化が生成される。その後、ワークフロー（単数または複数）が結合および処理され、読み取り可能な形式でユーザに提示される。

【0010】

これらのデータフローが管理される方法により、データが実際にいつキャプチャされたかに関係なく、任意の数の顕微鏡機器から提供される任意の数のデータセットを組み合わせて、試料材料のリアルタイムまたは疑似リアルタイム分析を行うことができる。以前にキャプチャされたデータセットを「再生」して、現在キャプチャされているデータセットとリアルタイムで比較または使用できるため、より包括的で柔軟な複合分析を実行することができる。得られるハイパーイメージにおける人為的なバイアスやアーティファクトを回避するために、様々な分析モデルのレイテンシが考慮されることがある。

【図面の簡単な説明】

【0011】

本発明の実施形態の利点は、以下の例示的な実施形態の詳細な説明から明らかであり、これらの説明は、同様の符号が同様の要素を示す添付の図面と関連して読むべきである。

【0012】

【図1】機器からデータを取得するためにクライアント発信の画面キャプチャを使用するコンピュータネットワークの概略図である。

【0013】

【図2】機器からデータを取得するためにクライアント発信の画面キャプチャを使用するコンピュータネットワークを介したデータフローの概略図である。

【0014】

【図3】クライアント発信の画面キャプチャを使用して機器からデータを取得する例示的なシーケンスである。

【0015】

【図4】ＣＰＵベースのデータ分析と元の画面キャプチャを使用して機器からデータを取得する分析プラットフォームの例示的な実施形態である。

【0016】

【図5】ＧＰＵベースのデータ分析と元の画面キャプチャを使用して機器からデータを取得する分析プラットフォームの例示的な実施形態である。

【0017】

【図6A】クライアント固有のソフトウェアによる非同期ビデオキャプチャを利用できる分析プラットフォームの例示的な実施形態である。

【0018】

【図6B】クライアント発信の画面キャプチャを使用して１つのエッジコンピューティングデバイスからデータを取得し、リアルタイムで１つのエッジコンピューティングデバイス上で複数の推論モデルを使用する分析プラットフォームの例示的な実施形態である。

【0019】

【図6C】クライアント発信の画面キャプチャを使用して機器からデータを取得し、機器に直接接続されていない他のディスプレイと共有する分析プラットフォームの例示的な実施形態である。

【発明を実施するための形態】

【0020】

本発明の態様は、本発明の特定の実施形態を対象とする以下の説明および関連する図面で開示される。本発明の精神または範囲から逸脱することなく、代替実施形態が考案され得る。加えて、本発明の関連する詳細を不明瞭にしないように、本発明の例示的な実施形態のよく知られている要素は詳細に説明されず、または省略される。さらに、説明の理解を容易にするために、本明細書で使用されるいくつかの用語について以下に説明する。

【0021】

本明細書で使用される場合、「例示的」という言葉は、「一例、事例、または例示として役立つ」ことを意味する。本明細書に記載される実施形態は限定的なものではなく、単なる例示である。説明された実施形態は、必ずしも他の実施形態よりも好ましいか、または有利であると解釈されるべきではないことを理解されたい。さらに、「本発明の実施形態」、「実施形態」、または「発明」という用語は、本発明のすべての実施形態が、説明される特徴、利点、または動作モードを含むことを必要としない。

【0022】

さらに、多くの実施形態が、例えば、コンピューティング装置の要素によって実行されるべき一連の動作に関して説明される。本明細書で説明される様々な動作は、特定の回路(例えば、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）によって、１つ以上のプロセッサによって実行されるプログラム命令によって、または両方の組合せによって実行され得ることが認識されよう。加えて、本明細書に記載される動作のシーケンスは、実行時に、関連するプロセッサに本明細書に記載される機能を実行させる、対応するコンピュータ命令のセットを格納した、任意の形式のコンピュータ可読記憶媒体内で完全に具現化されるものと見なされ得る。従って、本発明の様々な態様はいくつかの異なる形態で具現化されてよく、そのすべてが、請求する主題の範囲内に入ると考えられる。加えて、本明細書で説明される実施形態ごとに、任意のそのような実施形態の対応する形態は、本明細書では、例えば、説明される動作を実行する「ように構成された論理」として説明されることがある。

【0023】

さらに、コンピュータ装置、計算装置などに関する実施形態には、デスクトップコンピュータ、ラップトップコンピュータ、サーバ、ハンドヘルド装置、スマートフォン、タブレット、ＰＤＡ、サーバ、クラウドベースのコンピューティング、および計算タスクを実行するおよび／またはコンピュータコードを実行するための少なくともプロセッサおよびメモリまたはストレージを備える他の電子装置を含み得る。

【0024】

顕微鏡機器１００は、様々なイメージング技術および手法を使用して試料や対象材料の視覚データをキャプチャするために使用され得る装置である。このような装置には、試料や対象材料を記述する画像やデータセットを生成するために、複合技術、立体視技術、共焦点技術、走査技術、透過技術、偏光技術、反射技術と組み合わせて使用できる、可視光顕微鏡、白色光顕微鏡または分光光顕微鏡、赤外顕微鏡、電子顕微鏡、Ｘ線顕微鏡、赤外顕微鏡などが含まれるが、これらに限定されない。

【0025】

しかし、本明細書に記載されるシステムおよび方法は、一般に、天文学、地質学、医療イメージング、分光法、およびビデオ／家庭用監視の分野などの（ただし、これらに限定されない）、より広範なイメージングスキームにも適用することができる。例えば、システムおよび方法は、ハイパースペクトル分析、地中レーダーまたは同様の技術、Ｘ線装置、コンピュータ断層撮影（ＣＴ）スキャナ、磁気共鳴画像法（ＭＲＩ）装置、質量分析計または一般的な分光計、およびビデオカメラと組み合わせて使用することができる。

【0026】

より複雑な顕微鏡装置の場合、顕微鏡機器には通常、顕微鏡機器１００とインターフェースし、顕微鏡機器を制御し顕微鏡機器からデータを取得するソフトウェアプログラムおよびユーザインターフェイスを実行するために必要なプロセッサ、メモリ、ストレージ、およびハードウェア接続を含む制御コンピュータ１０１が付属している。制御コンピュータ１０１は、エンドユーザが表示技術などを使用して制御コンピュータ１０１のハードウェア自体でデータフィードを確認し、分析を実行することを可能にしてもよい。または、制御コンピュータ１０１は、データ分析が行われる別の計算装置とのネットワーク接続を介して「ヘッドレス」方式で動作することができる。

【0027】

市販の顕微鏡装置は、独自のソフトウェアまたはプロトコルを使用して実行されることが多い。この独自のソフトウェアには、ソフトウェアおよび／または顕微鏡の機能に関連付けられ、および／または機能を制限する可能性のある、ライセンスまたは同様のデジタル著作権管理（ＤＲＭ）要素が含まれる場合と含まれない場合がある。この独自のソフトウェアは通常、顕微鏡１００を実行および制御し、データ出力をキャプチャよび生成し、および／またはデータ分析、評価などの顕微鏡外のタスクを実行するために必要とされる。ソフトウェアとプロトコルは製造元ごとに異なる傾向があるため、アプリケーションプログラミングインターフェイス（ＡＰＩ）やファイル形式などに関して一貫性がほとんど、またはまったくない。この一貫性の欠如は、ユーザが独自のソフトウェアの使用を完全にライセンスおよび／または許可されている場合、または独自のソフトウェアに完全にアクセスできる場合でも存在する可能性がある。

【0028】

なお、各顕微鏡機器１００は、画像データを収集するための１つ以上の検出器１０２を含み得る。１つ以上の検出器から収集された画像データは、分離されたまたは単一のデータストリームとして閲覧することができ、または任意の数または組み合わせの検出器１０２からの画像データを組み合わせた複合データストリームとして閲覧することができる。複数の顕微鏡機器１００を組み合わせたり、単一の機器としてグループ化したりして、並列またはシリアル形式でデータを生成することもできる。

【0029】

これらのハードルを克服するために、図１に概略的に示されるように、１つ以上のエッジコンピューティングデバイス１１０は、制御コンピュータ１０１の分析ツールを補足または交換すること、ＡＰＩおよび／またはデータ形式の制限を回避すること、および／またはより一般的には、独自のソフトウェアの操作が困難または煩雑な側面を克服することを目的として、ネットワーク１２０を介して１つ以上の制御コンピュータ１０１に接続され得る。ネットワーク１２０は、インターネットなどへの外部接続１２１を含んでもよく、あるいはネットワークは外部接続１２１から分離されてもよい。ネットワーク１２０は、１つ以上の専用のデータ分析コンピュータ１３０に接続されてもよい。ネットワーク１２０は、有線、無線、または両方の組み合わせでもよい。ネットワークでは、ローカル、パーソナル、ワイドエリアネットワーク（または同様の）テクノロジ、イーサネット、シリアル接続、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｚ－Ｗａｖｅ、セルラー接続などのいずれかのテクノロジまたはプロトコルを単独または組み合わせて利用することができる。

【0030】

各エッジコンピューティングデバイス１１０は、１つ以上の計算モデルまたは推論モデルを実行できる適切なプロセッサ、メモリ、およびストレージを備えている。エッジコンピューティングデバイス１１０は、１つ以上の計算モデルを並列的に実行できるグラフィックス処理ユニット（ＧＰＵ）または同様の高度に並列化された処理ユニットを含むことが好ましいが、モデルは、通常のコンピュータ処理ユニット（ＣＰＵ）、テンソル処理ユニット（ＴＰＵ）などを制限なく使用して実行することもできる。各エッジコンピューティングデバイス１１０は、出力を提供するために計算モデルを使用してストリームを解析するために、ネットワーク１２０を介して顕微鏡機器１００、制御コンピュータ１０１、および／またはデータ分析コンピュータ１３０から１つ以上のビデオおよび／またはデータストリームを受信するように構成される。この出力は、エンドユーザによってエッジコンピューティングデバイス１１０上で直接閲覧できるが、好ましくは、出力は専用のデータ分析コンピュータ１３０または制御コンピュータ１０１に渡される。

【0031】

エッジコンピューティングデバイス１１０によって受信されたビデオおよび／またはデータストリーム１６１は、顕微鏡機器１００自体で発生してもよく、顕微鏡機器１００によってキャプチャされた画像に基づいて、制御コンピュータ１０１のプロトコルおよびアルゴリズムによって実行される出力またはデータ分析として発生してもよく、前述のいずれかに応答してデータ分析コンピュータ１３０のプロトコルまたはアルゴリズムから発生してもよく、前述のいずれかのユーザによる直接入力または操作から発生してもよい。

【0032】

ビデオおよび／またはデータストリーム１６１は、記録または保存されたビデオ、データ、および/または処理された分析の形で、ネットワークに接続されたエッジコンピューティングデバイス１１０、データ分析コンピュータ１３０、制御コンピュータ１０１、または他のコンピュータデバイス１４０のいずれかのストレージデバイス１４１から発生してもよい。これらの記録されたストリームは、進行中またはリアルタイムの分析と同時に、実質的に同時に、または以前にキャプチャされた画像データまたは分析を反映または対応する。ここで、「実質的に同時に」とは、適切なデータ信号の収集、送信、受信、処理において計算ハードウェアおよびネットワークハードウェアによって発生するレイテンシ、遅延を考慮して、データがリアルタイムで効果的にキャプチャされることを意味する。

【0033】

この方法でストリーミングおよび／または処理された記録データは、元の速度または元の時間枠で解析することができる。または、この記録データは、進行中またはリアルタイムの分析および／または別の記録された分析のタイミングおよび／またはスケールを反映、一致する、または互換性を持たせるために、タイムシフト、タイムスケール、または同様の変換を受ける場合がある。このタイムシフト／スケーリングにより、より包括的なハイパーイメージを生成することができる。データストリームを、最終的な処理された形式のみに依存するのではなく、生の形式または「記録されたままの」形式から再生すると、これらの記録されたデータストリームに、分析中のリアルタイムストリームと同じ処理、分析、および登録を行うことができる。これは、これらのプロセスが並行して実行されるように構成される場合、および／または機械学習アルゴリズムを使用して実行されるように構成される場合に有利である。しかし、場合によっては、記録されたデータストリームを最終的な処理された形式で渡すことが好ましい場合もある。データは、ＪＰＥＧ、ＭＰＥＧ、ＲＡＷおよび当技術分野で知られている他の圧縮方式または生データ形式などの圧縮形式と非圧縮形式の両方でストリーミングすることもでき、関連する圧縮および解凍がそれぞれのデバイス上で行われる。

【0034】

顕微鏡機器１００および／または制御コンピュータ１０１からビデオおよび／またはデータストリームを生成するために、制御コンピュータは、第１のステップＳ１において、ネットワーク１２０を介してサーバによって提供される、および／またはエッジコンピューティングデバイス１１０またはニアエッジコンピューティングデバイスを介してホストされるウェブベースのアプリケーション１６０にアクセスできるように構成されることが好ましい。エッジコンピューティングデバイス１１０またはニアエッジコンピューティングデバイス（単数または複数）は、サーバまたはローカルマイクロサーバとして構成することもできる。ウェブベースのアプリケーション１６０は、データキャプチャを実行するように構成される。

【0035】

ウェブベースのアプリケーション、サーバなどの移植性により、典型的な互換性の問題を回避することができる。従って、ウェブブラウザが普及しているため、ウェブベースのアプリケーションはほとんどのコンピュータに簡単に実装できる。ネットワーク１２０がインターネットまたは研究室外部のネットワークから分離されている実施形態においても、ウェブブラウザは、ネットワーク１２０上にローカルに保存および／または提供されるサーバ、ウェブベースのアプリケーションなどにアクセスするために依然として使用され得る。

【0036】

適切なシステム許可およびアクセスが利用可能な場合、エッジコンピューティングデバイス１１０が制御コンピュータ１０１としても機能すること、または制御コンピュータ１０１がエッジコンピューティングデバイス１１０として機能することも考えられる。データ分析コンピュータ１３０は、同様の方法で制御コンピュータ１０１および／またはエッジコンピューティングデバイス１１０と組み合わせることができる。従って、本発明のビジョンシステムは、本明細書で説明される制御コンピュータ１０１、エッジコンピューティングデバイス１１０、およびデータ分析コンピュータ１３０よって実行される役割の任意の組み合わせを実行するように構成された単一のコンピュータデバイス上でローカルに実行され得る。これらの役割がこの単一のデバイスに統合されると、ネットワーク１２０を介して通常行われるビデオおよび／またはデータストリーム１６１の通信および/または送信は、関連するプロセス、プログラム、および／またはハードウェアユニット間で単一のデバイス内で行われることになる。

【0037】

図２を参照する。図２では、エッジコンピューティングデバイス１１０、制御コンピュータ１０１、およびネットワーク１２０の他の構成要素間の通信の１つの可能な実施形態の簡略化された概略図が示され、ウェブベースのアプリケーション１６０の提供方法と、ビデオおよび／またはデータストリーム１６１の受信方法を強調表示する。なお、図２のリンクは、必ずしもこれらの通信／送信が通る正確なパス（ネットワーク１２０を通過する）を表し、説明し、または制限するものではなく、このようなパスの可能な実施形態は、図１により詳細に例示されている。同様に、図２に示される構成要素の数、例えば、データ分析コンピュータ１３０の数は、例示的なものであり、示された方法で通信できるそのようなデバイスの総数を制限することを意図したものではない。

【0038】

ウェブベースのアプリケーションに加えて、所定の制御コンピュータ１０１がアクセス制御されている、またはロックダウンされたコンピューティング環境を有するように構成される場合であっても、リモートデスクトッププロトコル、セキュアシェルプロトコル、テルネットプロトコルなどを含む（ただし、これらに限定されない）、制御コンピュータ１０１の外部でホストされるソフトウェアが制御コンピュータ１０１に配信され、制御コンピュータ１０１によって実行される他の手段も企図される。このような接続は、暗号化されていても、暗号化されていない場合もある。

【0039】

ウェブベースのアプリケーション１６０は、第２のステップＳ２において、制御コンピュータ１０１の画面１５０およびそこに表示される情報を適切なデータ形式でキャプチャするように構成されており、それにより、独自のファイル規格や一貫性のないファイル規格を変換したり解析したりすることを必要とせずに、制御コンピュータによって記録されたデータを取得できる。この形式は、静止画像、一連の静止画像、またはビデオフィードであってもよい。制御コンピュータの画面１５０全体を一度にキャプチャし、後のステップで処理して関心領域を導出してもよく、制御コンピュータ画面の１つ以上の個別の関心領域をキャプチャしてもよい。なお、ここでの「画面」は、必ずしも制御コンピュータ１０１の付随の物理ディスプレイ装置（単数または複数）１５１（コンピュータモニタ、ＬＣＤ／ＬＥＤ画面、タブレットまたは電話の画面など）に限定されるわけではなく、制御コンピュータ１０１の適切なディスプレイドライバまたはソフトウェアによって構成されるように、制御コンピュータ内に仮想的に構築／構成された画面または仮想ディスプレイを含んでもよい。

【0040】

制御コンピュータ１０１の画面キャプチャは、制御コンピュータのディスプレイモニタに向けられ、別のコンピューティングデバイスによって処理されるウェブカメラ１５２の使用などの代替手段を通じて実行され得ることも考えられる。ビデオキャプチャデバイス１５３、キャプチャカード、スプリッタ、アダプタなどは、制御コンピュータのネイティブディスプレイケーブルまたはインフラストラクチャとともに、またはその代わりに、制御コンピュータのディスプレイ出力とインラインで、またはその代わりに接続されてもよい。これにより、制御コンピュータのビデオ出力をコピー、分割、または別のコンピューティングデバイスに転送して処理することができる。この場合の他のコンピューティングデバイスは、エッジまたはニアエッジコンピューティングデバイス、データ分析コンピューティングデバイス、またはさらなる専用のビデオ処理コンピューティングデバイスであってもよい。

【0041】

ウェブベースのアプリケーション１６０によってキャプチャされた制御コンピュータ１０１の画面１５０の領域１５４は、制御コンピュータ１０１に接続された顕微鏡機器１００またはセンサからの直接のフィードまたは出力を含むことができ、またはこれらの領域は、接続された顕微鏡機器１００によってキャプチャされた画像またはデータから導出された、（制御コンピュータ１０１上に既に存在する製造元のソフトウェア、プロトコル、またはアルゴリズムによって処理および／または解析された）前処理された、合成された、中間の、または最終的なデータフィードを含んでもよい。別の可能な実施形態は、顕微鏡機器１００のセンサおよび検出器をエッジコンピューティングデバイス１１０に直接接続することを含むことができる。

【0042】

次に、制御コンピュータ１０１の１つ以上のキャプチャされた領域または画面１５０は、処理されるために、直接またはネットワーク１２０の別の構成要素を介してエッジコンピューティングデバイス１１０に送信される。

【0043】

複数の顕微鏡機器１００、あるいは所定の顕微鏡機器１００内の複数のセンサまたは検出器１０２によってキャプチャされたデータは、通常、直接比較を可能にする方法で典型的には互いに正確に重なり合わない画像フィールドを生成することが多いことに留意することが重要である。これは、センサまたは検出器１０２が正確に校正されている場合でも当てはまり得る。さらに、ウェブベースのアプリケーション１６０によって採用される画面キャプチャ方法、および／または外部のキャプチャデバイス１５３、ウェブカメラ１５２などの性質により、画像フィードにさらなる歪みまたは不正確さが導入され、有意義な直接比較が妨げられる場合がある。従って、他のキャプチャされた画像に直接的または実質的に対応するために、各画像またはデータセットは分析タスクで適切にトリミング、スケーリング、および／または変換される必要がある。そうでない場合、画像間の特徴認識または特徴相関の一貫性が失われる。このような問題は、キャプチャされた顕微鏡データから３次元画像を構築しようとするとさらに悪化し、複数の視野が関与することになる。

【0044】

図３を参照する。図３では、ハイパーイメージを作成および分析するための例示的なシーケンスが示されている。

【0045】

最終的なハイパーイメージを構築するために、エッジコンピューティングデバイス１１０は、第３のステップＳ３で１つ以上のデータまたはビデオストリーム１６１を受信し、第４のステップＳ４でデータセットを整列させるために必要な変換を実行し、および／または第５のステップＳ５で選択された推論モデル（単数または複数）に従って画像前処理および／または特徴／オブジェクト検出を実行し、第６のステップＳ６で推論されたデータセットの登録を実行して、最終的なハイパーイメージを生成するように構成される。上記で強調したステップＳ１～Ｓ６、および以下に説明するステップＳ７～Ｓ１０は、特に関連するデバイスおよびデータストリームの数、ならびに並列コンピューティングが使用される好ましい実施形態を考慮すると、任意の順序でおよび／またはステップを省略して実行することができる。

【0046】

第７のステップＳ７において、１つ以上の推論モデルは各ストリーム、ストリームの組み合わせに適用されてもよい。第８のステップＳ８において、第１のハイパーイメージは１つ以上のデータストリームと併せて使用され、同様に処理されて第２のハイパーイメージを生成することができる。得られるハイパーイメージには、数値データに加えて、１つ以上の推論モデルからの推論結果が含まれる場合がある。エッジコンピューティングデバイス１１０によって実行されるプロセスは、最終登録ステップに進む前に、各画像ストリームがシリアルで分析ステップを受けるシリアル方式で実行することができる。または、プロセスは並列的に実行することもできる。すなわち、各画像ストリームは、登録ステップに進む前に、並行して分析ステップを経て同時に処理されてもよい。または、各画像ストリームは、同時に並行して分析および登録を受けてもよい。

【0047】

推論モデルは、畳み込みニューラルネットワークとして構成されることが好ましいが、深層学習、深層ニューラルネットワーク、人工知能、統計分析、変換、およびマシンビジョンアルゴリズムなどの他の機械学習アルゴリズムまたは方法論が使用されてもよい。同様に、スケールベクトルマシン（ＳＶＭ）、主成分分析（ＰＣＡ）、多変量分析（ＭＶＡ）、クラスタリングアルゴリズム、パターンマッチングアルゴリズムを使用することができる。

【0048】

エッジコンピューティングデバイス１１０は、機械学習モデルを直接実行してもよく、あるいはエッジコンピューティングデバイス１１０は代わりに、大幅に少ないコンピューティングリソースを使用して実質的に同様の効果を与える、より包括的な機械学習モデルの変換、導出、代理、シミュレーション、または同様の縮小および／または最適化されたバージョンを実行してもよい。トレーニング済みまたは確立済みの機械学習モデルは、元のモデルのトレーニングに使用されたものより機能が低いコンピューティングハードウェア、または取得が容易なコンピューティングハードウェアに展開するために最適化および圧縮できる。従って、エッジコンピューティングデバイス１１０は、研究室がより広範囲にまたは容易にアクセスできる、より合理的または手頃な価格のコンピュータハードウェアで有利に構成され得る。

【0049】

プラットフォームにはデフォルトの推論モデルのセットが提供されているが、追加のモデルがプラットフォームに提供され、プラットフォームによって実行されるように、これらの推論モデルをモジュール方式で構成することが有利である。このようなモジュール設計により、エンドユーザは分析を実行してハイパーイメージを導出する際の柔軟性が高まる。

【0050】

ハイパーイメージを生成する際に、様々な推論モデルのレイテンシも考慮することができ、その結果、第９のステップＳ９において、第１の推論モデルを減速、加速、または変換または適応して、異なる速度または異なるレイテンシで動作する第２またはそれ以上の推論モデルに対応することができる（タイムシフトされた記録されたデータストリームの場合と同様である）。このような対応は、一貫性のないデータの提供で行われる登録またはその他の分析によってハイパーイメージに与えられる不当な影響、人為的なバイアス、またはアーティファクトを回避するために実行される。これにより、様々なデータソースから様々な推論モデルを使用して、よりシームレスでリアルタイムのハイパーイメージを正確に生成できるようになる。

【0051】

ハイパーイメージが生成されると、第１０のステップＳ１０において、エンドユーザによってエッジコンピューティングデバイス１１０上で直接閲覧されてもよく、あるいは好ましくは、エンドユーザによる閲覧のために専用のデータ分析コンピュータ１３０にストリーミングされてもよい。エッジコンピューティングデバイス１１０の計算モデルを適応させることによって、様々なデータソースを利用するリアルタイムのデータフィードがエンドユーザに提供され、ハイパーイメージの分析によって得られる全体的な結果と洞察を強化させることができる。従って、エンドユーザは、結果を手動で集計するのに費やす時間が減り、このリアルタイム生成によって可能になる科学により多くの時間を費やすことができる。

【0052】

ハイパーイメージは、静的、静止、または単一の画像またはデータフィールドに限定されない。ハイパーイメージは、画像またはデータフィールドのストリーム、ビデオ、または１つ以上のキャプチャされた画像またはデータフィールドの他の複合体を含むことができる。ハイパーイメージは、二次元の画像またはデータフィールド、三次元の画像またはデータフィールド、または時間次元と組み合わせた両者の任意の組み合わせを反映することができる。従って、ハイパーイメージには、１Ｄ、２Ｄ、３Ｄ、およびＮ－Ｄデータセットのいずれかを含めることができる。ここで、Ｎは、元のデータセット内の任意の次元数、または出力ハイパーイメージを作成するためのデータストリーム、データセット、および／または入力ハイパーイメージの組み合わせによって生じる次元数である。

【0053】

図４および図５は、サーバ４４０に接続されたクライアント４３０を示す。クライアント４３０は、例えば、データ分析コンピュータ（単数または複数）１３０によって実現されてもよく、サーバ４４０は、例えば、エッジコンピューティングデバイス１１０によって実現されてもよい。クライアント４３０内には、ビデオおよび／またはデータストリーム１６１と、サーバ４４０によって受信されたウェブベースのアプリケーション１６０がある。ウェブベースのアプリケーションには、クライアント４３０とインターフェースするための画面キャプチャＡＰＩ４０２、ビデオおよび／またはデータストリーム１６１上に表示されるまたはクライアント４３０の画面１５０に表示される情報を構成するオーバーレイ４０１、画面１５０の領域１５４をキャプチャするためのフレームグラバー４０３、サーバ４４０との計算インターフェースを提供するサーバハンドラ４１０などの計算ユニットが含まれる。同様に、サーバ４４０は、サーバ４４０上の計算タスクを管理するタスクマネージャ４２１、サーバに接続された任意のクライアント４３０に対する計算インタフェースとして機能するウェブサーバプロセス４２２、計算タスクを実行するための複数のコア４２４を備えるワーカープール４２３、および上記のような形で人工知能／機械学習モデルを格納するためのストレージ４２６を含む。

【0054】

図４は、ほとんどの計算タスクがサーバのＣＰＵ４２０に基づくワーカープールによって実行される実施形態を示す。ＣＰＵ４２０は、データ分析と画面キャプチャの両方を実行するように機能するが、サーバ４４０のＣＰＵ４２０に加えて、またはその代わりに、ネットワーク１２０内の他のＣＰＵが使用されてもよい。図５は、これらの計算タスクが代わりにサーバ４４０のＧＰＵ４２５に基づくワーカープール４２３によって実行される実施形態を示す。ＧＰＵ４２５は、データ分析および／または画面キャプチャを実行するように機能する。しかし、上記のように、ネットワーク１２０内の他のＧＰＵは、サーバ４４０のＧＰＵ４２５に加えて、またはその代わりに使用されてもよい。図４は、フレーム取得ユニット４０３がクライアント上でネイティブに実行される実施形態を示す。図５は、フレーム取得ユニットがサーバ４４０によって管理される実施形態を示す。

【0055】

図４～６は、クライアント発信の画面キャプチャを使用して顕微鏡機器からデータを取得する分析プラットフォームのさらなる例示的な実施形態を示す。

【0056】

図４～５で強調表示されたより具体的な実施形態は、任意の組み合わせで、ハイパーテキスト転送プロトコル（ＨＴＴＰ）に基づく、またはハイパーテキスト転送プロトコル（ＨＴＴＰ）と互換性のあるウェブサーバプロセス４２２、ＡＪＡＸの原理および技術、ＷｅｂＳｏｃｋｅｔ、またはＷｅｂＲＴＣプロトコルを使用して動作するまたはコーディングされるサーバハンドラ４１０、一般にウェブベースのアプリケーションの配信と互換性のあるＪａｖａＳｃｒｉｐｔまたは他の「ジャストインタイム」（ＪＩＴ）コンパイルされたコーディング技術を使用して構成され得るウェブベースのアプリケーション１６０、およびＦＦｍｐｅｇを介して利用可能なもののような、様々なビデオ処理、符号化、およびキャプチャ方法を採用するフレームグラバー４０３を含むことができる。

【0057】

図６Ａ～図６Ｃは、計算システムの例示的な配置を示す。

【0058】

図６Ａにおいて、顕微鏡機器の検出器（１０２）１および２は、データを制御コンピュータ１０１に渡し、制御コンピュータ１０１は、データキャプチャプロセス６０１を介して、これらのフィードをデータ分析コンピュータ１３０に渡す。データ分析コンピュータ１３０は、これらのビデオおよび／またはデータストリーム１６１をエッジコンピューティングデバイス１１０に渡し、エッジコンピューティングデバイス１１０は、ビデオおよび／またはデータストリーム１６１を処理し、１つ以上の推論モデル６０２を適用し、その後、結果をデータ分析コンピュータ１３０に送り返し、それによって、得られるハイパーイメージはウェブブラウザ６０３を通じて閲覧できる。

【0059】

図６Ｂでは、便宜上、図６Ａとの相違点のみを強調しており、データ分析コンピュータ１３０を省略し、代わりにエッジコンピューティングデバイス１１０がビデオおよび／またはデータストリーム１６１を制御コンピュータ１０１に送り返す。特に図６Ｂにおいて、各ビデオおよび／またはデータストリーム１６１は、別々に保持され、エッジコンピューティングデバイス１１０内の別々の推論モデル６０２を介して処理され、制御コンピュータ１０１上の別々のウェブブラウザ６０３に表示される。

【0060】

図６Ｃでは、便宜上、図６Ａとの相違点のみを強調しており、推論モデル６０２からの結果がデータ分析コンピュータ１３０に送り返される代わりに、これらのフィードは別のコンピュータ装置１４０のウェブブラウザ６０３に送信され、そこに表示される。

【0061】

前述の実施形態では、または前述の実施形態に加えて、分析プラットフォームは１つ以上の推論モデル６０２をシリアルに実行でき、複数のデバイスにわたって１つ以上の推論モデル６０２をシリアルまたは並列に実行でき、単一のデバイス上で１つ以上の推論モデル６０２を制限なく任意の組み合わせで実行することができることに留意されたい。

【0062】

前述の説明および添付の図面は、本発明の原理、好ましい実施形態および動作モードを示している。しかし、本発明は、上記で説明した特定の実施形態に限定されるものとして解釈されるべきではない。上記で説明した実施形態のさらなる変形は、当業者には明らかである（例えば、本発明の特定の構成に関連付けられた特徴は、必要に応じて、本発明の他の構成に関連付けることができる）。

【0063】

従って、上述の実施形態は、限定的ではなく例示的なものとしてみなされるべきである。従って、当業者であれば、本発明の範囲から逸脱することなく、これらの実施形態に対する変更を行うことができることを理解されたい。

【図1】