特表 2023-536623 低ＳＮＲイメージング条件におけるノイズ低減のための深層学習モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-28

(54)【発明の名称】低ＳＮＲイメージング条件におけるノイズ低減のための深層学習モデル

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230821BHJP

   G06T 1/40 20060101ALI20230821BHJP

【ＦＩ】

G06T5/00 705

G06T1/40

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023507436

(86)(22)【出願日】2021-08-05

(85)【翻訳文提出日】2023-02-28

(86)【国際出願番号】 US2021044633

(87)【国際公開番号】W WO2022031903

(87)【国際公開日】2022-02-10

(31)【優先権主張番号】63/062,589

(32)【優先日】2020-08-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】511289471

【氏名又は名称】ナノトロニクス イメージング インコーポレイテッド

【氏名又は名称原語表記】ＮＡＮＯＴＲＯＮＩＣＳ ＩＭＡＧＩＮＧ，ＩＮＣ．

【住所又は居所原語表記】２２５１ ＦＲＯＮＴ ＳＴＲＥＥＴ，ＳＵＩＴＥ １１０，Ｐ．Ｏ．ＢＯＸ ３０６，ＣＵＹＡＨＯＧＡ ＦＡＬＬＳ，ＯＨＩＯ ４４２２３，Ｕ．Ｓ．Ａ．

(74)【代理人】

【識別番号】110002321

【氏名又は名称】弁理士法人永井国際特許事務所

(72)【発明者】

【氏名】シャロウコフ，デニス ワイ

(72)【発明者】

【氏名】イヴァノフ，トニスラフ

(72)【発明者】

【氏名】リー，ジョナサン

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE02

5B057CE08

5B057DA17

5B057DB02

5B057DB09

5B057DC40

(57)【要約】

本明細書中に開示される実施形態は、概して、低い信号対ノイズ比イメージング条件におけるノイズ低減のためのシステムに関連している。コンピューティングシステムは、試料の画像のセットを取得する。画像のセットは、試料の少なくとも２枚の画像を含む。コンピューティングシステムは、試料の画像のセットを訓練済みノイズ除去モデルに入力する。訓練済みノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。コンピューティングシステムは、訓練済みノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を受信する。

【特許請求の範囲】

【請求項1】

背景上の試料の画像を取り込むように構成されたイメージング機器と、
前記イメージング機器と通信するコンピューティングシステムと、
を備え、前記コンピューティングシステムは、１つまたは複数のプロセッサとメモリとを備え、前記メモリは、そこにプログラミングをコード化させており、前記プログラミングは、前記１つまたは複数のプロセッサによって実行されるときに、前記コンピューティングシステムに、
前記コンピューティングシステムが、前記背景に対して前記試料の少なくとも２枚の画像を含む前記試料の画像のセットを前記イメージング機器から取得することと、
前記コンピューティングシステムが、前記試料の単一のノイズ除去済み画像を出力するように構成されたノイズ除去モデルに前記試料の前記画像のセットを入力することによって前記画像のセットをノイズ除去することと、
前記ノイズ除去モデルからの出力として前記試料の前記単一のノイズ除去済み画像を生成することと、
を含む動作を実行させる、システム。

【請求項2】

前記動作は、
前記コンピューティングシステムが、前記ノイズ除去モデルを訓練するために合成データセットを生成することであって、前記合成データセットは、複数枚の合成画像を含むとともに、合成画像ごとに、それぞれの前記合成画像から得られた複数枚のノイズのある画像を含む、合成データセットを生成することと、
前記コンピューティングシステムが、前記合成データセットに基づいてターゲットの画像のセットをノイズ除去するように前記ノイズ除去モデルを訓練することと、
をさらに含む、請求項１に記載のシステム。

【請求項3】

前記動作は、
前記コンピューティングシステムが、前記訓練することに続いて前記ノイズ除去モデルを微調整するために経験的データセットを生成することと、
前記コンピューティングシステムが、前記経験的データセットに基づいて前記ノイズ除去モデルを微調整することと、
をさらに含む、請求項２に記載のシステム。

【請求項4】

前記コンピューティングシステムが、前記訓練することに続いて前記ノイズ除去モデルを微調整するために前記経験的データセットを生成することは、
前記イメージング機器によって取り込むために背景画像の内側に配置される複数の幾何学的オブジェクトを生成することと、
前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに基づいて前記経験的データセットを定める複数枚の微調整画像を前記イメージング機器から受信することと、
を含む、請求項３に記載のシステム。

【請求項5】

前記動作は、
前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに形状の不規則性を導入することをさらに含む、請求項４に記載のシステム。

【請求項6】

前記ノイズ除去モデルは、ダウンサンプリング部分とそれに続くアップサンプリング部分とを含む畳み込みニューラルネットワークである、請求項１に記載のシステム。

【請求項7】

前記コンピューティングシステムは、前記イメージング機器の構成要素である、請求項１に記載のシステム。

【請求項8】

コンピューティングシステムが、背景に対して試料の少なくとも２枚の画像を含む前記試料の画像のセットをイメージング機器から取得するステップと、
前記コンピューティングシステムが、前記試料の単一のノイズ除去済み画像を出力するように構成されたノイズ除去モデルに前記試料の前記画像のセットを入力することによって前記画像のセットをノイズ除去するステップと、
前記ノイズ除去モデルからの出力として前記試料の前記単一のノイズ除去済み画像を生成するステップと、
を含む方法。

【請求項9】

前記コンピューティングシステムが、前記ノイズ除去モデルを訓練するために合成データセットを生成するステップであって、前記合成データセットは、複数枚の合成画像を含むとともに、合成画像ごとに、それぞれの前記合成画像から得られた複数枚のノイズのある画像を含む、合成データセットを生成するステップと、
前記コンピューティングシステムが、前記合成データセットに基づいてターゲットの画像のセットをノイズ除去するように前記ノイズ除去モデルを訓練するステップと、
をさらに含む、請求項８に記載の方法。

【請求項10】

前記コンピューティングシステムが、前記訓練するステップに続いて前記ノイズ除去モデルを微調整するために経験的データセットを生成するステップと、
前記コンピューティングシステムが、前記経験的データセットに基づいて前記ノイズ除去モデルを微調整するステップと、
をさらに含む、請求項９に記載の方法。

【請求項11】

前記コンピューティングシステムが、前記訓練するステップに続いて前記ノイズ除去モデルを微調整するために前記経験的データセットを生成するステップは、
前記イメージング機器によって取り込むために背景画像の内側に配置される複数の幾何学的オブジェクトを生成するステップと、
前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに基づいて前記経験的データセットを定める複数枚の微調整画像を前記イメージング機器から受信するステップと、
を含む、請求項１０に記載の方法。

【請求項12】

前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに形状の不規則性を導入するステップ
をさらに含む、請求項１１に記載の方法。

【請求項13】

前記ノイズ除去モデルは、ダウンサンプリング部分とそれに続くアップサンプリング部分とを含む畳み込みニューラルネットワークである、請求項８に記載の方法。

【請求項14】

前記コンピューティングシステムは、前記イメージング機器の構成要素である、請求項８に記載の方法。

【請求項15】

１つまたは複数の命令のシーケンスを含む非一時的なコンピュータ可読媒体であって、前記１つまたは複数の命令のシーケンスは、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、
前記コンピューティングシステムが、背景に対して試料の少なくとも２枚の画像を含む前記試料の画像のセットをイメージング機器から取得することと、
前記コンピューティングシステムが、前記試料の単一のノイズ除去済み画像を出力するように構成されたノイズ除去モデルに前記試料の前記画像のセットを入力することによって前記画像のセットをノイズ除去することと、
前記ノイズ除去モデルからの出力として前記試料の前記単一のノイズ除去済み画像を生成することと、
を含む動作を実行させる、非一時的なコンピュータ可読媒体。

【請求項16】

前記コンピューティングシステムが、前記ノイズ除去モデルを訓練するために合成データセットを生成するステップであって、前記合成データセットは、複数枚の合成画像を含むとともに、合成画像ごとに、それぞれの前記合成画像から得られた複数枚のノイズのある画像を含む、合成データセットを生成することと、
前記コンピューティングシステムが、前記合成データセットに基づいてターゲットの画像のセットをノイズ除去するように前記ノイズ除去モデルを訓練することと、
をさらに含む、請求項１５に記載の非一時的なコンピュータ可読媒体。

【請求項17】

前記コンピューティングシステムが、前記訓練することに続いて前記ノイズ除去モデルを微調整するために経験的データセットを生成することと、
前記コンピューティングシステムが、前記経験的データセットに基づいて前記ノイズ除去モデルを微調整することと、
をさらに含む、請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

前記コンピューティングシステムが、前記訓練することに続いて前記ノイズ除去モデルを微調整するために前記経験的データセットを生成することは、
前記イメージング機器によって取り込むために背景画像の内側に配置される複数の幾何学的オブジェクトを生成することと、
前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに基づいて前記経験的データセットを定める複数枚の微調整画像を前記イメージング機器から受信することと、を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記背景画像の内側に配置された前記複数の幾何学的オブジェクトに形状の不規則性を導入するステップ
をさらに備える、請求項１８に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記ノイズ除去モデルは、ダウンサンプリング部分とそれに続くアップサンプリング部分とを含む畳み込みニューラルネットワークである、請求項１５に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月７日に出願した米国仮出願第６３／０６２，５８９号の優先権を主張するものであり、これは、参照により全体として本明細書に組み込まれる。

【背景技術】

【0002】

ノイズは、好ましくないが、イメージングシステムの固有成分であり、一般に低信号を生成する蛍光サンプルをイメージングするときに特に問題である。典型的には、高い露光時間が必要とされるが、典型的には、サンプルは、光に敏感であり、照明の下で劣化する。これは、露光時間が最小にされるイメージング後に、サンプルが保存されなければならないときに、特に問題となる。したがって、少ない露光時間により、画像に大量のノイズがもたらされ、すなわち、とても低い信号対ノイズ比（ＳＮＲ）がもたらされる。概して、目的は、露光を制限しつつ、画像品質を最大にすることである。

【発明の概要】

【課題を解決するための手段】

【0003】

いくつかの実施形態では、システムが、本明細書中に開示される。システムは、イメージング機器と、コンピューティングシステムと、を含む。イメージング機器は、背景上の試料の画像を取り込むように構成される。コンピューティングシステムは、イメージング機器と通信する。コンピューティングシステムは、１つまたは複数のプロセッサとメモリとを含む。メモリは、そこにプログラミング命令を記憶させており、これにより、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、動作を実行させる。動作は、コンピューティングシステムが、試料の画像のセットをイメージング機器から取得することを含む。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。動作は、コンピューティングシステムが、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去することをさらに含む。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。動作は、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成することをさらに含む。

【0004】

いくつかの実施形態では、方法が、本明細書中に開示される。コンピューティングシステムは、試料の画像のセットをイメージング機器から取得する。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。コンピューティングシステムは、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去する。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。コンピューティングシステムは、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成する。

【0005】

いくつかの実施形態では、非一時的なコンピュータ可読媒体が、本明細書中に開示される。非一時的なコンピュータ可読媒体は、１つまたは複数の命令のシーケンスを含み、１つまたは複数の命令のシーケンスは、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、動作を実行させる。動作は、コンピューティングシステムが、試料の画像のセットをイメージング機器から取得することを含む。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。動作は、コンピューティングシステムが、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去することをさらに含む。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。動作は、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成することをさらに含む。

【0006】

本開示の上に挙げた特徴を詳細に理解できるように、上に簡単に要約された本開示のより詳細な説明は、実施形態を参照することによって行われ得、その一部は、添付図面に示されている。しかしながら、添付図面は、本開示の典型的な実施形態を示すものに過ぎず、したがって、その範囲の限定とみなされるべきでなく、本開示に関して、他の等しく有効な実施形態を認めることができることに留意されたい。

【図面の簡単な説明】

【0007】

【図1】例示実施形態による例示的なコンピューティング環境を示すブロック図である。

【0008】

【図2】例示実施形態によるノイズ除去モデルの例示アーキテクチャを示す図である。

【0009】

【図3】例示実施形態によるノイズ除去モデルを訓練する方法を示す流れ図である。

【0010】

【図4】例示実施形態による訓練済みノイズ除去方法を用いて画像をノイズ除去する方法を示す流れ図である。

【0011】

【図5A】例示実施形態によるシステムバスコンピューティングシステムアーキテクチャを示す図である。

【0012】

【図5B】例示実施形態によるチップセットアーキテクチャを有するコンピュータシステムを示す図である。

【発明を実施するための形態】

【0013】

理解を助けるために、可能であれば、各図に共通である同一の要素を示すために同一の参照番号が使用されている。ある実施形態に開示される要素は、特定の詳述がなくても、他の実施形態に対して有益に利用され得ることが考えられる。

【0014】

低い信号対ノイズ比（ＳＮＲ）条件は、顕微鏡検査のイメージング品質を劣化させる場合があり、これにより下流分析を難しくする。ノイズを低減することによってＳＮＲを改善する従来の一方法は、連続的に取得された多数の画像を平均することである。しかしながら、取得時間のこの増加は、スループットを低下させ、光に敏感なサンプルにとって問題となる。

【0015】

本明細書に記載の１つまたは複数の技法は、非常に高いＳＮＲを取得するのに必要な画像の枚数をかなり減少させるＵ－Ｎｅｔアーキテクチャに基づく深層学習モデルを使用することによって従来のプロセスを改良する。例えば、本ノイズ除去モデルは、少なくとも２枚（例えば、５枚）のノイズのあるグレースケール画像を入力としてとることができ、単一のノイズ除去済み画像を出力として生成することができる。いくつかの実施形態では、ノイズ除去モデルは、ノイズが追加されている合成的に生成された例に基づいて訓練され、リアルデータに基づいて微調整され得る。本手法は、長時間の露光による劣化を最小にしつつ、サンプル特徴を強化する。

【0016】

ノイズを取り除くための従来の方法は、平均化を伴う。多数の画像が、同じイメージング条件下で、同じ位置で収集され、次いで、信号からノイズを取り除くために平均化される。ＳＮＲを改善するという点で有効であるが、この手法は、時間がかかり、十分なノイズ除去のために多数の画像を収集する必要により、光退色と呼ばれる光に敏感なサンプルに対する大量の強度劣化を引き起こす。

【0017】

対照的に、本明細書に記載の１つまたは複数の技法は、低露光で収集された少数の入力画像からノイズ除去済み画像を生成するためにＵ－Ｎｅｔアーキテクチャに基づいて深層学習モデルを使用する。いくつかの実施形態では、まず、ノイズ除去モデルは、合成データに基づいて訓練され、次いで、リアルデータに基づいて微調整され得る。まず、合成データを使用することによって、この訓練手順は、多数のリアルサンプルの収集の必要性とその退色を避ける。そのようなプロセスを通じて、本システムは、数枚のノイズのある画像を用いるだけで、低ＳＮＲ比で画像上の高度のノイズ除去を示す。伝統的な手法を用いて同じ品質のノイズ除去を実現することは、法外に多数の例を必要とする。

【0018】

平均および中央投影（ｍｅａｎ ａｎｄ ｍｅｄｉａｎ ｐｒｏｊｅｃｔｉｏｎ）などのノイズ除去の伝統的な手法は、同じ位置で多くのノイズのある画像を取得することと、それらを組み合わせてランダムノイズをキャンセルすることとを含む。これらの技法は、それらは計算が比較的単純であるのでとても普及している。しかしながら、伝統的な手法は、ガウスノイズなどの対称分布を有するノイズを無くすことができるのに過ぎないので、伝統的な手法は限定される。正則化のようなイメージプライア（ｉｍａｇｅ ｐｒｉｏｒ）を用いた様々な他の方法が提案されている。これらの方法は、伝統的な手法よりも妥当な出力品質を実現するが、モデルは、その多数の計算によりリアルタイムで遅い。例えば、従来のモデルは、典型的には、それぞれ画像あたり２２ｍｓおよび５００ｍｓくらい必要とする。対照的に、本モデルは、画像あたり約１ｍｓで十分なノイズ除去性能を実現することができる。

【0019】

ここ数年間で、畳み込みニューラルネットワーク（ＣＮＮ）の進歩が、画像ノイズ除去の大きな改善をもたらした。ＣＮＮは、入力画像および続く結果として得られる特徴マップに対して様々な訓練可能なフィルタを用いて一連の畳み込みを行う多くの層を有するニューラルネットワークである。そのようなシステムの１つは、伝統的な非ＣＮＮベースの方法より性能が優れている残差学習およびバッチ正規化を組み込むことによるノイズ除去ＣＮＮ（ＤｎＣＮＮ）を示唆した。より最近では、他のＣＮＮ方法、例えば、ＲＥＤ３０、ＭｅｍＮｅｔ、ＢＭ３Ｄ－Ｎｅｔ、ＭＷＣＮＮ、およびＦＦＤＮｅｔが、有望なノイズ除去性能でやはり開発されている。しかしながら、これらの方法は、一定の標準偏差を有するガウスノイズを想定し、それらは、モデルが訓練されたものよりも高いノイズレベルに対してうまく実行しない。対照的に、本ノイズ除去モデルは、より高いレベルのノイズでもうまく実行する。

【0020】

さらに、ＦＦＤＮｅｔおよびＣａｂｉｎｅｔなどの一定のシグマ仮定を行わないブラインドＣＮＮデノイザが、提案されている。これらの方法は、リアルのノイズのある画像に対して満足のいく結果を実現するが、より高いノイズレベルを有する訓練を必要とする。対照的に、本ノイズ除去モデルは、程よい量のノイズで訓練されてもよく、低ノイズレベルと高ノイズレベルの両方によく働く。

【0021】

さらに、大部分のノイズ除去のＣＮＮ方法は、写真編集の分野に適用され、入力として単一の画像のみをとる。本自動蛍光イメージングプラットフォーム（ｎＳｐｅｃ）は、さらなる後処理のために任意の枚数の画像を取得することができるので、本システムは、単一の画像を有することに限定されない。本システムは、低露光で撮られる少なくとも２枚（例えば、５枚）の画像を使用し、複数枚の画像の使用によってより高い頑強性を可能にし、低露光時間を用いることで光退色を避ける。

【0022】

いくつかの実施形態では、本ノイズ除去モデルは、蛍光イメージング技法と共に使用されてもよい。いくつかの実施形態では、本ノイズ除去モデルは、明視野イメージングのために使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、暗視野イメージングのために使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、反射光（エピスコピック（ｅｐｉｓｃｏｐｉｃ））顕微鏡検査を伴う顕微鏡検査に使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、透過光（ディアスコピック（ｄｉａｓｃｏｐｉｃ））照明と共に使用され得る。

【0023】

図１は、例示実施形態による例示的なコンピューティング環境１００を示すブロック図である。図示のように、コンピューティング環境１００は、イメージング機器１０２と、コンピューティングシステム１０４とを含むことができる。イメージング機器１０２は、背景１０８に対して１枚または複数枚の試料の画像１０６を取り込むように構成され得る。

【0024】

上記のとおり、低い信号対ノイズ比条件は、顕微鏡検査のイメージング品質を劣化させる場合があり、これにより下流分析を難しくする。これを考慮するために、イメージング機器１０２は、背景１０８に対して試料１０６の１枚または複数枚の画像を取り込み、ノイズ除去のためにコンピューティングシステム１０４に１枚または複数枚の画像を与えるように構成され得る。コンピューティングシステム１０４は、イメージング機器１０２とは別個である構成要素として示され得るが、当業者は、コンピューティングシステム１０４、またはその機能性は、別個の構成要素である代わりにイメージング機器１０２に組み込まれてもよいことを理解するであろう。

【0025】

図示のように、コンピューティングシステム１０４は、ノイズ除去モデル１１０を含むことができる。ノイズ除去モデルは、試料１０６の１枚または複数枚の画像を受信し、下流分析のためにノイズ除去済み画像を生成するように構成され得る。いくつかの実施形態では、ノイズ除去モデル１１０は、Ｕ－Ｎｅｔモデルに基づく畳み込みニューラルネットワーク（ＣＮＮ）を表し得る。

【0026】

図２は、例示実施形態によるノイズ除去モデル１１０の例示アーキテクチャ２００を示す。いくつかの実施形態では、ノイズ除去モデル１１０への入力２０１は、同じ位置で撮られるノイズのある画像（例えば、５枚の画像）のスタックであり得る。ノイズ除去モデル１１０は、左側の畳み込み／ダウンサンプリングの半分２０２と、それに続く右側の逆畳み込み／アップサンプリングの半分２０４といった２つの半分に分割され得る。いくつかの実施形態では、ダウンサンプリングの半分２０２は、畳み込みの層２０６とそれに続く最大プール層２０８（最後の層を除く）のペアを含み得る。いくつかの実施形態では、畳み込みの層２０６の最後の２つのペアは、数値安定性のためにバッチ正規化層２１０を含む。様々な層における特徴マップの数は、４で始まってもよく、層の最後のペアについては６４まで倍になり得る。

【0027】

いくつかの実施形態では、アップサンプリングの半分２０４は、アップサンプリング層２１２とそれに続く三つ揃いの畳み込みの層２１４を含む４つのブロックを含むことができる。特徴マップの数は、左半分の終わりにおける６４から４まで逆に減少し得る。アップサンプリングの半分２０４の終わりに、２つの特徴マップの別の畳み込み層２１６が画像の特徴のシャープネスを改善するために追加されてもよい。最後に、ノイズ除去モデル１１０は、入力画像のサイズで、ノイズ除去済みの単一チャンネル画像２１８を出力することができる。

【0028】

いくつかの実施形態では、合成データセットおよび経験的データセットは、訓練および試験のために使用され得る。例えば、訓練のための画像は、１６ビットであり得るが、６５５３６のフル１６ビットレンジのうち１３５０の動的レンジに及ぶのに過ぎない。いくつかの実施形態では、複数枚の画像は、多角形、円形、楕円形等などの１つまたは複数の（例えば、３つの）幾何学的オブジェクトを含むフラットな背景で生成することができる。幾何学的オブジェクトの信号強度は、背景強度超（白色）、背景強度の近く（灰色）、および背景強度未満（暗色）で変わり得る。

【0029】

例示的な強度の概要は、下記表１に与えられる。

【表1】

【0030】

いくつかの実施形態では、幾何学的オブジェクトを生成するために、三角形が、背景画像の内側に配置されてもよく、経験的データセットを再現するために、形状の不規則性が導入されてもよい。これは、別の三角形を用いて三角形の部分をランダムに切り取ることによって行われ得る。経験的データを複製するために、それぞれの暗色の三角形は、背景値から三角形の値へ及ぶ上部に沿った強度勾配を含むことができ、これは、三角形の高さの５分の２に及び得る。例えば、暗色の三角形を配置する確率は０．５であり得、灰色の三角形は０．３５であり、白色の三角形は０．１５である。

【0031】

経験的データセットは、自動蛍光検査ツールを用いて収集することができる。いくつかの実施形態では、イメージングは、イメージング機器１０２によって実行され得る。例えば、イメージング機器１０２は、３９μｍの厚さのＥＰＩ層を有する４Ｈ－ＳｉＣのサンプルに対して１０ｘ対物レンズ（例えば、オリンパス、ＭＰｌａｎＦＬ Ｎ、ＮＡ＝０．３）を使用することができる。いくつかの実施形態では、光ルミネセンス応答を引き起こすために、紫外線ＬＥＤが、約３６９ｎｍのピーク波長を有する光源として使用され得る。いくつかの実施形態では、発光のために、緑色バンドパスフィルタが使用され得る。いくつかの実施形態では、サンプル平面における電力は、約５００ｍＷであり得る。いくつかの実施形態では、２つの経験的データセットが収集されてもよく、一方は１００ｍｓの露光で低レベルのノイズを有し、一方は５０ｍｓの露光で高レベルのノイズを有する。いくつかの実施形態では、サンプル上の１２個の異なる位置からのデータが収集され得る。いくつかの実施形態では、（光源がオフである状態の）１０個のノイズのある画像および背景画像が全ての露光（ノイズレベル）で位置ごとに収集され得る。いくつかの実施形態では、グラウンドトゥルース画像は、各位置において１０００ｍｓの露光で収集され得る。さらに、フラットフィールド補正のための画像は、サンプルの均一な部分から収集され得る。フラットフィールド補正は、

【数1】

として各画像に適用され得る。ただし、ＤＦは背景画像であり、ＦＦはフラットフィールド補正画像である。経験的データは、明色、灰色、および暗色の三角形の特徴を含み得る。三角形の特徴は、わずかに不規則であってもよく、場合によっては、複数のピースに切断され、いくつかは強度勾配を有した。白色の斑点およびスクラッチが経験的データに存在したが、これらは、関心のものではなく、合成データに含まれなかった。

【0032】

いくつかの実施形態では、まず、ノイズ除去モデル１１０は、合成データセットに基づいて訓練され得る。合成データセットは、既知の画像、ゴールデンテンプレート、既知の特徴の関連する変形画像などに近いデータを含むことができるが、それらに限定されない。例えば、１００枚の画像が、試験のために脇に置かれ、残りの画像は、訓練のための８００およびバリデーションのための２００のセットに分けられ得る。いくつかの実施形態では、複数枚（例えば、５枚）のノイズのある画像が、ガウスノイズを追加することによって全ての合成画像について生成され得る。例えば、試験データのために、低（σ＝２００または１３％）、中（σ＝６００または４０％）、および高（σ＝１０００または６６％）ガウスノイズが追加され得る。概して、ノイズは、画像アプリケーションによって指令される通りに追加され得る。

【0033】

合成データに基づいてノイズ除去モデル１１０を訓練した後、ノイズ除去モデル１１０は、経験的データセットに基づいて微調整されてもよい。例えば、１２個の画像の位置のうちの８つが、訓練のために、他の４つが試験のために、使用されてもよい。それらの４つの位置のうちの３つは、近位であってもよく、部分的に重なり合ってもよい。微調整は、中レベルのノイズ画像（５０ｍｓの露光）に対して行われてもよく、試験は、低（１００ｍｓ）、中（５０ｍｓ）、および高（２５ｍｓ）レベルのノイズを有する画像に対して行われた。

【0034】

本方法と平均投影の伝統的なノイズ除去手法との間の比較が、本明細書に提示される。平均投影は、Ｎ枚の画像を合計し、画素ごとにその強度を平均して、以下のように出力画像を得る。

【数2】

【0035】

比較のために、合成データセット中の５枚のノイズのある画像の各セット、および経験的データセット中の１０枚のノイズのある画像の各セットは、平均された。高レベルのノイズにおける詳細な比較のために、１００枚のノイズのある画像の１０個の合成セットが生成され、１０００枚のノイズのある画像の１０個の合成セットが生成された。

【0036】

モデル性能は、平均二乗誤差（ＭＳＥ）およびピーク信号対ノイズ比（ＰＳＮＲ）を計算することによって定量化された、Ｎ枚の画像のＭＳＥは、

【数3】

のように計算され、ただし、Ｉはノイズ除去済み画像であり、ｅは対応するグラウンドトゥルース画像である。データが１６ビットであり、レンジ全体に及ばないので、ＭＳＥは、動的レンジの割合として

【数4】

ように表現することができ、ただし、Ｒは、データの動的レンジである。ＰＳＮＲは、

【数5】

のように計算される。

【0037】

いくつかの実施形態では、ノイズ除去モデル１１０は、まず、訓練され、単独で合成データに基づいて試験されてもよい。いくつかの実施形態では、ノイズ除去モデル１１０は、中レベルのノイズだけに基づいて訓練されてもよく、３０を上回るＰＳＮＲで全てのノイズレベル下でよく働く。これは、ベストで２５のＰＳＮＲを実現する平均の投影方法よりもかなりよい。さらに、図４に示されるように、平均投影法についての誤差の標準偏差は、ノイズ除去モデル（σ＝１．０８％～１．６２％）のものと比べてずっと広い（σ＝３．５０％～１６．９３％）。図４に示されるように、ノイズ除去モデルの性能は緑色で示され、平均投影の性能は、赤色で示される。平均投影は、より広くより高い誤差およびより広い誤差の広がりを有する。

【0038】

このようにして、ノイズ除去モデル１１０は、従来の手法と比較してより繰り返し可能な結果をもたらす。

【0039】

さらに、平均投影の伝統的な方法の場合、平均投影法の誤差は、ノイズ除去に使用される画像の枚数が指数的に増加するにつれて２４％ＭＳＥから２％ＭＳＥへ減少する。典型的には、平均投影法は、ノイズ除去モデル１１０がたった５枚の画像で実現することができるのと同じレベルのノイズ除去を実現するために非常の多くの枚数の画像（例えば、１０００枚の画像）を撮る。例えば、以下に示される表２は、動的レンジの画像の割合として平均誤差および標準偏差を与える。与えられるように、従来の平均投影法は、１０００枚あたりの画像を撮って、わずか２枚から５枚の画像と同じレベルのノイズ除去を実現する。

【表2】

【0040】

いくつかの実施形態では、ノイズ除去モデル１１０は、微調整されてもよく、経験的データ上で試験されてもよい。

【0041】

図３は、例示実施形態によるノイズ除去モデル１１０を訓練する方法３００を示す流れ図である。方法３００は、ステップ３０２で始まることができる。

【0042】

ステップ３０２において、合成データセットが生成され得る。いくつかの実施形態では、合成データセットは、コンピューティングシステム１０４によって生成することができる。合成データセットは、既知の画像、ゴールデンテンプレート、既知の特徴の関連する変形画像などに近いデータを含むことができるが、それらに限定されない。例えば、１００枚の画像が、試験のために脇に置かれ、残りの画像は、訓練のための８００およびバリデーションのための２００のセットに分けられ得る。いくつかの実施形態では、複数枚（例えば、５枚）のノイズのある画像が、ガウスノイズを追加することによって全ての合成画像について生成され得る。例えば、試験データのために、低（σ＝２００または１３％）、中（σ＝６００または４０％）、および高（σ＝１０００または６６％）ガウスノイズが追加され得る。概して、ノイズは、画像アプリケーションによって指令される通りに追加され得る。

【0043】

ステップ３０４において、コンピューティングシステム１０４は、合成データセットに基づいてノイズ除去モデル１１０を訓練することができる。例えば、ノイズ除去モデル１１０は、合成データセットに基づいて、１枚の画像または複数枚の画像をノイズ除去するやり方を学習することができる。

【0044】

ステップ３０６において、コンピューティングシステム１０４は、ノイズ除去モデル１１０を微調整するために経験的データセットを生成することができる。例えば、コンピューティングシステム１０４は、経験的データセットを生成するためにイメージング機器１０２が取り込む背景画像の内側に配置される幾何学的オブジェクト（例えば、多角形、円形、楕円形等）を生成することができる。いくつかの実施形態では、コンピューティングシステム１０４は、経験的データセットを再現するために不規則性を導入および形成することができる。例えば、コンピューティングシステム１０４は、別の三角形を用いて三角形の部分をランダムに切り取ることができる。経験的データを複製するために、それぞれの暗色の三角形は、背景値から三角形の値へ及ぶ上部に沿った強度勾配を含むことができ、これは、三角形の高さの５分の２に及び得る。例えば、暗色の三角形を配置する確率は０．５であり得、灰色の三角形は０．３５であり、白色の三角形は０．１５である。いくつかの実施形態では、経験的データセットは、自動蛍光検査ツールを用いて収集することができる。いくつかの実施形態では、イメージングは、イメージング機器１０２によって実行され得る。

【0045】

ステップ３０８において、コンピューティングシステム１０４は、経験的データセットを用いてノイズ除去モデル１１０を微調整することができる。例えば、コンピューティングシステム１０４は、経験的データセットのために生成された実際の画像を用いてノイズ除去モデル１１０のために別の訓練のラウンドを実行することができる。

【0046】

図４は、例示実施形態による試料の画像をノイズ除去する方法４００を示す流れ図である。方法４００は、ステップ４０２で始まることができる。

【0047】

ステップ４０２において、コンピューティングシステム１０４は、試料の画像のセットを取得することができる。例えば、コンピューティングシステム１０４は、背景１０８に対して試料１０６の画像のセットをイメージング機器１０２から受信することができる。概して、画像のセットは、背景１０８に対して試料１０６の少なくとも２枚の画像を含むことができる。

【0048】

ステップ４０４において、コンピューティングシステム１０４は、訓練済みノイズ除去モデル１１０に試料１０６の画像のセットを入力することができる。ノイズ除去モデル１１０は、単一のノイズ除去済み画像を生成するために画像のセットを分析するように構成され得る。例えば、ノイズ除去モデル１１０は、画像のセットを処理してそこからノイズを取り除くことができる。

【0049】

ステップ４０６において、コンピューティングシステム１０４は、試料の単一のノイズ除去済み画像を出力することができる。例えば、上記のとおり、ノイズ除去モデル１１０は、そこへの入力として与えられる画像のセットに基づいて単一のノイズ除去済み画像を出力することができる。単一のノイズ除去済み画像は、コンピューティングシステム１０４、または単一のノイズ除去済み画像に含まれた試料１０６の下流分析のための他のコンピューティングシステムによって使用することができる。

【0050】

図５Ａは、例示実施形態によるシステムバスコンピューティングシステム５００のアーキテクチャを示す。システム５００の１つまたは複数の構成要素は、バス５０５を用いて互いに電気通信していることができる。システム５００は、プロセッサ（例えば、１つまたは複数のＣＰＵ、ＧＰＵ、または他のタイプのプロセッサ）５１０と、システムメモリ５１５、例えば、リードオンリメモリ（ＲＯＭ）５２０およびランダムアクセスメモリ（ＲＡＭ）５２５を含む様々なシステム構成要素をプロセッサ５１０に結合するシステムバス５０５とを含むことができる。システム５００は、プロセッサ５１０と直接接続され、そのすぐ近くに接続され、またはその一部として一体化された高速メモリのキャッシュを含むことができる。システム５００は、プロセッサ５１０による迅速なアクセスのためにメモリ５１５および／または記憶装置５３０からキャッシュ５１２へデータをコピーすることができる。このようにして、キャッシュ５１２は、プロセッサ５１０がデータを待っている間に遅延するのを防ぐ性能ブーストを与えることができる。これらおよび他のモジュールは、様々なアクションを実行するためにプロセッサ５１０を制御するまたは制御するように構成されることが可能である。他のシステムメモリ５１５も、使用のために利用可能であり得る。メモリ５１５は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ５１０は、単一のプロセッサまたは複数のプロセッサを表し得る。プロセッサ５１０は、プロセッサ５１０を制御するように構成された汎用プロセッサ、またはハードウェアモジュールもしくはソフトウェアモジュール、例えば、記憶装置５３０に記憶されたサービス１ ５３２、サービス２ ５３４、およびサービス５ ５３６、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサのうちの１つまたは複数を含むことができる。本質的に、プロセッサ５１０は、マルチコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結したコンピューティングシステムであり得る。マルチコアプロセッサは、対称または非対称であり得る。

【0051】

システム５００とのユーザインタラクションを可能にするために、入力装置５４５は、任意の個数の入力機構、例えば、スピーチ用のマイクロフォン、ジェスチャまたはグラフィカル入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、音声などであり得る。出力装置５３５（例えば、ディスプレイ）も、当業者に知られたいくつかの出力機構の１つまたは複数であり得る。いくつかの例では、多モードのシステムにより、システム５００と通信するために、ユーザが複数のタイプの入力を行うことを可能にし得る。通信インタフェース５４０は、全体的に、ユーザ入力およびシステム出力を支配および管理することができる。いずれかの特定のハードウェア装置上の動作に関する制限はなく、したがって、ここで、基本的な特徴は、それらが開発されるときに、改善されたハードウェア構成またはフォームウェア構成に容易に取って代えられ得る。

【0052】

記憶装置５３０は、不揮発性メモリであり得るものであり、コンピュータによってアクセス可能であるデータを記憶することができるハードディスク、または他のタイプのコンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）５２５、リードオンリメモリ（ＲＯＭ）５２０、およびそれらのハイブリッドであり得る。

【0053】

記憶装置５３０は、プロセッサ５１０を制御するためのサービス５３２、５３４、および５３６を含むことができる。他のハードウェアモジュールまたはソフトウェアモジュールが考えられる。記憶装置５３０は、システムバス５０５に接続され得る。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、必要なハードウェア構成要素、例えば、プロセッサ５１０、バス５０５、出力装置５３５（例えば、ディスプレイ）などに関連して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。

【0054】

図５Ｂは、例示実施形態によるチップセットアーキテクチャを有するコンピュータシステム５５０を示す。コンピュータシステム５５０は、開示された技術を実施するために使用され得るコンピュータハードウェア、ソフトウェア、およびファームウェアの一例であり得る。システム５５０は、特定の計算を実行するように構成されたソフトウェア、ファームウェア、およびハードウェアを実行することができる任意の個数の物理的におよび／または論理的に異なるリソースを表す１つまたは複数のプロセッサ５５５を含み得る。１つまたは複数のプロセッサ５５５は、１つまたは複数のプロセッサ５５５への入力、および１つまたは複数のプロセッサ５５５からの出力を制御することができるチップセット５６０と通信することができる。この例では、チップセット５６０は、ディスプレイなどの出力部５６５へ情報を出力し、例えば、磁気媒体およびソリッドステート媒体を含み得る記憶装置５７０への情報を読み書きすることができる。チップセット５６０は、ＲＡＭ５７５からデータを読み込み、ＲＡＭ５７５へデータを書き込むこともできる。種々のユーザインタフェース構成要素５８５とインタフェースをとるブリッジ５８０が、チップセット５６０とインタフェースをとるために設けられ得る。そのようなユーザインタフェース構成要素５８５は、キーボード、マイクロフォン、タッチ検出および処理回路、マウスなどのポインティングデバイスなどを含み得る。概して、システム５５０への入力は、種々のソースのいずれかから来る、機械生成される、および／または人により生成されることが可能である。

【0055】

チップセット５６０は、異なる物理インタフェースを有することができる１つまたは複数の通信インタフェース５９０とインタフェースをとることもできる。そのような通信インタフェースは、有線および無線ローカルエリアネットワークのための、ブロードバンド無線ネットワークのための、ならびにパーソナルエリアネットワークのためのインタフェースを含むこともできる。本明細書中に開示されるＧＵＩを生成、表示、および使用する方法のいくつかの応用は、物理インタフェースを介して命じられたデータセットを受信することを含むことができ、あるいは記憶装置５７０または５７５に記憶されたデータを分析する１つまたは複数のプロセッサ５５５により機械自体によって生成されることができる。さらに、機械は、ユーザインタフェース構成要素５８５を通じてユーザから入力を受信し、１つまたは複数のプロセッサ５５５を用いてこれらの入力を解釈することによってブラウジング機能などの適切な機能を実行することができる。

【0056】

例示システム５００および５５０は、２つ以上のプロセッサ５１０、５５５を有してもよく、あるいはより大きい処理能力を提供するために一緒にネットワーク接続されたコンピューティングデバイスの群またはクラスタの一部であってもよいことが理解できる。

【0057】

上述したように、本明細書中で提供される１つまたは複数の技法は、ノイズ除去済み画像を生成するために少なくとも２枚（例えば、５枚）のノイズのある画像を必要とするＵ－Ｎｅｔアーキテクチャに基づく深層学習モデルを使用する。比較において、多量のノイズを有する合成データについては、平均投影の伝統的な手法は、本ノイズ除去モデルを用いる少なくとも２枚（例えば、５枚）のものとは対照的に１０００枚の画像を必要とした。ノイズ除去モデルは、少なくとも２枚（例えば、５枚の画像）を有する経験的データに基づいて改善されたレベルのノイズ除去を実現することもでき、したがって、経験的蛍光サンプルの品質にとって好ましくない光退色の影響を低減する。

【0058】

前述のものは、本明細書に記載の実施形態に向けられるが、他のおよびさらなる実施形態は、その基本的な範囲から逸脱することなく考え出され得る。例えば、本開示の態様は、ハードウェア、またはソフトウェア、あるいはハードウェアとソフトウェアの組合せで実施され得る。本明細書に記載の一実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、（本明細書に記載の方法を含む）実施形態の機能を定義し、種々のコンピュータ可読記憶媒体上に含まれることが可能である。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が恒久的に記憶される書き込み不可の記憶媒体（例えば、コンピュータ内のリードオンリメモリ（ＲＯＭ）デバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、フラッシュメモリ、ＲＯＭチップ、または任意のタイプのソリッドステート不揮発性メモリメモリ）、および（ｉｉ）変更可能な情報が記憶される書き込み可能な記憶媒体（例えば、ディスケットドライブ内のフロッピーディスク、またはハードディスクドライブ、あるいは任意のタイプのソリッドステートランダムアクセスメモリ）を含むが、これらに限定されない。そのようなコンピュータ可読記憶媒体は、開示された実施形態の機能を命じるコンピュータ可読命令を保持するときに、本開示の実施形態である。

【0059】

前述の例は、例示的であり、限定するものではないことが当業者によって理解されよう。それに対しての全ての置換、拡張、均等、および改善は、本明細書を読み、図面を研究すると、当業者に明らかであり、本開示の真の精神および範囲内に含まれることが意図される。したがって、以下の添付された特許請求の範囲は、これらの教示の真の精神および範囲内に入る全てのそのような修正、置換、および均等を含むことが意図される。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【手続補正書】

【提出日】2023-02-28

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２０年８月７日に出願した米国仮出願第６３／０６２，５８９号の優先権を主張するものであり、これは、参照により全体として本明細書に組み込まれる。

【背景技術】

【0002】

ノイズは、好ましくないが、イメージングシステムの固有成分であり、一般に低信号を生成する蛍光サンプルをイメージングするときに特に問題である。典型的には、高い露光時間が必要とされるが、典型的には、サンプルは、光に敏感であり、照明の下で劣化する。これは、露光時間が最小にされるイメージング後に、サンプルが保存されなければならないときに、特に問題となる。したがって、少ない露光時間により、画像に大量のノイズがもたらされ、すなわち、とても低い信号対ノイズ比（ＳＮＲ）がもたらされる。概して、目的は、露光を制限しつつ、画像品質を最大にすることである。

【発明の概要】

【課題を解決するための手段】

【0003】

いくつかの実施形態では、システムが、本明細書中に開示される。システムは、イメージング機器と、コンピューティングシステムと、を含む。イメージング機器は、背景上の試料の画像を取り込むように構成される。コンピューティングシステムは、イメージング機器と通信する。コンピューティングシステムは、１つまたは複数のプロセッサとメモリとを含む。メモリは、そこにプログラミング命令を記憶させており、これにより、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、動作を実行させる。動作は、コンピューティングシステムが、試料の画像のセットをイメージング機器から取得することを含む。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。動作は、コンピューティングシステムが、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去することをさらに含む。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。動作は、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成することをさらに含む。

【0004】

いくつかの実施形態では、方法が、本明細書中に開示される。コンピューティングシステムは、試料の画像のセットをイメージング機器から取得する。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。コンピューティングシステムは、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去する。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。コンピューティングシステムは、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成する。

【0005】

いくつかの実施形態では、非一時的なコンピュータ可読媒体が、本明細書中に開示される。非一時的なコンピュータ可読媒体は、１つまたは複数の命令のシーケンスを含み、１つまたは複数の命令のシーケンスは、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、動作を実行させる。動作は、コンピューティングシステムが、試料の画像のセットをイメージング機器から取得することを含む。画像のセットは、背景に対して試料の少なくとも２枚の画像を含む。動作は、コンピューティングシステムが、ノイズ除去モデルに試料の画像のセットを入力することによって画像のセットをノイズ除去することをさらに含む。ノイズ除去モデルは、試料の単一のノイズ除去済み画像を出力するように構成される。動作は、ノイズ除去モデルからの出力として試料の単一のノイズ除去済み画像を生成することをさらに含む。

【0006】

本開示の上に挙げた特徴を詳細に理解できるように、上に簡単に要約された本開示のより詳細な説明は、実施形態を参照することによって行われ得、その一部は、添付図面に示されている。しかしながら、添付図面は、本開示の典型的な実施形態を示すものに過ぎず、したがって、その範囲の限定とみなされるべきでなく、本開示に関して、他の等しく有効な実施形態を認めることができることに留意されたい。

【図面の簡単な説明】

【0007】

【図1】例示実施形態による例示的なコンピューティング環境を示すブロック図である。

【0008】

【図2】例示実施形態によるノイズ除去モデルの例示アーキテクチャを示す図である。

【0009】

【図3】例示実施形態によるノイズ除去モデルを訓練する方法を示す流れ図である。

【0010】

【図4】例示実施形態による訓練済みノイズ除去方法を用いて画像をノイズ除去する方法を示す流れ図である。

【0011】

【図5A】例示実施形態によるシステムバスコンピューティングシステムアーキテクチャを示す図である。

【0012】

【図5B】例示実施形態によるチップセットアーキテクチャを有するコンピュータシステムを示す図である。

【発明を実施するための形態】

【0013】

理解を助けるために、可能であれば、各図に共通である同一の要素を示すために同一の参照番号が使用されている。ある実施形態に開示される要素は、特定の詳述がなくても、他の実施形態に対して有益に利用され得ることが考えられる。

【0014】

低い信号対ノイズ比（ＳＮＲ）条件は、顕微鏡検査のイメージング品質を劣化させる場合があり、これにより下流分析を難しくする。ノイズを低減することによってＳＮＲを改善する従来の一方法は、連続的に取得された多数の画像を平均することである。しかしながら、取得時間のこの増加は、スループットを低下させ、光に敏感なサンプルにとって問題となる。

【0015】

本明細書に記載の１つまたは複数の技法は、非常に高いＳＮＲを取得するのに必要な画像の枚数をかなり減少させるＵ－Ｎｅｔアーキテクチャに基づく深層学習モデルを使用することによって従来のプロセスを改良する。例えば、本ノイズ除去モデルは、少なくとも２枚（例えば、５枚）のノイズのあるグレースケール画像を入力としてとることができ、単一のノイズ除去済み画像を出力として生成することができる。いくつかの実施形態では、ノイズ除去モデルは、ノイズが追加されている合成的に生成された例に基づいて訓練され、リアルデータに基づいて微調整され得る。本手法は、長時間の露光による劣化を最小にしつつ、サンプル特徴を強化する。

【0016】

ノイズを取り除くための従来の方法は、平均化を伴う。多数の画像が、同じイメージング条件下で、同じ位置で収集され、次いで、信号からノイズを取り除くために平均化される。ＳＮＲを改善するという点で有効であるが、この手法は、時間がかかり、十分なノイズ除去のために多数の画像を収集する必要により、光退色と呼ばれる光に敏感なサンプルに対する大量の強度劣化を引き起こす。

【0017】

対照的に、本明細書に記載の１つまたは複数の技法は、低露光で収集された少数の入力画像からノイズ除去済み画像を生成するためにＵ－Ｎｅｔアーキテクチャに基づいて深層学習モデルを使用する。いくつかの実施形態では、まず、ノイズ除去モデルは、合成データに基づいて訓練され、次いで、リアルデータに基づいて微調整され得る。まず、合成データを使用することによって、この訓練手順は、多数のリアルサンプルの収集の必要性とその退色を避ける。そのようなプロセスを通じて、本システムは、数枚のノイズのある画像を用いるだけで、低ＳＮＲ比で画像上の高度のノイズ除去を示す。伝統的な手法を用いて同じ品質のノイズ除去を実現することは、法外に多数の例を必要とする。

【0018】

平均および中央投影（ｍｅａｎ ａｎｄ ｍｅｄｉａｎ ｐｒｏｊｅｃｔｉｏｎ）などのノイズ除去の伝統的な手法は、同じ位置で多くのノイズのある画像を取得することと、それらを組み合わせてランダムノイズをキャンセルすることとを含む。これらの技法は、それらは計算が比較的単純であるのでとても普及している。しかしながら、伝統的な手法は、ガウスノイズなどの対称分布を有するノイズを無くすことができるのに過ぎないので、伝統的な手法は限定される。正則化のようなイメージプライア（ｉｍａｇｅ ｐｒｉｏｒ）を用いた様々な他の方法が提案されている。これらの方法は、伝統的な手法よりも妥当な出力品質を実現するが、モデルは、その多数の計算によりリアルタイムで遅い。例えば、従来のモデルは、典型的には、それぞれ画像あたり２２ｍｓおよび５００ｍｓくらい必要とする。対照的に、本モデルは、画像あたり約１ｍｓで十分なノイズ除去性能を実現することができる。

【0019】

ここ数年間で、畳み込みニューラルネットワーク（ＣＮＮ）の進歩が、画像ノイズ除去の大きな改善をもたらした。ＣＮＮは、入力画像および続く結果として得られる特徴マップに対して様々な訓練可能なフィルタを用いて一連の畳み込みを行う多くの層を有するニューラルネットワークである。そのようなシステムの１つは、伝統的な非ＣＮＮベースの方法より性能が優れている残差学習およびバッチ正規化を組み込むことによるノイズ除去ＣＮＮ（ＤｎＣＮＮ）を示唆した。より最近では、他のＣＮＮ方法、例えば、ＲＥＤ３０、ＭｅｍＮｅｔ、ＢＭ３Ｄ－Ｎｅｔ、ＭＷＣＮＮ、およびＦＦＤＮｅｔが、有望なノイズ除去性能でやはり開発されている。しかしながら、これらの方法は、一定の標準偏差を有するガウスノイズを想定し、それらは、モデルが訓練されたものよりも高いノイズレベルに対してうまく実行しない。対照的に、本ノイズ除去モデルは、より高いレベルのノイズでもうまく実行する。

【0020】

さらに、ＦＦＤＮｅｔおよびＣａｂｉｎｅｔなどの一定のシグマ仮定を行わないブラインドＣＮＮデノイザが、提案されている。これらの方法は、リアルのノイズのある画像に対して満足のいく結果を実現するが、より高いノイズレベルを有する訓練を必要とする。対照的に、本ノイズ除去モデルは、程よい量のノイズで訓練されてもよく、低ノイズレベルと高ノイズレベルの両方によく働く。

【0021】

さらに、大部分のノイズ除去のＣＮＮ方法は、写真編集の分野に適用され、入力として単一の画像のみをとる。本自動蛍光イメージングプラットフォーム（ｎＳｐｅｃ）は、さらなる後処理のために任意の枚数の画像を取得することができるので、本システムは、単一の画像を有することに限定されない。本システムは、低露光で撮られる少なくとも２枚（例えば、５枚）の画像を使用し、複数枚の画像の使用によってより高い頑強性を可能にし、低露光時間を用いることで光退色を避ける。

【0022】

いくつかの実施形態では、本ノイズ除去モデルは、蛍光イメージング技法と共に使用されてもよい。いくつかの実施形態では、本ノイズ除去モデルは、明視野イメージングのために使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、暗視野イメージングのために使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、反射光（エピスコピック（ｅｐｉｓｃｏｐｉｃ））顕微鏡検査を伴う顕微鏡検査に使用され得る。いくつかの実施形態では、本ノイズ除去モデルは、透過光（ディアスコピック（ｄｉａｓｃｏｐｉｃ））照明と共に使用され得る。

【0023】

図１は、例示実施形態による例示的なコンピューティング環境１００を示すブロック図である。図示のように、コンピューティング環境１００は、イメージング機器１０２と、コンピューティングシステム１０４とを含むことができる。イメージング機器１０２は、背景１０８に対して１枚または複数枚の試料の画像１０６を取り込むように構成され得る。

【0024】

上記のとおり、低い信号対ノイズ比条件は、顕微鏡検査のイメージング品質を劣化させる場合があり、これにより下流分析を難しくする。これを考慮するために、イメージング機器１０２は、背景１０８に対して試料１０６の１枚または複数枚の画像を取り込み、ノイズ除去のためにコンピューティングシステム１０４に１枚または複数枚の画像を与えるように構成され得る。コンピューティングシステム１０４は、イメージング機器１０２とは別個である構成要素として示され得るが、当業者は、コンピューティングシステム１０４、またはその機能性は、別個の構成要素である代わりにイメージング機器１０２に組み込まれてもよいことを理解するであろう。

【0025】

図示のように、コンピューティングシステム１０４は、ノイズ除去モデル１１０を含むことができる。ノイズ除去モデルは、試料１０６の１枚または複数枚の画像を受信し、下流分析のためにノイズ除去済み画像を生成するように構成され得る。いくつかの実施形態では、ノイズ除去モデル１１０は、Ｕ－Ｎｅｔモデルに基づく畳み込みニューラルネットワーク（ＣＮＮ）を表し得る。

【0026】

図２は、例示実施形態によるノイズ除去モデル１１０の例示アーキテクチャ２００を示す。いくつかの実施形態では、ノイズ除去モデル１１０への入力２０１は、同じ位置で撮られるノイズのある画像（例えば、５枚の画像）のスタックであり得る。ノイズ除去モデル１１０は、左側の畳み込み／ダウンサンプリングの半分２０２と、それに続く右側の逆畳み込み／アップサンプリングの半分２０４といった２つの半分に分割され得る。いくつかの実施形態では、ダウンサンプリングの半分２０２は、畳み込みの層２０６とそれに続く最大プール層２０８（最後の層を除く）のペアを含み得る。いくつかの実施形態では、畳み込みの層２０６の最後の２つのペアは、数値安定性のためにバッチ正規化層２１０を含む。様々な層における特徴マップの数は、４で始まってもよく、層の最後のペアについては６４まで倍になり得る。

【0027】

いくつかの実施形態では、アップサンプリングの半分２０４は、アップサンプリング層２１２とそれに続く三つ揃いの畳み込みの層２１４を含む４つのブロックを含むことができる。特徴マップの数は、左半分の終わりにおける６４から４まで逆に減少し得る。アップサンプリングの半分２０４の終わりに、２つの特徴マップの別の畳み込み層２１６が画像の特徴のシャープネスを改善するために追加されてもよい。最後に、ノイズ除去モデル１１０は、入力画像のサイズで、ノイズ除去済みの単一チャンネル画像２１８を出力することができる。

【0028】

いくつかの実施形態では、合成データセットおよび経験的データセットは、訓練および試験のために使用され得る。例えば、訓練のための画像は、１６ビットであり得るが、６５５３６のフル１６ビットレンジのうち１３５０の動的レンジに及ぶのに過ぎない。いくつかの実施形態では、複数枚の画像は、多角形、円形、楕円形等などの１つまたは複数の（例えば、３つの）幾何学的オブジェクトを含むフラットな背景で生成することができる。幾何学的オブジェクトの信号強度は、背景強度超（白色）、背景強度の近く（灰色）、および背景強度未満（暗色）で変わり得る。

【0029】

例示的な強度の概要は、下記表１に与えられる。

【表1】

【0030】

いくつかの実施形態では、幾何学的オブジェクトを生成するために、三角形が、背景画像の内側に配置されてもよく、経験的データセットを再現するために、形状の不規則性が導入されてもよい。これは、別の三角形を用いて三角形の部分をランダムに切り取ることによって行われ得る。経験的データを複製するために、それぞれの暗色の三角形は、背景値から三角形の値へ及ぶ上部に沿った強度勾配を含むことができ、これは、三角形の高さの５分の２に及び得る。例えば、暗色の三角形を配置する確率は０．５であり得、灰色の三角形は０．３５であり、白色の三角形は０．１５である。

【0031】

経験的データセットは、自動蛍光検査ツールを用いて収集することができる。いくつかの実施形態では、イメージングは、イメージング機器１０２によって実行され得る。例えば、イメージング機器１０２は、３９μｍの厚さのＥＰＩ層を有する４Ｈ－ＳｉＣのサンプルに対して１０ｘ対物レンズ（例えば、オリンパス、ＭＰｌａｎＦＬ Ｎ、ＮＡ＝０．３）を使用することができる。いくつかの実施形態では、光ルミネセンス応答を引き起こすために、紫外線ＬＥＤが、約３６９ｎｍのピーク波長を有する光源として使用され得る。いくつかの実施形態では、発光のために、緑色バンドパスフィルタが使用され得る。いくつかの実施形態では、サンプル平面における電力は、約５００ｍＷであり得る。いくつかの実施形態では、２つの経験的データセットが収集されてもよく、一方は１００ｍｓの露光で低レベルのノイズを有し、一方は５０ｍｓの露光で高レベルのノイズを有する。いくつかの実施形態では、サンプル上の１２個の異なる位置からのデータが収集され得る。いくつかの実施形態では、（光源がオフである状態の）１０個のノイズのある画像および背景画像が全ての露光（ノイズレベル）で位置ごとに収集され得る。いくつかの実施形態では、グラウンドトゥルース画像は、各位置において１０００ｍｓの露光で収集され得る。さらに、フラットフィールド補正のための画像は、サンプルの均一な部分から収集され得る。フラットフィールド補正は、

【数1】

として各画像に適用され得る。ただし、ＤＦは背景画像であり、ＦＦはフラットフィールド補正画像である。経験的データは、明色、灰色、および暗色の三角形の特徴を含み得る。三角形の特徴は、わずかに不規則であってもよく、場合によっては、複数のピースに切断され、いくつかは強度勾配を有した。白色の斑点およびスクラッチが経験的データに存在したが、これらは、関心のものではなく、合成データに含まれなかった。

【0032】

いくつかの実施形態では、まず、ノイズ除去モデル１１０は、合成データセットに基づいて訓練され得る。合成データセットは、既知の画像、ゴールデンテンプレート、既知の特徴の関連する変形画像などに近いデータを含むことができるが、それらに限定されない。例えば、１００枚の画像が、試験のために脇に置かれ、残りの画像は、訓練のための８００およびバリデーションのための２００のセットに分けられ得る。いくつかの実施形態では、複数枚（例えば、５枚）のノイズのある画像が、ガウスノイズを追加することによって全ての合成画像について生成され得る。例えば、試験データのために、低（σ＝２００または１３％）、中（σ＝６００または４０％）、および高（σ＝１０００または６６％）ガウスノイズが追加され得る。概して、ノイズは、画像アプリケーションによって指令される通りに追加され得る。

【0033】

合成データに基づいてノイズ除去モデル１１０を訓練した後、ノイズ除去モデル１１０は、経験的データセットに基づいて微調整されてもよい。例えば、１２個の画像の位置のうちの８つが、訓練のために、他の４つが試験のために、使用されてもよい。それらの４つの位置のうちの３つは、近位であってもよく、部分的に重なり合ってもよい。微調整は、中レベルのノイズ画像（５０ｍｓの露光）に対して行われてもよく、試験は、低（１００ｍｓ）、中（５０ｍｓ）、および高（２５ｍｓ）レベルのノイズを有する画像に対して行われた。

【0034】

本方法と平均投影の伝統的なノイズ除去手法との間の比較が、本明細書に提示される。平均投影は、Ｎ枚の画像を合計し、画素ごとにその強度を平均して、以下のように出力画像を得る。

【数2】

【0035】

比較のために、合成データセット中の５枚のノイズのある画像の各セット、および経験的データセット中の１０枚のノイズのある画像の各セットは、平均された。高レベルのノイズにおける詳細な比較のために、１００枚のノイズのある画像の１０個の合成セットが生成され、１０００枚のノイズのある画像の１０個の合成セットが生成された。

【0036】

モデル性能は、平均二乗誤差（ＭＳＥ）およびピーク信号対ノイズ比（ＰＳＮＲ）を計算することによって定量化された、Ｎ枚の画像のＭＳＥは、

【数3】

のように計算され、ただし、Ｉはノイズ除去済み画像であり、Ｔは対応するグラウンドトゥルース画像である。データが１６ビットであり、レンジ全体に及ばないので、ＭＳＥは、動的レンジの割合として

【数4】

ように表現することができ、ただし、Ｒは、データの動的レンジである。ＰＳＮＲは、

【数5】

のように計算される。

【0037】

いくつかの実施形態では、ノイズ除去モデル１１０は、まず、訓練され、単独で合成データに基づいて試験されてもよい。いくつかの実施形態では、ノイズ除去モデル１１０は、中レベルのノイズだけに基づいて訓練されてもよく、３０を上回るＰＳＮＲで全てのノイズレベル下でよく働く。これは、ベストで２５のＰＳＮＲを実現する平均の投影方法よりもかなりよい。さらに、平均投影法についての誤差の標準偏差は、ノイズ除去モデル（σ＝１．０８％～１．６２％）のものと比べてずっと広い（σ＝３．５０％～１６．９３％）。ノイズ除去モデルの性能は緑色で示され、平均投影の性能は、赤色で示される。平均投影は、より広くより高い誤差およびより広い誤差の広がりを有する。

【0038】

このようにして、ノイズ除去モデル１１０は、従来の手法と比較してより繰り返し可能な結果をもたらす。

【0039】

さらに、平均投影の伝統的な方法の場合、平均投影法の誤差は、ノイズ除去に使用される画像の枚数が指数的に増加するにつれて２４％ＭＳＥから２％ＭＳＥへ減少する。典型的には、平均投影法は、ノイズ除去モデル１１０がたった５枚の画像で実現することができるのと同じレベルのノイズ除去を実現するために非常の多くの枚数の画像（例えば、１０００枚の画像）を撮る。例えば、以下に示される表２は、動的レンジの画像の割合として平均誤差および標準偏差を与える。与えられるように、従来の平均投影法は、１０００枚あたりの画像を撮って、わずか２枚から５枚の画像と同じレベルのノイズ除去を実現する。

【表2】

【0040】

いくつかの実施形態では、ノイズ除去モデル１１０は、微調整されてもよく、経験的データ上で試験されてもよい。

【0041】

図３は、例示実施形態によるノイズ除去モデル１１０を訓練する方法３００を示す流れ図である。方法３００は、ステップ３０２で始まることができる。

【0042】

ステップ３０２において、合成データセットが生成され得る。いくつかの実施形態では、合成データセットは、コンピューティングシステム１０４によって生成することができる。合成データセットは、既知の画像、ゴールデンテンプレート、既知の特徴の関連する変形画像などに近いデータを含むことができるが、それらに限定されない。例えば、１００枚の画像が、試験のために脇に置かれ、残りの画像は、訓練のための８００およびバリデーションのための２００のセットに分けられ得る。いくつかの実施形態では、複数枚（例えば、５枚）のノイズのある画像が、ガウスノイズを追加することによって全ての合成画像について生成され得る。例えば、試験データのために、低（σ＝２００または１３％）、中（σ＝６００または４０％）、および高（σ＝１０００または６６％）ガウスノイズが追加され得る。概して、ノイズは、画像アプリケーションによって指令される通りに追加され得る。

【0043】

ステップ３０４において、コンピューティングシステム１０４は、合成データセットに基づいてノイズ除去モデル１１０を訓練することができる。例えば、ノイズ除去モデル１１０は、合成データセットに基づいて、１枚の画像または複数枚の画像をノイズ除去するやり方を学習することができる。

【0044】

ステップ３０６において、コンピューティングシステム１０４は、ノイズ除去モデル１１０を微調整するために経験的データセットを生成することができる。例えば、コンピューティングシステム１０４は、経験的データセットを生成するためにイメージング機器１０２が取り込む背景画像の内側に配置される幾何学的オブジェクト（例えば、多角形、円形、楕円形等）を生成することができる。いくつかの実施形態では、コンピューティングシステム１０４は、経験的データセットを再現するために不規則性を導入および形成することができる。例えば、コンピューティングシステム１０４は、別の三角形を用いて三角形の部分をランダムに切り取ることができる。経験的データを複製するために、それぞれの暗色の三角形は、背景値から三角形の値へ及ぶ上部に沿った強度勾配を含むことができ、これは、三角形の高さの５分の２に及び得る。例えば、暗色の三角形を配置する確率は０．５であり得、灰色の三角形は０．３５であり、白色の三角形は０．１５である。いくつかの実施形態では、経験的データセットは、自動蛍光検査ツールを用いて収集することができる。いくつかの実施形態では、イメージングは、イメージング機器１０２によって実行され得る。

【0045】

ステップ３０８において、コンピューティングシステム１０４は、経験的データセットを用いてノイズ除去モデル１１０を微調整することができる。例えば、コンピューティングシステム１０４は、経験的データセットのために生成された実際の画像を用いてノイズ除去モデル１１０のために別の訓練のラウンドを実行することができる。

【0046】

図４は、例示実施形態による試料の画像をノイズ除去する方法４００を示す流れ図である。方法４００は、ステップ４０２で始まることができる。

【0047】

ステップ４０２において、コンピューティングシステム１０４は、試料の画像のセットを取得することができる。例えば、コンピューティングシステム１０４は、背景１０８に対して試料１０６の画像のセットをイメージング機器１０２から受信することができる。概して、画像のセットは、背景１０８に対して試料１０６の少なくとも２枚の画像を含むことができる。

【0048】

ステップ４０４において、コンピューティングシステム１０４は、訓練済みノイズ除去モデル１１０に試料１０６の画像のセットを入力することができる。ノイズ除去モデル１１０は、単一のノイズ除去済み画像を生成するために画像のセットを分析するように構成され得る。例えば、ノイズ除去モデル１１０は、画像のセットを処理してそこからノイズを取り除くことができる。

【0049】

ステップ４０６において、コンピューティングシステム１０４は、試料の単一のノイズ除去済み画像を出力することができる。例えば、上記のとおり、ノイズ除去モデル１１０は、そこへの入力として与えられる画像のセットに基づいて単一のノイズ除去済み画像を出力することができる。単一のノイズ除去済み画像は、コンピューティングシステム１０４、または単一のノイズ除去済み画像に含まれた試料１０６の下流分析のための他のコンピューティングシステムによって使用することができる。

【0050】

図５Ａは、例示実施形態によるシステムバスコンピューティングシステム５００のアーキテクチャを示す。システム５００の１つまたは複数の構成要素は、バス５０５を用いて互いに電気通信していることができる。システム５００は、プロセッサ（例えば、１つまたは複数のＣＰＵ、ＧＰＵ、または他のタイプのプロセッサ）５１０と、システムメモリ５１５、例えば、リードオンリメモリ（ＲＯＭ）５２０およびランダムアクセスメモリ（ＲＡＭ）５２５を含む様々なシステム構成要素をプロセッサ５１０に結合するシステムバス５０５とを含むことができる。システム５００は、プロセッサ５１０と直接接続され、そのすぐ近くに接続され、またはその一部として一体化された高速メモリのキャッシュを含むことができる。システム５００は、プロセッサ５１０による迅速なアクセスのためにメモリ５１５および／または記憶装置５３０からキャッシュ５１２へデータをコピーすることができる。このようにして、キャッシュ５１２は、プロセッサ５１０がデータを待っている間に遅延するのを防ぐ性能ブーストを与えることができる。これらおよび他のモジュールは、様々なアクションを実行するためにプロセッサ５１０を制御するまたは制御するように構成されることが可能である。他のシステムメモリ５１５も、使用のために利用可能であり得る。メモリ５１５は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ５１０は、単一のプロセッサまたは複数のプロセッサを表し得る。プロセッサ５１０は、プロセッサ５１０を制御するように構成された汎用プロセッサ、またはハードウェアモジュールもしくはソフトウェアモジュール、例えば、記憶装置５３０に記憶されたサービス１ ５３２、サービス２ ５３４、およびサービス５ ５３６、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサのうちの１つまたは複数を含むことができる。本質的に、プロセッサ５１０は、マルチコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む完全に自己完結したコンピューティングシステムであり得る。マルチコアプロセッサは、対称または非対称であり得る。

【0051】

システム５００とのユーザインタラクションを可能にするために、入力装置５４５は、任意の個数の入力機構、例えば、スピーチ用のマイクロフォン、ジェスチャまたはグラフィカル入力用のタッチセンシティブスクリーン、キーボード、マウス、モーション入力、音声などであり得る。出力装置５３５（例えば、ディスプレイ）も、当業者に知られたいくつかの出力機構の１つまたは複数であり得る。いくつかの例では、多モードのシステムにより、システム５００と通信するために、ユーザが複数のタイプの入力を行うことを可能にし得る。通信インタフェース５４０は、全体的に、ユーザ入力およびシステム出力を支配および管理することができる。いずれかの特定のハードウェア装置上の動作に関する制限はなく、したがって、ここで、基本的な特徴は、それらが開発されるときに、改善されたハードウェア構成またはフォームウェア構成に容易に取って代えられ得る。

【0052】

記憶装置５３０は、不揮発性メモリであり得るものであり、コンピュータによってアクセス可能であるデータを記憶することができるハードディスク、または他のタイプのコンピュータ可読媒体、例えば、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）５２５、リードオンリメモリ（ＲＯＭ）５２０、およびそれらのハイブリッドであり得る。

【0053】

記憶装置５３０は、プロセッサ５１０を制御するためのサービス５３２、５３４、および５３６を含むことができる。他のハードウェアモジュールまたはソフトウェアモジュールが考えられる。記憶装置５３０は、システムバス５０５に接続され得る。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実行するために、必要なハードウェア構成要素、例えば、プロセッサ５１０、バス５０５、出力装置５３５（例えば、ディスプレイ）などに関連して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。

【0054】

図５Ｂは、例示実施形態によるチップセットアーキテクチャを有するコンピュータシステム５５０を示す。コンピュータシステム５５０は、開示された技術を実施するために使用され得るコンピュータハードウェア、ソフトウェア、およびファームウェアの一例であり得る。システム５５０は、特定の計算を実行するように構成されたソフトウェア、ファームウェア、およびハードウェアを実行することができる任意の個数の物理的におよび／または論理的に異なるリソースを表す１つまたは複数のプロセッサ５５５を含み得る。１つまたは複数のプロセッサ５５５は、１つまたは複数のプロセッサ５５５への入力、および１つまたは複数のプロセッサ５５５からの出力を制御することができるチップセット５６０と通信することができる。この例では、チップセット５６０は、ディスプレイなどの出力部５６５へ情報を出力し、例えば、磁気媒体およびソリッドステート媒体を含み得る記憶装置５７０への情報を読み書きすることができる。チップセット５６０は、ＲＡＭ５７５からデータを読み込み、ＲＡＭ５７５へデータを書き込むこともできる。種々のユーザインタフェース構成要素５８５とインタフェースをとるブリッジ５８０が、チップセット５６０とインタフェースをとるために設けられ得る。そのようなユーザインタフェース構成要素５８５は、キーボード、マイクロフォン、タッチ検出および処理回路、マウスなどのポインティングデバイスなどを含み得る。概して、システム５５０への入力は、種々のソースのいずれかから来る、機械生成される、および／または人により生成されることが可能である。

【0055】

チップセット５６０は、異なる物理インタフェースを有することができる１つまたは複数の通信インタフェース５９０とインタフェースをとることもできる。そのような通信インタフェースは、有線および無線ローカルエリアネットワークのための、ブロードバンド無線ネットワークのための、ならびにパーソナルエリアネットワークのためのインタフェースを含むこともできる。本明細書中に開示されるＧＵＩを生成、表示、および使用する方法のいくつかの応用は、物理インタフェースを介して命じられたデータセットを受信することを含むことができ、あるいは記憶装置５７０または５７５に記憶されたデータを分析する１つまたは複数のプロセッサ５５５により機械自体によって生成されることができる。さらに、機械は、ユーザインタフェース構成要素５８５を通じてユーザから入力を受信し、１つまたは複数のプロセッサ５５５を用いてこれらの入力を解釈することによってブラウジング機能などの適切な機能を実行することができる。

【0056】

例示システム５００および５５０は、２つ以上のプロセッサ５１０、５５５を有してもよく、あるいはより大きい処理能力を提供するために一緒にネットワーク接続されたコンピューティングデバイスの群またはクラスタの一部であってもよいことが理解できる。

【0057】

上述したように、本明細書中で提供される１つまたは複数の技法は、ノイズ除去済み画像を生成するために少なくとも２枚（例えば、５枚）のノイズのある画像を必要とするＵ－Ｎｅｔアーキテクチャに基づく深層学習モデルを使用する。比較において、多量のノイズを有する合成データについては、平均投影の伝統的な手法は、本ノイズ除去モデルを用いる少なくとも２枚（例えば、５枚）のものとは対照的に１０００枚の画像を必要とした。ノイズ除去モデルは、少なくとも２枚（例えば、５枚の画像）を有する経験的データに基づいて改善されたレベルのノイズ除去を実現することもでき、したがって、経験的蛍光サンプルの品質にとって好ましくない光退色の影響を低減する。

【0058】

前述のものは、本明細書に記載の実施形態に向けられるが、他のおよびさらなる実施形態は、その基本的な範囲から逸脱することなく考え出され得る。例えば、本開示の態様は、ハードウェア、またはソフトウェア、あるいはハードウェアとソフトウェアの組合せで実施され得る。本明細書に記載の一実施形態は、コンピュータシステムと共に使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、（本明細書に記載の方法を含む）実施形態の機能を定義し、種々のコンピュータ可読記憶媒体上に含まれることが可能である。例示的なコンピュータ可読記憶媒体は、（ｉ）情報が恒久的に記憶される書き込み不可の記憶媒体（例えば、コンピュータ内のリードオンリメモリ（ＲＯＭ）デバイス、例えば、ＣＤ－ＲＯＭドライブによって読み取り可能なＣＤ－ＲＯＭディスク、フラッシュメモリ、ＲＯＭチップ、または任意のタイプのソリッドステート不揮発性メモリメモリ）、および（ｉｉ）変更可能な情報が記憶される書き込み可能な記憶媒体（例えば、ディスケットドライブ内のフロッピーディスク、またはハードディスクドライブ、あるいは任意のタイプのソリッドステートランダムアクセスメモリ）を含むが、これらに限定されない。そのようなコンピュータ可読記憶媒体は、開示された実施形態の機能を命じるコンピュータ可読命令を保持するときに、本開示の実施形態である。

【0059】

前述の例は、例示的であり、限定するものではないことが当業者によって理解されよう。それに対しての全ての置換、拡張、均等、および改善は、本明細書を読み、図面を研究すると、当業者に明らかであり、本開示の真の精神および範囲内に含まれることが意図される。したがって、以下の添付された特許請求の範囲は、これらの教示の真の精神および範囲内に入る全てのそのような修正、置換、および均等を含むことが意図される。

【国際調査報告】