知財求人 - 知財ポータルサイト「IP Force」
▶ ザ ユナイテッド ステーツ オブ アメリカ、アズ リプリゼンテッド バイ ザ セクレタリー、ディパートメント オブ ヘルス アンド ヒューマン サービシーズの特許一覧 ▶ ザ ユニヴァーシティー オヴ シカゴの特許一覧
特表2024-502613ライン走査型の共焦点顕微鏡から等方的な面内超解像画像を生成するシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-22
(54)【発明の名称】ライン走査型の共焦点顕微鏡から等方的な面内超解像画像を生成するシステム及び方法
(51)【国際特許分類】
G06T 3/4053 20240101AFI20240115BHJP
G06T 3/4046 20240101ALI20240115BHJP
【ＦＩ】
G06T3/40 730
G06T3/40 725
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023541648
(86)(22)【出願日】2022-01-06
(85)【翻訳文提出日】2023-09-07
(86)【国際出願番号】 US2022011484
(87)【国際公開番号】W WO2022150506
(87)【国際公開日】2022-07-14
(31)【優先権主張番号】63/134,907
(32)【優先日】2021-01-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】519314559
【氏名又は名称】ザ ユナイテッド ステーツ オブ アメリカ、アズ リプリゼンテッド バイ ザ セクレタリー、ディパートメント オブ ヘルス アンド ヒューマン サービシーズ
(71)【出願人】
【識別番号】501242712
【氏名又は名称】ザ ユニヴァーシティー オヴ シカゴ
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】シュロフ、アリ
(72)【発明者】
【氏名】ウー、イーツォン
(72)【発明者】
【氏名】ハン、シアオフェイ
(72)【発明者】
【氏名】ラ リヴィエール、パトリック
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA20
5B057CD05
5B057CE08
5B057DB01
(57)【要約】
訓練済みニューラルネットワークを使用して回折限界ライン共焦点画像から一次元超解像画像を生成し、一次元超解像出力と等方的な面内超解像画像とを生成するためのシステム及び方法の様々な実施形態が開示される。
【特許請求の範囲】
【請求項1】
空間分解能を向上させる方法であって、イメージタイプの複数の回折限界ライン共焦点画像を生成し、前記イメージタイプの前記複数の回折限界ライン共焦点画像に対応する前記イメージタイプの複数の一次元超解像画像を生成することと、
複数のマッチングされた訓練ペアを含む訓練セットを生成することであって、前記複数のマッチングされた訓練ペアの各訓練ペアは、前記イメージタイプの前記複数の回折限界ライン共焦点画像のうちの回折限界ライン共焦点画像と、前記複数の回折限界ライン共焦点画像うちの前記回折限界ライン共焦点画像に対応する一次元超解像画像とを含む、訓練セットを生成することと、
前記イメージタイプの前記複数のマッチングされた訓練ペアを入力として入力することによってニューラルネットワークを訓練することと、
前記ニューラルネットワークに入力された回折限界ライン共焦点画像の評価に基づいて、前記ニューラルネットワークによって前記イメージタイプの一次元超解像画像を生成することと、
を含む方法。
【請求項2】
前記ニューラルネットワークは、前記ニューラルネットワークに入力された前記イメージタイプの前記回折限界ライン共焦点画像の入力と前記訓練セット内の前記イメージタイプの前記複数の回折限界ライン共焦点画像との間の類似性を識別することによって、前記イメージタイプの前記回折限界ライン共焦点画像を評価する、請求項１に記載の方法。
【請求項3】
訓練済みニューラルネットワークによって前記イメージタイプの前記一次元超解像画像を生成することは、前記訓練済みニューラルネットワークによって評価された前記イメージタイプの前記回折限界ライン共焦点画像の入力と前記訓練セットの前記複数の回折限界ライン共焦点画像との間で確立された任意の類似性の識別に基づく、請求項２に記載の方法。
【請求項4】
前記訓練済みニューラルネットワークによって前記イメージタイプの前記一次元超解像画像を生成することは、各訓練ペアから、前記回折限界ライン共焦点画像の入力と前記イメージタイプの前記複数の回折限界ライン共焦点画像との間で識別される前記類似性を用いて、前記イメージタイプの前記対応する一次元超解像画像の１つ以上の特徴を識別することをさらに含む、請求項３に記載の方法。
【請求項5】
前記複数の回折限界ライン共焦点画像の各回折限界ライン共焦点画像が位相シフトされ、次いで、前記位相シフトされた回折限界ライン共焦点画像が合成されて、マッチングされた訓練ペア毎に前記イメージタイプの前記複数の一次元超解像画像のそれぞれの一次元超解像画像を生成する、請求項１に記載の方法。
【請求項6】
等方的な超解像画像の生成方法であって、ニューラルネットワークへの入力として、第１の方向におけるイメージタイプの第１の回折限界ライン共焦点画像と、第２の方向における前記イメージタイプの第２の回折限界ライン共焦点画像と、を提供することと、
前記ニューラルネットワークからの出力として、前記第１の方向における前記イメージタイプの前記第１の回折限界ライン共焦点画像の第１の一次元超解像画像と、前記第２の方向における前記イメージタイプの第２の一次元超解像画像と、を生成することと、
プロセッサによって、前記第１の方向における前記イメージタイプの前記第１の一次元超解像画像と、前記第２の方向における前記イメージタイプの前記第２の一次元超解像画像とを合成して、前記プロセッサによって出力される等方的な超解像画像を生成することと、
を含む、方法。
【請求項7】
前記プロセッサは、前記等方的な超解像画像を生成するために、ジョイント逆畳み込み演算を使用して、前記第１の方向における前記イメージタイプの前記第１の一次元超解像画像と、前記第２の方向における前記イメージタイプの前記第２の一次元超解像画像とを合成する、請求項６に記載の方法。
【請求項8】
前記プロセッサは、リチャードソン－ルーシーアルゴリズムを使用して、前記ジョイント逆畳み込み演算を実行する、請求項７に記載の方法。
【請求項9】
前記第１の方向は、前記第２の方向とは異なる方向である、請求項６に記載の方法。
【請求項10】
前記ニューラルネットワークへの入力として、第３の方向におけるイメージタイプの第３の回折限界ライン共焦点画像を提供することと、前記ニューラルネットワークからの出力として、前記第３の方向における前記イメージタイプの前記第１の回折限界ライン共焦点画像の第３の一次元超解像画像を生成することと、 プロセッサによって、前記第３の方向における前記イメージタイプの前記第３の一次元超解像画像を、前記第２の方向における前記イメージタイプの前記第２の一次元超解像画像及び前記第１の方向における前記第１の一次元超解像画像と合成して、前記プロセッサによって出力される等方的な超解像画像を生成することと、
をさらに含む、請求項６記載の方法。
【請求項11】
前記ニューラルネットワークへの入力として、第４の方向におけるイメージタイプの第４の回折限界ライン共焦点画像を提供することと、 前記ニューラルネットワークからの出力として、前記第４の方向における前記イメージタイプの前記第１の回折限界ライン共焦点画像の第４の一次元超解像画像を生成することと、
プロセッサによって、前記第４の方向における前記イメージタイプの前記第４の一次元超解像画像を、前記第３の方向における前記イメージタイプの前記第３の一次元超解像画像、前記第２の方向における前記イメージタイプの前記第２の一次元超解像画像及び前記第１の方向における前記第１の一次元超解像画像と合成して、前記プロセッサによって出力される等方的な超解像画像を生成することと、
をさらに含む、請求項１０記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は一般に、回折限界画像から超解像画像を生成することに関し、特に、訓練済みニューラルネットワークを使用して、回折限界ライン共焦点画像（diffraction-limited line-confocal images）から超解像画像を生成し、一次元超解像画像出力と、異なる方向の一次元超解像画像を合成することで得られる等方的な面内超解像画像と、を生成するシステム及び方法に関する。
【背景技術】
【0002】
ライン走査型の共焦点顕微鏡は、蛍光標識されたサンプルを１つの空間次元に集光させたシャープな回折限界照明で照明する。照明ラインがサンプルを横切って走査される際に、サンプルによって放出された蛍光がスリットを通ってフィルタリングされ、記録されると、焦点外の蛍光による汚染が低減された光学的切片像が得られる。一般には理解されていないが、サンプルの照明が必ず回折限界であるという事実は、追加の画像が取得されるか又は光学的再割り当て技術（optical reassignment techniques）が使用されると、ラインが集光される方向の（すなわち、１つの空間次元に沿って）空間分解能を向上させることが可能であることを意味する。しかしながら、ライン走査型の共焦点顕微鏡において一次元分解能を向上させるためのこのような技術はすべて、従来の回折限界共焦点顕微鏡よりも多くの線量（dose）を与えるか、又はより多くの画像を必要とする。
【0003】
本開示の様々な態様は、特にこれらの知見を念頭に置いて考案され、開発されたものである。
【図面の簡単な説明】
【0004】
【図1】図１は、回折限界ライン共焦点画像及びマッチングされた位相シフトφ１、φ２、及びφ３画像を得るために、サンプルのシャープなライン照明を生成するためのライン走査型の共焦点顕微鏡システムの一実施形態を示す概略図である。
【図2B】図２Ｂは、回折限界照明ライン走査が特定の間隔でブランクにされ、次いで、マッチングされた位相シフトφ１、φ２、及びφ３画像を生成するために互いに対して約１２０度位相シフトされたときに生じる疎な周期的照明パターンを示す図である。
【図3】図３は、各々が細胞の回折限界線共焦点画像（左）と同じ細胞の対応する一次元超解像画像（右）とを有するマッチングされたデータ訓練ペアの訓練セットを示す簡略図であり、訓練セットは、回折限界ライン共焦点画像入力を評価し、評価された回折限界ライン共焦点画像の一次元超解像画像を予測し、生成することのみに基づいて一次元超解像画像を生成するニューラルネットワークを訓練するために使用される。
【図6A】図６Ａは、異なる方向（０度、４５度、９０度、及び１３５度）で回転された細胞の回折限界画像を示す簡略図であり、各回折限界画像は、訓練済みニューラルネットワークに入力され、その結果として得られた画像はそれぞれ水平方向に解像度が向上している。
【図7A】図７Ａは、ドット、ライン、リング、及び実線の円の混合物を用いてシミュレートされた未加工画像であり、回折限界ＰＳＦでぼかされ、未加工画像にはポアソンノイズとガウシアンノイズとが付加されている。
【0005】
対応する参照符号は、図面の図の中の対応する要素を示す。図中で使用される見出しは、特許請求の範囲を限定するものではない。
【発明を実施するための形態】
【0006】
本明細書には、訓練済みニューラルネットワークを使用してライン走査型の共焦点顕微鏡における空間分解能を向上させるためのシステム及び関連する方法の様々な実施形態が開示されている。一態様では、空間分解能を向上させるための方法は、ライン走査型の共焦点顕微鏡システムによって生成される複数の疎な位相シフトされた回折限界ライン照明パターンでサンプル又はイメージタイプ（image-type）を照明することによって、サンプル又はイメージタイプの一連の回折限界ライン共焦点画像を生成することを含む。これらの回折限界ライン共焦点画像が生成されると、複数のマッチングされたデータ訓練ペアを含む訓練セットが組み立てられ、マッチングされたデータ訓練ペアの各々は、あるサンプル又はイメージタイプの回折限界ライン共焦点画像と、同じ回折限界ライン共焦点画像の対応する一次元超解像画像とがマッチングされたものを含む。分解能向上の程度は、ライン照明による蛍光発光がどの程度微細であるかに依存し、従来のライン走査型の共焦点顕微鏡のように回折限界のある照明の場合、理論的には回折限界より約２倍程度の分解能の向上が達成される可能性がある。しかしながら、蛍光発光を照明強度に非線形に依存させることができれば、例えば、光スイッチング可能な蛍光色素や、飽和可能でオン／オフ状態を有する蛍光色素を使用する場合、原理的には蛍光発光の微細化の程度に限界はない。この場合、２倍を超える（理論的には「回折限界なし」）解像度向上が可能である。これまでに行われたシミュレーション及び実験的テストでは、回折限界分解能に対して２倍の解像度向上が達成された。
【0007】
訓練セットがそのように組み立てられた後、マッチングされたデータ訓練ペアは、ニューラルネットワークが以前に評価したことのない回折限界ライン共焦点画像入力の評価のみに基づいて、一次元超解像画像出力を「予測」して生成するように、ニューラルネットワークを訓練するために使用される。本開示のシステムは、そのような目的のために、残渣チャネル注意ネットワーク（ＲＣＡＮ：Residual Channel Attention Network）及びＵ－Ｎｅｔをテストすることに成功し、回折限界入力で２倍以上の解像度向上を実現した。ＲＣＡＮを例にとると、低解像度画像及び高解像度画像のマッチングされたペアがネットワークアーキテクチャに入力され、ネットワーク予測値と正解（ground-truth）の超解像画像との間のＬ１損失を最小化することによってネットワークが訓練される。ＲＣＡＮアーキテクチャは、それ自体が残渣構造を含む複数の残渣グループから構成される。このような「残渣中の残渣（residual in residual）」構造は、長いスキップ接続を持つ複数の残渣グループからなる非常に深いネットワークを形成する。各残渣グループはまた、短いスキップ接続を有する残渣チャネル注意ブロック（ＲＣＡＢ：Residual Channel Attention Blocks）を含む。長いスキップ接続と短いスキップ接続、及び残渣ブロック内のショートカットにより、低解像度情報がバイパスされることを可能にし、高解像度情報の予測を容易にする。さらに、ＲＣＡＢ内のチャネル注意メカニズムは、チャネル間の相互依存性を考慮することによりチャネル毎の特徴を適応的に再スケーリングするために使用され、ネットワークの能力をさらに向上させてより高い解像度を達成する。本開示のシステムは、残渣グループ（ＲＧ：Residual Groups）の数を５に設定し、（２）各ＲＧにおいて、ＲＣＡＢの数は３又は５に設定され、（３）浅い特徴抽出における畳み込み層の数は３２であり、（４）チャネルダウンスケーリングにおける畳み込み層は４つのフィルタを有し、ここで低減比は８に設定され、（５）すべての二次元畳み込み層は三次元畳み込み層に置き換えられ、（６）本開示のシステムではネットワークの入力と出力とが同じサイズであるために、元のＲＣＡＮの最後にあるアップスケーリングモジュールは省略される。
【0008】
ニューラルネットワークが特定のサンプル又はイメージタイプのマッチングされたデータ訓練ペアで訓練されると、ニューラルネットワークは、対応する一次元超解像画像を生成するために類似のサンプル又はイメージタイプの複数のマッチングされたデータ訓練ペアを使用するニューラルネットワークを訓練することのみに基づいて、回折限界ライン共焦点画像入力の一次元超解像画像出力を生成することによって、類似のサンプル又はイメージタイプの任意の回折限界ライン共焦点画像入力の空間分解能を向上させる能力を獲得する。別の態様では、ニューラルネットワークは、異なる方向に沿って一次元空間分解能が高められた複数の画像を合成することによって、等方的な面内超解像画像を生成することができる。図面を参照すると、訓練済みニューラルネットワークによって一次元超解像画像及び等方的な面内超解像画像を生成するためのシステム及び関連する方法が図示されており、図１～図１０では、概して１００、２００、３００、及び４００として図示されている。
【0009】
一態様では、ニューラルネットワーク３０２は、訓練済みニューラルネットワーク３０２Ａへの入力として提供される回折限界ライン共焦点画像３０７の評価のみに基づいて、一次元超解像画像３０８を予測して生成するように訓練される。回折限界ライン共焦点画像３０７の評価が完了すると、訓練済みニューラルネットワーク３０２Ａは、回折限界ライン共焦点画像３０７自体の空間分解能を訓練済みニューラルネットワーク３０２Ａによって直接的に向上させることなく、回折限界ライン共焦点画像３０７が一次元超解像画像３０８としてどのように見えるかの予測に基づいて、一次元超解像画像３０８を出力として生成する。特に、訓練済みニューラルネットワーク３０２Ａは、訓練済みニューラルネットワーク３０２Ａへの入力として提供される回折限界ライン共焦点画像３０７における特定のサンプル又はイメージタイプの特定の態様及び／又はメトリックを評価することによって、一次元超解像画像３０８を生成するように動作可能であり、評価された回折限界ライン共焦点画像３０７の空間分解能を直接向上させることなく、回折限界共焦点画像３０７の空間分解能を、一次元超解像画像３０６のレベルまで向上させて出力する。訓練済みニューラルネットワーク３０２Ａは、回折限界ライン共焦点画像３０４と対応する一次元超解像画像３０６とのマッチングされたデータ訓練ペア３０１を評価したことによる訓練済みニューラルネットワーク３０２Ａの以前の訓練に基づいて、評価対象の回折限界ライン共焦点画像３０７の空間分解能を向上させるように動作可能である。
【0010】
ニューラルネットワーク３０２の訓練の際に、マッチングされたデータ訓練ペア３０１は、それぞれが、特定の種類のサンプル又はイメージタイプについての回折限界ライン共焦点画像３０４とその回折限界ライン共焦点画像３０４に基づく対応する一次元超解像画像３０６とから構成されており、後に類似のサンプル又はイメージタイプの回折限界ライン共焦点画像３０７をニューラルネットワーク３０２への入力３０４として評価する際に、類似の態様を認識するようにニューラルネットワーク３０２を訓練するために使用される。ここで、訓練済みニューラルネットワーク３０２Ａは、評価済み回折限界ライン共焦点画像３０７の訓練済みニューラルネットワーク３０２Ａへの入力に基づいて、一次元超解像画像３０８の出力を構築するように動作可能である。さらに、以下でより詳細に説明するように、訓練済みニューラルネットワーク３０２Ａによって、サンプル又はイメージタイプの平面に対して異なる軸に沿って配向された一連の一次元超解像画像３０８Ａ～Ｄを合成すること（combining）によって、等方的な面内超解像画像３１０を生成する方法が本明細書に開示されている。
【0011】
図１及び図２Ａ～図２Ｃを参照すると、複数の回折限界共焦点画像３０４は、照明されたサンプル１０８から放出される疎な周期的照明を生成するライン走査共焦点顕微鏡システム１００（図１）と、回折限界ライン共焦点画像３０４を生成するために３つ以上の異なる位相シフト角度で疎な周期的照明画像の各々を受信して位相シフトするプロセッサ１１１と、を用いて生成され得る。ライン走査型の共焦点顕微鏡システム１００によって特定のサンプル１０８又はイメージタイプについて複数の回折限界共焦点画像３０４が生成されると、プロセッサ１１１は、これら又はより多くの回折限界共焦点画像３０４を合成して、プロセッサ１１１と相互に通信するデータベース１１６に記憶されたそれら回折限界ライン共焦点画像３０４各々の一次元超解像画像３０６を生成する。
【0012】
一態様では、プロセッサ１１１は、複数のマッチングされたデータ訓練ペア３０１をデータベース１１６に記憶し、マッチングされたデータ訓練ペア３０１の各々は、あるサンプル又はイメージタイプの回折限界ライン共焦点画像３０４と、そのサンプル又はイメージタイプの回折限界共焦点画像３０４を共に合成することから生成される、同じサンプル又はイメージタイプの対応する一次元超解像画像３０６とから構成される。例えば、データベース１１６は、特定の種類のサンプルの複数のマッチングされたデータ訓練ペア３００を記憶することができ、データ訓練ペア３００の各々は、サンプル又はイメージタイプの回折限界ライン共焦点画像３０４と、その同じ回折限界ライン共焦点画像３０４のサンプル又はイメージタイプの対応する一次元超解像画像３０６とから構成される。
【0013】
図１及び図２Ａ～図２Ｃに示すように、回折限界ライン共焦点画像３０４を生成し、一次元超解像画像３０６とマッチングさせるための、ライン走査型の共焦点顕微鏡システム１００の一実施形態が示されている。図１に示すように、ライン走査型の共焦点顕微鏡システム１００は、位相シフトされ、シャッタ処理された（shuttered）サンプル１０８のライン走査共焦点画像１１５を生成し、プロセッサ１１１によって、第１の位相シフトでφ１画像１１６Ａを、第２の位相シフトでφ２画像１１６Ｂを、及び第３の位相シフトでφ３画像１１６Ｃを生成する。プロセッサ１１１は、これらの位相シフトされた画像１１６Ａ～１１６Ｃを合成処理して、一次元超解像画像３０６を生成する。一構成では、ライン走査型の共焦点顕微鏡システム１００は照明光源１０１を含み、照明光源１０１は、例えば高速シャッタ１０２を通り、次いでシャッタ処理されたシャープな照明ライン走査（line scan）１１３を生成するシャープ照明発生器及びスキャナ１０３を通って、レーザビーム１１２を伝送する。シャッタ処理されたシャープな照明ライン走査１１３は、次に、第１のリレーレンズ１０４及び第２のリレーレンズ１０５を含むリレーレンズ系を通過した後、ダイクロイックミラー１０６によって方向転換され、対物レンズ１０７を通過してシャッタ処理された照明ライン走査１１３を集光し、サンプル１０８を通過してサンプル１０８を照明及び走査する。いくつかの実施形態では、照明光源１０１と連携する高速シャッタ１０２（例えば、音響光学可変フィルタ－ＡＯＴＦ：acousto-optic tunable filter）は、シャッタ処理された照明ライン走査１１３を生成するシャープ照明発生器及び走査機構１０３などのライン照明装置を通して、照明光源１０１によって生成されたレーザビーム１１２をブランキング（blanking）するように動作可能である。代替的に、空間光変調器（図示せず）を使用して、シャッタ処理された照明ライン走査１１３を生成するために、レーザビーム１１２をブランキングしてもよい。いくつかの実施形態では、ダイクロイックミラー１０６は、シャッタ処理された照明ライン走査１１３を方向転換して対物レンズ１０７の後方焦点面に結像させ、疎な構造化照明パターンでサンプル１０８を照明する。サンプル１０８がこのように照明されると、サンプル１０８によってサンプル１０８の平面に対して特定の方向で放出された蛍光発光１１４は、対物レンズ１０７を介してエピモード（epi-mode）で集光され、対物レンズ１０７と連携する４ｆ構成のチューブレンズ１０９を通過した後、ダイクロイックミラー１０６を介してシャッタ処理された照明ライン走査１１３から分離され、検出器１１０（例えば、カメラ）によって収集される。空間光変調器が使用される場合、空間光変調器は、ダイクロイックミラー１０６を使用することなく、第１のリレーレンズ１０４及び第２のリレーレンズ１０５によってサンプル１０８に結像される。いくつかの実施形態では、レーザ光を除去する機能を有するフィルタ（図示せず）を、検出器１１０の前に配置してもよい。
【0014】
図示されるように、プロセッサ１１１は、シャッタ照明ライン走査１１３によって照明された後にサンプル１０８によって放出された蛍光１１４に関するデータを受信するために、検出器１１０と相互に通信している。いくつかの実施形態では、サンプル１０８が照明されて、その結果得られる蛍光は異なる位相で得られてもよく、サンプル１０８の各回折限界ライン共焦点画像はそれぞれ異なる位相で撮像されてもよい。
【0015】
一態様では、回折限界ライン共焦点画像の各々は、評価のために訓練済みニューラルネットワーク３０２Ａに入力されて、それぞれの一次元超解像画像を生成することができ、次いで、ジョイント逆畳み込み技法を使用して、様々な角度におけるサンプル１０８の複数の一次元超解像画像３０８を合成して、等方的な超解像画像３１０を生成することができる。
【0016】
図２Ａを参照すると、回折限界共焦点画像１１５が図示されており、それは、左から右に水平方向に走査されたシャッタ処理された照明ライン走査１１３を示しており、照明ライン走査１１３により、顕微鏡システム１００によって生成された光学的に切片化された回折限界ライン共焦点画像が得られる。上述したように、高速シャッタ１０２は、シャッタ処理された照明ライン走査１１３がサンプル１０８に対して左から右に走査されて、疎な周期的照明パターンが生成されるように、レーザビーム１１２をブランキングする。例えば、図２Ｂに示すように、シャッタ処理された照明ライン走査１１３によって生成された疎な周期的照明パターン１１６Ａ、１１６Ｂ、及び１１６Ｃ（φ１、φ２、及びφ３で示される）の各々は、互いに対して約１２０度位相シフトされている。しかしながら、他の実施形態では、任意の複数の位相シフトが、顕微鏡システム１００によって生成された疎な周期的照明パターンに適用されてもよい。位相がシフトされると、疎な周期的照明パターン１１６Ａ、１１６Ｂ、及び１１６Ｃの各々は共に合成されて、図２Ｃに示すように、ライン走査の方向（例えば、１つの空間次元）の空間分解能が、回折限界ライン共焦点画像３０４よりも約２倍増加した一次元超解像画像３０６を生成する。
【0017】
上述したように、また図３に示すように、訓練データセット３００は、複数のマッチングされたデータ訓練ペア３０１Ａ～３０１Ｎを含み、マッチングされたデータ訓練ペア３０１の各々は、あるサンプル又はイメージタイプの回折限界ライン共焦点画像３０４と、上述した位相シフト法を用いたそのサンプル又はイメージタイプの回折限界共焦点画像３０４の対応する一次元超解像画像３０６とから構成される。基礎となるサンプル又はイメージタイプが好ましい配向を示さないという事実から、十分な数のマッチングされたデータ訓練ペア３０１を得ることができるように、十分な範囲のランダムな配向のサンプル又はイメージタイプを容易にサンプリングできることが示唆される。
【0018】
例えば、図３に示すように、訓練データペア３０１Ａは、第１の方向におけるサンプル又はイメージタイプの回折限界共焦点画像３０４Ａと、それに対応する一次元超解像画像３０６Ｂとから構成される。一方、マッチングされたデータ訓練ペア３０１Ｂは、第２の方向におけるサンプル又はイメージタイプの回折限界ライン共焦点画像３０４Ｂと、それに対応する一次元超解像画像３０６Ｂとから構成される。このプロセスは、サンプル又はイメージタイプが異なる方向で走査され、必要な数のマッチングされたデータ訓練ペア３０１Ｎが得られるまで、Ｎ回繰り返される。図示されるように、蛍光標識された構造（グレー）を有するＮ個のサンプル（例えば、細胞の画像）が撮像されて、回折限界ライン共焦点画像３０４Ａ、３０４Ｂが得られる。これらの画像３０４Ａ、３０４Ｂは、図２Ａ～図２Ｃに示すように処理されて、画像３０４Ａ、３０４Ｂ等の対応する一次元超解像画像３０６Ａ、３０６Ｂ等を生成し、画像３０６Ａ、３０６Ｂ等はそれぞれの訓練データペア３０１Ａ、３０１Ｂ等を生成する。上述したように、回折限界共焦点画像３０４は、ライン共焦点顕微鏡システム１００を用いて水平方向にライン走査することによって得られる。あるいは、図３のように疎なライン照明構造を有する一連の画像を後処理することにより、水平方向に沿って解像度が向上した図３の右列に沿った画像が得られる。
【0019】
図４を参照すると、特定の種類のサンプル又はイメージタイプに対して十分な数のマッチングされたデータ訓練ペア３０１が生成されると、マッチングされたデータ訓練ペア３０１の訓練データセット３００は、方法２００を使用して、ニューラルネットワーク３０２（例えば、Ｕ－Ｎｅｔ又はＲＣＡＮ）を訓練するために使用され、ニューラルネットワーク３０２によって以前に評価されたことはないが、ニューラルネットワーク３０２が訓練されたサンプル又はイメージタイプの種類に類似する回折限界ライン共焦点画像入力３０７の評価のみに基づいて構築された一次元超解像画像３０８を「予測」する。図５Ｂに示すように、訓練済みニューラルネットワーク３０２Ａは、訓練済みニューラルネットワーク３０２Ａへの回折限界ライン共焦点画像入力３０７の評価のみに基づいて、一次元超解像画像３０８の高精度のレンダリングを生成することができる。
【0020】
図５Ａ～図５Ｃを参照すると、訓練済みニューラルネットワーク３０２Ａのテストが、シミュレートされたデータを使用して実施された。回折限界ライン共焦点画像入力３０７（図５Ａ）のドット、ライン、リング、及び実線の円の混合構造を含むシミュレートされたデータのぼやけた画像が、訓練済みニューラルネットワーク３０２Ａに入力された。訓練済みニューラルネットワーク３０２Ａにより、一次元超解像画像の正解（図５Ｃ）と同等の空間分解能を有する一次元超解像画像出力３０８（図５Ｂ）が生成された。シミュレートデータを用いた、訓練済みニューラルネットワーク３０２Ａのディープラーニング出力と正解出力との比較は、訓練済みニューラルネットワーク３０２Ａによって生成されたディープラーニング出力３０８が、実際の正解の一次元超解像画像３０６に非常に類似した高精度のレンダリングであることを示している。
【0021】
図６Ａ及び図６Ｂを参照すると、方法４００として図示された本発明の概念の別の態様では、顕微鏡システム１００から得られたサンプル又はイメージタイプの回折限界ライン共焦点画像３０４を、異なる方向（例えば、０度、４５度、９０度、及び１３５度）に沿って回転させて、訓練済みニューラルネットワーク３０２Ａによってそれらの特定の方向に配向させた一連の「生成された（生成済み）」一次元超解像画像３０８Ａ～３０８Ｄを生成することができる。図６Ｂに示すように、訓練済みニューラルネットワーク３０２Ａによって生成された異なる方向でのこれらの一次元超解像画像３０８Ａ～３０８Ｄは、０度に配向された元の一次元超解像画像３０８のフレームに回転して戻すことができ、ジョイント逆畳み込み演算（ジョイントデコンボリューション演算、joint deconvolution operation）を使用して、例えば、リチャードソン－ルーシーアルゴリズムを用いて、合成されて、各方向に沿って最良の空間分解能を有する等方的な超解像画像３１０を生じさせる。一態様では、異なる配向の少なくとも２つの回折限界ライン共焦点画像３０４を訓練済みニューラルネットワーク３０２Ａに入力することにより、後でジョイント逆畳み込み演算を使用して合成されたときに、それらの方向に沿って高められた空間分解能を有する等方的な超解像画像３１０が生成される。
【0022】
図７Ａ～図７Ｃは、異なる方向又は異なる軸に沿って一次元空間分解能が向上された一連のディープラーニング出力（例えば、異なる方向における対応する回折限界ライン共焦点画像３０４に基づいて生成された一次元超解像画像３０８）を合成することによる等方的な解像度復元の一例を示す。図７Ａは、ドット、ライン、リング、及び実線の円の混合物を用いてシミュレートされ、回折限界点広がり関数（ＰＳＦ：point spread function）でぼかされ、画像にポアソンノイズ及びガウシアンノイズを加えることによって劣化された未加工の入力画像である。図７Ｂは、図６Ａに示す方法ステップを実行した後、それぞれ０度、４５度、９０度、及び１３５度に配向された４つの「生成された」一次元超解像画像３０８Ａ～３０８Ｄを示す。図６Ｂに示すように、これらの一次元超解像画像３０８Ａ～３０８Ｄの逆畳み込み演算により、図７Ｃに示すような等方的な二次元超解像画像３１０が得られる。ニューラルネットワーク３０２Ａが訓練された後、ベースとなる回折限界ライン共焦点画像３０４に対する速度の損失又は線量の増加なしに、訓練済みニューラルネットワーク３０２Ａによって一次元超解像画像３０８が生成され得ることが見出された。
【0023】
図８を参照すると、訓練済みニューラルネットワーク３０２Ａに入力された回折限界共焦点画像入力３０７のデノボ評価（de novo evaluation）に基づいて一次元超解像画像３０８を予測し生成するために、ニューラルネットワーク３０２を訓練する本開示の方法の有効性を証明するために、実データを使用するテストが実施された。具体的には、図８の上段は、位相シフトφ１、φ２、及びφ３における共焦点ライン走査の照明パターンを示し、中段は、微小管マーカを有する細胞の実際の蛍光画像と、φ１画像、φ２画像、及びφ３画像がこれらの実際の蛍光画像においてどのように現れるかを示す。最後に、下段は、回折限界ライン共焦点画像（図８の左下段）と、一次元（この例では、ライン走査が行われた「ｙ」方向）に沿った解像度の向上をもたらす局所的縮約演算（local contraction operation）が適用された対応する一次元超解像画像３０６（図８の右下段）とを示す。
【0024】
図９Ａ～図９Ｃは、図７Ａ～図７Ｃに示すテストに類似する実データを使用するテストの画像である。図示されるように、図９Ａ～図９Ｃの上段はそれぞれ、回折限界モードで撮影された微小管の蛍光画像３０４（図９Ａ）、回折限界モードで撮影された微小管の蛍光画像３０４（図９Ａ）の評価に基づく、訓練済みニューラルネットワーク３０２Ａによる微小管の蛍光回折限界ライン共焦点画像３０４の一次元超解像画像３０８のディープラーニング出力（図９Ｂ）、及び局所的縮約演算を使用して強調された一次元超解像画像を示す正解（図９Ｃ）を示している。図９Ａの下段は、訓練済みニューラルネットワーク３０２Ａによって評価される前の、訓練済みニューラルネットワーク３０２Ａへの回折限界共焦点入力のフーリエ変換である。同様に、図９Ｂ及び図９Ｃの下段は、対応する上段で生成された画像の対応するフーリエ変換を示しており、それぞれ一次元（例えば、垂直方向）解像度の向上を示している。
【0025】
図１０Ａ～図１０Ｃは、実データではなくシミュレートされたデータが使用された図７Ａ～図７Ｃに示すテストに類似する、実データを使用するテストの画像である。図１０Ａの上段は回折限界画像の入力であり、一方、図１０Ｂは入力画像１０Ａが４つの異なる方向（それぞれ０度、４５度、９０度、及び１３５度）に沿って回転された後の、訓練済みニューラルネットワーク３０２Ａの出力である「生成された」一次元超解像画像３０８であり、一方、図１０Ｃの上段は、ジョイント逆畳み込み演算を使用して生成された等方的な二次元超解像画像３１０である。図１０Ａ及び図１０Ｃの下段はフーリエ変換を示し、図１０Ｂのフーリエ変換は、図１０Ｃの上段に示す画像の解像度が、図１０Ａの上段に示す回折限界画像よりも良好であることを示す。
【0026】
一態様では、イメージタイプは、ライン共焦点顕微鏡１００によって照明されたときに蛍光発光を発するサンプル（例えば、細胞）と同じタイプであってもよい。
【0027】
特定の実施形態が例示され説明されてきたが、当業者には明らかであるように、本発明の趣旨及び範囲から逸脱することなく、様々な変形が可能であることを上記から理解されよう。そのような変更及び変形は、本明細書に添付される特許請求の範囲において定義される本発明の範囲及び教示の範囲内である。
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7A】
【図7B】
【図7C】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【国際調査報告】