ホーム > 特許ランキング > 広州超視計生物科技有限公司
知財求人 - 知財ポータルサイト「IP Force」
特表2024-541782超解像顕微イメージング方法、装置、コンピュータ装置及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-13
(54)【発明の名称】超解像顕微イメージング方法、装置、コンピュータ装置及び記憶媒体
(51)【国際特許分類】
G06T 3/4053 20240101AFI20241106BHJP
G06T 5/70 20240101ALI20241106BHJP
【ＦＩ】
G06T3/4053
G06T5/70
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023563283
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2023-10-13
(86)【国際出願番号】 CN2022121400
(87)【国際公開番号】W WO2024065094
(87)【国際公開日】2024-04-04
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
３．ＶＩＳＵＡＬ ＢＡＳＩＣ
(71)【出願人】
【識別番号】523389176
【氏名又は名称】広州超視計生物科技有限公司
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】李 浩宇
(72)【発明者】
【氏名】趙 唯淞
(72)【発明者】
【氏名】趙 士群
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057AA10
5B057BA28
5B057CB08
5B057CB12
5B057CC01
5B057CD14
5B057CE05
5B057CH09
5B057CH11
5B057DA16
5B057DA20
5B057DB02
5B057DB09
5B057DC30
(57)【要約】
本発明は、超解像顕微イメージング方法、装置、コンピュータ装置及び記憶媒体を開示する。前記方法は、観測すべきサンプルの蛍光信号系列を収集することと、デコンボリューションの反復回数を判断することと、前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、出力された画像を２回再構成することと、２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うこととを含む。本発明は、ノンパラメトリック、ハイスループット、高解像度の利点を有し、従来技術の欠点と不足点を克服でき、音響顕微、即ち光音響と超音波顕微イメージング技術などの各種イメージングモードに広く結合できる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
観測すべきサンプルの蛍光信号系列を収集することと、デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含むことを特徴とする、
超解像顕微イメージング方法。
【請求項2】
前記観測すべきサンプルの系列を収集した後に、更に、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項3】
前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含むことを特徴とする請求項２に記載の超解像顕微イメージング方法。
【請求項4】
前記デコンボリューションの反復回数を判断することは、具体的には、ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項5】
前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含むことを特徴とする請求項４に記載の超解像顕微イメージング方法。
【請求項6】
前記出力された画像を２回再構成することは、具体的には、蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項7】
前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含むことを特徴とする請求項６に記載の超解像顕微イメージング方法。
【請求項8】
前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする請求項６に記載の超解像顕微イメージング方法。
【請求項9】
デコンボリューションの反復は、具体的には、空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含むことを特徴とする請求項１から８のいずれか１項に記載の超解像顕微イメージング方法。
【請求項10】
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含むことを特徴とする、
超解像顕微イメージング装置。
【請求項11】
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、前記プロセッサがメモリに格納されたプログラムを実行する際に、請求項１から９のいずれか１項に記載の超解像顕微イメージング方法を実現することを特徴とするコンピュータ装置。
【請求項12】
プログラムが格納されている記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１から９のいずれか１項に記載の超解像顕微イメージング方法を実現することを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、超解像顕微イメージング方法、装置、コンピュータ装置及び記憶媒体に関し、計算イメージングと超解像顕微イメージングの分野に属する。
【背景技術】
【0002】
分子強度信号変動モデルに基づく蛍光超解像方法ＳＯＦＩ（Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ ｏｐｔｉｃａｌ ｆｌｕｃｔｕａｔｉｏｎ ｉｍａｇｉｎｇ）は、蛍光分子強度のランダム変動の物理モデルのみを利用し、いかなるハードウェアの変調にも頼らず、柔軟でコスト効率の高い超解像手段である。ハードウェアシステムによって制限されない特性のため、さまざまなイメージングモードに柔軟に結合することができる。このような装置の欠点は、現在の蛍光超解像方法の時間解像度が低く、期待される高品質の超解像効果を達成するには少なくとも５００～１０００フレームの画像を連続的に収集する必要があるため、生細胞の超解像イメージングへの応用を阻害する。したがって、所望の高時間解像度及びハイスループットを達成するために、測定ごとに検出可能な蛍光波動挙動を最大に利用する方法を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
そこで、本発明は、ノンパラメトリック、ハイスループット、高解像度の利点を有し、従来技術の欠点と不足点を克服することができる超解像顕微イメージング方法、装置、コンピュータ装置及び記憶媒体を提供する。
【0004】
本発明の第１の目的は、超解像顕微イメージング方法を提供することにある。
【0005】
本発明の第２の目的は、超解像顕微イメージング装置を提供することにある。
【0006】
本発明の第３の目的は、コンピュータ装置を提供することにある。
【0007】
本発明の第４の目的は、記憶媒体を提供することにある。
【課題を解決するための手段】
【0008】
本発明の第１の目的は、以下の技術的手段を採用することによって達成することができる。
超解像顕微イメージング方法であって、
観測すべきサンプルの蛍光信号系列を収集することと、
デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含む。
超解像顕微イメージング方法であって、
観測すべきサンプルの蛍光信号系列を収集することと、
デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含む。
【0009】
１つの実施例において、前記観測すべきサンプルの系列を収集した後に、更に、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含む。
【0010】
１つの実施例において、前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
【0011】
１つの実施例において、前記デコンボリューションの反復回数を判断することは、具体的には、
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
【0012】
１つの実施例において、前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
【0013】
１つの実施例において、前記出力された画像を２回再構成することは、具体的には、
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0014】
１つの実施例において、前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
【0015】
１つの実施例において、前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0016】
１つの実施例において、デコンボリューションの反復は、具体的には、
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
【0017】
本発明の第２の目的は、以下の技術的手段を採用することによって達成することができる。
超解像顕微イメージング装置であって、
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、
デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含む。
超解像顕微イメージング装置であって、
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、
デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含む。
【0018】
本発明の第３の目的は、以下の技術的手段を採用することによって達成することができる。
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、
前記プロセッサがメモリに格納されたプログラムを実行する際に、上記の超解像顕微イメージング方法を実現することを特徴とする。
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、
前記プロセッサがメモリに格納されたプログラムを実行する際に、上記の超解像顕微イメージング方法を実現することを特徴とする。
【0019】
本発明の第４の目的は、以下の技術的手段を採用することによって達成することができる。
プログラムが格納されている記憶媒体であって、
前記プログラムがプロセッサにより実行されると、上記の超解像顕微イメージング方法を実現する。
プログラムが格納されている記憶媒体であって、
前記プログラムがプロセッサにより実行されると、上記の超解像顕微イメージング方法を実現する。
【発明の効果】
【0020】
本発明は、従来技術に対して以下のような有益な効果を有する。
本発明は、柔軟性が高い利点があり、音響顕微、即ち光音響と超音波顕微イメージング技術などの各種イメージングモードに広く結合することができる。ハイスループットの利点があり、多反復回数の後のデコンボリューションを用いて得られた１枚の画像を更に処理し、２倍の３次元空間解像度の向上を実現することができる。超解像度を維持しながら２０フレーム以下で高品質の超解像効果を実現でき、５０～１００倍の時間解像度向上を実現する。ノンパラメトリックの利点があり、ローリングフーリエリング相関に基づく自動的パラメータ推定手段を提案し、ノンパラメトリックを実現し、それによって自動的でハイスループットの超解像イメージングを実現することができる。
本発明は、柔軟性が高い利点があり、音響顕微、即ち光音響と超音波顕微イメージング技術などの各種イメージングモードに広く結合することができる。ハイスループットの利点があり、多反復回数の後のデコンボリューションを用いて得られた１枚の画像を更に処理し、２倍の３次元空間解像度の向上を実現することができる。超解像度を維持しながら２０フレーム以下で高品質の超解像効果を実現でき、５０～１００倍の時間解像度向上を実現する。ノンパラメトリックの利点があり、ローリングフーリエリング相関に基づく自動的パラメータ推定手段を提案し、ノンパラメトリックを実現し、それによって自動的でハイスループットの超解像イメージングを実現することができる。
【図面の簡単な説明】
【0021】
本発明の実施例又は先行技術における技術的態様をより明確に説明するために、以下に実施例又は先行技術の説明において使用する必要がある図面を簡単に説明する。明らかに、以下の説明における図面は、本発明のいくつかの実施例にすぎず、当業者にとっては、創造的な労働を払わずに、これらの図面に示された構造に基づいて他の図面を得ることができる。
【0022】
【図1】本発明の実施例１に係る超解像顕微イメージング方法のフローチャートである。
【図2】本発明の実施例１に係る３次元空間解像度向上の例示的な結果図である。
【図3】本発明の実施例１に係る時間解像度向上の例示的な結果図である。
【図4】本発明の実施例１に係るノンパラメトリック再構成能力の例示的な結果図である。
【図5】本発明の実施例１に係る自動的ハイスループット再構成の例示的な結果図である。
【図6】本発明の実施例２に係る超解像顕微イメージング装置の構成ブロック図である。
【図7】本発明の実施例３に係るコンピュータ装置の構成ブロック図である。
【発明を実施するための形態】
【0023】
本発明の実施例の目的、技術手段及び利点をより明確にするために、以下に本発明の実施例における図面に関連して、本発明の実施例における技術手段について明確に完全に説明する。明らかに、説明された実施例は、本発明の一部の実施例であり、すべての実施例ではない。本発明の実施例に基づいて、当業者が創造的な労働を行うことなく得た他のすべての実施例は、本発明の保護の範囲に属する。
【0024】
（実施例１）
図１に示すように、本実施例は、デコンボリューションの増強に基づいて実現される超解像顕微イメージング方法を提供し、以下のステップを含む。
図１に示すように、本実施例は、デコンボリューションの増強に基づいて実現される超解像顕微イメージング方法を提供し、以下のステップを含む。
【0025】
Ｓ１０１において、観測すべきサンプルの蛍光信号系列を収集する。
【0026】
１つの実施例では、蛍光信号系列のフレーム数は、２０である。蛍光信号系列のフレーム数について、１０、５０などであってもよいことは、当業者が理解できる。
【0027】
１つの実施例では、弱い背景があるデータや、背景がないデータについては、背景推定動作を省略することができる。即ち、情報の除去を回避するために、背景パラメータ値ｂをゼロに設定する。特に、低線量照明下の画像は一般的に低く安定した背景蛍光系ノイズ分布のみを示すことを考慮して、直接、画像平均値を超える値をゼロに設定し、得られた残差画像を後続の背景推定に用いる。
【0028】
１つの実施例では、上記以外の条件において、ステップＳ１０１の後に、次を更に含んでもよい。
Ｓ１０２において、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去する。
Ｓ１０２において、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去する。
【0029】
１つの実施例では、ステップＳ１０２は、具体的には、次を含む。
【0030】
Ｓ１０２１において、ウェーブレット推定を用いて入力画像の最低周波数から背景を推定する。
【0031】
１つの実施例では、周波数領域の最低帯域を抽出するために、２次元Ｄａｕｂｅｃｈｉｅｓ－６ウェーブレットフィルタを使用して信号を７段階に多段分解する。
【0032】
Ｓ１０２２において、最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成する。
【0033】
１つの実施例では、予期せぬ微小な有用な信号の除去を防止するために、最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分（より平滑な情報）と比較し、各画素の最小値を維持することによってこれら２つの画像を合成する。当該動作により、不正確な背景推定による背景中の高強度画素を除去する。
【0034】
Ｓ１０２３において、推定された低帯域低ピーク背景データを新たな入力画像として、ウェーブレット推定をループする。即ち、予め設定されたサイクル数に達するまで、ステップＳ１０２１とＳ１０２２を繰り返す。
【0035】
１つの実施例では、最小分布を有する真の蛍光背景を推定するために、予め設定されたサイクル回数は、３回に設定される。
【0036】
Ｓ１０２において、デコンボリューションの反復回数を判断する。
【0037】
１つの実施例では、デコンボリューションの反復回数を判断することは、具体的には、ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
【0038】
１つの実施例では、ローリングフーリエリング相関ＦＲＣ（Ｆｏｕｒｉｅｒ Ｒｉｎｇ Ｃｏｒｒｅｌａｔｉｏｎ）を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とし、具体的には次を含む。
【0039】
Ｓ１０２１において、ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算する。
【0040】
１つの実施例では、ローリングフーリエリング相関は、フーリエ領域における一連の同心リング上の２つの２次元信号間の統計的相関性を測定する。ローリングフーリエリング相関を空間周波数ｑｉの関数と見なすことができる。
ここで、
と
は、２つの信号の離散的フーリエ変換を表し、累積番号は、対応する空間周波数ｑｉの円周境界上の画素の総和を表す。
【数1】
【数2】
【数3】
【0041】
ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算する。ここで、最大周波数ｆｍａｘは、画素サイズｐｓの逆数の半分に対応し、即ちｆｍａｘ＝１／（２ｐｓ）である。ローリングフーリエリング相関曲線は、Ｎ／２個の値からなり、空間周波数の離散化ステップ長Δｆは、以下である。
【数4】
【0042】
Ｓ１０２２において、平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化する。
【0043】
１つの実施例では、平均窓半幅の平均フィルタ（通常は３に等しい）を用いて、ノイズのあるローリングフーリエリング相関曲線を平滑化する。
【0044】
Ｓ１０２３において、ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とする。
【0045】
１つの実施例では、ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とする。具体的には、閾値の一般的な選択は、固定値閾値又はσ因子曲線である。固定値は、通常１／７のハード閾値であり、σ因子曲線の基準は、次のように書くことができる。
ここで、Ｎｉは、半径ｑｉのリング中の画素数を表し、最も一般的なσ因子は、３である。２つの測定値がノイズのみを含む場合、ローリングフーリエリング相関曲線は、
と表すことができる。故に、３σ因子曲線は、実際には純雑音の３倍の相関度よりも大きい周波数成分が相対的に有効な情報として判定される。
【数5】
【数6】
【0046】
Ｓ１０２４において、最大解像度に達したときの反復回数をデコンボリューションの反復回数とする。
【0047】
１つの実施例では、最大解像度に達したときの反復回数をｋとする。ｋは、デコンボリューションの反復回数である。
【0048】
Ｓ１０３において、前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行う。
【0049】
１つの実施例では、ステップＳ１０２で判断された反復回数の半分に反復が達したときにプリデコンボリューションの反復を完了し、プリデコンボリューションを実行することにより、信号の有効オン／オフコントラストと信号対雑音比を向上させることができる。デコンボリューションの反復は、具体的には、次を含む。
【0050】
Ｓ１０３１において、空間領域で反復を用いて最尤を求める方式で反復式を得る。
【0051】
１つの実施例では、デコンボリューションは、Ｒｉｃｈａｒｄｓｏｎ－Ｌｕｃｙ（ＲＬ）アルゴリズムを採用する。デコンボリューションモデルは、Ｐｏｉｓｓｏｎノイズモデルに基づいて、空間領域で反復を用いて最尤を求める方式で、次の反復式を得る。
ここで、ｘとｙは、空間座標であり、ｈは、それぞれ顕微鏡の点拡散関数ＰＳＦ（Ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ）を表し、ｆは、物理世界における真の蛍光信号を表し、ｇは、最終的に顕微鏡で収集された信号を表す。
【数7】
【0052】
Ｓ１０３２において、反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現する。
【0053】
１つの実施例では、反復収束速度を加速するために、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現する。
ここで、ｇは、前の事前知識制約による再構成後の画像であり、ｈは、顕微鏡の点拡散関数を表し、ｘｊ＋１は、ｊ＋１回の反復後の画像であり、αは、適応加速因子である。
【数8】
【0054】
Ｓ１０４において、出力された画像を２回再構成する。
【0055】
１つの実施例では、ステップＳ１０４は、具体的には、次を含む。
【0056】
Ｓ１０４１において、蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をする。
【0057】
Ｓ１０４１１において、顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得る。
【0058】
１つの実施例では、イメージングサンプルは、一般に、ｒｋに位置するＮ個の独立した蛍光分子からなると考えられる。蛍光分子が時間的に変化するそれぞれ独立した分子輝度を有すると仮定し、ｒ及び時間ｔに位置する蛍光信号が次のように表される。
Ｆ（ｒ，ｔ）＝ｈ（ｒ－ｒｋ）・ｃｋ・ωｋ（ｔ）
ここで、ｈ、ｃ、ωは、対応する顕微鏡の点拡散関数、分子輝度定数及び分子輝度の経時変化変動の関数をそれぞれ表す。
Ｆ（ｒ，ｔ）＝ｈ（ｒ－ｒｋ）・ｃｋ・ωｋ（ｔ）
ここで、ｈ、ｃ、ωは、対応する顕微鏡の点拡散関数、分子輝度定数及び分子輝度の経時変化変動の関数をそれぞれ表す。
【0059】
Ｓ１０４１２において、蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得る。
【0060】
１つの実施例では、時間累積量は、２次時間累積量である。時間累積量について、３次時間累積量、４次時間累積量であってもよいことは、当業者が理解できる。
【0061】
１つの実施例では、蛍光ゆらぎ超解像イメージング技術に基づいて、蛍光分子毎のこのような個体波動特徴を用いて、画素毎のｔ軸に沿った相関累積量を計算して解像度を高め、ゼロ時間遅延の二次時間累積量Ｇ２を計算して次の式を得る。
Ｇ２（ｒ）＝＜δＦ（ｒ，ｔ）・δＦ（ｒ，ｔ）＞ｔ
δＦ（ｒ，ｔ）＝Ｆ（ｒ，ｔ）－＜Ｆ（ｒ，ｔ）＞ｔ
ここで、＜・＞ｔは、時間平均関数である。
Ｇ２（ｒ）＝＜δＦ（ｒ，ｔ）・δＦ（ｒ，ｔ）＞ｔ
δＦ（ｒ，ｔ）＝Ｆ（ｒ，ｔ）－＜Ｆ（ｒ，ｔ）＞ｔ
ここで、＜・＞ｔは、時間平均関数である。
【0062】
Ｓ１０４１３において、時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表す。
【0063】
１つの実施例では、２次時間累積量Ｇ２の表現式を展開して、次の式を得る。
【数9】
【0064】
各蛍光分子の発光強度は、無相関の単独ゆらぎであると仮定する。ｉ≠ｋ（予め設定された条件）の場合、展開式中の相互相関項は、ゼロとみなされ、２次時間累積量Ｇ２は、下記式のように、対応する輝度定数γ重み付け点拡散関数の二乗和として表される。
【数10】
【0065】
Ｓ１０４２において、疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をする。
【0066】
Ｓ１０４２１において、再構成モデルを構築する。前記再構成モデルは、第１の項と、第２の項と、第３の項と、を含む。前記第１の項は、忠実度項であり、１回目の再構成後の画像と収集された初期画像との間の距離を表す。前記第２の項は、１回目の再構成後の画像の連続性制約を表す。前記第３の項と、１回目の再構成後の画像の疎性制約を表す。
【0067】
１つの実施例では、次の式のように再構成モデルを構築する。
ここで、左側の第１の項は、忠実度項であり、回復後の画像ｘと収集された初期画像ｆとの距離を表し、Ａは、光学系の点拡散関数であり、第２の項と第３の項は、それぞれ連続性と疎性制約であり、
と
は、それぞれｌ１とｌ２ノルムであり、λとλＬ１は、それぞれ忠実度と疎性制約の重みを表し、ｘｙ－ｔ（ｚ）軸のＨｅｓｓｉａｎ行列連続性アプリオリを次のように定義する。
【数11】
【数12】
【数13】
【数14】
【0068】
Ｓ１０４２２において、再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をする。
【0069】
Ｓ１０６において、２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行う。
【0070】
１つの実施例では、ステップＳ１０２で判断された反復回数の半分（即ち、ｋ／２回）に反復が達したときに２回目のデコンボリューションの反復を完了する。プリデコンボリューションと２回目のデコンボリューションの反復は、いずれもｋ／２回であり、ステップＳ１０２で判断された反復回数にちょうど達している。２回目のデコンボリューションの反復の具体的な内容は、ステップＳ１０３を参照し、ここでは繰り返して記載しない。２回のデコンボリューション反復（プリデコンボリューション反復と２回目のデコンボリューション反復）を実行することにより、画質を維持し、アーティファクトを最小化しながら解像度を更に向上させることができる。
【0071】
当業者であれば、ステップＳ１０２で判断された反復回数に反復が達したときに２回目のデコンボリューションの反復を完了することもできることを理解することができる。
【0072】
図２は、本発明の実施例に係る３次元空間解像度向上を示す例示的な結果であり、従来の共焦点モードと比較して２倍の３次元空間解像度向上を実現することができる。本発明の実施例の方法を用いて量子ドット（ＱＤ５２５）サンプルの３次元ＰＳＦを測定し、標準的なターンテーブル共焦点顕微鏡を用いて画像系列を取得し、それぞれこのような分子ドット源の横方向／軸方向半値幅を抽出する。従来の共焦点モードの横方向／軸方向の半値幅は、３２５／６５５ｎｍであり、従来の蛍光ゆらぎモードは、２９５／５１０ｎｍであるが、本発明の実施例は、１３５／３３４ｎｍである。
【0073】
図３は、本発明の実施例に係る時間解像度向上を示す例示的な結果（ＣＯＳ－７細胞に量子ドットマーカーを用いた微小管）である。本発明の実施例は、超解像度を維持しながら２０フレームだけで高品質の超解像効果を実現でき、伝統的な蛍光ゆらぎ技術（ＳＯＦＩ）の５０～１００倍の時間解像度向上を実現する。信号対雑音比が徐々に低下場合、従来の蛍光ゆらぎ技術では、比較的安定した性能を維持するために１０００フレームの画像の再構成が必要であるが、本発明の実施例では、すべての条件下で２０フレームの画像のみを使用して高忠実度で２点構造を再構成することができる。
【0074】
図４と図５は、それぞれ本発明の実施例のノンパラメトリック再構成能力と自動的ハイスループット再構成を示す例示的な結果である。本発明の実施例は、ノンパラメトリックの利点を有し、ローリングフーリエリング相関に基づく自動的パラメータ推定手段を提案し、ノンパラメトリックを実現させ、それによって自動的でハイスループットの超解像高イメージング（ＣＯＳ－７細胞中の量子ドットマーカーを用いた微小管）を実現することができる。本実施例は、２．０ｍｍ×１．４ｍｍの大視野でイメージングを行い、２０００個を超える細胞を含み、約２，４００，０００，０００個（２４億個）の画素（１画素あたり３２．５ｎｍ×３２．５ｎｍ）からなり、ほぼ５桁の領域空間スケールにわたって構成されている。本実施例では、その再構成に約１０分しかかからないが、従来の蛍光ゆらぎ技術（ＳＯＦＩ）では、類似のイメージング性能を実現するのに約１７時間かかる。
【0075】
なお、上述した実施例の方法動作を特定の順序で説明したが、これらの動作をその特定の順序で実行しなければならない、あるいはすべての動作を実行しなければ所望の結果を実現できないことを要求したり暗示したりするものではない。逆に、説明されたステップは、実行順序を変更することができる。追加的に又は代替的に、いくつかのステップを省略して、複数のステップを１つのステップにマージして実行したり、１つのステップを複数のステップに分解して実行したりすることができる。
【0076】
（実施例２）
図６に示すように、本実施例は、超解像顕微イメージング装置を提供する。当該装置は、収集モジュール６０１と、ウェーブレット変換モジュール６０２と、判断モジュール６０３と、プリデコンボリューションモジュール６０４と、再構成モジュール６０５と、デコンボリューションモジュール６０６を含む。各モジュールの具体的な説明は、以下の通りである。収集モジュール６０１は、観測すべきサンプルの蛍光信号系列を収集するために用いられる。ウェーブレット変換モジュール６０２は、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去するために用いられる。判断モジュール６０３は、デコンボリューションの反復回数を判断するために用いられる。プリデコンボリューションモジュール６０４は、前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うために用いられる。再構成モジュール６０５は、出力された画像を２回再構成するために用いられる。デコンボリューションモジュール６０６は、２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うために用いられる。
図６に示すように、本実施例は、超解像顕微イメージング装置を提供する。当該装置は、収集モジュール６０１と、ウェーブレット変換モジュール６０２と、判断モジュール６０３と、プリデコンボリューションモジュール６０４と、再構成モジュール６０５と、デコンボリューションモジュール６０６を含む。各モジュールの具体的な説明は、以下の通りである。収集モジュール６０１は、観測すべきサンプルの蛍光信号系列を収集するために用いられる。ウェーブレット変換モジュール６０２は、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去するために用いられる。判断モジュール６０３は、デコンボリューションの反復回数を判断するために用いられる。プリデコンボリューションモジュール６０４は、前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うために用いられる。再構成モジュール６０５は、出力された画像を２回再構成するために用いられる。デコンボリューションモジュール６０６は、２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うために用いられる。
【0077】
なお、本実施例が提供するシステムは、単に上記各機能モジュールの区分を例に挙げて説明し、実際の応用においては、上記機能の全て又は一部の機能を完了するために、必要に応じて上記機能を異なる機能モジュールによって完了するように配分することができ、即ち内部構造を異なる機能モジュールに分割することができる。
【0078】
（実施例３）
本実施例は、コンピュータ装置を提供する。当該コンピュータ装置は、コンピュータであってもよく、図７に示すように、システムバス７０１を介して接続されたプロセッサ７０２、メモリ、入力装置７０３、ディスプレイ７０４及びネットワークインタフェース７０５を含む。当該プロセッサは、計算及び制御能力を提供するために用いられる。当該メモリは、不揮発性記憶媒体７０６と内部メモリ７０７を含む。当該不揮発性記憶媒体７０６には、オペレーティングシステム、コンピュータプログラム及びデータベースが格納されている。当該内部メモリ７０７は、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの動作に環境を提供する。プロセッサ７０２がメモリに格納されたコンピュータプログラムを実行する際に、次のように上述した実施例１の超解像顕微イメージング方法を実現する。
観測すべきサンプルの蛍光信号系列を収集する。
デコンボリューションの反復回数を判断する。
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行う。
出力された画像を２回再構成する。
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行う。
本実施例は、コンピュータ装置を提供する。当該コンピュータ装置は、コンピュータであってもよく、図７に示すように、システムバス７０１を介して接続されたプロセッサ７０２、メモリ、入力装置７０３、ディスプレイ７０４及びネットワークインタフェース７０５を含む。当該プロセッサは、計算及び制御能力を提供するために用いられる。当該メモリは、不揮発性記憶媒体７０６と内部メモリ７０７を含む。当該不揮発性記憶媒体７０６には、オペレーティングシステム、コンピュータプログラム及びデータベースが格納されている。当該内部メモリ７０７は、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの動作に環境を提供する。プロセッサ７０２がメモリに格納されたコンピュータプログラムを実行する際に、次のように上述した実施例１の超解像顕微イメージング方法を実現する。
観測すべきサンプルの蛍光信号系列を収集する。
デコンボリューションの反復回数を判断する。
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行う。
出力された画像を２回再構成する。
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行う。
【0079】
１つの実施例では、前記観測すべきサンプルの系列を収集した後に、更に、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含む。
【0080】
１つの実施例では、前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
【0081】
１つの実施例では、前記デコンボリューションの反復回数を判断することは、具体的には、
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
【0082】
１つの実施例では、前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
【0083】
１つの実施例では、前記出力された画像を２回再構成することは、具体的には、
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0084】
１つの実施例では、前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
【0085】
１つの実施例では、前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0086】
１つの実施例では、デコンボリューションの反復は、具体的には、
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
【0087】
（実施例４）
本実施例は、記憶媒体を提供する。当該記憶媒体は、コンピュータ可読記憶媒体であり、コンピュータプログラムが格納されている。コンピュータプログラムがプロセッサによって実行されると、以下のように上記実施例１の超解像顕微イメージング方法を実現する。
観測すべきサンプルの蛍光信号系列を収集する。
デコンボリューションの反復回数を判断する。
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行う。
出力された画像を２回再構成する。
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行う。
本実施例は、記憶媒体を提供する。当該記憶媒体は、コンピュータ可読記憶媒体であり、コンピュータプログラムが格納されている。コンピュータプログラムがプロセッサによって実行されると、以下のように上記実施例１の超解像顕微イメージング方法を実現する。
観測すべきサンプルの蛍光信号系列を収集する。
デコンボリューションの反復回数を判断する。
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行う。
出力された画像を２回再構成する。
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行う。
【0088】
１つの実施例では、前記観測すべきサンプルの系列を収集した後に、更に、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含む。
【0089】
１つの実施例では、前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含む。
【0090】
１つの実施例では、前記デコンボリューションの反復回数を判断することは、具体的には、
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含む。
【0091】
１つの実施例では、前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含む。
【0092】
１つの実施例では、前記出力された画像を２回再構成することは、具体的には、
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0093】
１つの実施例では、前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含む。
【0094】
１つの実施例では、前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含む。
【0095】
１つの実施例では、デコンボリューションの反復は、具体的には、
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含む。
【0096】
以上より、本発明は、柔軟性が高い利点があり、音響顕微、即ち光音響と超音波顕微イメージング技術などの各種イメージングモードに広く結合することができる。ハイスループットの利点があり、多反復回数の後のデコンボリューションを用いて得られた１枚の画像を更に処理し、２倍の３次元空間解像度の向上を実現することができる。超解像度を維持しながら２０フレーム以下で高品質の超解像効果を実現でき、５０～１００倍の時間解像度向上を実現する。ノンパラメトリックの利点があり、ローリングフーリエリング相関に基づく自動的パラメータ推定手段を提案し、ノンパラメトリックを実現し、それによって自動的でハイスループットの超解像イメージングを実現することができる。
【0097】
なお、本実施例のコンピュータ可読記憶媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又は上記の２つの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、又は半導体のシステム、装置又はデバイス、又は任意以上の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１つ以上の導線を有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせであってもよいが、これらに限定されない。
【0098】
本実施例では、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって使用され、又はそれらと組み合わせて使用するように命令されるプログラムを含む又は記憶する任意の有形媒体であってもよい。一方、本実施例では、コンピュータ可読信号媒体は、コンピュータ可読プログラムを搭載したベースバンド中に、又は搬送波の一部として伝播するデータ信号を含むことができる。このように伝播するデータ信号は、電磁信号、光信号、又は上述した任意の適切な組み合わせを含むが、これらに限定されない様々な例をとることができる。コンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスによって使用される、又はそれらと組み合わせて使用されるためのプログラムを送信、伝播、又は送信することができるコンピュータ可読記憶媒体以外の任意のコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体に含まれるコンピュータプログラムは、電線、光ケーブル、ＲＦ（無線周波数）など、又は上述の任意の適切な組み合わせを含むがこれらに限定されない、任意の適切な媒体で送信することができる。
【0099】
上記コンピュータ可読記憶媒体は、本実施例を実行するためのコンピュータプログラムを１つ以上のプログラミング言語又はそれらの組み合わせで記述することができる。上記プログラミング言語は、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｃ＋＋などのオブジェクト指向プログラミング言語、Ｃ言語などの従来のプロシージャプログラミング言語を含む。プログラムは、完全にユーザコンピュータ上で実行することができ、部分的にユーザコンピュータ上で実行することができ、独立したパッケージとして実行することができ、部分的にユーザコンピュータ上で部分的にリモートコンピュータ上で実行することができ、又は完全にリモートコンピュータ又はサーバ上で実行することができる。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、あるいは、外部コンピュータに接続する（例えばインターネットサービスプロバイダを利用し、インターネットを介して接続する）ことができる。
【0100】
本願の各部の動作に必要なコンピュータプログラムコードは、Ｊａｖａ、Ｓｃａｌａ、Ｓｍａｌｌｔａｌｋ、Ｅｉｆｆｅｌ、ＪＡＤＥ、Ｅｍｅｒａｌｄ、Ｃ＋＋、Ｃ＃、ＶＢ．ＮＥＴ、Ｐｙｔｈｏｎなどのオブジェクト指向プログラミング言語、例えばＣプログラミング言語、ＶｉｓｕａｌＢａｓｉｃ、Ｆｏｒｔｒａｎ２１０３、Ｐｅｒｌ、ＣＯＢＯＬ２１０２、ＰＨＰ、ＡＢＡＰなどの通常のプログラミング言語、例えばＰｙｔｈｏｎ、ＲｕｂｙとＧｒｏｏｖｙの動的プログラミング言語やその他のプログラミング言語などを含む１つ以上のプログラム言語のいずれかで記述することができる。プログラムコードは、完全にユーザコンピュータ上で実行することができ、部分的にユーザコンピュータ上で独立パッケージとして実行することができ、部分的にユーザコンピュータ上で部分的にリモートコンピュータ上で実行することができ、又は完全にリモートコンピュータ又はサーバ上で実行することができる。後者の場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）や広域ネットワーク（ＷＡＮ）などのネットワーク形式を介してユーザコンピュータに接続したり、外部コンピュータ（例えばインターネットを介して）に接続したり、クラウドコンピューティング環境で、ＳａａＳのようにサービスとして使用したりすることができる。
【0101】
また、特許請求の範囲に明示的に記載されていない限り、本願に記載された処理要素及びシーケンスの順序、英数字の使用、又はその他の名前の使用は、本願の流れ及び方法の順序を限定するために使用されるものではない。上述の開示では、現在有用と考えられているいくつかの発明の実施例が様々な例によって議論されているが、このような詳細は、説明の目的にすぎず、追加の請求項は、開示の実施例に限定されるものではない。逆に、請求項は、本願の実施例の実質及び範囲に合致するすべての修正及び等価な組み合わせをカバーすることを目的としていることが理解されるべきである。例えば、上記の様々なコンポーネントの実装は、ハードウェアデバイスに実装されてもよいが、既存のサーバやモバイルデバイスへのインストールなどの純粋なソフトウェアソリューションとして実装されてもよい。
【0102】
最後に、本願に記載された実施例は、本願の実施例の原則を説明するためにのみ使用されることを理解すべきである。その他の変形も本願の範囲に属する可能性がある。したがって、一例として、限定ではなく、本願の実施例の代替構成は、本願の教示と一致するものとみなされる。したがって、本願の実施例は、本願が明示的に説明及び説明した実施例に限定されるものではない。
【0103】
（付記）
（付記１）
観測すべきサンプルの蛍光信号系列を収集することと、
デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含むことを特徴とする、
超解像顕微イメージング方法。
（付記１）
観測すべきサンプルの蛍光信号系列を収集することと、
デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含むことを特徴とする、
超解像顕微イメージング方法。
【0104】
（付記２）
前記観測すべきサンプルの系列を収集した後に、更に、
ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
前記観測すべきサンプルの系列を収集した後に、更に、
ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
【0105】
（付記３）
前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含むことを特徴とする付記２に記載の超解像顕微イメージング方法。
前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、
ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含むことを特徴とする付記２に記載の超解像顕微イメージング方法。
【0106】
（付記４）
前記デコンボリューションの反復回数を判断することは、具体的には、
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
前記デコンボリューションの反復回数を判断することは、具体的には、
ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
【0107】
（付記５）
前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含むことを特徴とする付記４に記載の超解像顕微イメージング方法。
前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、
ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含むことを特徴とする付記４に記載の超解像顕微イメージング方法。
【0108】
（付記６）
前記出力された画像を２回再構成することは、具体的には、
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
前記出力された画像を２回再構成することは、具体的には、
蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする付記１に記載の超解像顕微イメージング方法。
【0109】
（付記７）
前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含むことを特徴とする付記６に記載の超解像顕微イメージング方法。
前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、
顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含むことを特徴とする付記６に記載の超解像顕微イメージング方法。
【0110】
（付記８）
前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする付記６に記載の超解像顕微イメージング方法。
前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、
１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする付記６に記載の超解像顕微イメージング方法。
【0111】
（付記９）
デコンボリューションの反復は、具体的には、
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含むことを特徴とする付記１から８のいずれか一つに記載の超解像顕微イメージング方法。
デコンボリューションの反復は、具体的には、
空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含むことを特徴とする付記１から８のいずれか一つに記載の超解像顕微イメージング方法。
【0112】
（付記１０）
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、
デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含むことを特徴とする、
超解像顕微イメージング装置。
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、
デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含むことを特徴とする、
超解像顕微イメージング装置。
【0113】
（付記１１）
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、
前記プロセッサがメモリに格納されたプログラムを実行する際に、付記１から９のいずれか一つに記載の超解像顕微イメージング方法を実現することを特徴とするコンピュータ装置。
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、
前記プロセッサがメモリに格納されたプログラムを実行する際に、付記１から９のいずれか一つに記載の超解像顕微イメージング方法を実現することを特徴とするコンピュータ装置。
【0114】
（付記１２）
プログラムが格納されている記憶媒体であって、
前記プログラムがプロセッサにより実行されると、付記１から９のいずれか一つに記載の超解像顕微イメージング方法を実現することを特徴とする記憶媒体。
プログラムが格納されている記憶媒体であって、
前記プログラムがプロセッサにより実行されると、付記１から９のいずれか一つに記載の超解像顕微イメージング方法を実現することを特徴とする記憶媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2023-10-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
観測すべきサンプルの蛍光信号系列を収集することと、デコンボリューションの反復回数を判断することと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うことと、
出力された画像を２回再構成することと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うことと、を含むことを特徴とする、
超解像顕微イメージング方法。
【請求項2】
前記観測すべきサンプルの系列を収集した後に、更に、ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することを含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項3】
前記ウェーブレット変換を用いて蛍光信号の背景を推定し、背景ノイズを除去することは、具体的には、ウェーブレット推定を用いて入力画像の最低周波数から背景を推定することと、
最低帯域をウェーブレット逆変換して空間領域に変換し、結果を入力画像の平方根の半分と比較し、各画素の最小値を維持することによってこれら２つの画像を合成することと、
推定された低帯域低ピーク背景データを新たな入力画像として、予め設定されたサイクル数に達するまでウェーブレット推定をループすることと、を含むことを特徴とする請求項２に記載の超解像顕微イメージング方法。
【請求項4】
前記デコンボリューションの反復回数を判断することは、具体的には、ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることを含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項5】
前記ローリングフーリエリング相関を用いて判断し、最大ローリングフーリエリング相関解像度に達したときの反復回数をデコンボリューションの反復回数とすることは、具体的には、ローリングフーリエリング相関を空間周波数の関数とし、ローリングフーリエリング相関曲線の空間周波数の離散化を定義して対応する空間周波数の離散値を計算することと、
平均窓半幅の平均フィルタを用いてノイズのあるローリングフーリエリング相関曲線を平滑化することと、
ランダムノイズ外の有意情報の最大空間周波数を表す所定の閾値をローリングフーリエリング相関曲線が下回る場合、周波数を有効カットオフ周波数と定義し、解像度を有効カットオフ周波数の逆数とすることと、
最大解像度に達したときの反復回数をデコンボリューションの反復回数とすることと、を含むことを特徴とする請求項４に記載の超解像顕微イメージング方法。
【請求項6】
前記出力された画像を２回再構成することは、具体的には、蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることと、
疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする請求項１に記載の超解像顕微イメージング方法。
【請求項7】
前記蛍光信号のゆらぎ原理を利用して、出力された画像の１回目の再構成をすることは、具体的には、顕微鏡の点拡散関数、蛍光分子輝度定数及び蛍光分子輝度の経時変化変動の関数に基づいて、蛍光信号の表現式を得ることと、
蛍光分子毎の個体波動特性を用いて、蛍光信号の表現式に基づいて、ゼロ時間遅延の時間累積量表現式を得ることと、
時間累積量の表現式を展開し、予め設定された条件を満たす場合、時間累積量展開式の相互相関項をゼロと見なし、時間累積量を対応する輝度定数重み付け点拡散関数の二乗和として表すことと、を含むことを特徴とする請求項６に記載の超解像顕微イメージング方法。
【請求項8】
前記疎性・連続性連合制約を適用して、１回目の再構成後の画像に対して２回目の再構成をすることは、具体的には、１回目の再構成後の画像と収集された初期画像との間の距離を表す忠実度項である第１の項と、１回目の再構成後の画像の連続性制約を表す第２の項と、１回目の再構成後の画像の疎性制約を表す第３の項と、を含む再構成モデルを構築することと、
再構成モデルを用いて、１回目の再構成後の画像に対して２回目の再構成をすることと、を含むことを特徴とする請求項６に記載の超解像顕微イメージング方法。
【請求項9】
デコンボリューションの反復は、具体的には、空間領域で反復を用いて最尤を求める方式で反復式を得ることと、
反復式に基づき、ベクトル外挿に基づく加速方式を用いてデコンボリューションの反復計算を実現することと、を含むことを特徴とする請求項１から８のいずれか１項に記載の超解像顕微イメージング方法。
【請求項10】
観測すべきサンプルの蛍光信号系列を収集するための収集モジュールと、デコンボリューションの反復回数を判断するための判断モジュールと、
前記蛍光信号系列中の各フレームの初期画像に対してプリデコンボリューションの反復を実行し、反復が前記反復回数の半分に達したときに出力を行うためのプリデコンボリューションモジュールと、
出力された画像を２回再構成するための再構成モジュールと、
２回再構成された画像に対して２回目のデコンボリューションの反復を実行し、反復が前記反復回数又は前記反復回数の半分に達したときに出力を行うためのデコンボリューションモジュールと、を含むことを特徴とする、
超解像顕微イメージング装置。
【請求項11】
プロセッサと、プロセッサが実行可能なプログラムを格納するためのメモリとを含むコンピュータ装置であって、前記プロセッサがメモリに格納されたプログラムを実行する際に、請求項１から８のいずれか１項に記載の超解像顕微イメージング方法を実現することを特徴とするコンピュータ装置。
【請求項12】
プログラムが格納されている記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１から８のいずれか１項に記載の超解像顕微イメージング方法を実現することを特徴とする記憶媒体。
【国際調査報告】