特開 2022-83387 超高解像度のイメージと高速の広視野イメージを同時に取得する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022083387

(43)【公開日】2022-06-03

(54)【発明の名称】超高解像度のイメージと高速の広視野イメージを同時に取得する方法及び装置

(51)【国際特許分類】

   G02B 21/00 20060101AFI20220527BHJP

【ＦＩ】

G02B21/00

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2021114007

(22)【出願日】2021-07-09

(31)【優先権主張番号】10-2020-0159185

(32)【優先日】2020-11-24

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）刊行物への掲載 刊行物名：Ｏｐｔｉｃａ 発行所 ：アメリカ光学会（ＯＳＡ） 発行日 ：２０２０（令和２年）年８月１０日 （２）学会での発表 学会名 ：２０２０ ＩＥＥＥ Ｐｈｏｔｏｎｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ（ＩＰＣ） 発表日 ：２０２０（令和２年）年９月２８日

(71)【出願人】

【識別番号】515351884

【氏名又は名称】ユニスト（ウルサン ナショナル インスティテュート オブ サイエンス アンド テクノロジー）

(74)【代理人】

【識別番号】110002468

【氏名又は名称】特許業務法人後藤特許事務所

(72)【発明者】

【氏名】パク チュンフン

(72)【発明者】

【氏名】ウ テソン

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AA00

2H052AC10

2H052AC14

2H052AC33

2H052AF14

2H052AF25

(57)【要約】

【課題】超高解像度のイメージと高速の広視野イメージを同時に取得する方法及び装置を提供する。
【解決手段】一実施形態に係るイメージ取得方法は、光学顕微鏡から第１映像信号を受信するステップと、前記第１映像信号を用いて第１複数のイメージ全体を生成するステップと、前記第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、前記第１複数のイメージ全体に対する動的領域と前記第１複数のイメージ全体に対する静的領域とを区分するステップと、前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されるように前記光学顕微鏡を制御するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

光学顕微鏡から第１映像信号を受信するステップと、
前記第１映像信号を用いて第１複数のイメージ全体を生成するステップと、
前記第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、前記第１複数のイメージ全体に対する動的領域と前記第１複数のイメージ全体に対する静的領域とを区分するステップと、
前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されるように前記光学顕微鏡を制御するステップと、
を含むイメージ取得方法。

【請求項2】

前記第１複数のイメージ全体のうち、連続する２つのイメージを用いて前記動的領域と前記静的領域とを区分するマスクを生成するステップをさらに含む、請求項１に記載のイメージ取得方法。

【請求項3】

前記光学顕微鏡から前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信するステップと、
前記第２映像信号を用いて第２複数のイメージ全体を生成するステップと、
前記第２複数のイメージ全体及び前記マスクに基づいて前記静的領域のみを示す複数の静的領域イメージ、及び前記動的領域のみを示す動的領域イメージを生成するステップと、
前記複数の静的領域イメージ及び前記動的領域イメージに基づいて前記複数のオブジェクトに対する最終イメージを生成するステップと、
をさらに含む、請求項２に記載のイメージ取得方法。

【請求項4】

前記最終イメージを生成するステップは、
前記複数の静的領域イメージを用いて前記静的領域に対する超高解像度のイメージを生成するステップと、
前記超高解像度のイメージ及び前記動的領域イメージを用いて前記最終イメージを生成するステップと、
を含む、請求項３に記載のイメージ取得方法。

【請求項5】

前記制御するステップは、
前記動的領域に平面波パターンの光が照射されるように前記光学顕微鏡を制御するステップと、
前記静的領域に正弦波パターンの光が照射されるように前記光学顕微鏡を制御するステップと、
を含む請求項１に記載のイメージ取得方法。

【請求項6】

前記光は、一定の波長範囲の電磁波形態の光である、請求項１に記載のイメージ取得方法。

【請求項7】

前記第１映像信号は、前記光学顕微鏡から平面波パターンの光が照射されて取得される、請求項１に記載のイメージ取得方法。

【請求項8】

前記光学顕微鏡は、デジタルマイクロ－ミラー素子（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ－ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）、液晶基盤光変調器、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）基盤光変調器、又はＬＥＤに実現される、請求項１に記載のイメージ取得方法。

【請求項9】

超高解像度のイメージと高速の広視野イメージを同時に取得するための命令を格納するメモリと、
前記命令を行うためのプロセッサと、
を含み、
前記命令が前記プロセッサによって実行されるとき、前記プロセッサは、
光学顕微鏡から第１映像信号を受信し、
前記第１映像信号を用いて第１複数のイメージ全体を生成し、
前記第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、前記第１複数のイメージ全体に対する動的領域と前記第１複数のイメージ全体に対する静的領域とを区分し、
前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されるように前記光学顕微鏡を制御する、イメージ取得装置。

【請求項10】

前記プロセッサは、前記第１複数のイメージ全体のうち連続する２つのイメージを用いて前記動的領域と前記静的領域とを区分するマスクを生成する、請求項９に記載のイメージ取得装置。

【請求項11】

前記プロセッサは、
前記光学顕微鏡から前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信し、
前記第２映像信号を用いて第２複数のイメージ全体を生成し、
前記第２複数のイメージ全体及び前記マスクに基づいて前記静的領域のみを示す複数の静的領域イメージ、及び前記動的領域のみを示す動的領域イメージを生成し、
前記複数の静的領域イメージ及び前記動的領域イメージに基づいて前記複数のオブジェクトに対する最終イメージを生成する、請求項１０に記載のイメージ取得装置。

【請求項12】

前記プロセッサは、
前記複数の静的領域イメージを用いて前記静的領域に対する超高解像度のイメージを生成し、
前記超高解像度のイメージ及び前記動的領域イメージを用いて前記最終イメージを生成する、請求項１１に記載のイメージ取得装置。

【請求項13】

前記プロセッサは、
前記動的領域に平面波パターンの光が照射されるように前記光学顕微鏡を制御し、
前記静的領域に正弦波パターンの光が照射されるように前記光学顕微鏡を制御する、請求項９に記載のイメージ取得装置。

【請求項14】

前記光は、一定の波長範囲の電磁波形態の光である、請求項９に記載のイメージ取得装置。

【請求項15】

前記第１映像信号は、前記光学顕微鏡から平面波パターンの光が照射されて取得される、請求項９に記載のイメージ取得装置。

【請求項16】

前記光学顕微鏡は、デジタルマイクロ－ミラー素子（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ－ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）、液晶基盤光変調器、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）基盤光変調器、又はＬＥＤに実現される、請求項９に記載のイメージ取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、超高解像度のイメージと高速の広視野イメージを同時に取得する方法及び装置に関する。

【背景技術】

【0002】

顕微鏡対物レンズは、空間分解能の高いほど取得する映像の解像度が改善され、さらに詳しい構造を観察することができる。一般的な光学顕微鏡は、可視光線を用いて物質を観察するため、開口数（Ｎｕｍｅｒｉｃａｌ ａｐｅｒｔｕｒｅ）と波長として定義される空間分解能の限界（回折限界、Ｄｉｆｆｒａｃｔｉｏｎ ｌｉｍｉｔ）が存在する。

【0003】

光学顕微鏡は、開口数の大きいレンズを使用したり、紫外線や電子ビームのような可視光線よりも短い波長の光を照射すれば、高い空間分解能を取得することができる。しかし、光学顕微鏡は、レンズの開口数を拡張するには物理的な限界がある。また、短い波長の光を使用する測定方法を用いる場合、可視光線領域帯の光学顕微鏡よりも実現することが複雑で試料準備が難しい。特に、短い波長の光を使用する測定方法は、短い波長を有する光の高いエネルギーが生きている細胞を損傷させて、ありのままの細胞を観察し難いという点で、光学顕微鏡の代替ができない。

【0004】

蛍光の光学顕微鏡は、細胞内の特定の小器官に蛍光タンパク質を用いて、観察を希望する領域の選択的な映像取得が可能であるという長所がある。しかし、蛍光の光学顕微鏡は、一般の光学顕微鏡と同様に、回折限界が適用されて空間分解能の限界が存在する。蛍光の光学顕微鏡は、空間分解能の限界を克服するために、単一の蛍光分子位置基盤の顕微鏡（Ｓｉｎｇｌｅ ｍｏｌｅｃｕｌａｒ ｌｏｃａｌｉｚａｔｉｏｎ ｍｉｃｒｏｓｃｏｐｙ、ＳＭＬＭ）と誘導放出減衰（Ｓｔｉｍｕｌａｔｅｄ ｅｍｉｓｓｉｏｎ ｄｅｐｌｅｔｉｏｎ、ＳＴＥＤ）顕微鏡のような超高解像度（Ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ）の蛍光学顕微鏡が開発された。

【0005】

構造化照明顕微鏡（Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｍｉｃｒｏｃｏｐｙ、ＳＩＭ）は、蛍光分子位置基盤の顕微鏡や誘導放出減衰顕微鏡に比べて時間分解能に優れる。しかし、構造化照明顕微鏡は、一枚の超高解像度のイメージを構成するために複数の映像を要するために複数の映像を必要とするため、ほかの超高解像度蛍光学顕微鏡と同様に、依然として空間分解能を高めると、イメージ全体において時間分解能が低下する。

【発明の概要】

【発明が解決しようとする課題】

【0006】

実施形態は、一枚のイメージ内で照射される光の振幅を空間的に相違に制御し、空間分解能と時間分解能を同時に向上させることのできる技術を提供する。
但し、技術的な課題は、上述した技術的な課題に限定されることなく、更なる技術的課題が存在する。

【課題を解決するための手段】

【0007】

一実施形態に係るイメージ取得方法は、光学顕微鏡から第１映像信号を受信するステップと、前記第１映像信号を用いて第１複数のイメージ全体を生成するステップと、前記第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、前記第１複数のイメージ全体に対する動的領域と前記第１複数のイメージ全体に対する静的領域とを区分するステップと、前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されるように前記光学顕微鏡を制御するステップとを含む。

【0008】

前記方法は、前記第１複数のイメージ全体のうち、連続する２つのイメージを用いて前記動的領域と前記静的領域とを区分するマスクを生成するステップをさらに含ことができる。

【0009】

前記方法は、前記光学顕微鏡から前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信するステップと、前記第２映像信号を用いて第２複数のイメージ全体を生成するステップと、前記第２複数のイメージ全体及び前記マスクに基づいて前記静的領域のみを示す複数の静的領域イメージ、及び前記動的領域のみを示す動的領域イメージを生成するステップと、前記複数の静的領域イメージ及び前記動的領域イメージに基づいて前記複数のオブジェクトに対する最終イメージを生成するステップとをさらに含むことができる。

【0010】

前記最終イメージを生成するステップは、前記複数の静的領域イメージを用いて前記静的領域に対する超高解像度のイメージを生成するステップと、前記超高解像度のイメージ及び前記動的領域イメージを用いて前記最終イメージを生成するステップとを含むことができる。

【0011】

前記制御するステップは、前記動的領域に平面波パターンの光が照射されるように前記光学顕微鏡を制御するステップと、前記静的領域に正弦波パターンの光が照射されるように前記光学顕微鏡を制御するステップとを含むことができる。

【0012】

前記光は、一定の波長範囲の電磁波形態の光であってもよい。

【0013】

前記第１映像信号は、前記光学顕微鏡から平面波パターンの光が照射されて取得されることができる。

【0014】

前記光学顕微鏡は、デジタルマイクロ－ミラー素子（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ－ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）、液晶基盤光変調器、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）基盤光変調器、又はＬＥＤに実現されることができる。

【0015】

一実施形態に係るイメージ取得装置は、超高解像度のイメージと高速の広視野イメージを同時に取得するための命令を格納するメモリと、前記命令を行うためのプロセッサとを含み、前記命令が前記プロセッサによって実行されるとき、前記プロセッサは、光学顕微鏡から第１映像信号を受信し、前記第１映像信号を用いて第１複数のイメージ全体を生成し、前記第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、前記第１複数のイメージ全体に対する動的領域と前記第１複数のイメージ全体に対する静的領域とを区分し、前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されるように前記光学顕微鏡を制御する

【0016】

前記プロセッサは、前記第１複数のイメージ全体のうち連続する２つのイメージを用いて前記動的領域と前記静的領域とを区分するマスクを生成することができる。

【0017】

前記プロセッサは、前記光学顕微鏡から前記動的領域及び前記静的領域に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信し、前記第２映像信号を用いて第２複数のイメージ全体を生成し、前記第２複数のイメージ全体及び前記マスクに基づいて前記静的領域のみを示す複数の静的領域イメージ、及び前記動的領域のみを示す動的領域イメージを生成し、前記複数の静的領域イメージ及び前記動的領域イメージに基づいて前記複数のオブジェクトに対する最終イメージを生成することができる。

【0018】

前記プロセッサは、前記複数の静的領域イメージを用いて前記静的領域に対する超高解像度のイメージを生成し、前記超高解像度のイメージ及び前記動的領域イメージを用いて前記最終イメージを生成することができる。

【0019】

前記プロセッサは、前記動的領域に平面波パターンの光が照射されるように前記光学顕微鏡を制御し、前記静的領域に正弦波パターンの光が照射されるように前記光学顕微鏡を制御することができる。

【0020】

前記光は、一定の波長範囲の電磁波形態の光であってもよい。

【0021】

前記第１映像信号は、前記光学顕微鏡から平面波パターンの光が照射されて取得されることができる。

【0022】

前記光学顕微鏡は、デジタルマイクロ－ミラー素子（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ－ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）、液晶基盤光変調器、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）基盤光変調器、又はＬＥＤに実現されることができる。

【発明の効果】

【0023】

本発明によると、一枚のイメージ内で照射される光の振幅を空間的に相違に制御し、空間分解能と時間分解能を同時に向上させることができる。

【図面の簡単な説明】

【0024】

【図1】一実施形態に係るイメージ取得システムを示す図である。

【図2】図１に示されたイメージ取得装置を概略的に示す図である。

【図3】イメージ取得装置の動作を説明するための順序図である。

【図4】イメージ取得装置が生成するイメージ全体の一例を示す。

【図5】イメージ生成装置が動的領域と静的領域とを区分した一例を示す。

【図6】イメージ生成装置がマスクを介して動的領域がカバーされた一例を示す。

【図7】イメージ生成装置がマスクを介して静的領域がカバーされた一例を示す。

【図8】光学顕微鏡がマイクロミラー素子によって実現された一例を示す図である。

【発明を実施するための形態】

【0025】

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

【0026】

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

【0027】

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

【0028】

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

【0029】

以下、実施形態を添付の図面を参照しながら詳説する。各図面に提示された同じ参照符号は同じ部材を示す。

【0030】

図１は、一実施形態に係るイメージ取得システムを示す図である。

【0031】

イメージ取得システム１０は、光学顕微鏡１００及びイメージ取得装置３００を含む。

【0032】

イメージ取得システム１０は、互いに異なる時空間スケールの生命現象を同じシステムにおいて、１つのイメージ内で同時に測定することができる。

【0033】

イメージ取得システム１０は、時空間分解能のいずれか一方を犠牲させなければならなかった相殺効果を除去することができる。イメージ取得システム１０は、必要に応じて、イメージ内の他の領域に超高解像度のイメージ及び超高速イメージを適用し得る。イメージ取得システム１０は、微細流路チャンネル関連の研究や高い時間分解能を求めるカルシウム信号伝達などの生命、物理現象の観測が必要な研究分野、微細構造変化と巨視的な早い動力学が共存するシステムを観察するために効果的である。

【0034】

光学顕微鏡１００は、観察対象に対して光を照射してもよい。光学顕微鏡１００は、観察対象の領域によって互いに異なる振幅を有する光を照射してもよい。光学顕微鏡１００は、イメージ取得装置３００から受信した制御信号により光を照射してもよい。例えば、光学顕微鏡１００は、可視光線領域の光を照射してもよい。光学顕微鏡１００は、可視光線領域以外の一定の波長範囲（例えば、全ての波長）の電磁波形態の光を照射してもよい。光学顕微鏡１００は、平面波パターンの光を照射してもよい。光学顕微鏡１００は、正弦波パターンの光を照射してもよい。光学顕微鏡１００は、デジタルマイクロ－ミラー素子（Ｄｉｇｉｔａｌ Ｍｉｃｒｏ－ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）、液晶基盤光変調器、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）基盤光変調器、又は、ＬＥＤに実現されることができる。光学顕微鏡１００は、様々な波長の電磁波形態の光を照射するように具現することができる。

【0035】

光学顕微鏡１００は、照射した光を介して取得した映像信号をイメージ取得装置３００に送信することができる。例えば、光学顕微鏡１００は、平面波パターンの光を照射して第１映像信号を取得してもよい。光学顕微鏡１００は、第１映像信号をイメージ取得装置３００に送信してもよい。光学顕微鏡１００は、イメージ取得装置３００から受信した制御信号に基づいて、観察対象の少なくとも２以上の領域に互いに異なる振幅を有する光を照射してもよい。光学顕微鏡１００は、観察対象の少なくとも２以上の領域に互いに異なる振幅を有する光を照射して第２映像信号を取得してもよい。光学顕微鏡１００は、第２映像信号をイメージ取得装置３００に送信してもよい。

【0036】

イメージ取得装置３００は、超高解像度のイメージ構成の際動いたり形態が変わる観測対象によって発生する人工物（Ａｒｔｉｆａｃｔ）として、観測のできなかった領域に対して、回折限界に該当する空間分解能で観測可能にすることができる。

【0037】

イメージ取得装置３００は、構造化照明顕微鏡の超高解像度のイメージを構成するために必要な数の映像が取得される間に、移動又は変形された対象について、回折限界に該当する空間分解能でそれぞれのイメージが取得される瞬間における位置及び形態をトラッキングすることができる。

【0038】

イメージ取得装置３００は、観察対象の領域によって互いに異なる振幅を有する光が照射されるよう、光学顕微鏡１００を制御することができる。イメージ取得装置３００は、一枚のイメージ内で空間分解能及び／又は時間分解能を必要領域により向上させることができる。イメージ取得装置３００は、観察対象の領域によって超高解像度のイメージ及び高速の広視野イメージを同時に取得し、ユーザに出力することができる。

【0039】

図２は、図１に示されたイメージ取得装置を概略的に示す図である。

【0040】

イメージ取得装置３００は、プロセッサ３１０及びメモリ３５０を含む。

【0041】

プロセッサ３１０は、中央処理装置、アプリケーションプロセッサ、又はコミュニケーションプロセッサ（ｃｏｍｍｕｎｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）の１つ以上を含んでもよい。

【0042】

プロセッサ３１０は、イメージ取得装置３００の少なくとも１つの他の構成要素の制御に関する演算やデータ処理を行う。例えば、プロセッサ３１０は、メモリ３５０に格納されているアプリケーション及び／又はソフトウェアなどを行うことができる。

【0043】

プロセッサ３１０は、受信したデータ及びメモリ３５０に格納されたデータを処理してもよい。プロセッサ３１０は、メモリ３５０に格納されているデータを処理してもよい。プロセッサ３１０は、メモリ３５０に格納されているコンピュータで読み込み可能なコード（例えば、ソフトウェア）及びプロセッサ３１０により誘発された命令（ｉｎｓｔｒｕｃｔｉｏｎ）を行ってもよい。

【0044】

プロセッサ３１０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで実現されたデータ処理装置である。例えば、目的とする動作は、プログラムに含まれたコード又は命令を含んでもよい。

【0045】

例えば、ハードウェアで実現されたデータ処理装置は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでもよい。

【0046】

プロセッサ３１０は、光学顕微鏡１００から第１映像信号を受信することができる。例えば、第１映像信号は、光学顕微鏡１００から平面波パターンの光が照射されて取得される映像信号であってもよい。

【0047】

プロセッサ３１０は、第１映像信号を用いて第１複数のイメージ全体を生成することができる。例えば、第１複数のイメージ全体は、観察対象に対して、平面波パターンの光が照射されて取得される全体を含むイメージを意味する。

【0048】

プロセッサ３１０は、第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、第１複数のイメージ全体に対する動的領域を区分する。例えば、動的領域は、広視野角イメージを取得するための領域であってもよい。プロセッサ３１０は、複数のオブジェクトのうち少なくとも１つ以上を含む領域が、ユーザの設定したオブジェクトの動き速度以上であるとき、この領域を動的領域として区分してもよい。

【0049】

プロセッサ３１０は、第１複数のイメージ全体に含まれている複数のオブジェクトの動きに基づいて、第１複数のイメージ全体に対する静的領域を区分する。例えば、静的領域は、超高解像度の映像を取得するための領域であってもよい。プロセッサ３１０は、複数のオブジェクトのうち少なくとも１つ以上を含む領域が、ユーザの設定したオブジェクトの動きの速度未満であるとき、この領域を静的領域として区分してもよい。

【0050】

プロセッサ３１０は、第１複数のイメージ全体に対する動的領域、及び第１複数のイメージ全体に対する静的領域に互いに異なる振幅を有する光が照射されるよう光学顕微鏡１００を制御することができる。例えば、プロセッサ３１０は、動的領域に平面波パターンの光が照射されるよう光学顕微鏡１００を制御してもよい。プロセッサ３１０は、静的領域に正弦波パターンの光が照射されるように光学顕微鏡１００を制御してもよい。

【0051】

プロセッサ３１０は、第１複数のイメージ全体のうち連続する２つのイメージを用いて動的領域と静的領域とを区分するマスク（ｍａｓｋ）を生成する。例えば、マスクは、動的領域のみをカバーしてもよい。マスクは静的領域のみをカバーしてもよい。

【0052】

プロセッサ３１０は、光学顕微鏡１００から動的領域及び静的領域に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信してもよい。

【0053】

プロセッサ３１０は、第２映像信号を用いて第２複数のイメージ全体を生成することができる。例えば、第２複数のイメージ全体は、観察対象の各領域に対して互いに異なる振幅を有する光が照射されて取得される全体を含むイメージを意味する。

【0054】

プロセッサ３１０は、第２複数のイメージ全体及びマスクに基づいて、静的領域のみを示す複数の静的領域イメージ、及び動的領域のみを示す動的領域イメージを生成してもよい。

【0055】

プロセッサ３１０は、複数の静的領域イメージ及び動的領域イメージに基づいて、観察対象に含まれている複数のオブジェクトに対する最終イメージを生成することができる。例えば、プロセッサ３１０は、複数の静的領域イメージを用いて静的領域に対する超高解像度のイメージを生成してもよい。プロセッサ３１０は、超高解像度のイメージ及び動的領域イメージを用いて最終イメージを生成してもよい。

【0056】

プロセッサ３１０は、光学顕微鏡１００を制御するための制御信号を生成することができる。プロセッサ３１０は、制御信号を光学顕微鏡１００に送信してもよい。

【0057】

メモリ３５０は、揮発性及び／又は不揮発性メモリを含んでもよい。メモリ３５０は、イメージ取得装置３００の少なくとも１つの他の構成要素に関わった命令及び／又はデータを格納する。

【0058】

メモリ３５０は、ソフトウェア及び／又はプログラムなどを格納することができる。例えば、メモリ３５０は、超高解像度のイメージと高速の広視野イメージを同時に取得するためのアプリケーション及びソフトウェアなどを格納することができる。

【0059】

図３は、イメージ取得装置の動作を説明するための順序図であり、図４は、イメージ取得装置が生成するイメージ全体の一例を示し、図５は、イメージ生成装置が動的領域と静的領域とを区分した一例を示し、図６は、イメージ生成装置がマスクを介して動的領域がカバーされた一例を示し、図７は、イメージ生成装置がマスクを介して静的領域がカバーされた一例を示す。

【0060】

イメージ取得装置３００は、第１映像信号を受信する（Ｓ３０１０）。

【0061】

イメージ取得装置３００は、第１映像信号を用いて第１複数のイメージ全体４１０を生成する（Ｓ３０２０）。図４を参照すると、第１複数のイメージ全体４１０は、観察対象である複数のオブジェクト４１１、４５１、４５３、及び４５５を含んでいる。

【0062】

イメージ取得装置３００は、第１複数のイメージ全体４１０のうち、連続する２つのイメージを用いて動的領域と静的領域とを区分するマスクを生成する（Ｓ３０３０）。

【0063】

イメージ取得装置３００は、第１複数のイメージ全体４１０に含まれた複数のオブジェクト４１１、４５１、４５３、及び４５５の動きに基づいて、第１複数のイメージ全体４１０に対する動的領域４３５及び第１複数のイメージ全体に対する静的領域４３１を区分する（Ｓ３０４０）。

【0064】

イメージ取得装置３００は、動的領域４３５及び静的領域４３１に互いに異なる振幅を有する光が照射されるように光学顕微鏡１００を制御する（Ｓ３０５０）。

【0065】

イメージ取得装置３００は、光学顕微鏡１００から動的領域４３５及び静的領域４３１に互いに異なる振幅を有する光が照射されて取得される第２映像信号を受信する（Ｓ３０６０）。

【0066】

イメージ取得装置３００は、第２映像信号を用いて第２複数のイメージ全体４３０を生成する（Ｓ３０７０）。

【0067】

イメージ取得装置３００は、第２複数のイメージ全体４３０及びマスクに基づいて静的領域のみを示す複数の静的領域イメージ４５０、及び動的領域のみを示す動的領域イメージ４７０を生成する（Ｓ３０８０）。図６及び図７を参照すると、イメージ取得装置３００は、マスクを第２複数のイメージ全体４３０に乗算することで、正弦波パターンが照射された領域と平面波が照射された領域とを、図６及び図７に示すように分離してもよい。イメージ取得装置３００は、正弦波パターンが照射された領域（静的領域、４３１）に対して超高解像度映像を構成することで、人工物が生成されずに観察対象の微細構造を正確に分析可能なイメージを生成することができる。イメージ取得装置３００は、平面波が照射された領域（動的領域、４３５）に対して迅速に変化するダイナミックスを分析することができるため、ダイナミックスと微細構造変化の相関関係などの分析可能なイメージを生成することができる。

【0068】

イメージ取得装置３００は、複数の静的領域イメージ４５０及び動的領域イメージ４７０に基づいて複数のオブジェクトに対する最終イメージを生成する（Ｓ３０９０）。イメージ取得装置３００は、最終イメージを介して静的領域４３１については、超高解像度で構成されて微細構造を正確に分析することができ、動的領域４３５については、迅速に変化するダイナミックスを分析できるイメージを提供することができる。

【0069】

図８は、光学顕微鏡がマイクロミラー素子によって実現された一例を示す図である。

【0070】

光学顕微鏡１００は、観察対象に対して正弦波強度の空間分布を有する照射パターンを照射し、レンズを通過した像を映像信号として取得することができる。光学顕微鏡１００の取得する映像は、数式（１）により定義される。

【数1】

【0071】

イメージ取得装置３００は、位相と方向の異なる複数の正弦波パターンを照射し、取得されたそれぞれのイメージを用いて超高解像度映像を生成することができる。

【0072】

しかし、観察対象が移動又は変形された場合には、生成された超高解像度のイメージ内に人工物が発生し、正確な映像確認ができない場合がある。また、動きが発生した周辺領域にいたるまで正確な識別ができない場合がある。

【0073】

イメージ取得装置３００は、動きや変形のある観察対象（例えば、観察対象に含まれている複数のオブジェクト）を時間ｔを導入し、数式（２）のように定義する。

【数2】

【0074】

イメージの全領域Ｏ（ｒ，ｔ）に対して、超高解像度のイメージ構成に必要な複数のイメージを取得する間に動きや変形がない場合、時間分解能は必要な枚数だけ低下させるが、空間分解能は最大２倍まで改善することができる。反対に、イメージの全領域Ｏ（ｒ，ｔ）に対して全ての領域が移動又は変形されれば、回折限界に応じた空間分解能で広視野角映像を取得して観察するしかない。

【0075】

イメージ取得装置３００は、光学顕微鏡１００が映像信号を取得するときに照射する光の振幅を数式（３）を介して空間的に制御することができる。

【数3】

【0076】

イメージ取得装置３００は、イメージの静的領域であるＯ（ｒ_s）と動的領域であるＯ（ｒ_c，ｔ）に該当する領域に分類し、それぞれ光学顕微鏡１００で超高解像度のイメージを取得するときに用いられる正弦波パターンと、広視野角映像を取得する時に用いられる平面波パターンを照射できるよう、光学顕微鏡１００を制御することができる。

【0077】

図８を参照すると、イメージ取得装置３００は、マイクロミラー素子を構成しているそれぞれの微細鏡とカメラピクセルとが正確に一致するよう光学顕微鏡１００を制御することができる。イメージ取得装置３００は、光学顕微鏡１００の制御を介して、観察対象の各領域に照射される光の振幅を空間的に制御してもよい。光学顕微鏡１００は、イメージ取得装置３００の制御を介してイメージ内で正弦波パターンと平面波を任意に照射してもよい。

【0078】

イメージ取得装置３００は、数式（２）と数式（３）を数式（１）に代入して数式（４）を誘導することができる。イメージ取得装置３００は、数式（４）を介して一枚の超高解像度のイメージ構成に必要な複数のイメージを取得する間に、移動しない領域に対しては構造化照明顕微鏡で用いられる正弦波パターンを、移動又は変形のある領域に対しては平面波パターンを照射してもよい。

【数4】

【0079】

例えば、イメージ取得装置３００は、イメージの一部（例えば、静的領域）では構造化照明顕微鏡を具現して超高解像度映像を取得すると共に、他の領域（例えば、動的領域）では平面波を照射して迅速に変化するダイナミックスを捕捉することのできる技術を提供することができる。

【0080】

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0081】

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

【0082】

本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0083】

上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

【0084】

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】