特開 2024-42643 イメージ分割基盤の光検出システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024042643

(43)【公開日】2024-03-28

(54)【発明の名称】イメージ分割基盤の光検出システム及び方法

(51)【国際特許分類】

   G01N 21/17 20060101AFI20240321BHJP

   G02B 21/06 20060101ALI20240321BHJP

   G02B 21/36 20060101ALI20240321BHJP

【ＦＩ】

G01N21/17 A

G02B21/06

G02B21/36

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023062420

(22)【出願日】2023-04-06

(31)【優先権主張番号】10-2022-0116427

(32)【優先日】2022-09-15

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り ２０２２年４月１３日、Ｆｏｃｕｓ ｏｎ Ｍｉｃｒｏｓｃｏｐｙ（ＦＯＭ２０２２）、オンライン ２０２２年５月１９日～５月２１日、Ｔｈｅ ２５ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ｋｏｒｅａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｂｒａｉｎ ａｎｄ Ｎｅｕｒａｌ Ｓｃｉｅｎｃｅｓ、Ｓｏｎｇｄｏ Ｃｏｎｖｅｎｓｉａ，Ｉｎｃｈｅｏｎ，Ｋｏｒｅａ ２０２２年１０月１０日～１０月１２日、６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ Ｆｒｏｎｔｉｅｒｓ ｉｎ Ｎｅｕｒｏｐｈｏｔｏｎｉｃｓ ２０２２、Ｍｕｓｅｅ ｄｅ ｌａ Ｃｉｖｉｌｉｓａｔｉｏｎ，８５ Ｒｕｅ Ｄａｌｈｏｕｓｉｅ，Ｑｕｅｂｅｃ Ｃｉｔｙ，ＱＣ，Ｃａｎａｄａ，Ｇ１Ｋ ８Ｒ２ ２０２２年１１月１０日～１１月１１日、Ｔｈｅ ８ｔｈ Ａｄｖａｎｃｅｄ Ｂｉｏｐｈｏｔｏｎｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ、浦項工科大学校ＰＯＳＣＯインターナショナルセンター ２０２３年２月１５日、Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ｋｏｒｅａ Ｗｉｎｔｅｒ Ｃｏｎｆｅｒｅｎｃｅ ２０２３、Ｂｕｓａｎ ＢＥＸＣＯ Ｃｏｎｖｅｎｔｉｏｎ Ｈａｌｌ，Ｂｕｓａｎ，Ｓｏｕｔｈ Ｋｏｒｅａ

(71)【出願人】

【識別番号】521081975

【氏名又は名称】ソウル ナショナル ユニヴァーシティ アール アンド ディービー ファウンデーション

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100160886

【弁理士】

【氏名又は名称】久松 洋輔

(72)【発明者】

【氏名】チェ，ミョン ファン

(72)【発明者】

【氏名】キム，ソン フン

【テーマコード（参考）】

2G059

2H052

【Ｆターム（参考）】

2G059AA05

2G059EE01

2G059EE02

2G059EE07

2G059FF03

2G059JJ11

2G059KK03

2G059KK04

2H052AF14

2H052AF25

(57)【要約】      （修正有）

【課題】イメージ分割基盤の光検出システム及び方法を提供する。
【解決手段】対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するパターン生成部１０と、特定パターンを受信しながら対象映像から各関心領域の光経路を選択的に分離する光変調部２０と、各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出する光検出部３０と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージ分割基盤の光検出システムにおいて、
対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するパターン生成部と、
前記特定パターンを受信し、前記対象映像から前記各関心領域の光経路を選択的に分離する光変調部と、
前記各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出する光検出部と、
を含む、光検出システム。

【請求項2】

前記パターン生成部は、前記各関心領域別にストライプ状のパターンの方向、間隔、及びカラーを異なるように設定して、前記特定パターンを区分すると同時に、前記各関心領域と対応する各映像客体の光経路を制御する、請求項１に記載の光検出システム。

【請求項3】

ユーザが前記関心領域を選択するように前記対象映像を出力するか、前記光検出部から受信した光信号を出力するディスプレイ部をさらに含み、
前記パターン生成部は、前記ディスプレイ部を通じて前記各関心領域と対応する全体客体を出力する全体客体画面と、前記全体客体画面に基づいて各客体の移動方向と一致する方向に分割画面を提供する、請求項２に記載の光検出システム。

【請求項4】

前記対象映像は、高解像度で撮影された映像を含み、
前記パターン生成部は、前記ディスプレイ部が出力する前記関心領域の座標と、前記光変調部が受信する前記関心領域の特定の座標と、が一致するように、イメージ解像度、サイズ、位置、及び方向を変換する、請求項３に記載の光検出システム。

【請求項5】

前記光変調部は、空間光変調器であって、光学位相を変調する位相光変調器（ｐｈａｓｅ ｏｎｌｙ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ、ｐｈａｓｅ ｏｎｌｙ ＳＬＭ）と、ピクセル別に制御可能なディジタルマイクロミラー装置（Ｄｉｇｉｔａｌ ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）とを含み、前記空間光変調器から分割されたイメージのサイズが既に定められた前記光検出部のピクセルのサイズと一致するように調節するリレーレンズ部をさらに含む、請求項１に記載の光検出システム。

【請求項6】

イメージ分割基盤の光検出システムを用いた光検出方法において、
（ａ） パターン生成部により、対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するステップと、
（ｂ） 光変調部により、前記特定パターンを受信しながら、前記対象映像から前記各関心領域の光経路を選択的に分離するステップと、
（ｃ） 光検出部により、前記各関心領域別に分離された光信号を、互いに異なるピクセルに基づいて検出するステップと、
を含む、光検出方法。

【請求項7】

前記（ａ）のステップにおいて、
前記パターン生成部は、前記各関心領域別にストライプ状のパターンの方向、間隔、及びカラーを異なるように設定して、前記特定パターンを区分すると同時に、前記各関心領域と対応する各映像客体の光経路を制御する、請求項６に記載の光検出方法。

【請求項8】

前記（ａ）のステップの以前に、
ディスプレイ部により、ユーザが前記関心領域を選択するように前記対象映像を出力するステップを含み、
前記（ｃ）のステップの以後に、
前記ディスプレイ部は、前記光検出部から受信した光信号を出力し、
前記パターン生成部は、前記ディスプレイ部を通じて前記各関心領域と対応する全体客体を出力する全体客体画面と、前記全体客体画面に基づいて各客体の移動方向と一致する方向に分割画面を提供する、請求項７に記載の光検出方法。

【請求項9】

前記（ａ）のステップにおいて、
前記対象映像は高解像度で撮影された映像を含み、
前記パターン生成部は、前記ディスプレイ部が出力する前記関心領域の座標と、前記光変調部が受信する前記関心領域の特定の座標と、が一致するように、イメージ解像度、サイズ、位置、及び方向を変換する、請求項８に記載の光検出方法。

【請求項10】

前記光変調部は、空間光変調器であって、光学位相を変調する位相光変調器（ｐｈａｓｅ ｏｎｌｙ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ、ｐｈａｓｅ ｏｎｌｙ ＳＬＭ）と、ピクセル別に制御可能なディジタルマイクロミラー装置（Ｄｉｇｉｔａｌ ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）とを含み、前記空間光変調器から分割されたイメージのサイズが既に定められた前記光検出部のピクセルのサイズと一致するように調節するリレーレンズ部をさらに含む、請求項６に記載の光検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージ分割基盤の光検出システム及び方法に関する。

【背景技術】

【0002】

適応型光変調技術は、ディジタル光変調装置を用いて光経路を制御する技術であって、ビームプロジェクターやホログラムディスプレイにおいて使われている。近来、光誘電学刺激や蛍光励起、多光子顕微鏡などで多様に使われており、特に、光照射モジュールにおいて主に使われている。一部の光変調技術は、サンプルで光検出器（あるいはカメラ）の間の測定経路に位置させて使用することがある。しかし、主に、光学収差（ｏｐｔｉｃａｌ ａｂｂｅｒａｔｉｏｎ）を減らすことで、イメージの歪みを減らす目的として使われている。

【0003】

光信号を検出する装置には、カメラとポイントディテクタ方式がある。カメラを使用する場合、高速の撮影のためには、イメージング領域の一部だけを記録するか（ｓｕｂａｒｒａｙ ｒｅａｄｏｕｔ）、ピクセルを縛って記録（ｐｉｘｅｌ ｂｉｎｎｉｎｇ）する方法が主に使われている。しかし、この場合、観察領域が制限されるか、解像度が低下されてしまう問題が発生する。

【0004】

一般的なカメラのフレームレートは、数十Ｈｚ～数百Ｈｚの場合が大部分である。すなわち、フレームレートをＫＨｚ以上にあげて撮影するためには、非常に制限的なピクセルのみを使ってイメージ処理を行う必要があり、これによって、応用において大きな制限がある。また、ポイントディテクタの場合、速度においては事実上の制限がないのに対し、一度に一つのピクセルの情報のみを記録するため、スキャニングモジュールとともに結合してイメージを記録する必要があるという問題がある。この場合にも、スキャニングを多く行うほど速度が遅くなるため、ＫＨｚ以上を具現し難いという問題がある。

【0005】

これと関連して、韓国公開特許第２０１７－００９９９８５号（発明の名称：物体の超解像度イメージを得るためのイメージング方法及びシステム）は、物体のイメージをキャップチャするように構成された光学顕微鏡に基づいて物体の超解像イメージを得るイメージング方法に関することを開示している。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、前述したような問題点を解決するためのものであって、ユーザが所望する任意の関心領域（ｒｅｇｉｏｎ－ｏｆ－ｉｎｔｅｒｅｓｔ；ＲＯＩ）単位で光信号を検出することができる光検出システム及び方法を提供することを目的としている。

【0007】

但し、本実施例が達成しようとする技術的課題は、上記のような技術的課題に限定されず、さらに他の技術的課題が存在する可能性がある。

【課題を解決するための手段】

【0008】

上述した技術的課題を解決するための技術的手段として、本発明の一実施形態に係るイメージ分割基盤の光検出システムは、対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するパターン生成部と、特定パターンを受信しながら対象映像から各関心領域の光経路を選択的に分離する光変調部と、各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出する光検出部と、を含む。

【0009】

本発明の他の実施例に係るイメージ分割基盤の光検出システムを用いた光検出方法は、（ａ）パターン生成部により、対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するステップと、（ｂ）光変調部により、特定パターンを受信しながら対象映像から各関心領域の光経路を選択的に分離するステップと、（ｃ）光検出部により、各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出するステップと、を含む。

【発明の効果】

【0010】

前述した本願の課題を解決するための手段の何れか一つによると、高解像度の低速で撮影された映像から超高速で観察しようとするＲＯＩ領域を光学的に分離した後、各関心領域から発生される光信号を互いに異なるピクセルに基づいて検出することで、超高速で記録することが可能である。

【0011】

さらに、本発明は、カメラを基盤とする多様な顕微鏡に追加のモジュールの形態で附着することができるため、産業的な適用が容易である。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るイメージ分割基盤の光検出システムの構成図である。

【図2】本発明の一実施形態に係るイメージ分割基盤の光検出システムの構造図である。

【図3】本発明の一実施形態に係るパターン生成部が関心領域の光経路を制御する方法を説明するためのシーケンス図である。

【図4】図３に係る各ステップ別に関心領域の光経路を制御して各客体が出力される一例を示す図である。

【図5】本発明の一実施形態による各関心領域と対応する客体の移動方向を制御する特定パターンを説明するための図である。本発明と既存の顕微鏡で測定した信号分析の結果とを比較して説明するための図である。

【図6】本発明と既存の顕微鏡で測定した光信号分析の結果とを比較して説明するための図である。

【図7】本発明と既存の顕微鏡で測定した光信号分析の結果とを比較して説明するための図である。

【図8】本発明の関心領域の光経路を制御する方法によって各客体が出力される他の例を示す図である。

【図9】本発明の他の実施例に係るイメージ分割基盤の光検出システムを用いた光検出方法を示すシーケンス図である。

【発明を実施するための形態】

【0013】

以下では、添付した図面を参照しながら、本願が属する技術分野において通常の知識を有した者が容易に実施できるように、本願の実施例について詳細に説明する。しかし、本願は、多様な異なる形態に具現されることができ、ここで説明する実施例に限定されない。なお、図面において、本願について明確に説明するために、説明とは関係ない部分は省略し、明細書全体に亘って類似した部分については類似した図面符号を付した。

【0014】

以下の説明において使われている構成要素に対する接尾辞「モジュール」及び「部」などは、明細書の作成における容易さだけが考慮されて付与または混用されたものであって、その自体が互いに区別される意味または役割を有するわけではない。また、本明細書に開示されている実施例を説明することにおいて、関連された公知技術に関する具体的な説明が本明細書に開示されている実施例の要旨を弱くする恐れがあると判断される場合は、その詳細な説明を省略する。

【0015】

明細書全体において、一方の部分が他方の部分と「連結（接続、接触または結合）」されているという場合、これは「直接的に連結（接続、接触または結合）」されている場合だけではなく、その中間に他の部材を介在して「間接的に連結（接続、接触または結合）」されている場合も含む。また、一方の部分が一方の構成要素を「含む（具備または用意）」という場合、これは特に反対される記載がない限り、他方の構成要素を取り除くわけではなく、他方の構成要素をさらに「含む（具備または用意）」ことができるということを意味する。

【0016】

先ず、既存の空間光変調装置は、サンプルに照射される光源の形態を制御するために使われている。すなわち、照射用励起光源の形態を通じて一部の選択的な領域の光反応または蛍光信号が測定される。例えば、一般的な光学イメージング方法は、時間解像度を高めるためのピクセルビニング（ｐｉｘｅｌ ｂｉｎｎｉｎｇ）、光学ズーム、センサーの一部領域のみを観察する下位配列の読み取り（ｓｕｂａｒｒａｙ ｒｅａｄｏｕｔ）方式、制限された観察領域のみをスキャンまたはこれらの方法を組み合わせる方式がある。このように、既存の光学イメージング方法は、空間解像度または観察領域を制限することで、時間解像度を高める方式にて具現される。ここで、空間解像度を制限する場合、隣接領域の信号が干渉される問題がある。

【0017】

しかし、本発明では、高解像度の状態で観察領域の光経路を変調し、隣接した領域から分離させた後、一つ又は非常に制限された数の検出ピクセルに圧縮して光を検出する。これによって、データサンプリングが減少されるため、超高速で信号を分析することが可能である。

【0018】

すなわち、既存とは異なって、本発明は、光源の形態に制限がないと共に、蛍光、反射、透過、発光の場合にも適用が可能であり、同時に隣接した多くの領域から発生される信号を干渉なしに測定することができるという点で、拡張された適用が可能である。また、観察領域間の干渉がないため、追加的な光圧縮を通じて超高速光信号の測定が可能である。

【0019】

よって、本発明は、既存の光学イメージング方法が有する正型化された光信号測定経路を柔軟に変調し、空間解像度と時間解像度とを分離させることができる。すなわち、空間解像度と時間解像度とが分離されることによって、複雑な形態の構造体から発生される光信号の変化を周辺構造の影響なしに超高速で測定することができる。

【0020】

一例として、既存の方法で高速イメージングを撮影する場合、普通イメージの解像度を低めるか、一部だけを取る方式にて高速撮影を行う。しかし、本発明は、高解像度の状態で観察しようとする領域（関心領域（ｒｅｇｉｏｎ－ｏｆ－ｉｎｔｅｒｅｓｔ；ＲＯＩ））をデジタルイメージから設定した後、この領域（関心領域）から発生される光信号を、光変調技術を通じて分離させることができる。それ以降、分離された光信号を１個または非常に少ない数の光学レンズ及び光検出器（光検出部）に任意に割当することができる。これにより、一つ以上の光学レンズ及び光検出器（光検出部）は、互いに異なるピクセルを有するようになることで、既存に比べて非常に少ない数のピクセルのみを用いて光信号を記録することが可能である。

【0021】

以下、添付の図面を参考しながら、本発明の一実施形態について詳細に説明する。

【0022】

図１は、本発明の一実施形態に係るイメージ分割基盤の光検出システムの構成図である。

【0023】

図１に示すように、イメージ分割基盤の光検出システム１は、パターン生成部１０、光変調部２０、光検出部３０、及びディスプレイ部４０を含むことができる。

【0024】

図１を参照すれば、イメージ分割基盤の光検出システム１は、対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するパターン生成部１０と、特定パターンを受信しながら対象映像から各関心領域の光経路を選択的に分離する光変調部２０と、各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出する光検出部３０と、を含む。

【0025】

よって、本発明は、各関心領域別に互いに異なるピクセルを使用することで、既存のピクセル基盤の測定方式と比べて、測定速度が飛躍的に増加し、雑音（ｒｅａｄｏｕｔ ｎｏｉｓｅ）を効果的に取り除くことができる。

【0026】

例示的に、イメージ分割基盤の光検出システム１は、関心領域の光経路制御プログラムを格納するメモリー（未図示）をさらに含むことができる。この際、メモリーに格納された関心領域の光経路制御プログラムは、パターン生成部１０により駆動されることができる。

【0027】

なお、メモリーは、パターン生成部１０が処理するデータを格納する機能を行う。ここで、メモリーは、非揮発性の格納媒体（ｎｏｎ－ｖｏｌａｔｉｌｅ ｓｔｏｒａｇｅ ｍｅｄｉａ）を含むことができる。

【0028】

メモリーは、パターン生成部１０の処理及び制御のための運営体制など、別途のプログラムが格納されることもでき、入力または出力されるデータの臨時格納のための機能を行うこともできる。

【0029】

メモリーは、フラッシュメモリータイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリー（例えば、ＳＤまたはＸＤメモリーなど）、ランダム・アクセス・メモリー、リードオンリーメモリーのうち、少なくとも一つのタイプの格納媒体を含むことができる。また、イメージ分割基盤の光検出システム１は、インターネット（ｉｎｔｅｒｎｅｔ）上でメモリーの格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）を運営することもできる。

【0030】

パターン生成部１０は、メモリーに格納された関心領域の光経路制御プログラムを行い、関心領域の光経路制御のための全般的な動作を制御する。

【0031】

このために、パターン生成部１０は、少なくとも一つのプロセシングユニット（ＣＰＵ、ｍｉｃｒｏ－ｐｒｏｃｅｓｓｏｒ、ＤＳＰなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）などを含んで具現されることができ、メモリーに格納されたプログラムをＲＡＭで読み出して、少なくとも一つのプロセシングユニットを通じて実行することができる。また、実施例により、「プロセッサー」という用語は「コントローラ」、「演算装置」、「パターン生成部」などの用語と同じ意味として解釈されることができる。

【0032】

図２は、本発明の一実施形態に係るイメージ分割基盤の光検出システムの構造図である。

【0033】

具体的に、光変調部２０は、対象映像を受信しながら各関心領域の光経路を選択的に分離する。例えば、光変調部２０は、ディジタル微小反射表示器（ｄｉｇｉｔａｌ ｍｉｃｒｏｍｉｒｒｏｒ ｄｅｖｉｃｅ）、液晶（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ）基盤の透過型あるいは反射型空間光変調器（ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ）、またはスキャナー（検流計（ｇａｌｖａｎｏｍｅｔｅｒｓ）、音響光学偏向器（ａｃｏｕｓｔｏ－ｏｐｔｉｃ ｄｅｆｌｅｃｔｏｒ）、電気光学偏向器（ｅｌｅｃｔｒｏ－ｏｐｔｉｃ ｄｅｆｌｅｃｔｏｒ）など）を含む。

【0034】

ここで、対象映像は、高解像度で撮影された映像を含み、これに限定されるのではなく、透過、反射、蛍光及び位相差（ｐｈａｓｅ－ｃｏｎｔｒａｓｔ）などを含む光学信号を含む。

【0035】

光検出部３０は、関心領域別に分離された光信号を、互いに異なるピクセルに基づいて検出する。すなわち、光検出部３０は、ポイントディテクタアレイまたは制限された数のピクセルのみを使用するカメラから構成されることができる。よって、同時に隣接した多くの関心領域から発生される信号を干渉なしに測定することができる。また、観察しようとする関心領域間の干渉がないから、追加的な光圧縮を通じて超高速の光信号の測定が可能である。

【0036】

例えば、光検出部３０は、光学レンズ及び光検出器を含む。例示的に、光学レンズは、ｓＣＭＯＳ、ＥＭＣＣＤ、ＣＣＤなどの光学カメラを含み、これに限定されない。また、光検出器は、ＰＭＴ（ｐｈｏｔｏｍｕｌｔｉｐｌｉｅｒ ｔｕｂｅ）、ＡＰＤ（ａｖａｌａｎｃｈｅ ｐｈｏｔｏｄｉｏｄｅ）、及びＳＰＡＤ（ｓｉｎｇｌｅ－ｐｈｏｔｏｎ ａｖａｌａｎｃｈｅ ｄｉｏｄｅ）を基盤とする点光源複数の検出器またはアレイ形態の検出計を含み、これに限定されない。

【0037】

光変調部２０は、空間光変調器（ＳＬＭ、Ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ）から構成されることができる。この際、本発明は、空間光変調器から伝達されるイメージのサイズが既に定められた光検出部３０のピクセルのサイズと一致するように調節するリレーレンズ部２１０を含むことができる。

【0038】

一例として、図２を参照すれば、本発明のイメージ分割基盤の光検出システム１は、カメラを基盤とする多様な顕微鏡において、追加のモジュール形態に形成されることができる。例示的に、光検出部３０は、リレーレンズ部２１０、第１の光検出器３０１、第２の光検出器３０２、第３の光検出器３０３、及びマイクロレンズアレイ３１０を含むことができる。

【0039】

図２に示すように、本発明は、対象映像１００を光変調部２０に伝達するリレーレンズ部２１０、光変調部２０を含み、各光検出器３０１～３０３にマイクロレンズアレイ３１０またはリレーレンズ部２１０が一つのモジュールから構成された光検出部３０を含む。すなわち、光検出部３０は、光変調部２０から伝達される対象映像１００から分割された関心領域別の光信号を検出する第１の光検出器３０１～第３の光検出器３０３を含むことができる。この際、光検出器の個数に制限があるわけではない。ここで、各関心領域別に光経路を制御するための特定パターンを生成するパターン生成部１０の動作過程は、図３～図６を参照しながら後述する。

【0040】

例示的に、対象映像１００は、顕微鏡のカメラポート位置に形成される光学イメージであって、リレーレンズ部２１０を介して光変調部２０の表面へ伝達されることができる。この際、光変調部２０のサイズと変調パラメータとを考慮して、リレーレンズ部２１０が対象映像１００のサイズを大きくするか小さくすることができる。

【0041】

例えば、光変調部２０が空間光変調器であれば、空間光変調器と第１の光検出器３０１との間にリレーレンズ部２１０が配置され得る。この際、リレーレンズ部２１０は、空間光変調器から関心領域別の光信号を第１の光検出器３０１～第３の光検出器３０３のピクセルサイズと一致するように調節することができる。

【0042】

すなわち、光検出部３０は、複数の光検出器モジュールから構成されることができる。一例として、光検出器モジュールは、マイクロレンズアレイ３１０及び第２の光検出器３０２から構成され、マイクロレンズアレイ３１０を通じて受信したイメージをサブイメージに分離した上で検出することができる。他の例として、光検出器モジュールは、マイクロレンズアレイ３１０、リレーレンズ部２１０、及び第３の光検出器３０３から構成され、マイクロレンズアレイ３１０を通じて分離したサブイメージを、もう一度のリレーレンズ部２１０を通じて第３の光検出器３０３のサイズに合う適切なサイズのサブイメージに調節した上で検出することができる。

【0043】

ディスプレイ部４０は、ユーザが関心領域を選択するように対象映像を出力するか、光検出部から受信した光信号を出力することができる。ディスプレイ部４０に対する詳細な説明は後述する。

【0044】

図３は、本発明の一実施形態に係るパターン生成部が関心領域の光経路を制御する方法を説明するためのシーケンス図であり、図４は、図３による各ステップ別に関心領域の光経路を制御して、各客体が出力される一例を示す図であり、図５は、本発明の一実施形態に係る各関心領域と対応する客体の移動方向を制御する特定パターンを説明するための図である。

【0045】

図３を参照すると、パターン生成部１０は、対象映像を受信し（Ｓ２１）、対象映像から一つ以上の関心領域を選択し（Ｓ２２）、各関心領域別に光経路を制御するための特定パターンを生成することができる（Ｓ２３）。次に、パターン生成部１０は、各関心領域別にストライプ状のパターンの方向、間隔、及びカラーを異なるように設定して特定パターンを区分すると同時に、各関心領域と対応する各映像客体の光経路を制御することができる（Ｓ２４）。

【0046】

例示的に、図４（ａ）に示すように、Ｓ２１のステップにおいて、パターン生成部１０は、対象映像を受信し、ディスプレイ部４０を通じてユーザが関心領域を選択するように対象映像を出力することができる。次に、図４（ｂ）に示すように、Ｓ２２のステップにおいて、ユーザまたはパターン生成部１０を通じて対象映像から一つ以上の関心領域を選択することができる。例えば、関心領域を設定しようとする対象映像がディスプレイ部４０を通じて出力されれば、ＤＥＭＯＳＡＩＣという文字からなる対象イメージから、ユーザが８個の各文字を８個の各関心領域として直接選択することができる。または、パターン生成部１０により、自動で８個の各関心領域が選択されることができる。この際、パターン生成部１０は、ディスプレイ部４０が出力する関心領域の特定の座標と、光変調部２０が受信する関心領域の特定の座標と、が一致するように、イメージ解像度を変換することができる。例えば、カメラで撮影された対象イメージの解像度と、光変調部２０の解像度と、が異なっているので、対象イメージ（Ｒ_Ｉ１）＝変換行列（Ｍ_ＳＬＭ）＊光変調部（Ｒ_Ｉ２）の式によりイメージ解像度を変換することができる。この際、変換行列はポイント基盤空間データの整合（ｃｏｒｅｇｉｓｔｒａｔｉｏｎ）方法で算出されることができるが、これに限定されない。

【0047】

図４（ｃ）に示すように、Ｓ２３のステップにおいて、各関心領域別に光経路を制御するための特定パターンを生成することができる。次に、パターン生成部１０は、各関心領域別にストライプ状のパターンの方向、間隔、及びカラーを異なるように設定して、特定パターンを区分することができる。同時に、図４（ｄ）に示すように、Ｓ２４のステップにおいて、各関心領域と対応する各映像客体の光経路を制御することができる。

【0048】

例えば、パターン生成部１０は、各関心領域に対する二進化イメージ（ｂｉｎａｒｙ ｉｍａｇｅ）を生成し、二進化イメージの白色領域内にストライプ状のパターン（ｇｒａｔｉｎｇ ｐａｔｔｅｒｎ）を満たすことができる。この際、ストライプ状のパターンは、各白色領域を構成するストライプ状の方向との間隔が異なるように満たされ得る。これによって、パターン生成部１０は、互いに異なるパターンが満たされた関心領域（各映像客体）を光変調部２０に伝達し、光変調部２０が各関心領域（各映像客体）の光経路を選択的に分離することができる。

【0049】

例示的に、図４及び図５を参照すると、各関心領域の光経路を分割するストライプ状のパターンは、真ん中を基準として、８個の回折方向に区分されるパターンユニットから構成されることができる。この際、パターンユニットは、平行の一つの直線（ｄ）別に明るさが異なっている３個の直線（３ｄ）が一つのユニットとして構成され得る。

【0050】

例えば、図４（ｃ）及び図４（ｄ）に示すように、「Ａ」客体と対応する関心領域に、特定パターンを適用することができる。この場合、図５に示すように、「Ａ」客体の特定パターンは、左側の下側方向（時計回りの方向に７時３０分）から構成された回折方向（ｄｉｆｆｒａｃｔｉｏｎ ｄｉｒｅｃｔｉｏｎ）と、右側の下側方向に傾いた対角線から構成されたパターンユニット（ｐａｔｔｅｒｎ ｕｎｉｔ）と、を含むことができる。この際、パターンユニットは、黒－グレー－白の３個の直線（３ｄ）からなり得る。「Ａ」客体のパターンユニットは、３個の直線のうち、最も低明度の黒い対角線が「Ａ」客体の回折方向と同じ方向である左側の下方に配置され得る。図４（ｃ）及び図４（ｄ）に示すように、「Ａ」客体と対向する「Ｍ」客体の特定パターンは、「Ａ」客体の回折方向と背く右側の上側方向（時計回りの方向に１時３０分）から構成された回折方向と、右側の下方に傾いた対角線から構成されたパターンユニットと、を含むことができる。この場合、「Ａ」客体と「Ｍ」客体とのストライプ状のパターンの方向は同じである、「Ａ」客体のパターンユニットとは異なって、「Ｍ」客体のパターンユニットは、３個の直線（３ｄ）のうち、最も低明度の黒い対角線が「Ｍ」客体の回折方向と同じ方向である右側の上側に配置され得る。

【0051】

同様に、「Ｄ」客体の特定パターンは、右側の上側方向（時計回りの方向に１０時３０分）から構成された回折方向と、左側の下方に傾いた対角線から構成されたパターンユニットを含むことができる。この際、「Ｄ」客体のパターンユニットは、３個の直線のうち、最も低明度の対角線（黒い色）が「Ｄ」客体の回折方向と同じ方向である右側の上側方向に配置され得る。「Ｄ」客体と対向する「Ｃ」客体の特定パターンは、左側の下側方向（時計回りの方向に４時３０分）から構成された回折方向と、左側の下方に傾いた対角線から構成されたパターンユニットを含むことができる。この場合、「Ｃ」客体と「Ｄ」客体のストライプ状のパターンの方向が同一であるのに対し、「Ｄ」客体のパターンユニットとは異なって、「Ｃ」客体のパターンユニットは、３個の直線のうち、最も低明度の対角線（黒い色）が「Ｃ」客体の回折方向と同じ方向である右側の下側方向に配置され得る。

【0052】

上側方向（時計回りの方向に１２時）の回折方向を有する「Ｅ」客体と、下側方向（時計回りの方向に６時）の回折方向を有する「Ｉ」客体の場合、「Ｅ」客体のパターンユニットは、３個の直線のうち、最も低明度の直線（黒い色）が「Ｅ」客体の回折方向と同じ方向である上側に配置され、「Ｉ」客体のパターンユニットは、３個の直線のうち、最も低明度の直線（黒い色）が「Ｉ」客体の回折方向と同じ下方に配置され得る。

【0053】

左側方向（時計回りの方向に９時）の回折方向を有する「Ｓ」客体と、右側方向（時計回りの方向に３時）の回折方向を有する「Ｏ」客体の場合、「Ｓ」客体のパターンユニットは、３個の直線のうち、最も低明度の直線（黒い色）が「Ｓ」客体の回折方向と同じ方向である左側に配置され、「Ｏ」客体のパターンユニットは、３個の直線のうち、最も低明度の直線（黒い色）が「Ｏ」客体の回折方向と同じ右側に配置され得る。

【0054】

図４（ｄ）に示すように、パターン生成部１０は、ディスプレイ部４０を通じて各関心領域と対応する全体客体を出力する全体客体画面と、全体客体画面に基づいて、各客体の移動方向（回折方向）と一致する方向に分割画面を提供することができる。

【0055】

図６及び図７は、本発明と既存の顕微鏡で測定した光信号の分析結果を比較して説明するための図であり、図８は、本発明の関心領域の光経路を制御する方法によって、各客体が出力される他の例を示す図である。

【0056】

例示的に、既存の顕微鏡対比、本発明の光検出性能を比較するために、ディジタル微小反射表示器から構成された光変調部２０と、ＰＭＴ装置から構成された光検出部３０と、を含む光学セットアップを用いて、各関心領域の光信号を検出した。図６（ａ）に示すように、このための対象映像として、ＤＥＭＯＳＡＩＣという文字が重なった形態の対象イメージを光変調部２０の表面に照射した後、各客体（文字）が時間シーケンスによって、１０５マイクロ秒単位で点滅するようにセッティングを行った。

【0057】

図７に示すように、既存の顕微鏡を用いて測定した結果、マイクロ秒単位で点滅する信号を区分し難く、既存の単一ＰＭＴ装置を使用する場合にも、光信号がどちらの客体から発生されたのかが分からなかった。

【0058】

しかし、図４（ｂ）、図６（ｂ）、及び図６（ｃ）に示すように、本発明は、１２５ｋＨｚで測定した結果であって、光信号が発生された各客体（関心領域）の態様と位置及び光信号の強度の変化を確認することができる。例えば、図６（ｂ）は、全体客体の光信号の強度の変化を示すグラフであり、図６（ｃ）は、図６（ａ）の時間シーケンスによって最初に点滅する「Ｉ」客体の光信号の強度の変化を示すグラフである。すなわち、本発明は、既存の技術とは異なって、光信号がどちらの客体から発生するのかが特定可能である。このような測定速度は、既存の顕微鏡で同じ関心領域を観察する際に具現可能な最大速度（一般なｓＣＭＯＳの場合、２００Ｈｚ）の６００倍以上に速い速度である。

【0059】

他の実施例として、図８（ａ）に示すように、対象映像から４個の関心領域が選択されれば、図８（ｂ）に示すように、パターン生成部１０は、各関心領域別に、上述した上下左右側の方向の回折方向と、黒－グレー－白の３個の直線からなるパターンユニットを含む特定パターンを適用し、光変調部２０は、４個の関心領域別に、各客体の移動方向が設定された特定パターンを受信し、各関心領域の光経路を分離することができる。この際、図８（ｃ）に示すように、ディスプレイ部４０は、メイン画面に４個の全体客体を出力し、真ん中のメイン画面に基づいて各客体の移動方向と一致する方向に各客体の分割画面を出力することができる。

【0060】

以下では、上述した図１～図８に示す構成のうち、同じ構成の説明は省略する。

【0061】

図９は、本発明の他の実施例に係るイメージ分割基盤の光検出システムを用いた光検出方法を示すシーケンス図である。

【0062】

図９を参照すれば、本発明の他の実施例に係るイメージ分割基盤の光検出システム１を用いた光検出方法は、パターン生成部１０により、対象映像から一つ以上の関心領域を選択し、各関心領域別に光経路を制御するための特定パターンを生成するステップ（Ｓ１１０）と、光変調部２０により、特定パターンを受信しながら対象映像から各関心領域の光経路を選択的に分離するステップ（Ｓ１２０）と、光検出部３０により、各関心領域別に分離された光信号を互いに異なるピクセルに基づいて検出するステップ（Ｓ１３０）と、を含む。

【0063】

Ｓ１１０ステップにおいて、パターン生成部１０は、各関心領域別にストライプ状のパターンの方向、間隔、及びカラーを異なるように設定して、特定パターンを区分すると同時に、各関心領域と対応する各映像客体の移動方向を制御することができる。また、パターン生成部１０は、ディスプレイ部４０が出力する関心領域の座標と、光変調部２０が受信する関心領域の特定の座標と、が一致するように、イメージ解像度、サイズ、位置及び方向を変換することができる。例示的に、光変調部３０は、空間光変調器であり、光学位相を変調する位相光変調器（ｐｈａｓｅ ｏｎｌｙ ｓｐａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒ、ｐｈａｓｅ ｏｎｌｙ ＳＬＭ）と、ピクセル別に制御可能なディジタルマイクロミラー装置（Ｄｉｇｉｔａｌ ｍｉｒｒｏｒ ｄｅｖｉｃｅ、ＤＭＤ）を含み、空間光変調器から分割されたイメージのサイズが既に定められた光検出部ピクセルのサイズと一致するように調節するリレーレンズ部をさらに含むことができる。

【0064】

Ｓ１１０のステップの以前に、ディスプレイ部４０により、ユーザが関心領域を選択するように対象映像を出力するステップを含むことができる。

【0065】

Ｓ１３０のステップ以後に、ディスプレイ部４０は、光検出部３０から受信した光信号を出力し、パターン生成部１０は、ディスプレイ部４０を通じて各関心領域と対応する全体客体を出力する全体客体画面と、全体客体画面に基づいて、各客体の移動方向と一致する方向に分割画面を提供することができる。

【0066】

本発明の一実施形態は、コンピュータにより実行されるプログラムモジュールのようなコンピュータにより実行可能な命令語を含む記録媒体の形態でも具現できる。コンピュータ読み取り可能媒体は、コンピュータによりアクセスできる任意の可用媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体を何れも含む。また、コンピュータ読み取り可能媒体は、コンピュータ格納媒体を含むことができる。コンピュータ格納媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュール、またはその他のデータのような情報の格納のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型の媒体を何れも含む。

【0067】

本発明の方法及びシステムは、特定の実施例と係わって説明したが、それらの構成要素または動作の一部または全部は、汎用のハードウェアアーキテクチャーを有するコンピュータシステムを使って具現され得る。

【0068】

前述した本願の説明は、例示するためのものであって、本願が属する技術分野の通常の知識を有する者は、本願の技術的思想や必須的な特徴を変更しなくても、他の具体的な形態に容易な変形が可能であるということが理解できるだろう。よって、前述した実施例は、すべての面で例示的なものであり、限定的なものではないことを理解すべきである。例えば、単一型に説明されている各構成要素は、分散して実施されることもでき、同様に、分散されたものと説明されている構成要素も結合された形態で実施され得る。

【0069】

本願の範囲は、前述した詳細な説明よりは、後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、並びにその均等の概念から導出されるすべての変更または変形された形態が本願の範囲に含まれるものと解釈されなければならない。

【符号の説明】

【0070】

１：光検出システム
１０：パターン生成部
２０：光変調部
３０：光検出部
４０：ディスプレイ部
２１０：リレーレンズ部
３０１：第１の光検出器
３０２：第２の光検出器
３０３：第３の光検出器
３１０：マイクロレンズアレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】