(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-10
(54)【発明の名称】レンズレス顕微撮像システムとその方法、及び生化学物質検出システムとその方法
(51)【国際特許分類】
G01N 21/64 20060101AFI20230428BHJP
【FI】
G01N21/64 E
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022559628
(86)(22)【出願日】2020-04-08
(85)【翻訳文提出日】2022-09-29
(86)【国際出願番号】 CN2020083738
(87)【国際公開番号】W WO2021203291
(87)【国際公開日】2021-10-14
(81)【指定国・地域】
(71)【出願人】
【識別番号】517110612
【氏名又は名称】ビージーアイ シェンチェン
(74)【代理人】
【識別番号】110002262
【氏名又は名称】TRY国際弁理士法人
(72)【発明者】
【氏名】謝 青
(72)【発明者】
【氏名】汪 為茂
(72)【発明者】
【氏名】章 文蔚
(72)【発明者】
【氏名】沈 梦哲
【テーマコード(参考)】
2G043
【Fターム(参考)】
2G043AA03
2G043BA16
2G043DA02
2G043EA01
2G043FA01
2G043GA08
2G043GB21
2G043LA03
(57)【要約】
レンズレス顕微撮像システム(11)は、図形コード付きビーズ(15)(15)を撮像し、照明光源(111)および励起光源(112)を含む照明システム(11a)と、イメージセンサ(113)を含む撮像システム(11b)とを備え、照明光源(111)は、照明光を発してビーズ(15)を照射してビーズ(15)をイメージセンサ(113)上に撮像させ、励起光源(112)は、励起光を発してビーズ(15)を励起させてビーズ(15)に特定の信号を発し、イメージセンサ(113)は、ビーズ(15)及び特定の信号の映像を収集して画像を生成し、撮像システム(11)内にレンズ系が設置されていない。ビーズ(15)検出の効率を向上させる。
【特許請求の範囲】
【請求項1】
図形コード付きビーズを撮像するレンズレス顕微撮像システムであって、
前記レンズレス顕微撮像システムは、
照明光源および励起光源を含む照明システムと、
イメージセンサを含む撮像システムとを備え、
前記照明光源は、照明光を発して前記ビーズを照射して前記ビーズを前記イメージセンサ上に撮像させ、
前記励起光源は、励起光を発して前記ビーズを励起させて前記ビーズに特定の信号を発し、
前記イメージセンサは、前記ビーズ及び前記特定の信号の映像を収集して画像を生成し、前記撮像システム内にレンズ系が設置されていない、ことを特徴とするレンズレス顕微撮像システム。
【請求項2】
前記照明光源は、前記ビーズを照射し、前記ビーズの投影を前記イメージセンサ上に投影して撮像させることを特徴とする請求項1に記載のレンズレス顕微撮像システム。
【請求項3】
前記照明光源が発する照明光は前記ビーズを照射し、
前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉されることを特徴とする請求項1に記載のレンズレス顕微撮像システム。
【請求項4】
前記照明光源は、単色光源、又は単色レーザ光源、又は単色LED光源であることを特徴とする請求項3に記載のレンズレス顕微撮像システム。
【請求項5】
前記照明光源から前記ビーズまでの光路にピンホールが設けられていることを特徴とする請求項4に記載のレンズレス顕微撮像システム。
【請求項6】
前記照明光源は、第1方位から第2方位に向かって前記照明光を放射して前記ビーズを照射し、
前記励起光源は、前記第1方位から前記第2方位に向かって前記励起光を照射することを特徴とする請求項1に記載のレンズレス顕微撮像システム。
【請求項7】
前記照明システムは、前記励起光源から発せられた前記励起光を前記ビーズに反射するための全反射面を含む全反射装置をさらに含む、ことを特徴とする請求項6に記載のレンズレス顕微撮像システム。
【請求項8】
前記全反射面は、前記第2方位に設けられ、前記第2方位から前記第1方位に向かって前記励起光を反射することを特徴とする請求項7に記載のレンズレス顕微撮像システム。
【請求項9】
前記照明光源は、第1方位から第2方位に向かって前記照明光を出射して前記ビーズを照射し、
前記励起光源は、前記第2方位から前記第1方位に向かって前記励起光を出射することを特徴とする請求項1に記載のレンズレス顕微撮像システム。
【請求項10】
フィルタ装置をさらに備え、
前記フィルタ装置は、前記イメージセンサの前に配置されるか、または前記フィルタ装置は、前記イメージセンサの上に配置されることを特徴とする請求項1に記載のレンズレス顕微撮像システム。
【請求項11】
特定の生化学物質を捕捉するための図形コード付きビーズを撮影するレンズレス顕微撮影方法であって、
照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から発せられる照明光により照射させて前記イメージセンサに撮像させることと、
前記照明光源を起動することにより前記照明光源に前記照明光を発光させことと、
励起光源を起動して励起光を発して前記ビーズに照射させることにより、前記ビーズが捕捉した前記特定の生化学物質を励起して特定の信号を発し、または、捕捉過程において生じた生化学物質を励起して特定の信号を発することと、
前記イメージセンサにより前記ビーズの映像および前記特定の信号の映像を同時に収集して、少なくとも2つのチャンネルの画像を生成することと、を含むことを特徴とするレンズレス顕微撮像方法。
【請求項12】
前記照明光源が発する照明光は前記ビーズを照射し、
前記イメージセンサ上に前記ビーズの投影を投射させることを特徴とする請求項11に記載のレンズレス顕微撮像方法。
【請求項13】
前記照明光源が発する照明光は前記ビーズを照射し、
前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉されることを特徴とする請求項11に記載のレンズレス顕微撮像方法。
【請求項14】
請求項1から10のいずれか1項に記載のレンズレス顕微撮像システムと、
前記イメージセンサが出力する画像を受信し、前記画像中のビーズとビーズごとの識別番号と、毎種類のビーズが捕捉される特定の生化学物質の量とを識別するための識別及び検出装置とを備え、
同一の識別番号を有する全ての磁気ビーズが同一のクラスに分類される、ことを特徴とする生化学物質検出装置。
【請求項15】
前記識別及び検出装置は、識別及び検出システムを含み、
前記識別及び検出システムは、ビーズ識別モジュールおよび生化学物質検出モジュールを含み、
前記ビーズ識別モジュールは、前記画像中のビーズと、ビーズごとの識別番号と、ビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号とを識別し、
前記生化学物質検出モジュールは、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出し、前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出することを特徴とする請求項14に記載の生化学物質検出装置。
【請求項16】
前記識別および検知システムは、前記イメージセンサが出力する前記画像を再構成し、再構成された画像を前記ビーズ識別モジュールが識別するために前記ビーズ識別モジュールに出力する画像再構成モジュールをさらに備えることを特徴とする請求項15に記載の生化学物質検出装置。
【請求項17】
前記画像再構成モジュールはデジタルホログラフィ再構成技術を用いて前記画像を再構成することを特徴とする請求項16に記載の生化学物質検出装置。
【請求項18】
前記識別および検知システムは、識別モジュールの毎回の識別結果を自動学習して各種の特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習モジュールをさらに備えることを特徴とする請求項14に記載の生化学物質検出装置。
【請求項19】
請求項11~13のいずれか1項に記載のレンズレス顕微撮像方法を実行して画像を出力することと、
前記画像を受信し、前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出し、同じ識別番号を有する全てのビーズを同じクラスに分類されることと、を含むことを特徴とする生化学物質検出方法。
【請求項20】
「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことは、さらに、
前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号を識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出すること、をさらに含む、請求項19に記載の生化学物質検出方法。
【請求項21】
「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含むことを特徴とする請求項20に記載の生化学物質検出方法。
【請求項22】
前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出することを特徴とする請求項20に記載の生化学物質検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生化学物質検出分野に関し、特に、生化学物質検出におけるレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法に関する。
【背景技術】
【0002】
現在、複雑な高分子試料の多数の測定は、一般的に2つのステップから構成されている。第1ステップにおいて、標的高分子を特異的に捕捉可能な試薬を固相の表面に付着させる。これらの固定の分子は、ハイブリダイゼーション(例えば、DNA、RNAによる測定中)や抗原-抗体相互作用(免疫測定中)のような様々な方法によって、複雑な試料から、標的高分子を捕捉するために使用され得る。第2ステップでは、検出分子は、捕捉分子と標的との複合体と共にインキュベートされ、複合体に結合され、それによって、蛍光または他の電磁信号のような信号を放出する。その後、信号の強度により標的の量を定量する。
【0003】
多重測定は、複数の捕捉剤を用いて行うことができ、捕捉剤毎に異なる標的高分子に特異的である。チップによるアレイ多重測定において、チップ上の所定の位置に各タイプの捕捉剤を付着させる。1種類の捕捉剤に対応した各位置で検出分子の信号を計測することで、複雑な試料中の多重標的の量を測定する。浮遊アレイ多重測定において、ビーズ/磁気ビーズは、測定溶液中に浮遊しており、これらのビーズ/磁気ビーズは、ビーズ/磁気ビーズの1つ又は複数の素子によって埋め込み、印刷又は他の態様による認識素子を含む。各タイプの捕捉剤は、同一のIDを有する粒子に固定され、特定のIDを有する粒子の表面から検出分子が発する信号は、対応する標的の量を反映している。顕微鏡と画像認識アルゴリズムにより、様々なビーズ/磁気ビーズを識別し、捕捉剤が検出した分子信号とIDを関連づけて多重測定が実現できる。
【0004】
ビーズ/磁気ビーズのサイズが小さいほど、1回の検出において得られるIDの数が多くなり、同時に検出に必要な顕微鏡倍率も大きくなる。このため、撮像システムには大視野、高解像度の撮像を実現することが求められる。従来の光学顕微鏡はその光学設計原理の制約から、一般的に空間帯域積は常に百万画素分に制限されており、高解像と大視野との両立はできなかった。
【0005】
いずれにしても、一般的な顕微鏡では、ビーズ/磁気ビーズの鮮明な撮像と、対応する信号(例えば蛍光信号)の撮像は可能であるが、顕微鏡の視野の制限を受けて、一度に全部の顕微鏡撮像視野中のビーズ/磁気ビーズを見ることができず、すべての種類のマイクロチップビーズ/磁気ビーズをトラバースし、あるいは同じ種類のビーズ/磁気ビーズが十分な数量を確保するためには、繰り返し視野を移動しなければならない。しかも、伝統的な光学顕微鏡は、必ずレンズの焦点合わせの過程があり、時間と手間がかかるだけでなく、焦点面を見つけるのも容易ではない。従来の光学顕微鏡は、光学レンズ系と移動視野のためのスライドテーブルを有するため、コストが高く、体積が大きい。
【発明の概要】
【0006】
そこで、従来技術が有する課題の少なくとも1つを解決するために、レンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法を提供することを目的とする。
【0007】
第1態様において、本発明は、レンズレス顕微撮像システムを提供し、前記レンズレス顕微撮像システムは、図形コード付きビーズを撮像するレンズレス顕微撮像システムであり、前記レンズレス顕微撮像システムは、照明光源および励起光源を含む照明システムと、イメージセンサを含む撮像システムとを備え、前記照明光源は、照明光を発して前記ビーズを照射して前記ビーズを前記イメージセンサ上に撮像させ、前記励起光源は、励起光を発して前記ビーズを励起させて前記ビーズに特定の信号を発し、前記イメージセンサは、前記ビーズ及び前記特定の信号の映像を収集して画像を生成し、前記撮像システム内にレンズ系が設置されていない。
【0008】
さらに、前記照明光源は、前記ビーズを照射し、前記ビーズの投影を前記イメージセンサ上に投影して撮像させる。
【0009】
さらに、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉される。
【0010】
さらに、前記照明光源は、単色光源、又は単色レーザ光源、又は単色LED光源である。
【0011】
さらに、前記照明光源から前記ビーズまでの光路にピンホールが設けられている。
【0012】
さらに、前記照明光源は、第1方位から第2方位に向かって前記照明光を放射して前記ビーズを照射し、前記励起光源は、前記第1方位から前記第2方位に向かって前記励起光を照射する。
【0013】
さらに、前記照明システムは、前記励起光源から発せられた前記励起光を前記ビーズに反射するための全反射面を含む全反射装置をさらに含む。
【0014】
さらに、前記全反射面は、前記第2方位に設けられ、前記第2方位から前記第1方位に向かって前記励起光を反射する。
【0015】
さらに、前記照明光源は、第1方位から第2方位に向かって前記照明光を出射して前記ビーズを照射し、前記励起光源は、前記第2方位から前記第1方位に向かって前記励起光を出射する。
【0016】
さらに、フィルタ装置をさらに備え、前記フィルタ装置段は、前記イメージセンサの前に配置されるか、または前記フィルタ装置は、前記イメージセンサの上に配置される。
【0017】
第2態様において、本発明は、レンズレス顕微撮像方法を提供し、前記レンズレス顕微撮影方法は、特定の生化学物質を捕捉するための図形コード付きビーズを撮影し、前記方法は、照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から発せられる照明光により照射させて前記イメージセンサに撮像させることと、前記照明光源を起動することにより前記照明光源に前記照明光を発光させことと、励起光源を起動して励起光を発して前記ビーズに照射させることにより、前記ビーズが捕捉した前記特定の生化学物質を励起して特定の信号を発し、または、捕捉過程において生じた生化学物質を励起して特定の信号を発することと、前記イメージセンサにより前記ビーズの映像および前記特定信号の映像を同時に収集して、少なくとも2つのチャンネルの画像を生成することと、を含む。
【0018】
さらに、前記レンズレス顕微撮像方法において、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に前記ビーズの投影を投射させる。
【0019】
さらに、前記レンズレス顕微撮像方法において、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサ上に干渉縞を形成し、前記干渉縞は、前記イメージセンサによって捕捉される。
【0020】
第3態様において、本発明は、生化学物質検出装置を提供し、前記生化学物質検出装置は、請求項1から10のいずれか1項に記載のレンズレス顕微撮像システムと、前記イメージセンサが出力する画像を受信し、前記画像中のビーズとビーズごとの識別番号と、毎種類のビーズが捕捉される特定の生化学物質の量とを識別するための識別及び検出装置とを備え、同一の識別番号を有する全ての磁気ビーズが同一のクラスに分類される。
【0021】
さらに、前記識別及び検出装置は、識別及び検出システムを含み、前記識別及び検出システムは、ビーズ識別モジュールおよび生化学物質検出モジュールを含み、前記ビーズ識別モジュールは、前記画像中のビーズと、ビーズごとの識別番号と、ビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号とを識別し、前記生化学物質検出モジュールは、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出し、前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出する。
【0022】
さらに、前記識別および検知システムは、前記イメージセンサが出力する前記画像を再構成し、再構成された画像を前記ビーズ識別モジュールが識別するために前記ビーズ識別モジュールに出力する画像再構成モジュールをさらに備える。
【0023】
さらに、前記画像再構成モジュールはデジタルホログラフィ再構成技術を用いて前記画像を再構成する。
【0024】
さらに、前記識別および検知システムは、識別モジュールの毎回の識別結果を自動学習して各種の特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習モジュールをさらに備える。
【0025】
第4態様において、本発明は、生化学物質検出方法を提供し、前記生化学物質検出方法は、上記記載のレンズレス顕微撮像方法を実行して画像を出力することと、前記画像を受信し、前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出し、同じ識別番号を有する全てのビーズを同じクラスに分類されることと、を含む。
【0026】
さらに、前記生化学物質検出方法において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことは、さらに、前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号を識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出すること、をさらに含む。
【0027】
さらに、前記生化学物質検出方法において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含む。
【0028】
さらに、前記生化学物質検出方法において、前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出する。
【0029】
本発明実施形態は、従来の光学顕微鏡に代わって図形コード付きビーズを検出し、従来の光学顕微鏡を用いる際に必要であったレンズ合焦過程と視野を繰り返しシフトする過程を回避し、より撮像速度が速く、画像処理による最適化された撮像結果のみを実現し、超高解像性を達成するレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法を提供する。光学レンズ系を省いたため、レンズレス顕微撮像システムは、全体としてよりコンパクトでコストがより低く、視野がより広く、スライドテーブル等の部品による視野移動を必要とせずに、反応容器内のあらゆるパターンコーディングビーズを行える。
【図面の簡単な説明】
【0030】
本発明の実施形態をより明確に説明するため、以下、実施形態で用いるべき図面を簡単に紹介するため、以下の説明における図面は本発明のいくつかの実施形態のみであり、当業者であれば、創造的な労働を伴わずに、これらの図面から他の図面を取得することができることは明らかである。
【0031】
【
図1】
図1は、本発明の実施例1に係る生化学物質検出システムの構成概略図である。
【
図2】
図2は、本発明の実施例2に係る生化学物質検出システムの構成概略図である。
【
図3】
図3は、本発明の実施例3に係る生化学物質検出システムの構成概略図である。
【
図4】
図4は、本発明の実施例4に係る生化学物質検出システムの識別及び検出装置を示す模式図である。
【
図5】
図5は、本発明の実施例6に係る生化学物質検出システムの識別及び検出装置を示す模式図である。
【
図6】
図6は、本発明の実施例7に係る生化学物質検出方法のフローチャートである。
【0032】
以下の具体的な実施形態について、上述の図面に基づいて本発明をさらに説明する。
【発明を実施するための形態】
【0033】
以下、本発明の実施形態の図面に関連して、本発明の実施例に係る発明を明確に、完全に説明する。明らかに、説明された実施形態は本発明の一部の実施形態にすぎず、すべての実施形態ではない。
【0034】
本発明における実施例に基づいて、当業者が創造的な労働を行うことなく取得した他のすべての実施例は、本発明の保護を求めようとしている。
【0035】
なお、一方の構成要素は、他方の構成要素に「配置される」と考えられ、他方の構成要素に直接配置されてもよいし、センタリングユニットが混在してもよい。ここで用いられる用語「および/または」は、一つまたは複数の関連する列挙された項目のすべてと任意の組み合わせを含む。
【0036】
従来、磁気ビーズのようなビーズの中には、ビーズ内部に不透明物質や蛍光物質を標識し、ビーズの周囲に深さ、形状、及び/又は間隔の異なる図形コードを刻設し、全部又は一部の図形コードが組み合わされてビーズの識別番号を形成しており、顕微撮像後にビーズに刻設された図形コードとその組み合わせを認識することで、ビーズの識別番号が得られるが、蛍光物質を励起して発光させ、蛍光強度を検出することで、特定の生化学物質の量が得られる。
実施例1
【0037】
図1を参照して、本発明の第1実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム1は、図形コード付きビーズを検出し、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システムは、レンズレス顕微撮像システム11と、認識及び検出装置13とを含む。前記レンズレス顕微撮像システム11は、ビーズとビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置13は、前記映像から前記ビーズ及び前記ビーズの識別番号、及び前記映像から毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム11は、照明光源111および励起光源112を含む照明システム11aと、イメージセンサ113を含む撮像システム11bとを有する。前記照明光源111は、照明光を発光してビーズ15を照射し、イメージセンサ113に投影させて撮像させるためのものである。励起光源112は、励起光を発光してビーズ15を照射し、励起したビーズ15で捕捉された特定の生化学物質放出信号をイメージセンサ113に投射して撮像するために用いられる。励起光の一部がイメージセンサ113に漏れることを防止するために、本実施形態では、前記イメージセンサ113の前に励起光波長に合わせたフィルタ装置114をさらに設け、前記フィルタ装置114はフィルタ又はフィルタ片であってもよい。前記撮像システム11bにはレンズ系が設けられておらず、すなわち、前記イメージセンサ113とビーズ15との間にはレンズ系が設けられていない。
【0038】
本実施形態では、ビーズ15は、透明な材質の図形コード付きビーズである。ビーズ15は、蛍光反応容器16内に配置され、通常、多重測定を実現するために、蛍光反応容器16内には複数種類のビーズ15が配置され、毎種類のビーズ15は同一の図形コード配列順序を有するので、毎種類のビーズ15は同一の識別番号を有し、異なる種類のビーズ15は異なる識別番号を有する。毎種類のビーズ15は特定の生化学物質を捕捉し、異なる種類のビーズ15は異なる生化学物質を捕捉する。
【0039】
一種類のビーズ15が特定の生化学物質を捕捉した後に、ビーズ15が捕捉した特定の生化学物質が励起光源112から発せられる励起光によって励起されて蛍光信号を発生させる。毎種類のビーズ15が発する蛍光信号の強度を検出することにより、その種類のビーズ15が捕捉される特定の生化学物質の量を得ることができる。
【0040】
本実施形態では、ビーズ15を境に第1方位と第2方位が区分されており、照明光源111と励起光源112はいずれもビーズ15の第1方位に設けられ、フィルタ装置114とイメージセンサ113はビーズ15の第2方位に設けられている。照明光源111は、空間的コヒーレンスが有限(即ち、低空間的コヒーレンス)な点光源又は光源アレイである。このような前記レンズレス顕微撮像システム11を用いて実施される撮像方法は、以下のとおりである。照明光源111を起動して第1方位から第2方向に向かってビーズ15を照射し、ビーズ15の投影をイメージセンサ113に投射するとともに、励起光源112を起動して第1方位から第2方向に向かって励起光を出射してビーズ15を照射し、ビーズ15を蛍光信号を発してイメージセンサ113に投射し、イメージセンサ113は、ビーズ15の投影及び蛍光信号を収集し、ビーズ15の映像と蛍光信号の映像とを含む画像を生成する。前記画像は前記認識及び検出装置13に出力され、前記認識及び検出装置13は、前記画像を識別して毎種類のビーズ15の識別番号を取得し、毎種類のビーズ15が捕捉された特定の生化学物質の量を検出する。具体的には、前記識別及び検出装置13は、コンピュータ装置であり、プロセッサ131と、メモリ132と、メモリ132に記憶され、プロセッサ131上で実行可能な、識別及び検出システム134のようなコンピュータプログラムとを含み、前記識別および検出システム134は、実行される機能に応じて、ビーズ識別モジュール135および生化学物質検出モジュール136のような複数の機能モジュールに分割される。なお、前記ビーズ識別モジュール135は、前記画像中のビーズおよびビーズの識別番号を識別するものである。具体的には、前記ビーズ識別モジュール135は、予めモデリング又は予め設定された特徴量に基づいてビーズを識別し、さらに予めモデリング又は予め設定された特徴量に基づいてビーズの図形コードを識別し、最後にビーズの図形コードの配列の組み合わせに基づいてビーズの識別番号を識別する。前記生化学物質検出部136は、前記画像中の毎種類のビーズに対応する信号の強度を検出し、前記信号の強度に基づいて毎種類のビーズに捕捉された特定の生化学物質の量を検出する。
【0041】
本実施形態における生化学物質検出システム1およびその検出方法は、大きさが500μm一1mmで図形コードの特徴点距離が50μm以上の図形コード付きビーズを検出するのに適している。仮に、照明光源111からビーズ15までの距離をz1、ビーズ15からイメージセンサ113までの距離をz2とし、ビーズ15の情報を運ぶライトフィールド伝播距離z2をイメージセンサ113で捉えたとすると、現在の半導体プロセスにおいて、イメージセンサ113の画素サイズは一般的に比較的大きい(現在最小の画素サイズは概ね0.8μmである)ため、本実施形態では、イメージセンサ113は、投影型撮像(ビーズ投影による撮像、投影型撮像、以下同様)を収集する際に画素化があり、また直接取得されたのは、ビーズ15のぼけ情報であり、認識及び検出装置13は、収集されたアンダサンプリング画像からビーズ15のフォーカス情報を再構成することなく、ビーズ15の識別番号をビーズ15の投影情報のみに依存して解析することができる。
実施例2
【0042】
図2を参照して、本発明の第2実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム2は、図形コード付きビーズを検出し、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システム2は、レンズレス顕微撮像システム21と、認識及び検出装置23とを含む。前記レンズレス顕微撮像システム21は、ビーズとビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置23は、前記映像からビーズ及びビーズの識別番号、及び毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム21は、照明光源211および励起光源212を含む照明システム21aと、イメージセンサ213及びイメージセンサ213の前に設けられたフィルタ装置214を含む撮像システム21bとを有する。前記照明光源211は、空間コヒーレンスの限られたスポット光源又は光源アレイが用いられており、照明光を発光してビーズ25を照射し、イメージセンサ213に投影させて撮像させるためのものである。本実施形態では、ビーズ25は不透明材質を採用しており、あるいは、前記ビーズ25が透過可能な光波長がイメージセンサ213の検知範囲内にない。ビーズ25を境に第1方位と第2方位とが区分され、照明光源211が第1方位に設けられ、励起光源212、イメージセンサ213及びフィルタ装置214が第2方位に設けられ、照明光源211から出射された照明光は、第1方位から第2方位に向けてビーズ25を照射し、ビーズ25の投影をイメージセンサ213上に投射させる。同時に励起光源212が第2方位から第1方位に向けてビーズ25を照射し、ビーズ25を励起して蛍光信号を発生させてイメージセンサ213に投射する。
【0043】
前記撮像システム21bにはレンズ系が設けられておらず、すなわち、イメージセンサ213とビーズ25との間にはレンズ系が設けられておらず、イメージセンサ213は、ビーズ25の投影及び蛍光信号を直接収集し、ビーズ25の映像と蛍光信号の映像を含む画像を生成する。
【0044】
前記画像は認識及び検出装置23に出力され、前記認識及び検出装置23は、前記画像を識別して毎種類のビーズ25の識別番号を取得し、毎種類のビーズ25が捕捉された特定の生化学物質の量を検出する。
【0045】
認識及び検出手段23の設定は実施例1を参照することができるためここでは説明を割愛する。本実施形態における生化学物質検出システム2およびその検出方法は、同様に大きさが500μm一1mmで図形コードの特徴点距離が50μm以上の図形コード付きビーズを検出するのに適している。
実施例3
【0046】
図3を参照して、本発明の第3実施形態に係る生化学物質検出システムの模式図である。前記生化学物質検出システム3は、図形コード付きビーズを検出することで、図形コード付きビーズが捕捉された特定の生化学物質の量を取得し、前記生化学物質検出システム3は、レンズレス顕微撮像システム31と、認識及び検出装置33とを含む。前記レンズレス顕微撮像システム31は、ビーズの識別番号とビーズから送信された信号の映像を同時に得るためにビーズを顕微撮像するためのものであり、前記識別及び検出装置33は、前記映像からビーズ及びビーズの識別番号、及び毎種類のビーズが捕捉された特定の生化学物質の量を検出するために用いられる。前記レンズレス顕微撮像システム31は、照明光源311と励起光源312と全反射装置317とを含む照明システム31aと、イメージセンサ313及びフィルタ装置314を含む撮像システム21bとを有する。前記照明光源311は、空間コヒーレンスの限られたスポット光源又は光源アレイが用いられる。本実施形態では、ビーズ35は不透明な材質の図形コード付きビーズであり、あるいは、ビーズ25が投射可能な光波長がイメージセンサ213の検知範囲内にない。ビーズ35を境に第1方位と第2方位とが区分され、照明光源311と励起光源312は第1方位に設けられ、イメージセンサ313、フィルタ装置314及び全反射装置317は、第2方位に設けられる。
【0047】
前記フィルタ装置314はイメージセンサ313の前方に、全反射装置317はフィルタ装置314の前方に設けられている。照明光源311は、第1方位から第2方位に向けて照明光を発してビーズ35を照射し、ビーズ35をイメージセンサ313に投影させる。
【0048】
励起光源312は、第1方位から第2方位に向けて励起光を発してビーズ35を照射し、ビーズ35に蛍光信号をイメージセンサ313に発させる。ビーズ35の後方には、全反射面3171を有する全反射装置317が設けられている。本実施形態では、前記全反射面3171が励起光波長に対して反射して照明光を透過し、ビーズ35がイメージセンサ313に臨む側に励起光を照射し、当該側の捕捉剤に蛍光信号を生じさせる。ビーズ35から発せられた蛍光信号は、イメージセンサ313に投射され、イメージセンサ313に撮像される。
【0049】
前記イメージセンサ313は、ビーズ35の映像と蛍光信号の映像を含む画像を生成する。
【0050】
前記画像は認識及び検出装置33に出力され、前記認識及び検出装置33は、前記画像を識別して毎種類のビーズ35の識別番号を取得し、毎種類のビーズ35が捕捉された特定の生化学物質の量を検出する。
【0051】
認識及び検出手段33の設定は実施例1を参照することができるためここでは説明を割愛する。他の実施形態では、全反射装置317の全ての部位がビーズ35の後方に位置している必要はなく、その少なくとも一部の全反射表面3171がビーズ35の後方に位置しているだけでよいことが理解される。
【0052】
ビーズ35からイメージセンサ313までの距離z2は撮像品位の重要な要素であり、本実施形態は第2実施形態に比べて、励起光源32を第1方位に設置することで、ビーズ35からイメージセンサ33までの距離z2を減らすことができ、ビーズ35の投影及び蛍光信号の撮像をより明瞭にできる。
【0053】
本実施形態における生化学物質検出システム3およびその検出方法は、同様に大きさが500μm一1mmで図形コードの特徴点距離が50μm以上の図形コード付きビーズを検出するのに適している。
実施例4
【0054】
本実施形態では、レンズレス顕微撮像システムは、空間的コヒーレンスと時間的コヒーレンスが良い(すなわち高い空間的コヒーレンスと高い時間的コヒーレンス)照明光源を用いてビーズを照射し、イメージセンサ上に干渉縞を形成し、イメージセンサは、前記干渉縞及び励起光源励起下で発生した蛍光信号を収集し、画像を生成して識別及び検出装置に伝送する。
図4に示すように、前記識別及び検出装置43は、プロセッサ431と、メモリ432と、メモリ432に記憶され、識別及び検出システム434のように、プロセッサ431上で実行可能なコンピュータプログラムとを含む。本実施形態では、前記識別及び検出システム434は、ビーズ識別モジュール435と、生化学物質検出モジュール436と、画像再構成モジュール437と、を含む。これらのうち、前記画像再構成モジュール437は、イメージセンサが出力する画像を画像再構成して、再構成後のより高解像度の画像を得るためのものであり、前記ビーズ識別モジュール435は、前記再構成された画像におけるビーズおよびビーズの識別番号を認識するためのものである。前記生化学物質検出モジュール436は、前記再構成後の画像における毎種類のビーズに対応する信号の強度を検出し、前記信号の強度から毎種類のビーズに捕捉された特定の生化学物質の量を検出する。
【0055】
具体的には、前記干渉縞は、画像再構成モジュール437によって、集積平面におけるビーズの強度情報と位相情報を計算し、ビーズの識別番号を取得する。
【0056】
前記集積平面とは、ビーズの鮮明な画像を取得できる平面を指し、仮想的な平面であり、従来のレンズの意味での合焦平面ではない。
【0057】
ここで、イメージセンサにより収集される画像U(x、y)は、ビーズにより散乱された光(物光)U
0(x、y)と、干渉を受けることなく透明基板およびフィルタを直接に通過する参照光U
R(x、y)との干渉である。
【0058】
【0059】
画像再構成モジュール437は、デジタルホログラフィ再構成技術を利用して、イメージセンサで得られた画像をアルゴリズムにより再構成する。再構成ステップは、主に、(1)ビーズとセンサの間隔による回折効果を主に打ち消す位相回復又は共役像除去、を含むことができる。(2)画素超解像は、主に、イメージセンサの画素サイズによる解像度低下を克服し、レンズなしサブピクセルの解像度を実現するのに用いられる。これら2つの大きなステップは順に行ってもよいし、相量伝播方法を用いて、2つのステップを同時に行ってもよい。相量伝播方法は、レンズレス顕微鏡画像の画素超解像及び位相回復を実現し、ひいては画像再構成を実現することができる。空間的コヒーレンスの悪いLED光源に対しては、相量伝播方法に加えて、点拡散関数のデコンボリューションを加えることで、再構成画像の空間分解能をさらに高めることができる。本実施形態において、空間コヒーレンス性及び時間コヒーレンスの良い照明光源を得るために採用可能な技術的手段としては、以下のようなものが挙げられる。
1、照明光源として単色レーザあるいは単色均一レーザを用いる。
2、照明光源として単色LED又は単色光源を用い、時間コヒーレンスを向上させる。
3、単色レーザ、単色LED、又は単色光源が発する光路上にピンホールを設け、空間コヒーレンスを向上させる。
4、照明光源の光強度を高めて光源からビーズまでの距離を向上させる。
【0060】
以上の技術的手段は、必要に応じて組み合わせることができる。
【0061】
採用する照明光源が異なる以外、本実施形態のレンズレス顕微撮像システムにおける照明光源の配置位置、その他の部材の配置位置、作用は、前述したいずれの実施例も参照可能であり、例えば、透明材質ビーズに対して、上記実施例1のように照明光源、励起光源、イメージセンサ、フィルタ装置を設置してもよい。不透明材質ビーズ又はビーズが透過可能な光波長がイメージセンサの検知範囲内にない場合には、前述の実施例2の態様を参考して照明光源、励起光源、イメージセンサ、フィルタ装置を設置したり、前述の実施例3の態様を参考して照明光源、励起光源、イメージセンサ、フィルタ装置、全反射装置を設置したりすることができる。
【0062】
前記実施形態において空間的コヒーレンスの限られた点光源又は光源アレイを用いてビーズを照射して投影型撮像を行うよりも、本実施形態では、空間的及び時間的コヒーレンスの良い照明光源を用いてビーズを照射して干渉縞を発生させ、更にデジタルホログラフィ技術によりビーズの識別番号を得て、より解像度が高く、より正確な識別を行っている。
実施例5
【0063】
本実施形態におけるレンズレス顕微撮像システムの設置は、実施例1~3を参考にすることができるが、認識及び検出装置と撮像方法が主に異なる。
【0064】
本実施形態では、上述の投影型撮像方式に代えて、フーリエ積層撮像を利用し、ビーズの識別番号を識別し、本実施形態では、励起光源でビーズを励起して蛍光信号を発し、蛍光信号はイメージセンサによって収集され、最後に特定のコンピュータ装置で捕獲された特定の分子の量が識別取得される。
実施例6
【0065】
上記実施形態1~4のように、ビーズの図形コードを識別し、ビーズの識別番号を識別するためには、各ステップを正確にモデリングする必要がある。上記「各ステップ」は、一般に、光学素子の載置、光源、照射のモデリング、被検出物体のモデリング、撮像プロセスのモデリングなどのステップを含む。本実施形態では、上述した実施例1~5のいずれかの生化学物質検出システムと同様に生化学物質検出を行うことができる他、実施の形態における生化学物質検出システムは、毎回の検出結果を自動学習し、異なる特徴量を抽出し、生化学物質検出システムがその後に検出使用を実行するための機械学習機能を含む。
【0066】
図5に示すように、前記識別及び検出装置53は、プロセッサ531と、メモリ532と、メモリ532に記憶され、プロセッサ531で実行可能な、識別及び検出システム534のように、コンピュータプログラムとを含む。本実施形態では、前記識別及び検出系534は、ビーズ認識モジュール535と、生化学物質検出モジュール536と、機械学習モジュール537と、を含む。なお、ビーズ認識モジュール535、生化学物質検出モジュール536は、それぞれ、実施例1におけるビーズ認識モジュール135、生化学物質検出モジュール136と実質的に同一であり、説明を省略する。前記機械学習モジュール537は、機械学習の方法を適用するものであり、監督学習方法と無監督学習方法を採用し、大量のデータセットを通じて訓練を行うことにより、ビーズおよびその図形コードにおける多数の特徴量の抽出を行うことができる。機械学習モジュール537を加えることで、生化学物質検出系を利用して毎回の検出結果に対して自動学習して特徴量を得ることで、それによって全体の撮像プロセスの各ステップの正確なモデリングを回避し、大視野でのビーズの認識、分割、抽出、計数、ビーズの識別番号の認識、計数などを実現する。このうち、監督学習方法は、大きく分けて、データの前処理、ニューラルネットワークの構築、ネットワークの訓練、最適解の保存などの過程を含む。
実施例7
【0067】
図6を参照すれば、本発明の第7実施形態に係る生化学物質検出方法のフローチャートである。このフローチャートは、いくつかのステップの順序が変更可能であり、いくつかのステップは省略可能であり、説明の便宜上、本発明の実施例に関連する部分のみを示す。
【0068】
本実施形態では、前記生化学物質検出方法は、特定の生化学物質を捕捉するための図形コード付きビーズを撮像するためのものである。前記生化学物質検出方法は、レンズレス顕微撮像方法と、識別及び検出方法とを含む。
【0069】
このうち、レンズレス顕微撮像方法は、以下のステップを含む。
【0070】
ステップS61において、照明光源とイメージセンサとの間に前記ビーズを受けることにより、前記ビーズを前記照明光源から発せられる照明光により照射させて前記イメージセンサに撮像させることができる。
【0071】
ステップS62において、前記照明光源を起動することにより前記照明光源に前記照明光を発光させる。
【0072】
ステップS63において、励起光源を起動して励起光を発してビーズに照射させることにより、ビーズが捕捉した特定の生化学物質を励起して特定の信号を発する、または、捕捉過程において生じた生化学物質を励起して特定の信号を発する。上記捕捉過程は、一般に一連の生化学反応過程を引き起こすものであり、一段階法、サンドイッチ法、クエンチング法等に限定されるものではない。
【0073】
ステップS64において、前記イメージセンサにより前記ビーズの映像および前記特定の信号の映像をそれぞれ収集して、少なくとも2つのチャンネルの画像を生成する。
【0074】
その中で、識別および検出方法は、以下のステップを含む。
【0075】
ステップS65において、前記画像を受信し、前記画像中のビーズを識別し、ビーズごとの識別番号を識別し、および毎種類のビーズが捕捉された特定の生化学物質の量を検出し、ここで、同じ識別番号を有する全ての磁気ビーズは同一種類に分類される。
【0076】
ステップS65については、具体的には、前記画像を受信し、一方のチャンネルが前記画像中のビーズを識別するとともにビーズごとの識別番号を識別し、他方のチャンネルで蛍光信号を得る位置と強度を検出し、蛍光信号の位置とビーズの位置とをアライメントするか、又は、2つのチャンネルの画像を全体的にアライメントし、ビーズごとの識別番号と、それに対応して捕捉された特定の信号の有無と信号の量とを検出し、同じ識別番号を有する全てのビーズを同じクラスに分類され、同一種類のビーズにおける複数のビーズに対応する信号により、その種類の微小ビーズの複数回サンプリング後の信号強度と分布を知ることができるようにしてもよい。
【0077】
別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が低空間コヒーレンスの点光源又は光源アレイであるように配置することを含む。
【0078】
別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が発する照明光は、前記ビーズを照射し、前記ビーズの投影を前記イメージセンサに投射させることを含む。
【0079】
別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源を配置して、前記照明光源に高時間コヒーレンスと高空間コヒーレンスを持たせることを含む。
【0080】
別の実施形態において、前記生化学物質検出方法におけるレンズなし顕微撮像方法は、さらに、前記照明光源が発する照明光は前記ビーズを照射し、前記イメージセンサに干渉縞を形成し、前記干渉縞は前記イメージセンサによって収集されることを含む。
【0081】
別の実施態様において、前記生化学物質検出方法における識別及び検出方法は、前記画像中のビーズを識別すること、ビーズごとの図形コードを識別すること、及びビーズごとの図形コードの配列の組み合わせ状況に基づいてビーズごとの識別番号をを識別すること、前記画像中の毎種類のビーズが発する前記特定の信号の強度を検出すること、及び前記特定の信号の強度に基づいて毎種類のビーズが捕捉する前記特定の生化学物質の量を検出することを具体的に含む。
【0082】
別の実施形態において、「前記画像中のビーズと、ビーズごとの識別番号とを識別し、毎種類のビーズが捕捉された特定の生化学物質の量を検出する」ことの前に、前記生化学物質検出方法における識別及び検出方法は、前記イメージセンサが出力する画像を再構成するか、又は、デジタルホログラフィ再構成技術を用いて前記イメージセンサが出力する画像を再構成する、ことを更に含む。
【0083】
別の実施形態では、前記生化学物質検出方法における識別及び検出方法は、前記識別及び検出で得られた各種類の識別結果、検出結果を自動学習して各種特徴値を抽出することを更に含む。
【0084】
以上の実施例1~7では、撮像の解像度をより高めるために、必要に応じて、次のような技術的手段またはその組み合わせも取ることができる。
1、フィルタ装置とイメージセンサとの距離を減少させ、例えば、フィルタ装置をイメージセンサに設置し、フィルタ装置の画素とイメージセンサの画素を一対一に対応させることができ、それによってビーズからイメージセンサまでの距離z2を減少させる。
2、緊密に配列された光ファイバアレイを用いて励起光を中継する。
3、ナノ構造のマスクを測定対象物のビーズに近い位置に設置し、この時、光学系全体の点拡散関数は空間不変性を持たず、ナノ構造マスクに依存し、具体的には、点拡散関数で特定のパターンと規則を形成することができ、画像処理をより便利にし、位置合わせがより正確にすることができる。
4、位置が精密にかつ密に配列された励起点とタルボット効果を利用して解像度を向上させる。
5、画像再構成過程でデコンボリューション計算方法、例えば、Lucy-Richardsonアルゴリズムを利用し、解像度を高める。
【0085】
以上のように、本発明実施形態が提供するレンズレス顕微撮像システム、レンズレス顕微撮像方法、生化学物質検出システム、及び生化学物質検出方法は、従来の光学顕微鏡に代わって、図形コード付きビーズを検出し、従来の光学顕微鏡を用いる際に必要であったレンズ合焦過程や視野を繰り返しシフトする過程を回避し、より撮像速度が速く、画像処理による最適化された撮像結果のみを必要として超高解像度を達成する。光学レンズ系を省いたため、レンズレス顕微撮像システムは、全体としてよりコンパクトでコストがより低く、視野がより広く、テーブルなどの部品を介して視野を移動する必要はなく、反応容器内のすべての図形コード付きビーズを巡回することができる。
【0086】
最後に説明すべきは、以上の実施例は、本発明の技術案を限定するものではなく、単に本発明の技術案を説明しているに過ぎず、好ましい実施例を参照して本発明を詳細に説明しているにも拘わらず、本発明の技術案の精神と範囲を逸脱することなく、本発明の技術案を修正ないし均等置換することが可能であることが当業者に理解されるところである。
【符号の説明】
【0087】
1、2、3 生化学物質検出システム
11、21、31 レンズレス顕微撮像システム
13、23、33、43、53 識別及び検出装置
112、212、312 励起光源
15、25、35 ビーズ
16 蛍光反応容器
132、432、532 メモリ
135、435、535 ビーズ識別モジュール
317 全反射装置
437 画像再構成モジュール
S61~S65 ステップ
11a、21a、31a 照明システム
11b、21b、31b 撮像システム
111、211、311 照明光源
113、213、313 イメージセンサ
114、214、314 フィルタ装置
131、431、531 プロセッサ
134、434、534 識別及び検出システム
136、436、536 生化学物質検出モジュール
3171 全反射面
537 機械学習モジュール
【国際調査報告】