(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024090256
(43)【公開日】2024-07-04
(54)【発明の名称】光学識別装置および方法
(51)【国際特許分類】
G01N 21/64 20060101AFI20240627BHJP
【FI】
G01N21/64 B
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022206018
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000001225
【氏名又は名称】ニデックプレシジョン株式会社
(74)【代理人】
【識別番号】110002066
【氏名又は名称】弁理士法人筒井国際特許事務所
(72)【発明者】
【氏名】上條 秀章
【テーマコード(参考)】
2G043
【Fターム(参考)】
2G043AA04
2G043BA16
2G043CA03
2G043EA01
2G043EA02
2G043FA03
2G043HA11
2G043KA02
2G043LA03
2G043NA01
(57)【要約】 (修正有)
【課題】光学識別の精度および効率を向上できる技術を提供する。
【解決手段】光学識別装置は、対象物に含まれる蛍光物質または燐光物質である1以上の物質からの蛍光または燐光の発光を検出することによって対象物の光学的な識別を行うための光学識別装置であって、1以上の物質の各物質の発光特性に合わせて、当該物質に対する光源装置からの励起光の照射がオフになったタイミング(時点t2)から、当該発光特性に応じて定められた第1の時間を経過後に、撮像素子の受光を開始し、当該発光特性に応じて定められた第2の時間(TA1,TB1,TC1)で受光して、検出された電気信号を得る。
【選択図】
図7
【特許請求の範囲】
【請求項1】
対象物に含まれる蛍光物質または燐光物質である1以上の物質からの蛍光または燐光の発光を検出することによって前記対象物の光学的な識別を行うための光学識別装置であって、
前記1以上の物質の各物質の発光特性に合わせて、当該物質に対する光源装置からの励起光の照射がオフになったタイミングから、当該発光特性に応じて定められた第1の時間を経過後に、撮像素子の受光を開始し、当該発光特性に応じて定められた第2の時間で受光して、検出された電気信号を得る、
光学識別装置。
【請求項2】
請求項1記載の光学識別装置において、
前記1以上の物質の物質ごとに、前記物質の発光特性に合わせて、定められた回数で、前記撮像素子の受光を繰り返して行い、
前記回数で検出された電気信号を積算することで、前記物質ごとに積算画像を得る、
光学識別装置。
【請求項3】
請求項1記載の光学識別装置において、
前記物質ごとに、検出された前記電気信号に基づいて、前記蛍光または燐光の発光を、所定の表示色で表現した検出画像を生成し、
前記検出画像を表示装置の画面に表示する、
光学識別装置。
【請求項4】
請求項2記載の光学識別装置において、
前記物質ごとに、検出された前記電気信号に基づいて、前記蛍光または燐光の発光を、所定の表示色で表現した前記積算画像を生成し、
前記積算画像を表示装置の画面に表示する、
光学識別装置。
【請求項5】
請求項1記載の光学識別装置において、
前記物質ごとの前記第1の時間は、異なる値に設定されている、
光学識別装置。
【請求項6】
請求項1記載の光学識別装置において、
前記物質ごとの前記第2の時間は、少なくとも一部の時間が重ならないように設定されている、
光学識別装置。
【請求項7】
請求項1記載の光学識別装置において、
予め設定された複数の撮影条件のうちの指定された撮影条件で、前記撮像素子の受光を含む撮影を行い、
前記撮影条件は、前記第1の時間および前記第2の時間の設定値を含む、
光学識別装置。
【請求項8】
請求項7記載の光学識別装置において、
発光特性が未知である1以上の物質を含む対象物に対し、前記複数の撮影条件で前記撮影を行って、各撮影条件での撮影データを取得し、
前記撮影データに基づいて、前記物質ごとに、前記第1の時間および前記第2の時間の設定値を含む好適な撮影条件を選択する、
光学識別装置。
【請求項9】
請求項1記載の光学識別装置において、
前記光源装置から前記対象物までの空間内に、前記励起光を遮蔽するための開閉シャッターを備え、
前記光源装置の励起光の発光のオフのタイミングに合わせて、前記開閉シャッターを閉じるように制御する、
光学識別装置。
【請求項10】
請求項1記載の光学識別装置において、
前記撮像素子の受光の開始の時点まで、前記撮像素子の電荷の排出を続けるように制御する、
光学識別装置。
【請求項11】
対象物に含まれる蛍光物質または燐光物質である1以上の物質からの蛍光または燐光の発光を検出することによって前記対象物の光学的な識別を行うための光学識別装置における光学識別方法であって、
前記光学識別装置が、前記1以上の物質の各物質の発光特性に合わせて、当該物質に対する光源装置からの励起光の照射がオフになったタイミングから、当該発光特性に応じて定められた第1の時間を経過後に、撮像素子の受光を開始し、当該発光特性に応じて定められた第2の時間で受光して、検出された電気信号を得るステップ、
を有する、光学識別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、光学識別技術に関する。
【背景技術】
【0002】
紙幣などの媒体、あるいは生体試料などを対象物として、燐光または蛍光を検出することで、光学識別・鑑別などを行う技術がある。
【0003】
先行技術例として、特開平5-180751号公報(特許文献1)が挙げられる。特許文献1には、粒子画像分析装置として、「蛍光染色した粒子を含む試料をフローセル中に流し、フローセル中の粒子に特定の波長の光を照射することによって、粒子から発せられる蛍光を測定して対象とする粒子か否かを判定した後、対象とする粒子の白色画像又は蛍光画像を撮像するように構成する」旨が記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1(請求項1)では、「第1の光源から出射された光のうち、所定波長の蛍光励起光を得る光学フィルタ」(
図1での光学フィルタ18)等を備える旨が記載されている。
【0006】
このような光学フィルタ(言い換えるとバンドパスフィルタ等)を用いる構成の光学識別装置の場合には、以下のような課題がある。
【0007】
光源の励起光スペクトルと対象物の蛍光スペクトルとが近い場合や同じ場合、励起光を避けて蛍光を検出するためには、バンドパスフィルタの波長帯域を狭くする必要がある。この場合、バンドパスフィルタを介して、蛍光スペクトルの成分以外に、励起光スペクトル成分が混在して検出されやすくなる。
【0008】
そこで、光源励起光と対象物の蛍光/燐光との特性がそのような関係を有する場合でも、好適に対象物の蛍光/燐光を検出可能とするために、対策としては、以下が考えられる。すなわち、光学フィルタを用いない構成、あるいは、光学フィルタを用いる構成で、励起光と蛍光/燐光とを区別して十分な光量で蛍光/燐光を検出できる構成、が考えられる。
【0009】
また、対象物に含まれる複数の種類の物質として、蛍光/燐光の発光の特性(例えば波長帯域、光量、ディレイ時間など)が異なる複数の物質が含まれる場合がある。この場合に、それらの複数の物質のそれぞれの物質の蛍光/燐光の発光を好適に検出可能とするためには、1つのバンドパスフィルタでは対応ができない。
【0010】
また、従来、例えば生体試料を対象物として光学識別を行う場合において、生体試料から発する蛍光が弱い場合には、その弱い蛍光を検出する際の光量が少ないことから、高コントラストの画像を検出・生成しにくく、光学識別が困難な場合や時間が長くかかる場合があった。
【0011】
本開示の目的は、上記光学識別の技術に関して、光学識別の精度および効率を向上できる技術を提供することである。
【課題を解決するための手段】
【0012】
本開示のうち代表的な実施の形態は以下に示す構成を有する。一実施の形態は、対象物に含まれる蛍光物質または燐光物質である1以上の物質からの蛍光または燐光の発光を検出することによって前記対象物の光学的な識別を行うための光学識別装置であって、前記1以上の物質の各物質の発光特性に合わせて、当該物質に対する光源装置からの励起光の照射がオフになったタイミングから、当該発光特性に応じて定められた第1の時間を経過後に、撮像素子の受光を開始し、当該発光特性に応じて定められた第2の時間で受光して、検出された電気信号を得る。
【発明の効果】
【0013】
本開示のうち代表的な実施の形態によれば、上記光学識別の技術に関して、光学識別の精度および効率を向上できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。
【図面の簡単な説明】
【0014】
【
図1】
図1は実施の形態1の光学識別装置の外観の構成例を示す斜視図である。
【
図2】
図2は実施の形態1の光学識別装置における、側面から見た構成例を示す断面図である。
【
図3A】
図3Aは実施の形態1の光学識別装置における、生体試料の構成例を示す図である。
【
図3B】
図3Bは実施の形態1の光学識別装置における、検出画像の構成例を示す図である。
【
図3C】
図3Cは実施の形態1の光学識別装置における、検出画像の構成例を示す図である。
【
図3D】
図3Dは実施の形態1の光学識別装置における、検出画像の構成例を示す図である。
【
図4】
図4は実施の形態1の光学識別装置における、機能ブロック構成例を示す図である。
【
図5】
図5は実施の形態1の光学識別装置による光学識別方法における、タイミング制御の基本構成を示すタイミング図である。
【
図6】
図6は実施の形態1の光学識別装置による光学識別方法における、複数の物質の蛍光パターン特性の例を示すタイミング図である。
【
図7】
図7は実施の形態1の光学識別装置による光学識別方法における、複数の物質の蛍光パターン特性に応じたタイミング制御の例を示すタイミング図である。
【
図8】
図8は実施の形態1の光学識別装置による光学識別方法における、複数の物質の蛍光パターン特性に応じた積算のタイミング制御の例を示すタイミング図である。
【
図9A】
図9Aは実施の形態1の光学識別装置による光学識別方法における、検出画像の表示の例を示す図である。
【
図9B】
図9Bは実施の形態1の変形例の光学識別装置による光学識別方法における、検出画像の表示の例を示す図である。
【
図9C】
図9Cは実施の形態1の変形例の光学識別装置による光学識別方法における、検出画像の表示の例を示す図である。
【
図10】
図10は実施の形態1の光学識別装置における、設定のGUI画面表示例を示す図である。
【
図11】
図11は実施の形態1の光学識別装置における、事前モニタリングを示す図である。
【
図12】
図12は実施の形態1の光学識別装置における、撮影条件の設定のGUI画面表示例を示す図である。
【
図13】
図13は比較例における、光源の励起光スペクトル、対象物の蛍光スペクトル、およびバンドパスフィルタ(光学フィルタ)の構成例を示す図である。
【
図14】
図14は比較例における、光源の励起光および対象物の蛍光の例を示す図である。
【発明を実施するための形態】
【0015】
以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、発明の理解を容易にするために、実際の位置、大きさ、形状、範囲等を表していない場合がある。
【0016】
説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばCPU/MPUやGPU等の半導体デバイス等で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、FPGA、ASIC、CPLD等が適用可能である。
【0017】
プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体、例えばメモリカードやディスクでもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアント・サーバシステム、クラウドコンピューティングシステム、IoTシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ID、名前、番号等の表現は互いに置換可能である。
【0018】
[課題等]
図13は、前述の課題についての補足説明図として、光源の励起光スペクトル1301と、対象物の蛍光スペクトル1302と、光学フィルタであるバンドパスフィルタ1303との構成例を示す。
図13のグラフは、横軸が波長([nm])、縦軸が光強度([A.U.])である。
図13の例では、光源の励起光スペクトル1301と対象物の蛍光スペクトル1302との波長帯域が近い場合を示している。光学識別装置は、蛍光のみを効率的に検出することが望ましい。そのために、図示のように、このバンドパスフィルタ1303は、検出したい蛍光スペクトル1302にあわせて、波長帯域を狭く、例えば通過させる波長帯域を約540nm~600nmとしている。しかしながら、励起光スペクトル1301と蛍光スペクトル1302との波長帯域が近いため、このバンドパスフィルタ1303を介して、蛍光スペクトル1301の成分以外に、励起光スペクトル1302の成分も混在して検出されやすい。
【0019】
また、光源の特性および対象物の特性に応じて、光源からの励起光の発光と、対象物からの蛍光/燐光の発光との間には、時間差(言い換えると、ずれ)が生じる場合がある。光源の特性に応じて、光源励起光の発光をオフしてから実際に光源励起光が消えるまでに、タイムラグが生じる場合がある。例えば、LED(Light Emitting Diode)光源の場合には、タイムラグが比較的小さいが、ハロゲンランプ光源の場合には、タイムラグが比較的大きい。それらのタイムラグに応じて、光源励起光が検出光である蛍光/燐光に混じる場合がある。
【0020】
図14は、上記励起光のタイムラグについての補足説明図である。(a)は光源の励起光の発光のオン/オフの制御を示す。(b)の光源Aは例えばLED光源の場合であり、光源がオフに制御された時点から、励起光が消えるまでに、比較的短いタイムラグ(時間)1401がある。(c)の光源Bは例えばハロゲンランプ光源の場合であり、光源がオフに制御された時点から、励起光が消えるまでに、(b)よりも長いタイムラグ(時間)1402がある。
【0021】
上記のようなタイムラグによる励起光が、対象物に照射され、蛍光/燐光の発光に影響し、また、その励起光が、蛍光/燐光の検出素子にも入射する可能性がある。このようなタイムラグの励起光は、検出画像の精度を低下させるので、望ましくない。(d)の蛍光Aは、光源Aの励起光による対象物からの蛍光の発光を示し、(e)の蛍光Bは、光源Bの励起光による対象物からの蛍光の発光を示す。光源Bの方が光源Aよりも励起光の照射が多くなるので、(e)の蛍光Bの方が、(d)の蛍光Aよりも長く、多く発光している。
【0022】
また、後述するが、対象物(例えば生体試料)における複数の物質の各物質の特性に応じて、同じ励起光に対しても、蛍光/燐光の発光の光量やディレイが異なる。このような特性を、説明上、蛍光パターン等と記載する場合がある。
【0023】
本実施の形態の光学識別装置および方法は、上記課題を考慮して構成されており、光源の励起光の発光のオフ時点から対象物の蛍光/燐光の検出までの時間差を考慮し、かつ、物質ごとの発光の特性(光量やディレイなど)を考慮し、光源励起光の発光および対象光(蛍光/燐光)の検出・露光のタイミング等を制御するものである。
【0024】
また、本実施の形態の光学識別装置および方法は、対象の物質ごとの特性の違いを考慮し、検出・露光の信号について、積算(言い換えると複数回の検出信号の加算などの演算や処理)を行うことで、必要な光量を取得するものである。
【0025】
本実施の形態の光学識別装置および方法は、対象物において、蛍光/燐光などの発光の特性が異なる複数の種類の物質が含まれている場合にも、それらの物質ごとに適した検出・露光等のタイミングの制御、および積算の処理を行う。これによって、物質ごとに適した検出画像を取得するものである。
【0026】
<実施の形態>
図1~
図14を用いて、本開示の実施の形態の光学識別装置および方法について説明する。
【0027】
本実施の形態では、対象物として生体試料(言い換えると検体)を扱い、生体試料から発光する蛍光を検出して光学識別を行う場合を説明する。生体試料の一例は、人の粘液や唾液が挙げられる。本実施の形態では、蛍光を扱う場合を説明するが、これに限定されず、燐光を扱う場合にも、同様に適用可能である。また、本実施の形態では、生体試料に複数の種類の反応試薬を予め塗布して反応させたプレパラートを用意し、そのプレパラートを対象に、それらの反応を光学識別する場合(後述の
図3A)を説明する。
【0028】
また、本実施の形態のうち、特に実施の形態1では、光源に関する開閉シャッター(
図2での開閉シャッター70)を用いずに、光源のオン/オフの制御に基づいて、撮像(露光等)のタイミング制御を行う場合を説明する。
図14の(b)の光源A(例えばLED光源)のように、光源がオフされた後の励起光の漏れ・ずれの時間1401が比較的短い場合に、実施の形態1の構成を適用する。
【0029】
また、本実施の形態のうち、特に実施の形態2では、光源に関する開閉シャッター(
図2での開閉シャッター70)を用いて、光源のオン/オフの制御とともに開閉シャッターの開閉(言い換えると励起光の遮蔽のオフ/オン)の制御によって、撮像(露光等)のタイミング制御を行う場合を説明する。
図14の(c)の光源B(例えばハロゲンランプ光源)のように、光源がオフされた後の励起光の漏れ・ずれの時間1402が比較的長い場合に、実施の形態2の構成を適用する。
【0030】
[光学識別装置(1)]
図1は、実施の形態の光学識別装置である光学識別装置1の外観の斜視図を示す。光学識別装置1は、筐体20において、開口部3、表示装置5、制御装置10、撮像素子8、レンズ9、
図1では示していない光源装置7(
図2)などの構成要素が搭載されている。筐体20は、本例では直方体形状を有するがこれに限定されない。
【0031】
図1では、図示する空間座標系(X,Y,Z)での水平面であるX-Y面上に、筐体20が置かれている。筐体20のZ方向での底面部には、開口部3が設けられている。開口部3は、光源励起光および蛍光/燐光の光に関する光透過性を有する部分であり、言い換えると窓部である。開口部3は、何も無い部分としてもよいし、光透過性を有する部材(例えばガラス板)が配置された部分としてもよい。また、
図1では、X-Y面上で、開口部3の下側に、対象物2としてプレパラート30(後述の
図3A)が配置されている状態を示している。
【0032】
筐体20において、Z方向で上側から下側へ順に、表示装置5、制御装置10、撮像素子8、レンズ9、
図2の光源装置7等、および開口部3が配置されている。
【0033】
制御装置10は、光学識別装置1の全体および各部を制御するコントローラに相当する。制御装置10は、光源装置7(
図2)や撮像素子8等を制御して、撮像素子8によって撮像した画像信号を取得し、画像信号から画像を生成する。制御装置10は、撮像した画像に基づいて、所定の光学識別の処理を行い、撮像した画像や処理結果などを、表示装置5の画面に表示する。
【0034】
表示装置5は、例えばカラーLCDモニタ(LCD:液晶表示装置)である。筐体20には、その他、図示しないが、ユーザが操作入力するための操作ボタンなどの操作デバイスなどを備えてもよい。また、光学識別装置1の制御装置10(後述の
図4)に、通信インタフェースや入出力インタフェースを備えてもよく、通信インタフェースを介して外部装置との間でデータを入出力してもよい。
図1では、表示装置5が筐体20に一体的に組み込まれているが、これに限定されず、表示装置5が筐体20とは別体で分離して接続されてもよい。
【0035】
光源装置7は、特定の波長成分の励起光を発生させる光源であり、実施の形態1ではLED光源、実施の形態2ではハロゲンランプ光源である。
【0036】
撮像素子8は、対象物2からの蛍光/燐光の発光の波長領域に受光感度を有する、例えばCCDやCMOSセンサ等の撮像素子、言い換えると受光回路、カメラである。撮像素子8は、制御装置10からの制御に基づいて、画素に対応した受光素子ごとに、受光する光の強度に対応した電荷を蓄積し、蓄積した電荷を読み出しのタイミングで電気信号として出力し、蓄積した電荷を排出のタイミングで排出する。本例では、撮像素子8は、フルカラー撮影が可能な素子である。レンズ9は、光学調整素子であり、例えば結像レンズである。本実施の形態では、対象物2とレンズ9との間には、光学フィルタを設けていない。
【0037】
光学識別の作業を行うユーザは、作業台上で、検体に試薬を塗布したプレパラート30(
図3A)を用意し、プレパラート30を置いた状態で、光学識別装置1の筐体20の開口部3をプレパラート30の上側に配置する。その後、ユーザは、光学識別装置1の図示しないメインスイッチを押下して、光学識別の処理を実行させる。これにより、検出画像(特に後述の積算画像や合成画像)が生成され、表示装置5の画面に表示される。
【0038】
[光学識別装置(2)]
図2は、
図1の光学識別装置1の側面から見た断面図を示し、
図1でのA-A線でのY-Z断面を示している。
図2では、開閉シャッター70を備える実施の形態2の構成の場合を示しているが、実施の形態1の場合には、開閉シャッター70が無い構成となる。例えば筐体20のY軸方向での中央に、一点鎖線で光軸c0を示すように、撮像素子8およびレンズ9が下向きで配置されている。Z方向で所定の高さ位置には、例えばY軸方向で左右の両側に、光源装置7が配置されている。本例では、2つの光源装置7は、それぞれ、一点鎖線で光軸c1を示すように、光軸c0に向いた斜め下向きで配置されている。撮像素子8および光源装置7は、制御装置10と図示しない信号線で電気的に接続されている。
【0039】
制御装置10は、それぞれの光源装置7の発光のオン/オフのタイミングを制御する。制御装置10は、撮像素子8による蛍光(例えば蛍光c2)の検出・露光のタイミングを制御する。
【0040】
また、実施の形態2では、光源装置7の近くに、開閉シャッター70が配置されている。本例では、2つの光源装置7に対し、それぞれ、光軸c1上で、開口部3よりも上側での所定の高さ位置に、Y軸方向で左右の両側での開閉シャッター70が配置されている。開閉シャッター70は、光源装置7からの励起光を遮蔽する閉状態と、当該励起光を通過させる開状態とが、切り替え可能な機構である。開閉シャッター70は、図示しない信号線を通じて、制御装置10(
図4)と電気的に接続されている。制御装置10は、開閉シャッター70の開閉のタイミングを制御する。
【0041】
開閉シャッター70の開閉の機構は、例えば機械的な開閉の機構とするが、これに限定しない。
【0042】
光源装置7からの励起光が開口部3を通じて対象物2に照射される。すると、対象物2に含まれている所定の物質からは、例えば蛍光が発生する。その蛍光は、例えば蛍光c2として、Z方向で上方に出射し、レンズ9に入射する。その蛍光c2は、レンズ9を通じて集光などがされた後、撮像素子8に入射する。撮像素子8は、その蛍光c2を露光して、検出信号(言い換えると画像信号)として検出する。検出信号は制御装置10に送られ、制御装置10は検出信号から画像を生成する。
【0043】
なお、実施の形態1で開閉シャッター70を備えない構成とする場合、装置構成としては、
図2のように筐体20に開閉シャッター70を搭載した構成とした上で、その開閉シャッター70を常時に開状態にしておく構成としてもよい。
【0044】
[対象物(生体試料)]
図3Aは、対象物2として、生体試料(検体)が格納されたプレパラート30の例を示す。このプレパラート30は、スライドガラス上に検体31(例えば人の粘液)が載せられ、その検体に例えばA~Cで示す3種類の試薬(反応試薬)が塗布されて、カバーガラス下に封入されたものである。すなわち、この対象物2は、複数の種類の物質として、試薬A~Cとのそれぞれの反応物質A~Cを含んでいる。所定の検査では、このような検体と試薬との反応の結果が確認される。本実施の形態の光学識別装置1および光学識別方法では、各反応物質に対応して発生する蛍光を用いて、このような検体と試薬との反応の結果を光学識別するものである。
【0045】
図3Aでは、対象物2である検体31を含むプレパラート30において、A,B,Cで示す3種類の試薬による3種類の反応物質が、ある程度分離された各位置に設けられている。
【0046】
図3B,
図3C,
図3Dは、
図3Aのプレパラート30に基づいて、本実施の形態の光学識別装置1によって撮像等した画像である検出画像を示す。この検出画像は、反応物質ごとに蛍光を検出した画像であり、制御装置10での検出時点での画像であり、表示する前の画像である。
図3Bは、反応物質Aについての検出画像300Aを示す。
図3Cは、反応物質Bについての検出画像300Bを示す。
図3Dは、反応物質Cについての検出画像300Cを示す。後述するが、本実施の形態の光学識別装置1は、それぞれの反応物質ごとに分けて検出画像(特に後述の積算画像)を得ることができ、また、各反応物質の検出画像を1つに合成した検出画像(合成画像と記載する場合がある)を得ることもできる。
【0047】
図3Bの検出画像300Aでは、主に反応物質Aからの蛍光が像301Aとして検出されている。検出画像300Aでは、この反応物質Aの蛍光は、検出信号に応じた輝度値(例えば反応物質B,Cの蛍光に比べて相対的に高輝度)を有している。
図3Cの検出画像300Bでは、主に反応物質Bからの蛍光が像301Bとして検出されている。検出画像300Bでは、この反応物質Bの蛍光は、検出信号に応じた輝度値(例えば反応物質A,Cの蛍光に比べて相対的に高輝度)を有している。
図3Dの検出画像300Cでは、主に反応物質Cからの蛍光が像301Cとして検出されている。検出画像300Cでは、この反応物質Cの蛍光は、検出信号に応じた輝度値(例えば反応物質A,Bの蛍光に比べて相対的に高輝度)を有している。
【0048】
これらの検出画像300A,300B,300Cは、個別の検出画像または後述の合成画像として表示される際には、反応物質(A~C)の蛍光の像ごとに、所定の色で表示される。例えば、検出画像300Aの反応物質Aの蛍光の像は緑色で表示され、検出画像300Bの反応物質Bの蛍光の像は赤色で表示され、検出画像300Cの反応物質Cの蛍光の像は青色で表示される。制御装置10は、これらの3枚の検出画像を、表示装置5の画面に表示する際に、緑画像、赤画像、青画像として扱い、これらをカラー画像として合成した合成画像を生成して表示する。上記それぞれの蛍光の像に関する所定の色は、ユーザが各反応物質の蛍光を識別しやすいように、異なる所定の色として設けられている。
【0049】
本実施の形態の光学識別装置1および方法では、利用の仕方として、このような複数の種類の物質(反応物質A~C)をまとめて光学識別できるようにする。本実施の形態の光学識別装置1および方法では、対象物2(プレパラート30)を撮像することで、
図3B~
図3Dのような例えば3種類の検出画像をまとめて取得する。
【0050】
これに限らず、対象物2の他の例では、プレパラート30に、1つの試薬による反応物質のみが設けられてもよい。また、対象物2の他の例では、開口部3の範囲内に、複数の検体が各位置を分けて設置されてもよい。
【0051】
[機能ブロック]
図4は、光学識別装置1の機能ブロック構成例を示す。
図4では、実施の形態2の場合での開閉シャッター70の制御を有する場合を示しているが、実施の形態1の場合には、シャッター開閉制御部107による開閉シャッター70の制御が無い構成となる。
【0052】
制御装置10は、機能ブロックとして、表示制御部101、画像信号変換部102、タイミング制御部103、および設定部108を有する。タイミング制御部103は、より詳しくは、撮像読み出し制御部104、排出制御部105、光源発光制御部106、およびシャッター開閉制御部107を有する。各機能ブロックは、光学識別装置1に備えるプロセッサおよびメモリ等によって実現される。具体的には、プロセッサは、メモリ上に読み出されたプログラムに従った処理を実行することで、タイミング制御部103等を実現する。各機能ブロックの実装は、プログラム処理に限定されず、専用回路などでもよい。
【0053】
表示制御部101は、画像信号変換部102によって得た画像などのデータに基づいて、表示装置5の画面での画像表示を制御する。
【0054】
画像信号変換部102は、撮像素子8からの検出信号に基づいて、変換や処理によって、検出画像を生成する。ここでの検出画像は、積算画像や合成画像の概念も含む。なお、撮像素子8の一部に、または、撮像素子8と制御装置10との間に、または、画像信号変換部102の一部として、アナログ/デジタル変換回路や増幅回路などの回路を有してもよい。
【0055】
タイミング制御部103は、撮像素子8による露光(言い換えると受光)のタイミングや排出のタイミング、光源装置7による発光のタイミング、開閉シャッター70による開閉のタイミングなどを制御する。
【0056】
設定部108は、光学識別装置1のシステム、またはユーザによる設定を行う部分である。設定部108による設定(後述)は、タイミング制御部103や画像信号変換部102などの動作に反映される。
【0057】
撮像読み出し制御部104は、撮像素子8に信号(読み出し制御信号)を供給することで、撮像素子8からの検出信号(言い換えると撮像信号、画像信号)の読み出しを制御する。検出信号は、撮像素子8で画素ごとに露光(受光)の際に蓄積された電荷による電気信号である。
【0058】
排出制御部105は、撮像素子8に信号(排出制御信号)を供給することで、撮像素子8での蓄積された電荷の排出を制御する。排出により、各画素の電荷蓄積がリセットされる。
【0059】
光源発光制御部106は、光源装置7に信号(発光制御信号)を供給することで、それぞれの光源装置7による励起光の発光のオン/オフを制御する。
【0060】
シャッター開閉制御部107は、実施の形態2の場合に、開閉シャッター70に信号を供給することで、それぞれの開閉シャッター70による開/閉を制御する。
【0061】
上記タイミング制御部103のタイミング制御のパラメータ値は、変更可能なように構成されている。具体例では、制御装置10内の不揮発性メモリに、タイミング制御の各パラメータ値が保持されており、このパラメータ値が設定で書き換え可能となっている。
【0062】
[実装例(複数の種類の物質への対応)]
本実施の形態の光学識別装置1の1つの実装例は、特定の対象物2における特定の複数の種類の物質(例えば
図3のA~Cで示す反応物質)が予め固定的に決まっている場合に、それらの特定の複数の種類の物質に対応できるように、ハードウェアおよびソフトウェアが実装されている構成である。
【0063】
本実施の形態の光学識別装置1の他の1つの実装例は、対象物2における複数の種類の物質が様々にある場合に、それらの様々な物質に可変的に対応できるように、設定機能が実装されている構成である。本実施の形態では、後者の実装に対応できるように、
図4のように制御装置10に設定部108を備えている。表示装置5の画面には、設定用の情報も表示される。ユーザは、表示装置5の画面で、設定用の情報を確認し、ユーザ設定を行う場合には、設定値などを入力する。設定部108は、ユーザ設定による情報を保存し、タイミング制御部103などに制御用のパラメータ値を設定する。設定可能である制御用のパラメータ値の例は後述する。
【0064】
なお、この設定部108は、外部のPC等の機器を利用して実装されてもよい。その場合、
図4での設定部108は、外部に接続されるPC等の機器からの設定情報を入力・受信して、制御装置10の回路などに制御用のパラメータ値を設定するインタフェースを有する。
【0065】
[基本的なタイミング制御]
図5は、実施の形態の光学識別装置1および方法における、基本的なタイミング制御のタイムチャートを示す。
図5では、実施の形態2での開閉シャッター70の制御を有する場合を示しているが、実施の形態1の場合には、(b)の開閉シャッター70の制御が無い構成となる。
図4の制御装置10(特にタイミング制御部103)は、本チャートに示すようなタイミング制御を行う。
図5では、横軸を時間として、縦軸に各構成要素を示す。
【0066】
(a)の光源は、光源装置7の励起光の発光のオン/オフを示す。(b)の開閉シャッターは、開閉シャッター70の開閉を示す。(c)の励起光は、光源装置7から発生して対象物2に照射される励起光、言い換えると開閉シャッター70を通過後の励起光を示す。(d)の蛍光は、励起光の照射に基づいて対象物2から発生する蛍光を示す。(e)の排出は、撮像素子8の電荷の排出を示す。(e)では排出は信号のオン状態で示され、非排出(電荷蓄積)は信号のオフ状態で示される。(f)の受光・撮影・出力は、撮像素子8による(d)の蛍光の受光、撮像、および検出信号の出力(言い換えると制御装置10による読み出し)を示す。
【0067】
まず、制御装置10は、時点t1で、(a)の光源装置7の発光をオン(ON)にする。なお、時点t1までに、(b)の開閉シャッター70は開状態であり、(e)の撮像素子8の排出は排出状態である。制御装置10は、時点t1から時点t2までの所定の時間T1の間では、(a)の光源装置7の発光をオン状態に維持する。制御装置10は、時点t2で、(a)の光源装置7の発光をオフ(OFF)にする。
【0068】
制御装置10は、(a)の光源のオン/オフにあわせて、(b)の開閉シャッター70の開閉を制御する。具体的に、制御装置10は、(a)の光源の発光の時間T1では開閉シャッター70を開状態にし、時点t2での発光のオフと同時に開閉シャッター70を閉じて閉状態にする。
【0069】
(a)の光源装置7および(b)の開閉シャッター70の制御により、(c)の励起光は、時点t1から時点t2までの時間T1で、対象物2に照射される。時点t2のオフ後に、
図14のように励起光がまだ生じている場合でも、開閉シャッター70が閉状態となるので、対象物2には余分な励起光が照射されない。
【0070】
(c)の励起光の照射に基づいて、(d)のように、対象物2から蛍光が発生する。この蛍光は、励起光が照射されている時間T1に発生するとともに、励起光が照射されなくなった時点t2以後も減衰しながらある程度発生し続ける。時点t1以降および時点t2以降の励起光の発生の特性(例えば光量やディレイ)は、対象物2の物質に応じたものとなる。本例では、時点t2から時点t3までの時間T2に、励起光が減衰しながらディレイとして発生している。
【0071】
(e)の排出の制御では、時点t1よりも前から撮像素子8が排出状態とされており、制御装置10は、時間T1で光源がオン状態にされ、時点t2で光源をオフ(OFF)にすると同時に、撮像素子8からの電荷の排出をオフにする。すなわち、時点t2以後では、撮像素子8の画素に電荷が蓄積される受光の時間となる。
【0072】
(f)の受光・撮影・出力の制御では、(e)の排出がオフとなった時点t2から、(d)の蛍光の時間T2を対象として、蛍光の受光(言い換えると電荷蓄積)が開始され、時点t3でその受光を終了するように制御装置10から制御される。時点t3で受光が終了した後は、制御装置10が撮像素子8からその受光による検出信号を読み出す。
【0073】
上記のように、本実施の形態では、制御装置10は、光源装置7からの励起光の照射と、対象物2からの蛍光の発光および撮像素子8での受光とが、時間的に分割されるように、各構成要素のオン/オフ等のタイミングを制御する。本実施の形態では、制御装置10は、対象物2の物質における蛍光の特性(後述の蛍光パターン)、例えば(d)のような蛍光の発生の時間T2に合わせるように、撮像素子8の受光の時間を設定・制御する。本実施の形態では、制御装置10は、撮像素子8の受光の開始(時点t2)までは電荷の排出をし続けるように制御する。
【0074】
制御装置10は、
図5のようなタイミング制御を、対象の物質の特性に合わせたそれぞれ異なるタイミング制御として同様に行う。
【0075】
[物質の蛍光の特性(蛍光パターン)]
図6は、複数の種類の物質(例えば
図3のA~Cで示す反応物質)における蛍光の特性(言い換えると蛍光パターン)の例を示す。
図6では、(c)の励起光は、
図5の(c)の励起光と同様のものであり、時点t1から時点t2まで発生しているとする。(A)の物質Aの蛍光パターンは、第1の種類の物質(例えば
図3のAで示す反応物質)の蛍光の特性を示す。(B)の物質Bの蛍光パターンは、第2の種類の物質(例えば
図3のBで示す反応物質)の蛍光の特性を示す。(C)の物質Cの蛍光パターンは、第3の種類の物質(例えば
図3のCで示す反応物質)の蛍光の特性を示す。(g)の物質ごとに適した受光期間は、(A)~(C)の物質ごとに適した、撮像素子8の受光の期間を示す。
【0076】
(A)の物質Aの蛍光パターンでは、時点t2から時点t3(なお
図5での時点t3とは異なる)までの時間TAで、蛍光が減衰しながら発生している。また、(B)の物質Bの蛍光パターンでは、時点t2から時点t4までの時間TBで、蛍光が減衰しながら発生している。時点t4は時点t3よりも後であり、TB>TAである。また、(C)の物質Cの蛍光パターンでは、時点t2から時点t5までの時間TCで、蛍光が減衰しながら発生している。時点t5は時点t4よりもさらに後であり、TC>TBである。
【0077】
(A)(B)(C)のそれぞれの物質の蛍光パターンでは、蛍光の発光量に関しては、例えば、物質Aが大きく、物質Bが中程度であり、物質Cが小さい。また、(A)(B)(C)のそれぞれの物質の蛍光パターンでは、蛍光の発光時間、言い換えるとディレイに関しては、例えば、物質Aが短く、物質Bが中程度であり、物質Cが長い。
【0078】
制御装置10は、上記のような複数の種類の物質の各物質の蛍光に対し、撮像素子8の受光の期間を設定して、各物質の蛍光を撮像・検出する。その際、制御装置10は、上記のような複数の種類の物質の各物質の蛍光の特性の違いを考慮して、当該物質間で各蛍光の受光がなるべく時間的に重ならないように、物質ごとに分けた受光期間を設定する。その例を(g)の受光期間で示している。物質Aについては、時間TAを対象に、受光期間TA1が設定されている。物質Bについては、時間TBのうち時間TAと重ならない時間を対象に、受光期間TB1が設定されている。物質Cについては、時間TCのうち時間TAおよび時間TBと重ならない時間を対象に、受光期間TC1が設定されている。
【0079】
このように、制御装置10は、対象の物質に応じて、各物質に適した受光期間を選択・設定する。制御装置10は、各物質の蛍光の光量や発光時間を考慮し、また、各蛍光の時間的な分離を考慮して、それらの受光期間を選択・設定する。これにより、A~Cの各物質の蛍光が、適した光量で、時間分離された受光期間TA1,TB1,TC1で受光できる。各物質の受光期間では、他の種類の物質の蛍光が混じりにくいので、対象の物質の蛍光を検出しやすくなる。
【0080】
また、制御装置10は、(g)のような受光期間の設定とした場合に、1回の受光では各物質の受光光量が十分に得られない場合には、物質ごとに適した総受光光量が得られるように、複数回の受光による積算を制御する。制御装置10は、物質ごとに蛍光の各発光時間および発光量と、複数回の受光とを考慮して、(g)のような物質ごとに適した受光期間を設定する。
図6の例では、物質Cの受光期間TC1での1回の受光光量は比較的小さいため、複数回の受光による積算が行われる。制御装置10は、各物質について、総受光光量を考慮して、積算のための受光の繰り返しの回数も選択・設定する。
【0081】
なお、
図6の例では、A~Cの各物質の受光期間を分離する場合を示したが、これに限定されず、例えば(f)に変形例として示すように、各物質の受光期間において、一部が時間的に重なるように設定してもよい。(f)の例では、各物質の受光期間TA1,TB1,TC1は、受光開始を同じ時点t2として、各物質の蛍光のディレイの時間TA,TB,TCに合わせた受光終了時点までとしている。この場合、各物質の受光期間は、他の種類の物質の蛍光が混じるが、受光光量は多くなる。
【0082】
[物質の蛍光の特性に基づいたタイミング制御]
図7は、
図6の複数の種類の物質における蛍光の特性に基づいた、タイミング制御の具体例を示す。(a)の光源、(b)の開閉シャッター、(c)の励起光は、
図5と同様である。(A1)は物質Aの蛍光であり
図6と同様である。(A2)は物質Aについて、撮像素子8での排出を示し、光源OFFに対応した時点t2までが排出であり、物質Aの受光期間TA1の開始に合わせて電荷蓄積開始である。(A3)は、物質Aについて、撮像素子8での受光(撮像等)を示し、
図6の受光期間TA1に対応し、光源OFFの時点t2から即時(第1の時間=0秒)に開始し、受光期間TA1(第2の時間=TA1)経過後の時点t3で受光終了である。
【0083】
(B1)は物質Bの蛍光であり
図6と同様である。(B2)は物質Bについて、撮像素子8での排出を示し、物質Aの受光期間TA1が終了する時点t3まで排出であり、物質Bの受光期間TB1の開始に合わせて電荷蓄積開始である。(B3)は、物質Bについて、撮像素子8での受光(撮像等)を示し、
図6の受光期間TB1に対応し、光源OFFの時点t2から物質Aの受光期間TA1経過後(第1の時間=TA1)の時点t3に開始し、物質Bの受光期間TB1(第2の時間=TB1)経過後の時点t4で受光終了である。
【0084】
(C1)は物質Cの蛍光であり
図6と同様である。(C2)は物質Cについて、撮像素子8での排出を示し、物質Aの受光期間TA1および物質Bの受光期間TB1が終了する時点t4まで排出であり、物質Cの受光期間TC1の開始に合わせて電荷蓄積開始である。(C3)は、物質Cについて、撮像素子8での受光(撮像等)を示し、
図6の受光期間TC1に対応し、光源OFFの時点t2から物質Aの受光期間TA1および物質Bの受光期間TB1が経過後(第1の時間=TA1+TB1)の時点t4に開始し、物質Cの受光期間TC1(第2の時間=TC1)経過後の時点t5で受光終了である。
【0085】
図7のタイミング制御は、上記のように、物質ごとに、蛍光の特性に応じて、光源OFFから受光開始までの第1の時間と、受光期間である第2の時間とが、異なる値に設定されている。
図7のようなタイミング制御によって、物質ごとに適した期間で区別して蛍光を受光し、検出画像として検出でき、各検出画像では各物質の蛍光を区別して光学識別がしやすくなる。
【0086】
[積算の制御]
図8は、
図7のような1回分のタイミング制御に基づいて、さらに、複数回の撮像による積算を行う場合のタイミング制御の例を示す。予め、
図4の設定部108を用いて、対象物2における複数の種類の物質(例えば
図3のA~Cで示す反応物質)に応じた、積算に関する設定がされている。その設定の例として、各物質の積算のための撮影の回数は、物質Aが1回、物質Bが3回、物質Cが10回、といったように設定されている。これらの回数は、前述のように、各物質の蛍光の特性(光量やディレイなど)を考慮して設定されており、可変である。
【0087】
図8で、縦軸には、(a)の光源、(b)の開閉シャッター、(c)の励起光、(d)の蛍光、(e)の排出、(f)の受光・撮像、(g)の積算データの出力タイミングを示し、(a)~(f)は基本的には前述の
図5等と同様である。(d)では、各物質(A~C)の蛍光が時間軸上で積算のための撮影の回ごとに分けて設けられている。(f)では各物質(A~C)の受光・撮像が時間軸上で積算のための撮影の回ごとに分けて設けられている。(g)では、(f)の物質(A~C)ごとの回数での撮像が終了した直後にそれらの撮像信号を積算データとして出力するタイミングを示している。(g)の積算データの出力タイミングは、撮像素子8からの検出信号(言い換えると撮像信号、画像信号)に基づいた制御装置10による積算画像の生成などのタイミングを表す信号である。これに限らず、撮像素子8に積算の機能を備える場合には、撮像素子8が検出信号から積算を行って、積算後の信号を制御装置10に出力するようにしてもよい。
【0088】
本例では、撮像素子8による撮像の際に、積算の全体で14フレーム期間(F1~F14とする)を用いる。第1フレーム期間F1では、物質Aを対象に1回の撮像を行う。第2フレーム期間F2~第4フレーム期間F4では、物質Bを対象に3回の撮像を行う。第5フレーム期間F5~第14フレーム期間F14では、物質Cを対象に10回の撮像を行う。
【0089】
第1フレーム期間F1では、受光期間TA1(時点t2~t3)で、1回の撮像が行われる。第2フレーム期間F2では、受光期間TB1(時点t6~t7)で、1回目の撮像が行われ、第3フレーム期間F3では、受光期間TB2(時点t10~t11)で、2回目の撮像が行われ、第4フレーム期間F4では、受光期間TB3(時点t14~t15)で、3回目の撮像が行われる。第5フレーム期間F5では、受光期間TC1(時点t19~t20)で、1回目の撮像が行われ、途中省略するが各フレーム期間の受光期間で各回目の撮像が同様に行われ、最後に第14フレーム期間F14では、受光期間TC10(時点t25~t26)で、10回目の撮像が行われる。
【0090】
(f)の物質ごとの受光期間については、変形例として、以下のようにしてもよい。(f)の物質ごとの受光期間については、一定間隔で受光期間を設定して、積算の回数で最適な検出画像を決定してもよい。特に、対象の物質の蛍光の特性が不明な場合や、不特定な物質を対象として検査する場合に、このように制御することで、見逃しを無くすことができる。
図6の(h)には、この変形例のタイミング制御を示している。制御装置10は、例えば、時点t2から、一定間隔(言い換えると一定のディレイ時間)で、同じ長さの単位受光期間(TA1=TB1=TC1)を、複数回の受光期間として繰り返して設けている。例えば、物質Aについては、時点t2から1回目の単位受光期間を受光期間TA1として、撮像した画像(言い換えるとディレイ画像)から、最適な検出画像が得られる。物質Bについては、時点t2から2回目の単位受光期間を受光期間TB1として、撮像した画像(言い換えるとディレイ画像)から、最適な検出画像が得られる。物質Cについては、時点t2から3回目,4回目,5回目の単位受光期間を受光期間TC1として、撮像した画像(言い換えるとディレイ画像)およびそれらを積算した画像から、最適な検出画像が得られる。
【0091】
(g)で、第1フレーム期間F1では、1回の受光期間TA1が終了した時点t3で、積算データの出力タイミングを示すオン信号に基づいて、1回の受光期間TA1分の撮像信号が、積算データ(物質A検出画像データ)として出力される。第4フレーム期間F4では、3回目の受光期間TB3が終了した時点t15で、オン信号に基づいて、3回の受光期間TB1,TB2,TB3分の撮像信号が、積算データ(物質B検出画像データ)として出力される。第14フレーム期間F14では、10回目の受光期間TC10が終了した時点t26で、オン信号に基づいて、10回の受光期間TC1~TC10分の撮像信号が、積算データ(物質C検出画像データ)として出力される。
【0092】
上記撮像素子8からの検出信号に基づいて、制御装置10(
図4)は、画像信号変換部102で、積算の処理を行うことで、物質ごとの検出画像として積算画像(例えば
図3B,
図3C,
図3D)を得る。例えば、物質Bについては、
図8での3回のフレーム期間(F2~F4)での撮像の検出信号に基づいて、積算(例えば輝度値の加算)をした結果、
図3Cでの検出画像300Bが積算画像として得られる。
【0093】
図8のような積算の制御によって、物質ごとに十分な好適な光量で検出画像(特に積算画像)が得られ、各検出画像(積算画像)では各物質の蛍光を区別して光学識別がしやすくなる。さらに、各検出画像(積算画像)を1つに合成した合成画像(後述の
図9A)が得られ、その合成画像でも各物質の蛍光を区別して光学識別がしやすくなる。
【0094】
[検出画像の出力]
図9Aは、上記タイミング制御に基づいて得られた検出画像の出力の例を示す。制御装置10(
図4)は、上記タイミング制御に基づいて得られた検出画像(特に積算画像や合成画像)を、表示制御部101によって、表示装置5の画面に表示する。まず、前述の
図3B,
図3C,
図3Dは、対象物2における反応物質A~Cごとに、別々の検出画像として分けて得られる場合の例を示した。制御装置10は、設定部108での設定に基づいて、物質ごとに検出画像(特に合成画像)でどのような色で表示するかを対応付けて決める。前述の例では、物質Aの検出画像300Aでは蛍光画像が合成の際に例えば緑色で表示されるように設定される。物質Bの検出画像300Bでは蛍光画像が合成の際に例えば赤色で表示されるように設定される。物質Cの検出画像300Cでは蛍光画像が合成の際に例えば青色で表示されるように設定される。この蛍光画像の表示色は、複数の種類の物質A~Cの蛍光についての光学識別をしやすくするための対応付けであり、緑色などに限らず、任意に設定可能である。制御装置10は、上記物質ごとの3種類の検出画像300A,300B,300Cを、R(赤),G(緑),B(青)の画像とし、それらをフルカラーとして合成した合成画像(
図9A)として、表示させる。このような検出画像の表示により、検体の検査等の際の光学識別の際にユーザの視認性を高めることができ、光学識別の精度を高めることができる。
【0095】
図9Aの例では、まず検出画像900は、
図7および
図8のタイミング制御に基づいて得られた検出信号に基づいて、制御装置10がそれらの検出信号を積算および合成することで、1つの検出画像900を得て、表示装置5の画面50内に表示する場合を示している。この検出画像900は、言い換えると複数の物質の蛍光の合成画像である。この検出画像900では、物質Aの蛍光の像901Aが緑色、物質Bの蛍光の像901Bが赤色、物質Cの蛍光の像901Cが青紫色で表示されている。なお、ここで、物質Cの蛍光の像901Cが青紫色で表示される理由は、
図3Cの検出画像300Bに基づいた赤画像と
図3Dの検出画像300Cに基づいた青画像との合成による、光の三原色定理に基づいた合成画像の結果から得られるものである。このような検出画像900の場合にも、各物質の蛍光が異なる表示色で表示されているため、光学識別の視認性や精度を高めることができる。
【0096】
図9Bは、検出画像の出力に関する変形例を示している。この変形例では、制御装置10は、表示装置5の画面50に、
図3B~
図3Dのような物質ごとの検出画像に基づいた積算画像(各色の画像)を、順次に切り替えながら表示する。最初、物質Aの蛍光の検出画像911として緑画像が表示される。ユーザの入力操作、あるいは、所定の時間の経過後、次に、物質Bの蛍光の検出画像912として赤画像が表示される。ユーザの入力操作、あるいは、所定の時間の経過後、次に、物質Cの蛍光の検出画像913として青画像が表示される。ユーザの入力操作、あるいは、所定の時間の経過後、同様に、物質Aの蛍光の検出画像911の表示に戻る。
【0097】
図9Cは、検出画像の出力に関する他の変形例を示している。この変形例では、制御装置10は、画面50内に、
図3B~
図3Dの検出画像に基づいた、
図9Bのような物質ごとの積算画像である検出画像911,912,913を、検出画像921,922,923として、並列に表示する。また、制御装置10は、画面50内に、検出画像ごとの情報(例えば画像A,物質A等の説明や、発光の輝度値など)を併せて表示してもよい。
【0098】
[設定]
図10は、
図4の設定部108を用いた設定に関するGUI画面表示例を示す(GUI:Graphical User Interface)。制御装置10は、設定の際に、表示装置5の画面に、
図10のような設定画面を表示する。
図10の設定画面では、設定項目として、対象物質項目1001、受光期間項目1002、積算の回数項目1003、検出画像の表示色項目1004を有する。対象物質項目1001では、対象物質の情報が表示される。受光期間項目1002では、対象物質ごと(言い換えるとそれに対応する画像ごと)の受光期間(例えば前述の
図7のような受光期間TA1,TB1,TC1)、言い換えると前述の第1の時間および第2の時間を設定できる。積算の回数項目1003では、対象物質ごとの積算の回数(例えば前述の
図8のような1回、3回、10回)を設定できる。表示色項目1004では、対象物質ごとの検出画像の表示色(例えば前述の
図9Bのような緑色、赤色、青色)を設定できる。各項目では、リストボックス等のGUIを用いて選択肢から選択入力可能としてもよい。
【0099】
[様々な物質の特性に対応可能な機能]
上記実施の形態の光学識別装置1は、1つの実装例として、特定の蛍光/燐光の特性を有する特定の対象物の特定の物質(例えば前述のA~Cの反応物質)に対応できるように、所定のタイミング制御(例えば
図7や
図8)を行う機能が固定的に実装されたものとしてもよい。これに限らず、実施の形態の光学識別装置1は、蛍光/燐光の特性が異なる様々な対象物の物質に対応できるように、設定が可能である構成としてもよい。後者の実装の場合は、
図4の設定部108を用いる。ユーザ(事業者の人あるいは利用者)は、例えば
図10のような設定画面で、対象の物質に応じた設定値を設定できる。後者の実装の例の詳細について、以下に説明する。
【0100】
対象物2(検査媒体や生体試料)中の蛍光成分または燐光成分である物質(例えば前述の反応試薬による反応物質など)の蛍光/燐光の特性が不明な場合がある。この場合にも対応ができるように、実施の形態の光学識別装置1は、以下のような事前モニタリングなどの機能を提供する。
【0101】
光学識別装置1は、まず、特性が不明な対象物について、事前モニタリングを行う。制御装置10は、その事前モニタリングの際、以下の手順で、予め、所定のデータ・情報(モニタリングデータとも記載)を採取して、ライブラリ(言い換えるとデータベース)に登録する。ライブラリは、制御装置10内のメモリまたは外部装置のメモリに設けられる。制御装置10は、そのライブラリのモニタリングデータ中から、物質ごとの特徴量を判定し、その特徴量を、当該モニタリングデータに関連付けて記憶する。そして、制御装置10は、その特徴量に応じて、タイミング制御での蛍光/燐光の受光・撮影の期間や、積算のための回数などの、制御用パラメータ値を決定する。制御装置10は、決定した制御用パラメータ値を、制御装置10内の各部(特にタイミング制御部103)に設定する。
【0102】
事前モニタリングの手順の例は以下である。
図11は、事前モニタリングの際のタイミングチャートを示す。
図11に示すように、制御装置10は、蛍光/燐光の特性が不明な対象物2(例えば物質X,Y,Zを含む)に対し、予め規定された様々な撮影条件(ここでは例えば撮影条件1~Nとする)で撮像素子8による撮影を行って、各撮影条件での画像信号(言い換えると撮影データ)を取得する。
図11での(a)は光源、(b)は開閉シャッター、(c)は励起光、(d)は蛍光/燐光、(e)は排出、(f)は受光・撮影であり、前述と同様である。
図11の例では、時間軸上で、各撮影条件1~Nで順次に、撮影条件ごとに積算のための回数(nとする)で繰り返して撮影が行われている。これにより、対応する各撮影条件の各回の撮影データ1100が取得されている。
【0103】
様々な撮影条件の例は、図示のように、光源OFFから排出オフおよび受光開始までの時間(第1の時間)が様々に異なるものや、受光期間(第2の時間)の長さが様々に異なるものが挙げられる。
【0104】
制御装置10は、各撮影データ1100に基づいて、各回の積算での画像(検出画像、積算画像)1110を生成する。例えば、撮影条件1での撮影データ1100からは、1回目の撮影の検出信号による画像、2回目の撮影までの検出信号の積算による画像、……、n回目の撮影までの検出信号の積算による画像、といったように、n個の画像1110が得られる。また、同じ撮影条件での何回かの検出信号に基づいて積算した場合に、得られた積算画像の内容は、図示の画像1130のように、すべての物質で蛍光/燐光の輝度値が飽和する場合がある。画像1130は、物質A,B,Cで異なる回数での積算画像による飽和画像である。このように飽和する場合には、それ以上の積算は必要無い。
【0105】
制御装置10は、各画像1110の内容を判断し、適した撮影条件を選択または生成し、その撮影条件に対応した制御用パラメータ値を決定する。適した撮影条件は、例えば、画像1110において、対象物質からの蛍光/燐光を表す輝度値がなるべく高コントラストに出ている画像1120に対応させた撮影条件である。画像1120は、物質A,B,Cで異なる回数での積算画像であり、適した撮影条件に対応した最適な画像であり、このような最適な画像が抽出される。この適した撮影条件の選択・判断は、専門家によるものとしてもよいし、機械学習によるものとしてもよい。図示の例では、画像1110のうち、破線枠で囲った画像1120は、物質X,Y,Zの蛍光/燐光が十分に高コントラストに検出されている画像である。
【0106】
制御装置10は、上記のような事前モニタリングに基づいて、対象物質に適した撮影条件(言い換えるとタイミング制御の好適な制御パラメータ値)を決めることができる。
【0107】
また、実施の形態の光学識別装置1は、上記事前モニタリングの機能を持つ場合には、上記のように様々な撮影条件で撮影を制御する機能を有している。そのため、ユーザが指定した撮影条件で対象物の撮影を行わせることも可能である。
【0108】
図12は、撮影条件を設定できるGUI画面表示例を示す。制御装置10は、表示装置5の画面に、
図12のような撮影条件の設定画面を表示する。この設定画面では、例えば「撮影条件1」、「撮影条件2」といった撮影条件ごとの項目で、ユーザが撮影条件のパラメータ値、例えば受光期間(光源OFF後の第1時刻から第2時刻までの時間)、積算の際の回数などを確認・設定できる。ここで設定された撮影条件は、ユーザが任意に指定・選択して使用可能となる。
【0109】
[効果等]
以上説明したように、実施の形態の光学識別装置および方法によれば、蛍光/燐光の発光の特性が異なる複数の種類の物質を含んだ対象物の場合でも、光学識別用に高コントラストの画像を生成・検出でき、光学識別に要する時間を短縮することができる。実施の形態によれば、特性が異なる物質ごとに色分けして、光学識別がしやすい高コントラスト画像を生成・出力できる。また、実施の形態1や実施の形態2によれば、光源(例えばLEDまたはハロゲンランプ)の特性に応じて、開閉シャッター70の使用有無に応じた、適したタイミング制御が可能である。本実施の形態によれば、
図6、
図7のように、複数の種類の物質で受光期間を分離して撮影するので、比較例のような光学フィルタ(バンドパスフィルタ)の具備は不要となる。
【0110】
以上、本開示の実施の形態について具体的に説明したが、前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態や変形例を組み合わせた形態も可能である。
【符号の説明】
【0111】
1…光学識別装置、2…対象物、3…開口部(底面部、窓部)、5…表示装置(カラーLCDモニタ)、7…光源装置、8…撮像素子(受光回路)、9…レンズ、10…制御装置(コントローラ)、20…筐体、30…プレパラート、70…開閉シャッター。