特許 7265248 自動サンプル検出機能を有する顕微分光装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-18

(45)【発行日】2023-04-26

(54)【発明の名称】自動サンプル検出機能を有する顕微分光装置

(51)【国際特許分類】

   G01N 21/27 20060101AFI20230419BHJP

   G01N 21/65 20060101ALI20230419BHJP

【ＦＩ】

G01N21/27 E

G01N21/65

【請求項の数】 4

(21)【出願番号】P 2019025324

(22)【出願日】2019-02-15

(65)【公開番号】P2020134228

(43)【公開日】2020-08-31

【審査請求日】2022-01-28

(73)【特許権者】

【識別番号】000232689

【氏名又は名称】日本分光株式会社

(74)【代理人】

【識別番号】100092901

【弁理士】

【氏名又は名称】岩橋 祐司

(74)【代理人】

【識別番号】100188260

【弁理士】

【氏名又は名称】加藤 愼二

(72)【発明者】

【氏名】▲会▼澤 見斗

(72)【発明者】

【氏名】久保 佳子

(72)【発明者】

【氏名】藤原 智仁

(72)【発明者】

【氏名】森井 克典

【審査官】古川 直樹

(56)【参考文献】

【文献】国際公開第２０１８／１３８０９８（ＷＯ，Ａ１）

【文献】特開２００８－２４１６４０（ＪＰ，Ａ）

【文献】特開２００７－２９２７０４（ＪＰ，Ａ）

【文献】特開２０１４－０８９３２１（ＪＰ，Ａ）

【文献】国際公開第２０１６／１６６８７１（ＷＯ，Ａ１）

【文献】特開２００４－１９１８４６（ＪＰ，Ａ）

【文献】特表２０２０－５０５６３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／０１

Ｇ０１Ｎ ２１／１７ － Ｇ０１Ｎ ２１／７４

Ｇ０２Ｂ １９／００ － Ｇ０２Ｂ ２１／００

Ｇ０２Ｂ ２１／０６ － Ｇ０２Ｂ ２１／３６

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

試料に励起光を照射する光源と、励起光を前記試料の所定位置に照射するとともに該試料からの反射光または透過光を集光する集光レンズと、集光した光を検出する分光器と、該分光器からの信号を解析する解析制御手段と、を含み、前記試料の観察画像を利用して分光測定を行う顕微分光装置であって、
前記解析制御手段は、
前記観察画像を全焦点画像に変換処理して記憶する画像記憶部と、
当該顕微分光装置を測定動作させる制御部と、を含み、
前記画像記憶部は、前記全焦点画像に対して分光測定の対象となる複数のサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成して記憶し、
前記制御部は、前記サンプルサーチ画像データと前記分光測定時の観察画像とを利用し、画像のマッチング動作としてのテンプレートマッチングによって、前記分光測定時の観察画像上で前記サンプルポイントを自動検出することを特徴とする顕微分光装置。

【請求項2】

請求項１に記載の顕微分光装置であって、
前記サンプルサーチ画像データには、前記全焦点画像を解析して前記サンプルポイントの重心位置、面積、円形度、色、フェレ径、および回転角度のうちのいずれかが前記検出情報として付加されていることを特徴とする顕微分光装置。

【請求項3】

請求項１または請求項２のいずれかに記載の顕微分光装置であって、
前記サンプルサーチ画像データには、前記試料における前記サンプルポイントの高さ位置情報が前記検出情報として付加されていることを特徴とする顕微分光装置。

【請求項4】

請求項１から請求項３のいずれかに記載の顕微分光装置であって、
前記画像記憶部は、前記サンプルサーチ画像データを作成する前処理として前記全焦点画像の二値化処理を行うことを特徴とする顕微分光装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は顕微分光装置、特に顕微分光装置の分光測定における自動サンプル検出技術の精度向上に関する。

【背景技術】

【0002】

従来から試料に含まれる物質を特定するための手段として分光測定が広く知られている。例えば、ラマン分光測定では励起光によって試料から発生するラマン散乱光を検出し、励起光とラマン散乱光との振動数の差分（ラマンシフト）に基づいて試料に含まれる物質を特定することができる。

【0003】

通常、測定対象の位置がはっきりしていればポイント測定によるラマン分光測定を行い、得られたスペクトルデータを解析することで測定対象を特定することが出来る。ところが、未知試料を測定する場合や異物検査などの場合に、試料のどの領域に測定対象が位置しているかをあらかじめ把握出来ていることは稀である。

【0004】

そこで特許文献１には、注射溶剤（検査チップの液材収容部）をマッピングして画像を撮影し、撮影画像をコンピュータで二値化処理し、異物の重心の二次元座標を記録し、顕微ラマン分光装置の対物レンズを高倍率の対物レンズに切り替えて、異物が存在する座標位置にステージを移動させてラマン分光測定法により異物のスペクトルを取得する技術、すなわち分光測定において異物の自動測定が可能な技術が開示されている。さらに、特許文献１では深さ方向のマッピング測定を行うことで三次元画像を作成し、該三次元画像により異物を特定する技術についても開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００７－２９２７０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１のように二値化処理等の所定処理を施した撮影画像を利用すれば試料（特許文献１では注射溶剤）における異物の座標位置を特定し該異物を自動検出してスペクトルを取得することは出来るが、実際の撮影画像には必ず焦点のズレが生じており、その結果、異物の種類によっては誤検出を招くおそれがある。

【0007】

また、特許文献１では上記のとおり深さ方向のマッピング測定を行うことで三次元画像を作成し、該三次元画像により異物を特定することも開示されている。この方法であれば深さ方向の情報も利用した自動検出が可能とも思えるが、実際には必ずしも撮影画像の全領域において焦点のズレが解消しているとは言えず深さ情報が正確でない領域を有することにより精度の良い測定が困難な場合もあり、まだまだ改良の余地がある。

【0008】

本発明は上記従来技術の課題に鑑みて行われたものであって、その目的は従来よりも誤検出が少なく、且つ、精度の良い分光測定が可能な自動サンプル検出機能を有する顕微分光装置を実現することである。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明にかかる顕微分光装置は、
試料に励起光を照射する光源と、励起光を前記試料の所定位置に照射するとともに該試料からの反射光または透過光を集光する集光レンズと、集光した光を検出する分光器と、該分光器からの信号を解析する解析制御手段と、を含み、前記試料の観察画像を利用して分光測定を行う顕微分光装置であって、
前記解析制御手段は、前記観察画像を全焦点画像に変換処理して記憶する画像記憶部と、当該顕微分光装置を測定動作させる制御部と、を含み、
前記画像記憶部は、前記全焦点画像に対して分光測定の対象となる複数のサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成して記憶し、
前記制御部は、前記サンプルサーチ画像データと前記分光測定時の観察画像とを利用し、画像のマッチング動作としてのテンプレートマッチングによって、前記分光測定時の観察画像上で前記サンプルポイントを自動検出することを特徴とする。

【0010】

また、本発明にかかる顕微分光装置は、
前記サンプルサーチ画像データには、前記全焦点画像を解析してサンプルポイントの重心位置、面積、円形度、色、フェレ径、および回転角度のうちのいずれかが検出情報として付加されていることを特徴とする。

【0011】

また、本発明にかかる顕微分光装置は、
前記サンプルサーチ画像データには、前記試料におけるサンプルポイントの高さ位置情報が検出情報として付加されていることを特徴とする。

【0012】

また、本発明にかかる顕微分光装置は、
前記画像記憶部は、前記サンプルサーチ画像データを作成する前処理として全焦点画像の二値化処理を行うことを特徴とする。

【0013】

また、本発明にかかる顕微分光装置は、
前記制御部は、前記サンプルサーチ画像データを利用して画像のマッチング動作としてのテンプレートマッチングによるサンプルポイントの自動検出を行うことを特徴とする。

【発明の効果】

【0014】

本発明によれば、観察画像を変換処理して得られた全焦点画像に対して試料において分光測定の対象となるサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、このサンプルサーチ画像データを利用してサンプルポイントを自動検出することで、従来よりも誤検出が少なく、且つ、精度の良い分光測定が可能な自動サンプル検出機能を有する顕微分光装置を提供できる効果を奏する。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態に係るラマン顕微分光測定装置の概略構成図を示す。

【図2】本実施形態に係るラマン顕微分光測定装置におけるサンプルサーチ機能のフローチャートを示す。

【図3】本実施形態に係るラマン顕微分光測定装置における全焦点画像の取得方法の概略図を示す。

【図4】本実施形態における全焦点画像に対するシェーディング処理の概略イメージ図を示す。

【図5】本実施形態における全焦点画像に対するノイズ除去についての概略イメージ図を示す。

【図6】本実施形態における全焦点画像に対する先鋭化処理についての概略イメージ図を示す。

【図7】本実施形態の二値化処理におけるサンプルポイントの明るさについての概略イメージ図を示す。

【図8】本実施形態における手動二値化処理の概略イメージ図を示す。

【図9】本実施形態における適応的二値化処理の概略イメージ図を示す。

【図10】本実施形態における領域分割処理の概略イメージ図を示す。

【図11】本実施形態におけるサンプルポイントの特徴評価についての概略イメージ図を示す。

【図12】一般的なテンプレートマッチング処理（画像のマッチング処理）の概略イメージ図を示す。

【図13】本実施形態におけるテンプレートマッチング処理によるサンプルサーチの概略図を示す。

【図14】本実施形態における二値化検出によるサンプルサーチについての概略図を示す。

【図15】本実施形態における試料の傾斜による影響について示す。

【発明を実施するための形態】

【0016】

以下、本発明の顕微分光装置について図面を用いて説明するが、本発明の趣旨を超えない限り何ら以下の例に限定されるものではない。

【0017】

図１に本発明の実施形態に係る顕微分光装置の概略構成図を示す。本実施形態に係る顕微分光装置は、ラマン顕微分光測定装置である。同図に示すラマン顕微分光測定装置１０は、励起光を試料２０に照射する光源１２と、該励起光を試料２０方向へ導光するビームスプリッター１４と、励起光を試料２０の所定位置に照射するとともに試料２０からの反射光を集光する集光レンズ機能を有する対物レンズ１６と、試料２０が載置される可動ステージ１８と、集光した試料２０からの反射光の中から測定に不要な特定の光を除去するフィルタ２２と、該フィルタ２２を通過したラマン散乱光を検出する分光器２４と、該分光器２４に接続された解析制御手段としてのコンピュータ３０と、から構成されている。また、コンピュータ３０は、顕微測定による観察画像を記憶する画像記憶部３２と当該ラマン顕微分光測定装置１０を測定動作させる制御部３４を有している。

【0018】

はじめにラマン分光測定のおおまかな流れについて説明する。光源１２から放射された励起光は、ビームスプリッター１４によって試料２０方向へ反射され、対物レンズ１６を経由して試料２０の所定位置へ照射される。試料２０に照射された励起光により、励起光の波長とは異なる光（ラマン散乱光）が試料２０から散乱する。

【0019】

そして、対物レンズ１６によってラマン散乱光が取り込まれ（対物レンズ１６は集光レンズとしての役割も果たしている）、その後、ビームスプリッター１４を通過したラマン散乱光はフィルタ２２を介して分光器２４へと進む。本実施形態におけるフィルタ２２には、例えばノッチフィルタやエッジフィルタのようなリジェクションフィルタを利用することが出来る。

【0020】

分光器２４によって検出されたラマン散乱光はコンピュータ３０に取り込まれ、スペクトルデータとして目的に合わせた所定の解析が行われる。本実施形態におけるラマン分光測定は概略以上のような流れで行われる。ここで、本実施形態に係るラマン顕微分光測定装置１０は、ラマン分光測定におけるサンプルポイントを自動検出できるサンプルサーチ機能を有している。以下、本発明の特徴的な機能であるサンプルサーチについて詳しく説明する。

【0021】

サンプルサーチ機能
図２には、本実施形態に係るラマン顕微分光測定装置におけるサンプルサーチ機能のフローチャートを示す。なお、本フローチャートは、ラマン顕微分光測定装置１０によるラマン分光測定の前段階におけるそれぞれの処理または工程をあらわしている。

【0022】

図２に示すように、はじめに試料２０の全焦点画像を取得する（Ｓ１）。本明細書における全焦点画像とは、ラマン顕微分光測定装置１０で顕微測定した全領域において焦点が定まっている観察画像、または全領域において焦点を定めるための何らかの処理が施された観察画像のことを言う。

【0023】

例えば図３に示すように、焦点の異なる複数の画像を合成することで、ボケの無い鮮明な全焦点画像を取得することが出来る。また、全焦点画像を取得する際に、試料２０の高さ情報も同時に取得することが出来る。さらに、本実施形態における全焦点画像は顕微測定と同時に各点をオートフォーカス等することで取得しても良いが、例えば顕微測定した観察画像を図１の画像記憶部３２に記憶し、その後に所定の処理を施して全焦点画像に加工することも出来る。

【0024】

そして、得られた全焦点画像に対してサンプルサーチに利用しやすい画像とするための補正処理を行う（Ｓ２）。画像の補正処理としては例えばシェーディング処理、ノイズ除去、先鋭化処理等を行うことが出来る。

【0025】

シェーディング処理は図４に示すように、その後の二値化処理（図２のＳ３）において背景画像に対してコントラストが小さい領域に位置するサンプルポイントを検出する場合に有効である（図４のようにシェーディング処理の補正なしの場合には、サンプルポイントを特定することが困難なこともある）。

【0026】

ノイズ除去は、例えばメディアンフィルターを用いて行うことができる。メディアンフィルターは図５に示すように、各画素の周辺範囲（例えば３×３の９ピクセル）と比較して、その中央値を算出して置き換える。外れ値を除去する効果があるため、画像中のごま塩ノイズの除去に特に効果的である。本実施形態におけるフィルターサイズは、小で３×３、中で５×５、大で７×７としているが特にこれらの数値に限定されるものではない。

【0027】

先鋭化処理は図６に示すように、全焦点画像における背景画像とサンプルポイントとの輪郭をはっきりとさせる効果を有する。本実施形態では先鋭化処理の効果を小で３×３、中で５×５、大で７×７の範囲で処理することとしているが特にこれらの数値に限定されるものではない。

【0028】

次に、図２のフローチャートのＳ２で補正処理がされた全焦点画像に対して二値化処理を行う（Ｓ３）。この二値化処理を行う前に、検出するサンプルポイントが背景画像と比較して明るいか、あるいは暗いかを設定する。例えば図７（ａ）のように背景画像に対してサンプルポイントが明るい場合にはコンピュータ３０の設定画面（図示を省略）で「明るい」を設定し、図７（ｂ）のように背景画像に対してサンプルポイントが暗い場合には「暗い」を設定する。二値化処理は、しきい値を手動で設定する手動二値化、自動でしきい値を設定する自動二値化、および適応的二値化をユーザーが選択して行うようにすることができる。

【0029】

手動二値化は図８に示すように、全焦点画像に対してしきい値を手動で設定し、各点の輝度値がしきい値以上であれば検出領域とみなしてその部分を抽出し、それ以外を背景画像とみなして白黒表示をする。しきい値の設定は、例えばコンピュータ３０の設定画面に表示されるスクロールバーを操作して設定したり、あるいはテキストボックスへ数値を入力するようにしても良い。

【0030】

自動二値化は、しきい値の設定を判別分析法で自動決定する方法である。この判別分別法は大津の二値化とも呼ばれており、例えば分離度が最大となるしきい値を求め、自動的に二値化を行うことができる。

【0031】

適応的二値化は図９に示すように、平均化する領域サイズ（検出領域）とオフセットの値を設定することができる。画像に輝度ムラがあると、しきい値が固定の場合では適切な二値化処理ができない場合がある。この適応的二値化の処理は、各画素でしきい値を固定せずに、周辺の輝度値を参照してしきい値を設定できる方法である。このように本実施形態では、二値化処理の方法をサンプルポイントや測定状況に合わせて選択できるようにしている。

【0032】

次に領域分割処理（Ｓ４）について説明する。領域分割処理（分水嶺処理とも呼ぶ）は、Ｓ３で二値化処理された画像に対して所定の処理を行うことで実現できる。図１０に示すように、全焦点画像の二値化画像を用いて、輪郭からサンプルポイントの中心に向かっていくほど輝度値が変化する距離地図を作成する。この距離地図に対して頂点位置を検出する。そして各頂点から縁に向かって膨張処理をする。膨張時に重なり合った場所を境界面として認識することで領域の分割を適正に行うことができる。

【0033】

次に全焦点画像に対してＳ２～Ｓ４までの処理を施した画像に対して、ラベリング処理を行う（Ｓ５）。ラベリング処理とは、二値化画像における連結していない複数の領域に対して、それらを区別するために一つの領域に一つの数値を割り当てることを言うが、本実施形態では厳密にこの処理を行う必要はなく、例えばこれに類似する処理が施されていれば良い。

【0034】

次に、Ｓ６ではサンプルポイントの特徴評価を行う。ここでは全焦点画像についてＳ２～Ｓ５までの処理を施した二値化画像に対して検索を行い、例えば図１１に示すようにサンプルポイントの重心位置、面積、色、円形度、水平および垂直方向のフェレ径や回転角度（図示を省略）などの特徴評価を行う。

【0035】

また、本実施形態では全焦点画像を利用しているので、例えば試料２０におけるサンプルポイントの高さ位置情報を付加することも出来る。このＳ６の処理によってサンプルポイントの特徴が付加された画像データのことを本明細書ではサンプルサーチ画像データと呼ぶ。例えば重心位置の評価ではサンプルポイントの重心位置を求め、この重心位置がサンプルサーチ画像データに座標として登録される。

【0036】

本実施形態におけるフェレ径の評価では、図１１のように外接長方形のＸ軸に平行な辺の長さを水平方向フェレ径とし、外接長方形のＹ軸に平行な辺の長さを垂直方向フェレ径として求めるようにする。面積の評価では、サンプルポイントの面積を求める。円形度の評価では、面積と周囲長から円形度を求めるようにする（円形度＝４π×面積÷（周囲長）^２）。色の評価では、サンプルポイントの色情報を取得する。色情報は、例えばＲＧＢ形式で表示することができる（Ｒ：０～２５５、Ｇ：０～２５５、Ｂ：０～２５５）。

【0037】

次に検出条件の設定（フローチャートのＳ７）について説明する。Ｓ７では、サンプルサーチ画像データに対して分光測定の測定条件を設定する。この測定条件は、前記サンプルポイントの大きさ、面積、円形度、色、フェレ径、回転角度等から必要に応じて設定することができる。そして、設定した測定条件に基づいて測定点の登録を行い（Ｓ８）、登録された測定点についてラマン顕微分光測定装置１０によるラマン分光測定が行われる。

【0038】

このように、全焦点画像の取得後（Ｓ１）に一連の処理（Ｓ２～Ｓ６）を施してサンプルサーチ画像データを得た後に、設定した検出条件に基づいて測定点の登録を行うことで（Ｓ７、Ｓ８）、本実施形態では誤検出が少なく、且つ、精度の良いサンプルサーチ（サンプルポイントの自動検出）が可能となる。

【0039】

テンプレートマッチングについて
上述したとおり、本実施形態に係るラマン顕微分光測定装置１０では全焦点画像（サンプルサーチ画像データ）を利用してサンプルサーチを行っている。具体的には、本実施形態ではフローチャートのＳ８で登録された測定点についてテンプレートマッチング（画像のマッチング動作）によるサンプルサーチを行っている。ここで言うテンプレートマッチングとは、例えば全焦点画像（サンプルサーチ画像データ）とその後の分光測定による画像とを重ね合わせることで形状の抽出やサンプルポイントの特定などを行うマッチング技術のことである。

【0040】

図１２には一般的なテンプレートマッチング処理の概略イメージについて示す。図１２の左上に示すようなテンプレート画像に対してテンプレートマッチング（画像のマッチング動作）の走査範囲を広くすると、サンプルポイントに類似する画像の位置へ誤検出をしてしまう場合がある（実際にサンプルサーチをしてみると似た形状のものが多い）。

【0041】

そこで、本実施形態では図１３に示すように走査範囲を狭めてテンプレートマッチングを実行することで誤検出を少なくすることができる。具体的には、テンプレート画像および走査する範囲は、サンプルポイントのフェレ径よりもある程度大きい範囲を個別に設定することができる。

【0042】

例えば、テンプレート画像のサイズ指定としてサンプルポイントのフェレ径＋αとし、走査範囲としてサンプルポイントのフェレ径＋β（α、βはユーザーが設定）とすることができる。このようにテンプレート画像サイズと走査範囲を制限することで、誤検出が少なく精度の良いサンプルサーチを実現することが出来る。

【0043】

また、本実施形態では全焦点画像を利用することで全領域における焦点が一致した状態となっているので、正確なサンプルポイントの検出が可能となる。図１４に示すように、従来の方法（全焦点画像を利用していない場合）であれば二値化検出によるテンプレートマッチング（サンプルサーチ）を行うとサンプルポイントを検出することができない、あるいは不正確な寸法測定となってしまう可能性が高い。そこで、本実施形態のように全焦点画像を利用したサンプルサーチを実行することで、サンプルポイントの正確な検出および寸法測定が可能となる。

【0044】

さらに、図１５に示すように、従来であれば試料に傾斜がある場合（例えば図１では可動ステージ１８に載置された試料２０に傾斜がある場合）には撮影画像がボケてしまい、試料の特徴抽出がうまくできず、結果としてテンプレートマッチングが正しくできない場合がある。一方、本実施形態のように全焦点画像を利用することで、試料の高さ位置情報を得られた状態でサンプルサーチを行うことができるので、正確にサンプルポイントを検出することが出来る。

【0045】

以上のように本発明に係るラマン顕微分光測定装置１０では、コンピュータ３０が有する画像記憶部３２で観察画像を変換処理し、得られた全焦点画像に対してサンプルポイントの検出情報を付加してサンプルサーチ画像データを作成し、このサンプルサーチ画像データを利用することで、誤検出が少なく、且つ、精度の良い分光測定が可能なサンプルサーチ機能を有するラマン顕微分光測定装置１０を実現することができる。

【0046】

また、本実施形態ではラマン分光測定について説明したが、本発明はラマン分光測定に限られず他の分光測定においても同様の効果を得ることができる。例えば赤外分光測定や紫外可視分光測定に本実施形態と同様のサンプルサーチ画像データを利用してサンプルサーチを行うことで、従来に比べて誤検出が少なく、且つ、精度の良いサンプルサーチを実現することが出来る。

【符号の説明】

【0047】

１０ ラマン顕微分光測定装置
１２ 光源
１４ ビームスプリッター
１６ 対物レンズ（集光レンズ）
１８ 可動ステージ
２０ 試料
２２ フィルタ
２４ 分光器
３０ コンピュータ
３２ 画像記憶部
３４ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】