特開 2024-93375 試料観察装置及び試料観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024093375

(43)【公開日】2024-07-09

(54)【発明の名称】試料観察装置及び試料観察方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20240702BHJP

   G02B 21/26 20060101ALI20240702BHJP

   G01N 21/17 20060101ALI20240702BHJP

【ＦＩ】

G02B21/36

G02B21/26

G01N21/17 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022209709

(22)【出願日】2022-12-27

(71)【出願人】

【識別番号】000236436

【氏名又は名称】浜松ホトニクス株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(74)【代理人】

【識別番号】100148013

【弁理士】

【氏名又は名称】中山 浩光

(72)【発明者】

【氏名】山本 諭

【テーマコード（参考）】

2G059

2H052

【Ｆターム（参考）】

2G059AA01

2G059BB04

2G059EE01

2G059EE02

2G059EE07

2G059EE13

2G059FF01

2G059JJ02

2G059KK04

2H052AA07

2H052AC04

2H052AD03

2H052AD18

2H052AF14

(57)【要約】

【課題】ローリングシャッタ方式による撮像を採用した場合であっても、画像データにおける試料の像の歪みを低減できる試料観察装置及び試料観察方法を提供する。
【解決手段】試料観察装置１では、撮像部５は、画素領域２２における各画素列２５の露光期間Ｔの開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサ２１によって構成され、生成部８は、各画素列２５のうちの一の画素列２５を基準画素列２５Ｒとして設定し、一のフレームの各画素列２５の露光位置Ｐのうち基準画素列２５Ｒの露光位置Ｐに対応するデータ部分Ｄと、一のフレームに連続する他のフレームの各画素列２５の露光位置Ｐのうち基準画素列２５Ｒの露光位置Ｐに対応するデータ部分Ｄとを結合することにより、一のフレームにおける基準画素列２５Ｒの露光位置Ｐに対応する二次元画像データＧｔを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

試料に面状光を照射する照射光学系と、
前記面状光の照射面に対して直交する方向に前記試料を走査する走査部と、
前記面状光の照射によって前記試料で発生した観察光を撮像する画素領域を有し、当該画素領域での前記観察光の撮像結果に基づく画像データを出力する撮像部と、
前記画像データに基づいて、前記試料の走査方向の各位置での二次元画像データを生成する生成部と、を備え、
前記撮像部は、前記画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサによって構成され、
前記生成部は、前記各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分と、前記一のフレームに連続する他のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分とを結合することにより、前記一のフレームにおける前記基準画素列の露光位置に対応する二次元画像データを生成する試料観察装置。

【請求項2】

前記生成部は、前記画素領域の配列端となる画素列を前記基準画素列として設定する請求項１記載の試料観察装置。

【請求項3】

前記生成部は、前記画素領域の中間画素列を前記基準画素列として設定する請求項１記載の試料観察装置。

【請求項4】

前記生成部は、前記各画素列の露光期間の開始の時間差で表されるロールタイムと、前記走査部による前記試料の走査速度と、前記撮像部の解像度とに基づいて、前記データ部分の結合割合を算出する請求項１～３のいずれか一項記載の試料観察装置。

【請求項5】

試料に面状光を照射する照射ステップと、
前記面状光の照射面に対して直交する方向に前記試料を走査する走査ステップと、
前記面状光の照射によって前記試料で発生した観察光を撮像する画素領域を用い、当該画素領域での前記観察光の撮像結果に基づく画像データを出力する撮像ステップと、
前記画像データに基づいて、前記試料の走査方向の各位置での二次元画像データを生成する生成ステップと、を備え、
前記撮像ステップでは、前記画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサを用い、
前記生成ステップでは、前記各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分と、前記一のフレームに連続する他のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分とを結合することにより、前記一のフレームにおける前記基準画素列の露光位置に対応する二次元画像データを生成する試料観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、試料観察装置及び試料観察方法に関する。

【背景技術】

【0002】

試料観察装置として、例えば特許文献１に記載の装置が知られている。この試料観察装置は、試料に面状光を照射する照射光学系と、面状光の照射面に対して試料を走査する走査部と、照射面に対して傾斜する観察軸を有し、面状光の照射によって試料で発生した観察光を結像する結像光学系と、結像光学系によって結像された観察光による光像の一部に対応する部分画像データを複数取得する画像取得部と、画像取得部によって生成された複数の部分画像データに基づいて試料の観察画像データを生成する画像生成部と、を備えて構成されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０６３２９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述のような試料観察装置の画像取得部には、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサといったエリアイメージセンサが用いられる。これらのエリアイメージセンサは、結像光学系によって結像された観察光の結像面に配置され、観察光の光像を撮像して二次元画像データを生成する。エリアイメージセンサの撮像方式としては、例えばグローバルシャッタ方式及びローリングシャッタ方式が挙げられる。

【0005】

グローバルシャッタ方式は、各画素列の露光期間の開始が一致する撮像方式であり、ローリングシャッタ方式は、各画素列の露光期間の開始が所定時間ずつずれる撮像方式である。一般に、ローリングシャッタ方式は、グローバルシャッタ方式と比べてフレームレートが速い傾向がある。このため、試料走査中のフレーム数が画像データの解像度に影響する試料観察装置では、ローリングシャッタ方式の採用が検討されている。

【0006】

しかしながら、撮像方式としてローリングシャッタ方式を採用する場合、各画素列の露光期間の開始がずれることで各画素列の露光期間がずれ、試料の走査で取得した画像データにおいて、試料の像に歪みが生じてしまうことが考えられる。露光期間のずれは、走査速度に応じて試料に対する露光位置のずれになる。このため、ずれ量によっては、本来は一のフレームに存在すべき試料の像が隣のフレームに存在する試料の像として認識され、試料の形状や存在位置の解析精度を低下させてしまうおそれがある。

【0007】

本開示は、上記課題の解決のためになされたものであり、ローリングシャッタ方式による撮像を採用した場合であっても、画像データにおける試料の像の歪みを低減できる試料観察装置及び試料観察方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示の一側面に係る試料観察装置は、試料に面状光を照射する照射光学系と、面状光の照射面に対して直交する方向に試料を走査する走査部と、面状光の照射によって試料で発生した観察光を撮像する画素領域を有し、当該画素領域での観察光の撮像結果に基づく画像データを出力する撮像部と、画像データに基づいて、試料の走査方向の各位置での二次元画像データを生成する生成部と、を備え、撮像部は、画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサによって構成され、生成部は、各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち基準画素列の露光位置に対応するデータ部分と、一のフレームに連続する他のフレームの各画素列の露光位置のうち基準画素列の露光位置に対応するデータ部分とを結合することにより、一のフレームにおける基準画素列の露光位置に対応する二次元画像データを生成する。

【0009】

この試料観察装置では、試料の二次元画像データの生成にあたり、各画素列のうちの一の画素列を基準画素列として設定し、連続するフレーム間で当該基準画素列の露光位置に対応するデータ部分を結合する。これにより、ローリングシャッタ方式で撮像して得られた画像データがグローバルシャッタ方式で得られた画像データと同等な画像データに再構築され、画像データにおける試料の像の歪みを低減できる。試料の像の歪みが低減されることで、一のフレームの試料の像が隣のフレームの試料の像として認識されることを抑制でき、試料の形状や存在位置の解析精度を十分に担保できる。

【0010】

生成部は、画素領域の配列端となる画素列を基準画素列として設定してもよい。この場合、二次元画像データの生成に要する制御を簡単化できる。

【0011】

生成部は、画素領域の中間画素列を基準画素列として設定してもよい。こうすると、試料を双方向走査するような場合であっても、走査方向に関わらず計測範囲を同一にすることが可能となる。

【0012】

生成部は、各画素列の露光期間の開始の時間差で表されるロールタイムと、走査部による試料の走査速度と、撮像部の解像度とに基づいて、データ部分の結合割合を算出してもよい。走査条件及び撮像条件を考慮してデータ部分の結合割合を算出することで、結合の最適化が図られる。

【0013】

本開示の一側面に係る試料観察方法は、試料に面状光を照射する照射ステップと、面状光の照射面に対して直交する方向に試料を走査する走査ステップと、面状光の照射によって試料で発生した観察光を撮像する画素領域を用い、当該画素領域での観察光の撮像結果に基づく画像データを出力する撮像ステップと、画像データに基づいて、試料の走査方向の各位置での二次元画像データを生成する生成ステップと、を備え、撮像ステップでは、画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサを用い、生成ステップでは、各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち基準画素列の露光位置に対応するデータ部分と、一のフレームに連続する他のフレームの各画素列の露光位置のうち基準画素列の露光位置に対応するデータ部分とを結合することにより、一のフレームにおける基準画素列の露光位置に対応する二次元画像データを生成する。

【0014】

この試料観察方法では、試料の二次元画像データの生成にあたり、各画素列のうちの一の画素列を基準画素列として設定し、連続するフレーム間で当該基準画素列の露光位置に対応するデータ部分を結合する。これにより、ローリングシャッタ方式で撮像して得られた画像データがグローバルシャッタ方式で得られた画像データと同等な画像データに再構築され、画像データにおける試料の像の歪みを低減できる。試料の像の歪みが低減されることで、一のフレームの試料の像が隣のフレームの試料の像として認識されることを抑制でき、試料の形状や存在位置の解析精度を十分に担保できる。

【発明の効果】

【0015】

本開示によれば、ローリングシャッタ方式による撮像を採用した場合であっても、画像データにおける試料の像の歪みを低減できる。

【図面の簡単な説明】

【0016】

【図1】本開示の一実施形態に係る試料観察装置を示す概略構成図である。

【図2】撮像部の撮像領域を示す模式図である。

【図3】（ａ）は、一般的なローリングシャッタ方式による各画素の露光期間を示す模式図であり、（ｂ）その走査方向の露光位置を示す模式図である。

【図4】試料の画像の取得の様子を示す模式図である。

【図5】画像データの再構築の一例を示す模式図である。

【図6】画像データの再構築の別例を示す模式図である。

【図7】データ部分の結合割合の算出を示す模式図である。

【図8】本開示の一実施形態に係る試料観察方法を示すフローチャートである。

【図9】（ａ）～（ｃ）は、トリガ信号の設定例を示す模式図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら、本開示の一側面に係る試料観察装置及び試料観察方法の好適な実施形態について詳細に説明する。

【0018】

図１は、本開示の一実施形態に係る試料観察装置を示す概略構成図である。図１に示す試料観察装置１は、面状光Ｌ１を試料Ｓに照射し、試料Ｓの内部で発生した蛍光又は散乱光を撮像することにより、試料Ｓの内部の観察画像データを取得する装置として構成されている。

【0019】

この種の試料観察装置１としては、スライドガラスに保持される試料Ｓの画像を取得し表示するスライドスキャナ、或いはマイクロプレートに保持される試料Ｓの画像データを取得し、画像データを解析するプレートリーダなどが挙げられる。観察対象となる試料Ｓとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。また、試料Ｓは、溶液、ゲル、或いは試料Ｓとは屈折率の異なる物質に含まれていてもよい。

【0020】

試料観察装置１は、図１に示すように、照射光学系２と、走査部３と、結像光学系４と、撮像部５と、制御部６とを含んで構成されている。照射光学系２は、試料Ｓに面状光Ｌ１を照射する光学系である。照射光学系２は、面状光Ｌ１の生成元となる光Ｌ０を出力する光源１１と、光Ｌ０を面状光Ｌ１に整形し、整形された面状光Ｌ１を光軸Ｐ１に沿って試料Ｓに照射する光整形素子１２とを有している。

【0021】

光源１１としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源１１は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源１１から出力された光Ｌ０は、光整形素子１２に導光される。

【0022】

光整形素子１２としては、例えばシリンドリカルレンズ、アキシコンレンズ、空間光変調器などが挙げられる。光整形素子１２は、対物レンズを含んで構成されていてもよい。光整形素子１２は、光スキャナを含んで構成されていてもよい。この場合、光整形素子１２は、光源１１から出力されたライン状の光Ｌ０を光学的に走査し、面状光Ｌ１を形成してもよい。光整形素子１２によって生成された面状光Ｌ１が照射された試料Ｓでは、面状光Ｌ１の照射面Ｒにおいて観察光Ｌ２が発生する。観察光Ｌ２は、例えば面状光Ｌ１によって励起された蛍光、面状光Ｌ１の散乱光、或いは面状光Ｌ１の拡散反射光である。

【0023】

走査部３は、面状光Ｌ１の照射面Ｒに対して試料Ｓを走査する機構である。走査部３は、試料Ｓを保持する容器１３と、容器１３を移動させるステージ１４とを有している。容器１３としては、例えばマイクロプレート、スライドガラス、シャーレなどが挙げられる。容器１３の底面１３ａは、面状光Ｌ１の入力面となっている。面状光Ｌ１に対する透過性を有する透明部材によって構成されている。底面１３ａの構成材料としては、例えばガラス、石英、剛性樹脂などが挙げられる。

【0024】

ステージ１４は、容器１３を保持すると共に、予め設定された方向に容器１３を走査する。ステージ１４は、面状光Ｌ１の光軸Ｐ１と直交する平面内の一方向に容器１３を走査する。本実施形態では、ステージ１４は、双方向走査を行う態様であってもよい。双方向走査では、ステージ１４は、面状光Ｌ１の照射面Ｒに対して容器１３を第１の方向及び当該第１の方向と反対の第２の方向を含む方向に走査する。

【0025】

以下の説明では、便宜上、互いに直交するＸ軸、Ｙ軸、Ｚ軸による直交座標系を用いる（図１参照）。本実施形態では、面状光Ｌ１の光軸Ｐ１に沿う方向をＺ軸、ステージ１４による容器１３の走査方向をＹ軸、面状光Ｌ１の光軸Ｐ１と直交する平面内においてＹ軸に直交する方向をＸ軸と規定する。

【0026】

光整形素子１２が光スキャナを含んで構成される場合、光源１１からＺ方向に出力されたライン状の光Ｌ０がＸ方向に光学的に走査され、面状光Ｌ１が形成される。上記規定によれば、試料Ｓに対する面状光Ｌ１の照射面Ｒは、ＸＺ平面内の面となる。試料Ｓの深さ方向は、Ｚ方向に対応する。ステージ１４による容器１３の走査方向は、Ｙ方向に対応する。双方向走査を行う場合、第１の方向は＋Ｙ方向であり、第２の方向は－Ｙ方向である。第１の方向への走査と第２の方向への走査との間に容器１３をＸ方向に移動させる動作が行われてもよい。

【0027】

結像光学系４は、面状光Ｌ１の照射によって試料Ｓで発生した観察光Ｌ２を結像する光学系である。結像光学系４は、例えば対物レンズ１５と、フィルタ切替部１６と、結像レンズ１７とを有している。フィルタ切替部１６は、試料Ｓの多波長計測に用いられるフィルタホイールであり、第１のフィルタ１８Ａ及び第２のフィルタ１８Ｂを保持している。フィルタ切替部１６は、対物レンズ１５と結像レンズ１７との間の結像光路上に配置され、結像光路に対して第１のフィルタ１８Ａ及び第２のフィルタ１８Ｂのいずれかを配置させる。第１のフィルタ１８Ａ及び第２のフィルタ１８Ｂは、その光学特性に応じて観察光Ｌ２の一部（例えば特定の波長の蛍光など）を透過させる。

【0028】

結像光学系４の光軸は、観察光Ｌ２の観察軸Ｐ２となっている。本実施形態では、観察軸Ｐ２は、面状光Ｌ１の照射面Ｒに対して所定の角度θをもって傾斜している。角度θは、面状光Ｌ１の光軸Ｐ１と観察軸Ｐ２とのなす角とも一致する。角度θは、例えば１０°～８０°となっている。観察画像の解像度を向上させる観点から、角度θは、２０°～７０°であってもよい。観察画像の解像度の向上及び視野の安定性の観点から、角度θは、３０°～６５°であってもよい。

【0029】

観察軸Ｐ２は、必ずしも面状光Ｌ１の照射面Ｒに対して傾斜していなくてもよい。すなわち、観察軸Ｐ２は、面状光Ｌ１の照射面Ｒ（面状光Ｌ１の光軸Ｐ１）に対して直交していてもよい。

【0030】

撮像部５は、面状光Ｌ１の照射によって試料Ｓで発生した観察光Ｌ２を撮像する部分である。撮像部５は、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサといったエリアイメージセンサ２１によって構成されている。エリアイメージセンサ２１は、結像光学系４の結像面に配置されている。エリアイメージセンサ２１は、例えば図２に示すように、複数の画素２３からなる画素領域２２と、各画素２３に蓄積された電荷を外部に読み出す読出部２４とを有している。エリアイメージセンサ２１は、画素領域２２（図２参照）における各画素列２５の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で観察光Ｌ２の光像を撮像し、撮像結果に基づく画像データを生成する。

【0031】

制御部６は、物理的には、ＲＡＭ、ＲＯＭ等のメモリ、ＣＰＵ等のプロセッサ、通信インターフェイス、ハードディスク等の格納部、ディスプレイなどを備えて構成されている。制御部６の構成例としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス（スマートフォン、タブレット端末）などが挙げられる。制御部６は、メモリに格納されるプログラムをＣＰＵ等のプロセッサで実行することにより、光源１１、光整形素子１２、ステージ１４、フィルタ切替部１６、撮像部５の動作を制御する動作制御部７として機能する。

【0032】

動作制御部７としての制御部６は、ユーザによる計測開始の操作の入力を受け、光源１１、ステージ１４、フィルタ切替部１６、撮像部５を駆動する。また、予め入力された設定に従って、光源１１による光Ｌ０の出力条件（波長など）、ステージ１４による試料Ｓの走査条件（走査速度など）、撮像部５による撮像条件（露光期間、解像度など）を制御する。動作制御部７は、光整形素子１２が光スキャナを含む構成の場合、光整形素子１２の光スキャナの動作を制御する。

【0033】

制御部６は、走査部３が試料Ｓを第１の方向に走査する期間と第２の方向に走査する期間との間で、互いに異なる波長の面状光Ｌ１が試料Ｓに照射されるように照射光学系２を制御してもよい。制御部６は、走査部３が試料を第１の方向に走査する期間と第２の方向に走査する期間との間で、互いに異なる走査速度Ｖ１，Ｖ２で面状光Ｌ１の照射面Ｒに対して試料Ｓが走査されるように走査部３を制御してもよい。制御部６は、走査部３が試料Ｓを第１の方向に走査する期間と第２の方向に走査する期間との間で、各画素列２５の露光期間Ｔの開始の時間差で表されるロールタイムＴｒ（図３（ａ）参照）が互いに異なるように撮像部５を制御してもよい。

【0034】

制御部６は、撮像部５で生成された画像データに基づいて試料Ｓの観察画像データを生成する生成部８、及び観察画像データに基づいて試料Ｓの解析を行う解析部９としても機能する。観察画像データは、例えば面状光Ｌ１の光軸Ｐ１に直交する面（ＸＺ面）における試料Ｓの二次元画像データ（断面像）である。生成部８としての制御部６は、これらの断面像を試料Ｓの走査方向（Ｙ方向）に結合することで、試料Ｓの三次元情報を生成する。解析部９としての制御部６は、生成した観察画像データに基づいて試料Ｓの解析を実行し、解析結果を生成する。解析結果は、必要に応じてディスプレイに表示され、格納部に格納される。

【0035】

続いて、試料観察装置１における撮像部５の撮像方式について更に詳細に説明する。

【0036】

上述したように、試料観察装置１における撮像部５は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサといったエリアイメージセンサ２１によって構成され、その撮像方式としてローリングシャッタ方式が採用されている。一般的に、ローリングシャッタ方式では、図３（ａ）に示すように、画素領域２２における各画素列２５の露光期間Ｔの開始が所定時間ずつずれるようになっている。つまり、一の画素列２５の露光が指示されてから所定時間が経過した後、次の画素列２５の露光が開始され、その後所望の画素列２５に至るまで露光期間Ｔが順次開始される。

【0037】

各画素列２５における露光期間Ｔの開始の時間差は、ロールタイムＴｒと称され、制御部６で制御可能なパラメータである。各画素列２５におけるＹ方向の解像度Ｒ（Ｙ）は、図３（ｂ）に示すように、露光期間Ｔと試料Ｓの走査速度Ｖとの積に基づいて算出できる。各画素列２５の露光位置Ｐのずれ量は、撮像時の試料Ｓの走査速度Ｖに比例することとなる。

【0038】

一般的なローリングシャッタ方式の撮像では、各フレームは、露光期間と読出期間とから構成される。各画素列２５における読出期間の開始の時間差は、ラインタイムＴｌと称される（図３（ａ）参照）。ラインタイムＴｌは、ロールタイムＴｒと同様に、制御部６で制御可能なパラメータである。本実施形態では、ロールタイムＴｒとラインタイムＴｌとは、等しい値に設定されている。また、一般には、所定のフレームにおいて、所定の画素列２５の露光期間Ｔの経過後、露光の終了と共に当該画素列２５の読出期間が開始される。そして、所定のフレームにおける所定の画素列２５の読出期間の経過後、読出の終了と共に次のフレームにおける所定の画素列２５の露光が開始される。

【0039】

本実施形態では、様々なローリングシャッタ方式の撮像モードを適用できる。例えば撮像部５は、トリガ信号に基づいて露光開始を制御する撮像モードでローリングシャッタ方式の撮像を行ってもよい。撮像部５は、トリガ信号に基づいて露光開始及び露光期間を制御する撮像モードでローリングシャッタ方式の撮像を行ってもよい。撮像部５は、トリガ信号に基づいて読出開始を制御する撮像モードでローリングシャッタ方式の撮像を行ってもよい。撮像部５は、トリガ信号に基づき読出開始及び読出期間を制御する撮像モードでローリングシャッタ方式の撮像を行ってもよい。

【0040】

ローリングシャッタ方式の撮像を制御するトリガ信号は、例えば外部トリガ信号によって制定できる。例えば外部トリガ信号は、ステージ１４の位置を検出するリニアエンコーダから出力されるトリガ信号であってもよい。この場合、リニアエンコーダは、ステージ１４がＹ方向に所定の距離だけ移動する度にトリガ信号を出力する。撮像部５では、入力される外部トリガ信号に基づき、撮像モードに応じてローリングシャッタ方式の撮像における露光期間及び／又は読出期間を制御し、ｎ番目のフレームの露光及び読出に続けて（ｎ＋１）番目のフレームの露光及び読出を実行する。

【0041】

露光位置Ｐのずれ量と得られた画像データにおける試料Ｓの像との関係を図４に示す。図４の例は、Ｙ方向に走査する期間における試料Ｓの像の取得の様子を示す模式図である。同図に示すように、Ｙ方向に走査する期間中の試料Ｓの撮像にあたっては、ｎ番目のフレーム、（ｎ＋１）番目のフレーム…の順に各画素列２５による露光が行われる。

【0042】

各フレームでの各画素列２５の露光順序は、例えば列番号の小さい方から大きい方に並んでいる。すなわち、ｍ列目の画素列２５の露光期間Ｔは、ロールタイムＴｒの分だけ（ｍ＋１）列目の画素列２５の露光期間Ｔよりも時間的に先行した状態となっている。この状態で取得された画像データでは、ローリングシャッタ方式での撮像及びステージ１４の移動の影響により、露光期間Ｔに対応する試料Ｓの露光位置ＰがＺ方向の位置に対してのＹ方向に徐々にずれていく。このため、試料Ｓの像には、試料Ｓの本来の存在位置に対し、Ｚ方向（深さ方向）の位置に対してＹ方向に歪みが生じることとなる。

【0043】

試料Ｓの露光位置ＰがＺ方向の位置に対してＹ方向に徐々にずれていくと、ずれ量によっては、本来は一のフレームに存在すべき画像が隣のフレームに存在する画像として認識されてしまうことが考えられる。つまり、一のフレームのある露光位置Ｐの試料Ｓの像が、一のフレームに隣のフレームの同位置の露光位置Ｐの試料Ｓの像として認識され得る。このような像の認識のずれは、試料Ｓの形状や存在位置の解析精度の低下の要因となるおそれがある。

【0044】

このような課題に対し、本実施形態では、ローリングシャッタ方式で撮像して得られた画像データをそのまま用いるのではなく、グローバルシャッタ方式で得られた画像データと同等な画像データに再構築することにより、画像データにおける試料Ｓの像の歪みの低減が図られている。

【0045】

より具体的には、本実施形態では、生成部８は、図５に示すように、各画素列２５のうちの一の画素列２５を基準画素列２５Ｒとして設定する。生成部８は、設定した基準画素列２５Ｒに基づいて、一のフレームの各画素列２５の露光位置Ｐのうち基準画素列２５Ｒの露光位置Ｐに対応するデータ部分Ｄと、一のフレームに連続するフレームの各画素列２５の露光位置Ｐのうち基準画素列２５Ｒの露光位置Ｐに対応するデータ部分Ｄとを結合する（以下では、基準画素列２５Ｒの露光位置Ｐを「基準露光位置Ｐｒ」と称す）。そして、生成部８は、これらのデータ部分Ｄ同士を結合することにより、一のフレームにおける基準露光位置Ｐｒに対応する二次元画像データＧｔを生成する。

【0046】

図５の例では、生成部８は、画素領域２２の配列端となる１番目の画素列２５を基準画素列２５Ｒとして設定している。この例では、基準露光位置Ｐｒに対応する二次元画像データＧｔを生成するにあたって、ｎ番目のフレームで取得したデータ部分Ｄ_ｎと、（ｎ－１）番目のフレームで取得したデータ部分Ｄ_ｎ－１と、（ｎ－２）番目のフレームで取得したデータ部分Ｄ_ｎ－２とが用いられている。

【0047】

基準画素列２５Ｒである１番目の画素列２５では、ｎ番目のフレームで取得した画像データＧの１００％が二次元画像データＧｔの生成に用いられている。すなわち、基準画素列２５Ｒでは、データ部分Ｄ_ｎのみが二次元画像データＧｔの生成に用いられている。基準画素列２５Ｒからの配列順が遠い画素列２５であるほど、データ部分Ｄ_ｎの結合割合が徐々に低下し、データ部分Ｄ_ｎ－１の結合割合が徐々に増加する。

【0048】

図５の例では、２番目～６番目の画素列２５については、ｎ番目のフレームで取得したデータ部分Ｄ_ｎと、（ｎ－１）番目のフレームで取得したデータ部分Ｄ_ｎ－１とが二次元画像データＧｔの生成に用いられている。２番目及び３番目の画素列２５では、データ部分Ｄ_ｎの結合割合がデータ部分Ｄ_ｎ－１の結合割合より高くなっており、４番目～６番目の画素列２５では、データ部分Ｄ_ｎ－１の結合割合がデータ部分Ｄ_ｎの結合割合より高くなっている。

【0049】

７番目～１０番目の画素列２５については、（ｎ－１）番目のフレームで取得したデータ部分Ｄ_ｎ－１と、（ｎ－２）番目のフレームで取得したデータ部分Ｄ_ｎ－２とが二次元画像データＧｔの生成に用いられている。７番目及び８番目の画素列２５では、データ部分Ｄ_ｎ－１の結合割合がデータ部分Ｄ_ｎ－２の結合割合より高くなっており、９番目の画素列２５では、データ部分Ｄ_ｎ－１の結合割合とデータ部分Ｄ_ｎ－２の結合割合とが同程度となっている。９番目及び１０番目の画素列２５では、データ部分Ｄ_ｎ－２の結合割合がデータ部分Ｄ_ｎ－１の結合割合より高くなっている。

【0050】

また、図６に示すように、生成部８は、画素領域２２の中間画素列を基準画素列２５Ｒとして設定してもよい。中間画素列は、画素領域２２に含まれる各画素列２５のうち配列端を除く画素列２５である。図６の例では、生成部８は、５番目の画素列２５を基準画素列２５Ｒとして設定している。この例では、基準露光位置Ｐｒに対応する二次元画像データＧｔを生成するにあたって、ｎ番目のフレームで取得したデータ部分Ｄ_ｎと、（ｎ＋１）番目のフレームで取得したデータ部分Ｄ_ｎ＋１と、（ｎ－１）番目のフレームで取得したデータ部分Ｄ_ｎ－１とが用いられている。

【0051】

基準画素列２５Ｒである５番目の画素列２５では、ｎ番目のフレームで取得した画像データの１００％が二次元画像データＧｔの生成に用いられている。すなわち、基準画素列２５Ｒでは、データ部分Ｄ_ｎのみが二次元画像データＧｔの生成に用いられている。基準画素列２５Ｒからの配列順が遠い画素列２５であるほど、データ部分Ｄｎの結合割合が徐々に低下し、データ部分Ｄ_ｎ＋１或いはデータ部分Ｄ_ｎ－１の結合割合が徐々に増加する。

【0052】

図６の例では、１番目～４番目の画素列２５については、ｎ番目のフレームで取得したデータ部分Ｄ_ｎと、（ｎ＋１）番目のフレームで取得したデータ部分Ｄ_ｎ＋１とが二次元画像データＧｔの生成に用いられている。３番目及び４番目の画素列２５では、データ部分Ｄ_ｎの結合割合がデータ部分Ｄ_ｎ＋１の結合割合より高くなっており、１番目及び２番目の画素列２５では、データ部分Ｄ_ｎ＋１の結合割合がデータ部分Ｄ_ｎの結合割合より高くなっている。

【0053】

６番目～１０番目の画素列２５については、ｎ番目のフレームで取得したデータ部分Ｄ_ｎと、（ｎ－１）番目のフレームで取得したデータ部分Ｄ_ｎ－１とが二次元画像データＧｔの生成に用いられている。６番目及び７番目の画素列２５では、データ部分Ｄ_ｎの結合割合がデータ部分Ｄ_ｎ－１の結合割合より高くなっており、８番目～１０番目の画素列２５では、データ部分Ｄ_ｎ－１の結合割合がデータ部分Ｄ_ｎの結合割合より高くなっている。

【0054】

データ部分Ｄの結合割合は、走査部３による試料Ｓの走査条件、及び撮像部５による観察光Ｌ２の撮像条件を用いて算出できる。本実施形態では、生成部８は、各画素列２５の露光期間Ｔの開始の時間差で表されるロールタイムＴｒと、走査部３による試料Ｓの走査速度Ｖと、撮像部５の解像度Ｒ（Ｙ）とに基づいて、データ部分Ｄ同士の結合割合を算出する。

【0055】

結合割合の算出には、例えば以下の式（１）又は式（２）が用いられる。数値Ａが表す部分は、図７に示すように、基準露光位置Ｐｒに対応する各画素列２５の画像データＧのうち、一のフレームの前若しくは後のフレームで取得したデータ部分Ｄに相当する部分が占める割合を示している。ギャップナンバーＮｇが０より大きい場合、数値Ａが表す部分を含むフレームに対して式（１）を用いる。一方、ギャップナンバーＮｇが０より小さい場合、数値Ａが表す部分を含むフレームに対して式（２）を用いる。数値Ａが表す部分を含むフレームは、一のフレームに連続する前後のフレームに限られず、一のフレームから２つ以上前若しくは２つ以上後のフレームであってもよい。
Ａ［／ｌｉｎｅ］＝（（ギャップナンバーＮｇ×ロールタイムＴｒ×走査速度Ｖ）／解像度Ｒ（Ｙ））＋１ …（１）
Ａ［／ｌｉｎｅ］＝（（ギャップナンバーＮｇ×ロールタイムＴｒ×走査速度Ｖ）／解像度Ｒ（Ｙ））－１ …（２）

【0056】

ギャップナンバーＮｇは、基準画素列２５Ｒを０とし、基準画素列２５Ｒから何番目の画素列であるかを示す値である。ギャップナンバーＮｇは、画素列２５の列番号をＮとし、基準画素列２５Ｒの列番号をＮｒとした場合に、Ｎｇ＝Ｎ－Ｎｒで算出できる（図７参照）。なお、ローリングシャッタ方式によって読み出される画素列の順番を基準画素列２５Ｒの列番号Ｎｒと定義してもよい。こうすると、ローリングシャッタの読出方向が変更になった場合でも、同じ計算にてギャップナンバーＮｇを算出できる。

【0057】

結合割合の算出にあたっては、ギャップナンバーＮｇ毎にＡを算出する。Ａの値のうちの整数部分ｆは、結合に用いるフレームの番号を示す。基準画素列２５Ｒが設定されているフレームの番号をｎとした場合、（ｎ＋ｆ）番目のフレームで取得したデータ部分Ｄが結合に用いられる。Ａの値のうちの小数部分ｄの絶対値は、（ｎ＋ｆ）番目のフレームで取得したデータ部分Ｄの割合を示す。小数部分ｄの絶対値は、１＝１００％としてデータ部分Ｄの割合に換算する。

【0058】

基準画素列２５Ｒでは、ギャップナンバーＮｇが０となり、式（１）で算出されるＡの値は１となる。この場合、整数部分ｆは１であるため、式の上では（ｎ＋１）番目のフレームで取得したデータ部分Ｄが結合に用いられることとなるが、小数部分ｄの絶対値が０であるため、（ｎ＋１）番目のフレームで取得したデータ部分Ｄの割合は０％となる。したがって、基準画素列２５Ｒでは、ｎ番目のフレームのデータ部分Ｄが１００％用いられることとなる。

【0059】

基準画素列２５Ｒ以外の画素列２５において、例えば式（１）で算出されるＡの値が１．１０９であった場合、整数部分ｆは１であるため、（ｎ＋１）番目のフレームで取得したデータ部分Ｄが結合に用いられる。また、小数部分ｄの絶対値は０．１０９であるため、（ｎ＋１）番目のフレームで取得したデータ部分Ｄの割合は１０．９％となる。したがって、この画素列２５については、ｎ番目のフレームで取得したデータ部分Ｄの８９．１％と、（ｎ＋１）番目のフレームで取得したデータ部分Ｄの１０．９％とが結合される。

【0060】

基準画素列２５Ｒ以外の画素列２５において、例えば式（２）で算出されるＡの値が－１．１０９であった場合、整数部分ｆは－１であるため、（ｎ－１）番目のフレームで取得したデータ部分Ｄが結合に用いられる。また、小数部分ｄの絶対値は０．１０９であるため、（ｎ－１）番目のフレームで取得したデータ部分Ｄの割合は１０．９％となる。したがって、この画素列２５については、ｎ番目のフレームで取得したデータ部分Ｄの８９．９％と、（ｎ－１）番目のフレームで取得したデータ部分Ｄの１０．９％とが結合される。

【0061】

図８は、本開示の一実施形態に係る試料観察方法を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップＳ０１と、走査ステップＳ０２と、撮像ステップＳ０３と、生成ステップＳ０４と、解析ステップＳ０５とを含んで構成されている。

【0062】

照射ステップＳ０１は、試料Ｓに面状光Ｌ１を照射するステップである。照射ステップＳ０１では、光源１１から出力した光Ｌ０が面状光Ｌ１に整形され、容器１３に保持されている試料Ｓに面状光Ｌ１が照射される。試料Ｓからは、面状光Ｌ１の照射に基づく観察光Ｌ２が発生する。走査ステップＳ０２は、面状光Ｌ１の照射面Ｒに対して試料Ｓを走査するステップである。ここでは、ステージ１４により、Ｙ方向に試料Ｓを走査する。

【0063】

撮像ステップＳ０３は、面状光Ｌ１の照射によって試料Ｓで発生した観察光Ｌ２を撮像し、撮像結果に基づく画像データＧを出力するステップである。撮像ステップＳ０３では、画素領域２２における各画素列２５の露光期間Ｔの開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサ２１を用い、走査中の試料Ｓの撮像結果に基づく画像データＧを出力する。

【0064】

生成ステップＳ０４は、撮像ステップＳ０３で取得した画像データＧに基づいて、試料Ｓの走査方向の各位置での二次元画像データＧｔを生成するステップである。生成ステップＳ０４では、各画素列２５のうちの一の画素列２５を基準画素列２５Ｒとして設定する。そして、生成ステップＳ０４では、一のフレームの基準露光位置Ｐｒに対応するデータ部分Ｄと、一のフレームに連続するフレームの基準露光位置Ｐｒに対応するデータ部分Ｄとを結合することにより、基準露光位置Ｐｒに対応する二次元画像データＧｔを生成する。

【0065】

解析ステップＳ０５は、試料Ｓの解析を行うステップである。解析ステップＳ０５では、生成ステップＳ０４で得られた二次元画像データＧｔに基づいて試料Ｓの観察画像データを生成し、生成した観察画像データに基づいて試料Ｓの解析を実行し、解析結果を生成する。

【0066】

以上説明したように、試料観察装置１では、試料Ｓの二次元画像データＧｔの生成にあたり、各画素列２５のうちの一の画素列２５を基準画素列２５Ｒとして設定し、連続するフレーム間で基準露光位置Ｐｒに対応するデータ部分Ｄを結合する。これにより、ローリングシャッタ方式で撮像して得られた画像データＧがグローバルシャッタ方式で得られた画像データと同等な画像データＧに再構築され、画像データＧにおける試料Ｓの像の歪みを低減できる。試料Ｓの像の歪みが低減されることで、一のフレームの試料Ｓの像が隣のフレームの試料Ｓの像として認識されることを抑制でき、試料Ｓの形状や存在位置の解析精度を十分に担保できる。

【0067】

本実施形態では、生成部８は、画素領域２２の配列端となる画素列２５を基準画素列２５Ｒとして設定し得る。この場合、二次元画像データＧｔの生成に要する制御を簡単化できる。

【0068】

具体的には、画素領域２２の配列端となる画素列２５を基準画素列２５Ｒとして設定する場合、図９（ａ）に示すように、基準露光位置Ｐｒに対応する二次元画像データＧｔの生成にあたって、一のフレームのデータ部分Ｄと、一のフレームの一つ前のフレームのデータ部分Ｄと結合すればよい。このため、図９（ｂ）に示すように、図９（ａ）の状態から走査速度Ｖが変更される場合でも、例えばリニアエンコーダからのトリガ信号のタイミングの変更回数の増大を回避できる。また、図９（ｃ）に示すように、走査条件或いは撮像条件の変更によってデータ部分Ｄの結合に用いるフレームの数が増加した場合でも、解像度Ｒ（Ｙ）の分だけずらしたタイミングでトリガ信号を出力すればよい。

【0069】

本実施形態では、生成部８は、画素領域２２の中間画素列を基準画素列２５Ｒとして設定し得る。この手法によれば、試料Ｓを双方向走査するような場合であっても、走査方向に関わらず計測範囲を同一にすることが可能となる。

【0070】

本実施形態では、生成部８は、各画素列２５の露光期間Ｔの開始の時間差で表されるロールタイムＴｒと、走査部３による試料Ｓの走査速度Ｖと、撮像部５の解像度Ｒ（Ｙ）とに基づいて、データ部分Ｄの結合割合を算出している。走査条件及び撮像条件を考慮してデータ部分Ｄの結合割合を算出することで、結合の最適化が図られる。

【0071】

本開示の要旨は、以下の［１］～［８］のとおりである。
［１］試料に面状光を照射する照射光学系と、前記面状光の照射面に対して直交する方向に前記試料を走査する走査部と、前記面状光の照射によって前記試料で発生した観察光を撮像する画素領域を有し、当該画素領域での前記観察光の撮像結果に基づく画像データを出力する撮像部と、前記画像データに基づいて、前記試料の走査方向の各位置での二次元画像データを生成する生成部と、を備え、前記撮像部は、前記画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサによって構成され、前記生成部は、前記各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分と、前記一のフレームに連続する他のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分とを結合することにより、前記一のフレームにおける前記基準画素列の露光位置に対応する二次元画像データを生成する試料観察装置。
［２］前記生成部は、前記画素領域の配列端となる画素列を前記基準画素列として設定する［１］記載の試料観察装置。
［３］前記生成部は、前記画素領域の中間画素列を前記基準画素列として設定する［１］記載の試料観察装置。
［４］前記生成部は、前記各画素列の露光期間の開始の時間差で表されるロールタイムと、前記走査部による前記試料の走査速度と、前記撮像部の解像度とに基づいて、前記データ部分の結合割合を算出する［１］～［３］のいずれか記載の試料観察装置。
［５］試料に面状光を照射する照射ステップと、前記面状光の照射面に対して直交する方向に前記試料を走査する走査ステップと、前記面状光の照射によって前記試料で発生した観察光を撮像する画素領域を用い、当該画素領域での前記観察光の撮像結果に基づく画像データを出力する撮像ステップと、前記画像データに基づいて、前記試料の走査方向の各位置での二次元画像データを生成する生成ステップと、を備え、前記撮像ステップでは、前記画素領域における各画素列の露光期間の開始が所定時間ずつずれるローリングシャッタ方式で撮像を行うエリアイメージセンサを用い、前記生成ステップでは、前記各画素列のうちの一の画素列を基準画素列として設定し、一のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分と、前記一のフレームに連続する他のフレームの各画素列の露光位置のうち前記基準画素列の露光位置に対応するデータ部分とを結合することにより、前記一のフレームにおける前記基準画素列の露光位置に対応する二次元画像データを生成する試料観察方法。
［６］前記生成ステップでは、前記画素領域の配列端となる画素列を前記基準画素列として設定する［５］記載の試料観察方法。
［７］前記生成ステップでは、前記画素領域の中間画素列を前記基準画素列として設定する［５］記載の試料観察方法。
［８］前記生成ステップでは、前記各画素列の露光期間の開始の時間差で表されるロールタイムと、前記走査部による前記試料の走査速度と、前記撮像部の解像度とに基づいて、前記データ部分の結合割合を算出する［５］～［７］のいずれか記載の試料観察方法。

【符号の説明】

【0072】

１…試料観察装置、２…照射光学系、３…走査部、５…撮像部、６…制御部、８…生成部、２１…エリアイメージセンサ、２２…画素領域、２５…画素列、２５Ｒ…基準画素列、Ｓ…試料、Ｌ１…面状光、Ｌ２…観察光、Ｒ…照射面、Ｄ…データ部分、Ｇ…画像データ、Ｇｔ…二次元画像データ、Ｔ…露光期間、Ｔｒ…ロールタイム、Ｐ…露光位置、Ｒ（Ｙ）…解像度、Ｖ…走査速度。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】