知財求人 - 知財ポータルサイト「IP Force」
特開2022-127536拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022127536
(43)【公開日】2022-08-31
(54)【発明の名称】拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
(51)【国際特許分類】
G02B 21/26 20060101AFI20220824BHJP
G02B 21/36 20060101ALI20220824BHJP
G02B 7/28 20210101ALI20220824BHJP
【ＦＩ】
G02B21/26
G02B21/36
G02B7/28 J
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2021025733
(22)【出願日】2021-02-19
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110003225
【氏名又は名称】弁理士法人豊栖特許事務所
(72)【発明者】
【氏名】松村 晋吾
(72)【発明者】
【氏名】関谷 傑
【テーマコード（参考）】
2H052
2H151
【Ｆターム（参考）】
2H052AD09
2H052AD18
2H052AD20
2H052AF14
2H052AF21
2H052AF25
2H151AA11
2H151BA03
2H151BA47
(57)【要約】
【課題】観察視野の変更に応じてフォーカス調整を容易に行えるようにする。
【解決手段】拡大観察装置１００は、ステージ部３０上における対物レンズ部２５の光軸ＡＸの相対位置を異ならせ、カメラ部１０の観察視野を移動させる視野移動機構と、表示制御部５２によりディスプレイ部７０で表示される画像データの合焦度合いを示す合焦度合特徴量を算出する合焦度合評価部９１と、視野移動機構による観察視野の移動中に、合焦度合評価部９１で逐次算出される画像データの合焦度合特徴量に基づいて、フォーカス調整機構により対物レンズ部２５の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させるフォーカスシーケンス実行部９３とを備える。
【選択図】図２
【解決手段】拡大観察装置１００は、ステージ部３０上における対物レンズ部２５の光軸ＡＸの相対位置を異ならせ、カメラ部１０の観察視野を移動させる視野移動機構と、表示制御部５２によりディスプレイ部７０で表示される画像データの合焦度合いを示す合焦度合特徴量を算出する合焦度合評価部９１と、視野移動機構による観察視野の移動中に、合焦度合評価部９１で逐次算出される画像データの合焦度合特徴量に基づいて、フォーカス調整機構により対物レンズ部２５の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させるフォーカスシーケンス実行部９３とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
観察対象物を載置するためのステージ部と、
前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、
前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、
前記カメラ部が生成する画像データに基づいて観察対象物の画像をディスプレイ部に表示させる表示制御部と、
前記対物レンズ部の焦点位置と観察対象物との相対距離を、前記対物レンズ部の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて画像データのフォーカスを調整するフォーカス調整機構と、
前記ステージ部上における前記対物レンズ部の光軸の相対位置を異ならせ、前記カメラ部の観察視野を移動させる視野移動機構と、
前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を算出する合焦度合評価部と、
前記視野移動機構による前記観察視野の移動中に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させるフォーカスシーケンス実行部と、
を備える拡大観察装置。
前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、
前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、
前記カメラ部が生成する画像データに基づいて観察対象物の画像をディスプレイ部に表示させる表示制御部と、
前記対物レンズ部の焦点位置と観察対象物との相対距離を、前記対物レンズ部の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて画像データのフォーカスを調整するフォーカス調整機構と、
前記ステージ部上における前記対物レンズ部の光軸の相対位置を異ならせ、前記カメラ部の観察視野を移動させる視野移動機構と、
前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を算出する合焦度合評価部と、
前記視野移動機構による前記観察視野の移動中に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させるフォーカスシーケンス実行部と、
を備える拡大観察装置。
【請求項2】
請求項１に記載の拡大観察装置であって、
前記フォーカスシーケンス実行部は、前記視野移動機構による前記観察視野の移動が停止されると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
前記フォーカスシーケンス実行部は、前記視野移動機構による前記観察視野の移動が停止されると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
【請求項3】
請求項２に記載の拡大観察装置であって、さらに、
前記観察視野の移動又は停止を検知する移動停止検知部を備えており、
前記フォーカスシーケンス実行部は、
前記移動停止検知部により前記観察視野の移動を検知すると、前記カメラ部により観察視野の移動中に撮像されて生成された画像データ、及び観察視野の位置に関する情報の少なくとも一方に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、前記カメラ部により観察視野の移動中に撮像されて生成された画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させ、
前記移動停止検知部により前記観察視野の移動の停止を検知すると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
前記観察視野の移動又は停止を検知する移動停止検知部を備えており、
前記フォーカスシーケンス実行部は、
前記移動停止検知部により前記観察視野の移動を検知すると、前記カメラ部により観察視野の移動中に撮像されて生成された画像データ、及び観察視野の位置に関する情報の少なくとも一方に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、前記カメラ部により観察視野の移動中に撮像されて生成された画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させ、
前記移動停止検知部により前記観察視野の移動の停止を検知すると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
【請求項4】
請求項３に記載の拡大観察装置であって、
前記移動停止検知部が、
前記観察視野の移動を検知する移動検知部と、
前記観察視野の移動の停止を検知する停止検知部と、
を含んでおり、
前記フォーカスシーケンス実行部は、
前記移動検知部により前記観察視野の移動を検知すると、前記カメラ部により観察視野の移動中に撮像されて生成された画像データ、及び観察視野の位置に関する情報の少なくとも一方に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、前記カメラ部により観察視野の移動中に撮像されて生成された画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させ、
前記停止検知部により前記観察視野の移動の停止を検出すると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
前記移動停止検知部が、
前記観察視野の移動を検知する移動検知部と、
前記観察視野の移動の停止を検知する停止検知部と、
を含んでおり、
前記フォーカスシーケンス実行部は、
前記移動検知部により前記観察視野の移動を検知すると、前記カメラ部により観察視野の移動中に撮像されて生成された画像データ、及び観察視野の位置に関する情報の少なくとも一方に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、前記カメラ部により観察視野の移動中に撮像されて生成された画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させ、
前記停止検知部により前記観察視野の移動の停止を検出すると、前記視野移動中フォーカスシーケンスを終了し、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離の調整を停止させる停止シーケンスを実行するよう構成してなる拡大観察装置。
【請求項5】
請求項１～４のいずれか一項に記載の拡大観察装置であって、
前記合焦度合評価部が、前記合焦度合特徴量として、画像データに基づいて演算されたフォーカス値を用いており、
前記フォーカスシーケンス実行部は、前記視野移動中フォーカスシーケンスにおいて、前記フォーカス調整機構を一方向に移動させた結果、
該移動後の画像データに基づいて検出したフォーカス値が増加すると、当該方向への移動を継続し、
該移動後の画像データに基づいて検出したフォーカス値が減少すると、当該方向とは逆方向に移動させるように、
前記フォーカス調整機構の移動を制御してなる拡大観察装置。
前記合焦度合評価部が、前記合焦度合特徴量として、画像データに基づいて演算されたフォーカス値を用いており、
前記フォーカスシーケンス実行部は、前記視野移動中フォーカスシーケンスにおいて、前記フォーカス調整機構を一方向に移動させた結果、
該移動後の画像データに基づいて検出したフォーカス値が増加すると、当該方向への移動を継続し、
該移動後の画像データに基づいて検出したフォーカス値が減少すると、当該方向とは逆方向に移動させるように、
前記フォーカス調整機構の移動を制御してなる拡大観察装置。
【請求項6】
請求項１～５のいずれか一項に記載の拡大観察装置であって、さらに、
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整するよう構成してなる拡大観察装置。
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整するよう構成してなる拡大観察装置。
【請求項7】
請求項６に記載の拡大観察装置であって、
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のなかに当該移動先の視野移動位置に対応する位置の高さ情報が無い場合に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する汎用モードを実行するよう構成してなる拡大観察装置。
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のなかに当該移動先の視野移動位置に対応する位置の高さ情報が無い場合に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する汎用モードを実行するよう構成してなる拡大観察装置。
【請求項8】
請求項６に記載の拡大観察装置であって、
前記フォーカス調整機構は、前記高さ情報取得部で取得した高さ情報が含まれていない部位を表示させる際に、当該部位の周囲の高さ情報に基づいて推定された高さ情報に基づいて、フォーカス調整を行うように構成してなる拡大観察装置。
前記フォーカス調整機構は、前記高さ情報取得部で取得した高さ情報が含まれていない部位を表示させる際に、当該部位の周囲の高さ情報に基づいて推定された高さ情報に基づいて、フォーカス調整を行うように構成してなる拡大観察装置。
【請求項9】
請求項６に記載の拡大観察装置であって、
前記高さ情報取得部は、前記表示制御部によりディスプレイ部で表示される画像よりも低倍率で広域画像を撮像する際に、観察対象物の異なる位置における高さ情報を三次元参照情報として取得する拡大観察装置。
前記高さ情報取得部は、前記表示制御部によりディスプレイ部で表示される画像よりも低倍率で広域画像を撮像する際に、観察対象物の異なる位置における高さ情報を三次元参照情報として取得する拡大観察装置。
【請求項10】
請求項６に記載の拡大観察装置であって、
前記高さ情報取得部は、複数の画像を連結する広域画像の各画像を撮像する際に、観察対象物の異なる位置における高さ情報を三次元参照情報として取得する拡大観察装置。
前記高さ情報取得部は、複数の画像を連結する広域画像の各画像を撮像する際に、観察対象物の異なる位置における高さ情報を三次元参照情報として取得する拡大観察装置。
【請求項11】
請求項６～１０のいずれか一項に記載の拡大観察装置であって、さらに、
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を所定の条件を超えて変化させるか否かを判断する判断部を備え、
前記判断部により所定の条件を超えて変化させると判断したときは、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整しする３Ｄ形状追従モードを実行し、
前記判断部により所定の条件を超えて変化させないと判断したときは、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のなかに当該移動先の視野移動位置に対応する位置の高さ情報が無い場合に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する汎用モードを実行する拡大観察装置。
前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を所定の条件を超えて変化させるか否かを判断する判断部を備え、
前記判断部により所定の条件を超えて変化させると判断したときは、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整しする３Ｄ形状追従モードを実行し、
前記判断部により所定の条件を超えて変化させないと判断したときは、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のなかに当該移動先の視野移動位置に対応する位置の高さ情報が無い場合に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する汎用モードを実行する拡大観察装置。
【請求項12】
請求項１１に記載の拡大観察装置であって、
前記判断部は、前記視野移動中フォーカスシーケンスにおいて、前記汎用モードで算出された高さ情報と、前記３Ｄ形状追従モードで算出された高さ情報を比較し、前記汎用モードで算出された高さ情報が、前記３Ｄ形状追従モードで算出された高さ情報から所定値以上異なる場合に、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を所定の条件を超えて変化させると判断する拡大観察装置。
前記判断部は、前記視野移動中フォーカスシーケンスにおいて、前記汎用モードで算出された高さ情報と、前記３Ｄ形状追従モードで算出された高さ情報を比較し、前記汎用モードで算出された高さ情報が、前記３Ｄ形状追従モードで算出された高さ情報から所定値以上異なる場合に、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を所定の条件を超えて変化させると判断する拡大観察装置。
【請求項13】
請求項６～１２のいずれか一項に記載の拡大観察装置であって、さらに、
前記観察視野に表示された画像に対して、観察対象物の高さ情報に基づいて高さの上限及び下限を自動的に設定した上で深度合成を行うワンショット合成部を備えてなる拡大観察装置。
前記観察視野に表示された画像に対して、観察対象物の高さ情報に基づいて高さの上限及び下限を自動的に設定した上で深度合成を行うワンショット合成部を備えてなる拡大観察装置。
【請求項14】
請求項２～４のいずれか一項に記載の拡大観察装置であって、さらに、
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整し、
前記停止シーケンスにおいて、オートフォーカスを実行する拡大観察装置。
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整し、
前記停止シーケンスにおいて、オートフォーカスを実行する拡大観察装置。
【請求項15】
請求項１４に記載の拡大観察装置であって、
前記停止シーケンスにおいて、オートフォーカスを実行するとともに当該停止位置における観察対象物の高さ情報を取得し、取得した当該高さ情報に基づいて前記三次元参照情報を更新する拡大観察装置。
前記停止シーケンスにおいて、オートフォーカスを実行するとともに当該停止位置における観察対象物の高さ情報を取得し、取得した当該高さ情報に基づいて前記三次元参照情報を更新する拡大観察装置。
【請求項16】
請求項３又は４に記載の拡大観察装置であって、さらに、
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記停止シーケンスにおいて、オートフォーカスを実行中に前記観察視野の移動を検知すると、オートフォーカスを中断し、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する拡大観察装置。
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記停止シーケンスにおいて、オートフォーカスを実行中に前記観察視野の移動を検知すると、オートフォーカスを中断し、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整する拡大観察装置。
【請求項17】
請求項２～４のいずれか一項に記載の拡大観察装置であって、さらに、
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整し、
前記停止シーケンスにおいて、前記三次元参照情報と停止位置における視野範囲とに基づいて上下限を設定し、設定された当該上下限に基づいて深度合成を実行する拡大観察装置。
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、前記視野移動機構で前記表示制御部によりディスプレイ部に表示される観察視野を移動させる際、前記高さ情報取得部により取得した三次元参照情報のうち、当該移動先の視野移動位置に対応する位置の高さ情報に基づいて、前記フォーカス調整機構による前記対物レンズ部の焦点位置と観察対象物との相対距離を調整し、
前記停止シーケンスにおいて、前記三次元参照情報と停止位置における視野範囲とに基づいて上下限を設定し、設定された当該上下限に基づいて深度合成を実行する拡大観察装置。
【請求項18】
請求項１～１７のいずれか一項に記載の拡大観察装置であって、
前記フォーカスシーケンス実行部は、前記視野移動中フォーカスシーケンスにおいて、観察対象物の異なる位置における高さ情報に対し予め定められた幾何形状をフィッティングさせることで前記対物レンズ部の焦点位置の移動面を推定し、視野移動位置と推定された移動面の情報に基づき高さ狙い値を決定し移動させるよう構成してなる拡大観察装置。
前記フォーカスシーケンス実行部は、前記視野移動中フォーカスシーケンスにおいて、観察対象物の異なる位置における高さ情報に対し予め定められた幾何形状をフィッティングさせることで前記対物レンズ部の焦点位置の移動面を推定し、視野移動位置と推定された移動面の情報に基づき高さ狙い値を決定し移動させるよう構成してなる拡大観察装置。
【請求項19】
請求項２～４のいずれか一項に記載の拡大観察装置であって、
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、観察対象物の異なる位置における高さ情報に対し予め定められた幾何形状をフィッティングさせることで前記対物レンズ部の焦点位置の移動面を推定し、視野移動位置と推定された移動面の情報に基づき高さ狙い値を決定し移動させ、
前記停止シーケンスにおいて、オートフォーカスを実行する拡大観察装置。
観察対象物の異なる位置における高さ情報を三次元参照情報として取得する高さ情報取得部を備え、
前記視野移動中フォーカスシーケンスにおいて、観察対象物の異なる位置における高さ情報に対し予め定められた幾何形状をフィッティングさせることで前記対物レンズ部の焦点位置の移動面を推定し、視野移動位置と推定された移動面の情報に基づき高さ狙い値を決定し移動させ、
前記停止シーケンスにおいて、オートフォーカスを実行する拡大観察装置。
【請求項20】
請求項１９に記載の拡大観察装置であって、
前記停止シーケンスにおいて、オートフォーカスを実行するとともに当該停止位置における観察対象物の高さ情報を取得し、取得した当該高さ情報に基づいて前記推定された移動面の情報を更新する拡大観察装置。
前記停止シーケンスにおいて、オートフォーカスを実行するとともに当該停止位置における観察対象物の高さ情報を取得し、取得した当該高さ情報に基づいて前記推定された移動面の情報を更新する拡大観察装置。
【請求項21】
ステージ部に載置された観察対象物を、対物レンズ部を介してカメラ部で撮像してディスプレイ部に表示させ、前記対物レンズ部の焦点位置と観察対象物との相対距離を当該対物レンズ部の光軸に沿ってフォーカス調整機構で変化させて画像データのフォーカスを調整し、前記ステージ部上における前記対物レンズ部の光軸の位置を異ならせて前記ディスプレイ部に出力される観察視野が移動するように前記対物レンズ部の光軸と前記ステージ部とを視野移動機構で相対移動させて観察する拡大画像観察方法であって、
前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる工程と、
前記視野移動機構で前記観察視野を移動中に、前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する工程と、
前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる工程と
を含む拡大画像観察方法。
前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる工程と、
前記視野移動機構で前記観察視野を移動中に、前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する工程と、
前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる工程と
を含む拡大画像観察方法。
【請求項22】
観察対象物を載置するためのステージ部と、
前記ステージ部上の観察対象物に向けて配置される対物レンズ部と、
前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、
前記カメラ部が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させるディスプレイ部と、
前記ステージ部上における前記対物レンズ部の光軸の位置を異ならせて、前記ディスプレイ部に出力される観察視野が移動するように前記対物レンズ部の光軸と前記ステージ部とを相対移動させる視野移動機構と、
前記対物レンズ部の焦点位置と観察対象物との相対距離を当該対物レンズ部の光軸に沿って変化させて画像データのフォーカスを調整するフォーカス調整機構と、
を備える拡大観察装置を操作する拡大画像観察プログラムであって、
前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる機能と、
前記視野移動機構で前記観察視野を移動中に、前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する機能と、
前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる機能と
をコンピュータに実現させる拡大画像観察プログラム。
前記ステージ部上の観察対象物に向けて配置される対物レンズ部と、
前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、
前記カメラ部が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させるディスプレイ部と、
前記ステージ部上における前記対物レンズ部の光軸の位置を異ならせて、前記ディスプレイ部に出力される観察視野が移動するように前記対物レンズ部の光軸と前記ステージ部とを相対移動させる視野移動機構と、
前記対物レンズ部の焦点位置と観察対象物との相対距離を当該対物レンズ部の光軸に沿って変化させて画像データのフォーカスを調整するフォーカス調整機構と、
を備える拡大観察装置を操作する拡大画像観察プログラムであって、
前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる機能と、
前記視野移動機構で前記観察視野を移動中に、前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する機能と、
前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる機能と
をコンピュータに実現させる拡大画像観察プログラム。
【請求項23】
請求項２２に記載のプログラムを格納したコンピュータで読み取り可能な記録媒体又は記憶した機器。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器に関する。
【背景技術】
【0002】
微小物体等の試料やワーク等の被写体を拡大して表示する拡大観察装置として、光学レンズを使った光学顕微鏡やデジタルマイクロスコープ等が利用されている。デジタルマイクロスコープは、光学系を介して入射され、ＸＹステージ上に載置された観察対象物からの反射光又は透過光を、二次元状に配置された画素毎に電気的に読み取るＣＣＤやＣＭＯＳ等の撮像素子で受光し、当該位置における撮像視野の、電気的に読み取られた画像をディスプレイ部に表示する。また、ディスプレイ部上に表示された画像の焦点調整を、Ｚステージや対物レンズ部を移動させるフォーカス調整機構により、対物レンズ部と被写体との相対距離を調整することで行われる。
【0003】
観察視野を移動させる際、すなわちディスプレイ部で表示されたある観察視野から、別の観察視野に変更する際、従来は視野範囲を移動したのち、フォーカスを合わせていた。いいかえると、ＸＹステージの移動による水平方向の観察視野の変更と、Ｚステージや対物レンズ部移動機構の移動による垂直方向のフォーカス調整という２つのステップを個別に実行していた。この方法では、ＸＹステージの移動中、すなわち観察視野を変更している際には、フォーカス調整を行えず、焦点の合った画像をディスプレイ部に表示させることができなかった。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１５－１２７７７０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的の一は、観察視野の変更に応じてフォーカス調整を容易に行えるようにした拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を提供することにある。
【課題を解決するための手段及び発明の効果】
【0006】
本発明の一の態様に係る拡大観察装置によれば、観察対象物を載置するためのステージ部と、前記ステージ部上に載置される観察対象物に向けて配置される対物レンズ部と、前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、前記カメラ部が生成する画像データに基づいて観察対象物の画像をディスプレイ部に表示させる表示制御部と、前記対物レンズ部の焦点位置と観察対象物との相対距離を、前記対物レンズ部の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて画像データのフォーカスを調整するフォーカス調整機構と、前記ステージ部上における前記対物レンズ部の光軸の相対位置を異ならせ、前記カメラ部の観察視野を移動させる視野移動機構と、前記対物レンズ部を介して結像された観察対象物の像を示す画像データの合焦度合いを示す合焦度合特徴量を算出する合焦度合評価部と、前記視野移動機構による前記観察視野の移動中に、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記対物レンズ部の焦点位置と観察対象物との相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、前記表示制御部によりディスプレイ部に観察対象物のライブ画像を表示させるフォーカスシーケンス実行部とを備えることができる。上記構成により、観察視野の移動中でもフォーカス調整を実現できる。
【0007】
また、本発明の他の態様に係る拡大画像観察方法によれば、ステージ部に載置された観察対象物を、対物レンズ部を介してカメラ部で撮像してディスプレイ部に表示させ、前記対物レンズ部の焦点位置と観察対象物との相対距離を当該対物レンズ部の光軸に沿ってフォーカス調整機構で変化させて画像データのフォーカスを調整し、前記ステージ部上における前記対物レンズ部の光軸の位置を異ならせて前記ディスプレイ部に出力される観察視野が移動するように前記対物レンズ部の光軸と前記ステージ部とを視野移動機構で相対移動させて観察する拡大画像観察方法であって、前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる工程と、前記視野移動機構で前記観察視野を移動中に、前記ディスプレイ部で表示される画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する工程と、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記カメラ部と前記対物レンズ部との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる工程とを含むことができる。これにより、観察視野の移動中でもフォーカス調整を実現できる。
【0008】
さらに、本発明の他の態様に係る拡大画像観察プログラムによれば、観察対象物を載置するためのステージ部と、前記ステージ部上の観察対象物に向けて配置される対物レンズ部と、前記対物レンズ部を介して結像された観察対象物の像を撮像して、当該像を示す画像データを生成するカメラ部と、前記カメラ部が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させるディスプレイ部と、前記ステージ部上における前記対物レンズ部の光軸の位置を異ならせて、前記ディスプレイ部に出力される観察視野が移動するように前記対物レンズ部の光軸と前記ステージ部とを相対移動させる視野移動機構と、前記対物レンズ部の焦点位置と観察対象物との相対距離を当該対物レンズ部の光軸に沿って変化させて画像データのフォーカスを調整するフォーカス調整機構とを備える拡大観察装置を操作する拡大画像観察プログラムであって、前記視野移動機構で前記ステージ部と前記対物レンズ部との相対位置における、前記カメラ部が生成する観察対象物を含む画像の観察視野を移動させる機能と、前記視野移動機構で前記観察視野を移動中に、前記ディスプレイ部で表示される画像データの合焦度合いを示す合焦度合特徴量を合焦度合評価部で逐次算出する機能と、前記合焦度合評価部で逐次算出される画像データの合焦度合特徴量に基づいて、前記フォーカス調整機構により前記カメラ部と前記対物レンズ部との相対距離を調整させる視野移動中フォーカスシーケンスを実行し、得られた画像データを観察対象物のライブ画像としてディスプレイ部に表示させる機能とをコンピュータに実現させることができる。上記構成により、観察視野の移動中でもフォーカス調整を実現できる。
【0009】
さらにまた、本発明の他の態様に係るコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納したものである。記録媒体には、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、ＨＤ ＤＶＤ（ＡＯＤ）、Ｂｌｕ－ｒａｙ（商品名）、ＵＨＤ ＢＤ（商品名）、ＵＳＢメモリ、ＳＳＤメモリ等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録媒体にはプログラムを記録可能な機器、例えば上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。また本明細書においてコンピュータで読み取り可能な記録媒体は、非一過性で有形の媒体、又は一過性の伝搬信号を含む。
【図面の簡単な説明】
【0010】
【図1】実施形態１に係る拡大観察装置の外観斜視図である。
【図3】照明部の構成を示す概略図である。
【図4】リング照明の模式図である。
【図5】ナビゲーション領域を含む拡大画像観察プログラムのユーザインターフェース画面を示す模式図である。
【図6】ステージ部と観察対象物、ナビ画像、観察視野の関係を示す模式図である。
【図7】３Ｄナビ画像を登録する手順を示すフローチャートである。
【図8】３Ｄナビ画像登録画面の模式図である。
【図9】３Ｄナビ画像登録画面の模式図である。
【図10】３Ｄナビ画像登録画面の模式図である。
【図11】通常オートフォーカスの手順を示すフローチャートである。
【図12】短距離オートフォーカスの手順を示すフローチャートである。
【図13】実施形態２に係る拡大観察装置のブロック図である。
【図15】３Ｄナビ画像登録画面の模式図である。
【図16】３Ｄナビ画像登録画面の模式図である。
【図17】汎用モードにおけるヘッド部の移動中のシーケンスを示す模式側面図である。
【図18】フォーカス追従処理の詳細を示すフローチャートである。
【図19】３Ｄナビ画像がある場合とない場合にそれぞれフォーカス追従を行う移動中シーケンスを示す模式側面図である。
【図20】フォーカスジャンプ機能付きフォーカス追従を示す模式側面図である。
【図21】オフセット機能付きフォーカス追従を示す模式側面図である。
【図22】図２２Ａはオートフォーカス実行時のフォーカス枠を示す模式図、図２２Ｂはオートフォーカス未実行時のフォーカス枠を示す模式図、図２２Ｃは図２２Ａと異なる合焦制御によるオートフォーカス実行時のフォーカス枠を示す模式図である。
【図23】フォーカス追従実行中における各命令と動作の関係を示すタイミングチャートである。
【図25】平面フィット機能を示すユーザインターフェース画面である。
【図26】フレームスキップ付き通常オートフォーカスの手順を示すフローチャートである。
【図27】フレームスキップ付き短距離オートフォーカスの手順を示すフローチャートである。
【図28】フレームスキップの手順を示すフローチャートである。
【図29】探索オートフォーカス時のヘッド部の動作を示す模式斜視図である。
【図30】探索オートフォーカスの動作を示すタイミングチャートである。
【図31】フォーカス追従モードの手順を示すフローチャートである。
【図32】ワンショット合成の手順を示すフローチャートである。
【図33】実施形態３に係る拡大観察装置を示す正面図である。
【図34】実施形態４に係る拡大観察装置を示す側面図である。
【図36】深度画像合成の様子を示す模式図である。
【図37】オフセット処理の実行可否を説明する模式図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を例示するものであって、本発明は拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものではない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
【0012】
本発明の実施例において使用される拡大観察装置とこれに接続される操作、制御、表示、その他の処理等のためのコンピュータ、プリンタ、外部記憶装置その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ－２３２ｘやＲＳ－４２２、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ－Ｔ、１００ＢＡＳＥ－ＴＸ、１０００ＢＡＳＥ－Ｔ等のネットワークを介して電気的、あるいは磁気的、光学的に接続して通信を行う。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．ｘ等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。なお本明細書において拡大観察装置及び拡大画像観察方法とは、拡大観察装置本体のみならず、これにコンピュータ、外部記憶装置等の周辺機器を組み合わせた拡大観察システムも含む意味で使用する。
【0013】
また、本明細書において拡大観察装置は、拡大観察を行うシステムそのもの、ならびに撮像に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで撮像そのものあるいはこれに関連する処理を可能とした装置やシステムも、本発明の拡大観察装置に該当する。また本明細書においてコンピュータには、汎用あるいは専用の電子計算機の他、ワークステーション、端末その他の電子デバイスも包含する。さらに本明細書においてプログラムとは、単体で使用されるものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
［実施形態１］
［実施形態１］
【0014】
以下、図１～図２を用いて、本発明の実施形態１に係る拡大観察装置１００を説明する。拡大観察装置１００は、図１に示すように撮像系１と制御系２に大別される。撮像系１は、観察対象物ＷＫである試料やサンプル、ワークその他の被写体を照明するための照明部６０と、照明部６０により照明された観察対象物ＷＫを撮像するヘッド部４を備える。ヘッド部４は、図２に示すように撮像素子１２を含むカメラ部１０と、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０とを備える。顕微鏡レンズ部２０は複数枚の光学レンズで構成された撮像光学系（レンズ光学系）１１を構成する。ここでは、図３に示すように顕微鏡レンズ部２０は対物レンズ部２５を含んでいる。またヘッド部４は、照明光の反射光又は透過光を受光する撮像手段として機能する。
【0015】
また拡大観察装置は、フォーカス調整機構を備える。フォーカス調整機構は、対物レンズ部２５等の光学撮像系の焦点位置と観察対象物との相対距離を、この光学撮像系の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させて、画像データのフォーカスを調整する。フォーカス調整機構は、例えば上Ｚステージ等の上Ｚ昇降器１６や下Ｚステージ等の下ステージ昇降器３５で構成される。フォーカス調整機構は、ヘッド部４を光学撮像系の光軸に沿って移動させるものであってもよく、対物レンズ部２５をヘッド部４に対して光学撮像系の光軸に沿って移動させるものであってもよい。また、対物レンズ部２５内のレンズを光学撮像系の光軸に沿って移動させるものであってもよい。さらに、対物レンズ部２５のレンズとして液体レンズ等の可変焦点レンズを備える場合、制御回路により液体レンズ等の焦点を制御することで、対物レンズ部２５等の光学撮像系の焦点位置と観察対象物との相対距離を、この光学撮像系の光軸に沿って互いに近付く方向又は遠ざかる方向のいずれかに移動させてもよい。フォーカス調整機構は、フォーカス調整機構や制御回路により焦点制御される液体レンズ等を含む。
（カメラ部１０）
（カメラ部１０）
【0016】
カメラ部１０は、図３に示すように、照明部６０により照明された観察対象物ＷＫから、撮像光学系１１を介して入射する反射光を電気的に読み取る撮像素子１２を備える。撮像素子１２は、この例ではＣＭＯＳを利用しているが、ＣＣＤ等、他の受光素子も利用できる。対物レンズ部２５は、ステージ部３０上の観察対象物に向けて配置されている。またカメラ部１０は、対物レンズ部２５を介して結像された観察対象物の像を撮像して、この像を示す画像データを生成する。
【0017】
また撮像系１は、観察対象物ＷＫを載置するステージ部３０と、このステージ部３０とヘッド部４との光軸方向における相対距離を変化させ焦点を調整する第一焦点調整部としてＺ上ステージ及びこのＺ上ステージを駆動するための上Ｚ昇降器１６とを備える。このステージ部３０上に載置された観察対象物ＷＫに対して、撮像光学系１１を介して入射され、観察対象物ＷＫで反射された反射光又は観察対象物ＷＫの底面側から照射された透過光を、カメラ部１０の撮像素子１２で電気的に読み取る。
【0018】
さらに制御系２は、カメラ部１０で撮像された拡大画像を表示するディスプレイ部７０を有する本体部５０を備える。カメラ部１０は、ケーブル部３を介して本体部５０と接続される。ディスプレイ部７０は、カメラ部１０が生成する画像データに基づいて観察対象物を含む観察視野の画像を表示させる。なお図１の例では、ディスプレイ部７０を本体部５０と一体に設けているが、ディスプレイ部を本体部と別部材とすることもできる。例えば本体部５０は、ディスプレイ部７０に表示させる表示内容を生成する表示制御部５２に加えて、本体部５０にディスプレイ部７０を接続するディスプレイ接続インターフェースを備えることができる。
【0019】
また本体部５０は、プロセッサ部８０を備えている。プロセッサ部８０は、図２のブロック図に示すように、複数の機能を実現する（詳細は後述）。本体部５０は、汎用のコンピュータに専用のプログラムをインストールしたものや、専用に設計された機器が利用できる。この例では、汎用のコンピュータに拡大観察装置を操作する拡大画像観察プログラムをインストールしたものを本体部として利用している。この本体部５０は、プロセッサ部８０と、表示制御部５２と、ストレージ部５３と、インターフェース５４と、操作部５５と、メモリ部５６を備える。
【0020】
またケーブル部３は、カメラ部１０の撮像素子１２で得られた画像情報を保体部５０側に伝達するための電気的ケーブルである。また電気的ケーブルに加えて、照明光を本体部５０からヘッド部４側に伝達するための光学的ケーブルを含めてもよい。この場合ケーブル部３は、電気的ケーブルと光学的ケーブルと統合することもできるし、これらを個別に設けることもできる。
（ディスプレイ部７０）
（ディスプレイ部７０）
【0021】
ディスプレイ部７０は液晶ディスプレイや有機ＥＬ、ＣＲＴ等のモニタが利用できる。また本体部５０は、ユーザが各種操作を行うための操作部５５を接続している。操作部５５はコンソールやマウス等の入力デバイスである。なおこの例においてもディスプレイ部７０や操作部５５は、本体部５０と一体的に組み込むことも、外付けの部材とすることもできる。さらにディスプレイ部７０をタッチパネルで構成すれば、ディスプレイ部７０と操作部５５を一体に構成することもできる。
【0022】
操作部５５は本体部５０又はコンピュータと有線もしくは無線で接続され、あるいはコンピュータに固定されている。一般的な操作部５５としては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの操作部５５は、拡大観察用操作プログラムの操作の他、拡大観察装置自体やその周辺機器の操作にも利用できる。さらに、インターフェース画面を表示するディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、又は音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。図１の例では、操作部５５はマウスとキーボード、ジョイスティック５５ｂで構成される。
（照明部６０）
（照明部６０）
【0023】
照明部６０は、撮像素子１２に結像される観察対象物ＷＫを照明する照明光を生成する。照明部６０の概略構成を図３に示す。照明部６０は、照明制御部６６を備えている。照明制御部６６は、設定された照明条件に従って照明光を制御する。照明条件は、照明部６０から照射される照明光の明るさを調整する。例えば、照明部６０の照射時間や照射強度を調整することで、照明光の明るさを調整できる。照明部６０は光源としてＬＥＤを含んでもよい。照明制御部６６により光源の発光を制御してもよく、シャッターのような遮光部材により照射光の明るさを制御してもよい。
【0024】
照明には、落射照明であるリング照明（暗視野照明）や同軸照明（明視野照明）等が利用できる。また照明部６０の照明方式としては、透過照明、微分干渉照明等が適宜利用できる。落射照明とは、観察対象物の上方から観察対象物に照明光を落とす照明方法であり、リング照明や同軸照明等が含まれる。同軸照明とリング照明とでは、観察対象物への入射角度が異なり、影の生じ方が変化する。これらは観察対象に応じて使い分けることができる。また、カメラ部１０の先端に着脱自在に装着される顕微鏡レンズ部２０や顕微鏡レンズ部２０に着脱自在に装着される対物レンズ部２５は、同軸照明とリング照明の双方に対応したもの、同軸照明のみに対応したもの、リング照明のみに対応したものであってもよい。透過照明は、観察対象物に対し下方から照明光を照射する照明方法である。図３の例では、照明部６０は、同軸落射照明部６２と、リング照明部６３を備える。同軸落射照明部６２は、ビームスプリッタ６１を介して対物レンズ部２５の光軸ＡＸと平行となるように折曲されている。なお照明部６０は、ヘッド部４に組み込み式としたり、ヘッド部４と脱着可能な別体とする構成のいずれも採用できる。また照明部６０の光源は、同軸落射照明部６２や、リング照明部６３にそれぞれＬＥＤやＬＤ等を設ける他、共通の照明光源を本体部５０に内蔵して、光学的ケーブルを介して照明光がヘッド部の照明部に伝達されるようにしてもよい。
【0025】
同軸照明やリング照明は、偏射照明を備えることもできる。このような偏射照明機能を備えた同軸照明とリング照明の一例を、図４の模式図に示す。この図に示す照明部６０は、内輪側に配置された円環状の同軸落射照明部６２と、外輪側に配置された同じく円環状のリング照明部６３を備える。同軸落射照明部６２、リング照明部６３とも、円周上に沿って部分的に分割されており、分割されたブロック毎に点灯を切り替えることで、照明方向を変えた偏射照明が可能となる。
【0026】
このように照明部６０は、観察対象物に向けて照明光を照射する照射方向を切り替え可能としている。また照明部６０は、照明光を照射する照明方向に順次切り替えて照射する第一照明パターンと、この第一照明パターンを構成する複数の照明方向のいずれかで照明する第二照明パターンのいずれかで照明することを可能としている。このような照明パターンの切り替えは、照明制御部６６で行われる。
【0027】
図４の例では、リング照明部６３を、４つの照明ブロック６３ａ、６３ｂ、６３ｃ、６３ｄに分割して、各照明ブロック６３ａ～６３ｄを個別に点灯可能としている。これら照明ブロック６３ａ～６３ｄのいずれかを点灯させ、他を消灯することで、照明光が観察対象物に向かって照射される照明方向を変更することができる。なおリング照明部の分割数は４に限定されず、３以下や５以上としてもよい。観察用途等に応じて適宜変更できる。第一照明パターンにおける各照明ブロック６３ａ～６３ｄの点灯順序は予め定められており、たとえば時計回りに順次点灯したり、８の字を描くように順次点灯したりする。第一照明パターンにおける各照明ブロック６３ａ～６３ｄの点灯順序は、点灯順序情報としてメモリ部５６に記憶されてもよい。また第一照明パターンは顕微鏡レンズ部２０や対物レンズ部２５に応じて同軸落射照明部６２の各照明ブロックを順次点灯させるか、リング照明部６３の各照明ブロックを順次点灯させるか、同軸落射照明部６２の各照明ブロックとリング照明部６３の各照明ブロックを順次点灯させるかが選択されてもよい。たとえば、リング照明を優先して使用するようにしてもよく、この場合、同軸照明のみに対応した対物レンズ部２５を使用する際は、第一照明パターン用の照明として同軸落射照明部６２が選択され、同軸照明とリング照明の双方に対応した対物レンズ部２５を使用する際は、第一照明パターン用の照明としてリング照明部６３が選択されてもよい。
（照明制御部６６）
（照明制御部６６）
【0028】
照明制御部６６は、照明光の制御を第一シーケンスと第二シーケンスに切り替え可能としている。第一シーケンスでは、照明部６０を第一照明パターンで動作させる。またディスプレイ部７０には、第一照明パターンで照明された観察対象物のライブ画像を表示させる。この第一シーケンスを、サーチライティングとも呼ぶ（詳細は後述）。また第二シーケンスでは、照明部６０を、特徴量算出部８８で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により第二照明パターンで動作させる（詳細は後述）。またディスプレイ部７０には、第二照明パターンで照明された観察対象物の画像を表示させる。これにより、観察対象物の表面の状態が確認し易くなる照明方向を自動で選択して表示させることが可能となる。例えば、リアルタイムで照明方向を変化させて、観察対象物の表面の凹凸状態や傷、打痕などの見落としの少ない観察環境が実現される。
【0029】
照明制御部６６は、視野移動軌跡に沿って観察視野を移動させる際には、照明部６０を第一照明パターンで照射させる。これにより、観察視野の移動中に照明方向を自動で変化させることができ、観察対象物の表面状態を異なる照明で観察することが可能となり、傷や欠け等を見つけ易くできる。また照明制御部６６は、視野移動機構５による観察視野の移動を停止させた際には、バッファメモリ５７に保持された照明方向の異なる複数の画像データを解析して、傷が最も鮮明となる照明方向の画像を選択し、照明部６０を当該照明方向に固定した第二照明パターンで照射させる。これにより、観察視野の移動を停止させると、最も傷の見やすい照明方向の画像データが表示されるようになり、傷の探索に好適な観察が実現される。
【0030】
図１に示す照明部６０は、観察対象物ＷＫに同軸落射光を照射するための同軸落射照明部６２（図３参照）と、リング状の光源からリング状照明光を照射するためのリング照明部６３を備えている。これらの照明は、ケーブルを介して本体部５０と接続される。本体部５０はケーブルを接続するコネクタを備える。またリング照明部６３は、全周照明と側射照明を切り替えることができる。これを実現するため、リング照明部６３として複数のＬＥＤを環状に配置し、一部のＬＥＤをＯＮ／ＯＦＦする構成や、照明光の一部をカットするターレット式のマスクを配置する構成等が利用できる。これら照明光の点灯制御や切り替えは、照明制御部６６で行われる。
（視野移動機構５）
（視野移動機構５）
【0031】
また拡大観察装置１００は、ディスプレイ部７０に表示される観察視野を移動させる視野移動機構５を備えている。視野移動機構５は、ステージ部３０の載置面上における対物レンズ部２５の光軸ＡＸの位置を異ならせるため、対物レンズ部２５とステージ部３０の相対位置を変化させる。視野移動機構５で対物レンズ部２５とステージ部３０の相対位置を移動させると、ディスプレイ部７０には、移動後の観察視野に更新された像を表示させることができる。図１の例では視野移動機構５として、ステージ部３０を移動させるＸＹステージを採用している。ただ、本発明はこれに代えて、あるいはこれに加えて、対物レンズ部側を移動させる視野移動機構を採用してもよい。視野移動機構は、光軸側から見た対物レンズ部とステージ部の相対位置、すなわちＸＹ平面内の観察視野を移動させることができれば足りる。
【0032】
ＸＹステージは、ステージ部３０の載置面をＸ軸方向およびＹ軸方向に移動可能な電動ステージである。また視野移動機構５は、ステージ部３０を回転可能なθステージを備えることもできる。
【0033】
さらにステージ部３０は、視野移動機構５によるＸＹ平面内でのステージ部３０の移動に加えて、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動も可能としている。
【0034】
ここで下ステージ昇降器３５の動作について説明する。本体部５０は、モータ制御回路３６に対してステッピングモータ３７の制御に関する制御データを入力することによって、ステージ部３０と、撮像光学系１１および撮像素子１２を有するヘッド部４との光軸方向における相対距離、ここではｚ方向における高さを変化させる。具体的には、本体部５０は、下ステージ昇降器３５の制御に必要な制御データをモータ制御回路３６に入力することによってステッピングモータ３７の回転を制御し、ステージ部３０の高さｚ（ｚ方向の位置）を昇降させる。ステッピングモータ３７は、回転に応じた回転信号を生成する。本体部５０は、モータ制御回路３６を介して入力される回転信号に基づいて、ステージ部３０と撮像光学系１１の光軸方向における相対距離に関する情報としてのステージ部３０の高さｚを記憶する。このステージ部３０は、観察対象物ＷＫに対して観察位置の位置決めを行う観察位置決め手段として機能する。
【0035】
さらに本実施形態においては、ステージ部３０の高さを変化させることによってステージ部３０と撮像光学系１１の光軸方向における相対距離を変化させるのみならず、撮像光学系の高さ、すなわちヘッド部４の高さも変化可能としている。ヘッド部４は本体部５０とケーブル部３により接続される。これにより、ヘッド部４で取得したデータはケーブル部３を介して本体部５０に送出され、本体部５０側で必要な処理を行うことができる。なおステージ部は顕微鏡本体に設ける他、本体と別部材としたヘッド部に設けたり、あるいはステージを省略した撮像部をヘッド部に設けることもできる。ステージを省略した撮像部は、取り付けスタンドに装着したり、ユーザが手持ち可能とすることもできる。
【0036】
撮像素子１２は、ｘ方向およびｙ方向に２次元状に配置された画素毎に受光量を電気的に読み取ることができる。撮像素子１２上に結像された観察対象物ＷＫの像は、撮像素子１２の各画素において受光量に応じて電気信号に変換され、撮像素子制御回路１３においてさらにデジタルデータに変換される。本体部５０は、撮像素子制御回路１３において変換されたデジタルデータを受光データＤとして、光軸方向（図２中のｚ方向）とほぼ垂直な面内（図２中のｘ、ｙ方向）における観察対象物ＷＫの２次元位置情報としての画素の配置情報（ｘ、ｙ）と共にストレージ部５３に記憶する。ここで、光軸方向とほぼ垂直な面内とは、厳密に光軸に対して９０°をなす面である必要はなく、その撮像光学系および撮像素子１２における解像度において観察対象物ＷＫの形状を認識できる程度の傾きの範囲内にある観察面であればよい。
【0037】
また、以上の説明ではステージ部３０の一例として、観察対象物ＷＫがステージ部３０に載置される例を示したが、例えばステージ部の代わりにアームを取り付け、その先端に観察対象物ＷＫを固定する構成とすることもできる。さらにヘッド部４は、カメラ取り付け部４３に装着して使用する他、脱着可能として手持ち等の方法により所望の位置、角度に配置することもできる。
（移動方向指示部５５ａ）
（移動方向指示部５５ａ）
【0038】
制御系２は、操作部５５を設けている。操作部５５は、本体部５０に接続された入力デバイスである。操作部５５は、ディスプレイ部７０における観察視野の移動方向を示すユーザ入力を受け付ける移動方向指示部５５ａとして機能する。この操作部５５から入力された方向に従い、視野移動機構５の移動方向が指示される。この操作部５５には、ジョイスティックやタッチパッド、マウス、キーボード（矢印キーあるいは特定のキー）などが利用できる。特に操作部５５としてジョイスティック５５ｂを利用することで、ユーザは、ジョイスティック５５ｂを倒す方向によって観察視野の移動方向を感覚的に指示し易くなる。またジョイスティック５５ｂを垂直姿勢から傾斜させる角度によって移動速度を指定することもできる。
【0039】
さらにまたステージ部３０は、下ステージ昇降器３５による高さ方向、すなわちＺ方向への移動に加えて、平面内での移動も可能としている。具体的には、Ｘ軸方向およびＹ軸方向に移動可能なＸＹステージを備える。また、ステージ部３０を回転させる回転可能なステージ（θステージ）を備えることもできる。
【0040】
なお、この例では上Ｚ昇降器１６、及び下ステージ昇降器３５を共に電動駆動とした例を説明した。ただ本発明では、対物レンズ部２５の焦点位置とステージ部３０のそれぞれの相対距離が取得できておれば足り、上Ｚ昇降器及び下ステージ昇降器が共に電動駆動であることは必須でない。例えば上Ｚ昇降器と下ステージ昇降器のいずれか一方を手動で駆動させるように構成してもよい。
【0041】
本体部５０は、図２のブロック図に示すように、プロセッサ部８０と、表示制御部５２と、ストレージ部５３と、インターフェース５４と、操作部５５と、メモリ部５６を備える。この拡大観察装置１００は、撮像光学系１１を介して入射するステージ部３０に固定された観察対象物ＷＫからの反射光又は透過光を電気的に読み取る撮像素子１２を用いて観察像を撮像し、ディスプレイ部７０に表示させる。
【0042】
ストレージ部５３は、表示制御部５２によりディスプレイ部７０に表示される画像データを静止画像や動画像として保存する等、記憶部として機能する。またストレージ部５３は、異なる観察対象物に対して、それぞれ画像処理部８４により生成された合成画像の画像データと、この合成画像の撮像時の条件に関する情報を一以上含む条件データとを関連付けて保存する。
【0043】
インターフェース５４は、本体部５０がヘッド部４や下ステージ昇降器３５等とデータを通信するため接続部である。メモリ部５６は、ＲＡＭやＲＯＭなどで構成される。このメモリ部５６は、視野移動機構５の移動中にカメラ部１０で撮像された、照明方向の異なる画像データを逐次保持するバッファメモリ５７を含んでいる。操作部５５は、カメラ部１０で画像を撮像する際の条件を設定するための撮像条件や、その他の必要な各種の設定や操作を行うための部材でもある。
【0044】
バッファメモリ５７は、第一シーケンスでディスプレイ部７０に表示される、照明方向の異なる複数の画像データをそれぞれ一時的に保持する。バッファメモリ５７にバッファリングされる画像データは、照明方向を決定する際に使用されるため、各照明方向に対応又は関連付けて保持される。なお、バッファメモリ５７のサイズは、少なくとも一サイクル分の画像データを保持できれば足り、次のサイクルの際には画像データを上書きしてもよい。ここで一サイクルとは、第一照明パターンに含まれる異なる種類の各照明を一巡する期間を指し、一サイクル内に第一照明パターンに含まれる異なる種類の各照明が少なくとも１回は点灯する。要するに、一サイクル以上の期間、画像データをバッファメモリに５７にバッファリングすることで、照明方向を決定する際に十分な画像データをバッファリングすることができる。
【0045】
特徴量算出部８８は、領域指定部により領域が指定された時点で、バッファメモリ５７に、照明方向の異なる複数の画像データが保持されている場合は、この保持された各画像データに対し、指定された領域内の当該画像データの特徴量をそれぞれ算出して、いずれかの照明方向を選択し、第一シーケンスから第二シーケンスに移行する。画像データの特徴量としては輝度の分散、コントラスト値等が利用できる。これにより、照明方向を順次切り替えながら画像データをバッファメモリ５７に蓄えておき、ユーザが所望の領域を指定したタイミングで、既に蓄えられた画像データを利用して照明方向を選択できるので、新たな画像データの撮像まで待つことなく速やかに適切な照明方向への切り替えが実現される。領域指定部により領域が指定された時点で、バッファメモリ５７に、一サイクルに満たない期間の画像データが保持されている場合や画像データが保持されていない場合は、一サイクルに対応する画像データがバッファメモリ５７にバッファリングできるまで第一シーケンスを維持した後、特徴量算出部８８は、バッファメモリ５７に保持された各画像データに対し、指定された領域内の当該画像データの特徴量をそれぞれ算出して、いずれかの照明方向を選択し、第一シーケンスから第二シーケンスに移行する。
（表示制御部５２）
（表示制御部５２）
【0046】
表示制御部５２は、カメラ部１０が生成する画像データをディスプレイ部７０に出力する。ディスプレイ部７０は、表示制御部５２から出力される観察視野の画像データを表示させる。この表示制御部５２は、ＧＰＵなどで構成できる。図２の例では、表示制御部５２をプロセッサ部と別部材で構成した例を説明している。このような表示制御部５２は、例えばＧＰＵで構成される。ただ本発明はこの構成に限られず、表示制御部５２をプロセッサ部に組み込んでもよい。例えばプロセッサを構成するＣＰＵやＭＰＵに、表示制御部５２を統合してもよい。
（プロセッサ部８０）
（プロセッサ部８０）
【0047】
このプロセッサ部８０は、移動制御部８３、画像処理部８４、フォーカス制御部９０、高さ情報取得部８９、特徴量算出部８８、判断部９７、ワンショット合成部９８等の機能を実現する。移動制御部８３は、移動方向指示部５５ａによる移動方向の指示に従い、視野移動機構５の移動を制御する。フォーカス制御部９０は、フォーカス調整機構を制御して画像のフォーカス調整を行う。例えば自動で焦点を合わせるオートフォーカスを実行する。フォーカス制御部９０は、合焦度合評価部９１と、フレームスキップ部９２、移動停止検知部９４、フォーカスシーケンス実行部９３等の機能を実現する。合焦度合評価部９１は、表示制御部５２によりディスプレイ部７０で表示される画像データの合焦度合いを示す合焦度合特徴量を算出する。
【0048】
フレームスキップ部９２は、フォーカス調整機構により光軸方向に沿って遠近いずれかの方向に移動させる際、合焦度合評価部９１で逐次算出される、フォーカス調整機構による移動後の画像データの合焦度合特徴量が、ディスプレイ部７０で表示されている移動前の画像データの合焦度合特徴量との比較に基づいて、表示制御部５２によるディスプレイ部７０におけるライブ表示の更新をスキップさせる。これにより、フォーカス調整機構でフォーカスを調整する際、合焦度合特徴量がよくなった画像が得られた場合にのみディスプレイ部７０の表示内容が更新される。
【0049】
またフレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、合焦度合評価部９１で逐次算出される、フォーカス調整機構による移動後の画像データの合焦度合特徴量が、ディスプレイ部７０で表示されている移動前の画像データの合焦度合特徴量よりも悪化している場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させない。これにより、従来のオートフォーカス実行時に焦点が一時的に合わなくなる表示に切り替わるストレスがなく、快適な焦点調整が実現される。
【0050】
ここで、合焦度合特徴量は、画像の合焦度合いを示す指標であり、フォーカス値や位相差など、既知のパラメータが使用できる。例えば画像データに基づいて演算されたコントラスト等のフォーカス値を用いることができる。この場合、フレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、合焦度合評価部９１で逐次算出される、移動機構による移動後の画像データのフォーカス値が、ディスプレイ部７０で表示されている移動前の画像データのフォーカス値との比較に基づいて、表示制御部５２によるディスプレイ部７０の表示内容を更新させる。これにより、専用のセンサ等を用いることなく画像データから得られるコントラスト等のフォーカス値に基づいてオートフォーカスを実行できる。
【0051】
また合焦度合特徴量として、位相差を用いる場合は、オートフォーカス用センサを設けて、合焦位置と現在の位置との差を検出する。この場合、フレームスキップ部９２は、フォーカス調整機構で画像のフォーカスを調整する際、オートフォーカス用センサで位相差が逐次測定される。フォーカス調整機構による移動後の測定値が合焦位置との対比において、ディスプレイ部７０で表示されている移動前の測定値よりも向上された場合に、表示制御部５２によるディスプレイ部７０の表示内容を更新させる。この方法であれば、Ｚ方向の移動を必要としないので、高速なオートフォーカスが実現される。
【0052】
フォーカスシーケンス実行部９３は、視野移動機構５による観察視野の移動中に、観察視野のＸＹ位置に関する情報に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスを実行して得られた画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させる。
【0053】
移動停止検知部９４は、観察視野の移動又は停止を検知する部材である。移動停止検知部９４により観察視野の移動を検知すると、カメラ部１０により観察視野の移動中に撮像されて生成された画像データ、及び観察視野のＸＹ位置に関する情報の少なくとも一方に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスを実行する。そしてカメラ部１０により観察視野の移動中に撮像されて生成された画像データに基づいて、表示制御部５２によりディスプレイ部７０に観察対象物のライブ画像を表示させる。一方で、移動停止検知部９４により観察視野の移動の停止を検出すると、視野移動中フォーカスシーケンスを終了し、フォーカス調整機構による対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離の調整を停止させる停止シーケンスを実行する。このようにして、従来は観察視野の移動中には行えなかったフォーカス調整を実現できる。
【0054】
移動停止検知部９４は、一の部材で観察視野の移動状態と停止状態を共に検知する他、観察視野の移動状態を検知する移動検知部と、観察視野の移動の停止状態を検知する停止検知部を、それぞれ用意してもよい。
【0055】
照明制御部６６により第一シーケンスを実行中に、観察視野のＸＹ位置に関する情報に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスを実行する際は、照明部６０を第一照明パターンで動作させ、移動停止検知部９４により観察視野の移動の停止状態を検知すると、視野移動中フォーカスシーケンスを終了し、停止シーケンスを実行する。停止シーケンスにおいて、たとえばオートフォーカスを実行するときは、照明部６０を同軸落射照明部６２やリング照明部６３等を全点灯する全射照明に一時的に切り替えて、オートフォーカス完了後に再び照明部６０を第一照明パターンで動作させる。移動停止検知部９４により観察視野の移動状態を検知すると、照明制御部６６により照明部６０を第一照明パターンで動作させたまま、フォーカスシーケンス実行部９３視野移動中フォーカスシーケンスを実行する。
【0056】
また画像処理部８４は、複数枚の画像から画像を合成する機能（合成画像モード）を実現する。例えば焦点深度の浅い画像に対して、焦点位置を変えながら撮影した複数枚の画像のうち、焦点情報から合焦部位のみを合成して焦点深度の深い画像（深度合成画像）を得ることができる。また、いわゆる超解像技術により解像を高めた画像やダイナミックレンジを広げた画像を取得することもできる。このように画像処理部８４で生成される合成画像には、深度合成画像、３Ｄ合成画像、画素ずらし画像、超解像画像、ＨＤＲ画像等が挙げられる。さらに画像処理部８４に、観察対象物に対して計測を行う機能を持たせてもよい。例えばいくつかの計測を実行するボタンを並べた計測ツールを画像上に表示させて、表示された画像に対してボタンを操作して所望の計測を行うことができる。
【0057】
照明制御部６６により第一シーケンスを実行中に、照明部６０を第一照明パターンで動作させながらライブ画像を表示し、第二シーケンスでは、照明部６０を、特徴量算出部８８で算出された各画像データの特徴量に基づいて選択されたいずれかの照明方向により第二照明パターンで動作させて、画像処理部８４は、複数枚の画像から画像を合成する機能（合成画像モード）を実現する。またディスプレイ部７０には、第二照明パターンで照明された観察対象物の深度合成画像、３Ｄ合成画像、画素ずらし画像、超解像画像、ＨＤＲ画像等の合成画像を表示させる。
【0058】
第一シーケンスから第二シーケンスへの移行は、合成画像モードの実行指示を契機としてもよいし、予め画像合成モードを設定した後、領域指定部によるＲＯＩの指定を契機としてもよい。
【0059】
高さ情報取得部８９は、観察対象物ＷＫの異なるＸＹ位置における高さ情報を三次元参照情報として取得するもので、たとえば観察対象物ＷＫの高さ画像データを取得する部材である。視野移動機構５で表示制御部５２によりディスプレイ部７０に表示される観察視野を移動させる際、高さ情報取得部８９により取得した三次元参照情報のうち、移動先の視野移動位置に対応するＸＹ位置の高さ情報に基づいて、フォーカス調整機構を調整して焦点位置を調整することが可能となる。ここで高さ情報は、ステージ部３０の載置面からのｚ方向の位置を示すものである。このような構成により、予め観察対象物ＷＫの三次元情報である高さ画像データを取得しておくことで、この高さ画像データの高さ情報に基づいてフォーカス調整を行うことが可能となり、観察視野を移動させる際に、焦点の合った画像データをディスプレイ部７０に表示させることが可能となる。高さ情報取得部８９は例えば、低倍の対物レンズ部２５により撮像された三次元情報付きの広域画像データに対して、三次元参照情報としてＸＹ位置に対応する高さ情報を取得する。高さ情報取得部８９は例えば、後述するナビ画像等の予め撮像された三次元情報付きの広域画像データに対して、三次元参照情報としてＸＹ位置に対応する高さ情報を取得することができる。なおフォーカス調整機構は、高さ情報取得部８９で取得した高さ情報が含まれていない部位を表示させる際に、この部位の周囲の高さ情報に基づいて推定された高さ情報に基づいて、フォーカス調整を行うように構成してもよい。ステージ部３０の載置面が固定されている場合等、ステージ部３０の載置面の移動を考慮しない場合は、高さ情報は必ずしもステージ部３０の載置面からのｚ方向の位置である必要はなく、たとえば拡大観察装置の装置座標系のｚ方向の位置であってもよい。
【0060】
さらにフォーカス調整機構は、視野移動機構で観察視野を移動させている際の画像データに基づいて、合焦度合特徴量の変化により移動方向を決定し移動するよう構成してもよい。これにより、視野移動機構で視野を移動させる際にも、焦点の合った画像データをディスプレイ部に表示させることができる。
【0061】
さらにまたフォーカス調整機構は、予め定められた幾何形状を測定値から推定し、視野移動位置と推定情報に基づき高さ狙い値を決定し移動するよう構成してもよい。ここで予め定められた幾何形状には、平面、球面、円筒、円錐、パラボラ形状等が利用できる。
【0062】
照明制御部６６により第一シーケンスを実行中に、予め定められた幾何形状を用いた視野移動中フォーカスシーケンスをフォーカス調整機構より実行する際は、照明部６０を第一照明パターンで動作させ、予め測定された各ＸＹ位置における観察対象物ＷＫの高さ情報と平面形状等の幾何形状とに基づいて焦点位置を調整する。移動停止検知部９４により観察視野の移動の停止状態を検知すると、視野移動中フォーカスシーケンスを終了し、停止シーケンスを実行する。停止シーケンスにおいて、観察対象物ＷＫの高さ情報の測定とオートフォーカスとを実行する際、照明部６０を同軸落射照明部６２やリング照明部６３等を全点灯する全射照明に一時的に切り替えて、高さ情報の測定とオートフォーカス完了後に再び照明部６０を第一照明パターンで動作させる。測定された高さ情報に基づいて三次元参照情報は更新される。移動停止検知部９４により観察視野の移動状態を検知すると、照明制御部６６により照明部６０を第一照明パターンで動作させたまま、フォーカスシーケンス実行部９３視野移動中フォーカスシーケンスを実行する。
【0063】
さらにフォーカス調整機構は、視野移動機構による観察視野の移動が停止された際に、停止シーケンスに移行して、停止シーケンスとして自動でオートフォーカス制御を実行するよう構成してもよい。またフォーカス調整機構は、オートフォーカス中止の指示があった際に、オートフォーカス制御を直ちに停止するよう構成してもよい。たとえば、オートフォーカス制御を実行中に、視野移動機構による観察視野の移動が再開したのを契機としてオートフォーカス中止し、視野移動中フォーカスシーケンスを実行してもよい。この際、視野移動中フォーカスシーケンスが、カメラ部１０により観察視野の移動中に撮像されて生成された画像データに基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスの場合、中止されたオートフォーカスによりフォーカス値が最大となる相対距離に向けてフォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整する。また、視野移動中フォーカスシーケンスが、高さ情報取得部８９により取得した三次元参照情報のうち、移動先の視野移動位置に対応するＸＹ位置の高さ情報に基づいて、フォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整させる視野移動中フォーカスシーケンスの場合、三次元参照情報に基づく移動先の視野移動位置に対応する相対距離に向けてフォーカス調整機構により対物レンズ部２５等の光学撮像系の焦点位置と観察対象物ＷＫとの相対距離を調整する。これにより、オートフォーカスを中止した際も極力焦点の合った状態で観察を継続することができる。
【0064】
判断部９７は、視野移動機構５で表示制御部５２によりディスプレイ部７０に表示される観察視野を移動させる際、高さ情報取得部８９により取得した三次元参照情報のうち、移動先の視野移動位置に対応する位置の高さ情報に基づいて、フォーカス調整機構により対物レンズ部２５の焦点位置と観察対象物との相対距離を所定の条件を超えて変化させるか否かを判断する。またワンショット合成部９８は、観察視野に表示された画像に対して、観察対象物の高さ情報に基づいて高さの上限及び下限を自動的に設定した上で深度合成を行う。
【0065】
このプロセッサ部８０は汎用のＣＰＵやＭＰＵ、ＳｏＣ、あるいは特定用途向けにカスタマイズされたＡＳＩＣやＦＰＧＡ等のゲートアレイ等で構成できる。なおこの例では、一のＣＰＵをプロセッサ部として、後述する複数の機能を実現する構成を示しているが、本発明はこの構成に限られず、複数のＣＰＵ等でプロセッサ部を構成してもよい。複数のＣＰＵには、物理的に複数のＣＰＵとする他、複数のＣＰＵコアを一パッケージに組み込んだいわゆるマルチコアのＭＰＵとしてもよい。この場合において、複数のＣＰＵやＣＰＵコアで各機能を実現する他、ＣＰＵやＣＰＵコア毎に異なる機能を割り当てて実行してもよい。さらに、ＣＰＵとＧＰＵの組み合わせでプロセッサ部を構成してもよい。この場合において、ＧＰＵは上述した表示制御部５２の機能を果たす他、プロセッサ部に割り当てられた機能の一部又は全部を実行させるように構成してもよい。
（ナビ画像登録機能）
（ナビ画像登録機能）
【0066】
また本実施形態に係る拡大観察装置では、観察対象物を観察する範囲を探し易いよう、広域画像を登録するナビ画像登録機能を備えている。ナビ画像登録機能は、事前に観察対象物を低倍率の対物レンズ部２５で撮像した広域画像を取得しておき、この広域画像を現在の観察視野とは別の画面、例えばナビゲーションウィンドウで表示させる機能である。ナビゲーションウィンドウ上で、所望の位置をクリックすると、その位置にＸＹステージを移動させることができる。ナビ画像登録機能の詳細を、図５に示す拡大画像観察プログラムのユーザインターフェース画面に基づいて説明する。この図に示すナビ画像登録画面２３０は、画像表示領域２３１と、操作領域２３２と、ナビゲーション領域２３３を備える。画像表示領域２３１は、画像を表示させる領域である。操作領域２３２は、各種の操作ボタンや説明などを表示させる領域である。ナビゲーション領域２３３は、広域画像であるナビ画像ＮＩを表示させる領域である。
【0067】
画像表示領域２３１に表示されている観察視野と対応する位置が、ナビゲーション領域２３３で表示されるナビ画像ＮＩ上に矩形状ＦＲに表示される。画像表示領域２３１に表示されている観察視野と対応する位置の表示は矩形状ＦＲに限られず、ナビゲーション領域２３３で表示されるナビ画像ＮＩ上に十字状に交差するクロス線により表示してもよい。この場合、クロス線の交差するナビ画像ＮＩ上の位置が、画像表示領域２３１に表示されている観察視野の中央に対応するようにクロス線が表示される。これにより、現在観察している位置が観察対象物のどのあたりの部位であるか、その位置関係を相対的に把握できる。図５においては、ナビ画像ＮＩ上に、基板上にはんだ付けされたチップ抵抗ＣＲ１～ＣＲ３が表示されており、チップ抵抗ＣＲ１の中心が観察視野の中央に位置している。またＸＹステージを移動させて画像表示領域２３１に表示される観察視野を変更させると、これに応じてナビゲーション領域２３３上の矩形状ＦＲの位置も移動後の位置に更新される。またナビゲーション領域２３３で所望の位置をマウスカーソル等で指示すると、これに応じた位置にＸＹステージが移動される。なおこのようなナビ画像ＮＩは、観察対象物の広い範囲を撮像することが好ましいが、観察対象物の全景である必要はない。ここで、ステージ部３０と観察対象物ＷＫ、ナビ画像ＮＩ、観察視野ＯＡの関係を、図６に示す。
（３Ｄナビ画像登録機能）
（３Ｄナビ画像登録機能）
【0068】
さらに本実施形態に係る拡大観察装置は、高さ情報を有する広域画像を登録する３Ｄナビ画像登録機能を持たせることもできる。３Ｄナビ画像登録機能は、ナビ画像登録機能と統合してもよい。すなわち、広域画像としてナビ画像を登録する際に、このナビ画像に高さ情報を持たせた３Ｄナビ画像として登録することもできる。
【0069】
ここで、広域画像の各画素に高さ情報を持たせた３Ｄナビ画像を登録する手順について、図７のフローチャート及び図８～図１０のユーザインターフェース画面に基づいて説明する。まず図８の３Ｄナビ画像登録画面２４０において、操作領域２４２に設けられた「３Ｄナビ登録」ボタン２４３を押下して、３Ｄナビ画像登録を実行する。なお画像表示領域２４１においては、焦点の合っていない画像が表示されている。この例では、観察対象物として基板上に面実装されたチップ抵抗ＣＲが画像表示領域２４１に表示されており、破線は焦点があっていない様子を示している。
【0070】
次にステップＳ７０１において、対物レンズ部２５のレンズ倍率の選択を受け付ける。ここでは、図８の３Ｄナビ画像登録画面２４０において、「３Ｄナビ登録」ボタン２４３を押下すると、図９に示すように低倍率撮像ウィンドウ２４４が表示される。この画面から、レンズ倍率や焦点調整等のナビ画像の撮像設定を行う。低倍率撮像ウィンドウ２４４には、レンズ倍率調整欄２４５とフォーカス調整を行うフォーカス調整欄２４６が設けられる。必要に応じてユーザは対物レンズ２５を、広域画像の撮像に適した低倍率の対物レンズ部２５に物理的に切り替える。なお、拡大観察装置側で、予め所定の倍率の対物レンズ部２５をデフォルト値として提示するようにしてもよい。そしてステップＳ７０２において、上記ユーザの選択に基づき、対物レンズ部２５のレンズ倍率を変更する。
【0071】
次にステップＳ７０３において、Ｚ方向の移動範囲の指定を受け付ける。ここではユーザが、広域画像を撮像したい観察視野にステージ部３０又は対物レンズ部２５を予め移動させておく。また、低倍率撮像ウィンドウ２４４には、ステージ部３０又は対物レンズ部２５を下限位置への移動をユーザに対し誘導する表示がなされる。ここで下限位置とは、Ｚ方向の移動範囲のうち、対物レンズ部２５と観察対象物との相対距離が最も近接する位置のことで、高さ情報としては最も低い値となる。一方、Ｚ方向の移動範囲のうち、対物レンズ部２５と観察対象物との相対距離が最も遠ざかる位置が上限位置となり、高さ情報としては最も高い値となる。図９に示した低倍率撮像ウィンドウ２４４のフォーカス調整欄２４６では、高さ情報を取得するための下限位置への移動ボタンが設けられてもよい。またこの際、フォーカス調整欄２４６に、後述するサイドカメラを用いて撮像したサイドカメラ画像ＳＩを表示させてもよい。これによって、高さ情報を取得前に対物レンズを下限位置に移動させる際に、観察対象物に対物レンズが衝突しないように調整し易くできる。このように、Ｚ方向の移動範囲の指定のうち、下限位置の指定については、対物レンズ部２５と観察対象物との相対距離を実際の下限位置に調整することで受け付けてもよく、サイドカメラ画像ＳＩを用いて下限位置を指定してもよい。Ｚ方向の移動範囲の指定のうち上限位置の指定はフォーカス調整欄２４６を介して指定される。図９の例では、上限位置を高、中、低の三段階で指定できるようになっており、各段階に対応したボタンが表示される。デフォルトの状態では低が選択されている。上限位置の指定はこれに限られず、たとえば、サイドカメラ画像ＳＩを用いて上限位置を指定してもよい。
【0072】
そしてステップＳ７０４において、３Ｄナビ画像登録の実行指示を受け付ける。実行指示がない場合は、ステップＳ７０４を繰り返す。ユーザが図９の低倍率撮像ウィンドウ２４４において実行ボタン２４７を押下して３Ｄナビ画像登録の実行を指示すると、ステップＳ７０５において、対物レンズ部２５とステージ部３０の相対距離が広がる方向にＺステージを移動させる。そしてステップＳ７０６において、画像を撮像すると共に、撮像した画像に基づき各画素のフォーカス値を算出する。このとき、画像を撮像した時点における高さ位置を取得してもよい。たとえば、上Ｚステージ等の上Ｚ昇降器１６や下Ｚステージ等の下ステージ昇降器３５にＺ方向に沿って取り付けられたリニアエンコーダによりＺ方向の位置情報を取得して、この位置情報に基づいて画像を撮像した時点におけるステージ部３０の載置面からの高さ位置を取得してもよい。次にステップＳ７０７において、Ｚ方向の移動範囲である上限位置に到達したか否かを判定する。未だの場合はステップＳ７０５に戻って処理を繰り返す。移動範囲の上限位置に到達した場合は、ステップＳ７０８において、各画素においてフォーカス値が最大となる高さ位置と対応する輝度値に基づき、３Ｄナビデータを生成する。この３Ｄナビデータを３Ｄナビ画像として登録する。３Ｄナビ画像は、画像表示領域２４１に表示されている観察視野の位置を示すための広域画像であり、各画素がＸＹ位置に対応してナビゲーション領域２５０に表示されるものである。また、３Ｄナビ画像は、各画素に対応した高さ位置を含み、三次元参照情報として利用できる。最後にステップＳ７０９において、３Ｄナビデータに基づきディスプレイ部７０にナビ画像を表示して、３Ｄナビ画像登録処理を終了する。図１０で示すように、ナビゲーション領域２５０で表示されるナビ画像上に十字状に交差するクロス線を表示してもよい。この場合、クロス線の交差するナビ画像上の位置が、画像表示領域２４１に表示されている観察視野の中央に対応するようにクロス線が表示される。これにより、現在観察している位置が観察対象物のどのあたりの部位であるか、その位置関係を相対的に把握できる。また３Ｄナビ画像登録処理が終了した時点では図１０に示すように、画像表示領域２４１には焦点の合った画像が表示される。このとき、画像表示領域２４１の中央付近の破線で囲まれる領域ＲＩ内のフォーカス値に基づいてフォーカス調整がなされて焦点の合った画像が表示されため、図１０の例では、画像表示領域２４１の中央付近の破線で囲まれる領域ＲＩにチップ抵抗ＣＲが位置しており、チップ抵抗ＣＲの表面には焦点が合っていて、チップ抵抗ＣＲが実装された基板ＣＢ上のランドは焦点が合っていない様子を示している。３Ｄナビ画像として、低倍の対物レンズ部２５により撮像された画像データを用いる例を示したがこれに限られない。たとえば、複数の画像データを連結することでナビ画像に対応する広域画像を生成してもよい。３Ｄナビ画像を生成する際は、各撮像位置に対応した高さ画像データを生成して、各高さ画像データを連結することで３Ｄナビ画像を生成する。３Ｄナビデータ等の３Ｄデータをより正確に取得するために、平面度補正機能を追加してもよい。顕微鏡レンズ部２０のレンズの像面湾曲により、平面に対して３Ｄナビデータを取得しても視野周辺が湾曲する現象が生じるため、平面度補正機能により３Ｄナビデータに対して湾曲に相当する量の補正するようにしてもよい。また、後述する深度合成実行時に、登録した３Ｄナビデータに基づいて深度合成するＺ範囲の上下限を自動で設定しても良い。例えば図３６に示すような観察対象物ＷＫに対して、ある観察視野において深度合成を実行する際、３Ｄデータを参照してこの観察視野範囲に含まれる高さの分布を取得し、深度合成するｚ範囲の上限高さＺmax及び下限高さＺminを決定することができる。このような深度合成画像の生成をワンショット合成と呼ぶ（詳細は後述）。
（オートフォーカス調整機構）
（オートフォーカス調整機構）
【0073】
この拡大観察装置１００は、オートフォーカス機能を備えている。具体的には、対物レンズ部２５の焦点位置とステージ部３０との相対距離を、対物レンズ部２５の光軸に沿って変化させて画像のフォーカスを調整するフォーカス調整機構でもって、オートフォーカスを実行する。カメラ部１０が生成する画像データに基づいてフォーカス値を算出する他、外付けの測距センサにより対物レンズ部２５と観察対象物との相対距離を測定することにより実行してもよい。オートフォーカスを実現する方法としては、コントラスト方式や位相差方式など、既知の方法を適宜利用できる。上述した実施形態１に係る拡大観察装置は、コントラスト方式を利用している。
【0074】
この拡大観察装置１００は、通常の高さ範囲内で焦点の合う位置を探索する通常オートフォーカスと、通常オートフォーカスの高さ範囲よりも狭い範囲内で合焦位置を探索する短距離オートフォーカスとを実行する。まず通常のオートフォーカスの手順を、図１１のフローチャートに基づいて説明する。ここでは、ユーザが、たとえば一旦対物レンズ部２５を降下させることにより、ステージ部３０の載置面上の観察対象物に近付けた状態にした後、フォーカス調整機構等によりＺステージを動作させながら、焦点の合った位置を自動的に探索する。まずステップＳ１１０１において、対物レンズ部２５とステージ部３０の相対距離を近づけるようＺステージの移動を誘導する。次にステップＳ１１０２において、オートフォーカス開始の指示の有無を判定する。例えばオートフォーカス開始ボタンをユーザが押したことを検出する。開始の指示があった場合は、ステップＳ１１０３に進み、ない場合はステップＳ１１０２の処理を繰り返す。
【0075】
次にステップＳ１１０３において、対物レンズ部２５とステージ部３０の相対距離が広がる方向にフォーカス調整機構等によりＺステージを移動させる。そしてステップＳ１１０４において、Ｚステージの移動中に所定のタイミングで画像を撮像すると共に、撮像した画像に基づきフォーカス値を算出する。さらにステップＳ１１０５において、Ｚステージの移動が通常オートフォーカスを行う高さ範囲で終了したか否かを判定し、未だの場合はステップＳ１１０３に戻って上記の処理を繰り返す。そして通常オートフォーカス範囲の移動が終了した場合は、ステップＳ１１０６に進み、算出されたフォーカス値の内で、フォーカス値が最大となる高さ位置を決定し、フォーカス調整機構等によりこの位置にＺステージを移動させる。最後にステップＳ１１０７において、ディスプレイ部７０にライブ画像を表示させる。このようにして、通常オートフォーカスは実行される。
（短距離オートフォーカス）
（短距離オートフォーカス）
【0076】
次に、短距離オートフォーカスについて、図１２のフローチャートに基づいて説明する。短距離オートフォーカスは、おおよそ焦点が合っている際に、比較的狭いＺ方向範囲を探索して焦点が合う高さ位置に調整するものに適用される。短距離オートフォーカスでは、狭ピッチの探索により高さ情報の精密測定を実行してもよい。まずステップＳ１２０１において、順方向にＺステージを移動させる。次にステップＳ１２０２において、Ｚステージの移動中に所定のタイミングで画像を撮像すると共に、撮像した画像に基づきフォーカス値を算出する。そしてステップＳ１２０３において、このＺステージの移動が短距離オートフォーカスを行う高さ範囲で終了したか否かを判定し、未だの場合はステップＳ１２０１に戻って上記の処理を繰り返す。
【0077】
そして短距離オートフォーカス範囲の移動が終了した場合は、ステップＳ１２０４に進み、順方向とは逆方向にＺステージを移動させる。さらにステップＳ１２０５において、このＺステージの移動中に所定のタイミングで画像を撮像すると共に、撮像した画像に基づきフォーカス値を算出する。次いでステップＳ１２０６において、このＺステージの移動が短距離オートフォーカスを行う高さ範囲で終了したか否かを判定し、未だの場合はステップＳ１２０４に戻って上記の処理を繰り返す。
【0078】
そして短距離オートフォーカス範囲の移動が終了した場合は、ステップＳ１２０７に進み、算出されたフォーカス値の内で、フォーカス値が最大となる高さ位置を決定し、この位置にＺステージを移動させる。最後にステップＳ１２０８において、ディスプレイ部７０にライブ画像を表示させる。このようにして、短距離オートフォーカスは実行される。
［実施形態２］
［実施形態２］
【0079】
また、オートフォーカスを実現する方式は、上述した方式に限らず、位相差方式など、他の方式を用いてもよい。例えば図１３に示す実施形態２に係る拡大観察装置２００では、位相差方式を用いた例を示している。この図に示す拡大観察装置は、オートフォーカス用センサ１５を備えている。なお、実施形態２に係る拡大観察装置２００において、上述した実施形態１で説明した部材と同じ部材については、同じ符号を付して詳細説明を適宜省略する。オートフォーカス用センサ１５は、位相差オートフォーカスセンサで構成される。位相差オートフォーカスセンサで、対物レンズ部２５から入射した光を分岐して受光し、結像した２つの画像の間隔から焦点の方向と量を合焦度合特徴量として、合焦度合評価部９１で判断する。上述したコントラスト方式と比較すると、対物レンズ部２５を動かしながら焦点を探る必要がないため高速に焦点合わせを行うことができる。
【0080】
なお、オートフォーカス用センサは、位相差オートフォーカスセンサに限らず、例えば対物レンズ部と観察対象物との距離を測定する測距センサとしてもよい。この場合は、測距センサで対物レンズ部と観察対象物との距離を測定し、予め測定した対物レンズ部の焦点距離との差を求めて、該当する距離だけオートフォーカス調整機構でＺステージ等を移動させることで、オートフォーカスを実現できる。以下では、コントラスト方式を例に挙げて説明するが、本発明は位相差方式など他の既知のオートフォーカスにも適用できることは言うまでもない。
【0081】
一般には、オートフォーカスはＸＹステージを停止させている状態で行う。すなわちヘッド部４や対物レンズ部２５を移動させている間は、オートフォーカスを行わず、ＸＹステージを停止させた状態で、オートフォーカスを実行する。いいかえると、観察視野の移動シーケンス中はオートフォーカスを実行せず、停止シーケンスの際に実行する。また、このようなオートフォーカスは、ユーザがオートフォーカス実行を指示する明示的な命令、例えばオートフォーカス実行ボタンを押下する等の処理によって実行される他、ＸＹステージの移動が停止されたことを拡大観察装置側で検出し、観察視野の移動が停止されると自動で実行されるようにしてもよい。これにより、一々ユーザがオートフォーカス実行を指示することなく、観察視野の移動を停止させると自動で焦点の合った画像がディスプレイ部７０に表示されるようになり、使い勝手が向上する。観察視野の移動や停止は、移動停止検知部９４で行うことができる。
（フォーカス追従機能）
（フォーカス追従機能）
【0082】
一方で本実施形態に係る拡大観察装置では、ＸＹステージを静止させている状態のみならず、ＸＹステージの移動中、すなわち観察視野を移動させている際にもオートフォーカスを実行することができる。本明細書では、このように観察視野をＸＹ平面内で移動させている際にフォーカス調整を行う機能をフォーカス追従と呼ぶ。フォーカス追従は、焦点の合う方向にヘッド部４を移動させるように追従する。
【0083】
このような合焦制御を、図１４Ａ及び図１４Ｂに基づいて説明する。フォーカス追従は、観察視野の移動中に行う合焦制御である移動中シーケンスと、観察視野の移動を停止した際に停止シーケンスを含む。図１４Ａは移動中シーケンスを、図１４Ｂは停止シーケンスを、それぞれ示している。またこれらの図では、説明の便宜上対物レンズ部２５側を移動させて観察視野を移動させる例を示しているが、観察視野の移動はこれに限らず、ＸＹステージ側を移動させてもよいことはいうまでもない。図１４Ａは、ステージ部３０の載置面には、チップ抵抗ＣＲ１、ＣＲ２が実装された基板ＣＢが載置され、対物レンズ部２５がステージ部３０に対して２５－１、２５－２、２５－３、２５－４の順に相対移動する様子を示している。矢印２６は対物レンズ部２５のステージ部３０に対する相対移動軌跡を示す。図１４Ａに示すように、観察視野の移動中には基板ＣＢやチップ抵抗ＣＲ１、ＣＲ２等の観察対象物の概形に追従して対物レンズ部２５を上下方向に移動させて対物レンズ部２５と観察対象物との相対距離を変化させ、焦点位置を調整する。また図１４Ｂに示すように観察視野の移動が停止されると、停止シーケンスとして焦点位置を正確に調整するための短距離オートフォーカスが実行される。矢印２７は、短距離オートフォーカスにおけるステージ部３０に対する対物レンズ部２５の相対距離の変化を示す。この場合は、移動中シーケンスよりも精度の高いオートフォーカスの結果が得られる。なお、停止シーケンスにおけるオートフォーカスの実行は必ずしも必須でなく、観察視野の停止時にオートフォーカスを実行しない設定としてもよい。
【0084】
さらにフォーカス追従機能自体を、ＯＮ／ＯＦＦを切り替え可能としてもよい。以下、フォーカス追従機能をＯＮした状態を、フォーカス追従モードと呼ぶ。フォーカス追従モードを実行するには、例えば図１０の３Ｄナビ画像登録画面２４０で「フォーカス追従」ボタン２４８を押下して実行する。図１５は、フォーカス追従モードにおいて、画像表示領域２４１の中央付近の破線で囲まれる領域ＲＩ内が焦点の合った状態となるよう合焦制御される様子を示す。図１５の例では、画像表示領域２４１の中央付近の破線で囲まれる領域ＲＩに基板ＣＢが位置しており、チップ抵抗が実装された基板上のランドは焦点が合っているが、チップ抵抗ＣＲの表面には焦点が合っていない。フォーカス追従モード中に、この状態から図１０に示すように、画像表示領域２４１の中央付近の破線で囲まれる領域ＲＩ内にチップ抵抗ＣＲが位置するように観察視野を移動すると、観察視野の移動中にフォーカス調整が実行され、チップ抵抗ＣＲの表面には焦点が合っていて、チップ抵抗ＣＲが実装された基板ＣＢ上のランドＳＤは焦点が合っていない状態となる。図１６に示される「ワンショット合成」ボタン２４９に対してユーザ指示を受け付けると深度合成処理を実行し、画像表示領域２４１に深度合成像を表示する（詳細は後述）。
【0085】
フォーカス追従モードにおいて、オートフォーカスを実現するために対物レンズ部２５やＺステージを動作させる合焦制御は、様々な方法がある。本実施形態に係る拡大観察装置では、フォーカス追従モードにおいて複数の合焦制御を選択可能とできる。換言すると、合焦制御方法の異なる複数のフォーカス追従モードを実行可能としている。フォーカス追従モードにおいては、光軸に垂直な方向に視野を移動させている間に、選択された適切な合焦制御シーケンスを実行する。また観察視野の移動を停止させた際も同様に、フォーカス追従モードに応じて適切な合焦制御シーケンスを実行する。具体的には、フォーカス追従モードとして、汎用モード、３Ｄ形状追従モード、平面追従モード等が挙げられる。これらの各フォーカス追従モードにおいて、観察視野の移動中や停止時のそれぞれで、観察モードに適した合焦制御シーケンスが自動で選択されるようにしてもよい。
（汎用モード）
（汎用モード）
【0086】
汎用モードにおける移動中シーケンスと停止シーケンスを図１７に示す。図１７は、ステージ部３０の載置面に段付きの基板ＣＢが載置され、対物レンズ部２５がステージ部３０に対して２５－１、２５－２、２５－３、２５－４、２５－５、２５－６の順に相対移動する様子を示している。矢印ＤＲ１は対物レンズ部２５のステージ部３０に対する相対的な視野移動方向を示す。矢印ＤＲ２は対物レンズ部２５のステージ部３０に対する相対移動軌跡を示す。各矢印２７’は対物レンズ部２５のステージ部３０に対する相対距離の変化方向を示す。また図１７は、各時点におけるフォーカス値を対応付けて示している。この図に示すように、汎用モードにおいては、フォーカス値に基づいて合焦制御を行っている。すなわち、観察視野の移動後のフォーカス値の変化を利用し、フォーカス値が増加する場合はＺ方向の移動を継続させ、フォーカス値が減少する場合は逆方向に移動させるようにフォーカス調整機構を制御する。最初に対物レンズ部２５を上下方向のいずれかに移動させる。移動させた結果、フォーカス値が低下した場合、逆方向に移動する。観察視野を移動させながらフォーカス値を順次取得し、フォーカス値が上昇するように上下方向に制御する。汎用モードにおける移動中シーケンスでは、対物レンズ部２５をステージ部３０に対して上下方向のいずれかに移動させ続け、フォーカス値の変化により移動方向を制御することで、この結果として、ピーク探索をすることなく合焦制御ができる。なお、矢印ＤＲ２に示す対物レンズ部２５の相対移動の軌跡は、便宜上極端に記載しているため波状となっているが、実際には観察対象物の外形とほぼ一致する軌跡となる。またフォーカス値が大きく低下した場合には、ピッチを広げて制御してもよい。そして観察視野の移動停止後に停止シーケンスに移行する。停止シーケンスではオートフォーカスが実行され、その観察位置においてフォーカス値が最大となるように制御した後、合焦動作を停止する。
【0087】
次に汎用モードにおけるオートフォーカスの具体的な手順を、図１８に基づいて説明する。まず初期状態においてフォーカス値をバッファリングした後、ステップＳ１８０１において、予め定められた方向に上Ｚステージを移動させる。次にステップＳ１８０２において、画像を撮像すると共に、撮像した画像に基づきフォーカス値を算出する。さらにステップＳ１８０３において、現在のフォーカス値と過去のフォーカス値とに基づき、フォーカス値の変化を算出する。フォーカス値は都度バッファリングされ、過去のフォーカス値として利用される。その上でステップＳ１８０４において、フォーカス値が増加しているか否かを判定する。増加している場合はステップＳ１８０５に進み、上Ｚステージの移動方向を維持する。一方、フォーカス値が減少している場合は、ステップＳ１８０６に進み、上Ｚステージの移動方向を逆転させる。視野移動中は移動中シーケンスとしてステップＳ１８０１から追従処理を繰り返す。このようにして、移動中シーケンスにより、Ｚステージの移動中にもフォーカス値をモニタしながら、焦点の合う方向にＺステージを移動させてピンボケの発生を回避できる。視野移動が停止すると停止シーケンスとしてバッファリングされたフォーカス値はクリアして追従処理を終了する。
（３Ｄ形状追従モード）
（３Ｄ形状追従モード）
【0088】
３Ｄ形状追従モードは、予め観察対象物の高さ情報を取得しておき、この高さ情報を利用してフォーカスを調整する。高さ情報は、観察対象物を低倍率で撮像する広域画像として３Ｄナビ画像を撮像する際に、合わせて高さ画像を取得することで行う。なお広域画像は、高さ情報を有する連結画像であってもよい。このように３Ｄ形状追従モードでは、事前に撮像した高さ情報を有する３Ｄナビ画像を利用してオートフォーカスを行う。一方、上述した汎用モードは、このような高さ情報を利用しないため、予め高さ画像を取得する必要がない。例えば図８の３Ｄナビ画像登録画面２４０において、「登録されている３Ｄデータを利用する」チェックボックス２５４をＯＮすると、３Ｄナビ画像の高さ情報を利用した３Ｄ形状追従モードでフォーカス追従が実行される。一方、「登録されている３Ｄデータを利用する」チェックボックス２５４をＯＦＦすると、３Ｄナビ画像の高さ情報を利用しない汎用モードでフォーカス追従モードが実行される。
【0089】
３Ｄ形状追従モードを、図１９に示す。図１９は、ステージ部３０の載置面に、チップ抵抗ＣＲ１～ＣＲ３が実装された段付き基板ＣＢが載置され、対物レンズ部２５がステージ部３０に対して２５－１、２５－２、２５－３、２５－４、２５－５、２５－６、２５－７、２５－８、２５－９の順に相対移動する様子を示している。矢印２６”は対物レンズ部２５のステージ部３０に対する相対移動軌跡を示す。矢印２７”は、短距離オートフォーカスにおけるステージ部３０に対する対物レンズ部２５の相対距離の変化を示す。また図１９は、各時点におけるフォーカス値を対応付けて示している。この図において、３Ｄデータが存在する領域を太線の破線で示している。高さ情報すなわち三次元参照情報として３Ｄデータがある範囲では、この高さ情報に従って焦点位置を調整する。対物レンズ部２５がステージ部３０に対して２５－１、２５－２、２５－３、２５－４、２５－５の相対位置が三次元参照情報として３Ｄデータがある範囲に相当する。一方、三次元参照情報として３Ｄデータのない範囲に観察視野が移動された際には、高さ情報を得られないため、上述した汎用モードに切り替えて合焦制御を行う。すなわち、観察視野の移動後のフォーカス値の変化を利用した合焦制御を行う。図１９の例においては対物レンズ部２５がステージ部３０に対して２５－６、２５－７、２５－８、２５－９の相対位置が三次元参照情報として３Ｄデータがない範囲に相当する。なお、矢印２６”に示す対物レンズ部２５の３Ｄデータがない範囲における相対移動の軌跡は、便宜上極端に記載しているため波状となっているが、実際には大きな段差がある部分を除き観察対象物の外形とほぼ一致する軌跡となる。また３Ｄ形状追従モードにおいても、観察視野の移動が停止した際に停止シーケンスに移行する。このように３Ｄデータがある範囲と３Ｄデータがない範囲とが混在していても、フォーカス追従のモードを自動的に最適なモードに切り替えることでシームレスに最適な合焦制御ができる。さらに３Ｄデータの有無に応じて、フォーカス枠の色を変化させてもよい（詳細は後述）。たとえば、図１５に示す画像表示領域２４１の中央付近の破線ＲＩの色を変化させてもよい。
（フォーカスジャンプ機能）
（フォーカスジャンプ機能）
【0090】
なお３Ｄ形状追従モードにおいては、３Ｄデータの高さ位置のみで合焦制御する他、普段はフォーカス値を利用して汎用モードのように制御されるが、特定の条件を満たすと３Ｄデータの高さ位置を用いてフォーカス位置をジャンプさせる合焦制御を行ってもよい。たとえば大きな段差がある場合に３Ｄデータの高さ位置を用いてフォーカス位置をジャンプさせるフォーカスジャンプ機能を加えてもよい。このようなフォーカスジャンプ機能を、図２０に基づいて説明する。図２０は、ステージ部３０の載置面に、チップ抵抗ＣＲ１～ＣＲ３が実装された段付き基板ＣＢが載置され、対物レンズ部２５がステージ部３０に対して２５－１、２５－２、２５－３の順に相対移動する様子を示している。矢印２８－１は、フォーカスジャンプに対応するステージ部３０に対する対物レンズ部２５の相対距離の変化を示す。この図において、３Ｄデータが存在する領域を太線の破線で示している。予め取得している観察対象物の３Ｄデータは、たとえば低倍の対物レンズ部２５を介して取得するため、実際の観察対象物の形状との間に差異が存在することがある。一方、リアルタイムに測定したフォーカス値に基づいた合焦制御であれば実際の観察対象物の形状に合わせた合焦制御となる。ただし大きな段差がある場合等、短期間にフォーカス値が大きく変わる状況下では、実際の観察対象物の形状に追従することが困難になる。たとえば、追従応答性を高めると合焦制御が発振し易く不安定となり、合焦制御を安定化させると追従応答性が低下し、大きな段差がある場合等において合焦制御が追従しきれなくなる。そこで、判断部９７は、視野移動先の観察位置における３Ｄデータの対応する部位から高さ情報を取得すると共に、上述した汎用モードにおけるフォーカス値の測定によって高さを演算する。そして判断部９７は、３Ｄデータの高さと、観察対象物に対して上述した汎用モードにおけるフォーカス値を測定して得た高さとを比較し、その差が所定の範囲内に収まるか否かを判断する。差が所定の範囲内に収まる場合は、フォーカス値に基づく高さを採用する。一方、フォーカス値に基づく高さが、３Ｄデータの高さと大きく乖離した場合、すなわち予め定められた高さ幅を超えた場合は、３Ｄデータの高さを採用する。このようにして、視野移動の際に対物レンズ部２５のステージ部３０に対する相対距離を、リアルタイムに測定したフォーカス値に基づく相対距離から、視野移動先のＸＹ位置のおける３Ｄデータの高さ情報に相当する相対距離となるように制御する。すなわちフォーカス値に基づく高さから、３Ｄデータに基づく高さにジャンプする。図２０には、リアルタイムに測定したフォーカス値に基づく合焦制御（汎用モード相当の制御）と３Ｄデータの高さに基づく合焦制御とのいずれを採用するかを判定する判定しきい値ＤＳを模式的に示す。対物レンズ部２５が２５－１の時点では判定しきい値ＤＳに収まるような平坦な部位が広がるため、この部位は汎用モード相当の合焦制御が実行される。さらに、対物レンズ部２５が２５－１の時点と２５－２の時点の間において段差が存在し、対物レンズ部２５が２５－２の時点と２５－３の時点の間において傾斜が存在しており、視野移動に伴いこのような判定しきい値ＤＳを超える段差や傾斜通過するときにフォーカスジャンプを実行する。例えば２５－１の位置においては下限高さＴＨ１と上限高さＴＨ２が設定されており、視野移動に伴い、ＴＨ１およびＴＨ２によって定義される高さ範囲から逸脱するため、フォーカスジャンプが実行される（２８－１）。また２５－２の位置においては、視野移動によってＴＨ３およびＴＨ４によって定義される高さ範囲から逸脱しないため、フォーカスジャンプは実行されない（２８－２）。このように、３Ｄデータの高さ情報を採用することで、このような境界部分の追従応答性の低下を回避した信頼性の高い合焦制御が可能となる。なお、傾斜をゆっくり通過する際は、視野移動先のＸＹ位置のおける３Ｄデータの高さが判定しきい値ＤＳに収まるためフォーカスジャンプは実行されない。
（オフセット機能）
（オフセット機能）
【0091】
さらに３Ｄ形状追従モードは、３Ｄデータの高さをオフセットする機能を加えることもできる。このようなオフセット機能を、図２１に基づいて説明する。予め取得している観察対象物であるチップ抵抗ＣＲ１～ＣＲ２を含む基板ＣＢの３Ｄデータは、実際の観察対象物と載置状態等に差異が生じることで一様なズレが生じることがある。ここでは３Ｄデータが図２０と同様、太線の破線で示すように得られているものとする。３Ｄデータが存在する位置で、観察視野の移動を停止させると、この位置で停止シーケンスにおけるオートフォーカス動作を実行し、高さ情報を取得する。矢印２７’’’は、短距離オートフォーカスにおけるステージ部３０に対する対物レンズ部２５の相対距離の変化を示す。この位置における３Ｄデータの高さを、演算した高さ情報と一致させるように、３Ｄデータのオフセット量を算出する。そして３Ｄデータをオフセット量に基づいてオフセットさせる。たとえば算出したオフセット量をメモリ部５６に記憶し、３Ｄ形状追従モードにおいて視野移動先の高さ情報を用いる際に、視野移動先のＸＹ位置における３Ｄデータの高さ情報とメモリ部５６に記憶されたオフセット量とに基づき合焦制御する。図２１に示す例では、太線の破線で示す３Ｄデータを上方に、細線の破線で示す位置にオフセットさせている。この場合、オフセット量に対応した正のオフセット値をメモリ部５６に記憶する。また、下方にオフセットされる場合は、オフセット量に対応した負のオフセット値をメモリ部５６に記憶する。このようにして３Ｄデータの高さ情報を構成することで、より正確な観察対象物の表面高さを取得して合焦制御を正確に行うことが可能となる。なお、オフセット実行の可否を、高さ情報を取得したある位置の周辺の形状に基づいて決定しても良い。例えば、図３７に示すように停止シーケンスにおいてある位置の高さ情報を取得した際、３Ｄデータを参照して、この位置の周辺の形状情報を取得し、水平な面であった場合にはオフセットを実行し、斜面であった場合にはオフセットを実行しないようにしてもよい。このように構成することで、３Ｄデータのオフセット量を精度よく算出することができる。
（フォーカス枠）
（フォーカス枠）
【0092】
またオートフォーカス実行時には、観察視野においてフォーカスを合わせている部位を示すフォーカス枠を表示させることができる。この際、フォーカス枠の表示態様を、オートフォーカスの合焦制御に応じて変化させてもよい。このような表示態様を変化させる一例を、図２２Ａ～図２２Ｃに示す。例えばオートフォーカス実行中は、図２２Ａに示すようにフォーカス枠ＦＦ１を不透明な太枠で表示させ、観察視野が停止中である場合には図２２Ｂに示すようにフォーカス枠ＦＦ２を半透明で表示させる。このようなフォーカス枠の表示態様の変化によって、現在オートフォーカス機能が働いているか否かをユーザは視覚的に把握できる。また、不透明と半透明の別に加えて、太線や細線、点滅、ハイライトやグレーアウトなどの強調の有無など、他の態様でこれらを視覚的に区別できるようにしてもよく、移動中シーケンスと停止シーケンスでフォーカス枠の表示態様を変化させてもよい。一例として、図２２Ａは３Ｄデータを利用した合焦制御（３Ｄ形状追従モード）を行っている際にフォーカス枠ＦＦ３を不透明な細線の水色に表示させ、停止シーケンスの実行時にフォーカス枠ＦＦ１を不透明な太線の水色に表示させる。また、フォーカス値を利用した合焦制御（汎用モード）を行っている際にフォーカス枠ＦＦ３を不透明な細線の緑色に表示させ、停止シーケンスの実行時に不透明な太線の緑色で表示する。さらにオートフォーカス動作の終了後には不透明な状態から通常の半透明な表示に切り替えてもよい。例えば３Ｄデータを利用した合焦制御を行っている場合、オートフォーカスの終了時には太線の不透明な水色ＦＦ１から半透明の水色ＦＦ２に表示が切り替わる。また、フォーカス値を利用した合焦制御(汎用モード)を行っている場合、オートフォーカスの終了時には太線の不透明な緑色ＦＦ１から半透明の緑色ＦＦ２に表示が切り替わる。さらにまたこのようなフォーカス枠は、表示領域において、表示内容を逐次更新する動画の表示中に表示させてもよい。さらに、画像表示領域やナビゲーション領域において、ＲＯＩを指定した際に表示される枠状の表示態様を、同様にオートフォーカスの実行有無や合焦制御の種別などに応じて変化させるように構成してもよい。
【0093】
ここで、３Ｄ形状追従モードにおけるフォーカス追従実行時の各命令と動作の関係を、図２３のタイミングチャートに基づいて説明する。ここでは３Ｄナビ画像登録等により３Ｄデータが予め取得されており、観察視野の移動はステージ部３０を移動させる例を示している。図２３のタイミングチャートにおける初期状態は、３Ｄデータが存在する観察位置でステージ部３０が停止していることを示す。この状態で、ユーザから通常オートフォーカスの実行指示を受け付け、通常オートフォーカスを実行することで、３Ｄデータが存在する観察位置で観察対象物に焦点が合った状態となる。その後、ユーザからフォーカス追従開始の指示を受け付けると、画像表示領域に表示された観察対象物のライブ画像上に半透明で水色のフォーカス枠を重畳表示する。ステージ部３０に対する移動指令に伴ってステージ部３０が移動し、移動停止検知部９４によりステージ部３０の状態が移動中として判別されと、３Ｄ形状追従モードの移動中シーケンスを実行する。このとき、フォーカス枠は半透明の水色から不透明の水色へと変化する。一方、図２３において破線の円で囲むタイミングのように、ステージ部３０に対する移動指令が一時的に無くなり、ステージ部３０が一時的に停止したとしても、一定期間以上停止しない限り移動停止検知部９４はステージ部３０の状態が移動中と判別する。ステージ部３０が一定期間以上停止すると、移動停止検知部９４はステージ部３０の状態が停止と判別する。移動停止検知部９４が停止と判断すると、フォーカス追従は移動中シーケンスから停止シーケンスに移行する。停止シーケンスに移行すると短距離オートフォーカスが実行され、短距離オートフォーカスに基づき得られた高さ情報と３Ｄデータの高さ情報とに基づいてオフセット量を算出する。停止シーケンスでは、短距離オートフォーカス中は太線になるが、その後はアイドル状態となりフォーカス枠は細線で半透明の水色に変化する。その後、ステージ部３０への移動指令に応じてステージ部３０が移動して、移動停止検知部９４によりステージ部３０の状態が移動中として判別されと、３Ｄ形状追従モードの移動中シーケンスを実行する。このとき、フォーカス枠は半透明の水色から不透明の水色へと変化する。観察視野が３Ｄデータのある範囲から３Ｄデータの無い範囲へ移動すると、３Ｄ形状追従モードの移動中シーケンスは汎用モードに相当する合焦制御に移行するとともに、フォーカス枠は水色から緑色に変化する。ステージ部３０が一定期間以上停止すると、移動停止検知部９４はステージ部３０の状態が停止と判別する。移動停止検知部９４が停止と判断すると、フォーカス追従は移動中シーケンスから停止シーケンスに移行する。停止シーケンスに移行すると短距離オートフォーカスが実行される。停止シーケンスでは、短距離オートフォーカス中は太線になるが、その後はアイドル状態となりフォーカス枠は細線で半透明の水色に変化する。ユーザからフォーカス追従の終了指示を受け付けると、フォーカス追従の制御を終了する。
（平面追従モード）
（平面追従モード）
【0094】
さらに本実施形態に係る拡大観察装置では、合焦制御として平面追従モードを備えている。平面追従モードは、観察対象物の異なるＸＹ位置における高さ情報に対し予め定められた幾何形状、たとえば平面、球面等をフィッティングさせることで、対物レンズ部２５の焦点位置の移動面を三次元参照情報として推定するもので、視野移動位置と推定された移動面の情報に基づき高さ狙い値を決定し移動させるものである。観察視野の移動先の高さ情報を、予め測定した測定点にフィッティングさせた幾何形状により推定するもので、観察対象物が幾何形状の面を有する際に適用される。平面追従モードにおいては、図２４Ａに示すように複数箇所のフォーカス位置から、三次元参照情報として平面を推定し、ＸＹステージの移動中に推定した平面に沿ってＺ座標を移動する。またＸＹステージの移動停止後は通常のオートフォーカスを行う。図２４Ａの例では、ＳＱ１は多点高さ取得（オートフォーカス動作）を、ＳＱ３は高さ取得（オートフォーカス動作）を、ＳＱ５は高さ取得（オートフォーカス動作）を、それぞれ示している。またＳＱ２とＳＱ４は移動中シーケンスを、ＳＱ３とＳＱ５は停止シーケンスを示している。このような平面追従モードを実行するには、例えば図２５に示すユーザインターフェース画面において、操作領域２４２に設けられた「平面フィット」ボタン２５２を押下する。これによって平面追従モードが実行される。具体的には、図２４ＡにおいてＳＱ１で点線で示す観察視野内で複数点の高さを取得し、図２４Ｂに示すように平面Ａを推定する。次にＳＱ１で推定した平面Ａに追従してＳＱ２の区間を移動する。図２４Ａにおいて、ＩはＳＱ２の区間における、対物レンズ部２５の制御方向を示す。すなわち、ＳＱ２の区間における視野移動機構による制御の方向と対物レンズ部２５の焦点位置と観察対象物との相対距離を変化させる制御の方向を合成したものを示している。そしてＳＱ２の区間を移動後、ＳＱ３で対物レンズ部２５を停止させる。さらに停止させた位置においてオートフォーカスを行い、高さ情報を取得する。図２４ＡにおいてＩＩＩが対物レンズ部２５の焦点位置と観察対象物との相対距離を変化させる制御の方向を示す。加えて、ＳＱ１で取得した複数点の高さと合わせて図２４Ｂに示すように更新された三次元参照情報として平面Ｂを推定する。次にＳＱ３で推定した平面Ｂに追従してＳＱ４の区間を移動する。最後にＳＱ４の区間を移動後、ＳＱ５で対物レンズ部２５を停止させる。停止した位置においてオートフォーカスを行い高さ情報を取得する。そしてＳＱ１、ＳＱ３で取得した複数点の高さと合わせて、図２４Ｂに示すように更新された三次元参照情報として平面Ｃを推定する。このようにして平面追従モードにおいては、観察視野の移動停止時にオートフォーカスを実行して高さを取得し、その都度、平面を再推定する。また観察視野の移動中は推定された平面に沿うように、上下方向に制御させる。このようにして、従来観察視野の移動中には行えなかったフォーカス調整を実現できる。なお、ＳＱ３およびＳＱ５においてＳＱ１と同様に複数点の高さを取得するようにしても良い。
（フレームスキップ機能）
（フレームスキップ機能）
【0095】
また本実施形態に係る拡大観察装置では、オートフォーカスを実行する際に、現在表示されている画像よりも焦点の合った画像が得られた場合にのみ画像表示を更新し、現在表示されている画像よりも焦点が合わなくなった画像が得られた場合には画像表示を更新しないフレームスキップ機能を備えている。これによって、例えば停止時シーケンスでオートフォーカスを実行する場合、ユーザにフォーカス探索中の焦点の合わない画像を提示することなく、より焦点の合った画像に切り替えることが可能となる。
【0096】
ここで、オートフォーカスの実行中に、フレームスキップ処理を行う手順として、フレームスキップ処理を含む通常オートフォーカスを行う手順、短距離オートフォーカスを行う手順を、それぞれ説明する。
（フレームスキップ付き通常オートフォーカス）
（フレームスキップ付き通常オートフォーカス）
【0097】
まず、フレームスキップ処理を含む通常オートフォーカスを行う手順を、図２６のフローチャートに基づいて説明する。ここでは予め、通常オートフォーカスを行う高さ方向の範囲を設定しておく。まずステップＳ２６０１において、対物レンズ部２５とステージ部３０の距離が広がる方向にＺステージを移動させる。次にステップＳ２６０２において、Ｚステージの移動中に所定のフレームスキップを実行する（詳細は図２８に基づいて後述）。そしてステップＳ２６０３において、Ｚステージの移動が設定された通常オートフォーカスの範囲を終えたか否かを判定する。移動が未だの場合はステップＳ２６０１に戻って上記の工程を繰り返す。一方、所定のオートフォーカス範囲の移動を終了した場合は、ステップＳ２６０４に進み、フォーカス値が最大となる高さ位置にＺステージを移動させる。この高さ位置が焦点の合った位置となるので、ステップＳ２６０５においてライブ画像を表示させて、通常オートフォーカス処理を終了する。
（フレームスキップ付き短距離オートフォーカス）
（フレームスキップ付き短距離オートフォーカス）
【0098】
次にフレームスキップ処理を含む短距離オートフォーカスを行う手順を、図２７のフローチャートに基づいて説明する。ここでも、短距離オートフォーカスを行う高さ方向の範囲を予め設定しておく。
【0099】
まずステップＳ２７０１において、順方向にＺステージを移動させる。順方向は、例えば対物レンズ部２５が観察対象物から遠ざかる方向とする。次にステップＳ２７０２において、Ｚステージの移動中に所定のフレームスキップを実行する（詳細は図２８に基づいて後述）。そしてステップＳ２７０３において、Ｚステージの移動が設定された短距離オートフォーカスの範囲を終えたか否かを判定する。移動が未だの場合はステップＳ２７０１に戻って上記の工程を繰り返す。
【0100】
一方、所定のオートフォーカス範囲の移動を終了した場合は、ステップＳ２７０４に進み、上記とは逆方向にＺステージを移動させる。例えば、対物レンズ部２５が観察対象物に近付く方向にＺステージを移動させる。次にステップＳ２７０５において、Ｚステージの移動中に所定のフレームスキップを実行する（詳細は図２８に基づいて後述）。そしてステップＳ２７０６において、Ｚステージの移動が短距離オートフォーカスの範囲を終えたか否かを判定し、未だの場合はステップＳ２７０４に戻って上記の工程を繰り返す。
【0101】
一方、所定のオートフォーカス範囲の移動を終了した場合は、ステップＳ２７０７に進み、フォーカス値が最大となる高さ位置にＺステージを移動させる。この高さ位置が焦点の合った位置となるので、ステップＳ２７０８においてライブ画像を表示させて、短距離オートフォーカス処理を終了する。
【0102】
ここで、図２７のフローチャートのステップＳ２７０２やステップＳ２７０５、図２６のフローチャートのステップＳ２６０２において、フレームスキップを行う手順を、図２８のフローチャートに基づいて説明する。まずステップＳ２８０１において、画像の撮像を行い、ステップＳ２８０２において、撮像された画像に基づいてフォーカス値を算出する。このときフォーカス値をバッファリングしておく。次にステップＳ２８０３において、フォーカス値が最大か否かを判定する。すなわち、算出されたフォーカス値が、過去に得られたフォーカス値のいずれもよりも大きいか否かを判定し、大きい場合はステップＳ２８０４に進み、フォーカス値を更新し、ステップＳ２８０５にて表示画像を新たに撮像された画像に更新し、ステップＳ２８０８に進む。一方、ステップＳ２８０３においてフォーカス値が大きくない場合は、ステップＳ２８０６に進み取得したフォーカス値を破棄した後、ステップＳ２８０７に進み表示画像を更新しないでステップＳ２８０８に進む。そしてステップＳ２８０８において、高さ方向の変化がないかどうかを判定し、変化がある場合はステップＳ２８０１に戻って上記の処理を繰り返す。一方、高さ方向の変化がない場合は、処理を終了する。このようにして、焦点がよりあった画像のみに差し替えるフレームスキップ機能が実現される。短距離オートフォーカスが終了するときにバッファリングしていたフォーカス値をリセットする。なお、フォーカス値のバッファリングは、短距離オートフォーカス中に得られた各フォーカス値をバッファリングするようにしてもよいし、その時点で最大となるフォーカス値のみを更新しながらバッファリングするようにしてもよい。
（探索オートフォーカス機能）
（探索オートフォーカス機能）
【0103】
さらに本実施形態に係る拡大観察装置は、オートフォーカスの一例として、探索オートフォーカス機能を備える。図２９は、ステージ部３０と対物レンズ部２５との相対距離の変化を、対物レンズ部２５のＺ方向の移動として表現したものである。図の左側にはステージ部３０と、チップ抵抗ＣＲが実装された基板ＣＢと、対物レンズ部２５との位置関係を示し、右側には２５－１～２５－４の各位置における対物レンズ部２５のＺ方向の動きに着目しそれを時系列に並べたものを示す。探索オートフォーカス機能は、図２９に示すように、オートフォーカスに際してＺ方向に広い粗探索と、これよりも狭い精密探索を組み合わせることで、オートフォーカス動作の高速化と精度を両立させている。図２９に示すような観察対象物の高さに対応させて、対物レンズ部２５やＺステージを上下方向に移動させる制御を、図３０に示す探索オートフォーカス実行時のタイミングチャートに基づいて時系列で説明する。ここでは、図２９の上下方向の制御に関して、フォーカス値の上下変化と画面表示がライブ表示とフレームスキップ表示が切り替わる様子を示している。図３０では、探索動作として、まずＺ範囲が広い粗探索を行い、その後、これよりも狭いＺ範囲の精密探索を行う。
【0104】
まず図３０の上段で示すように、探索動作として粗探索が実行される。ここではＺステージがユーザ入力により粗探索の下限位置に移動した後、この位置から粗探索の上限位置に向かって移動される。この間、途中まではフォーカス値が上昇し続けるため、表示はライブ表示となり、逐次更新される。それ以降はフォーカス値が下降しピークを越えることはないのでピーク位置で取得した画像の表示で停止する。すなわち、画像は逐次更新されないフレームスキップとなる。そして粗探索が終了すると、Ｚステージは再度降下され、精密探索の下限位置に移動される。精密探索の上限位置および下限位置は、粗探索のピーク位置を基準に決められる。次に精密探索が開始され、Ｚステージは精密探索の上限位置に向かって上昇される。精密探索においては粗探索よりも細かいピッチで探索するため、ピーク位置をより精密に探索することができる。粗探索で取得されたフォーカス最大値より精密探索時に取得されたフォーカス値が大きくなる場合には表示フレームを更新する。そしてピーク位置を過ぎた後は、同様にフレームスキップとなり静止画が表示される。このようにして粗探索と精密探索を経てフォーカス値のピーク位置が決定されると、ピーク位置に相当する位置までＺステージが移動され、停止されると共に、フレームスキップを終了してライブ表示を継続する。
（フォーカス追従モードの手順）
（フォーカス追従モードの手順）
【0105】
ここで、フォーカス追従をＯＮさせたフォーカス追従モードを実行する手順を、図３１のフローチャートに基づいて説明する。まずステップＳ３１０１において、ユーザの指示に従ってフォーカス追従モードに移行する。次にステップＳ３１０２において、平面推定を行うか否かを判定する。行う場合はステップＳ３１１２に移行する。一方、平面推定を行わない場合はステップＳ３１０３に進む。
【0106】
ステップＳ３１０３では、ユーザの指示に従い、観察位置にステージ部３０を移動させる。そしてステップＳ３１０４において、３Ｄデータが存在するか否かを判定する。存在しない場合は、ステップＳ３１０７に進み、所定のフォーカス追従処理を行う。詳細は、上述した図１８で説明した通りである。
【0107】
一方、３Ｄデータが存在する場合は、ステップＳ３１０５において、現在の高さ位置と視野移動先のＸＹ位置における３Ｄデータの高さとの差が大きいか否かを判定する。例えば現在の高さ位置と視野移動先のＸＹ位置における３Ｄデータの高さとの差が所定のしきい値よりも大きいか否かを判定し、大きくない場合はステップＳ３１０７に進み、所定のフォーカス追従処理を行う。一方、差がしきい値よりも大きい場合は、ステップＳ３１０６において、観察位置と３Ｄデータに基づき、ＺステージのＺ移動を制御する。
【0108】
そしてステップＳ３１０６又はステップＳ３１０７からステップＳ３１０８に進み、ステージ部３０の移動を停止させるか否かを判定する。停止させない場合はステップＳ３１０３に戻り、上記の処理を繰り返す。一方、ステージ部３０の移動を停止させる場合は、ステップＳ３１０９に進み、ステージ部３０の停止処理を行う。ここでは、短距離オートフォーカスを実行し、Ｚ座標の測定を実行する（詳細は後述）。さらにステップＳ３１１０において、測定したＺ座標に基づき、３Ｄデータの補正を行う。つまり、フォーカス追従に用いる三次元参照情報を更新する。そしてステップＳ３１１１において、フォーカス追従モードを終了させるか否かを判定し、終了させない場合はステップＳ３１０３に戻って処理を繰り返し、終了させる場合はフォーカス追従モードを終了する。
（平面推定）
（平面推定）
【0109】
一方、ステップＳ３１０２において、平面推定を行う場合はステップＳ３１１２に移行し、平面推定を実行する。具体的に、まずステップＳ３１１２では、通常オートフォーカスと測定基準点における座標測定を行う。次にステップＳ３１１３において、測定基準点の座標から平面を推定する。さらにステップＳ３１１４において、ユーザの指示に従い、観察位置にステージ部３０を移動させる。そしてステップＳ３１１５において、観察位置と推定された平面に基づき、ＺステージのＺ移動を制御する。次にステップＳ３１１６において、ステージ部３０の移動を停止させるか否かを判定する。停止させない場合はステップＳ３１１４に戻って処理を繰り返す。一方、ステージ部３０の移動を停止させる場合は、ステップＳ３１１７に進み、座標測定を行う。ここでも短距離オートフォーカス（詳細は後述）を実行する。そしてステップＳ３１１８において、測定した座標に基づき平面の再推定を行う。最後にステップＳ３１１９において、フォーカス追従モードを終了するか否かを判定し、終了しない場合はステップＳ３１１４に戻って上記の処理を繰り返し、終了させる場合はフォーカス追従モードを終了させる。
（ワンショット合成）
（ワンショット合成）
【0110】
また本実施形態に係る拡大観察装置では、高さ方向に撮像した画像を合成した３Ｄ画像データを生成する深度合成を行うことができる。また深度合成を行うに際しては、高さ方向の範囲として上限高さと下限高さをユーザに指定させる他、このようなユーザ指定を省略して自動で高さ範囲を設定するワンショット合成機能を備えてもよい。このようなワンショット合成は、図２のプロセッサ部８０で行うことができる。図２の例では、プロセッサ部８０はワンショット合成部９８の機能を実現する。
【0111】
ここで、ワンショット合成の手順を図３２のフローチャート及び図３６の模式図に基づいて説明する。まずステップＳ３２０１において、ユーザからのワンショット合成の実行指示を受け付ける。例えば図１６に示すユーザが拡大画像観察プログラムのユーザインターフェース画面上から、「ワンショット合成」ボタン２４９をクリックする。次にステップＳ３２０２において、視野範囲に対応する３Ｄデータに基づき、高さ移動範囲を決定する。そしてステップＳ３２０３において、高さ移動範囲の下限位置である下限高さＺminとなるよう上Ｚステージ及び／または下Ｚステージを制御する。その上でステップＳ３２０４において、対物レンズ部２５とステージ部３０の距離が広がる方向にＺステージを移動させる。そしてステップＳ３２０５において、画像を撮像すると共に、撮像した画像に基づき各画素のフォーカス値を算出する。フォーカス値の算出は、合焦度合評価部９１で行う。次にステップＳ３２０６において、移動範囲、ここでは上限高さＺmaxに到達したか否かを判定する。未だの場合はステップＳ３２０４に戻り、上記の工程を繰り返す。一方、移動範囲に到達した場合は、ステップＳ３２０７に進み、各画素においてフォーカス値が最大となる高さ位置と対応する輝度値に基づき、３Ｄ画像データである深度合成画像を生成する。このようにして、ユーザにより上下限を明示的に指定しなくても、適切な上下限設定で高さ情報を有する３Ｄ画像データが合成される。ワンショット合成は、図１６等に示す「ワンショット合成」ボタン２４９をクリックを契機とする他、停止シーケンスに移行するときに実行してもよい。停止シーケンスに移行する際の短距離オートフォーカスの相対距離移動は、ワンショット合成の相対距離移動と兼ねてもよい。深度合成画像を表示するとともに焦点のあった相対距離に制御するため、その後、移動中シーケンスに移行する際に、即座に焦点のあったライブ画像を表示することができる。
（停止シーケンス）
（停止シーケンス）
【0112】
停止シーケンスとして、停止位置において短距離オートフォーカスやワンショット合成を実行する例を示したが、これに限られない。停止シーケンスに移行した際に、画像処理部８４により、合成画像を生成して、ディスプレイ部７０に合成画像を表示するようにしてもよい。画像処理部８４で生成される合成画像には、深度合成画像、３Ｄ合成画像、画素ずらし画像、超解像画像、ＨＤＲ画像、ＨＤＲ動画等が挙げられる。停止シーケンス中に、ユーザから記録指示を受け付けると、表示された合成画像をストレージ部５３に保存する。再び移動中シーケンスに移行した際は、合成画像はクリアされ、ディスプレイ部７０にはライブ画像が表示される。停止シーケンスに移行した際に、短距離オートフォーカスと１又は複数種類の合成画像の生成とを実行してもよい。たとえば、ＨＤＲ画像を生成する場合、停止位置において短距離オートフォーカス後にＨＤＲ画像を生成するための撮像を行い、得られた画像データに基づいて画像処理部８４によりＨＤＲ画像を生成する。
［実施形態３］
［実施形態３］
【0113】
また拡大観察装置は、傾斜観察機能を備えることもできる。このような例を実施形態３に係る拡大観察装置として、図３３に示す。この図に示す拡大観察装置２００は、撮像系１を示す正面図である。なお、図３３に示す拡大観察装置において、上述した実施形態１等で説明した部材と同じ部材については、同じ符号を付して詳細説明を適宜省略する。
【0114】
撮像系１は、観察対象物を載置するステージ部３０とヘッド部４を支持する支持台４０を備えている。支持台４０は、ステージ部３０を水平面内あるいは上下移動可能な状態に保持するステージ固定機構４２と、ステージ部３０を保持した状態でヘッド部４を傾斜させるヘッド傾斜機構４４を備えている。これらステージ固定機構４２及びヘッド傾斜機構４４は、ベース部４１に固定されている。ベース部４１は平板状として、安定的に支持台４０を自立させる。
【0115】
このヘッド傾斜機構４４によってヘッド部４をステージ部３０に対して傾斜させることで、観察対象物を斜め方向から観察した傾斜観察が可能となる。特にヘッド部４を垂直姿勢から、揺動軸４５を回転軸として左右に揺動させることで、左右いずれの方向からも観察することが可能となり、異なる視点からの観察により観察の自由度を高めることが可能となる。またこのような傾斜観察においては、ヘッド部４を傾斜させても観察視野が変化しないユーセントリック観察が求められる。このため傾斜観察に際しては、予め観察対象物の観察面が、揺動軸４５の中心と合致するようにステージ部３０の高さを調整することが望ましい。また拡大観察装置は、傾斜観察中にフォーカス追従モードを実行可能に構成される。３Ｄ形状追従モードの実行中に、ヘッド部４がステージ部３０に対して所定の角度以上傾斜された場合、３Ｄ形状追従モードが解除されフォーカス値を利用した汎用モードへと自動で切り替わる。このような場合にも、ヘッド部４のステージ部３０に対する傾斜角度が所定の角度以内となるよう再調整されると自動で３Ｄ形状追従モードに切り替わる。また、ヘッド部４のステージ部３０に対する傾斜角度によらず汎用モードは常に実行可能に構成される。所定の角度以上傾斜されたことを検知する手段として角度センサを利用するよう構成しても良い。この場合例えば、角度センサが、ヘッド部４がステージ部３０に対して１５度以上傾斜されたことを検知すると３Ｄ形状追従モードが解除されて汎用モードへと自動で切り替わり、傾斜角度が１５度以下に再度調整されると３Ｄ形状追従モードへと自動で切り替わっても良い。また、傾斜角度を０度に固定する、つまりヘッド部４がステージ部３０に対して直立の状態で固定するための物理的なロック手段を用いて３Ｄ形状追従モードのＯＮ／ＯＦＦが自動で切り替わるように構成されても良い。例えば、傾斜角度が０度の状態でロックされている場合は３Ｄ形状追従モードを実行にすることが可能であるが、ロック状態が解除されたことを検知すると３Ｄ形状追従モードから汎用モードへと自動で切り替わるように構成されても良い。
［実施形態４］
［実施形態４］
【0116】
さらに拡大観察装置は、サイドカメラ部１８を備えることができる。サイドカメラ部１８は、ステージ部３０を側面視で撮像するものである。これによりステージ部３０の載置面に載置された観察対象物と対物レンズ部２５との位置関係を把握でき、観察時にはリアルタイムで両者の位置関係を確認して、意図しない衝突を防止できる。サイドカメラ部１８で撮像するサイドカメラ画像は、対物レンズ部２５の下端と、ステージ部３０の上端が写る位置とする。また、対物レンズ部２５で拡大観察画像を撮像する際に、併せてサイドカメラ画像を残しておくことで、どのような観察対象物をどのような態様で撮影したのかを後日、視覚的に把握し易くできる。このようなサイドカメラ部１８を備える拡大観察装置を、実施形態４として図３４の側面図に示す。なお、この図に示す拡大観察装置３００において、上述した実施形態１等で説明した部材と同じ部材については、同じ符号を付して詳細説明を適宜省略する。これらの図に示すように、拡大観察装置４００は、撮像系１として、ステージ部３０とヘッド部４を支持する支持台４０を備えている。またヘッド部４は、サイドカメラ部１８を備えている。
（サイドカメラ画像）
（サイドカメラ画像）
【0117】
このサイドカメラ部１８は、観察対象物上面と対物レンズ部２５の先端を撮像可能に位置させている。サイドカメラ部１８で撮像したサイドカメラ画像の例を、図３５に示す。この図に示すように、サイドカメラ画像ＳＩは対物レンズ部２５の先端と、観察対象物やステージ部３０の位置関係が一画面で把握できるように倍率や観察視野を設定している。また、対物レンズ部２５の仮想焦点位置を表示させてもよい。さらに、画像に対して図３５において太字で示すようにエッジＥＤを抽出したエッジ画像を表示させてもよい。例えば画像処理部８４は、サイドカメラ部１８で撮像した画像に対し、エッジ抽出により観察対象物の上端と対物レンズ部２５の先端を検出する。これによって観察対象物の撮影時や測定時に、衝突回避のための演算を行うことができる。また演算結果に基づき、衝突の虞がある場合は警告を発することもできる。警告の一態様として、図３５に示すディスプレイ部７０の画面において、サイドカメラ画像ＳＩに「衝突に注意して下さい」等を警告メッセージを表示させる。警告メッセージは、白黒反転としたり、ハイライトや下線、表示色の変更などの強調処理を加えることで、ユーザに対して目立つ態様で衝突のリスクを告知できる。また、音声ガイダンスや警報などをスピーカから発してもよいし、またフラッシュを点滅させるなど警告用のランプを点灯させてもよい。またこれらを適宜併用してもよいことはいうまでもない。
【0118】
さらにサイドカメラ画像ＳＩにおいて、対物レンズ部２５や観察対象物と、背景画像とを区別して見易くさせてもよい。例えば、サイドカメラ部１８の被写界深度を調整し、ステージ部３０の奥行範囲のみ鮮明に撮像できるように設定する。また、背景判定部を設けて、サイドカメラ画像ＳＩ中で画像の動かない部分や明るさの変動等から、背景の領域を自動で判定して抽出するようにしてもよい。この際、照明光の明るさを変化させてもよい。あるいは背景影響低減部を設けて、背景部分をマスク処理してもよい。このような背景判定部や背景影響低減部は、別部材として設けてもよいし、画像処理部８４にこれらの機能を担わせてもよい。
【産業上の利用可能性】
【0119】
本発明の拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器は、顕微鏡や反射、透過型等のデジタルマイクロスコープ等に好適に利用できる。
【符号の説明】
【0120】
１００、２００、３００、４００…拡大観察装置
１…撮像系
２…制御系
３…ケーブル部
４…ヘッド部
５…視野移動機構
１０…カメラ部
１１…撮像光学系
１２…撮像素子；１３…撮像素子制御回路
１５…オートフォーカス用センサ
１６…上Ｚ昇降器
１８…サイドカメラ部
２０…顕微鏡レンズ部
２５…対物レンズ部；２５－１～２５－９…対物レンズ部の相対移動軌跡
２６、２６’、２６”…相対移動軌跡
２７、２７’、２７”、２７’’’…相対距離の変化
２８、２８－１、２８－２…相対距離の変化方向
３０…ステージ部
３５…下ステージ昇降器
３６…モータ制御回路
３７…ステッピングモータ
４０…支持台
４１…ベース部
４２…ステージ固定機構
４３…カメラ取り付け部
４４…ヘッド傾斜機構
４５…揺動軸
５０…本体部；５２…表示制御部
５３…ストレージ部；５４…インターフェース；
５５…操作部；５５ａ…移動方向指示部；５５ｂ…ジョイスティック
５５ｄ…ルートガイド解除部
５６…メモリ部；
５７…バッファメモリ
６０…照明部
６１…ビームスプリッタ
６２…同軸落射照明部
６３…リング照明部
６６…照明制御部
７０…ディスプレイ部
８０…プロセッサ部
８３…移動制御部
８４…画像処理部
８９…高さ情報取得部
９０…フォーカス制御部
９１…合焦度合評価部
９２…フレームスキップ部
９３…フォーカスシーケンス実行部
９４…移動停止検知部
９５…移動検知部
９６…停止検知部
９７…判断部
９８…ワンショット合成部
２３０…ナビ画像登録画面
２３１…画像表示領域
２３２…操作領域
２３３…ナビゲーション領域
２４０…３Ｄナビ画像登録画面
２４１…画像表示領域
２４２…操作領域
２４３…「３Ｄナビ登録」ボタン
２４４…低倍率撮像ウィンドウ
２４５…レンズ倍率調整欄
２４６…フォーカス調整欄
２４７…実行ボタン
２４８…「フォーカス追従」ボタン
２４９…「ワンショット合成」ボタン
２５０…ナビゲーション領域
２５２…「平面フィット」ボタン
２５４…「登録されている３Ｄデータを利用する」チェックボックス
ＷＫ…観察対象物
ＣＲ１～ＣＲ３…チップ抵抗
ＣＢ…基板
ＳＤ…ランド
ＡＸ…光軸
ＮＩ…ナビ画像
ＦＲ…矩形状
ＲＩ…領域
ＤＲ１…相対的な視野移動方向
ＤＲ２…相対移動軌跡
ＤＳ…判定しきい値
ＳＱ１…多点高さ取得（オートフォーカス動作）
ＳＱ２…移動中シーケンス
ＳＱ３…停止シーケンス（オートフォーカス動作）
ＳＱ４…移動中シーケンス
ＳＱ５…停止シーケンス（オートフォーカス動作）
ＴＨ１、ＴＨ３…下限高さ
ＴＨ２、ＴＨ４…上限高さ
ＯＡ…観察視野
ＦＦ１、ＦＦ２、ＦＦ３…フォーカス枠
ＳＩ…サイドカメラ画像
ＥＤ…エッジ
１…撮像系
２…制御系
３…ケーブル部
４…ヘッド部
５…視野移動機構
１０…カメラ部
１１…撮像光学系
１２…撮像素子；１３…撮像素子制御回路
１５…オートフォーカス用センサ
１６…上Ｚ昇降器
１８…サイドカメラ部
２０…顕微鏡レンズ部
２５…対物レンズ部；２５－１～２５－９…対物レンズ部の相対移動軌跡
２６、２６’、２６”…相対移動軌跡
２７、２７’、２７”、２７’’’…相対距離の変化
２８、２８－１、２８－２…相対距離の変化方向
３０…ステージ部
３５…下ステージ昇降器
３６…モータ制御回路
３７…ステッピングモータ
４０…支持台
４１…ベース部
４２…ステージ固定機構
４３…カメラ取り付け部
４４…ヘッド傾斜機構
４５…揺動軸
５０…本体部；５２…表示制御部
５３…ストレージ部；５４…インターフェース；
５５…操作部；５５ａ…移動方向指示部；５５ｂ…ジョイスティック
５５ｄ…ルートガイド解除部
５６…メモリ部；
５７…バッファメモリ
６０…照明部
６１…ビームスプリッタ
６２…同軸落射照明部
６３…リング照明部
６６…照明制御部
７０…ディスプレイ部
８０…プロセッサ部
８３…移動制御部
８４…画像処理部
８９…高さ情報取得部
９０…フォーカス制御部
９１…合焦度合評価部
９２…フレームスキップ部
９３…フォーカスシーケンス実行部
９４…移動停止検知部
９５…移動検知部
９６…停止検知部
９７…判断部
９８…ワンショット合成部
２３０…ナビ画像登録画面
２３１…画像表示領域
２３２…操作領域
２３３…ナビゲーション領域
２４０…３Ｄナビ画像登録画面
２４１…画像表示領域
２４２…操作領域
２４３…「３Ｄナビ登録」ボタン
２４４…低倍率撮像ウィンドウ
２４５…レンズ倍率調整欄
２４６…フォーカス調整欄
２４７…実行ボタン
２４８…「フォーカス追従」ボタン
２４９…「ワンショット合成」ボタン
２５０…ナビゲーション領域
２５２…「平面フィット」ボタン
２５４…「登録されている３Ｄデータを利用する」チェックボックス
ＷＫ…観察対象物
ＣＲ１～ＣＲ３…チップ抵抗
ＣＢ…基板
ＳＤ…ランド
ＡＸ…光軸
ＮＩ…ナビ画像
ＦＲ…矩形状
ＲＩ…領域
ＤＲ１…相対的な視野移動方向
ＤＲ２…相対移動軌跡
ＤＳ…判定しきい値
ＳＱ１…多点高さ取得（オートフォーカス動作）
ＳＱ２…移動中シーケンス
ＳＱ３…停止シーケンス（オートフォーカス動作）
ＳＱ４…移動中シーケンス
ＳＱ５…停止シーケンス（オートフォーカス動作）
ＴＨ１、ＴＨ３…下限高さ
ＴＨ２、ＴＨ４…上限高さ
ＯＡ…観察視野
ＦＦ１、ＦＦ２、ＦＦ３…フォーカス枠
ＳＩ…サイドカメラ画像
ＥＤ…エッジ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】