(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-23
(45)【発行日】2023-05-31
(54)【発明の名称】観察装置、制御方法、及び、プログラム
(51)【国際特許分類】
G02B 21/36 20060101AFI20230524BHJP
G02B 7/28 20210101ALI20230524BHJP
G02B 7/36 20210101ALI20230524BHJP
G02B 21/26 20060101ALI20230524BHJP
G03B 13/36 20210101ALI20230524BHJP
【ＦＩ】
G02B21/36
G02B7/28 J
G02B7/36
G02B21/26
G03B13/36
【請求項の数】
14
(21)【出願番号】P 2018230495
(22)【出願日】2018-12-10
(65)【公開番号】P2020095074
(43)【公開日】2020-06-18
【審査請求日】2021-09-02
(73)【特許権者】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】臼井 省吾
【審査官】森内 正明
(56)【参考文献】
【文献】特開２０１３－２４６１８７（ＪＰ，Ａ）
【文献】特開２０１３－２１０５７２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０２Ｂ ７／２８ － ７／４０
Ｇ０２Ｂ ２１／００ － ２１／３６
Ｇ０３Ｂ ３／００ － ３／１２
Ｇ０３Ｂ １３／３０ － １３／３６
Ｈ０４Ｎ ５／２２２ － ５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０ － ２３／７６
Ｈ０４Ｎ ２３／９０ － ２３／９５９
(57)【特許請求の範囲】
【請求項1】
撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、
前記観察対象物と、前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、
少なくとも前記撮像装置と前記焦準部を制御する制御部と、を備え、
前記制御部は、
前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
ことを特徴とする観察装置。
【請求項2】
請求項１に記載の観察装置において、前記制御部は、
前記複数の画像に基づいて複数の合焦評価値を算出し、
前記複数の合焦評価値に基づいて前記合焦位置の信頼性を判定する
ことを特徴とする観察装置。
【請求項3】
請求項２に記載の観察装置において、前記制御部は、合焦評価値がピークを示す前記焦準部の位置が複数存在するときに、前記合焦位置を信頼できないと判定する
ことを特徴とする観察装置。
【請求項4】
請求項１乃至請求項３のいずれか１項に記載の観察装置において、前記制御部は、前記合焦位置が所定範囲から外れているときに、前記合焦位置を信頼できないと判定し、
前記所定範囲は、合焦状態における前記焦準部が存在することが推定される、予め設定された前記焦準部の位置の範囲である
ことを特徴とする観察装置。
【請求項5】
請求項４に記載の観察装置において、前記所定範囲は、前記制御部が決定した合焦位置の履歴を統計処理することで算出された前記焦準部の位置の範囲である
ことを特徴とする観察装置。
【請求項6】
請求項５に記載の観察装置において、さらに、前記光学系の光軸と直交する方向に前記観察対象物を動かすＸＹ駆動部を備え、
前記制御部が決定した合焦位置の履歴は、前記ＸＹ駆動部が第１の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第１の合焦位置と、前記ＸＹ駆動部が前記第１の位置とは異なる第２の位置にあるときに前記撮像装置で取得した前記観察対象物の複数の画像に基づいて決定した第２の合焦位置と、を含む
ことを特徴とする観察装置。
【請求項7】
請求項５又は請求項６に記載の観察装置において、前記所定範囲は、少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせ毎に、設けられ、
前記制御部は、前記合焦位置が少なくとも前記観察対象物の種類と前記観察対象物を収容する容器との組み合わせに応じた所定範囲から外れているときに、前記合焦位置を信頼できないと判定する
ことを特徴とする観察装置。
【請求項8】
請求項４乃至請求項７のいずれか１項に記載の観察装置において、前記制御部は、
前記複数の位置で取得した複数の候補画像を表示装置に表示させ、
前記表示装置に表示された前記複数の候補画像から１つの候補画像が選択されたときに、選択された前記１つの候補画像に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
ことを特徴とする観察装置。
【請求項9】
請求項４乃至請求項７のいずれか１項に記載の観察装置において、前記制御部は、
前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
前記複数の候補画像に基づいて算出された前記複数の合焦評価値に対応する複数の点を、前記焦準部の位置と合焦評価値を軸とする座標空間上にプロットしたグラフを表示装置に表示させ、
前記グラフ上で選択された点に対応する候補画像を前記表示装置に表示させ、
前記グラフ上での選択が確定されたときに、選択された点に対応する前記焦準部の位置に基づいて、前記所定範囲を更新する
ことを特徴とする観察装置。
【請求項10】
請求項１乃至請求項９のいずれか１項に記載の観察装置において、前記制御部は、
前記複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値を算出し、
前記複数の位置と前記複数の合焦評価値の組み合わせに基づいて、前記合焦位置を探索する探索範囲と、前記探索範囲内における前記焦準部の駆動間隔を更新する
ことを特徴とする観察装置。
【請求項11】
請求項１乃至請求項１０のいずれか１項に記載の観察装置において、さらに、前記観察対象物が配置されるステージと、を備え、
前記焦準部は、前記ステージと前記光学系との間の前記光学系の光軸方向の距離を調整する
ことを特徴とする観察装置。
【請求項12】
請求項１乃至請求項１１のいずれか１項に記載の観察装置において、前記光学系は、対物レンズを含み、
前記撮像面と光学的に共役な面は、前記対物レンズの焦点面である
ことを特徴とする観察装置。
【請求項13】
撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置を制御する方法であって、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
ことを特徴とする方法。
【請求項14】
撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面との相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置のコンピュータに、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、
決定した前記合焦位置の信頼性を判定し、
前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である
処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、観察装置、制御方法、及び、プログラムに関する。
【背景技術】
【0002】
顕微鏡などの観察装置には、観察作業を効率的に行うため、自動合焦（以降、ＡＦと記す）機能を搭載しているものが多く存在する。ＡＦには様々な方式が存在するが、現在では、機器構成を簡素化できる等のメリットを有するパッシブ方式が主流である。
【0003】
パッシブ方式の一つであるコントラストＡＦについては、例えば、特許文献１及び特許文献２に記載されている。特許文献１には、撮影の度にＡＦを行う代わりに撮影の度に合焦位置を補正することで、撮影時間を短縮する技術が記載されている。また、特許文献２には、被写体の顔検出結果の信頼度を用いてフォーカシングレンズを制御する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－０００１０２号公報
【文献】特開２０１２－２０８５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、観察装置の観察対象物は極めて多様である。例えば、層構造を有するフィルムなどの工業用標本、大きさと形状が個体毎に異なる生細胞、などの様々な観察対象物が観察装置を用いて観察される。このような多様な観察対象物に対してＡＦを行い、常に正しく合焦することは、上述した特許文献１及び特許文献２に記載の技術を用いたとしても困難である。
【0006】
以上のような実情を踏まえ、本発明の一側面に係る目的は、ＡＦの成否によらず観察対象物の観察に必要な情報を確実に確保する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る観察装置は、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、少なくとも前記撮像装置と前記焦準部を制御する制御部と、を備える。前記制御部は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、決定した前記合焦位置の信頼性を判定し、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である。
【0008】
本発明の一態様に係る制御方法は、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置を制御する方法である。前記制御方法は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なり、決定した前記合焦位置の信頼性を判定し、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である。
【0009】
本発明の一態様に係るプログラムは、撮像面を含み、観察対象物を撮像する撮像装置と、前記撮像装置へ前記観察対象物の光学像を投影する光学系と、前記観察対象物と前記撮像面と光学的に共役な面と、の相対的な位置関係を前記光学系の光軸方向に調整する焦準部と、を備える観察装置のコンピュータに、以下の処理を実行させる。前記処理は、前記撮像装置で取得した前記観察対象物の複数の画像に基づいて前記焦準部の合焦位置を決定し、ここで、前記複数の画像は、予め算出された探索範囲内で取得された画像であり、前記複数の画像が取得されたときの前記焦準部の位置は、互いに異なる処理と、決定した前記合焦位置の信頼性を判定する処理と、前記合焦位置を信頼できないと判定したときに、前記焦準部を複数の位置へ所定の間隔で順番に移動して前記複数の位置の各々において前記撮像装置で前記観察対象物の候補画像を取得し、ここで、前記複数の位置は、少なくとも前記探索範囲の上限から下限までの範囲である処理と、を含む。
【発明の効果】
【0010】
上記の態様によれば、ＡＦの成否によらず観察対象物の観察に必要な情報を確実に確保することができる。
【図面の簡単な説明】
【0011】
【図1】観察システム１の構成を例示した図である。
【図2】制御部１５０の構成を例示した図である。
【図3】観察装置１００が行う制御処理の流れを示すフローチャートである。
【図4】条件入力画面を例示した図である。
【図5】合焦位置の決定方法について説明するための図である。
【図6】第１の実施形態に係る制御処理の流れを示すフローチャートである。
【図7】コントラストカーブの一例である。
【図8】第２の実施形態に係る制御処理の流れを示すフローチャートである。
【図9】探索範囲と所定範囲の関係を説明するための図である。
【図10】第３の実施形態に係る制御処理の流れを示すフローチャートである。
【図11】合焦位置の座標情報を含むテーブルＴ１を例示した図である。
【図12】合焦位置に関する統計情報を含むテーブルＴ２を例示した図である。
【図13】所定範囲の情報を含むテーブルＴ３を例示した図である。
【図14】所定範囲の情報を含むテーブルＴ４を例示した図である。
【図15】第４の実施形態に係る制御処理の流れを示すフローチャートである。
【図16】第５の実施形態に係る制御処理の流れを示すフローチャートである。
【図17】Ｚスタック表示画面の一例を示した図である。
【図18】Ｚスタック表示画面の別の例を示した図である。
【図19】所定範囲の情報を含むテーブルＴ５を例示した図である。
【図20】所定範囲の情報を含むテーブルＴ６を例示した図である。
【図21】第６の実施形態に係る制御処理の流れを示すフローチャートである。
【図22】Ｚスタック表示画面の更に別の例を示した図である。
【図23】観察システム２の構成を例示した図である。
【図24】観察システム３の構成を例示した図である。
【図25】観察システム４の構成を例示した図である。
【発明を実施するための形態】
【0012】
図１は、観察システム１の構成を例示した図である。観察システム１は、任意の観察対象物を観察するためのシステムである。観察システム１は、正立顕微鏡である観察装置１００と、表示装置１０と、入力装置２０とを含んでいる。なお、観察装置１００は顕微鏡装置に限らない。観察装置１００は、ＡＦを行う装置であればよく、例えば、デジタルカメラ、内視鏡装置などであってもよい。
【0013】
表示装置１０は、例えば、液晶ディスプレイ、有機ＥＬ（OLED）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置２０は、例えば、マウス、キーボード、ジョイスティック、タッチパネルなどである。また、入力装置２０は、マイクなどの音声入力装置であってもよい。なお、表示装置１０と入力装置２０は、それぞれ観察装置１００と通信可能に接続されているが、接続方法は特に限定しない。有線ケーブルで通信可能に接続されていてもよく、無線通信によって通信可能に接続されてもよい。
【0014】
観察装置１００は、観察対象物を撮像する撮像装置１２０と、撮像装置１２０へ観察対象物の光学像を投影する結像光学系１３０と、制御部１５０を備えている。撮像装置１２０は、撮像面１２１ａを含んでいる。結像光学系１３０は、対物レンズ１３１を含んでいる。さらに、観察装置１００は、図１に示すように、観察対象物が配置されるステージ１１０と、結像光学系１３０の光軸と直交する方向にステージ１１０を動かすモータ１１１と、結像光学系１３０の光軸方向にステージ１１０を動かすモータ１１２と、接眼レンズ１４０を備えてもよい。
【0015】
ステージ１１０は、電動ステージである。ステージ１１０は、制御部１５０がモータ１１２の回転を制御することで、結像光学系１３０の光軸方向へ移動する。即ち、ステージ１１０は、ステージ１１０と結像光学系１３０との間の結像光学系１３０の光軸方向の距離を調整する焦準部である。従って、観察装置１００は、焦準部を含んでいる。
【0016】
なお、焦準部は、観察対象物と、撮像面１２１ａと光学的に共役な面（以降、単に共役面と記す）と、の相対的な位置関係を、結像光学系１３０の光軸方向に調整するものであればよく、ステージ１１０に限らない。焦準部は、例えば、光軸方向へ移動するレボルバなどであってもよい。なお、観察対象物と共役面との相対的な位置関係を調整するとは、共役面を異なる位置に動かすことによって調整する場合に加えて、観察対象物を異なる位置に動かすことによって調整する場合も含まれる。なお、本実施形態では、共役面は、結像光学系１３０に含まれる対物レンズ１３１の焦点面、即ち、対物レンズ１３１の主点から対物レンズ１３１の焦点距離だけ離れた面のことである。対物レンズ１３１に光が平行光束として入射したときにその光が一点に集光する焦点位置を含む対物レンズ１３１の光軸と直交する面のことである。
【0017】
また、ステージ１１０は、制御部１５０がモータ１１１の回転を制御することで、結像光学系１３０の光軸と直交する方向に移動し、その結果、観察対象物も結像光学系１３０の光軸と直交する方向に移動する。即ち、ステージ１１０は、結像光学系１３０の光軸と直交する方向に観察対象物を動かすＸＹ駆動部である。従って、観察装置１００は、ＸＹ駆動部を含んでいる。なお、本明細書では、結像光学系１３０の光軸方向をＺ方向とも記し、結像光学系１３０の光軸と直交する方向をＸＹ方向とも記す。
【0018】
撮像装置１２０は、例えば、顕微鏡用のデジタルカメラである。撮像装置１２０は、撮像素子１２１を含み、撮像素子１２１は、撮像面１２１ａを含んでいる。撮像素子１２１は、特に限定しないが、ＣＣＤ（Charge Coupled Device）イメージセンサであってもよく、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであってもよい。なお、撮像装置１２０は、カラー撮像装置であっても、モノクロ撮像装置であってもよい。
【0019】
結像光学系１３０は、例えば、対物レンズと結像レンズを含む光学系である。観察装置１００は、レボルバに装着された複数の対物レンズを含んでもよい。その場合、複数の対物レンズのうちの観察光軸上に配置された対物レンズが結像光学系１３０を構成する。
【0020】
接眼レンズ１４０は、結像光学系１３０によって形成された光学像を拡大した虚像を、顕微鏡利用者が観察するために用いられる。
【0021】
制御部１５０は、少なくとも撮像装置１２０と焦準部とを制御する。制御部１５０は、画像などの入力情報に基づいて種々の演算を行う演算部１５１と、観察装置１００の各種の駆動部を制御する駆動制御部１５２と、を含んでいる。
【0022】
演算部１５１は、撮像装置１２０で取得した観察対象物の複数の画像に基づいてステージ１１０の合焦位置を決定する。ここで、合焦位置とは、合焦状態における焦準部（ここでは、ステージ１１０）の位置のことである。複数の画像は、合焦位置を探索する範囲（以降、探索範囲と記す）内で取得された画像であり、複数の画像が取得されたときの焦準部の位置は、互いに異なっている。また、演算部１５１は、決定した合焦位置の信頼性を判定する。駆動制御部１５２は、演算部１５１が合焦位置を信頼できないと判定したときには、焦準部を複数の位置へ順番に移動して複数の位置の各々において撮像装置１２０で観察対象物の画像を取得する。このとき取得した複数の画像の各々を、候補画像と記す。なお、駆動制御部１５２は、演算部１５１が合焦位置を信頼できると判定したときに、焦準部を合焦位置に移動して撮像装置１２０で観察対象物の画像を取得してもよい。このとき取得した画像を、合焦画像と記す。
【0023】
図２は、制御部１５０の構成を例示した図である。制御部１５０の物理構成については特に限定しないが、制御部１５０は、観察装置１００のコンピュータであり、電気回路を含んでいる。具体的には、制御部１５０は、例えば、図２に示すように、プロセッサ１５０ａと、メモリ１５０ｂと、補助記憶装置１５０ｃと、入出力インタフェース１５０ｄと、媒体駆動装置１５０ｅと、通信制御装置１５０ｆと、を含んでもよく、それらが互いにバス１５０ｇによって接続されてもよい。
【0024】
プロセッサ１５０ａは、例えば、ＣＰＵ（Central Processing Unit）を含む、任意の処理回路である。プロセッサ１５０ａは、メモリ１５０ｂ、補助記憶装置１５０ｃ、記憶媒体１５０ｈに格納されているプログラムを実行してプログラムされた処理を行うことで、図１に示す制御部１５０の機能的構成要素（演算部１５１、駆動制御部１５２）を実現してもよい。プログラムされた処理は、例えば、後述する、図３、図６、図８、図１０、図１５、図１６、図２１に示す制御処理である。また、プロセッサ１５０ａは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用プロセッサを用いて構成されてもよい。また、図１に示す制御部１５０の構成要素は、それぞれが個別の電気回路によって実現されてもよい。
【0025】
メモリ１５０ｂは、プロセッサ１５０ａのワーキングメモリである。メモリ１５０ｂは、たとえば、ＲＡＭ（Random Access Memory）等の任意の半導体メモリである。補助記憶装置１５０ｃは、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（Hard Disc Drive）、フラッシュメモリ等の不揮発性のメモリである。入出力インタフェース１５０ｄは、観察装置１００外部の装置（表示装置１０、入力装置２０）と情報をやり取りする。
【0026】
媒体駆動装置１５０ｅは、メモリ１５０ｂ及び補助記憶装置１５０ｃに格納されているデータを記憶媒体１５０ｈに出力することができ、また、記憶媒体１５０ｈからプログラム及びデータ等を読み出すことができる。記憶媒体１５０ｈは、持ち運びが可能な任意の記録媒体である。記憶媒体１５０ｈには、例えば、ＳＤカード、ＵＳＢ（Universal Serial Bus）フラッシュメモリ、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)などが含まれる。
【0027】
通信制御装置１５０ｆは、ネットワークへの情報の入出力を行う。通信制御装置１５０ｆとしては、例えば、ＮＩＣ（Network Interface Card）、無線ＬＡＮ（Local Area Network）カード等が採用され得る。なお、観察装置１００と表示装置１０及び入力装置２０とは、通信制御装置１５０ｆを経由して通信してもよい。バス１５０ｇは、プロセッサ１５０ａ、メモリ１５０ｂ、補助記憶装置１５０ｃ等を、相互にデータの授受可能に接続する。
【0028】
以上のように構成された観察システム１では、観察装置１００は、図３に示す制御処理を行う。図３は、観察装置１００行う制御処理の流れを示すフローチャートである。図４は、条件入力画面を例示した図である。図５は、合焦位置の決定方法について説明するための図である。以下、図３から図５を参照しながら、観察装置１００を制御する方法について更に詳細に説明する。
【0029】
まず、観察装置１００は、観察条件の入力を受け付ける（ステップＳ１）。ここでは、制御部１５０は、表示装置１０に、例えば図４に示す画面Ｗ１を表示して、利用者からの観察条件の入力を受け付ける。
【0030】
図４に示す画面Ｗ１は、条件入力画面であり、観察対象物が培養細胞である場合に表示される画面の例である。利用者は、容器の種類（例えば、6-wellなどのマルチウェルプレート、T75などのフラスコ）、細胞の種類（例えば、iPS細胞、間葉系幹細胞）、探索範囲、探索間隔、観察ポイントなどの条件を入力することが可能であり、制御部１５０は、入力された情報を観察条件として取得する。なお、探索範囲とは、ＡＦを実行する際に、合焦位置を探索する光軸方向の範囲のことであり、ＡＦ範囲ともいう。探索間隔とは、探索範囲内における焦準部の光軸方向へ移動間隔のことである。観察ポイントとは、観察対象物内の、光軸と直交する方向の位置のことである。また、ＡＦは各観察ポイントにおける合焦状態を検出する処理である。
【0031】
ステップＳ１において、利用者は、観察条件の全てを手動に入力してもよい。制御部１５０は、手動で入力された情報を観察条件として取得してもよい。また、利用者は、観察条件の一部を手動で入力してもよい。制御部１５０は、手動で入力された情報に基づいて他の観察条件を算出してもよく、手動で入力された情報と制御部１５０が算出した情報の両方を観察条件として取得してもよい。
【0032】
例えば、利用者が培養細胞を収容する容器の種類を画面Ｗ１のドロップダウンリストＢ１から選択し、培養細胞の種類をドロップダウンリストＢ２から選択すると、制御部１５０は、探索範囲と探索間隔を自動的に算出し、テキストボックスＢ３からテキストボックスＢ５に入力してもよい。また、制御部１５０は、表示装置１０に表示されるライブ画像を見ながら行われる利用者の選択操作に基づいて、観察ポイントを特定し、テキストボックスＢ６に入力しても良い。その後、ＯＫボタンが押下されたタイミングで、制御部１５０は、画面Ｗ１に入力されている情報を観察条件として取得してもよい。なお、画面Ｗ１には、複数の観察ポイントが入力されてもよく、制御部１５０は複数の観察ポイントを観察条件として取得してもよい。
【0033】
観察装置１００は、ステップＳ１で観察条件を取得すると、観察条件として指定された観察ポイントへ視野を移動する（ステップＳ２）。ここで、制御部１５０は、モータ１１１の回転を制御することで、観察ポイントが観察装置１００の視野の中心に位置するようにステージ１１０を動かす。つまり、制御部１５０は、ステージ１１０動かすことで、結像光学系１３０の光軸を観察ポイントの上に位置づける。なお、ステップＳ２では、利用者が手動でステージ１１０を動かすことで、視野を観察ポイントまで移動してもよい。
【0034】
観察ポイントへの移動が終了すると、観察装置１００は、ＡＦを実行する（ステップＳ３、ステップＳ４）。より具体的には、観察装置１００は、まず、合焦位置を探索し（ステップＳ３）、その後、合焦位置を決定する（ステップＳ４）。
【0035】
ステップＳ３では、駆動制御部１５２は、モータ１１２の回転を制御することで、図５に示すように、ステージ１１０を、探索範囲の上限（Z_upper）又は下限（Z_lower）の一方から他方まで、探索間隔単位で動かす。そして、探索間隔単位での移動後の各位置において、駆動制御部１５２は、撮像装置１２０を制御して観察対象物の画像ＩＭを取得する。演算部１５１は、このようにして得られた複数の画像ＩＭに基づいて複数の合焦評価値を算出する。即ち、複数の画像ＩＭの各々に対して、それぞれ合焦評価値を算出する。
【0036】
合焦評価値は、合焦状態と相関を有する情報である。合焦評価値としては、一般にコントラスト値が採用されるが、輝度値やその他のパラメータが採用されてもよい。以降では、合焦評価値としてコントラスト値が採用される場合を例にして説明する。
【0037】
なお、画像のコントラストを評価する評価式としては、例えば、Ｘ方向にｎ画素分ずれた位置にある２つの画素の画素値の差分の２乗を、画像データ全体で積算してコントラスト値を算出する、下式が知られている。下式は、J.F.Brennerらによって提案された評価式であり、Brenner gradientと呼ばれている。
【0038】
ここで、ＦＢｒｅｎｎｅｒはコントラスト値であり、ｘは画像データを構成する画素の列を特定する変数であり、ｙは画像データを構成する画素の行を特定する変数である。Ｗは画像データを構成する画素のＸ方向の画素数（即ち、列数）であり、Ｈは画像データを構成する画素のＹ方向の画素数（即ち、行数）である。ｆは画素値である。ｎはシフト量であり、画素値の差分が算出される画素間の間隔を示す整数（例えば、２など）である。なお、画素値は、例えば、輝度値である。
【0039】
図５に示すグラフＧ１は、焦準部の位置と画像ＩＭのコントラスト値との組み合わせによって特定される点をプロットすることで作成したコントラストカーブを示している。なお、コントラストカーブは、プロットした点を補間することで作成してもよく、または、プロットした点に基づいて関数を近似することで作成してもよい。
【0040】
ステップＳ４では、演算部１５１は、合焦評価値がピークを示す焦準部の位置を、合焦位置に決定する。つまり、演算部１５１は、図５に示すように、コントラストカーブにおいてコントラスト値が極大値Ｃｐを有するポイントＰを特定し、特定したポイントＰに対応する焦準部の位置Ｚｐを合焦位置に決定する。
【0041】
合焦位置が決定すると、観察装置１００は、合焦位置の信頼性を判定する（ステップＳ５）。ここでは、演算部１５１は、探索範囲で得られた複数の合焦評価値に基づいて合焦位置の信頼性を判定してもよく、また、合焦位置そのものに基づいて合焦位置の信頼性を判定してもよい。なお、信頼性を判定する具体的な方法については、後述する各実施形態において説明する。
【0042】
その後、観察装置１００は、ステップＳ５での判定結果に基づいて、合焦位置を信頼できると判定すると（ステップＳ６ＹＥＳ）、合焦位置で画像を取得し、取得した画像を記録する（ステップＳ７）。ここでは、駆動制御部１５２は、モータ１１２の回転を制御することでステージ１１０を合焦位置へ動かし、その後、撮像装置１２０を制御して観察対象物の合焦画像ＩＭ１を取得し、合焦画像ＩＭ１を、座標情報と関連付けて補助記憶装置１５０ｃに記録する。
【0043】
一方、観察装置１００は、ステップＳ５での判定結果に基づいて、合焦位置を信頼できないと判定すると（ステップＳ６ＮＯ）、Ｚスタック画像を取得し、取得したＺスタック画像を記録する（ステップＳ８）。ここでは、駆動制御部１５２は、モータ１１２の回転を制御することでステージ１１０を探索範囲内の複数の位置へ順番に移動して、複数の位置の各々において撮像装置１２０を制御して観察対象物の候補画像ＩＭ２を取得し、候補画像ＩＭ２を座標情報と関連付けて補助記憶装置１５０ｃに記録する。
【0044】
Ｚスタック画像とは、探索範囲内の複数の位置で取得した複数の候補画像ＩＭ２の集合のことである。なお、以降では、複数の候補画像ＩＭ２を取得した複数の位置の上限から下限までの範囲をＺスタック範囲と記す。Ｚスタック範囲は、例えば、探索範囲と同じであっても異なってもよいが、以降では、探索範囲とＺスタック範囲が同じ場合を例に説明する。
【0045】
以上のように、観察装置１００は、ＡＦを実行することで得られた合焦位置が信頼できるか否かを判定する。そして、観察装置１００は、信頼できないと判定した場合には、Ｚスタック画像を取得する。これにより、合焦位置が信頼できない場合、つまり、ＡＦが失敗している可能性が高い場合には、光軸方向の広い範囲で画像が取得されるため、真の合焦位置又はその近傍における画像を確実に取得し記録することができる。従って、観察装置１００によれば、ＡＦの成否によらず観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。これは、例えば、撮影をやり直すことで時間の無駄が大きく生じてしまう、タイムラプス撮影のような比較的長時間にかかる撮影において、特に好適である。
【0046】
なお、ステップＳ３で画像ＩＭを取得する条件とステップＳ８で候補画像を取得する条件は異なってもよい。例えば、画像ＩＭの画素数は、候補画像の画素数よりも小さくてもよい。つまり、ステップＳ３では、撮像素子１２１から画素値を読み出すときに所定のルールで画素を間引いてもよい。また、ステップＳ３における焦準部の移動間隔、つまり、画面Ｗ１の探索間隔は、ステップＳ８において焦準部が探索範囲内を移動する間隔、つまり、複数の候補画像ＩＭ２を取得した複数の位置の間の最小間隔よりも広くてもよい。いずれの場合も、画像ＩＭと候補画像を同条件で取得する場合よりも、ＡＦに要する時間の短縮と必要な情報の確保とをより高いレベルで両立することが可能となる。
【0047】
以下、観察装置１００が行う制御処理の具体例について説明する。
【0048】
［第１の実施形態］
図６は、本実施形態に係る制御処理の流れを示すフローチャートである。図７は、コントラストカーブの一例である。以下、図６及び図７を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦評価値のピーク数に基づいて判定するものである。
図６は、本実施形態に係る制御処理の流れを示すフローチャートである。図７は、コントラストカーブの一例である。以下、図６及び図７を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦評価値のピーク数に基づいて判定するものである。
【0049】
図６に示す制御処理が開始されると、観察装置１００は、観察条件の入力を受け付ける（ステップＳ１１）。その後、観察装置１００は、観察条件として指定された観察ポイントへ視野を移動し（ステップＳ１２）、ＡＦを実行する（ステップＳ１３、ステップＳ１４）。なお、ステップＳ１１からステップＳ１４の処理は、図３に示すステップＳ１からステップＳ４の処理と同様である。
【0050】
合焦位置が決定されると、観察装置１００は、合焦評価値のピーク数をカウントする（ステップＳ１５）。つまり、観察装置１００は、合焦評価値がピークを示す焦準部の位置の数をカウントする。ここでは、演算部１５１は、探索範囲で得られた複数の合焦評価値に基づいて合焦評価値のピーク数をカウントする。例えば、ＡＦ実行により図７のグラフＧ２に示すコントラストカーブが得られた場合であれば、ポイントＰ１とポイントＰ２の２点において合焦評価値はピークを示しているため、ピーク数は“２”とカウントされる。
【0051】
その後、観察装置１００は、ステップＳ１５でカウントしたピーク数が１つか否かを判定する（ステップＳ１６）。そして、観察装置１００は、ピーク数が１つであれば、合焦位置で画像を取得し、取得した画像を記録する（ステップＳ１７）。即ち、制御部１５０は、合焦評価値がピークを示す焦準部の位置が１つだけ存在するときには、合焦位置を信頼できると判定する。一方、観察装置１００は、ピーク数が複数であれば、Ｚスタック画像を取得し、取得したＺスタック画像を記録する（ステップＳ１８）。即ち、制御部１５０は、合焦評価値がピークを示す焦準部の位置が複数存在するときには、合焦位置を信頼できないと判定する。なお、ステップＳ１７及びステップＳ１８の処理は、図３に示すステップＳ７及びステップＳ８の処理と同様である。
【0052】
以上のように、本実施形態に係る制御処理では、観察装置１００は、合焦評価値のピーク数に基づいて、合焦位置の信頼性を判定する。具体的には、コントラストカーブが例えば、図５のグラフＧ１で示すように、単一のピークを有する場合には、その合焦位置は信頼できると判断し、合焦位置で画像を取得する。一方、コントラストカーブが例えば、図７のグラフＧ２で示すように、複数のピークを有する場合には、その合焦位置は信頼できないと判断し、Ｚスタック画像を取得する。これは、複数のピークを有するコントラストカーブは、観察対象物に塵などの異物が付着した場合に生じることが多く、そのため、決定された合焦位置は、観察対象物に合焦する位置ではなく異物に合焦する位置である可能性があるからである。
【0053】
従って、観察装置１００によれば、例えば、観察対象物に異物が付着している場合であっても、Ｚスタック画像によって観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
【0054】
以上では、コントラストカーブのピーク数に基づいて合焦位置の信頼性を判定する例を示したが、コントラストカーブの形状に基づいて合焦位置の信頼性を判定してもよい。例えば、コントラストカーブの形状に基づいて、合焦位置におけるコントラスト値が異常値か否かを判定し、その結果によって合焦位置の信頼性を判定してもよい。より具体的には、図７のグラフＧ２に示すように、合焦位置に対応するポイントＰ１がコントラストカーブの全体的な形状から逸れた位置にある場合に、コントラストＣｐ１は異常値であると判定してもよい。換言すると、制御部１５０は、複数の合焦評価値に基づいて合焦位置の信頼性を判定してもよく、その場合であっても、図６に示す制御処理を行った場合と同様の効果を得ることができる。
【0055】
［第２の実施形態］
図８は、本実施形態に係る制御処理の流れを示すフローチャートである。図９は、探索範囲と所定範囲の関係を説明するための図である。以下、図８及び図９を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦位置そのものに基づいて判定するものである。
図８は、本実施形態に係る制御処理の流れを示すフローチャートである。図９は、探索範囲と所定範囲の関係を説明するための図である。以下、図８及び図９を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、合焦位置の信頼性を合焦位置そのものに基づいて判定するものである。
【0056】
【0057】
次に、観察装置１００は、所定範囲を取得する（ステップＳ２２）。ここで、所定範囲は、例えば、補助記憶装置１５０ｃ内の設定ファイル等に予め記録されていて、制御部１５０は、補助記憶装置１５０ｃから予め設定されている所定範囲を取得してもよい。なお、所定範囲とは、合焦状態における焦準部が存在することが推定される、予め設定された焦準部の位置の範囲のことであり、図９に示すように、探索範囲の一部分である。
【0058】
その後、観察装置１００は、観察条件として指定された観察ポイントへ視野を移動し（ステップＳ２３）、ＡＦを実行する（ステップＳ２４、ステップＳ２５）。なお、ステップＳ２３からステップＳ２５の処理は、図３に示すステップＳ２からステップＳ４の処理と同様である。
【0059】
合焦位置が決定されると、観察装置１００は、合焦位置が所定範囲内か否かを判定する（ステップＳ２６）。ここでは、制御部１５０がステップＳ２２で取得した所定範囲とステップＳ２５で決定した合焦位置を比較して、合焦位置が所定範囲内か否かを判定する。
【0060】
観察装置１００は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する（ステップＳ２７）。即ち、制御部１５０は、合焦位置が所定範囲内にあるときには、合焦位置を信頼できると判定する。一方、観察装置１００は合焦位置が所定範囲外であれば、Ｚスタック画像を取得し、取得したＺスタック画像を記録する（ステップＳ２８）。即ち、制御部１５０は、合焦位置が所定範囲から外れているときには、合焦位置を信頼できないと判定する。なお、ステップＳ２７及びステップＳ２８の処理は、図３に示すステップＳ７及びステップＳ８の処理と同様である。
【0061】
以上のように、本実施形態に係る制御処理では、観察装置１００は、合焦位置が所定範囲内か否かに基づいて、合焦位置の信頼性を判定する。具体的には、所定範囲は、上述したように、合焦状態における焦準部が存在することが推定される範囲であることから、合焦位置が所定範囲から外れているときには、その合焦位置は信頼できないと判断し、Ｚスタック画像を取得する。
【0062】
従って、観察装置１００によれば、本実施形態に係る制御処理を行うことにより、合焦位置の明らかな誤認識が生じた場合であっても、Ｚスタック画像を取得することで観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
【0063】
［第３の実施形態］
図１０は、本実施形態に係る制御処理の流れを示すフローチャートである。図１１は、合焦位置の座標情報を含むテーブルＴ１を例示した図である。図１２は、合焦位置に関する統計情報を含むテーブルＴ２を例示した図である。図１３は、所定範囲の情報を含むテーブルＴ３を例示した図である。以下、図１０から図１３を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、過去に決定した合焦位置の情報を利用することで合焦位置の信頼性を判定するものである。
図１０は、本実施形態に係る制御処理の流れを示すフローチャートである。図１１は、合焦位置の座標情報を含むテーブルＴ１を例示した図である。図１２は、合焦位置に関する統計情報を含むテーブルＴ２を例示した図である。図１３は、所定範囲の情報を含むテーブルＴ３を例示した図である。以下、図１０から図１３を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、過去に決定した合焦位置の情報を利用することで合焦位置の信頼性を判定するものである。
【0064】
【0065】
次に、観察装置１００は、所定範囲は設定済みか否かを判定する（ステップＳ３２）。ここでは、制御部１５０は、補助記憶装置１５０ｃに作成されているテーブルＴ３に情報が記録されているか否かを判定する。なお、テーブルＴ３は、過去のＡＦによって得られた合焦位置に基づいて算出された所定範囲を格納するテーブルである。
【0066】
ステップＳ３２で情報が記録されていないと判定すると、観察装置１００は、所定範囲を設定する（ステップＳ３３）。ここでは、制御部１５０は、まず、複数回のＡＦを行う。具体的には、制御部１５０は、ＡＦを複数の異なる観察ポイントに対してそれぞれ複数回ずつ行い、観察ポイント（Ｘ、Ｙ）と合焦位置（Ｚ）とを含む座標情報を、補助記憶装置１５０ｃに作成されているテーブルＴ１に記録する。図１１には、複数の観察ポイントでそれぞれ３回ずつＡＦを行うことで得られた座標情報が、テーブルＴ１に記録されている例が示されている。さらに、制御部１５０は、テーブルＴ１に記録されている情報に基づいて統計情報を算出して、その統計情報を補助記憶装置１５０ｃに作成されているテーブルＴ２に記録する。図１２には、統計値として、平均値、中間値、最小値、最大値、σ（標準偏差）、３σ（標準偏差の３倍）が、テーブルＴ２に記録されている例が示されている。最後に、制御部１５０は、テーブルＴ２に記録されている統計値に基づいて所定範囲を算出し、補助記憶装置１５０ｃに作成されているテーブルＴ３に記録する。図１３には、平均値±３σが所定範囲としてテーブルＴ３に記録されている例が示されている。
【0067】
ステップＳ３２で所定範囲が設定されていないと判定するか、ステップＳ３３が終了すると、観察装置１００は、所定範囲を取得する（ステップＳ３４）。ここでは、制御部１５０は、テーブルＴ３から所定範囲を読み出すことで、所定範囲を取得する。
【0068】
その後、観察装置１００は、観察条件として指定された観察ポイントへ視野を移動し（ステップＳ３５）、ＡＦを実行する（ステップＳ３６、ステップＳ３７）。そして、観察装置１００は、合焦位置が所定範囲内か否かを判定する（ステップＳ３８）。なお、ステップＳ３５からステップＳ３８の処理は、図８に示すステップＳ２３からステップＳ２６の処理と同様である。
【0069】
観察装置１００は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する（ステップＳ３９）。なお、ステップＳ３９の処理は、図８に示すステップＳ２７の処理と同様である。
【0070】
その後、観察装置１００は、所定範囲を更新する（ステップＳ４０）。ここでは、制御部１５０は、ステップＳ３５で移動した観察ポイントとステップＳ３７で決定した合焦位置とを含む座標情報をテーブルＴ１に追加する。さらに、テーブルＴ１に記録されている情報に基づいてテーブルＴ２の統計情報とテーブルＴ３の所定範囲を更新する。
【0071】
一方、観察装置１００は、合焦位置が所定範囲外であれば、Ｚスタック画像を取得し、取得したＺスタック画像を記録する（ステップＳ４１）。なお、ステップＳ４１の処理は、図８に示すステップＳ２８の処理と同様である。
【0072】
以上のように、本実施形態に係る制御処理では、観察装置１００は、合焦位置が所定範囲内か否かに基づいて、合焦位置の信頼性を判定する。ただし、所定範囲は、第２の実施形態に係る制御処理の場合とは異なり、制御部１５０が過去に決定した合焦位置の履歴を統計処理することで算出されている。また、制御部１５０が過去に決定した合焦位置の履歴は、複数の観察ポイントに対する複数の合焦位置を含んでもよい。即ち、合焦位置の履歴は、ＸＹ駆動部が第１の位置にあるときに撮像装置１２０で取得した観察対象物の複数の画像に基づいて決定した第１の合焦位置と、ＸＹ駆動部が第１の位置とは異なる第２の位置にあるときに撮像装置１２０で取得した観察対象物の複数の画像に基づいて決定した第２の合焦位置と、を含んでもよい。
【0073】
従って、観察装置１００によれば、本実施形態に係る制御処理を行うことで、第２の実施形態に係る制御処理を行った場合よりも高い精度で合焦位置の信頼性を判定することができる。これにより、観察装置１００は、観察対象物の観察に必要な情報をより確実に確保することが可能であり、撮影のやり直し等を回避することができる。さらに、所定範囲は、信頼できる合焦位置が決定される度に更新されるため、所定範囲の精度の向上が期待できる。
【0074】
上述した所定範囲は、少なくとも観察対象物の種類と観察対象物を収容する容器との組み合わせ毎に設けられてもよく、制御部１５０は、合焦位置がその組み合わせに応じた所定範囲から外れているときに、合焦位置を信頼できないと判定してもよい。これは、観察対象物の種類が異なると、観察対象物の大きさの違いに起因して合焦位置が変動するからである。また、観察対象物を収容する容器が異なると、容器の厚さの違いに起因して合焦位置が変動するからである。これらの組み合わせ毎に所定範囲を設けることで、より高い精度で合焦位置の信頼性を判定することができる。なお、観察対象物の種類と容器は、観察条件の入力に基づいて特定することが可能である。
【0075】
以上では、合焦位置の履歴を統計処理することで算出された所定範囲（以降、統計的所定範囲と記す）が設定されていない場合に、ＡＦを複数回行って統計的所定範囲を設定する例を示したが、その他の処理が行われてもよい。統計的所定範囲が設定されていない場合には、例えば、図１４のテーブルＴ４に記録されている、少なくとも観察対象物の種類と観察対象物を収容する容器との組み合わせ毎に予め設定された所定範囲を取得してもよい。この場合の所定範囲は、例えば、第２の実施形態と同様に、合焦状態における焦準部が存在することが推定される焦準部の位置の範囲であってもよい。
【0076】
［第４の実施形態］
図１５は、本実施形態に係る制御処理の流れを示すフローチャートである。以下、図１５を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、観察条件として複数の観察ポイントが入力された場合にも対応している点で第３の実施形態に係る制御処理とは異なる。
図１５は、本実施形態に係る制御処理の流れを示すフローチャートである。以下、図１５を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、観察条件として複数の観察ポイントが入力された場合にも対応している点で第３の実施形態に係る制御処理とは異なる。
【0077】
図１５に示すステップＳ５１からステップＳ５８は、図１０に示すステップＳ３１からステップＳ３８と同様である。ステップＳ５８の後、観察装置１００は、合焦位置が所定範囲内であれば、合焦位置で画像を取得し、取得した画像を記録する（ステップＳ５９）。そして、観察装置１００は、合焦位置の履歴を更新する（ステップＳ６０）。つまり、テーブルＴ１に新たな座標情報を追加する。一方、観察装置１００は、合焦位置が所定範囲外であれば、Ｚスタック画像を取得し、取得したＺスタック画像を記録する（ステップＳ６１）。ステップＳ５９とステップＳ６１の処理は、図１０に示すステップＳ３９及びステップＳ４１と同様である。
【0078】
その後、観察装置１００は、全観察ポイントで画像取得済みか否かを判定し（ステップＳ６２）、全観察ポイントで画像取得済みとなるまで、ステップＳ５５からステップＳ６２の処理を繰り返す。そして、観察装置１００は、全観察ポイントで画像取得済みであると判定された後に、所定範囲を更新する（ステップＳ６３）。ここでは、制御部１５０は、ステップＳ６０で更新されたテーブルＴ１に基づいて、テーブルＴ２及びテーブルＴ３を更新することで、所定範囲を更新する。
【0079】
観察装置１００によれば、本実施形態に係る制御処理を行うことで、第３の実施形態に係る制御処理を行った場合と同様に、高い精度で合焦位置の信頼性を判定することができる。これにより、観察装置１００は、観察対象物の観察に必要な情報を確実に確保することが可能であり、撮影のやり直し等を回避することができる。
【0080】
さらに、観察装置１００は、本実施形態に係る制御処理を行うことで、複数の観察ポイントが利用者によって指定された場合であっても、全ての観察ポイントで確実に情報を得ることができる。また、全ての観察ポイントで画像を取得した後に所定範囲の更新が行われるため、全ての観察ポイントにおいて同一の条件で合焦位置の信頼性を判定することができる。
【0081】
［第５の実施形態］
図１６は、本実施形態に係る制御処理の流れを示すフローチャートである。図１７は、Ｚスタック表示画面の一例を示した図である。図１８は、Ｚスタック表示画面の別の例を示した図である。図１９は、所定範囲の情報を含むテーブルＴ５を例示した図である。図２０は、所定範囲の情報を含むテーブルＴ６を例示した図である。以下、図１６から図２０を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Ｚスタック画像を取得した場合に、利用者に、Ｚスタック画像から合焦状態で取得した画像を選択させる点で、第４の実施形態に係る制御処理とは異なる。
図１６は、本実施形態に係る制御処理の流れを示すフローチャートである。図１７は、Ｚスタック表示画面の一例を示した図である。図１８は、Ｚスタック表示画面の別の例を示した図である。図１９は、所定範囲の情報を含むテーブルＴ５を例示した図である。図２０は、所定範囲の情報を含むテーブルＴ６を例示した図である。以下、図１６から図２０を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Ｚスタック画像を取得した場合に、利用者に、Ｚスタック画像から合焦状態で取得した画像を選択させる点で、第４の実施形態に係る制御処理とは異なる。
【0082】
【0083】
ステップＳ８１の後、観察装置１００は、Ｚスタック画像を表示する（ステップＳ８２）。ここでは、制御部１５０は、例えば、図１７に示すように、ステップＳ８１において複数の位置で取得した複数の候補画像であるＺスタック画像を、表示装置１０に表示させてもよい。なお、図１７には、複数の候補画像（画像ＩＭ１から画像ＩＭ１２）がＺスタック画像表示画面である画面Ｗ２上に一覧表示されている様子が示されている。また、図１７には、利用者が画面Ｗ２上に一覧表示されている画像群から合焦状態で取得した画像として画像ＩＭ８を選択した様子も示されている。
【0084】
なお、ステップＳ８２において、観察装置１００は、複数の位置で取得した複数の候補画像を必ずしも同時に表示する必要はない。例えば、図１８に示すように、利用者の画面操作に応じて、複数の候補画像を１つずつ順番に表示装置１０に表示してもよい。図１８には、画面Ｗ３をスワイプすることで、複数の候補画像から任意の候補画像を選択して画面Ｗ３に表示する様子が示されている。
【0085】
ステップＳ８２において、利用者がＺスタック画像から１つの候補画像を選択して、その選択を確定すると、観察装置１００は、選択された候補画像（以降、選択画像と記す。）を記録する（ステップＳ８３）。ここでは、制御部１５０は、ステップＳ８２で選択された候補画像を座標情報と関連付けて補助記憶装置１５０ｃに記録する。
【0086】
さらに、観察装置１００は、合焦位置の履歴を更新する（ステップＳ８４）。ここでは、制御部１５０は、選択画像を取得したときの焦準部の位置を合焦位置とみなして、テーブルＴ１に新たな座標情報を追加する。
【0087】
その後、観察装置１００は、全観察ポイントで画像取得済みか否かを判定し（ステップＳ８５）、全観察ポイントで画像取得済みとなるまで、ステップＳ７５からステップＳ８５の処理を繰り返す。
【0088】
全ての観察ポイントで画像取得済みであると判定されると、観察装置１００は、利用者の選択によって記録された選択画像が存在するか否かを判定する（ステップＳ８６）。ここでは、制御部１５０は、ステップＳ８３の画像記録処理を一度でも行ったか否かによって上述した画像の存在の有無を判定する。
【0089】
利用者の選択によって記録された選択画像が存在しない場合（ステップＳ８６ＮＯ）、つまり、全ての観察ポイントで合焦位置が信頼できると判定された場合には、観察装置１００は、所定範囲を更新する（ステップＳ８７）。なお、ステップＳ８７の処理は、図１５のステップＳ６３の処理と同様である。
【0090】
一方、利用者の選択によって記録された選択画像が存在する場合（ステップＳ８６ＹＥＳ）、つまり、少なくとも１つの観察ポイントで合焦位置が信頼できないと判定された場合には、観察装置１００は、所定範囲と探索範囲の両方を更新する（ステップＳ８８）。ここでは、制御部１５０は、テーブルＴ１に記録されている座標情報に基づいて、ステップＳ８４で合焦位置とみなされた選択画像を取得したときの焦準部の位置Ｚ´に対する標準偏差σ´を算出し、テーブルＴ２のσと３σをそれぞれσ´と３σ´に更新する。テーブルＴ３の所定範囲をＺ´±３σ´で更新する。さらに、制御部１５０は、探索範囲を位置Ｚ´を中心するより狭い範囲に更新する。例えば、予め決められた一定の量だけ探索範囲が狭まってもよい。
【0091】
観察装置１００によれば、本実施形態に係る制御処理を行うことで、第４の実施形態に係る制御処理を行った場合と同様の効果を得ることができる。
【0092】
また、本実施形態では、観察装置１００は、合焦位置が信頼できないと判定された場合に、表示装置１０にＺスタック画像（複数の候補画像）を表示し、合焦状態で取得した候補画像を利用者に選択させて記録する。従って、Ｚスタック画像に含まれる適切な画像を他の画像とは区別して管理することができる。
【0093】
さらに、本実施形態では、観察装置１００は、表示装置１０に表示された複数の候補画像から１つの候補画像が選択されたときには、選択された１つの候補画像に対応する焦準部の位置に基づいて、所定範囲を更新する。これにより、利用者が選択した候補画像を取得したときの焦準部の位置をＡＦによって決定した合焦位置よりも高く評価して所定範囲を設定することができる。従って、利用者が望ましいと判断した基準で合焦位置の信頼性を判定することが可能となる。
【0094】
なお、複数の観察ポイントで合焦位置が信頼できないと判定された場合には、図１９に示すように、各観察ポイントにおける位置Ｚ´に対する標準偏差σ´を算出し、複数の所定範囲（Ｚ´±３σ´）をテーブルＴ５に記録してもよい。その上で、テーブルＴ５に記録されている複数の所定範囲を包含する最小の範囲を所定範囲に設定してもよい。図２０には、上述した手順によって算出された所定範囲が記録されたテーブルＴ６が例示されている。
【0095】
［第６の実施形態］
図２１は、本実施形態に係る制御処理の流れを示すフローチャートである。図２２は、Ｚスタック表示画面の更に別の例を示した図である。以下、図２１及び図２２を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Ｚスタック画像を表示する方法が異なる点で、第５の実施形態に係る制御処理とは異なる。
図２１は、本実施形態に係る制御処理の流れを示すフローチャートである。図２２は、Ｚスタック表示画面の更に別の例を示した図である。以下、図２１及び図２２を参照しながら、観察装置１００を制御する方法の一例について具体的に説明する。なお、本実施形態に係る制御処理は、Ｚスタック画像を表示する方法が異なる点で、第５の実施形態に係る制御処理とは異なる。
【0096】
【0097】
ステップＳ１０１の後、観察装置１００は、コントラストカーブを表示する（ステップＳ１００２）。ここでは、制御部１５０は、まず、ステップＳ１０１において複数の位置で取得した複数の候補画像に基づいて複数の合焦評価値（コントラスト値）を算出する。その後、制御部１５０は、複数の候補画像に基づいて算出された複数の合焦評価値に対応する複数の点を、焦準部の位置と合焦評価値（コントラスト値）を軸とする座標空間上にプロットしたグラフを表示装置１０に表示させる。図２２の画面Ｗ４は、ステップＳ１０２において表示装置１０に表示された画面の一例である。画面Ｗ４は、Ｚスタック画像に基づいて作成したコントラストカーブを示すグラフＧ３を含んでいる。
【0098】
コントラストカーブが表示されると、観察装置１００は、コントラストカーブ上の点が選択されたか否かを判定し（ステップＳ１０３）、選択されたと判定すると、その点に対応する候補画像を表示装置１０に表示する（ステップＳ１０４）。ここでは、制御部１５０がグラフ上で選択された点に対応する候補画像を表示装置１０に表示させる。図２２の画面Ｗ５は、ステップＳ１０４において表示装置１０に表示された画面の一例である。画面Ｗ５は、コントラストカーブを示すグラフＧ３とともにグラフＧ３上の選択された点Ｐａに対応する候補画像ＩＭａを含んでいる。
【0099】
さらに、観察装置１００は、選択が確定されたか否かを判定する（ステップＳ１０５）。ここでは、制御部１５０は、利用者が入力装置２０を用いて確定操作を行ったか否かを判定する。そして、確定していないと判定すると、制御部１５０は、選択が確定されるまで、ステップＳ１０３からステップＳ１０５の処理を繰り返す。図２２の画面Ｗ６は、ステップＳ１０３でグラフＧ３上の点Ｐｂが選択されたときにステップＳ１０４において表示される画面の一例であり、点Ｐｂに対応する候補画像ＩＭｂを含んでいる。
【0100】
選択が確定されると、観察装置１００は、確定したときに表示されている候補画像（選択画像）を記録し（ステップＳ１０６）、さらに、合焦位置の履歴を更新する（ステップＳ１０７）。なお、ステップＳ１０７の処理は、図１６のステップＳ８４の処理と同様である。
【0101】
その後に行われるステップＳ１０８からステップＳ１１１の処理は、図１６のステップＳ８５からステップＳ８８の処理と同様である。これにより、制御部１５０は、グラフ上での選択が確定された場合には、選択された点に対応する焦準部の位置に基づいて所定範囲が更新される。
【0102】
観察装置１００によれば、本実施形態に係る制御処理を行うことで、第５の実施形態に係る制御処理を行った場合と同様の効果を得ることができる。
【0103】
また、本実施形態では、コントラストカーブなどのグラフを見ながら画像を選択することで、合焦状態で取得した画像を効率的に特定することができる。従って、第５の実施形態に係る制御処理を行った場合よりも短時間で合焦状態で取得した画像を特定することが可能であり、利用者の作業負担も軽減することができる。
【0104】
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部又は全部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。観察装置、制御方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0105】
例えば、上述した実施形態では、図１に示す観察装置１００及び観察システム１が制御処理を行う例を示したが、制御処理を行う観察装置及び観察システムは、観察装置１００及び観察システム１に限らない。図２３から図２５に示す観察装置及び観察システムが制御処理を行ってもよい。
【0106】
図２３に示す観察システム２は、観察装置１００の代わりに観察装置１０１及び演算装置３０を含む点が、図１に示す観察システム１とは異なっている。観察装置１０１は、制御部１５０の代わりに駆動制御部１６０を有し、且つ、演算部１５１に相当する構成を有しない点が、観察装置１００とは異なっている。なお、駆動制御部１６０は、駆動制御部１５２に相当する。観察システム２は、演算部１５１に相当する演算装置３０を含み、演算装置３０は、観察装置１０１と通信可能に接続されている。なお、観察装置１０１と演算装置３０をまとめて観察装置とみなしてもよい。図２３に示す観察システム２及び観察装置１０１でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム１及び観察装置１００と同様の効果を得ることができる。
【0107】
図２４に示す観察システム３は、観察装置１００の代わりに観察装置２００を含む点が、図１に示す観察システム１とは異なっている。観察装置２００は、倒立顕微鏡であるという点で観察装置１００とは異なる。観察装置２００が有するステージ２１０、撮像装置２２０、結像光学系２３０、対物レンズ２３１、接眼レンズ２４０、制御部２５０は、それぞれ観察装置１００が有するステージ１１０、撮像装置１２０、結像光学系１３０、対物レンズ１３１、接眼レンズ１４０、制御部１５０に相当し、撮像素子２２１、撮像面２２１ａ、モータ２１２は、それぞれ撮像素子１２１、撮像面１２１ａ、モータ１１２に相当する。なお、光源２０１は、落射照明光源である。図２４に示す観察システム３及び観察装置２００でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム１及び観察装置１００と同様の効果を得ることができる。
【0108】
図２５に示す観察システム４は、観察装置１００の代わりに観察装置３００と制御装置３１０を含む点が、図１に示す観察システム１とは異なっている。観察装置３００は、例えば、インキュベータ内に収容され、管理された培養環境内で培養細胞を監察する観察装置である。観察装置３００は、筐体上面に培養容器を配置した状態で、光源３０１が培養容器に収容された観察対象物である培養細胞を照明する。培養細胞を反射した光に基づいて撮像装置３０２が培養細胞を撮像する。観察装置３００では、光源３０１と撮像装置３０２が同軸上にないため、観察装置３００が行う照明は偏射照明と同様に作用する。また、モータ３０３は、撮像装置３０２又は図示しない光学系を動かすことで光学系と観察対象物の間の距離を調整する。制御装置３１０は、観察装置３００を制御する装置であり、観察装置１００の制御部１５０に相当する。図２５に示す観察システム４及び観察装置３００でも、上述した実施形態に係る制御処理を行うことが可能であり、観察システム１及び観察装置１００と同様の効果を得ることができる。
【0109】
【0110】
また、上述した実施形態では、探索間隔として条件入力画面で入力された一定の間隔が使用される例を示したが、ＡＦにおける探索間隔は、例えば、Ｚスタック画像に基づいて作成されたコントラストカーブに応じて適宜調整してもよい。コントラストカーブのピークに近い位置では探索間隔を狭くして、ピークから遠い位置では探索間隔を広くしてもよく、これにより、ＡＦに要する時間を更に短縮することが可能となる。即ち、制御部１５０は、合焦位置を信頼できないと判定した後に複数の位置で取得した複数の候補画像に基づいて、複数の合焦評価値を算出し、複数の位置と複数の合焦評価値の組み合わせに基づいて、探索範囲と、探索範囲内における記焦準部の駆動間隔（つまり、探索間隔）を更新してもよい。
【符号の説明】
【0111】
１、２、３、４ 観察システム
１０ 表示装置
２０ 入力装置
３０ 演算装置
１００、１０１、２００、３００ 観察装置
１１０、２１０ ステージ
１１１、１１２、２１２、３０３ モータ
１２０、２２０、３０２ 撮像装置
１２１、２２１ 撮像素子
１２１ａ、２２１ａ 撮像面
１３０、２３０ 結像光学系
１３１、２３１ 対物レンズ
１４０、２４０ 接眼レンズ
１５０、２５０ 制御部
１５１ 演算部
１５２、１６０ 駆動制御部
１５０ａ プロセッサ
１５０ｂ メモリ
１５０ｃ 補助記憶装置
１５０ｄ 入出力インタフェース
１５０ｅ 媒体駆動装置
１５０ｆ 通信制御装置
１５０ｇ バス
１５０ｈ 記憶媒体
２０１、３０１ 光源
３１０ 制御装置
Ｗ１～Ｗ６ 画面
Ｂ１、Ｂ２ ドロップダウンリスト
Ｂ３～Ｂ６ テキストボックス
Ｇ１～Ｇ３ グラフ
ＩＭ、ＩＭ１～ＩＭ１２、ＩＭａ、ＩＭｂ 画像
Ｐ、Ｐ１、Ｐ２、Ｐａ、Ｐｂ ポイント
Ｔ１～Ｔ６ テーブル
１０ 表示装置
２０ 入力装置
３０ 演算装置
１００、１０１、２００、３００ 観察装置
１１０、２１０ ステージ
１１１、１１２、２１２、３０３ モータ
１２０、２２０、３０２ 撮像装置
１２１、２２１ 撮像素子
１２１ａ、２２１ａ 撮像面
１３０、２３０ 結像光学系
１３１、２３１ 対物レンズ
１４０、２４０ 接眼レンズ
１５０、２５０ 制御部
１５１ 演算部
１５２、１６０ 駆動制御部
１５０ａ プロセッサ
１５０ｂ メモリ
１５０ｃ 補助記憶装置
１５０ｄ 入出力インタフェース
１５０ｅ 媒体駆動装置
１５０ｆ 通信制御装置
１５０ｇ バス
１５０ｈ 記憶媒体
２０１、３０１ 光源
３１０ 制御装置
Ｗ１～Ｗ６ 画面
Ｂ１、Ｂ２ ドロップダウンリスト
Ｂ３～Ｂ６ テキストボックス
Ｇ１～Ｇ３ グラフ
ＩＭ、ＩＭ１～ＩＭ１２、ＩＭａ、ＩＭｂ 画像
Ｐ、Ｐ１、Ｐ２、Ｐａ、Ｐｂ ポイント
Ｔ１～Ｔ６ テーブル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
