知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025002600
(43)【公開日】2025-01-09
(54)【発明の名称】観察システム、フォーカス位置算出方法、プログラム
(51)【国際特許分類】
G02B 7/28 20210101AFI20241226BHJP
G02B 21/00 20060101ALI20241226BHJP
G03B 15/02 20210101ALI20241226BHJP
G03B 15/03 20210101ALI20241226BHJP
G03B 15/00 20210101ALI20241226BHJP
G02B 7/32 20210101ALI20241226BHJP
H04N 23/56 20230101ALI20241226BHJP
H04N 23/67 20230101ALI20241226BHJP
【ＦＩ】
G02B7/28 J
G02B21/00
G03B15/02 G
G03B15/02 L
G03B15/03 W
G03B15/00 H
G02B7/32
H04N23/56
H04N23/67 300
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023102892
(22)【出願日】2023-06-23
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】平田 唯史
【テーマコード（参考）】
2H052
2H151
5C122
【Ｆターム（参考）】
2H052AC14
2H052AC30
2H052AF25
2H151AA11
2H151CC02
2H151CC06
2H151CC09
2H151CE22
2H151DA03
2H151DA11
2H151DB01
2H151EA22
2H151EB19
5C122EA01
5C122FA09
5C122FD01
5C122FD04
5C122FH09
5C122FH11
5C122FH15
5C122GD01
5C122GD02
5C122GG03
5C122GG17
5C122GG24
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB09
5C122HB10
(57)【要約】
【課題】事前情報なしにフォーカス位置を特定可能な新たな技術を提供する。
【解決手段】システム１は、照明光で観察物を複数の異なる方向から照明する照明装置であり、観察物からの光を集光する対物レンズを含み、対物レンズで集光した光で観察物を撮像する撮像装置である観察装置１０と、制御部である制御装置３０と、を備える。制御装置３０は、対物レンズの光軸方向に互いに異なる観察位置で観察装置１０が取得した複数の画像群であって、複数の画像群の各々は観察装置１０により互いに異なる方向から照明された観察物の複数の画像を含む、複数の画像群に基づいて、観察装置１０のフォーカス位置を算出する。
【選択図】図１
【解決手段】システム１は、照明光で観察物を複数の異なる方向から照明する照明装置であり、観察物からの光を集光する対物レンズを含み、対物レンズで集光した光で観察物を撮像する撮像装置である観察装置１０と、制御部である制御装置３０と、を備える。制御装置３０は、対物レンズの光軸方向に互いに異なる観察位置で観察装置１０が取得した複数の画像群であって、複数の画像群の各々は観察装置１０により互いに異なる方向から照明された観察物の複数の画像を含む、複数の画像群に基づいて、観察装置１０のフォーカス位置を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
照明光で観察物を複数の異なる方向から照明する照明装置と、
前記観察物からの光を集光する対物レンズを含み、前記対物レンズで集光した光で前記観察物を撮像する撮像装置と、
制御部と、を備え、
前記制御部は、前記対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は前記照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する
ことを特徴とする観察システム。
前記観察物からの光を集光する対物レンズを含み、前記対物レンズで集光した光で前記観察物を撮像する撮像装置と、
制御部と、を備え、
前記制御部は、前記対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は前記照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する
ことを特徴とする観察システム。
【請求項2】
請求項１に記載の観察システムにおいて、
前記制御部は、
前記複数の画像間の前記対物レンズの光軸と直交する方向のずれ量を、前記複数の画像に基づいて算出するずれ量算出処理と、
前記ずれ量算出処理で算出された複数のずれ量であって、前記光軸方向に互いに異なる観察位置に対応する前記複数のずれ量に基づいて、前記フォーカス位置を算出するフォーカス位置算出処理と、を行う、
ことを特徴とする観察システム。
前記制御部は、
前記複数の画像間の前記対物レンズの光軸と直交する方向のずれ量を、前記複数の画像に基づいて算出するずれ量算出処理と、
前記ずれ量算出処理で算出された複数のずれ量であって、前記光軸方向に互いに異なる観察位置に対応する前記複数のずれ量に基づいて、前記フォーカス位置を算出するフォーカス位置算出処理と、を行う、
ことを特徴とする観察システム。
【請求項3】
請求項２に記載の観察システムにおいて、
前記ずれ量算出処理は、
各々が前記複数の画像の一部である複数の領域間の相関を算出する処理と、
前記相関がピークを示す複数の領域の位置関係から前記ずれ量を算出する処理と、を含む
ことを特徴とする観察システム。
前記ずれ量算出処理は、
各々が前記複数の画像の一部である複数の領域間の相関を算出する処理と、
前記相関がピークを示す複数の領域の位置関係から前記ずれ量を算出する処理と、を含む
ことを特徴とする観察システム。
【請求項4】
請求項３に記載の観察システムにおいて、
前記ずれ量算出処理は、さらに、前記ピークにおける相関値を算出する処理と、を含み、
前記フォーカス位置算出処理は、前記複数のずれ量と、前記ずれ量算出処理で算出された複数の相関値であって、前記光軸方向に互いに異なる観察位置に対応する前記複数の相関値と、に基づいて、前記フォーカス位置を算出する処理を含む
ことを特徴とする観察システム。
前記ずれ量算出処理は、さらに、前記ピークにおける相関値を算出する処理と、を含み、
前記フォーカス位置算出処理は、前記複数のずれ量と、前記ずれ量算出処理で算出された複数の相関値であって、前記光軸方向に互いに異なる観察位置に対応する前記複数の相関値と、に基づいて、前記フォーカス位置を算出する処理を含む
ことを特徴とする観察システム。
【請求項5】
請求項４に記載の観察システムにおいて、
前記フォーカス位置算出処理は、さらに、前記ピークにおける相関値が閾値を下回る観察位置に対応する情報を、前記フォーカス位置を算出するための演算処理から除外する処理を含む
ことを特徴とする観察システム。
前記フォーカス位置算出処理は、さらに、前記ピークにおける相関値が閾値を下回る観察位置に対応する情報を、前記フォーカス位置を算出するための演算処理から除外する処理を含む
ことを特徴とする観察システム。
【請求項6】
請求項２に記載の観察システムにおいて、
前記フォーカス位置算出処理は、
前記ずれ量が０となる観察位置を推定する処理と、
前記ずれ量が０となると推定した観察位置に基づいて、前記フォーカス位置を特定する処理と、を含む
ことを特徴とする観察システム。
前記フォーカス位置算出処理は、
前記ずれ量が０となる観察位置を推定する処理と、
前記ずれ量が０となると推定した観察位置に基づいて、前記フォーカス位置を特定する処理と、を含む
ことを特徴とする観察システム。
【請求項7】
請求項１または請求項２に記載の観察システムにおいて、
前記制御部は、さらに、前記観察位置毎に照明方向を切り替えて前記複数の画像を取得するように前記照明装置と前記撮像装置を制御する画像取得処理を行う
ことを特徴とする観察システム。
前記制御部は、さらに、前記観察位置毎に照明方向を切り替えて前記複数の画像を取得するように前記照明装置と前記撮像装置を制御する画像取得処理を行う
ことを特徴とする観察システム。
【請求項8】
請求項１または請求項２に記載の観察システムにおいて、
前記制御部は、さらに、前記フォーカス位置で画像を取得するように前記照明装置と前記撮像装置を制御するフォーカス画像取得処理を行う
ことを特徴とする観察システム。
前記制御部は、さらに、前記フォーカス位置で画像を取得するように前記照明装置と前記撮像装置を制御するフォーカス画像取得処理を行う
ことを特徴とする観察システム。
【請求項9】
請求項２に記載の観察システムにおいて、
前記照明装置は、
前記対物レンズの光軸に対して対称な位置に設けられた複数の光源を有し、
前記複数の光源を選択的に発光することで、前記照明光で前記観察物を前記対称な２方向から照明する
ことを特徴とする観察システム。
前記照明装置は、
前記対物レンズの光軸に対して対称な位置に設けられた複数の光源を有し、
前記複数の光源を選択的に発光することで、前記照明光で前記観察物を前記対称な２方向から照明する
ことを特徴とする観察システム。
【請求項10】
請求項９に記載の観察システムにおいて、
前記ずれ量算出処理は、さらに、前記複数の画像の各々をポジティブコントラスト画像またはネガティブコントラスト画像に変換する画像変換処理を含む
ことを特徴とする観察システム。
前記ずれ量算出処理は、さらに、前記複数の画像の各々をポジティブコントラスト画像またはネガティブコントラスト画像に変換する画像変換処理を含む
ことを特徴とする観察システム。
【請求項11】
請求項１または請求項２に記載の観察システムにおいて、さらに、
前記観察物を収容する容器に関する情報を記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶されている前記容器に関する情報に基づいて、前記観察位置の前記光軸方向の範囲を決定する
ことを特徴とする観察システム。
前記観察物を収容する容器に関する情報を記憶する記憶部を備え、
前記制御部は、前記記憶部に記憶されている前記容器に関する情報に基づいて、前記観察位置の前記光軸方向の範囲を決定する
ことを特徴とする観察システム。
【請求項12】
コンピュータが、
観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する
ことを特徴とするフォーカス位置算出方法。
観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する
ことを特徴とするフォーカス位置算出方法。
【請求項13】
コンピュータに、
観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する処理
を実行させることを特徴とするプログラム。
観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する処理
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、観察システム、フォーカス位置算出方法、プログラムに関する。
【背景技術】
【0002】
コントラストＡＦと呼ばれるオートフォーカス技術が知られている。コントラストＡＦは、被写体に対する対物レンズの位置を光軸方向に変更しながら取得した複数の画像のコントラストに基づいてフォーカス位置を算出するものであり、位相差ＡＦとは異なり専用のセンサを必要としないため、様々な装置において広く利用されている。
【0003】
しかしながら、コントラストＡＦでは、光軸方向に対してコントラストのピークが複数生じる環境においては、正確なフォーカス位置の特定が困難である。このような環境は、例えば、培養容器に収容された培養細胞などの位相物体の観察において生じやすい。
【0004】
これに対して、特許文献１には、異なる方向から照明した画像間の位置関係に基づいて幾何学的にフォーカス位置を算出する、コントラストＡＦとは異なるオートフォーカス技術が提案されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第１０９２１５７３号明細書
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載される技術を用いて幾何学的にフォーカス位置を算出するためには、各種のパラメータを事前に把握している必要がある。しかしながら、例えば培養細胞を観察する場合を例にすると、パラメータは、装置設定に加えて、培養容器の形状、培養液の深さ、界面形状などの装置設定以外の要因によっても変化し得る。フォーカス位置を幾何学的に算出するためのこれらのパラメータを事前に把握することは、必ずしも容易ではない。
【0007】
以上のような実情を踏まえ、本発明の一側面に係る目的は、事前情報なしにフォーカス位置を特定可能な新たな技術を提供することである。
【課題を解決するための手段】
【0008】
本発明の一態様に係る観察システムは、照明光で観察物を複数の異なる方向から照明する照明装置と、前記観察物からの光を集光する対物レンズを含み、前記対物レンズで集光した光で前記観察物を撮像する撮像装置と、制御部と、を備える。前記制御部は、前記対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は前記照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する。
【0009】
本発明の一態様に係るフォーカス位置算出方法は、コンピュータが、観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する。
【0010】
本発明の一態様に係るプログラムは、コンピュータに、観察物を撮像する撮像装置に含まれる対物レンズの光軸方向に互いに異なる観察位置で前記撮像装置が取得した複数の画像群であって、前記複数の画像群の各々は照明装置により互いに異なる方向から照明された前記観察物の複数の画像を含む、前記複数の画像群に基づいて、前記撮像装置のフォーカス位置を算出する処理を実行させる。
【発明の効果】
【0011】
上記の態様によれば、事前情報なしにフォーカス位置を特定可能な新たな技術を提供することができる。
【図面の簡単な説明】
【0012】
【図1】システム１の構成を例示した図である。
【図2】観察装置１０の斜視図である。
【図3】観察装置１０の構成を示した図である。
【図4】光源ユニット１４と撮像ユニット１５の構成を例示した図である。
【図5】制御装置３０の構成を例示した図である。
【図6】システム１が行う処理のフローチャートである。
【図8】観察位置による予備画像の変化を例示した図である。
【図11】観察位置毎の相互相関関数を示すグラフである。
【図13】ずれ量を観察位置に対して線形フィッティングしたずれ量関数を示すグラフである。
【図15】画像内のエリアを説明する図である。
【図16】各エリアの座標範囲を示すテーブルである。
【図17】第１の実施形態に係るシステムが行う処理のフローチャートである。
【図20】あるエリアにおける観察位置毎の相互相関関数を示すグラフである。
【図21】エリア毎のずれ量関数を示すグラフである。
【図23】第２の実施形態に係るシステムが行うフォーカス位置算出処理のフローチャートである。
【図24】あるエリアにおける観察位置毎の相互相関関数を示すグラフである。
【図25】あるエリアにおける相互相関ピーク関数を示すグラフである。
【図26】あるエリアにおけるずれ量関数を示すグラフである。
【図27】相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。
【図28】ずれ量関数の傾きを用いた除外データの決定方法を説明するための図である。
【図29】Ｚ探索範囲を用いた除外データの決定方法を説明するための図である。
【図30】エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。
【図31】相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。
【図32】エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。
【図33】第４の実施形態に係るシステムが行うオートフォーカス処理のフローチャートである。
【図34】前回のオートフォーカス処理で取得されたフォーカス情報を示すテーブルである。
【発明を実施するための形態】
【0013】
図１は、システム１の構成を例示した図である。図２は、観察装置１０の斜視図である。図３は、観察装置１０の構成を示した図である。図４は、光源ユニット１４と撮像ユニット１５の構成を例示した図である。図５は、制御装置３０の構成を例示した図である。以下、図１から図５を参照しながら、システム１の構成について説明する。
【0014】
図１に示すシステム１は、培養容器ＣＶに収容された試料の観察に用いられる観察システムであり、試料を培養しながら試料の画像を取得する。システム１は、図１に示すように、培養容器ＣＶに収容された試料を培養容器ＣＶの下方から撮像して試料の画像を取得する１つ以上の観察装置１０と、観察装置１０を制御する制御装置３０と、を備えている。
【0015】
観察装置１０の各々と制御装置３０は、互いにデータをやり取りできればよい。従って、観察装置１０の各々と制御装置３０は、有線で通信可能に接続されてもよく、無線で通信可能に接続されてもよい。また、観察物である試料は、例えば、培養細胞であり、試料を収容する培養容器ＣＶは、例えば、フラスコである。ただし、培養容器ＣＶは、フラスコに限らず、ディッシュ、ウェルプレートなどその他の培養容器であってもよい。
【0016】
試料をインキュベータ２０から取り出すことなく撮像するために、観察装置１０は、例えば、図１に示すように、インキュベータ２０内に配置された状態で使用される。より詳細には、観察装置１０は、図１及び図２に示すように、培養容器ＣＶが観察装置１０の透過窓１１に載置された状態でインキュベータ２０内に配置され、制御装置３０からの指示に従って培養容器ＣＶ内の試料の画像を取得する。なお、透過窓１１は、観察装置１０の筐体１２の上面を構成する透明な天板であり、培養容器ＣＶを載置する載置面を構成する。透過窓１１は、例えば、ガラスや透明な樹脂などからなる。
【0017】
観察装置１０は、図２に示すように、培養容器ＣＶが配置される透明な透過窓１１を上面とする箱型の筐体１２と、透過窓１１（載置面）上で培養容器ＣＶを所定の位置へ位置決めする位置決め部材６０を備えている。なお、位置決め部材６０は、筐体１２に固定されている。ただし、位置決め部材６０は、必要に応じて取り外すことが可能であり、使用される容器に応じて形状の異なる別の位置決め部材と交換されてもよい。
【0018】
観察装置１０は、図３及び図４に示すように、さらに、筐体１２内を移動するステージ１３と、試料Ｓを照明する１対の光源ユニット１４と、試料を撮像する撮像ユニット１５と、を備えている。ステージ１３と光源ユニット１４と撮像ユニット１５は、筐体１２内部に収容されている。光源ユニット１４と撮像ユニット１５は、ステージ１３上に設置されていて、筐体１２内でステージ１３が移動することで培養容器ＣＶに対して移動する。
【0019】
ステージ１３は、観察装置１０の移動ユニットの一例であり、培養容器ＣＶに対する撮像ユニット１５の相対位置を変更する。ステージ１３は、透過窓１１（載置面）と平行で且つ互いに直交しているｘ方向とｙ方向に移動可能である。また、ステージ１３は、さらに、ｘ方向とｙ方向の両方に直交するｚ方向にも移動可能である。ｚ方向は、後述する撮像ユニット１５の観察光学系１８の光軸方向である。
【0020】
なお、図３及び図４には、光源ユニット１４と撮像ユニット１５がステージ１３上に設置され、その結果、一体となって筐体１２内を移動する例が示されているが、光源ユニット１４と撮像ユニット１５は、それぞれ独立して筐体１２内を移動してもよい。また、図３及び図４には、１対の光源ユニット１４が撮像ユニット１５を挟んで左右に配置されている例を示したが、光源ユニット１４の配置と数はこの例に限らない。例えば、光源ユニット１４は、ステージ１３上に３つ以上設けられてもよく、１つだけ設けられてもよい。
【0021】
１対の光源ユニット１４は、システム１の照明装置の一例である。１対の光源ユニット１４は、後述する観察光学系１８の光軸に対して対称な位置に設けられていて、照明光で観察物である試料Ｓを２つの異なる方向から照明する。光源ユニット１４の各々は、図４に示すように、光源１６と、拡散板１７を備えている。即ち、１対の光源ユニット１４は、観察光学系１８の光軸に対して対称な位置に設けられた複数の光源１６を備えていて、複数の光源１６を選択的に発光することで、照明光で観察物である試料Ｓを対称な２方向から照明する。
【0022】
光源１６は、例えば、発光ダイオード（ＬＥＤ）などを含んでいる。光源１６は、白色ＬＥＤを含んでもよく、Ｒ（赤）、Ｇ（緑）、Ｂ（青）など、複数の異なる波長の光を出射する複数のＬＥＤを含んでもよい。光源１６から出射した光は、拡散板１７に入射する。
【0023】
拡散板１７は、光源１６から出射した光を拡散させる。拡散板１７は、特に限定しないが、例えば、表面に凹凸を形成したフロスト型の拡散板である。ただし、拡散板１７は、表面をコーティングしたオパール型の拡散板であってもよく、その他のタイプの拡散板であってもよい。さらに、拡散板１７には拡散光の出射領域を制限するためのマスク１７ａが形成されてもよい。拡散板１７から出射した光は、様々な方向に進行する。
【0024】
撮像ユニット１５は、システム１の撮像装置の一例である。撮像ユニット１５は、図４に示すように、観察光学系１８と、撮像素子１９を備えている。観察光学系１８は、透過窓１１を透過することによって筐体１２内に入射した光を集光する。観察光学系１８は、特に限定しないが、例えば、有限な位置に像を形成する有限遠補正型の対物レンズである。ただし、観察光学系１８は、無限遠補正型の対物レンズを含んでもよく、観察光学系１８全体として有限遠補正光学系を構成すればよい。試料Ｓが存在する培養容器ＣＶの底面に焦点を合わせた観察光学系１８が筐体１２内に入射した光を撮像素子１９上に集光することで、撮像素子１９上に試料Ｓの光学像が形成される。
【0025】
撮像素子１９は、検出した光を電気信号に変換する光センサである。撮像素子１９は、具体的には、イメージセンサであり、特に限定しないが、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどである。撮像ユニット１５は、観察物（試料Ｓ）からの光を集光する対物レンズを含み、撮像素子１９を用いて対物レンズで集光した光で観察物（試料Ｓ）を撮像する。
【0026】
以上のように構成された観察装置１０では、位相物体である培養容器ＣＶ内の試料Ｓを可視化するために、偏射照明が採用されている。具体的には、光源１６が発した光は、拡散板１７で拡散し、観察光学系１８を経由することなく筐体１２外へ出射する。その後、筐体１２外へ出射した光のうちの一部が、例えば、培養容器ＣＶの上面などで反射することで、試料Ｓ上方で偏向され、さらに、試料Ｓ上方で偏向された光のうちの一部が、試料Ｓに照射され、試料Ｓ及び透過窓１１を透過することによって筐体１２内に入射する。そして、筐体１２内に入射した光のうちの一部が、観察光学系１８によって集光され、撮像素子１９上に試料Ｓの像を形成する。最後に、観察装置１０は、撮像素子１９から出力された電気信号に基づいて試料の画像を生成し、制御装置３０へ出力する。
【0027】
なお、試料Ｓを透過して観察光学系１８に入射する光の角度は、観察装置１０の各種設定のみによっては定まらず、培養容器などの観察装置１０以外の要因によっても変化する。例えば、図４に示すように、培養容器ＣＶを用いた場合に試料Ｓ経由で観察光学系１８に入射する光線Ｌ１と、培養容器ＣＶとは異なる高さの培養容器ＣＶ１を用いた場合に試料Ｓ経由で観察光学系１８に入射する光線Ｌ２では、入射角が異なる。また、培養液ＣＬの界面が表面張力で湾曲している場合とおよそ平面となっている場合では、界面での屈折力が異なるため、観察光学系１８への入射角が変化する。このように、システム１において事前に入射角等の情報を特定することは必ずしも容易ではない。
【0028】
制御装置３０は、観察装置１０を制御する装置であり、システム１の制御部の一例である。制御装置３０は、ステージ１３と光源ユニット１４と撮像ユニット１５とを制御する。なお、制御装置３０は、プロセッサ３１と、記憶装置３２と、を含んでいればよく、標準的なコンピュータであってもよい。
【0029】
制御装置３０は、例えば、図５に示すように、例えば、プロセッサ３１と、記憶装置３２と、入力装置３３と、表示装置３４と、通信装置３５を備えていてもよく、それがバス３６を通じて接続されていてもよい。
【0030】
プロセッサ３１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などを含むハードウェアであり、記憶装置３２に記憶されているプログラム３２ａを実行することで、プログラムされた処理を行う。また、プロセッサ３１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでもよい。
【0031】
記憶装置３２は、例えば、１つ又は複数の任意の半導体メモリを含み、さらに、１つ又は複数のその他の記憶装置を含んでもよい。半導体メモリは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブルＲＯＭ、フラッシュメモリなどの不揮発性メモリを含んでいる。ＲＡＭには、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などが含まれてもよい。その他の記憶装置には、例えば、磁気ディスクを含む磁気記憶装置、光ディスクを含む光学記憶装置などが含まれてもよい。
【0032】
なお、記憶装置３２は、非一時的なコンピュータ読取可能媒体であり、システム１の記憶部の一例である。記憶装置３２は、プログラム３２ａや観察装置１０が撮像した試料の画像に加えて、後述するオートフォーカス処理で算出される各種情報（オートフォーカス情報と記す）などを記憶する。
【0033】
入力装置３３は、利用者が直接操作する装置であり、例えば、キーボード、マウス、タッチパネルなどである。表示装置３４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイなどである。ディスプレイには、タッチパネルが内蔵されてもよい。通信装置３５は、有線通信モジュールであっても、無線通信モジュールであってもよい。
【0034】
図５に示す構成は、制御装置３０のハードウェア構成の一例であり、制御装置３０はこの構成に限定されるものではない。制御装置３０は、汎用装置に限らず、専用装置であってもよい。
【0035】
観察装置１０は、制御装置３０からの指示に従って、試料Ｓの画像を取得する。制御装置３０は、インキュベータ２０内に置かれた観察装置１０へ画像取得指示を送信し、観察装置１０によって取得された画像を受信する。制御装置３０は、制御装置３０が備える表示装置３４に、観察装置１０で取得した画像を表示してもよく、これにより、システム１は、利用者に培養中の試料Ｓの画像を提供し、試料Ｓの画像を利用者による試料の観察に供してもよい。なお、制御装置３０は、図１に示すクライアント端末（クライアント端末４０、クライアント端末５０）と通信してもよく、クライアント端末が備える表示装置に、観察装置１０で取得した画像を表示してもよい。
【0036】
以上のように構成されたシステム１では、制御装置３０が観察装置１０を制御することで、オートフォーカス処理が実行され、フォーカスの合った試料Ｓの画像（以降、フォーカス画像と記す。）が取得される。これにより、利用者は、フォーカス画像で試料Ｓを観察することが可能となる。以下、図６から図１４を参照しながら、フォーカス画像を取得するためにシステム１が行う処理について説明する。
【0037】
図６は、システム１が行う処理のフローチャートである。図７は、図６に示す画像取得処理のフローチャートである。図８は、観察位置による予備画像の変化を例示した図である。図９は、図６に示すずれ量算出処理のフローチャートである。図１０は、図８に示す予備画像から得られるポジティブコントラスト画像を例示した図である。図１１は、観察位置毎の相互相関関数を示すグラフである。図１２は、図６に示すフォーカス位置算出処理のフローチャートである。図１３は、ずれ量を観察位置に対して線形フィッティングしたずれ量関数を示すグラフである。図１４は、図６に示すフォーカス画像取得処理のフローチャートである。
【0038】
図６に示す処理は、プロセッサ３１が記憶装置３２に記憶されているプログラムを実行することで開始される。図６に示す処理は、画像取得処理と、ずれ量算出処理と、フォーカス位置算出処理と、フォーカス画像取得処理を含んでいる。
【0039】
プロセッサ３１は、まず、観察装置１０を制御することで予備画像を取得する画像取得処理を行う（ステップＳ１０）。より詳細には、プロセッサ３１は、図７に示す画像取得処理を行うことで、観察位置毎に照明方向を切り替えて複数の予備画像を取得するように観察装置１０を制御する。
【0040】
予備画像とは、フォーカス位置を算出するために利用される画像をいい、後に詳述するずれ量算出処理とフォーカス位置算出処理で用いられる。なお、フォーカス位置とは、試料Ｓ（培養容器ＣＶ）に対する撮像ユニット１５の相対的な位置（以降、単に撮像ユニット１５の相対位置）のうち、フォーカス画像が取得されるときの撮像ユニット１５の相対位置をいう。また、撮像ユニット１５の相対位置のうち、予備画像が取得されるときの撮像ユニット１５の相対位置を観察位置と記す。
【0041】
画像取得処理では、プロセッサ３１は、図７に示すように、まず、スキャン範囲を決定する（ステップＳ１１）。スキャン範囲は、予備画像を取得するときの観察位置の光軸方向（Ｚ方向）の範囲のことをいい、ｚ探索範囲とも呼ばれる。
【0042】
ステップＳ１１では、プロセッサ３１は、例えば、記憶装置３２に記憶されている容器に関する情報に基づいてスキャン範囲を決定してもよい。予備画像は、フォーカス位置付近で取得されることが望ましく、フォーカス位置が存在する範囲は試料Ｓを収容する培養容器ＣＶによってある程度限定される。このため、プロセッサ３１は、容器に関する情報に基づいてフォーカス位置付近を含むスキャン範囲を決定してもよい。
【0043】
スキャン範囲が決定されると、プロセッサ３１は、スキャン範囲を指定して観察装置１０に予備画像の取得を指示する。これにより、観察装置１０がステップＳ１２からステップＳ１５の処理を繰り返すことで、予備画像を取得する。つまり、プロセッサ３１は、観察装置１０にステップＳ１２からステップＳ１５の処理を行わせる。
【0044】
観察装置１０は、まず、ステージ１３を制御して撮像ユニット１５の相対位置を光軸方向に変更する（ステップＳ１２）。ここでは、観察装置１０は、制御装置３０から指定されたスキャン範囲に基づいて、相対位置をスキャン範囲の下限、つまり、スキャン範囲内の複数の観察位置のうちの下端へ移動する。
【0045】
相対位置を観察位置へ移動すると、観察装置１０は、光源ユニット１４を制御して試料Ｓを正方向から照明しながら、撮像ユニット１５を制御して試料Ｓを撮像する（ステップＳ１３）。これにより、正方向から照明された試料Ｓの予備画像を取得する。
【0046】
さらに、観察装置１０は、光源ユニット１４を制御して試料Ｓを負方向から照明しながら、撮像ユニット１５を制御して試料Ｓを撮像する（ステップＳ１４）。これにより、負方向から照明された試料Ｓの予備画像を取得する。
【0047】
その後、観察装置１０は、スキャンが完了したか、つまり、スキャン範囲内のすべての観察位置で予備画像が取得されたか否かを判定する（ステップＳ１５）。観察装置１０は、スキャンが完了していないと判断すると、ステップＳ１２において相対位置を次の観察位置へ移動し、ステップＳ１３及びステップＳ１４において新たな観察位置で予備画像を取得する。観察装置１０は、ステップＳ１２からステップＳ１５の処理をスキャン範囲内のすべての観察位置で予備画像が取得されるまで繰り返し、図７に示す画像取得処理を終了する。
【0048】
このように、図７に示す画像取得処理では、観察装置１０は観察位置を変更しながら、各観察位置において照明方向を切り替えて撮像を繰り返す。これにより、観察位置毎に１対の光源ユニット１４によって互いに異なる方向から照明された試料Ｓの複数の予備画像が取得される。
【0049】
図８には、図７に示す画像取得処理で得られた予備画像が例示されている。画像Ｐ１から画像Ｐ５は、それぞれ光軸方向に異なる観察位置で正方向照明時に取得された画像であり、画像Ｎ１から画像Ｎ５は、それぞれ光軸方向に異なる観察位置で負方向照明時に取得された画像である。
【0050】
以降では、同じ観察位置で取得された、照明装置（１対の光源ユニット１４）により互いに異なる方向から照明された試料Ｓの複数の予備画像を、画像群と記す。図８では、同じ観察位置で取得された画像Ｐ１と画像Ｎ１、画像Ｐ２と画像Ｎ２、画像Ｐ３と画像Ｎ３、画像Ｐ４と画像Ｎ４、画像Ｐ５と画像Ｎ５がそれぞれ画像群を構成し、計５つの画像群が示されている。
【0051】
換言すると、プロセッサ３１は、図７に示す画像取得処理を行うことで、観察光学系１８に含まれる対物レンズの光軸方向に互いに異なる観察位置で撮像ユニット１５が取得した複数の画像群を、観察装置１０から取得する。
【0052】
図８に示すように、偏斜照明画像である予備画像は、焦点面ＦＰとサンプル面ＳＰが一致している場合、つまり、フォーカスが合っている場合には、観察光学系１８（対物レンズ）の光軸上に位置付けられた被写体は、予備画像内において画像中心に表れる。この様子は、画像Ｐ３、画像Ｎ３に示されている。
【0053】
これに対して、焦点面ＦＰとサンプル面ＳＰが一致していない場合、つまり、フォーカスが合っていない場合には、被写体は、予備画像内において画像中心からずれた位置に表れる。この画像中心からのずれの大きさは、焦点面ＦＰとサンプル面ＳＰとの間の距離が大きいほど大きくなる。このことは、例えば、画像Ｐ１と画像Ｐ２を比較することで確認できる。また、この画像中心からのずれの方向は、照明方向によって定まり、反対方向から照明することで得られた２画像間では、ずれも反対方向に生じる。このことは、例えば、画像Ｐ１と画像Ｎ１を比較することで確認できる。
【0054】
なお、被写体が光軸上にある場合を例に説明したが、サンプル面における被写体の位置と画像内における被写体の位置との対応関係は、被写体が光軸上にある場合と光軸からずれた位置にある場合とで変わりはない。被写体が光軸上にない場合では、フォーカスが合っているならば、被写体はサンプル面における被写体の位置に対応する予備画像内の中心ではない位置に現れる。すなわち、焦点面ＦＰとサンプル面ＳＰが一致している場合、つまり、フォーカスが合っている場合、被写体は、予備画像内においてサンプル面上と同じ位置に現れる。一方、焦点面ＦＰとサンプル面ＳＰが一致していない場合、つまり、フォーカスが合っていない場合には、被写体は、予備画像内においてサンプル面上とは異なる位置に現れる。
【0055】
図７に示す画像取得処理により予備画像が取得されると、プロセッサ３１は、上述した予備画像（偏斜照明画像）の特徴を利用して、観察装置１０から取得した予備画像（複数の画像群）を用いてずれ量算出処理とフォーカス位置算出処理を行う（ステップＳ２０、ステップＳ３０）。
【0056】
まず、プロセッサ３１は、図９に示すずれ量算出処理を行うことで、同一の画像群を構成する複数の予備画像に基づいて、その複数の予備画像間の対物レンズ（観察光学系１８）の光軸と直交する方向のずれ量を算出する（ステップＳ２０）。なお、ずれ量算出処理は、画像群（観察位置）毎に行われ、画像群（観察位置）毎に画像群を構成する予備画像間のずれ量が算出される。
【0057】
図８に示すように、偏斜照明画像である予備画像では、試料Ｓは背景に対して明部と暗部で表される。また、画像群を構成する照明方向が反対の２つの予備画像では、予備画像内の明部と暗部がおよそ反転した関係にある。この関係はフォーカスが合うほど顕著になる。
【0058】
そこで、２つの予備画像間の試料Ｓの位置の比較を容易にするため、図９に示すずれ量算出処理では、プロセッサ３１は、まず、画像群を構成する２つの予備画像に対して画像変換処理を行う（ステップＳ２１）。ここでは、プロセッサ３１は、試料Ｓが背景に対して明部または暗部の一方で表されるように、２つの予備画像に対して画像変換を行う。より詳細には、プロセッサ３１は、２つの予備画像の各々をポジティブコントラスト画像またはネガティブコントラスト画像に変換する画像変換を行う。
【0059】
図１０は、図８に示す画像Ｐ１から画像Ｐ５及び画像Ｎ１から画像Ｎ５に対してステップＳ２１の画像変換処理を行うことで得られたポジティブコントラスト画像（画像ＰＣ１１から画像ＰＣ１５、画像ＰＣ２１からＰＣ２５）を示している。ポジティブコントラスト画像とは、試料Ｓを背景よりも明るい明部で表現した画像である。なお、ステップＳ２１の画像変換処理では、予備画像を、試料Ｓを背景よりも暗い暗部で表現したネガティブコントラスト画像に変換してもよい。
【0060】
画像変換処理により各画像群を構成する２画像がポジティブコントラスト画像に統一されると、プロセッサ３１は、画像群毎（観察位置毎）に相関関数を算出する（ステップＳ２２）。ステップＳ２２で算出される相関関数は、画像群を構成する２画像（ポジティブコントラスト画像）間の相互相関関数である。この相互相関関数は、それぞれが２画像の一部である２つの領域間の相関を、２つの領域間の位置ずらし量を変数にして算出した関数である。なお、位置ずらし量は、画像内での２領域の位置の違いを示す量であり、より詳細には、照明方向に関する位置の違いを示す量である。
【0061】
相関関数が算出されると、プロセッサ３１は、ピーク位置を特定する（ステップＳ２３）。図１１は、ステップＳ２２で観察位置ｚ毎に算出された位置ずらし量ｄｙを変数とする相関関数Ｃを示している。ステップＳ２３では、プロセッサ３１は、図１１に示す相関関数のピーク位置ｄｙｐｅａｋ（つまり、相関値が最大になる位置ずらし量）を観察位置ｚ毎に特定する。
【0062】
ピーク位置が特定されると、プロセッサ３１は、各画像群を構成する２画像間のずれ量を特定する（ステップＳ２４）。ピーク位置は、相関がピークを示す２領域間の位置関係、つまり、２画像間で最も類似した２領域間の位置関係、を示している。このため、ピーク位置が示す位置ずらし量は、画像中に写る被写体の位置のずれ量と考えられるため、２画像間のずれ量とみなし得る。ステップＳ２４では、プロセッサ３１は、ピーク位置が示す位置ずらし量を２画像間のずれ量とみなして、ずれ量を特定する。
【0063】
このように、図９に示すずれ量算出処理では、プロセッサ３１は、ステップＳ２１及びステップＳ２２の処理により２画像内の２領域の相関を算出し、ステップＳ２３及びステップＳ２４において、相関がピークを示す２領域の位置関係から２画像間のずれ量を算出する。
【0064】
図９に示すずれ量算出処理により観察位置毎のずれ量が算出されると、プロセッサ３１は、図１２に示すフォーカス位置算出処理を行うことで、光軸方向に互いに異なる観察位置に対応する複数のずれ量に基づいてフォーカス位置を算出する（ステップＳ３０）。
【0065】
図８を参照しながら上述したように、フォーカスが合っていない場合には、光軸上に位置付けられた被写体は、照明方向に応じた方向へ画像中心からずれた位置に表れるのに対して、フォーカスが合っている場合には、被写体は、照明方向によらず画像中心に表れる。このことから、フォーカス位置は画像間のずれ量が０となる観察位置とみなすことができる。また、フォーカスが合っていない場合に生じるずれ量は、フォーカスずれが大きいほど大きくなる。このことから、観察位置毎に得られるずれ量をフィッティングすることで、ずれ量が０となる観察位置を推定することができる。
【0066】
プロセッサ３１は、まず、観察位置を変数としたずれ量関数を線形フィッティングにより算出する（ステップＳ３１）。ここでは、プロセッサ３１は、ずれ量算出処理で観察位置毎に算出された複数のずれ量に基づいて、最小二乗法を用いて、観察位置に対して線形なずれ量関数を算出する。図１３に示す破線は、ステップＳ３１で算出されたずれ量関数である。図１３では、複数のずれ量に対して線形フィッティングによりずれ量関数が算出された様子が示されている。
【0067】
その後、プロセッサ３１は、ずれ量関数に基づいて推定したずれ量が０となる観察位置をフォーカス位置として特定する（ステップＳ３２）。ここでは、プロセッサ３１は、ずれ量関数のずれ量に０を代入して観察位置を推定し、推定した観察位置をフォーカス位置として特定する。なお、図１３に示すグラフ上では、フォーカス位置はｚ切片に対応する。
【0068】
図１２に示すフォーカス位置算出処理によりフォーカス位置が算出されると、プロセッサ３１は、図１４に示すフォーカス画像取得処理を行うことで、観察装置１０を制御してフォーカス位置で画像を取得する（ステップＳ４０）。
【0069】
フォーカス画像取得処理では、プロセッサ３１は、フォーカス位置を指定して観察装置１０にフォーカス画像の取得を指示する。これにより、観察装置１０が、まず、ステージ１３を制御して撮像ユニット１５の相対位置をフォーカス位置へ移動する（ステップＳ４１）。その後、観察装置１０は、光源ユニット１４を制御して試料Ｓを正方向（または負方向）から照明しながら、撮像ユニット１５を制御して試料Ｓを撮像する（ステップＳ４２）。これにより、フォーカス画像が取得される。観察装置１０が取得したフォーカス画像は、制御装置３０へ送信される。
【0070】
制御装置３０は、観察装置１０から受信したフォーカス画像を、表示装置３４に表示してもよい。また、制御装置３０は、フォーカス画像をクライアント端末（クライアント端末４０またはクライアント端末５０）へ送信して、クライアント端末の表示装置にフォーカス画像を表示させてもよい。
【0071】
このように、図６に示す処理では、プロセッサ３１は、対物レンズの光軸方向に互いに異なる観察位置で撮像ユニット１５が取得した複数の画像群に基づいて、撮像ユニット１５のフォーカス位置を算出する。複数の画像群の各々は、１対の光源ユニット１４により互いに異なる方向から照明された観察物の複数の画像を含んでいる。プロセッサ３１は、複数の画像群に基づいて、異なる照明方向から照明された被写体の見え方の違いが観察位置に応じてどのようなに変化するかを特定することが可能であり、その変化に基づいてフォーカス位置を算出する。このため、システム１によれば、事前に詳細なパラメータ情報を用意することなしにフォーカス位置を精度良く算出することができる。
【0072】
また、図６に示す処理では、プロセッサ３１は、画像群を構成する画像間のずれ量を算出し、光軸方向に互いに異なる観察位置に対応する複数のずれ量に基づいてフォーカス位置を算出する。このように、コントラストの高低ではなくずれ量に基づいてフォーカス位置が算出されるため、システム１によれば、コントラストのピークが複数生じ得る環境においても、フォーカス位置を算出することができる。
【0073】
以下、各実施形態において、図６に示す処理の具体例を説明する。
（第１の実施形態）
図１５は、画像内のエリアを説明する図である。図１６は、各エリアの座標範囲を示すテーブルである。図１７は、第１の実施形態に係るシステムが行う処理のフローチャートである。図１８は、図１７に示すオートフォーカス処理のフローチャートである。図１９は、図１８に示すフォーカス位置算出処理のフローチャートである。図２０は、あるエリアにおける観察位置毎の相互相関関数を示すグラフである。図２１は、エリア毎のずれ量関数を示すグラフである。図２２は、図２１に示すずれ量関数から算出されるエリア毎の傾き及びフォーカス位置と画像全体のフォーカス位置を示すテーブルである。以下、図１５から図２２を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、システム１と同じ構成を有している。このため、システム１と同じ構成要素については、同一の符合で参照する。
（第１の実施形態）
図１５は、画像内のエリアを説明する図である。図１６は、各エリアの座標範囲を示すテーブルである。図１７は、第１の実施形態に係るシステムが行う処理のフローチャートである。図１８は、図１７に示すオートフォーカス処理のフローチャートである。図１９は、図１８に示すフォーカス位置算出処理のフローチャートである。図２０は、あるエリアにおける観察位置毎の相互相関関数を示すグラフである。図２１は、エリア毎のずれ量関数を示すグラフである。図２２は、図２１に示すずれ量関数から算出されるエリア毎の傾き及びフォーカス位置と画像全体のフォーカス位置を示すテーブルである。以下、図１５から図２２を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、システム１と同じ構成を有している。このため、システム１と同じ構成要素については、同一の符合で参照する。
【0074】
本実施形態では、画像が複数のエリアに分割され、エリア毎にフォーカス位置が算出される。その後、エリア毎のフォーカス位置から画像全体のフォーカス位置が算出される。なお、エリアの数は特に限定しないが、画像は、例えば、図１５に示すように、エリアａ０からエリアａ８の３×３の計９つのエリアに分割されてもよい。図１６は、９つのエリアに分割した場合の各エリアの詳細な座標範囲を示している。以下、タイムラプス撮影が行われる場合を例にして、図１７に示す処理について具体的に説明する。
【0075】
図１７に示す処理は、プロセッサ３１が記憶装置３２に記憶されているプログラムを実行することで開始される。プロセッサ３１は、まず、記憶装置３２からプロジェクト設定を読み出すことで取得する（ステップＳ１０１）。プロジェクト設定には、例えば、タイムラプス撮影の各種条件（撮影インターバルや撮影位置座標）や、使用する容器に関する情報（容器の種類）などが含まれている。
【0076】
なお、ステップＳ１０１では、プロジェクト設定に加えて、後述するオートフォーカス処理で使用する各種パラメータを取得してもよい。パラメータは、例えば、Δｚ、ｐ、Ｍ、ＮＡ、ｄｙｍｉｎ、ｄｙｍａｘなどである。
【0077】
Δｚは、撮像ユニット１５の光軸方向への移動ピッチである。Δｚの単位はステージ１３のモータの駆動パルス（ｐｕｌｓｅ）であり、１駆動パルスは０．００１６ｍｍに対応する。ｐは、撮像素子１９の画素ピッチである。ｐの単位はｍｍである。Ｍは、観察光学系１８の横倍率である。ＮＡは、観察光学系１８の物体側開口数である。ｄｙｍｉｎ、ｄｙｍａｘは、それぞれ相関関数を算出する際の位置ずらし量の最大値と最小値であり、ｄｙｍｉｎ、ｄｙｍａｘの単位はピクセルである。
Δｚ＝３２ｐｕｌｓｅ
ｐ＝０．００２４ｍｍ
Ｍ＝２．２
ＮＡ＝０．２５
ｄｙｍｉｎ＝‐３０ｐｉｘｅｌ
ｄｙｍａｘ＝＋３０ｐｉｘｅｌ
Δｚ＝３２ｐｕｌｓｅ
ｐ＝０．００２４ｍｍ
Ｍ＝２．２
ＮＡ＝０．２５
ｄｙｍｉｎ＝‐３０ｐｉｘｅｌ
ｄｙｍａｘ＝＋３０ｐｉｘｅｌ
【0078】
プロジェクト設定が取得されると、プロセッサ３１は、撮影予定時刻まで待機する（ステップＳ１０２）。撮影予定時刻になると、プロセッサ３１は、観察装置１０を制御して、撮像ユニット１５を撮影位置へ移動する（ステップＳ１０３）。ここでは、ステージ１３がｘｙ方向に移動することで、撮像ユニット１５を撮影位置へ移動する。
【0079】
その後、プロセッサ３１は、オートフォーカス処理を行う（ステップＳ１０４）。オートフォーカス処理の詳細について後述する。
【0080】
オートフォーカス処理により撮像ユニット１５がフォーカス位置へ移動すると、プロセッサ３１は、観察装置１０を制御してフォーカス画像を取得する（ステップＳ１０５）。
【0081】
さらに、プロセッサ３１は、全ての撮影位置でフォーカス画像が取得された否かを判定する（ステップＳ１０６）。多点撮影の場合で全ての撮影位置でフォーカス画像が取得されていない場合には、プロセッサ３１は、全ての撮影位置でフォーカス画像が取得されるまでステップＳ１０３からステップＳ１０５の処理を繰り返す。
【0082】
プロセッサ３１は、予定された撮影がすべて終了したか否かを判定する（ステップＳ１０７）。撮影が終了していない場合には、プロセッサ３１は、次の撮影時刻まで待機し、ステップＳ１０２からステップＳ１０６の処理を繰り返す。予定された撮影がすべて終了すると、プロセッサ３１は、図１７に示す処理を終了する。これにより、タイムラプス撮影でフォーカスの合った画像を取得することができる。
【0083】
ステップＳ１０４で行われるオートフォーカス処理について説明する。ステップＳ１０４で行われるオートフォーカス処理が開始されると、プロセッサ３１は、スキャン範囲を指定して観察装置１０に予備画像の取得を指示する。即ち、予備画像取得処理を行う。これにより、図１８に示すステップＳ１１１からステップＳ１１５の処理が観察装置１０で行われる。
【0084】
なお、スキャン範囲は、プロジェクト設定に含まれる容器に関する情報に基づいて決定される。この例では、プロジェクト設定から容器がＴ７５フラスコであると特定され、その結果、プロセッサ３１は、スキャン範囲を以下の範囲に決定する。なお、スキャン範囲の上下限である下限ｚと上限ｚは、基準位置からの駆動パルス数で表される。
スキャン範囲の下限ｚ＝２１２３ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２２８３ｐｕｌｓｅ
スキャン範囲の下限ｚ＝２１２３ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２２８３ｐｕｌｓｅ
【0085】
観察装置１０は、まず、ステージ１３を制御して撮像ユニット１５の相対位置をスキャン範囲の下限ｚへ移動する（ステップＳ１１１）。その後、観察装置１０は、光源ユニット１４を制御して試料Ｓを正方向から照明しながら、撮像ユニット１５を制御して試料Ｓを撮像する（ステップＳ１１２）。さらに、観察装置１０は、光源ユニット１４を制御して試料Ｓを負方向から照明しながら、撮像ユニット１５を制御して試料Ｓを撮像する（ステップＳ１１３）。
【0086】
観察装置１０は、撮像ユニット１５の相対位置がスキャン範囲の上限ｚに達しているかを判定する（ステップＳ１１４）。相対位置がスキャン範囲の上限ｚに達していない場合には、観察装置１０は、相対位置をΔｚ（この例では３２ｐｕｌｕｓｅ）だけ移動することで次の観察位置へ移動し（ステップＳ１１５）、ステップＳ１１２及びステップＳ１１３の処理を繰り返す。観察装置１０は、以上の処理を相対位置がスキャン範囲の上限ｚに達するまで繰り返す。
【0087】
予備画像取得処理が終了すると、プロセッサ３１は、観察装置１０で取得した予備画像に基づいて、図１９に示すフォーカス位置算出処理を行う（ステップＳ１１６）。
【0088】
まず、プロセッサ３１は、予備画像の照明ムラを除去する（ステップＳ１２１）。ステップＳ１２１では、プロセッサ３１は、複数の予備画像のそれぞれに対して、低周波成分をカットするフィルタ処理を行う。このフィルタ処理は、画像領域全体に対して行われる。これにより、撮影により得られた複数の予備画像（以降、複数のオリジナル画像とも記す。）が、照明ムラが除去された複数の画像（以降、複数のフィルタ済画像と記す。）に変換される。
【0089】
なお、以降では、複数のオリジナル画像のうち、正方向照明時に取得したオリジナル画像の各画素の強度をＩｏ,ｐｕｌｓｅ（ｘ，ｙ，ｚ）で参照し、負方向照明時に取得したオリジナル画像の各画素の強度をＩｏ,ｍｉｎｕｓ（ｘ，ｙ，ｚ）で参照する。複数のフィルタ済画像のうち、正方向照明時に取得したオリジナル画像をフィルタ処理したフィルタ済画像の各画素の強度をＩＬＣＦ,ｐｕｌｓｅ（ｘ，ｙ，ｚ）で参照し、負方向照明時に取得したオリジナル画像をフィルタ処理したフィルタ済画像の各画素の強度をＩＬＣＦ,ｍｉｎｕｓ（ｘ，ｙ，ｚ）で参照する。ｘは画素の行番号、ｙは画素の列番号、ｚは観察位置である。
【0090】
次に、プロセッサ３１は、画像強度を規格化する（ステップＳ１２２）。ステップＳ１２２では、プロセッサ３１は、複数のフィルタ済画像を規格化して、平均強度の等しい複数の規格化画像に変換する。具体的には、プロセッサ３１は、例えば、複数の規格化画像の各画素が以下の式で計算される強度を有するように、複数の規格化画像を生成すればよい。
【数1】
【0091】
ここでは、Ｉｎｍｌ,ｐｕｌｓｅ（ｘ，ｙ，ｚ）は複数の規格化画像のうちの正方向照明に対応する規格化画像の各画素の強度であり、Ｉｎｍｌ,ｍｉｎｕｓ（ｘ，ｙ，ｚ）は複数の規格化画像のうちの負方向照明に対応する規格化画像の各画素の強度である。Ｉａｖｅは複数の規格化画像の平均画素強度である。ｎはフィルタ済画像の画素数である。
【0092】
さらに、プロセッサ３１は、ポジティブコントラスト画像へ変換する（ステップＳ１２３）。ステップＳ１２３では、プロセッサ３１は、以下の演算を行い、ポジティブコントラスト画像を生成する。
【数2】
【0093】
ここでは、Ｉｐｃ,ｐｌｕｓ（ｘ，ｙ，ｚ）は正方向照明に対応する規格化画像から生成されたポジティブコントラスト画像の各画素の強度である。Ｉｐｃ,ｍｉｎｕｓ（ｘ，ｙ，ｚ）は負方向照明に対応する規格化画像から生成されたポジティブコントラスト画像の各画素の強度である。Ｕはコントラスト調整値である。
【0094】
ポジティブコントラスト画像が生成されると、プロセッサ３１は、エリア毎且つ観察位置毎に相互相関関数を算出する（ステップＳ１２４）。ここでは、プロセッサ３１は、各画像群を構成する一組の予備画像から生成された一組のポジティブコントラスト画像から相互相関関数を算出する。より詳細には、画像を上述した９つのエリアに分けて、以下の式を用いてエリア毎に相互相関関数を算出する。
【数3】
【0095】
ここでは、ａｎはエリア番号である。ｄｙはずらし量である。Ｃａｎ（ｄｙ，ｚ）はずらし量ｄｙと観察位置ｚを変数とする相互相関関数である。ｘａｎ＿ｍｉｎ，ｘａｎ＿ｍａｘ，ｙａｎ＿ｍｉｎ，ｙａｎ＿ｍａｘはエリア番号ｎのエリアの最小ｘ座標、最大ｘ座標、最小ｙ座標、最大ｙ座標である。
【0096】
これにより、図２０に示すように、エリア毎且つ観察位置毎に相互相関関数が算出される。なお、図２０には、所定のエリア（例えば、ａ４）の観察位置毎に相互相関関数のみが示されている。相互相関関数が算出されると、プロセッサ３１は、エリア毎且つ観察位置毎に相互相関関数のピーク位置をずれ量ｄｙｐｅａｋとして特定する（ステップＳ１２５）。
【0097】
その後、プロセッサ３１は、エリア毎に観察位置を変数とするずれ量関数を線形フィッティングする（ステップＳ１２６）。ここでは、プロセッサ３１は、エリア毎に、同じエリアについて算出された観察位置の異なる複数のずれ量ｄｙｐｅａｋを最小二乗法で線形にフィッティングして、ずれ量関数ｄｙｐｅａｋ＿ａｎ（ｚ）を算出する。これにより、エリア毎のずれ量関数とともにずれ量関数の傾きｋも算出される。エリア毎のずれ量関数の傾きｋは、例えば、図２２に示す通りである。
【0098】
ずれ量ｄｙｐｅａｋは、フォーカス位置から観察位置までの距離に比例し、フォーカス位置において０になると仮定すると、ずれ量関数ｄｙｐｅａｋ＿ａｎ（ｚ）は、以下の式で表される。ここでは、ｚｂｅｓｔ＿ａｎは、エリア番号ｎのエリアのフォーカス位置である。ｋは、ずれ量関数の傾きである。
【数4】
【0099】
ステップＳ１２６では、ずれ量関数の傾きｋをフィッティングにより算出するが、傾きｋは理論的には以下の式で表される。ただし、Ｋは、照明状態に依存する値であり、０＜｜Ｋ｜＜１である。特に、偏斜照明の場合、０．２＜｜Ｋ｜＜０．９である。なお、本容器では、Ｋは０．４から０．５の範囲内である。
【数5】
【0100】
図２１には、ステップＳ１２６で算出されたずれ量関数が示されている。図２１（ａ）には、エリアａ０からａ２に対応する３つのずれ量関数が、図２１（ｂ）には、エリアａ３からａ５に対応する３つのずれ量関数が、図２１（ｃ）には、エリアａ６からａ８に対応する３つのずれ量関数が、示されている。
【0101】
エリア毎にずれ量関数が算出されると、プロセッサ３１は、エリア毎にフォーカス位置を特定する（ステップＳ１２７）。ここでは、プロセッサ３１は、ずれ量が０となる相対位置、即ち、ずれ量関数のｚ切片をフォーカス位置として推定して、エリア毎のフォーカス位置を特定する。エリア毎のフォーカス位置は、例えば、図２２に示す通りである。
【0102】
エリア毎にフォーカス位置が特定されると、プロセッサ３１は、画像全体のフォーカス位置を算出する（ステップＳ１２８）。ここでは、プロセッサ３１は、エリア毎のフォーカス位置の平均を画像全体のフォーカス位置として算出する。この例では、図２２に示すように、画像全体のフォーカス位置は、ｚ＝２１８７ｐｕｌｓｅと算出される。
【0103】
画像全体のフォーカス位置が算出され、図２２に示すフォーカス位置算出処理が完了すると、プロセッサ３１は、観察装置１０を制御して、算出したフォーカス位置へ移動して（ステップＳ１１７）、図１８に示すオートフォーカス処理を終了する。
【0104】
以上のように、本実施形態に係るシステムによれば、システム１と同様に、事前に詳細なパラメータ情報を用意することなしにフォーカス位置を精度良く算出することができる。また、コントラストの高低ではなくずれ量に基づいてフォーカス位置が算出されるため、コントラストのピークが複数生じ得る環境においても、フォーカス位置を算出することができる点もシステム１と同様である。さらに、本実施形態に係るシステムによれば、エリア毎にフォーカス位置を算出してその後に画像全体のフォーカス位置が算出されるため、光軸方向の高さのばらつきが大きい試料Ｓに対しても良好にフォーカス位置を決定することができる。
【0105】
なお、オートフォーカス処理では、以下の式を満たすことが望ましいが、本実施形態に係るシステムは、これらの式を全て満たしている。
【数6】
【0106】
式（８）は、オートフォーカス処理における撮像ユニット１５の光軸方向への移動ピッチΔｚとして望ましい範囲を示している。Δｚが式（８）の下限（＝１／ｋ）以下になると、撮像ユニット１５の移動によって生じる像ずれが１画素未満となるため、ずれ量に正しく反映されない可能性がある。このため、フィッティング精度が低下してフォーカス位置の精度の低下を招く虞があり、望ましくない。また、Δｚが式（８）の上限以上になると、スキャン範囲内で観察位置を複数点設けることができなくなる。このため、フィッティングが行えず、フォーカス位置を算出することが困難となってしまう。
【0107】
式（９）は、相関関数算出時の位置ずらし量の最大値と最小値の差として望ましい範囲を示している。差が式（９）の下限以下になると、ピーク位置を含む相関関数が算出されない可能性が高くなる。また、差が式（９）の上限以上になると、相関関数の算出に要する計算量が増大し、その結果、オートフォーカス処理に時間がかかってしまう。
【0108】
（第２の実施形態）
図２３は、第２の実施形態に係るシステムが行うフォーカス位置算出処理のフローチャートである。図２４は、あるエリアにおける観察位置毎の相互相関関数を示すグラフである。図２５は、あるエリアにおける相互相関ピーク関数を示すグラフである。図２６は、あるエリアにおけるずれ量関数を示すグラフである。図２７は、相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。図２８は、ずれ量関数の傾きを用いた除外データの決定方法を説明するための図である。図２９は、Ｚ探索範囲を用いた除外データの決定方法を説明するための図である。図３０は、エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。以下、図２３から図３０を参照しながら、本実施形態に係るシステムが行う処理について説明する。
図２３は、第２の実施形態に係るシステムが行うフォーカス位置算出処理のフローチャートである。図２４は、あるエリアにおける観察位置毎の相互相関関数を示すグラフである。図２５は、あるエリアにおける相互相関ピーク関数を示すグラフである。図２６は、あるエリアにおけるずれ量関数を示すグラフである。図２７は、相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。図２８は、ずれ量関数の傾きを用いた除外データの決定方法を説明するための図である。図２９は、Ｚ探索範囲を用いた除外データの決定方法を説明するための図である。図３０は、エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。以下、図２３から図３０を参照しながら、本実施形態に係るシステムが行う処理について説明する。
【0109】
本実施形態で用いられる容器は、第１の実施形態の容器と同じであり、Ｋは０．４から０．５の範囲内である。本実施形態に係るシステムは、第１の実施形態に係るシステムと同じ構成を有している。ただし、図１９に示すフォーカス位置算出処理の代わりに、図２３に示すフォーカス位置算出処理を行う点が、第１の実施形態に係るシステムとは異なる。なお、図２３に示すフォーカス位置算出処理は、試料の高さのばらつきが特に大きいなど、スキャン範囲を広くとる必要がある場合に好適である。
【0110】
本実施形態で使用されるパラメータのうち、第１の実施形態で使用されるパラメータと値が異なるものは以下の通りである。スキャン範囲を第１の実施形態よりも広くとり、且つ、オートフォーカス処理における画像取得枚数の増大を抑えるためにΔｚを第１の実施形態よりも大きくとっている。
Δｚ＝４８ｐｕｌｓｅ
スキャン範囲の下限ｚ＝１９３１ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２４１１ｐｕｌｓｅ
Δｚ＝４８ｐｕｌｓｅ
スキャン範囲の下限ｚ＝１９３１ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２４１１ｐｕｌｓｅ
【0111】
【0112】
図２４は、エリアａ４について算出された相互相関関数を示している。図２４（ａ）は、スキャン範囲の下限に近い観察位置における相互相関関数を、図２４（ｂ）は、スキャン範囲の中心付近の観察位置における相互相関関数を、図２４（ｃ）は、スキャン範囲の上限に近い観察位置における相互相関関数を、示している。
【0113】
スキャン範囲を広くとった場合には、フォーカス位置算出処理に使用される複数の予備画像に、フォーカス位置から大きく外れた観察位置で取得した予備画像が含まれることになる。このような画像では、画像間のずれ量も大きくなるため、相関関数のピークが位置ずらし量の最大値と最小値の範囲外に生じてしまい、その結果、算出した相関関数中に真のピークが現れず誤ったずれ量を算出してしまう可能性がある。図２４（ａ）及び図２４（ｃ）に示す相関関数は、このケースに該当する。また、仮に画像間のずれ量が位置ずらし量の最大値と最小値の範囲内に収まっていたとしても、画像のボケが強いため、相関関数にはっきりとしたピークが生じないことがある。この場合も、画像間のずれ量は正しく算出されない。
【0114】
このように、スキャン範囲が広い場合には、観察位置毎に算出した画像間のずれ量には、正しくない値が含まれ得る。このため、本実施形態では、このような正しくないずれ量に起因する情報がフォーカス位置の算出に使用されないように、演算処理から除外してから、フォーカス位置を算出する。
【0115】
正しくないずれ量を見分けるために、本実施形態では、プロセッサ３１は、エリア毎且つ観察位置毎に、ピーク位置における相関値を特定する（ステップＳ２０６）。つまり、プロセッサ３１は、ピーク位置（ずれ量）とともにピーク位置における相関値も算出し、以降のステップにおいて、複数のずれ量と複数のピーク位置における相関値とに基づいてフォーカス位置を算出する。なお、図２５は、ステップＳ２０６で算出したピーク位置における相関値を用いた、あるエリア（例えば、エリアａ４）における相互相関ピーク関数Ｃａｎ＿ｍａｘ（ｚ）を示している。
【0116】
その後、プロセッサ３１は、第１の実施形態ではエリア毎に行っていたずれ量関数のフィッティングとフォーカス位置の推定を、エリア毎且つ観察位置毎に行う（ステップＳ２０７、ステップＳ２０８）。これは、エリア毎にフィッティングとフォーカス位置の推定を行うと、フォーカス位置から大きく外れた観察位置の情報が各エリアに関する計算中に必然的に含まれることになり、精度が低下してしまうためである。これに対して、エリア毎且つ観察位置毎にフィッティングとフォーカス位置の推定を行うと、フォーカス位置から大きく外れた観察位置の情報を使用した計算と使用しない計算を分けることが可能である。これにより、フォーカス位置から大きく外れた観察位置の情報を使用しない計算結果のみを選択してフォーカス位置の算出に利用することで、フォーカス位置を精度よく算出することができる。
【0117】
具体的には、プロセッサ３１は、注目する観察位置のずれ量と、その観察位置に隣接する別の観察位置のずれ量の２つ情報からずれ量関数を線形フィッティングする（ステップＳ２０７）。つまり、２点を直線で結んでずれ量関数を算出する。さらに、プロセッサ３１は、２点を結んで算出したずれ量関数毎に、ずれ量が０となる観察位置をフォーカス位置として推定する（ステップＳ２０８）。図２６は、ステップＳ２０７で、あるエリア（例えば、エリアａ４）について観察位置毎に算出された複数のずれ量関数をつなげて示した図である。
【0118】
ステップＳ２０８でフォーカス位置が推定されると、プロセッサ３１は、推定された複数のフォーカス位置のうち、真のフォーカス位置を決定するための演算処理から除外すべきものを決定する（ステップＳ２０９）。なお、３つの判断基準を用いて、除外すべきフォーカス位置を決定する。
【0119】
まず１つ目の基準は、相互相関ピーク関数値（相関値）を用いたものである。ピーク位置における相関値が小さい観察位置はフォーカス位置から大きく外れていることが想定される。この想定に基づいて、不要な情報を見分けることできる。
【0120】
プロセッサ３１は、注目する観察位置ｚｉについて算出された相関関数のピーク位置における相関値Ｃａｎ＿ｍａｘ（ｚｉ）と、その観察位置に隣接した観察位置ｚｉ＋１について算出された相関関数のピーク位置における相関値Ｃａｎ＿ｍａｘ（ｚｉ＋１）の平均値Ｃａｎ＿ｍａｘ（ｉ）を、エリア毎に算出する。なお、ｉは注目する観察位置（以降、単に注目位置と記す。）を示している。
【0121】
さらに、プロセッサ３１は、同じ観察位置に注目して算出された異なる複数のエリアの平均値Ｃａｎ＿ｍａｘ（ｉ）を以下の式でさらに平均して、新たな平均値Ｃａｖｅ（ｉ）を算出する。
【数7】
【0122】
その後、プロセッサ３１は、注目位置ｉをスキャン範囲でずらしながら、全ての注目位置ｉについて平均値を算出する。すべての平均値が算出されると、最大の平均値が１となるように以下の式で注目位置の平均値を規格化する。Ｃｎｏｒｍ（ｉ）は規格化された平均値である。
【数8】
【0123】
プロセッサ３１は、規格化された平均値が閾値以下である注目位置についてはフォーカス位置から除外する。換言すると、プロセッサ３１は、相関のピークにおける相関値が閾値を下回る注目位置（観察位置）に対応する情報を、以降で行われるフォーカス位置を算出するための演算処理から除外する。なお、閾値は、例えば、０．３である。図２７には、０．３を閾値としてフォーカス位置から除外すべき注目位置を選択した様子が示されている。この例では、注目位置ｉ＝０、１、２、８、９の５点が除外されている。
【0124】
２つ目の基準は、ずれ量関数の傾きを用いたものである。観察位置がフォーカス位置からずれている方向（つまり、焦点面がサンプル面からずれている方向）によって被写体が画像内でずれる方向が定まるため、ずれ量関数の傾きの正負は、予め既知である。ずれ量関数の傾きが想定される傾きとは逆符号となる場合には、その観察位置において正しいずれ量が算出されていないとみなし得る。このため、ずれ量関数の傾きに基づいて、不要な情報を見分けることができる。
【0125】
プロセッサ３１は、以下の式を用いて、ずれ量関数の傾きを注目位置毎且つエリア毎に算出する。ｋａｎ（ｉ）は、注目位置ｉ、ｎ番目のエリアａｎにおけるずれ量関数の傾きである。
【数9】
【0126】
プロセッサ３１は、ずれ量関数の傾きが所定の符号になるエリアと注目位置との組み合わせについては、フォーカス位置から除外する。所定の符号は、この例ではマイナスである。図２８には、フォーカス位置から除外すべき注目位置とエリアの組み合わせを選択した様子が示されている。この例では、注目位置とエリアの組み合わせ（ｉ，ｎ）＝（０，８）、（１，０）、（１，８）、（２，０）、（２，１）、（２，２）、（２，３）、（２，６）、（２，７）、（２，８）、（７，６）、（７，７）、（９，３）、（９，４）、（９，６）が除外されている。
【0127】
３つ目の基準は、スキャン範囲（Ｚ探索範囲）を用いたものである。スキャン範囲内にフォーカス位置が存在する前提でスキャン範囲は設定されている。ステップＳ２０８で推定されるフォーカス位置がスキャン範囲外にある場合、誤って推定された可能性が高い。このため、推定されたフォーカス位置がスキャン範囲内か否かに基づいて、不要な情報を見分けることができる。
【0128】
ステップＳ２０８で算出されるフォーカス位置は、ずれ量関数のｚ切片であるため、以下の式で表される。ｚｂｅｓｔ＿ａｎ（ｉ）は、注目位置ｉ、エリアａｎにおける推定されたフォーカス位置である。
【数10】
【0129】
プロセッサ３１は、推定されたフォーカス位置がスキャン範囲外にあるエリアと注目位置との組み合わせについては、フォーカス位置から除外する。この例では、スキャン範囲は、１９３１から２４１１ｐｕｌｓｅである。図２９には、フォーカス位置から除外すべき注目位置とエリアの組み合わせを選択した様子が示されている。この例では、注目位置とエリアの組み合わせ（ｉ，ｎ）＝（０，０）から（０，８）、（１，０）から（１，３）、（１，５）から（１，８）、（２，０）から（２，８）、（８，０）から（８，８）、（９，０）から（９，８）が除外されている。
【0130】
推定されたフォーカス位置から不適切なフォーカス位置が除外されると、プロセッサ３１は、除外後に残った推定されたフォーカス位置に基づいて、画像全体のフォーカス位置を決定する（ステップＳ２１０）。
【0131】
ステップＳ２１０では、プロセッサ３１は、まず、同じ注目位置（観察位置）について推定された複数のエリアのフォーカス位置の平均と標準偏差を、以下の式で算出する。ここで、ｎｅｆｆは除外後に残ったエリア数であり、注目位置毎に異なり得る。ｚｂｅｓｔ＿ａｖｅ（ｉ）は、注目位置ｉについて推定された平均フォーカス位置である。ｚｂｅｓｔ＿ｓｔｄｅｖ（ｉ）は、注目位置ｉについて推定されたフォーカス位置の標準偏差である。
【数11】
【0132】
図３０には、ステップＳ２１０で算出された平均フォーカス位置とフォーカス位置の標準偏差が示されている。平均フォーカス位置とフォーカス位置の標準偏差が算出されると、プロセッサ３１は、標準偏差が最小となる注目位置の平均フォーカス位置を画像全体のフォーカス位置に決定する。なお、標準偏差が最小の注目位置に着目するのは、標準偏差が最小の注目位置ではエリア毎に推定されるフォーカス位置の差が小さく、フォーカス位置から外れるほど顕著に生じる様々な要因の誤差が少ないことを意味するためである。
【0133】
以上のように、本実施形態に係るシステムによっても、第１の実施形態に係るシステムと同様に、事前に詳細なパラメータ情報を用意することなしにフォーカス位置を精度良く算出することが可能であり、コントラストのピークが複数生じ得る環境においても、フォーカス位置を算出することができる。さらに、本実施形態に係るシステムによれば、スキャン範囲を広くとる必要がある場合であっても、正しいフォーカス位置を算出することができる。
【0134】
（第３の実施形態）
図３１は、相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。図３２は、エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。以下、図３１及び図３２を参照しながら、本実施形態に係るシステムが行う処理について説明する。
図３１は、相互相関ピーク関数値を用いた除外データの決定方法を説明するための図である。図３２は、エリア毎且つ観察位置毎に算出したフォーカス位置に基づく画像全体のフォーカス位置の決定方法を説明するための図である。以下、図３１及び図３２を参照しながら、本実施形態に係るシステムが行う処理について説明する。
【0135】
本実施形態に係るシステムは、上述した第２の実施形態に係るシステムと同じ構成を有し、さらに、図２３に示すフォーカス位置算出処理を行う点についても、第２の実施形態に係るシステムと同様である。ただし、本実施形態に係るシステムは、フォーカス位置算出処理において、図２３のステップＳ２０９で行われる除外すべき情報を決定する処理と、図２３のステップＳ２１０で行われる画像全体のフォーカス位置を決定する処理が、第２の実施形態に係るシステムとは異なる。本実施形態に係るシステムが行うフォーカス位置算出処理は、例えば、細胞が１つしか映っていない場合など画像内において被写体が局所的に分布している場合において特に好適である。
【0136】
本実施形態で用いられる容器は、例えば、第２の実施形態とは異なり、Ｔ２５フラスコである。この容器では、Ｋは、０．６から０．８の範囲内である。その他、本実施形態で使用されるパラメータのうち、第２の実施形態で使用されるパラメータと値が異なるものは以下の通りである。
スキャン範囲の下限ｚ＝１８６５ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２３４５ｐｕｌｓｅ
スキャン範囲の下限ｚ＝１８６５ｐｕｌｓｅ
スキャン範囲の上限ｚ＝２３４５ｐｕｌｓｅ
【0137】
本実施形態でも、ステップＳ２０９において、プロセッサ３１は、３つの判断基準を用いて、除外すべきフォーカス位置を決定する。このうちの２つは、ずれ量関数の傾きを用いるものとスキャン範囲を用いるものであり、第２の実施形態の２つ目と３つ目の判断基準と同様であるので、説明を省略する。
【0138】
残りの一つの基準は、相互相関ピーク関数値（相関値）を用いたものであり、この基準は、第２の実施形態の１つ目の基準に類似している。具体的には、プロセッサ３１は、まず、注目する観察位置ｚｉについて算出された相関関数のピーク位置における相関値Ｃａｎ＿ｍａｘ（ｚｉ）と、その観察位置に隣接した観察位置ｚｉ＋１について算出された相関関数のピーク位置における相関値Ｃａｎ＿ｍａｘ（ｚｉ＋１）の平均値Ｃａｎ＿ｍａｘ（ｉ）を、エリア毎に算出する。この点は、第２の実施形態と同様である。
【0139】
その後、プロセッサ３１は、注目位置ｉをスキャン範囲でずらしながら、全ての注目位置ｉについて平均値Ｃａｎ＿ｍａｘ（ｉ）を算出する。すべての平均値が算出されると、最大の平均値が１となるように以下の式で注目位置の平均値を規格化する。Ｃａｎ＿ｎｏｒｍ（ｉ）は規格化された平均値である。このように、本実施形態では、規格化された平均値をエリア毎に算出する点が、第２の実施形態とは異なっている。
【数12】
【0140】
プロセッサ３１は、規格化された平均値が閾値以下である注目位置とエリアの組み合わせについてはフォーカス位置から除外する。換言すると、プロセッサ３１は、相関のピークにおける相関値が閾値を下回る注目位置（観察位置）に対応する情報を、以降で行われるフォーカス位置を算出するための演算処理から除外する。なお、閾値は、例えば、０．３である。図３１には、エリアａ４について０．３を閾値としてフォーカス位置から除外すべき注目位置を選択した様子が示されている。この例では、エリアａ４について注目位置ｉ＝０、１、２、３、７、８、９の７点が除外されている。
【0141】
推定されたフォーカス位置から不適切なフォーカス位置が除外されると、プロセッサ３１は、除外後に残った推定されたフォーカス位置に基づいて、画像全体のフォーカス位置を決定する（ステップＳ２１０）。
【0142】
ステップＳ２１０では、プロセッサ３１は、まず、隣接する注目位置（観察位置）について算出された、同じエリアのフォーカス位置の差分と隣接平均を、エリア毎に以下の式で算出する。ここで、Ｚａｎ
（２）（ｉ）はフォーカス位置の差分であり、Ｚｂｅｓｔ＿ａｎ
（ａｖｅ）（ｉ）はフォーカス位置の隣接平均である。
【数13】
【0143】
図３２は、エリアａ４について算出されたフォーカス位置の差分と隣接平均を示している。フォーカス位置の差分と隣接平均が算出されると、図３２に示すように、プロセッサ３１は、エリア毎に、差分が最小となる注目位置を特定し、特定した注目位置に関するフォーカス位置の隣接平均Ｚｂｅｓｔ＿ａｎ＿ｅｆｆ
（ａｖｅ）（ｉ）をそのエリアのフォーカス位置として決定する。この例では、差分が最小の注目位置としてｉ＝４が特定され、ｉ＝４の隣接平均がエリアａ４のフォーカス位置として決定される。
【0144】
なお、フォーカス位置の差分が最小の注目位置に着目するのは、外乱の影響によってフォーカス位置の推定精度が低下することを回避するためである。正しくフォーカス位置が推定されるのであれば、推定されたフォーカス位置は注目位置によらず近似しているはずである。従って、隣接する注目位置間でフォーカス位置の差分が大きいところは推定されたそれらのフォーカス位置が外乱の影響で大きく異なっていると考えられ、そのような隣接する注目位置で推定されたフォーカス位置を信用することは望ましくない。一方で、隣接する注目位置で推定されたフォーカス位置の差分が最小となる場合には、それらのフォーカス位置はほぼ一定であり、安定した推定結果が得られていることから、外乱の影響を受けておらず信頼できると判断可能である。以上の理由から、本実施形態では、フォーカス位置の差分が最小となる隣接する注目位置において推定されたフォーカス位置を用いてフォーカス位置を特定する。
【0145】
また、各エリアのフォーカス位置は、以下のとおりである。この例では、ステップＳ２０９において除外されなかったエリアａ１、ａ４、ａ６、ａ８のデータから算出されるため、これらのエリアのフォーカス位置のみが算出されている。
Ｚｂｅｓｔ＿ａ１＿ｅｆｆ （ａｖｅ）（４）＝２１０９．０ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ４＿ｅｆｆ （ａｖｅ）（４）＝２１０６．９ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ６＿ｅｆｆ （ａｖｅ）（４）＝２１１０．９ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ８＿ｅｆｆ （ａｖｅ）（４）＝２１０８．８ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ１＿ｅｆｆ （ａｖｅ）（４）＝２１０９．０ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ４＿ｅｆｆ （ａｖｅ）（４）＝２１０６．９ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ６＿ｅｆｆ （ａｖｅ）（４）＝２１１０．９ｐｕｌｓｅ
Ｚｂｅｓｔ＿ａ８＿ｅｆｆ （ａｖｅ）（４）＝２１０８．８ｐｕｌｓｅ
【0146】
最後に、プロセッサ３１は、算出された全エリア（この例では４つ）のフォーカス位置を平均して、画像全体のフォーカス位置として決定する。この例では、最終的なフォーカス位置は、２１０９ｐｕｌｓｅである。
【0147】
以上のように、本実施形態に係るシステムによっても、第１の実施形態、第２の実施形態に係るシステムと同様に、事前に詳細なパラメータ情報を用意することなしにフォーカス位置を精度良く算出することが可能であり、コントラストのピークが複数生じ得る環境においても、フォーカス位置を算出することができる。さらに、本実施形態に係るシステムによれば、エリアをまたがった計算を極力排除することによりエリア毎のフォーカス位置を正しく算出し、それ等のフォーカス位置に基づいて画像全体のフォーカス位置が決定される。従って、被写体が局所的にのみ存在する場合であっても、正しいフォーカス位置を算出することができる。
【0148】
（第４の実施形態）
図３３は、第４の実施形態に係るシステムが行うオートフォーカス処理のフローチャートである。図３４は、前回のオートフォーカス処理で取得されたフォーカス情報を示すテーブルである。以下、図３３及び図３４を参照しながら、本実施形態に係るシステムが行う処理について説明する。
図３３は、第４の実施形態に係るシステムが行うオートフォーカス処理のフローチャートである。図３４は、前回のオートフォーカス処理で取得されたフォーカス情報を示すテーブルである。以下、図３３及び図３４を参照しながら、本実施形態に係るシステムが行う処理について説明する。
【0149】
本実施形態に係るシステムは、第２の実施形態に係るシステムと同じ構成を有し、図１７に示すタイムラプス撮影処理を行う点も、第２の実施形態に係るシステムと同様である。ただし、各撮影点についての２回目以降の撮影において、図３３に示すオートフォーカス処理を行う点が、第２の実施形態に係るシステムとは異なる。
【0150】
なお、図３４には、１回目の撮影時に行われたオートフォーカス処理で算出されたフォーカス位置とエリア毎のずれ量関数の傾きを示している。プロセッサ３１は、１回目の撮影時に、これらの値を記憶装置３２に格納している。
【0151】
以下、図３３に示すオートフォーカス処理について具体的に説明する。なお、図３３に示すオートフォーカス処理は、ずれ量関数の傾きは１回目撮影時以降に大きく変化しないという前提で、オートフォーカス処理における画像取得枚数を大幅に削減し、高速なフォーカス合わせを可能とするものである。
【0152】
まず、プロセッサ３１は、記憶装置３２から前回のフォーカス情報を取得する（ステップＳ４０１）。フォーカス情報には、図３４に示すように、前回算出したフォーカス位置Ｚｅｖａと各エリアのずれ量関数の傾きｋａｎ＿ｅｖａが含まれる。
【0153】
次に、プロセッサ３１は、観察装置１０を制御することで、観察位置をステップＳ４０１で取得したフォーカス位置Ｚｅｖａへ移動し（ステップＳ４０２）、正方向から照明しながら撮像し（ステップＳ４０３）、さらに負方向から撮像しながら撮像する（ステップＳ４０４）。さらに、プロセッサ３１は、得られた２枚の予備画像からエリア毎のずれ量を算出する（ステップＳ４０５）。ステップＳ４０５の処理は、第２の実施形態と同様であり、図２３のステップＳ２０１からステップＳ２０５と同様である。
【0154】
エリア毎のずれ量が算出されると、フォーカス情報を用いてエリア毎のフォーカス位置を改めて算出する（ステップＳ４０６）。具体的には、エリア毎のフォーカス位置Ｚｂｅｓｔ＿ａｎ＿ｅｖａは、以下の式で算出される。
【数14】
【0155】
最後に、プロセッサ３１は、エリア毎に算出したフォーカス位置を平均して、画像全体のフォーカス位置を算出する（ステップＳ４０７）。
【0156】
以上のように、本実施形態に係るシステムによれば、２回目以降のオートフォーカスを少ない画像取得枚数で高速に行うことができるため、撮影時間を大幅に短縮することができる。
【0157】
なお、以上では、２回目以降のオートフォーカス処理で、１つの画像群（１対の予備画像）のみを取得する例を示したが、２回目以降のオートフォーカス処理において、２つの画像群（２対の予備画像）を取得してもよい。この場合、２つの画像群を取得する観察位置を前回のフォーカス位置の近傍に設定すればよく、２つの画像群からフォーカス位置を再計算する方法としては、例えば、第１の実施形態で説明した方法を用いればよい。２つの画像群を取得する場合についても１つの画像群を取得する場合と同様に、オートフォーカス処理に要する時間を短縮することができる。
【0158】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、１つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の観察システム、フォーカス位置算出方法、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0159】
上述した実施形態では、観察装置と制御装置が別々の装置である場合を例示したが、これらは単一の装置として構成されてもよい。即ち、観察システムは、観察装置単体で構成されてもよく、観察装置の制御部が制御装置として動作してもよい。また、観察装置は、上述した実施形態において例示した装置に限らず、例えば、オートフォーカス機能を備えた顕微鏡装置であってもよい。顕微鏡装置は、正立顕微鏡装置であってもよく、倒立顕微鏡装置であってもよい。また、透過型顕微鏡装置であってもよく、落射型顕微鏡装置であってもよい。
【0160】
上述した実施形態では、観察位置毎に予備画像を２枚取得する例を示したが、３枚以上取得してもよい。また、１８０°方向の異なる２方向から試料Ｓを照明して予備画像を取得する例を示したが、３方向以上の異なる方向から試料Ｓを照明して予備画像を取得してもよい。
【0161】
また、第２の実施形態及び第３の実施形態では、フォーカス位置の決定に適当でない情報を除外してからフォーカス位置を算出する例を示したが、フォーカス位置の決定に適当でない情報を除外する処理は、第１の実施形態において行われてもよい。
【符号の説明】
【0162】
１ ：システム
１０ ：観察装置
１３ ：ステージ
１４ ：光源ユニット
１５ ：撮像ユニット
１６ ：光源
１８ ：観察光学系
１９ ：撮像素子
２０ ：インキュベータ
３０ ：制御装置
３１ ：プロセッサ
３２ ：記憶装置
３２ａ ：プログラム
３３ ：入力装置
３４ ：表示装置
３５ ：通信装置
３６ ：バス
ＣＶ、ＣＶ１ ：培養容器
ＦＰ ：焦点面
Ｓ ：試料
ＳＰ ：サンプル面
１０ ：観察装置
１３ ：ステージ
１４ ：光源ユニット
１５ ：撮像ユニット
１６ ：光源
１８ ：観察光学系
１９ ：撮像素子
２０ ：インキュベータ
３０ ：制御装置
３１ ：プロセッサ
３２ ：記憶装置
３２ａ ：プログラム
３３ ：入力装置
３４ ：表示装置
３５ ：通信装置
３６ ：バス
ＣＶ、ＣＶ１ ：培養容器
ＦＰ ：焦点面
Ｓ ：試料
ＳＰ ：サンプル面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】