特許 6353872 撮像装置および撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6353872

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】撮像装置および撮像方法

(51)【国際特許分類】

   G02B 21/36 20060101AFI20180625BHJP

   G03B 15/00 20060101ALI20180625BHJP

   G06T 5/50 20060101ALI20180625BHJP

   G06T 1/00 20060101ALI20180625BHJP

   H04N 5/225 20060101ALI20180625BHJP

   H04N 5/232 20060101ALI20180625BHJP

【ＦＩ】

   G02B21/36

   G03B15/00 H

   G06T5/50

   G06T1/00 295

   H04N5/225 700

   H04N5/232 133

【請求項の数】16

【全頁数】17

(21)【出願番号】特願2016-138163(P2016-138163)

(22)【出願日】2016年7月13日

(65)【公開番号】特開2018-10104(P2018-10104A)

(43)【公開日】2018年1月18日

【審査請求日】2017年1月12日

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100135013

【弁理士】

【氏名又は名称】西田 隆美

(72)【発明者】

【氏名】安田 拓矢

【審査官】 岡田 弘

(56)【参考文献】

【文献】 特開２０１６−０１４９７４（ＪＰ，Ａ）

【文献】 国際公開第２０１５／０２００３８（ＷＯ，Ａ１）

【文献】 特開２００５−１４９５００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２１／００

Ｇ０２Ｂ ２１／０６−２１／３６

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００−５／５０

Ｇ０６Ｔ ９／００−９／４０

(57)【特許請求の範囲】

【請求項1】

対象物を撮影して全焦点画像を生成する撮像装置であって、
前記対象物を撮影するカメラと、
前記対象物に向けて光を照射する投光部と、
前記カメラの焦点位置を光軸に沿って変化させる移動機構と、
前記カメラ、前記投光部、および前記移動機構を制御するとともに、前記カメラが取得した画像を処理する制御部と、
を備え、
前記制御部は、
ａ）前記移動機構により前記焦点位置を変化させつつ、前記カメラによる撮影を行うことにより、複数の撮影画像を取得する工程と、
ｂ）前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求めて倍率変動を算出する工程と、
ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、
ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、
を実行し、
前記工程ｂ）は、
ｂ−１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、
ｂ−２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、
ｂ−３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、
ｂ−４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、
を有する撮像装置。

【請求項2】

請求項１に記載の撮像装置であって、
前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である撮像装置。

【請求項3】

請求項１または請求項２に記載の撮像装置であって、
前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する撮像装置。

【請求項4】

請求項１から請求項３までのいずれか１項に記載の撮像装置であって、
前記制御部は、前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに実行する撮像装置。

【請求項5】

請求項１から請求項４までのいずれか１項に記載の撮像装置であって、
前記移動機構は、静止した前記対象物に対して前記カメラを移動させる撮像装置。

【請求項6】

請求項１から請求項５までのいずれか１項に記載の撮像装置であって、
容器を保持するステージ
をさらに有し、
前記対象物は、前記容器内に液体またはゲル状の物質とともに保持される撮像装置。

【請求項7】

請求項６に記載の撮像装置であって、
前記容器は、ウェルプレートである撮像装置。

【請求項8】

請求項６または請求項７に記載の撮像装置であって、
前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である撮像装置。

【請求項9】

対象物を撮影して全焦点画像を生成する撮像方法であって、
ａ）カメラの焦点位置を光軸に沿って変化させつつ、前記カメラによる前記対象物の撮影を行うことにより、複数の撮影画像を取得する工程と、
ｂ）前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求めて倍率変動を算出する工程と、
ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、
ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、
を有し、
前記工程ｂ）は、
ｂ−１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、
ｂ−２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、
ｂ−３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、
ｂ−４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、
を有する撮像方法。

【請求項10】

請求項９に記載の撮像方法であって、
前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である撮像方法。

【請求項11】

請求項９または請求項１０に記載の撮像方法であって、
前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する撮像方法。

【請求項12】

請求項９から請求項１１までのいずれか１項に記載の撮像方法であって、
前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに有する撮像方法。

【請求項13】

請求項９から請求項１２までのいずれか１項に記載の撮像方法であって、
前記工程ａ）では、静止した前記対象物に対して前記カメラを移動させる撮像方法。

【請求項14】

請求項９から請求項１３までのいずれか１項に記載の撮像方法であって、
前記対象物は、容器内に液体またはゲル状の物質とともに保持される撮像方法。

【請求項15】

請求項１４に記載の撮像方法であって、
前記容器は、ウェルプレートである撮像方法。

【請求項16】

請求項１４または請求項１５に記載の撮像方法であって、
前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象物を撮影して全焦点画像を生成する撮像装置および撮像方法に関する。

【背景技術】

【0002】

特許文献１には、細胞を高解像度で撮影することによって、細胞の培養状態を観察する装置が記載されている。特許文献１の装置は、容器内に培養液とともに保持された細胞を、カメラで撮影する。このような装置では、１回の撮影で、培養液中の全ての細胞に焦点を合わせることが難しい。このため、カメラの焦点位置を変えて複数回の撮影を行い、得られた複数の画像を合成することによって、全体に焦点が合ったような全焦点画像を生成する。

【0003】

特許文献２には、全焦点画像の生成に関する従来の技術が記載されている。特許文献２の装置では、標本から撮像手段までの光学系が非テレセントリックであるため、カメラの焦点位置を変えると画像の倍率が変化する。このため、特許文献２の装置は、画像の倍率を補正により統一した上で、全焦点画像を生成している（特許文献２の図２等参照）。倍率の補正は、予め保存された拡大光学系の設計情報と、標本の位置情報とに基づいて、行われている（特許文献２の段落００５４等参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１６−１４９７４号公報

【特許文献2】特開２０１１−７８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の装置のように、培養液中の細胞を撮影する場合には、表面張力によって、培養液の表面が凹状のメニスカスを形成する。このため、培養液の表面において光が屈折する。その結果、カメラの焦点位置によって、画像の倍率（視野の広さ）が変動する。したがって、全焦点画像の生成にあたっては、複数回の撮影により得られた画像の倍率を揃えることが必要となる。しかしながら、メニスカスの影響は、容器の形状、培養液の種類、経過時間、培養環境などの様々な条件によって変化する。このため、特許文献２のように、予め用意された情報に基づいて、画像の倍率を補正することはできない。

【0006】

本発明は、このような事情に鑑みなされたものであり、カメラの焦点位置を変化させたときの画像の倍率変動が一定でない環境下において、倍率変動を考慮した高品質な全焦点画像を生成できる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本願の第１発明は、対象物を撮影して全焦点画像を生成する撮像装置であって、前記対象物を撮影するカメラと、前記対象物に向けて光を照射する投光部と、前記カメラの焦点位置を光軸に沿って変化させる移動機構と、前記カメラ、前記投光部、および前記移動機構を制御するとともに、前記カメラが取得した画像を処理する制御部と、を備え、前記制御部は、ａ）前記移動機構により前記焦点位置を変化させつつ、前記カメラによる撮影を行うことにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求めて倍率変動を算出する工程と、ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、を実行し、前記工程ｂ）は、ｂ−１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、ｂ−２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、ｂ−３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、ｂ−４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、を有する。

【0010】

本願の第２発明は、第１発明の撮像装置であって、前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である。

【0011】

本願の第３発明は、第１発明または第２発明の撮像装置であって、前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する。

【0012】

本願の第４発明は、第１発明から第３発明までのいずれか１発明の撮像装置であって、前記制御部は、前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに実行する。

【0013】

本願の第５発明は、第１発明から第４発明までのいずれか１発明の撮像装置であって、前記移動機構は、静止した前記対象物に対して前記カメラを移動させる。

【0014】

本願の第６発明は、第１発明から第５発明までのいずれか１発明の撮像装置であって、容器を保持するステージをさらに有し、前記対象物は、前記容器内に液体またはゲル状の物質とともに保持される。

【0015】

本願の第７発明は、第６発明の撮像装置であって、前記容器は、ウェルプレートである。

【0016】

本願の第８発明は、第６発明または第７発明の撮像装置であって、前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である。

【0017】

本願の第９発明は、対象物を撮影して全焦点画像を生成する撮像方法であって、ａ）カメラの焦点位置を光軸に沿って変化させつつ、前記カメラによる前記対象物の撮影を行うことにより、複数の撮影画像を取得する工程と、ｂ）前記複数の撮影画像中の２画像ごとに、倍率変動量と平行移動量とを求めて倍率変動を算出する工程と、ｃ）前記複数の撮影画像の各々に対して、前記倍率変動の逆補正をかける工程と、ｄ）前記逆補正後の前記複数の撮影画像を用いて、全焦点画像を生成する工程と、を有し、前記工程ｂ）は、ｂ−１）前記２画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する工程と、ｂ−２）前記２画像の他方に対して前記候補画像を平行移動させて、前記候補画像ごとに、マッチングスコアが最大値となる平行移動量を求める工程と、ｂ−３）前記マッチングスコアの前記最大値が最も大きい前記候補画像を選択画像とする工程と、ｂ−４）前記選択画像の倍率を、前記２画像間の倍率変動量として決定し、前記選択画像の前記平行移動量を、前記２画像間の平行移動量として決定する工程と、を有する。

【0020】

本願の第１０発明は、第９発明の撮像方法であって、前記２画像は、前記複数の撮影画像を前記焦点位置順に並べた場合の隣り合う２画像である。

【0021】

本願の第１１発明は、第９発明または第１０発明の撮像方法であって、前記工程ｃ）では、倍率が最も小さい前記撮影画像を基準として、他の前記撮影画像を縮小する。

【0022】

本願の第１２発明は、第９発明から第１１発明までのいずれか１発明の撮像方法であって、前記工程ａ）の後かつ前記工程ｂ）の前に、前記撮像装置の機械的誤差に起因する前記撮影画像の位置のばらつきを補正する工程をさらに有する。

【0023】

本願の第１３発明は、第９発明から第１２発明までのいずれか１発明の撮像方法であって、前記工程ａ）では、静止した前記対象物に対して前記カメラを移動させる。

【0024】

本願の第１４発明は、第９発明から第１３発明までのいずれか１発明の撮像方法であって、前記対象物は、容器内に液体またはゲル状の物質とともに保持される。

【0025】

本願の第１５発明は、第１４発明の撮像方法であって、前記容器は、ウェルプレートである。

【0026】

本願の第１６発明は、第１４発明または第１５発明の撮像方法であって、前記対象物は、前記容器内に、培養液またはゲル状の培地とともに保持される細胞である。

【発明の効果】

【0027】

本願の第１発明〜第１６発明によれば、カメラの焦点位置を変化させたときの画像の倍率変動が一定でない環境下においても、複数の撮影画像から倍率変動を求めることができる。このため、当該倍率変動を考慮した、高品質な全焦点画像を生成できる。また、倍率変動の中心が一定でない環境下においても、平行移動量を求めることによって、各撮影画像中の対象物の位置を、高精度に一致させることができる。

【0029】

特に、本願の第２発明および第１０発明によれば、２画像の間で、同一の対象物を対応付けやすい。

【0030】

特に、本願の第３発明および第１１発明によれば、撮影画像の解像度が低下せず、補間処理を行う必要もない。

【0031】

特に、本願の第４発明および第１２発明によれば、撮影画像間における倍率変動を、より正確に算出できる。

【0032】

特に、本願の第５発明および第１３発明によれば、倍率変動の大きさが、撮影中に変化することを抑制できる。

【0033】

特に、本願の第６発明および第１４発明によれば、液体またはゲル状の物質の表面形状の影響で、撮影画像の倍率変動が生じる。したがって、本発明が特に有用である。

【0034】

特に、本願の第７発明および第１５発明によれば、液体またはゲル状の物質の表面形状が、より撮影画像に影響しやすくなる。したがって、本発明がより有用である。

【図面の簡単な説明】

【0035】

【図1】ウェルプレートの一例を示す斜視図である。

【図2】撮像装置の構成を示した図である。

【図3】制御部と、撮像装置内の各部との接続を示したブロック図である。

【図4】撮影処理の流れを示したフローチャートである。

【図5】１つのウェルにおける撮影処理の様子を示した図である。

【図6】１つのウェルについて取得された５つの撮影画像の例を示した図である。

【図7】撮影画像を単純に合成した場合の全焦点画像の例（比較例）を示した図である。

【図8】全焦点画像を生成するための画像処理の流れを示したフローチャートである。

【図9】倍率変動量および平行移動量の算出処理の例を示したフローチャートである。

【図10】倍率変動量および平行移動量の算出処理の様子を、概念的に示した図である。

【図11】逆補正後の５つの撮影画像の例を示した図である。

【図12】逆補正後の撮影画像を合成した場合の全焦点画像の例を示した図である。

【発明を実施するための形態】

【0036】

以下、本発明の好適な実施形態について、図面を参照しつつ説明する。

【0037】

＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。ウェルプレート９は、複数のウェル（窪部）９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。図１に示すように、複数のウェル９１は、ウェルプレート９の上面に、規則的に配列されている。各ウェル９１内には、培養液９２とともに、撮影対象物となる複数の細胞９３が保持される。なお、上面視におけるウェル９１の形状は、図１のような円形であってもよく、矩形等の他の形状であってもよい。

【0038】

図２は、本発明の一実施形態に係る撮像装置１の構成を示した図である。この撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影して、全ての細胞９３に焦点が合ったようなボケの少ない全焦点画像を生成する装置である。

【0039】

撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像を取得する。その後、得られた画像に基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。

【0040】

ただし、撮像装置１は、ＩＰＳ細胞やＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。

【0041】

図２に示すように、本実施形態の撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、カメラ移動機構５０、および制御部６０を備えている。

【0042】

ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。

【0043】

投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。後述する撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。

【0044】

投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

【0045】

カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系と、ＣＣＤやＣＭＯＳ等の撮像素子とを有する。後述する撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部６０へ入力される。

【0046】

カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の高さおよび水平方向の位置を変化させる機構である。図２に示すように、カメラ移動機構５０は、昇降移動機構５１と水平移動機構５２とを有する。

【0047】

昇降移動機構５１は、カメラ４０を上下に移動させる機構である。昇降移動機構５１には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。昇降移動機構５１を動作させると、カメラ４０の高さが変化する。これにより、ステージ１０に保持されたウェルプレート９とカメラ４０との距離（すなわち、細胞９３とカメラ４０との間の撮影距離）が変化する。本実施形態のカメラ４０は、一定の焦点距離を有する。このため、カメラ４０の位置が上下に移動すると、カメラ４０の焦点位置も、光軸に沿って上下に移動する。

【0048】

水平移動機構５２は、カメラ４０および昇降移動機構５１を、一体として水平に移動させる機構である。水平移動機構５２には、例えば、モータの回転運動をボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、水平移動機構５２を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、水平移動機構５２によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。

【0049】

なお、上述した投光部移動機構３０と、水平移動機構５２とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。

【0050】

制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置１内の各部を動作制御する機能と、カメラ４０から入力された撮影画像に基づいて全焦点画像を生成する機能と、を有する。図３は、制御部６０と、撮像装置１内の各部との接続を示したブロック図である。図３中に概念的に示したように、制御部６０は、ＣＰＵ等のプロセッサ６１、ＲＡＭ等のメモリ６２、およびハードディスクドライブ等の記憶部６３を有する。記憶部６３内には、撮像装置１内の各部を動作制御するための制御プログラムＰ１と、カメラ４０から入力された撮影画像に基づいて全焦点画像を生成するための画像処理プログラムＰ２と、が記憶されている。

【0051】

また、図３に示すように、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、昇降移動機構５１、および水平移動機構５２と、それぞれ通信可能に接続されている。制御部６０は、制御プログラムＰ１に従って、上記の各部を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。また、制御部６０は、カメラ４０から入力された撮影画像を、画像処理プログラムＰ２に従って処理することにより、全焦点画像を生成する。

【0052】

＜２．撮影処理について＞
続いて、上述した撮像装置１の動作について、説明する。図４は、撮像装置１おける撮影処理の流れを示したフローチャートである。図５は、１つのウェル９１における撮影処理の様子を示した図である。

【0053】

撮像装置１のステージ１０に、ウェルプレート９がセットされて、制御部６０に動作開始の指示が入力されると、制御部６０は、まず、昇降移動機構５１を動作させる。これにより、カメラ４０を所定の高さに配置する（ステップＳ１）。図５に示すように、本実施形態では、カメラ４０の高さを５段階（第１高さＨ１〜第５高さＨ５）に変更できるものとする。撮影処理の開始時には、まず、最も高い第１高さＨ１にカメラ４０が配置される。

【0054】

次に、制御部６０は、投光部移動機構３０および水平移動機構５２を、動作させる。これにより、投光部２０およびカメラ４０を、撮影すべきウェル９１の上下に移動させる（ステップＳ２）。そして、制御部６０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。すなわち、投光部２０から下方へ向けて光Ｌを照射しつつ、カメラ４０による撮影を行う。これにより、当該ウェル９１内に保持された細胞９３の、第１高さＨ１からの撮影画像が得られる。

【0055】

続いて、制御部６０は、撮影対象となる次のウェル９１があるか否かを判断する（ステップＳ４）。次のウェル９１がある場合には（ステップＳ４においてｙｅｓ）、投光部移動機構３０および水平移動機構５２を、動作させる。これにより、投光部２０およびカメラ４０を、次のウェル９１の上下に移動させる（ステップＳ２）。そして、制御部６０は、投光部２０およびカメラ４０を動作させて、当該ウェル９１内に保持された細胞９３を撮影する（ステップＳ３）。

【0056】

このように、制御部６０は、投光部２０およびカメラ４０の移動（ステップＳ２）と、撮影（ステップＳ３）とを繰り返す。これにより、ウェルプレート９の撮影対象となる全てのウェル９１について、第１高さＨ１から撮影した撮影画像を取得する。

【0057】

やがて、未撮影のウェル９１が無くなると（ステップＳ４においてｎｏ）、制御部６０は、カメラ４０の高さを変更するか否かを判断する（ステップＳ５）。ここでは、予め用意された５つの高さＨ１〜Ｈ５のうち、まだ撮影を行っていない高さが残っていれば、カメラ４０の高さを変更すべきと判断する（ステップＳ５においてｙｅｓ）。例えば、第１高さＨ１における撮影処理が終了すると、制御部６０は、次の高さである第２高さＨ２に、カメラ４０の高さを変更すべきと判断する。

【0058】

カメラ４０の高さを変更する場合、制御部６０は、昇降移動機構５１を動作させて、カメラ４０を、変更すべき高さに移動させる（ステップＳ１）。これにより、カメラ４０の焦点位置を変化させる。そして、上述したステップＳ２〜Ｓ４の処理を繰り返す。これにより、ウェルプレート９の各ウェル９１について、変更後の高さから撮影した細胞９３の撮影画像を取得する。

【0059】

以上のように、制御部６０は、カメラ４０の高さの変更（ステップＳ１）と、複数のウェル９１についての撮影画像の取得（ステップＳ２〜Ｓ４）とを繰り返す。これにより、ウェルプレート９の複数のウェル９１のそれぞれについて、５つの高さＨ１〜Ｈ５から撮影した５つ撮影画像が得られる。

【0060】

＜３．全焦点画像の生成について＞
続いて、カメラ４０から入力された複数の撮影画像に基づいて、全焦点画像を生成するための画像処理について説明する。

【0061】

上述したステップＳ１〜Ｓ５が終了すると、ウェルプレート９のウェル９１毎に、撮影距離の異なる５つの撮影画像Ｄ１〜Ｄ５が得られる。ただし、図５に示すように、ウェル９１内の培養液９２の表面は、表面張力の影響で凹状のメニスカスを形成する。このため、投光部２０から照射された光Ｌは、培養液９２の表面を通過する際に屈折して、拡散光となる。したがって、５つの撮影画像Ｄ１〜Ｄ５は、互いに倍率が異なる。また、光Ｌの拡散の大きさは、ウェル９１毎に異なる。したがって、５つの撮影画像Ｄ１〜Ｄ５の倍率変動量も、ウェル９１毎に相違する。

【0062】

図６は、１つのウェル９１について取得された５つの撮影画像Ｄ１〜Ｄ５の例を示した図である。撮影画像Ｄ１〜Ｄ５は、それぞれ、高さＨ１〜Ｈ５に配置されたカメラ４０の撮影画像である。各撮影画像Ｄ１〜Ｄ５には、ウェル９１内に保持された２つの細胞９３のうちの１つまたは２つの画像が含まれている。図中右側の細胞９３は、高さＨ２に配置されたカメラ４０の撮影画像Ｄ２において、最も焦点が合っている。図中左側の細胞９３は、高さＨ４に配置されたカメラ４０の撮影画像Ｄ４においてに、最も焦点が合っている。

【0063】

また、上述したメニスカスの影響により、撮影画像Ｄ１〜Ｄ５の倍率は、カメラ４０の高さが低くなるにつれて（すなわち、細胞９３とカメラ４０との間の撮影距離が長くなるにつれて）拡大する。したがって、５つの撮影画像Ｄ１〜Ｄ５のうち、撮影画像Ｄ１は最も倍率が小さく、撮影画像Ｄ５は最も倍率が大きい。このため、これらの撮影画像Ｄ１〜Ｄ５を単純に合成すると、図７の全焦点画像ＤＡ（比較例）のように、各細胞９３の周囲においてボケが大きくなる。

【0064】

図８は、５つの撮影画像Ｄ１〜Ｄ５から、１つの全焦点画像ＤＡを生成するための画像処理の流れを示したフローチャートである。

【0065】

５つの撮影画像Ｄ１〜Ｄ５が得られると、制御部６０は、まず、各撮影画像Ｄ１〜Ｄ５の誤差を補正する（ステップＳ６）。ここでは、撮像装置１の機械的誤差に起因する各撮影画像Ｄ１〜Ｄ５の位置のばらつきを補正する。例えば、水平移動機構５２に既知の位置決め誤差がある場合には、その位置決め誤差の分だけ、各撮影画像Ｄ１〜Ｄ５の位置を補正する。これにより、次のステップＳ７において、５つの撮影画像Ｄ１〜Ｄ５の間の倍率変動量および平行移動量を、より正確に算出できる。

【0066】

次に、制御部６０は、５つの撮影画像Ｄ１〜Ｄ５の間の倍率変動量および平行移動量を算出する（ステップＳ７）。ここでは、５つの撮影画像Ｄ１〜Ｄ５の間で、細胞９３の大きさや細胞９３の位置が、どれだけ変化しているかを検出する。これにより、培養液９２のメニスカスに起因する倍率変動の大きさを算出する。

【0067】

図９は、ステップＳ７における処理の例を示したフローチャートである。本実施形態では、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求める。図１０は、２つの撮影画像Ｄ２，Ｄ３について、倍率変動量と平行移動量とを求めるときの処理の様子を、概念的に示した図である。

【0068】

ステップＳ７では、まず、２つの撮影画像の一方を、予め設定された倍率ごとに拡大または縮小して、複数の候補画像を作成する（ステップＳ７１）。図１０の例では、２つの撮影画像Ｄ２，Ｄ３のうち、倍率の大きい（視野が狭い）方の撮影画像Ｄ３を、予め設定された倍率ごとに縮小して、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を作成している。

【0069】

次に、２つの撮影画像の他方と、作成された複数の候補画像のそれぞれとの間で、テンプレートマッチングを行う（ステップＳ７２）。図１０の例では、矢印Ｔのように、撮影画像Ｄ２と、複数の候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・のそれぞれとの間で、テンプレートマッチングを行う。具体的には、撮影画像Ｄ２に対して、各候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・を平行移動させる。そして、各位置におけるマッチングスコアを算出する。マッチングスコアには、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）などの既知の手法により算出される、画像の類似度を表す評価値を用いればよい。

【0070】

制御部６０は、候補画像Ｄ３１，Ｄ３２，Ｄ３３，・・・ごとに、マッチングスコアの最大値Ｓと、そのときの平行移動量Ｍとを求める（ステップＳ７３）。そして、マッチングスコアの最大値Ｓが最も大きい候補画像を、その撮影画像Ｄ３についての選択画像とする（ステップＳ７４）。選択画像が決まると、制御部６０は、選択画像の倍率を、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量として決定する。また、選択画像の上記のマッチングスコアが最大値Ｓとなるときの平行移動量Ｍを、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量として決定する（ステップＳ７５）。

【0071】

制御部６０は、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、以上のステップＳ７１〜Ｓ７５の処理を実行する。これにより、２画像ごとに、倍率変動量と平行移動量とを決定する。

【0072】

２画像間の倍率変動量と平行移動量とが決まると、制御部６０は、５つの撮影画像Ｄ１〜Ｄ５のうちの１つ（例えば撮影画像Ｄ１）を基準画像として、その基準画像に対する他の撮影画像の倍率変動量と平行移動量とを、算出する（ステップＳ７６）。例えば、撮影画像Ｄ１に対する撮影画像Ｄ３の倍率変動量は、２つの撮影画像Ｄ１，Ｄ２の間の倍率変動量と、２つの撮影画像Ｄ２，Ｄ３の間の倍率変動量とを、掛け合わせた値とする。また、撮影画像Ｄ１に対する撮影画像Ｄ３の平行移動量は、２つの撮影画像Ｄ１，Ｄ２の間の平行移動量と、２つの撮影画像Ｄ２，Ｄ３の間の平行移動量とを、足し合わせた値とする。

【0073】

図８に戻る。ステップＳ７の処理が終わると、次に、制御部６０は、５つの撮影画像Ｄ１〜Ｄ５のうち、基準画像以外の撮影画像を、ステップＳ７６で算出された倍率変動量および平行移動量に基づいて、逆補正する（ステップＳ８）。図１１は、逆補正後の５つの撮影画像Ｄ１〜Ｄ５の例を示した図である。図１１の例では、倍率が最も小さい撮影画像Ｄ１を基準として、他の４つの撮影画像Ｄ２〜Ｄ５を、それぞれ、倍率変動量に基づいて縮小させるとともに、平行移動量に基づいて平行移動させている。

【0074】

その後、制御部６０は、基準画像と、逆補正後の４つの撮影画像とを用いて、全焦点画像ＤＡを生成する（ステップＳ９）。上述したステップＳ８の逆補正を行うと、図１１のように、各撮影画像Ｄ１〜Ｄ５における細胞９３の位置は一致する。このため、これらの撮影画像Ｄ１〜Ｄ５を合成することによって、図１２のように、ボケの少ない全焦点画像ＤＡを得ることができる。

【0075】

特に、この撮像装置１は、倍率変動量および平行移動量を、予め制御部６０内に記憶するのではなく、カメラ４０から入力された撮影画像Ｄ１〜Ｄ５に基づいて、倍率変動量および平行移動量を算出する。このため、培養液９２のメニスカスの形状によって、倍率変動量および平行移動量が変化しても、その倍率変動量および平行移動量を考慮して、全焦点画像ＤＡを生成できる。したがって、ウェルプレート９のウェル９１毎に、高品質な全焦点画像ＤＡを生成することができる。

【0076】

＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。

【0077】

撮影画像の倍率変動の中心が、ほぼ一定の位置となる場合には、上述したステップＳ８において、平行移動量の逆補正を省略してもよい。ただし、倍率変動の中心位置が変動しやすい場合には、上記の実施形態のように、各撮影画像を、倍率変動量および平行移動量の双方について、逆補正する方がよい。これにより、各撮影画像Ｄ１〜Ｄ５中の細胞９３の位置を、高精度に一致させることができる。

【0078】

また、上記の実施形態では、５つの撮影画像Ｄ１〜Ｄ５を焦点位置順に並べた場合の隣り合う２画像ごとに、倍率変動量と平行移動量とを求めていた。しかしながら、互いに離れた２画像の間で、倍率変動量と平行移動量とを求めてもよい。ただし、隣り合う２画像の間では、各撮影画像中の細胞９３の変化が小さい。このため、２つの撮影画像の間で、同一の細胞９３を対応付けやすい。したがって、ステップＳ７２のテンプレートマッチングによって、倍率変動量と平行移動量とを、より精度よく求めることができる。

【0079】

また、上記の実施形態では、ステップＳ７５において、選択画像の倍率および平行移動量の値そのものを、２画像間の倍率変動量および平行移動量としていた。しかしながら、倍率変動量および平行移動量は、パラボラフィッティング等の関数近似によって、より高精度に算出してもよい。

【0080】

また、上記の実施形態では、ステップＳ８において、最も倍率の小さい撮影画像Ｄ１を基準として、他の撮影画像Ｄ２〜Ｄ５を縮小していた。このようにすれば、撮影画像Ｄ２〜Ｄ５の解像度が低下せず、補間処理を行う必要もない。しかしながら、ステップＳ８にでは、撮影画像Ｄ２〜Ｄ５のうちのいずれか１つを基準画像として、他の画像を拡大または縮小してもよい。

【0081】

また、上記のステップＳ７の処理を行う際に、撮影画像Ｄ１〜Ｄ５を縮小しておくことによって、制御部６０の演算負担を減らすようにしてもよい。

【0082】

また、上記の実施形態では、観察対象となる細胞９３が、ウェルプレート９の複数のウェル９１内に保持されていた。しかしながら、細胞９３は、ウェルプレート９以外の容器に保持されていてもよい。例えば、細胞９３は、シャーレ内に保持されていてもよい。ただし、上記の実施形態のように、ウェルプレート９を使用する場合には、細胞９３が保持される個々のウェル９１が、比較的小さい。したがって、培養液９２のメニスカスが、より撮影画像に影響しやすくなる。したがって、本発明が特に有用である。

【0083】

また、上記の実施形態では、ウェルプレート９内に培養液９２とともに細胞９３が保持されていた。しかしながら、細胞９３は、ゲル状の培地とともに保持されていてもよい。ゲル状の培地も、表面形状が一定にはならない。このため、培地の表面形状の影響で、撮影距離に対する撮影画像の倍率変動が生じる。したがって、撮影画像を単純に合成するだけでは、綺麗な全焦点画像が得られない。しかしながら、上記の実施形態と同様に、倍率変動量および平行移動量を求めて逆補正を行えば、各撮影画像中の細胞９３の位置を、揃えることができる。したがって、ボケの少ない全焦点画像を生成することができる。

【0084】

また、上記の実施形態では、単体の細胞９３を撮影対象物としていた。しかしながら、撮影対象物は、複数の細胞が立体的に集合した細胞集塊（スフェロイド）であってもよい。また、撮影対象物は、容器内に液体またはゲル状の物質とともに保持される、細胞以外の物体であってもよい。

【0085】

また、上記の実施形態では、撮影対象物の上方に投光部２０が配置され、撮影対象物の下方にカメラ４０が配置されていた。しかしながら、撮影対象物の下方に投光部２０が配置され、撮影対象物の上方にカメラ４０が配置されていてもよい。また、投光部２０とカメラ４０とが、撮影対象物に対して同じ側に配置され、投光部２０から出射された光の反射光が、カメラ４０に入射する構成であってもよい。

【0086】

また、上記の実施形態では、カメラ４０自体を昇降移動させることにより、カメラ４０の焦点位置を光軸に沿って変化させていた。しかしながら、カメラ４０の位置を固定して、レンズ等の光学系を移動させることにより、カメラ４０の焦点位置を光軸に沿って変化させてもよい。また、撮影対象物を保持する容器を昇降移動させることにより、容器に対するカメラ４０の焦点位置を、相対的に変化させてもよい。すなわち、本発明における「移動機構」は、光学系または容器を移動させる機構であってもよい。

【0087】

また、上記の実施形態では、撮影対象物を保持する容器の位置が固定され、投光部２０およびカメラ４０が水平方向に移動していた。しかしながら、投光部２０およびカメラ４０の位置を固定して、容器を水平方向に移動させてもよい。ただし、撮影の途中で培養液９２の表面形状が変化すると、撮影画像の倍率変動量および平行移動量を、正確に算出しにくい。このため、上記の実施形態のように、撮影対象物の位置は、固定されていることが好ましい。

【0088】

また、上記の実施形態では、カメラ４０の高さが５段階に変更可能であり、各ウェル９１について、５つの撮影画像を取得していた。しかしながら、ウェル９１毎の撮影画像の数は、２〜４つであってもよく、６つ以上であってもよい。

【0089】

また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

【符号の説明】

【0090】

１ 撮像装置
９ ウェルプレート
１０ ステージ
２０ 投光部
３０ 投光部移動機構
４０ カメラ
５０ カメラ移動機構
５１ 昇降移動機構
５２ 水平移動機構
６０ 制御部
９１ ウェル
９２ 培養液
９３ 細胞
Ｐ１ 制御プログラム
Ｐ２ 画像処理プログラム
Ｌ 光
Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５ 撮影画像
Ｄ３１，Ｄ３２，Ｄ３３ 候補画像
ＤＡ 全焦点画像
Ｓ マッチングスコアの最大値
Ｍ 平行移動量

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】