(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106598
(43)【公開日】2024-08-08
(54)【発明の名称】観察装置、観察システム、観察装置の制御方法
(51)【国際特許分類】
C12M 1/34 20060101AFI20240801BHJP
C12M 1/00 20060101ALI20240801BHJP
G02B 21/06 20060101ALI20240801BHJP
G02B 21/36 20060101ALI20240801BHJP
【FI】
C12M1/34 B
C12M1/00 A
G02B21/06
G02B21/36
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023010951
(22)【出願日】2023-01-27
(71)【出願人】
【識別番号】322004393
【氏名又は名称】株式会社エビデント
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】伊東 駿
(72)【発明者】
【氏名】臼井 省吾
(72)【発明者】
【氏名】櫻井 歩
【テーマコード(参考)】
2H052
4B029
【Fターム(参考)】
2H052AB01
2H052AC09
2H052AC25
2H052AC33
2H052AD03
2H052AD24
2H052AE13
2H052AF14
4B029AA07
4B029BB01
4B029CC01
4B029CC02
4B029FA01
4B029FA11
4B029GB06
(57)【要約】
【課題】繰り返し撮影を行っても観察装置内への過度の蓄熱を回避する。
【解決手段】観察装置100は、試料Sの下方に配置され、下方から試料Sの上方に向けて照明光を射出する照明系104と、下方に配置され、照明系104から射出した照明光のうち上方で反射し試料Sを上方から下方へ向けて透過した透過光で試料Sを撮影する撮影系105と、照明系104と撮影系105とを用いた撮影制御を実行する制御部121を備える。制御部121は、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる撮影制御の所要時間に応じて、露光量を制御する。
【選択図】
図3
【特許請求の範囲】
【請求項1】
試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、
前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、
前記照明系と前記撮影系とを用いた撮影制御を実行する制御部であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、露光量を制御する制御部と、を備える
ことを特徴とする観察装置。
【請求項2】
請求項1に記載の観察装置において、
前記制御部は、前記所要時間が閾値を上回る場合、
更新した新たな撮影条件に基づいて決定される新たな所要時間が前記閾値に収まるように前記撮影条件を更新し、
前記新たな撮影条件に基づいて、前記露光量を制御する
ことを特徴とする観察装置。
【請求項3】
請求項2に記載の観察装置において、
前記観察装置は、予め設定されたインターバルで前記撮影制御を繰り返し実行するタイムラプス撮影を行い、
前記閾値は、前記インターバルである
ことを特徴とする観察装置。
【請求項4】
請求項3に記載の観察装置において、
前記制御部は、前記所要時間が前記インターバルを上回る場合、
前記新たな所要時間が前記インターバルに収まるように前記撮影条件に含まれるオートフォーカスのパラメータを更新し、
前記新たな撮影条件に基づいて、前記オートフォーカスの期間中の露光量を制御する
ことを特徴とする観察装置。
【請求項5】
請求項4に記載の観察装置において、
前記オートフォーカスのパラメータは、前記オートフォーカスのフレームレートである
ことを特徴とする観察装置。
【請求項6】
請求項4に記載の観察装置において、
前記オートフォーカスのパラメータは、前記オートフォーカスの期間中の照明輝度である
ことを特徴とする観察装置。
【請求項7】
請求項2に記載の観察装置において、
前記制御部は、前記所要時間が前記閾値を上回る場合、前記新たな所要時間が前記閾値に収まるように前記撮影条件に含まれる照明輝度を更新する
ことを特徴とする観察装置。
【請求項8】
請求項1に記載の観察装置において、
前記制御部は、前記動作所要時間に基づいて、前記休止所要時間を見積もる
ことを特徴とする観察装置。
【請求項9】
請求項8に記載の観察装置において、
前記動作所要時間は、前記撮影系の移動に要する時間と、オートフォーカスに要する時間と、撮影に要する時間と、を含む
ことを特徴とする観察装置。
【請求項10】
請求項8に記載の観察装置において、
前記観察装置は、インキュベータ内に配置され、
前記制御部は、さらに、前記インキュベータ内の庫内温度に基づいて、前記休止所要時間を見積もる
ことを特徴とする観察装置。
【請求項11】
請求項1乃至請求項10のいずれか1項に記載の観察装置において、さらに、
前記照明光を前記試料の上方で反射する反射部材を備える
ことを特徴とする観察装置。
【請求項12】
観察装置と、
前記観察装置を制御する制御装置と、を備え、
前記観察装置は、
試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、
前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、を備え、
前記制御装置は、前記照明系と前記撮影系とを用いた撮影制御であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、前記観察装置における露光量を制御する
ことを特徴とする観察システム。
【請求項13】
試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、を備える観察装置の制御方法であって、
前記照明系と前記撮影系とを用いた撮影制御であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、露光量を制御する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、観察装置、観察システム、観察装置の制御方法に関する。
【背景技術】
【0002】
位相物体である細胞等の試料を染色することなく観察する装置として、特許文献1に記載の装置が知られている。特許文献1に記載の装置は、光源と撮影光学系を試料の一方側にまとめて配置することで、例えばインキュベータ内部のような限られた空間に配置可能な、コンパクトな装置構成を実現している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記の観察装置は、容器の蓋で反射した光を利用して試料を撮影するため、容器の蓋の反射率が低い場合には、光量が不足しやすい。十分な光量を確保するためには、露光時間を長くする、照明輝度を高めるなどの対応が必要となる。
【0005】
しかしながら、このような対応は、装置内での発熱量の増加、ひいては装置温度の上昇を招いてしまう。細胞のような生体試料を扱う場合には、観察装置の温度上昇は、試料にダメージを与える虞があり、望ましくない。
【0006】
以上のような実情を踏まえ、本発明の一側面に係る目的は、繰り返し撮影を行っても観察装置内への過度の蓄熱を回避可能とする技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る観察装置は、試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、前記照明系と前記撮影系とを用いた撮影制御を実行する制御部であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、露光量を制御する制御部と、を備える。
【0008】
本発明の一態様に係る観察システムは、観察装置と、前記観察装置を制御する制御装置と、を備える。前記観察装置は、試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、を備える。前記制御装置は、前記照明系と前記撮影系とを用いた撮影制御であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、前記観察装置における露光量を制御する。
【0009】
本発明の一態様に係る制御方法は、試料の下方に配置され、前記下方から前記試料の上方に向けて照明光を射出する照明系と、前記下方に配置され、前記照明系から射出した前記照明光のうち前記上方で反射し前記試料を前記上方から前記下方へ向けて透過した透過光で前記試料を撮影する撮影系と、を備える観察装置の制御方法であって、前記照明系と前記撮影系とを用いた撮影制御であって、撮影条件に基づいて決定される動作所要時間と休止所要時間とからなる前記撮影制御の所要時間に応じて、露光量を制御する。
【発明の効果】
【0010】
上記の態様によれば、繰り返し撮影を行っても観察装置内への過度の蓄熱を回避することができる。
【図面の簡単な説明】
【0011】
【
図1】一実施形態に係るモニタリングシステムの構成を例示した図である。
【
図2】一実施形態に係る観察装置の構成を例示した図である。
【
図3】一実施形態に係る観察装置に含まれる照明系と撮影系の構成を例示した図である。
【
図4】一実施形態に係るモニタリングシステムの機能的構成を例示した図である。
【
図5】容器内に設けられた複数の撮影ポイントの配置例を示した図である。
【
図6】一実施形態に係る観察装置で行われる撮影制御の構成を例示した図である。
【
図7】第1の実施形態に係る観察装置が行う処理のフローチャートである。
【
図8】第1の実施形態に係る観察装置で行われる撮影制御における動作モードの違いについて説明するための図である。
【
図9】第2の実施形態に係る観察装置が行う処理のフローチャートである。
【
図10】第2の実施形態に係る観察装置で行われる撮影制御における動作モードの違いについて説明するための図である。
【
図11】一実施形態に係る観察装置の構成の変形例を示した図である。
【
図12】一実施形態に係るモニタリングシステムの構成の変形例を示した図である。
【発明を実施するための形態】
【0012】
図1は、一実施形態に係るモニタリングシステムの構成を例示した図である。
図2は、一実施形態に係る観察装置の構成を例示した図である。
図3は、一実施形態に係る観察装置に含まれる照明系と撮影系の構成を例示した図である。
図1から
図3を参照しながら、モニタリングシステム1の構成について説明する。
【0013】
図1に示すモニタリングシステム1は、容器Cに収容された細胞を培養しながら撮影することで、細胞の培養状態を監視するモニタリングシステムである。モニタリングシステム1は、容器Cに収容された培養細胞を容器Cの下方から撮影する1つ以上の観察装置100と、観察装置100を制御する制御装置200と、を備えている。なお、培養細胞は、試料の一例であり、観察装置100で撮影する試料は、培養細胞に限らない。
【0014】
観察装置100の各々と制御装置200は、互いにデータをやり取りできればよい。従って、観察装置100の各々と制御装置200は、有線で通信可能に接続されてもよく、無線で通信可能に接続されてもよい。また、培養細胞を収容する容器Cは、例えば、フラスコ、ディッシュ、ウェルプレートなどであり、その他の培養容器であってもよい。
【0015】
培養細胞をインキュベータ10から取り出すことなく撮影するために、観察装置100は、
図1に示すように、インキュベータ10内に配置された状態で使用される。より詳細には、観察装置100は、
図1に示すように、容器Cが観察装置100の透過窓101に載置された状態でインキュベータ10内に配置され、制御装置200からの指示に従って容器C内の試料(培養細胞)の画像を取得する。なお、透過窓101は、観察装置100の筐体102の上面を構成する透明な天板であり、容器を載置する載置面を構成する。透過窓101は、例えば、ガラスや透明な樹脂などからなる。
【0016】
観察装置100は、
図1に示すように、容器Cが配置される透明な透過窓101を上面とする箱型の筐体102と、透過窓101(載置面)上で容器Cを所定の位置へ位置決めする位置決め部材110を備えている。位置決め部材110は、筐体102に固定されている。ただし、位置決め部材110は、必要に応じて取り外すことが可能であり、使用される容器に応じて形状の異なる別の位置決め部材と交換されてもよい。
【0017】
観察装置100は、
図2及び
図3に示すように、さらに、筐体102内を移動するステージ103と、培養細胞である試料Sを照明する1対の照明系104と、試料Sの画像を取得する撮影系105と、を備えている。ステージ103と照明系104と撮影系105は、筐体102内部に収容されている。照明系104と撮影系105は、ステージ103上に設置されていて、筐体102内でステージ103が移動することで容器Cに対して移動する。
【0018】
ステージ103は、容器Cに対する撮影系105の相対位置を変更する。ステージ103は、透過窓101(載置面)と平行で且つ互いに直交しているX方向とY方向に移動可能である。ただし、ステージ103は、さらに、X方向とY方向の両方に直交するZ方向(高さ方向)にも移動してもよい。
【0019】
なお、
図2及び
図3には、照明系104と撮影系105がステージ103上に設置され、その結果、一体となって筐体102内を移動する例が示されているが、照明系104と撮影系105は、筐体102内、つまり、試料Sの下方に配置されていればよく、それぞれ独立して筐体102内を移動してもよい。また、
図2及び
図3には、1対の照明系104が撮影系105を挟んで左右に配置されている例を示したが、照明系104の配置と数はこの例に限らない。例えば、照明系104は、ステージ103上に3つ以上設けられてもよく、1つだけ設けられてもよい。
【0020】
照明系104は、容器Cに収容された試料Sの下方に配置され、試料Sの下方から試料Sの上方に向けて照明光を射出する。照明系104は、
図3に示すように、光源106と、照明光学系107を備えている。
【0021】
光源106は、例えば、発光ダイオード(LED)などを含んでいる。光源106は、白色LEDを含んでもよく、R(赤)、G(緑)、B(青)など、複数の異なる波長の照明光を出射する複数のLEDを含んでもよい。光源106から出射した照明光は、照明光学系107に入射する。
【0022】
照明光学系107は、拡散板を含み、光源106から出射した照明光を拡散させる。照明光学系107は、拡散板に加えて、コリメータレンズなどのレンズを含んでもよい。さらに、照明光学系107には拡散光の出射領域を制限するためのマスク107aが形成されてもよい。照明光学系107から出射した照明光(拡散光)は、様々な方向に進行する。
【0023】
撮影系105は、試料Sの下方に配置され、照明系104から射出した照明光のうち、試料Sの上方で反射し試料Sを上方から下方へ向けて透過した透過光で試料Sを撮影する。この例では、照明光は試料Sの上方に位置する容器Cの蓋で反射し、撮影系105は、この反射光のうち試料Sを上方から下方へ向けて透過した透過光で試料Sを撮影する。撮影系105は、
図3に示すように、撮影光学系108と、撮像素子109を備えている。
【0024】
撮影光学系108は、透過窓101を透過することによって筐体102内に入射した透過光を集光する。試料Sである培養細胞が存在する容器Cの底面に焦点を合わせた撮影光学系108が筐体102内に入射した透過光を撮像素子109上に集光することで、撮像素子109上に培養細胞(試料S)の光学像が形成される。
【0025】
撮像素子109は、検出した光を電気信号に変換する光センサである。撮像素子109は、具体的には、イメージセンサであり、特に限定しないが、例えば、CCD(Charge-Coupled Device)イメージセンサ、CMOS(Complementary MOS)イメージセンサなどである。
【0026】
観察装置100では、位相物体である容器C内の試料S(培養細胞)を可視化するために、偏射照明が採用されている。具体的には、光源106が発した照明光は、照明光学系107で拡散し、撮影光学系108を経由することなく、筐体102外へ出射する。その後、筐体102外へ出射した照明光のうちの一部が、容器Cの蓋で反射することで、試料S上方で偏向される。さらに、試料S上方で偏向された照明光のうちの一部が、試料Sに照射され、試料S及び透過窓101を透過した透過光として筐体102内へ入射する。そして、筐体102内に入射した透過光のうちの一部が、撮影光学系108によって集光され、撮像素子109上に試料Sの像を形成する。最後に、観察装置100は、撮像素子109から出力された電気信号に基づいて試料S(培養細胞)の画像を生成し、制御装置200へ出力する。
【0027】
制御装置200は、観察装置100を制御する装置である。制御装置200は、インキュベータ10内に置かれた観察装置100へ撮影指示を送信し、さらに、観察装置100によって取得された画像を受信する。また、制御装置200は、取得した画像に対して種々の解析処理を実行してもよい。例えば、画像に含まれる培養細胞をカウントし、細胞数を測定してもよい。また、細胞の密度や面積を画像から測定してもよい。
【0028】
以上のように構成されたモニタリングシステム1では、観察装置100は、制御装置200から観察装置100へ送信される撮影指示に従って、試料Sを撮影する。このため、観察装置100及びモニタリングシステム1によれば、試料Sをインキュベータ10から取り出すことなく、任意のタイミングで試料Sを撮影することが可能であり、試料Sの培養状態を監視することができる。
【0029】
また、観察装置100は、照明系104と撮影系105をともに試料Sの下方に配置しているため、これらを筐体102内にまとめて収容することができる。これにより、観察装置100をコンパクトに構成することが可能であり、スペースが限られたインキュベータ10内にも容易に配置することができる。
【0030】
さらに、観察装置100は、容器Cの蓋で生じる反射光を用いた偏射照明により試料Sを撮影する。このため、試料Sが培養細胞のような位相物体であっても、コントラストの高い画像を得ることができる。
【0031】
図4は、一実施形態に係るモニタリングシステムの機能的構成を例示した図である。
図5は、容器内に設けられた複数の撮影ポイントの配置例を示した図である。
図6は、一実施形態に係る観察装置で行われる撮影制御の構成を例示した図である。以下、
図4から
図6を参照しながら、観察装置100で行われる撮影制御について説明する。ここでは、予め設定されたインターバルで所定の撮影制御を繰り返し実行するタイムラプス撮影によって、
図5に示すような容器C1内の多点を撮影して容器C1内の試料Sの培養状態をモニタリングする場合を例に説明する。
【0032】
制御装置200は、
図4に示すように、制御部221と、記憶部222と、通信部223と、入力部224と、表示部225を備えている。利用者が入力部224を用いて観察装置100で行われるべきタイムラプス撮影の各種条件(以降、撮影条件と記す。)を制御装置200へ入力して撮影を指示すると、制御装置200では、制御部221が通信部223を経由して撮影条件を含む撮影指示を観察装置100へ送信する。
【0033】
なお、撮影条件には、例えば、
図5に示すような容器C1内の撮影ポイントP(この例では、25点の撮影位置情報)、タイムラプス撮影のインターバルTin、撮影回数Nなどが含まれる。また、撮影条件には、撮影前に行うオートフォーカスのパラメータ(照明輝度、フレームレートなど)、オートフォーカス後に行う撮影のパラメータ(照明輝度、露光時間、ゲインなど)など、観察装置100(照明系104や撮影系105)の設定が含まれてもよい。
【0034】
観察装置100は、
図4に示すように、上述した照明系104と撮影系105に加えて、制御部121と、記憶部122と、通信部123を備えている。観察装置100では、制御部121が記憶部122に記憶されているプログラムを実行することで、通信部123が受信した撮影指示に従って、照明系104と撮影系105を用いた撮影制御を実行する。この例では、制御部121は、
図6に示すように、計25点の撮影ポイントPを任意の撮影順序で撮影する撮影制御を、インターバルTinで計N回繰り返し実行する。
【0035】
撮影制御により取得した試料Sの画像は、通信部123経由で制御装置200へ送信される。制御装置200では、制御部221が通信部223を経由して受信した画像を記憶部222に記憶させる。利用者は、記憶部222に記憶されている画像を表示部225に表示させることで、試料Sの培養状態を確認することができる。
【0036】
以上のように、観察装置100の制御部121は、基本的には、制御装置200から送信された撮影指示に含まれる撮影条件に従って、撮影制御を実行する。ただし、タイムラプス撮影のように撮影制御が繰り返し実行される場合には、必要に応じて撮影条件を自動的に調整して調整後の撮影条件に従って、撮影制御を実行する。より具体的には、制御部121は、撮影条件に基づいて決定される撮影制御の所要時間に応じて、撮影条件を自動的に調整して露光量を制御する。これにより、観察装置100内への過度の蓄熱を回避しながら、タイムラプス撮影のような繰り返し撮影を行うことができる。以下、この点についてさらに詳細に説明する。
【0037】
ここでいう露光量は、1枚の画像取得に対応する露光期間中に撮像素子の1画素に照射される光の総量であり、露光期間の時間的な長さ(つまり、露光時間)と撮像素子の1画素に照射される単位時間当たりの光の量(本明細書では、これを照明輝度と呼称する)の積で算出される。
【0038】
また、露光量は、特に言及しない限り、撮影制御中に行われる任意の撮影に関する露光量である。従って、露光量は、例えば、タイムラプス撮影において、利用者による観察のために記録される画像の撮影(以降、必要に応じて本撮影と記す)における露光量であってもよい。また、露光量は、例えば、タイムラプス撮影において本撮影前のオートフォーカスに使用する画像の撮影における露光量であってもよい。
【0039】
露光量は、露光時間と照明輝度の積に比例するため、照明輝度を調整することで制御することが可能である。また、オートフォーカス期間中において、フレームレートが高いほど露光時間は短くなる。即ち、露光時間は、フレームレートに反比例する。従って、露光量は、フレームレートと照明輝度の積に反比例するため、フレームレートを調整することで制御することが可能である。
【0040】
タイムラプス撮影のように撮影制御を所定のインターバルで繰り返し行うためには、撮影制御の所要時間がインターバル内に収まっている必要がある。また、繰り返し行われる撮影制御によって装置内に熱が蓄積されてしまうと、熱による装置の動作異常や試料へのダメージが生じる虞がある。このため、撮影制御の所要時間には、観察装置100が撮影のために実際に動作する時間(動作所要時間)に加えて、動作時間中に生じた熱を逃がしてクーリングする時間(休止所要時間)が含まれる。即ち、タイムラプス撮影を正常に実行するためには、動作所要時間と休止所要時間からなる撮影制御の所要時間をタイムラプス撮影のインターバル内に収めることが望ましく、換言すると、
図6に示すように、インターバル内に余剰時間が生じていることが望ましい。
【0041】
動作所要時間は、
図6に示すように、撮影系105の撮影ポイントまでの移動に要する時間(移動時間)と、撮影ポイントでのオートフォーカス(AF)に要する時間(AF時間)と、撮影ポイントでの撮影に要する時間(撮影時間)を、それぞれ撮影ポイント数分含んでいる。なお、撮影時間には、撮影後の画像処理時間が含まれてもよい。移動時間、AF時間、撮影時間、及び撮影ポイント数は、撮影条件に応じて変動するため、動作所要時間も撮影条件に応じて変動する。また、休止所要時間は、動作時間中に生じた熱を逃がしてクーリングする時間であるから、動作時間(より厳密には、動作時間中に生じた熱量)に応じて変動する。このため、休止所要時間も、動作時間と同様に、撮影条件に応じて変動する。このように、動作所要時間と休止所要時間は、撮影条件に応じて変動するものであり、したがって、撮影条件によっては、撮影制御の所要時間がインターバル内に収まらないケースが起こりうる。
【0042】
撮影制御の所要時間がインターバル内に収まらない撮影条件で撮影制御を実行すると、撮影制御のインターバルが確保できない、または、観察装置が十分にクーリングされる前に次の撮影制御が開始されてしまうなどの不都合が生じてしまう。そこで、観察装置100の制御部121は、撮影条件に基づいて決定される所要時間がインターバルに収まらない場合、つまり、所要時間がインターバルを上回る場合には、撮影制御中の露光量を制御する。より具体的には、更新した新たな撮影条件に基づいて決定される新たな所要時間がインターバルに収まるように撮影条件を更新し、その新たな撮影条件に基づいて、露光量を制御する。
【0043】
なお、撮影制御の所要時間をインターバル内に収めるためには、所要時間を短縮するか、インターバルを延長すればよい。しかしながら、利用者の意思によらずインターバルが勝手に延長されることは望ましくない。このため、観察装置100では、インターバルを延長するといった対応は採用しない。また、所要時間を短縮する対応にも様々な選択肢がありうるが、このうち、例えば撮影ポイント数を削減するなどの対応は、インターバルを延長する場合と同様に、利用者の意図に沿わないという理由で望ましくない。
【0044】
そこで、観察装置100では、制御部121は、露光量を制御することで、所要時間をインターバル内に収まるように短縮する。撮影制御で利用される露光量を抑えることで動作所要時間や休止所要時間が短縮されるため、撮影制御の所要時間も短縮することができる。観察装置100はこの点に着目して発案されたものであり、制御部121は、撮影条件のうちの露光量に関するパラメータを更新し、更新後の撮影条件に基づいて露光量を制御する。
【0045】
以上のように、観察装置100では、撮影条件に基づいて決定される所要時間がインターバル内に収まっている場合には、制御部121がその撮影条件に従って撮影制御を実行する。これにより、例えば、利用者が指定した撮影ポイントを指定した時間間隔で撮影した画像によって試料の培養状態を監視することができる。さらに、所要時間がインターバル内に収まっていない場合には、制御部121が、所要時間がインターバル内に収まるように撮影条件に含まれる露光量に関するパラメータを更新して、更新された撮影条件に従って撮影制御を実行する。これにより、所要時間がインターバル内に収まっていた場合と同様に、例えば、利用者が指定した撮影ポイントを指定した時間間隔で撮影した画像によって試料の培養状態を監視することができる。従って、観察装置100によれば、観察装置100内への過度の蓄熱を回避しながら、タイムラプス撮影のような繰り返し撮影を行うことができる。
【0046】
観察装置100と制御装置200に含まれる上述した機能的構成要素は、様々な回路によって実現可能である。制御部121と制御部221は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)などのハードウェア回路を含んでもよい。制御部121は、記憶部122に記憶されているプログラムを実行する。
【0047】
記憶部122と記憶部222は、非一時的なコンピュータ読取可能媒体であり、例えば、任意の半導体メモリを含んでもよく、さらに、その他の記憶装置を含んでもよい。半導体メモリは、例えば、揮発性メモリを含み、さらに、不揮発性メモリを含んでもよい。その他の記憶装置には、例えば、磁気ディスクを含む磁気記憶装置、光ディスクを含む光学記憶装置などが含まれてもよい。
【0048】
通信部123と通信部223は、任意の通信回路であり、例えば、有線通信モジュールであってもよく、無線通信モジュールであってもよい。入力部224は、例えば、キーボード、マウス、タッチパネルなどを含んでもよい。表示部225は、例えば、液晶ディスプレイ、有機ELディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどを含んでもよい。なお、ディスプレイには、タッチパネルが内蔵されてもよく、入力部224と表示部225は、タッチパネルディスプレイを含んでもよい。
【0049】
以下、各実施形態で上述した観察装置100の具体例を説明する。
(第1の実施形態)
図7は、第1の実施形態に係る観察装置が行う処理のフローチャートである。
図8は、第1の実施形態に係る観察装置で行われる撮影制御における動作モードの違いについて説明するための図である。なお、本実施形態に係る観察装置の構成は、観察装置100と同様である。そのため、以降では、本実施形態に係る観察装置の構成要素は、観察装置100の構成要素と同一の符合で参照する。
【0050】
制御装置から撮影指示を受信すると、制御部121が記憶部122に記憶されているプログラムを実行して
図7に示す処理を開始する。制御部121は、まず、撮影条件を取得する(ステップS1)。ここでは、制御部121は、撮影指示に含まれる撮影条件を取得する。さらに、制御部121は、撮影指示に含まれていない撮影条件について記憶部122から取得してもよい。
【0051】
次に、制御部121は、ステップS1で取得した撮影条件に基づいて撮影制御の所要時間Tを算出する(ステップS2)。ここでは、制御部121は、まず、動作所要時間Txを算出する。その後、制御部121は、動作所要時間Txに基づいて休止所要時間Tyを見積もり、動作所要時間Txと休止所要時間Tyからなる撮影制御の所要時間Tを算出する。
【0052】
動作所要時間Txは、移動時間TaとAF時間Tbと撮影時間Tcに基づいて算出される。撮影ポイント数がMの場合であれば、制御部121は、動作所要時間を、M×(Ta+Tb+Tc)で算出してもよい。なお、移動時間Taについては、撮影ポイント数や撮影順を考慮することなく略一定とみなしてよい。また、AF時間Tbについては、制御部121は、オートフォーカスのフレームレートに基づいて算出してもよい。オートフォーカスのフレームレートが高いほど、合焦位置を探索するために各Z位置で画像を取得するときの露光時間が短くなるため、全体のAF時間Tbも短くなる。反対に、オートフォーカスのフレームレートが低いほど、露光時間が長くなるため、全体のAF時間Tbも長くなるが、その分、合焦精度が向上する。また、撮影時間Tcについては、制御部121は、撮影時の露光時間に基づいて算出してもよい。
【0053】
休止所要時間Tyは、例えば、動作所要時間Txに対して一定の係数pをかけて算出すればよい。係数pは、予め行われた実験等により決定すればよい。例えば、実験において観察装置中に配置される基板の温度や試料の温度(例えば、容器中の培地の温度)の変化を直接計測することで休止所要時間を特定し、休止所要時間と動作所要時間から係数pを逆算してもよい。即ち、制御部121は、休止所要時間Tyを、p×M×(Ta+Tb+Tc)で算出してもよく、その場合、撮影制御の所要時間Tは、(1+p)×M×(Ta+Tb+Tc)で算出される。
【0054】
また、動作所要時間Txに対して係数pを決定する代わりに、移動時間Ta、AF時間Tb、撮影時間Tcのそれぞれに対して係数(係数pa、pb、pc)を決定してもよい。係数pa、係数pb、係数pcは、係数pと同様に実験等によって決定してもよく、移動時間Ta、AF時間Tb、撮影時間Tc中の単位時間当たりの消費電力に基づいて決定してもよい。即ち、制御部121は、休止所要時間Tyを、それぞれの係数を用いてM×(pa×Ta+pb×Tb+pc×Tc)で算出してもよく、その場合、撮影制御の所要時間Tは、M×{(1+pa)×Ta+(1+pb)×Tb+(1+pc)×Tc}で算出される。
【0055】
所要時間Tが算出されると、制御部121は、所要時間TとインターバルTinを比較する(ステップS3)。そして、例えば、
図6に示すように、所要時間TがインターバルTin以下の場合には(ステップS4YES)、制御部121は、ステップS5の処理を省略して、ステップS1で取得した撮影条件に従って撮影制御を実行する(ステップS6)。
【0056】
一方で、
図8に示すように、所要時間TがインターバルTinを上回っている場合には(ステップS4NO)、制御部121は、オートフォーカスのフレームレートをHighに設定して(ステップS5)、撮影条件を変更する。
【0057】
フレームレートがHighに設定されることで、
図8に示すように、オートフォーカスに要する時間TbがTb´(<Tb)へ短縮される。これにより、動作所要時間TxからTx1(<Tx)へ、休止所要時間TyがTy1(<Ty)へ短縮され、その結果として、撮影制御の所要時間TもインターバルTinに収まるように短縮される。
【0058】
その後、制御部121は、ステップS5で更新された撮影条件に従って撮影制御を実行する(ステップS6)。即ち、ステップS5では、制御部121は、所要時間Tが短縮されインターバルTinに収まるように、撮影条件に含まれているオートフォーカスのパラメータであるフレームレートを更新し、ステップS6では、更新された新たな撮影条件に基づいて、オートフォーカスの期間中の露光量を制御する。
【0059】
撮影制御が終了すると、制御部121は、モニタリングを終了するか否か判定する(ステップS7)。制御部121は、指定された撮影回数Nだけ撮影制御が実行されていない場合には、モニタリングを終了せず(ステップS7NO)、次回の撮影時刻になる度に撮影制御を実行する(ステップS6)。これにより、インターバルTinでN回の撮影制御が実行される。
【0060】
以上のように、本実施形態に係る観察装置は、
図7に示す処理を行うことで、撮影制御の所要時間をインターバル内に収めることができる。このため、観察装置内への過度の蓄熱を回避しながら、タイムラプス撮影を行うことができる。
【0061】
また、本実施形態に係る観察装置は、撮影条件に基づいて算出される所要時間がインターバルを上回っていない場合に、オートフォーカスのフレームレートを上げずに動作する。即ち、観察装置は、高い合焦精度が実現される合焦精度優先モードで動作する。これに対して、撮影条件に基づいて算出される所要時間がインターバルを上回っている場合に、観察装置は、オートフォーカスのフレームレートを上げることで発熱を抑制して所要時間をインターバル内に収めるように動作する。即ち、観察装置は、発熱量を抑えた発熱量低減優先モードで動作する。従って、いずれのモードで動作している場合であっても、本実施形態に係る観察装置によれば、オートフォーカス後に行われる撮影は十分な露光量で行われるため、利用者が観察に利用する画像の質を維持しながら指定されたインターバルでタイムラプス撮影を行うことができる。
【0062】
(第2の実施形態)
図9は、第2の実施形態に係る観察装置が行う処理のフローチャートである。
図10は、第2の実施形態に係る観察装置で行われる撮影制御における動作モードの違いについて説明するための図である。なお、本実施形態に係る観察装置の構成は、観察装置100と同様である。そのため、以降では、本実施形態に係る観察装置の構成要素は、観察装置100の構成要素と同一の符合で参照する。
【0063】
また、本実施形態に係る観察装置が行う処理は、オートフォーカスのフレームレートの代わりにオートフォーカス期間中の照明輝度を変更することで所要時間を調整する点が、第1の実施形態に係る観察装置が行う処理とは異なるが、その他の処理は同様である。なお、オートフォーカス期間中の照明輝度は、例えば、光源106の出力設定を変更して照明光学系107から出射する単位時間当たりの光量を調整することで変更可能である。
【0064】
制御装置から撮影指示を受信すると、制御部121が記憶部122に記憶されているプログラムを実行して
図9に示す処理を開始する。制御部121は、まず、撮影条件を取得し(ステップS11)、その後、ステップS11で取得した撮影条件に基づいて撮影制御の所要時間Tを算出する(ステップS12)。さらに、制御部121は、ステップS12で算出した所要時間TとインターバルTinを比較する(ステップS13)。なお、ステップS11からステップS13の処理は、
図7に示すステップS1からステップS3の処理と同様である。
【0065】
その後、例えば、
図6に示すように、所要時間TがインターバルTin以下の場合には(ステップS14YES)、制御部121は、ステップS15の処理を省略して、ステップS11で取得した撮影条件に従って撮影制御を実行する(ステップS16)。
【0066】
一方で、
図10に示すように、所要時間TがインターバルTinを上回っている場合には(ステップS14NO)、制御部121は、オートフォーカスの期間中の照明輝度をLowに設定して(ステップS15)、撮影条件を変更する。
【0067】
照明輝度がLowに設定されることで、
図10に示すように、動作所要時間Txは短縮されないが、動作中(特にAF中)の発熱量が低く抑えられるため休止所要時間TyがTy2(<Ty)へ短縮される。その結果として、撮影制御の所要時間Tが短縮され、所要時間TがインターバルTinに収まるようになる。
【0068】
なお、短縮された休止所要時間Ty2は、例えば、動作所要時間Txに対して一定の係数p´(<p)をかけて算出すればよい。係数p´は、照明輝度がLowに設定された状態で予め行われた実験等により決定すればよく、上述した係数pより小さな値である。
【0069】
その後、制御部121は、ステップS15で更新された撮影条件に従って撮影制御を実行する(ステップS16)。即ち、ステップS15では、制御部121は、所要時間Tが短縮されインターバルTinに収まるように、撮影条件に含まれているオートフォーカスのパラメータである照明輝度を更新し、ステップS16では、更新された新たな撮影条件に基づいて、オートフォーカスの期間中の露光量を制御する。
【0070】
撮影制御が終了すると、制御部121は、モニタリングを終了するか否か判定する(ステップS17)。制御部121は、指定された撮影回数Nだけ撮影制御が実行されていない場合には、モニタリングを終了せず(ステップS17NO)、次回の撮影時刻になる度に撮影制御を実行する(ステップS16)。これにより、インターバルTinでN回の撮影制御が実行される。
【0071】
以上のように、本実施形態に係る観察装置によっても、
図9に示す処理を行うことで、第1の実施形態に係る観察装置と同様に、撮影制御の所要時間をインターバル内に収めることができる。このため、観察装置内への過度の蓄熱を回避しながら、タイムラプス撮影を行うことができる。
【0072】
また、本実施形態に係る観察装置は、撮影条件に基づいて算出される所要時間がインターバルを上回っていない場合に、オートフォーカスの期間中の照明輝度を下げずに動作する。即ち、観察装置は、高い合焦精度が実現される合焦精度優先モードで動作する。これに対して、撮影条件に基づいて算出される所要時間がインターバルを上回っている場合に、観察装置は、オートフォーカスの期間中の照明輝度を下げることで発熱を抑制して所要時間をインターバル内に収めるように動作する。即ち、観察装置は、発熱量を抑えた発熱量低減優先モードで動作する。従って、いずれのモードで動作している場合であっても、本実施形態に係る観察装置によれば、第1の実施形態に係る観察装置と同様に、オートフォーカス後に行われる撮影は十分な露光量で行われるため、利用者が観察に利用する画像の質を維持しながら指定されたインターバルでタイムラプス撮影を行うことができる。
【0073】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、1つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明の観察装置、観察システム、観察装置の制御方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0074】
上述した実施形態では、所要時間がインターバルを上回る場合に、オートフォーカスのフレームレートとオートフォーカス期間中の照明輝度の一方を更新する例を示したが、これらの両方を更新してもよい。また、所要時間がインターバルをどの程度上回っているかによって更新するパラメータまたはパラメータの数を変更してもよい。例えば、所要時間がインターバルをわずかに上回っている場合には、制御部121は、フレームレートだけを更新してもよく、所要時間がインターバルを大幅に上回っている場合には、制御部121は、フレームレートと照明輝度の両方を更新してもよい。
【0075】
上述した第2の実施形態では、所要時間がインターバルを上回る場合に、オートフォーカスの期間中の照明輝度を更新する例を示したが、オートフォーカスの期間中の照明輝度に限らず、撮影制御中の照明輝度全般を更新してもよい。これにより、オートフォーカス時に加えてオートフォーカスに続いて行われる撮影時の照明輝度も弱くなるため、さらに発熱を抑制することが可能であり、所要時間もさらに短縮することができる。
【0076】
また、上述した実施形態では、フレームレートや照明輝度など撮影条件に含まれる観察装置の設定に基づいて所要時間を算出する例を示したが、所要時間は、観察装置の設定に加えて、観察装置の周辺環境を加味して算出してもよい。例えば、インキュベータ10内の庫内温度が高いほどクーリングに時間がかかることから、制御部121は、撮影条件(観察装置の設定)に加えてインキュベータ10内の庫内温度に基づいて、休止所要時間を見積もってもよい。これにより、より正確な所要時間を算出することが可能となる。なお、観察装置100は、インキュベータ10内の庫内温度を、インキュベータ10から制御装置200経由で取得してもよく、観察装置100自身に設けられた温度センサで測定することで取得してもよい。
【0077】
また、上述した実施形態では、1回の撮影制御、つまり、一連の撮影処理中に、多点を撮影する例を示したが、1回の撮影制御に含まれる撮影ポイントは1点のみであってもよい。また、1回の撮影制御に含まれる1点または多点の撮影ポイントの各々を、照明光の波長を切り替えて複数回撮影してもよい。
【0078】
また、上述した実施形態では、タイムラプス撮影を例に説明したが、上述した観察装置は、タイムラプス撮影以外に使用されてもよく、撮影制御が繰り返し行われる任意の撮影において有用である。
【0079】
また、上述した実施形態では、最初の撮影制御の開始前に一度だけ撮影条件を更新することで撮影制御後の露光量を制御する例を示したが、撮影条件の更新は適宜行われてもよい。例えば、撮影制御間のインターバルが一定でない場合には、撮影制御毎に撮影条件を更新してもよい。また、多点撮影において重要な撮影ポイントが予め分かっている場合であれば、その重要な撮影ポイントでは合焦精度優先モードで動作させ、その他の撮影ポイントでは発熱量低減優先モードでどうさせてもよい。即ち、撮影ポイントごとに撮影条件を更新してもよい。
【0080】
また、上述した実施形態では、所要時間と撮影制御間のインターバルを比較して撮影条件を更新する例を示したが、所要時間との比較対象はインターバルに限らない。例えば、所要時間が何らかの要因によって変動してしまう可能性を想定して、インターバルよりもある程度短い時間を所要時間と比較してもよい。即ち、制御部121は、所要時間が予め決められた閾値を上回っている場合に撮影条件を更新するように制御してもよい。閾値は典型的には撮影制御間のインターバルであるがインターバルには限らない。
【0081】
また、上述した実施形態では、動作所要時間を撮影条件に基づいて算出する例を示したが、動作所要時間は撮影制御を実行して計測してもよい。例えば、制御部121は、最初の撮影制御については撮影条件によらず合焦精度優先モードで動作させて、その際の動作所要時間を実測する。そして、次回の撮影制御の開始前に、実測した動作所要時間を用いて撮影制御の所要時間を見積もって、所要時間がインターバルを上回っている場合には、次回の撮影制御については発熱量低減優先モードで動作させてもよい。
【0082】
上述した実施形態に係る観察装置は、反射率が低い蓋で反射した照明光を利用して撮影を行うため照明輝度や露光時間の設定が大きくなりやすく発熱しやすいこと、コンパクトに構成されているため装置内に熱が溜まりやすいことから、上述した制御が特に有効である。しかしながら、上述した制御を行う観察装置は、蓋で反射した照明光を利用して撮影を行うものに限らない。所要時間がインターバルを上回ってしまうことによって生じる不都合は、蓋で反射した照明光を利用して撮影を行う観察装置に限らず生じうるからである。
【0083】
図11は、一実施形態に係る観察装置の構成の変形例を示した図である。
図11に示す観察装置100aのように、観察装置自身が照明光を試料の上方で反射する反射部材112を備えてもよく、反射部材112で反射した照明光を利用して撮影を行ってもよい。なお、観察装置100aは、試料Sの上方へ延在する支柱111の下面に設けられた反射部材112で反射した照明光を利用して撮影を行うことで、観察装置100よりも明るい画像を取得することができる。なお、支柱111は、
図1に示す位置決め部材110を兼ねてもよい。
【0084】
図12は、一実施形態に係るモニタリングシステムの構成の変形例を示した図である。上述した実施形態では、観察装置の制御部が、所要時間がインターバルを上回っているか否かを判断して露光量を制御する例を示したが、これらの制御処理は、観察装置以外の装置で行われてもよい。例えば、
図1に示すモニタリングシステム1の制御装置200(制御部221)で行われてもよい。また、
図12に示すように、観察装置100を制御する制御装置200とは別のユーザ端末300を用いて利用者が撮影条件を指定する場合であれば、そのユーザ端末300(制御部321)でこれらの制御処理が行われてもよい。ユーザ端末300は、例えば、制御部321、記憶部322、通信部323、入力部324、表示部325を有していて、その制御部321で上述した制御処理が行われてもよい。ユーザ端末300は、特に限定しないが、インターネット400などの公衆回線を介して制御装置200に接続されてもよい。
【0085】
本明細書において、“Aに基づいて”という表現は、“Aのみに基づいて”を意味するものではなく、“少なくともAに基づいて”を意味し、さらに、“少なくともAに部分的に基づいて”をも意味している。即ち、“Aに基づいて”はAに加えてBに基づいてもよく、Aの一部に基づいてよい。
【符号の説明】
【0086】
1 :モニタリングシステム
10 :インキュベータ
100、100a :観察装置
104 :照明系
105 :撮影系
106 :光源
107 :照明光学系
108 :撮影光学系
109 :撮像素子
112 :反射部材
121、221、321:制御部
200 :制御装置
300 :ユーザ端末
400 :インターネット
C、C1 :容器
S :試料
T :所要時間
Ta :移動時間
Tb :AF時間
Tc :撮影時間
Tin :インターバル
Tx、Ty1 :動作所要時間
Ty、Ty1、Ty2 :休止所要時間