(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】画像処理装置、方法およびプログラム
(51)【国際特許分類】
G02B 21/36 20060101AFI20221031BHJP
G02B 21/26 20060101ALI20221031BHJP
G02B 21/34 20060101ALI20221031BHJP
C12M 1/34 20060101ALI20221031BHJP
G06T 3/40 20060101ALI20221031BHJP
【FI】
G02B21/36
G02B21/26
G02B21/34
C12M1/34 B
G06T3/40 720
(21)【出願番号】P 2022003658
(22)【出願日】2022-01-13
(62)【分割の表示】P 2019539128の分割
【原出願日】2018-08-06
【審査請求日】2022-01-13
(31)【優先権主張番号】P 2017166708
(32)【優先日】2017-08-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】涌井 隆史
【審査官】岡田 弘
(56)【参考文献】
【文献】特開2007-065669(JP,A)
【文献】特表2005-514589(JP,A)
【文献】特開2017-015857(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 19/00-21/00
G02B 21/06-21/36
G01N 21/00-21/01
G01N 21/17-21/83
C12M 1/00-3/10
G06T 1/00-1/40
G06T 3/00-5/50
(57)【特許請求の範囲】
【請求項1】
観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理装置であって、
前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、前記容器の中心に最も近い側にある撮影画像を前記重複領域の画像として選択する重複領域選択部と、
前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する合成画像生成部とを備えた画像処理装置。
【請求項2】
前記重複領域選択部は、前記重複領域における複数の撮影画像の前記容器の中心からの距離が同一の場合、前記重複領域における複数の撮影画像のコントラストを算出し、算出した該コントラストが最も大きい撮影画像を前記重複領域の画像として選択する請求項1に記載の画像処理装置。
【請求項3】
観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法であって、
前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、前記容器の中心に最も近い側にある撮影画像を前記重複領域の画像として選択し、
前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する画像処理方法。
【請求項4】
観察対象を収容した容器および前記観察対象を前記容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、前記容器および前記撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う前記観察領域の一部を重複させて、前記観察領域の位置を変更しつつ、前記容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
前記撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、前記容器の中心に最も近い側にある撮影画像を前記重複領域の画像として選択する手順と、
前記重複領域の画像が選択された前記複数の撮影画像を繋ぎ合わせて合成画像を生成する手順とをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、観察対象が収容された容器が設置されたステージと観察対象の像を結像させる結像光学系とを相対的に移動させることによって取得された複数の撮影画像を処理する画像処理装置、方法およびプログラムに関するものである。
【背景技術】
【0002】
ES(Embryonic Stem)細胞およびiPS(Induced Pluripotent Stem)細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えたものであり、再生医療、薬の開発、および病気の解明等において応用が可能なものとして注目されている。
【0003】
そして、ES細胞およびiPS細胞等の多能性幹細胞、または分化誘導された細胞等を顕微鏡等で撮像し、その画像の特徴を捉えることで細胞の分化状態等を評価する方法が提案されている。
【0004】
一方、上述したように細胞を顕微鏡で撮像する際、高倍率な広視野画像を取得するため、いわゆるタイリング撮影を行うことが提案されている。具体的には、例えばウェルプレート等が設置されたステージを、結像光学系に対して移動させることによってウェル内の各観察領域を走査して各観察領域を撮影した後、観察領域毎の撮影画像を繋ぎ合わせて合成画像を生成する方法が提案されている。
【0005】
また、タイリング撮影を行う際に、撮影画像のつなぎ目を目立たなくするために、隣り合う観察領域の一部を互いに重複させることも行われている。例えば、特許文献1においては、ウェルプレートをタイリング撮影する際に観察領域の一部を重複させ、撮影画像における重複する領域の画素に対して適宜重み付けをすることにより、つなぎ目を目立たなくする手法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
ここで、上述したウェルプレート等を用いて細胞を培養する際、ウェル内には細胞および培養液等の液体が収容されるが、その液体の表面にはメニスカスが形成されることが知られている。
【0008】
特に、位相差顕微鏡装置を用いて細胞の画像を撮影する場合には、撮影画像に対するメニスカスの影響が大きい。このようなメニスカスの影響により、メニスカスが形成されているメニスカス領域は、メニスカスが形成されていない非メニスカス領域の撮影画像と比較するとコントラストが低い画像となってしまう。したがって、メニスカス領域を含む撮影画像から生成される合成画像においては、とくにメニスカス領域において、細胞の評価を高精度に行うことができない。
【0009】
本発明は上記事情に鑑みなされたものであり、容器内の液体の液面に形成されたメニスカスの影響が抑制された合成画像を取得できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
本発明の画像処理装置は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理装置であって、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択する重複領域選択部と、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する合成画像生成部とを備える。
【0011】
なお、本発明による画像処理装置においては、重複領域選択部は、容器の中心に最も近い側にある撮影画像を重複領域の画像として選択するものであってもよい。
【0012】
容器の中心に最も近い側にある撮影画像とは、例えば撮影画像の中心および重心等の代表点と容器の中心との距離を比較した場合において、距離が最も小さい撮影画像を意味する。
【0013】
なお、本発明による画像処理装置においては、重複領域選択部は、重複領域における複数の撮影画像の容器の中心からの距離が同一の場合、重複領域における複数の撮影画像のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択するものであってもよい。
【0014】
また、本発明による画像処理装置においては、重複領域選択部は、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択するものであってもよい。
【0015】
この場合、重複領域選択部は、撮影画像における容器の領域についてのみコントラストを算出するものであってもよい。
【0016】
本発明による画像処理方法は、観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理する画像処理方法であって、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。
【0017】
なお、本発明による画像処理方法をコンピュータに実行させるプログラムとして提供してもよい。
【0018】
本発明による他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
観察対象を収容した容器および観察対象を容器よりも小さい観察領域毎に撮影する撮像部を備えた撮影装置により、容器および撮像部の少なくとも一方を他方に対して相対的に移動させ、かつ隣り合う観察領域の一部を重複させて、観察領域の位置を変更しつつ、容器を複数回撮影することにより取得された複数の撮影画像を処理するに際し、
撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、
重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する処理を実行する。
【発明の効果】
【0019】
本発明によれば、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成するようにした。このように、重複領域についてはコントラストが最も高い撮影画像を選択することにより、合成画像のコントラストを全体的に高くすることができる。したがって、メニスカスの影響が抑制された合成画像を取得することができる
【図面の簡単な説明】
【0020】
【
図1】本発明の画像処理装置を適用した顕微鏡観察システムの一実施形態の概略構成を示す図
【
図2】ウェルプレートにおける各観察領域の走査軌跡を示す図
【
図4】培養容器に対して取得された複数の撮影画像を示す図
【
図7】培養容器内の各観察領域の撮影画像をつなぎ合わせた合成画像の一例を示す図
【
図8】重複領域における画像の選択の一例を説明するための図
【
図10】本実施形態において行われる処理を示すフローチャート
【
図11】重複領域における画像の選択の他の例を説明するための図
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について説明する。
図1は本発明の実施形態による画像処理装置を適用した顕微鏡観察システムの概略構成を示す図である。本実施形態の顕微鏡観察システムは、
図1に示すように、顕微鏡装置1、顕微鏡制御装置2、入力装置3、および表示装置4を備える。なお、顕微鏡装置1が撮影装置に対応する。
【0022】
本実施形態において、顕微鏡装置1は位相差顕微鏡であり、観察対象として、例えば培養された細胞の位相差画像を撮影画像として撮像するものである。具体的には、顕微鏡装置1は、
図1に示すように、照明光照射部10、結像光学系30、ステージ61、および撮像部40を備える。
【0023】
ステージ61上には、細胞等の観察対象Sおよび培養液Cが収容された培養容器60が設置される。ステージ61の中央には、矩形の開口が形成されている。この開口を形成する部材の上に培養容器60が設置され、培養容器60内の観察対象Sの像が開口を通過するように構成されている。
【0024】
培養容器60としては、例えば複数のウェル(本発明の容器に相当する)を有するウェルプレートが用いられるが、これに限らず、シャーレまたはディッシュ等を用いるようにしてもよい。また、培養容器60に収容される観察対象Sとしては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。
【0025】
ステージ61上に設置された培養容器60は、その底面が観察対象Sの設置面Pであり、設置面Pに観察対象Sが配置される。培養容器60内には培養液Cが満たされており、この培養液Cの液面には、凹形状のメニスカスが形成される。なお、本実施形態においては、培養液中で培養される細胞を観察対象Sとしたが、観察対象Sとしてはこのような培養液中のものに限らず、水、ホルマリン、エタノール、およびメタノール等の液体中において固定された細胞を観察対象Sとしてもよい。この場合も、容器内のこれらの液体の液面にメニスカスが形成される。
【0026】
照明光照射部10は、ステージ61上の培養容器60内に収容された観察対象Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
【0027】
具体的には、本実施形態の照明光照射部10は、位相差計測用の白色光を出射する白色光源11、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光を出射するスリット板12、およびスリット板12から出射されたリング状照明光が入射され、入射されたリング状照明光を観察対象Sに対して照射するコンデンサレンズ13を備える。
【0028】
スリット板12は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。コンデンサレンズ13は、スリット板12から出射されたリング状照明光を観察対象Sに向かって収束させる。
【0029】
ステージ61上に設置された培養容器60内には、観察対象Sとして、培養された細胞群(細胞コロニー)が配置される。培養された細胞としては、iPS細胞およびES細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレート等を用いることができる。なお、本実施形態においては、複数のウェルが配列されたウェルプレートを培養容器60として用いるものとする。
【0030】
結像光学系30は、培養容器60内の観察対象Sの像を撮像部40に結像するものであり、対物レンズ31、位相板32および結像レンズ33を備える。
【0031】
位相板32は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板12のスリットの大きさは、この位相リングと共役な関係にある。
【0032】
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リングを通過することによって位相が1/4波長ずれ、かつその明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板の部分を通過し、その位相および明るさは変化しない。
【0033】
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像する。
【0034】
撮像部40は、結像レンズ33によって結像された観察対象Sの像を受光し、観察対象Sを撮像して位相差画像を観察画像として出力する撮像素子を備える。撮像素子としては、CCD(charge-coupled device)イメージセンサ、およびCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等を用いることができる。
【0035】
ここで、ステージ61は、不図示のステージ駆動部により駆動されて、水平面内において直交するX方向およびY方向に移動する。ステージ61の移動によって、ウェルプレートの各ウェル内における、ウェルよりも小さい各観察領域が走査され、観察領域毎の撮影画像が撮像部40により取得される。この際、隣り合う観察領域の一部を重複させて、各観察領域が走査される。観察領域毎の撮影画像は顕微鏡制御装置2に出力される。
【0036】
図2は、6つのウェル71を有するウェルプレート70を用いた場合における、各観察領域の走査軌跡を実線77で示した図である。
図2に示すように、ウェルプレート70内の各観察領域は、ステージ61のX方向およびY方向の移動によって走査開始点75から走査終了点76までの実線77に沿って走査される。
【0037】
なお、本実施形態においては、ステージ61を移動させることによってウェル内の観察領域毎の撮影画像を取得するようにしたが、これに限らず、結像光学系30をステージ61に対して移動させることによって観察領域毎の撮影画像を取得するようにしてもよい。または、ステージ61と結像光学系30の両方を移動させるようにしてもよい。
【0038】
顕微鏡制御装置2は、CPU(Central Processing Unit)、半導体メモリおよびハードディスク等を備えたコンピュータから構成される。そして、ハードディスクに本発明の判別器の学習プログラムを含む、システムを制御するプログラムがインストールされている。顕微鏡制御装置2は、顕微鏡観察システムの全体を制御するものであり、
図1に示すように、制御部21および画像処理装置22を備える。
【0039】
制御部21は、照明光照射部10、ステージ61を駆動するステージ駆動部(不図示)、結像光学系30および撮像部40の駆動を制御して観察対象Sの撮影画像を取得する。
【0040】
画像処理装置22は、撮影画像に含まれる観察対象Sの状態を評価する。
図3は画像処理装置22の構成を示す概略ブロック図である。
図3に示すように、画像処理装置22は、画像取得部50、重複領域選択部51および合成画像生成部52を備える。
【0041】
本実施形態において、画像処理装置22は、観察領域毎の撮影画像を取得し、撮影画像のそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。
【0042】
画像取得部50は、撮像部40により撮像された観察対象Sの撮影画像を取得する。本実施形態においては、培養容器60は複数のウェルが配列されたウェルプレートであるため、各ウェル内における各観察領域の撮影画像が取得される。
【0043】
ここで、本実施形態においては、上述したように、隣り合う観察領域の一部を重複させて、各観察領域が走査される。このため、
図4に示すように、培養容器60がウェルプレート70である場合において、1つのウェル71の各観察領域に対応する複数の撮影画像が取得されるが、各撮影画像Gi(iは撮影画像の数)は隣り合う撮影画像と重複する重複領域を含むものとなっている。なお、
図4においては、上の行から順に撮影画像G1~G5、G6~G12、G13~G21、G22~G30、G31~G39、G40~G48、G49~G57、G58~G64、G65~G69が取得されている。
【0044】
図4における左上隅にある撮影画像の拡大図を
図5に示す。
図5に示すように、
図4における左上隅にある撮影画像G1は、その右に隣接する撮影画像G2との重複領域K1、重複領域K1の下にある撮影画像G2、撮影画像G7および撮影画像G8との重複領域K2、重複領域K2の左にある撮影画像G7との重複領域K3、並びに重複領域K3の左にある撮影画像G6および撮影画像G7との重複領域K4を含む。
【0045】
重複領域選択部51は、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択する。
【0046】
ここで、培養容器60内には、観察対象Sおよび培養液Cが収容されるが、培養液Cの液面には、メニスカスが形成される。
図6は培養容器60、すなわちウェルプレートにおける1つのウェルの側断面図および上面図である。
図7は培養容器60内の各観察領域の撮影画像をつなぎ合わせた合成画像の一例を示す図である。
図7において矩形領域で分割された各領域62が、各観察領域に相当する。なお、実際には上述したように隣り合う観察領域は一部が重複しているが、
図7においては、説明のために、観察領域は重複させていない。
図6に示すように、培養容器60においては、培養液Cの液面にメニスカスMが形成される。そして、培養容器60の上方から入射する光は、メニスカス領域R1においては矢印A1に示すように屈折し、非メニスカス領域R2においては矢印A0に示すように直進する。その結果、
図6および
図7に示すように、非メニスカス領域R2の撮影画像はコントラストが高く、メニスカス領域R1の撮影画像は非メニスカス領域R2よりもコントラストが低くなる。したがって、メニスカス領域R1の撮影画像については、個々の細胞の画像が明確に表されていないものとなる。
【0047】
ここで、非メニスカス領域R2は、培養容器60の中心に形成される。このため、複数の撮影画像Giのうち、培養容器60の中心に近い位置にある撮影領域の撮影画像ほど、コントラストが高くなる。ここで、撮像画像Giが培養容器60の中心に近い位置にあるとは、撮像画像Giの中心が培養容器60の中心に近いことをいう。また、撮影画像Giが培養容器60の中心に近い位置にあるとは、撮影画像Giが培養容器60の壁面 から遠い位置にあることと同義である。
【0048】
重複領域選択部51は、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、培養容器60の中心に近い側にある撮影画像を重複領域の画像として選択する。例えば、
図5に示す撮影画像G1の重複領域K1については、撮影画像G2の中心の方が撮影画像G1の中心よりも培養容器60の中心に近い側にあるため、撮影画像G2を重複領域K1の画像として選択する。また、重複領域K2については、撮影画像G8の中心が撮影画像G2の中心および撮影画像G7の中心よりも培養容器60の中心に最も近い側にあるため、撮影画像G8を重複領域K2の画像として選択する。また、重複領域K3については、撮影画像G7の中心の方が撮影画像G1の中心よりも培養容器60の中心に近い側にあるため、撮影画像G7を重複領域K3の画像として選択する。また、重複領域K4については、撮影画像G7が培養容器60の中心に最も近い側にあるため、撮影画像G7を重複領域K4の画像として選択する。したがって、撮影画像G1については、
図8に示すように、重複領域K1~K4について、それぞれ撮影画像G2,G8,G7,G7が選択される。
【0049】
合成画像生成部52は、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像を生成する。
図9は合成画像の生成を説明するための図である。
図9に示すように、各撮影画像の重複領域においては、重複領域選択部51が選択した撮影画像が選択されて、撮影画像および選択された画像が繋ぎ合わせられて合成画像Gsが生成される。
【0050】
入力装置3は、マウスおよびキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。
【0051】
表示装置4は、合成画像生成部52により生成された合成画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置4をタッチパネルによって構成し、入力装置3と兼用するようにしてもよい。
【0052】
次いで、本実施形態において行われる処理について説明する。
図10は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部50が、撮像部40により撮像された観察対象Sの撮影画像Giを取得する(ステップST1)。次いで、重複領域選択部51が、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域について、コントラストが最も高い撮影画像を重複領域の画像として選択する(ステップST2)。そして、合成画像生成部52が、重複領域の画像が選択された複数の撮影画像Giを繋ぎ合わせて合成画像Gsを生成し(ステップST3)、処理を終了する。生成された合成画像Gsは、表示装置4に表示され、観察に供される。
【0053】
このように、本実施形態においては、撮影画像Giのそれぞれにおいて、隣り合う少なくとも1つの撮影画像との重複領域については、コントラストが最も高い撮影画像を重複領域の画像として選択し、重複領域の画像が選択された複数の撮影画像を繋ぎ合わせて合成画像Gsを生成するようにした。このように、重複領域についてはコントラストが最も高い撮影画像の画像を選択することにより、合成画像Gsのコントラストを全体的に高くすることができる。したがって、合成画像Gsにおいて、撮影画像に含まれるメニスカスの影響を抑制することができる
【0054】
ここで、本実施形態において取得される複数の撮影画像のうち、容器の中心に近い撮影画像ほどメニスカスの影響が小さく、コントラストが高いものとなっている。このため、容器の中心に近い側にある撮影画像を重複領域の画像として選択することにより、重複領域の画像を選択することが容易となり、その結果、合成画像Gsにおいて、撮影画像に含まれるメニスカスの影響を容易に抑制することができる。
【0055】
なお、上記実施形態においては、培養容器60の中心に近い側にある撮影画像を重複領域の画像として選択している。しかしながら、隣り合う少なくとも1つの撮影画像との重複領域のそれぞれについてのコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択してもよい。なお、コントラストとしては、例えば撮影画像の全領域、または撮影画像の中心付近等の局所的な領域における最小値と最大値との差、若しくは撮影画像における微分値の最大値等を用いることができる。また、コントラストの算出は、撮影画像における容器の領域についてのみ行う。すなわち、
図4に示す複数の撮影画像Giにおいて、培養容器60内の領域においてのみコントラストを算出する。
【0056】
この場合において、
図5に示す撮影画像G1の重複領域K1について、撮影画像G1の方がコントラストが高い場合、撮影画像G1を重複領域K1の画像として選択する。また、重複領域K2について、撮影画像G2が最もコントラストが高い場合、撮影画像G2を重複領域K2の画像として選択する。また、重複領域K3について、撮影画像G7が最もコントラストが高い場合、撮影画像G7を重複領域K3の画像として選択する。また、重複領域K4について、撮影画像G6が最もコントラストが高い場合、撮影画像G6を重複領域K4の画像として選択する。したがって、撮影画像G1については、
図8に示すように、重複領域K1~K4について、それぞれ撮影画像G1,G2,G7,G6が選択される。
【0057】
一方、容器の中心に近い撮影画像を重複領域の画像として選択する場合、重複領域における複数の撮影画像と容器の中心との距離が同一となる場合がある。すなわち、重複領域における複数の撮影画像と容器の壁面との距離が同一となる場合がある。このような場合は、いずれの撮影画像を用いてもよいが、重複領域における複数の撮影画像のコントラストを算出し、算出したコントラストが最も大きい撮影画像を重複領域の画像として選択することが好ましい。
【0058】
なお、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡等のその他の顕微鏡に適用することができる。
【0059】
以下、本実施形態の作用効果について説明する。
【0060】
複数の撮影画像のうち、容器の中心に近い撮影画像ほどメニスカスの影響が小さく、コントラストが高いものとなっている。このため、容器の中心に近い側にある撮影画像を重複領域の画像として選択することにより、重複領域の画像を選択することが容易となり、その結果、合成画像のコントラストを容易に高くすることができる。
【符号の説明】
【0061】
1 顕微鏡装置
2 顕微鏡制御装置
3 入力装置
4 表示装置
10 照明光照射部
11 白色光源
12 スリット板
13 コンデンサレンズ
21 制御部
22 画像処理装置
30 結像光学系
31 対物レンズ
32 位相板
33 結像レンズ
40 撮像部
50 画像取得部
51 重複領域選択部
52 合成画像生成部
60 培養容器
61 ステージ
62 領域
70 ウェルプレート
71 ウェル
75 走査終了点
76 走査開始点
77 走査軌跡を示す実線
A0,A1 矢印
C 培養液
Gi 撮影画像
Gs 合成画像
K1~K4 重複領域
M メニスカス
P 設置面
R1 メニスカス領域
R2 非メニスカス領域
S 観察対象