(58)【調査した分野】(Int.Cl.,DB名)
前記共通領域は、前記複数の画像に含まれる各画像の第1の方向及び該第1の方向と直交する第2の方向の各々を3以上の同一の奇数で分割した場合の中央の領域であることを特徴とする請求項1に記載の画像処理装置。
前記第1及び第2の方向の各々における分割数は、前記各画像内で画像の中央に対する明度の減衰率が所定値以下である領域に基づいて設定されることを特徴とする請求項2に記載の画像処理装置。
【発明を実施するための形態】
【0021】
以下、本発明に係る画像処理装置、画像処理方法、顕微鏡システム及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
【0022】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置を示すブロック図である。
図1に示すように、実施の形態1に係る画像処理装置1は、観察対象である被写体が写った画像を取得する画像取得部11と、該画像に所定の画像処理を施す画像処理部12とを備える。
【0023】
画像取得部11は、被写体に対する撮像視野が互いに異なる複数の画像を取得する。画像取得部11は、このような複数の画像を、撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態1において、画像取得部11は、撮像装置が撮像を行うことにより生成した画像を、該撮像装置から取得するものとする。なお、撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。
【0024】
画像取得部11は、撮像装置の撮像動作を制御する撮像制御部111と、被写体に対する撮像装置の撮像視野を変化させる制御を行う駆動制御部112とを備える。駆動制御部112は、撮像装置に対し、該撮像装置が備える光学系と被写体との相対的な位置を変化させることにより、被写体に対する撮像視野を変化させる。撮像制御部111は、駆動制御部112の制御動作と連動して、所定のタイミングで撮像装置に撮像を実行させ、該撮像装置から画像を取り込む。
【0025】
画像処理部12は、画像取得部11が取得した複数の画像を用いて、これらの画像に生じているシェーディングを補正する画像処理を実行する。ここで、撮像装置により取得された画像には、中央の一部の領域を除き、光源の照度ムラや、光学系の不均一性や、撮像素子の特性のムラ等に起因する明度ムラが生じている。この明度ムラはシェーディングと呼ばれ、明度ムラを補正する処理は、シェーディング補正と呼ばれる。画像処理部12は、画像選択部121と、補正ゲイン算出部122と、画像補正部123とを備える。
【0026】
画像選択部121は、画像取得部11が取得した複数の画像から、画像の組み合わせが互いに異なる所定数の画像ペアを選択する。
【0027】
補正ゲイン算出部122は、画像選択部121が選択した所定数の画像ペアを用いて、画像取得部11が取得した画像に生じているシェーディングを補正するための補正ゲインを算出する。
【0028】
画像補正部123は、画像取得部11が取得した画像に対し、補正ゲイン算出部122が算出した補正ゲインを用いてシェーディング補正を行うことにより、シェーディングが抑制された補正済み画像を取得する。
【0029】
次に、画像処理装置1の動作を説明する。
図2は、画像処理装置1の動作を示すフローチャートである。
まず、ステップS10において、画像取得部11は、撮像視野が異なる複数の画像を取得する。より詳細には、画像取得部11は、観察対象である被写体に対して撮像視野を所定量ずつ移動させながら撮像された画像を順次取得する。なお、撮像を行う際には、被写体側を固定して撮像視野を移動させても良いし、撮像視野を固定して被写体側を移動させても良い。或いは、被写体と撮像視野との両方を互いに反対方向に移動させても良い。
【0030】
撮像を1回行う毎に撮像視野を移動させる移動量やトータルの撮像回数(即ち、画像の取得枚数)は、画像内でシェーディングがほとんど生じておらず、画像の中心に対する明度の減衰率が所定値以下である中央部の領域のサイズに応じて決定することができる。ここで、上述したように、シェーディングは光源や光学系や撮像素子の特性に起因して生じるため、このような中央部の領域は、各画像に対して共通に設定することができる。以下において、このような領域を共通領域という。本実施の形態1においては、画像の各辺をN個(Nは3以上の奇数)に分割した際の中央の矩形領域を共通領域に設定する。共通領域の設定方法については後述する。
【0031】
この場合、撮像視野Vの水平方向の辺の長さをL
A、垂直方向の辺の長さをL
Bとすると、撮像視野Vの1回あたりの移動量は、水平方向にL
A/N又は垂直方向にL
B/Nとなる。また、トータルの画像の取得枚数は、少なくとも(3N−1)/2枚あれば良い。例えば、画像を5×5=25の領域に分割する場合、少なくとも7枚の画像を取得する。
【0032】
撮像視野Vの移動パターンの一例として、本実施の形態1においては、
図3に示すように、移動の軌跡がコの字状となるように撮像視野Vを移動させる。即ち、まず、撮像視野Vを水平方向に長さL
A/Nずつ移動させながら{(N−1)/2+1}回撮像を行い、撮像済みの領域の1つの端部から撮像視野Vを垂直方向に長さL
B/Nずつ移動させながら{(N−1)/2}回撮像を行い、さらに、撮像済みの領域の別の端部から撮像視野Vを水平方向に長さL
A/Nずつ移動させながら{(N−1)/2}回撮像を行う。
図3においては、撮像視野Vを移動させた際の該撮像視野Vの輪郭を一点鎖線で示し、画像内の共通領域に対応する撮像視野V内の領域R(V)の位置に網掛けを附している。上述したように撮像視野Vを移動させることにより、該撮像視野Vの移動の軌跡は、図の右側が開口したコの字状となる。なお、
図3に示すコの字状の移動パターンを、90°、180°、及び270°回転させても良い。
【0033】
このように撮像を行うことにより取得される複数の画像の具体例を、
図4を参照しながら説明する。なお、
図4においては、撮像視野Vの移動方向及び移動量を明確にするため、参考として、被写体領域SR及び該被写体領域SR内に配置された被写体Sを表示しているが、実際に撮像を行う際には被写体領域SRを特に設定する必要はなく、順次撮像される画像間で撮像視野Vが互いにずれていれば良い。
【0034】
まず、
図4(a)に示すように、被写体領域SRに撮像視野Vを合わせて撮像を行うことにより、画像M0を取得する。続いて
図4(b)に示すように、被写体領域SRに対して撮像視野Vを右方向にL
A/5だけ移動させて撮像を行うことにより、画像M1を取得する。続いて
図4(c)に示すように、撮像視野Vを右方向にさらにL
A/5だけ移動させて、画像M2を取得する。次に、
図4(d)に示すように、撮像視野Vを被写体領域SRから下方向にL
B/5だけ移動させて、画像M3を取得する。続いて
図4(e)に示すように、撮像視野Vを下方向にさらにL
B/5だけ移動させて、画像M4を取得する。続いて、
図4(f)に示すように、撮像視野Vを右方向にL
A/5だけ移動させて、画像M5を取得する。続いて、
図4(g)に示すように、撮像視野Vを右方向にさらにL
A/5だけ移動させて、画像M6を取得する。なお、
図4(a)〜(g)においては、共通領域Rを各画像M0〜M6内に示している。
【0035】
ここで、共通領域Rは、一例として、次のように設定することができる。まず、シェーディングを感知しやすいと考えられるフラットな画像に対して人工的にシェーディングを付加した画像を作成し、観察者に、どの程度のシェーディングから気になるかを評価させる。そして、シェーディングが気になると評価された画像の中央を通る水平線上の輝度値の最大値及び最小値から減衰率を算出し、これを客観評価値としての基準減衰率とする。なお、客観評価値としては、画像の対角線上における減衰率や正解データとのRMSE(=Root Mean Square Error=平均二乗誤差の平方根)等を用いても良い。
【0036】
続いて、ミラー等のフラットなサンプルを撮像することにより画像を取得し、該画像のうち、上記基準減衰率を上回る領域、即ち、基準よりも明度が減衰している領域をシェーディングエリアとする。
【0037】
一方、様々な被写体を、
図3で例示したように、撮像視野Vを水平方向及び垂直方向に、撮像視野Vの各辺の長さの1/3、1/5、1/7ずつ移動させながら撮像を行うことにより画像を取得する。そして、各画像に対し、観察者による主観でシェーディングの有無を評価する。
【0038】
このような客観的な評価及び主観的な評価からシェーディングエリアを決定し、シェーディングエリアに含まれない中央部の領域内に、矩形の共通領域Rを設定する。
このような共通領域Rは、個々の撮像装置や、撮像倍率等の条件ごとに予め設定しておく。
【0039】
なお、撮像時における位置ずれ等を考慮し、実際には、上述した方法で決定した共通領域Rに対し、共通領域の水平方向及び垂直方向の辺を長めに設定して撮像を行っても良い。
【0040】
続くステップS11において、画像選択部121は、ステップS10において取得された複数の画像から、互いに異なる2枚の画像を組み合わせた画像ペアを複数選択する。各画像ペアにおいて、一方の画像内の共通領域Rに写った被写体像SIが、他方の画像内の共通領域R以外の領域に写った被写体像SIと重複するように、2枚の画像を選択する。また、画像選択部121は、異なる画像ペアの間においては2枚の画像の組み合わせが互いに異なるように、少なくとも(N
2−1)/2個の画像ペアを選択する。
【0041】
以下、
図4に示す画像M0〜M6から選択される画像ペアを
図5〜
図8に例示する。即ち、画像M0とM1(
図5(a)、(b)参照)、画像M0とM2(
図5(c)、(d)参照)、画像M0とM3(
図5(e)、(f)参照)、画像M1とM3(
図6(a)、(b)参照)、画像M2とM3(
図6(c)、(d)参照)、画像M3とM5(
図6(e)、(f)参照)、画像M3とM6(
図7(a)、(b)参照)、画像M0とM4(
図7(c)、(d)参照)、画像M0とM5(
図7(e)、(f)参照)、画像M0とM6(
図8(a)、(b)参照)、画像M1とM4(
図8(c)、(d)参照)、画像M2とM4(
図8(e)、(f)参照)の12通りの画像ペアが選択される。なお、
図5〜
図8においては、2つの画像の対応関係を明確にするため、参考として被写体領域SRを示している。
【0042】
続くステップS12において、補正ゲイン算出部122は、ステップS11において選択された複数の画像ペアを用いて、各画像内に生じているシェーディングを補正するための補正ゲインを画像内の領域ごとに算出し、補正ゲインの分布を示すゲインマップGMを作成する。
【0043】
そのために、補正ゲイン算出部122はまず、
図9に示すように、各画像M0〜M6をN×Nの領域に分割する。以下、分割した領域の各々を領域(x,y)(0≦x<N、0≦y<N)と記す。このように分割した場合、各画像の中心部に存在する共通領域Rは、領域((N−1)/2,(N−1)/2)と表すことができる。本実施の形態1においてはN=5であるから、0≦x<5、0≦y<5であり、共通領域Rは領域(2,2)となる。
【0044】
続いて補正ゲイン算出部122は、各画像ペアのうち、一方の画像(以下、基準画像という)内の共通領域Rと、該共通領域Rに写った被写体像と同じ被写体像が写った他方の画像(以下、比較画像という)内の領域(x,y)とを比較する。
【0045】
比較画像内の領域(x,y)に含まれる画素の画素値をI
CONT(x,y)、基準画像の共通領域Rに含まれる画素の画素値をI
BASE(R)とすると、比較画像内の領域(x,y)に生じているシェーディングSH(x,y)は、次式(1)によって与えられる。
SH(x,y)=I
CONT(x,y)/I
BASE(R) …(1)
【0046】
従って、各画像内の領域(x,y)におけるシェーディングを除去するための補正ゲインG(x,y)は、次式(2)によって与えられる。
G(x,y)=I
BASE(R)/I
CONT(x,y) …(2)
【0047】
例えば
図5(a)の場合、画像M1を基準画像、画像M0を比較画像とすると、画像M1内の領域(2,2)と、画像M0内の領域(3,2)とを比較することにより、ゲインマップGMの領域(3,2)における補正ゲインG(3,2)が算出される。また、
図5(b)に示すように、同じ画像M0、M1のペアにおいて、画像M1を比較画像、画像M0を基準画像とすると、画像M0内の共通領域Rである領域(2,2)と、該領域(2,2)に対応する画像M1内の領域(1,2)とを比較することにより、領域(1,2)における補正ゲインG(1,2)が算出される。なお、
図5〜
図8においては、比較画像として設定された画像の輪郭を太線で示している。
【0048】
即ち、基準画像内の共通領域Rと、該共通領域Rに対応する比較画像内の領域とを比較して補正ゲインを求める演算を、1つの画像ペアにおいて比較画像と基準画像とを入れ替えて行うことにより、2つの領域における補正ゲインを取得することができる。そして、
図5(a)〜
図8(f)に示すように、ステップS11において選択された全ての画像ペアに対して上述した演算を行うことにより、画像内の全ての領域における補正ゲインG(x,y)を取得することができる。なお、
図5〜
図8においては、既に補正ゲインG(x,y)が算出されたゲインマップGM内の領域(x,y)に斜線の網掛けを附している。また、各画像M0〜M6内の共通領域Rにはシェーディングがほとんど生じないため、補正ゲインを算出する必要がない。このため、
図5〜
図8においては、共通領域Rに対応するゲインマップGMの中央の領域には他の領域と異なる種類の網掛けを附して区別している。
【0049】
続くステップS13において、画像補正部123は、画像取得部11が取得した補正対象画像に対し、ステップS13において作成されたゲインマップを適用することにより補正を行う。それにより、シェーディングが除去された補正済み画像が取得される。
その後、画像処理装置1の動作は終了する。
【0050】
次に、補正ゲインを算出する際に用いられる画像の組み合わせについて、N=5の場合を例として説明する。
本実施の形態1においては、撮像視野Vを水平方向に2回走査し、垂直方向に1回走査することにより画像M0〜M6を取得する。そこで、以下の説明においては、撮像視野Vの移動方向及び移動量に応じて、画像M0、M1、M2、M3、M4、M5、M6をそれぞれ、画像M
h<0,0>、M
h<1,0>、M
h<2,0>、M
v<0,1>、M
v<0,2>、M
h<1,2>、M
h<2,2>と記す。画像M
h<p,q>は、撮像視野Vを水平方向に移動させながら取得した画像であり、画像M
v<p,q>は、撮像視野Vを水平方向に移動させながら取得した画像である。また、符号pは、撮像視野Vの水平方向における移動回数を示し、符号qは、撮像視野Vの垂直方向における移動回数を示す。なお、画像M
h<0,0>(画像M0)は、撮像視野Vを垂直方向に移動させる際の起点にもなっているため、画像M
v<0,0>とも記される。また、画像M
v<0,2>(画像M4)は、撮像視野Vを水平方向に移動させる際の起点にもなっているため、画像M
h<0,2>とも記される。
【0051】
この場合、領域(x,y)における補正ゲインG(x,y)は、次式(3)により与えられる。
【数1】
ここで、演算子COMP(A,B)は、画像B内の共通領域Rと、該共通領域Rに対応する画像A内の領域(x,y)との比較により補正ゲインを算出する処理を示す。
【0052】
以上説明したように、本実施の形態1によれば、観察対象の標本を撮像視野から退避させる、或いは、較正用の試料を別途用いるといった煩雑な作業を要することなく、シェーディング補正用のデータ(ゲインマップ)を作成することができる。従って、従来よりも簡単且つ短時間に、高精度なシェーディング補正を行うことが可能となる。
【0053】
また、本実施の形態1によれば、画像内を(N
2−1)個に分割した場合の全領域における補正ゲインを、撮像視野が異なる少なくとも(3N−1)/2枚の画像をもとに算出することができる。従って、補正ゲインの算出に用いる画像の取得に要する時間(撮像時間)を短縮することが可能となる。
【0054】
また、本実施の形態1によれば、補正ゲインの算出に用いる画像を、被写体Sに対して撮像視野Vをコの字状に移動させながら撮像を行うことにより取得するため、撮像視野Vの移動方向を頻繁に変更する必要がない。従って、移動方向の変更に起因するバックラッシュの影響を低減できるという効果も得られる。
【0055】
(変形例1)
次に、本発明の実施の形態1の変形例1について説明する。
上記実施の形態1においては、撮像視野Vをコの字状のパターンで移動させながら撮像を行うことにより複数の画像を取得したが、撮像視野Vを移動パターンはこれに限定されない。例えば、
図10に示すように、撮像視野Vの移動の軌跡がトの字状となるように、撮像視野Vを垂直方向及び水平方向に移動させても良い。なお、本変形例1においても、実際に撮像を行う際には、被写体に対して撮像視野Vを相対的に移動させることができれば、被写体と撮像視野Vとのいずれを移動させても良いし、両方を互いに反対方向に移動させても良い。
【0056】
詳細には、撮像視野Vを垂直方向に長さL
B/Nずつ移動させながらN回撮像を行い、次に、垂直方向における第(N+1)/2回目の撮像位置を起点として、撮像視野Vを水平方向に長さL
A/Nずつ移動させながら(N−1)/2回撮像を行う。ここで、
図10においては、撮像視野Vを移動させた際の該撮像視野Vの輪郭を一点鎖線で示し、共通領域Rに対応する撮像視野V内の領域R(V)の位置に網掛けを附している。なお、
図10に示すトの字状の移動パターンを、90°、180°、及び270°回転させても良い。
【0057】
このように撮像を行うことにより、例えばN=5の場合、
図11(a)〜(g)に示す画像M
v<0,0>、M
v<0,1>、M
v<0,2>、M
v<0,3>、M
v<0,4>、M
h<1,2>及びM
h<2,2>の7枚の画像が取得される。ここで、画像M
h<p,q>は、撮像視野Vを水平方向に移動させながら取得した画像であり、画像M
v<p,q>は、撮像視野Vを水平方向に移動させながら取得した画像である。また、符号pは、撮像視野Vの水平方向における移動回数を示し、符号qは、撮像視野Vの垂直方向における移動回数を示す。なお、画像M
v<0,2>は撮像視野Vを水平方向に移動させる際の起点になっているため、画像M
h<0,2>とも記される。なお、
図11においては、撮像視野Vの移動方向及び移動量を明確にするため、参考として、被写体領域SR及び該被写体領域SR内に配置された被写体Sを示している。
【0058】
具体的には、
図11(a)に示すように、撮像視野Vを被写体領域SRに対して上方向に(2/5)L
Bだけずらした位置を起点として撮像を行うことにより、画像M
v<0,0>を取得する。続いて
図11(b)〜(e)に示すように、撮像視野Vを下方向にL
B/5ずつ移動させながら4回撮像を行うことにより、画像M
v<0,1>〜M
v<0,4>を取得する。次に、
図11(f)、(g)に示すように、画像M
v<0,2>を取得した位置を起点として撮像視野Vを右方向にL
A/5ずつ移動させながら2回撮像を行うことにより、画像M
h<1,2>、M
h<2,2>を取得する。
【0059】
この場合、画像内の各領域(x,y)(
図9参照)における補正ゲインG(x,y)は、次式(4)により与えられる。
【数2】
ここで、演算子COMP(A,B)は、画像B内の共通領域Rと、該共通領域Rに対応する画像A内の領域(x,y)との比較により補正ゲインG(x,y)を算出する処理を示す。
【0060】
即ち、画像内の領域(x,y)(x<3,0≦y<5)については、撮像視野Vを垂直方向に移動させながら取得した画像M
v<0,1>〜M
v<0,4>内の共通領域Rと、該共通領域Rに対応する画像M
h<2,1>、M
h<2,2>内の領域とを比較することにより、補正ゲインG(x,y)を算出する。一方、画像内の領域(x,y)(x≧3、0≦y<5)については、撮像視野Vを水平方向に移動させながら取得した画像M
h<2,1>、M
h<2,2>内の共通領域Rと、該共通領域Rに対応する画像M
v<0,1>〜M
v<0,4>内の領域とを比較することにより、補正ゲインG(x,y)を算出する。
【0061】
或いは、画像内の各領域(x,y)における補正ゲインG(x,y)を、次式(5)により求めても良い。
【数3】
【0062】
即ち、画像内の領域(x,y)(x<2,0≦y<5)については、撮像視野Vを垂直方向に移動させながら取得した画像M
v<0,1>〜M
v<0,4>内の共通領域Rと、該共通領域Rに対応する画像M
h<2,1>、M
h<2,2>内の領域とを比較することにより、補正ゲインG(x,y)を算出する。一方、画像内の領域(x,y)(x≧2、0≦y<5)については、撮像視野Vを水平方向に移動させながら取得した画像M
h<2,1>、M
h<2,2>内の共通領域Rと、該共通領域Rに対応する画像M
v<0,1>〜M
v<0,4>内の領域とを比較することにより、補正ゲインG(x,y)を算出しても良い。
【0063】
つまり、画像内の領域(2,y)(0≦y<5)については、COMP(M
h(2-x,0),M
v<0,y>)、COMP(M
v<0,4-y),M
h<x-2>,0))のいずれを用いても良い。
【0064】
(実施の形態2)
次に、本発明の実施の形態2について説明する。
図12は、実施の形態2に係る画像処理装置の構成を示すブロック図である。
図12に示すように、本実施の形態2に係る画像処理装置2は、画像取得部11と、画像処理部21と、補正ゲイン記憶部22とを備える。このうち、画像取得部11の構成及び動作は、実施の形態1と同様である。
【0065】
画像処理部21は、画像選択部211と、補正ゲイン算出部212と、合成補正ゲイン算出部213と、画像補正部214とを備える。
【0066】
画像選択部211は、画像取得部11が取得した複数の画像から、2枚の画像の組み合わせが互いに異なる複数の画像ペアであって、一方の画像内の共通領域Rが他方の画像内の共通領域R以外の領域と重複する全ての画像ペアを選択する。
【0067】
補正ゲイン算出部212は、画像選択部211が選択した画像ペアを用いて、画像取得部11が取得した画像に生じているシェーディングを補正するための補正ゲインを算出する。
【0068】
合成補正ゲイン算出部213は、補正ゲイン算出部212が算出した全ての補正ゲインのうち、撮像視野V内の同一領域について算出された複数の補正ゲインを用いて合成補正ゲインを算出する。
【0069】
画像補正部214は、画像取得部11が取得した画像に対し、合成補正ゲイン算出部213が算出した合成補正ゲインを用いてシェーディング補正を行うことにより、シェーディングが抑制された補正済み画像を取得する。
【0070】
補正ゲイン記憶部22は、補正ゲイン算出部212が算出した補正ゲインを一時的に記憶する。
【0071】
次に、画像処理装置2の動作について説明する。
図13は、画像処理装置2の動作を示すフローチャートである。
【0072】
まず、ステップS20において、実施の形態1と同様に、撮像視野が異なる複数の画像を取得する。本実施の形態2においては、実施の形態1の変形例1と同様に、撮像視野Vを25の領域に分割し、撮像視野Vをトの字状のパターンで移動させながら撮像を行うことにより(
図10、
図11参照)、7枚の画像を取得するものとする。
【0073】
ステップS20に続くステップS21において、画像選択部211は、一方の画像内の共通領域Rに写った被写体像が、他方の画像内の共通領域R以外の領域に写った被写体像と重複する全ての画像ペアを順次選択し、補正ゲイン算出部212は、各画像ペアを用いて、画像内に生じているシェーディングを補正するための補正ゲインを画像内の領域ごとに算出する。
【0074】
図14は、ステップS20において取得された7枚の画像M(0)〜M(6)から抽出される、互いに異なる2枚の画像からなる画像ペアを示す模式図である。
図14に示すように、画像ペアとしては、画像M(0)とM(1)、画像M(1)とM(0)(
図14(a1)参照)、画像M(0)とM(2)、画像M(2)とM(0)(
図14(a2)参照)、…、画像M(4)とM(6)、画像M(6)とM(4)(
図14(a20)参照)、画像M(5)とM(6)、画像M(6)とM(5)(
図14(a21)参照)の計42通りが挙げられる。なお、本実施の形態2においては、画像M(k)とM(k’)の画像ペアと、画像M(k’)とM(k)の画像ペアとを区別して記す(k、k’は整数、k≠k’)。また、
図14に示す共通領域R(0)〜R(6)は、画像M(0)〜M(6)にそれぞれ対応している。
【0075】
これらの42通りの画像ペアのうち、画像M(0)とM(3)、画像M(3)とM(0)(
図14(a3)参照)、画像M(0)とM(4)、画像M(4)とM(0)(
図14(a4)参照)、画像M(1)とM(4)、画像M(4)とM(1)(
図14(a9)参照)の各画像ペアにおいては、一方の画像内の基準領域が他方の画像と重複しない。従って、補正ゲイン算出部212は、これらの6通り以外の36組の画像ペアを順次用いて、次式(6)によって与えられる補正ゲインG(x,y)を算出する。
G(x,y)=COMP(M(i),M(j)) …(6)
ここで、演算子COMP(M(i),M(j))は、画像M(j)内の共通領域R(j)と、該共通領域R(j)に対応する画像M(i)内の領域(x、y)との比較により補正ゲインを算出する処理を示す。また、符号i,jは、画像M(0)〜M(6)から選択される画像の通し番号を示すパラメータである。なお、補正ゲインG(x,y)の算出方法は、実施の形態1と同様である(式(2)参照)。
【0076】
図15は、ステップS21における演算処理を示すフローチャートである。
まず、ステップS211、S212において、画像選択部211は、初期設定として、式(6)におけるパラメータi及びjをゼロに設定する。
【0077】
続くステップS213において、画像選択部211は、i=jであるか否かを判定する。i=jである場合(ステップS213:Yes)、処理はステップS216に移行する。
【0078】
一方、i≠jである場合(ステップS213:No)、補正ゲイン算出部212は、式(6)によって与えられる補正ゲインを算出する(ステップS214)。この際、補正ゲイン算出部212は、選択された画像M(i)、M(j)が、一方の画像内の基準領域が他方の画像と重複しない組み合わせであった場合、補正ゲインを算出しない。
【0079】
続くステップS215において、補正ゲイン記憶部22は、算出された補正ゲインG(x,y)を記憶する。この際、補正ゲイン記憶部22は、補正ゲインG(x,y)を個別に記憶しても良いし、新たに算出された補正ゲインG(x,y)を、先に算出された同じ領域(x,y)の補正ゲインに積算し、積算値及び積算回数を記憶するようにしても良い。或いは、補正ゲインG(x,y)を画像内の画素ごとに積算して記憶しても良い。
【0080】
続くステップS216において、画像選択部211は、パラメータjをインクリメントする。
【0081】
ステップS217において、画像選択部211は、パラメータjが、ステップS20(
図13参照)において取得した画像の枚数Kを超えたか否かを判定する。なお、本実施の形態2において、K=7である。パラメータjが画像の枚数Kを超えていない場合(ステップS217:Yes)、処理はステップS213に戻る。
【0082】
一方、パラメータjが画像の枚数Kに至った場合(ステップS217:No)、画像選択部211は、パラメータiをインクリメントする(ステップS218)。
【0083】
ステップS219において、補正ゲイン算出部212は、パラメータiが画像の枚数Kを超えたか否かを判定する。パラメータiが枚数Kを超えていない場合(ステップS219:Yes)、処理はステップS212に戻る。一方、パラメータiが枚数Kに至った場合、処理はメインルーチンに戻る。
【0084】
ステップS21に続くステップS22において、合成補正ゲイン算出部213は、補正ゲイン記憶部22に記憶された補正ゲインを用いて、合成補正ゲインを算出する。
【0085】
ここで、ステップS21においては、互いに異なる画像ペアから同一の領域(x,y)の補正ゲインが算出されることがある。例えば、
図14(a1)に示すように、画像M(1)内の共通領域R(1)と、該共通領域R(1)に対応する画像M(0)内の領域(2,1)との比較により、領域(2,1)の補正ゲインが算出される。また、
図14(a7)に示すように、画像M(2)内の共通領域R(2)と、該共通領域R(2)に対応する画像M(1)内の領域(2,1)との比較により、同じ領域(2,1)の補正ゲインが算出される。さらに、
図14(a12)に示すように、画像M(3)内の共通領域R(3)と、該共通領域R(3)に対応する画像M(2)内の領域(2,1)との比較により、同じ領域(2,1)の補正ゲインが算出される。また、
図14(a16)に示すように、画像M(4)内の共通領域R(4)と、該共通領域R(4)に対応する画像M(3)内の領域(2,1)との比較により、同じ領域(2,1)の補正ゲインが算出される。即ち、画像M(0)〜M(4)から選択される画像ペアから、画像内の領域(2,1)について4種類の補正ゲインが算出される。
【0086】
そこで、ステップS22において、合成補正ゲイン算出部213は、複数の補正ゲインが算出された領域(x,y)に対し、当該複数の補正ゲインを用いた合成補正ゲインを算出する。合成補正ゲインとしては、例えば、複数の補正ゲインの平均値、最頻値、中央値等の統計値が用いられる。さらに、合成補正ゲイン算出部213は、算出した合成補正ゲインを用いてゲインマップを作成する。なお、補正ゲインが1種類しか算出されなかった領域(x,y)については、当該算出された補正ゲインがそのままゲインマップの値として用いられる。
【0087】
続くステップS23において、画像補正部214は、画像取得部11が取得した画像に対し、ステップS22において作成したゲインマップを適用することにより補正を行う。それにより、シェーディングが抑制された補正済み画像が取得される。
その後、画像処理装置2の動作は終了する。
【0088】
以上説明したように、実施の形態2によれば、異なる画像ペアから算出された複数の補正ゲインを合成した合成補正ゲインを用いることにより、取得した画像に対して高精度且つロバストな補正を行うことが可能となる。
【0089】
(変形例2)
次に、本発明の実施の形態2の変形例2について説明する。
上述したように、撮像視野Vの1辺をN個に分割する場合、少なくとも(3N−1)/2枚の画像を取得すれば、撮像視野V内の全領域について補正ゲインを算出することができる。例えば、撮像視野Vの1辺を5つに分割する場合、少なくとも7枚の画像を取得すれば良い。しかしながら、画像の取得枚数をさらに増やすことにより、撮像視野V内の全領域について合成補正ゲインを算出することも可能である。
【0090】
例えば、
図16に示すように、撮像視野Vを25の領域に分割する場合において、撮像視野Vを十字状のパターンで移動させながら撮像を行うことにより、9枚の画像M(0)〜M(8)を取得する。なお、
図16に示す共通領域R(0)〜R(8)は、画像M(0)〜M(8)に対応している。
【0091】
この場合、9枚の画像M(0)〜M(8)から抽出される、互いに異なる2枚の画像の組み合わせは、72(=9×8)通りである。このうち、一方の画像内の基準領域が他方の画像と重複しないために、補正ゲインを算出できない画像の組み合わせは、画像M(0)とM(3)、画像M(0)とM(4)、画像M(1)とM(4)、画像M(3)とM(0)、画像M(4)とM(0)、画像M(4)とM(1)、画像M(6)とM(7)、画像M(6)とM(8)、画像M(5)とM(8)、画像M(7)とM(6)、画像M(8)とM(6)、画像M(8)とM(5)の12通りである。従って、補正ゲイン算出部212は、これらの12通り以外の60組の画像ペアを用いて、画像内の各領域(x,y)(
図9参照)における補正ゲインG(x,y)を算出する。
【0092】
図17は、各領域(x,y)における補正ゲインG(x,y)の算出に用いられる画像ペアを説明するための模式図である。
図17に示すマトリックス内の各セルは、画像内の領域(x,y)に対応している。
【0093】
各セル(x,y)内に示す模式図は、画像内の領域(x,y)における補正ゲインG(x,y)を算出する際に用いられる画像ペアの共通領域R(0)〜R(8)を示している。ある領域(x,y)における補正ゲインG(x,y)は、セル(x,y)内の矢印の基端側の領域を共通領域R(i)とする画像M(i)と、矢印の先端側の領域を共通領域R(j)とする画像M(j)との比較により、演算子COMP(M(i),M(j))によって与えられる。
【0094】
例えば、領域(0,0)の補正ゲインG(0,0)は、画像M(0)内の共通領域R(0)と、該共通領域R(0)と被写体像が重複する画像M(6)内の領域(0,0)とを比較することにより算出することができる。また、同じ領域(0,0)の補正ゲインG(0,0)を、画像M(8)内の共通領域R(8)と、該共通領域R(8)と被写体像が重複する画像M(4)内の領域(0,0)とを比較することによっても算出することができる。即ち、領域(0,0)については、2組の画像ペアから2つの補正ゲインがそれぞれ算出される。そして、これらの補正ゲインの統計値(平均値等)を算出することにより、領域(0,0)における合成補正ゲインを取得することができる。
【0095】
他のブロックについても同様に、矢印によって示される画像ペアからそれぞれ補正ゲインを算出し、それらの補正ゲインの統計値を算出することにより、合成補正ゲインを取得することができる。
【0096】
このように、本変形例2によれば、画像の取得枚数を実施の形態2に対して2枚増加させるだけで、画像内の全ての領域(x,y)に対して合成補正ゲインを算出することができる。従って、補正ゲインのロバスト性を高め、さらに高精度なシェーディング補正を行うことが可能となる。
【0097】
(実施の形態3)
次に、本発明の実施の形態3について説明する。
本実施の形態3に係る画像処理装置の構成は上記実施の形態1(
図1参照)と同様であり、画像取得部11及び画像処理部12内の各構成部が実行する詳細な動作が実施の形態1とは異なる。
【0098】
上記実施の形態1及び2においては、共通領域Rのサイズを基準にして撮像視野Vを移動させながら撮像を行うことにより、画像内の全領域の補正ゲインを算出するために必要な全ての画像を取得した。しかしながら、共通領域Rのサイズが画像に対して小さい場合には、取得すべき画像の枚数が増加し、トータルの撮像時間が長くなってしまう。例えば
図18に示すように、画像の1辺の長さに対して共通領域Rの1辺の長さが(1/N)=(1/25)である場合、少なくとも{3(N+1)/2}=37枚の画像が必要となる。
【0099】
そこで、本実施の形態3においては、以下に説明するように、2段階でシェーディング補正を行うことにより必要な画像の枚数(即ち、撮像回数)を低減し、撮像時間を短縮することとしている。なお、以下においては、撮像視野Vの水平方向の辺の長さをL
A、垂直方向の辺の長さをL
Bとする。
【0100】
図19は、本実施の形態3に係る画像処理装置の動作を示すフローチャートである。
まず、ステップS30において、画像取得部11は、共通領域Rのサイズをもとに撮像視野Vを移動させながら撮像を行うことにより、共通領域Rの周囲の所定範囲内の補正ゲインの算出に必要な枚数の画像を取得する。例えば、
図20に示すように、共通領域R(
図18参照)の各辺の長さが画像全体の1/25であり、共通領域Rを水平方向及び垂直方向に5倍ずつ拡大した所定範囲F内の補正ゲインを算出する場合、撮像視野Vを水平方向にL
A/25ずつ又は垂直方向にL
B/25ずつ移動させながら撮像を行うことにより7枚の画像M30〜M36を取得する。なお、
図20においては、実施の形態1と同様に、撮像視野Vをコの字状のパターンで移動させているが、変形例1と同様に、トの字状のパターンで移動させても良い。
図20に示す共通領域R30〜R36は、画像M30〜M36に対応している。
【0101】
続くステップS31において、画像選択部121は、ステップS30において取得された複数の画像M30〜M36から、一方の画像内の共通領域R30〜R36に写った被写体像が、他方の画像内の共通領域R30〜R36以外の領域に写った被写体像と重複する画像ペアを選択する。なお、画像ペアの選択方法の詳細は、実施の形態1と同様である(
図2のステップS11参照)。
【0102】
続くステップS32において、補正ゲイン算出部122は、ステップS31において選択された複数の画像ペアを用いて、所定範囲F内の各領域における補正ゲインを算出する。所定範囲F内の各領域の補正ゲインは、各画像M30〜M36内の所定範囲Fを実施の形態1における画像M0〜M6に置き換えることにより、実施の形態1と同じ方法で算出することができる(
図5〜
図8参照)。
【0103】
続くステップS33において、画像補正部123は、ステップS32において算出した補正ゲインを用いて、画像取得部11が取得した画像(例えば画像M30)内の所定範囲Fを補正する。これにより、
図21に示すように、画像M30内でシェーディングが生じていない領域が、共通領域Rの25倍に拡張される。以下、この所定範囲Fを、拡張された共通領域Fという。
【0104】
続くステップS34において、画像取得部11は、拡張された共通領域Fのサイズをもとに撮像視野Vを移動させながら撮像を行うことにより、複数の画像を取得する。例えば
図21に示すように、拡張された共通領域Fの1辺の長さが画像M30(即ち撮像視野V)の1辺の長さの1/5である場合、画像取得部11は、撮像視野Vを水平方向にL
A/5ずつ又は垂直方向にL
B/5ずつ移動させながら撮像を行う。具体的には、
図22に示すように、各画像内の領域(X,Y)(0≦X<5、0≦Y<5)に写った被写体像が、画像M30内の拡張された共通領域Fに写った被写体像と重複するように順次撮像を行い、画像m1〜m24を取得する。
【0105】
続くステップS35において、補正ゲイン算出部122は、ステップS33において補正された画像と、ステップS34により取得された画像とを用いて、画像全体の補正ゲインを算出し、ゲインマップを作成する。即ち、画像M30内の拡張された共通領域Fと、該共通領域Fと同じ被写体像が写った画像m1〜m24内の領域(X,Y)とを比較することにより、各領域(X,Y)の補正ゲインを算出する。
【0106】
続くステップS36において、画像補正部123は、画像取得部11が取得した補正対象画像に対し、ステップS35において作成されたゲインマップを適用することにより補正を行う。それにより、シェーディングが抑制された補正済み画像が取得される。
その後、画像処理装置の動作は終了する。
【0107】
以上説明したように、本実施の形態3によれば、画像に対して共通領域Rが小さい場合であっても、画像全体の補正ゲインの算出に必要な画像の取得枚数を抑制することができる。例えば上述した例の場合、所定範囲F内の補正ゲインの算出に用いられる7枚と、画像全体の補正ゲインの算出に用いられる24枚の計31枚だけ画像を取得すれば良い。従って、本実施の形態3によれば、撮像に要するトータルの時間を短縮しつつ、画像全体に対して高精度なシェーディング補正を行うことが可能となる。
【0108】
なお、所定範囲F内の補正ゲインを算出する際には(ステップS32参照)、実施の形態2と同様に合成補正ゲインを算出しても良い。この場合、撮像回数は若干増加するが、補正ゲインのロバスト性を高め、さらに高精度なシェーディング補正を行うことが可能となる。
【0109】
(実施の形態4)
次に、本発明の実施の形態4について説明する。
図23は、本発明の実施の形態4に係る顕微鏡システムの構成を示す図である。
図23に示すように、本実施の形態4に係る顕微鏡システム3は、顕微鏡装置4と、画像処理装置5と、表示装置6とを備える。
【0110】
顕微鏡装置4は、落射照明ユニット301及び透過照明ユニット302が設けられた略C字形のアーム300と、該アーム300に取り付けられ、観察対象である標本SPが載置される標本ステージ303と、鏡筒305の一端側に三眼鏡筒ユニット308を介して標本ステージ303と対向するように設けられた対物レンズ304と、鏡筒305の他端側に設けられた撮像部306と、標本ステージ303を移動させるステージ位置変更部307とを有する。三眼鏡筒ユニット308は、対物レンズ304から入射した標本SPの観察光を、撮像部306と後述する接眼レンズユニット309とに分岐する。接眼レンズユニット309は、ユーザが標本SPを直接観察するためのものである。
【0111】
落射照明ユニット301は、落射照明用光源301a及び落射照明光学系301bを備え、標本SPに対して落射照明光を照射する。落射照明光学系301bは、落射照明用光源301aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
【0112】
透過照明ユニット302は、透過照明用光源302a及び透過照明光学系302bを備え、標本SPに対して透過照明光を照射する。透過照明光学系302bは、透過照明用光源302aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
【0113】
対物レンズ304は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ304、304’)を保持可能なレボルバ310に取り付けられている。このレボルバ310を回転させて、標本ステージ303と対向する対物レンズ304、304’を変更することにより、撮像倍率を変化させることができる。
【0114】
鏡筒305の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。なお、鏡筒305内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置5に出力し、画像処理装置5において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
【0115】
撮像部306は、例えばCCDやCMOS等の撮像素子を含み、該撮像素子が備える各画素においてR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラであり、画像処理装置5の撮像制御部111の制御に従って、所定のタイミングで動作する。撮像部306は、対物レンズ304から鏡筒305内の光学系を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して画像処理装置5に出力する。或いは、撮像部306は、RGB色空間で表された画素値を、YCbCr色空間で表された画素値に変換して画像処理装置5に出力しても良い。
【0116】
ステージ位置変更部307は、例えばモータ307aを含み、標本ステージ303の位置をXY平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部307には、標本ステージ303をZ軸に沿って移動させることにより、対物レンズ304の焦点を標本SPに合わせる。
【0117】
また、ステージ位置変更部307には、標本ステージ303の位置を検出して検出信号を画像処理装置5に出力する位置検出部307bが設けられている。位置検出部307bは、例えばモータ307aの回転量を検出するエンコーダによって構成される。或いは、ステージ位置変更部307を、画像処理装置5の駆動制御部112の制御に従ってパルスを発生するパルス発生部とステッピングモータとによって構成しても良い。
【0118】
画像処理装置5は、画像取得部11と、画像処理部30と、記憶部40とを備える。このうち、画像取得部11の構成及び動作は、実施の形態1と同様である。
【0119】
画像処理部30は、画像取得部11が取得した画像に対してシェーディング補正を行うシェーディング補正部31と、シェーディングが除去された複数の画像をもとにバーチャルスライド画像を作成するバーチャルスライド画像作成部32とを備える。
【0120】
シェーディング補正部31は、実施の形態1の画像処理部12と同様の構成を有し、画像取得部11が取得した複数の画像に基づいて作成したゲインマップを用いてシェーディング補正を行うことにより、シェーディングが除去された補正済み画像を作成する(
図2参照)。なお、シェーディング補正部31を、実施の形態2の画像処理部21と同様に構成しても良い。或いは、実施の形態3と同様の方法によりシェーディング補正を行うこととしても良い。
【0121】
バーチャルスライド画像作成部32は、シェーディング補正部31により作成された補正済み画像を位置合わせして貼り合わせることにより、バーチャルスライド画像を作成する。
【0122】
記憶部40は、更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体への情報の書き込み及び読み取りを行う書込読取装置を含む記録装置等によって構成される。記憶部40は、画像処理部30により画像処理が施された画像の画像データや、補正ゲイン算出部122によって作成されたゲインマップ等を記憶する。
【0123】
なお、本実施の形態4において、画像取得部11及び画像処理部30は、専用のハードウェアによって構成しても良いし、CPU等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、記憶部40は、さらに、顕微鏡装置4に対する撮像動作の制御を画像取得部11に実行させるための制御プログラムや、シェーディング補正を含む画像処理を画像処理部30に実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶する。
【0124】
表示装置6は、例えば、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって構成され、画像処理装置5から出力された画像や関連情報を表示する。
【0125】
次に、顕微鏡システム3の動作について説明する。
図24は、標本SPを拡大して示す模式図である。
図24に示すように、標本SPは通常、スライドガラスSL上の所定の範囲(標本領域R
SP)に固定され、標本ステージ303にセットされる。
【0126】
図25は、顕微鏡システム3の動作を示すフローチャートである。
まず、ステップS41において、撮像制御部111は、対物レンズ304の撮像倍率に応じて標本領域R
SPを複数の小領域v
1〜v
nに分割する。この際の標本領域R
SPの分割数nは、各小領域v
1〜v
nのサイズが撮像倍率によって決まる撮像視野V(
図3参照)と同じか、各小領域v
1〜v
nが撮像視野Vよりも若干小さくなるように設定される。
図24においては、一例として、標本領域R
SPをn=16個に分割している。
【0127】
続いてステップS42において、顕微鏡装置4は、撮像制御部111及び駆動制御部112の制御の下で、小領域v
1〜v
nのいずれか1つ(例えば小領域v
1)に対して撮像視野Vを移動させながら撮像を行うことにより、複数の画像を取得する(
図3及び
図4参照)。なお、
図3及び
図4に示す被写体領域SRは、本実施の形態4においては小領域v
1に対応する。顕微鏡装置4が取得した複数の画像は、画像処理装置5に順次取り込まれる。
【0128】
ステップS43において、シェーディング補正部31は、画像取得部11に取り込まれた複数の画像をもとに補正ゲインを算出してゲインマップを作成する。なお、補正ゲインの算出方法は、実施の形態1と同様である。この際、シェーディング補正部31は、作成したゲインマップを用いて、小領域v
1の画像にシェーディング補正を施しても良い。
【0129】
ステップS44において、顕微鏡装置4は、撮像制御部111及び駆動制御部112の制御の下で、撮像視野Vを残りの小領域v
2〜v
nに合わせて順次撮像を行うことにより、各小領域v
2〜v
nの画像を取得する。なお、各小領域v
2〜v
nのサイズを撮像視野Vよりも若干小さく設定した場合、隣接する小領域が写った画像間では、端部が重複した状態となる。顕微鏡装置4が取得した画像は、画像処理装置5に順次取り込まれる。
【0130】
ステップS45において、シェーディング補正部31は、小領域v
1〜v
nの画像に対し、ステップS43において作成したゲインマップを用いてシェーディング補正を行う。それにより、シェーディングが除去された小領域v
1〜v
nの補正済み画像が得られる。
【0131】
ステップS46において、バーチャルスライド画像作成部32は、小領域v
1〜v
nの補正済み画像を位置合わせして貼り合わせることにより、標本領域R
SP全体が写った画像(バーチャルスライド画像)を作成する。この際、隣接する小領域が写った画像間で重複した部分を指標に位置合わせを行うと良い。
その後、顕微鏡システム3の動作は終了する。
【0132】
以上説明したように、実施の形態4によれば、シェーディングが除去された小領域v
1〜v
nの画像を貼り合わせることにより、標本領域R
SP全体が写った高解像度で画質の良いバーチャルスライド画像を得ることができる。また、実施の形態4によれば、観察対象の標本SPを標本ステージ303に載置した状態で、補正ゲインの算出に用いる画像と、バーチャルスライド画像作成用の画像とを連続的に取得することができる。従って、補正ゲイン算出のための較正試料の入れ替えといった煩雑な作業が不要となり、従来よりも短時間で高精度なバーチャルスライド画像を取得することが可能となる。
【0133】
本発明は、上述した各実施の形態1〜4及び変形例そのままに限定されるものではなく、各実施の形態1〜4及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態1〜4及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。