特許第6422967号(P6422967)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特許6422967画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6422967
(24)【登録日】2018年10月26日
(45)【発行日】2018年11月14日
(54)【発明の名称】画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181105BHJP
   G02B 21/36 20060101ALI20181105BHJP
【FI】
   H04N5/232 290
   G02B21/36
【請求項の数】17
【全頁数】39
(21)【出願番号】特願2016-527610(P2016-527610)
(86)(22)【出願日】2014年12月1日
(86)【国際出願番号】JP2014081787
(87)【国際公開番号】WO2015190013
(87)【国際公開日】20151217
【審査請求日】2017年8月22日
(31)【優先権主張番号】特願2014-119868(P2014-119868)
(32)【優先日】2014年6月10日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】古賀 隼一
【審査官】 高野 美帆子
(56)【参考文献】
【文献】 特開2013−257422(JP,A)
【文献】 特開平11−055558(JP,A)
【文献】 特開2005−039339(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222−5/257
G02B 21/36
(57)【特許請求の範囲】
【請求項1】
互いに異なる第1及び第2の方向のそれぞれにおいて、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群を取得する画像取得部と、
前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、
を備え、
前記シェーディング成分は、1の画像と前記他の画像との間で共通の被写体が写った領域である共通領域内の前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記共通領域内の前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理装置。
【請求項2】
前記シェーディング成分算出部は、
前記第1の画像群に基づき、前記1の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第2の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第1シェーディング成分算出部と、
前記第2の画像群に基づき、前記1の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第1の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第2シェーディング成分算出部と、
を備えることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像補正部は、
前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第1の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第1画像補正部と、
前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第2の領域に対し、該第2の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第2画像補正部と、
を備えることを特徴とする請求項1又は2に記載の画像処理装置。
【請求項4】
前記第2画像補正部は、前記第1及び第2の画像群の一方から算出された前記非正規化シェーディング成分と、前記第1及び第2の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする請求項3に記載の画像処理装置。
【請求項5】
前記シェーディング成分算出部は、前記1の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
【請求項6】
前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記1の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする請求項5に記載の画像処理装置。
【請求項7】
前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記1の画像と前記他の画像との複数の組み合わせであって、前記1の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
【請求項8】
前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする請求項7に記載の画像処理装置。
【請求項9】
前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする請求項7に記載の画像処理装置。
【請求項10】
前記シェーディング成分算出部は、前記画像内の領域に対して前記第1及び第2の画像群に基づいてそれぞれ算出された2つの非正規化シェーディング成分と、該2つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた2つの領域に対してそれぞれ算出された2つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする請求項1〜9いずれか1項に記載の画像処理装置。
【請求項11】
前記1の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする請求項1〜10のいずれか1項に記載の画像処理装置。
【請求項12】
前記第1及び第2の方向は互いに直交する、ことを特徴とする請求項1〜11のいずれか1項に記載の画像処理装置。
【請求項13】
請求項1〜12のいずれか1項に記載の画像処理装置と、
前記被写体の像を生成する光学系と、
前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、
前記被写体を撮像する撮像手段と、
を備え、
前記画像取得部は、前記移動手段に前記視野を前記第1及び第2の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第1及び第2の画像群をそれぞれ取得する、
ことを特徴とする撮像装置。
【請求項14】
請求項13に記載の撮像装置と、
前記被写体を載置するステージと、
を備え、
前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする顕微鏡システム。
【請求項15】
前記画像処理装置は、前記第1及び第2の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする請求項14に記載の顕微鏡システム。
【請求項16】
互いに異なる第1及び第2の方向において、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群をそれぞれ取得する画像取得ステップと、
前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
を含み、
前記シェーディング成分は、1の画像と前記他の画像との間で共通の被写体が写った領域である共通領域内の前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記共通領域内の前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理方法。
【請求項17】
互いに異なる第1及び第2の方向において、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群をそれぞれ取得する画像取得ステップと、
前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、
前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、
をコンピュータに実行させ、
前記シェーディング成分は、1の画像と前記他の画像との間で共通の被写体が写った領域である共通領域内の前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記共通領域内の前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、
前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、標本等を撮像することにより取得した画像に画像処理を施す画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【0002】
近年、スライドガラス上に載置された標本を写した画像を電子データとして記録し、パーソナルコンピュータ等のモニタ上においてユーザが該画像を観察できるようにした、所謂バーチャルスライド技術が知られている。バーチャルスライド技術においては、顕微鏡により拡大された標本の一部の画像を順次貼り合わせることにより、標本全体が写った高解像度の画像を構築する。つまり、バーチャルスライド技術は、同一被写体に対して異なる視野の画像を複数枚取得し、これらの画像をつなぎ合わせることで、被写体に対する視野を拡大した画像を生成する技術である。
【0003】
ところで、顕微鏡は、標本を照明する光源及び標本の像を拡大する光学系を備える。この光学系の後段には、拡大された標本の像を電子的なデータに変換する撮像素子が設けられる。このため、光源の照度ムラや光学系の不均一性、さらには、撮像素子の特性のムラ等に起因して、取得した画像に明度ムラが発生するという問題がある。この明度ムラはシェーディングと呼ばれ、通常、光学系の光軸の位置に対応する画像の中心から遠ざかるに従って暗くなる。そのため、複数の画像を貼り合わせてバーチャルスライド画像を作成する場合、画像のつなぎ目に不自然な境界が生じてしまう。また、複数の画像を貼り合わせることによりシェーディングが繰り返されるため、あたかも標本に周期的な模様が存在しているかのように見えてしまう。
【0004】
このような問題に対し、シェーディングのパターンを較正画像として予め取得し、該較正画像に基づいて、標本が写った画像を補正するシェーディング補正技術が知られている。例えば特許文献1には、透過照明観察の際には光学系の画角外に標本を退避させた状態で撮像を行い、落射照明観察の際には光学系の画角内に反射部材を配置した状態で撮像を行うことで取得した画像を較正画像として使用するシェーディング補正技術が開示されている。
【0005】
また、特許文献2には、蛍光観察の際に、均一な蛍光試料を較正試料として撮像を行うことでシェーディング補正用のデータを取得する方法が開示されている。
【0006】
特許文献3には、試料の所定視野範囲の画像である基準視野画像を撮像すると共に、試料の位置を光学系に対して相対的に移動させて、所定視野範囲内の所定領域を含み、所定視野範囲と互いに異なる周辺視野範囲の画像である周辺視野画像を複数撮像し、基準視野画像と周辺視野画像とに基づいて基準視野画像の各画素の補正ゲインを算出する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−171213号公報
【特許文献2】特開2008−51773号公報
【特許文献3】特開2013−257422号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、較正画像を取得するために観察中の標本を一旦退避させる、或いは反射部材を別途配置する場合、作業が煩雑となり、非常に手間がかかると共に、撮像時間が延びてしまう。この点について、特許文献1においては、標本を退避させるための駆動機構等、較正画像を取得するための専用の機能が設けられている。しかしながら、このような機能は一般的な顕微鏡には元来設けられていないため、実用化しようとすると構成が複雑になると共に、大幅なコスト増を招いてしまう。
【0009】
また、特許文献2のように較正試料を用いる場合、較正試料の配置及び退避等の作業が生じる他、損壊やゴミの付着等がないように較正試料を管理する必要があり、余計な手間がかかってしまう。さらに、蛍光観察の際に較正試料として使用できる均一な蛍光試料を作製すること自体が非常に困難であるため、シェーディングを高精度に補正することも難しい。
【0010】
さらに、特許文献3においては、試料を移動させて撮像を行う回数や、基準視野画像と周辺視野画像との組み合わせごとに行われるシェーディング補正に要する時間を削減することについては考慮されていない。
【0011】
本発明は、上記に鑑みてなされたものであり、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことができる画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる第1及び第2の方向のそれぞれにおいて、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群を取得する画像取得部と、前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出部と、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正部と、を備え、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正部は、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
【0013】
上記画像処理装置において、前記シェーディング成分算出部は、前記第1の画像群に基づき、前記1の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第2の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第1シェーディング成分算出部と、前記第2の画像群に基づき、前記1の画像のうちの前記平坦領域を含み、該平坦領域に対して前記第1の方向に並ぶ領域における輝度をもとに、前記シェーディング成分を算出する第2シェーディング成分算出部と、を備えることを特徴とする。
【0014】
上記画像処理装置において、前記画像補正部は、前記画像内の領域のうち、前記正規化シェーディング成分が算出された領域である第1の領域に対し、該正規化シェーディング成分を用いてシェーディング補正を行う第1画像補正部と、前記画像内の領域のうち、前記正規化シェーディング成分が算出されていない領域である第2の領域に対し、該第2の領域について算出された前記非正規化シェーディング成分と、該非正規化シェーディング成分を算出する際に基準とされた領域について算出された前記正規化シェーディング成分とを用いて、前記シェーディング補正を行う第2画像補正部と、を備えることを特徴とする。
【0015】
上記画像処理装置において、前記第2画像補正部は、前記第1及び第2の画像群の一方から算出された前記非正規化シェーディング成分と、前記第1及び第2の画像群の他方から算出された正規化シェーディング成分とを用いて、前記シェーディング補正を行う、ことを特徴とする。
【0016】
上記画像処理装置において、前記シェーディング成分算出部は、前記1の画像内の一部の領域に関するシェーディング成分が既知である場合に、該一部の領域における輝度と、前記一部の領域に対して共通の被写体が写った前記他の画像内の領域における輝度と、既知である前記シェーディング成分と、を用いて、前記他の画像内の領域に関するシェーディング成分を算出する、ことを特徴とする。
【0017】
上記画像処理装置において、前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記1の画像と前記他の画像との複数の組み合わせに基づいて、複数の前記他の画像内の領域に関するシェーディング成分をそれぞれ算出し、算出した複数の該シェーディング成分を加算平均する、ことを特徴とする。
【0018】
上記画像処理装置において、前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記1の画像と前記他の画像との複数の組み合わせであって、前記1の画像と前記他の画像との間で共通の被写体が写った領域である共通領域におけるテクスチャ成分が互いに異なる複数の組み合わせに基づいて、前記シェーディング成分を算出する、ことを特徴とする。
【0019】
上記画像処理装置において、前記シェーディング成分算出部は、前記第1及び第2の画像群の各々に対し、前記複数の画像間で対応する領域における輝度を累積加算し、該累積加算した値を用いて、前記シェーディング成分を算出する、ことを特徴とする。
【0020】
上記画像処理装置において、前記シェーディング成分算出部は、前記複数の組み合わせに基づいて複数のシェーディング成分をそれぞれ算出し、該複数のシェーディング成分を加算平均する、ことを特徴とする。
【0021】
上記画像処理装置において、前記シェーディング成分算出部は、前記画像内の領域に対して前記第1及び第2の画像群に基づいてそれぞれ算出された2つの非正規化シェーディング成分と、該2つの非正規化シェーディング成分をそれぞれ算出する際に基準とされた2つの領域に対してそれぞれ算出された2つの正規化シェーディング成分とを用いて、前記画像内の領域におけるシェーディング成分を算出する、ことを特徴とする。
【0022】
上記画像処理装置は、前記1の画像と前記他の画像との間で共通の被写体が写った領域に含まれる画素の輝度の勾配に基づいて前記平坦領域を探索する平坦領域探索部をさらに備える、ことを特徴とする。
【0023】
上記画像処理装置において、前記第1及び第2の方向は互いに直交する、ことを特徴とする。
【0024】
本発明に係る撮像装置は、前記画像処理装置と、前記被写体の像を生成する光学系と、前記被写体と前記光学系との少なくとも一方を移動させることにより、前記被写体に対する前記光学系の視野を移動させる移動手段と、前記被写体を撮像する撮像手段と、を備え、前記画像取得部は、前記移動手段に前記視野を前記第1及び第2の方向にそれぞれ移動させながら、前記撮像手段に撮像を実行させる制御を行うことにより、前記第1及び第2の画像群をそれぞれ取得する、ことを特徴とする。
【0025】
本発明に係る顕微鏡システムは、前記撮像装置と、前記被写体を載置するステージと、を備え、前記移動手段は、前記ステージと前記光学系との少なくとも一方を移動させる、ことを特徴とする。
【0026】
上記顕微鏡システムにおいて、前記画像処理装置は、前記第1及び第2の画像群に含まれる前記視野が隣り合う画像同士を貼り合わせることによりバーチャルスライド画像を作成するバーチャルスライド作成部をさらに備える、ことを特徴とする。
【0027】
本発明に係る画像処理方法は、互いに異なる第1及び第2の方向において、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群をそれぞれ取得する画像取得ステップと、前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、を含み、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
【0028】
本発明に係る画像処理プログラムは、互いに異なる第1及び第2の方向において、少なくとも他の1枚の画像との間で被写体の一部が共通する複数の画像を含む第1及び第2の画像群をそれぞれ取得する画像取得ステップと、前記第1及び第2の画像群の各々について、1の画像のうちシェーディング成分が一定である平坦領域を含む領域における輝度に対し、該領域と共通の被写体が写った他の画像内の領域における輝度の比をシェーディング成分として算出するシェーディング成分算出ステップと、前記シェーディング成分を用いて、前記画像内の領域に対してシェーディング補正を行う画像補正ステップと、をコンピュータに実行させ、前記シェーディング成分は、前記平坦領域における輝度を基準とする正規化シェーディング成分と、前記平坦領域以外の領域における輝度を基準とする非正規化シェーディング成分とを含み、前記画像補正ステップは、前記正規化シェーディング成分及び前記非正規化シェーディング成分をもとに前記シェーディング補正を行う、ことを特徴とする。
【発明の効果】
【0029】
本発明によれば、第1及び第2の方向において少なくとも他の1枚の画像との間で被写体の一部が共通する第1及び第2の画像群をそれぞれ取得し、該第1及び第2の画像群の各々において、平坦領域を含む領域における輝度をもとに正規化シェーディング成分及び非正規化シェーディング成分を算出し、これらの正規化シェーディング成分及び非正規化シェーディング成分を用いて画像内の領域のシェーディング補正を行うので、シェーディング成分の算出に必要な画像の枚数を低減することができ、簡易な構成で、短時間且つ高精度にシェーディング補正を行うことが可能となる。
【図面の簡単な説明】
【0030】
図1図1は、本発明の実施の形態1に係る画像処理装置の構成例を示すブロック図である。
図2図2は、図1に示す画像取得部の動作を説明するための模式図である。
図3図3は、図1に示す画像処理部が実行する画像処理の原理を説明するための模式図である。
図4図4は、図1に示す画像処理装置の動作を示すフローチャートである。
図5図5は、撮像を1回行うごとに撮像視野を移動させる移動量を説明するための模式図である。
図6図6は、被写体の撮像方法を説明するための模式図である。
図7図7は、被写体の撮像方法を説明するための模式図である。
図8図8は、撮像視野を水平方向に移動させながら5回撮像を行うことにより取得された5枚の画像を示す模式図である。
図9図9は、図1に示す記憶部に記憶された水平方向におけるシェーディング成分を示す模式図である。
図10図10は、図1に示す記憶部に記憶された垂直方向におけるシェーディング成分を示す模式図である。
図11図11は、図1に示す画像補正部が実行する画像の補正処理を説明するための模式図である。
図12図12は、図1に示す画像補正部が実行する画像の補正処理を詳細に示すフローチャートである。
図13図13は、図1に示す第2画像補正部が実行するシェーディング補正処理の別の例を説明するための模式図である。
図14図14は、本発明の実施の形態2においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図である。
図15図15は、本発明の実施の形態2におけるシェーディング成分の算出方法を説明するための模式図である。
図16図16は、本発明の実施の形態3におけるシェーディング成分の算出方法を説明するための模式図である。
図17図17は、本発明の実施の形態4におけるシェーディング成分の算出方法を説明するための模式図である。
図18図18は、本発明の実施の形態7に係る画像処理装置の構成例を示すブロック図である。
図19図19は、図18に示す平坦領域探索部が作成する水平方向画像を示す模式図である。
図20図20は、図18に示す平坦領域探索部が作成する垂直方向画像を示す模式図である。
図21図21は、図19に示す水平方向画像を画素単位で示す模式図である。
図22図22は、図20に示す垂直方向画像を画素単位で示す模式図である。
図23図23は、図18に示す記憶部に記憶された水平方向におけるシェーディング成分を模式的に示す図である。
図24図24は、図18に示す記憶部に記憶された垂直方向におけるシェーディング成分を模式的に示す図である。
図25図25は、本発明の実施の形態8に係る顕微鏡システムの構成例を示す図である。
図26図26は、本発明の実施の形態8における複数の画像の取得動作を説明するための模式図である。
【発明を実施するための形態】
【0031】
以下、本発明に係る画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
【0032】
(実施の形態1)
図1は、本発明の実施の形態1に係る画像処理装置の構成例を示すブロック図である。図1に示すように、実施の形態1に係る画像処理装置1は、観察対象である被写体が写った画像を取得する画像取得部11と、該画像に画像処理を施す画像処理部12と、記憶部13とを備える。
【0033】
画像取得部11は、被写体に対する撮像視野が互いに異なる複数の画像を取得する。画像取得部11は、このような複数の画像を、撮像装置から直接取得しても良いし、ネットワークや記憶装置等を介して取得しても良い。実施の形態1において、画像取得部11は、撮像装置から画像を直接取得するものとする。なお、撮像装置の種類は特に限定されず、例えば、撮像機能を備えた顕微鏡装置であっても良いし、デジタルカメラであっても良い。
【0034】
図2は、画像取得部11の動作を説明するための模式図であり、撮像装置の光学系30と、被写体SPと、光学系30の撮像視野Vとを示している。図2においては、被写体SPにおける撮像視野Vの位置を明確にするため、便宜上、被写体SP及び撮像視野Vの紙面手前から光学系30の位置をずらし、被写体SPの外側に光学系30の側面を図示して撮像視野Vとの位置関係を示している。以下においては、撮像視野Vを含む平面において、該撮像視野Vの1つの辺と平行な方向(図2の左右方向)を水平方向とし、該1つの辺と直交する方向(図2の上下方向)を垂直方向とする。
【0035】
画像取得部11は、撮像装置の撮像動作を制御する撮像制御部111と、被写体SPに対して撮像視野Vの位置を変化させる制御を行う駆動制御部112とを備える。駆動制御部112は、光学系30と被写体SPとのいずれか又は両方を相対的に移動させることにより、被写体SPに対する撮像視野Vの位置を変化させる。撮像制御部111は、駆動制御部112の制御動作と連動して、所定のタイミングで撮像装置に撮像を実行させ、該撮像装置から撮像視野V内の被写体が写った画像Mを取り込む。
【0036】
本実施の形態1においては、互いに直交する水平方向及び垂直方向の2方向に撮像視野Vを移動させる例を説明するが、撮像視野Vの移動方向は、互いに異なる2方向であれば、水平方向及び垂直方向に限定されない。また、撮像視野Vを移動させる2方向は、必ずしも直交している必要はない。
【0037】
図3は、画像処理部12が実行する画像処理の原理を説明するための模式図である。図3(a)〜(c)に示す座標(x,y)は、画像Mを構成する各画素の位置を示す。図3(a)に示すように、撮像装置により取得された画像Mには、中央の一部の領域を除き、光源の照度ムラや、光学系の不均一性や、撮像素子の特性のムラ等に起因する明度ムラ、あるいは色ムラが生じている。この明度ムラや色ムラはシェーディングと呼ばれる。図3(a)に示す画像Mを構成する各画素の輝度I(x,y)は、図3(b)に示すシェーディングが生じていない本来の被写体像を表す成分(以下、テクスチャ成分と記す)T(x,y)に対して、図3(c)に示すシェーディング成分S(x,y)が掛け合わされたものであり、I(x,y)=T(x,y)×S(x,y)と表すことができる。ここで、輝度I(x,y)、テクスチャ成分T(x,y)、シェーディング成分S(x,y)は、各座標における各色信号での輝度、テクスチャ成分、シェーディング成分とするが、各色信号に基づき合成された信号の輝度、テクスチャ成分、シェーディング成分としてもよい。
【0038】
画像処理部12は、画像取得部11が取得した複数の画像を用いて、画像に生じているシェーディングを補正する画像処理を実行する。詳細には、画像処理部12は、画像M(x,y)に生じているシェーディング成分を算出するシェーディング成分算出部121と、該シェーディング成分を用いてシェーディング補正を行う画像補正部122とを備える。
【0039】
このうち、シェーディング成分算出部121は、第1方向シェーディング成分算出部121a及び第2方向シェーディング成分算出部121bを備える。第1方向シェーディング成分算出部121aは、被写体SPに対する撮像視野Vを第1の方向(例えば水平方向)に移動させることにより取得された複数の画像から、シェーディング成分を算出する。一方、第2方向シェーディング成分算出部121bは、被写体SPに対する撮像視野Vを第2の方向(例えば垂直方向)に移動させることにより取得された複数の画像から、シェーディング成分を算出する。
【0040】
画像補正部122は、第1画像補正部122a及び第2画像補正部122bを備える。第1画像補正部122aは、画像取得部11により取得された画像内の一部の領域に対し、第1方向シェーディング成分算出部121aにより算出されたシェーディング成分と、第2方向シェーディング成分算出部121bにより算出されたシェーディング成分とのいずれか一方を用いて、シェーディング補正を行う。一方、第2画像補正部122bは、上記画像のうち、第1画像補正部122aにより補正されなかった領域に対し、第1方向シェーディング成分算出部121aにより算出されたシェーディング成分と、第2方向シェーディング成分算出部121bにより算出されたシェーディング成分との両方を用いて、シェーディング補正を行う。第1画像補正部122a及び第2画像補正部122bが補正対象とする領域及び具体的な補正処理については後述する。
【0041】
記憶部13は、更新記録可能なフラッシュメモリ、RAM、ROMといった半導体メモリ等の記憶装置によって構成される。記憶部13は、画像取得部11が撮像装置の制御に用いる種々のパラメータや、画像処理部12により画像処理が施された画像の画像データや、画像処理部12が算出した種々のパラメータ等を記憶する。
【0042】
上記画像取得部11及び画像処理部12は、専用のハードウェアによって構成しても良いし、CPU及び該CPUに所定の処理を実行させるプログラムによって構成しても良い。後者の場合、画像取得部11及び画像処理部12に所定の処理を実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を記憶部13に記憶させても良い。或いは、ハードディスク、MO、CD−R、DVD−R等の記録媒体及び該記録媒体に対して情報の書き込み及び読み取りを行う書込読取装置等を含む記憶装置を、データ通信端子を介して画像処理装置1に接続し、この記憶装置に、上記画像処理プログラムやパラメータを記憶させても良い。
【0043】
次に、画像処理装置1の動作を説明する。図4は、画像処理装置1の動作を示すフローチャートである。以下においては、一例として、図2に示す被写体SPが写った画像を取得し、該画像に対して補正処理を行うこととする。
【0044】
まず、ステップS1において、画像取得部11は、撮像視野Vを互いに異なる2つの方向に所定量ずつ移動させながら被写体SPを撮像することにより生成された複数の画像を取得する。詳細には、駆動制御部112が、被写体SPと光学系30とのいずれかを移動させることにより撮像視野Vを所定方向に移動させ、撮像制御部111が、撮像視野Vの移動方向において、少なくとも他の1枚の画像との間で撮像視野Vの一部が重なるように制御を行う。以下においては、撮像視野Vを水平方向及び垂直方向にそれぞれ移動させることとする。
【0045】
図5は、撮像を1回行うごとに撮像視野Vを移動させる移動量を説明するための模式図である。撮像1回当たりの撮像視野Vの移動量は、撮像視野Vを所定サイズの複数のブロックに分割した場合の該ブロックの1辺の長さに設定される。例えば図5に示すように、サイズがw×h(w、hは各辺の長さ)の撮像視野Vを5×5=25個のブロックに分割した場合、撮像視野Vの1回当たりの移動量は、水平方向については長さBw=w/5、垂直方向については長さBh=h/5となる。撮像視野Vを分割した各ブロックのサイズは、画像内でシェーディングがほとんど生じておらず、シェーディング成分が一定とみなせる平坦領域(後述)のサイズや、要求されるシェーディング補正の精度等に応じて決定することができる。なお、水平方向及び垂直方向における撮像視野Vの分割数は、同じであっても良いし、異なっていても良い。以下においては、図5に示すように、画像内の各ブロックの座標を(X,Y)で示す。本実施の形態1においては、1≦X≦5、1≦Y≦5である。
【0046】
図6及び図7は、被写体SPの撮像方法を説明するための模式図である。図6及び図7においては、被写体SPにおける撮像視野Vの位置を明確にするため、便宜上、被写体SP及び撮像視野Vの紙面手前から光学系30の位置をずらし、被写体SPの外側に光学系30の側面を図示して各位置における撮像視野Vとの位置関係を示している。
【0047】
画像取得部11は、図6に示すように、撮像視野Vが水平方向に長さBwだけ移動するごとに撮像を実行させることにより、直前に生成された画像との間で撮像視野Vの一部が重複する複数の画像Mj(j=0、1、2、…)を順次取得する。図8は、撮像視野Vを水平方向に移動させながら5回撮像を行うことにより取得された5枚の画像M0〜M4を示す模式図である。図8においては、画像M0〜M4を撮像順に沿って縦に並べると共に、テクスチャ成分が共通であるブロックが縦に揃うように、左右にずらして配置している。
【0048】
また、画像取得部11は、図7に示すように、撮像視野Vが垂直方向に長さBhだけ移動するごとに撮像を実行させることにより、直前に取得された画像との間で撮像視野Vの一部が重複する複数の画像Mk(k=0、1、2、…)を順次取得する。
【0049】
なお、被写体SPに対して撮像視野Vの位置を変化させる際には、被写体SPの位置を固定し、光学系30側を移動させても良いし、光学系30の位置を固定し、被写体SP側を移動させても良い。或いは、被写体SPと光学系30との両方を、互いに反対方向に移動させることとしても良い。
【0050】
また、撮像視野Vを水平方向に移動させて取得した複数の画像Mjと、撮像視野Vを垂直方向に移動させて取得した複数の画像Mkとの間では、撮像視野V内の被写体の全部又は一部が同一の画像を含んでいても良いし、被写体の全部又は一部が同一の画像を全く含んでいなくても良い。
【0051】
続くステップS2において、シェーディング成分算出部121は、ステップS1において取得された複数の画像を取り込み、これらの画像を用いて、水平方向、垂直方向の方向別にシェーディング成分を算出する。
【0052】
ここで、シェーディング成分の算出は、通常、画像内でシェーディング成分がほとんど生じておらず、シェーディング成分の変化がほとんど見られない領域(以下、平坦領域という)における輝度を基準として行われる。具体的には、シェーディング成分の算出対象の領域に含まれる各画素の輝度を、該算出対象の領域と共通のテクスチャ成分を有する平坦領域に含まれる各画素の輝度によって除することで、シェーディング成分が得られる。
【0053】
これに対し、本実施の形態1においては、平坦領域を含むブロックの列、又は行における輝度を基準として、列ごと、又は行ごとにシェーディング成分の算出を行う。例えば、撮像視野Vを水平方向に1ブロックずつ移動させて取得した画像間においては、水平方向において、列単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して垂直方向に並ぶ列のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、水平方向において生じる共通領域に基づいて算出されたシェーディング成分(輝度の比)を、水平方向におけるシェーディング成分ともいう。一方、撮像視野Vを垂直方向に1ブロックずつ移動させて取得した画像間においては、垂直方向において、行単位で共通領域が生じる。従って、この場合には、平坦領域を含み、該平坦領域に対して水平方向に並ぶ行のブロックにおける輝度をもとに、シェーディング成分を算出する。以下、このように、垂直方向において生じる共通領域に基づいて算出されたシェーディング成分(輝度の比)を、垂直方向におけるシェーディング成分ともいう。
【0054】
また、本実施の形態1においては、図3(c)に示すように、画像の中央部分に平坦領域が存在し、シェーディング成分が同心円状に変化するものとして、処理を行う。具体的には、画像Mを分割したブロック(1,1)〜(5,5)のうち、中央のブロック(3,3)が平坦領域であるものとする。
【0055】
まず、第1方向シェーディング成分算出部121aは、図8に示す画像M0〜M4のうちのある画像から平坦領域のブロック(3,3)を含む列を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック(即ち、共通領域)を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、水平方向におけるシェーディング成分を算出する。
【0056】
具体的には、画像M0の第1列R0(X=1)に含まれるブロック(1,1)、(1,2)、(1,3)、(1,4)、(1,5)と、画像M2の第3列R2(X=3)に含まれるブロック(3,1)、(3,2)、(3,3)、(3,4)、(3,5)とは共通領域であるため、これらのブロックの間では位置が対応する画素同士のテクスチャ成分が共通である。従って、第1列のブロック内の各画素におけるシェーディング成分は、画像M0の第1列R0(X=1)のブロック内の当該画素の輝度を、画像M2の第3列R2(X=3)のブロック内の画素であって、位置が対応する画素の輝度で除することによって算出される。
【0057】
以下において、ブロック(1,1)、(1,2)、(1,3)、(1,4)、(1,5)内の任意の画素におけるシェーディング成分を、シェーディング成分Sh(1,1)、Sh(1,2)、Sh(1,3)、Sh(1,4)、Sh(1,5)と表す。また、画像M0のブロック(1,1)、(1,2)、(1,3)、(1,4)、(1,5)内の任意の画素の輝度を、輝度H0(1,1)、H0(1,2)、H0(1,3)、H0(1,4)、H0(1,5)と表す。また、画像M2の第3列のブロック(3,1)、(3,2)、(3,3)、(3,4)、(3,5)内の任意の画素の輝度を、輝度H2(3,1)、H2(3,2)、H2(3,3)、H2(3,4)、H2(3,5)と表す。これより、各ブロック(1,1)〜(1,5)内の任意の画素におけるシェーディング成分Sh(1,1)〜Sh(1,5)は、次式(1a)〜(1e)によって与えられる。
【数1】
【0058】
式(1a)〜(1e)は、各ブロック内の任意の画素におけるシェーディング成分が、右辺の分子に記載されたブロック内の当該画素の輝度を、分母に記載されたブロック内の位置が対応する画素の輝度によって除することにより与えられることを示す。以下においては、式(1a)〜(1e)に示すように、異なるブロック間において位置が対応する画素同士に関する演算を、ブロック同士の演算式の形式で包括的に表す。
【0059】
また、これらの式(1a)〜(1e)をまとめて、第1列のブロック(X=1)内の任意の画素におけるシェーディング成分を、画像M1の第1列のブロック内の当該画素における輝度H0(X=1)と、画像M2の第3列のブロック内の位置が対応する画素の輝度H2(X=3)とを用いて、次式(1−1)の形式で示す。
【数2】
【0060】
式(1−1)は、第1列の各ブロック内の任意の画素におけるシェーディング成分Sh(1,1)、Sh(1,2)、Sh(1,3)、Sh(1,4)、Sh(1,5)(これらを包括してSh(X=1)と記す)が、それぞれ、画像M0の第1列において任意の画素の輝度H0(1,1)、H0(1,2)、H0(1,3)、H0(1,4)、H0(1,5)(これらを包括してH0(X=1)と記す)を、画像M2の第3列において位置が対応する画素の輝度H2(3,1)、H2(3,2)、H2(3,3)、H2(3,4)、H2(3,5)(これらを包括してH2(X=3)と記す)によって除することにより与えられることを示す。
【0061】
同様に、第2〜5列の各ブロック内の任意の画素におけるシェーディング成分Sh(X=2)、Sh(X=3)、Sh(X=4)、Sh(X=5)も、次式(1−2)、(1−3)、(1−4)、(1−5)によってそれぞれ与えられる。なお、式(1−3)に示すように、第3列のブロック内の各画素におけるシェーディング成分Sh(X=3)は、同一ブロック内の同一画素の輝度同士の演算となるため、1.0となる。
【数3】
【0062】
このようにして算出されたシェーディング成分Sh(X=1)〜Sh(X=5)は、記憶部13の所定の記憶領域に順次記憶される。図9は、該記憶部13に記憶された水平方向におけるシェーディング成分Shを示す模式図である。なお、図9においては、中央の平坦領域を含む列(即ち、シェーディング成分の算出の基準に用いられた列)に斜線の網掛けを附している。
【0063】
ここで、図9に示すシェーディング成分Sh(X=1)、Sh(X=2)、Sh(X=4)、Sh(X=5)のうち、第3行のブロック内の任意の画素におけるシェーディング成分Sh(1,3)、Sh(2,3)、Sh(4,3)、Sh(5,3)は、平坦領域であるブロック(3,3)内の位置が対応する画素の輝度を基準として算出されたものである。そこで、以下においては、平坦領域のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、正規化シェーディング成分という。
【0064】
これに対し、シェーディング成分Sh(X=1)、Sh(X=2)、Sh(X=4)、Sh(X=5)のうち、第1、2、4、5行のブロック内の任意の画素におけるシェーディング成分は、第3列のうちでも平坦領域以外のブロック(3,1)、(3,2)、(3,4)、(3,5)内の位置が対応する画素の輝度を基準としてそれぞれ算出されたものである。例えば、式(1a)に示すように、ブロック(1,1)のシェーディング成分Sh(1,1)は、ブロック(3,1)内の画素の輝度H2(3,1)を用いて算出されている。以下においては、平坦領域以外のブロック内の画素の輝度を用いて算出されたシェーディング成分のことを、非正規化シェーディング成分という。
【0065】
同様にして、第2方向シェーディング成分算出部121bは、撮像視野Vを垂直方向に長さBhずつ移動させながら被写体SPを5回撮像することにより取得された5枚の画像に基づいて、垂直方向におけるシェーディング成分を算出する。即ち、これらの5枚の画像のうちのある画像から平坦領域のブロック(3,3)を含む行を抽出すると共に、別の画像から、これらのブロックと同じ被写体が写ったブロック(共通領域)を抽出し、両画像から抽出したブロック間で位置が対応する画素同士の輝度を用いて、垂直方向におけるシェーディング成分を算出する。
【0066】
図10は、記憶部13に記憶された垂直方向におけるシェーディング成分Svを示す模式図である。なお、図10においては、中央の平坦領域を含む行(即ち、シェーディング成分の算出の基準に用いられた行)に斜線の網掛けを附している。
【0067】
ここで、図10に示すシェーディング成分Sv(Y=1)、Sv(Y=2)、Sv(Y=4)、Sv(Y=5)のうち、第3列のブロック内の任意の画素におけるシェーディング成分Sv(3,1)、Sv(3,2)、Sv(3,4)、Sv(3,5)は、平坦領域であるブロック(3,3)内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分である。これに対し、シェーディング成分Sv(Y=1)、Sv(Y=2)、Sv(Y=4)、Sv(Y=5)のうち、第1、2、4、5列のブロック内の任意の画素におけるシェーディング成分は、第3行のうちでも平坦領域以外のブロック(1,3)、(2,3)、(4,3)、(5,3)内の位置が対応する画素の輝度を用いて算出された非正規化シェーディング成分である。
【0068】
なお、上記説明においては、ステップS1で水平方向及び垂直方向の各々に撮像視野を移動させて画像を取得した後、ステップS2で水平方向及び垂直方向におけるシェーディング成分の算出を順次行っているが、処理の順序はこれに限定されない。例えば、水平方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて水平方向におけるシェーディング成分の算出を行い、続いて、垂直方向に撮像視野を移動させて画像を取得した後、この取得した画像を用いて垂直方向におけるシェーディング成分の算出を行っても良い。この際、水平方向におけるシェーディング成分の算出と、垂直方向に撮像視野を移動させての画像の取得とを並行して行っても良い。また、垂直方向における各処理を水平方向における各処理よりも先に行っても良い。
【0069】
続くステップS3において、画像補正部122は、ステップS2において算出された水平方向及び垂直方向におけるシェーディング成分を用いて、ステップS1において取得された任意の画像の補正を行う。図11は、画像補正部122が実行する画像の補正処理を説明するための模式図である。ここでは、一例として、図11(a)に示す画像Mを補正対象画像とする場合を説明する。以下においては、画像M内のブロック(X,Y)内の任意の画素の輝度をH(X,Y)と記す。
【0070】
図12は、画像補正部122が実行する画像の補正処理を詳細に示すフローチャートである。ステップS31において、第1画像補正部122aは、画像Mのうち、正規化シェーディング成分が得られているブロック内の各画素の輝度を、正規化シェーディング成分を用いて補正する。
【0071】
実施の形態1の場合、水平方向における正規化シェーディング成分Sh(図9参照)が得られているブロックは、(1,3)、(2,3)、(4,3)、(5,3)であり、垂直方向における正規化シェーディング成分Sv(図10参照)が得られているブロックは、(3,1)、(3,2)、(3,4)、(3,5)である。そこで、平坦領域のブロックを(X0、Y0)とすると、正規化シェーディング成分が得られているブロックは、(X,Y0)又は(X0,Y)と表すことができる。
【0072】
第1画像補正部122aは、水平方向における正規化シェーディング成分Shが得られているブロック(X,Y0)内の任意の画素の輝度H(X,Y0)を、この画素位置における正規化シェーディング成分Sh(X,Y0)を用いて補正することにより、当該画素におけるテクスチャ成分T(X,Y0)を算出する(式(2−1)参照)。また、第1画像補正部122aは、垂直方向における正規化シェーディング成分Svが得られているブロック(X0,Y)内の任意の画素の輝度H(X0,Y)を、この画素位置における正規化シェーディング成分Sv(X0,Y)を用いて補正することにより、当該画素におけるテクスチャ成分T(X0,Y)を算出する(式(2−2)参照)。
【数4】
【0073】
続くステップS32において、第2画像補正部122bは、画像Mのうち、正規化シェーディング成分が得られていないブロック内の各画素の輝度を、正規化シェーディング成分及び非正規化シェーディング成分を用いて補正する。
【0074】
例えば、図11(a)に示すブロック(1,1)内の任意の画素に対してシェーディング補正を行う場合を考える。ブロック(1,1)内の当該画素について算出されたシェーディング成分Sh(1,1)は、図11(b)及び式(1a)に示すように、ブロック(1,1)の水平方向における共通領域であるブロック(3,1)内の位置が対応する画素の輝度H2(3,1)を基準として算出された非正規化シェーディング成分である。そして、このブロック(3,1)内の画素の輝度H2(3,1)に含まれるシェーディング成分は、図11(c)に示すように、該ブロック(3,1)の垂直方向における共通領域である平坦領域のブロック(3,3)内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Sv(3,1)として与えられている。従って、画像Mのブロック(1,1)内の任意の画素におけるテクスチャ成分T(1,1)は、画像Mにおけるブロック(1,1)内の当該画素の輝度H(1,1)と、当該画素位置における非正規化シェーディング成分Sh(1,1)と、ブロック(3,1)内の対応する画素位置における正規化シェーディング成分Sv(3,1)とを用いて、次式(3)によって与えられる。
【数5】
【0075】
図13は、第2画像補正部122bが実行するシェーディング補正処理の別の例を説明するための模式図である。図13(a)に示す補正対象のブロック(1,1)内の任意の画素について算出されたもう1つのシェーディング成分Sv(1,1)は、図13(b)に示すように、ブロック(1,1)の垂直方向における共通領域であるブロック(1,3)内の位置が対応する画素の輝度を基準として算出された非正規化シェーディング成分である。そして、このブロック(1,3)内の画素の輝度に含まれるシェーディング成分は、図13(c)に示すように、該ブロック(1,3)の水平方向における共通領域である平坦領域のブロック(3,3)内の位置が対応する画素の輝度を基準として算出された正規化シェーディング成分Sh(1,3)として与えられている。従って、画像Mのブロック(1,1)内の任意の画素におけるテクスチャ成分T(1,1)は、画像Mにおけるブロック(1,1)内の当該画素の輝度H(1,1)と、当該画素位置における非正規化シェーディング成分Sv(1,1)と、ブロック(1,3)内の対応する画素位置における正規化シェーディング成分Sh(1,3)とを用いて、次式(4)によって与えられる。
【数6】
【0076】
これらの算出式を、平坦領域のブロックを(X0,Y0)として一般化する。画像Mのうち、正規化シェーディング成分が得られていないブロック(X,Y)内の任意の画素におけるテクスチャ成分T(X,Y)は、ブロック(X,Y)内の当該画素の輝度H(X,Y)と、ブロック(X,Y)の水平方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Sh(X,Y)と、上記共通領域の垂直方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Sv(X0,Y)とを用いて、次式(5)によって与えられる。
【数7】
【0077】
或いは、画像Mのうち、正規化シェーディング成分が得られていないブロック(X,Y)内の任意の画素におけるテクスチャ成分T(X,Y)は、ブロック(X,Y)内の当該画素の輝度H(X,Y)と、ブロック(X,Y)の垂直方向における共通領域の輝度を基準として算出された非正規化シェーディング成分Sv(X,Y)と、上記共通領域の水平方向における共通領域である平坦領域の輝度を基準として算出された正規化シェーディング成分Sh(X,Y0)とを用いて、次式(6)によって与えられる。
【数8】
【0078】
その後、処理はメインルーチンに戻り、画像処理装置1の動作は終了する。
なお、ステップS31及びS32を実行する順序は上述した順序に限らず、ステップS32を先に実行しても良いし、ステップS31及びS32を並行に実行しても良い。
【0079】
以上説明したように、本実施の形態1によれば、シェーディング成分を算出するために必要な画像枚数を従来よりも低減することができる。従って、それらの画像を取得する際の撮像回数を低減することができ、簡素な構成で、短時間に高精度なシェーディング補正を行うことが可能となる。また、本実施の形態1によれば、水平方向及び垂直方向の2方向に撮像視野を移動させるだけなので、被写体SPが載置されるステージの制御又は光学系に対する制御を簡素化することが可能となる。
【0080】
なお、上記説明においては、撮像視野を移動させ、シェーディング成分を算出し、或いは、画像補正を行う単位となるブロックへの分割数を5×5=25としたが、画像(撮像視野)の分割数はこれに限定されない。分割数を多くするほど、より精細なシェーディング補正を行うことができる。一方、分割数を少なくするほど、被写体SPの撮像回数や、シェーディング成分の算出処理及び画像の補正処理における演算量を抑制することができるので、シェーディング補正に要するトータルの時間を短縮することが可能となる。
【0081】
また、上記説明においては、式(2−1)及び(2−2)、並びに(5)若しくは(6)によりテクスチャ成分を算出する際、即ちシェーディング補正を行う際、式(1a)〜(1e)及び(1−1)〜(1−5)によって与えられるシェーディング成分の逆数(シェーディング補正ゲイン)を輝度に乗算している。この演算は、シェーディング成分を与える式(1a)〜(1e)及び(1−1)〜(1−5)における右辺の分子と分母とを入れ替え、式(2−1)、(2−2)、(5)、(6)におけるシェーディング補正ゲインを直接算出することで、演算量の削減が可能である。
【0082】
(変形例1)
本発明の実施の形態1の変形例1について説明する。
上記実施の形態1においては、シェーディング成分算出部121が水平方向及び垂直方向の各方向において正規化シェーディング成分及び非正規化シェーディング成分を算出し、画像補正部122が、これらのシェーディング成分を用いて、補正対象のブロックに応じた式(2−1)、(2−2)、又は、(5)若しくは(6)を用いてテクスチャ成分を算出した。しかしながら、シェーディング成分算出部121が、補正対象のブロックによらず同一のテクスチャ成分の演算式に適用可能なシェーディング成分S(X,Y)が格納されたマップを作成し、記憶部13に記憶させても良い。
【0083】
具体的には、水平方向における正規化シェーディング成分Sh(X,Y0)が取得されているブロック(X,Y0)については、この正規化シェーディング成分が、シェーディング成分S(X,Y)としてマップに格納される。また、垂直方向における正規化シェーディング成分Sv(X0,Y)が取得されているブロック(X0,Y)については、この正規化シェーディング成分が、シェーディング成分S(X,Y)としてマップに格納される。非正規化シェーディング成分Sh(X,Y)及びSv(X,Y)が取得されているブロックについては、非正規化シェーディング成分のいずれかと正規化シェーディング成分とから算出される値Sh(X,Y)×Sv(X0,Y)、又は、Sv(X,Y)×Sh(X,Y0)が、シェーディング成分S(X,Y)としてマップに格納される。
【0084】
この場合、画像補正部122は、シェーディング成分算出部121が作成したマップに格納されたシェーディング成分S(X,Y)を用いて、テクスチャ成分T(X,Y)(=H(X,Y)/S(X,Y))を算出すれば良い。
【0085】
(実施の形態2)
次に、本発明の実施の形態2について説明する。
本実施の形態2に係る画像処理装置の構成は、全体として実施の形態1(図1参照)と同様であり、第1方向シェーディング成分算出部121a及び第2方向シェーディング成分算出部121bが実行するシェーディング成分の算出処理の詳細が実施の形態1と異なる。
【0086】
図14は、本実施の形態2においてシェーディング成分の算出に用いられる画像の撮像方法を説明するための模式図であり、光学系30の撮像視野Vに対する被写体SPの水平方向における相対位置P0、P1、…の変化を時系列(t)で示している。図14においては、被写体SPを水平方向において長さBwずつ分割した領域の各々を、被写体領域SP(1)〜SP(5)としている。
【0087】
ここで、上記実施の形態1においては、水平方向及び垂直方向の各々において、被写体SPに対して光学系30の撮像視野Vを長さBw(又は長さBh)ずつ相対的に移動させながら5回撮像を行うことにより、5枚の画像を取得した。これに対し、本実施の形態2においては、撮像視野Vを同じ長さBw(又は長さBh)で相対的に移動させながら9回撮像を行うことにより、1つの方向で9枚の画像を取得する。
【0088】
図15は、本実施の形態2におけるシェーディング成分の算出方法を説明するための模式図である。図15(a)に示す画像M(0)、M(1)、…は、図14に示す被写体SPが相対位置P0、P1、…に位置するときにそれぞれ撮像されたものである。また、図15(b)は、記憶部13に記憶された水平方向におけるシェーディング成分Shを示す模式図である。
【0089】
図14及び図15(a)に示すように、列X=1内の任意の画素におけるシェーディング成分を求める場合、被写体領域SP(1)が写った画像M(0)の列X=1内の当該画素の輝度とその共通領域である画像M(2)の列X=3内の位置が対応する画素の輝度を用いても良いし、被写体領域SP(2)が写った画像M(1)の列X=1内の当該画素の輝度とその共通領域である画像M(3)の列X=3内の位置が対応する画素の輝度を用いても良い。また、被写体領域SP(3)が写った画像M(2)の列X=1内の当該画素とその共通領域である画像M(4)の列X=3内の位置が対応する画素の輝度を用いても良いし、被写体領域SP(4)が写った画像M(3)の列X=1内の当該画素の輝度とその共通領域である画像M(5)の列X=3内の位置が対応する画素の輝度を用いても良い。さらに、被写体領域SP(5)が写った画像M(4)の列X=1内の当該画素の輝度とその共通領域である画像M(6)の列X=3内の位置が対応する画素の輝度を用いても良い。即ち、列X=1に関して、テクスチャ成分が互いに異なる5通りの共通領域の組み合わせ(画像の組み合わせ)から、5種類のシェーディング成分を算出することができる。他の列についても同様である。
【0090】
これより、1つの列に対して、テクスチャ成分が異なる複数の列の輝度を用いることによって、よりロバスト性の高いシェーディング成分を算出することができることがわかる。具体的には、各列内の任意の画素におけるシェーディング成分Sh(X=1)〜Sh(X=5)は、次式(7−1)〜(7−5)によって与えられる。
【数9】
【0091】
ここで、各式の分子の第1項と分母の第1項とに着目すると、式(1a)と同様に、ある画像の左端の行(X=1)内の画素の輝度と、該左端の行の共通領域である中央の行(X=3)内の画素の輝度との比を表す形式が見られる。分子及び分母の第2項以降についても同様である。即ち、式(7−1)〜(7−5)は、テクスチャ成分が互いに異なる共通領域に基づいて算出された複数のシェーディング成分を平均化したものといえる。
【0092】
第1方向シェーディング成分算出部121aが実行する実際の処理としては、図14及び図15に示すように、画像取得部11から画像を取り込む度に、画像内の各画素の輝度を記憶部13の所定の記憶領域に累積加算する。具体的には、シェーディング成分Shの第1列に対応する記憶領域に、画像M(0)〜M(4)の第1列のブロック内の画素の輝度H0(X=1)、H1(X=1)、H2(X=1)、H3(X=1)、H4(X=1)を、これらの列の間で位置が対応する画素ごとに順次累積加算する。また、シェーディング成分Shの第2列に対応する記憶領域に、画像M(1)〜M(5)の第2列のブロック内の画素の輝度H1(X=2)、H2(X=2)、H3(X=2)、H4(X=2)、H5(X=2)を、これらの列の間で位置が対応する画素ごとに順次累積加算する。同様に、シェーディング成分Shの第3列に対応する記憶領域に、画像M(2)〜M(6)の第3列のブロック内の画素の輝度H2(X=3)、H3(X=3)、H4(X=3)、H5(X=3)、H6(X=3)を、これらの列の間で位置が対応する画素ごとに順次累積加算する。第4行及び第5行についても同様である。
【0093】
このようにして、画像M(0)〜M(9)内の各画素の輝度を所定の記憶領域に累積加算した後、第1方向シェーディング成分算出部121aは、各列における輝度の累積加算値を、中央の列(X=3)における輝度の累積加算値で除算する。それにより、ロバスト性の高いシェーディング成分を得ることができる。
【0094】
第2方向シェーディング成分算出部121bも、第1方向シェーディング成分算出部121aと同様の処理を実行することにより、垂直方向におけるシェーディング成分を算出することができる。
【0095】
以上説明したように、本実施の形態2によれば、ロバスト性の高いシェーディング成分を算出することができる。従って、補正対象画像におけるテクスチャ成分の特性に依存することなく、精度の良い補正を安定的に行うことが可能となる。また、本実施の形態2によれば、列ごと又は行ごとに輝度を累積加算した後でシェーディング成分を算出するので、新たなメモリを増設する必要がなく、演算処理も簡単に行うことができる。
【0096】
なお、本実施の形態2においては、撮像視野Vを各方向について8回移動させ、9回撮像を行うことにより取得した9枚の画像に基づいてシェーディング成分を算出したが、撮像視野の移動及び撮像をさらに繰り返すことにより、より多くの画像を用いても良い。それにより、シェーディング成分のロバスト性をさらに向上させることができる。
【0097】
(変形例2)
本発明の実施の形態2の変形例2について説明する。
上述したような各列に関する複数の共通領域の組み合わせから複数種類のシェーディング成分を個別に算出し、これらのシェーディング成分を加算平均することにより、当該列の水平方向におけるシェーディング成分を取得しても良い。例えば、列X=1に関しては、画像M(0)の列X=1と画像M(2)の列X=3、画像M(1)の列X=1と画像M(3)の列X=3、画像M(2)の列X=1と画像M(4)の列X=3、画像M(3)の列X=1と画像M(5)の列X=3、画像M(4)の列X=1と画像M(6)の列X=3、の5通りの共通領域の組み合わせから5種類のシェーディング成分を算出し、これらを加算平均する。垂直方向におけるシェーディング成分についても同様である。
【0098】
(実施の形態3)
次に、本発明の実施の形態3について説明する。
本実施の形態3に係る画像処理装置の構成は、全体として実施の形態1(図1参照)と同様であり、第1方向シェーディング成分算出部121a及び第2方向シェーディング成分算出部121bが実行するシェーディング成分の算出処理の詳細が実施の形態1と異なる。
【0099】
図16(a)〜(c)は、本実施の形態3におけるシェーディング成分の算出方法を説明するための模式図であり、図6に示すように撮像視野Vを水平方向に長さBwずつ移動させながら3回撮像を行うことにより取得された3枚の画像を示している。
【0100】
本実施の形態3において、第1方向シェーディング成分算出部121aは、3枚の画像M0〜M2間での共通領域の左右方向における対称性に着目し、次式(8−1)〜(8−5)により、水平方向におけるシェーディング成分を算出する。
【数10】
【0101】
即ち、第1列に含まれる任意の画素におけるシェーディング成分Sh(X=1)は、画像M0の第1列のブロックR0(X=1)内の当該画素の輝度H0(X=1)と、その共通領域である画像M2の第3列のブロックR2(X=3)内の位置が対応する画素の輝度H2(X=3)とによって算出される(式(8−1)参照)。また、第2列に含まれる任意の画素におけるシェーディング成分Sh(X=2)は、画像M1の第2列のブロックR1(X=2)内の当該画素の輝度H1(X=2)と、その共通領域である画像M2の第3列のブロックR2(X=3)内の位置が対応する画素の輝度H2(X=3)とによって算出される(式(8−2)参照)。第4列に含まれる任意の画素におけるシェーディング成分Sh(X=4)は、画像M1の第4列のブロックR1(X=4)内の当該画素の輝度H1(X=4)と、その共通領域である画像M0の第3列のブロックR0(X=3)内の位置が対応する画素の輝度H0(X=3)とによって算出される(式(8−4)参照)。第5列に含まれる任意の画素におけるシェーディング成分Sh(X=5)は、画像M2の第5列のブロックR2(X=5)内の当該画素の輝度H2(X=5)と、その共通領域である画像M0の第3列のブロックR0(X=3)内の位置が対応する画素の輝度H0(X=3)とによって算出される(式(8−5)参照)。なお、第3列に含まれる各画素のシェーディング成分は、式(8−3)に示すように、Sh(X=3)=1.0となる。
【0102】
第2方向シェーディング成分算出部121bも、第1方向シェーディング成分算出部121aと同様の処理を実行することにより、3枚の画像から垂直方向におけるシェーディング成分を算出することができる。
【0103】
このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態1と同様である(図11図13参照)。或いは、実施の形態1の変形例1と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
【0104】
以上説明したように、本実施の形態3によれば、撮像視野Vの移動回数及び撮像回数を低減することができるので、より短時間にシェーディング補正を行うことが可能となる。
【0105】
(実施の形態4)
次に、本発明の実施の形態4について説明する。
本実施の形態4に係る画像処理装置の構成は、全体として実施の形態1(図1参照)と同様であり、第1方向シェーディング成分算出部121a及び第2方向シェーディング成分算出部121bが実行するシェーディング成分の算出処理の詳細が実施の形態1と異なる。図17は、本実施の形態4におけるシェーディング成分の算出方法を説明するための模式図である。
【0106】
まず、図6に示すように、被写体SP内のある領域に撮像視野Vを合わせて撮像を行うことにより、画像M0を取得し、続いて、撮像視野Vを水平方向に長さBwだけシフトさせて撮像を行うことにより、画像M1を取得した場合を考える。この際、画像M0と画像M1との間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が両画像M0、M1の共通領域に含まれるように長さBwを設定する。図17は、このような撮像を行うことにより取得された画像M0、M1を示しており、画像M0の列X=1と画像M1の列X=2とが共通領域である。
【0107】
ここで、本実施の形態4においては、撮像視野Vを水平方向にシフトさせた1ペアの画像によりシェーディング成分を算出することが可能であるため、規定したブロック単位で2回以上撮像視野Vをシフトさせる必要がない。そのため、上述した長さBwの条件を満たせば、被写体SPが載置されたステージをユーザが水平方向に任意に移動させることにより、撮像視野Vをシフトさせることができる。この場合、任意のステージ移動量が1ブロック分の長さBwとなる。或いは、水平方向にステージを移動させながら連続的に取得した画像群の中から選択した1ペアの画像間のシフト量を長さBwとしても良い。これらの場合、画像の水平方向の長さwを1ブロックの長さBwで除算することにより、水平方向におけるブロックの分割数が決定される。
【0108】
画像M0の列X=1に含まれる任意の画素の輝度H0(X=1)は、この画素におけるテクスチャ成分T0(X=1)とシェーディング成分Sh(X=1)とによって構成される。即ち、H0(X=1)=T0(X=1)×Sh(X=1)である。一方、この画素と共通の被写体が写った画素であって、画像M1の列X=2に含まれる画素の輝度をH1(X=2)とすると、輝度H1(X=2)は、この画素におけるテクスチャ成分T1(X=2)とシェーディング成分Sh(X=2)とによって構成される。即ち、H1(X=2)=T2(X=2)×Sh(X=2)である。
【0109】
上述したように、画像M0の列X=1と画像M1の列X=2とは共通領域であるため、テクスチャ成分T0(X=1)とT1(X=2)とは等しい。従って、次式(9−1)が成り立つ。
【数11】
【0110】
同様に、画像M0の列X=2と画像M1の列X=3、画像M0の列X=3と画像M1の列X=4、画像M0の列X=4と画像M1の列X=5がそれぞれ共通領域であることを利用すると、列X=2、X=3、X=4にそれぞれ含まれる任意の画素におけるシェーディング成分Sh(X=2)、Sh(X=3)、Sh(X=4)を表す式(9−2)〜(9−4)が得られる。
【数12】
【0111】
ここで、平坦領域(3,3)を含む中央の列X=3内の各画素におけるシェーディング成分Sh(X=3)を基準とし、式(9−1)〜(9−4)にシェーディング成分Sh(X=3)=1.0を代入して整理すると、各列に含まれる任意の画素におけるシェーディング成分Sh(X=1)〜Sh(X=5)を表す式(10−1)〜(10−5)が得られる。
【数13】
【0112】
式(10−2)に示すように、シェーディング成分Sh(X=2)は、輝度H0(X=2)及びH1(X=3)によって与えられる。また、式(10−1)に示すように、シェーディング成分Sh(X=1)は、式(10−2)により算出されたシェーディング成分Sh(X=2)と、輝度H0(X=1)及びH1(X=2)とによって与えられる。また、式(10−4)に示すように、シェーディング成分Sh(X=4)は、輝度H0(X=3)及びH1(X=4)よって与えられる。さらに、式(10−5)に示すように、シェーディング成分Sh(X=5)は、式(10−4)により算出されたシェーディング成分Sh(X=4)と、輝度H0(X=4)及びH1(X=5)とによって与えられる。即ち、式(10−1)〜(10−5)に示すように、各列に含まれる任意の画素におけるシェーディング成分Shは、2つの画像M0、M1内の画素の輝度を用いて算出することができる。
【0113】
つまり、画像内の一部の領域(例えば列X=3)におけるシェーディング成分(Sh(X=3))が既知(平坦領域の場合1.0)であれば、一方の画像(例えば画像M0)内のシェーディング成分が既知である領域(列X=3)内の画素の輝度(H0(X=3))と、この領域に対して共通の被写体が写った他方の画像(画像M1)内の領域(X=4)における位置が対応する画素の輝度(H1(X=4))との比(H1(X=4)/H0(X=3))、及び、当該既知のシェーディング成分(Sh(X=3))を用いて、未知のシェーディング成分(Sh(X=4))を算出することができる。そして、このような演算を順次繰り返すことにより、画像全体におけるシェーディング成分を取得することができる。
【0114】
一方、第2方向シェーディング成分算出部121bは、被写体SP内のある領域に撮像視野Vを合わせて撮像を行うことにより取得した画像と、この画像に対して撮像視野Vを垂直方向に所定距離(例えば、1ブロック分に相当する長さBh、図5参照)だけシフトさせた画像(図7参照)とからシェーディング成分を取得する。この場合においても、両画像間で十分な共通領域が確保されるように、具体的には、少なくとも平坦領域である画像の中心部が共通領域に含まれるように長さBhを設定する。
【0115】
この場合も、水平方向の場合と同様に、上述した長さBhの条件を満たせば、被写体SPが載置されたステージをユーザが垂直方向に任意に移動させることにより、撮像視野Vをシフトさせても良い。このとき、任意のステージ移動量が1ブロック分の長さBhとなる。或いは、垂直方向にステージを移動させながら連続的に取得した画像群の中から選択した1ペアの画像間のシフト量を長さBhとしても良い。これらの場合、画像の垂直方向の長さhを1ブロックの長さBhで除算することにより、垂直方向におけるブロックの分割数が決定される。
【0116】
撮像視野Vをシフトさせる前又は後の画像のいずれかは、第1方向シェーディング成分算出部121aが演算に用いた画像M0、M1のいずれかと兼用しても良い。つまり、実質的には、画像M0又はM1に対して撮像視野Vを垂直方向にシフトさせた画像を新たに1枚のみ取得すれば良い。
【0117】
そして、第2方向シェーディング成分算出部121bは、上述した水平方向シェーディング成分Shの算出方法と同様の演算を行うことにより、各行(Y=1、Y=2、Y=3、Y=4、Y=5)に含まれる各画素におけるシェーディング成分を算出する。
【0118】
このようにして算出された水平方向及び垂直方向の各方向における正規化シェーディング成分及び非正規化シェーディング成分を用いた画像の補正方法は、実施の形態1と同様である(図11図13参照)。或いは、実施の形態1の変形例1と同様に、シェーディング成分が格納されたマップを作成し、このマップを用いて画像を補正しても良い。
【0119】
以上説明したように、本実施の形態4によれば、水平方向及び垂直方向のそれぞれにおいて十分な共通領域を有する2組の画像から、画像全体におけるシェーディング成分を算出することができる。そして、各組のうちの一方の画像については、他の組の画像と兼用することができるので、少なくとも3枚の画像から画像全体におけるシェーディング成分を算出することが可能となる。また、共通領域を有する画像を取得する際には、撮像視野の水平方向及び垂直方向におけるシフト量を厳密に制御する必要はないため、例えば顕微鏡システムにおいて、電動ステージに限らず手動ステージにおいても簡易に実現が可能である。
【0120】
なお、本実施の形態4においては、視野を水平方向にシフトさせた1ペアの画像から水平方向シェーディング成分を算出しているが、撮像視野Vを水平方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の水平方向シェーディング成分をそれぞれ算出し、これらの水平方向シェーディング成分を加算平均するなどして、最終的な水平方向シェーディング成分Shを取得しても良い。この際、複数ペアの画像の水平方向におけるシフト量は任意でも良い。それにより、ランダムノイズや、白飛び、黒つぶれといった画像の劣化に起因するシェーディング成分の精度低下を抑制することができる。
【0121】
垂直方向シェーディング成分を取得する際にも同様に、撮像視野Vを垂直方向にシフトさせた複数ペアの画像から、同一の画素位置における複数の垂直方向シェーディング成分をそれぞれ算出し、これらの垂直方向シェーディング成分を加算平均するなどして、最終的な垂直方向シェーディング成分Svを取得しても良い。
【0122】
(実施の形態5)
次に、本発明の実施の形態5について説明する。
本実施の形態5に係る画像処理装置の構成は、全体として実施の形態1(図1参照)と同様であり、シェーディング成分算出部121が実行するシェーディング成分の算出処理の詳細が実施の形態1と異なる。
【0123】
上記実施の形態1においては、正規化シェーディング成分が得られていないブロック内の任意の画素のテクスチャ成分T(X,Y)を、式(5)及び式(6)のいずれかを用いて算出することとしたが、シェーディング成分算出部121は、これらの式(5)、(6)で用いたシェーディング成分を予め重み付け合成した合成シェーディング成分を算出しても良い。
【0124】
ここで、補正対象のブロック(X,Y)に対し、水平方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Sh(X,Y)と、上記共通領域のブロックの垂直方向における共通領域である平坦領域のブロック(3,3)を基準として算出された正規化シェーディング成分Sv(X0,Y)とからなるシェーディング成分を、シェーディング成分Shv1(X,Y)とする(式(11)参照)。
Shv1(X,Y)=Sh(X,Y)×Sv(X0,Y) …(11)
【0125】
また、補正対象のブロック(X,Y)に対し、垂直方向における共通領域のブロックを基準として算出された非正規化シェーディング成分Sv(X,Y)と、上記共通領域のブロックの水平方向における共通領域である平坦領域のブロック(3,3)を基準として算出された正規化シェーディング成分Sh(X,Y0)とからなるシェーディング成分を、シェーディング成分Shv2(X,Y)とする(式(12)参照)。
Shv2(X,Y)=Sv(X,Y)×Sh(X,Y0) …(12)
【0126】
これらのシェーディング成分Shv1(X,Y)、Shv2(X,Y)を重み付け合成した合成シェーディング成分S(X,Y)は、次式(13)によって与えられる。
【数14】
【0127】
式(13)において、w(X,Y)は、シェーディング成分の合成に用いられる重みである。一般に、シェーディング成分は滑らかであるとみなすことができるので、重みw(X,Y)は、次式(14)に示すように、例えば、エッジ量の総和の比に基づいて決定することができる。
【数15】
【0128】
式(14)において、パラメータαは正規化係数である。また、Edgeh[ ]は、水平方向におけるシェーディング成分の分布の対象領域(ブロック(X,Y)又は(X,Y0))での水平方向のエッジ量の総和を示す。Edgev[ ]は、垂直方向におけるシェーディング成分の分布の対象領域(ブロック(X0,Y)又は(X,Y))での垂直方向のエッジ量の総和を示す。
【0129】
例えば、シェーディング成分Shv1(X,Y)の算出に用いるブロック(X,Y)及び(X0,Y)におけるエッジ量の総和が、シェーディング成分Shv2(X,Y)の算出に用いるブロック(X,Y0)及び(X0,Y)におけるエッジ量の総和に対して小さい場合、重みw(X,Y)の値も小さくなる。従って、式(13)におけるシェーディング成分Shv1の寄与分が大きくなる。
【0130】
式(14)に示すように、エッジ量或いはコントラストに基づいて重みw(X,Y)を設定することにより、2つのシェーディング成分Shv1、Shv2を、これらの滑らかさに基づいて合成することができる。従って、より滑らかな合成シェーディング成分Sを算出することが可能となる。
【0131】
この場合、第2画像補正部122bは、正規化シェーディング成分が得られていないブロック(X,Y)に対し、次式(15)によりテクスチャ成分T(X,Y)を算出する。
【数16】
【0132】
以上説明したように、本実施の形態5によれば、シェーディング成分を算出した方向(水平方向、垂直方向)によらない、ロバストなシェーディング補正を行うことが可能となる。
【0133】
なお、上記実施の形態5においては、式(14)により重みw(X,Y)を設定することで、滑らかな合成シェーディング成分Sを算出したが、メディアンフィルタ、平均化フィルタ、ガウシアンフィルタ等のフィルタ処理を組み合わることにより、さらに滑らかな合成シェーディング成分Sを生成することとしても良い。
【0134】
(実施の形態6)
次に、本発明の実施の形態6について説明する。上述した実施の形態1〜5は、互いに組み合わせて実施することも可能である。
例えば、実施の形態1、3、5を組み合わせる場合、まず、実施の形態1と同様に、水平方向及び垂直方向の各々に対し、撮像視野Vを移動させながら5回撮像を行うことにより5枚の画像(例えば画像M0〜M4)を取得する。そして、これらの5枚の画像に基づいて、水平方向及び垂直方向におけるシェーディング成分を算出し、実施の形態5と同様に、正規化シェーディング成分が得られていないブロックに対して合成シェーディング成分S(X,Y)を算出する。
【0135】
一方、上記画像M0〜M4のうちの連続する3枚の画像の組み合わせ(M0,M1,M2)、(M1,M2,M3)、(M2,M3,M4)の各々からも、実施の形態3と同様にして、シェーディング成分を算出することができる。そこで、3つの組み合わせからそれぞれ算出されたシェーディング成分を用い、実施の形態5と同様にして合成シェーディング成分S(X,Y)を3つ算出する。結局、1つのブロックに対し、5枚の画像に基づく合成シェーディング成分と、上記3つの画像の組み合わせに基づく3つの合成シェーディング成分S(X,Y)が得られる。これらの4つの合成シェーディング成分S(X,Y)を加算平均することで、よりロバストな合成シェーディング成分を得ることができる。
【0136】
また、実施の形態2、3、5を組み合わせる場合、実施の形態2と同様に、9枚の画像からシェーディング成分を算出し、さらに、実施の形態5と同様に、合成シェーディング成分S(X,Y)を算出する。一方、上記9枚の画像のうちの連続する3枚の画像の組み合わせから、実施の形態3と同様にしてシェーディング成分を算出し、さらに、実施の形態5と同様に、合成シェーディング成分S(X,Y)を算出する。そして、これらの合成シェーディング成分S(X,Y)を加算平均することによっても、よりロバストなシェーディング成分を算出することができる。
【0137】
(実施の形態7)
次に、本発明の実施の形態7について説明する。
図18は、本実施の形態7に係る画像処理装置の構成例を示すブロック図である。図18に示すように、本実施の形態7に係る画像処理装置2は、図1に示す画像処理部12の代わりに、該画像処理部12に平坦領域探索部211をさらに設けた画像処理部21を備える。
【0138】
ここで、上記実施の形態1〜5においては、画像の中央領域を、シェーディング成分が一様である平坦領域とみなして、中央のブロック以外の領域におけるシェーディング成分を算出した。これに対し、本実施の形態7においては、画像内から平坦領域を探索した上でシェーディング成分を算出する。
【0139】
なお、平坦領域の探索に先立って、画像処理部21は、実施の形態1と同様に、水平方向及び垂直方向の各々において撮像視野を所定量ずつ移動させながら撮像を行うことにより取得された画像(例えば、水平方向の場合、図8に示す画像M0〜M4)を、画像取得部11から取り込んでおく。
【0140】
平坦領域探索部211は、水平方向に撮像視野を移動させることにより取得された画像M0〜M4のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度H0(X=1)、H1(X=2)、H2(X=3)、H3(X=4)、H4(X=5)から、図19に示す水平方向画像Fhを求め、記憶部13に記憶させる。水平方向画像Fhを構成する各列Fh(X=1)〜のFh(X=5)に含まれる任意の画素の輝度は、次式(16−1)〜(16−5)によって与えられる。
【数17】
【0141】
同様に、平坦領域探索部211は、撮像視野Vを垂直方向に移動させることにより取得された画像のうち、テクスチャ成分が共通するブロックに含まれる任意の画素の輝度から図20に示す垂直方向画像Fvを求め、記憶部13に記憶させる。
【0142】
図21は、図19に示す水平方向画像Fhを画素単位で示す模式図である。また、図22は、図20に示す垂直方向画像Fvを画素単位で示す模式図である。なお、図21及び図22においては、説明を簡単にするため、1つのブロック(X,Y)が5画素×5画素によって構成されるものとしている。以下、図21及び図22においては、画素の座標を(x,y)で示し、ブロックの座標を(X,Y)で示す。また、勾配の算出対象のブロック(X,Y)をROI(X,Y)とする。
【0143】
平坦領域探索部211は、これらの水平方向画像Fh及び垂直方向画像Fvから、ブロック(X,Y)ごとに、次式(17)によって与えられるシェーディング成分の勾配N(x,y)を算出する。
【数18】
【0144】
式(17)に示す符号Bwは、各ブロックの水平方向におけるサイズ(長さ)を表し、画素数で示される。また、式(17)に示す符号Bhは、各ブロックの垂直方向におけるサイズ(長さ)を表し、画素数で示される(図5参照)。
【0145】
一例として、ROI(X=2,Y=2)におけるシェーディング成分の勾配N(x,y)を算出する場合を考える。水平方向画像Fhにおいては、画素(x=3,y=8)、(x=8,y=8)、(x=13,y=8)におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。また、垂直方向画像Fvにおいては、画素(x=8,y=3)、(x=8,y=8)、(x=8,y=13)におけるテクスチャ成分が等しい。そのため、これらの画素における輝度の変化は、シェーディング成分の変化に相当する。
【0146】
従って、ROI(X=2,Y=2)の中心画素(x=8,y=8)におけるシェーディング成分の勾配N(8,8)は、次式(18)によって与えられる。
【数19】
【0147】
平坦領域探索部211は、ROI(X=2,Y=2)の中心に位置する画素(x=8,y=8)におけるシェーディング成分の勾配を、当該ROI(X=2,Y=2)のシェーディング成分の勾配とする。平坦領域探索部211は、このようにして、画像端を除く全てのブロックについてシェーディング成分の勾配を算出し、勾配が最小となるブロックを平坦領域として決定する。
【0148】
なお、各ブロックのシェーディング成分の勾配としては、当該ROIの中心に位置する画素のシェーディング成分の勾配に限らず、ROI内の全画素におけるシェーディング成分の勾配の統計値(合計値、平均値、最頻値、中央値等)を採用しても良いし、ROI内の一部の画素におけるシェーディング成分の勾配の統計値(同上)を採用しても良い。
【0149】
平坦領域探索部211により中央領域以外の領域が平坦領域として探索された場合、第1方向シェーディング成分算出部121a及び第2方向シェーディング成分算出部121bは、探索された平坦領域を基準として(即ち、シェーディング成分が1.0であるとみなして)、各方向におけるシェーディング成分を算出する。例えば、ブロック(X=2,Y=2)が平坦領域である場合、第1方向シェーディング成分算出部121aは、平坦領域を含む第2列のブロックを基準として、次式(19−1)〜(19−5)により、水平方向におけるシェーディング成分Sh(X=1)〜Sh(X=5)を算出し、記憶部13に記憶させる。
【数20】
図23は、記憶部13に記憶された水平方向におけるシェーディング成分Shを模式的に示す図である。
【0150】
同様に、第2方向シェーディング成分算出部121bは、平坦領域を含む第2行のブロックを基準として、垂直方向におけるシェーディング成分Sv(Y=1)〜Sv(Y=5)を算出し、記憶部13に記憶させる。図24は、記憶部13に記憶された垂直方向におけるシェーディング成分Svを模式的に示す図である。なお、図23及び図24においては、平坦領域を含む列及び行に斜線の網掛けを附している。
【0151】
この場合、第2画像補正部122bは、正規化シェーディング成分が得られていないブロックにおけるテクスチャ成分T(X,Y)を次式(20)又は(21)を用いて算出する。
【数21】
【0152】
以上説明したように、本実施の形態7によれば、光軸のずれ等によりシェーディングが一様である平坦領域が中央からずれてしまった場合であっても、精度の良いシェーディング補正を行うことが可能となる。
【0153】
なお、上記実施の形態7においては、探索した平坦領域におけるシェーディング成分を1.0として、各ブロックにおけるシェーディング成分を算出しているが、実際には、平坦領域のシェーディング成分が1.0でない場合もあり得る。このような場合、画像補正部122は、シェーディング補正により算出したテクスチャ成分に対してさらに、画像全体において均一なゲインで正規化すれば良い。
【0154】
また、上記実施の形態7においては、勾配N(x,y)が最小となる画素を含むブロックを平坦領域としたが、勾配N(x,y)に対する閾値を設定し、勾配N(x,y)が閾値以下となる全てのブロックを平坦領域としても良い。この場合、各平坦領域を基準として算出されたシェーディング成分同士を、勾配N(x,y)の値に基づいて重み付け合成をするなどして、最終的なシェーディング成分を算出しても良い。
【0155】
(実施の形態8)
次に、本発明の実施の形態8について説明する。
図25は、本実施の形態8に係る顕微鏡システムの構成例を示す図である。図25に示すように、本実施の形態8に係る顕微鏡システム6は、顕微鏡装置3と、画像処理装置4と、表示装置5とを備える。
【0156】
顕微鏡装置3は、落射照明ユニット301及び透過照明ユニット302が設けられた略C字形のアーム300と、該アーム300に取り付けられ、観察対象である被写体SPが載置される標本ステージ303と、鏡筒305の一端側に三眼鏡筒ユニット308を介して標本ステージ303と対向するように設けられた対物レンズ304と、鏡筒305の他端側に設けられた撮像部306と、標本ステージ303を移動させるステージ位置変更部307とを有する。三眼鏡筒ユニット308は、対物レンズ304から入射した被写体SPの観察光を、撮像部306と後述する接眼レンズユニット309とに分岐する。接眼レンズユニット309は、ユーザが被写体SPを直接観察するためのものである。
【0157】
落射照明ユニット301は、落射照明用光源301a及び落射照明光学系301bを備え、被写体SPに対して落射照明光を照射する。落射照明光学系301bは、落射照明用光源301aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
【0158】
透過照明ユニット302は、透過照明用光源302a及び透過照明光学系302bを備え、被写体SPに対して透過照明光を照射する。透過照明光学系302bは、透過照明用光源302aから出射した照明光を集光して観察光路Lの方向に導く種々の光学部材(フィルタユニット、シャッタ、視野絞り、開口絞り等)を含む。
【0159】
対物レンズ304は、倍率が互いに異なる複数の対物レンズ(例えば、対物レンズ304、304’)を保持可能なレボルバ310に取り付けられている。このレボルバ310を回転させて、標本ステージ303と対向する対物レンズ304、304’を変更することにより、撮像倍率を変化させることができる。
【0160】
鏡筒305の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部(いずれも図示せず)とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。なお、鏡筒305内の駆動部にエンコーダをさらに設けても良い。この場合、エンコーダの出力値を画像処理装置4に出力し、画像処理装置4において、エンコーダの出力値からズームレンズの位置を検出して撮像倍率を自動算出するようにしても良い。
【0161】
撮像部306は、例えばCCDやCMOS等の撮像素子を含み、該撮像素子が備える各画素においてR(赤)、G(緑)、B(青)の各バンドにおける画素レベル(画素値)を持つカラー画像を撮像可能なカメラであり、画像処理装置4の撮像制御部111の制御に従って、所定のタイミングで動作する。撮像部306は、対物レンズ304から鏡筒305内の光学系を介して入射した光(観察光)を受光し、観察光に対応する画像データを生成して画像処理装置4に出力する。或いは、撮像部306は、RGB色空間で表された画素値を、YCbCr色空間で表された画素値に変換して画像処理装置4に出力しても良い。
【0162】
ステージ位置変更部307は、例えばボールネジ(図示せず)及びステッピングモータ307aを含み、標本ステージ303の位置をXY平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部307には、標本ステージ303をZ軸に沿って移動させることにより、対物レンズ304の焦点を被写体SPに合わせる。なお、ステージ位置変更部307の構成は上述した構成に限定されず、例えば超音波モータ等を使用しても良い。
【0163】
なお、本実施の形態8においては、対物レンズ304を含む光学系の位置を固定し、標本ステージ303側を移動させることにより、被写体SPに対する撮像視野を変化させるが、対物レンズ304を光軸と直交する面内において移動させる移動機構を設け、標本ステージ303を固定して、対物レンズ304側を移動させることにより、撮像視野を変化させることとしても良い。或いは、標本ステージ303及び対物レンズ304の双方を相対的に移動させても良い。
【0164】
画像処理装置4は、画像取得部11と、画像処理部41と、記憶部13とを備える。このうち、画像取得部11及び記憶部13の構成及び動作は、実施の形態1と同様である(図1参照)。画像取得部11のうち、駆動制御部112は、標本ステージ303に搭載されたスケールの値等に基づき、予め定められたピッチで該標本ステージ303の駆動座標を指示することにより標本ステージ303の位置制御を行うが、顕微鏡装置3により取得された画像に基づくテンプレートマッチング等の画像マッチングの結果に基づいて標本ステージ303の位置制御を行っても良い。本実施の形態8においては、被写体SPの面内で撮像視野Vを水平方向に移動させた後、垂直方向に移動させるだけなので、標本ステージ303の制御は非常に容易である。
【0165】
画像処理部41は、図1に示す画像処理部12に対し、VS画像作成部411をさらに備える。VS画像作成部411は、画像補正部122によりシェーディング補正が施された複数の画像をもとに、バーチャルスライド(VS)画像を作成する。
【0166】
バーチャルスライド画像とは、撮像視野が互いに異なる複数の画像を貼り合わせて作成された広視野の画像であり、本顕微鏡システム6には、バーチャルスライド画像の作成機能が搭載されている。ここで、顕微鏡装置3において撮像された画像をそのまま貼り合わせようとすると、光学系の特性等に応じて生じるシェーディングの影響により、画像同士を貼り合わせたつなぎ目に不自然な境界が発生してしまう。そこで、本実施の形態8においては、画像補正部122によりシェーディング補正がなされた後の画像同士を貼り合わせることとしている。
【0167】
なお、シェーディング成分算出部121及び画像補正部122の構成及び動作は、実施の形態1と同様である。或いは、実施の形態2〜5のいずれかと同様にシェーディング成分算出部121及び画像補正部122を動作させても良い。さらには、実施の形態7と同様に、平坦領域探索部211をさらに設けても良い。
【0168】
また、画像取得部11及び画像処理部12は、専用のハードウェアによって構成しても良いし、CPU等のハードウェアに所定のプログラムを読み込むことによって構成しても良い。後者の場合、後述する顕微鏡装置3に対する撮像動作の制御を画像取得部11に実行させるための制御プログラムや、シェーディング補正を含む画像処理を画像処理部12に実行させるための画像処理プログラムや、これらのプログラムの実行中に使用される各種パラメータや設定情報を上記記憶部13に記憶させても良い。
【0169】
表示装置5は、例えば、LCDやELディスプレイ、CRTディスプレイ等の表示装置によって構成され、画像処理装置4から出力された画像や関連情報を表示する。
【0170】
次に、顕微鏡システム6における画像の取得動作について説明する。本顕微鏡システム6においては、バーチャルスライド画像作成用の画像取得とシェーディング成分算出用の画像取得とを組み合わせて行うことが可能である。図26は、本実施の形態8における複数の画像の取得動作を説明するための模式図である。
【0171】
例えば図26に示すように、バーチャルスライド画像の作成用の画像V0〜V7を取得する際、撮像視野を水平に移動させる間の一部の区間(例えば画像V0、V1を取得する間)のみ、撮像視野の移動ピッチを狭くして(例えば長さBwに設定して)撮像を行うことにより、水平方向におけるシェーディング成分算出用の画像Mj=0、Mj=1、Mj=2、Mj=3、Mj=4を取得する。このうち、画像Mj=0と画像V0とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、撮像視野を垂直に移動させる間の一部の区間(例えば画像V4、V5を取得する間)のみ、撮像視野の移動ピッチを狭くして(例えば長さBhに設定して)撮像を行うことにより、垂直方向におけるシェーディング成分算出用の画像Mk=0、Mk=1、Mk=2、Mk=3、Mk=4を取得する。このうち、画像Mk=0と画像V4とは撮像視野内の被写体が共通なので、画像を兼用することができる。また、画像V0、V1、…と撮像を進めている間に、取得済みの画像Mj=0〜Mj=4からシェーディング成分の算出を並行して行っても良いし、算出されたシェーディング成分を用いてシェーディング補正を並行して行っても良い。
【0172】
このように、本実施の形態8においては、バーチャルスライド画像作成用の画像を取得する際の撮像視野の移動方向と、シェーディング成分算出用の画像を取得する際の撮像視野の移動方向とが共通しているため、標本ステージ303を無駄に移動させることなく、効率的に、これらの画像を取得することができる。また、バーチャルスライド画像の作成用の一部の画像を、シェーディング成分の作成に使用することができるので、撮像回数を低減することもできる。
【0173】
なお、バーチャルスライド画像作成用の画像取得経路上において、シェーディング成分算出用の取得を行う位置は、任意に設定することができる。また、バーチャルスライド画像作成用の画像取得経路上の複数箇所においてシェーディング成分の算出用画像を取得し、画像を取得した箇所ごとに算出されたシェーディング成分を合成しても良い。この場合、合成されたシェーディング成分を用いることにより、シェーディング補正におけるロバスト性を向上させることができる。
【0174】
また、標本ステージ303の位置決め精度や顕微鏡装置3の分解能によっては、予め設定した標本ステージ303の移動量にズレが生じる場合がある。このような場合、ステージに設けられたスケールの値、ステッピングモータ307aのパルス数、画像マッチング、或いはこれらの組み合わせにより、バーチャルスライド画像作成用の画像の位置合わせを行っても良い。本実施の形態8においては、被写体SPの面内で撮像視野Vを2つの方向に順次移動させるだけなので、このような位置合わせも容易に行うことができる。
【0175】
本発明は、上述した各実施の形態1〜8そのままに限定されるものではなく、各実施の形態1〜8に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態1〜8に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
【符号の説明】
【0176】
1、2、4 画像処理装置
3 顕微鏡装置
5 表示装置
6 顕微鏡システム
11 画像取得部
12、21、41 画像処理部
13 記憶部
30 光学系
111 撮像制御部
112 駆動制御部
121 シェーディング成分算出部
121a 第1方向シェーディング成分算出部
121b 第2方向シェーディング成分算出部
122 画像補正部
122a 第1画像補正部
122b 第2画像補正部
211 平坦領域探索部
300 アーム
301 落射照明ユニット
301a 落射照明用光源
301b 落射照明光学系
302 透過照明ユニット
302a 透過照明用光源
302b 透過照明光学系
303 標本ステージ
304、304’ 対物レンズ
305 鏡筒
306 撮像部
307 ステージ位置変更部
307a ステッピングモータ
308 三眼鏡筒ユニット
309 接眼レンズユニット
310 レボルバ
411 VS画像作成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26