特許 5996462 画像処理装置、顕微鏡システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5996462

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】画像処理装置、顕微鏡システム及び画像処理方法

(51)【国際特許分類】

   G06T 5/50 20060101AFI20160908BHJP

   H04N 5/225 20060101ALI20160908BHJP

   H04N 5/232 20060101ALI20160908BHJP

   H04N 5/235 20060101ALI20160908BHJP

   G02B 21/00 20060101ALI20160908BHJP

【ＦＩ】

   G06T5/50

   H04N5/225 C

   H04N5/232 Z

   H04N5/235

   G02B21/00

【請求項の数】14

【全頁数】24

(21)【出願番号】特願2013-51026(P2013-51026)

(22)【出願日】2013年3月13日

(65)【公開番号】特開2014-178781(P2014-178781A)

(43)【公開日】2014年9月25日

【審査請求日】2015年9月4日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】内藤 幸宏

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００１−２７４９７３（ＪＰ，Ａ）

【文献】 特開２００２−２９０８２９（ＪＰ，Ａ）

【文献】 特開２００５−０９２８２２（ＪＰ，Ａ）

【文献】 特開２０１３−１３２０２７（ＪＰ，Ａ）

【文献】 特開２００５−０７２９６７（ＪＰ，Ａ）

【文献】 特開２０１０−１３４３７４（ＪＰ，Ａ）

【文献】 特開平１０−１８７９２９（ＪＰ，Ａ）

【文献】 特開２０１１−１２４９４８（ＪＰ，Ａ）

【文献】 特開２００６−１７１２１３（ＪＰ，Ａ）

【文献】 特開２０１１−１４１３９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００ − ５／５０

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／４０

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ２１／３６

(57)【特許請求の範囲】

【請求項1】

被写体に対する視野の一部が重複するように撮像された複数の画像に対応する画像データが入力される画像入力部と、
予め設定された複数種類のシェーディング補正特性を記憶する記憶部と、
前記複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値を算出する評価値算出部と、
前記評価値と前記複数種類のシェーディング補正特性とに基づいて、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定するシェーディング補正特性決定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記複数の画像に含まれる重複領域の各々に対し、前記複数種類のシェーディング補正特性をそれぞれ用いて補正することにより、複数の補正済み重複領域画像を生成する補正部をさらに備え、
前記評価値算出部は、前記シェーディング補正特性の種類ごとに、前記複数の画像間において互いに対応する補正済み重複領域画像内の画素の特性を比較した結果を表す量を、前記評価値として算出する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記評価値算出部は、前記互いに対応する補正済み重複領域画像間において互いに対応する画素同士の画素値又は輝度値の差分を算出する、
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記重複領域に発生しているシェーディング特性の特徴を表す第１の特徴値を算出するシェーディング特徴値算出部をさらに備え、
前記評価値算出部は、前記重複領域に対して前記複数種類のシェーディング補正特性の各々が補正対象として想定するシェーディング特性の特徴を表す第２の特徴値と、前記シェーディング特徴値算出部により算出された前記第１の特徴値とを比較した結果を表す量を、前記評価値として算出する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記評価値算出部は、前記複数種類のシェーディング補正特性を用いて、前記重複領域に対する前記第２の特徴値を算出する、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記複数の画像間における重複領域は予め設定されており、
前記記憶部は、さらに、予め設定された前記重複領域に対する前記第２の特徴値を記憶し、
前記評価値算出部は、前記第２の特徴量を前記記憶部から取得する、
ことを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記評価値算出部は、前記重複領域内の各画素位置における前記第１の特徴量と前記第２の特徴量との差分を算出する、
ことを特徴とする請求項４〜６のいずれか１項に記載の画像処理装置。

【請求項8】

前記シェーディング補正特性決定部は、前記評価値に基づいて、前記複数種類のシェーディング補正特性のうちから前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を選択する、
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。

【請求項9】

前記シェーディング補正特性決定部は、前記評価値に基づいて前記複数種類のシェーディング補正特性を加重平均することにより、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定する、
ことを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。

【請求項10】

前記シェーディング補正特性決定部により決定されたシェーディング補正特性を用いて、前記複数の画像の少なくとも１つを補正する補正画像生成部をさらに備える、
ことを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。

【請求項11】

前記補正画像生成部は、前記シェーディング補正特性決定部により決定されたシェーディング補正特性を用いて前記複数の画像を補正し、
前記補正画像生成部により補正された前記複数の画像を、前記重複領域を互いに重ね合わせて合成した合成画像を生成する画像合成部をさらに備える、
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記被写体を撮像して画像データを生成し、前記画像入力部に入力する画像取得部をさらに備える、
ことを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。

【請求項13】

請求項１〜１１のいずれか１項に記載の画像処理装置と、
前記被写体が載置される標本ステージと、
前記標本ステージに対する視野が移動可能に設けられた対物光学系と、
前記対物光学系に入射した前記被写体からの観察光を撮像して画像データを生成し、前記画像入力部に入力する画像取得部と、
を備えることを特徴とする顕微鏡システム。

【請求項14】

被写体に対する視野の一部が重複するように撮像された複数の画像に対応する画像データが入力される画像入力ステップと、
前記複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値を算出する評価値算出ステップと、
前記評価値と予め設定された複数種類のシェーディング補正特性とに基づいて、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定するシェーディング補正特性決定ステップと、
を含むことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体を撮像することにより取得された画像信号の明度分布を補正する画像処理装置、顕微鏡システム及び画像処理方法に関する。

【背景技術】

【0002】

ディジタルカメラや、撮像機能を備える顕微鏡等の撮像装置においては、レンズ等の光学系の特性により、撮像領域の中心部に対して周辺領域の光量が低下するシェーディングが発生する。このようなシェーディングによる画像の明度ムラを補正するため、シェーディング補正技術が用いられる。

【0003】

例えば特許文献１には、シェーディング特性を画像中心からの距離に基づいた数式で表現し、数式の係数を光学系に応じて設定するシェーディング補正技術が開示されている（特許文献１の段落００６５、００６８等参照）。また、特許文献２及び特許文献３には、顕微鏡の観察領域（対物光学系の画角内）に試料を配置していない状態で撮影を行うことにより、シェーディング特性を実測する技術が開示されている。

【0004】

一方、ディジタルカメラや顕微鏡においては、視野をずらしながら複数枚の画像を撮像し、これらの画像を位置合わせして合成することにより、広視野且つ高解像な画像を取得する技術が広く用いられている。例えば、特許文献１には、ディジタルカメラにおいてパノラマ合成を行う技術が開示されている。また、特許文献４には、顕微鏡においてステージを移動させながら撮像を行って標本の部分的な拡大画像を取得し、これらの拡大画像をつなぎ合わせることにより、標本全体が写った合成画像、所謂バーチャルスライドを作成する技術が開示されている。

【0005】

ところが、このような複数枚の画像をつなぎ合わせて合成した画像においては、各画像に生じたシェーディングの影響が規則的に現れるため、合成画像に与える影響は特に大きい。そのため、個々の画像に対して精度の高いシェーディング補正を行う必要がある。

【0006】

このような問題に対し、特許文献１には、隣り合う画像における重複領域を目視で確認し、該重複領域内に生じた画像の歪みまたは画像の差異を補正するのに必要な補正パラメータを設定する技術が開示されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開平１０−１８７９２９号公報

【特許文献2】特開２０１１−１２４９４８号公報

【特許文献3】特開２００６−１７１２１３号公報

【特許文献4】特開２０１１−１４１３９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、実際のシェーディング特性は、必ずしも光学系の特性のみによって決まるわけではなく、被写体に対する光の反射特性や散乱特性等によっても変化する。例えば、顕微鏡に標本を設置しない状態で撮像を行い、シェーディング特性を実測する際、観察領域がミラーのように反射率が高い領域である場合と、紙のように散乱特性の強い領域である場合とで、実測されるシェーディング特性に差異が発生する。これは、実際に被写体を撮像する際には、被写体に応じてシェーディング特性に差異が生じているということである。

【0009】

このように、実際には被写体によりシェーディング特性が異なるにもかかわらず、単一のシェーディング補正特性を適用してシェーディング補正を行う従来の手法では、補正精度に限界があった。

【0010】

本発明は、上記に鑑みてなされたものであって、被写体により異なるシェーディング特性に応じて画像を高精度にシェーディング補正することができる画像処理装置、顕微鏡システム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、被写体に対する視野の一部が重複するように撮像された複数の画像に対応する画像データが入力される画像入力部と、予め設定された複数種類のシェーディング補正特性を記憶する記憶部と、前記複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値を算出する評価値算出部と、前記評価値と前記複数種類のシェーディング補正特性とに基づいて、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定するシェーディング補正特性決定部と、を備えることを特徴とする。

【0012】

上記画像処理装置は、前記複数の画像に含まれる重複領域の各々に対し、前記複数種類のシェーディング補正特性をそれぞれ用いて補正することにより、複数の補正済み重複領域画像を生成する補正部をさらに備え、前記評価値算出部は、前記シェーディング補正特性の種類ごとに、前記複数の画像間において互いに対応する補正済み重複領域画像内の画素の特性を比較した結果を表す量を、前記評価値として算出することを特徴とする。

【0013】

上記画像処理装置において、前記評価値算出部は、前記互いに対応する補正済み重複領域画像間において互いに対応する画素同士の画素値又は輝度値の差分を算出することを特徴とする。

【0014】

上記画像処理装置は、前記重複領域に発生しているシェーディング特性の特徴を表す第１の特徴値を算出するシェーディング特徴値算出部をさらに備え、前記評価値算出部は、前記重複領域に対して前記複数種類のシェーディング補正特性の各々が補正対象として想定するシェーディング特性の特徴を表す第２の特徴値と、前記シェーディング特徴値算出部により算出された前記第１の特徴値とを比較した結果を表す量を、前記評価値として算出することを特徴とする。

【0015】

上記画像処理装置において、前記評価値算出部は、前記複数種類のシェーディング補正特性を用いて、前記重複領域に対する前記第２の特徴値を算出することを特徴とする。

【0016】

上記画像処理装置において、前記複数の画像間における重複領域は予め設定されており、前記記憶部は、さらに、予め設定された前記重複領域に対する前記第２の特徴値を記憶し、前記評価値算出部は、前記第２の特徴量を前記記憶部から取得することを特徴とする。

【0017】

上記画像処理装置において、前記評価値算出部は、前記重複領域内の各画素位置における前記第１の特徴量と前記第２の特徴量との差分を算出することを特徴とする。

【0018】

上記画像処理装置において、前記シェーディング補正特性決定部は、前記評価値に基づいて、前記複数種類のシェーディング補正特性のうちから前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を選択することを特徴とする。

【0019】

上記画像処理装置において、前記シェーディング補正特性決定部は、前記評価値に基づいて前記複数種類のシェーディング補正特性を加重平均することにより、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定することを特徴とする。

【0020】

上記画像処理装置は、前記シェーディング補正特性決定部により決定されたシェーディング補正特性を用いて、前記複数の画像の少なくとも１つを補正する補正画像生成部をさらに備えることを特徴とする。

【0021】

上記画像処理装置において、前記補正画像生成部は、前記シェーディング補正特性決定部により決定されたシェーディング補正特性を用いて前記複数の画像を補正し、前記補正画像生成部により補正された前記複数の画像を、前記重複領域を互いに重ね合わせて合成した合成画像を生成する画像合成部をさらに備えることを特徴とする。

【0022】

上記画像処理装置は、前記被写体を撮像して画像データを生成し、前記画像入力部に入力する画像取得部をさらに備えることを特徴とする。

【0023】

本発明に係る顕微鏡システムは、前記画像処理装置と、前記被写体が載置される標本ステージと、前記標本ステージに対する視野が移動可能に設けられた対物光学系と、前記対物光学系に入射した前記被写体からの観察光を撮像して画像データを生成し、前記画像入力部に入力する画像取得部と、を備えることを特徴とする。

【0024】

本発明に係る画像処理方法は、被写体に対する視野の一部が重複するように撮像された複数の画像に対応する画像データが入力される画像入力ステップと、前記複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値を算出する評価値算出ステップと、前記評価値と予め設定された複数種類のシェーディング補正特性とに基づいて、前記複数の画像に対するシェーディング補正に適合するシェーディング補正特性を決定するシェーディング補正特性決定ステップと、を含むことを特徴とする。

【発明の効果】

【0025】

本発明によれば、複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値と、予め設定された複数種類のシェーディング補正特性とに基づいて、当該画像に対するシェーディング補正に適合するシェーディング補正特性を決定するので、被写体により異なるシェーディング特性に応じて画像を高精度にシェーディング補正することが可能となる。

【図面の簡単な説明】

【0026】

【図1】図１は、本発明の実施の形態１に係る顕微鏡システムの構成例を示すブロック図である。

【図2】図２は、図１に示す顕微鏡装置の構成例を示す模式図である。

【図3】図３は、図１に示す画像処理装置の動作を示すフローチャートである。

【図4A】図４Ａは、被写体に対する視野を変化させた状態を示す模式図である。

【図4B】図４Ｂは、被写体に対する視野を変化させて撮像された画像を示す模式図である。

【図5】図５は、図４Ｂに示す重複領域にシェーディング補正を施した補正済み重複領域画像を示す模式図である。

【図6】図６は、本発明の実施の形態２に係る画像処理装置の構成例を示すブロック図である。

【図7】図７は、図６に示す画像処理装置の動作を示すフローチャートである。

【図8】図８は、本発明の実施の形態３に係る画像処理装置の構成例を示すブロック図である。

【図9】図９は、本発明の実施の形態４に係る画像処理装置の構成例を示すブロック図である。

【図10】図１０は、図９に示す画像処理装置の動作を示すフローチャートである。

【図11A】図１１Ａは、重複領域に発生しているシェーディング特性の算出方法を説明するための模式図である。

【図11B】図１１Ｂは、シェーディング補正特性が補正対象として想定するシェーディング特性の特徴値の算出方法を説明するための模式図である。

【図12】図１２は、本発明の実施の形態５に係る画像処理装置の構成例を示すブロック図である。

【図13】図１３は、図１２に示す画像処理装置の動作を示すフローチャートである。

【図14】図１４は、本発明の実施の形態６に係る画像処理装置の構成例を示すブロック図である。

【図15】図１５は、図１４に示す画像処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明に係る画像処理装置、顕微鏡システム及び画像処理方法の実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。以下においては、本発明に係る画像処理装置を顕微鏡システムに適用した例を説明するが、本発明に係る画像処理装置は、ディジタルカメラ等、被写体を撮像して画像データを生成する画像取得手段と組み合わせて、撮像装置として利用することも可能である。

【0028】

（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡システムの構成を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡システム１は、標本の拡大画像を撮像する顕微鏡装置２と、撮像された画像に対して所定の画像処理を施す画像処理装置１０とを備える。

【0029】

図２は、図１に示す顕微鏡装置２の構成例を示す模式図である。図２に示すように、顕微鏡装置２は、略Ｃ字形のアーム１００と、該アーム１００に設けられた落射照明ユニット１０１及び透過照明ユニット１０２と、アーム１００に取り付けられ、被写体（標本）Ｓが載置される標本ステージ１０３と、鏡筒１０８の一端側に三眼鏡筒ユニット１０９を介して標本ステージ１０３と対向するように設けられ、被写体からの観察光を結像する対物レンズ１０６と、接眼レンズユニット１１０と、鏡筒１０８の他端側に設けられた画像取得部１１１とを備える。このような顕微鏡装置２の動作は、画像処理装置１０が備える制御部１６（後述）によって制御される。

【0030】

落射照明ユニット１０１は、落射照明用光源１０１ａ及び落射照明光学系１０１ｂを備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１０１ｂは、落射照明用光源１０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

【0031】

透過照明ユニット１０２は、透過照明用光源１０２ａ及び透過照明光学系１０２ｂを備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１０２ｂは、透過照明用光源１０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。

【0032】

これらの落射照明ユニット１０１及び透過照明ユニット１０２は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置２に、落射照明ユニット１０１と透過照明ユニット１０２とのいずれか一方のみを設けることとしても良い。

【0033】

標本ステージ１０３には、ステージ位置変更部１０４及び位置検出部１０５が設けられている。ステージ位置変更部１０４は、例えばモータによって構成され、標本ステージ１０３を対物レンズ１０６の光軸と直交する面内（即ちＸＹ平面内）において移動させる。このように標本ステージ１０３を移動させることにより、対物レンズ１０６の視野（撮像視野）が変化する。

【0034】

位置検出部１０５は、例えば、ステージ位置変更部１０４を構成するモータの回転量を検出するエンコーダによって構成され、標本ステージ１０３の位置を検出し、被写体Ｓの撮像時における標本ステージ１０３の位置情報を画像データの関連情報として、画像データと共に画像処理装置１０に出力する。なお、ステージ位置変更部１０４及び位置検出部１０５の代わりに、後述する制御部１６の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けても良い。

【0035】

なお、実施の形態１においては、対物レンズ１０６及び鏡筒１０８を含む観察光学系の位置を固定し、標本ステージ１０３側を移動させているが、標本ステージ１０３の位置を固定し、観察光学系側を移動させても良い。或いは、標本ステージ１０３と観察光学系との双方を互いに反対方向に移動させても良い。つまり、観察光学系と被写体Ｓとが相対的に移動する構成であれば、どのような構成であっても構わない。

【0036】

対物レンズ１０６は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１０６’）を保持可能なレボルバ１０７に取り付けられている。レボルバ１０７を回転させ、標本ステージ１０３と対向する対物レンズ１０６、１０６’を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１０６が標本ステージ１０３と対向している状態を示している。

【0037】

三眼鏡筒ユニット１０９は、対物レンズ１０６から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１１０と、画像取得部１１１との方向に分岐する。

【0038】

画像取得部１１１は、例えばＣＣＤやＣＭＯＳ等の撮像素子からなり、対物レンズ１０６から三眼鏡筒ユニット１０９を介して入射し、結像した観察光を撮像し、画像データを生成して画像処理装置１０に出力する撮像装置である。

【0039】

次に、画像処理装置１０の構成について説明する。図１に示すように、画像処理装置１０は、画像取得部１１１から出力された画像データが入力されるインタフェースである画像入力部１１と、当該画像処理装置１０に対する指示や情報の入力に用いられる入力部１２と、記憶部１３と、画像入力部１１を介して入力された画像データに対応する画像に種々の演算処理を施す演算部１４と、該演算部１４の演算処理結果やその他の情報を出力する出力部１５と、これらの各部の動作及び顕微鏡装置２の動作を制御する制御部１６とを備える。

【0040】

画像入力部１１は、画像取得部１１１から出力された画像データを受け取り、該画像データに所定の画像変換（フォーマット変換等）処理を施すことにより表示用の画像データを生成して演算部１４に出力する。例えば、画像取得部１１１が備える撮像素子の配列がベイヤー（Ｂａｙｅｒ）配列である場合、画像入力部１１は、ベイヤー配列の画像データをＲＧＢ色空間の画像データに変換する。或いは、画像入力部１１は、ＹＣｂＣｒ色空間の画像データに変換しても良い。

【0041】

入力部１２は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイスを含み、これらのデバイスに対するユーザの操作に応じた信号を制御部１６に入力する。

【0042】

記憶部１３は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体及び該記録媒体に記録された情報を読み取る読取装置を含む記録装置等によって構成される。記憶部１３は、演算部１４及び制御部１６がそれぞれ実行する各種プログラムや、該プログラムの実行中に使用される各種パラメータ及び設定情報や、画像データ等を記憶する。

【0043】

より詳細には、記憶部１３は、プログラム記憶部１３１と、画像データ記憶部１３２と、シェーディング補正特性記憶部１３３とを備える。このうち、プログラム記憶部１３１は、画像入力部１１から出力された画像データに対応する画像に所定の画像処理を施す画像処理プログラムを記憶する。

【0044】

画像データ記憶部１３２は、画像入力部１１により画像変換が施された画像データや、演算部１４により画像処理が施された画像データや、これらの画像データの関連情報を記憶する。

【0045】

シェーディング補正特性記憶部１３３は、画像入力部１１から出力された各画像に生じているシェーディングを補正する際に使用される複数種類のシェーディング補正特性（シェーディング補正特性Ａ、シェーディング補正特性Ｂ、…）を記憶する。ここで、一般に、顕微鏡装置２等の撮像機器により撮像された画像に生じるシェーディングは、撮像機器に内蔵される光学系の特性の他、被写体の特性（テクスチャ等）によっても変化する。具体的には、被写体表面の反射率がミラーのように高い場合、被写体表面の散乱特性が紙のように強い場合、被写体の透明度が高い場合等に応じて、画像に生じるシェーディングは異なってくる。シェーディング補正特性記憶部１３３は、このような被写体に応じたシェーディングを補正する際の候補として、顕微鏡装置２が備える光学系の特性に加え、被写体の特性を考慮して設定されたシェーディング補正特性を複数種類記憶している。

【0046】

なお、これらのシェーディング補正特性は、例えば、顕微鏡装置２の標本ステージ１０３に、種々の被写体とそれぞれ近似する特性を有する複数種類の平坦な背景部材（例えば、ミラー、紙、透明ガラス等の平坦な板状部材）を１種類ずつ標本ステージ１０３に設置して撮像を行い、それによって取得された画像に生じたシェーディングの特性を実測することにより設定することができる。

【0047】

演算部１４は、例えばＣＰＵ等のハードウェアによって構成され、後述する記憶部１３に記憶された画像処理プログラムを読み込むことにより、画像入力部１１から出力された画像データに対応する画像に対し、被写体に応じたシェーディング補正を施す画像処理を実行する。

【0048】

より詳細には、演算部１４は、補正部１４１と、評価値算出部１４２と、シェーディング補正特性決定部１４３とを備える。このうち、補正部１４１は、顕微鏡装置２において被写体Ｓに対する視野をずらして撮像された複数の画像間の重複領域に対し、シェーディング補正特性記憶部１３３に記憶された複数種類のシェーディング補正特性の各々を用いて補正することにより、補正済み重複領域画像を生成する。

【0049】

評価値算出部１４２は、上記複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値を算出する。具体的には、評価値算出部１４２は、評価値として、互いに対応する補正済み重複領域画像内において互いに対応する画素同士の画素値又は輝度値の差分に基づく量を、シェーディング補正特性の種類ごとに算出する。

【0050】

シェーディング補正特性決定部１４３は、評価値算出部１４２が算出した評価値とシェーディング補正特性記憶部１３３に記憶された複数種類のシェーディング補正特性とに基づいて、演算部１４に入力された画像に対するシェーディング補正に適合するシェーディング補正特性を決定する。

【0051】

出力部１５は、演算部１４による演算処理（画像処理）結果やその他所定の情報を、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイからなる表示装置等の外部機器に出力する外部インタフェースである。なお、本実施の形態では、表示装置を画像処理装置１０の外部に備える構成としているが、画像処理装置１０の内部に表示部を備える構成としても良い。

【0052】

制御部１６は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１３に記憶された各種プログラムを読み込むことにより、記憶部１３に記憶された各種データや入力部１２から入力される各種情報に基づき、画像処理装置１０及び顕微鏡システム１全体の動作を統括的に制御する。

【0053】

次に、画像処理装置１０の動作を説明する。図３は、画像処理装置１０の動作を示すフローチャートである。
まず、ステップＳ１０において、画像入力部１１は、顕微鏡装置２において被写体Ｓに対する視野をずらして複数回撮像を行うことにより取得された画像データ及び関連情報を受け取り、所定の画像変換を行う。

【0054】

画像変換後のフォーマットは特に限定されず、本実施の形態１においては、ベイヤー配列の画像をＲＧＢ画像に変換し、続くステップＳ１１〜Ｓ１４において、Ｒ、Ｇ、Ｂの各画像に対して個別に処理を行うものとする。なお、ＲＧＢ画像をＹＣｂＣｒ画像に変換し、ステップＳ１１〜Ｓ１４において、輝度成分Ｙからなる画像と、色差成分Ｃｂ、Ｃｒからなる画像に対して個別に処理を行っても良いし、輝度成分Ｙからなる画像についてのみ処理を行っても良い。

【0055】

図４Ａは、被写体に対する視野を変化させた状態を示す模式図である。また、図４Ｂは、被写体に対する視野を変化させて撮像された画像を示す模式図である。以下においては、一例として、図４Ａに示す「ＳＡＭＰＬＥ」の文字を被写体Ｓとして説明する。図４Ａに示すように、被写体Ｓに対する視野Ｖ１、Ｖ２の一部が重複するように撮像を行うことにより、図４Ｂに示す画像Ｍ１、Ｍ２が得られる。これらの隣り合う画像Ｍ１、Ｍ２は、共通の被写体部分が写った重複領域Ｄ１、Ｄ２を含んでいる。

【0056】

なお、図４Ａに示すように、視野Ｖ１、Ｖ２が重なっている領域全体を重複領域として設定しても良いし、視野Ｖ１、Ｖ２が重なった領域の一部を重複領域（例えば重複領域Ｄ１、Ｄ２）として設定しても良い。さらに、視野Ｖ１、Ｖ２が重なった領域内に重複領域を複数箇所設定しても良い。

【0057】

続くステップＳ１１において、補正部１４１は、画像データの関連情報（標本ステージ１０３の位置情報）に基づいて、隣り合う画像間で互いに対応する重複領域を抽出し、各画像内の少なくとも重複領域に対し、シェーディング補正特性記憶部１３３に記憶された複数種類のシェーディング補正特性を用いてシェーディング補正を行う。それにより、各画像内の１つの重複領域に対し、シェーディング補正特性の種類の数だけ補正済み重複領域画像が生成される。この際、補正部１４１は、各画像の全体に対してシェーディング補正を行い、シェーディング補正された画像から補正済み重複領域画像を抽出しても良いし、最初から重複領域のみに対してシェーディング補正を施しても良い。

【0058】

以下においては、説明を簡単にするため、２種類のシェーディング補正特性Ａ、Ｂを用いるものとする。シェーディング補正特性Ａ、Ｂの具体例としては、ミラーのシェーディング補正特性及び紙のシェーディング補正特性が挙げられる。

【0059】

このステップＳ１１の処理の結果、図５に示すように、重複領域Ｄ１をシェーディング補正特性Ａ、Ｂによりそれぞれ補正した補正済み重複領域画像Ｄｃ１（Ａ）、Ｄｃ１（Ｂ）と、重複領域Ｄ２をシェーディング補正特性Ａ、Ｂによりそれぞれ補正した補正済み重複領域画像Ｄｃ２（Ａ）、Ｄｃ２（Ｂ）とが生成される。

【0060】

続くステップＳ１２において、評価値算出部１４２は、シェーディング補正特性ごとに、互いに対応する重複領域内の画素の特性に基づく評価値を算出する。より詳細には、互いに対応する補正済み重複領域画像間において対応する画素の画素値（又は輝度値）の差分を、該重複領域画像内の全画素について算出し、これらの差分の絶対値和を評価値とする。或いは、差分の２乗和を評価値としても良い。

【0061】

具体的には、補正済み重複領域画像Ｄｃ１（Ａ）、Ｄｃ２（Ａ）内の座標（ｘ，ｙ）における画素の画素値をそれぞれＩ_1A（ｘ，ｙ）、Ｉ_2A（ｘ，ｙ）とすると、シェーディング補正特性についての評価値Ｅ（Ａ）は、次式（１）によって与えられる。なお、以下に示す座標（ｘ，ｙ）は、各重複領域又は補正済み重複領域画像の左上の点を原点とする。
Ｅ（Ａ）＝Σ｜Ｉ_1A（ｘ，ｙ）−Ｉ_2A（ｘ，ｙ）｜ …（１）

【0062】

同様に、補正済み重複領域画像Ｄｃ１（Ｂ）、Ｄｃ２（Ｂ）内の座標（ｘ，ｙ）における画素の画素値をそれぞれＩ_1B（ｘ，ｙ）、Ｉ_2B（ｘ，ｙ）とすると、シェーディング補正特性についての評価値Ｅ（Ｂ）は、次式（２）によって与えられる。
Ｅ（Ｂ）＝Σ｜Ｉ_1B（ｘ，ｙ）−Ｉ_2B（ｘ，ｙ）｜ …（２）

【0063】

なお、画像Ｍ１、Ｍ２間で複数組の重複領域を設定した場合には、互いに対応する補正済み重複領域画像ごとに上記評価値Ｅ（Ａ）、Ｅ（Ｂ）を算出した後、補正済み重複領域ごとに算出された評価値をシェーディング補正特性ごとに合算した値が、最終的な評価値として用いられる。

【0064】

ここで、ステップＳ１１におけるシェーディング補正により、補正済み重複領域画像からシェーディングの影響が完全に除去されていれば、互いに対応する補正済み重複領域画像（補正済み重複領域画像Ｄｃ１（Ａ）、Ｄｃ２（Ａ）の組、補正済み重複領域画像Ｄｃ１（Ｂ）、Ｄｃ２（Ｂ）の組）は同一の画像になるはずであり、この場合、上記評価値はゼロとなる。一方、重複領域Ｄ１、Ｄ２の補正に用いたシェーディング補正特性が適切でなかった場合、補正済み重複領域画像に残ったシェーディングの影響により、対応する画素間において画素値の差異が生じる。即ち、評価値が小さいほど、重複領域Ｄ１、Ｄ２の補正に用いたシェーディング補正特性は、被写体Ｓが写った画像のシェーディング補正に、より適合していると言える。

【0065】

続くステップＳ１３において、シェーディング補正特性決定部１４３は、ステップＳ１２において算出された評価値に基づいて、シェーディング補正特性を決定する。具体的には、シェーディング補正特性Ａ、Ｂのうち、評価値Ｅ（Ａ）、Ｅ（Ｂ）が小さい方のシェーディング補正特性を、画像Ｍ１、Ｍ２の補正に使用するシェーディング補正特性として選択する。

【0066】

続くステップＳ１４において、演算部１４は、ステップＳ１３における決定結果（シェーディング補正特性）を出力する。これに応じて、制御部１６は、出力された結果を出力部１５から出力して表示装置に表示させると共に、該決定結果を記憶部１３に記憶させる。

【0067】

この際、制御部１６は、シェーディング補正特性の決定結果を画像Ｍ１、Ｍ２と関連付けて記憶させても良いし、該決定結果を被写体Ｓの種類（例えば、生体組織や臓器の種類等）と関連付けて記憶させても良い。このように被写体の種類ごとにシェーディング補正特性を記憶部１３に蓄積しておくことにより、例えば被写体Ｓと同種の被写体を顕微鏡システム１（図１参照）において観察する際に、当該被写体が写った画像のシェーディング補正に最適なシェーディング補正特性を記憶部１３から読み出し、該画像を高速且つ高精度にシェーディング補正して観察することが可能となる。
その後、画像処理装置１０の動作は終了する。

【0068】

以上説明したように、実施の形態１によれば、重複領域に対してなされた種類が異なるシェーディング補正の結果の差異を評価するので、該評価の結果に基づいて、入力された画像のシェーディング補正に最適なシェーディング補正特性を決定することができる。従って、被写体により異なるシェーディング特性に応じて画像を高精度にシェーディング補正可能なシェーディング補正特性を取得することができる。

【0069】

また、実施の形態１によれば、予め用意された複数種類のシェーディング補正特性のうちから、入力された画像に対するシェーディング補正に適合するシェーディング補正特性を選択するので、シェーディング特性を実測してシェーディング補正特性を算出するといった手間や時間や演算コストをかけることなく、高精度なシェーディング補正特性を簡単に取得することができる。

【0070】

なお、実施の形態１においては、重複領域Ｄ１、Ｄ２を２種類のシェーディング補正特性Ａ、Ｂによって補正して２つの評価値Ｅ（Ａ）、Ｅ（Ｂ）を算出し、評価値Ｅ（Ａ）、Ｅ（Ｂ）が小さい方のシェーディング補正特性を選択することとしたが、シェーディング補正特性が３種類以上用意されている場合には、各シェーディング補正特性に対して評価値を算出し、評価値が最も小さいシェーディング補正特性を選択すれば良い。

【0071】

（変形例１）
実施の形態１においては、被写体Ｓが写った画像Ｍ１、Ｍ２の補正に使用するシェーディング補正特性を、シェーディング補正特性記憶部１３３に記憶された複数種類のシェーディング補正特性Ａ、Ｂ、…から選択したが、これらの複数種類のシェーディング補正特性から算出しても良い。具体的には、シェーディング補正特性決定部１４３は、評価値算出部１４２から各シェーディング補正特性Ａ、Ｂ、…についての評価値Ｅ（Ａ）、Ｅ（Ｂ）、…を取得し、評価値が小さいほど（即ち、シェーディング補正特性が、より適したものであるほど）シェーディング補正特性の比率が大きくなるように、評価値の逆数１／Ｅ（Ａ）、１／Ｅ（Ｂ）、…を重みとして、シェーディング補正特性Ａ、Ｂ、…を加重平均する。それによって算出された特性を、画像Ｍ１、Ｍ２のシェーディング補正に適合するシェーディング補正特性として決定する。

【0072】

この変形例１によれば、入力された画像のシェーディング補正に、より適合するシェーディング補正特性を決定することが可能となる。

【0073】

（実施の形態２）
次に、本発明の実施の形態２について説明する。
図６は、本発明の実施の形態２に係る画像処理装置を示すブロック図である。なお、本実施の形態２に係る顕微鏡システム全体の構成は、画像処理装置１０を除いて、図１に示すものと同様である。

【0074】

図６に示すように、実施の形態２に係る画像処理装置２０は、図１に示す演算部１４の代わりに演算部２１を備える。演算部２１以外の画像処理装置２０の構成及び動作は、実施の形態１と同様である。

【0075】

演算部２１は、補正部１４１と、評価値算出部１４２と、シェーディング補正特性決定部１４３と、補正画像生成部２１１と、画像合成部２１２とを備える。このうち、補正部１４１、評価値算出部１４２及びシェーディング補正特性決定部１４３の動作は、実施の形態１と同様である。なお、補正部１４１は、画像入力部１１から出力された画像全体に対してシェーディング補正を施すものとする。

【0076】

補正画像生成部２１１は、被写体Ｓに対する視野をずらして撮像された複数の画像に対して、シェーディング補正特性決定部１４３により決定されたシェーディング補正特性が施された画像（補正画像）を生成する。

【0077】

画像合成部２１２は、補正画像生成部２１１により生成された補正画像を貼り合わせることにより、被写体Ｓが写った広視野且つ高精細な合成画像を生成する。

【0078】

次に、画像処理装置２０の動作を説明する。図７は、画像処理装置２０の動作を示すフローチャートである。なお、図７に示すステップＳ１０〜Ｓ１３は、実施の形態１と同様である。

【0079】

ステップＳ１３に続くステップＳ２１において、補正画像生成部２１１は、画像入力部１１から出力された各画像の補正画像を生成する。より詳細には、補正画像生成部２１１は、画像入力部１１から出力された各画像に対し、補正部１４１において複数種類のシェーディング補正を施すことにより生成された複数の画像のうちから、シェーディング補正特性決定部１４３により決定されたシェーディング補正が施された画像を補正画像として選択する。

【0080】

続くステップＳ２２において、画像合成部２１２は、補正画像生成部２１１により生成された視野が異なる複数の補正画像を、対応する重複領域同士が重なるように位置合わせをして貼り合わせることにより、合成画像を生成する。

【0081】

続くステップＳ２３において、演算部２１は、画像合成部２１２により生成された合成画像を出力する。これに応じて、制御部１６は、出力された合成画像を出力部１５から出力して表示装置に表示させると共に、該合成画像を記憶部１３に記憶させる。
その後、画像処理装置２０の動作は終了する。

【0082】

以上説明したように、実施の形態２によれば、重複領域に対してなされた種類が異なるシェーディング補正の結果の差異を評価するので、該評価の結果に基づいて、入力された画像のシェーディング補正に最適なシェーディング補正特性を決定することができる。そのため、このシェーディング補正特性を用いることにより、被写体により異なるシェーディング特性に応じて、高精度なシェーディング補正がなされた補正画像を生成することができる。従って、そのような補正画像同士を貼り合わせることにより、シェーディングの影響が高精度に除去された広視野且つ高精細の合成画像を生成することが可能となる。

【0083】

（変形例２）
上記実施の形態２においては、画像合成部２１２により生成された合成画像を出力することとしたが、補正画像生成部２１１により生成された補正画像を単独で（別の補正画像と貼り合わせることなく）出力しても良い。この場合、補正画像生成部２１１は、共通する重複領域を含む全ての画像を補正する必要はなく、例えばユーザにより入力部１２を介して入力された情報に従って、必要な画像のみを補正しても良い。この場合、ユーザは、被写体によって特性が異なるシェーディングの影響が高精度に除去された所望の画像を取得することができる。

【0084】

（実施の形態３）
次に、本発明の実施の形態３について説明する。
図８は、本発明の実施の形態３に係る画像処理装置を示すブロック図である。なお、本実施の形態３に係る顕微鏡システム全体の構成は、画像処理装置１０を除いて、図１に示すものと同様である。

【0085】

図８に示すように、実施の形態３に係る画像処理装置３０は、図１に示す演算部１４の代わりに演算部３１を備える。演算部３１以外の画像処理装置３０の各部の構成及び動作は、実施の形態１と同様である。

【0086】

演算部３１は、図６に示す補正画像生成部２１１の代わりに、補正画像生成部３１１を備える。補正画像生成部３１１以外の演算部３１の各部の動作は、実施の形態２と同様である。補正画像生成部３１１は、被写体Ｓに対する視野をずらして撮像された複数の画像の各々に対し、シェーディング補正特性決定部１４３により決定されたシェーディング補正特性が施された補正画像を生成する。より詳細には、補正画像生成部３１１は、補正部１４１において、各画像の重複領域のみにシェーディング補正が行われた場合に、画像入力部１１から出力された画像を取り込むと共に、シェーディング補正特性決定部１４３により決定されたシェーディング補正特性をシェーディング補正特性記憶部１３３から読み出し、取り込んだ画像に対してシェーディング補正を施す。

【0087】

本実施の形態３によれば、補正部１４１において重複領域のみに対してシェーディング補正を施すので、入力された画像のシェーディング補正に最適なシェーディング補正特性を高速に決定することができる。従って、被写体によって特性が異なるシェーディングの影響が高精度に除去された補正画像及び合成画像を高速に生成することが可能となる。

【0088】

（実施の形態４）
次に、本発明の実施の形態４について説明する。
図９は、本発明の実施の形態４に係る画像処理装置を示すブロック図である。なお、本実施の形態４に係る顕微鏡システム全体の構成は、画像処理装置１０を除いて、図１に示すものと同様である。

【0089】

図９に示すように、実施の形態４に係る画像処理装置４０は、図１に示す演算部１４の代わりに演算部４１を備える。演算部４１以外の画像処理装置４０の各部の構成及び動作は、実施の形態１と同様である。

【0090】

演算部４１は、シェーディング特徴値算出部４１１と、評価値算出部４１２と、シェーディング補正特性決定部４１３とを備える。このうち、シェーディング特徴値算出部４１１は、顕微鏡装置２において被写体Ｓに対する視野をずらして撮像された複数の画像間の重複領域に発生しているシェーディング特性の特徴を表す値（特徴値）を算出する。

【0091】

評価値算出部４１２は、複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値として、シェーディング特徴値算出部４１１により算出された特徴値と、当該重複領域に対し、シェーディング補正特性記憶部１３３に記憶された各シェーディング補正特定が補正対象として想定するシェーディング特性の特徴値との差異を表す量を算出する。

【0092】

シェーディング補正特性決定部４１３は、評価値算出部４１２が算出した評価値とシェーディング補正特性記憶部１３３に記憶された複数種類のシェーディング補正特性とに基づいて、演算部１４に入力された画像に対するシェーディング補正に適合するシェーディング補正特性を決定する。

【0093】

次に、画像処理装置４０の動作を説明する。図１０は、画像処理装置４０の動作を示すフローチャートである。なお、図１０に示すステップＳ４０は、図３に示すステップＳ１０と対応している。

【0094】

ステップＳ４０に続くステップＳ４１において、シェーディング特徴値算出部４１１は、画像データの関連情報（標本ステージ１０３の位置情報）に基づいて、隣り合う画像間で互いに対応する重複領域を抽出し、各重複領域に発生しているシェーディング特性の特徴値を算出する。図１１Ａは、ステップＳ４１におけるシェーディング特性の特徴値の算出方法を説明するための模式図である。

【0095】

図１１Ａに示すように、画像Ｍ１側の重複領域Ｄ１内の座標（ｘ，ｙ）における画素の画素値（又は輝度値）をＴ₁（ｘ，ｙ）、当該画素位置における本来の画素値（又は輝度値）をＩ（ｘ，ｙ）、当該画素位置におけるシェーディング特性をＳ₁（ｘ，ｙ）とすると、画素値Ｔ₁（ｘ，ｙ）は、次式（３）によって与えられる。
Ｔ₁（ｘ，ｙ）＝Ｉ（ｘ，ｙ）×Ｓ₁（ｘ，ｙ） …（３）

【0096】

同様に、画像Ｍ２側の重複領域Ｄ２内の座標（ｘ，ｙ）における画素の画素値をＴ₂（ｘ，ｙ）、当該画素位置における本来の画素値をＩ（ｘ，ｙ）、当該画素位置におけるシェーディング特性をＳ₂（ｘ，ｙ）とすると、画素値Ｔ₂（ｘ，ｙ）は、次式（４）によって与えられる。
Ｔ₂（ｘ，ｙ）＝Ｉ（ｘ，ｙ）×Ｓ₂（ｘ，ｙ） …（４）

【0097】

ここで、本来の画素値とは、シェーディングが発生していないと仮定した場合の画素値のことであり、式（３）、（４）において画素値Ｉ（ｘ，ｙ）は同じ値となる。そのため、式（３）及び（４）から、重複領域Ｄ１におけるシェーディング特性Ｓ₁（ｘ，ｙ）と重複領域Ｄ２におけるシェーディング特性Ｓ₂（ｘ，ｙ）との比Ｒ（ｘ，ｙ）は、次式（５）によって与えられる。
Ｒ（ｘ，ｙ）＝Ｓ₁（ｘ，ｙ）／Ｓ₂（ｘ，ｙ）
＝Ｔ₁（ｘ，ｙ）／Ｔ₂（ｘ，ｙ） …（５）
この比Ｒ（ｘ，ｙ）が、重複領域Ｄ１、Ｄ２に発生しているシェーディング特性の特徴を表す特徴値である。

【0098】

続くステップＳ４２において、評価値算出部４１２は、重複領域に対し、シェーディング補正特性記憶部１３３に記憶された各シェーディング補正特性が補正対象として想定するシェーディング特性の特徴値を算出する。図１１Ｂは、ステップＳ４２におけるシェーディング特性の特徴値の算出方法を説明するための模式図である。

【0099】

図１１Ｂに示すように、評価値算出部４１２はまず、シェーディング補正特性記憶部１３３に記憶されたシェーディング補正特性ごとに、図１１Ａに示す重複領域Ｄ１、Ｄ２内の座標（ｘ，ｙ）に相当する位置におけるシェーディング補正特性Ｇ₁（ｘ，ｙ）、Ｇ₂（ｘ，ｙ）を取得する。ここで、シェーディング補正特性とシェーディング特性とは逆数の関係にあることから、これらの位置におけるシェーディング補正特性Ｇ₁（ｘ，ｙ）、Ｇ₂（ｘ，ｙ）が補正対象として想定するシェーディング特性は、１／Ｇ₁（ｘ，ｙ）、１／Ｇ₂（ｘ，ｙ）である。

【0100】

評価値算出部４１２は、このシェーディング特性の比（１／Ｇ₁（ｘ，ｙ））／（１／Ｇ₂（ｘ，ｙ））＝Ｇ₂（ｘ，ｙ）／Ｇ₁（ｘ，ｙ）を、当該シェーディング補正特性Ａが補正対象として想定するシェーディング特性の特徴値として算出する。

【0101】

評価値算出部４１２は、このような特徴値を、シェーディング補正特性Ａ、Ｂ、…の各々について算出する。以下、各シェーディング補正特性Ａ、Ｂ、…について算出された特徴値を、Ｒ_(A)（ｘ，ｙ）、Ｒ_(B)（ｘ，ｙ）、…と記す。

【0102】

続くステップＳ４３において、評価値算出部４１２は、重複領域に生じているシェーディング特性の特徴値と、該重複領域に対して各シェーディング補正特性が補正対象として想定するシェーディング特性の特徴値とを比較した結果を評価値として算出する。

【0103】

具体的には、評価値算出部４１２は、次式（６）に示すように、ステップＳ４１において算出されたシェーディング特性の特徴値Ｒ（ｘ，ｙ）と、ステップＳ４２において算出されたシェーディング特性の特徴値Ｒ_(A)（ｘ，ｙ）との差分を、重複領域内の全画素について算出し、これらの差分の絶対値和を、シェーディング補正特性Ａについての評価値Ｅ（Ａ）’とする。
Ｅ（Ａ）’＝Σ｜Ｒ（ｘ，ｙ）−Ｒ_(A)（ｘ，ｙ）｜ …（６）

【0104】

或いは、評価値算出部４１２は、特徴値Ｒ（ｘ，ｙ）と特徴値Ｒ_(A)（ｘ，ｙ）との差分の２乗和を評価値Ｅ（Ａ）’として算出しても良い。
評価値算出部４１２は、他のシェーディング補正特性Ｂ等についても同様にして、評価値Ｅ（Ｂ）’等を算出する。

【0105】

なお、画像Ｍ１、Ｍ２間で複数組の重複領域を設定した場合には、重複領域ごとに上記評価値Ｅ（Ａ）’、Ｅ（Ｂ）’を算出した後、重複領域ごとに算出された評価値をシェーディング補正特性ごとに合算した値が、最終的な評価値として用いられる。

【0106】

続くステップＳ４４において、シェーディング補正特性決定部４１３は、ステップＳ４３において算出された評価値に基づいて、シェーディング補正特性を決定する。ここで、シェーディング補正特性Ａ、Ｂ、…が補正対象として想定するシェーディング特性が、画像Ｍ１、Ｍ２に実際に生じていたシェーディング特性と近いほど、評価値Ｅ（Ａ）’、Ｅ（Ｂ）’、…は小さくなる。即ち、評価値Ｅ（Ａ）’、Ｅ（Ｂ）’、…が小さいシェーディング補正特性ほど、被写体Ｓが写った画像のシェーディング補正に、より適合していると言える。

【0107】

そこで、シェーディング補正特性決定部４１３は、複数種類のシェーディング補正特性Ａ、Ｂ、…のうち、評価値Ｅ（Ａ）’、Ｅ（Ｂ）’、…が最も小さいシェーディング補正特性を、画像Ｍ１、Ｍ２の補正に使用するシェーディング補正特性として選択する。或いは、シェーディング補正特性決定部４１３は、上述した変形例１と同様に、シェーディング補正特性Ａ、Ｂ、…を評価値の逆数１／Ｅ（Ａ）’、１／Ｅ（Ｂ）’、…を重みとして加重平均することにより、画像Ｍ１、Ｍ２の補正に使用するシェーディング補正特性を算出しても良い。

【0108】

続くステップＳ４５において、演算部４１は、ステップＳ４４における決定結果（シェーディング補正特性）を出力する。これに応じて、制御部１６は、出力された結果を出力部１５から出力して表示装置に表示させると共に、該決定結果を記憶部１３に記憶させる。この際、制御部１６は、シェーディング補正特性の決定結果を画像Ｍ１、Ｍ２と関連付けて記憶させても良いし、被写体Ｓの種類（例えば、生体組織や臓器の種類等）と関連付けて記憶させても良い。
その後、画像処理装置４０の動作は終了する。

【0109】

以上説明したように、実施の形態４によれば、重複領域に生じているシェーディング特性と、各シェーディング補正特性が補正対象として想定するシェーディング特性との差異を評価するので、該評価の結果に基づいて、入力された画像のシェーディング補正に最適なシェーディング補正特性を決定することができる。従って、被写体により異なるシェーディング特性に応じて画像を高精度にシェーディング補正可能なシェーディング補正特性を取得することができる。

【0110】

また、実施の形態４においては、重複領域Ｄ１、Ｄ２に対するシェーディング補正を実行しないので、実施の形態１よりも演算量を抑制しつつ、入力された画像のシェーディング補正に最適なシェーディング補正特性を決定することができる。

【0111】

（実施の形態５）
次に、本発明の実施の形態５について説明する。
図１２は、本発明の実施の形態５に係る画像処理装置を示すブロック図である。なお、本実施の形態５に係る顕微鏡システム全体の構成は、画像処理装置１０を除いて、図１に示すものと同様である。

【0112】

図１２に示すように、実施の形態５に係る画像処理装置５０は、図９に示す記憶部１３及び演算部１４の代わりに、記憶部５１及び演算部５２を備える。記憶部５１及び演算部５２以外の画像処理装置５０の各部の構成及び動作は、実施の形態４と同様である。

【0113】

記憶部５１は、図９に示す記憶部１３に対し、シェーディング特徴値記憶部５１１をさらに備える。また、演算部５２は、図９に示す評価値算出部４１２の代わりに評価値算出部５２１を備える。

【0114】

ここで、制御部１６の制御の下で動作する顕微鏡装置２（図２参照）においては、被写体Ｓに対する視野をずらしつつ順次撮像を行う際に、隣り合う画像間における重複領域の位置や大きさを予め設定し、該設定に従い、ステージ位置変更部１０４に対して標本ステージ１０３を移動させる移動量及び移動方向を高精度に制御することが可能である。このような制御は、例えば、取得した画像を貼り合わせることにより広視野且つ高精度な合成画像（所謂バーチャルスライド）を作成する際に行われる。

【0115】

そこで、実施の形態５においては、隣り合う画像間における重複領域を予め設定し、シェーディング補正特性記憶部１３３に記憶されたシェーディング補正特性Ａ、Ｂ、…が補正対象として想定するシェーディング特性の各画素位置における特徴値Ｒ_(A)（ｘ，ｙ）、Ｒ_(B)（ｘ，ｙ）、…（図１１Ｂに示すシェーディング特性の比Ｇ₂（ｘ，ｙ）／Ｇ₁（ｘ，ｙ））をそれぞれ算出しておく。シェーディング特徴値記憶部５１１は、このように予め算出された特徴値Ｒ_(A)（ｘ，ｙ）、Ｒ_(B)（ｘ，ｙ）、…が記録されたテーブルを記憶している。

【0116】

評価値算出部５２１は、複数の画像間において互いに対応する重複領域内の画素の特性に基づく評価値として、シェーディング特徴値算出部４１１において算出された特徴値と、シェーディング特徴値記憶部５１１に記憶された特徴値Ｒ_(A)（ｘ，ｙ）、Ｒ_(B)（ｘ，ｙ）、…との差異を表す量を算出する。

【0117】

次に、画像処理装置５０の動作を説明する。図１３は、画像処理装置５０の動作を示すフローチャートである。なお、図１３に示すステップＳ４０、Ｓ４１は、実施の形態４と同様である。

【0118】

ステップＳ４１に続くステップＳ５１において、評価値算出部５２１は、重複領域の位置において、シェーディング補正特性記憶部１３３に記憶された各シェーディング補正特性Ａ、Ｂ、…が補正対象として想定するシェーディング特性の特徴値Ｒ_(A)（ｘ，ｙ）、Ｒ_(B)（ｘ，ｙ）、…を、シェーディング特徴値記憶部５１１から取得する。
続くステップＳ４３〜Ｓ４５は、実施の形態４と同様である。

【0119】

以上説明したように、実施の形態５によれば、重複領域に生じているシェーディング特性と、各シェーディング補正特性が補正対象として想定するシェーディング特性との差異を評価する際に、予め記憶部１３に記憶された特徴値を用いるので、被写体により異なるシェーディング特性に応じて画像を高精度にシェーディング補正可能なシェーディング補正特性を、演算量を抑えつつ高速に決定することができる。

【0120】

（実施の形態６）
次に本発明の実施の形態６について説明する。
図１４は、本発明の実施の形態６に係る画像処理装置を示すブロック図である。なお、本実施の形態６に係る顕微鏡システム全体の構成は、画像処理装置１０を除いて、図１に示すものと同様である。

【0121】

図１４に示すように、実施の形態６に係る画像処理装置６０は、図１に示す演算部１４の代わりに、演算部６１を備える。演算部６１以外の画像処理装置６０の各部の構成及び動作は、実施の形態１と同様である。

【0122】

演算部６１は、シェーディング特徴値算出部４１１と、評価値算出部４１２と、シェーディング補正特性決定部４１３と、補正画像生成部６１１と、画像合成部６１２とを備える。このうち、シェーディング特徴値算出部４１１、評価値算出部４１２及びシェーディング補正特性決定部４１３の動作は、実施の形態４と同様である。

【0123】

補正画像生成部６１１は、被写体Ｓに対する視野をずらして撮像された複数の画像の各々に対し、シェーディング補正特性決定部４１３により決定されたシェーディング補正特性を施すことにより補正画像を生成する。

【0124】

画像合成部６１２は、補正画像生成部６１１により生成された補正画像を貼り合わせることにより、被写体Ｓが写った広視野且つ高精細な合成画像を生成する。

【0125】

次に、本発明の画像処理装置６０の動作を説明する。図１５は、画像処理装置６０の動作を示すフローチャートである。なお、図１５に示すステップＳ４０〜Ｓ４４は、実施の形態４と同様である。

【0126】

ステップＳ４４に続くステップＳ６１において、補正画像生成部６１１は、画像入力部１１から出力された各画像の補正画像を生成する。より詳細には、補正画像生成部６１１は、画像入力部１１から出力された画像を取り込むと共に、シェーディング補正特性決定部４１３により決定されたシェーディング補正特性をシェーディング補正特性記憶部１３３から読み出し、取り込んだ画像に対して、該シェーディング補正特性を用いてシェーディング補正を施す。

【0127】

続くステップＳ６２において、画像合成部６１２は、補正画像生成部６１１により生成された複数の補正画像を、対応する重複領域同士が重なるように位置合わせをして貼り合わせることにより、合成画像を生成する。

【0128】

続くステップＳ６３において、演算部６１は、画像合成部６１２により生成された合成画像を出力する。これに応じて、制御部１６は、出力された合成画像を出力部１５から出力して表示装置に表示させると共に、該合成画像を記憶部１３に記憶させる。
その後、画像処理装置６０の動作は終了する。

【0129】

以上説明したように、実施の形態６によれば、重複領域に生じているシェーディング特性と、各シェーディング補正特性が補正対象として想定するシェーディング特性との差異を評価するので、該評価の結果に基づいて、入力された画像のシェーディング補正に最適なシェーディング補正特性を決定することができる。そのため、このシェーディング補正特性を用いることにより、被写体により異なるシェーディング特性に応じて、高精度なシェーディング補正がなされた補正画像を生成することができる。従って、そのような補正画像同士を貼り合わせることにより、シェーディングの影響が高精度に除去された広視野且つ高精細の合成画像を生成することが可能となる。

【0130】

（変形例６−１）
上記実施の形態６においては、画像合成部６１２により生成された合成画像を出力することとしたが、補正画像生成部６１１により生成された補正画像を単独で（別の補正画像と貼り合わせることなく）出力しても良い。この場合、補正画像生成部６１１は、共通する重複領域を含む全ての画像を補正する必要はなく、例えばユーザにより入力部１２を介して入力された情報に従って、必要な画像のみを補正しても良い。この場合、ユーザは、シェーディングが高精度に補正された所望の画像を取得することができる。

【0131】

（変形例６−２）
上記実施の形態６において説明した補正画像生成部６１１及び画像合成部６１２を、実施の形態５において説明した演算部５２に設けても良い。この場合、シェーディング補正特性を決定する際の演算量を抑制しつつ高速に、補正画像及び合成画像を生成することが可能となる。

【0132】

本発明は、上述した各実施の形態１〜６及び変形例そのままに限定されるものではなく、各実施の形態１〜６及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１〜６及び変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

【符号の説明】

【0133】

１ 顕微鏡システム
２ 顕微鏡装置
１０、２０、３０、４０、５０、６０ 画像処理装置
１１ 画像入力部
１２ 入力部
１３、５１ 記憶部
１４、２１、３１、４１、５２、６１ 演算部
１５ 出力部
１６ 制御部
３１ 演算部
４０ 画像処理装置
１００ アーム
１０１ 落射照明ユニット
１０１ｂ 落射照明光学系
１０１ａ 落射照明用光源
１０２ 透過照明ユニット
１０２ｂ 透過照明光学系
１０２ａ 透過照明用光源
１０３ 標本ステージ
１０４ ステージ位置変更部
１０５ 位置検出部
１０６、１０６’ 対物レンズ
１０７ レボルバ
１０８ 鏡筒
１０９ 三眼鏡筒ユニット
１１０ 接眼レンズユニット
１１１ 画像取得部
１３１ プログラム記憶部
１３２ 画像データ記憶部
１３３ シェーディング補正特性記憶部
１４１ 補正部
１４２、４１２、５２１ 評価値算出部
１４３、４１３ シェーディング補正特性決定部
２１１、３１１、６１１ 補正画像生成部
２１２、６１２ 画像合成部
４１１ シェーディング特徴値算出部
５１１ シェーディング特徴値記憶部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】

【図15】