(58)【調査した分野】(Int.Cl.,DB名)
ステージ上に載置されたサンプルからの光を対物レンズによって集光し、この集光した光をもとに前記サンプルの像を撮像することによって観察用の画像データを生成する顕微鏡であって、
前記サンプルからの光を受光する複数の画素を有し、前記サンプルの像を撮像して画像データを取得する撮像素子と、
前記撮像素子が取得した前記サンプルの像に対し、少なくとも画像データ中の輝度値の階調範囲における所定値より小さい輝度値を有する部分に対してトーンカーブを用いたγ補正を施して、表示用画像データおよび合焦用画像データを生成する画像処理部と、
前記画像処理部でγ補正された前記表示用画像データを表示する表示部と、
前記画像処理部でγ補正された前記合焦用画像データに基づき、前記サンプルの像を自動的に合焦する制御を行う制御部と、
を備え、
前記画像処理部は、前記表示部に表示する前記表示用画像データに対して施されたγ補正のγ値よりも小さいγ値を用いて前記合焦用画像データを生成することを特徴とする顕微鏡。
前記画像処理部は、前記画像データ中の輝度値の階調範囲における所定値以上の輝度値を有する部分のγ値がγ>1であるS字状のトーンカーブを用いて前記合焦用画像データを生成することを特徴とする請求項1に記載の顕微鏡。
【背景技術】
【0002】
近年、顕微鏡の分野では、オートフォーカス(AF)機能を有するデジタルカメラ等の撮像装置を搭載し、撮像装置が撮像した画像(観察画像)を表示部で表示する構成を有するものが知られている。撮像装置のAF処理では、CCD等の撮像素子における隣接画素を比較してコントラスト演算を行い、そのコントラスト演算値が最大となる位置を合焦位置とする方法(コントラストAF)が実用化されている。
【0003】
顕微鏡観察におけるコントラストAFでは、電気制御によって上下方向(Z方向)に移動するステージなどの焦準部の位置(以下、Z位置と呼ぶ)を変えながら撮像を行った後、CPUなどの制御部からZ位置情報を取得し、そのZ位置情報を画像の位置情報として登録し、コントラスト演算の結果からコントラスト値が最大となる合焦位置を探す山登り法が広く実用化されている。この山登り法におけるコントラスト演算では、隣接画素の差分または隣接画素の差分の自乗を画素全体または指定した範囲で平均化することによって算出するのが一般的である。
【0004】
コントラストAFの一例として、ステージをAF開始位置から細かいピッチで移動させながら、コントラストAFを行う技術が開示されている(例えば、特許文献1を参照)。この技術では、コントラストAFを高速化するために、ステージの駆動ピッチが大きい粗フォーカス動作(以下、Roughスキャンと呼ぶ)と、ステージの駆動ピッチが小さい密フォーカス動作(以下、Fineスキャンと呼ぶ)との2種類のAF処理を行う。より具体的に、この技術では、Roughスキャンで大まかな合焦位置を見つけた後に、Fineスキャンで正確な合焦位置を見つけている。
【0005】
例えば、焦準部をZ方向に駆動し、Roughスキャンによってコントラストのピーク(閾値を超える位置)を検出し、この検出したピーク位置からFineスキャンによってサンプルSpにおける合焦位置を見つける。
図13は、従来のコントラストAFを説明するための図であって、コントラスト曲線の一例を示す図である。
【0006】
ところで、撮像するサンプルが凹凸形状を有する場合、照明光を照射した際の反射面と非反射面との光の反射率の差が大きいため、反射面に合わせて露光条件を設定すると、画像の非反射面に応じた部分が暗くなり、非反射面に合わせて露光条件を設定すると、画像の反射面に応じた部分が明るくなる。この結果、観察画像において凹凸形状を鮮明に表現できないという問題があった。
【0007】
これに対し、撮像された画像に対して階調変換などの補正処理、例えば、階調変換補正(トーンカーブ補正)により、画像における濃淡の補正を行うことで、凹凸形状を鮮明な画像として生成するようにしていた。なお、階調変換補正(トーンカーブ補正)では、階調の応答特性を示すγ値に応じたカーブ(トーンカーブ)に基づいて、入力画像を階調変換して、画像における濃淡の補正を行うもので、一般的には、γ値をγ>1としてトーンカーブ補正を施すことによって、画像中の暗部を明るくするような補正を行っている。
【0008】
また、凹凸形状を鮮明な画像として生成する別の方法として、露光条件を変えて撮像した複数の撮像画像を合成して観察画像を生成する技術が知られている(例えば、特許文献2を参照)。
【発明を実施するための形態】
【0023】
以下、本発明を実施するための形態を図面と共に詳細に説明する。なお、以下の実施の形態により本発明が限定されるものではない。また、以下の説明において参照する各図は、本発明の内容を理解し得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本発明は各図で例示された形状、大きさ、および位置関係のみに限定されるものではない。
【0024】
(実施の形態1)
図1は、本発明の実施の形態1にかかる顕微鏡の全体構成を示す模式図である。同図に示す顕微鏡1は、オートフォーカス(AF)機能を有しており、顕微鏡架台2、ステージ3、投光管4、撮像装置5、制御装置6、表示装置7を備える。
【0025】
顕微鏡架台2は、ステージ3を固定して支持するステージ支持部21と、投光管4を上下動可能に支持する投光管支持部22と、投光管4の上下動を制御する駆動モータ制御部23とを有する。
【0026】
駆動モータ制御部23は、制御装置6から送られてくるモータ駆動量に基づいて、投光管4が有する駆動モータ45を駆動させることにより、投光管4および撮像装置5を上下動させる。
【0027】
投光管4は、結像光学系41と、光源42と、光源制御部43と、ハーフミラー44と、駆動モータ45と、を有する。投光管4は、対物レンズ8を保持する。
【0028】
光源42から出射した光は、ハーフミラー44で反射して対物レンズ8を経由してステージ3に載置されたサンプルSpへ照射される。これに対し、サンプルSpによって反射された光は、対物レンズ8からハーフミラー44を経由し、結像光学系41を通過して撮像素子51で集光されて電気信号へ光電変換される。
【0029】
駆動モータ45は、投光管4および撮像装置5を駆動する駆動手段の機能を有する。以下、投光管4および撮像装置5をまとめて「ヘッド部」という。
【0030】
撮像装置5は、CCDまたはCMOS等の撮像素子51と、撮像素子51が取得した信号に対してA/D変換等の信号処理を施す信号処理部52と、撮像装置5(撮像素子51および信号処理部52)の動作を制御する撮像制御部53とを有する。
【0031】
制御装置6は、入力部61と、コントラスト演算部62と、画像処理部63と、記憶部64と、制御部65とを有する。コントラスト演算部62は、撮像装置5から画像データを受信し、該画像データのコントラスト値を算出するコントラスト演算を行う。
【0032】
画像処理部63は、例えば、ホワイトバランス(WB)調整処理、ゲイン調整処理、γ補正処理、D/A変換処理、フォーマット変更処理などを行う。また、画像処理部63は、画像の生成にかかるモードが、複数枚合成モードに設定されている場合、対象の画像(露光条件が互いに異なる画像信号)を合成して、一枚の観察画像を生成する。以下、画像中の輝度値の階調範囲における所定値(例えば中央値)を境界として、この中央値より小さい輝度値を有する部分を暗部、中央値以上の輝度値を有する部分を明部という。
【0033】
ホワイトバランス調整処理では、RGB画像信号のホワイトバランスを自動的に調整する。具体的には、ホワイトバランス調整処理は、RGB画像信号に含まれる色温度に基づいて、RGB画像信号のホワイトバランスを自動的に調整する。
【0034】
ゲイン調整処理では、RGB画像信号のゲイン調整を行う。γ補正処理では、RGB画像信号の階調補正(γ補正)を行う。このとき、画像処理部63は、表示装置7に表示させる画像データ(表示用画像データ)と、制御部65による合焦処理時に用いる画像データ(合焦用画像データ)とについて、それぞれ異なるγ値を用いてγ補正を行う。本実施の形態1では、合焦用画像データに対するγ値において、階調の応答特性を示すγ値は全入力に対してγ値がγ<1となるように設定されている。一方、表示用画像データに対するγ値は、例えばγ>1に設定されている。そして、このγ値に応じたトーンカーブに基づいて、撮像装置5で取得された画像の階調補正を行う。なお、合焦用画像データに対するγ補正において、階調の応答特性を示すγ値は、γ<1となるように設定するとしたが、γ<1の領域を含む任意の値でも設定できる。
【0035】
D/A変換処理では、階調補正後のRGB画像信号をアナログ信号に変換する。フォーマット変更処理では、アナログ信号に変換された画像信号を所定のファイルフォーマットに変更して表示装置7に出力する。
【0036】
記憶部64は、顕微鏡1の動作を制御するプログラム(アプリケーションソフトウェア)を記憶する。また、記憶部64は、撮像処理にかかる情報(フレームレート、露光時間(シャッタ速度)、光源42の明るさ(ゲイン)など)を記憶する。記憶部64は、例えばフラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体および該記録媒体を駆動する駆動装置等によって実現される。
【0037】
制御部65は、CPU等を用いて構成され、顕微鏡1全体の動作を統括的に制御する。制御部65は、サンプルSpの像を自動的に合焦するオートフォーカスを行う。制御部65は、コントラスト演算部62による演算結果の最大値および該最大値をとるときのZ座標等を記憶部64に書き込んで記憶させる。制御部65は、光源制御部43に対して光源42の明るさを調整するための指示信号を送信する。
【0038】
表示装置7は、表示用画像データに応じた顕微鏡画像等を表示するモニタ画面と、顕微鏡操作用GUIタッチパネルとを有する。タッチパネルは、モニタ画面上に積層され、外部からの接触位置に応じた入力信号を受け付ける。
【0039】
以上の構成を有する顕微鏡1では、タッチパネルを介してオートフォーカス(AF)処理を行う旨の指示が入力部61に入力された場合、制御部65の制御のもと、AF処理を実行する。
図2は、本実施の形態1にかかる顕微鏡1が行うAF処理を示すフローチャートである。
【0040】
まず、制御部65は、オートフォーカス(AF)処理を行う旨の指示が入力されると、現在設定されているモードが、複数枚合成モードであるか否かを判断する(ステップS101)。ここで、制御部65は、複数枚合成モードに設定されていると判断した場合(ステップS101:Yes)、複数枚合成モードの設定をオフにする(ステップS102)。その後、制御部65は、ステップS103に移行する。
【0041】
一方、設定モードが、複数枚合成モードではないと判断した場合(ステップS101:No)、制御部65は、ステップS103に移行する。
【0042】
制御部65は、複数枚合成モードが未設定の状態において、階調変換関数のγ値をγ<1に設定する(ステップS103)。その後、制御部65は、後述する合焦処理を行う(ステップS104)。合焦処理完了後、制御部65は、γ値をステップS103における設定前の値に再設定する(ステップS105)。
【0043】
その後、制御部65は、設定すべきモードが複数枚合成モードであるか否かを判断する(ステップS106)。ここで、制御部65は、設定すべきモードが複数枚合成モードである場合(ステップS106:Yes)、複数枚合成モードをオンにして処理を終了する(ステップS107)。一方で、制御部65は、設定すべきモードが複数枚合成モードでない場合(ステップS106:No)、モードの再設定を行わずに処理を終了する。
【0044】
ここで、
図2のステップS104における合焦処理について
図3,4を参照して説明する。
図3は、本実施の形態1にかかる顕微鏡が行う合焦処理を示すフローチャートである。
図4は、本実施の形態1にかかる顕微鏡が行う合焦処理を説明する図である。
【0045】
制御部65は、駆動モータ制御部23に対して信号を送り、ヘッド部が予め決まっている開始位置に移動するように駆動モータ45を駆動する(ステップS201)。ヘッド部は、例えば、駆動モータ45の駆動によって、AF範囲/2の距離を、Near方向に向かって移動する。
【0046】
次に、制御部65は、駆動モータ制御部23に対して、予め決まっている粗サーチピッチで駆動モータ45を駆動する指示信号を出力する(ステップS202)。ヘッド部は、駆動モータ45の駆動により、粗サーチピッチでFar方向に移動する。
【0047】
続いて、制御部65は、撮像装置5が撮像した画像データを取得し(ステップS203)、この画像データに対してγ補正処理を施す(ステップS204)。その後、γ補正処理が施された画像データ(合焦用画像データ)に対してコントラスト演算を行う(ステップS205)。ここで、コントラスト演算に用いる画像データは、画像処理部63によって少なくともγ補正が施されている。これにより、粗サーチによるコントラスト曲線CAを得る。
【0048】
その後、制御部65は、サーチ終了条件が成立するか否かを判定する(ステップS206)。サーチ終了条件の条件式は、以下の式(1)で与えられる。
コントラスト演算のピーク値×1/2>現在のコントラスト値 ・・・(1)
なお、左辺の1/2の代わりに1より小さい別の値を適用してもよい。また、サーチ終了条件として式(1)を適用する代わりに、例えばピーク値を超えてから所定回数連続してコントラスト演算の値が小さくなった場合にサーチを終了するようにしてもよい。
【0049】
ステップS206でサーチ条件が成立する場合(ステップS206:Yes)、制御部65はステップS207へ移行する。一方、ステップS206でサーチ条件が成立しない場合(ステップS206:No)、制御部65はステップS202へ戻る。
【0050】
ステップS207において、制御部65は、検出したピーク位置(検出ピーク位置)からNear方向へ所定距離Dp戻した位置である微サーチ開始位置を算出する(ステップS207)。
【0051】
続いて、制御部65は、駆動モータ制御部23に信号を送り、駆動モータ45を駆動させて、ステップS207で算出した微サーチ開始位置にヘッド部を移動させる(ステップS208)。
【0052】
その後、制御部65は、駆動モータ制御部23に対して信号を送信し、予め決まっている微サーチピッチで駆動モータ45を駆動させる(ステップS209)。この後、制御部65は、撮像装置5が撮像した画像データを取得し(ステップS210)、コントラスト演算を行う(ステップS211)。ここで、コントラスト演算に用いる画像データは、画像処理部63によって少なくともγ補正が施されている。これにより、微サーチによるコントラスト曲線CBを得る。
【0053】
続いて、制御部65は、上記式(1)のサーチ終了条件が成立するか否かを判定する(ステップS212)。判定の結果、サーチ終了条件が成立する場合(ステップS212:Yes)、ヘッド部を検出ピーク位置へ移動させ(ステップS213)、一連の合焦処理を終了する。一方、ステップS211でサーチ条件が成立しない場合(ステップS212:No)、制御部65はステップS209へ戻る。
【0054】
ここで、最大輝度値をI
MAX、xを画像処理部63に入力される画像データの輝度値、yを画像処理部63から出力される画像データの輝度値としたとき、γ値は、下記式(2)を参照して設定されることが好ましい。
【数1】
【0055】
図5は、本実施の形態1において補正処理が施される前の画像の一例を示す図である。
図6は、本実施の形態1において補正処理が施された後の画像の一例を示す図である。
図7は、従来の補正処理が施された後の画像の一例を示す図である。
図5〜
図7において、(a)は実際に撮像された画像を示し、(b)はγ値がγ=1(
図5)、γ<1(
図6)、γ>1(
図7)における信号の入出力の関係(トーンカーブ)を示すグラフであり、(c)は(a)中の点A
0と点B
0とを結ぶ直線上、点A
1と点B
1とを結ぶ直線上、点A
2と点B
2とを結ぶ直線上の各画素が出力する信号強度を示す画素−信号強度グラフ(輝度プロファイル)である。
【0056】
図6(a)に示すγ<1でγ補正された画像は、
図5(a)に示す補正前の画像(γ=1でγ補正された画像)と比して濃淡が明確になっている。また、
図6(c)の輝度プロファイルでは、
図5(c)の輝度プロファイルと比してピークと暗部との差が大きく、より大きいコントラストが得られることがわかる。これにより、γ<1でγ補正した画像によって、暗部におけるノイズを小さくした画像を得ることができる。この結果、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制することができる。
【0057】
一方で、
図7(a)に示すγ>1でγ補正された画像は、
図5(a)に示す補正前の画像(γ=1でγ補正された画像)と比して濃淡が明確になっているものの、
図7(c)の輝度プロファイルでは、
図5(c)の輝度プロファイルと比して、暗部における強度変化が大きく、暗部のノイズが大きいことがわかる。
【0058】
上述した本実施の形態1によれば、AF処理において、γ<1に設定してγ補正を施した画像を用いてコントラストを演算するようにしたので、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制し、階調変換などの補正処理や露光条件を変えて撮像した複数の撮像画像を合成して観察画像を生成する場合であっても、迅速かつ正確なオートフォーカス処理を実行することができる。
【0059】
なお、本実施例の形態1では、AF処理において、γ<1に設定してγ補正を施した画像を用いてコントラストを演算するものとして説明したが、AF処理時におけるγ値が、観察画像の表示時(観察時)におけるγ値よりも小さければよい。
【0060】
(実施の形態2)
図8は、本発明の実施の形態2にかかる顕微鏡1aの全体構成を示す模式図である。なお、
図1等で説明した構成と同一の構成要素には、同一の符号が付してある。実施の形態2にかかる顕微鏡1aでは、上述した制御装置6に代えて、画像処理部63aと、制御部65aとを有する制御装置6aを備える。
【0061】
画像処理部63aは、上述した画像処理部63と同様に、例えば、ホワイトバランス(WB)調整処理、ゲイン調整処理、γ補正処理、D/A変換処理、フォーマット変更処理などを行う。また、画像処理部63aは、画像の生成にかかるモードが、複数枚合成モードに設定されている場合、対象の画像を合成して、一枚の観察画像を生成する。画像処理部63aは、合焦用画像データにかかるγ補正を行う際、暗部側がγ<1、明部側がγ>1となるS字のトーンカーブを用いて補正処理を施す。
【0062】
制御部65aは、CPU等を用いて構成され、顕微鏡1a全体の動作を統括的に制御する。制御部65aは、サンプルSpの像を自動的に合焦するオートフォーカスを行う。制御部65aは、コントラスト演算部62による演算結果の最大値および該最大値をとるときのZ座標等を記憶部64に書き込んで記憶させる。制御部65は、光源制御部43に対して光源42の明るさを調整するための指示信号を送信する。
【0063】
顕微鏡1aでは、タッチパネルを介してAF処理を行う旨の指示が入力部61に入力された場合、制御部65aの制御のもと、AF処理を実行する。
図9は、本実施の形態2にかかる顕微鏡1aが行うAF処理を示すフローチャートである。
【0064】
まず、制御部65aは、AF処理を行う旨の指示が入力されると、現在設定されているモードが、複数枚合成モードであるか否かを判断する(ステップS301)。ここで、制御部65aは、複数枚合成モードに設定されていると判断した場合(ステップS301:Yes)、複数枚合成モードの設定をオフにする(ステップS302)。その後、制御部65aは、ステップS303に移行する。
【0065】
一方、設定モードが、複数枚合成モードではないと判断した場合(ステップS301:No)、制御部65aは、ステップS303に移行する。
【0066】
制御部65aは、複数枚合成モードが未設定の状態において、階調変換関数のグラフをS字のトーンカーブに設定する(ステップS303)。その後、制御部65aは、S字のトーンカーブによるγ補正が施された合焦用の画像データを用いて、上述した合焦処理を行う(ステップS304)。
【0067】
合焦処理完了後、制御部65aは、γ値(階調変換関数のグラフ)をステップS303における設定前の値に再設定する(ステップS305)。
【0068】
その後、制御部65aは、設定すべきモードが複数枚合成モードであるか否かを判断する(ステップS306)。ここで、制御部65aは、設定すべきモードが複数枚合成モードである場合(ステップS306:Yes)、複数枚合成モードをオンにして処理を終了する(ステップS307)。一方で、制御部65aは、設定すべきモードが複数枚合成モードでない場合(ステップS306:No)、モードの再設定を行わずに処理を終了する。
【0069】
図10は、本実施の形態2において補正処理が施される前の画像の一例を示す図である。ここで、
図10(a)は実際に撮像された画像を示し、
図10(b)は階調変換関数のグラフがS字のトーンカーブである場合における信号の入出力の関係を示すグラフであり、
図10(c)は
図10(a)中の点A
3と点B
3とを結ぶ直線上の各画素が出力する信号強度を示す画素−信号強度グラフ(輝度プロファイル)である。
【0070】
図10(a)に示すS字のトーンカーブでγ補正された画像は、
図5(a)に示す補正前の画像(γ=1でγ補正された画像)と比して濃淡が明確になっている。また、
図10(c)の輝度プロファイルでは、
図5(c)の輝度プロファイルと比してピークと暗部との差が大きく、より大きいコントラストが得られることがわかる。これにより、S字のトーンカーブでγ補正した画像によって、暗部におけるノイズを小さくした画像を得ることができる。この結果、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制することができる。
【0071】
上述した本実施の形態2によれば、AF処理において、S字のトーンカーブでγ補正を施した画像を用いてコントラストを演算するようにしたので、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制し、階調変換などの補正処理や露光条件を変えて撮像した複数の撮像画像を合成して観察画像を生成する場合であっても、迅速かつ正確なオートフォーカス処理を実行することができる。
【0072】
また、上述した本実施の形態2によれば、S字のトーンカーブによってγ補正を施して暗部のノイズを低減するとともに、明部の輝度値を上げることによって、合焦位置から外れた位置でのコントラストを小さくするとともに、合焦位置におけるコントラストを大きくすることができる。これにより、偽合焦を抑制することができる。
【0073】
(実施の形態3)
図11は、本発明の実施の形態3において補正処理が施される前の画像の一例を示す図である。
図12は、本実施の形態3において補正処理が施された後の画像の一例を示す図である。
図11,12において、(a)は実際に撮像された画像を示し、(b)は(a)中の点A
10と点B
10とを結ぶ直線上および点A
4と点B
4とを結ぶ直線上の各画素が出力する信号強度を示す画素−信号強度グラフ(輝度プロファイル)であり、(c)は(b)に示す画素−信号強度グラフにおける各輝度値の頻度を示す輝度値−頻度グラフ(ヒストグラム)である。実施の形態3では、合焦用画像データに対し、上述した実施の形態1,2の画像処理部63または63aがγ補正に代えて、ヒストグラム補正を行う。
【0074】
図12(a)に示すヒストグラム補正された画像は、
図11(a)に示す補正前の画像と比して濃淡が明確になっている。また、
図12(b)の輝度プロファイルでは、
図11(b)の輝度プロファイルと比してピークの頂点が平坦化され、より大きいコントラストが得られることがわかる。また、
図12(c)のヒストグラムでは、
図11(c)のヒストグラムと比して輝度値の頻度が平坦化されていることがわかる。これにより、ヒストグラム補正を施した画像によって、暗部におけるノイズを小さくした画像を得ることができる。この結果、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制することができる。
【0075】
上述した本実施の形態3によれば、AF処理において、ヒストグラム補正を施した画像を用いてコントラストを演算するようにしたので、焦点位置から外れた位置で撮像した場合であっても、コントラストが不要に大きくなることを抑制し、階調変換などの補正処理や露光条件を変えて撮像した複数の撮像画像を合成して観察画像を生成する場合であっても、迅速かつ正確なオートフォーカス処理を実行することができる。
【0076】
また、上述した本実施の形態3によれば、ヒストグラム補正を施して明部の輝度値を上げることによって、合焦位置におけるコントラストを大きくすることができる。これにより、偽合焦を抑制することができる。
【0077】
また、上述した実施の形態では、正立型の顕微鏡を例に説明したが、例えば、AF処理を行ってサンプルのサンプル像を撮像する倒立型の顕微鏡、サンプルを撮像する撮像機能および画像を表示する表示機能を備えた撮像装置、例えば、ビデオマイクロスコープ等であっても、本発明を適用することができる。
【0078】
以上のように、本発明にかかる顕微鏡は、迅速かつ正確なオートフォーカス処理を実行することに有用である。