(58)【調査した分野】(Int.Cl.,DB名)
前記入力部は、前記表示部が表示する前記画像内の領域および/または前記表示部が表示する色情報選択情報から前記指示信号の入力を受け付けることを特徴とする請求項1または2に記載の撮像装置。
前記撮像部が連続して生成する前記画像データに前記特定色に関する情報を対応付けて、該画像データを生成順に記憶する画像データ記憶部をさらに備えたことを特徴とする請求項4〜7のいずれか一つに記載の顕微鏡システム。
【発明を実施するための形態】
【0020】
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、以下においては、本発明の撮像装置を備えた顕微鏡システムを例に説明する。さらに、以下において、特定色強調処理とは、画像上の各画素の色相や彩度を変えることで特定の色の部位をその他の部位よりも目立たせる処理の総称である。色変換処理とは、特定色強調処理の為に各色に対して行う色相変換または彩度変換といった各種処理のことである。色変換設定とは、色変換処理のことである。また、色空間上で同じ色変換設定を持つもの同士をグループ分けした領域を色変換領域といい、色変換領域の分け方を色変換領域設定という。さらに、ある色がどの色変換領域に属するかを判定する処理を色変換領域判定処理という。さらにまた、色変換領域設定と色変換設定とを総称して特定色強調設定という。なお、図面の記載において、同一の部分には同一の符号を付して説明する。
【0021】
(実施の形態1)
図1は、本発明の実施の形態1にかかる顕微鏡システムの構成の一例を示す概念図である。
図2は、本発明の実施の形態1にかかる顕微鏡システムの機能構成を示すブロック図である。なお、
図1および
図2において、顕微鏡システム1が載置される平面をXY平面とし、XY平面と垂直な方向をZ方向として説明する。
【0022】
図1および
図2に示すように、顕微鏡システム1は、標本試料Sを観察する顕微鏡装置2と、顕微鏡装置2を駆動制御する顕微鏡制御部3と、顕微鏡装置2を介して標本試料Sを撮像して画像データを生成する撮像部4と、撮像部4の駆動を制御する撮像制御部5と制御端末7および撮像制御部5を介して撮像部4が撮像した画像データに対応する画像を表示するとともに、顕微鏡システム1の各種の操作の入力を受け付ける表示入力部6と、顕微鏡システム1の各部を制御する制御端末7と、を備える。顕微鏡装置2、顕微鏡制御部3、撮像制御部5、表示入力部6および制御端末7は、データが送受信可能に有線または無線で接続されている。
【0023】
顕微鏡装置2は、標本試料Sが載置されるステージ21と、側面視略C字状をなし、ステージ21を支持するとともに、レボルバ22を介して対物レンズ23を保持する顕微鏡本体部24と、標本試料Sに光を照射する落射照明用光源25と、を備える。
【0024】
ステージ21は、XYZ方向に移動自在に構成されている。ステージ21は、ステージ駆動部211によってXY平面内で移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないXY位置の原点センサによってXY平面における所定の原点位置を検出し、この原点位置を基点としてステージ駆動部211の駆動量が制御されることによって、標本試料S上の観察箇所(観察領域)を移動する。ステージ21は、観察時のX位置およびY位置に関する位置信号(XY座標)を顕微鏡制御部3に出力する。また、ステージ21は、モータ212によってZ方向に移動自在である。ステージ21は、顕微鏡制御部3の制御のもと、図示しないZ位置の原点センサによってステージ21のZ方向における所定の原点位置を検出し、この原点位置を基点としてモータ212の駆動量が制御されることによって、所定の高さ範囲内の任意のZ位置に標本試料Sを焦準移動させる。ステージ21は、観察時のZ位置に関する位置信号を顕微鏡制御部3に出力する。
【0025】
レボルバ22は、顕微鏡本体部24に対してスライド自在または回転自在に設けられ、対物レンズ23を標本試料Sの上方に配置する。レボルバ22は、ノーズピースやスイングレボルバ等を用いて構成される。レボルバ22は、マウンタ221によって倍率(観察倍率)が異なる複数の対物レンズ23を保持する。レボルバ22は、観察光の光路上に挿入されて標本試料Sの観察に用いる対物レンズ23を択一的に切換えるため、マウンタ221を回転自在またはスライド自在にさせるレボルバ駆動部222と、レボルバ22の接続状態等を検出するレボルバ検出部223と、を有する。
【0026】
レボルバ駆動部222は、顕微鏡制御部3の制御のもと、マウンタ221を回転またはスライドさせる。レボルバ検出部223は、レボルバ22が顕微鏡本体部24に接続されていることを検知するレボルバ接続センサ(図示せず)と、対物レンズ23が観察光の光路上に挿入された対物レンズ23の種類を識別するレボルバセンサ(図示せず)と、対物レンズ23が観察光の光路上に挿入されたことを検知する移動完了センサ(図示せず)と、を有する。レボルバ検出部223は、各種センサが検出した検出結果を顕微鏡制御部3へ出力する。
【0027】
対物レンズ23は、たとえば1倍,2倍,4倍の比較的倍率の低い対物レンズ231(以下、「低倍対物レンズ231」という)と、10倍,20倍,40倍の低倍対物レンズ231の倍率に対して高倍率である対物レンズ232(以下、「高倍対物レンズ232」という)とを少なくとも一つずつマウンタ221に装着される。なお、低倍対物レンズ231および高倍対物レンズ232の倍率は一例であり、高倍対物レンズ232が低倍対物レンズ231に対して倍率が高ければよい。
【0028】
顕微鏡本体部24は、ファイバー251を介して落射照明用光源25から出射された照明光L1(以下、「落射照明光L1」という)を集光する照明レンズ241と、落射照明光L1の光路を対物レンズ23の光軸に沿って偏向させるハーフミラー242と、標本試料Sを拡大するズームレンズ部243と、対物レンズ23、ズームレンズ部243およびハーフミラー242を介して入射される標本試料Sの反射光を集光して観察像を結像する結像レンズ244とが内部に設けられている。
【0029】
ズームレンズ部243は、1または複数のレンズからなり、標本試料Sに対してズーム可能なズーム光学系243aと、ズーム光学系243aを光軸に沿って駆動するズーム駆動部243bとを有する。ズーム駆動部243bは、顕微鏡制御部3の制御のもと、ズーム光学系243aを光軸に沿って移動させることにより、ズームレンズ部243のズーム倍率を変更する。
【0030】
落射照明光L1は、照明レンズ241、ハーフミラー242、ズーム光学系243aおよび対物レンズ23を経て標本試料Sに照射される。標本試料Sで反射した反射光L2(以下、「観察光L2」という)は、対物レンズ23、ズーム光学系243a、ハーフミラー242および結像レンズ244を経て撮像部4に入射する。
【0031】
落射照明用光源25は、ハロゲンランプ、キセノンランプまたはLED(Light Emitting Diode)等によって構成される。落射照明用光源25は、ファイバー251を介して標本試料Sの観察像を形成するための落射照明光L1を顕微鏡本体部24に出射する。
【0032】
顕微鏡制御部3は、CPU(Central Processing Unit)等を用いて構成され、制御端末7の制御のもと、顕微鏡装置2を構成する各部の動作を統括的に制御する。具体的には、顕微鏡制御部3は、レボルバ駆動部222を駆動することにより、マウンタ221を回転させて観察光L2の光路上に配置する対物レンズ23を切換える切換処理、ステージ駆動部211またはモータ212を駆動することにより、ステージ21の駆動処理、および標本試料Sの観察に伴う顕微鏡装置2の各部の調整を行う調整処理等を行う。また、顕微鏡制御部3は、顕微鏡装置2を構成する各部の状態、たとえばステージ21の位置情報(XY位置、Z位置)およびレボルバ22に装着された対物レンズ23の種類情報等を制御端末7に出力する。
【0033】
撮像部4は、所定の視野領域から光を集光して被写体である標本試料Sを結像する複数のレンズ群と、レンズ群が集光した光を受光して光電変換を行うことによって、光を電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子41と、撮像素子41から出力される電気信号に増幅(ゲイン調整)等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して撮像制御部5に出力する信号処理と、を用いて構成される。撮像部4は、撮像制御部5の制御のもと、結像レンズ244およびレンズ群を経て入射された被写体である標本試料Sの観察像を撮像して標本試料Sの画像データを微小な時間間隔で連続的に生成する。撮像部4は、カメラケーブルを介して生成した画像データを撮像制御部5へ出力する。
【0034】
撮像制御部5は、CPU等を用いて構成され、撮像部4の動作を制御する。具体的には、撮像制御部5は、撮像部4が生成した画像データに対する画像処理、撮像部4が生成する画像データのフレームレートの設定処理、撮像部4の焦点を調整するAF処理および撮像部4の露光や露出を調整するAE処理等を行って撮像部4の撮影動作を制御する。
【0035】
撮像制御部5の詳細な構成について説明する。撮像制御部5は、画像処理部51と、AF処理部52と、AE処理部53と、を有する。
【0036】
画像処理部51は、撮像部4から入力される画像データに対して、所定の画像処理を施す。具体的には、画像処理部51は、画像データに対して、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。画像処理部51は、特定色強調処理部511を有する。
【0037】
特定色強調処理部511は、制御端末7から入力される指示信号に応じて、撮像部4が生成した画像データに対応する画像内に含まれる輝度成分を変更することなく、画像内に含まれる色成分から強調させる特定色以外の色成分の彩度を低下させる画像処理を行う。具体的には、特定色強調処理部511は、制御端末7から画像内に含まれる色成分から強調させる特定色、たとえば黄色とする指示信号が入力された場合、画像内の輝度(Y成分)を変更することなく、画像内に含まれる黄色以外の色成分(C成分)の彩度を零(白・黒・灰色)にする彩度補正処理を行うことにより、指示信号に応じた特定色を画像内で強調させる。
【0038】
AF処理部52は、撮像部4が生成した画像データに基づいて、撮像部4のピントを自動的に調整する。具体的には、AF処理部52は、画像データに含まれるコントラストを評価し、合焦している合焦位置(焦点位置)を検出することにより、撮像部4のピントを自動的に調整するAF処理を行う。なお、AF処理部52は、画像データに基づいて、ステージ21の各Z位置における画像のコントラストを評価することにより、合焦する焦点位置(Z位置)情報を制御端末7に出力してもよい。なお、AF処理部52が焦点調整部として機能する。
【0039】
AE処理部53は、撮像部4が生成した画像データに基づいて、撮像部4の露出条件を自動的に設定する。具体的には、AE処理部53は、制御端末7を介して取得した画像データから輝度を算出し、算出した輝度に基づいて撮像部4の露出条件、たとえば露光時間を決定することで撮像部4の露出を自動的に調整するAE処理を行う。なお、AE処理部53が露出調整部として機能する。
【0040】
このように構成された撮像部4および撮像制御部5は、撮像装置として機能する。なお、本実施の形態1では、撮像部4および撮像制御部5が一体的に形成された撮像装置であってもよい。さらに、本実施の形態1では、撮影動作を指示する指示信号の入力を受け付ける入力部と、撮像部4が生成した画像データに対応する画像を表示可能な表示モニタ等の表示部とを設けた撮像装置であってもよい。
【0041】
表示入力部6は、制御端末7との通信を行う表示通信部61と、画像を表示する表示部62と、外部からの物体の接触に応じた位置信号を出力するタッチパネル63と、を有する。
【0042】
表示通信部61は、制御端末7との通信を行うための通信インターフェースである。表示通信部61は、制御端末7から出力される画像データを表示部62へ出力する。
【0043】
表示部62は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示部62は、表示通信部61を介して入力される画像データに対応する画像および顕微鏡システム1の各種操作情報を表示する。具体的には、表示部62は、撮像部4によって連続して生成された画像データに対応するライブ画像または撮像部4の観察領域よりも広い観察領域を有する標本試料Sの貼り合わせ画像データに対応する貼り合わせ画像を表示する。なお、表示部62が表示するライブ画像および貼り合わせ画像の表示領域の詳細については後述する。
【0044】
タッチパネル63は、表示部62の表示画面上に設けられ、外部からの物体の接触位置に応じた入力を受け付ける。具体的には、タッチパネル63は、ユーザが表示部62に表示される操作アイコンに従ってタッチ(接触)した位置を検出し、この検出したタッチ位置に応じた位置信号を制御端末7へ出力する。タッチパネル63は、表示部62が顕微鏡システム1の各種操作情報を表示領域内で表示することで、グラフィカルユーザインターフェース(GUI)として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式および光学方式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。
【0045】
制御端末7は、顕微鏡制御部3、撮像制御部5および表示入力部6との通信を行う制御通信部71と、顕微鏡システム1の各種情報を記憶する記憶部73と、顕微鏡システム1の各部の駆動を指示する駆動指示信号の入力を受け付ける入力部72と、顕微鏡システム1の各部を制御する制御部74と、を備える。
【0046】
制御通信部71は、顕微鏡制御部3、撮像制御部5および表示入力部6それぞれとの通信を行うための通信インターフェースである。また、制御通信部71は、カメラケーブルを介して撮像部4から出力される画像データを制御部74へ出力する。
【0047】
入力部72は、キーボード、マウス、ジョイスティックおよび各種スイッチ等を用いて構成され、各種スイッチの操作入力に応じた操作信号を制御部74に出力する。入力部72は、表示部62が表示する画像内に含まれる色成分から特定色を指定する指示信号の入力を受け付ける。
【0048】
記憶部73は、制御端末7の内部に固定的に設けられるフラッシュメモリおよびRAM(Random Access Memory)等の半導体メモリを用いて実現される。記憶部73は、顕微鏡システム1に実行させる各種プログラム、プログラムの実行中に使用される各種データを記憶する。また、記憶部73は、制御部74の処理中の情報を一次的に記憶する。記憶部73は、撮像部4が撮像した画像データを記憶する画像データ記憶部731と、貼り合わせ画像データを記憶する貼り合わせ画像データ記憶部732と、を有する。なお、記憶部73は、外部から装着されるメモリカード等を用いて構成されてもよい。
【0049】
制御部74は、CPU等を用いて構成され、入力部72からの操作信号およびタッチパネル63から位置信号に応じて顕微鏡システム1を構成する各部に対応する指示やデータの転送等を行って顕微鏡システム1の動作を統括的に制御する。
【0050】
制御部74の詳細な構成について説明する。制御部74は、ライブ画像生成部741と、移動量算出部742と、移動量判定部743と、貼り合わせ画像生成部744と、駆動制御部745と、表示制御部746と、を有する。
【0051】
ライブ画像生成部741は、撮像制御部5および制御通信部71を介して撮像部4が微小な時間間隔で連続的に生成した画像データから表示部62に表示させるライブ画像データを順次生成する。ライブ画像生成部741は、ライブ画像データを画像データ記憶部731に出力する。また、ライブ画像生成部741は、画像データに対し、所定の画像処理、たとえばオプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行ってもよい。
【0052】
移動量算出部742は、制御通信部71を介して入力される撮像部4によって生成された時間が前後する2つの画像データに対応する2つの画像に基づいて、ステージ21に対する撮像部4の観察領域における相対的な移動量を算出する。具体的には、移動量算出部742は、時間的に前後する2つの画像データに対応するライブ画像にそれぞれ含まれる特徴点を抽出し、2つのライブ画像間において同一となる複数の対応点の移動量(画素数)を算出することにより、ステージ21に対する撮像部4の観察領域における相対的な移動量(ずれ量)を算出する。ここで、特徴点とは、輝度成分、色情報またはエッジ情報である。なお、移動量算出部742は、撮像部4の観察領域における相対的な移動量をパターンマッチング等の周知技術を用いて算出してもよい。
【0053】
移動量判定部743は、移動量算出部742が時間的に前後する2つのライブ画像に基づいてステージ21に対する撮像部4の観察領域における相対的な移動量が算出できたか否かを判断する。具体的には、移動量判定部743は、移動量算出部742が2つのライブ画像間において対応する特徴点を抽出することができたか否かを判定する。たとえば、移動量判定部743は、移動量算出部742が2つのライブ画像間において互いに対応する特徴点を抽出することができなった場合、移動量算出部742がステージ21に対する撮像部4の観察領域における相対的な移動量を算出することができなかったと判定する。
【0054】
貼り合わせ画像生成部744は、移動量算出部742が算出したステージ21に対する撮像部4の観察領域(視野領域)の相対的な移動量に基づいて、撮像部4が生成した画像データから撮像部4の観察領域よりも外縁が広い観察領域を有する貼り合わせ画像データを生成する。具体的には、貼り合わせ画像生成部744は、画像データ記憶部731が記憶する貼り合わせ画像データを取得し、撮像部4から入力された画像データを、移動量算出部742が算出したステージ21に対する撮像部4の観察領域の相対的な移動量によって定まる貼り合わせ画像の表示位置に合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部744は、貼り合わせ画像に画像を貼り合わせる際に、繋ぎ目を目立たなくするため、貼り合わせ画像と画像との重複領域に画素値のブレンディング処理を行うことによって貼り合わせ画像を生成する。ここで、ブレンディング処理とは、画像間で画素値を加重平均して合成画像の画素値を算出する画像処理である。なお、貼り合わせ画像生成部744は、ブレンディング処理において加重平均の際の重みを画素の位置に応じて変化させてもよい。
【0055】
駆動制御部745は、入力部72から入力される操作信号またはタッチパネル63から入力される位置信号に基づいて、顕微鏡装置2および撮像部4の駆動を制御する。具体的には、駆動制御部745は、入力部72から撮影を指示する撮影指示信号が入力された場合、撮像制御部5に撮影を指示する指示信号を出力することにより、撮像部4に撮影動作を実行させる。また、駆動制御部745は、撮像部4が生成した時間が前後する2つの画像が重なりを有する移動速度でステージ21を駆動する。たとえば、駆動制御部745は、画像の一辺を含む端部同士が重なりを有する移動速度でステージ駆動部211を駆動する。さらに、駆動制御部745は、入力部72によって顕微鏡システム1の観察モードが通常観察モードから貼り合わせ画像観察モードに設定された場合において、入力部72からステージ21の移動を指示する指示信号が入力されたとき、ステージ21を通常観察モード時における移動速度より遅い移動速度で駆動する。
【0056】
表示制御部746は、表示部62の表示態様を制御する。具体的には、表示制御部746は、制御通信部71および表示通信部61を介してライブ画像生成部741によって生成されたライブ画像、貼り合わせ画像生成部744によって生成された貼り合わせ画像、および静止画像を表示部62に表示させる。表示制御部746は、移動量算出部742が算出した撮像部4の観察領域の移動量に基づいて、現在の撮像部4の観察領域に対応する貼り合わせ画像上の表示位置にライブ位置枠を重畳して表示部62に表示させてもよい。
【0057】
ここで、表示制御部746の制御のもと、表示部62が表示する顕微鏡システム1の操作画面について説明する。
図3は、表示部62が表示する顕微鏡システム1の操作画面の一例を示す図である。
【0058】
図3に示すように、表示部62が表示する操作画面W1は、貼り合わせ画像表示部W10と、ライブ画像表示部W11と、撮影指示部W12と、完了指示部W13と、強調色選択部W14と、を有する。
【0059】
貼り合わせ画像表示部W10は、表示制御部746の制御のもと、貼り合わせ画像生成部744によって生成された貼り合わせ画像データに対応する貼り合わせ画像P1および撮像部4の現在の観察領域を示すライブ位置枠B1を表示する。
【0060】
ライブ画像表示部W11は、表示制御部746の制御のもと、ライブ画像生成部741によって連続的に生成されたライブ画像データに対応するライブ画像P2を表示する。ライブ画像表示部W11は、ライブ画像P2を中央領域で固定して表示する。
【0061】
撮影指示部W12は、撮像部4による撮影を指示する撮影指示信号の入力を受け付ける。具体的には、撮影指示部W12は、ユーザが入力部72のマウス等を操作することにより、マウスポインタK1を撮影指示部W12の表示領域上に移動させてドラック操作(以下、「ドラック操作」という)を行って選択されることにより、撮影指示信号の入力を受け付ける。
【0062】
完了指示部W13は、ユーザが入力部72のマウス等によってドラック操作を行って選択されることにより、標本試料Sの貼り合わせ画像の生成を終了する終了指示信号の入力を受け付ける。
【0063】
強調色選択部W14は、ユーザが入力部72のマウス等によってドラック操作を行って選択されることにより、表示部62が表示するライブ画像または貼り合わせ画像に含まれる色成分から強調させる特定色を指定する指示信号の入力を受け付ける。具体的には、強調色選択部W14は、ユーザが入力部72によってドラック操作を行って選択された場合、表示制御部746の制御のもと、強調色選択画面W21を表示する(
図4を参照)。
【0064】
強調色選択画面W21は、表示部62が表示するライブ画像または貼り合わせ画像に含まれる色成分から強調させる特定色の選択方法の入力を受け付ける画面である。具体的には、強調色選択画面W21は、ユーザが入力部72を介して点指定W211が選択された場合、ユーザが入力部72またはタッチパネル63を介してライブ画像または貼り合わせ画像の一部を選択またはタッチした領域の色を、ライブ画像または貼り合わせ画像に含まれる色成分から強調させる特定色として指示信号の入力を受け付ける。
【0065】
強調色選択画面W21は、ユーザが入力部72を介して領域指定W213が選択された場合、ユーザが入力部72またはタッチパネル63を介してライブ画像または貼り合わせ画像の領域を選択またはタッチした軌跡に応じた領域内に含まれる全画素の色成分(たとえばR(赤),G(緑),B(青))を平均した平均値または最も多い色成分を、ライブ画像または貼り合わせ画像に含まれる色成分から強調させる特定色として指示信号の入力を受け付ける。
【0066】
強調色選択画面W21は、ユーザが入力部72を介してパレットW212が選択された場合、表示制御部746の制御のもと、複数の色をそれぞれ表示した特定色選択パレット画面W31を表示部62に表示させる(
図5を参照)。
【0067】
特定色選択パレット画面W31は、ユーザが入力部72を介して選択された色をライブ画像または貼り合わせ画像に含まれる色成分から強調させる特定色として指定する指示信号の入力を受け付ける。
【0068】
このように構成された顕微鏡システム1は、制御部74の制御のもと、撮像部4で撮像された標本試料Sの画像データに対応するライブ画像を表示部62に表示することによってユーザに標本試料Sの画像を観察させることができる。さらに、顕微鏡システム1は、入力部72から入力される操作信号またはタッチパネル63から入力される位置信号に基づいて、制御部74が顕微鏡システム1の各部に指示信号や駆動信号を出力することにより、顕微鏡装置2、撮像部4および撮像制御部5が駆動する。
【0069】
つぎに、顕微鏡システム1が行う動作について説明する。
図6は、本実施の形態1にかかる顕微鏡システム1が行う処理の概要を示すフローチャートである。
【0070】
図6に示すように、撮像部4は、撮像制御部5の制御のもと、所定のフレームレート、たとえば15fpsで標本試料Sを撮像して、標本試料Sの画像データを連続的に生成して撮像制御部5に出力するライブ撮像を開始する(ステップS101)。この際、AF処理部52およびAE処理部53は、撮像部4に対してAF処理およびAE処理をそれぞれ行う。
【0071】
続いて、表示制御部746は、制御通信部71を介して画像処理部51によって所定の画像処理が施された画像データからライブ画像生成部741が生成したライブ画像データに対応するライブ画像を表示部62に表示させる(ステップS102)。これにより、ユーザは、表示部62が表示するライブ画像によって標本試料Sの観察を行うことができる。
【0072】
その後、制御部74は、入力部72から表示部62が表示するライブ画像に含まれる色成分から強調させる特定色を指定する指示信号が入力されたか否かを判断する(ステップS103)。入力部72から表示部62が表示するライブ画像に含まれる色成分から強調させる特定色を指定する指示信号が入力されたと制御部74が判断した場合(ステップS103:Yes)、顕微鏡システム1は、後述するステップS104へ移行する。一方、入力部72を介して表示部62が表示するライブ画像に含まれる色成分から強調させる特定色を指定する指示信号が入力されていないと制御部74が判断した場合(ステップS103:No)、顕微鏡システム1は、後述するステップS106へ移行する。
【0073】
ステップS104において、特定色強調処理部511は、制御部74および制御通信部71を介して入力部72から入力されたライブ画像に含まれる色成分から強調させる特定色を指定する指示信号に応じて、ライブ画像に含まれる輝度成分を変更することなく、特定色以外の色成分の彩度を低下させる特定色強調処理を実行する。
【0074】
ここで、特定色強調処理部511が実行する特定色強調処理の概要について説明する。
図7は、特定色強調処理部511が実行する特定色強調処理の概要を示すフローチャートである。なお、以下において、特定色強調処理部511は、撮像部4が生成する画像データに対応する画像に含まれる輝度成分(輝度成分)を変更する補正処理を行わないものとする。
【0075】
図7に示すように、特定色強調処理部511は、撮像部4が生成した画像データに含まれる画素の色差信号の色相を算出する領域判定処理を実行する(ステップS201)。具体的には、特定色強調処理部511は、画素の色差信号がC
rC
b平面上において、どの領域に属するか否かを判定する。たとえば、特定色強調処理部511は、画素の色差信号C
rC
bの色相θ(deg)を、C
rC
bの色相θ毎に予め記憶部73に記憶されたテーブルを参照して算出する。
【0076】
続いて、特定色強調処理部511は、領域判定処理により領域を判定した画素に対して、各領域を構成する2軸のパラメータを用いて彩度補正処理を実行する(ステップS202)。具体的には、特定色強調処理部511は、画像の色差信号の彩度に対して、特定色以外の色成分の彩度を低下させる彩度補正処理を施す。
【0077】
ここで、特定色強調処理部511が実行する彩度補正処理について詳細に説明する。
図8は、特定色強調処理部が実行する彩度補正処理を模式的に説明する図である。
図8において、色空間の中心軸(無彩色軸)からの距離が彩度を示す。
図8に示すように、特定色強調処理部511は、画像の色差信号の彩度に対し、特定色(たとえばR)以外の色の彩度を無くす(0%)処理を施すことにより(
図8(a)→
図8(b))、特定色以外の色を無彩色(白・黒・灰色)にする処理を行う。なお、特定色強調処理部511は、8軸(M〜B)それぞれの彩度を低下させる割合は、適宜設定することができる。
【0078】
その後、特定色強調処理部511は、彩度補正処理を行った画素に対して色相補正処理を実行する(ステップS203)。具体的には、特定色強調処理部511は、画像の色差信号の色相に対して、各軸の色相を、たとえば−10(deg)〜+10(deg)の範囲で色相補正処理を施す。
【0079】
その後、特定色強調処理部511、撮像部4が生成した画像データに対応する画像の全画素の処理が終了したか否かを判断する(ステップS204)。撮像部4が生成した画像データに対応する画像の全画像の処理が終了したと特定色強調処理部511が判断した場合(ステップS204:Yes)、顕微鏡システム1は、
図6のメインルーチンへ戻る。一方、撮像部4が生成した画像データに対応する画像の全画素の処理が終了していないと特定色強調処理部511が判断した場合(ステップS204:No)、顕微鏡システム1は、ステップS201へ戻る。
【0080】
図6に戻り、ステップS105以降の説明を続ける。ステップS105において、表示制御部746は、特定色強調処理部511によって特定色強調処理が施された画像データに対応する特定色が強調されたライブ画像の強調画像を表示部62に表示させる。具体的には、
図9に示すように、表示制御部746は、通常のライブ画像P11(
図9(a))に変えて、特定色(赤)が強調さされたライブ画像の強調画像P21(
図9(b))を表示部62に表示させる。なお、
図9においては、各色をハッチングで表現した。
【0081】
続いて、制御部74は、入力部72から標本試料Sの観察を終了する終了指示信号が入力されたか否かを判断する(ステップS106)。入力部72から標本試料Sの観察を終了する終了指示信号が入力されたと制御部74が判断した場合(ステップS106:Yes)、顕微鏡システム1は、本処理を終了する。一方、入力部72を介して標本試料Sの観察を終了する終了指示信号が入力されていないと制御部74が判断した場合(ステップS106:No)、顕微鏡システム1は、ステップS103へ戻る。
【0082】
以上説明した本発明の実施の形態1によれば、特定色強調処理部511が入力部72によって入力が受け付けられた表示部62が表示する画像内に含まれる色成分から強調させる特定色を指定する指示信号に応じて、画像内に含まれる輝度成分を変更することなく、特定色以外の色成分の彩度を低下させる強調処理を行う。この結果、ユーザに対して、画像内に含まれる色を確実に強調して直感的に把握させることができる。
【0083】
また、本発明の実施の形態1によれば、特定色強調処理部511が撮像部4によって微小な時間間隔で連続的に生成される画像データに対応するライブ画像に対して強調処理を行うので、ユーザは、リアルタイムで所望の特定色が強調されたライブ画像を観察することができる。
【0084】
さらに、本発明の実施の形態1によれば、特定色強調処理部511が撮像部4によって微小な時間間隔で連続的に生成される画像データに対応するライブ画像に対して強調処理を行う。これにより、ユーザは、標本試料Sの全体像を見失うことなく、目視では見えにくい色も直感的に把握することができる。この結果、たとえば、顕微鏡システム1が蛍光観察可能な場合、蛍光色を強調するための物理的なフィルタが不要になる。
【0085】
なお、本発明の実施の形態1では、特定色強調処理部511が入力部72によって入力が受け付けられた表示部62が表示する画像内に含まれる色成分から強調させる特定色を指定する指示信号に応じて、画像内に含まれる輝度成分を変更することなく、特定色以外の色成分の彩度を低下させていたが、たとえば特定色に対応する波長を中心とする所定の波長域までの彩度を低下させるとともに、他の色成分に対応する波長域の彩度を零にしてもよい。この場合、特定色強調処理部511は、特定色に対応する波長を中心とする所定の波長域までの彩度を所定の値、たとえば50%低下させるとともに、他の色成分に対応する波長域の彩度を無彩色(0%)にする彩度補正処理を行う。これにより、ユーザが視認しづらい色成分であっても、画像内に写る特定色の輪郭を鮮明にすることができる。この結果、ユーザは、確実に画像内に含まれる特定色を直感的に把握することができる。なお、特定色強調処理部511は、彩度補正処理に変えて、色相補正処理を行うことにより、特定色に隣接する色成分を調整してもよい。
【0086】
また、本発明の実施の形態1では、特定色強調処理部511が入力部72から入力される指示信号に応じて、一つの特定色のみ強調処理を行っていたが、たとえば、入力部72から指示信号に応じて、複数の特定色が画像内において強調されるよう強調処理を行ってもよい。
【0087】
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本発明の実施の形態2は、上述した実施の形態1にかかる顕微鏡システムにおける制御端末の制御部の構成および顕微鏡システムの動作が異なる。このため、以下においては、本発明の実施の形態2にかかる顕微鏡システムの制御端末の制御部の構成を説明後、本発明の実施の形態2にかかる顕微鏡システムの動作について説明する。なお、以下においては、同一の構成には同一の符号を付して説明する。
【0088】
図10は、本実施の形態2にかかる顕微鏡システム100の機能構成を示すブロック図である。
【0089】
図10に示すように、顕微鏡システム100の制御端末8は、制御通信部71と、入力部72と、記憶部73と、制御部84と、を有する。
【0090】
制御部84は、ライブ画像生成部741と、移動量算出部742と、移動量判定部743と、貼り合わせ画像生成部744と、駆動制御部745と、表示制御部746と、特定色判定部801と、を有する。
【0091】
特定色判定部801は、特定色強調処理部511によって特定色強調された特定色が撮像部4によって生成された画像データに対応するライブ画像内にあるか否かを判定する。具体的には、特定色判定部801は、入力部72によって選択された特定色が特定色強調処理部511によって特定色以外の彩度を低下させたライブ画像内(無彩色)に写っているか否かを判定する。
【0092】
つぎに、本実施の形態2にかかる顕微鏡システム100が行う処理について説明する。
図11は、本実施の形態2にかかる顕微鏡システム100が行う処理の概要を示すフローチャートである。
【0093】
図11に示すように、ステップS301〜ステップS305は、
図6のステップS101〜ステップS105にそれぞれ対応する。
【0094】
ステップS306において、駆動制御部745は、入力部72から入力される指示信号に基づいて、ステージ21を移動する指定範囲を設定する。具体的には、駆動制御部745は、入力部72から入力される標本試料Sの撮像範囲を示す指示信号に基づいて、ステージ21を移動させる指定範囲を設定する。
【0095】
続いて、駆動制御部745は、ステージ21の移動を開始する(ステップS307)。
【0096】
その後、貼り合わせ画像生成部744は、貼り合わせ画像データを生成する(ステップS308)。具体的には、貼り合わせ画像生成部744は、貼り合わせ画像データ記憶部732から貼り合わせ画像データと撮像部4から画像データとを取得後、移動量算出部742によって算出された移動量から貼り合わせ画像上での画像データの表示位置を算出し、この算出した表示位置に撮像部4によって生成された画像データを合成することにより、貼り合わせ画像データを生成する。たとえば、貼り合わせ画像生成部744は、移動量算出部742によって算出された移動量に基づいて、貼り合わせ画像上でライブ画像を合成する表示位置を算出し、算出した表示位置にライブ画像を貼り合わせ画像の領域の一部が重なるように重畳して合成する。これにより、貼り合わせ画像とライブ画像との繋ぎ目が滑らかな標本試料Sの貼り合わせ画像を生成することができる。
【0097】
続いて、駆動制御部745は、ステージ駆動部211に駆動信号を出力することにより、ステージ21を移動させる(ステップS309)。
【0098】
その後、特定色判定部801は、特定色強調処理部511によって強調された特定色がライブ画像内にあるか否かを判定する(ステップS310)。具体的には、特定色判定部801は、特定色強調処理部511によって特定色以外の彩度を低下させたライブ画像内(無彩色)に特定色が写っているか否かを判定する。特定色がライブ画像内にあると特定色判定部801が判断した場合(ステップS310:Yes)、顕微鏡システム100は、ステップS311へ移行する。一方、特定色がライブ画像内にないと特定色判定部801が判定した場合(ステップS310:No)、顕微鏡システム100は、ステップS312へ移行する。
【0099】
ステップS311において、駆動制御部745は、現在のライブ画像を画像データ記憶部731に記憶する。この際、駆動制御部745は、撮像制御部5に撮影を指示する指示信号を出力することにより、AF処理部52およびAE処理部53にそれぞれAF処理およびAE処理を実行させて撮像部4に生成させた画像データを画像データ記憶部731に記憶させる。
【0100】
続いて、制御部84は、ステージ21を移動する指定範囲を終了したか否かを判断する(ステップS312)。ステージ21を移動する指定範囲を終了したと制御部84が判断した場合(ステップS312:Yes)、顕微鏡システム100は、本処理を終了する。一方、ステージ21を移動する移動範囲を終了していないと制御部84が判断した場合(ステップS312:No)、顕微鏡システム100は、ステップS308へ戻る。
【0101】
以上説明した本発明の実施の形態2によれば、特定色判定部801によってステージ21が移動する毎に、ライブ画像内に特定色があるか否かを判定し、駆動制御部745が特定色判定部801によって特定色があると判定されたライブ画像を画像データ記憶部731に記憶する。これにより、撮像部4の観察領域を大きく超える標本試料Sから特定の色をした部分のみ観察した場合、標本試料S全体を撮像できるように予め撮像範囲を設定するだけで、ユーザが特定の色が写る部分を探すことなく、自動的に所望の画像のみを取得することができる。
【0102】
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。本発明の実施の形態3は、上述した実施の形態2にかかる顕微鏡システム100による動作のみ異なり、顕微鏡システムの構成は上述した実施の形態2にかかる顕微鏡システム100と同様の構成を有する。このため、以下においては、本発明の実施の形態3にかかる顕微鏡システムによる動作のみ説明する。なお、同一の構成には同一の符号を付して説明する。
【0103】
図12は、本実施の形態3にかかる顕微鏡システム100の処理を示すフローチャートである。
【0104】
図12に示すように、ステップS401〜ステップS410は、
図11のステップS301〜ステップS310にそれぞれ対応する。
【0105】
ステップS411において、駆動制御部745は、ステージ21の現在の位置情報を記憶部73に記憶する。具体的には、駆動制御部745は、顕微鏡制御部3からステージ21の位置情報、たとえばXY位置を取得して記憶部73に記憶する。
【0106】
続いて、制御部84は、ステージ21を移動する指定範囲を終了したか否かを判断する(ステップS412)。ステージ21を移動する指定範囲を終了したと制御部84が判断した場合(ステップS412:Yes)、顕微鏡システム100は、後述するステップS413へ移行する。一方、ステージ21を移動する移動範囲を終了していないと制御部84が判断した場合(ステップS412:No)、顕微鏡システム100は、ステップS408へ戻る。
【0107】
ステップS413において、制御部84は、記憶部73に特定色がライブ画像内に写るステージ21の位置情報が記憶されているか否かを判断する。記憶部73に特定色がライブ画像内に写るステージ21の位置情報が記憶されていると制御部84が判断した場合(ステップS413:Yes)、顕微鏡システム100は、ステップS414へ移行する。一方、記憶部73に特定色がライブ画像内に写るステージ21の位置情報が記憶されていないと制御部84が判断した場合(ステップS413:No)、顕微鏡システム100は、本処理を終了する。
【0108】
ステップS414において、駆動制御部745は、記憶部73が記憶する位置情報に基づいて、ステージ21を駆動することにより、ステージ21を特定色がライブ画像内に含まれる位置に移動する。
【0109】
続いて、表示制御部746は、撮像部4によって生成された画像データに対して、特定色強調処理部511が特定色強調処理を施した画像データに対応するライブ画像を表示部62に表示させる(ステップS415)。これにより、ユーザは、常にライブ画像で確認することなく、所望の特定色が含まれる標本試料Sの観察領域を観察することができる。
【0110】
その後、制御部84は、入力部72から標本試料Sの観察を終了する終了指示信号が入力されたか否かを判断する(ステップS416)。終了指示信号が入力されたと制御部84が判断した場合(ステップS416:Yes)、顕微鏡システム100は、本処理を終了する。一方、終了指示信号が入力されていないと制御部84が判断した場合(ステップS416:No)、顕微鏡システム100は、ステップS414へ戻る。
【0111】
以上説明した本発明の実施の形態3によれば、特定色判定部801によってステージ21が移動する毎に、ライブ画像内に特定色があるか否かを判定し、駆動制御部745が特定色判定部801によって特定色があると判定されたときのステージ21の位置情報を記憶部73に記憶する。これにより、撮像部4の観察領域を大きく超える標本試料Sを観察する場合、ユーザが常にライブ画像で確認することなく、所望する特定の部位(特定色)のみを観察することができる。
【0112】
さらに、本発明の実施の形態3によれば、記憶部73に位置情報のみしか記憶させないので、記憶部73の記憶容量を効率的に使用することができる。
【0113】
なお、本発明の実施の形態3では、記憶部73が記憶する位置情報に基づいて、駆動制御部745がステージ21を移動させていたが、たとえば表示部62が表示する貼り合わせ画像上に特定色が含まれる位置情報を重畳して表示させてもよい。具体的には、
図13に示すように、表示制御部746は、表示部62が表示する貼り合わせ画像P31上に、記憶部73が記憶する位置情報に対応する貼り合わせ画像P31の表示位置に識別可能に、たとえば矩形状の枠B11〜B15それぞれを重畳して表示させてもよい。これにより、ユーザは、貼り合わせ画像P31全体で所望の部位が含まれる位置を直感的に把握することができる。なお、表示制御部746は、貼り合わせ画像P31上に記号や文字等のアイコンで位置情報を重畳してもよい。
【0114】
(実施の形態4)
つぎに、本発明の実施の形態4について説明する。本発明の実施の形態4は、上述した実施の形態2にかかる顕微鏡システム100による動作のみ異なり、顕微鏡システムの構成は上述した実施の形態2にかかる顕微鏡システム100と同様の構成を有する。このため、以下においては、本発明の実施の形態4にかかる顕微鏡システムによる動作のみ説明する。なお、同一の構成には同一の符号を付して説明する。
【0115】
図14は、本実施の形態4にかかる顕微鏡システム100の処理を示すフローチャートである。
【0116】
図14に示すように、ステップS501〜ステップS505は、
図6のステップS101〜ステップS105にそれぞれ対応する。
【0117】
ステップS506において、特定色判定部801は、特定色強調処理部511によって強調された特定色がライブ画像内にあるか否かを判定する。特定色がライブ画像内にあると特定色判定部801が判断した場合(ステップS506:Yes)、顕微鏡システム100は、後述するステップS507へ移行する。一方、特定色がライブ画像内にないと特定色判定部801が判定した場合(ステップS506:No)、顕微鏡システム100は、後述するステップS511へ移行する。
【0118】
ステップS507において、AF処理部52は、撮像部4の合焦の探索範囲を特定色が含まれる領域に設定する。具体的には、AF処理部52は、特定色強調処理部511によって強調された特定色が含まれる領域周辺を合焦の探索範囲として設定する。
【0119】
続いて、駆動制御部745は、AF処理部52が設定した探索範囲に対して、モータ212を駆動することによりステージ21をZ軸方向に移動させるとともに、AF処理部52にAF処理を実行させる(ステップS508)。
【0120】
その後、表示制御部746は、AF処理部52によってAF処理後、撮像部4によって生成された画像データに対応するライブ画像を表示部62に表示させる(ステップS509)。
【0121】
続いて、制御部84は、入力部72から標本試料Sの観察を終了する終了指示信号が入力されたか否かを判断する(ステップS510)。終了指示信号が入力されたと制御部84が判断した場合(ステップS510:Yes)、顕微鏡システム100は、本処理を終了する。一方、終了指示信号が入力されていないと制御部84が判断した場合(ステップS510:No)、顕微鏡システム100は、ステップS503へ戻る。
【0122】
ステップS511において、AF処理部52は、撮像部4の合焦の探索範囲をデフォルト、たとえばライブ画像の略中心領域に設定する。その後、顕微鏡システム100は、ステップS508へ移行する。
【0123】
以上説明した本発明の実施の形態4によれば、AF処理部52がライブ画像の特定色が含まれる領域に対してAF処理の探索領域を設定し、この設定した探索領域に対してAF処理を実行する。これにより、ユーザは、撮像部4の焦点を、その都度調整することなく、所望する部分に焦点があった画像を観察することができる。
【0124】
(実施の形態5)
つぎに、本発明の実施の形態5について説明する。本発明の実施の形態5は、上述した実施の形態2にかかる顕微鏡システム100による動作のみ異なり、顕微鏡システムの構成は上述した実施の形態2にかかる顕微鏡システム100と同様の構成を有する。このため、以下においては、本発明の実施の形態5にかかる顕微鏡システムによる動作のみ説明する。なお、同一の構成には同一の符号を付して説明する。
【0125】
図15は、本実施の形態5にかかる顕微鏡システム100の処理を示すフローチャートである。
【0126】
図15に示すように、ステップS601〜ステップS605は、
図6のステップS101〜ステップS105にそれぞれ対応する。
【0127】
ステップS606において、特定色判定部801は、特定色強調処理部511によって強調された特定色がライブ画像内にあるか否かを判定する。特定色がライブ画像内にあると特定色判定部801が判断した場合(ステップS606:Yes)、顕微鏡システム100は、後述するステップS607へ移行する。一方、特定色がライブ画像内にないと特定色判定部801が判定した場合(ステップS606:No)、顕微鏡システム100は、後述するステップS611へ移行する。
【0128】
ステップS607において、AE処理部53は、撮像部4の露出の探索範囲を特定色が含まれる領域に設定する。具体的には、AE処理部53は、特定色強調処理部511によって強調された特定色が含まれる領域周辺を露出の探索範囲として設定する。
【0129】
続いて、駆動制御部745は、AE処理部53が設定した探索範囲に対して、モータ212を駆動することによりステージ21をZ軸方向に移動させるとともに、AE処理部53にAE処理を実行させる(ステップS608)。この際、駆動制御部745は、AE処理部53が設定した探索範囲に対して、AF処理部52にAF処理を実行させてもよい。
【0130】
その後、表示制御部746は、AE処理部53によってAE処理後、撮像部4によって生成された画像データに対応するライブ画像を表示部62に表示させる(ステップS609)。
【0131】
続いて、制御部84は、入力部72から標本試料Sの観察を終了する終了指示信号が入力されたか否かを判断する(ステップS610)。終了指示信号が入力されたと制御部84が判断した場合(ステップS610:Yes)、顕微鏡システム100は、本処理を終了する。一方、終了指示信号が入力されていないと制御部84が判断した場合(ステップS610:No)、顕微鏡システム100は、ステップS603へ戻る。
【0132】
ステップS611において、AE処理部53は、撮像部4の露出の探索範囲をデフォルト、たとえばライブ画像の略中心領域に設定する。その後、顕微鏡システム100は、ステップS608へ移行する。
【0133】
以上説明した本発明の実施の形態5によれば、AE処理部53がライブ画像の特定色が含まれる領域に対してAE処理の探索領域を設定し、この設定した探索領域に対してAE処理を実行する。これにより、ユーザは、撮像部4の露出を調整することなく、所望する部分に露出があった画像を観察することができる。
【0134】
(実施の形態6)
つぎに、本発明の実施の形態6について説明する。上述した実施の形態1にかかる顕微鏡システム1の特定色強調処理部511は、色相のみで色変換領域判定処理を行うが、本発明の実施の形態6にかかる顕微鏡システムの特定色強調処理部は、色相および彩度を用いた色変換領域判定処理を行う。また、本発明の実施の形態6にかかる顕微鏡システムの構成は、上述した実施の形態1にかかる顕微鏡システム1と同様の構成を有する。さらに、本発明の実施の形態6にかかる顕微鏡システムは、上述した実施の形態1にかかる顕微鏡システム1と同様の処理を実行する。このため、以下においては、本発明の実施の形態6にかかる顕微鏡システムの特定色強調処理部による色変換領域判定処理のみについて説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明する。
【0135】
図16Aは、本実施の形態6にかかる顕微鏡システム1の特定色強調処理部511による色相のみの色変換領域判定処理を模式的に説明する図である。
図16Bは、本実施の形態6にかかる顕微鏡システム1の特定色強調処理部511による色相および彩度を用いた色変換領域判定処理を模式的に説明する図である。また、
図16Aおよび
図16Bにおいて、色差成分をC
bC
r平面図によって表す。さらに、
図16Aおよび
図16Bにおいて、回転方向を色相の変化として表し、径方向を彩度の変化として表す。また、
図16Aおよび
図16Bにおいて、色変換領域を分ける例として、ハッチングや網掛け等を含む模様で表現した部分を領域R1、それ以外の白色で表現した部分を領域R2とする。
【0136】
図16Aおよび
図16Bに示すように、特定色強調処理部511は、入力部72またはタッチパネル63を介して指定された特定色を色差成分に変換し、変換した各色、たとえば色M1および色M2を色差成分CbCrの円内にそれぞれプロットする。
【0137】
続いて、
図16Aに示すように、特定色強調処理部511は、色相のみで色変換領域を切り分けた場合、2本の実践L1,L2で囲われた扇状の領域R1に対して特定色強調処理を行う。このため、特定色強調処理部511は、色M1および色M2それぞれに対して同じ色変換処理を行う。
【0138】
これに対して、
図16Bに示すように、特定色強調処理部511は、入力部72またはタッチパネル63を介して指定された特定色を含む色成分の色相における彩度の領域を特定色が含まれる領域に縮小し、この縮小した領域以外の彩度を零とする特定色強調処理を行う。具体的には、特定色強調処理部511は、色相および彩度を用いて色変換領域を切り分けた場合、
図16Aの扇状の領域からさらに2つの円弧L3,L4で限定された領域R1以外に対して、彩度を零にする特定色強調処理を行う。これにより、
図16Aおよび
図16Bに示すように、特定色強調処理部511は、色相のみで色変換領域を切り分けた場合、同じ色変換領域としてしか扱えない色M1および色M2を、色相および彩度を用いることで別々の色変換領域として扱うことができるため、色M1および色M2それぞれに対して、互いに異なる色変換処理を施すことができる。
【0139】
具体的には、
図17Aに示すように、特定色強調処理部511は、色相が同じ部位R11と部位R12とが隣接している画像W40に対して、色相のみで特定色強調処理を行う場合、色相の異なる部位R13との切り分けを行うことができるが(
図17Bの画像W41を参照)、色相が同じ部位R11とR12との切り分けを行うことができない。
【0140】
これに対して、特定色強調処理部511は、色相が同じ部位R11と部位R12とが隣接している画像W40に対して色相および彩度を用いて特定色強調処理を行う場合、部位R11と部位R12との色相が同じであっても切り分けることができる(
図17Cの画像W42を参照)。これにより、画像上の注目する部位の視認性をより高めることができる。
【0141】
以上説明した本発明の実施の形態6によれば、特定色強調処理部511が入力部72またはタッチパネル63を介して指定された特定色を含む色成分の色相における彩度の領域を特定色が含まれる領域に縮小し、この縮小した領域以外の彩度を零とする特定色強調処理を行う。画像内で色相が同じ部位同士が隣接している場合であっても、画像上の注目する部位の視認性をより高めることができる。
【0142】
また、本発明の実施の形態6では、特定色強調処理をさまざまな条件に対応させることも可能である。具体的には、観察方法において、たとえば顕微鏡システム1が蛍光多重染色標本を撮影する場合において、複数の波長それぞれの励起光の同時撮影と、単一波長の撮影とを切り替えるとき、特定色強調処理部511による特定色強調処理を適用することができる。この場合、同時撮影と単一撮影とで撮影光学系上の構成を切り替えるとき、ミラーユニットや光源の切り替え等のメカ的または光学的な切り替え機構が必要になる。これに対して、特定色強調処理部511は、各単一波長に対応する色だけを強調する特定色強調処理を予め単一波長の種類毎に行い、撮影する単一波長毎に、特定色強調処理によって強調する色相および彩度の設定を切り替える、これにより、複数の波長の同時撮影であっても、単一波長であるかのような撮影が可能となる。この結果、メカ的または光学的な切り替え機構が不要となり、簡易な構成で実現することができる。
【0143】
また、本発明の実施の形態6では、画像の周辺付近の光量が中央付近よりも不足し、標本上の同じ部位であっても、画像上の位置関係によって色が異なって見えるような場合であっても、特定色強調処理部511による特定色強調処理を適用することができる。この場合、特定色強調処理部511は、画像を複数の領域に分割し、分割した複数の領域それぞれに対して色変換領域判定を順次行いながら、各領域の色の変化の経過に応じた予測または事前の設定に基づいて、色相および彩度の設定を切り替えることで、画像上の領域毎に異なる色の変化に追従することができる。
【0144】
また、本発明の実施の形態6では、時間の経過に応じて色が変化する部位や領域(たとえば蛍光染色された標本の励起光の領域)を長時間連続撮影する場合であっても、特定色強調処理部511による特定色強調処理部を適用することができる。この場合、特定色強調処理部511は、時間の結果に応じて色変換領域判定結果が変化することが想定されため、変化の経過を基にした予測や事前の設定に基づいて、色相および彩度の設定を切り替えることで、時間の経過に応じて変化する色に追従することができる。
【0145】
また、本発明の実施の形態6では、撮影時のホワイトバランス調整、ISO感度、コントラストおよび露光時間等の撮影パラメータによって色が変化する場合であっても、特定色強調処理部511による特定色強調処理部を適用することができる。この場合、特定色強調処理部511は、ホワイトバランス調整によって注目する部位の色変換領域判定結果が変化することが想定されるため、変化の経過を基にした予測や事前の設定に基づいて、色相および彩度の設定を切り替えることで、撮影パラメータに応じて変化する色に追従することができる。
【0146】
(実施の形態6の変形例1)
本発明の実施の形態6では、特定色強調処理部511による特定色強調処理の色変換領域を3つ以上設けることができる。
【0147】
図18は、本実施の形態6の変形例1にかかる顕微鏡システム1の特定色強調処理部511による色変換領域判定処理を模式的に説明する図である。
図18において、色差成分をC
bC
r平面図によって表す。さらに、
図18において、回転方向を色相の変化を表し、径方向を彩度の変化を表す。また、
図18において、色変換領域を分ける例として、互いに異なる模様で表現した部分を領域R21およびR22、それ以外の白色で表現した部分を領域R23とする。
【0148】
図18に示すように、特定色強調処理部511は、色相および彩度を用いて色変換領域を3つの領域R21〜領域23に分割する。その後、特徴色強調処理部511は、領域R21に対して色の変換を行わず、領域R22に対して所定の色、たとえば緑色に変換する色変換処理を行い、領域R23に対して無彩色に変換する彩度変換処理を行う。これにより、
図19(a)に示すように、色相が同じ部位R11と部位R12とが隣接している画像W40に対して、色相および彩度を用いて色変換領域を3つの領域R21〜領域23に分割し(
図18を参照)、各領域に対して互いに異なる色変換処理を行うことで、部位R11と部位R12とを強調しつつ、部位R11と部位R12との境界を明確化することができる(
図19(b)の画像W43を参照)。この結果、画像上の注目する部位の視認性をより高めることが可能となる。
【0149】
(実施の形態7)
つぎに、本発明の実施の形態7について説明する。上述した実施の形態1にかかる顕微鏡システム1の特定色強調処理部511は、入力部72またはタッチパネル63から入力される指示信号に応じた色以外の彩度を零にする彩度補正処理を行うことで、指定された色を強調(たとえばポジティブに動作)していたが、本発明の実施の形態7にかかる顕微鏡システムの特定色強調処理部は、入力部72またはタッチパネル63から入力される指示信号に応じた色の彩度を零にする彩度補正処理を行うことで、指定された色以外を強調(ネガティブに動作)する。また、本発明の実施の形態7にかかる顕微鏡システムの構成は、上述した実施の形態1にかかる顕微鏡システム1と同様の構成を有する。さらに、本発明の実施の形態7にかかる顕微鏡システムは、上述した実施の形態1にかかる顕微鏡システム1と同様の処理を実行する。このため、以下においては、本発明の実施の形態7にかかる顕微鏡システムの特定色強調処理による色変換領域判定処理のみ説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明する。
【0150】
図20は、本実施の形態7にかかる顕微鏡システム1の特定色強調処理部511による色変換領域判定処理を模式的に説明する図である。
図20において、色差成分をC
bC
r平面図によって表す。また、
図20において、回転方向を色相の変化を表し、径方向を彩度の変化を表す。さらに、
図20において、色変換領域を分ける例として白色で表現した部分を領域R1、それ以外のハッチングで表現した部分を領域R2とする。
【0151】
図20に示すように、特定色強調処理部511は、入力部72またはタッチパネル63を介して指定された特定色を色差成分に変換し、変換した各色、たとえば色M1および色M2を色差成分C
bC
rの円内にそれぞれプロットする。
【0152】
続いて、
図20に示すように、特定色強調処理部511は、色相のみで色変換領域を切り分けた場合、2本の実践L1,L2および2つの円弧L3,L4で囲まれた領域R1に対して彩度を零にする彩度変換処理を行う。これにより、
図20に示すように、特定色強調処理部511は、色相のみで色変換領域を切り分けた場合、同じ色変換領域としてしか扱えない色M1および色M2を、色相および彩度を用いることで別々の色変換領域として扱うことができるため、色M1および色M2それぞれに対して、互いに異なる色変換処理を施すことができる。
【0153】
具体的には、
図21に示すように、特定色強調処理部511は、色相が同じ部位R31と部位R32とが隣接している画像W50に対して、注目したい部位R31とその他の部位R32との色相が同じ場合であっても(
図21(a))、その他の部位R32の彩度を下げる彩度変換処理、たとえば彩度を零にする(
図21(b)の画像W51を参照)、これにより、ユーザがタッチパネル63または入力部72を介して注目したい部位R31を直接指定せずとも、結果的に部位R31の視認性を高めることが可能となる。
【0154】
以上説明した本発明の実施の形態7によれば、特定色強調処理部511は、色相が同じ部位同士が隣接している画像に対し、注目したい部位とその他の部位と分割し、その他の部位の彩度を下げる彩度変換処理を行う。これにより、ユーザがタッチパネル63または入力部72を介して注目したい部位を直接指定せずとも、結果的に部位の視認性を高めることが可能となる。
【0155】
(実施の形態8)
つぎに、本発明の実施の形態8について説明する。本発明の実施の形態8では、表示部が表示する強調色選択画面が上述した実施の形態1と異なる。また、本発明の実施の形態8にかかる顕微鏡システムの構成は、上述した実施の形態1にかかる顕微鏡システム1と同様の構成を有する。このため、以下においては、本発明の実施の形態8にかかる顕微鏡システムの表示部が表示する強調色選択画面について説明する。なお、上述した実施の形態1と同一の構成には同一の符号を付して説明する。
【0156】
図22は、本実施の形態8にかかる顕微鏡システム1の表示部62が表示する強調色選択画面を示す図である。
図22において、強調色選択画面W60は、色差成分をC
bC
r平面図によって表す。また、
図22において、ハッチングで表現した部分を強調対象領域R1として示し、この強調対象領域R1に含まれる色を特定色強調処理部511による特定色強調処理の対象とする。
【0157】
図22に示すように、強調対象領域R1は、入力部72のマウスのクリック操作またはドラック操作により位置を変更することができる。具体的には、表示制御部746は、入力部72またはタッチパネル63から入力される指示信号に応じて、強調対象領域R1の表示位置を変更する。その後、特定色強調処理部511は、現在の強調対象領域R1に対して特定色強調処理を実行する。
【0158】
また、表示制御部746は、ユーザが入力部72またはタッチパネル63を介して矢印アイコンaまたは矢印アイコンbの方向へ移動させた場合、特定色強調処理部511による強調領域となる色変換領域が色相軸方向へ移動させて表示部62に表示させる。さらに、表示制御部746は、ユーザが入力部72またはタッチパネル63を介して矢印アイコンcまたは矢印アイコンdの方向へ移動させた場合、特定色強調処理部511による強調領域となる色変換領域が彩度軸方向へ移動させて表示部62に表示させる。さらにまた、表示制御部746は、ユーザが入力部72またはタッチパネル63を介して強調対象領域R1外の領域を指定した場合、この指定した強調対象領域R1を移動させて表示部62に表示させる。
【0159】
また、表示制御部746は、強調対象領域R1の境界線に対し、入力部72のマウス操作またはドラック操作があった場合、強調対象領域R1の大きさを拡縮して表示部62に表示させる。たとえば、表示制御部746は、ユーザが入力部72またはタッチパネル63を介して矢印アイコンe、矢印アイコンf、矢印アイコンgおよび矢印アイコンhのいずれかの方向へ境界線を移動させた場合、強調対象領域R1を彩度軸方向へ領域を拡大または縮小して表示部62に表示させる。また、表示制御部746は、ユーザが入力部72またはタッチパネル63を介して矢印アイコンi、矢印アイコンj、矢印アイコンkおよび矢印アイコンlのいずれかの方向へ境界線を移動させた場合、強調対象領域R1を色相軸方向へ領域を拡大または縮小して表示部62に表示させる。
【0160】
また、表示制御部746は、入力部72またはタッチパネル63を介して強調対象領域R1内が選択された場合、特定色強調処理部511による特定色強調処理のオン状態からオフ状態に切り替えて表示部62に表示させる。たとえば、表示制御部746は、特定色強調処理部511による特定色強調処理のオン状態を示す情報を表示部62が表示している場合において、入力部72から強調対象領域R1が選択されたとき、特定色強調処理部511による特定色強調処理のオフ状態を示す情報を表示部62に表示させる。
【0161】
このように、特定色強調処理部511は、表示部62が表示する強調色選択画面W60の設定に基づいて、ライブ画像に含まれる輝度成分を変更することなく、特定色以外の色成分の彩度および色相を低下させる特定色強調処理を実行する。さらに、特定色強調処理部511は、強調色選択画面W60の設定が変更された場合、変更された内容に応じて強調対象領域R1の位置や大きさを反映させて特定色強調処理を実行する。
【0162】
以上説明した本発明の実施の形態8によれば、表示部62が表示する強調色選択画面W60に対し、入力部72またはタッチパネル63を介して特定色強調処理部511による特定色強調処理の範囲の変更および特定色強調処理部511による特定色強調処理の実行を簡易な操作で行うことができる。
【0163】
さらに、本発明の実施の形態8によれば、表示部62が表示する強調色選択画面W60に対し、入力部72またはタッチパネル63を介して強調色選択画面W60の中央付近を選択することで、特定色強調処理部511による特定色強調処理の実行を即座に反映させることができるので、ライブ画像を見ながら特定色強調の内容を連続的に変化させることで特徴的な部位を容易に把握することができるとともに、特定色強調を効率的に調整することができる。
【0164】
また、本発明の実施の形態8では、特定色強調処理部511による特定色強調処理の切り替えをボタンやレバー等のメカスイッチによって行ってもよい。さらに、特定色強調処理部511による特定色強調処理の状態をハイライト表示やスライドバー等で領域および内容を切り替えてもよい。
【0165】
また、本発明の実施の形態8では、強調色選択画面W60を色差成分のCbCr平面図によって表したGUIであったが、色空間を表現する画像であれば適用することができる。たとえば、xy色度図、CIE-L
*a
*b
*表色系色度図、マンセルの色立体や色相環等の他の方法であっても適用することができる。
【0166】
また、本発明の実施の形態8では、入力部72を介して強調対象領域R1内を選択することによって、特定色強調処理部511による特定色強調処理のオンまたはオフの切り替えおよび強調色選択画面W60の表示態様を変更していたが、さらに特定色強調のポジティブまたはネガティブの切り替えおよび表示の切り替えを行ってもよい。たとえば、入力部72のマウスの左クリックに特定色強調の切り替え機能を割り当てる一方、右クリックにポジティブまたはネガティブの切り替えの機能を割り当ててもよい。これにより、特定色強調処理部511による特定色強調処理のポジティブ動作とネガティブ動作を簡易な操作で切り替えることができる。この結果、ポジティブ動作とネガティブ動作との切り替えを随時行いながら標本試料のライブ画像を観察することが可能となる。
【0167】
(実施の形態8の変形例1)
本発明の実施の形態8では、色変換領域毎に実際のライブ画像に含まれる同じ色を疑似カラーとして付与してもよい。
図23は、本実施の形態8の変形例4にかかる顕微鏡システム1の特定色強調処理部511による特定色強調処理を模式的に説明する図である。
図23において、色差成分をC
bC
r平面図によって表す。また、
図23において、回転方向を色相の変化を表し、径方向を彩度の変化を表す。さらに、
図16Aおよび
図16Bにおいて、色変換領域を分ける例として、各領域R41〜R43をハッチングで表現した。
【0168】
図23に示すように、特定色強調処理部511は、領域R42を緑色、領域R43を黒色として疑似カラーを付与し、領域R41を色変換の行わない領域として設定する。これにより、ライブ画像と同じ色を疑似カラーとしてGUIに付与することで、GUIとライブ画像との対応関係が明確となる、操作性を向上させることができる。
【0169】
また、本発明の実施の形態8では、ライブ画像に含まれる色分布をGUIに反映させて、ユーザに色選択のガイドおよび/または色選択の可能範囲の制限としてもよい。これにより、実際のライブ画像に含まれない色に対して、ユーザが調整する無駄な作業を削減することができ、操作性を向上させることが可能となる。
【0170】
(その他の実施の形態)
本発明では、顕微鏡装置、撮像装置、表示入力部および制御端末を備えた顕微鏡システムを例に説明したが、たとえば標本試料を拡大する対物レンズ、対物レンズを介して標本試料を撮像する撮像機能、および画像を表示する表示機能を備えた撮像装置、たとえばビデオマイクロスコープ等であっても、本発明を適用することができる。
【0171】
また、本発明では、撮像部と撮像制御部とが別々に構成されていたが、撮像部と撮像制御部とが一体的に形成されていてもよい。
【0172】
また、本発明ではでは、撮像部と、撮像制御部と、表示部と、入力部とが別々に構成されていたが、撮像部と、撮像制御部と、表示部と、入力部とが一体的に形成された撮像装置であってもよい。
【0173】
また、本発明では、撮像部と、撮像制御部と、制御端末とがそれぞれ別々に構成されていたが、撮像部と、撮像制御部と、制御端末とが一体的に形成されていてもよい。
【0174】
また、本発明では、顕微鏡装置として正立型顕微鏡装置を例に説明したが、たとえば倒立型顕微鏡装置であっても本発明を適用することができる。さらに、顕微鏡装置を組み込んだライン装置といった各種システムにも、本発明を適用することができる。
【0175】
また、本発明では、入力部を介して顕微鏡システムの各種設定を行っていたが、タッチパネルを介して顕微鏡システムの各種設定を行ってもよい。
【0176】
また、本発明では、ステージとして電動ステージを例に説明したが、たとえば手動で移動させるマニュアルステージであっても、本発明を適用することができる。
【0177】
また、本発明では、表示入力部と制御端末とが別々に構成されていたが、たとえば表示入力部と制御端末とが一体的に形成された携帯型端末であってもよい。
【0178】
また、本発明では、ステージ21をモータ212によってZ方向に移動自在としたが、対物レンズ23又は、対物レンズ23を含む観察光学系全体をZ方向に移動自在としてもよい。