知財求人 - 知財ポータルサイト「IP Force」
特表2024-512993デジタル顕微鏡を用いて合成画像を提供する方法、デジタル顕微鏡システム、およびデジタル顕微鏡を用いて合成画像を提供するプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-21
(54)【発明の名称】デジタル顕微鏡を用いて合成画像を提供する方法、デジタル顕微鏡システム、およびデジタル顕微鏡を用いて合成画像を提供するプログラム
(51)【国際特許分類】
G02B 21/00 20060101AFI20240313BHJP
G06T 5/50 20060101ALI20240313BHJP
【ＦＩ】
G02B21/00
G06T5/50
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023559786
(86)(22)【出願日】2022-03-30
(85)【翻訳文提出日】2023-11-17
(86)【国際出願番号】 EP2022058461
(87)【国際公開番号】W WO2022207731
(87)【国際公開日】2022-10-06
(31)【優先権主張番号】21166379.4
(32)【優先日】2021-03-31
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】522183940
【氏名又は名称】プレツィポイント ゲーエムベーハー
【氏名又は名称原語表記】ＰＲＥＣＩＰＯＩＮＴ ＧＭＢＨ
(74)【代理人】
【識別番号】110000442
【氏名又は名称】弁理士法人武和国際特許事務所
(72)【発明者】
【氏名】ヴィルドナー，ルートヴィヒ
(72)【発明者】
【氏名】ミュラー，フリッツ
【テーマコード（参考）】
2H052
5B057
【Ｆターム（参考）】
2H052AA13
2H052AB01
2H052AC05
2H052AD20
2H052AF14
2H052AF21
2H052AF23
2H052AF25
5B057AA07
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CE08
5B057CE09
(57)【要約】
【解決手段】デジタル顕微鏡（２）を用いて合成画像を提供する方法において、デジタル顕微鏡は、複数の顕微鏡対物レンズ（２５、２６、２７、２９）が設けられた対物レンズレボルバ（２４）を有する光学系（２１）と、イメージセンサ（１２０）と、試料（１２）を保持し、光学系およびイメージセンサに対して移動可能なステージ（１０）と、を備える。方法は、試料の関心領域（７４）に関するユーザ選択であって、関心領域の位置及び広がりを示すユーザ選択を受信するステップと、ユーザ選択に応じて、複数の顕微鏡対物レンズから特定の１つを選択し、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうちの特定の１つを光学系の光路内に配置するステップと、光学系及びイメージセンサに対してステージを移動させ、関心領域の個々の画像を生成するステップと、個々の画像を結合して、関心領域を表す合成画像にするステップと、を含む。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
デジタル顕微鏡（２）を用いて合成画像を提供する方法であって、前記デジタル顕微鏡（２）は、
複数の顕微鏡対物レンズ（２５、２６、２７、２９）が設けられた対物レンズレボルバ（２４）を有する光学系（２１）と、
イメージセンサ（１２０）と、
試料（１２）を保持し、前記光学系（２１）および前記イメージセンサ（１２０）に対して移動可能なステージ（１０）と、
を備え、
前記方法は、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および広がりを示す前記ユーザ選択を受信するステップと、
前記ユーザ選択に応じて、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から特定の１つを選択し、前記対物レンズレボルバ（２４）を制御して、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つを前記光学系（２１）の光路内に配置するステップと、
前記光学系（２１）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動させ、前記関心領域（７４）の個々の画像を生成するステップと、
前記個々の画像を結合して、前記関心領域（７４）を表す合成画像にするステップと、
を含むことを特徴とする方法。
【請求項2】
前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）は対物レンズ固有倍率を有し、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から前記特定の１つを選択する前記ステップは、前記関心領域（７４）の前記広がりおよび前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）の前記対物レンズ固有倍率に基づいてなされること、
を特徴とする請求項１に記載の方法。
【請求項3】
前記対物レンズレボルバ（２４）はモータを備え、前記対物レンズレボルバ（２４）を制御する前記ステップでは、前記モータを制御して前記対物レンズレボルバ（２４）を回転させ、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうち前記特定の１つを前記光学系（２１）の前記光路内に配置すること、
を特徴とする請求項１または２に記載の方法。
【請求項4】
前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうち前記特定の１つを選択する前記ステップは、前記光学系（２１）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動させる前記ステップ、および、前記関心領域（７４）の前記個々の画像を生成する前記ステップが、１０秒未満、特に５秒未満の記録間隔で行われるように実行されること、を特徴とする請求項１～３のいずれか１項に記載の方法。
【請求項5】
前記対物レンズレボルバ（２４）を制御して、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうち前記特定の１つを前記光学系（２１）の前記光路内に配置する前記ステップは、１秒未満、特に０．５秒未満の準備間隔で行われること、を特徴とする請求項１～４のいずれか１項に記載の方法。
【請求項6】
前記対物レンズレボルバ（２４）には、３つまたは４つまたは５つの顕微鏡対物レンズが設けられ、および／または、
前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）は、倍率が１０倍の顕微鏡対物レンズ、倍率が２０倍の顕微鏡対物レンズ、倍率が４０倍の顕微鏡対物レンズ、倍率が６０倍の顕微鏡対物レンズ、および倍率が１００倍の顕微鏡対物レンズのうち、少なくとも２つを備えること、
を特徴とする請求項１～５のいずれか１項に記載の方法。
【請求項7】
前記方法は、さらに、前記関心領域（７４）、および、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つに応じて、前記ステージ（１０）をｘｙ方向に調整するステップと、
および／または、
前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つについて、前記ステージ（１０）へのピントを合わせるステップと、を含む、
ことを特徴とする請求項１～６のいずれか１項に記載の方法。
【請求項8】
前記関心領域（７４）に関する前記ユーザ選択を受信する前記ステップでは、前記試料において、特定の矩形部分の選択、特に、対向する２つの隅のそれぞれ一点を介して示される特定の矩形部分の選択を受信し、および／または、
前記関心領域（７４）に関するユーザ選択を受信する前記ステップでは、前記試料内の点の選択を受信し、選択した前記点の周りの矩形部分を前記関心領域として定義すること、
を特徴とする請求項１～７のいずれか１項に記載の方法。
【請求項9】
前記デジタル顕微鏡（２）には、前記対物レンズレボルバ（２４）と前記イメージセンサ（１２０）との間に配置されるか、または、前記対物レンズレボルバ（２４）と前記イメージセンサ（１２０）との間の転換位置に移動可能に構成されるダイバータ（６２）と、
任意で前記ダイバータ（６２）と光学的に結合する少なくとも１つの機能強化検出器（６７）と、
が設けられ、
前記方法は、
機能選択を追加的に含むユーザ選択に応じて、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から特定の１つを選択し、前記ダイバータ（６２）や前記少なくとも１つの機能強化検出器（６７）を制御して、前記関心領域（７４）に関して少なくとも１つの追加測定を実行する機能選択を含むこと、
を特徴とする請求項１～８のいずれか１項に記載の方法。
【請求項10】
前記少なくとも１つの機能強化検出器（６７）は、ラマン分光検出器、ＣＡＲＳ検出器、ＳＲＳ検出器、ＳＨＧ検出器、ＴＰＥＦ検出器、およびＦＬＩＭ検出器のうち少なくとも１つを備えること、を特徴とする請求項９に記載の方法。
【請求項11】
前記イメージセンサ（１２０）は、予め定められた数の画素を有し、前記方法は、前記ユーザ選択に応じて、前記個々の画像を前記予め定められた数の画素で生成するフル解像度モードと、前記個々の画像を前記予め定められた数の画素に比べて少ない画素数で生成する低解像度モードのうち１つを選択するステップをさらに含むこと、
を特徴とする請求項１～１０のいずれか１項に記載の方法。
【請求項12】
前記ユーザ選択は、前記合成画像の所望の解像度を示す表現解像度をさらに示し、前記表現解像度は、特に、前記合成画像を表現するためのスクリーン（７０）の解像度を表すこと、を特徴とする請求項１～１１のいずれか１項に記載の方法。
【請求項13】
前記試料の更新された関心領域に関する更新後のユーザ選択であって、前記更新された関心領域の位置および広がりを示す前記更新後のユーザ選択を受信するステップと、現在実行されている１つまたは複数の前記ステップを中断するステップと、
前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から特定の１つを再選択し、前記対物レンズレボルバ（２４）を制御して、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つを前記光学系（２１）の光路内に配置するステップと、
前記光学系（２１）および前記イメージセンサ（１２０）に対して、前記ステージ（１０）を移動させ、前記更新された関心領域の個々の画像を生成するステップと、
前記個々の画像を組み合わせて、前記更新された関心領域を表す前記合成画像とするステップと、をさらに含むこと、
を特徴とする請求項１～１２のいずれか１項に記載の方法。
【請求項14】
デジタル顕微鏡システムであって、複数の顕微鏡対物レンズ（２５、２６、２７、２９）が設けられた対物レンズレボルバ（２４）を有する光学系（２１）と、
イメージセンサ（１２０）と、
試料（１２）を保持するステージ（１０）と、
前記光学系（２１）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動させるステージ駆動部（４５）と、
合成画像のための画像データの生成を制御する制御部（９０）と、
を備え、
前記制御部（９０）は、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および広がりを示す前記ユーザ選択を受信し、
前記ユーザ選択に応じて、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から特定の１つを選択し、前記対物レンズレボルバ（２４）を制御して、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つを前記光学系（２１）の光路内に配置し、
前記ステージ駆動部（４５）を制御して前記光学系（２１）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動させ、
前記関心領域（７４）の個々の画像の生成を制御すること、
を特徴とするデジタル顕微鏡システム。
【請求項15】
デジタル顕微鏡（２）を用いて合成画像を提供するプログラムであって、前記デジタル顕微鏡（２）は、
複数の顕微鏡対物レンズ（２５、２６、２７、２９）が設けられた対物レンズレボルバ（２４）を有する光学系（２１）と、
イメージセンサ（１２０）と、
試料（１２）を保持し、前記光学系（２１）および前記イメージセンサ（１２０）に対して移動可能なステージ（１０）と、
を備え、
前記プログラムは、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および広がりを示す前記ユーザ選択を受信し、
前記ユーザ選択に応じて、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）から特定の１つを選択し、前記対物レンズレボルバ（２４）を制御して、前記複数の顕微鏡対物レンズ（２５、２６、２７、２９）のうちの前記特定の１つを前記光学系（２１）の光路内に配置し、
前記ステージ（１０）に、前記光学系（２１）に対して移動するように指示し、
前記イメージセンサ（１２０）に、画像データを生成するように指示し、
前記画像データに基づき、前記関心領域（７４）の個々の画像の生成し、
前記個々の画像を結合して、前記関心領域（７４）を表す合成画像にすること、
を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、デジタル顕微鏡の技術分野に関する。特に、本発明は、デジタル顕微鏡を介して観察される試料の一部についてデジタル画像を生成する技術に関する。
【背景技術】
【0002】
近年、従来のアナログ顕微鏡に代えて、デジタル顕微鏡を用いることが技術進歩の目的とされている。現行のデジタル顕微鏡は、一般的に、以下に挙げる２つの動作形態のいずれかで使用される。１つ目の動作形態では、デジタル顕微鏡は、従来のアナログ顕微鏡と同じように使用される。つまり、デジタル顕微鏡は、観察対象である試料を保持したステージを所望の位置に駆動し、カメラを用いて、ステージの位置に対応した画像を１枚撮影するように構成される。そして、この１枚の画像をユーザに提示する。２つ目の動作形態では、顕微鏡は、ユーザによる試料画像の要求に基づき、試料の行方向または列方向を走査し、走査中に撮影した各画像から試料の画像を合成するように構成される。しかし、現在のデジタル顕微鏡におけるこれらの動作形態は、デジタル顕微鏡のあらゆる使用場面において適合するとはいえない。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、ユーザによる操作性を向上させるデジタル顕微鏡システム、およびデジタル顕微鏡を使用して合成画像を提供する方法を提供することが有益である。
【課題を解決するための手段】
【0004】
本発明にかかる例示的な実施形態は、デジタル顕微鏡を用いて合成画像を提供する方法から構成され、この方法において、デジタル顕微鏡は、複数の顕微鏡対物レンズが設けられた対物レンズレボルバを有する光学系と、イメージセンサと、試料を保持し、光学系およびイメージセンサに対して移動可能なステージと、を備え、本発明にかかる方法は、試料の関心領域に関するユーザ選択であって、関心領域の位置および広がりを示すユーザ選択を受信するステップと、ユーザ選択に応じて、複数の顕微鏡対物レンズから特定の１つを選択し、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうち特定の１つを光学系の光路内に配置するステップと、光学系およびイメージセンサに対してステージを移動させ、関心領域の個々の画像を生成するステップと、個々の画像を結合して、関心領域を表す合成画像にするステップと、を含む。
【0005】
本発明の例示的な実施形態によれば、光学系の光学設定、特に光学系の倍率を、試料の関心領域に関するユーザの選択に適合させることが可能となる。試料のうち、ユーザの関心対象である部分の画像について、提供する画質と提供の速度とのトレードオフが最適化される。特に、異なる顕微鏡対物レンズから顕微鏡対物レンズを選択できるように構成したことにより、所望の試料画像の解像度が低くても十分である場合には、低い倍率を選択できるため、結果として、比較的少ない数の個々の画像に基づき、合成画像を高速で生成することができる。例えば、ユーザ選択が、ユーザの関心が試料の広範囲に亘ることを示す場合、すなわち、ユーザ選択が、関心領域における広がりが大きいことを示す場合は、低い倍率を選択することで、試料における広範囲の表示を生成するために必要とされる個々の画像の数が許容限界内に維持されるため、合成画像を高速で提供することができる。換言すると、ユーザの関心が試料の広い範囲に及ぶ場合に、ユーザは、合成画像について、最大解像度よりも低い解像度で満足すると仮定すると、比較的低い倍率の顕微鏡対物レンズを選択することで、一時的な使用場面においてユーザが求める解像度を損なうことなく、合成画像の生成速度の改善が実現される。逆に、ユーザが選択した関心領域が狭い場合には、比較的高い倍率を選択する。その場合、試料領域当たりの個々の画像数は多くなるが、全体として関心領域が狭いため、個々の画像の提供速度は速くなり、ユーザに対し、選択された狭い関心領域について高画質の画像を提供することができる。
【0006】
デジタル顕微鏡は光学系を備える。光学系は、対物レンズレボルバを有し、且つ、デジタル顕微鏡において様々な光学設定、特に様々な倍率を実現するのに適していれば、どのような種類であってよい。特に、光学系に、レボルバに配置された複数の対物レンズ、およびチューブ対物レンズを設けてもよい。具体的な光学設定における倍率は、選択された顕微鏡対物レンズとチューブ対物レンズの組み合わせに応じた設定値とすることができる。倍率を、顕微鏡対物レンズおよびチューブ対物レンズの両方の操作により実現してもよいが、顕微鏡対物レンズに倍率値を割り当てるのが通例である。チューブ対物レンズは、複数の顕微鏡対物レンズを備えた対物レンズレボルバとイメージセンサとの間に配置してもよい。チューブ対物レンズを、チューブレンズと呼ぶこともある。
【0007】
本発明にかかる方法では、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうち特定の１つを光学系の光路内に配置する。光学系の光路は、ステージからイメージセンサに亘る光路である。選択された顕微鏡対物レンズがこの光路に配置されることにより、光路は、ステージから、選択された顕微鏡対物レンズを通ってイメージセンサに亘ることになる。光路は、上述したチューブ対物レンズのような付加的な構成要素を通過してもよい。また、光路は、照明部からステージまでの区間を含んでいてもよい。
【0008】
デジタル顕微鏡は、試料を保持するためのステージを備える。試料を、顕微鏡スライドの形態で提供してもよい。スライドは、ステージ上に配置してもよいし、スライドを保持するために特別に設計された装置に導入してもよい。検査対象の物質や材料を、当該スライド上または当該スライド内に配置するようにしてもよいし、スライドを、試料をステージ上に確実に配置するための明確な機械的構造としてもよい。ステージに光を透過する部分を設けて、その上に試料を置いてもよい。また、ステージをフレーム状に構成し、試料をそのフレーム中央の空いたスペースに置くようにしてもよい。
【0009】
ステージは、光学系とイメージセンサに対して移動可能に設けられる。特に、デジタル顕微鏡にステージ駆動部を設けて、このステージ駆動部により、ステージを、光学系およびイメージセンサに対して駆動するように構成してもよい。光学系およびイメージセンサは、顕微鏡基準座標系内で実質的に静止するように構成してもよい。特に、顕微鏡基準座標系内で対物レンズレボルバを実質的に静止させ、対物レンズレボルバを回転させることで選択する顕微鏡対物レンズを変更し、それにより、光学系の設定を変更するようにしてもよい。ステージ駆動部によりステージを二次元で移動させ、試料の二次元走査を実現してもよい。特に、ステージをｘｙ平面内で移動可能に構成し、光路は実質的にｚ方向でステージを通過するようにしてもよい。さらに、ステージを、光学系およびイメージセンサに近づいたり、離れたりする方向、特に、ｚ方向に移動可能に構成してもよい。なお、ｚ方向への移動幅は小さくてよく、ピント合わせのみを目的としてもよい。一方で、多様な測定を容易に行うために、また、様々な倍率を広範囲で容易に実現するために、ｚ方向への移動幅を大きくするように構成してもよい。
【0010】
デジタル顕微鏡には、イメージセンサが設けられる。イメージセンサは、デジタルカメラの一部であってよい。したがって、デジタル顕微鏡は、イメージセンサを有するデジタルカメラを備えるともいえる。デジタルカメラは、例えば、シャッタやイメージセンサドライバのような、カメラにおいて一般的で付加的な構成要素を含んでもよい。
【0011】
本発明にかかる方法では、試料の関心領域に関するユーザ選択を受信する。関心領域とは、ユーザの関心対象である視野ともいえる。この視野は、特に、ユーザがデジタル顕微鏡と協働するスクリーン上に表示したい視野であってよい。ユーザの関心対象である試料の関心領域は、試料において関心領域が位置している、ステージの特定の部分に対応する。試料の関心領域と、ステージの対応する部分との間の関係に応じてステージを移動させ、関心領域の個々の画像を生成してもよい。
【0012】
関心領域について個々の画像を生成するという表現は、試料における関心領域の個々の部分の個々の画像を生成することを指す。個々の画像は、関心領域をスキャンすることで生成されてもよい。関心領域において隣接する部分の個々の画像は、互いに重複してもよい。また、関心領域について個々の画像を生成するという表現は、複数の顕微鏡対物レンズのうち特定の１つを使用して関心領域の個々の画像を生成することを指す。
【0013】
ユーザ選択は、関心領域の位置および広がりを示す。特に、ユーザ選択は、関心領域の位置および広がりを非明示的に指定してもよい。例えば、ユーザは、試料の画像プレビューを拡大したり、横方向に移動させたりすることによって、ユーザ選択を行ってもよい。このようなズーム操作および横方向への移動は、タッチスクリーン、マウスの操作、または他の適切な入力デバイスを介して行うことができる。関心領域の位置および広がりは、画像プレビューに対するズーム操作および移動操作の結果として生じる。なお、本発明にかかる方法におけるユーザによる試料の関心領域の選択は、関心領域の位置および広がりを導出可能な情報を含むユーザ選択が受信されるのであれば、他の適切な方法で行われもよい。
【0014】
本発明にかかる方法では、試料の関心領域に関するユーザ選択を受信する。ユーザ選択は、適切なものであればいかなる種類のユーザ選択であってよい。また、ユーザ選択は、適切なユーザインターフェースを介して、特に適切なＧＵＩを介して、人間のユーザから受信する。ユーザ選択は、遠隔地にいる人間のユーザによって生成されてもよく、その場合、インターネットなどの拡張通信ネットワークを介して受信する。また、ユーザ選択は、機械によって生成されたユーザ選択であってもよい。ユーザ選択は、特に、関心対象の領域を機械が選択した結果であってもよい。ユーザ選択は、従来のプログラムによるアルゴリズムにしたがって機械によって生成されてもよいし、機械学習や人工知能によって生成されてもよい。
【0015】
デジタル顕微鏡は、デジタル光学顕微鏡であってもよい。デジタル光学顕微鏡に、ステージや試料に向けて光を出力するように構成された照明部を設けてもよい。特に、デジタル顕微鏡は光透過型顕微鏡であってもよく、照明部およびイメージセンサは、ステージや試料の反対側に配置される。デジタル顕微鏡の動作位置において、照明部は、デジタル顕微鏡の下部からステージや試料、そして光学系とイメージセンサに向かって、上向きに光を照射する。
【0016】
本発明のさらなる実施形態によれば、複数の顕微鏡対物レンズは対物レンズ固有倍率を有し、複数の顕微鏡対物レンズから特定の１つを選択するステップは、関心領域の広がりおよび複数の顕微鏡対物レンズの対物レンズ固有倍率に基づいてなされる。特に、関心領域の広がりに対して少なくとも１つの閾値、すなわち１つ以上の閾値を設定し、複数の顕微鏡対物レンズのうち特定の１つを、関心領域の広がりと１つ以上の閾値との比較に基づいて選択するように構成してもよい。具体的に、閾値と対物レンズの倍率との間の依存関係では、関心領域の広がりが大きい場合、特に、関心領域の広がりが特定の閾値を超える場合に、対物レンズ固有倍率がより低い顕微鏡対物レンズを選択する。複数の顕微鏡対物レンズが対物レンズ固有倍率を有するという表現は、少なくとも２つの顕微鏡対物レンズが互いに異なる対物レンズ固有倍率を有することを意味する。特に、対物レンズレボルバ上に設けられた２つ以上の顕微鏡対物レンズ、または全ての顕微鏡対物レンズが、互いに異なる対物レンズ固有倍率を有していてもよい。一方で、顕微鏡対物レンズのうち、一部の倍率が互いに同じか同等であるが、それらの間で他の特性を異なるようにしてもよい。例えば、２つの顕微鏡対物レンズが互いに同じ倍率または同等の倍率を有するが、一方は可視光の通過に適合しており、他方は紫外線（ＵＶ）の通過に適合している場合などが該当する。上述したように、対物レンズ固有倍率を異ならせて、関心領域の広がりと対物レンズ固有倍率に基づいて特定の顕微鏡対物レンズを選択することにより、合成画像の提供速度と合成画像の品質や解像度の間のトレードオフが特に良好となる。
【0017】
本発明のさらなる実施形態によれば、対物レンズレボルバはモータを備え、対物レンズレボルバを制御するステップでは、モータを制御して対物レンズレボルバを回転させ、複数の顕微鏡対物レンズのうち特定の１つを光学系の光路内に配置する。モータは、特に電気モータである。さらに、モータは、特に閉ループ制御システムを介して制御される電気モータであってもよい。閉ループ制御の位置センサは、対物レンズレボルバの全回転の周囲で少なくとも１００万の位置、特に１００万から５００万の間の位置、さらに、特に１００万から３００万の位置を区別することができる。このようにして、閉ループ制御では、複数の顕微鏡対物レンズのうち選択された特定の１つについての位置決めを、０．２μｍ以下、特に０．０５μｍと０．２μｍの間の精度で行うことができる。
【0018】
本発明のさらなる実施形態によれば、複数の顕微鏡対物レンズのうち特定の１つを選択するステップは、光学系およびイメージセンサに対してステージを移動させるステップ、および、関心領域の個々の画像を生成するステップが、１０秒未満、特に５秒未満の記録間隔で行われるように実行される。所定の顕微鏡対物レンズについて、関心領域の広がりと、その関心領域の広がりを表現するために必要となる個々の画像の数と、その数の個々の画像を生成するために生じる記録間隔との間には既知の関係が存在する。この既知の関係は、互いに異なる顕微鏡対物レンズについて結果として生じる記録間隔を比較するための式、ルックアップテーブル、または他の適切な形態で与えられてもよい。本発明にかかる方法では、この関係に基づいて、最も高い倍率であるが、個々の画像の生成を１０秒未満、特に５秒未満の所望の記録間隔で行うことのできる顕微鏡対物レンズが選択される。また、複数の顕微鏡対物レンズから特定の１つを選択するにあたり、他の記録間隔用の閾値を使用してもよい。このように構成することで、試料を便利にブラウジングできる時間量において、許容範囲内の品質や解像度で関心領域の合成画像をユーザに提供するという観点からすると、記録間隔の持続時間を十分に短くすることができる。換言すると、試料のナビゲーションにおいてこのようなわずかな遅延があることで、ユーザによる試料のブラウジングが実際のブラウジングに近い体験となり、デジタル顕微鏡を用いる作業が実際的な体験となり得る。
【0019】
本発明のさらなる実施形態によれば、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうち特定の１つを光学系の光路内に配置するステップは、１秒未満、特に０．５秒未満の準備間隔で行われる。準備間隔は、特に、対物レンズレボルバ内の２つの隣接する顕微鏡対物レンズ間の切り替えを意味する。顕微鏡対物レンズにおいて隣り合うレンズは、特に隣接する倍率を有していてもよい。換言すると、顕微鏡対物レンズは、対物レンズレボルバの周囲で倍率が増加または減少するように配置してもよい。試料をブラウジングする際、隣接する倍率を持つ顕微鏡対物レンズ間を切り替える方が、大きく異なる倍率を持つ顕微鏡対物レンズ間を切り替えるよりも可能性が高い。したがって、最も起こり得る可能性の高い顕微鏡対物レンズの切り替えにおいて、大幅に短い準備間隔を実現することが可能となる。上述したように、大幅に短い準備間隔と大幅に短い記録間隔が組み合わさることにより、全体として、非常に迅速に合成画像を提供することができる。
【0020】
本発明のさらなる実施形態によれば、対物レンズレボルバには、３つまたは４つまたは５つの顕微鏡対物レンズが設けられる。顕微鏡対物レンズをこのように設けることで、光学設定に関する選択の幅、特に、使用可能となる倍率レベルに関する選択肢の広さ、対物レンズレボルバのサイズおよび複雑さと、異なる顕微鏡対物レンズ間の切り替え速度との間のトレードオフが特に有益となる。特に、４つの顕微鏡対物レンズを装備した対物レンズレボルバが好適に該当する。
【0021】
本発明のさらなる実施形態によれば、複数の顕微鏡対物レンズは、倍率が１０倍の顕微鏡対物レンズ、倍率が２０倍の顕微鏡対物レンズ、倍率が４０倍の顕微鏡対物レンズ、倍率が６０倍の顕微鏡対物レンズ、および倍率が１００倍の顕微鏡対物レンズのうち、少なくとも２つを備える。具体的な実施形態では、対物レンズレボルバは、１０倍、２０倍、４０倍、６０倍の顕微鏡対物レンズを装備してもよい。別の具体的な実施形態では、対物レンズレボルバは、２０倍、４０倍、６０倍、１００倍の顕微鏡対物レンズを装備してもよい。これらの実施形態のうち前者は、光透過型顕微鏡において、試料が浸漬されていない状態で検査する場合に特に適しており、後者は、試料が浸漬液、特に浸漬用のオイルに浸漬されている場合に特に適している。さらに別の具体的な実施形態では、対物レンズレボルバは、２０倍の第１顕微鏡対物レンズ、２０倍の第２顕微鏡対物レンズ、および、４０倍、６０倍の顕微鏡対物レンズを備えてもよい。２つの２０倍の顕微鏡対物レンズを、特定の波長や波長範囲へ適応するなど、その光学特性が互いに異なるようにしてもよい。また、対物レンズレボルバの対物レンズ位置のうち１つを、拡大顕微鏡対物レンズのない、もしくは、ライトガイド装置などの非拡大装置を備えるものとしてもよい。以下に詳述するように、デジタル顕微鏡は、光路における対物レンズレボルバ部分に、拡大なしで最もよく機能する１つ以上の付加機能を有していてもよい。対物レンズレボルバを設けることにより、そのような追加機能をデジタル顕微鏡に統合することができる。対物レンズレボルバの機能を説明するため、このような非拡大装置も顕微鏡対物レンズの一群の一部とみなしてもよい。
【0022】
本発明のさらなる実施形態によれば、本発明にかかる方法は、さらに、関心領域、および、複数の顕微鏡対物レンズのうちの特定の１つに応じて、ステージをｘｙ方向に調整するステップを含む。このように構成することで、合成画像を生成するために必要とされる個々の画像の数を、関心領域と複数の顕微鏡対物レンズのうち選択された特定の１つに対して最小に保つことができるため、合成画像の迅速な提供が可能となる。ステージをｘｙ方向に調整することで、関心領域と複数の顕微鏡対物レンズのうちの特定の１つとの組み合わせについて、関心領域を超える領域が余分に撮像されないか、または、余分な領域が全く撮影されないようになる。特に、対物レンズレボルバを回転させて顕微鏡対物レンズを切り替える際に、ステージをｘｙ方向に調整することにより、特にズームイン操作に応じて、以前生成された合成画像と新たに生成された合成画像とを最適に合わせることができる。
【0023】
本発明のさらなる実施形態によれば、本発明にかかる方法は、さらに、複数の顕微鏡対物レンズのうちの特定の１つについて、ステージへのピントを合わせるステップを含む。特に、ステージへのピント合わせは、複数の顕微鏡対物レンズのうちの特定の１つに対するステージのｚ方向での調整を含んでもよい。ステージへのピント合わせは、較正データを介して、またはテスト画像の撮影を介して行われるが、他の適切な自動化された方法で行ってもよい。較正データは、デジタル顕微鏡の初期のテスト段階で収集、保存され、デジタル顕微鏡の製造段階で較正データの静的なセットとして使用される。
【0024】
本発明のさらなる実施形態によれば、関心領域に関するユーザ選択を受信するステップでは、試料において、特定の矩形部分の選択を受信する。特に、ユーザ選択を受信するステップでは、２つの対向する角点を介して示される特定の矩形部分の選択を受信する。このように構成することで、ユーザは、コンピュータのマウスなど、使い慣れた入力装置を介して、便利かつ直感的に関心領域を示すことができる。
【0025】
本発明のさらなる実施形態によれば、関心領域に関するユーザ選択を受信するステップでは、試料内の点の選択を受信し、選択した点の周りの矩形部分を関心領域として定義する。このように構成することで、ユーザに対し、単一の点の選択操作を介して関心領域を指定するオプションを提供することができる。なお、本発明にかかる方法では、選択した点の周囲の矩形部分を関心領域として定義する際、ユーザにとって関心の対象となりやすいと一般的に考えられる領域の広がり部分を示す統計的データや過去のユーザデータに基づき、定義を行ってもよい。
【0026】
本発明のさらなる実施形態によれば、関心領域に関するユーザ選択を受信するステップにおいて、ズームコマンドまたはパンコマンドとも呼ばれる横方向のナビゲーションコマンドなど、増分選択についてのコマンドを受信する。このように構成することで、ユーザは、タッチスクリーンやタッチパッド上で、直感的で馴染みのあるコマンドを介した関心領域の選択を行うことができる。
【0027】
本発明のさらなる実施形態によれば、デジタル顕微鏡には、対物レンズレボルバとイメージセンサとの間に配置されるか、または、対物レンズレボルバとイメージセンサとの間の転換位置に移動可能に構成されるダイバータと、任意でダイバータと光学的に結合する少なくとも１つの機能強化検出器と、が設けられ、本発明にかかる方法は、機能選択を追加的に含むユーザ選択に応じて、複数の顕微鏡対物レンズから特定の１つを選択し、ダイバータや少なくとも１つの機能強化検出器を制御して、関心領域に関して少なくとも１つの追加測定を実行する機能選択を含む。このように構成することで、デジタル顕微鏡および当該デジタル顕微鏡を使用して合成画像を提供する方法は、上述したような、異なる倍率での拡大や、個々の画像を合成画像に結合して行う通常の画像生成に加えて、付加的な機能を提供することができる。特に、少なくとも１つの機能強化検出器を、特定の種類の光源、例えば、特に狭帯域光源、特に集光された光源、または可視スペクトル外の広帯域光源、例えば、紫外線（ＵＶ）光源、または近赤外線もしくは赤外光源に適合させてもよい。少なくとも１つの機能強化検出器は、特に感度の高い単色検出器であってもよい。
【0028】
ダイバータは、ステージや試料とイメージセンサとの間に延びる光路から、少なくとも１つの機能強化検出器に向けて光を転換させるのに適したものであれば、任意の種類のダイバータであってよい。例えば、ダイバータは、対物レンズレボルバとイメージセンサとの間の転換位置と、対物レンズレボルバとイメージセンサとの間の光路の外側の非係合位置との間で移動可能なリフレクタであってもよい。あるいは、ダイバータは、転換位置と非係合位置との間で移動可能なダイクロイックミラーであってもよいし、対物レンズレボルバとイメージセンサとの間に恒久的に配置されるダイクロイックミラーであってもよい。ダイクロイックミラーは、ダイクロイックミラーによって光を通過させるか反射させるかを決定する単一波長閾値を有してもよい。また、ダイクロイックミラーは、単一波長帯域または複数波長帯域を少なくとも１つの機能強化検出器に向けて反射し、他の波長を画像センサに通過させる単一バンドパスダイクロイックミラー、または複数のバンドパスダイクロイックミラーであってもよい。また、ダイバータは、例えば制御電界または制御電位の印加を介して、その反射特性や透過特性が電気的に制御されるコンポーネントであってもよい。例えば、ダイバータは、複屈折クリスタルミラーであってもよい。また、音響光学的に制御された結晶材料から構成されてもよい。
【0029】
少なくとも１つの機能強化検出器は、１つまたは複数の機能強化検出器から構成されてもよく、１つまたは複数の機能強化検出器は、それぞれ、その特定の機能に適切に適合する。例えば、機能強化検出器は、光電子増倍管やアバランシェフォトダイオードなどの単一点検出器であってもよい。単一点検出器は、特に、後述するように、単一点光源と共に使用してもよい。機能強化検出器は、感光セルのアレイで構成してもよい。例えば、機能強化検出器をＣＣＤアレイまたはＣＭＯＳアレイで構成し、特定の照明や励起に適合するようにしてもよい。機能強化検出器は、また、分光器やモノクロメータ型検出器であってもよい。分光器やモノクロメータ型検出器は、光学アレイ、プリズム、光学格子、または他の適切な光学部品を備え、異なる波長を分割したり、異なる波長を光学検出器の異なる位置にマッピングしたりする。このようにして、機能強化検出器による分光分析が実現する。このような追加機能を、対物レンズレボルバに適切に装備し操作することで、デジタル顕微鏡を実質的に再組み立てすることなく、その機能を実現することができる。
【0030】
本発明のさらなる実施形態によれば、デジタル顕微鏡は、広帯域の可視光出力を提供するように構成された可視光照明部と、少なくとも１つの機能強化照明部とを備え、可視光照明部および少なくとも１つの機能強化照明部は、再方向付け用の光学部品を介するなどして、ステージや試料に向けて照明や励起を放出するように配置される。可視光照明部は、白色光を提供するように、または、可視光スペクトルのサブスペクトルを提供するように構成してもよい。少なくとも１つの機能強化照明部は、１つ以上の機能強化照明部から構成されてもよい。機能強化照明部は、可視光照明部と比較してより狭帯域の照明を提供するか、可視光スペクトル外の光を提供するように構成してもよい。より具体的には、機能強化照明部は、狭い波長スペクトルの紫外光または赤外光または可視光を提供するように構成されてもよい。さらに、機能強化照明部は、レーザ光源、または２つのレーザ光源、または２つ以上のレーザ光源から構成されてもよい。レーザ光源は、単一点光源であってもよいし、多点光源であってもよい。さらに、レーザ光源において、レーザは高度に平行化された光出力となり、ステージや試料のごく一部に高度に集光された高エネルギーの照明を提供する。レーザ光源や複数のレーザ光源と異なる種類の機能強化検出器を設けることで、通常の光学顕微鏡の照明に加えて、試料を検査するために様々なオプションを提供することができる。機能強化照明部は、ＬＥＤ光源、特にインコヒーレントＬＥＤ光源から構成してもよく、例えば、蛍光を利用した測定に使用することができる。また、２つの狭帯域光源、２つの広帯域光源、狭帯域光源と広帯域光源の組み合わせなど、様々な光源の組み合わせからなる機能強化照明部を構成してもよい。対物レンズレボルバに、これらの追加機能に適したコンポーネントを搭載し、光学系におけるこのコンポーネントに、機能強化照明部の光や試料からの反応を正しく通過させることにより、実質的な再設定を行うことなく、追加機能をデジタル顕微鏡に組み込むことができる。
【0031】
本発明のさらなる実施形態によれば、少なくとも１つの機能強化検出器は、ラマン分光検出器、ＣＡＲＳ（コヒーレント・アンチストークス・ラマン散乱）検出器、ＳＲＳ（誘導ラマン散乱）検出器、ＳＨＧ（第二次高調波発生）検出器、ＴＰＥＦ（二光子励起蛍光）検出器、およびＦＬＩＭ（蛍光寿命イメージング）検出器のうち少なくとも１つを備える。
【0032】
本発明のさらなる実施形態によれば、イメージセンサは、予め定められた数の画素を有し、本発明にかかる方法は、ユーザ選択に応じて、個々の画像を予め定められた数の画素で生成するフル解像度モードと、個々の画像を予め定められた数の画素に比べて少ない画素数で生成する低解像度モードのうち１つを選択するステップをさらに含む。フル解像度モードと低解像度モードから一方を選択するステップは、特に、ユーザの選択と複数の顕微鏡対物レンズのうち選択された特定の１つとに応じて実行してもよい。フル解像度モードと低解像度モードとの間の選択は、画質と合成画像の提供速度との間のトレードオフを最適化するための別の自由度の提供といえる。特に、試料の関心領域に関するユーザ選択にしたがって、最終的に合成画像に結合される個々の画像の生成について、センサ側を適応させてもよい。特に、個々の画像の生成に際し、フル解像度モードと低解像度モードとの間の選択を可能にすることにより、ユーザ選択が、所望の試料画像の解像度が低くても十分であることを示す場合、特に、複数の顕微鏡対物レンズのうち選択された特定の１つについて比較的に低い解像度で十分であることを示す場合に、画素数が少ない個々の画像を処理することになるため、画像処理をより高速化することができる。例えば、ユーザ選択が、試料の広範囲が関心対象であることを示している場合には、複数の顕微鏡対物レンズから選択された特定の１つについて、低解像度モードが選択されるため、試料における広範囲の表現を生成するために必要とされる個々の画像が比較的多数であっても、フル解像度モードを使用する場合と比較して、より高速に提供される。換言すると、試料におけるユーザの関心対象が広範囲に及ぶ場合、そのユーザは、合成画像が最大解像度未満で提供されたとしても満足するという仮定に基づいて、複数の顕微鏡対物レンズから選択された特定の１つについて、低解像度モードが選択される。これにより、その時々の使用場面ごとに、ユーザが必要とする解像度を損なうことなく、合成画像の生成にかかる速度を向上させることができる。ユーザ選択が、ユーザの関心領域が狭いことを示す場合には、複数の顕微鏡対物レンズから選択された特定の１つの顕微鏡対物レンズについて、フル解像度モードを選択してもよい。その場合、合成画像を生成するために必要となる個々の画像数が少なくてすむため、操作時間が速くなり、結果として、ユーザに対して、選択された狭い関心領域に対して高い画質を提供することができる。
【0033】
フル解像度モードと低解像度モードからモードを選択できるように構成することで、関心領域に関するユーザ選択にしたがって複数の顕微鏡対物レンズから特定の１つが選択された後に、画質と提供速度との間のトレードオフを微調整することができる。複数の顕微鏡対物レンズのうちの特定の１つの選択と、フル解像度モードまたは低解像度モードの選択とが協働することで、合成画像の画質と合成画像の提供速度との間のトレードオフが特に良好になる。
【0034】
フル解像度モードでは、個々の画像は所定の画素数で生成される。これに対して、低解像度モードでは、個々の画像は低減された画素数で生成される。画素数を減らすことにより、個々の画像の画像データ処理を高速化することができる。例えば、個々の画像の画像データに適用し得る種類の後処理フィルタは、画素数を減らすことにより、より高速に動作することができる。また、個々の画像を組み合わせて合成画像にする場合、画素数を減らした個々の画像に対しては、あらゆるステッチ操作がより高速に動作し得る。このように、画像データの処理速度は、合成画像の解像度との間でトレードオフが成立し、したがって、合成画像の提供をユーザ選択に適合させることができる。また、ユーザにとっての利便性を順応的に向上させることができ、ユーザの試料分析速度を向上させることが可能となる。
【0035】
本発明のさらなる実施形態によれば、低減された画素数の個々の画像は、イメージセンサの所定の画素数をサブサンプリングすることにより生成される。サブサンプリングは、個々の画像の所定の画素数を減らすために特に効率的な方法である。特に、後続の全ての後処理が減少した画素数に基づいて実行されるよう、サブサンプリングによって、画像データの出力元であるイメージセンサにおいて直に画素数を低減させる。サブサンプリングとは、イメージセンサから、利用可能な測定値の全数よりも少ない数の測定値を読み出すことを意味する。つまり、サブサンプリングとは、イメージセンサで生成される画像データの一部を意図的に無視することを指す。サブサンプリングは、２つおき、３つおき、４つおきなど、イメージセンサのｎ番目毎の画素を読み出すことによって行われてもよく、また、サブサンプリングはイメージセンサの両次元に適用されてもよい。サブサンプリングを適用することにより、イメージセンサの読み出し時間を短縮し、後続のすべての画像処理の処理時間を短縮することができる。したがって、一連の画像処理全体にわたって処理の高速化を実現することができる。
【0036】
本発明のさらなる実施形態によれば、低減された画素数の個々の画像は、イメージセンサにより生成された画像データをダウンスケーリングすることにより生成される。画像データのダウンスケーリングは、画素数を減らすための別の方法である。サブサンプリングと比較すると、上述のように、全ての感知画像データが使用されるが、隣接する画素の所定の集合に関する画像データを、単一画素に結合することができる。例えば、ダウンスケーリング後の単一画素は、元が２画素×２画素、または３画素×３画素、または４画素×４画素、または５画素×５画素等のウィンドウから計算して得ることができる。このようにして、イメージセンサが取得した全ての情報に対して画素数を低減させた画像データに基づき、画素数を減らすことができる。ダウンスケーリングは、一般に、一連の画像処理において任意のポイントで実行してよい。イメージセンサから画像データを読み出した直後に、画像データのダウンスケーリングを実行してもよい。このように、画素数の減少による高速化は、一連の画像処理の大部分に寄与する。なお、ダウンスケーリングは、適切なダウンスケーリングアルゴリズムにしたがって実行してよい。ダウンスケーリングアルゴリズムは、それ自体、当業者に公知である。
【0037】
本発明のさらなる実施形態によれば、低解像度モードにおいて、ステージは少なくとも部分的に連続的に移動し、ステージの移動中に、イメージセンサは個々の画像の画像データを取得する。このように、低解像度モードでは、合成画像を生成するための速度をさらに速くすることができる。イメージセンサは、個々の画像の画像データの取得をステージの移動中に行うため、個々の画像の画像データを取得するためにステージを起動したり停止したりする動作にかかる時間が発生しない。このように、個々の画像の画像データは迅速且つ連続して生成されるため、画像合成のために必要な全画像データを、比較的短時間で提供することが可能になる。ステージの移動中に個々の画像の画像データを取得することは、イメージセンサの所定の画素数のサブサンプリングと組み合わせて特に有益である。サブサンプリングを実行することにより、イメージセンサが取得した画像データをより高速に読み出せるようになるため、イメージセンサは、より多くの画像データを取得する準備を迅速に行うことができる。そのため、ステージの移動中の連続的な画像取得動作を、イメージセンサの読み出しに支障なく行うことが可能となる。ここで、少なくとも部分的に連続的に、という表現は、いくつかの位置に停止する可能性を含む、概ね連続的な動作を指す。例えば、所定回数の画像データ取得動作の後、デジタル顕微鏡の全ての構成要素について定義されている開始点に戻るために、ステージが停止することがある。また、新しい行または新しい列の個々の画像を取得するときなど、ステージの移動方向を変更するために停止することがある。一方で、ステージの移動中に、実質的に全て、または全ての画像データを取得することも可能である。これは、ステージの移動中に、個々の画像の画像データの少なくとも大部分が取得されているともいえる。しかしながら、ステージの停止時に画像データを取得する場合を排除するものではない。
【0038】
本発明のさらなる実施形態によれば、ステージの移動速度は、画像データのぼやけが最大２画素、特に最大１画素に制限されるように選択される。換言すると、ステージの移動速度は、試料の各点が、取得した画像データの中で、最大で３画素、特に最大で２画素に影響を及ぼす範囲で選択される。このようにして、ステージの移動速度は、デジタル顕微鏡のシステムの残りの部分に適合される。ステージの移動速度と、画像データのぼやけの度合いの関係は、合成画像の提供速度と画質とのトレードオフの別の側面である。したがって、デジタル顕微鏡の取扱いは、再びユーザ選択に適合させてもよい。なお、画像データのぼやけは、合成画像におけるぼやけの程度を指す。
【0039】
本発明のさらなる実施形態によれば、フル解像度モードにおいて、ステージは断続的に移動し、イメージセンサは、ステージの停止中に、個々の画像の画像データを取得する。このような構成により、画像データの取得時にステージの移動によるぼやけが発生するおそれがなくなるため、取得した画像データの品質は特に高いものとなる。ステージが断続的に移動するという表現は、ステージの移動開始や移動停止を指し、これは、ステージの移動の駆動や移動の停止とも呼ばれる。ステージの停止中にある時点で正確に画像データを取得するために、ステージ駆動部を、特にイメージセンサの露光時間と同期させてもよい。
【0040】
フル解像度モードではステージを断続的に移動させ、低解像度モードではステージを少なくとも部分的に連続的に移動させると、良好なシステム設定となることは前述したとおりである。一方で、フル解像度モードと低解像度モードのいずれにおいてもステージを断続的に移動させてもよいし、少なくとも部分的に連続的に移動させてもよい。
【0041】
本発明のさらなる実施形態によれば、関心領域の広がりが第１対物レンズ固有閾値より小さい場合、フル解像度モードが選択される。換言すると、複数の顕微鏡対物レンズのうちの特定の１つに応じて設定される閾値のサイズより、試料におけるユーザの関心対象が小さい場合には、フル解像度モードが選択される。この場合、複数の顕微鏡対物レンズから選択された特定の１つの顕微鏡対物レンズのシステム設定の面において、ユーザの関心対象は高い詳細レベルに及んでいると想定される。したがって、合成画像について、高解像度の高画質が選択される。第１対物レンズ固有閾値は、例えば、関心領域の広い次元に適用される１次元の閾値であってもよいし、二次元の閾値であってもよいし、面積の閾値であってもよい。複数の顕微鏡対物レンズのそれぞれについて、第１対物レンズ固有閾値を設けてもよい。
【0042】
本発明のさらなる実施形態によれば、低解像度モードは、複数の低解像度サブモードからなり、フル解像度モードおよび低解像度モードのうちのいずれか１つを選択するステップは、フル解像度モードおよび複数の低解像度サブモードのうちのいずれか１つを選択するステップを含む。このような構成により、個々の画像を生成する２つ以上のモードが提供され、したがって、個々の画像を生成するために選択されるモードを、ユーザの必要に応じてより細かく適応させることができる。特に、関心領域の広がりおよび複数の顕微鏡対物レンズから選択された特定の１つの顕微鏡対物レンズに応じて、フル解像度モードおよび複数の低解像度サブモードのうち、適切な１つのモードを選択するようにしてもよい。この選択について、複数の対物レンズ固有閾値が設定されてもよい。対物レンズ固有閾値は、それぞれ、第１閾値に関して上述したように、一次元閾値、二次元閾値、または面積閾値とすることができる。複数の顕微鏡対物レンズのそれぞれについて、第１対物レンズ固有閾値を設けてもよい。
【0043】
本発明のさらなる実施形態によれば、複数の低解像度サブモードは、個々の画像について、それぞれのサブモードに固有の低減された画素数を有する。換言すれば、複数の低解像度サブモードでは、その低減された画素数が互いに異なる。低解像度のサブモードでは、それぞれ、個々の画像について低減された画素数が異なる。フル解像度モードおよび複数の低解像度サブモードのうちいずれか１つのモードの選択を、関心領域の広がりと、それぞれのモードにおける個々の画素数との間の単調関数としてもよい。つまり、関心領域の広がりが小さいほど、個々の画素数を多くするようにしてもよい。関心領域の広がりと各モードにおける個々の画像の画素数との間の単調関数は、顕微鏡の対物レンズ毎に個別に設けてもよい。換言すると、各モードにおける個々の画像について、関心領域の広がりと画素数との間の複数の対物レンズ固有の依存関係が設けられてもよい。
【0044】
本発明のさらなる実施形態によれば、複数の低解像度サブモードの間で、イメージセンサの所定の画素数のサブサンプリングの程度、およびイメージセンサによって生成された画像データのダウンスケーリングの程度のうち、少なくとも１つが異なる。具体的な実施形態では、複数の低解像度サブモードの間で、イメージセンサの所定の画素数をサブサンプリングする程度と、イメージセンサによって生成される画像データをダウンスケーリングする程度は、両方とも異なっていてもよい。また、複数の低解像度サブモードでは、ステージが少なくとも部分的に連続的に移動するとき、またはステージが断続的な移動の過程で停止位置にあるときに実行される画像データの取得に関して異なっていてもよい。さらに、ステージの移動時に画像データを取得する場合には、複数の低解像度サブモードの間で、ステージ移動速度が異なってもよい。このようにして、個々の画像の生成速度およびそれに伴う合成画像の生成速度と、合成画像の画質との間のトレードオフは、複数の低解像度サブモードに関して、特に詳細に適合させることができる。
【0045】
本発明のさらなる実施形態によれば、複数の低解像度サブモードは、２つ、３つ、４つ、５つ、または６つの低解像度サブモードを有する。より多数の低解像度サブモードも同様に設定可能である。
【0046】
本発明のさらなる実施形態によれば、ユーザ選択は、合成画像の所望の解像度を示す表現解像度をさらに示す。複数の顕微鏡対物レンズから特定の１つの選択、および、適用可能であれば、フル解像度モードまたは低解像度モード、または複数の低解像度サブモードのうちの１つの選択は、ユーザによる所望の解像度に基づくことが可能である。このような構成により、結果として得られる合成画像は、ユーザの希望に対してより直接的に基づくことができる。また、選択は、合成画像を描写するスクリーンのような、デジタル顕微鏡の周辺システムの技術的特性に基づくことも可能である。具体的な実施形態では、表現解像度は、合成画像を描写するためのスクリーンのスクリーン解像度を示す。このようにして、複数の顕微鏡対物レンズから特定の１つの選択、および、適用可能であれば、フル解像度モードまたは低解像度モードの選択により、スクリーン解像度ならびに試料へのズームレベルを考慮した高品質画像の提供が可能となる。
【0047】
本発明のさらなる実施形態によれば、合成画像をスクリーン上に表示する。このようにして、本発明にかかる方法の結果は、直感的な方法でユーザに提供される。表示された合成画像は、本明細書では更新後のユーザ選択とも呼ばれる、さらなるユーザ選択の基礎となり得ることから、ユーザは、ユーザが特に関心のある試料の領域に反復的に到達することができる。
【0048】
本発明のさらなる実施形態によれば、個々の画像は、特に、スクリーン上に段階的に表示される。特に、個々の画像は、画像データの取得後に実質的に利用可能になるときに、スクリーン上に表示されてもよい。このように、関心領域がスクリーン上に完全に表示される前であっても、ユーザに対し、試料の分析における次のステップを決定するための情報を提供するようにしてもよい。ユーザから見ると、合成画像は、段階的にスクリーン上に構築される。合成画像を、関心領域の中央から始まって、その後、関心領域の周辺に広がるように構築してもよい。また、合成画像を、中心線または中心列から開始して、行方向または列方向に向かうように構築してもよい。スクリーン上で段階的に合成画像を構築することで、ユーザに対して合成画像を直感的に提供したり、スピード感を伝えたりすることが可能となり、デジタル顕微鏡の利便性をより向上させることができる。また、ユーザは、ライブモードでの画像データの提供を体験することができる。
【0049】
本発明のさらなる実施形態によれば、本発明にかかる方法は、さらに、試料の更新された関心領域に関する更新後のユーザ選択であって、更新された関心領域の位置および広がりを示す更新後のユーザ選択を受信するステップと、現在実行されている１つまたは複数のステップを中断するステップと、複数の顕微鏡対物レンズから特定の１つを再選択し、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうちの特定の１つを光学系の光路内に配置するステップと、光学系およびイメージセンサに対して、ステージを移動させ、更新された関心領域の個々の画像を生成するステップと、個々の画像を組み合わせて、更新された関心領域を表す合成画像とするステップと、を含む。このような構成により、ユーザのコマンドに即座に応答することが可能となる。更新された関心領域は、走査された後、前段階に起因して遅滞することなく合成画像に確実に変換される。このように、ユーザは、高い応答性のフィードバックを受け取ることができ、特に時間効率よく試料の分析に取り組むことが可能となる。
【0050】
更新されたユーザ選択を受信し、更新された関心領域を表す合成画像を生成する機能は、特に遠隔作業に適している。ユーザは遠隔地からデジタル顕微鏡を操作してもよく、更新されたユーザ選択の受信時および更新された関心領域を表す合成画像の提供時にのみ、データの送信のピークが発生する。データ送信のピークとピークの間では、遠隔地とデジタル顕微鏡の間のデータ交換は行われないか、行われたとしてもごくわずかである。したがって、この機能は、データ送信のピークの間に必要とされたり予約されたりする帯域幅を抑えるストリーミングに適している。ライブ画像の連続ストリームと比較して、ユーザによる応答性を低下させることなく通信効率を大幅に向上させることができる。
【0051】
本発明のさらなる実施形態によれば、本発明にかかる方法は、フル解像度モードおよび低解像度モードのうち一方を再選択するステップをさらに含む。フル解像度モードおよび低解像度モードから１つを再選択するステップは、特に、更新されたユーザ選択および複数の顕微鏡対物レンズのうちの再選択された特定の１つに応じて実施されてもよい。そして、更新された関心領域の個々の画像の生成は、フル解像度モードおよび低解像度モードから再選択された１つにしたがって実行されてもよい。
【0052】
本発明のさらなる実施形態は、デジタル顕微鏡システムから構成され、このデジタル顕微鏡システムは、複数の顕微鏡対物レンズが設けられた対物レンズレボルバを有する光学系と、イメージセンサと、試料を保持するステージと、光学系およびイメージセンサに対してステージを移動させるステージ駆動部と、合成画像のための画像データの生成を制御する制御部と、を備え、制御部は、試料の関心領域に関するユーザ選択であって、関心領域の位置および広がりを示すユーザ選択を受信し、ユーザ選択に応じて、複数の顕微鏡対物レンズから特定の１つを選択し、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうちの特定の１つを光学系の光路内に配置し、ステージ駆動部を制御して光学系およびイメージセンサに対してステージを移動させ、関心領域の個々の画像の生成を制御する。デジタル顕微鏡を使用して合成画像を提供する方法に関して上述した追加的な特徴、変更、および有益な効果は、デジタル顕微鏡システムに対しても同様に適用される。特に、制御部は、上述の方法におけるステップを実行するように構成されてもよく、また、デジタル顕微鏡の構成要素に上述の方法におけるステップを実行させるように構成されてもよい。デジタル顕微鏡システムはデジタル顕微鏡であってもよい。また、デジタル顕微鏡システムは、デジタル顕微鏡とそれに結合したコンピュータなどのデータ処理装置からなる分散型システムであってもよい。制御部は、それらのうちの1つに設けられてもよいし、デジタル顕微鏡とデータ処理装置との間での分散コンポーネントであってもよい。
【0053】
デジタル顕微鏡は、デジタル光学顕微鏡であってもよい。デジタル光学顕微鏡に、ステージや試料に向けて光を出力するように構成された照明部を設けてもよい。特に、デジタル顕微鏡は光透過型顕微鏡であってもよく、照明部およびイメージセンサは、ステージや試料の反対側に配置される。
【0054】
本発明のさらなる実施形態は、デジタル顕微鏡を用いて合成画像を提供するプログラムから構成され、デジタル顕微鏡は、複数の顕微鏡対物レンズが設けられた対物レンズレボルバを有する光学系と、イメージセンサと、試料を保持し、光学系およびイメージセンサに対して移動可能なステージと、を備え、このプログラムは、試料の関心領域に関するユーザ選択であって、関心領域の位置および広がりを示すユーザ選択を受信し、ユーザ選択に応じて、複数の顕微鏡対物レンズら特定の１つを選択し、対物レンズレボルバを制御して、複数の顕微鏡対物レンズのうちの特定の１つを光学系の光路内に配置し、ステージに、光学系に対して移動するように指示し、イメージセンサに、画像データを生成するように指示し、画像データに基づき、関心領域の個々の画像の生成し、個々の画像を結合して、関心領域を表す合成画像にする。デジタル顕微鏡を用いて合成画像を提供する方法に関して上述した付加的な特徴、変更、および有益な効果は、デジタル顕微鏡を使用して合成画像を提供するためのプログラムに対しても同様に適用される。コンピュータプログラムは、コンピュータなどのデータ処理装置上で実行される際に本発明にかかる方法を実施、実行するプログラムコードやプログラム命令を含んで構成することができる。本発明にかかる方法におけるステップはプログラムコードによって生じ、デジタル顕微鏡の構成要素などの他の構成要素や、データ処理装置自体によって実行される。
【0055】
本発明のさらなる実施形態を、以下の図面を参照して詳細に説明する。
【図面の簡単な説明】
【0056】
【図1】本発明の例示的な実施形態にかかるデジタル顕微鏡の斜視図である。
【図3】本発明の例示的な実施形態にかかるデジタル顕微鏡システムを、ユーザ側から見た概略図である。
【図5】本発明の例示的な実施形態にかかるデジタル顕微鏡を用いて合成画像を提供する方法のフローチャートである。
【図6】本発明の別の例示的な実施形態にかかるデジタル顕微鏡における、一部構成要素の概略図である。
【発明を実施するための形態】
【0057】
図１は、本発明の例示的な実施形態にかかるデジタル顕微鏡２の三次元斜視図である。デジタル顕微鏡２には、デジタル顕微鏡２を支持するベース４が設けられる。ベース４は、安定して起立できるようにテーブル上に置かれてもよい。
【0058】
ベース４には、照明部およびステージ駆動部が設けられる。照明部およびステージ駆動部は、図１ではベースハウジングによって遮蔽されており、その詳細については後述する。ベース４には、ステージ１０が取り付けられている。ステージ１０は、ベース４に対して移動可能であり、特に、ステージ１０は、本実施形態では、ｘ方向およびｙ方向の二次元で移動可能である。動作時には、ステージ１０は、ステージ駆動部によってｘ方向およびｙ方向に移動される。
【0059】
ステージ１０は光透過部、特に透明部を有する。この光透過部分に試料を載置してもよい。図１に示す動作場面では、試料１２は２枚のスライドで構成され、これら２枚のスライドは、クリッピング機構を介してステージ１０の光透過部分の上に配置されている。動作中、照明部は、試料１２を底面から照射する。ステージ１０の光透過部分の平面を、デジタル顕微鏡のｘｙ平面と呼ぶ。
【0060】
さらに、デジタル顕微鏡２には、支持アーム６およびチューブ部８が設けられる。支持アーム６は、チューブ部８を支持するように形成されており、支持アーム６を設けることにより、チューブ部８がステージ１０の上方で停止できるようになっている。チューブ部８は、様々な光学部品を収容する。特に、図１の例示的な実施形態では、チューブ部８は、デジタルカメラと光学系を収容し、そして光学系は、チューブ対物レンズと対物レンズレボルバ２４を備えている。図１において、デジタルカメラおよびチューブ対物レンズは、チューブ部のハウジングによって遮蔽されているが、対物レンズレボルバ２４は、チューバ部のハウジングからステージ１０に向かって延設されている。対物レンズレボルバ２４には、後述するように、複数の顕微鏡対物レンズが取り付けられている。対物レンズレボルバ２４は対物タレットとも呼ぶ。
【0061】
チューブ部８は、支持アーム６に対してｘｙ平面に直交する移動方向に移動することができる。つまり、チューブ部８は、顕微鏡の基準座標系のｚ方向に移動することができる。この移動は極めて限定的ではあるが、チューブ部８内に収容されている光学系に対して試料１２のピント合わせをするためには十分である。
【0062】
動作中、ステージ駆動部は、ｘ方向およびｙ方向における所望の位置にステージ１０を移動させる。このように二方向へ移動させるために、ステージ駆動部は、任意の種類の適切なアクチュエータ、例えば、小規模な電気モータを２つ備えてもよい。照明部は、試料１２を下から照射する。この構成により、照明部からデジタルカメラへの照射光路上の試料１２の対応部分の画像データを、デジタルカメラで取得することが可能となる。このようにして取得した画像のデータは、ステージ１０の特定の位置、また、それに伴う光学系およびデジタルカメラに対する試料１２の特定の位置に対応する画像データを指すものとして、本実施形態では、個々の画像の画像データと呼ぶ。ステージ１０を様々な位置に駆動することによって、複数の個々の画像を生成することができる。
【0063】
図２は、図１に示すデジタル顕微鏡２の一部構成要素の概略図である。特に、図２は、試料１２への照明とチューブ部８内の光の方向付けに関連する構成要素を示している。上述したように、照明部４０は、ステージ１０の下、すなわち試料１２の下に配置され、試料１２に向けて上方に光を照射する。図２に示す例示的な実施形態では、照明部４０は、試料１２における撮影対象部分に向けて大量の光を照射するために設けられた光源４２、およびコリメートレンズ４４を備える。光源４２は、広域の可視光を発する白色光源であってもよい。なお、照明部４０は、適切な構成や設計であってよい。
【0064】
デジタル顕微鏡２には、光学系２１が設けられる。図２に示す例示的な実施形態では、光学系２１は、チューブ対物レンズ２２と対物レンズレボルバ２４とを備える。チューブ対物レンズ２２には、各個のチューブレンズ２３が設けられている。対物レンズレボルバ２４には、複数の顕微鏡対物レンズが設けられている。例えば、対物レンズレボルバ２４には、３つまたは４つ、または５つまたは６つの顕微鏡対物レンズが設けられてもよい。図２に示す例示的な実施形態では、対物レンズレボルバ２４には、３つの顕微鏡対物レンズ、すなわち、第１顕微鏡対物レンズ２５、第２顕微鏡対物レンズ２６、および第３顕微鏡対物レンズ２７が設けられている。顕微鏡対物レンズは、対物レンズレボルバ２４の回転板２８の上に配置される。回転板２８を回転させることにより、複数の顕微鏡対物レンズ２５、２６、２７のうちから選択された１つを、ステージ・試料１２とチューブ対物レンズ２２との間の光路上に配置することができる。対物レンズレボルバ２４は、回転板２８を回転させるために設けられる電動モータで構成されてもよい。電動モータは、対物レンズレボルバ２４と一体に設けられてもよい。図２に示す動作形態では、第１顕微鏡対物レンズ２５が、ステージ・試料１２とチューブ対物レンズ２２との間の光路上に配置されている。そのため、図２に示す動作形態において、第１顕微鏡対物レンズ２５を、複数の顕微鏡対物レンズの中から選択された特定の１つと呼ぶ。
【0065】
光学系２１は、試料１２における撮影対象部分を所望に拡大するために設けられる。複数の顕微鏡対物レンズ２５、２６、２７から選択された１つ、および、チューブ対物レンズ２２は、協働して、試料１２の一部を拡大し、そして、拡大された試料１２の一部をデジタルカメラ２０によって撮像する。換言すると、複数の顕微鏡対物レンズ２５、２６、２７から選択された１つと、チューブ対物レンズ２２とが共同で、撮影される個々の画像の光学倍率を実現するといえる。倍率は、チューブ対物レンズ２２の設計と顕微鏡対物レンズの設計の両方により実現してもよいが、顕微鏡対物レンズにより実現する方が一般的である。これに基づくと、図２に示す例示的な実施形態では、対物レンズレボルバ２４には、２０倍の倍率の顕微鏡対物レンズ、４０倍の倍率の顕微鏡対物レンズ、および６０倍の倍率の顕微鏡対物レンズを設けることができる。なお、このような顕微鏡対物レンズの組み合わせに対し、代替的・追加的に、他の倍率の顕微鏡対物レンズを設けてもよい。
【0066】
さらに、デジタル顕微鏡２には、デジタルカメラ２０が設けられる。デジタルカメラ２０は、イメージセンサおよびシャッタを備える。また、デジタルカメラの分野で慣用されている他の構成要素を備えて、画像データを取得するデジタルカメラの動作に寄与するように構成してもよい。対物レンズ２２は、対物レンズレボルバ２４から入射した光を、デジタルカメラ２０のイメージセンサの方へ向ける。このようにして、照明部４０から試料１２を通り、さらに、対物レンズレボルバ２４、特に複数の顕微鏡対物レンズから選択された特定の１つを通り、チューブ対物レンズ２２を通り、そしてデジタルカメラ２０のイメージセンサへと亘る光路５０が成立する。デジタルカメラ２０は、例えばＣＭＯＳ技術で構築されたデジタルカラーカメラであってもよい。デジタルカメラは、画像データを取得するために適切に構成された任意のデジタルカメラであってもよい。
【0067】
図３は、本発明の例示的な実施形態にかかるデジタル顕微鏡システム１００の概略図である。デジタル顕微鏡システム１００は、デジタル顕微鏡２を備える。デジタル顕微鏡２は、図１に関して説明した機械的構成と、図２に関して説明した光学的設定、および、図４並びに図５に関して後述する制御設定と、を有するデジタル顕微鏡２とすることができる。図３では、ユーザの視点およびデジタル顕微鏡システム１００とのユーザとの関わりに注目する。
【0068】
さらに、デジタル顕微鏡システム１００は、デジタル顕微鏡２と接続するコンピュータ８０と、コンピュータ８０に接続するスクリーン７０とを備える。コンピュータ８０は、スクリーン７０とデジタル顕微鏡２との間を適切に接続可能であれば、いかなる種類の処理装置であってもよい。例えば、コンピュータ８０は、デスクトップコンピュータまたはラップトップなどの、標準的なパーソナルコンピュータであってもよい。図３に示す例示的な実施形態におけるコンピュータ８０による例示的な処理能力を、デジタル顕微鏡２またはスクリーン７０に組み込んでもよい。スクリーン７０は、スクリーンとしての機能、および、デジタル顕微鏡２に直接インターフェース接続するための処理機能の両方を有する、例えば、タブレットまたはスマートフォンの一部であってもよい。図３に示す例示的な実施形態におけるコンピュータ８０の例示的な処理能力は、クラウドベースのシステムの一部として、リモートサーバなどのリモート処理デバイス上から得るようにしてもよい。
【0069】
スクリーン７０は、デジタル顕微鏡システム１００のユーザ用制御インターフェースである。図３に示す例示的な実施形態において、スクリーン７０はタッチスクリーンであり、ユーザ入力機能および画像出力機能の両方を備えている。ユーザは、タッチスクリーン７０を介してデジタル顕微鏡システム１００の動作全体を制御することができる。一方で、タッチスクリーン７０の代わりに、他の入力装置を追加的または代替的に設けることも可能である。例えば、キーボードやマウスなど、他の入力デバイスを設けて、ユーザがデジタル顕微鏡システム１００を制御できるようにしてもよい。また、複数のスクリーンを設けて画像を出力したり、さらに、画像を他の主体に出力したりすることも可能である。例えば、ハードドライブまたは他のデータ記憶媒体に、画像をファイル形式で保存するようにしてもよい。
【0070】
図３に示す例示的な実施形態では、スクリーン７０は、２つの異なる態様で出力を行う。スクリーン７０の左上隅には、画像プレビュー７２が表示される。画像プレビュー７２は、デジタル顕微鏡２のステージ上に載置された試料の概観画像である。この概観画像は、追加で設けるデジタルカメラで撮影することができる。追加のデジタルカメラは、対物レンズレボルバ２４の隣、すなわち、試料を下向きに見る方向で、対物レンズレボルバ２４からずらした位置に配置されてもよい。デジタルカメラを追加で用いる目的は、ユーザによる試料の大まかなナビゲーションが十分可能になる程度の詳細を有する試料の概観を、迅速に提供するためである。そのため、追加のデジタルカメラは、低画質で単純な構成のデジタルカメラであってもよい。なお、画像プレビュー７２は、他の適切な方法で生成してもよい。また、画像プレビュー７２を全く設けず、画像プレビュー７２なしで、ユーザによる試料のナビゲーションを実現するように構成することもできる。
【0071】
図３に示す使用例において、試料は生体試料である。試料は、透明なスライド上に載置された細胞培養物１４からなる。したがって、ユーザには、細胞培養物１４からなる試料が空白部分に囲まれて見えることになる。
【0072】
図３に示す例示的な実施形態では、ユーザは、画像プレビュー７２内で関心領域７４を選択することができる。関心領域７４の選択はユーザ選択であり、このユーザ選択により、デジタル顕微鏡の動作およびスクリーン７０上に表示する対象が決定する。以下、関心領域７４の選択について説明する。ユーザ選択は、タッチスクリーン上において、指、スタイラス、マウスなどの補助入力デバイス、メニューに基づく選択ツールなどを用いて、適切な方法で行うことができる。図示した使用例では、ユーザは、タッチスクリーン上の画像プレビュー７２が示されているスクリーン７０の該当部分において、自身の指により関心領域７４を選択したとする。ユーザ選択は、関心領域の位置および広がりを表す。換言すると、ユーザ選択は、ユーザにとって試料のどの部分が関心対象の領域であるのか、明確な決定を含んでいる。この決定は、関心領域の位置および広がりを導くことができるものであれば、どのような形態でなされてもよい。例えば、ユーザ選択は、デジタル顕微鏡システム１００から見て、画像プレビュー７２のｘｙ座標系における、関心領域の左下隅の座標および二次元の広がりから構成されてもよい。また、別の例では、ユーザ選択は、デジタル顕微鏡システム１００から見て、関心領域の左上隅および右下隅の座標から構成されてもよい。さらに別の例では、ユーザ選択には、デジタル顕微鏡システム１００から見て、関心領域の中心座標などの単一の座標と、試料全体のサイズと比較したズームレベルとから構成されてもよい。
【0073】
ユーザ選択に基づいて、デジタル顕微鏡システム１００は、関心領域７４に対応し、合成画像スクリーン部７６に表示される合成画像を生成する。図４および図５を参照し、合成画像の生成について、システム側の詳細を以下のとおり説明する。関心領域７４が選択されると、試料の関心領域７４に対応した合成画像は、ユーザから見て、合成画像スクリーン部７６において、画像プレビュー７２と比較して大きく拡大して表示される。ここで、対応という表現は、関心領域と合成画像とが完全に一致することを必ずしも意味しない。例えば、スクリーン７０の寸法に合わせるなどの目的のため、表示された合成画像が、試料内において関心領域７４よりも大きい領域を示すこともあり得る。
【0074】
図３に示す例示的な実施形態では、合成画像スクリーン部７６は、画像プレビュー７２を除き、スクリーン７０全体を覆っている。ユーザ選択を、このような合成画像スクリーン部７６において行えるように構成してもよい。例えば、ユーザが、横方向への平行移動操作およびズーム操作によって、試料の仮想表現を操作するように構成してもよく、この操作により、試料の仮想表現はスクリーン７０の外に広がるようにしてもよい。具体的には、例えばスマートフォンのアプリケーションでの操作のように、２本指によるズームコマンド操作を行ってもよい。関心領域の広がりは、関心領域のズームレベルと呼ぶこともできる。よって、関心領域の位置とズームレベルから構成されるユーザ選択は、関心領域の位置および広がりの指示でもある。具体的には、低画質の追加のカメラで撮影した画像プレビューを最初にフルスクリーンで表示し、ユーザによる横方向の平行移動操作およびズーム操作により、関心領域のナビゲーションをさせるようにしてもよい。
【0075】
図４は、図３に示すデジタル顕微鏡システム１００の一部構成要素のブロック図を示す。図３では、ユーザフロントエンドおよびデジタル顕微鏡システム１００とのユーザとの関わりに焦点を当てて説明したが、図４では、ハードウェアバックエンドおよび介在する制御構造を含むシステム側から説明する。図４に示す一部構成要素には、２つの外部接続要素、すなわち、ユーザ選択入力部９２および合成画像出力部９４が含まれる。これら２つの外部接続要素は、図３に示すタッチスクリーン７０へのインターフェースと捉えることもできる。ユーザ選択は、ユーザ選択入力部９２を介して、タッチスクリーン７０から図４に示すデジタル顕微鏡システム１００の構成要素に通信される。そして、合成画像は、合成画像スクリーン部７６上に表示するために適切に暗号化された形で、合成画像出力部９４を介して上述の構成要素によりタッチスクリーン７０に戻される。
【0076】
上述したように、図４は、デジタル顕微鏡システム１００の一部構成要素、特に、上述したデジタルカメラ２０、照明部４０、レボルバ駆動部４５、およびステージ駆動部４６を示している。デジタルカメラ２０は、イメージセンサ１２０、シャッタ１２２、およびイメージセンサドライバ１２４と、を備える。シャッタ１２２が開くと、イメージセンサ１２０が画像データを取り込み、イメージセンサドライバ１２４が、取得した画像データをイメージセンサ１２０から読み出す。
【0077】
さらに、デジタル顕微鏡システム１００は、さらに、制御部９０、画像データ後処理部９６、および画像合成部９８を備える。なお、制御部９０、画像データ後処理部９６、および画像合成部９８は、デジタル顕微鏡２に設けてもよいし、コンピュータ８０に設けてもよいし、または、リモートサーバ上に設けてもよい。あるいは、これらの構成要素の全てまたは任意の一部を、スクリーン７０に設けることも可能である。また、制御部９０、画像データ後処理部９６、および画像合成部９８を、デジタル顕微鏡システム１００の間で分散させてもよい。さらに、制御部９０、画像データ後処理部９６、および画像合成部９８のそれぞれを、ハードウェア構成要素またはソフトウェア構成要素、あるいはハードウェア構成要素およびソフトウェア構成要素との混合構成要素を有するように構成してもよい。図４に示す例示的な実施形態では、制御部９０、画像データ後処理部９６、および画像合成部９８は、コンピュータ８０上で実行されてデジタル顕微鏡２を制御するように構成されたソフトウェアプログラムの一部である。
【0078】
制御部９０はユーザ選択入力部９２に接続され、試料の関心領域に関するユーザ選択を受信する。さらに、制御部９０は、照明部４０、レボルバ駆動部４５、ステージ駆動部４６、およびデジタルカメラ２０に接続される。制御部は、ユーザ選択に応じて、照明部４０、レボルバ駆動部４５、ステージ駆動部４６、およびデジタルカメラ２０、特にそのシャッタ１２２およびイメージセンサドライバ１２４を制御するように構成される。
【0079】
さらに、制御部９０は、画像データ後処理部９６および画像合成部９８に接続する。デジタルカメラ２０は、画像データ後処理部９６に接続し、画像データ後処理部９６はさらに画像合成部９８に接続し、画像合成部９８はさらに合成画像出力部９４に接続する。このような構成により、制御部９０は、デジタルカメラ２０の画像処理における、以下に説明する一連の下流工程を制御することができる。
【0080】
ユーザ選択に基づいて、制御部９０は、ユーザ選択によって示された関心領域に対応する合成画像を生成するために、試料においてどの部分の個々の画像を生成するか決定する。
【0081】
ユーザ選択に基づいて、制御部９０は、まず、複数の顕微鏡対物レンズのうち、個々の画像を生成するためにいずれの顕微鏡対物レンズを選択するかについて決定する。換言すると、制御部９０は、まず、個々の画像を生成するために使用する光学倍率を決定する。制御部９０には、関心領域の広がりと、複数の顕微鏡対物レンズのうち関連するものとの間の関係式を設定することができる。換言すると、制御部９０は、関心領域の広がりに応じて、複数の顕微鏡対物レンズのうち特定の１つを選択するための機能を備えることができる。数式の代わり、または数式に加えて、制御部９０に、複数の顕微鏡対物レンズを関心領域の広がりの範囲に割り当てるルックアップテーブルを設定してもよい。換言すると、制御部９０は、特定の関心領域の特定の広がりがどの範囲にあるかを判定し、それに基づいて、複数の顕微鏡対物レンズから特定の１つとして、関連する顕微鏡対物レンズを出力するように構成することができる。制御部９０は、レボルバ駆動部４５を制御して、複数の顕微鏡対物レンズのうち選択された特定の１つを光学系の光路に配置する。このようにして、ユーザ選択に基づき、個々の画像を生成するための光学倍率が設定される。
【0082】
図４を参照して説明する例示的な実施形態では、対物レンズレボルバは、４つの顕微鏡対物レンズ、すなわち、１０倍の顕微鏡対物レンズ、２０倍の顕微鏡対物レンズ、４０倍の顕微鏡対物レンズ、および６０倍の顕微鏡対物レンズを備える。制御部９０は、４つの顕微鏡対物レンズから特定の１つを選択するために、３段階に設けられた閾値を用いる。特に、関心領域の広がりが３段階の閾値のいずれよりも大きい場合には、１０倍の顕微鏡対物レンズを使用する。逆に、関心領域の広がりが３段階の閾値のいずれよりも小さい場合には、６０倍の倍率の顕微鏡対物レンズを使用する。倍率２０倍の顕微鏡対物レンズと倍率４０倍の顕微鏡対物レンズは、関心領域の広がりが２つの閾値／１つの閾値より大きく、１つの閾値／２つの閾値より小さい場合に使用する。このように、選択する倍率を、関心領域の広がりに対して適合させることができる。
【0083】
イメージセンサ１２０が予め定められた数のイメージピクセルを有し、デジタル顕微鏡２の光学系が、複数の顕微鏡対物レンズから特定の１つを選択することにより設定された倍率を有することにより、試料の一部を、どの程度の大きさで個々の画像用の画像データに変換するかが、システムパラメータにより設定される。換言すると、デジタルカメラ２０のシャッタ１２２の１回の操作で撮影可能な試料の一部のサイズが設定される。このようにサイズが設定されると、制御部９０は、関心領域の位置と広がりとに基づいて、個々の画像用の試料画像データについて、どの位置を取り込むかを決定する。例えば、制御部９０は、関心領域の行方向または列方向にスキャンするための各位置を決定する。そして、制御部９０は、ステージ駆動部４６、シャッタ１２２、およびイメージセンサドライバ１２４を同期させて制御し、決定した各位置で画像データを生成する。制御部９０は、照明部４０を制御して連続的に照明してもよいし、または、他の構成要素と同期して断続的に照明してもよい。
【0084】
制御部９０は、個々の画像の画像データを取得する位置を制御するだけではない。制御部９０は、さらに、関心領域に関するユーザ選択、および、複数の顕微鏡対物レンズのうち特定の１つを選ぶ選択に基づいて、フル解像度モードを使用して個々の画像を生成するか、または、低解像度モードを使用して個々の画像を生成するかを決定する。デジタル顕微鏡システム１００に複数の低解像度サブモードが設定されている場合には、制御部９０は、フル解像度モードおよび複数の低解像度サブモードのうち、個々の画像を生成するための解像度モードを１つ選択する。図４に関する例示的な実施形態では、デジタル顕微鏡システム１００には２つの低解像度サブモードが設定されていて、制御部９０は、個々の画像を生成するための３つの異なるモードのうち１つを選択する。
【0085】
制御部９０は、ユーザ選択および顕微鏡対物レンズの特定の１つの選択を入力として、個々の画像を生成するためのフル解像度モードおよび複数の低解像度サブモードから１つを選択する関数、ルックアップテーブル、または他の適切なツールを備えてもよい。複数の顕微鏡対物レンズそれぞれに関連する、関心領域の広がりについての各ブラケット内では、関心領域が小さいほどフル解像度モードが選択され、関心領域が大きいほど低解像度サブモードが選択される。特に、関心領域が大きいほど、画素数は少なくなる。
【0086】
上述したように、イメージセンサ１２０は所定の画素数を有する。フル解像度モードの場合、個々の画像は、所定の画素数を有する。イメージセンサドライバ１２４は、所定の画素数を読み出し、画像後処理部９６は、所定の画素数を有する画像データに対して、カラーフィルタリングまたは他のフィルタリングなど、所望の種類の後処理を実行する。画像後処理部９６により出力される個々の画像は、所定の画素数を有する。
【0087】
図４に示すデジタル顕微鏡システム１００では、１つまたは複数の低解像度モードにおいて、２つの方法により画素数を低減させる。１つ目の方法は、予め定められた画素数をサブサンプリングして、画素数を低減させる方法である。この場合、イメージセンサドライバ１２４は、イメージセンサの所定の画素数をサブサンプリングする。換言すると、イメージセンサドライバ１２４は、所定の画素数よりも少ない画素数での読み出しが可能である。例えば、イメージセンサドライバ１２４は、１つおき、３つおき、または４つおきなど、すなわち、ｎ番目の画素毎に、画像データを読み出すことができる。特に、イメージセンサドライバ１２４を、イメージセンサ１２０の両次元のｎ番目の画素毎に読み出せるように構成してもよい。イメージセンサドライバ１２４が２画素毎に読み出しをする画像データの例では、画素数は４分の１に低減される。また、イメージセンサドライバ１２４が３画素毎に読み出しをする画像データの例では、画素数は９分の１に低減される。
【0088】
予め定められた数の画素をサブサンプリングすることにより、合成画像の生成を二重に高速化することができる。第一に、イメージセンサ１２０からの画像データの読み出しが速くなる。すなわち、イメージセンサ１２０からの画像データの読み出しに要する時間が、個々の画像毎に短縮される。イメージセンサ１２０は、新しい画像データへの準備をより迅速にすることができると共に、後続の個々の画像の画像データをより迅速に連続して取得することができる。したがって、画像データの取得を高速化することができる。第二に、デジタルカメラ２０の下流側、特に、画像後処理部９６および画像合成部９８にとっては、受信する画像データの量が少なくなる。このように、画素数が減ることにより、デジタルカメラ２０のこれらの下流部で行われる画像処理動作を高速化することができる。
【0089】
画素数を低減させる２つ目の方法は、イメージセンサ１２０が取得した画像データをダウンスケーリングする方法である。この場合、画像後処理部９６を用いて、イメージセンサ１２０が取得した画像データをダウンスケーリングする。ダウンスケーリングという表現は、画像フィルタリング操作によって画素数を減らすことを表す。例えば、ダウンスケーリングにより、２画素×２画素ウィンドウの４画素を、例えば１画素に置き換えてもよい。１画素への置換は、２画素×２画素ウィンドウの４画素の平均化など、比較的単純な操作の結果であってよい。このようにして、画素数を４分の１に減少させる。この手法を、より大きな画素ウィンドウに拡張してもよい。また、置換画素を計算するために、より精巧な手法を採用してもよい。例えば、置換画素の計算に、輪郭などのより大きな画像構造を考慮してもよい。ダウンサンプリングはそれ自体公知であり、当業者であれば、様々なダウンサンプリング手法を使用できることは明らかである。
【0090】
画像データのダウンサンプリングを、一連の画像処理の様々な時点で実行してもよい。例えば、画像後処理部９６の入力時、即ち、画像データをイメージセンサドライバ１２４から受信した時点で、ダウンサンプリングを実行してもよい。また、画像後処理部９６においてダウンサンプリングを行う前の画像データに対して他の画像処理を施したり、画像後処理部９６においてダウンサンプリングを行った後の画像データに対して他の画像処理を施したりしてもよい。ダウンサンプリングは、他の画像処理動作がより大きな画素数またはより小さな画素数に適用されるように、他の画像処理動作に必要な画像サイズに応じて、一連の画像処理に組み込まれてもよい。
【0091】
画素数が減ることで、ダウンサンプリング後のすべての後続の画像処理動作が高速化する。よって、画像データのダウンサンプリングにより、合成画像の生成を高速化することができる。後続の画像処理動作は、画像後処理部９６による個々の画像に対する画像処理と、画像合成部９８による個々の画像の合成からなる。合成画像データを、より高速に、そしてより容易に処理可能なサイズで出力するように構成してもよい。また、合成画像データを段階的に出力する場合、個々のデータパケットを、より迅速に連続して、そしてより容易に処理可能なサイズで伝送するように構成してもよい。
【0092】
上述した通り、図４に示すデジタル顕微鏡システム１００には、フル解像度モードと、２つの低解像度サブモードとが設定されている。ユーザ選択、および、複数の顕微鏡対物レンズのうち特定の１つを選ぶ選択に基づいて、制御部９０は、フル解像度モードおよび２つの低解像度サブモードのうちの１つを選択する。また、制御部９０は、フル解像度モードおよび２つの低解像度サブモードのうち選択された１つにしたがって、イメージセンサドライバ１２４および画像後処理部９６を制御する。
【0093】
図４について説明した例示的な実施形態によれば、制御部９０は、フル解像度モードにおいて、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から所定の全画素数について画像データを読み出す。また、制御部９０は、イメージセンサドライバ１２４から受信した画像データに対して、ダウンサンプリングを行わないように画像後処理部９６を制御する。１９２０画素×１９２０画素のイメージセンサの例では、個々の画素数も１９２０画素×１９２０画素となる。
【0094】
図４に関する例示的な実施形態によれば、第１低解像度サブモードでは、制御部９０は、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から画像データを二次元で２画素毎に読み出す。あるいは、制御部９０は、画像後処理部を制御して、二次元毎に２倍のダウンサンプリングを行う。１９２０画素×１９２０画素のイメージセンサの例では、イメージセンサドライバ１２４は、９６０画素×９６０画素の画像データを画像後処理部９６に送信し、ダウンサンプリング後の個々の画素数は９６０画素×９６０画素となる。
【0095】
図４に関する例示的な実施形態によれば、第２低解像度サブモードでは、制御部９０は、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から画像データを二次元で２画素毎に読み出す。さらに、制御部９０は、画像後処理部を制御して、二次元毎に２倍のダウンサンプリングを行う。１９２０画素×１９２０画素のイメージセンサの例では、イメージセンサドライバ１２４は、９６０画素×９６０画素の画像データを画像後処理部９６に送信し、ダウンサンプリング後の個々の画素数は４８０画素×４８０画素となる。
【0096】
画像合成部９８は、個々の画像を合成画像へと合成するように構成される。合成画像は適切な方法でユーザに提供され、例えば図３に示すように、スクリーン上でユーザに提示されてもよいし、後で見るためにファイルに保存してもよい。フル解像度モード、第１低解像度サブモード、および第２低解像度サブモードにおける個々の画素数が異なることから、画像合成部９８における個々の画像の合成時間は異なる。特に、画素数の少ない個々の画像に対する合成時間は少なくなる。画像合成部９８は、それ自体公知の適切なステッチングアルゴリズムを用いるなど、適切な手順により個々の画像を合成することができる。ステッチングが高品質となるように、個々の画像を、隣接する個々の画像間で重ねて生成してもよい。
【0097】
図４に示す例示的な実施形態では、制御部９０は、ユーザによって選択された関心領域の広がりに基づいて、フル解像度モード、第１低解像度サブモード、および第２低解像度サブモードのうちから１つを選択する。この選択に関し、制御部９０には、例えば複数の第１領域閾値など、複数の顕微鏡対物レンズのうち特定の１つを選ぶための複数の第１閾値が設定されてもよい。また、制御部９０には、さらに、フル解像度モードと第１および第２低解像度サブモードのうち１つを選択するために、所定の顕微鏡対物レンズに対する複数の第２閾値、例えば複数の第２領域閾値を設定してもよい。これらの閾値についての理論的根拠は、以下の通りである。つまり、関心領域が小さければ小さいほど、ユーザは試料の詳細に関心がある可能性が高くなり、したがって、より良好な画質、すなわち高い解像度の個々の画像を提供するものである。より高い解像度は、顕微鏡対物レンズの倍率を大きくしたり、個々の画像あたりの画素数を多くしたりすることで実現することができる。
【0098】
以上では、顕微鏡対物レンズの特定の１つが選択されると共に、フル解像度モードと１以上の低解像度モードのうち１つが選択される場合を上述した。ユーザ選択にこのような二重の画像生成を適用することは、様々な使用場面において非常に有益であるが、一方で、フル解像度モードと１つ以上の低解像度モードとの間の選択は省略してもよい。また、フル解像度モードと１つ以上の低解像度モードとの間の選択は、複数の顕微鏡対物レンズの一部に対してのみ適用するようにしてもよい。例えば、フル解像モードと１つ以上の低解像度モードとの間の選択は最小倍率の顕微鏡対物レンズのみに適用し、他の全ての顕微鏡対物レンズに対してはフル解像度モードのみを適用してもよい。
【0099】
ユーザ選択に基づくイメージセンサドライバ１２４および画像後処理部９６の制御に加えて、制御部９０は、ユーザ選択に応じて、ステージ駆動部４６およびシャッタ１２２を制御するように構成されてもよい。特に、個々の画像の生成を開始する前に、制御部９０は、ステージ駆動部４６を制御して、複数の顕微鏡対物レンズから選択された特定の１つに応じて、ステージをｘｙ方向に調整してもよい。このようにして、個々の画像における関心領域の範囲を、光学系の倍率に合わせることができる。関心領域をカバーするために必要な個々の画像の数は、開始点の位置決めを適合させること、すなわち、撮影される最初の個々の画像の位置決めを適合させることによって、最小限に抑えることができる。さらに、フル解像度モードと１つ以上の低減解像度サブモードとでは、ステージの移動パターンが異なる場合がある。特に、ステージの移動中またはステージが停止位置にある間、モードによって、画像データを取り込むイメージセンサに対する移動パターンが異なることがある。また、ステージの移動パターンを、複数の顕微鏡対物レンズのうち特定の１つの選択に適合させてもよい。
【0100】
図４に示す例示的な実施形態では、フル解像度モードにおいて、ステージの停止中に、イメージセンサ１２０によって画像データが取得される。そのため、ステージの移動によるぼやけが生じず、画質が最適化される。しかしながら、ステージが個々の画像毎に停止するので、後続の個々の画像は非最大速度で生成することになる。このように、ステージ駆動部の動作時間は、個々の画像および合成画像を生成する際の制限要因となってしまう。
【0101】
図４に示す例示的な実施形態では、第１低解像度サブモードおよび第２低解像度サブモードの両方において、ステージの移動中に、イメージセンサ１２０によって画像データが取得される。特に、ステージを、第１低解像度サブモードでは第１ステージ移動速度で、第２低解像度サブモードでは第２ステージ移動速度で移動させてもよい。第２ステージ移動速度は、第１ステージ移動速度より高速である。ステージの移動中に画像データを取得することによって、後続の個々の画像の画像データをより迅速に連続して取得することができるため、個々の画像および合成画像を迅速に生成することが可能となる。ステージ移動中の画像データの取得は、特に、イメージセンサドライバ１２４による所定の画素数のサブサンプリングと共に良好に動作する。上述したように、サブサンプリングを行うことで、画像データの迅速な読み出しが可能になると共に、イメージセンサに対して新しい画像データを迅速に取得する準備をさせることができる。この点が、ステージの移動中に画像データを迅速に連続して取得する際に活かされる。ステージの移動速度およびサブサンプリングの程度は、関係する技術的構成要素の特性および制約に応じて、互いに適合させることができる。
【0102】
また、第１ステージ移動速度および第２移動速度を、許容範囲以上のぼやけが合成画像に含まれないように設定してもよい。この点については、様々な要因を考慮に入れることができる。光学系の特性およびイメージセンサの物理的画素サイズに基づいて、試料のどの領域がイメージセンサの画素に関連するかを判断してもよい。さらに、サブサンプリングやダウンスケーリングの程度に基づいて、試料のどの領域が合成画像の画素に関連するかを判断してもよい。またさらに、合成画像におけるぼやけの許容範囲に基づいて、ぼやけを許容範囲未満に保つためにどの最大ステージ移動速度が許容可能であるかを判断してもよい。なお、ぼやけの許容範囲は、試料における所定の点によって影響を受ける、合成画像内の隣接する画素数に関連して定義してもよい。例えば、試料における所定の点は、合成画像の中の２つの画素のみに影響を及ぼすことがある、という品質基準として設定してもよい。これは、ステージの停止中に画像データを取得する場合よりも、試料における所定の点が最大で１画素に影響を及ぼす可能性があることから、１画素分のぼやけということもある。最大ステージ移動速度は、１画素分のぼやけを許容した上で、試料において合成画像内の１画素に相当する領域の長さを、イメージセンサによる１回の撮像動作に対するシャッタ開時間で割って得られる結果に設定してもよい。なお、取得した画像データの読み出し動作がシャッタ開時間に比べて大きい場合は、最大ステージ移動速度は、合成画像内の１画素に対応する試料内の領域の長さを、デジタルカメラ２０による１回の撮像動作に対する総撮像・処理時間で割って得られる結果に設定してもよい。また、後続の処理のために画像データを提供できるよう構成されたメモリに、イメージセンサ１２０から画像データを転送する際に生じ得る、実時間とは関係しない制約についても、さらに考慮に入れてもよい。第１ステージ移動速度および第２ステージ移動速度を、第１低解像度サブモードおよび第２低解像度サブモードの動作場面に応じて設定されたそれぞれの最大ステージ移動速度よりも低く設定することによって、合成画像のぼやけを許容範囲内に維持しつつ、合成画像を非常に迅速に提供することが可能となる。
【0103】
合成画像の所望の画素サイズを、制御部９０が受信するユーザ選択の一部とすることができる。つまり、ユーザ選択は、合成画像の所望の解像度に関する情報を含むことができる。例えば、スクリーン７０の画素数は、制御部９０に送信される情報の一部であってもよい。制御部９０を、関心領域の広がりおよび合成画像の所望の解像度に基づいて、複数の顕微鏡対物レンズのうち特定の１つを選ぶ選択するように、また、場合によっては、フル解像度モードおよび１以上の低解像度（サブ）モードのうち１つを選択するように構成してもよい。例えば、制御部９０を、合成画像の所望の解像度に応じて閾値を適応するように構成してもよい。特に、閾値は、所望の解像度の高さに合わせて上昇させてもよい。このようにして、合成画像の画質を出力媒体に適合させることができ、また、高品質の合成画像を、特定の使用出力媒体においてユーザに提示することが可能になる。逆に、合成画像の画質が所望の解像度に対して過剰にならないようにすることもできる。画質が過剰になると、合成画像の提供速度の観点、および、出力媒体への表示用に合成画像のサイズを低くするために必要となる処理時間の観点から、不利益を生じる可能性がある。
【0104】
合成画像について、既に取得済みの一部に対するユーザの操作を可能にするために、合成画像データを、ユーザに対して段階的に表示するように構成してもよい。例えば、新しい個々の画像が画像後処理部９６により利用可能になると、画像合成部９８はこの個々の画像と以前受信した個々の画像とのステッチングする処理を行う。この処理は、新たに受信した個々の画像と、合成画像における既に取得済みの一部とを繋ぎ合わせるものと考えてよい。ステッチングを行うことにより、個々の画像の画像データを変更することができるので、ステッチング処理は、フィルタ動作としてもとらえられる。フィルタリングされた個々の画像は、スクリーンに提供されたり、合成画像において既に取得済みの一部と共に表示されたりするため、合成画像において取得済みの表示されている部分が増える。この処理により、ユーザは、合成画像がスクリーン上で段階的に構築されるように感じることができる。このようにして、試料を分析する際のユーザの効率を高めることが可能となる。例えば、合成画像における既に取得済みの一部の表示が表示されることで、ユーザは、合成画像全体が提供される前に、例えばズームイン操作を行うなどして、関心領域を更新する機会を得ることができる。また、合成画像全体が提供される前に、ユーザが試料内で探している特定の特徴を見つける機会を得ることができる。このような構成により、ユーザは、試料との間でライブインタラクションを体験することができる。
【0105】
図５は、本発明の例示的な実施形態にかかるデジタル顕微鏡を用いて、合成画像を提供する方法のフローチャートを示す。ステップ２００では、試料の関心領域に関するユーザ選択を受信する。ステップ２０１では、ステップ２００で受信したユーザ選択に基づき、対物レンズレボルバにおいて利用可能な複数の顕微鏡対物レンズから、特定の１つが選択される。ステップ２０２では、ステップ２００で受信したユーザ選択、および、ステップ２０１で複数の顕微鏡対物レンズから選択した特定の１つに基づいて、フル解像度モードおよび低解像度モード、例えば、フル解像度モードおよび複数の低解像度サブモードのうち、いずれか１つを選択する。ステップ２０４では、ステップ２０１で選択された顕微鏡対物レンズおよびステップ２０２で選択されたモードにしたがって、関心領域の個々の部分について、個々の画像を生成する。選択されたモードにしたがって個々の画像を生成するために、レボルバ駆動部、照明部、ステージ駆動部、デジタルカメラのシャッタ、デジタルカメラのイメージセンサドライバ、および画像後処理部のすべてまたは一部を、選択された顕微鏡対物レンズおよび選択されたモードにしたがって制御する。ステップ２０６では、個々の画像を合成し、合成画像を生成する。ステップ２０８では、合成画像を、ユーザに対してスクリーン上に表示する。
【0106】
なお、ステップ２０４、ステップ２０６、およびステップ２０８は、図示した順序で実行してもよく、また、部分的に並列に実行してもよい。上述のように、関心領域の一部について、個々の画像の合成、そしてその合成画像の表示が行われつつ、関心領域の別の部分についての個々の画像が生成されてもよい。
【0107】
図５に示す例示的な実施形態では、ステップ２０１、ステップ２０２、ステップ２０４、ステップ２０６、およびステップ２０８は非常に短い期間で実行され、デジタル顕微鏡システムの高い応答性をユーザに提供する。特に、複数の顕微鏡対物レンズから特定の１つが選択された後、その選択された顕微鏡対物レンズは、１秒未満、特に０．５秒未満の準備間隔で光学系の光路内に配置される。さらに、ステップ２０４、ステップ２０６、およびステップ２０８は、１０秒未満、特に５秒未満の記録間隔で実行される。特に、複数の顕微鏡対物レンズのうち特定の１つ、および適用可能である場合、フル解像度モードおよび低減解像度（サブ）モードのうちの１つは、所与の所望の記録間隔が実現するように選択される。換言すると、記録間隔は、顕微鏡対物レンズの選択、および適用可能な場合、フル解像度モードおよび低減解像度（サブ）モードの選択のために考慮される時間的な制約である。このようにして、画像品質と、合成画像の提供時間との間のトレードオフが良好となる。
【0108】
図５に示す例示的な実施形態では、関心領域の更新に関するユーザ選択の更新に対して、本発明にかかる方法全体のあらゆる時点で反応するように構成してもよい。特に、本発明にかかる方法では、更新後のユーザ選択の受信を割り込みとして解釈し、その時点で実行されているステップを停止するように構成してもよい。また、本発明にかかる方法では、更新後のユーザ選択を割り込みとして解釈し、この更新後のユーザ選択に基づいて、ステップ２０１に戻るように構成してもよい。図５に示す破線２１０は、本方法全体のあらゆる時点で起こり得る、更新後のユーザ選択の受信を示している。ステップ２０４より前の段階で生成された個々の画像が、更新後のユーザ選択と関連する場合は、それを再使用し、再び生成しなくてもよい。このようにすると、関心領域のわずかな変化についての合成画像の生成を、非常に迅速に実行することができる。また、合成画像について、ステップ２０６より前の段階で既に生成された一部分が、更新された関心領域と関連する場合は、その一部分をスクリーン上に表示し続けてもよい。表示されている一部分を、更新された関心領域の合成画像の別の部分で段階的に補足してもよい。スクリーン上で中断時間が発生すると、ユーザは新たな表示に適応しなければならず、分析に支障をきたすおそれがある。しかし、上述のように構成することで、このような中断時間の発生を防ぐことができる。
【0109】
図６は、本発明の別の例示的な実施形態にかかるデジタル顕微鏡２の一部構成要素の模式図である。図６のデジタル顕微鏡２について図示された構成要素の多くは、図２のデジタル顕微鏡２において対応する構成要素と同じであり、同様に図示されている。同一の構成および機能については図２および他の図に関連する説明が参照可能であるため、繰り返しの説明は省略する。図２のデジタル顕微鏡２と比較すると、図６のデジタル顕微鏡２は、以下に説明するように、その機能が強化されている。
【0110】
図６に示すデジタル顕微鏡２には、第１ダイバータ６２と、第２ダイバータ６５と、第１機能強化検出器６７とが設けられる。第１ダイバータ６２は、対物レンズレボルバ２４とチューブ対物レンズ２２の間に配置され、試料１２から対物レンズレボルバ２４を通り、チューブ対物レンズ２２を通り、デジタルカメラ２０に亘る上述した光路から、光を離して向けるために設けられる。図６に示す例示的な実施形態では、第１ダイバータ６２は、狭い波長帯域の光を上述の光路から遠ざけるように構成されたダイクロイックバンドパスミラーである。ダイクロイックバンドパスミラーであるので、第１ダイバータ６２は、対物レンズレボルバ２４とチューブ対物レンズ２２との間の光路内に恒久的に配置されてもよく、照明部４０によってデジタルカメラ２０に向かって放出される広帯域可視光に影響をほぼ与えない。また、第１ダイバータ６２は、図６に示すように、対物レンズレボルバ２４とチューブ対物レンズ２２との間の転換位置に移動可能な可動コンポーネントであり、対物レンズレボルバ２４とチューブ対物レンズ２２との間の光路から外れた非係合位置に移動させることができる。第１ダイバータ６２を可動コンポーネントとする場合、第１ダイバータ６２は単純なリフレクタであってもよく、入射する光の全部または大部分を反射するようにしてもよい。第１ダイバータ６２が広帯域リフレクタであることは、以下に説明するように、提供される機能が強化されることから有益である。さらに、第１ダイバータ６２は、例えば、制御電界または制御電位の印加を介して、その反射特性や透過特性が電気的に制御されるコンポーネントであってもよい。例えば、第１ダイバータ６２は、複屈折結晶ミラーであってもよい。また、第１ダイバータ６２は、音響光学的に制御された結晶材料から構成されてもよい。
【0111】
第１ダイバータ６２は、後述する機能強化照明部６４の方向に照明を向けるように配置される。特に、第１ダイバータ６２は、対物レンズレボルバ２４とチューブ対物レンズ２２との間の光路に対して４５°の角度で配置され、それにより、方向転換された照明は、実質的に直交して光路を離れる。第１ダイバータ６２と機能強化照明部６４との間には、第２ダイバータ６５が配置されている。第２ダイバータ６５は、第１ダイバータ６２からの照明を第１機能強化検出器６７に向けるように配置される。第２ダイバータ６５は、ダイクロイックバンドパスミラーであってもよく、第１ダイバータ６２に関して上述したオプションのいずれかにしたがって実現することができる。第２ダイバータ６５を半透過性ミラーとしてもよい。図６に示す例示的な実施形態では、第２ダイバータ６５は、第１ダイバータ６２と機能強化照明部６４との間の光路に対して４５°の角度で配置されている。
【0112】
第１機能強化検出器６７は、特定の波長において高い感度を有する光検出器であってもよい。特に、第１機能強化検出器６７は、感度が特定の波長や特定の波長範囲に適合した単色光検出器であってもよい。このように、第１機能強化検出器６７は、特定の波長での励起に対する試料１２の反応を検出するのに特に適している。
【0113】
上述のように、デジタル顕微鏡２は、機能強化照明部６４をさらに備える。機能強化照明部６４は、照明や励起を第２ダイバータ６５に向けるように配置される。特に、機能強化照明部６４は、照明や励起を第２ダイバータ６５に向けて方向付けるように配置され、それにより、照明や励起が第２ダイバータ６５を通過すると、第１ダイバータ６２に移動するように構成される。図６に示す例示的な実施形態では、第２ダイバータ６５は、機能強化照明部６４によって放射された選択波長や選択波長範囲を第１ダイバータ６２に向かって通過させる狭帯域ダイクロイックバンドパスミラーである。第２ダイバータ６５の通過帯域は、特に、機能強化照明部６４によって放射される狭帯域照明や励起に適合する。機能強化照明部６４が狭帯域照明部であり、第２ダイバータ６５が狭帯域ダイクロイックバンドパスミラーである場合、第２ダイバータ６５は、機能強化照明部６４と第１ダイバータ６２との間に恒久的に配置されてもよく、以下に説明するように、照明や励起の通過と試料応答の迂回との両方を可能にしてもよい。
【0114】
図６に示す例示的な実施形態では、機能強化照明部６４はレーザ光源で構成されている。動作時、レーザ光源は、高度に平行化された非常に狭い帯域の光ビームを提供する。図６では、この高度に平行化されている光ビームを一本線状の光路６０として示している。レーザ光源の波長は、試料１２の具体的な検査動作に適合させることができ、第１機能強化検出器６７は、レーザ光源の特定の波長に関して、また、レーザ光源の特定の波長での励起時に試料１２において予想される反応波長や反応波長範囲に関して、特に高い感度を有する。レーザ光源は、点光源と考えてもよく、第１機能強化検出器６７は、単一の検出セルを有するか、または検出セルの小領域を有する。また、第１機能強化検出器６７は分光検出器であってもよく、異なる波長を分割するためのプリズムまたは他の適切な光学部品と、異なる波長のそれぞれの強度を検出するための複数の検出セルとを有してもよい。このようにして、試料１２の分光分析は、試料１２の非常に限定された領域における高度に平行化されたレーザ励起に反応させて実施される。
【0115】
動作中、レーザ光源の光ビームは、機能強化照明部６４を出て、第２ダイバータ６５を通過し、第１ダイバータ６２によって対物レンズレボルバ２４に向かって反射され、対物レンズレボルバ２４を通過し、試料１２を励起する。試料１２は励起に反応し、試料の反応は対物レンズレボルバ２４を通って戻り、第１ダイバータ６２によって反射され、第２ダイバータ６５によって反射され、第１機能強化検出器６７によって測定される。この設定は、各種の追加測定、特に各種の分光測定や蛍光を利用した測定に使用することができる。
【0116】
対物レンズレボルバ２４と光路６０との干渉を抑えるために、図６に示す例示的な実施形態では、対物レンズレボルバ２４は第４顕微鏡対物レンズ２９を備えている。図６に示す動作状況では、第４顕微鏡対物レンズ２９は、試料１２と第１ダイバータ６２との間の光路に配置されている。図６に示す例示的な実施形態では、第４顕微鏡対物レンズ２９は、機能強化照明部６４から試料１２へのレーザ光と、試料１２から第１機能強化検出器６７に向かう反応とが、可能な限り干渉せず通過するように構成される。第４顕微鏡対物レンズ２９は、特に、レーザ光源の波長に対して最大限の透明性を有するように構成できる。図６に示す動作状況では、第１顕微鏡対物レンズ２５と第２顕微鏡対物レンズ２６は、試料１２と第１ダイバータ６２の間の光路から移動する。このようにして、対物レンズレボルバ２４は、デジタル顕微鏡２の枠組みの中で、付加的な機能を非常に効率的に提供することができる。
【0117】
図６に示す例示的な実施形態では、デジタル顕微鏡２は、第３ダイバータ６６と第２機能強化検出器６８とをさらに備える。第３ダイバータ６６は、本明細書では可視光照明部とも呼ばれる照明部４０と試料１２との間に配置される。図６に示す例示的な実施形態では、第３ダイバータ６６は狭帯域ダイクロイックバンドパスミラーであり、照明部４０によって放射された白色光のほとんどすべてを試料１２に通過させる。第３ダイバータ６６はさらに、機能強化照明部６４からの照明や励起、また、機能強化照明部６４による照明や励起に対する試料の反応を、第２機能強化検出器６８の方向に向けるように配置されている。第３ダイバータ６６の反射波長帯域は、特に、機能強化照明部６４によって放射される狭帯域の照明や励起に適合する。機能強化照明部６４が狭帯域照明部であり、第３ダイバータ６６が狭帯域ダイクロイックバンドパスミラーであるため、第３ダイバータ６６は照明部４０と試料１２の間に恒久的に配置することができる。一方で、第３ダイバータ６６を、図６に示す転換位置と、照明部４０と試料１２との間の光路から外れた非係合位置との間で移動可能に設けてもよい。後者の場合、第３ダイバータ６６は標準的な反射鏡であってもよい。また、第３ダイバータ６６は半透過ミラーであってもよく、示した位置に恒久的に配置されてもよい。第３ダイバータ６６と第２機能強化検出器６８を設けることで、デジタル顕微鏡２にさらなる測定機能が実装される。通過照明や励起、特に特定波長の通過照明や励起に対する試料１２の再反応を分析することができる。第２機能強化検出器６８は、各種の追加測定、特に各種の分光測定や蛍光を利用した測定に使用することができる。
【0118】
【0119】
上述した強化された機能は、対物レンズレボルバ上の拡大顕微鏡対物レンズと組み合わせて提供されてもよい。この場合、第１および第２機能強化検出器６７、６８の両方またはいずれか一方は、照明光を適切な検出器セルまたは検出器セルアレイに向けるためのチューブ対物レンズまたは集光レンズ、または他の光学部品を備えてもよい。
【0120】
さらに、第１機能強化検出器や第２機能強化検出器によって取り込まれた個々の画像は、デジタルカメラ２０に関して上述したように、フル解像度モードまたは１つ以上の低解像度（サブ）モードで生成されてもよい。換言すると、画質や解像度と合成画像の提供速度との間のトレードオフを良好にするための上述した手段を、１つ以上の機能強化検出器の操作に対して同様に適用することができる。特に、試料の広範囲を強化機能により分析する場合に該当する。
【0121】
さらに、デジタル顕微鏡２の枠組みの中で、複数の追加機能を設けてもよい。特に、機能強化照明部や機能強化検出器を複数設けてもよい。機能強化照明部や機能強化検出器は、図６に示す機能強化照明部６４、第１機能強化検出器６７および第２機能強化検出器６８の各位置において、レボルバ型構造体上に配置してもよい。複数の機能強化照明部のうちの所望の１つや複数の機能強化検出器のうちの所望の１つをこのように好適に配置することで、図示した光路６０に実質的に対応する光路またはその一部に実質的に対応する光路を実現することができる。
【0122】
図６に示す設定により、試料１２または試料１２の選択された部分について、ラマン分光分析、ＣＡＲＳ分析、ＳＲＳ分析、ＳＨＧ分析、ＴＰＥＦ分析、およびＦＬＩＭ分析のうちの１つ以上を実施することができる。
【0123】
可視光照明部４０およびデジタルカメラ２０による合成画像の生成を利用した試料の検査と、上述の強化された機能を利用した検査とは、互いに補完し合うようにしてもよく、試料の多角的な分析において利便性の高い方法が提供される。例えば、デジタルカメラ２０で撮影された個々の画像から合成された合成画像を見ているユーザが、その合成画像上で関心点をマークできるように構成してもよい。その後、デジタル顕微鏡システムは、少なくとも１つの機能強化照明部と少なくとも１つの機能強化検出器を用いて、この関心点に関して追加測定を行う。対物レボルバを使用することにより、デジタルカメラ２０による個々の画像の撮影と、少なくとも１つの機能強化照明部と少なくとも１つの機能強化検出器による追加分析との間の切り替えが、ユーザによる操作を必要とせず、デジタル顕微鏡システムによって、特にデジタル顕微鏡２の光路を手動で再設定することなく行うことができる。
【0124】
以上、例示的な実施形態を参照して本発明について説明した。しかしながら、本発明の範囲から逸脱しない限り、本発明に対して様々な変更を行うことができること、および、例示的な実施形態における構成に代えて、均等物を用いることができることは、当業者であれば自明である。さらに、本発明の本質的な範囲から逸脱しない限り、特定の状況または材料を本発明の開示に対して適合させるための多くの修正がなされてもよい。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、添付の特許請求の範囲に含まれるすべての実施形態を含むといえる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】