特表 2023-501589 デジタル顕微鏡を用いて合成画像を提供する方法、デジタル顕微鏡システム、およびデジタル顕微鏡を用いて合成画像を提供するプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-01-18

(54)【発明の名称】デジタル顕微鏡を用いて合成画像を提供する方法、デジタル顕微鏡システム、およびデジタル顕微鏡を用いて合成画像を提供するプログラム

(51)【国際特許分類】

   G02B 21/36 20060101AFI20230111BHJP

【ＦＩ】

G02B21/36

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022527743

(86)(22)【出願日】2020-11-13

(85)【翻訳文提出日】2022-06-28

(86)【国際出願番号】 EP2020082067

(87)【国際公開番号】W WO2021094542

(87)【国際公開日】2021-05-20

(31)【優先権主張番号】19209393.8

(32)【優先日】2019-11-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】522183940

【氏名又は名称】プレツィポイント ゲーエムベーハー

【氏名又は名称原語表記】ＰＲＥＣＩＰＯＩＮＴ ＧＭＢＨ

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】ヴィルドナー，ルートヴィヒ

(72)【発明者】

【氏名】シュミット，アンドレアス

【テーマコード（参考）】

2H052

【Ｆターム（参考）】

2H052AD04

2H052AD18

2H052AF14

2H052AF21

2H052AF25

(57)【要約】

【解決手段】デジタル顕微鏡（２）を用いて合成画像を提供する方法であって、デジタル顕微鏡（２）は、光学系（２５）と、所定の画素数のイメージセンサ（１２０）と、試料（１２）を保持するステージ（１０）と、を備え、ステージは、光学系およびイメージセンサに対して移動可能に構成され、本方法では、試料の関心領域（７４）に関するユーザ選択であって、関心領域の位置および拡張部分を示すユーザ選択を受信し、ユーザ選択に応じて、所定の画素数の個々の画像を生成するためのフル解像度モード、および所定の画素数と比較して低減された画素数の個々の画像を生成するための低解像度モードのうち、いずれか１つを選択し、光学系およびイメージセンサに対してステージを移動し、フル解像度モードおよび低解像度モードのうちから選択された１つにしたがって、関心領域の個々の画像を生成し、個々の画像を組み合わせて、関心領域を表す合成画像とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

デジタル顕微鏡（２）を用いて合成画像を提供する方法であって、
前記デジタル顕微鏡（２）は、光学系（２５）と、所定の画素数のイメージセンサ（１２０）と、試料（１２）を保持するステージ（１０）と、を備え、前記ステージ（１０）は、前記光学系（２５）および前記イメージセンサ（１２０）に対して移動可能に構成され、
前記方法は、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および拡張部分を示す前記ユーザ選択を受信し、
前記ユーザ選択に応じて、所定の画素数の個々の画像を生成するためのフル解像度モード、および前記所定の画素数と比較して低減された画素数の個々の画像を生成するための低解像度モードのうち、いずれか１つのモードを選択し、
前記光学系（２５）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動し、前記フル解像度モードおよび前記低解像度モードのうちから選択された前記１つのモードにしたがって、前記関心領域（７４）の個々の画像を生成し、
前記個々の画像を組み合わせて、前記関心領域（７４）を表す前記合成画像とする、
方法。

【請求項2】

前記低減された画素数の個々の画像は、前記イメージセンサ（１２０）の所定の画素数をサブサンプリングすることにより生成される、
請求項１に記載の方法。

【請求項3】

前記低減された画素数の個々の画像は、前記イメージセンサ（１２０）により生成された画像データをダウンスケーリングすることにより生成される、
請求項１または２に記載の方法。

【請求項4】

前記低解像度モードにおいて、前記ステージ（１０）は少なくとも部分的に連続的に移動し、前記ステージの移動中に、前記イメージセンサ（１２０）は前記個々の画像の画像データを取得する、
先行する請求項のいずれか１項に記載の方法。

【請求項5】

前記ステージ（１０）の移動速度は、前記画像データのぼやけが最大２画素、特に最大１画素に制限されるように選択される、
請求項４に記載の方法。

【請求項6】

前記フル解像度モードにおいて、前記ステージ（１０）は断続的に移動し、前記ステージの停止中に、前記イメージセンサ（１２０）は前記個々の画像の画像データを取得する、
先行する請求項のいずれか１項に記載の方法。

【請求項7】

前記低解像度モードは、複数の低解像度サブモードからなり、前記フル解像度モードおよび前記低解像度モードのうちのいずれか１つを選択する前記ステップは、前記フル解像度モードおよび前記複数の低解像度サブモードのうちのいずれか１つを選択することを含む、
先行する請求項のいずれか１項に記載の方法。

【請求項8】

前記複数の低解像度サブモードは、前記個々の画像について、それぞれのサブモードに固有の低減された画素数を有し、前記複数の低解像度サブモードの間で、特に、前記イメージセンサ（１２０）の前記所定の画素数のサブサンプリングの程度、および、前記イメージセンサ（１２０）によって生成された画像データのダウンスケーリングの程度のうち、少なくとも１つが異なる、
請求項７に記載の方法。

【請求項9】

前記ユーザ選択は、前記合成画像の所望の解像度を示す表現解像度をさらに示し、前記表現解像度は、特に、前記合成画像を表現するためのスクリーン（７０）の解像度を示す、
先行する請求項のいずれか１項に記載の方法。

【請求項10】

前記合成画像をスクリーン（７０）上に表示することをさらに含み、前記個々の画像は、特に、前記スクリーン（７０）上に段階的に表示される、
先行する請求項のいずれか１項に記載の方法。

【請求項11】

前記試料の更新された関心領域に関する更新後のユーザ選択であって、前記更新された関心領域の位置および拡張部分を示す前記更新後のユーザ選択を受信し、
現在実行されている１つまたは複数の前記ステップを中断し、
前記更新後のユーザ選択に応じて、前記フル解像度モードおよび前記低解像度モードのうちのいずれか１つのモードを再選択し、
前記光学系および前記イメージセンサに対して、前記ステージ（１０）を移動させ、前記フル解像度モードおよび前記低解像度モードのうち再選択された前記いずれか１つのモードにしたがって、前記更新された関心領域の個々の画像を生成し、
前記個々の画像を組み合わせて、前記更新された関心領域を表す前記合成画像とする、
先行する請求項のいずれか１項に記載の方法。

【請求項12】

光学系（２５）と、
所定の画素数のイメージセンサ（１２０）と、
試料（１２）を保持するステージ（１０）と、
前記ステージ（１０）を、前記光学系（２５）および前記イメージセンサ（１２０）に対して移動させるステージ駆動部（４６）と、
合成画像のための画像データの生成を制御する制御部（９０）と、
を備えるデジタル顕微鏡システム（１００）であって、
前記制御部は、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および拡張部分を示す前記ユーザ選択を受信し、
前記ユーザ選択に応じて、所定の画素数の個々の画像を生成するためのフル解像度モード、および所定の画素数と比較して低減された画素数の個々の画像を生成する低解像度モードのうち、いずれか１つのモードを選択し、
前記ステージ駆動部（４６）を制御して、前記光学系（２５）および前記イメージセンサ（１２０）に対して前記ステージ（１０）を移動させ、
前記フル解像度モードおよび前記低解像度モードのうちのから選択された前記１つのモードにしたがって、前記関心領域（７４）の個々の画像の生成を制御する、
デジタル顕微鏡システム（１００）。

【請求項13】

前記制御部（９０）は、前記低解像度モードにおいて、前記イメージセンサの所定の画素数のサブサンプリング、および、前記イメージセンサによって生成された画像データのダウンスケーリングのうち、少なくとも１つが行われるようにすることで、前記個々の画像の生成を制御する、
請求項１２に記載のデジタル顕微鏡システム（１００）。

【請求項14】

前記制御部（９０）は、前記低解像度モードにおいて、前記ステージ（１０）を少なくとも部分的に連続的に移動させるように前記ステージ駆動部（４６）を制御し、前記ステージの移動中に、前記個々の画像の画像データを取得するように前記イメージセンサ（１２０）を制御する、
請求項１２または１３に記載のデジタル顕微鏡システム（１００）。

【請求項15】

デジタル顕微鏡（２）を使用して合成画像を提供するためのプログラムであって、前記デジタル顕微鏡（２）は、光学系（２５）と、所定の画素数のイメージセンサ（１２０）と、試料（１２）を保持するステージ（１０）と、を備え、前記ステージ（１０）は、前記光学系（２５）および前記イメージセンサ（１２０）に対して移動可能に構成され、
前記プログラムは、
前記試料（１２）の関心領域（７４）に関するユーザ選択であって、前記関心領域（７４）の位置および拡張部分を示す前記ユーザ選択を受信し、
前記ユーザ選択に応じて、フル解像度モードおよび低解像度モードのうちから１つのモードを選択し、
前記光学系（２５）に対して移動するように前記ステージ（１０）に指示し、
画像データを生成するように前記イメージセンサ（１２０）に指示し、
前記フル解像度モードが選択された場合には、前記画像データに基づいて、前記関心領域（７４）について前記所定の画素数で個々の画像を生成し、前記低解像度モードが選択された場合には、前記関心領域（７４）について低減された画素数で個々の画像を生成し、
前記個々の画像を組み合わせて、前記関心領域（７４）を表す前記合成画像とする、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル顕微鏡の技術分野に関する。特に、本発明は、デジタル顕微鏡を介して観察される試料の一部についてデジタル画像を生成する技術に関する。

【背景技術】

【0002】

近年、従来のアナログ顕微鏡に代えて、デジタル顕微鏡を用いることが技術進歩の目的とされている。現行のデジタル顕微鏡は、一般的に、以下の２つの動作形態のいずれかで使用される。１つ目の動作形態では、デジタル顕微鏡は、従来のアナログ顕微鏡と同様に使用される。つまり、デジタル顕微鏡は、観察対象である試料を保持したステージを所望の位置に駆動し、カメラを用いてステージの位置に対応した画像を１枚撮影するように構成される。そして、この１枚の画像をユーザに提示する。２つ目の動作形態では、顕微鏡は、ユーザによる試料画像の要求に基づき、試料の行方向または列方向を走査し、走査中に撮影した個々の画像から、試料の画像を合成するように構成される。しかし、現行のデジタル顕微鏡のこれらの動作形態は、デジタル顕微鏡のあらゆる使用場面において適合するとはいえない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、ユーザによる操作性を向上させるデジタル顕微鏡システムおよびデジタル顕微鏡を使用して合成画像を提供する方法を提供することが有益である。

【課題を解決するための手段】

【0004】

本発明の例示的な実施形態は、デジタル顕微鏡を用いて合成画像を提供する方法であって、デジタル顕微鏡は、光学系と、所定の画素数のイメージセンサと、試料を保持するステージと、を備え、ステージは、光学系およびイメージセンサに対して移動可能に構成され、この方法は、試料の関心領域に関するユーザ選択であって、関心領域の位置および拡張部分を示すユーザ選択を受信し、ユーザ選択に応じて、所定の画素数の個々の画像を生成するためのフル解像度モード、および所定の画素数と比較して低減された画素数の個々の画像を生成するための低解像度モードのうち、いずれか１つのモードを選択し、光学系およびイメージセンサに対してステージを移動させ、フル解像度モードおよび低解像度モードのうちから選択された１つのモードにしたがって、関心領域の個々の画像を生成し、個々の画像を組み合わせて、関心領域を表す合成画像とすること、を含む。

【0005】

本発明の例示的な実施形態によれば、最終的に得られる合成画像に組み込まれる個々の画像の生成と、試料の関心領域についてのユーザ選択とを適合させることが可能となる。試料のうち、ユーザの関心対象である部分の画像について、提供画質と提供速度とが最適にトレードオフされる。特に、個々の画像を生成するためのフル解像度モードと低解像度モードのうちから解像度モードを選択することにより、低減された画素数を有する個々の画像を高速に画像処理することは、ユーザ選択が、所望の試料画像の解像度が比較的小さくても十分であることを示す場合には、有利となる。例えば、ユーザ選択が、ユーザの関心が試料のかなり大きな部分に亘ることを示す場合、すなわち、ユーザ選択が、関心領域の拡張部分がかなり大きいことを示す場合は、低解像度モードが選択されてもよい。この場合、フル解像度モードを使用する場合と比較して、試料における比較的大きな部分の表示を生成するために必要とされる比較的多数の個々の画像を優れた速度で得ることができる。換言すると、試料において広い範囲に関心のあるユーザは、最高解像度よりも低い解像度の合成画像で満足するという前提に基づいて低解像度モードが選択されてもよく、したがって、一時的な使用下でユーザが必要とする解像度を損なうことなく、合成画像を生成する際の速度を改善することができる。一方で、ユーザ選択がかなり小さい関心領域を示す場合は、フル解像度モードが選択されてもよい。その場合、合成画像を生成するために必要とされる比較的少ない数の個々の画像を高速動作で得られるようにしてもよく、さらに、ユーザは、選択した関心領域に対して高い画質を得ることができる。

【0006】

デジタル顕微鏡は光学系を有する。光学系は、デジタル顕微鏡が所望の倍率を実現するのに適していれば、任意の種類であってよい。特に、光学系は、対物レンズおよびチューブレンズを備えてもよい。倍率は、デジタル顕微鏡に設けられる光学システムに伴う設定値であってよい。特に、倍率は、デジタル顕微鏡に設けられる対物レンズに伴い設定されてよい。

【0007】

デジタル顕微鏡は、試料を保持するためのステージを有する。試料は、スライドの形態で載置されてもよい。スライドは、ステージ上に載置されてもよいし、または、スライドを保持するために特に設計された装置内に導入されてもよい。

【0008】

ステージは、光学系とイメージセンサに対して移動可能に設けられる。特に、デジタル顕微鏡に、光学システムおよびイメージセンサに対してステージを駆動するように構成されたステージ駆動部を設けてもよい。光学システムおよびイメージセンサは、顕微鏡基準座標系内で実質的に静止していてもよい。試料の２次元走査を可能にするために、ステージ駆動部によりステージを２次元で移動させるよう設けてもよい。さらに、ステージは、光学システムおよびイメージセンサに近づいたり、離れたりする方向に移動可能であってもよい。焦点合わせの目的のみのために、ステージの移動の次元を比較的小さく設けてもよい。

【0009】

デジタル顕微鏡には、イメージセンサが設けられる。イメージセンサは、デジタルカメラの一部であってよい。したがって、デジタル顕微鏡は、イメージセンサを有するデジタルカメラを備えるともいえる。デジタルカメラは、例えば、シャッタやイメージセンサドライバのような、カメラにおいて一般的で付加的な構成要素を含んでもよい。

【0010】

本発明にかかる方法では、試料の関心領域に関するユーザ選択を受信する。関心領域とは、ユーザの関心対象である視野ともいえる。この視野は、特に、ユーザがデジタル顕微鏡と協働するスクリーン上に表示したい視野であってよい。ユーザの関心対象である試料の関心領域は、試料において関心領域が位置している、ステージの特定の部分に対応する。試料の関心領域と、ステージの対応する部分との間の関係に応じてステージを移動させ、関心領域の個々の画像を生成してもよい。

【0011】

関心領域の個々の画像を生成するという表現は、試料における関心領域の個々の部分の個々の画像を生成することを指す。個々の画像は、関心領域をスキャンすることで生成されてもよい。関心領域において隣接する部分の個々の画像は、互いに重複してもよい。

【0012】

ユーザ選択は、関心領域の位置および拡張部分を示す。特に、ユーザ選択は、関心領域の位置および拡張部分を暗に指定してもよい。例えば、ユーザは、試料の画像プレビューを拡大したり、横方向に移動させたりすることによって、ユーザ選択を行ってもよい。このようなズーム操作および横方向への移動は、タッチスクリーン、マウスの操作、または他の適切な入力デバイスを介して行うことができる。関心領域の位置および拡張部分は、画像プレビューに対するズーム操作および移動操作の結果として生じる。なお、本発明にかかる方法においてユーザ選択が受信される限りは、試料の関心領域は、適切な方法でユーザによって選択されてもよく、その情報は、関心領域の位置および拡張部分を導出し得る。

【0013】

フル解像度モードでは、個々の画像は所定の画素数で生成される。これに対して、低解像度モードでは、個々の画像は低減された画素数で生成される。画素数を減らすことにより、個々の画像の画像データ処理を高速化することができる。例えば、個々の画像の画像データに適用し得る種類の後処理フィルタは、画素数を減らすことにより、より高速に動作することができる。また、個々の画像を組み合わせて合成画像にする場合、画素数を減らした個々の画像に対しては、あらゆるステッチ操作がより高速に動作し得る。このように、画像データの処理速度は、合成画像の解像度との間でトレードオフされ、したがって、合成画像の提供をユーザ選択に適合させることができる。また、ユーザの利便性を順応的に向上させることができ、ユーザの試料分析速度を向上させることが可能となる。

【0014】

本発明のさらなる実施形態によれば、低減された画素数の個々の画像は、イメージセンサの所定の画素数をサブサンプリングすることにより生成される。サブサンプリングは、個々の画像の所定の画素数を減らすために特に効率的な方法である。特に、後続の全ての後処理が減少した画素数に基づいて実行されるよう、サブサンプリングによって、画像データの出力元であるイメージセンサにおいて直に画素数を低減させる。サブサンプリングとは、イメージセンサから、利用可能な測定値の全数よりも少ない数の測定値を読み出すことを意味する。つまり、サブサンプリングとは、イメージセンサで生成される画像データの一部を意図的に無視することを指す。サブサンプリングは、２つおき、３つおき、４つおき等、イメージセンサのｎ番目毎の画素を読み出すことによって行われてもよく、また、サブサンプリングはイメージセンサの両次元に適用されてもよい。サブサンプリングを適用することにより、イメージセンサの読み出し時間を短縮し、後続のすべての画像処理の処理時間を短縮することができる。したがって、一連の画像処理全体にわたって処理の高速化を実現することが可能となる。

【0015】

本発明のさらなる実施形態によれば、低減された画素数の個々の画像は、イメージセンサにより生成された画像データをダウンスケーリングすることにより生成される。画像データのダウンスケーリングは、画素数を減らすための別の方法である。サブサンプリングと比較すると、上述のように、全ての感知画像データが使用されるが、隣接する画素の所定の集合に関する画像データを、単一画素に結合することができる。例えば、ダウンスケーリング後の単一画素は、元が２画素×２画素、または３画素×３画素、または４画素×４画素、または５画素×５画素等のウィンドウから計算して得ることができる。このようにして、イメージセンサが取得した全ての情報に対して画素数を低減させた画像データに基づき、画素数を減らすことができる。ダウンスケーリングは、一般に、一連の画像処理において任意のポイントで実行してよい。イメージセンサから画像データを読み出した直後に、画像データのダウンスケーリングを実行してもよい。このように、画素数の減少による高速化は、一連の画像処理の大部分に寄与する。なお、ダウンスケーリングは、適切なダウンスケーリングアルゴリズムにしたがって実行してよい。ダウンスケーリングアルゴリズムは、それ自体、当業者に公知である。

【0016】

本発明のさらなる実施形態によれば、低解像度モードにおいて、ステージは少なくとも部分的に連続的に移動し、ステージの移動中に、イメージセンサは個々の画像の画像データを取得する。このように、低解像度モードでは、合成画像を生成するための速度をさらに速くすることができる。イメージセンサは、個々の画像の画像データの取得をステージの移動中に行うため、個々の画像の画像データを取得するためにステージを起動したり停止したりする動作にかかる時間が発生しない。このように、個々の画像の画像データは迅速且つ連続して生成されるため、画像合成のために必要な全画像データを、比較的短時間で提供することが可能になる。ステージの移動中に個々の画像の画像データを取得することは、イメージセンサの所定の画素数のサブサンプリングと組み合わせて特に有益である。サブサンプリングを実行することにより、イメージセンサが取得した画像データをより高速に読み出せるようになるため、イメージセンサは、より多くの画像データを取得する準備を迅速に行うことができる。そのため、ステージの移動中の連続的な画像取得動作を、イメージセンサの読み出しに支障なく行うことが可能となる。ここで、少なくとも部分的に連続的に、という表現は、いくつかの位置に停止する可能性を含む、概ね連続的な動作を指す。例えば、所定回数の画像データ取得動作の後、デジタル顕微鏡の全ての構成要素について定義されている開始点に戻るために、ステージが停止することがある。また、新しい行または新しい列の個々の画像を取得するときなど、ステージの移動方向を変更するために停止することがある。一方で、ステージの移動中に、実質的に全て、または全ての画像データを取得することも可能である。これは、ステージの移動中に、個々の画像の画像データの少なくとも大部分が取得されているともいえる。しかしながら、ステージの停止時に画像データを取得する場合を排除するものではない。

【0017】

本発明のさらなる実施形態によれば、ステージの移動速度は、画像データのぼやけが最大２画素、特に最大１画素に制限されるように選択される。換言すると、ステージの移動速度は、試料の各点が、取得した画像データの中で、最大で３画素、特に最大で２画素に影響を及ぼす範囲で選択される。このようにして、ステージの移動速度は、デジタル顕微鏡のシステムの残りの部分に適合される。ステージの移動速度と、画像データのぼやけの度合いの関係は、合成画像の提供速度と画質とのトレードオフの別の側面である。したがって、デジタル顕微鏡の取扱いは、再びユーザ選択に適合させてもよい。なお、画像データのぼやけは、合成画像におけるぼやけの程度を指す。

【0018】

本発明のさらなる実施形態によれば、フル解像度モードにおいて、ステージは断続的に移動し、ステージの停止中に、イメージセンサは、個々の画像の画像データを取得する。このような構成により、画像データの取得時にステージの移動によるぼやけが発生するおそれがなくなるため、取得した画像データの品質は特に高いものとなる。ステージが断続的に移動するという表現は、ステージの移動開始や移動停止を指し、これは、ステージの移動の駆動や移動の停止とも呼ばれる。ステージの停止中にある時点で正確に画像データを取得するために、ステージ駆動部を、特にイメージセンサの露光時間と同期させてもよい。

【0019】

本発明のさらなる実施形態によれば、関心領域の拡張部分が第１閾値よりも小さい場合、フル解像度モードが選択される。換言すると、フル解像度モードは、試料において、閾値の大きさよりも小さい部分にユーザの関心がある場合に選択される。この場合、ユーザは、部分に対しての詳細に関心があると想定される。よって、高い解像度、およびそれに伴う高画質の合成画像が選択される。第１閾値は、例えば、関心領域のより広い次元に適用される一次元閾値、二次元閾値、または、領域閾値であってもよい。

【0020】

本発明のさらなる実施形態によれば、低解像度モードは、複数の低解像度サブモードからなり、フル解像度モードおよび低解像度モードのうちのいずれか１つを選択するステップは、フル解像度モードおよび複数の低解像度サブモードのうちのいずれか１つを選択するステップを含む。このような構成により、個々の画像を生成する３つ以上のモードが提供され、したがって、個々の画像を生成するために選択されるモードを、ユーザの必要に応じてより細かく適応させることができる。特に、関心領域の拡張部分に応じて、フル解像度モードおよび複数の低解像度サブモードのうち、適切な１つのモードを選択することが可能となる。この選択のために、複数の閾値が設定されてもよい。各閾値は、第１閾値に関して上述したように、一次元閾値、二次元閾値、または領域閾値とすることができる。

【0021】

本発明のさらなる実施形態によれば、複数の低解像度サブモードは、個々の画像について、それぞれのサブモードに固有の低減された画素数を有する。換言すれば、複数の低解像度サブモードでは、その低減された画素数が互いに異なる。低解像度のサブモードでは、それぞれ、個々の画像について低減された画素数が異なる。フル解像度モードおよび複数の低解像度サブモードのうちいずれか１つのモードの選択を、関心領域の拡張部分と、それぞれのモードにおける個々の画素数との間の単調関数としてもよい。つまり、関心領域の拡張部分が小さいほど、個々の画素数は多くなり得る。

【0022】

本発明のさらなる実施形態によれば、複数の低解像度サブモードの間で、イメージセンサの所定の画素数のサブサンプリングの程度、およびイメージセンサによって生成された画像データのダウンスケーリングの程度のうち、少なくとも１つが異なる。特定の実施形態では、複数の低解像度サブモードの間で、イメージセンサの所定の画素数をサブサンプリングする程度と、イメージセンサによって生成される画像データをダウンスケーリングする程度は、両方とも異なる場合がある。また、複数の低解像度サブモードでは、ステージが少なくとも部分的に連続的に移動するとき、またはステージが断続的な移動の過程で停止位置にあるときに実行される画像データの取得に関して異なることもある。さらに、ステージの移動時に画像データを取得する場合には、複数の低解像度サブモードの間で、ステージ移動速度が異なってもよい。このようにして、個々の画像の生成速度およびそれに伴う合成画像の生成速度と、合成画像の画質との間のトレードオフは、複数の低解像度サブモードに関して、特に詳細に適合させることができる。

【0023】

本発明のさらなる実施形態によれば、複数の低解像度サブモードは、２つ、３つ、４つ、５つ、または６つの低解像度サブモードを有する。より多数の低解像度サブモードも同様に設定可能である。

【0024】

本発明のさらなる実施形態によれば、ユーザ選択は、合成画像の所望の解像度を示す表現解像度をさらに示す。フル解像度モードまたは低解像度モード、または複数の低解像度サブモードのうちの１つの選択は、適用可能であれば、ユーザによる所望の解像度に基づくことが可能である。このような構成により、結果として得られる合成画像は、ユーザの希望により直接的に基づくことができる。また、選択は、合成画像を描写するスクリーンのような、デジタル顕微鏡の周囲のシステムの技術的特性に基づくことも可能である。特定の実施形態では、表現解像度は、合成画像を描写するためのスクリーンのスクリーン解像度を示す。このようにして、フル解像度モードまたは低解像度モードの選択により、スクリーン解像度ならびに試料へのズームレベルを考慮した高品質画像の提供が可能となる。

【0025】

本発明のさらなる実施形態によれば、合成画像をスクリーン上に表示する。このようにして、本発明にかかる方法の結果は、直感的な方法でユーザに提供される。表示された合成画像は、本明細書では更新後のユーザ選択とも呼ばれる、さらなるユーザ選択の基礎となり得ることから、ユーザは、ユーザが特に関心のある試料の領域に反復的に到達することができる。

【0026】

本発明のさらなる実施形態によれば、個々の画像は、特に、スクリーン上に段階的に表示される。特に、個々の画像は、画像データの取得後に実質的に利用可能になるときに、スクリーン上に表示されてもよい。このように、関心領域がスクリーン上に完全に表示される前であっても、試料の分析における次のステップを決定するための情報をユーザに提供してもよい。ユーザの視点では、合成画像は、段階的にスクリーン上に構築される。合成画像を、関心領域の中央から始まって、その後、関心領域の周辺に向かうように構築してもよい。また、合成画像を、中心線または中心列から開始して、行方向または列方向に向かうように構築してもよい。スクリーン上で段階的に合成画像を構築することで、ユーザに対して合成画像を直感的に提供したり、スピード感を伝えたりすることが可能となり、デジタル顕微鏡の取扱いをより便利にすることができる。

【0027】

本発明のさらなる実施形態によれば、試料の更新された関心領域に関する更新後のユーザ選択であって、更新された関心領域の位置および拡張部分を示す更新後のユーザ選択を受信し、現在実行されている１つまたは複数のステップを中断し、更新後のユーザ選択に応じて、フル解像度モードおよび低解像度モードのうちのいずれか１つのモードを再選択し、光学系およびイメージセンサに対して、ステージを移動させ、フル解像度モードおよび低解像度モードのうちの再選択されたいずれか１つのモードにしたがって更新された関心領域の個々の画像を生成し、個々の画像を組み合わせて、更新された関心領域を表す合成画像とする。このようにして、ユーザのコマンドに即座に応答することが可能となる。更新された関心領域は、走査された後、前段階に起因して遅滞することなく合成画像に確実に変換される。このように、ユーザは、高い応答性のフィードバックを受け取ることで、特に時間効率よく試料の分析に取り組むことが可能となる。

【0028】

本発明のさらなる実施形態は、光学系と、所定の画素数のイメージセンサと、試料を保持するステージと、ステージを、光学系およびイメージセンサに対して移動させるステージ駆動部と、合成画像のための画像データの生成を制御する制御部と、が設けられたデジタル顕微鏡システムを備える。制御部は、試料の関心領域に関するユーザ選択であって、関心領域の位置および拡張部分を示すユーザ選択を受信し、ユーザ選択に応じて、所定の画素数の個々の画像を生成するためのフル解像度モード、および所定の画素数と比較して低減された画素数の個々の画像を生成する低解像度モードのうち、いずれか１つのモードを選択し、ステージ駆動部を制御して、光学系およびイメージセンサに対してステージを移動させ、フル解像度モードおよび低解像度モードのうちのから選択された前記１つのモードにしたがって、関心領域の個々の画像の生成を制御する。デジタル顕微鏡を使用して合成画像を提供する方法に関して上述したような追加の特徴、修正、および有益な効果は、デジタル顕微鏡システムに同様に適用される。特に、本明細書の明示的な開示によれば、制御部は、上述の方法におけるステップを実行するように構成されてもよく、また、デジタル顕微鏡の構成要素に上述の方法におけるステップを実行させるように構成されてもよい。デジタル顕微鏡システムは、デジタル顕微鏡であってもよい。また、デジタル顕微鏡システムを、デジタル顕微鏡と、デジタル顕微鏡に結合されたコンピュータなどのデータ処理装置とを備える分散システムとしてもよい。制御部は、これらのうちの１つに設けられてもよく、またはデジタル顕微鏡とデータ処理装置との間の分散構成要素であってもよい。

【0029】

本発明のさらなる実施形態によれば、制御部は、低解像度モードにおいて、イメージセンサの所定の画素数のサブサンプリング、および、イメージセンサによって生成された画像データのダウンスケーリングのうち、少なくとも１つが行われるようにすることで、個々の画像の生成を制御する。

【0030】

本発明のさらなる実施形態によれば、制御部は、低解像度モードにおいて、ステージを少なくとも部分的に連続的に移動させるようにステージ駆動部を制御し、ステージの移動中に、個々の画像の画像データを取得するようにイメージセンサを制御する。

【0031】

デジタル顕微鏡は、光学顕微鏡であってもよい。また、デジタル顕微鏡は、光学系およびイメージセンサから遠位となるステージ側に配置される照明部を備えてもよい。

【0032】

本発明のさらなる実施形態は、デジタル顕微鏡を使用して合成画像を提供するためのプログラムであって、デジタル顕微鏡は、光学系と、所定の画素数のイメージセンサと、試料を保持するステージと、を備え、ステージは、光学系およびイメージセンサに対して移動可能に構成される。このプログラムは、試料の関心領域に関するユーザ選択であって、関心領域の位置および拡張部分を示すユーザ選択を受信し、ユーザ選択に応じて、フル解像度モードおよび低解像度モードのうちから１つのモードを選択し、光学系に対して移動するようにステージに指示し、画像データを生成するようにイメージセンサに指示し、フル解像度モードが選択された場合には、画像データに基づいて、関心領域について所定の画素数で個々の画像を生成し、低解像度モードが選択された場合には、関心領域について低減された画素数で個々の画像を生成し、個々の画像を組み合わせて、関心領域を表す前記合成画像とする。デジタル顕微鏡を使用して合成画像を提供する方法に関して上述したような追加の特徴、修正、および有益な効果は、本プログラムに同様に適用される。

【図面の簡単な説明】

【0033】

【図1】図１は、本発明の例示的な実施形態にかかるデジタル顕微鏡の斜視図である。

【図2】図２は、図１のデジタル顕微鏡における、一部構成要素の模式図である。

【図3】図３は、本発明の例示的な実施形態にかかるデジタル顕微鏡システムを、ユーザ側から見た模式図である。

【図4】図４は、図３のデジタル顕微鏡システムにおける、一部構成要素のブロック図である。

【図5】図５は、本発明の例示的な実施形態にかかるデジタル顕微鏡を用いて合成画像を提供する方法のフローチャートである。

【発明を実施するための形態】

【0034】

以下、添付の図面を参照して本発明の例示的な実施形態を説明する。

【0035】

図１は、本発明の例示的な実施形態にかかるデジタル顕微鏡２の三次元斜視図である。デジタル顕微鏡２には、デジタル顕微鏡２を支持するベース４が設けられる。ベース４は、安定して立つようにテーブル上に置かれてもよい。

【0036】

ベース４には、照明部およびステージ駆動部が設けられる。照明部およびステージ駆動部は、後述のとおり、図１に示すベースハウジングによって遮蔽されている。ベース４には、ステージ１０が取りつけられる。ステージ１０は、ベース４に対して移動可能であり、特に本実施形態では、ｘ方向およびｙ方向の２次元で移動可能である。動作時には、ステージ１０は、ステージ駆動部によってｘ方向およびｙ方向に移動される。

【0037】

ステージ１０は、透明部または半透明部を含む。この透明部または半透明部の上に、試料を配置してもよい。図１に示す動作場面では、試料１２は２つのスライドを含み、これら２つのスライドは、クリッピング機構を介してステージ１０の透明部または半透明部上に配置されている。動作中、照明部は、試料１２を下から照明する。ステージ１０の透明部または半透明部の平面を、デジタル顕微鏡におけるｘｙ平面と呼ぶ。

【0038】

さらに、デジタル顕微鏡２には、支持アーム６およびチューブ部８が設けられる。支持アーム６はチューブ部８を支持する形状であり、支持アーム６を設けることにより、チューブ部８がステージ１０の上方で停止できるようになっている。チューブ部８は、様々な光学部品を収容する。特に、図１の例示的な実施形態において、チューブ部８はデジタルカメラおよび光学系を収容し、そして光学系は、チューブレンズ構造および対物レンズ２４を備えている。図１において、デジタルカメラおよびチューブレンズ構造はチューブハウジングによって遮蔽されているが、対物レンズ２４は、チューブハウジングからステージ１０に向かって延設されている。

【0039】

チューブ部８は、支持アーム６に対して、ｘｙ平面に直交する移動方向に移動することができる。つまり、チューブ部８は、顕微鏡基準座標系のｚ方向に移動することができる。この移動は極めて限定的ではあるが、チューブ部８内に収容されている光学系に対して試料１２をピント合わせするためには十分である。

【0040】

動作中、ステージ駆動部は、ｘ方向およびｙ方向における所望の位置にステージ１０を移動させる。ステージ駆動部は、任意の種類の適切なアクチュエータ、例えば、二方向への移動用の小規模電気モータを２つ備えてもよい。照明部は、試料１２を下から照明する。この構成により、照明部からデジタルカメラへの照射光路上の試料１２の対応部分の画像データを、デジタルカメラで取得することが可能となる。このようにして取得した画像データは、ステージ１０の特定の位置、また、それに伴う光学系およびデジタルカメラに対する試料１２の特定の位置に対応する画像データを指すものとして、個々の画像の画像データと呼ぶ。ステージ１０を様々な位置に駆動することによって、複数の個々の画像を生成することができる。

【0041】

図２は、図１のデジタル顕微鏡２の一部構成要素の模式図である。特に、図２は、試料１２への照明およびチューブ部８内での光の方向付けに関連する構成要素を示している。上述のように、照明部４０は、ステージ１０の下、すなわち試料１２の下に配置され、試料１２に向かって上方に光を照射する。図２に示す例示的な実施形態では、照明部４０は、試料１２における撮影対象部分に向けて大量の光を照射するために設けられた光源４２、およびコリメートレンズ４４を備える。なお、照明部４０は、適切な構成や設計であってよい。

【0042】

デジタル顕微鏡２には、光学系２５が設けられる。図２に示す例示的な実施形態では、光学系２５は、チューブレンズ構造２２と対物レンズ２４とを備える。チューブレンズ構造２２には、各個のチューブレンズ２３が設けられる。対物レンズは、試料１２における撮影対象部分を所望に拡大するために設けられる。つまり、対物レンズ２４の形状および設計によって、結果的に得られる個々の画像における、試料１２の倍率が設定される。図２に示す例示的な実施形態では、対物レンズ２４の倍率は２０倍である。

【0043】

さらに、デジタル顕微鏡２には、デジタルカメラ２０が設けられる。デジタルカメラ２０は、イメージセンサとシャッタとを備える。また、デジタルカメラの分野で慣用されている他の構成要素を備えて、画像データを取得するデジタルカメラの動作に寄与するように構成してもよい。チューブレンズ構造２２は、対物レンズ２４からの光を、デジタルカメラ２０のイメージセンサの方へ向ける。このようにして、照明部４０から試料１２を通り、対物レンズ２４を通り、チューブレンズ構造２２を通り、そしてデジタルカメラ２０のイメージセンサへと亘る光路５０が確立される。

【0044】

図３は、本発明の例示的な実施形態にかかるデジタル顕微鏡システム１００の概略図である。デジタル顕微鏡システム１００は、デジタル顕微鏡２を備える。デジタル顕微鏡２は、図１に関して説明した機械的構成と、図２に関して説明した光学的設定と、および図４および図５に関して以下に説明する制御設定と、を有するデジタル顕微鏡２とすることができる。図３では、ユーザの視点およびデジタル顕微鏡システム１００とのユーザとの関わりに注目する。

【0045】

さらに、デジタル顕微鏡システム１００は、デジタル顕微鏡２に接続されるコンピュータ８０と、コンピュータ８０に接続されるスクリーン７０とを備える。コンピュータ８０は、スクリーン７０とデジタル顕微鏡２との間を適切に接続可能であれば、任意の種類の処理装置でよい。例えば、コンピュータ８０は、デスクトップコンピュータまたはラップトップ等の標準的なパーソナルコンピュータであってもよい。図３に示す例示的な実施形態におけるコンピュータ８０の例示的な処理能力を、デジタル顕微鏡２またはスクリーン７０に組み込んでもよい。スクリーン７０は、スクリーンとしての機能、および、デジタル顕微鏡２に直接インターフェース接続するための処理機能の両方を有する、例えばタブレットまたはスマートフォンの一部であってもよい。図３に示す例示的な実施形態におけるコンピュータ８０の例示的な処理能力は、クラウドベースのソリューションの一部として、リモートサーバなどのリモート処理デバイス上から得るように構成してもよい。

【0046】

スクリーン７０は、デジタル顕微鏡システム１００のユーザ用に設けられた制御インターフェースである。図３に示す例示的な実施形態では、スクリーン７０はタッチスクリーンであるため、ユーザ入力機能および画像出力機能の両方を有している。ユーザは、タッチスクリーン７０を介してデジタル顕微鏡システム１００の動作全体を制御することができる。一方で、タッチスクリーン７０の代わりに、他の入力装置を付加的または代替的に設けることも可能である。例えば、ユーザによるデジタル顕微鏡システム１００の制御を実現するために、キーボードやマウス等、他の適切な入力デバイスを備えてもよい。また、複数のスクリーンを設けて画像を出力したり、さらに、画像を他の主体に出力したりすることも可能である。例えば、ハードドライブまたは他のデータ記憶媒体に、画像をファイル形式で保存するようにしてもよい。

【0047】

図３に示す例示的な実施形態では、スクリーン７０は、２つの異なる画像を出力する。スクリーン７０の左上隅には、画像プレビュー７２が表示される。画像プレビュー７２は、デジタル顕微鏡２のステージ上に載置された試料の概観画像である。この概観画像は、追加で設けるデジタルカメラで撮影することができる。追加のデジタルカメラは、対物レンズ２４の隣、すなわち、試料を下向きに見る方向で、対物レンズ２４からずらした位置に配置してもよい。デジタルカメラを追加で用いる唯一の目的は、ユーザによる試料の大まかな移動が十分可能になる程度の詳細を有する試料の概観を、素早く提供することである。そのため、追加のデジタルカメラは低品質のシンプルなものであってもよい。なお、画像プレビュー７２は、他の適切な方法で生成されてもよい。また、画像プレビュー７２を全く設けず、画像プレビュー７２なしで、ユーザが試料を移動させるよう構成することも可能である。

【0048】

図３に示す使用例において、試料は生体試料である。試料は、透明なスライド上に載置された細胞培養物１４からなる。したがって、ユーザには、細胞培養物１４からなる試料が空白部分に囲まれて見えることになる。

【0049】

図３の例示的な実施形態では、ユーザは、画像プレビュー７２内で関心領域７４を選択することができる。関心領域７４の選択はユーザ選択であり、このユーザ選択により、デジタル顕微鏡の動作およびスクリーン７０上に表示する対象が決定する。以下、関心領域７４の選択ついて詳細に説明する。ユーザ選択は、タッチスクリーン上において、指、スタイラス、マウスなどの補助入力デバイス、メニューベースの選択ツールなどを用いて、適切な方法で行うことができる。図示の使用例で、ユーザは、タッチスクリーン上の画像プレビュー７２が示されているスクリーン７０の該当部分において、自身の指を用いて関心領域７４を選択したとする。ユーザ選択は、関心領域の位置および拡張部分を表す。換言すると、ユーザ選択は、ユーザにとって試料のどの部分が関心対象の領域であるのか、という明確な決定を含んでいる。この決定は、関心領域の位置および拡張部分を導くことができるものであれば、どのような形態でなされてもよい。例えば、ユーザ選択は、デジタル顕微鏡システム１００から見て、関心領域の左下隅および画像プレビュー７２のｘｙ座標系における２次元の拡張部分の座標から構成されてもよい。また、別の例では、ユーザ選択は、デジタル顕微鏡システム１００から見て、関心領域の左上隅および右下隅の座標から構成されてもよい。さらに別の例では、ユーザ選択には、デジタル顕微鏡システム１００から見て、関心領域の中心座標などの単一の座標と、試料全体のサイズと比較したズームレベルとから構成されてもよい。

【0050】

ユーザ選択に基づいて、デジタル顕微鏡システム１００は、関心領域７４に対応し、合成画像スクリーン部７６に表示される合成画像を生成する。図４および図５を参照し、合成画像の生成について、システム視点の詳細を以下のとおり説明する。関心領域７４が選択されると、試料の関心領域７４に対応した合成画像は、ユーザから見て、合成画像スクリーン部７６において、画像プレビュー７２と比較して非常に拡大されて表示される。ここで、対応という表現は、関心領域と合成画像とが完全に一致することを必ずしも意味しない。例えば、スクリーン７０の寸法に合わせる等の目的のため、表示された合成画像が、試料内において関心領域７４よりも大きい領域を示すこともあり得る。

【0051】

図３に示す例示的な実施形態では、合成画像スクリーン部７６は、画像プレビュー７２を除き、スクリーン７０全体を覆っている。ユーザ選択を、このような合成画像スクリーン部７６において行うように構成してもよい。例えば、ユーザが、横方向への平行移動操作とズーム操作によって、試料の仮想表現を操作するように構成してもよく、この操作により、試料の仮想表現はスクリーン７０の外に広がることもある。具体的には、例えばスマートフォンのアプリケーションでの操作のように、２本指によるズームコマンド操作を行ってもよい。関心領域の拡張は、関心領域のズームレベルと呼ぶこともできる。よって、関心領域の位置およびズームレベルから構成されるユーザ選択は、関心領域の位置および拡張部分の指示でもある。具体的には、低品質の追加のカメラによって撮影された画像プレビューが最初にフルスクリーンで表示され、ユーザによる横方向の平行移動操作およびズーム操作により、関心領域の移動がなされてもよい。

【0052】

図４は、図３のデジタル顕微鏡システム１００の一部構成要素のブロック図を示す。図３については、ユーザフロントエンドおよびデジタル顕微鏡システム１００とのユーザとの関わりに焦点を当てて説明したが、図４については、ハードウェアバックエンドおよび介在する制御構造を含むシステム側から説明する。図４に示す一部構成要素には、２つの外部接続要素、すなわち、ユーザ選択入力部９２および合成画像出力部９４が含まれる。これらの２つの外部接続要素は、図３に示すタッチスクリーン７０へのインターフェースと捉えることもできる。ユーザ選択は、ユーザ選択入力部９２を介して、タッチスクリーン７０から図４に示すデジタル顕微鏡システム１００の構成要素に通信される。そして、合成画像は、合成画像スクリーン部７６上に表示するために適切に暗号化された形で、合成画像出力部９４を介して上述の構成要素によりタッチスクリーン７０に戻される。

【0053】

上述のように、図４には、デジタル顕微鏡システム１００の一部構成要素、特に、上述のデジタルカメラ２０、照明部４０、およびステージ駆動部４６が示されている。デジタルカメラ２０は、イメージセンサ１２０と、シャッタ１２２と、イメージセンサドライバ１２４とを備える。シャッタ１２２が開くと、イメージセンサ１２０は画像データを取り込み、イメージセンサドライバ１２４は、取得した画像データをイメージセンサ１２０から読み出す。

【0054】

さらに、デジタル顕微鏡システム１００は、制御部９０、画像データ後処理部９６、および画像合成部９８を備える。なお、制御部９０、画像データ後処理部９６、および画像合成部９８は、デジタル顕微鏡２に設けてもよいし、コンピュータ８０に設けてもよいし、リモートサーバ上に設けてもよい。あるいは、これらの構成要素を、スクリーン７０に設けることも可能である。また、制御部９０、画像データ後処理部９６、および画像合成部９８を、デジタル顕微鏡システム１００の間で振り分けてもよい。さらに、制御部９０、画像データ後処理部９６、および画像合成部９８のそれぞれを、ハードウェア構成要素またはソフトウェア構成要素、あるいはハードウェア構成要素とソフトウェア構成要素との混合構成要素を有するように構成してもよい。図４に示す例示的な実施形態では、制御部９０、画像データ後処理部９６、および画像合成部９８は、コンピュータ８０上で実行されてデジタル顕微鏡２を制御するように構成されたソフトウェアプログラムの一部である。

【0055】

制御部９０はユーザ選択入力部９２に接続され、試料の関心領域に関するユーザ選択を受信する。さらに、制御部９０は、照明部４０、ステージ駆動部４６、およびデジタルカメラ２０に接続される。制御部は、ユーザ選択に応じて、照明部４０、ステージ駆動部４６、およびデジタルカメラ２０、特にそのシャッタ１２２およびイメージセンサドライバ１２４を制御するように構成される。

【0056】

さらに、制御部９０は、画像データ後処理部９６および画像合成部９８に接続される。デジタルカメラ２０は、画像データ後処理部９６に接続され、画像データ後処理部９６はさらに画像合成部９８に接続され、画像合成部９８はさらに合成画像出力部９４に接続される。このような構成により、制御部９０は、デジタルカメラ２０の画像処理における、以下に説明する一連の下流工程を制御することができる。

【0057】

ユーザ選択に基づいて、制御部９０は、ユーザ選択に示されている関心領域に対応する合成画像を生成するために、試料について、どの画像を生成するかを決定する。所定の画素数のイメージセンサ１２０と、倍率が設定されているデジタル顕微鏡２の光学系とを用いて、試料のどれだけの部分を、個々の画像についての画像データに変換するかを、システムパラメータに基づき設定する。つまり、試料において、デジタルカメラ２０のシャッタ１２２の１回の動作で取得することができる部分領域が設定される。部分領域が設定されると、制御部９０は、注目領域の位置および拡張部分に基づき、個々の画像の画像データを、試料のどの位置で取得するかを決定する。例えば、制御部９０によって、関心領域において走査対象となる行方向または列方向の個々の位置を決定してもよい。次に、制御部９０は、ステージ駆動部４６、シャッタ１２２、およびイメージセンサドライバ１２４を制御して同期させ、決定された個々の位置における画像データを生成する。制御部９０は、照明部４０を連続的に照明させるか、他の構成要素と同期して断続的に照明させるように制御してもよい。

【0058】

制御部９０は、個々の画像の画像データを取得する位置を制御するだけではない。制御部９０は、さらに、ユーザ選択に基づいて、フル解像度モードを使用して個々の画像を生成するか、または、低解像度モードを使用して個々の画像を生成するかを決定する。デジタル顕微鏡システム１００に複数の低解像度サブモードが設定されている場合には、制御部は、フル解像度モードおよび複数の低解像度サブモードのうち、個々の画像を生成するための解像度モードを１つ選択する。図４に関する例示的な実施形態では、デジタル顕微鏡システム１００には２つの低解像度サブモードが設定されていて、制御部９０は、ユーザ選択に基づき、個々の画像を生成するための３つの異なるモードのうち１つを選択する。

【0059】

上述したように、イメージセンサ１２０は所定の画素数を有する。フル解像度モードの場合、個々の画像は、所定の画素数を有する。イメージセンサドライバ１２４は、所定の画素数を読み出し、画像後処理部９６は、所定の画素数を有する画像データに対して、カラーフィルタリングまたは他のフィルタリング等、所望の種類の後処理を実行する。画像後処理部９６により出力される個々の画像は、所定の画素数を有する。

【0060】

図４に示すデジタル顕微鏡システム１００では、１つまたは複数の低解像度モードにおいて、２つの方法により画素数を低減させる。１つ目の方法は、予め定められた画素数をサブサンプリングして、画素数を低減させる方法である。この場合、イメージセンサの所定の画素数をサブサンプリングは、イメージセンサドライバ１２４を用いる。換言すると、イメージセンサドライバ１２４は、所定の画素数よりも少ない画素数での読み出しが可能である。例えば、イメージセンサドライバ１２４は、１つおき、３つおき、または４つおき等、すなわち、ｎ番目の画素毎に、画像データを読み出すことができる。特に、イメージセンサドライバ１２４を、イメージセンサ１２４の両次元のｎ番目の画素毎に読み出せるように構成してもよい。イメージセンサドライバ１２４が２画素毎に読み出しをする画像データの例では、画素数は４分の１となる。また、イメージセンサドライバ１２４が３画素毎に読み出しをする画像データの例では、画素数は９分の１となる。

【0061】

予め定められた数の画素をサブサンプリングすることにより、合成画像の生成を二重に高速化することができる。第一に、イメージセンサ１２０からの画像データの読み出しが速くなる。すなわち、イメージセンサ１２０からの画像データの読み出しに要する時間が、個々の画像毎に短縮される。イメージセンサ１２０は、新しい画像データへの準備をより迅速にすることができると共に、後続の個々の画像の画像データをより迅速に連続して取得することができる。したがって、画像データの取得を高速化することができる。第二に、デジタルカメラ２０の下流側、特に、画像後処理部９６および画像合成部９８にとっては、受信する画像データの量が少なくなる。このように、画素数が減ることにより、デジタルカメラ２０のこれらの下流部で行われる画像処理動作を高速化することができる。

【0062】

画素数を低減させる２つ目の方法は、イメージセンサ１２０が取得した画像データをダウンスケーリングする方法である。この場合、イメージセンサ１２０が取得した画像データのダウンスケーリングに、画像後処理部９６を用いる。ダウンスケーリングという表現は、画像フィルタリング操作によって画素数を減らすことを表す。例えば、ダウンスケーリングにより、２画素×２画素ウィンドウの４画素を、例えば単一画素に置き換えてもよい。単一の置換画素は、２画素×２画素ウィンドウの４画素の平均化など、比較的単純な操作の結果であってよい。このようにして、画素数は４分の１に減少する。この手法を、より大きな画素ウィンドウに拡張してもよい。また、置換画素を計算するために、より精巧な手法を採用してもよい。例えば、置換画素を計算に、輪郭などのより大きな画像構造を考慮してもよい。ダウンサンプリングはそれ自体公知であり、当業者であれば、様々なダウンサンプリング手法を使用できることは明らかである。

【0063】

画像データのダウンサンプリングを、一連の画像処理の様々な時点で実行してもよい。例えば、画像後処理部９６の入力時、即ち、画像データをイメージセンサドライバ１２４から受信した時点で、ダウンサンプリングを実行してもよい。また、画像後処理部９６においてダウンサンプリングを行う前の画像データに対して他の画像処理を施したり、画像後処理部９６においてダウンサンプリングを行った後の画像データに対して他の画像処理を施したりしてもよい。ダウンサンプリングは、他の画像処理動作がより大きな画素数またはより小さな画素数に適用されるように、他の画像処理動作に必要な画像サイズに応じて、一連の画像処理に組み込まれてもよい。

【0064】

画素数が減ることで、ダウンサンプリング後のすべての後続の画像処理動作が高速化する。よって、画像データのダウンサンプリングにより、合成画像の生成を高速化することができる。後続の画像処理動作は、画像後処理部９６による個々の画像に対する画像処理と、画像合成部９８による個々の画像の合成からなる。合成画像データを、より高速に、そしてより容易に処理可能なサイズで出力するように構成してもよい。また、合成画像データを段階的に出力する場合、個々のデータパケットを、より迅速に連続して、そしてより容易に処理可能なサイズで伝送するように構成してもよい。

【0065】

上述した通り、図４のデジタル顕微鏡システム１００には、フル解像度モードと、２つの低解像度サブモードとが設けられる。ユーザ選択に基づいて、制御部９０は、フル解像度モードおよび２つの低解像度サブモードのうちの１つを選択する。また、制御部９０は、フル解像度モードおよび２つの低解像度サブモードのうち選択された１つにしたがって、イメージセンサドライバ１２４および画像後処理部９６を制御する。

【0066】

図４について説明した例示的な実施形態によれば、制御部９０は、フル解像度モードにおいて、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から所定の全画素数について画像データを読み出す。また、制御部９０は、イメージセンサドライバ１２４から受信した画像データに対して、ダウンサンプリングを行わないように画像後処理部９６を制御する。１９２０画素×１９２０画素のイメージセンサの例では、個々の画素数も１９２０画素×１９２０画素となる。

【0067】

図４に関する例示的な実施形態によれば、第１低解像度サブモードでは、制御部９０は、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から画像データを２次元で３画素毎に読み出す。また、制御部９０は、画像後処理部を制御して、２次元毎に２倍のダウンサンプリングを行う。１９２０画素×１９２０画素のイメージセンサの例では、イメージセンサドライバ１２４は、６４０画素×６４０画素の画像データを画像後処理部９６に送信し、ダウンサンプリング後の個々の画素数は３２０画素×３２０画素となる。

【0068】

図４に関する例示的な実施形態によれば、第２低解像度サブモードでは、制御部９０は、イメージセンサドライバ１２４を制御して、イメージセンサ１２０から画像データを２次元で３画素毎に読み出す。また、制御部９０は、画像後処理部を制御して、２次元毎に１０倍のダウンサンプリングを行う。１９２０画素×１９２０画素のイメージセンサの例では、イメージセンサドライバ１２４は、６４０画素×６４０画素の画像データを画像後処理部９６に送信し、ダウンサンプリング後の個々の画素数は６４画素×６４画素となる。

【0069】

画像合成部９８は、個々の画像を合成画像へと合成するように構成される。合成画像は適切な方法でユーザに提供され、例えば図３に示すように、スクリーン上でユーザに提示されてもよいし、後で見るためにファイルに保存してもよい。フル解像度モード、第１低解像度サブモード、および第２低解像度サブモードにおける個々の画素数が異なることから、画像合成部９８における個々の画像の合成時間は異なり得る。特に、画素数の少ない個々の画像に対する合成時間は少なくなる。画像合成部９８は、それ自体公知の適切なステッチングアルゴリズムを用いる等、適切な手順により個々の画像を合成することができる。ステッチングが高品質となるように、個々の画像を、隣接する個々の画像間で重ねて生成してもよい。

【0070】

図４に示す例示的な実施形態では、制御部９０は、ユーザによって選択された関心領域の拡張部分に基づいて、フル解像度モード、第１低解像度サブモード、および第２低解像度サブモードのうちから１つを選択する。この選択に関し、制御部９０には、２つの領域閾値が設けられてもよい。関心領域が第１領域閾値より小さい場合、フル解像度モードが選択される。関心領域が第１領域閾値より大きいが、第２領域閾値より小さい場合、第１低解像度サブモードが選択される。関心領域が第２領域閾値よりも大きい場合、第２低解像度サブモードが選択される。これらの閾値についての理論的根拠は、以下の通りである。関心領域が小さければ小さいほど、ユーザは試料の詳細に関心がある可能性が高くなり、したがって、より良好な画質、すなわち高い解像度の個々の画像を提供するものである。

【0071】

ユーザ選択に基づくイメージセンサドライバ１２４および画像後処理部９６の制御に加えて、制御部９０を、ユーザ選択に応じて、ステージ駆動部４６およびシャッタ１２２を制御するように構成してもよい。特に、全解像度モードと、第１低解像度サブモードおよび第２低解像度サブモードとの間では、ステージの移動パターンが異なってもよい。また、ステージの移動中にイメージセンサが画像データを取得する場合と、ステージが停止中にイメージセンサが画像データを取得する場合とで、モードが異なってもよい。

【0072】

図４に示す例示的な実施形態では、フル解像度モードにおいて、ステージの停止中に、イメージセンサ１２０によって画像データが取得される。そのため、ステージの移動によるぼやけが生じず、画質が最適化される。しかしながら、ステージが個々の画像毎に停止するので、後続の個々の画像は非最大速度で生成することになり得る。このように、ステージ駆動部の動作時間は、個々の画像および合成画像を生成する際の制限要因となってしまう。

【0073】

図４に示す例示的な実施形態では、第１低解像度サブモードおよび第２低解像度サブモードの両方において、ステージの移動中に、イメージセンサ１２０によって画像データが取得される。特に、ステージを、第１低解像度サブモードでは第１ステージ移動速度で、第２低解像度サブモードでは第２ステージ移動速度で移動させてもよい。第２ステージ移動速度は、第１ステージ移動速度より高速である。ステージの移動中に画像データを取得することによって、後続の個々の画像の画像データをより迅速に連続して取得することができるため、個々の画像および合成画像を迅速に生成することが可能となる。ステージ移動中の画像データの取得は、特に、イメージセンサドライバ１２４による所定の画素数のサブサンプリングと共に良好に動作する。上述したように、サブサンプリングを行うことで、画像データの迅速な読み出しが可能になると共に、イメージセンサに対して新しい画像データを迅速に取得する準備をさせることができる。この点が、ステージの移動中に画像データを迅速に連続して取得する際に活かされる。ステージの移動速度およびサブサンプリングの程度は、関係する技術的構成要素の特性および制約に応じて、互いに適合させることができる。

【0074】

また、許容範囲以上のぼやけが合成画像に含まれないように、第１ステージ移動速度および第２移動速度を設定してもよい。この点については、様々な要因を考慮に入れることができる。光学系の特性およびイメージセンサの物理的画素サイズに基づいて、試料のどの領域がイメージセンサの画素に関連するかを判断してもよい。さらに、サブサンプリングやダウンスケーリングの程度に基づいて、試料のどの領域が合成画像の画素に関連するかを判断してもよい。またさらに、合成画像におけるぼやけの許容範囲に基づいて、ぼやけを許容範囲未満に保つためにどの最大ステージ移動速度が許容可能であるかを判断してもよい。なお、ぼやけの許容範囲は、試料における所定の点によって影響を受ける、合成画像内の隣接する画素数に関連して定義してもよい。例えば、試料における所定の点は、合成画像の中の２つの画素のみに影響を及ぼすことがある、という品質基準として設定してもい。これは、ステージの停止中に画像データを取得する場合よりも、試料における所定の点が最大で１画素に影響を及ぼす可能性があることから、１画素分のぼやけということもある。最大ステージ移動速度は、１画素分のぼやけを許容した上で、試料において合成画像内の１画素に相当する領域の長さを、イメージセンサによる１回の撮像動作に対するシャッタ開時間で割って得られる結果に設定してもよい。なお、取得した画像データの読み出し動作がシャッタ開時間に比べて大きい場合は、最大ステージ移動速度は、合成画像内の１画素に対応する試料内の領域の長さを、デジタルカメラ２０による１回の撮像動作に対する総撮像・処理時間で割って得られる結果に設定してもよい。また、後続の処理のために画像データを提供できるよう構成されたメモリに、イメージセンサ１２０から画像データを転送する際に生じ得る、実時間とは関係しない制約についても、さらに考慮に入れてもよい。第１ステージ移動速度および第２のステージ移動速度を、第１低解像度サブモードおよび第２低解像度サブモードの動作場面に応じて設定されたそれぞれの最大ステージ移動速度よりも低く設定することによって、合成画像のぼやけを許容範囲内に維持しつつ、合成画像を非常に迅速に提供することが可能となる。

【0075】

合成画像の所望の画素サイズを、制御部９０が受信するユーザ選択の一部とすることができる。つまり、ユーザ選択は、合成画像の所望の解像度に関する情報を含むことができる。例えば、スクリーン７０の画素数は、制御部９０に送信される情報の一部であってもよい。制御部９０を、関心領域の拡張部分および合成画像の所望の解像度に基づいて、フル解像度モードおよび１つ以上の低解像度（サブ）モードのうち１つを選択するように構成してもよい。例えば、制御部９０を、合成画像の所望の解像度に応じて、上述の第１領域閾値および第２領域閾値に適応させるように構成してもよい。特に、第１領域閾値および第２領域閾値を、より高い所望の解像度に合わせて上昇させてもよい。このようにして、合成画像の画質を出力媒体に適合させることができ、また、高品質の合成画像を、特定の使用出力媒体においてユーザに提示することが可能になる。

【0076】

合成画像について、既に取得済みの一部に対するユーザの操作を可能にするために、合成画像データを、ユーザに対して段階的に表示するように構成してもよい。例えば、新しい個々の画像が画像後処理部９６により利用可能になると、画像合成部９８はこの個々の画像と以前受信した個々の画像とのステッチングする処理を行う。この処理は、新たに受信された個々の画像と、合成画像における既に取得済みの一部とを繋ぎ合わせるものと考えてよい。ステッチングを行うことにより、個々の画像の画像データを変更することができるので、ステッチング処理は、フィルタ動作としてもとらえられる。フィルタリングされた個々の画像は、スクリーンに提供されたり、合成画像において既に取得済みの一部と共に表示されたりするため、合成画像において取得済みの表示されている部分が増える。この処理により、ユーザは、合成画像がスクリーン上で段階的に構築されるように感じることができる。このようにして、試料を分析する際のユーザの効率を高めることが可能となる。例えば、合成画像における既に取得済みの一部の表示が表示されることで、ユーザは、合成画像全体が提供される前に、例えばズームイン操作を行うなどして、関心領域を更新する機会を得ることができる。また、合成画像全体が提供される前に、ユーザが試料内で探している特定の特徴を見つける機会を得ることができる。

【0077】

図５は、本発明の例示的な実施形態にかかるデジタル顕微鏡を用いて、合成画像を提供する方法のフローチャートを示す。ステップ２００では、試料の関心領域に関するユーザ選択を受信する。ステップ２０２では、ステップ２００で受信したユーザ選択に基づいて、フル解像度モードおよび低解像度モード、例えばフル解像度モードおよび複数の低解像度サブモードのうち、いずれか１つを選択する。ステップ２０４では、ステップ２０２で選択されたモードに従い、関心領域の個々の部分について、個々の画像を生成する。選択されたモードにしたがって個々の画像を生成するために、照明部、ステージ駆動部、デジタルカメラのシャッタ、デジタルカメラのイメージセンサドライバ、および画像後処理部のすべてまたは一部を、選択されたモードにしたがって制御する。ステップ２０６では、個々の画像を合成し、合成画像を生成する。ステップ２０８では、合成画像を、ユーザに対してスクリーン上に表示する。

【0078】

なお、ステップ２０４、ステップ２０６、およびステップ２０８は、図示の順序で実行してもよく、また、部分的に並列に実行してもよい。上述のように、関心領域の一部について、個々の画像の合成、そしてその合成画像の表示が行われつつ、関心領域の別の部分についての個々の画像が生成されてもよい。

【0079】

図５に示す例示的な実施形態では、関心領域の更新に関するユーザ選択の更新に対して、本方法全体の任意の時点で反応するように構成してもよい。特に、本方法では、更新後のユーザ選択の受信を割り込みとして解釈し、現在実行されているステップを停止するように構成してもよい。また、本方法では、更新後のユーザ選択は割り込みとして解釈され、この更新後のユーザ選択に基づいて、ステップ２０２に戻るように構成してもよい。図５に示す破線２１０は、本方法全体のあらゆる時点で起こり得る、更新後のユーザ選択の受信を示している。ステップ２０４より前の段階で生成された個々の画像が、更新後のユーザ選択と関連する場合は、それを再使用し、再び生成しなくてもよい。このようにすると、関心領域のわずかな変化についての合成画像の生成を、非常に迅速に実行することができる。また、合成画像について、ステップ２０６より前の段階で既に生成された一部分が、更新された関心領域と関連する場合は、その一部分をスクリーン上に表示し続けてもよい。表示されている一部分を、更新された関心領域の合成画像の別の部分で段階的に補足してもよい。スクリーン上で中断時間が発生すると、ユーザは新たな表示に適応しなければならず、分析に支障をきたすおそれがある。しかし、上述のように構成することで、このような中断時間の発生を防ぐことができる。

【0080】

以上、例示的な実施形態を参照して本発明について説明した。しかしながら、本発明の範囲から逸脱しない限り、本発明に対して様々な変更を行うことができること、および、例示的な実施形態における構成に代えて、均等物を用いることができることは、当業者であれば自明である。さらに、本発明の本質的な範囲から逸脱しない限り、特定の状況または材料を本発明の開示に対して適合させるための多くの修正がなされる得る。したがって、本発明は、開示された特定の実施形態に限定されるものではなく、添付の特許請求の範囲に含まれるすべての実施形態を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】