特許 6876626 構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6876626

(24)【登録日】2021年4月28日

(45)【発行日】2021年5月26日

(54)【発明の名称】構造化照明イメージングシステムにおいて使用される交換可能な照明フィルタセットのためのシステムおよび方法

(51)【国際特許分類】

   G02B 21/06 20060101AFI20210517BHJP

   G01N 21/64 20060101ALI20210517BHJP

【ＦＩ】

   G02B21/06

   G01N21/64 F

【請求項の数】11

【全頁数】21

(21)【出願番号】特願2017-562591(P2017-562591)

(86)(22)【出願日】2016年5月10日

(65)【公表番号】特表2018-522267(P2018-522267A)

(43)【公表日】2018年8月9日

(86)【国際出願番号】US2016031566

(87)【国際公開番号】WO2016195925

(87)【国際公開日】20161208

【審査請求日】2019年4月26日

(31)【優先権主張番号】62/169,655

(32)【優先日】2015年6月2日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】502221282

【氏名又は名称】ライフ テクノロジーズ コーポレーション

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100095898

【弁理士】

【氏名又は名称】松下 満

(74)【代理人】

【識別番号】100098475

【弁理士】

【氏名又は名称】倉澤 伊知郎

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100162824

【弁理士】

【氏名又は名称】石崎 亮

(72)【発明者】

【氏名】リトル， スティーブン

(72)【発明者】

【氏名】ボスホーテン， ポール

(72)【発明者】

【氏名】ガンダーソン， アンドリュー

(72)【発明者】

【氏名】ネム， クリス

【審査官】 小倉 宏之

(56)【参考文献】

【文献】 特開２０１５−０８４０６２（ＪＰ，Ａ）

【文献】 特表２０１０−５０１０８６（ＪＰ，Ａ）

【文献】 特開平１０−２０６７４３（ＪＰ，Ａ）

【文献】 特開２００４−１５１６０７（ＪＰ，Ａ）

【文献】 特開平０９−１０５８６７（ＪＰ，Ａ）

【文献】 特開２０１４−０６３１５１（ＪＰ，Ａ）

【文献】 特開平０７−２５３５４７（ＪＰ，Ａ）

【文献】 特開２０１１−１８０４１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ２１／０６

Ｇ０１Ｎ ２１／６４

(57)【特許請求の範囲】

【請求項1】

構造化照明システムであって、
筐体、
前記筐体内に取り付けられる照明源（１０２）、
フォトマスク（１０８）上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように前記照明源（１０２）からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系（１０６）、
前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタ（１１０）、
前記照明されたサンプルからの放射のみがセンサ（１２０）を透過することを可能にするよう構成された、前記筐体内に取り付けられた１つ以上のフィルタ（１１８）を含むフィルタ装置（１１８）、および
前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構
を備えるイメージング装置と、
複数のイメージング装置が前記システム上または前記システム内に取り付けられることを可能にするよう構成された取り付け機構と
を備え、
前記筐体は、フォトマスク（１０８）を含むスライドを前記照明源（１０２）と前記イメージング光学系（１０６）との間の前記筐体内に挿入することを可能にする開口をさらに備える、システム。

【請求項2】

前記筐体に取り付けられ、前記照明源（１０２）からの照明をフォトマスク（１０８）上に焦点合わせするよう構成された照明源光学系（２０４）をさらに備える、請求項１に記載のシステム。

【請求項3】

前記照明源（１０２）は、発光ダイオード（ＬＥＤ）である、請求項１に記載のシステム。

【請求項4】

前記スライドは、１つ以上のピンホールマスクまたはクリア窓を含む、請求項１に記載のシステム。

【請求項5】

前記１つ以上のピンホールマスク（１０８）は、座標系によって規定されるピンホールのパターンを含む、請求項１に記載のシステム。

【請求項6】

合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、請求項１に記載のシステム。

【請求項7】

前記リフレクタ（１１０）は、ダイクロイックミラーである、請求項１に記載のシステム。

【請求項8】

前記筐体上または前記筐体内に取り付けられ、前記イメージング装置が制御システムと通信することを可能にするよう構成された回路（２０２）をさらに備える、請求項１に記載のシステム。

【請求項9】

前記回路は、前記イメージング装置についての情報を前記制御システム（４００）に提供するよう構成される、請求項８に記載のシステム。

【請求項10】

前記照明源（１０２）およびフィルタ装置（１１８）は、特定の種類のサンプル色素に対して最適化される、請求項１に記載のシステム。

【請求項11】

前記複数のイメージング装置それぞれは、特定の種類の色素に対して最適化され、前記システムは、前記複数のイメージング装置の特定の１つを、前記関連する色素を含むサンプルを撮像するのに使用される位置とすることを可能にする機構を備える、請求項１０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０１５年６月２日に出願された米国特許出願第６２／１６９，６５５号の優先権を主張するものであり、該出願は、参照によりその開示全体が本明細書に援用される。

【0002】

本明細書に記載の実施形態は、蛍光イメージングに関し、より具体的には、蛍光イメージングシステムにおける合成共焦点画像を生成することに関する。

【背景技術】

【0003】

関連技術
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である（クロロフィルのような）か、蛍光染色で処理されるかのいずれかで有り得る。

【0004】

当該技術において既知の基本的な広視野蛍光顕微鏡は、光源と、蛍光染色と一致する波長に対応するいくつかのフィルタとを含む。光源からの光の励起波長を選択するために励起フィルタが設けられ、ダイクロイックビームスプリッタは、光源からの光を反射させて試料を照明する。照明された光は、放射フィルタによってさらに弱い放射された蛍光から分離される。蛍光領域は、顕微鏡において観察され、暗い背景に対して高コントラストで光る。

【0005】

構造化照明イメージングシステムは、既に記載した広視野イメージングシステムとほぼ同じ原理を用いるが、一度にサンプルの一部のみが照明されることがキーである。励起光の大部分は遮断され、遮断されない照明のパターンをサンプル全体にわたらせてサンプルの領域それぞれがほぼ等しい励起光を受光するようにされる。典型的には、この工程において複数の画像が別個の間隔でキャプチャされ、別個の入力画像を解析して対応する出力画像を構築する画像処理アルゴリズムによって単一全照明画像が生成される。この出力画像は、サンプルの焦点が合っていない領域から集められる光が低減することにより向上した信号雑音比、より高い縦方向および軸方向空間解像度、または両方がもたらされるため、シンプルな広視野イメージング技術を用いてキャプチャされた画像よりも優れている。

【0006】

共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、信号雑音比を向上させる、または光学解像度を増大させるのに用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。

【0007】

従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。

【0008】

本技術は、一度に１ポイントのみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。

【0009】

マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図５に示す。

【0010】

図５から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。

【0011】

図５に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタの間のより複雑な同期を必要とする。

【発明の概要】

【課題を解決するための手段】

【0012】

本明細書では、システムを用いてピンホールマスクによって合成共焦点画像を生成することが可能となるような、蛍光イメージングシステムのためのシステムおよび方法が開示される。

【0013】

一態様によると、構造化照明画像を生成する装置は、筐体と、筐体内に取り付けられた、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成されたイメージング光学系と、筐体内に取り付けられて照明をサンプルに反射させるよう構成されたリフレクタと、照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、筐体内に取り付けられた１つ以上のフィルタを含むフィルタ装置と、装置がイメージングシステム内に設置されることを可能にするよう構成された、筐体上の取り付け機構と、を備える。

【0014】

別の態様によると、構造化照明システムは、筐体と、筐体内に取り付けられた、フォトマスク上のパターンに対応する焦点が合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成されたイメージング光学系と、筐体内に取り付けられて照明をサンプルに反射させるよう構成されたリフレクタと、照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、筐体内に取り付けられた１つ以上のフィルタを含むフィルタ装置と、装置がイメージングシステム内に設置されることを可能にするよう構成された筐体上の取り付け機構と、複数のイメージング装置がシステム上またはシステム内に取り付けられることを可能にするよう構成された取り付け構造と、を含むイメージング装置、を備える。

【0015】

別の態様によると、照明源と特定のサンプル色素に対して最適化された光学系とを含む筐体を備えるイメージングシステムを構成する方法は、筐体内にイメージング光学系を取り付けることと、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするようイメージング光学系を構成することと、照明サンプルからの放射のみがセンサを通過することを可能にするよう構成された、１つ以上のフィルタを有するフィルタ装置を筐体内に取り付けることと、サンプルを照明するために照明源、イメージング光学系、およびフィルタ装置を較正することと、筐体を取り付け構造に取り付けることと、を含む。
本発明は、例えば、以下を提供する。
（項目１）
構造化照明画像を生成する装置であって、
筐体と、
フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系と、
前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタと、
前記照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、前記筐体内に取り付けられた１つ以上のフィルタを含むフィルタ装置と、
前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構と、を備える、装置。
（項目２）
前記筐体は、フォトマスクを含むスライドを前記照明源と前記イメージング光学系との間の前記筐体内に挿入することを可能にする開口をさらに備える、項目１に記載の装置。
（項目３）
前記筐体内に取り付けられ、前記照明源からの照明をフォトマスク上に焦点合わせするよう構成された照明源光学系をさらに備える、項目１に記載の装置。
（項目４）
前記筐体内に取り付けられた照明源をさらに備える、項目１に記載の装置。
（項目５）
前記照明源は、発光ダイオード（ＬＥＤ）である、項目４に記載の装置。
（項目６）
前記スライドは、１つ以上のピンホールマスクまたはクリア窓を含む、項目２に記載の装置。
（項目７）
前記１つ以上のピンホールマスクは、座標系によって規定されるピンホールのパターンを含む、項目２に記載の装置。
（項目８）
合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、項目２に記載の装置。
（項目９）
前記リフレクタは、ダイクロイックミラーである、項目１に記載の装置。
（項目１０）
前記筐体上または前記筐体内に取り付けられ、前記装置が制御システムと通信することを可能にするよう構成された回路をさらに備える、項目１に記載の装置。
（項目１１）
前記回路は、前記装置についての情報を前記制御システムに提供するよう構成される、項目９に記載の装置。
（項目１２）
前記照明源およびフィルタ装置は、特定の種類のサンプル染色に対して最適化される、項目１に記載の装置。
（項目１３）
前記取り付け機構は、前記装置が設置されるたびに、前記装置に関連付けられた光路内の同じ位置および方向に前記リフレクタを位置付けるように、前記装置の前記位置を少なくとも部分的に制約するよう構成される、項目１に記載の装置。
（項目１４）
前記取り付け機構は、運動ガイド、ダブテールガイド、または他の機械的ガイドのうちの少なくとも１つを含む、またはこれと協働するよう構成される、項目１に記載の装置。
（項目１５）
構造化照明システムであって、
筐体、
フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように照明源からの照明を焦点合わせするよう構成された、前記筐体内に取り付けられたイメージング光学系、
前記筐体内に取り付けられ、前記照明をサンプルに反射するよう構成されたリフレクタ、前記照明されたサンプルからの放射のみがセンサを透過することを可能にするよう構成された、前記筐体内に取り付けられた１つ以上のフィルタを含むフィルタ装置、および
前記装置がイメージングシステム内に設置されることを可能にするよう構成された、前記筐体上の取り付け機構、を備えるイメージング装置と、
複数のイメージング装置が前記システム上または前記システム内に取り付けられることを可能にするよう構成された取り付け機構と、を備えるシステム。
（項目１６）
前記筐体は、フォトマスクを含むスライドを前記筐体内の前記照明源と前記イメージング光学系との間の前記筐体内に挿入することを可能にする開口をさらに備える、項目１５に記載のシステム。
（項目１７）
前記筐体に取り付けられ、前記照明源からの照明をフォトマスク上に焦点合わせするよう構成された照明源光学系をさらに備える、項目１５に記載のシステム。
（項目１８）
照明源をさらに備える、項目１５に記載のシステム。
（項目１９）
前記照明源は、前記筐体内に取り付けられる、項目１８に記載のシステム。
（項目２０）
前記照明源は、発光ダイオード（ＬＥＤ）である、項目１８に記載のシステム。
（項目２１）
前記スライドは、１つ以上のピンホールマスクまたはクリア窓を含む、項目１６に記載のシステム。
（項目２２）
前記１つ以上のピンホールマスクは、座標系によって規定されるピンホールのパターンを含む、項目１６に記載のシステム。
（項目２３）
合成画像を生成するのに必要な複数の画像をキャプチャする必要に応じて、前記スライドを動かすよう構成された移動装置をさらに備える、項目１６に記載のシステム。
（項目２４）
前記リフレクタは、ダイクロイックミラーである、項目１５に記載のシステム。
（項目２５）
前記筐体上または前記筐体内に取り付けられ、前記装置が制御システムと通信することを可能にするよう構成された回路をさらに備える、項目１５に記載のシステム。
（項目２６）
前記回路は、前記装置についての情報を前記制御システムに提供するよう構成される、項目２５に記載のシステム。
（項目２７）
前記照明源およびフィルタ装置は、特定の種類のサンプル色素に対して最適化される、項目１５に記載のシステム。
（項目２８）
前記複数のイメージング装置それぞれは、特定の種類の色素に対して最適化され、前記システムは、前記複数のイメージング装置の特定の１つを、前記関連する色素を含むサンプルを撮像するのに使用される位置とすることを可能にする機構を備える、項目２７に記載のシステム。
（項目２９）
照明源および特定のサンプル色素に対して最適化された光学系を含む筐体を備えるイメージングシステムを構成する方法であって、
イメージング光学系を前記筐体内に取り付けて、前記イメージング光学系を、フォトマスク上のパターンに対応する焦点の合った光のパターンがサンプル上に投射されるように、照明源からの照明を焦点合わせするよう構成することと、
１つ以上のフィルタを含むフィルタ装置を前記筐体内に取り付けることであって、前記フィルタ装置は前記照明されたサンプルからの放射のみが前記センサを透過することを可能にするよう構成される、取り付けることと、
前記照明源、イメージング光学系、およびフィルタ装置を、前記サンプルを照明するために較正することと、
前記筐体を取り付け構造に取り付けることと、を含む方法。
（項目３０）
照明源光学系を前記筐体に取り付けることと、前記照明源光学系を、前記照明源、イメージング光学系、およびフィルタと共に較正することと、をさらに含む、項目２９に記載の方法。
（項目３１）
リフレクタを前記筐体に取り付けることと、前記リフレクタを、前記照明源、イメージング光学系、およびフィルタと共に較正することと、をさらに含む、項目２９に記載の方法。
（項目３２）
前記筐体が前記取り付け機構上に取り付けられると、照明源を用いて、ピンホールパターンを含むフォトマスクを通してサンプルを照明することと、
センサを用いて、前記サンプルの画像をキャプチャすることと、
前記画像をデータに変換することと、
処理モジュールにおいて、
前記ピンホールパターンのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールパターンに対する既知のパターンを、前記データに対する最良適合を特定するために前記領域に適合させることと、
記憶媒体に、前記最良適合データを以後の画像キャプチャルーチンで使用するために保存することと、をさらに含む、項目２９に記載の方法。
（項目３３）
前記処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目３２に記載の方法。
（項目３４）
前記データを高めることが、前記データの鮮明度およびコントラストをブーストすることを含む、項目３３に記載の方法。
（項目３５）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目３２に記載の方法。
（項目３６）
前記処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目３２に記載の方法。
（項目３７）
前記処理モジュールにおいて、輝度閾値を上回る前記フィルタされたデータにおけるデータのみを維持することをさらに含む、項目３６に記載の方法。
（項目３８）
ヒストグラムビニング技法を用いて、前記輝度閾値を上回るデータを特定する、項目３７に記載の方法。
（項目３９）
前記処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目３２に記載の方法。
（項目４０）
前記最良適合データを用いて前記サンプルの合成画像を取得することをさらに含む、項目３２に記載の方法。
（項目４１）
前記筐体に照明源を取り付けることをさらに含む、項目２９に記載の方法。

【0016】

本発明のこれらおよび他の特徴、態様、ならびに実施形態は、「発明を実施するための形態」と題される項において以下に記載される。

【図面の簡単な説明】

【0017】

特徴、態様、ならびに実施形態は、添付の図面と共に記載される。

【0018】

【図1】図１は、一実施形態によって構成された蛍光イメージングシステムの一例である。

【図2】図２は、図１の少なくともいくつかの構成要素の光キューブ実装の実施形態の一例を示す。

【図3】図３は、一実施形態による、図１の照明システムの動作を制御するための制御システムの一例を示す。

【図4】図４は、一実施形態による、図１のシステム、および、特に、図２の光キューブ実装に用いることが可能なピンホールマスクの一例を示す。

【図5】図５は、従来のスピニングディスク共焦点イメージングシステムを示す。

【図6】図６は、本明細書に記載の種々の実施形態に関して用いることが可能な、有線または無線システムの一例を示す。

【図7】図７は、一実施形態による、図１のシステム、および、特に図２の光キューブに用いることが可能な移動装置の一例を示す。

【図8】図８は、一実施形態による、放射路ピンホールマスクを不要にするために図１のシステムを較正する方法の一例を示す。

【図9A】図９Ａは、画像に対して判定されたピンホールの位置を示す。

【図9B】図９Ｂは、生データと比較してオーバーレイされた判定された位置の画像の一部のクローズアップである。

【発明を実施するための形態】

【0019】

本明細書に記載の実施形態で、合成共焦点画像を生成するシステム、装置および方法が開示される。記載の実施形態は例示としてのみ記載される。さらに、図は例示であり、開示のシステムおよび方法の記載を助けることを意図するものである。したがって、図は、完全なシステムを描くのに必要な構成要素、回路、エレメント等の全てを含んでいない場合がある。したがって、図およびそれらに伴う開示は実施形態を特定の構成に制限するものとみなされるべきではなく、開示の構成においてさらなる構成要素等の、または更なる構成の含有を排除するものとみなされるべきではない。

【0020】

上記のとおり、構造化照明システムは、従来の広視野システムに対して特定の利点を有する。共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、光学解像度およびコントラストを増大させて、取得した一連の画像から３次元構造を再構築することを可能にするために用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。

【0021】

従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ、すなわち本質的に単画素カメラ、内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。

【0022】

本技術は、１ポイントのみ、すなわち一度に画像の１画素のみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。

【0023】

マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図５に示す。

【0024】

図５から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。

【0025】

図５に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタの間のより複雑な同期を必要とする。

【0026】

図１は、本明細書に記載のシステムおよび方法によって構成された、蛍光イメージングシステム１００の実施形態の一例を示す。図１は、構造化照明顕微鏡における、本明細書に記載のシステムおよび方法を示す。点線で囲まれた領域におけるエレメントは、図２に示す光キューブ２００に含まれている。これらの要素は、光源１０２、照明光学系２０４（図２の）、フォトマスクイメージング光学系１０６、フォトマスク１０８、および構造化照明パターンの少なくとも一部を、対物レンズ１１２を介してサンプル１１４に方向付ける、ダイクロイックミラーまたはビームスプリッタであることが多いミラー１１０を含む。フォトマスク１０８は、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズ１１２の焦点面においてサンプル１１４上に投射されるようにフォトマスクイメージング光学系１０６に対して焦点合わせされる。その後、サンプルから放射された光が対物レンズ１１２を逆透過し、その一部がミラー１１０を通ってカメラレンズを透過して、センサ１２０、例えばＣＣＤ、ＣＭＯＳ、または類似の種類のセンサ上に光を集束させる。

【0027】

フォトマスク１０８は、不透明な背景におけるいくつかのパターンの透明窓からなる。パターンには、直角座標系、四角形座標系、または円筒座標系などの座標系によって規定できる予測可能な窓のパターンが含まれる。円筒座標系に基づくパターンを用いる場合には、マスクは、ｘ−ｙ平面での動きではなく回転させることができる。さらに、ピンホールの代わりに、構造化照明に適した任意の他のパターンがマスク１０８に用いられてもよい。

【0028】

フォトマスク１０８は、運動制御装置がフォトマスク１０８を横方向にスキャンして、焦点の合った構造化照明パターンをサンプル視野全体にわたらせる場合であっても、パターンがフォトマスクイメージング光学系１０６と焦点が合ったままとなるよう取り付けることができる。

【0029】

別の実施形態では、ピンホールマスクの代わりにクリア窓を用いてもよい。このような構成では、システム１００は従来の広視野イメージングシステムとして機能する。

【0030】

したがって、システム１００は、照明光１０４を生成するよう構成された光源１０２を含む。ソース１０２は、実装に応じて、例えば発光ダイオード（ＬＥＤ）またはレーザであってもよい。その後、フォトマスクイメージング光学系１０６は光１０２を集め、フォトマスク上のパターンに対応する焦点の合った光のパターンが対物レンズの焦点面においてサンプル１１４上に投射されるよう、光１０２を集束させることができる。マスク１０８を透過する光は、例えば対物レンズ１１２を介してサンプル１１４に光を方向付ける、ダイクロイックミラーなどのミラー１１０上に入射する。光１０４が蛍光体に吸収され、それにより蛍光体が光１１６を放射し、これが対物レンズ１１２およびミラー１１０を通って、センサ１２０上に逆透過する。フィルタ１１８は、放射がセンサ１２０に入射する前に放射をフィルタすることができる。

【0031】

センサ１２０は、電荷結合素子（ＣＣＤ）とし得る。さらに、ピンホールマスクは、例えば、ディスク上で回転するのではなく、ｘ−ｙ平面で動く、正方形、長方形、または楕円形のマスクとし得る。図４は、一実施形態による、マスク５００の一例を示す。図示されるように、マスク５００は、マスク５０１および５０２などの複数のピンホールマスクを含み得る。

【0032】

図２は、一実施形態による、その周りにより大きな顕微鏡がないものの所定の場所にフォトマスク１０８を有する、光キューブ２００をより詳細に表す。ミラー１１０だけでなく、複数のフィルタが存在する。ミラー１１０は、機械的ポジショナー（図示せず）により、キューブ２００の残部の方向に対して調整可能であって、光を顕微鏡システムの対物レンズ（図１の１１２）に適切に向けることを可能にする。キューブの取り付け機構は、キューブの方向が使用中に変化しないようにして、フォトマスク１０８および対物レンズ１１２に対するキューブ光学系１０６の正確なアライメントを維持するための機械的レジストレーションおよび保持ポイントを提供する。

【0033】

キューブ２００は移動軸上に取り付けることが可能であるため、画像キャプチャ間でキューブを機械的に取り付けおよび取り外すことなく、複数のキューブを単一の顕微鏡で利用することを可能とし、取り付け機構は、キューブの設置および保持の両方のために機能する。また、これらは、後に、システムを再較正することなくキューブを取り外して再挿入することを可能にする。回路基板２０２は、ホストシステムが光源１０２に電力を供給するおよびこれを制御することを可能にし、そして、実施形態に応じて、ホストシステムがキューブ２００の種々の態様を特定することを可能にする。これらのパラメータは、とりわけ、ユーザに対してキューブ２００を特定する、および使用する特定のキューブに対する他の機器パラメータを構成するために、ソフトウェアによって用いられ得る。

【0034】

したがって、図２に示すように、光源１０２、イメージング光学系１０６、マスク１０８、ミラー１１０およびフィルタ１１８は、非常にコンパクトな光キューブ２００に含めることができる。また、光キューブは、制御システムと通信して光キューブ２００の種々の態様を制御するよう構成可能な回路基板２０２を含んでもよい。したがって、図４のマスク５００は、光キューブ２００に挿入されるように構成され得る。

【0035】

蛍光顕微鏡検査は、多種多様な色素、または蛍光体を用いる。ダイそれぞれは、ダイが光を吸収する励起波長の特定の範囲、およびダイが光を放出する放射波長の範囲を有する。励起光はサンプル全体にわたって無差別的に光り、放射光はサンプルの、色素が位置する特定の部分からのみ放出される。蛍光顕微鏡検査のゴールは、できるだけ多くの放射と、できるだけ少ない励起光とをキャプチャすることである。これは、フィルタの使用によって達成される。特定の色素を撮像するために、フィルタセットは励起波長のみがサンプルを照明し、放射波長のみがカメラを透過することを可能にするよう設計される。

【0036】

共焦点システムは、励起光が、サンプルに到達する前にピンホールを透過するとの要件を加える。システム設計および動作の観点におけるさらなる複雑な問題としては、分光が収束する共役平面上にピンホールを位置させなければならず、分光が平行している無限空間にフィルタを位置させなければならない。

【0037】

フィルタの使用については、２つの従来の方法がある。１つのケースでは、システムは、通常動作中には取り外すことができない固定フィルタを使用することができる。これらのフィルタは通常、所定の１つ以上の色素と協働するよう設計される。別の実施形態では、良好な単色光源も使用される限り、一組のマルチバンドフィルタを用いることができる。これらのアプローチは機械的簡潔性の利点を有するが、現在のフィルタセットではサポートされない色素を使用するためにフィルタを取り外して取り替えるのに大きな労力を要するという欠点を有する。より一般的なストラテジは、可動フィルタを用いることであり、これは、顕微鏡に供することなくより多くの多様な色素の使用を可能にする。この種類の従来のセットアップは、使用する色素に応じた位置に異なるフィルタを回転させるのにフィルタホイールを使用する。励起光のいくつかの異なる波長を提供可能な照明モジュールは、しばしばフィルタホイールと対にされて、異なる色素と協調するよう構成可能なシステムを生成する。

【0038】

光学系のいくつかのセットは、励起光を方向付ける必要がある。第一に、ＬＥＤまたは励起光を供給するのに使用される他の光源は一般的に、一体型レンズを有する。光学系は、これとピンホールとの間に置かれてピンホールまたはピンホールアレイを通して最大の光を方向付ける。光がピンホールを透過した後、別の光学系セットを用いてピンホールを無限空間に撮像し、ピンホールを出る発散光線を取り出して、平行となるようこれらを屈曲させる。光学系は、画像中に光学収差または色収差がもたらされるのを回避するよう注意して設計しなければならない。従来のシステムでは、これらのエレメントそれぞれが別々に取り付けられ、それぞれが固有のアライメントおよび較正プロセスを有する。

【0039】

図２の光キューブ２００は、励起光源１０２、照明光学系２０４、フィルタ１１８、およびマスクイメージング光学系１０６のうちの少なくともいくつかを、特定の色素に対して最適化された単一パッケージに組み合わせることができる。特定の実施形態で、これらの構成要素のうちの１つ以上、例えば励起光源１０２は、キューブ２００の外側にあるままであってもよい。光キューブはその後、複数の光キューブをシーケンスに用いて種々の色素から画像をキャプチャすることが可能となるよう移動可能なプラットフォーム上に取り付けられてもよい。光キューブは、ユーザによって設置可能であり、例えば回路基板２０２上の回路を介してシステムと通信して、制御システムに対してそれ自体を特定する。

【0040】

光キューブ取り付け機構は、キューブが自己整合型であり、いったん取り付けられると較正の必要性は皆無かほとんど較正を必要としないよう設計される。例えば、光キューブは、ミラーの回転を完全に制約する、およびキューブを少なくとも部分的に制約して、キューブを挿入するたびにミラーが同じ位置および同じ方向で光路に挿入されるようにする、運動ガイド、ダブテールガイド、または他の機械的ガイドを用いて取り付けることができる。

【0041】

さらに、励起光源周りの光学系、マスクイメージング光学系、およびダイクロイックミラーに対する全ての調整は、光キューブが設置される前に完了させることができる。ピンホールマスク１０８を含有するスライドが、スリットを通して光キューブ２００の側に挿入される。このアプローチは、フィルタセットの迅速かつ容易な変更を可能にし、これは、どんな特定の色素を用いることに対してもユーザがシステムを最適化することができることを意味する。従来のフィルタホイールセットアップでは、フィルタの変更は、顕微鏡の部分的解体および再較正を必要とする困難なプロセスとなりかねない。

【0042】

イメージング光学系１０６は、マスク１０８の画像が無限空間にあるように無限に補正されることが多い。これは、光学系のアライメントを複雑にしかねない。したがって、代替の実施形態では、イメージング光学系１０６を光キューブ２００の外部に固定させることができる。このようにして、光学系をより容易にアラインさせることができ、その後にキューブ２００を設置することが可能である。このような実施形態では、固定された光学系を収容するためにキューブ２００内に何らかの開口を組み込む。

【0043】

さらに別の実施形態では、例えば、有限チューブ光学系を用いる場合があり、これは、有限焦点空間をもたらす。

【0044】

上記のように、円筒座標系に基づくマスクパターンを用いることができる。したがって、特定の実施形態では、スライド１０８の代わりにスピニングディスク共焦点を用いることができる。このような実施形態では、スピニングディスク共焦点は、ミラー１１０の後の光路にあったように位置付ける必要がある。

【0045】

図３は、照明システム１００の動作を制御するための制御システムの一例４００を示す。図に示すように、システム４００は画像オーソリティ４１２を含む。画像オーソリティ４１２は、本明細書に記載のシステムおよび方法の特定の部分を実施するのに必要な全てのリソースを含み得る。したがって、オーソリティ４１２は、任意の信号プロセッサ、数値演算コプロセッサ、マイクロコントローラ等を含む１つ以上のプロセッサ、１つ以上のサーバ、１つ以上のルータ、１つ以上の端末、デスクトップまたはポータブルコンピュータを含む１つ以上のコンピュータを含むこれらの部分に必要なハードウェアおよびソフトウェアリソースの全て、ならびに、本明細書に記載のシステムおよび方法のこれらの部分または態様を実行するのに必要な全てのＡＰＩのプログラム、ソフトウェアモジュール等を含み得る。このように、本明細書に記載するものなどのモジュールは、特定の機能を実行するのに必要なハードウェアおよびソフトウェアリソースを含み得る。

【0046】

具体的には、オーソリティ４１２は、システム１００の動作を制御し、そこから取得したデータを処理するよう構成された種々のモジュールを含み得る。図３に図示するように、これらのモジュールは、例えば移動制御モジュール４０６を介してシステム１００の移動ステージを制御するよう構成可能な画像制御モジュール４０２を含み得る。また、制御モジュール４０２は照明制御モジュール４０８を介して照明を制御するようにも構成可能である。

【0047】

オーソリティ４１０は、センサ１２０によって取得された画像データを処理するよう構成された処理モジュール４０４も含み得る。

【0048】

移動制御モジュール４０６と照明制御モジュール４０８のうちのいくつかまたは全ては、システム１００内、例えば光キューブ２００内、またはキューブ２００がインタフェースされる移動ステージ内にある場合があることに留意されたい。

【0049】

既に記載したように、スピニングディスクの代わりに、図５に図示するように、例えばピンホールのパターンが、小さな、例えば図４に示すようにスライドガラス上に印刷されてもよい。このスライドを、例えば図２の光キューブ構成にあるように、励起光源１０２の前に固定してもよい。マスクを適切な位置に位置付けてそれぞれのキャプチャ前にサンプルの異なる部分を照明する小さな移動ステージを用いて、マスクが動かされる。上記の通りであるため、実際のマスクはピンホールに加えて別のパターンも含み得ることに留意する。

【0050】

図７は、一実施形態による、複数の移動ステージ９０２ａ、ｂ、ｃとチップ／チルト調整機構９０４とを含む移動装置９００の構成の一例を示す。図に示すように、移動ステージ９０２およびチップ／チルト調整機構９０４は、例えば制御モジュール４０２および移動制御４０６の制御下で、マスク１０８を動かし、これを位置付けることができる。光キューブ２００に加えてこのタイプの移動装置９００は、いくつかの異なるピンホールパターン、例えば５０１および５０２がスライドそれぞれの上に印刷されることを可能にするシンプルかつコンパクトなソリューションを提供する。これは、さらなる可撓性を可能とし、ユーザに速度と品質の間の選択を付与する。

【0051】

また、上記のように、特定の実施形態では、本明細書に記載のシステムおよび方法は、放射路上のピンホールマスクの必要性を排除するよう構成可能である。代わりに、本明細書に記載のシステムおよび方法は、高解像度ＣＣＤセンサ１２０を用いて、戻った画像を視覚的にマスクオフして、画像の「良好な」領域のデータを記録するだけとするよう構成することができる。システム１００が良好なデータの位置を知るためには、ピンホール１０８のセンサ１２０に対する位置を知らなければならない。これは、共焦点キャプチャルーチンの開始において、かつ例えば処理モジュール４０４内の画像処理を用いて較正画像を取り出して、ピンホールアレイ１０８のセンサ１２０に対する位置を判定することによって達成される。このようにして、システムは、少なくとも部分的に自己較正型であり、画像品質を大幅に損なうことなく、光キューブ２００の位置などの、画像間システム位置決めにおける小さなエラーを許容することができる。

【0052】

カメラセンサに対するピンホールアレイの位置を確立するのに用いることができるプロセスは、図８に示すようにいくつかの別個のステップを有する。まず、ステップ１００５で、マスクのピンホールの画像を取得する。その後、ステップ１０１０で、種々の画像処理技術を用いてマスクの画像を高め、定量分析により適したものとすることができる。ピンホールの間隔は、例えば処理モジュール４０４に対して既知の量であるので、ステップ１０１５で、フーリエ変換を用いてデータを周波数ドメインに移動させ、ステップ１０２０で、かかる間隔に対応するデータを見つけるためにバンドパスフィルタを用いることができる。

【0053】

その後、ステップ１０２５で雑音を除去して画像における輝度変化を算出することができる。例えば、ステップ１０２５でオープニング技法を用いることができる。その後ステップ１０３０で最も明るいデータを選択することができる。例えば、ヒストグラムビニング技法を用いてこの最も明るいデータのみを維持することができる。この点で、ステップ１０３５で、高められた画像におけるピンホールを位置させることができる。例えば、ピンホールと考えるに十分に明るい信号の領域を特定する、閾値アルゴリズムを適用することができる。その後、これらの領域の重心を計算して次のステップで用いるために記憶することができる。

【0054】

次に、ステップ１０４０で、既知のマスクパターンを観察したデータに適合させ、これによってマスク位置をセンサに関連付ける。例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）法を用いて、種々の回転、スケールおよびオフセット係数を一度に２つの重心に対して既知のマスクパターンに適用およびテストすることができる。秒以下で何百もの可能性をテストできるよう、この反復プロセスを並列化することができる。最良適合が判定されると、マスクパターンは、以後の共焦点キャプチャルーチンで用いるために記憶される。

【0055】

図１０のプロセス全体は、例えば消費者向けコンピュータ上で動作する間に数秒で完了し得るため、それぞれの共焦点キャプチャ前にこの較正を行うことが可能かつ実用的である。さらに、複数のピンホールを一度に撮像するため、システム１００は、シングルポイントシステムでは発生し得る時間ペナルティ無しに高解像度の画像をキャプチャすることができる。

【0056】

図９Ａは、判定されたピンホールがオーバーレイされた画像に対してキャプチャされたデータを示し、ピンホール位置は、図８のプロセスを用いて判定されている。図９Ｂは、右側の生データに対照させた判定されたピンホールのクローズアップを示す。

【0057】

図６は、本明細書に記載の種々の実施形態に関連して用いることができる有線または無線システム５５０の一例を示す。例えば、システム５５０は、既に記載した１つ以上の機構またはプロセスとして、またはこれらと共に用いることができ、システム１００または４００の構成要素、対応サーバ（複数可）、および／または本明細書に記載の他の装置を表し得る。システム５５０は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線データ通信が可能な任意の他のプロセッサ対応装置のうちの１つ以上の組み合わせで有り得る。当業者に明らかであるように、他のコンピュータシステムおよび／またはアーキテクチャも用い得る。

【0058】

システム５５０は、プロセッサ５６０などの１つ以上のプロセッサを含むことが好ましい。入力／出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ）主処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアルまたは複数のプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの、追加のプロセッサが設けられてもよい。こうした補助プロセッサは、別個のプロセッサであってもよく、プロセッサ５６０に組み込まれてもよい。システム５５０と用いられ得るプロセッサの例には、これらに限定されるものではないが、全てＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（カリフォルニア州サンタクララ）から入手可能な、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、Ｃｏｒｅ ｉ７（登録商標）プロセッサ、およびＸｅｏｎ（登録商標）プロセッサが含まれる。

【0059】

プロセッサ５６０は、通信バス５５５に接続されることが好ましい。通信バス５５５は、システム５５０のストレージと他の周辺構成要素との間の情報伝達を促進するためのデータチャネルを含み得る。通信バス５５５はさらに、データバス、アドレスバス、および制御バス（図示せず）を含む、プロセッサ５６０との通信に用いられる一組の信号を提供し得る。通信バス５５５は、例えば、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺構成要素相互接続（ＰＣＩ）ローカルバスに準拠するバスアーキテクチャ、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ−１００等を含む米国電気電子学会（ＩＥＥＥ）によって公布される標準規格などの、標準または非標準規格バスアーキテクチャを含み得る。

【0060】

システム５５０が主メモリ５６５を含むことが好ましく、補助メモリ５７０も含んでもよい。主メモリ５６５は、上記の１つ以上の機能および／またはモジュールなどの、プロセッサ５６０上で実行される命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ５６０によって実行されるプログラムは、これらに限定されないが、Ｃ／Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅａｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、ＮＥＴ等を含む任意の適切な言語に従って書き込みおよび／またはコンパイルされ得ることを理解されたい。主メモリ５６５は一般的に、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリの種類には、例えば、読み出し専用メモリ（ＲＯＭ）を含む、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、Ｒａｍｂｕｓダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ（登録商標））等が含まれる。

【0061】

補助メモリ５７０は、任意選択で、内部メモリ５７５および／または、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブ等のリムーバブル媒体５８０を含んでもよい。リムーバブル媒体５８０は、既知の様式で読み出されるおよび／または書き込まれる。リムーバブル記憶媒体５８０は、例えば、フロッピー（登録商標）ディスク、磁気テープ、ＣＤ、ＤＶＤ、ＳＤカード等とし得る。

【0062】

リムーバブル記憶媒体５８０は、記憶されたコンピュータ実行可能コード（つまり、ソフトウェア）および／またはデータを有する非一時的コンピュータ可読媒体である。リムーバブル記憶媒体５８０上に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ５６０による実行のためにシステム５５０に読み出される。

【0063】

代替の実施形態では、補助メモリ５７０が、コンピュータプログラムまたは他のデータ、あるいは命令をシステム５５０にロードすることを可能にする他の類似の手段を含み得る。このような手段には、例えば、外部記憶媒体５９５およびインタフェース５９０が含まれ得る。外部記憶媒体５９５の例には、外部ハードディスクドライブまたは外部光学ドライブ、または外部光磁気ドライブを含み得る。

【0064】

補助メモリ５７０の他の例には、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭに類似のブロック配向メモリ）などの半導体ベースのメモリが含まれ得る。同じく含まれるのは、任意の他のリムーバブル記憶媒体５８０と通信インタフェース５９０であり、これらは、ソフトウェアおよびデータが外部媒体５９５からシステム５５０に伝達されることを可能にする。

【0065】

システム５５０は、通信インタフェース５９０を含んでもよい。通信インタフェース５９０は、ソフトウェアおよびデータがシステム５５０と外部装置（例えば、プリンタ）、ネットワーク、または情報源との間で伝達されることを可能にする。例えば、コンピュータソフトウェアまたは実行可能なコードは、通信インタフェース５９０を介してネットワークサーバからシステム５５０に伝達され得る。通信インタフェース５９０の例には、ビルトインネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカードインターナショナルアソシエーション（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、無線データカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイヤワイヤ、またはシステム５５０をネットワークまたは他のコンピューティング装置とインタフェースさせることが可能な任意の他の装置が含まれる。

【0066】

通信インタフェース５９０は、イーサネット（登録商標）ＩＥＥＥ８０２標準規格などの業界公布プロトコル標準規格、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、サービス総合デジタル網（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）等を実装することが好ましいが、加えて、カスタマイズされた、あるいは非標準のインタフェースプロトコルも実装してよい。

【0067】

通信インタフェース５９０を介して伝達されるソフトウェアおよびデータは通常、電気通信信号６０５の形態である。これらの信号６０５は、通信チャネル６００を介して通信インタフェース５９０に供給されることが好ましい。一実施形態で、通信チャネル６００は、有線または無線ネットワークである、あるいは、他の多様な通信リンクであってもよい。通信チャネル６００は、信号６０５を伝達し、２、３例を挙げると、ワイヤまたはケーブル、ファイバ光学系、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む種々の有線または無線通信手段を用いて実装することができる。

【0068】

コンピュータ実行可能コード（つまり、コンピュータプログラムまたはソフトウェア）は、主メモリ５６５および／または補助メモリ５７０に記憶される。また、コンピュータプログラムは、通信インタフェース５９０を介して受信され、主メモリ５６５および／または補助メモリ５７０に記憶することができる。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。

【0069】

本明細書において、用語「コンピュータ可読媒体」とは、システム５５０にコンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）を提供するのに用いられる任意の非一時的コンピュータ可読記憶媒体を指すのに用いられる。これらの媒体の例には、主メモリ５６５、補助メモリ５７０（内部メモリ５７５、リムーバブル媒体５８０、および外部記憶媒体５９５を含む）、および通信インタフェース５９０と通信可能に結合された周辺機器（ネットワーク情報サーバまたは他のネットワーク装置を含む）が含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム５５０に提供するための手段である。

【0070】

ソフトウェアを用いて実施される一実施形態で、ソフトウェアはコンピュータ可読媒体上に記憶されて、リムーバブル媒体５８０、Ｉ／Ｏインタフェース５８５、または通信インタフェース５９０によってシステム５５０にロードされ得る。このような実施形態では、ソフトウェアは電気通信信号６０５の形態でシステム５５０にロードされる。プロセッサ５６０によって実行されると、ソフトウェアがプロセッサ５６０に本明細書に上述の本発明の特徴および機能を実行させることが好ましい。

【0071】

一実施形態で、Ｉ／Ｏインタフェース５８５は、システム５５０の１つ以上の構成要素と１つ以上の入力および／または出力装置との間のインタフェースを提供する。入力装置例には、これらに限定されるものではないが、キーボード、タッチ画面または他のタッチ感知装置、生体感知装置、コンピュータマウス、トラックボール、ペンベースのポインティング装置等が含まれる。出力装置の例には、これらに限定されるものではないが、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）等が含まれる。

【0072】

システム５５０は、音声上およびデータネットワーク上の無線通信を促進するオプションの無線通信構成要素も含む。無線通信構成要素は、アンテナシステム６１０、無線システム６１５およびベースバンドシステム６２０を含む。システム５５０で、無線周波数（ＲＦ）信号は、無線システム６１５の管理下で、アンテナシステム６１０によってオーバーザエアで送信および受信される。

【0073】

一実施形態で、アンテナシステム６１０は、１つ以上のアンテナおよびスイッチング機能を実行してアンテナシステム６１０に送受信信号路を提供する１つ以上のマルチプレクサ（図示せず）を含み得る。受信路で、受信したＲＦ信号は、マルチプレクサから受信したＲＦ信号を増幅しおよび増幅した信号を無線システム６１５に送信する低雑音増幅器（図示せず）に結合することができる。

【0074】

代替的実施形態で、無線システム６１５は、種々の周波数で通信するよう構成された１つ以上の無線を含み得る。一実施形態で、無線システム６１５は、１つの集積回路（ＩＣ）内に復調器（図示せず）と変調器（図示せず）を組み合わせ得る。復調器および変調器は、別個の構成要素としてもよい。到来路において、復調器はベースバンド受信音声信号を残してＲＦキャリア信号を取り除き、これは無線システム６１５からベースバンド６２０に送信される。

【0075】

受信した信号が音声情報を含有する場合、ベースバンドシステム６２０は信号をデコードしてアナログ信号に変換する。その後、信号は増幅されてスピーカに送信される。ベースバンドシステム６２０は、顕微鏡からのアナログ音声信号も受信する。これらのアナログ音声信号は、デジタル信号に変換されてベースバンドシステム６２０によってエンコードされる。ベースバンドシステム６２０はまた、伝送のためにデジタル信号をコードし、無線システム６１５の変調器部分にルートされるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とＲＦキャリア信号を混合して、アンテナシステムにルートされてパワー増幅器（図示せず）を通過し得るＲＦ送信信号を生成する。パワー増幅器は、ＲＦ送信信号を増幅してアンテナシステム６１０にルートし、信号は伝送のためにアンテナポートに切り替えられる。

【0076】

また、ベースバンドシステム６２０はプロセッサ５６０と通信可能に結合される。中央処理装置５６０は、データ記憶領域５６５および５７０へのアクセスを有する。中央処理装置５６０は、メモリ５６５または補助メモリ５７０に記憶可能な命令（つまり、コンピュータプログラムまたはソフトウェア）を実行するよう構成されることが好ましい。また、コンピュータプログラムは、バスバンドプロセッサ６１０から受信されてデータ記憶領域５６５または補助メモリ５７０に記憶される、あるいは受信時に実行されてもよい。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。例えば、データ記憶領域５６５は、種々のソフトウェアモジュール（図示せず）を含み得る。

【0077】

種々の実施形態は、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＥＰＧＡ）などの構成要素を用いて、主にハードウェアにおいて実装されてもよい。本明細書に記載の機能を実行可能なハードウェアステートマシンの実装も、関連技術の当業者に明らかである。種々の実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施されてもよい。

【0078】

さらに、当業者は、本明細書に開示の上記図および実施形態に関して記載する種々の例示的論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることが多いことを理解するであろう。ハードウェアおよびソフトウェアのこの可換性を明示するために、種々の例示的構成要素、ブロック、モジュール、回路およびステップが、それらの機能の観点から一般的に既に記載されている。こうした機能がハードウェアまたはソフトウェアとして実装されるか否かはシステム全体に課された特定の用途および設計の制約に依拠する。当業者は、記載の機能を特定の用途それぞれに対して方法を変えて実装できるが、このような実装の決定は、本発明の範囲を逸脱させるものとみなされるべきではない。加えて、モジュール、ブロック、回路またはステップ内の機能のグループ化は、記載を容易にするためのものである。特定の機能またはステップは、一方のモジュール、ブロックまたは回路から他方へ移動させることができる。

【0079】

さらに、本明細書に開示の実施形態に関連して記載する種々の例示的論理ブロック、モジュール、機能および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡまたは他のプログラム可能な論理装置、別個のゲートまたはトランジスタ論理、別個のハードウェア構成要素、または本明細書に記載の機能を実行するよう設計された、これらの任意の組み合わせで実装または実行可能である。汎用プロセッサはマイクロプロセッサとし得るが、代替では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとし得る。プロセッサは、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、１つ以上のマイクロプロセッサとＤＳＰコア、またはこのような任意の他の構成として実装されてもよい。

【0080】

加えて、本明細書に開示の実施形態に関して記載する方法またはアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら２つの組み合わせで直接に実施されてもよい。ソフトウェアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体内にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み出して、これに情報を書き込むこむことができるように、プロセッサに結合されてもよい。代替では、記憶媒体はプロセッサに組み込まれてもよい。プロセッサおよび記憶媒体がＡＳＩＣ内にあってもよい。

【0081】

本明細書に記載のいずれのソフトウェア構成要素も、多様な形態をとり得る。例えば、構成要素はスタンドアロンソフトウェアパッケージであってもよく、あるいは、より大きなソフトウェア製品における「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク、例えばウェブサイトから、既存のソフトウェアアプリケーションにインストールするためのスタンドアロン製品またはアドインパッケージとしてダウンロード可能であってもよい。これは、クライエントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および／またはモバイルアプリケーションとして利用可能であってもよい。

【0082】

特定の実施形態が既に記載されているが、記載の実施形態は例示にすぎないことを理解されたい。したがって、本明細書に記載のシステムおよび方法は、記載の実施形態に基づいて限定されるものではない。むしろ、本明細書に記載のシステムおよび方法は、上記記載と添付の図面を共に用いた場合に、以下の特許請求の範囲に照らしてのみ限定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】