知財求人 - 知財ポータルサイト「IP Force」
特許7195738構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-16
(45)【発行日】2022-12-26
(54)【発明の名称】構造化照明イメージングシステムを較正するためおよび構造化照明画像をキャプチャするためのシステムおよび方法
(51)【国際特許分類】
G02B 21/06 20060101AFI20221219BHJP
G01N 21/64 20060101ALI20221219BHJP
【ＦＩ】
G02B21/06
G01N21/64 E
G01N21/64 Z
【請求項の数】
10
(21)【出願番号】P 2017562599
(86)(22)【出願日】2016-05-10
(65)【公表番号】
(43)【公表日】2018-08-16
(86)【国際出願番号】 US2016031570
(87)【国際公開番号】W WO2016195927
(87)【国際公開日】2016-12-08
【審査請求日】2019-04-26
【審判番号】
【審判請求日】2021-08-18
(31)【優先権主張番号】62/169,675
(32)【優先日】2015-06-02
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502221282
【氏名又は名称】ライフ テクノロジーズ コーポレーション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】リトル， スティーブン
(72)【発明者】
【氏名】ボスホーテン， ポール
(72)【発明者】
【氏名】ガンダーソン， アンドリュー
(72)【発明者】
【氏名】ライストローム， ラリー
(72)【発明者】
【氏名】ネム， クリス
【合議体】
【審判長】瀬川 勝久
【審判官】野村 伸雄
【審判官】加々美 一恵
(56)【参考文献】
【文献】特表２００８－５４１１４４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００９８３６９（ＵＳ，Ａ１）
【文献】特開２０１５－８４０６２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／００５４９３７（ＵＳ，Ａ１）
【文献】特開平１１－８３４３１（ＪＰ，Ａ）
【文献】特表２００９－５２６２１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
G02B 21/06
G01N 21/64
(57)【特許請求の範囲】
【請求項1】
イメージングシステム（１００）であって、ピンホールマスク（１０８）を介して励起光（１０４）を用いてサンプル（１１４）を照明するよう構成された照明源と、
前記ピンホールマスク（１０８）または前記サンプル（１１４）を第一の位置に移動させるよう構成された移動装置（９００）と、
前記ピンホールマスク（１０８）を通過していない前記サンプル（１１４）からの放射光を用いて、前記第一の位置で前記サンプルの画像をキャプチャして、前記画像をデータに変換するよう構成されたセンサ（１２０）と、
画像処理モジュール（４０４）であって、
前記ピンホールマスク（１０８）のピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得し、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定し、
前記領域の重心を算出し、
前記ピンホールマスク（１０８）に対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させるよう構成された画像処理モジュール（４０４）と、
前記最良適合データを保存するよう構成された記憶媒体と、
以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置（９００）を制御するよう構成された制御モジュール（４０２）と
を備える、システム。
【請求項2】
前記画像処理モジュール（４０４）はさらに、前記キャプチャした画像に対応する前記データを高めるよう構成される、請求項１に記載のシステム。
【請求項3】
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、請求項１に記載のシステム。
【請求項4】
前記画像処理モジュール（４０４）はさらに、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出するよう構成される、請求項１に記載のシステム。
【請求項5】
前記画像処理モジュール（４０４）はさらに、輝度閾値を上回るデータのみを維持するよう構成される、請求項４に記載のシステム。
【請求項6】
前記画像処理モジュール（４０４）はさらに、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定するよう構成される、請求項５に記載のシステム。
【請求項7】
前記画像処理モジュール（４０４）はさらに、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得するよう構成される、請求項１に記載のシステム。
【請求項8】
前記センサ（１２０）は電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子を含む、請求項１に記載のシステム。
【請求項9】
前記画像処理モジュール（４０４）はさらに、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成するよう構成される、請求項１に記載のシステム。
【請求項10】
前記ピンホールマスク（１０８）は矩形、四角形、または円筒状マスクである、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１５年６月２日に出願された米国特許出願第６２／１６９，６７５号の優先権を主張するものであり、該出願は、参照によりその開示全体が本明細書に援用される。
【0002】
本明細書に記載の実施形態は、蛍光イメージングに関し、より具体的には、放射路にピンホールマスクを必要とせずに、蛍光イメージングシステムにおいて合成共焦点画像を生成することに関する。
【背景技術】
【0003】
関連技術
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である（クロロフィルのような）か、蛍光染色で処理されるかのいずれかで有り得る。
蛍光顕微鏡は、反射および吸収の代わりに、またはこれに加えて、蛍光を用いて有機または無機物質の特性を調べるのに使用される光学顕微鏡である。蛍光顕微鏡は、特定の波長の光を照射されたときに、特定の物質が可視光として検出可能なエネルギーを放射する現象に基づく。サンプルは、その自然の形態が蛍光発光性である（クロロフィルのような）か、蛍光染色で処理されるかのいずれかで有り得る。
【0004】
当該技術において既知の基本的な広視野蛍光顕微鏡は、光源と、蛍光染色と一致する波長に対応するいくつかのフィルタとを含む。光源からの光の励起波長を選択するために励起フィルタが設けられ、ダイクロイックビームスプリッタは、光源からの光を反射させて試料を照明する。照明された光は、放射フィルタによってさらに弱い放射された蛍光から分離される。蛍光領域は、顕微鏡において観察され、暗い背景に対して高コントラストで光る。
【0005】
構造化照明イメージングシステムは、既に記載した広視野イメージングシステムとほぼ同じ原理を用いるが、一度にサンプルの一部のみが照明されることがキーである。励起光の大部分は遮断され、遮断されない照明のパターンをサンプル全体にわたらせてサンプルの領域それぞれがほぼ等しい励起光を受光するようにされる。典型的には、この工程において複数の画像が別個の間隔でキャプチャされ、別個の入力画像を解析して対応する出力画像を構築する画像処理アルゴリズムによって単一全照明画像が生成される。この出力画像は、サンプルの焦点が合っていない領域から集められる光が低減することにより向上した信号雑音比、より高い縦方向および軸方向空間解像度、または両方がもたらされるため、シンプルな広視野イメージング技術を用いてキャプチャされた画像よりも優れている。
【0006】
共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、信号雑音比を向上させる、または光学解像度を増大させるのに用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
【0007】
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
【0008】
本技術は、１ポイントのみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
【0009】
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図７に示す。
【0010】
図７から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。
【0011】
図７に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
【0012】
こうした従来の蛍光イメージングシステムにおける別の課題は、蛍光退色である。このようなシステムでは、サンプルを見ることにより、時間をかけてサンプルが調光される。蛍光退色として知られるこの効果は、励起光のエネルギーが色素の分子を徐々に損傷し、結果としてその蛍光反応を低減させる結果である。この効果は、励起光に露光されたサンプルの領域のみにおいて明白であり、露光の期間および強度に基づいて変動する。したがって、サンプルの生態には明らかな差異がないにもかかわらず、サンプルの一方の領域を非常に薄暗く（大きく蛍光退色した）し、他方の領域を非常に明るく（全く蛍光退色していない）することが可能である。
【0013】
構造化照明の適用において、この効果は、質的および量的な問題を生じかねない。構造化照明の基本的概念は、一度にサンプルの小さな部分のみを照らし、その後に複数の一部を照らしたサンプルの視野を、１つの全体を照らした視野へと画像処理ソフトウェアで結合することである。これは、光と光学系の特定の特徴を活用して画像をキャプチャするが、このことは標準的な広視野照明では可能ではない。サンプルは通常過度に照明されるため、一度に撮像されるサンプル領域の単なるサブセットよりも広い領域が受光する。このことは、まだ撮像していないサンプルの領域の蛍光退色を生じさせ、そのため、これらの領域が撮像されるときに、プロセスのより早くにこの領域が撮像されたならば有したであろうよりも見かけの輝度が低い。画像を結合する場合、これによって定量分析における強い人工的な周期的傾向と、定性分析における視覚的に明白なパターンとが生じる場合がある。
【0014】
この問題を克服するための従来的な方法がいくつかある。１つ目は、蛍光退色による低輝度を補償するために、キャプチャプロセスが進行するにつれてキャプチャ設定を変更することができる。ただしこのアプローチは、システムの全エレメントがいくつかの変数に対して非常に良好に定量化されていなければならず、また、個々のサンプルに対して較正される必要があり得る。２つ目は、個々の画像の輝度を後処理において調整して、低下する輝度を補償することができる。３つ目は、より集束された照明源（レーザなど）が余分な蛍光退色を生じさせる過度の照明の多くを防止することができる。
【発明の概要】
【課題を解決するための手段】
【0015】
本明細書では、システムを用いて放射路にピンホールマスクを必要とすることなく構造化照明画像を生成することが可能となるよう、蛍光イメージングシステムを較正するのためのシステムおよび方法が開示される。
【0016】
一態様によると、イメージングシステムを較正する方法は、ピンホールマスクを介して励起光を用いてサンプルを照明することと、センサを用いてサンプルの画像をキャプチャすることと、画像をデータに変換することと、処理モジュールにおいて、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるのに十分に明るい残存データの領域を特定し、領域の重心を算出し、データに対する最良適合を特定するために、ピンホールマスクに対する既知のパターンを領域に適合させることと、記憶媒体に、最良適合データを以後の共焦点キャプチャルーチンで用いるために保存することと、を含む。
【0017】
別の態様によると、蛍光イメージングシステムは、ピンホールマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、ピンホールマスクまたはサンプルを第一の位置に移動させるよう構成された移動装置と、第一の位置においてサンプルの画像をキャプチャして画像をデータに変換するよう構成されたセンサと、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるに十分に明るい残存データの領域を特定し、領域の重心を算出し、ピンホールマスクに対する既知のパターンを、データに対する最良適合を特定するために領域に適合させるよう構成された画像処理モジュールと、記憶媒体に最良適合データを保存するよう構成された記憶媒体と、以後の共焦点キャプチャルーチンで用いるためのサンプルの複数の画像を取得するために、最良適合データを用いて照明源と移動装置とを制御するよう構成された制御モジュールと、を備える。
【0018】
別の態様によると、蛍光イメージングシステムにおいて取得される合成共焦点画像をキャプチャする方法は、ピンホールマスクを介して励起光を用いてサンプルを照明することと、移動装置を用いてピンホールマスクまたはサンプルを第一の位置に移動することと、第一の位置においてサンプルの画像をキャプチャすることと、画像をデータに変換することと、画像処理モジュールにおいて、ピンホールマスクのピンホールの既知の間隔を用いてデータをフィルタして間隔に対応するデータを取得し、閾値を用いてピンホールに関連付けるに十分に明るい残存データの領域を特定し、領域の重心を算出し、データに対する最良適合を特定するためにピンホールマスクに対する既知のパターンを領域に適合させることと、記憶媒体に最良適合データを保存することと、制御モジュールにおいて、以後の共焦点キャプチャルーチンで用いるためのサンプルの複数の画像を取得するために、最良適合データを用いて照明源と移動装置を制御することと、を含む。
本発明は、例えば、以下を提供する。
（項目１）
イメージングシステムを較正する方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
センサを用いて、前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
処理モジュールにおいて、
ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させること、そして、
記憶媒体に、前記最良適合データを以後の共焦点キャプチャルーチンで用いるために保存すること、を含む、方法。
（項目２）
前記処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目１に記載の方法。
（項目３）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目２に記載の方法。
（項目４）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目１に記載の方法。
（項目５）
前記処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目１に記載の方法。
（項目６）
前記処理モジュールにおいて、輝度閾値を上回る前記フィルタされたデータにおけるデータのみを維持することをさらに含む、項目５に記載の方法。
（項目７）
ヒストグラムビニング技法を用いて、前記輝度閾値を上回るデータを特定する、項目６に記載の方法。
（項目８）
前記処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目１に記載の方法。
（項目９）
前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目１に記載の方法。
（項目１０）
蛍光イメージングシステムであって、
ピンホールマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、前記ピンホールマスクまたは前記サンプルを第一の位置に移動させるよう構成された移動装置と、
前記第一の位置で前記サンプルの画像をキャプチャして、前記画像をデータに変換するよう構成されたセンサと、
画像処理モジュールであって、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得し、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定し、
前記領域の重心を算出し、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させるよう構成された画像処理モジュールと、
前記最良適合データを保存するよう構成された記憶媒体と、
以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御するよう構成された制御モジュールと、を備える、システム。
（項目１１）
前記画像処理モジュールはさらに、前記キャプチャした画像に対応する前記データを高めるよう構成される、項目１０に記載のシステム。
（項目１２）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目１１に記載のシステム。
（項目１３）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目１０に記載のシステム。
（項目１４）
前記画像処理モジュールはさらに、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出するよう構成される、項目１０に記載のシステム。
（項目１５）
前記画像処理モジュールはさらに、輝度閾値を上回るデータのみを維持するよう構成される、項目１４に記載のシステム。
（項目１６）
前記画像処理モジュールはさらに、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定するよう構成される、項目１５に記載のシステム。
（項目１７）
前記画像処理モジュールはさらに、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けるよう構成される、項目１０に記載のシステム。
（項目１８）
前記画像処理モジュールはさらに、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得するよう構成される、項目１０に記載のシステム。
（項目１９）
前記センサは電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子を含む、項目１０に記載のシステム。
（項目２０）
前記画像処理モジュールはさらに、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成するよう構成される、項目１０に記載のシステム。
（項目２１）
前記ピンホールマスクは矩形、四角形、または円筒状マスクである、項目１０に記載のシステム。
（項目２２）
蛍光イメージングシステムにおいて取得される合成共焦点画像をキャプチャする方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
前記ピンホールマスクまたは前記サンプルを移動装置を用いて第一の位置に移動させること、
前記第一の位置において前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
画像処理モジュールにおいて、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関して、前記データに対する最良適合を特定するために前記領域に適合させること、
前記最良適合データを記憶媒体に保存すること、そして、
制御モジュールにおいて、以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御すること、を含む、方法。
（項目２３）
前記画像処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目２２に記載の方法。
（項目２４）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目２３に記載の方法。
（項目２５）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目２２に記載の方法。
（項目２６）
前記画像処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目２２に記載の方法。
（項目２７）
前記画像処理モジュールにおいて、輝度閾値を上回るデータのみを維持することをさらに含む、項目２２に記載の方法。
（項目２８）
前記画像処理モジュールにおいて、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定することをさらに含む、項目２２に記載の方法。
（項目２９）
前記画像処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目２２に記載の方法。
（項目３０）
前記画像処理モジュールにおいて、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目２２に記載の方法。
（項目３１）
前記画像処理モジュールにおいて、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成することをさらに含む、項目２２に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
イメージングシステムを較正する方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
センサを用いて、前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
処理モジュールにおいて、
ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させること、そして、
記憶媒体に、前記最良適合データを以後の共焦点キャプチャルーチンで用いるために保存すること、を含む、方法。
（項目２）
前記処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目１に記載の方法。
（項目３）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目２に記載の方法。
（項目４）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目１に記載の方法。
（項目５）
前記処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目１に記載の方法。
（項目６）
前記処理モジュールにおいて、輝度閾値を上回る前記フィルタされたデータにおけるデータのみを維持することをさらに含む、項目５に記載の方法。
（項目７）
ヒストグラムビニング技法を用いて、前記輝度閾値を上回るデータを特定する、項目６に記載の方法。
（項目８）
前記処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目１に記載の方法。
（項目９）
前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目１に記載の方法。
（項目１０）
蛍光イメージングシステムであって、
ピンホールマスクを介して励起光を用いてサンプルを照明するよう構成された照明源と、前記ピンホールマスクまたは前記サンプルを第一の位置に移動させるよう構成された移動装置と、
前記第一の位置で前記サンプルの画像をキャプチャして、前記画像をデータに変換するよう構成されたセンサと、
画像処理モジュールであって、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得し、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定し、
前記領域の重心を算出し、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関する、前記データに対する最良適合を特定するために前記領域に適合させるよう構成された画像処理モジュールと、
前記最良適合データを保存するよう構成された記憶媒体と、
以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御するよう構成された制御モジュールと、を備える、システム。
（項目１１）
前記画像処理モジュールはさらに、前記キャプチャした画像に対応する前記データを高めるよう構成される、項目１０に記載のシステム。
（項目１２）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目１１に記載のシステム。
（項目１３）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目１０に記載のシステム。
（項目１４）
前記画像処理モジュールはさらに、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出するよう構成される、項目１０に記載のシステム。
（項目１５）
前記画像処理モジュールはさらに、輝度閾値を上回るデータのみを維持するよう構成される、項目１４に記載のシステム。
（項目１６）
前記画像処理モジュールはさらに、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定するよう構成される、項目１５に記載のシステム。
（項目１７）
前記画像処理モジュールはさらに、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けるよう構成される、項目１０に記載のシステム。
（項目１８）
前記画像処理モジュールはさらに、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得するよう構成される、項目１０に記載のシステム。
（項目１９）
前記センサは電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子を含む、項目１０に記載のシステム。
（項目２０）
前記画像処理モジュールはさらに、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成するよう構成される、項目１０に記載のシステム。
（項目２１）
前記ピンホールマスクは矩形、四角形、または円筒状マスクである、項目１０に記載のシステム。
（項目２２）
蛍光イメージングシステムにおいて取得される合成共焦点画像をキャプチャする方法であって、
ピンホールマスクを介して励起光を用いてサンプルを照明すること、
前記ピンホールマスクまたは前記サンプルを移動装置を用いて第一の位置に移動させること、
前記第一の位置において前記サンプルの画像をキャプチャすること、
前記画像をデータに変換すること、
画像処理モジュールにおいて、
前記ピンホールマスクのピンホールの既知の間隔を用いて前記データをフィルタして、前記間隔に対応するデータを取得することと、
閾値を用いて、ピンホールに関連付けるのに十分に明るい残存データの領域を特定することと、
前記領域の重心を算出することと、
前記ピンホールマスクに対する既知のパターンを、前記ピンホールの位置に関して、前記データに対する最良適合を特定するために前記領域に適合させること、
前記最良適合データを記憶媒体に保存すること、そして、
制御モジュールにおいて、以後の共焦点キャプチャルーチンで用いるために前記サンプルの複数の画像を取得するために、前記照明源および前記移動装置を制御すること、を含む、方法。
（項目２３）
前記画像処理モジュールにおいて、前記キャプチャした画像に対応する前記データを高めることをさらに含む、項目２２に記載の方法。
（項目２４）
前記データを高めることが、前記データの鮮鋭度およびコントラストをブーストすることを含む、項目２３に記載の方法。
（項目２５）
前記データをフィルタすることが、前記データを周波数ドメインに変換し、バンドパスフィルタを前記変換したデータに適用することを含む、項目２２に記載の方法。
（項目２６）
前記画像処理モジュールにおいて、雑音を除去し、前記フィルタされたデータにおける輝度変化を算出することをさらに含む、項目２２に記載の方法。
（項目２７）
前記画像処理モジュールにおいて、輝度閾値を上回るデータのみを維持することをさらに含む、項目２２に記載の方法。
（項目２８）
前記画像処理モジュールにおいて、ヒストグラムビニング技法を適用して前記輝度閾値を上回るデータを特定することをさらに含む、項目２２に記載の方法。
（項目２９）
前記画像処理モジュールにおいて、回転、スケールおよびオフセット係数のうちの少なくとも１つを、反復プロセスにおいて一対の重心に適用して、前記最良適合を特定することを助けることをさらに含む、項目２２に記載の方法。
（項目３０）
前記画像処理モジュールにおいて、前記ピンホールの前記位置に対する前記最良適合データを用いて、前記ピンホールの前記位置に関連付けられたデータを処理し、前記ピンホールの前記位置に関連しないデータは無視することで、前記サンプルの共焦点合成画像を取得することをさらに含む、項目２２に記載の方法。
（項目３１）
前記画像処理モジュールにおいて、前記複数の画像および前記最良適合データを用いて合成共焦点画像を生成することをさらに含む、項目２２に記載のシステム。
【0019】
本発明のこれらおよび他の特徴、態様、ならびに実施形態は、「発明を実施するための形態」と題される項において以下に記載される。
【図面の簡単な説明】
【0020】
特徴、態様、ならびに実施形態は、添付の図面と共に記載される。
【0021】
【発明を実施するための形態】
【0022】
本明細書に記載の実施形態で、構造化照明画像を生成するためのシステムおよび方法が開示される。記載の実施形態は例示としてのみ記載される。さらに、図は例示であり、開示のシステムおよび方法の記載を助けることを意図するものである。したがって、図は、完全なシステムを描くのに必要な構成要素、回路、エレメント等の全てを含んでいない場合がある。したがって、図およびそれらに伴う開示は実施形態を特定の構成に制限するものとみなされるべきではなく、開示の構成においてさらなる構成要素等の、または更なる構成の含有を排除するものとみなされるべきではない。
【0023】
上記のとおり、構造化照明システムは、従来の広視野システムに対して特定の利点を有する。共焦点イメージングシステムは、構造化照明システムの一種である。共焦点イメージングシステムは、光学解像度およびコントラストを増大させて、取得した一連の画像から３次元構造を再構築することを可能にするために用いることができる。共焦点イメージングシステムでは、サンプルの焦点があっている薄い部分のみを撮像し、焦点面の上下からの光は全て遮光することを目的とする。これは、焦点の合っていないエレメントが画像中の大きなエレメントとして見えるままである、より基本的な広視野イメージングとは対照的である。
【0024】
従来の共焦点システムは、大まかには、シングルポイント共焦点システムと、マルチポイント共焦点システムとに分けることができる。シングルポイント共焦点システムでは、色素を励起するのに用いられる照明がピンホールを介してサンプルに透過され、その後、サンプルからの蛍光放射が別のピンホールを介してフォトディテクタ、すなわち本質的に単画素カメラ、内に透過される。ピンホールのサイズと光学系は、焦点が合っているサンプルの薄片から放射された光子のみから戻る光を受光するよう設計される。
【0025】
本技術は、１ポイントのみ、すなわち一度に画像の１画素のみを撮像可能である。したがって、単一２Ｄ共焦点画像を構築するためには、ビームまたはサンプルを２次元で前後にスキャンさせなければならない。このような従来のシステムにおけるビームは一般的に、固定されたサンプル上でスキャンされるが、これは、非常に高速で非常に正確なミラーをフォトディテクタに同期させることを必要とする。
【0026】
マルチポイント共焦点システムでは、動作原理は上記と同一であるが、複数のポイントが並行して撮像される。典型的には、ピンホールのパターンを有するディスクが、露光中に照明が視野にわたるように回転される。スピニングディスク共焦点イメージングシステムの一例を図７に示す。
【0027】
図７から分かるように、光源からの光８０２は、第二のディスク８０８に含まれるピンホールマスク８１０上に光を集束させる複数の集束レンズ８０６を含む第一のディスク８０４上に入射する。ピンホールマスク８１０を透過する光８０２がその後、対物レンズ８１２を介して試料８１４上に集束される。光８０２が蛍光体に吸収され、それにより蛍光体が光８１６を放射し、これが対物レンズ８１２およびピンホールマスク８１０を逆透過して、ミラー８１８上に入射する。ミラー８１８は、例えば光学系８２０を介して、放射された光８１６を、それが検出され得るセンサ８２２上に反射させる。
【0028】
図７に示すようなシステムは、シングルポイントシステムよりも高速で画像をキャプチャ可能であるが、こうしたシステムも、ピンホールとディテクタとの間のより複雑な同期を必要とする。
【0029】
図１は、本明細書に記載のシステムおよび方法によって構成された、蛍光イメージングシステム１００の実施形態の一例を示す。図示されるように、システム１００は、照明光１０４を生成するよう構成された光源１０４を含む。ソース１０２は、実装に応じて、例えば発光ダイオード（ＬＥＤ）またはレーザであってもよい。ピンホール光学系１０６は、光１０２をピンホールマスク１０８上に集束させてもよい。マスク１０８を透過する光は、例えば対物レンズ１１２を介してサンプル１１４に光を方向付ける、ダイクロイックミラーなどのミラー１１０上に入射する。光１０４が蛍光体に吸収され、それにより蛍光体が光１１６を放射し、これが対物レンズ１１２およびミラー１１０を通って、センサ１２０上に逆透過する。フィルタ１１８は、放射がセンサ１２０に入射する前に放射をフィルタすることができる。
【0030】
特定の実施形態では、システム１００が従来のシステムにおけるように、光放射１１６の経路にピンホールマスクを含む場合があるが、以下に詳細に説明するように、別の実施形態では放射路ピンホールマスクを除去することができる。
【0031】
センサ１２０は、例えば、電荷結合素子（ＣＣＤ）またはＣＭＯＳ素子とし得る。また、ピンホールマスクには、直角座標系、四角形座標系、または円筒座標系などの座標系によって規定できる予測可能なパターンが含まれ得る。したがって、マスクは、例えば、ディスク上で回転するのではなく、ｘ－ｙ平面で移動させ得る。しかし、円筒座標系を用いる場合には、マスクはなおも回転してもよい。図５は、一実施形態による、マスク５００の一例を示す。図示されるように、マスク５００は、マスク５０１および５０２などの複数のピンホールマスクを含み得る。
【0032】
したがって、図２に示すように、光源１０２、イメージング光学系１０６、マスク１０８、ミラー１１０およびフィルタ１１８は、非常にコンパクトな光キューブ２００に含めることができる。また、光キューブは、制御システムと通信して光キューブ２００の種々の態様を制御するよう構成可能な回路基板２２０を含んでもよい。したがって、図５のマスク５００は、光キューブ２００に挿入されるように構成され得る。
【0033】
上記のとおり、ディスクベースのラスタスキャンシステムなどの従来的なシステムを介してキャプチャされた画像は、例えば、蛍光退色によって生じたものなどの周期的な視覚アーティファクトを含む場合がある。これらのアーティファクトを低減するための従来的な方法は有用であるが、システム１００を、個々の一部を照明した画像をその都度ランダムにキャプチャすることでこうしたアーティファクトの影響を低減するよう構成することが可能である。
【0034】
図３は、蛍光退色によって生成されるものなどの周期的なアーティファクトを除去するためのプロセスの一例を示すフローチャートである。最初に、ステップ３０５で、例えば、制御システム４００で動作している画像制御モジュール４０２が、全照明合成画像を適切に構築するためにマスク１０６が位置付けられるべき異なる物理的位置を判定することができる。通常、一旦これらの位置が判定されると、システム４００は移動制御モジュール（複数可）４０６を介して移動ステージを制御して線形に移動させる、つまり、移動ステージが位置それぞれを順番に移動して、画像をキャプチャする。また、制御モジュール４０２は通常、位置それぞれのキャプチャ設定を判定し、このキャプチャ設定を用いて画像をキャプチャするために照明制御４０８を制御する。
【0035】
しかし、図３の実施形態で、ステップ３１０で、制御モジュール４０２は移動ステージをランダム化された順序で位置のそれぞれの１つに進め、データをキャプチャする。さらに、制御モジュール４０２を、画像それぞれがその都度同一のキャプチャ設定でキャプチャされるよう構成することができる。これは、カメラまたはセンサと照明制御とが、キャプチャそれぞれの前に新たな設定を確認するために制御システム４００と通信しなくてもよいため、より高速な個々のキャプチャを可能にする。
【0036】
ステップ３１０で画像がキャプチャされると、画像処理モジュール４０４を用いてステップ３１５で合成共焦点画像を生成することができる。その後、画像処理モジュール４０４は背景情報から信号を識別し、ステップ３２０で、キャプチャプロセスの別個のステップにおける信号強度の低下を測定するよう構成されてもよい。実験的に観察された蛍光退色の挙動に一致するようモデルされた曲線などのモデル、つまり、時間関数としての相対的輝度を、その後、ステップ３２５でデータポイントに適合させることができる。この曲線から、第一を除くシーケンスにおける全画像の輝度を、ステップ３３０で調整して、蛍光退色の明らかな効果のいくつかを除去することができる。
【0037】
モデルが画像に適用され、種々のデータポイントの輝度が調整される前後で合成画像を生成することが可能であることに留意されたい。
【0038】
また、図３のプロセスを全画像に厳密に適用することは演算集約的となる場合があり、特定のインスタンスでは、所与の現行の処理能力制約が長くなりすぎるであろうことにも留意されたい。したがって、特定の実施形態では、モデルの適用（ステップ３２５）は、いくつかの画像にのみ適用され得る。その後、いくつかの画像への適用に基づく、残りの画像の輝度の近似補正を、随意のステップ３３５で示すように行い得る。例えば、モデルは画像に、順序の最初、中間、および最後に適用してもよく、その後、指数関数的減衰がこれらのポイントに適合されてもよい。この修正されたプロセスは、良好な品質の画像の相対的迅速な取得をもたらし得る。
【0039】
図４は、照明システム１００の動作を制御するための制御システムの一例４００を示す。図に示すように、システム４００は画像オーソリティ４１２を含む。画像オーソリティ４１２は、本明細書に記載のシステムおよび方法の特定の部分を実施するのに必要な全てのリソースを含み得る。したがって、オーソリティ４１２は、任意の信号プロセッサ、数値演算コプロセッサ、マイクロコントローラ等を含む１つ以上のプロセッサ、１つ以上のサーバ、１つ以上のルータ、１つ以上の端末、デスクトップまたはポータブルコンピュータを含む１つ以上のコンピュータを含むこれらの部分に必要なハードウェアおよびソフトウェアリソースの全て、ならびに、本明細書に記載のシステムおよび方法のこれらの部分または態様を実行するのに必要な全てのＡＰＩのプログラム、ソフトウェアモジュール等を含み得る。このように、本明細書に記載するものなどのモジュールは、特定の機能を実行するのに必要なハードウェアおよびソフトウェアリソースを含み得る。
【0040】
具体的には、オーソリティ４１２は、システム１００の動作を制御し、そこから取得したデータを処理するよう構成された種々のモジュールを含み得る。図４に図示するように、これらのモジュールは、例えば移動制御モジュール４０６を介してシステム１００における移動ステージを制御するよう構成可能な画像制御モジュール４０２を含み得る。また、制御モジュール４０２は照明制御モジュール４０８を介して照明を制御するようにも構成可能である。
【0041】
オーソリティ４１０は、センサ１２０によって取得された画像データを処理するよう構成された処理モジュール４０４も含み得る。
【0042】
移動制御モジュール４０６と照明制御モジュール４０８のうちのいくつかまたは全ては、システム１００内、例えば光キューブ２００内、またはキューブ２００がインタフェースされる移動ステージ内にある場合があることに留意されたい。
【0043】
図６Ａおよび６Ｂは、広視野画像キャプチャと対応するピンホール画像キャプチャとを示す。図６Ｃおよび６Ｄから分かるように、ラスタスキャンされた共焦点画像は向上した解像度とコントラストとを提供可能であるが、図６Ｅおよび６Ｆに示すように、図３のランダムスキャンされた画像キャプチャプロセスは、さらに良好な解像度およびコントラストを、より短い時間かつより少ない処理リソースで提供することができる。
【0044】
上記のように、本明細書に記載のシステムは、マルチポイント共焦点システムである。スピニングディスクの代わりに、図７に図示するように、ピンホールのパターンが、小さな、例えば図５に示すようにスライドガラス上に印刷されてもよい。このスライドを、例えば図２の光キューブ構成にあるように、励起光源１０２の前に固定してもよい。マスクを適切な位置に位置付けてそれぞれのキャプチャ前にサンプルの異なる部分を照明する小さな移動ステージを用いて、マスクが動かされる。
【0045】
図９は、一実施形態による、複数の移動ステージ９０２ａ、ｂ、ｃとチップ／チルト調整機構９０４とを含む移動装置９００の構成の一例を示す。図に示すように、移動ステージ９０２およびチップ／チルト調整機構９０４は、例えば制御モジュール４０２および移動制御４０６の制御下で、マスク１０８を動かし、これを位置付けることができる。光キューブ２００に加えてこのタイプの移動装置９００は、いくつかの異なるピンホールパターン、例えば５０１および５０２がスライドそれぞれの上に印刷されることを可能にするシンプルかつコンパクトなソリューションを提供する。これは、さらなる可撓性を可能とし、ユーザに速度と品質の間の選択を付与する。
【0046】
また、上記のように、特定の実施形態では、本明細書に記載のシステムおよび方法は、放射路上のピンホールマスクの必要性を排除するよう構成可能である。代わりに、本明細書に記載のシステムおよび方法は、ＣＣＤやＣＭＯＳ素子などの高解像度センサ１２０を用いて、戻った画像を視覚的にマスクオフして、画像の「良好な」領域のデータを記録するだけとするよう構成することができる。システム１００が良好なデータの位置を知るためには、ピンホール１０８のセンサ１２０に対する位置を知らなければならない。これは、共焦点キャプチャルーチンの開始において、かつ例えば処理モジュール４０４内の画像処理を用いて較正画像を取り出して、ピンホールアレイ１０８のセンサ１２０に対する位置を判定することによって達成される。このようにして、システムは、少なくとも部分的に自己較正型であり、画像品質を大幅に損なうことなく、光キューブ２００の位置などの、画像間システム位置決めにおける小さなエラーを許容することができる。
【0047】
要するに、ピンホールマスク、つまり図１１Ａの画像における明るいスポットが特定され、その後これらの位置からのデータを処理して共焦点画像を生成する一方、これらの領域外のデータは無視する。カメラセンサに対するピンホールアレイの位置を確立するのに用いることができるプロセスは、図１０に示すようにいくつかの別個のステップを有する。まず、ステップ１００５で、マスクのピンホールの画像を取得する。その後、ステップ１０１０で、種々の画像処理技術を用いてマスクの画像を高め、定量分析により適したものとすることができる。ピンホールの間隔は、例えば処理モジュール４０４に対して既知の量であるので、ステップ１０１５で、フーリエ変換を用いてデータを周波数ドメインに移動させ、ステップ１０２０で、かかる間隔に対応するデータを見つけるためにバンドパスフィルタを用いることができる。
【0048】
その後、ステップ１０２５で雑音を除去して画像における輝度変化を算出することができる。例えば、ステップ１０２５でオープニング技法を用いることができる。その後ステップ１０３０で最も明るいデータを選択することができる。例えば、ヒストグラムビニング技法を用いてこの最も明るいデータのみを維持することができる。この点で、ステップ１０３５で、高められた画像におけるピンホールを位置させることができる。例えば、ピンホールと考えるに十分に明るい信号の領域を特定する、閾値アルゴリズムを適用することができる。その後、これらの領域の重心を計算して次のステップで用いるために記憶することができる。
【0049】
次に、ステップ１０４０で、既知のマスクパターンを観察したデータに適合させ、これによってマスク位置をセンサに関連付ける。例えば、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）法を用いて、種々の回転、スケールおよびオフセット係数を一度に２つの重心に対して既知のマスクパターンに適用およびテストすることができる。秒以下で何百もの可能性をテストできるよう、この反復プロセスを並列化することができる。最良適合が判定されると、マスクパターンは、以後の共焦点キャプチャルーチンで用いるために記憶される。
【0050】
図１０のプロセス全体は、例えば消費者向けコンピュータ上で動作する間に数秒で完了し得るため、それぞれの共焦点キャプチャ前にこの較正を行うことが可能かつ実用的である。さらに、複数のピンホールを一度に撮像するため、システム１００は、シングルポイントシステムでは発生し得る時間ペナルティ無しに高解像度の画像をキャプチャすることができる。さらに、スピニングディスクシステムと比較して、マスクを移動させるアプローチは、画像キャプチャ中にピンホールが固定されるので、ぶれと振動の問題を除去する。
【0051】
図１１Ａは、判定されたピンホールがオーバーレイされた画像に対してキャプチャされたデータを示し、ピンホール位置は、図１０のプロセスを用いて判定されている。図１１Ｂは、右側の生データに対照させた判定されたピンホールのクローズアップを示す。
【0052】
図８は、本明細書に記載の種々の実施形態に関連して用いることができる有線または無線システム５５０の一例を示す。例えば、システム５５０は、既に記載した１つ以上の機構またはプロセスとして、またはこれらと共に用いることができ、システム１００または４００の構成要素、対応サーバ（複数可）、および／または本明細書に記載の他の装置を表し得る。システム５５０は、サーバまたは任意の従来のパーソナルコンピュータ、または有線もしくは無線データ通信が可能な任意の他のプロセッサ対応装置のうちの１つ以上の組み合わせで有り得る。当業者に明らかであるように、他のコンピュータシステムおよび／またはアーキテクチャも用い得る。
【0053】
システム５５０は、プロセッサ５６０などの１つ以上のプロセッサを含むことが好ましい。入力／出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ）主処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアルまたは複数のプロセッサシステム用の追加のマイクロプロセッサまたはコントローラ、またはコプロセッサなどの、追加のプロセッサが設けられてもよい。こうした補助プロセッサは、別個のプロセッサであってもよく、プロセッサ５６０に組み込まれてもよい。システム５５０と用いられ得るプロセッサの例には、これらに限定されるものではないが、全てＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（カリフォルニア州サンタクララ）から入手可能な、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、Ｃｏｒｅ ｉ７（登録商標）プロセッサ、およびＸｅｏｎ（登録商標）プロセッサが含まれる。
【0054】
プロセッサ５６０は、通信バス５５５に接続されることが好ましい。通信バス５５５は、システム５５０のストレージと他の周辺構成要素との間の情報伝達を促進するためのデータチャネルを含み得る。通信バス５５５はさらに、データバス、アドレスバス、および制御バス（図示せず）を含む、プロセッサ５６０との通信に用いられる一組の信号を提供し得る。通信バス５５５は、例えば、業界標準アーキテクチャ（ＩＳＡ）、拡張業界標準アーキテクチャ（ＥＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＣＡ）、周辺構成要素相互接続（ＰＣＩ）ローカルバスに準拠するバスアーキテクチャ、またはＩＥＥＥ４８８汎用インタフェースバス（ＧＰＩＢ）、ＩＥＥＥ６９６／Ｓ－１００等を含む米国電気電子学会（ＩＥＥＥ）によって公布される標準規格などの、標準または非標準規格バスアーキテクチャを含み得る。
【0055】
システム５５０が主メモリ５６５を含むことが好ましく、補助メモリ５７０も含んでもよい。主メモリ５６５は、上記の１つ以上の機能および／またはモジュールなどの、プロセッサ５６０上で実行される命令およびデータのストレージを提供する。メモリに記憶され、プロセッサ５６０によって実行されるプログラムは、これらに限定されないが、Ｃ／Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ｐｅａｒｌ、Ｖｉｓｕａｌ Ｂａｓｉｃ、ＮＥＴ等を含む任意の適切な言語に従って書き込みおよび／またはコンパイルされ得ることを理解されたい。主メモリ５６５は一般的に、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）および／またはスタティックランダムアクセスメモリ（ＳＲＡＭ）などの半導体ベースのメモリである。他の半導体ベースのメモリの種類には、例えば、読み出し専用メモリ（ＲＯＭ）を含む、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、Ｒａｍｂｕｓダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）、強誘電体ランダムアクセスメモリ（ＦＲＡＭ（登録商標））等が含まれる。
【0056】
補助メモリ５７０は、任意選択で、内部メモリ５７５および／または、例えば、フロッピー（登録商標）ディスクドライブ、磁気テープドライブ、コンパクトディスク（ＣＤ）ドライブ、デジタル多用途ディスク（ＤＶＤ）ドライブ、他の光学ドライブ、フラッシュメモリドライブ等のリムーバブル媒体５８０を含んでもよい。リムーバブル媒体５８０は、既知の様式で読み出されるおよび／または書き込まれる。リムーバブル記憶媒体５８０は、例えば、フロッピー（登録商標）ディスク、磁気テープ、ＣＤ、ＤＶＤ、ＳＤカード等とし得る。
【0057】
リムーバブル記憶媒体５８０は、記憶されたコンピュータ実行可能コード（つまり、ソフトウェア）および／またはデータを有する非一時的コンピュータ可読媒体である。リムーバブル記憶媒体５８０上に記憶されたコンピュータソフトウェアまたはデータは、プロセッサ５６０による実行のためにシステム５５０に読み出される。
【0058】
代替の実施形態では、補助メモリ５７０が、コンピュータプログラムまたは他のデータ、あるいは命令をシステム５５０にロードすることを可能にする他の類似の手段を含み得る。このような手段には、例えば、外部記憶媒体５９５およびインタフェース５９０が含まれ得る。外部記憶媒体５９５の例には、外部ハードディスクドライブまたは外部光学ドライブ、または外部光磁気ドライブを含み得る。
【0059】
補助メモリ５７０の他の例には、プログラム可能な読み出し専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、またはフラッシュメモリ（ＥＥＰＲＯＭに類似のブロック配向メモリ）などの半導体ベースのメモリが含まれ得る。同じく含まれるのは、任意の他のリムーバブル記憶媒体５８０と通信インタフェース５９０であり、これらは、ソフトウェアおよびデータが外部媒体５９５からシステム５５０に伝達されることを可能にする。
【0060】
システム５５０は、通信インタフェース５９０を含んでもよい。通信インタフェース５９０は、ソフトウェアおよびデータがシステム５５０と外部装置（例えば、プリンタ）、ネットワーク、または情報源との間で伝達されることを可能にする。例えば、コンピュータソフトウェアまたは実行可能なコードは、通信インタフェース５９０を介してネットワークサーバからシステム５５０に伝達され得る。通信インタフェース５９０の例には、ビルトインネットワークアダプタ、ネットワークインタフェースカード（ＮＩＣ）、パーソナルコンピュータメモリカードインターナショナルアソシエーション（ＰＣＭＣＩＡ）ネットワークカード、カードバスネットワークアダプタ、無線ネットワークアダプタ、ユニバーサルシリアルバス（ＵＳＢ）ネットワークアダプタ、モデム、ネットワークインタフェースカード（ＮＩＣ）、無線データカード、通信ポート、赤外線インタフェース、ＩＥＥＥ１３９４ファイヤワイヤ、またはシステム５５０をネットワークまたは他のコンピューティング装置とインタフェースさせることが可能な任意の他の装置が含まれる。
【0061】
通信インタフェース５９０は、イーサネット（登録商標）ＩＥＥＥ８０２標準規格などの業界公布プロトコル標準規格、ファイバチャネル、デジタル加入者線（ＤＳＬ）、非同期デジタル加入者線（ＡＤＳＬ）、フレームリレー、非同期転送モード（ＡＴＭ）、サービス総合デジタル網（ＩＳＤＮ）、パーソナル通信サービス（ＰＣＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（ＳＬＩＰ／ＰＰＰ）等を実装することが好ましいが、加えて、カスタマイズされた、あるいは非標準のインタフェースプロトコルも実装してよい。
【0062】
通信インタフェース５９０を介して伝達されるソフトウェアおよびデータは通常、電気通信信号６０５の形態である。これらの信号６０５は、通信チャネル６００を介して通信インタフェース５９０に供給されることが好ましい。一実施形態で、通信チャネル６００は、有線または無線ネットワークである、あるいは、他の多様な通信リンクであってもよい。通信チャネル６００は、信号６０５を伝達し、２、３例を挙げると、ワイヤまたはケーブル、ファイバ光学系、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数（「ＲＦ」）リンク、または赤外線リンクを含む種々の有線または無線通信手段を用いて実装することができる。
【0063】
コンピュータ実行可能コード（つまり、コンピュータプログラムまたはソフトウェア）は、主メモリ５６５および／または補助メモリ５７０に記憶される。また、コンピュータプログラムは、通信インタフェース５９０を介して受信され、主メモリ５６５および／または補助メモリ５７０に記憶することができる。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。
【0064】
本明細書において、用語「コンピュータ可読媒体」とは、システム５５０にコンピュータ実行可能コード（例えば、ソフトウェアおよびコンピュータプログラム）を提供するのに用いられる任意の非一時的コンピュータ可読記憶媒体を指すのに用いられる。これらの媒体の例には、主メモリ５６５、補助メモリ５７０（内部メモリ５７５、リムーバブル媒体５８０、および外部記憶媒体５９５を含む）、および通信インタフェース５９０と通信可能に結合された周辺機器（ネットワーク情報サーバまたは他のネットワーク装置を含む）が含まれる。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム５５０に提供するための手段である。
【0065】
ソフトウェアを用いて実施される一実施形態で、ソフトウェアはコンピュータ可読媒体上に記憶されて、リムーバブル媒体５８０、Ｉ／Ｏインタフェース５８５、または通信インタフェース５９０によってシステム５５０にロードされ得る。このような実施形態では、ソフトウェアは電気通信信号６０５の形態でシステム５５０にロードされる。プロセッサ５６０によって実行されると、ソフトウェアがプロセッサ５６０に本明細書に上述の本発明の特徴および機能を実行させることが好ましい。
【0066】
一実施形態で、Ｉ／Ｏインタフェース５８５は、システム５５０の１つ以上の構成要素と１つ以上の入力および／または出力装置との間のインタフェースを提供する。入力装置例には、これらに限定されるものではないが、キーボード、タッチ画面または他のタッチ感知装置、生体感知装置、コンピュータマウス、トラックボール、ペンベースのポインティング装置等が含まれる。出力装置の例には、これらに限定されるものではないが、陰極線管（ＣＲＴ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、プリンタ、真空蛍光ディスプレイ（ＶＦＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）等が含まれる。
【0067】
システム５５０は、音声上およびデータネットワーク上の無線通信を促進するオプションの無線通信構成要素も含む。無線通信構成要素は、アンテナシステム６１０、無線システム６１５およびベースバンドシステム６２０を含む。システム５５０で、無線周波数（ＲＦ）信号は、無線システム６１５の管理下で、アンテナシステム６１０によってオーバーザエアで送信および受信される。
【0068】
一実施形態で、アンテナシステム６１０は、１つ以上のアンテナおよびスイッチング機能を実行してアンテナシステム６１０に送受信信号路を提供する１つ以上のマルチプレクサ（図示せず）を含み得る。受信路で、受信したＲＦ信号は、マルチプレクサから受信したＲＦ信号を増幅しおよび増幅した信号を無線システム６１５に送信する低雑音増幅器（図示せず）に結合することができる。
【0069】
代替的実施形態で、無線システム６１５は、種々の周波数で通信するよう構成された１つ以上の無線を含み得る。一実施形態で、無線システム６１５は、１つの集積回路（ＩＣ）内に復調器（図示せず）と変調器（図示せず）を組み合わせ得る。復調器および変調器は、別個の構成要素としてもよい。到来路において、復調器はベースバンド受信音声信号を残してＲＦキャリア信号を取り除き、これは無線システム６１５からベースバンド６２０に送信される。
【0070】
受信した信号が音声情報を含有する場合、ベースバンドシステム６２０は信号をデコードしてアナログ信号に変換する。その後、信号は増幅されてスピーカに送信される。ベースバンドシステム６２０は、顕微鏡からのアナログ音声信号も受信する。これらのアナログ音声信号は、デジタル信号に変換されてベースバンドシステム６２０によってエンコードされる。ベースバンドシステム６２０はまた、伝送のためにデジタル信号をコードし、無線システム６１５の変調器部分にルートされるベースバンド送信音声信号を生成する。変調器は、ベースバンド送信音声信号とＲＦキャリア信号を混合して、アンテナシステムにルートされてパワー増幅器（図示せず）を通過し得るＲＦ送信信号を生成する。パワー増幅器は、ＲＦ送信信号を増幅してアンテナシステム６１０にルートし、信号は伝送のためにアンテナポートに切り替えられる。
【0071】
また、ベースバンドシステム６２０はプロセッサ５６０と通信可能に結合される。中央処理装置５６０は、データ記憶領域５６５および５７０へのアクセスを有する。中央処理装置５６０は、メモリ５６５または補助メモリ５７０に記憶可能な命令（つまり、コンピュータプログラムまたはソフトウェア）を実行するよう構成されることが好ましい。また、コンピュータプログラムは、バスバンドプロセッサ６１０から受信されてデータ記憶領域５６５または補助メモリ５７０に記憶される、あるいは受信時に実行されてもよい。このようなコンピュータプログラムは、実行されると、既に記載したように、システム５５０が本発明の種々の機能を実行することを可能にする。例えば、データ記憶領域５６５は、種々のソフトウェアモジュール（図示せず）を含み得る。
【0072】
種々の実施形態は、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＥＰＧＡ）などの構成要素を用いて、主にハードウェアにおいて実装されてもよい。本明細書に記載の機能を実行可能なハードウェアステートマシンの実装も、関連技術の当業者に明らかである。種々の実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施されてもよい。
【0073】
さらに、当業者は、本明細書に開示の上記図および実施形態に関して記載する種々の例示的論理ブロック、モジュール、回路および方法ステップが、電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとして実装されることが多いことを理解するであろう。ハードウェアおよびソフトウェアのこの可換性を明示するために、種々の例示的構成要素、ブロック、モジュール、回路およびステップが、それらの機能の観点から一般的に既に記載されている。こうした機能がハードウェアまたはソフトウェアとして実装されるか否かはシステム全体に課された特定の用途および設計の制約に依拠する。当業者は、記載の機能を特定の用途それぞれに対して方法を変えて実装できるが、このような実装の決定は、本発明の範囲を逸脱させるものとみなされるべきではない。加えて、モジュール、ブロック、回路またはステップ内の機能のグループ化は、記載を容易にするためのものである。特定の機能またはステップは、一方のモジュール、ブロックまたは回路から他方へ移動させることができる。
【0074】
さらに、本明細書に開示の実施形態に関連して記載する種々の例示的論理ブロック、モジュール、機能および方法は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡまたは他のプログラム可能な論理装置、別個のゲートまたはトランジスタ論理、別個のハードウェア構成要素、または本明細書に記載の機能を実行するよう設計された、これらの任意の組み合わせで実装または実行可能である。汎用プロセッサはマイクロプロセッサとし得るが、代替では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンとし得る。プロセッサは、例えば、ＤＳＰおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、１つ以上のマイクロプロセッサとＤＳＰコア、またはこのような任意の他の構成として実装されてもよい。
【0075】
加えて、本明細書に開示の実施形態に関して記載する方法またはアルゴリズムのステップは、ハードウェアで、プロセッサによって実行されるソフトウェアモジュールで、またはこれら２つの組み合わせで直接に実施されてもよい。ソフトウェアモジュールはＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、または、ネットワーク記憶媒体を含む任意の他の形態の記憶媒体内にあってもよい。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み出して、これに情報を書き込むこむことができるように、プロセッサに結合されてもよい。代替では、記憶媒体はプロセッサに組み込まれてもよい。プロセッサおよび記憶媒体がＡＳＩＣ内にあってもよい。
【0076】
本明細書に記載のいずれのソフトウェア構成要素も、多様な形態をとり得る。例えば、構成要素はスタンドアロンソフトウェアパッケージであってもよく、あるいは、より大きなソフトウェア製品における「ツール」として組み込まれたソフトウェアパッケージであってもよい。これは、ネットワーク、例えばウェブサイトから、既存のソフトウェアアプリケーションにインストールするためのスタンドアロン製品またはアドインパッケージとしてダウンロード可能であってもよい。これは、クライエントサーバソフトウェアアプリケーションとして、ウェブ対応ソフトウェアアプリケーションとして、および／またはモバイルアプリケーションとして利用可能であってもよい。
【0077】
特定の実施形態が既に記載されているが、記載の実施形態は例示にすぎないことを理解されたい。したがって、本明細書に記載のシステムおよび方法は、記載の実施形態に基づいて限定されるものではない。むしろ、本明細書に記載のシステムおよび方法は、上記記載と添付の図面を共に用いた場合に、以下の特許請求の範囲に照らしてのみ限定される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】