特許第6211063号(P6211063)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ライカ バイオシステムズ イメージング インコーポレイテッドの特許一覧

特許6211063ライン走査イメージングにおけるリアルタイムフォーカシング
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6211063
(24)【登録日】2017年9月22日
(45)【発行日】2017年10月11日
(54)【発明の名称】ライン走査イメージングにおけるリアルタイムフォーカシング
(51)【国際特許分類】
   G02B 7/28 20060101AFI20171002BHJP
   G02B 21/00 20060101ALI20171002BHJP
   G02B 7/36 20060101ALI20171002BHJP
【FI】
   G02B7/28 J
   G02B21/00
   G02B7/36
【請求項の数】16
【全頁数】28
(21)【出願番号】特願2015-510265(P2015-510265)
(86)(22)【出願日】2013年3月13日
(65)【公表番号】特表2015-523587(P2015-523587A)
(43)【公表日】2015年8月13日
(86)【国際出願番号】US2013031045
(87)【国際公開番号】WO2013165576
(87)【国際公開日】20131107
【審査請求日】2016年3月10日
(31)【優先権主張番号】61/641,788
(32)【優先日】2012年5月2日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】314007201
【氏名又は名称】ライカ バイオシステムズ イメージング インコーポレイテッド
(74)【代理人】
【識別番号】100116872
【弁理士】
【氏名又は名称】藤田 和子
(72)【発明者】
【氏名】ゾウ ユンルー
(72)【発明者】
【氏名】クランドル グレッグ ジェイ.
(72)【発明者】
【氏名】オルソン アレン
【審査官】 井亀 諭
(56)【参考文献】
【文献】 特開2007−327891(JP,A)
【文献】 国際公開第2005/114287(WO,A1)
【文献】 米国特許出願公開第2005/0089208(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28
G02B 7/36
G02B 21/00
(57)【特許請求の範囲】
【請求項1】
スライドのデジタル画像を捕えるシステムであって、
単一の光軸を有する対物レンズ、
前記対物レンズを制御するモータ駆動ポジショナ、
サンプルを支持するように構成されるステージ、
少なくとも1つのイメージング・ラインセンサ、
少なくとも1つのフォーカシング・ラインセンサ、
前記対物レンズに光学的に連結して、前記対物レンズを通して前記サンプルの少なくとも一部の1つ以上の画像を受け取り、そして、前記1つ以上の画像の第1の部分を前記フォーカシング・ラインセンサに、かつ、前記1つ以上の画像の第2の部分を前記イメージング・ラインセンサに同時に提供するように構成される少なくとも1つのビームスプリッタ、および、
前記1つ以上の画像の各部分が前記少なくとも1つのイメージング・ラインセンサによって受け取られる前に前記少なくとも1つのフォーカシング・ラインセンサによって受け取られるように、前記ステージおよび前記対物レンズの1つ以上を制御する少なくとも1つのプロセッサ、
を含
光学視野に関して、第1の部分は、前記1つ以上の画像の第2の部分から次式
【数1】
のような距離hだけ中心を外れていて、ここで、Rは前記光学視野の半径、Lは前記少なくとも1つのフォーカシング・ラインセンサの長さであり、および、
hは次式
【数2】
を満たし、ここで、vは前記サンプルの走査速度、tは、前記第1の部分からの焦点高さを算出して、前記算出した焦点高さまで前記対物レンズを動かすために十分な時間、そしてMは前記第1の部分の倍率である、
システム。
【請求項2】
前記画像の前記第2の部分は、前記光学視野の中心部である、請求項1に記載のシステム。
【請求項3】
前記第1の部分は、走査方向に関して前記中心部の位置より前の位置にある、請求項に記載のシステム。
【請求項4】
前記ステージは、モータ駆動ステージであり、前記少なくとも1つのプロセッサは、前記モータ駆動ステージを制御する、請求項1に記載のシステム。
【請求項5】
前記少なくとも1つのプロセッサは、さらに、
前記少なくとも1つのフォーカシング・ラインセンサから前記1つ以上の画像の捕えられた第1の部分を受け取り、
前記1つ以上の画像の前記捕えられた第1の部分のための焦点高さを決定して、および、
前記1つ以上の画像の前記第1の部分が前記イメージング・ラインセンサによって捕えられる前に前記対物レンズを前記焦点高さに移動させる、
請求項1に記載のシステム。
【請求項6】
前記少なくとも1つのフォーカシング・ラインセンサの回転軸は、前記単一の光軸に対して垂直である、請求項1に記載のシステム。
【請求項7】
前記少なくとも1つのフォーカシング・ラインセンサは、前記光軸に関してある角度に配置される、請求項に記載のシステム。
【請求項8】
前記少なくとも1つのフォーカシング・ラインセンサの中心は、Y軸に沿って前記少なくとも1つのイメージング・ラインセンサの中心に整列配置される、請求項に記載のシステム。
【請求項9】
前記少なくとも1つのフォーカシング・ラインセンサは、ラインセンサアレイおよびマイクロレンズアレイを含む、請求項7に記載のシステム。
【請求項10】
前記少なくとも1つのフォーカシング・ラインセンサは、リニア検出器アレイおよび前記リニア検出器アレイに取り付けられる楔プリズムを含む、請求項1に記載のシステム。
【請求項11】
前記少なくとも1つのフォーカシング・ラインセンサは、2つ以上のフォーカシング・センサを含む、請求項1に記載のシステム。
【請求項12】
前記少なくとも1つのプロセッサは、さらに、前記1つ以上の画像の隣接する部分を前記サンプルの前記少なくとも一部の単一のデジタル画像に整列配置する、請求項1に記載のシステム。
【請求項13】
前記少なくとも1つのフォーカシング・ラインセンサは、前記イメージング・ラインセンサの長さよりも長いかまたは短い長さを有する、請求項1に記載のシステム。
【請求項14】
前記少なくとも1つのフォーカシング・ラインセンサは、前記イメージング・ラインセンサのピクセルセンサの数よりも多いかまたは少ないピクセルセンサの数を含む、請求項1に記載のシステム。
【請求項15】
スライドのデジタル画像を捕える方法であって、
単一の光軸を有する対物レンズによって、ステージに支持されるサンプルの少なくとも一部の1つ以上の画像を得るステップ、
前記対物レンズに光学的に連結する少なくとも1つのビームスプリッタによって、前記1つ以上の画像の第1の部分を少なくとも1つのフォーカシング・ラインセンサに、かつ、前記1つ以上の画像の第2の部分を少なくとも1つのイメージング・ラインセンサに同時に提供するステップであって
光学視野に関して、第1の部分は、前記1つ以上の画像の第2の部分から次式
【数1】
のような距離hだけ中心を外れていて、ここで、Rは前記光学視野の半径、Lは前記少なくとも1つのフォーカシング・ラインセンサの長さであり、および、
hは次式
【数2】
を満たし、ここで、vは前記サンプルの走査速度、tは、前記第1の部分からの焦点高さを算出して、前記算出した焦点高さまで前記対物レンズを動かすために十分な時間、そしてMは前記第1の部分の倍率である、ステップ、および、
少なくとも1つのプロセッサによって、前記1つ以上の画像の各部分が前記少なくとも1つのイメージング・ラインセンサによって受け取られる前に前記少なくとも1つのフォーカシング・ラインセンサによって受け取られるように、前記ステージおよび前記対物レンズの1つ以上を制御するステップ、
を含む、方法。
【請求項16】
前記方法は、請求項1〜14のいずれか1項に記載のシステムを動作するのに適する、請求項15に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[背景]
本願は、2012年5月2日に出願された米国仮特許出願番号第61/641,788号の優先権の利益を請求し、その開示は、参照により本明細書に完全に組み込まれる。
【0002】
[技術分野]
本発明は、一般にデジタル病理学に関し、特にライン走査イメージングにおけるリアルタイムフォーカシングを実行するための複数の独立したリニアセンサ装置に関する。
【背景技術】
【0003】
顕微鏡的イメージング・システムにおける大部分のオートフォーカス法は、スライドの位置を検出するためのレーザー・ベースの干渉計および画像内容分析の2つのカテゴリに分けることができる。画像内容分析法は、異なる焦点深度での複数の画像の獲得を必要として、最善の焦点を決定するために画像を比較するアルゴリズムを使用する。複数の画像を獲得することは、フォーカシングとイメージングとの間に時間遅延を引き起こすかもしれない。スライド面を離れてレーザービームの反射を測定することは、スライドまたはカバー・スリップ位置のグローバルな焦点情報だけを提供することができる。それは、大きい高さ変化を有する組織に対してフォーカシング精度を欠いている。
【0004】
したがって、上述のような従来システムで見つかるこれらの重大な課題を解決するシステムおよび方法は、必要である。
【発明の概要】
【課題を解決するための手段】
【0005】
一実施形態において、本発明は、画像内容分析(例えば、組織の発見およびマクロ・フォーカス)に基づく。そして、走査の間、時間遅延を導入するフォーカシングのための複数の画像を得なければならないことなしに、正確なリアルタイム・オートフォーカスのためのラインイメージングおよびラインフォーカシングの利点を得る。一実施形態において、ライン走査の後戻りプロセスの間、完全なストライプフォーカシングは、実行される。代わりの実施形態では、フォーカシングは、画像走査の間、実行される。両方の実施形態は、画像走査における時間遅延を除去する。したがって、全てのデジタル画像走査プロセスの速度を上げる。
【0006】
一実施形態において、スライドのデジタル画像を捕えるシステムは、開示される。このシステムは、単一の光軸を有する対物レンズ、対物レンズを制御するモータ駆動ポジショナ、サンプルを支持するように構成されるステージ、少なくとも1つのイメージング・ラインセンサ、少なくとも1つのフォーカシング・ラインセンサ、対物レンズに光学的に連結して、対物レンズを通してサンプルの少なくとも一部の1つ以上の画像を受け取り、そして、1つ以上の画像の第1の部分をフォーカシング・ラインセンサに、かつ、1つ以上の画像の第2の部分をイメージング・ラインセンサに同時に提供するように構成される少なくとも1つのビームスプリッタ、および、1つ以上の画像の各部分が少なくとも1つのイメージング・ラインセンサによって受け取られる前に少なくとも1つのフォーカシング・ラインセンサによって受け取られるように、ステージおよび対物レンズの1つ以上を制御する少なくとも1つのプロセッサ、を含む。
【0007】
さらなる実施形態において、スライドのデジタル画像を捕える方法は、開示される。この方法は、単一の光軸を有する対物レンズによって、ステージに支持されるサンプルの少なくとも一部の1つ以上の画像を得るステップ、対物レンズに光学的に連結する少なくとも1つのビームスプリッタによって、1つ以上の画像の第1の部分を少なくとも1つのフォーカシング・センサに、かつ、1つ以上の画像の第2の部分を少なくとも1つのイメージング・センサに同時に提供するステップ、および、少なくとも1つのプロセッサによって、1つ以上の画像の各部分が少なくとも1つのイメージング・センサによって受け取られる前に少なくとも1つのフォーカシング・センサによって受け取られるように、ステージおよび対物レンズの1つ以上を制御するステップ、を含む。
【0008】
付加的な実施形態において、スライドのデジタル画像を捕えるシステムは、開示される。このシステムは、対物レンズ、サンプルを支持するように構成されるステージ、リニアアレイおよび楔プリズムを含み、リニアアレイは、対物レンズを介して光路を受け取るように構成される、少なくとも1つのイメージング・ラインセンサ、少なくとも1つのプロセッサであって、後戻り工程の間、楔プリズムを光路内に動かし入れることによって、そして走査工程の間、楔プリズムを光路から動かし出すことによって楔プリズムを制御し、サンプルの少なくとも一部の後戻り工程からデジタル画像データを受け取り、デジタル画像データに基づいて焦点高さを決定し、そして、サンプルの少なくとも一部の走査工程の前に焦点高さに対して対物レンズの高さを調整する、少なくとも1つのプロセッサ、を含む。
【0009】
本発明の他の特徴および利点は、以下の詳細な説明および添付の図面を再調査した後に、当業者にとってより直ちに明らかになるであろう。
【図面の簡単な説明】
【0010】
本発明の構造および作用は、以下の詳細な説明および同様の部分に同様の参照番号が付された添付の図面の再調査から理解されるであろう。
図1図1は、一実施形態による走査システムの一例の側面図構成を示すブロック図である。
図2図2は、一実施形態による照明の半径および円形の光学視野に関してフォーカシング・センサおよびイメージング・センサの一例の構成を示すブロック図である。
図3A図3Aは、一実施形態によるイメージング・センサの一例の上面図構成を示すブロック図である。
図3B図3Bは、一実施形態によるフォーカシング・センサの一例の上面図構成を示すブロック図である。
図4図4は、一実施形態による一例のフォーカシング・センサを示すブロック図である。
図5図5は、一実施形態による、走査中のフォーカシング・センサとイメージング・センサとの間の一例の相互作用を示すタイムチャートである。
図6図6は、一実施形態によるプリズムを有する一例の傾けないフォーカシング・センサを示すブロック図である。
図7A図7Aは、一実施形態による可動プリズムを有する一例のイメージングおよびフォーカシング・センサを示すブロック図である。
図7B図7Bは、一実施形態による可動プリズムを有する一例のイメージングおよびフォーカシング・センサを示すブロック図である。
図8図8は、一実施形態による走査システムの一例のマルチフォーカシング・センサ構成を示すブロック図である。
図9図9は、一実施形態による走査システムの一例のスライド運動を示すブロック図である。
図10図10は、一実施形態によるマイクロレンズアレイを有する一例のフォーカシング・センサを示すブロック図である。
図11図11は、一実施形態によるマイクロレンズアレイおよびプリズムを有する一例の傾けないフォーカシング・センサを示すブロック図である。
図12A図12Aは、一実施形態による一例の顕微鏡スライドスキャナを示すブロック図である。
図12B図12Bは、一実施形態による代わりの例の顕微鏡スライドスキャナを示すブロック図である。
図12C図12Cは、一実施形態による一例のリニアセンサアレイを示すブロック図である。
図13図13は、本明細書において記載されるさまざまな実施形態に関連して用いられてもよい有線のまたは無線のプロセッサ使用可能装置を示すブロック図である。
【発明を実施するための形態】
【0011】
本明細書において開示される特定の実施形態は、複数のリニア検出器または他のコンポーネントを用いてライン走査イメージングにおけるリアルタイム(すなわち、瞬間的またはほとんど瞬間的な)フォーカシングを提供する。この説明を読んだ後に、さまざまな代わりの実施形態および代わりの用途において本発明をどのように実施するべきかは、当業者にとって明らかになるであろう。しかしながら、本発明のさまざまな実施形態が本明細書において記載されるにもかかわらず、これらの実施形態が例としてのみ示されて、これに制限されないものと理解される。このように、さまざまな代わりの実施形態のこの詳細な説明は、添付の請求項に記載したように本発明の範囲または大きさを制限するものと解釈されてはならない。
【0012】
図1は、一実施形態による走査システム10の一例の側面図構成を示すブロック図である。図示の実施形態において、走査システム10は、モータ駆動ステージ(図示せず)上に配置されて、照射系(図示せず)によって照らされて、走査方向65において移動する組織スライド120を含む。対物レンズ130は、スライド120上に仕込まれる光学視野を有して、スライド上の標本を通過するか、またはスライド上の標本で反射するか、またはスライド上の標本から蛍光を発するか、さもなければ対物レンズ130を通過する照射系からの光のための光路を提供する。光は、光の一部がレンズ160を通過してイメージング・センサ20に至ることを許容するビームスプリッタ140のほうへ光路上を進行する。図示の実施形態に示すように、光は、ミラー150によって任意に曲げられてもよい。イメージング・センサ20は、例えば、ライン電荷結合デバイス(CCD)でもよい。
【0013】
その他の光は、ビームスプリッタ140からレンズ165を通ってフォーカシング・センサ30まで進行する。フォーカシング・センサ30は、例えば、ライン電荷結合デバイス(CCD)でもよい。イメージング・センサ20およびフォーカシング・センサ30に進む光は、対物レンズ130からの完全な光学視野を好ましくは表す。システムの構成に基づいて、論理的走査方向60が対物レンズ130の光学視野をそれぞれのイメージング・センサ20およびフォーカシング・センサ20に引き渡させるように、スライド120の走査方向65は、イメージング・センサ20およびフォーカシング・センサ30に関して論理的に方向づけられる。
【0014】
図示の実施形態に示すように、イメージング・センサ20は、対物レンズ130の光学視野の範囲内の中央に置かれる。その一方で、フォーカシング・センサ30は、対物レンズ130の光学視野の中心から離れてシフトされる。フォーカシング・センサ30が対物レンズ130の光学視野の中心から離れてシフトされる方向は、論理的走査方向60で逆である。この配置は、スライド上の標本が走査されるにつれて、イメージング・センサ20が画像データを「見る」前にフォーカシング・センサ30がその同じ画像データを「見る」ように、イメージング・センサ20の前方においてフォーカシング・センサ30を論理的に正しい位置に置く。最後に、対物レンズからの光が複数のZ値でフォーカシング・センサ30によって検出されるように、フォーカシング・センサ30は、光学視野の範囲内で傾けられる。
【0015】
図2は、一実施形態による円形の照明の半径40および光学視野50に関してフォーカシング・センサ30およびイメージング・センサ20の一例の構成を示すブロック図である。図示の実施形態において、フォーカシング・センサ30の位置決めは、イメージング・センサ20および論理的走査方向60に関して示される。走査方向60は、この場合、ステージまたは標本(例えば、組織サンプル)がスペースにおいてセンサ20および30に関して移動している方向に関連する。図示するように、サンプルは、最初にフォーカシング・センサ30に到達して、2番目にイメージング・センサ20に到達する。イメージング・センサ20およびフォーカシング・センサ30が使用する同じ平面(例えばビームスプリッタ)上に予測されるときに、フォーカシング・センサ30は、論理的走査方向60に関して主要なイメージング・センサ20の前方に位置する光学視野50の(半径Rを有する)照明の円の範囲内にある。したがって、組織サンプルの一部がフォーカシング・センサ30を通過するときに、焦点データは、捕えられることができて、焦点高さは、1つ以上の所定のアルゴリズムに基づいて算出されることができる。焦点データおよび焦点高さは、組織サンプルの同じ一部が同じ対物レンズを介して主要なイメージング・センサ20によって検出される前に、対物レンズの高さと組織サンプルとの間の距離を(例えば、コントローラによって)制御するために使うことができる。
【0016】
円形の照明半径40は、フォーカシング・センサ30およびイメージング・センサ20の両方をカバーする光学視野(FOV)50を好ましくは照らす。半径Rは、オブジェクトまたはサンプル上のFOVおよびフォーカシング光パスMfocusingの光学倍率の関数である。関数は、次式で表されることができる。
2R=FOV*Mfocusing
【0017】
focusing=20、FOV=1.325mm(例えば、オリンパスPlanApo 20x対物レンズ)については、R=13.25mmである。イメージング・センサ20は、最善の画質のための光学視野50の中央において予測される。その一方で、フォーカシング・センサ30は、イメージング・センサ20から距離hだけ光学視野50に関して中心を外れて位置する。距離h、半径R、およびフォーカシング・センサ30長さLの間には、次式の関係がある。
h≦平方根(R−(L/2)
センサ長=20.48mm、R=13.25mmについては、h<8.4mmである。
【0018】
複数のカメラのラインを捕えるフォーカシング・センサ30のための、焦点高さ算出のための、そして対物レンズを正しいZ値高さに動かすための利用可能時間tは、フォーカシング・センサ30とイメージング・センサ20との間の距離h、倍率Mfocusing、および走査速度vの関数である。
v*t=h/Mfocusing
【0019】
走査速度4.6mm/s、Mfocusing=20、h=8.4mmについては、最大利用可能時間は、約91.4msである。焦点の算出に利用可能なフォーカシング・センサ30によって捕えられるカメラのラインの最大数は、次式で表される。
N=t*κ
ここで、κはフォーカシング・センサ30のライン速度である。
【0020】
カメラのライン速度18.7kHz、Nmax=1.709については、対物レンズは同じ高さにとどまる。さもなければ、N<Nmaxによって、対物レンズを次へ焦点高さに移動させることができる。
【0021】
高いレベルで、組織サンプルは、X方向において対物レンズの下を通過する。組織サンプルの一部は、サンプルの一部のZ方向において照らされた像を作成するために照射される。照らされた像は、例えばビームスプリッタを用いてフォーカシング・センサ30およびイメージング・センサ20の両方に光学的に連結される対物レンズを通過する。フォーカシング・センサ30およびイメージング・センサ20は、イメージング・センサ20が像の一部またはラインを受け取る前にフォーカシング・センサ30が同じ一部またはラインを受け取るように配置される。換言すれば、フォーカシング・センサ30が画像データの第1のラインを受け取っているときに、イメージング・センサ20は、フォーカシング・センサ30によって前もって受け取られた、そして画像データの第1のラインからサンプル上の距離h/Mfocusingにある画像データの第2のラインを同時に受け取っている。フォーカシング・センサ30が画像データの第1のラインを受け取った後、イメージング・センサ20が画像データの第1のラインを受け取ることは、時間間隔Δtを必要とする。ここで、Δtは、サンプルを走査方向において距離h/Mfocusing移動するのにかかる時間を表す。
【0022】
その時間間隔Δtの間、走査システム10のプロセッサは、画像データの第1のラインのためのZ方向における最適な焦点高さを算出して、対物レンズを算出した最適な焦点高さに合わせる。例えば、実施形態において、フォーカシング・センサ30は、イメージング・センサ20から分離されて、光イメージング・パスと直角をなす方向に関して角度θで傾けられる。したがって、フォーカシング・センサ30は、複数のZ値で画像データの画素を受け取る。プロセッサは、次いで、どのZ高さ値が最善の焦点を有する(例えば、他の画素に関して最も高いコントラストを有する)画像データの画素に対応するかを決定してもよい。最適なZ高さ値が決定された後、プロセッサまたは他のコントローラは、イメージング・センサが画像データの第1のラインを受け取る前にまたは同時に、対物レンズをZ方向において決定された最適なZ高さ値まで動かしてもよい。
【0023】
図3Aは、一実施形態によるイメージング光パス210に関してイメージング・センサ20の一例の上面図構成を示すブロック図である。同様に、図3Bは、一実施形態によるフォーカシング光パス200に関してフォーカシング・センサ30の一例の上面図構成を示すブロック図である。図3Bで分かるように、フォーカシング・センサ30は、フォーカシング光パス200と直角をなす方向に関して角度θで傾けられる。
【0024】
図4は、一実施形態による一例のフォーカシング・センサ30を示すブロック図である。図示の実施形態では、組織サンプル(例えば、20μm)上のフォーカシング・レンジ(z)の範囲内において、フォーカシング・センサ30は、複数のセンサ画素218を含み、そして、示すように、Z方向の全てのフォーカシング・レンジ(z)が光学部品によってY方向(X方向に対して直交する、すなわち走査方向)の全てのフォーカシング・センサ30アレイに転送される位置に置かれてもよい。センサ画素218の位置は、焦点での対物レンズのZ位置と直接相関する。図4に示すように、フォーカシング・レンジ(d)を横切って予測される各破線p、p、…p…pは、異なる焦点値を表して、対物レンズの焦点高さ(すなわち、Z高さ)に対応する。サンプルの所与の部分のための最適な焦点を有するpは、サンプルのその部分にとって最適な焦点高さを決定するために走査システムによって用いられることができる。
【0025】
フォーカシング・センサ30上の予測されるフォーカシング・レンジ(d)と標本オブジェクト上のフォーカシング・レンジ(z)との関係は、次式で表される。
d=z*Mfocusing
ここで、Mfocusingはフォーカシング・パスの光学倍率である。
例えば、z=20μm、Mfocusing=20である場合、d=8mmである。
【0026】
リニアアレイセンサである傾けられたフォーカシング・センサ30によって全ての予測されるフォーカシング・レンジ(d)をカバーするために、傾斜角θは、次式の関係でなければならない。
sinθ=d/L
ここで、Lはセンサ30の長さである。
【0027】
d=8mm、L=20.48mmを使用すると、θ=23.0°である。傾けられたセンサ30が全てのフォーカシング・レンジ(z)をカバーする限り、θおよびLは変化することができる。
【0028】
フォーカシング解像度または対物レンズの高さ運動Δzの最小ステップは、センサ画素サイズの関数(e=minimum(ΔL))である。上記式に由来する。
Δz=e*z/L
【0029】
例えば、e=10μm、L=20.48mm、z=20μmである場合、Δz=0.0097μm<10nmである。
【0030】
実施形態において、フォーカシング・センサ30からの一サイズのデータは、分析される。性能指数(FOM)(例えば、データのコントラスト)は、定められてよい。センサアレイ上の最大FOMの画素218位置(Z値)は、見つけられることができる。このようにして、対物レンズの焦点位置(Z値)は、サンプル上のその走査ラインのために決定されることができる。
【0031】
対物レンズの高さZiと焦点位置のフォーカシング・センサ上の焦点位置Liとの間の関係は、次式で表される。
Li=Zi*Mfocusing/sinθ
【0032】
焦点高さがLからLまでの平均によって決定される場合、上記のフォーカシング・センサ30からのデータの分析によれば、対物レンズの高さは、ZからZまで次式に基づいて移動されることを必要とする。
=Ζ+(L−L)*sinθ/Mfocusing
【0033】
フォーカシング・センサ30およびひセンサ20のY軸の視野(FOV)は異なることができるけれども、両方のセンサの中心は、Y軸に沿って各々好ましくは整列配置される。
【0034】
図5は、一実施形態による、走査中のフォーカシング・センサ30とイメージング・センサ20との間の一例の相互作用を示すタイムチャートである。図示の実施形態では、イメージング・センサ30およびフォーカシング・センサ20を用いる走査のタイミングは、示される。時間tで、対物レンズのZ位置は、組織切片X上の高さZにある。そしてそれは、フォーカシング・センサ30の視野内にある。フォーカシング・センサ30は、組織切片Xに対応するフォーカシング・データを受け取る。焦点高さZは、いくらかの実施形態ではフォーカシング・アルゴリズムに関連する、フォーカシング・データを用いて組織切片Xのための最適な焦点高さであると決定される。最適な焦点高さは、次いで、例えば制御ループを用いて対物レンズを高さZまで移動するためにZポジショナに供給される。tで、組織切片Xは、イメージング・センサ20の視野に持ち込まれる。正しい焦点高さについては、イメージング・センサ20は、サンプルの最適に焦点を結ぶ画像を検出する。同じ時間tで、フォーカシング・センサ30は、組織切片Xからフォーカシング・データを捕らえる。そしてそのフォーカシング・データは、組織切片Xが時間tでイメージング・センサ20の視野に移る前にまたはそのときにZポジショナに供給される最適な焦点高さZを決定するために用いられる。この種のプロセスは、全ての組織サンプルが走査されるまで続くことができる。
【0035】
一般に時間tで、組織切片Xn+1は、フォーカシング・センサの視野内にあり、組織切片Xは、イメージング・センサ30の視野内にあり、そして対物レンズは、ZのZ高さにある。さらに、時間tn+1の前にまたはそのときに、組織切片Xn+1のための最適な焦点高さは、決定されて、対物レンズのZ高さは、Zn+1に調整される。図2を考慮すると、時間tで、フォーカシング・センサ30は、組織切片Xを「見て」、組織切片XのためのZとして焦点高さを決定する。時間tで、フォーカシング・センサ30は、組織切片Xを「見て」、組織切片XのためのZとして焦点高さを決定すると共に、組織切片Xは、イメージング・センサ20の下へ移動して、対物レンズは、高さZへ移動する。時間tで、フォーカシング・センサ30は、組織切片Xn+1を「見て」、組織切片Xn+1のためのZn+1として焦点高さを決定すると共に、組織切片Xは、イメージング・センサ20の下へ移動して、対物レンズは、高さZへ移動する。走査ラインがフォーカシング・センサ30によって得られる限り、そして、同じ走査ラインがイメージング・センサ20によって得られる前に走査ラインのための最適な焦点高さが決定されてセットされる限り、Xn−1およびXnが画像データの連続的なまたは隣接するラインを必ずしも表すわけではないと、当業者は理解しなければならない。換言すれば、フォーカシング・センサ30およびイメージング・センサ20は、1つ以上の走査ラインがフォーカシング・センサ30の視野とイメージング・センサ20の視野との間に存在するように、すなわち、フォーカシング・センサ30とイメージング・センサ20との間の距離hがデータの1つ以上の走査ラインを含むように、配置されてもよい。例えば、距離hが5本の走査ラインを含む場合、組織切片Xがイメージング・センサ20の視野内にあると同時に、組織切片Xはフォーカシング・センサ30の視野内にある。この場合、対物レンズの焦点高さは、組織切片Xがイメージング・センサ20によって検出された後で、しかし組織切片Xがイメージング・センサ20によって検出される前に、算出された最適な焦点高さに調整される。都合のよいことに、対物レンズの焦点高さは、組織サンプルの段階的な斜面に近いXとXとの間の焦点高さにおいてインクリメントの変化があるように、組織切片XとXとの間で円滑に制御されてもよい。
【0036】
図6は、一実施形態によるプリズム270を有する一例の傾けないフォーカシング・センサ30を示すブロック図である。図示の実施形態では、図6は、傾けられたフォーカシング・ラインセンサ30に代わる例を示す。フォーカシング・センサ30を傾ける代わりに、フォーカシング・センサ30に取り付けられる楔プリズム270は、類似のフォーカシング機能を実行するために用いることができる。あるいは、楔プリズム270および傾けられたフォーカシング・センサ30の組み合わせは、使用されることができる。アルゴリズムおよび手順は、この種の別の実施形態と同じままでもよい。さらに、センサ間に充分な間隔を有する2つの平行なリニアセンサアレイが単一の視野内に組み込まれることができる場合、楔プリズム270は、フォーカシングのためのフォーカシング・センサ30上に取り付けられることができて、イメージング・センサ20は、サンプルから画像データを検出するために用いられることができる。
【0037】
図7Aおよび図7Bは、一実施形態による可動プリズムを有する一例の二重のイメージングおよびフォーカシング・センサを示すブロック図である。都合のよいことに、この実施形態では、同じ物理センサが、フォーカシング・センサ30およびイメージング・センサ20の両方に用いることができる。図7Aに示すように、楔プリズム270が定位置にあるときに、センサは、フォーカシング・センサ30の機能を実行する。楔プリズム270がセンサの少なくとも一部の視野の範囲内に位置するときに、楔プリズム270は、定位置にある。対応して、楔プリズム270が定位置にないときに、センサは、イメージング・センサ20の機能を実行する。楔プリズム270の全部がセンサの視野の範囲内にないときに、楔プリズム270は、定位置にない。
【0038】
この種の実施形態は、図9に関して記載される動きのような走査運動に関連して使われることができる。それにより、走査システムは、対物レンズの下でのサンプルの第1のパスの間、焦点を結ぶ。次いで、走査システムは、対物レンズの下でのサンプルの第2のパスの間、画像を得る。第1のパスの間、楔プリズム270は定位置にある。そして、第2のパスの間、楔プリズム270は定位置にない。
【0039】
図8は、一実施形態による走査システムの一例のマルチフォーカシング・センサ構成を示すブロック図である。図示の実施形態では、走査システムは、少なくとも2つのフォーカシング・センサ30および35を使用する。図示の実施形態では、第2のフォーカシング・センサ35は、第1のフォーカシング・センサ30と同様に反対方向に傾けられるリニアセンサアレイを含んでもよい。2つのフォーカシング・センサ30および35から得られるデータを分析して、イメージング・センサが標本を通過するときに対物レンズのためのより正確な最適な焦点高さを算出することを走査システムに許容する第1のフォーカシング・センサ30と同じフォーカシング機能を、第2のフォーカシング・センサ35は、実行することができる。例えば、走査システムは、平均算出または補整のために二重のフォーカシング・センサ30および35のデータを使用してもよい。第1のフォーカシング・センサ30および主要なイメージング・センサ20と組み合わされるときに、第2のフォーカシング・センサ35は、走査システムの第3のリニアセンサアレイでもよい。
【0040】
図10は、一実施形態によるマイクロレンズアレイを有する一例のフォーカシング・センサ30を示すブロック図である。図示の実施形態では、(傾けたかまたは傾けない)リニアマイクロレンズアレイ250は、同一の組織切片の複数のマイクロ画像を有するために、傾けられたフォーカシング・センサ30(例えば、リニアセンサアレイ)のFOVにおいて配置される。この実施形態は、FOVの範囲内の部分的な組織と関連した可能性のある曖昧さを回避するために用いることができる。そしてそれは、先に記載した実施形態および方法から生じる場合がある。一実施形態において、マイクロレンズアレイ250が傾けられるかまたは傾けられないかどうか、マイクロレンズアレイ250の最小寸法は、フォーカシング・センサ30上に至る光路の横断面をカバーすることである。マイクロレンズアレイ250のエレメントの数は、Z解像度および総フォーカシング・レンジによって決定される。例えば、0.5μmの解像度が20μmのフォーカシング・レンジ以上必要とされる場合、レンズエレメントの数は40である。
【0041】
一実施形態において、視野レンズ260は、走査システムの口径食効果を減らすために用いて、システム倍率に影響を与えない。マイクロレンズ250の実施形態において、最善の焦点を決定する方法は、上記の性能指数テクニックとは異なってもよい。例えば、走査システムは、例えば0.5μmの深さインクリメントを有する40のマイクロレンズ画像の中の平均コントラストを比較してもよい。画像において最も高いコントラストの中心位置は、見つかる。そして、対物レンズの高さは、次いで、上記のように同じ公式(Li=Zi*Mfocusing/sinθ)に基づいて決定される。
【0042】
図11は、一実施形態によるマイクロレンズアレイ250およびプリズム270を有する一例の傾けないフォーカシング・センサを示すブロック図である。図示の実施形態では、マイクロレンズアレイ250は、フォーカシング機能を実行するためにフォーカシング・センサ30(例えば、ラインセンサ)の前方で楔プリズム270と統合される。
【0043】
図12Aおよび図12Bは、一実施形態による一例の顕微鏡スライドスキャナを示すブロック図であり、図12Cは、一実施形態による一例のリニアセンサアレイを示すブロック図である。これらの3つの図は、以下でさらに詳細に記載される。しかしながら、それらは、概要を提供するために最初に組み合わせて記載される。以下の説明がスライドスキャナ装置のちょうど実施例であり、そして、代わりのスライドスキャナ装置が使用されることもできる点に留意する必要がある。図12Aおよび図12Bは、開示されたセンサ配列に関連して用いられることができる実施例の顕微鏡スライドスキャナを示す。図12Cは、実施例のリニアセンサを示す。そしてそれは、開示されたセンサ(イメージング・センサまたはフォーカシング・センサ)としていかなる組み合わせでも使われることができる。
【0044】
例えば、イメージング・センサおよびフォーカシング・センサは、主要な画像センサとしてのライン走査カメラ18、およびビームスプリッタ140と組み合わされるフォーカシング・センサとしてのフォーカシング・センサ20を用いて、上記のように、(例えば、ビームスプリッタと関連して)配置されてもよい。一実施形態において、ライン走査カメラ18は、フォーカシング・センサおよび主要なイメージング・センサの両方を含んでもよい。イメージング・センサおよびフォーカシング・センサは、顕微鏡対物レンズ16および/またはフォーカシング・オプティクス34および290を通ってサンプル12から画像情報を受け取ることができる。さらに、それらは、データプロセッサ21に情報を提供することができて、および/またはデータプロセッサ21から情報を受け取ることができる。データプロセッサ21は、メモリ36およびデータ記憶部38に通信で接続している。データプロセッサ21は、通信ポートに対してさらに通信で接続されてもよい。そしてそれは、少なくとも1つのネットワーク42によって1つ以上のコンピュータ44に接続されてもよい。そしてそれは、表示モニタ46に接続されてもよい。
【0045】
データプロセッサ21は、通信で接続されてもよくて、命令をステージ・コントローラ22に提供してもよい。そしてそれは、スライドスキャナ11のモータ駆動ステージ14を制御する。モータ駆動ステージ14は、サンプル12を支持して、X−Y平面の1つ以上の方向に移動する。一実施形態において、モータ駆動ステージ14は、Z平面において移動してもよい。データプロセッサ21は、通信で接続されてもよくて、命令をモータ駆動コントローラ26に提供してもよい。そしてそれは、モータ駆動ポジショナ24(例えば、圧電ポジショナ)を制御する。モータ駆動ポジショナ24は、対物レンズ16をZ方向に動かすように構成される。スライドスキャナ11は、サンプル12を上からまたは下から照らすために光源31および/または照明光学系32も含む。
【0046】
ここで図12Aに戻ると、本発明による光学顕微鏡法システム10の実施形態のブロック図は、示される。システム10の核心は、標本またはサンプル12を走査してデジタル化するのに役立つ顕微鏡スライドスキャナ11である。サンプル12は、光学顕微鏡法によってデータを送ってよい何であることもできる。例えば、サンプル12は、光学顕微鏡法によってデータを送ってよい顕微鏡スライドまたは他のタイプのサンプルでもよい。組織およびセル、染色体、DNA、タンパク質、血液、骨髄、尿、細菌、ビード、生検材料、または他のタイプの任意の生物学的材料または生体物質(死んでいるかまたは生きている、汚れているかまたは汚れのない、ラベルをつけられるかまたはラベルのない)を含む標本のためのビューイング基板として、顕微鏡スライドは、多用される。サンプル12は、マイクロアレイとして一般に知られるいかなるそしてすべてのサンプルも含む、任意のタイプのスライドまたは他の基板上に置かれる任意のタイプのDNAまたは、cDNAまたはRNAまたはタンパク質などのDNA関連材料の任意の配列でもよい。サンプル12は、マイクロタイタープレート(例えば96穴プレート)でもよい。サンプル12の他の実施例は、集積回路基板、電気泳動記録、ペトリ皿、フィルム、半導体材料、法医学材料、または機械加工部品を含む。
【0047】
スキャナ11は、モータ駆動ステージ14、顕微鏡対物レンズ16、ライン走査カメラ18、およびデータプロセッサ21を含む。サンプル12は、走査のためのモータ駆動ステージ14上に置かれる。モータ駆動ステージ14は、ステージ・コントローラ22に接続していて、そしてそれは、データプロセッサ21に接続している。データプロセッサ21は、ステージ・コントローラ22を介して、モータ駆動ステージ14上のサンプル12の位置を決定する。一実施形態において、モータ駆動ステージ14は、サンプル12の平面内にある少なくとも2つの軸(x/y)においてサンプル12を移動させる。光学z軸に沿ったサンプル12の微細な移動は、スキャナ11の一定の応用のために(例えば、焦点制御のために)必要でもよい。Z軸移動は、圧電ポジショナ24(例えばPolytec PIからのPIFOCまたはPiezosystem JenaからのMIPOS 3)を用いて好ましくは達成される。圧電ポジショナ24は、顕微鏡対物レンズ16に直接取り付けられて、圧電コントローラ26を介して、データプロセッサ21に接続されてデータプロセッサ21によって指示される。粗い焦点調整を提供する手段は、必要でもよくて、モータ駆動ステージ14の一部としてのz軸移動によってまたは手動のラックアンドピニオン粗い焦点調整(図示せず)によって提供されることができる。
【0048】
一実施形態において、モータ駆動ステージ14は、円滑な動きおよび優れた直線および平坦度精度を提供するために、ボールベアリングリニア方法を用いる高精度位置決めテーブルを含む。例えば、モータ駆動ステージ14は、上下に積み重ねられた2つのDaedal model 106004を含むことができる。他のタイプのモータ駆動ステージ14は、ボールベアリング以外の方法に基づく積み重ねられた単一軸のステージ、中心において開いていて、サンプルの下からの透照に特に適する単一軸または複数軸の位置決めステージ、または複数のサンプルを支持することができるより大きいステージ、を含むスキャナ11にも適している。一実施形態において、モータ駆動ステージ14は、各々2ミリメートルのリードスクリューおよびNema−23ステッピングモータに結合される2つの積み重ねられた単一軸の位置決めテーブルを含む。毎秒25回転の最大リードスクリュー速度で、モータ駆動ステージ14上のサンプル12の最高速度は、毎秒50ミリメートルである。より大きい直径(例えば5ミリメートル)を有するリードスクリューの選択は、最高速度を毎秒100ミリメートル以上に増やすことができる。モータ駆動ステージ14は、システムに重要な出費を追加する不利点を有する機械的または光学的位置エンコーダを備えることができる。したがって、この種の実施形態は、位置エンコーダを含まない。しかしながら、1つがステッピングモータの代わりにサーボモータを使用する場合、1つは適切なコントロールのための位置フィードバックを使用しなければならないだろう。
【0049】
データプロセッサ21からの位置コマンドは、ステージ・コントローラ22においてモータ電流または電圧コマンドに変換される。一実施形態において、ステージ・コントローラ22は、2軸サーボ/ステップモータコントローラ(Compumotor 6K2)および2つの4アンプ・マイクロステッピング・ドライブ(Compumotor OEMZL4)を含む。マイクロステッピングは、比較的大きい1回に1.8°のモータステップよりも非常に小さいインクリメントのステップモータを命令するための手段を提供する。例えば、100マイクロステップで、サンプル12は、0.1マイクロメートルと同程度小さいステップで移動するように命令されることができる。25,000マイクロステップが、本発明の一実施形態において使われる。より小さいステップサイズも、可能である。モータ駆動ステージ14およびステージ・コントローラ22の最適選択が、サンプル12の性質、サンプルのデジタル化のための所望の時間、およびサンプル12の結果として生じるデジタル画像の所望の解像度を含む多くの要因に依存することは、明らかでなければならない。
【0050】
顕微鏡対物レンズ16は、一般に利用可能ないかなる顕微鏡対物レンズであることもできる。当業者は、どの対物レンズを使用するかの選択が特定の状況に依存することを理解するであろう。本発明の一実施形態では、顕微鏡対物レンズ16は、無限修正タイプである。
【0051】
サンプル12は、光源31および照明光学系32を含む照明系28によって照らされる。一実施形態の光源31は、光出力を最大にするために凹面反射鏡を有する可変強度ハロゲン光源、および熱を抑制するためにKG−1フィルタを含む。しかしながら、光源31は、他のタイプのいかなるアーク灯、レーザー、発光ダイオード(「LED」)または他の光源でもありえる。一実施形態の照明光学系32は、光軸に対して直交する2つの共役平面を有する標準ケラー照射系を含む。照明光学系32は、会社(例えばカール・ツァィス、ニコン、オリンパス、またはライカ)によって販売される大部分の市販の複合顕微鏡において見つけることができる明視野照明オプティクスを代表する。1セットの共役平面は、(i)光源31によって照らされるフィールド虹彩開口、(ii)サンプル12の焦点面によって定義されるオブジェクト平面、および(iii)ライン走査カメラ18の光に反応する要素を含む平面、を含む。第2の共役平面は、(i)光源31の一部であるバルブのフィラメント、(ii)照明光学系32の一部であるコンデンサオプティクスの直前に座るコンデンサ虹彩の開口、および(iii)顕微鏡対物レンズ16の後焦点面、を含む。一実施形態において、サンプル12は、サンプル12によって送られる光エネルギー、逆にいえばサンプル12によって吸収される光エネルギーをライン走査カメラ18で検出している伝送モードにおいて照らされて、像を作られる。
【0052】
本発明のスキャナ11は、サンプル12から反射される光エネルギーを検出するために等しく適切である。その場合には、光源31、照明光学系32、および顕微鏡対物レンズ16は、反射イメージングをともなう互換性に基づいて選択されなければならない。したがって、1つの可能な実施形態は、サンプル12より上に配置される光ファイバーバンドルを通る照明でもよい。他の可能性は、モノクロメータによってスペクトルに条件づけられる励起を含む。顕微鏡対物レンズ16が位相−コントラスト顕微鏡法と互換性を持つように選択される場合、照明光学系32の一部であるコンデンサオプティクスの少なくとも1つの位相停止の取り込みは、位相コントラスト顕微鏡法のために用いられるスキャナ11を有効にする。当業者にとって、微分干渉コントラストおよび共焦顕微鏡法のような他のタイプの顕微鏡法のために必要とする修正は、直ちに明らかでなければならない。全体として、適切なしかし周知の修正については、光学顕微鏡法のいかなる周知のモードにおける顕微鏡サンプルのデータ送出のためにも、スキャナ11は、適切である。
【0053】
顕微鏡対物レンズ16とライン走査カメラ18との間には、顕微鏡対物レンズ16によって捕えられた光学信号をライン走査カメラ18の光に反応する要素上に焦束するライン走査カメラフォーカシング・オプティクス34が配置される。現代の無限修正顕微鏡において、顕微鏡対物レンズと接眼オプティクスとの間の、または顕微鏡対物レンズと外部のイメージング・ポートとの間のフォーカシング・オプティクスは、顕微鏡の観察チューブの一部であるチューブレンズとして知られる光学エレメントから成る。しばしば、チューブレンズは、コマ収差または非点収差の導入を防止するために、複数の光学エレメントから成る。従来の有限筒長オプティクスから無限修正オプティクスへの比較的最近の変化のための動機付けの1つは、サンプル12からの光エネルギーが平行である物理空間を増加させることであった。それは、この光エネルギーの焦点が無限であることを意味する。この場合、ダイクロイックミラーまたはフィルタのようなアクセサリエレメントは、光路倍率を変えることなく、または望ましくない光学人工品を導入することなく、無限スペース内に挿入されることができる。
【0054】
無限修正顕微鏡対物レンズは、概して、無限マークを刻まれる。無限修正顕微鏡対物レンズの倍率は、チューブレンズの焦点距離を対物レンズの焦点距離で割った商によって与えられる。例えば、9ミリメートルの焦点距離を有する対物レンズが用いられる場合、180ミリメートルの焦点距離を有するチューブレンズは、20xの倍率に結果としてなる。異なる顕微鏡メーカーによって製造される対物レンズが互換性を持たない理由の1つは、チューブレンズの焦点距離の標準化の不足のためである。例えば、オリンパス(180ミリメートルのチューブレンズの焦点距離を使用する会社)からの20x対物レンズは、200ミリメートルの異なるチューブ長さ焦点距離に基づくニコン顕微鏡の20x倍率を提供しない。その代わりに、20xと刻まれて、9ミリメートルの焦点距離を有するこの種のオリンパス対物レンズの有効な倍率は、200ミリメートルのチューブレンズの焦点距離を9ミリメートルの対物レンズの焦点距離で割って得られる22.2xである。従来の顕微鏡上のチューブレンズを変えることは、顕微鏡を分解せずには事実上不可能である。チューブレンズは、顕微鏡の重要な固定エレメントの一部である。異なるメーカーによって製造される対物レンズと顕微鏡との間の不適合性に対する他の寄与因子は、接眼レンズ光学部品(標本が観察される両眼光学部品)の設計である。大部分の光学的補正が顕微鏡対物レンズにおいて設計されるとはいえ、大部分の顕微鏡ユーザは、最善の視覚画像を達成するために1つのメーカーの両眼光学部品をその同じメーカーの顕微鏡対物レンズとマッチングさせる際に若干の利点があると確信したままである。
【0055】
ライン走査カメラフォーカシング・オプティクス34は、機械的筒の内側に載置されるチューブレンズ光学部品を含む。一実施形態において、スキャナ11が従来の光学観察のための両眼光学部品または接眼レンズを欠いているので、対物レンズと両眼光学部品との間の潜在的不適合性の従来の顕微鏡が受ける課題は、直ちに除去される。顕微鏡の接眼レンズと表示モニタ上のデジタル画像との間に同焦点を達成する課題も、いかなる接眼レンズも有しないせいで除去されると、当業者は、同様に理解する。サンプル12の物理境界だけによって実際に制限される視野を提供することによりスキャナ11は従来の顕微鏡の視野制限も克服するので、例えば、現在のスキャナ11によって提供されるオール・デジタルイメージング顕微鏡の倍率の重要性は、制限される。一旦サンプル12の一部がデジタル化されると、その倍率を上昇させるためにサンプル12の画像に(時々電気ズームとして知られる)電子倍率を適用することは容易である。画像の倍率を電子的に上昇させることは、画像を表示するために用いるモニタ上のその画像のサイズを増加させる効果を有する。過大な電子ズームが適用される場合、表示モニタは、拡大画像の部分だけを示すことが可能である。しかしながら、そもそもデジタル化された最初の光学信号に存在しなかった表示情報に対して電子倍率を使用することは、不可能である。スキャナ11の目的の1つが高品質デジタル画像を提供することにあるので、顕微鏡の接眼レンズを通した光学観察の代わりに、スキャナ11によって得られる画像の内容ができるだけ多くの画像の詳細を含むことは、重要である。解像度という用語は、この種の画像の詳細を記載するために概して用いられる。そして、回折限界という用語は、光学信号において利用可能な波長の限られた最大空間の詳細を記載するために用いられる。周知のナイキスト・サンプリング基準にしたがい、ライン走査カメラ18のような光検知カメラの個々の画素エレメントのサイズに、そして顕微鏡対物レンズ16の開口数の両方にマッチするチューブレンズの焦点距離の選択によって、スキャナ11は、回折限界のデジタルイメージングを提供する開口数(倍率でない)が顕微鏡対物レンズ16の解像度限界属性であることは、周知である。
【0056】
一実施形態は、ライン走査カメラフォーカシング・オプティクス34の一部であるチューブレンズの焦点距離の最適選択を示すのを助ける。前述された9ミリメートルの焦点距離を有する20x顕微鏡対物レンズ16を再び考慮して、この対物レンズが0.50の開口数を有すると仮定する。コンデンサからの明らかな劣化(degradation)が無いと仮定して、500ナノメートルの波長におけるこの対物レンズの回折限界の解像力は、周知のアッビ関係を用いて得られるほぼ0.6マイクロメートルである。一実施形態において、14マイクロメートルの正方形の複数の画素を有するライン走査カメラ18がサンプル12の一部を検出するために用いられるとさらに仮定する。サンプリング理論にしたがって、少なくとも2つのセンサ画素が最も小さい解像可能な空間特徴の範囲を定める(subtend)ことは、必要である。この場合、チューブレンズは、2つの14マイクロメートルの画素に対応する28マイクロメートルを、最も小さい解像可能な特徴寸法である0.6マイクロメートルで分割することによって得られる倍率46.7を達成するように選択されなければならない。したがって、最適チューブレンズ光学部品の焦点距離は、46.7を9で乗算することによって得られる約420ミリメートルである。したがって、420ミリメートルの焦点距離を有するチューブレンズ光学部品を有するライン走査フォーカシング・オプティクス34は、同じ20x対物レンズを用いる顕微鏡の下で標本を見ることによって観察されるのと類似している、最高の可能な空間的分解能を有する画像を得ることができる。繰り返すと、回折限界のデジタル画像を得るために、スキャナ11は、より高い倍率光学構成(この実施形態では約47x)において従来の20x顕微鏡対物レンズ16を利用する。より高い開口数を有する従来の20x倍率対物レンズ16(すなわち0.75)が用いられる場合、回折限界イメージングのための必要なチューブレンズ光学部品の倍率は、68xの全体の光学倍率に対応する約615ミリメートルであるだろう。同様に、20x対物レンズの開口数がわずか0.3である場合、最適チューブレンズ光学部品の倍率は、ほぼ252ミリメートルのチューブレンズ光学部品の焦点距離に対応する約28xであるだけだろう。ライン走査カメラフォーカシング・オプティクス34は、スキャナ11のモジュラエレメントであり、最適デジタルイメージングのために必要に応じて交換されることができる。回折限界デジタルイメージングの利点は、アプリケーション(例えば明視野顕微鏡法)のために特に重要である。そこでは、適切に設計された照射系28の強度を増加させることによって、倍率の増加を伴う信号明るさの減少は、直ちに補償される。
【0057】
原則として、現在のスキャナ11のためのちょうど今記載された回折限界イメージングを達成するようにチューブレンズの倍率を効果的に上昇させるために従来の顕微鏡ベースのデジタル・イメージング・システムに外部の倍率増加光学部品を取り付けることは、可能である。しかしながら、結果として生じる視野の減少は、しばしば容認できず、そして、このアプローチを非実用的にする。さらに、顕微鏡の多くのユーザは、彼ら自身でこれらの技術を効果的に利用するために回折限界イメージングの詳細について、概して十分に理解していない。実際には、接眼レンズを通して見られることができるより類似した何かに対する視野のサイズを増やすことを試みるために、デジタルカメラは、倍率減少オプティカルカップラを有する顕微鏡ポートに取り付けられる。目的が回折限界デジタル画像を得ることである場合、倍率減少を加える標準慣行は、間違った方向のステップである。
【0058】
従来の顕微鏡において、異なる出力対物レンズは、異なる解像度および倍率で標本を見るために概して用いられる。標準顕微鏡は、5つの対物レンズを保持する筒先を有する。現在のスキャナ11のようなすべてデジタル・イメージング・システムにおいて、所望の最も高い空間的分解能に対応する開口数を有するただ1つの顕微鏡対物レンズ16が必要である。スキャナ11の一実施形態は、ただ1つの顕微鏡対物レンズ16を提供する。一旦回折限界デジタル画像がこの解像度で捕えられると、いかなる所望の減じた解像度および倍率での現在のイメージ情報に対しても、標準デジタル画像処理技術を使用することは、容易である。
【0059】
スキャナ11の一実施形態は、14×14マイクロメートルのサイズを有する各画素を用いる、リニアアレイに配置される1024ピクセル(画素)を有するDalsa SPARKライン走査カメラ18に基づく。カメラの一部としてパックされるかまたはイメージング電子モジュールにカスタム集積されるかいずれにせよ、他のタイプのいかなるリニアアレイもまた、使用されることができる。一実施形態のリニアアレイは、8ビットの量子化を効果的に提供する。しかし、より高いかまたはより低いレベルの量子化を提供する他のアレイも、使用されることができる。3−チャネルの赤/緑/青(RGB)カラー情報または時間遅延統合化(TDI)に基づく交互の配列が、使用されてもよい。TDI配列は、先に撮像された標本の領域からの強度データを合計することによって、出力信号における実質的により良好なSN比(SNR)を提供する。そして、統合化ステージ数の平方根に比例しているSNRの増加をもたらす。TDI配列は、リニアアレイの複数のステージを含むことができる。TDI配列は、24、32、48、64、96、またはより多くのステージで利用できる。スキャナ11はまた、512画素を有するいくつか、1024画素を有するいくつか、または4096もの画素を有するその他を含むさまざまなフォーマットにおいて製造されるリニアアレイもサポートする。照射系28およびライン走査カメラフォーカシング・オプティクス34に対する適切であるがしかし周知の修正は、より大きい配列に適応することを必要としてもよい。さまざまな画素サイズを有するリニアアレイが、スキャナ11において使用されることもできる。任意のタイプのライン走査カメラ18の選択の顕著な要件は、従来技術において公知の従来のイメージング・タイル・アプローチの静止要件を克服する、高品質画像を得るためにサンプル12のデジタル化の間、サンプル12がライン走査カメラ18に関して動いていることができるということである。
【0060】
ライン走査カメラ18の出力信号は、データプロセッサ21に接続される。一実施形態においてデータプロセッサ21は、少なくとも1つの信号デジタル化エレクトロニクス・ボード(例えばイメージング・ボードまたはフレームグラバ)をサポートするために、補助的エレクトロニクス(例えばマザーボード)を有する中央演算処理装置を含む。本実施形態において、イメージング・ボードは、EPIX PIXCID24 PCIバス・イメージング・ボードである。しかしながら、EPIXボードの代わりに使用することができるさまざまなメーカーからの多くの他のタイプのイメージング・ボードまたはフレームグラバがある。別の実施形態は、イメージング・ボードを完全に回避して、データをデータ記憶部38(例えばハードディスク)に直接記憶するために、IEEE 1394(別名Firewire)のようなインタフェースを使用するライン走査カメラでありえる。
【0061】
データプロセッサ21はまた、短期データ記憶部のためのメモリ36(例えばランダムアクセスメモリ(RAM))に、そして、長期データ記憶部のためのデータ記憶部38(例えばハードディスク)に接続している。さらに、データプロセッサ21は、ネットワーク42(例えば、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、イントラネット、エクストラネット、またはグローバルインターネット)に接続している通信ポート40に接続している。メモリ36およびデータ記憶部38は、互いにも接続している。データプロセッサ21は、スキャナ11の重要なエレメント(例えばライン走査カメラ18およびステージ・コントローラ22)を制御するために、または、さまざまな画像処理機能、画像解析機能、またはネットワークのための、ソフトウェアの形のコンピュータプログラムを実行することも可能である。データプロセッサ21は、Windows(登録商標)、Linux(登録商標)、OS/2、Mac OS、およびUnix(登録商標)等のオペレーティングシステムを含む、いかなるオペレーティングシステムにも基づくことができる。一実施形態において、データプロセッサ21は、Windows(登録商標) NTオペレーティングシステムに基づいて動作する。
【0062】
データプロセッサ21、メモリ36、データ記憶部38、および通信ポート40は、各々従来のコンピュータにおいて見つけられうるエレメントである。一例は、パーソナル・コンピュータ(例えば、Pentium(登録商標) III 500MHzのプロセッサおよび最高756メガバイト(MB)のRAMを特徴とするDell Dimension XPS T500)である。一実施形態において、データプロセッサ21、メモリ36、データ記憶部38、および通信ポート40を含むコンピュータエレメントは、全てスキャナ11に内臓される。その結果、システム10の他のエレメントに対するスキャナ11の唯一の接続は、通信ポート40である。スキャナ11の別の実施形態において、コンピュータエレメントは、コンピュータエレメントとスキャナ11との間の対応する接続を有するスキャナ11に対して外部にある。
【0063】
本発明の一実施形態において、スキャナ11は、光学顕微鏡法、デジタルイメージング、モータ駆動サンプル位置決め、コンピューティング、およびネットワーク・ベースの通信を、単一のエンクロージャ・ユニット内に集積する。スキャナ11をデータ入力および出力の検出部としての通信ポート40と単一のエンクロージャ・ユニットとしてパッケージングする大きな利点は、複雑さの減少および信頼性の増加である。スキャナ11のさまざまなエレメントは、顕微鏡、光源、モータ駆動ステージ、カメラ、およびコンピュータが異なるベンダーによって概して提供されて、実質的な統合化および保守を必要とする従来の顕微鏡ベースのイメージング・システムと鋭い対照において、一致協力するために最適化される。
【0064】
通信ポート40は、ネットワーク42を含むシステム10の他のエレメントとの迅速な通信のための手段を提供する。通信ポート40のための1つの通信プロトコルは、伝送制御およびインターネットワーキングのためのTCP/IPプロトコルと共に、イーサネット(登録商標)のようなキャリア検知マルチアクセス衝突検出プロトコルである。スキャナ11は、ブロードバンド、ベースバンド、同軸ケーブル、ツイストペア、光ファイバ、DSLまたは無線を含む任意のタイプの伝送媒体によって動くことを意図する。
【0065】
一実施形態において、スキャナ11の制御およびスキャナ11によって捕えられる画像データの再調査は、ネットワーク42に接続しているコンピュータ44上で実行される。一実施形態において、コンピュータ44は、イメージ情報をオペレータに提供するために、表示モニタ46に接続している。複数のコンピュータ44が、ネットワーク42に接続していてもよい。一実施形態において、コンピュータ44は、ネットワーク・ブラウザ(例えば、マイクロソフトからのInternet ExplorerまたはAOLからのNetscape Communicator)を用いて、スキャナ11と通信する。画像は、大部分の市販ブラウザにすでに組み込まれる標準画像復元方法と互換性のある画像フォーマットであるJPEGのような一般の圧縮フォーマットにおいてスキャナ11上に保存される。他の標準のまたは規格外の、不可逆のまたは可逆の画像圧縮フォーマットも動く。一実施形態において、スキャナ11は、スキャナ11からコンピュータ44に送られるウェブ・ページに基づくオペレータ・インタフェースを提供するウェブ・サーバである。画像データの動的な再調査のために、スキャナ11の一実施形態は、標準マルチフレーム・ブラウザ互換ソフトウェア・パッケージ(例えば、マイクロソフトからのメディア・プレーヤー、アップル・コンピュータからQuicktimeまたはReal NetworksからのRealPlayer)を用いて、コンピュータ44に接続している表示モニタ46上の再調査のための画像データの複数のフレームを再生することに基づく。一実施形態において、コンピュータ44上のブラウザは、伝送制御のためのTCPと共に、ハイパーテキスト伝送プロトコル(http)を使用する。
【0066】
スキャナ11がコンピュータ44または複数のコンピュータと通信することができる多くの異なる手段およびプロトコルがあり、そして将来においてある。一実施形態が標準の手段およびプロトコルに基づくとはいえ、アプレットとして知られる1または複数のカスタマイズされたソフトウェア・モジュールを開発するアプローチは、等しく可能であり、そして、スキャナ11の選択された将来の応用にとって望ましくてもよい。さらに、そのコンピュータ44は、いかなる特定のタイプ(例えば、パーソナル・コンピュータ(PC))のものでも、またはいかなる特定の会社(例えばデル)によって製造されるものでも、制約がない。標準化された通信ポート40の利点の1つは、共通ネットワーク・ブラウザ・ソフトウェアを操作する任意のタイプのコンピュータ44がスキャナ11と通信することができるということである。
【0067】
人がそれを望む場合、スキャナ11に対するいくらかの修正を用いて、スペクトル的に分解された画像を得ることは、可能である。スペクトル的に分解された画像は、スペクトル情報があらゆる画像の画素で測定される画像である。スペクトル的に分解された画像は、スキャナ11のライン走査カメラ18を光学スリットおよびイメージング分光写真器と交換することによって得ることができる。検出器の列の各々に沿って光学スリット上に焦点を結ぶ光学信号を分散させるためにプリズムまたは格子を用いることによって画像ピクセルの列のための波長に特有の強度データを捕えるために、イメージング分光写真器は、2次元のCCD検出器を使用する。
【0068】
図12Bにここで戻って、本発明による光学顕微鏡法システム10の第2実施形態のブロック図は、示される。このシステム10において、スキャナ11は、図12Aに示す実施形態よりも複雑でかつ高価である。図示されるスキャナ11の付加的な属性の全ては、正しく機能するために任意の別の実施形態のために存在する必要はない。図2は、追加的特徴の合理的な例およびスキャナ11に組み込まれることができる能力を提供することを意図する。
【0069】
図12Bの別の実施形態は、図12Aの実施形態よりも非常に大きなレベルの自動化を提供する。照射系28のより完全なレベルの自動化は、データプロセッサ21と照射系28の両方の光源31および照明光学系32との間の接続によって達成される。光源31の強度を制御するために、光源31への接続は、開ループまたは閉ループの様式で電圧または電流を制御してもよい。一実施形態において、光源31がハロゲンランプであることを思い出させる。データプロセッサ21と照明光学系32との間の接続は、最適ケラー照明が維持されることを確実にするための手段を提供するために、視野虹彩開口およびコンデンサ虹彩の閉ループ制御を提供することができる。
【0070】
蛍光イメージングのためのスキャナ11の使用は、光源31、照明光学系32、および顕微鏡対物レンズ16に対する容易に認識される修正を必要とする。図12Bの第2実施形態は、励起フィルタ、二色性フィルタ、およびバリアフィルタを含む蛍光フィルタ立方体50も提供する。蛍光フィルタ立方体50は、顕微鏡対物レンズ16とライン走査カメラフォーカシング・オプティクス34との間に存在する無限修正ビーム経路に置かれる。市場で利用可能なさまざまな蛍光色素またはナノ結晶のための適切なスペクトル励起を提供するために、蛍光イメージングのための一実施形態は、照明光学系32へのフィルタホイールまたはチューナブルフィルタの追加を含むことができる。
【0071】
イメージング・パスへの少なくとも1つのビームスプリッタ52の追加によって、光学信号は、少なくとも2つのパスに分割されることができる。主要なパスは、ライン走査カメラ18によって回折限界イメージングを可能にするために、前述したように、ライン走査カメラフォーカシング・オプティクス34を介してある。第2のパスは、エリア走査カメラ56によるイメージングのためのエリア走査カメラフォーカシング・オプティクス54を介して提供される。これらの2つのフォーカシング・オプティクスの適切な選択が異なる画素サイズを有する2つのカメラ・センサによって回折限界イメージングを確実にすることができることは、直ちに明らかでなければならない。エリア走査カメラ56は、単純なカラービデオカメラ、高性能の冷却CCDカメラ、または可変積分時間高速フレームカメラを含む、現在利用可能な多くのタイプのうちの1つであることができる。エリア走査カメラ56は、従来のイメージング・システム構成をスキャナ11に提供する。エリア走査カメラ56は、データプロセッサ21に接続している。2台のカメラ(例えば、ライン走査カメラ18およびエリア走査カメラ56)が使用される場合、両方のタイプのカメラは、単一の二重目的のイメージング・ボード、2つの異なるイメージング・ボード、またはIEEE1394 Firewireインタフェース(この場合、一方または両方のイメージング・ボードは、必要なくてもよい。)のいずれかを用いて、データプロセッサに接続していることができる。データプロセッサ21に対するインタフェーシング・イメージング・センサの他の関連した方法も、利用可能である。
【0072】
コンピュータ44に対するスキャナ11の主要なインタフェースがネットワーク42を介してあるとはいえ、例えばネットワーク42の故障があるかもしれない。その場合、スキャナ11を表示モニタ58のようなローカル出力装置に直接接続することが可能で、そして、スキャナ11のデータプロセッサ21に直接接続されるキーボードおよびマウス60のようなローカル入力装置を提供することが可能であることは、有益である。この例では、適切なドライバソフトウェアおよびハードウェアは、同様に提供されなければならない。
【0073】
図12Bに示す第2の実施形態は、非常に大きなレベルの自動化されたイメージング性能も提供する。スキャナ11のイメージングの強化された自動化は、圧電ポジショナ24、圧電コントローラ26、およびオートフォーカスの周知の方法を用いるデータプロセッサ21を含む焦点制御ループを閉じることによって達成されることができる。第2実施形態は、いくつかの対物レンズに適応するためにモータ駆動ノーズ部品62も提供する。モータ駆動ノーズ部品62は、ノーズ部品コントローラ64を通してデータプロセッサ21に接続していて、それによって指示される。
【0074】
組み込まれることができるスキャナ11の他の特徴および能力がある。例えば、サンプル12のx/y平面において実質的に静止している顕微鏡対物レンズ16に関してサンプル12を走査するプロセスは、静止サンプル12に関して顕微鏡対物レンズ16の走査を含むために修正されることができる。サンプル12を走査すること、または顕微鏡対物レンズ16を走査すること、またはサンプル12および顕微鏡対物レンズ16の両方を同時に走査することは、前述したように、サンプル12の同じ大きな連続したデジタル画像を提供することができるスキャナ11の可能な実施形態である。
【0075】
スキャナ11は、多くのタイプの顕微鏡ベースの分析法を自動化するための汎用プラットホームも提供する。レーザー励起を用いてサンプル12の走査を可能にするために、照射系28は、従来のハロゲンランプまたはアーク灯からレーザー・ベースの照明系に修正されることができる。レーザーエネルギーのサンプル12との相互作用から生じる光学信号を検出する手段を提供するために、ライン走査カメラ18またはエリア走査カメラ56に加えてまたはその代わりに、光電子増倍管または他の非イメージング検出器の取り込みを含む修正は、用いることができる。
【0076】
図12Cにここで戻って、ライン走査カメラ視野70は、図12Cに示すようにリニアアレイ74にリニア様式で配置される多数の個々の画素エレメント72によって撮像される図12Aのサンプル12の領域を含む。14マイクロメートルの四角い画素エレメント72の各々については、一実施形態のリニアアレイ74は、1024の個々の画素エレメント72を含む。一実施形態のリニアアレイ74の物理的サイズは、14.34ミリメートル×14マイクロメートルである。スキャナ11の動作の議論のために、サンプル12とライン走査カメラ18との間の倍率が10倍であると仮定すると、ライン走査カメラ視野70は、1.43ミリメートル×1.4マイクロメートルに等しいサイズを有するサンプル12の領域に対応する。各画素エレメント72は、約1.4マイクロメートル×1.4マイクロメートルの領域を撮像する。
【0077】
スキャナ11の一実施形態において、走査およびデジタル化は、画像ストリップの間を行き来する移動方向84において実行される。この種の双方向走査は、一方向性走査、各画像ストリップのための同じ移動方向84を必要とする走査およびデジタル化の方法よりも迅速なデジタル化プロセスを提供する。
【0078】
ライン走査カメラ18およびフォーカシング・センサ30の能力は、走査およびフォーカシングが2方向でできるかまたは1方向でできるかどうかで概して決定する。1方向システムは、複数のリニアアレイ74(例えば図12Cに示す3つのチャネル・カラーアレイ86またはマルチチャネルTDIアレイ88)をしばしば含む。カラーアレイ86は、カラー画像を得るために必要なRGB強度を検出する。カラー情報を得るための別の実施形態は、広帯域光学信号を3つのカラーチャネルに分割するためにプリズムを使用する。速いデータレートを維持しながら、そしてデジタル画像データのSN比の重要な損失なしに、ライン走査カメラ18の有効な積分時間を増加させる手段を提供するために、TDIアレイ88は、スキャナ11の別の実施形態において使われることができる。
【0079】
図13は、本明細書において記載されるさまざまな実施形態に関連して用いられてもよい有線のまたは無線のプロセッサ使用可能装置550を示すブロック図である。例えば、システム550は、前述したように、ライン走査システムとして、またはそれと併せて用いられてもよい。例えば、システム550は、ライン走査システムのさまざまなエレメントを制御するために用いることができる。システム550は、従来のパーソナル・コンピュータ、コンピュータ・サーバ、パーソナルデジタルアシスタント、スマートフォン、タブレット型コンピュータ、または有線のもしくは無線のデータ通信ができる他のいかなるプロセッサ対応装置であることもできる。当業者に明らかなように、他のコンピュータシステムおよび/またはアーキテクチャが使用されてもよい。
【0080】
システム550は、1つ以上のプロセッサ(例えばプロセッサ560)を好ましくは含む。追加のプロセッサ(例えば、入/出力を管理する補助プロセッサ、浮動小数点数値演算を実行する補助プロセッサ、信号処理アルゴリズムの速い実行に適しているアーキテクチャを有する特定目的マイクロプロセッサ(例えばデジタル信号プロセッサ)、メイン処理システムに対するスレーブプロセッサ従属部(例えばバックエンドプロセッサ)、デュアルまたはマルチプロセッサ・システム用の追加マイクロプロセッサまたはコントローラ、またはコプロセッサ)は、提供されてもよい。この種の補助プロセッサは、独立したプロセッサでもよく、またはプロセッサ560と統合されてもよい。
【0081】
プロセッサ560は、通信バス555に好ましくは接続している。通信バス555は、記憶部とシステム550の他の周辺コンポーネントとの間に情報伝達を容易にするためのデータチャネルを含んでもよい。通信バス555は、データバス、アドレスバス、およびコントロールバス(図示せず)を含むプロセッサ560との通信のために使用する1組の信号をさらに提供してもよい。通信バス555は、任意の標準のまたは非標準のバス・アーキテクチャ(例えば、業界標準アーキテクチャ(「ISA」)、拡張業界標準アーキテクチャ(「EISA」)、マイクロチャネルアーキテクチャ(「MCA」)、ピーシーアイ(「PCI」)ローカルバス、または、IEEE 488汎用インタフェースバス(「GPIB」)、IEEE 696/S−100等を含む米国電気電子技術者協会(「IEEE」)によって普及される標準)を含んでもよい。
【0082】
システム550は、主記憶装置565を好ましくは含み、補助記憶装置570を含んでもよい。主記憶装置565は、プロセッサ560上で実行するプログラムのための命令およびデータの記憶部を提供する。主記憶装置565は、概して半導体ベースのメモリ(例えばダイナミック・ランダム・アクセス・メモリ(「DRAM」)および/またはスタティック・ランダム・アクセス・メモリ(「SRAM」))である。他の半導体ベースのタイプのメモリは、例えば、リード・オンリ・メモリ(「ROM」)を含む、シンクロナス・ダイナミック・ランダム・アクセス・メモリ(「SDRAM」)、ラムバス・ダイナミック・ランダム・アクセス・メモリ(「RDRAM」)、強誘電体ランダム・アクセス・メモリ(「FRAM(登録商標)」)等を含む。
【0083】
補助記憶装置570は、内部メモリ575および/または取り外し可能媒体580(例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、コンパクトディスク(「CD」)ドライブ、デジタル多用途ディスク(「DVD」)ドライブ等)を任意に含んでもよい。取り外し可能媒体580は、周知の方法で読まれておよび/または書かれる。取外し可能な記憶媒体580は、例えば、フロッピー(登録商標)ディスク、磁気テープ、CD、DVD、SDカード等でもよい。
【0084】
取外し可能な記憶媒体580は、その上に記憶されたコンピュータで実行可能なコード(すなわち、ソフトウェア)および/またはデータを有する非一時的コンピュータ可読媒体である。取外し可能な記憶媒体580に記憶されるコンピュータソフトウェアまたはデータは、プロセッサ560によって実行のためのシステム550に読み込まれる。
【0085】
代わりの実施形態において、補助記憶装置570は、コンピュータプログラムまたは他のデータもしくは命令がシステム550へロードされることができるための他の類似手段を含んでもよい。この種の手段は、例えば、外部記憶媒体595およびインタフェース570を含んでもよい。外部記憶媒体595の例は、外部ハードディスクドライブまたは外部オプティカルドライブ、またはそして外部光磁気ドライブを含んでもよい。
【0086】
補助記憶装置570の他の例は、半導体ベースのメモリ(例えば、プログラマブル・リード・オンリ・メモリ(「PROM」)、消去可能プログラマブル・リード・オンリ・メモリ(「EPROM」)、電気的消去可能プログラマブル・リード・オンリ・メモリ(「EEPROM」)、またはフラッシュメモリ(EEPROMと類似のブロック指向メモリ))を含んでもよい。ソフトウェアおよびデータが外部媒体595からシステム550へ移されることができる他のいかなる取外し可能な記憶媒体580および通信インタフェース590も含まれる。
【0087】
システム550は、通信インタフェース590を含んでもよい。通信インタフェース590によって、ソフトウェアおよびデータは、システム550と外部デバイス(例えばプリンタ)、ネットワーク、または情報源との間で移されることができる。例えば、コンピュータソフトウェアまたは実行可能コードは、通信インタフェース590を介して、ネットワークサーバからシステム550へ移されてもよい。通信インタフェース590の例は、ちょうど少し例を挙げれば、モデム、ネットワークインタフェースカード(「NIC」)、無線データ・カード、通信ポート、PCMCIAスロットおよびカード、赤外線インタフェースおよびIEEE 1394 Firewireを含む。
【0088】
通信インタフェース590は、業界普及プロトコル標準(例えば、イーサネット(登録商標)IEEE 802標準、ファイバーチャネル、デジタル加入者回線(「DSL」)、非同期デジタル加入者回線(「ADSL」)、フレームリレー、非同期転送モード(「ATM」)、デジタル総合サービス網(「ISDN」)、パーソナル通信サービス(「PCS」)、伝送制御プロトコル/インターネットプロトコル(「TCP/IP」)、シリアル回線インターネットプロトコル/ポイントツーポイントプロトコル(「SLIP/PPP」)、その他)を好ましくは実装する。しかし、同様にカスタマイズされたまたは非標準のインタフェースプロトコルを実装してもよい。
【0089】
通信インタフェース590を介して移されるソフトウェアおよびデータは、通常、電気通信信号605の形である。これらの信号605は、通信回線600を介して通信インタフェース590に好ましくは提供される。一実施形態において、通信回線600は、有線のまたは無線のネットワーク、あるいはさまざまな任意の他の通信リンクでもよい。通信回線600は、信号605を運び、そして、ちょうど少し例を挙げれば、ワイヤまたはケーブル、光ファイバ、従来の電話線、携帯電話リンク、無線データ通信リンク、無線周波数(「RF」)リンク、または赤外線リンクを含むさまざまな有線のまたは無線の通信手段を用いて実施することができる。
【0090】
コンピュータで実行可能なコード(すなわち、コンピュータプログラムまたはソフトウェア)は、主記憶装置565および/または補助記憶装置570に記憶される。コンピュータプログラムは、通信インタフェース590を介して受信されることもできて、主記憶装置565および/または補助記憶装置570に記憶されることもできる。実行されるときに、この種のコンピュータプログラムは、前述したように本発明のさまざまな機能をシステム550に実行させることを可能にする。
【0091】
この記載において、コンピュータで実行可能なコード(例えば、ソフトウェアおよびコンピュータプログラム)をシステム550に提供するために用いるいかなる非一時的コンピュータ可読の記憶媒体も指すために、「コンピュータ可読媒体」という用語を用いる。これらの媒体の例は、主記憶装置565、補助記憶装置570(内部メモリ575、取り外し可能媒体580、および外部記憶媒体595を含む)、および通信インタフェース590(ネットワーク情報サーバまたは他のネットワーク装置を含む)と通信でつながるいかなる周辺機器も含む。これらの非一時的コンピュータ可読媒体は、実行可能コード、プログラミング命令、およびソフトウェアをシステム550に提供するための手段である。
【0092】
ソフトウェアを用いて実施される実施形態において、ソフトウェアは、コンピュータ可読媒体に記憶されてよくて、取り外し可能媒体580、入/出力インタフェース585、または通信インタフェース590を経由してシステム550へとロードされてよい。このような実施形態では、ソフトウェアは、電気通信信号605の形でシステム550へとロードされる。プロセッサ560によって実行されるときに、ソフトウェアは、本明細書において前述した本発明の特徴および機能をプロセッサ560に好ましくは実行させる。
【0093】
システム550は、音声を通して、そしてデータネットワークを通して無線通信を容易にする任意の無線通信コンポーネントも含む。無線通信コンポーネントは、アンテナシステム610、無線システム615およびベースバンドシステム620を含む。システム550において、無線周波数(「RF」)信号は、無線システム615の管理下でアンテナシステム610によって空中を通して送信および受信される。
【0094】
一実施形態において、アンテナシステム610は、1つ以上のアンテナおよび、アンテナシステム610に送信信号経路および受信信号経路を提供するためにスイッチング機能を実行する1つ以上のマルチプレクサ(図示せず)を含んでもよい。受信経路において、受信されたRF信号は、マルチプレクサから、受信されたRF信号を増幅して増幅信号を無線システム615に送る低雑音増幅器(図示せず)まで、つながれることができる。
【0095】
代わりの実施形態では、無線システム615は、さまざまな周波数を通して通信するように構成される1つ以上の無線を含んでもよい。一実施形態において、無線システム615は、デモジュレータ(図示せず)およびモジュレータ(図示せず)を1つの集積回路(「IC」)に組み込んでもよい。デモジュレータおよびモジュレータは、別々のコンポーネントでもありえる。入力経路において、デモジュレータは、ベースバンド受信オーディオ信号を残してRF搬送波信号をはぎ取る。そしてそれは、無線システム615からベースバンドシステム620まで送られる。
【0096】
受信信号が音声情報を含む場合、ベースバンドシステム620は、信号をデコードして、それをアナログ信号に変換する。次いで、その信号は、増幅されて、スピーカに送られる。ベースバンドシステム620は、マイクロホンからアナログオーディオ信号も受け取る。これらのアナログオーディオ信号は、デジタル信号に変換されて、ベースバンドシステム620によってコード化される。ベースバンドシステム620はまた、伝送のためのデジタル信号を符号化して、無線システム615のモジュレータ部分に送られるベースバンドの送信オーディオ信号を生成する。モジュレータは、ベースバンドの送信オーディオ信号を、アンテナシステムに送られてパワーアンプ(図示せず)を通過してもよいRF送信信号を生成するRF搬送波信号とミックスする。パワーアンプは、RF送信信号を増幅して、それを、信号が伝送のためのアンテナ・ポートに切り替えられるアンテナシステム610に送る。
【0097】
ベースバンドシステム620はまた、プロセッサ560と通信でつながる。中央演算処理装置560は、データ記憶領域565および570に対するアクセスを有する。中央演算処理装置560は、メモリ565または補助記憶装置570に記憶されることができる命令(すなわち、コンピュータプログラムまたはソフトウェア)を実行するように好ましくは構成される。コンピュータプログラムは、ベースバンドプロセッサ610から受け取られることもできて、データ記憶領域565にまたは補助記憶装置570に保存されることもできて、またはレシートに実行されることもできる。実行されるときに、この種のコンピュータプログラムは、前述したように本発明のさまざまな機能をシステム550に実行させる。例えば、データ記憶領域565は、前述したさまざまなソフトウェア・モジュール(図示せず)を含んでもよい。
【0098】
さまざまな実施形態は、例えば、コンポーネント(例えば特定用途向け集積回路(「ASIC」)またはフィールドプログラマブルゲートアレイ(「FPGAs」))を用いるハードウェアにおいて主に実施してもよい。本明細書に記載された機能を実行することができるハードウェア状態機械の実現は、当業者にとっても明らかである。さまざまな実施形態は、ハードウェアおよびソフトウェアの組み合わせを用いて実施してもよい。
【0099】
さらに、上記した各図および本明細書において開示される実施形態に関連して記載されるさまざまな図示の論理ブロック、モジュール、回路、および方法ステップが電子ハードウェア、コンピュータソフトウェア、または両方の組み合わせとしてしばしば実施されうることを、当業者は、認める。ハードウェアおよびソフトウェアのこの互換性を明らかに例示するために、さまざまな例示のコンポーネント、ブロック、モジュール、回路、およびステップは、それらの機能性に関して一般に上記された。この種の機能性が特定の用途および設計に依存するハードウェアとして実施されるかまたはソフトウェアとして実施されるかいずれにせよ、制約は、システム全体に負わされる。当業者は、各特定用途のためのさまざまな方法において、記載された機能性を実施することができる。しかし、この種の実施の決定は、本発明の範囲からの逸脱を生じさせると解釈されてはならない。加えて、モジュール、ブロック、回路またはステップの範囲内の機能のグループ化は、説明の容易さのためにある。特定機能またはステップは、本発明を逸脱しない範囲で1つのモジュール、ブロックまたは回路から他へ移動されることができる。
【0100】
さらに、本明細書において開示される実施形態に関連して記載されているさまざまな例示する論理ブロック、モジュールおよび方法は、汎用プロセッサ、デジタル信号プロセッサ(「DSP」)、ASIC、FPGAまたは他のプログラマブルロジックデバイス、独立したゲートまたはトランジスタロジック、独立したハードウェアコンポーネント、または本明細書に記載された機能を実行するように設計されるそれらの任意の組み合わせを用いて実施または実行されることができる。汎用プロセッサは、マイクロプロセッサでありえる。しかし代わりに、そのプロセッサは、いかなるプロセッサ、コントローラ、マイクロコントローラまたは、状態機械でありえる。プロセッサは、コンピューティング装置の組み合わせ(例えば、DSPおよびマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと協同する1つ以上のマイクロプロセッサ、またはこの種の他の任意の構成)として実施されることもできる。
【0101】
加えて、本明細書において開示される実施形態と併せて記載される方法またはアルゴリズムのステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェア・モジュールにおいて、または2つの組み合わせにおいて、直接具体化されることができる。ソフトウェア・モジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、取外し可能ディスク、CD−ROM、またはネットワーク記憶媒体を含むその他の形態の記憶媒体内にあることができる。典型的な記憶媒体は、記憶媒体から情報を読み出すことができて、記憶媒体に情報を書き込むことができるプロセッサに結びつけられることができる。代わりに、記憶媒体は、プロセッサに統合されることができる。プロセッサおよび記憶媒体は、ASIC内にあることもできる。
【0102】
開示された実施形態の上記説明は、いかなる当業者も本発明を作るかまたは使用することができるために提供される。これらの実施形態に対するさまざまな修正は、当業者にとって直ちに明らかである。そして、本明細書に記載された一般原則は、本発明の精神または範囲を逸脱しない範囲で他の実施形態に適用されることができる。したがって、本明細書において描写される説明および図面が本発明の好ましい実施形態を表して、したがって、本発明によって概して考察される内容を表すことを理解すべきである。本発明の範囲が当業者にとって明らかになってもよい他の実施形態を完全に含むこと、そして、本発明の範囲がそれに応じて制限されないことがさらに理解される。
図1
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図8
図9
図10
図11
図12A
図12B
図12C
図13