特許第5727468号(P5727468)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ バイオ−ラッド ラボラトリーズ,インコーポレイティドの特許一覧

特許5727468生体試料/化学試料用画像形成デバイスの較正
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5727468
(24)【登録日】2015年4月10日
(45)【発行日】2015年6月3日
(54)【発明の名称】生体試料/化学試料用画像形成デバイスの較正
(51)【国際特許分類】
   G03B 15/00 20060101AFI20150514BHJP
   H04N 5/232 20060101ALI20150514BHJP
【FI】
   G03B15/00 T
   H04N5/232 A
   G03B15/00 F
【請求項の数】18
【全頁数】28
(21)【出願番号】特願2012-513360(P2012-513360)
(86)(22)【出願日】2010年6月1日
(65)【公表番号】特表2012-529065(P2012-529065A)
(43)【公表日】2012年11月15日
(86)【国際出願番号】US2010036930
(87)【国際公開番号】WO2010141486
(87)【国際公開日】20101209
【審査請求日】2013年3月19日
(31)【優先権主張番号】61/183,022
(32)【優先日】2009年6月1日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】591099809
【氏名又は名称】バイオ−ラッド ラボラトリーズ,インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100077517
【弁理士】
【氏名又は名称】石田 敬
(74)【代理人】
【識別番号】100087871
【弁理士】
【氏名又は名称】福本 積
(74)【代理人】
【識別番号】100087413
【弁理士】
【氏名又は名称】古賀 哲次
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100141977
【弁理士】
【氏名又は名称】中島 勝
(74)【代理人】
【識別番号】100138210
【弁理士】
【氏名又は名称】池田 達則
(72)【発明者】
【氏名】キース コッチョウ
(72)【発明者】
【氏名】クリストフ シュルツ
(72)【発明者】
【氏名】ケビン マクドナルド
(72)【発明者】
【氏名】ニーラジ バット
【審査官】 辻本 寛司
(56)【参考文献】
【文献】 特開2006−345388(JP,A)
【文献】 特開2004−258495(JP,A)
【文献】 特開平11−038309(JP,A)
【文献】 特開2001−027729(JP,A)
【文献】 特開2000−089118(JP,A)
【文献】 特開2006−259377(JP,A)
【文献】 特開2000−081560(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 15/00
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
生体試料または化学試料の画像を形成するための画像形成システムを較正する方法において、
前記画像形成システムの光学構成要素から試料位置の較正ターゲットまでの複数の初期有効距離の各々について、前記光学構成要素の最適な初期焦点設定値を識別するステップであって、異なる初期有効距離は前記光学構成要素の異なる最適な初期焦点設定値に対応するステップと、
前記複数の初期有効距離に対する前記光学構成要素の前記の複数の最適な初期焦点設定値から誘導される第1の関数近似を決定するための画像形成システム用手段を記憶するステップであって、該手段が、前記画像形成システムと通信可能に結合されるように適応されている少なくとも1つのコンピュータ可読媒体内に記憶されるステップと、
を含み、
前記第1の関数近似が、前記複数の初期有効距離の1つでない新規有効距離である入力に基づいて、前記光学構成要素の最適な新規焦点設定値である出力を計算するために動作可能であり、該新規有効距離は、前記較正ターゲットでない生体試料または化学試料から前記光学構成要素までの距離であり、
前記初期有効距離と新規有効距離は前記光学構成要素のズーム設定値であ
前記較正ターゲットが生体試料または化学試料よりも高いコントラストを有し、
前記較正ターゲットには、少なくとも1つの既知のサイズの物体が含まれ、
前記複数の初期有効距離において獲得された複数の画像の各々について、前記光学構成要素の識別された最適な初期焦点設定値を用いて、一定数の画素と前記既知のサイズの相関関係を決定するステップと、
一定数の画素と前記既知のサイズの前記相関関係に基づいて、前記画像のサイズを決定するステップと、
前記複数の初期有効距離における複数のサイズから誘導される第2の関数近似を決定するための画像形成システム用の手段を記憶するステップであって、該手段が、前記画像形成システムと通信可能に結合されるように適応されている前記少なくとも1つのコンピュータ可読媒体内に記憶されるステップと、
をさらに含み、
前記第2の関数近似が、1サイズからの前記複数の初期有効距離の1つではない新規有効距離を計算するために動作可能である、
方法。
【請求項2】
前記画像形成システムが前記複数の初期有効距離の1つでない前記新規有効距離を受取るステップと、
前記画像形成システムが前記少なくとも1つのコンピュータ可読媒体内に記憶された手段を用いて前記第1の関数近似を決定するステップと、
前記画像形成システムが前記第1の関数近似を用いて前記新規有効距離に対する最適な新規焦点設定値を計算するステップと、
をさらに含む、請求項1に記載の方法。
【請求項3】
前記第1の関数近似を決定するための手段には、前記第1の関数近似を定義する公式と該公式を取出するためのプログラムコードが含まれる、請求項1に記載の方法。
【請求項4】
前記第1の関数近似を決定するための手段には、各々の初期有効距離に対する前記複数の最適な焦点設定値と、前記第1の関数近似を計算するためのプログラムコードが含まれる、請求項1に記載の方法。
【請求項5】
前記光学構成要素がレンズである、請求項1に記載の方法。
【請求項6】
前記光学構成要素の最適な初期焦点設定値を識別するステップが前記画像形成システムによって実行される、請求項に記載の方法。
【請求項7】
前記画像形成システムがユーザーから試料サイズを受取るステップと、
前記画像形成システムが前記少なくとも1つのコンピュータ可読媒体中に記憶された手段を用いて前記第2の関数近似を決定するステップと、
前記第2の関数近似に基づいて前記試料サイズに対応する有効距離を決定するステップと、
前記第1の関数近似を用いて、前記の決定された有効距離に基づいて、焦点設定値を選択するステップと、
をさらに含む、請求項に記載の方法。
【請求項8】
一定数の画素と前記既知のサイズの相関関係を決定するステップには、前記複数の初期有効距離において獲得された前記複数の画像の各々について、
前記少なくとも1つの既知のサイズの物体の2つのフィーチャ間の距離を決定するステップと、
前記画像中の前記2つのフィーチャを識別するステップと、
前記フィーチャ間の一定数の画素を識別するステップと、
前記既知のサイズと前記一定数の画素を用いてサイズを画素と相関させるステップと、
が含まれる、請求項に記載の方法。
【請求項9】
前記第1の関数近似を用いて、生体試料または化学試料が前記試料位置からオフセットされている場合に使用すべきオフセット関数近似を決定するステップと、
前記オフセット関数近似を決定するための画像形成システム用手段を記憶するステップであって、該手段が、前記画像形成システムと通信可能に結合されるように適応されている前記少なくとも1つのコンピュータ可読媒体内に記憶されるステップと、
をさらに含む、請求項1に記載の方法。
【請求項10】
最小の前記初期有効距離のオフセットについて、前記光学構成要素の最適な焦点設定値を識別するステップと、
前記最小の初期有効距離およびオフセットされた最小の初期有効距離における前記最適な焦点設定値の変化を決定するステップと、
をさらに含み、
前記第1の関数近似を用いて前記オフセット関数近似を決定するステップには、各々の初期焦点設定値についての各々の最適な焦点設定値を前記変化と正比例するそれぞれの量だけシフトさせるステップが含まれる、請求項に記載の方法。
【請求項11】
前記複数の初期有効距離の各々についてフラットフィールド補正を決定するステップと、
前記複数の初期有効距離における前記フラットフィールド補正から誘導される第の関数近似を決定するための画像形成システム用手段を記憶するステップであって、該手段が、前記画像形成システムと通信可能に結合されるように適応されている前記少なくとも1つのコンピュータ可読媒体内に記憶されるステップと、
をさらに含み、
前記第の関数近似が、前記複数の初期有効距離の1つでない新規有効距離について前記フラットフィールド補正を計算するために動作可能であり、前記新規有効距離は、生体試料または化学試料から前記光学構成要素までの距離である、
請求項1に記載の方法。
【請求項12】
前記画像形成システムが、前記少なくとも1つのコンピュータ可読媒体内に記憶された手段を用いて前記第の関数近似を決定するステップと、
前記画像形成システムが前記第の関数近似を用いて前記新規有効距離についてフラットフィールド補正を計算するステップと、
前記フラットフィールド補正を用いて試料の補正済み画像を新規作成するステップと、
をさらに含む、請求項11に記載の方法。
【請求項13】
前記関数近似が各画素について別個の関数を含む、請求項11に記載の方法。
【請求項14】
生体試料または化学試料の画像を形成するための画像形成システムにおいて、
複数の焦点設定値を有する光学構成要素と、
前記光学構成要素から生体試料または化学試料までの有効距離を変更するズームレンズと、
関数近似を決定し、最適な焦点設定値である出力を取得するために、ズーム設定値である選択された有効距離を前記関数近似に入力することにより、前記最適な焦点設定値に任意の有効距離をマッピングするように構成されたプロセッサーと、
前記選択された有効距離にマッピングする前記最適な焦点設定値を有するように前記光学構成要素を設定するように構成されたコントローラーと、
ユーザーから試料サイズを受取るためのインターフェースと、
を含
ここで前記プロセッサーはさらに、有効距離に任意の試料サイズをマッピングするように構成されており、該試料サイズは前記選択された有効距離に対応しており、
前記有効距離を変更する手段は、前記プロセッサーのマッピングに基づいて前記有効距離を選択された有効距離に変更するように適応されている、
画像形成システム。
【請求項15】
前記選択された有効距離をユーザーから受取るためのインターフェース、
をさらに含む、請求項14に記載の画像形成システム。
【請求項16】
前記プロセッサーが、複数の初期有効距離の各々について前記最適な初期焦点設定値を読取りかつ前記関数近似を計算することによって、前記関数近似を決定する、請求項14に記載の画像形成システム。
【請求項17】
前記コントローラーは、新規有効距離に近接した初期有効距離に対応する複数の最適な焦点設定値の間で補間することによって前記選択された有効距離の1つではない前記新規有効距離についての最適な新規焦点設定値を有するように前記光学構成要素を設定するように構成されている、請求項16に記載の画像形成システム。
【請求項18】
生体試料または化学試料の画像を形成するための画像形成システムにおいて、
複数の焦点設定値を有する光学構成要素と、
前記光学構成要素から生体試料または化学試料までの有効距離を変更するズームレンズと、
関数近似を決定し、最適な焦点設定値である出力を取得するために、ズーム設定値である選択された有効距離を前記関数近似に入力することにより、前記最適な焦点設定値に任意の有効距離をマッピングするように構成されたプロセッサーと、
前記選択された有効距離にマッピングする前記最適な焦点設定値を有するように前記光学構成要素を設定するように構成されたコントローラーと、
を含み、
前記プロセッサーがさらに、任意の入力された試料サイズを有効距離にマッピングし、次に該有効距離を最適な焦点設定値にマッピングするように構成されている、画像形成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、生体試料/化学試料の画像形成 (imaging) に関し、より詳細には、試料に焦点を合わせるための画像形成システムの較正に関する。
【背景技術】
【0002】
生体試料および化学試料は、多くの理由から画像形成され得る。例えば、悪性腫瘍からDNA配列内の特定染色体にまで及ぶ一定の細胞構造を同定するために画像を使用してもよい。典型的には、試料の分子を保持するために、例えばポリアクリルアミドまたはアガロースを含むゲルおよびブロットが用いられる。試料を蛍光染料で標識してもよく、これは、画像中の分子の同定および/または特徴づけを補助することができ、それには分子の位置が含まれてよい。例えば、電気泳動の結果としての試料中の分子の特性に基づいて異なる切片の形に試料を整理してもよい。このように、特定の分子の位置及び分子が反射または放出する光の色や強度を、試料の同定および特徴づけに使用することができる。しかしながら、試料の優れた画像を得ることは困難である場合が多く、これは分子の測定および特徴づけの精度を低下させ得る。
【発明の概要】
【発明が解決しようとする課題】
【0003】
したがって、正確な画像形成を可能にしかつ実施が比較的容易である新しい方法およびシステムを提供することが望ましい。
【課題を解決するための手段】
【0004】
本発明の実施形態は、生体試料/化学試料の画像を形成するための方法、装置(apparatus) およびシステムを含む。較正された画像形成システムによって、ユーザーは、任意の有効距離についての最適な焦点設定値(位置)(例えばズーム設定値)を得ることができるようになる。したがって、ユーザーは、任意の有効距離について精確かつ再現可能な画像を得ることができ、これにより、今度は、任意の所望の画像サイズが可能になり、より高い解像度で試料を画像形成できるため、さらに高い精度が得られることにもなる。一実施形態において、最適な焦点は、有効距離と焦点設定値の間の関係を定義する関数近似から決定される。また、ユーザーはサイズを入力でき、画像形成システムは適切な有効距離と焦点を決定することができる。画像形成システムは同様に、任意の有効距離に基づいてサイズを決定することもできる。精確なフラットフィールド補正を決定することも可能である。
【0005】
一実施形態によると、生体試料または化学試料の画像を形成するための画像形成システムを較正する方法が提供される。画像形成システムの光学構成要素から試料位置までの複数の初期有効距離が使用される。各々の初期有効距離について、光学構成要素の最適な焦点設定値が識別される。初期有効距離における最適な焦点設定値から誘導される第1の関数近似を決定するための画像形成システム用手段(例えばデータおよび/またはソフトウェアコード)が、画像形成システムと通信可能に結合されるように適応されている少なくとも1つのコンピュータ可読媒体内に記憶される。第1の関数近似は、初期有効距離の1つでない新規有効距離について最適な焦点設定値を計算するために使用可能である。
【0006】
別の実施形態によると、生体試料または化学試料の画像を形成するための画像形成システムが提供される。この画像形成システムは、複数の焦点設定値を有する光学構成要素と;光学構成要素から生体試料または化学試料までの有効距離を変更する手段と;最適な焦点設定値に任意の有効距離をマッピングするように構成されたプロセッサーと;選択された有効距離にマッピングする最適な焦点設定値を有するように光学構成要素を設定するように構成されたコントローラーとを含む。
【0007】
別の実施形態によると、画像形成システムを用いて生体試料または化学試料のサイズを決定する方法が提供される。画像形成システムの光学構成要素と試料の間の入力された有効距離が受取られる。画像形成システムは、対応するサイズに対する任意の有効距離のマッピングを得る。画像形成システムは、マッピングに基づいて、入力された有効距離に対応するサイズを決定する。その後、このサイズをユーザーに提供することができる。
【0008】
本発明の他の実施形態は、本明細書中で記述されている方法に付随するシステムおよびコンピュータ可読媒体に関する。
【0009】
本明細書で使用される「最適な」という用語は、別の設定値よりも優れた特性を有するように選択されるあらゆる設定値を意味することができる。この設定値は、考えられる最良の設定値である必要はなく、いくつかの基準に基づいて別の設定値と比較の上で選択されるものである。一実施形態において、最適な設定値は、所望の精度内になるよう最適化方法を用いて決定される。
【0010】
本明細書中で使用される「有効距離」という用語は、光学構成要素(例えばレンズ)から実際の試料または較正ターゲットを設置してよい試料位置までの実際の距離またはシミュレートされた距離を意味する。シミュレートされた距離は、拡大(例えばレンズの光学ズーム)の結果であってよい。
【0011】
本明細書中で使用される「関数近似」という用語は、入力パラメータを受取り対応するパラメータを提供することのできるあらゆる1つまたは複数の関数を意味する。パラメータの例としては、試料のサイズおよび画像形成システムの設定値が含まれる。一部の実施形態において、ユーザーにより提供される入力パラメータは、対応する唯一のパラメータが識別されている状態でそのままで取り上げることができる。他の実施形態では、入力パラメータの値は新規値にシフトされ、次に対応する設定値が識別される。ここでは、異なる入力パラメータが同じ設定値に対応することができる。このような実施形態では、新規パラメータは入力パラメータとほぼ同じであってよく、したがって失われる精度はほとんどない。この実施形態は、最適な焦点設定値がすでに決定されている初期有効距離のより小さなリストから誘導可能である対応する焦点設定値を伴う有効距離リストとして関数近似が公式化されている場合であり得る。
【0012】
本発明の内容および利点は、以下の詳細な説明および添付図面を参照することで、より理解できるものと考えられる。
【図面の簡単な説明】
【0013】
図1】本発明の実施形態に係る、生体試料または化学試料の画像を形成するための画像形成システムを示す。
図2A】本発明の実施形態に係る、生体試料または化学試料の画像を形成するための画像形成システムを較正する方法を示す流れ図である。
図2B】本発明の実施形態に係る、最適な焦点設定値と有効距離の関係に対する関数近似を決定するための手段の記憶方法を示す。
図2C】本発明の実施形態に係る、最適な焦点設定値と有効距離の関係に対する関数近似を決定するための手段の記憶方法を示す。
図3】本発明の一実施形態に係る、変動する初期有効距離における最適な焦点ポイントのデータポイントの関数フィットの結果としてもたらされた関数近似(図示されている通りの曲線)およびこのような曲線のオフセット補正を示すプロットを示している。
図4】本発明の実施形態に係る、特定の有効距離における最適な焦点を決定するための方法の流れ図である。
図5】本発明の実施形態に係る、FCV対焦点設定値(位置)のプロットを示す。
図6A】本発明の実施形態に係る、1つ以上の焦点合せされていない画像についての(モノクロスケールでの)画素強度対画素数のヒストグラムを示す。
図6B】本発明の実施形態に係る1つ以上の焦点合せされた画像についての(モノクロスケールでの)画像強度対画素数のヒストグラムを示す。
図7】本発明の実施形態に係る試料のサイズに対し有効距離をマッピングする方法を示す流れ図である。
図8】本発明の実施形態に係る方法700の異なる態様の視覚化を提供する。
図9】本発明の実施形態に係るカメラにより獲得した画像内の試料の物理的サイズとレンズのズーム位置の関係を説明する関数近似のプロットを示す。
図10】本発明の一実施形態に係る試料サイズの入力に基づく焦点および有効距離の決定方法を示す流れ図である。
図11】本発明の実施形態に係る画像形成システムを用いた生体試料または化学試料のサイズの決定方法を示す流れ図である。
図12A】本発明の実施形態に係るフラットフィールド補正を識別するために動作可能な画像形成システムを示す。
図12B】本発明の実施形態に係るレンズのフラットフィールド補正を決定するためのターゲット1220の一例を示す。
図13】本発明の実施形態に係る生体試料または化学試料の画像を形成するための画像形成システム用のフラットフィールド補正実行方法を示す流れ図である。
図14】本発明の実施形態に係るシステムおよび方法と共に使用可能な例示的コンピュータ装置のブロック図を示す。
【発明を実施するための形態】
【0014】
生体試料および化学試料は多くの場合、低いコントラストを有する。したがってオートフォーカスカメラはうまく作動しない。したがって、試料から放出または反射された光の特性(例えば位置、色、強度)を決定するのは困難である。手動で焦点合せしなければならないとしても、ユーザーは焦点を精確に設定できないかもしれず、焦点はユーザー毎におよび試料毎に変化し得るものと考えられ、そのため結果は再現不能で不精確なものとなる。これらの測定誤差のため、試料内の一部の分子の同定および/または特徴づけが困難になる可能性がある。最適な焦点が公知であるいくつかの有効距離が求められる可能性があるが、その場合、入手可能な画像よりも試料の方が大きいか、または小さすぎて特性を精確に決定できない可能性がある。
【0015】
本発明の実施形態は、生体試料/化学試料の精確な画像を提供するシステムを較正し提供することができる。較正された画像形成システムによって、ユーザーは、任意の有効距離についての最適な焦点設定値(位置)(例えばズーム設定値)を得ることができるようになる。こうしてユーザーは、任意の有効距離について精確かつ再現可能な画像を得ることができ、このことにより今度は、任意の所望の画像サイズが可能になり、より高い解像度で試料を画像形成できるため、さらに高い精度が得られることにもなる。一実施形態において、最適な焦点は、有効距離と焦点設定値の間の関係を定義する関数近似から決定される。また、ユーザーはサイズを入力でき、画像形成システムは適切な有効距離と焦点を決定することができる。画像形成システムは同様に、任意の有効距離に基づいてサイズを決定することもできる。精確なフラットフィールド補正を決定することも可能である。
【0016】
較正は、生体試料/化学試料よりも高いコントラストを有する特定のターゲットを試料の位置において使用することができる。これらの較正ターゲットは同様に、公知の位置とサイズをもつ特徴を有する可能性もある。このような較正ターゲットは、カメラのレンズ(または他の光学構成要素)の焦点、カメラのズーム設定値(またはその他の有効距離)、試料のサイズ、または試料の画像のためのフラットフィールド補正を識別するために画像形成システムを較正する目的で使用することができる。一部の実施形態は、較正全体を通してユーザーをエスコートするためのウィザードを提供することができる。一実施形態では、較正ターゲットがひとたび試料位置内に置かれた時点で単に起動することにより較正を実行することができる。
【0017】
I.システム
図1は、本発明の実施形態に係る、生体試料または化学試料の画像を形成するための画像形成システム100を示す。カメラ110は、試料位置105に置かれた時点で、試料の画像を形成するために使用される。一実施形態において、カメラ110は、試料および同じく試料位置105に置くことのできる較正ターゲットの画像を形成するため、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)検出器などの2次元アレイ検出器を含むことができる。較正ターゲット140はレンズ120の設定値を決定するために使用可能であり、較正のための特定のフィーチャ(例えばパターン)を有することができる。
【0018】
一実施形態では、光源が試料位置の下側に設けられて、試料の照明を提供している。別の実施形態において、試料は光(例えば染料からの)を放出するため、光源が不要となる。試料からレンズ120を通してカメラ110に光が伝達される。画像形成システム100は、光源以外に由来する光をカメラ110が受光しないように、エンクロージャにより包囲されていてよい。
【0019】
一実施形態において、レンズ120から試料位置105までの距離は、より高い試料解像度を提供するために変更可能である。例えば、撮影された画像の大部分を試料が占める場合には、試料の画像を形成するためにより多くの画素(ひいてはより高い精度)が求められ得る。しかしながら、試料の一部を切除することは望まれていない。一実施形態においては、当業者にとって公知のものと思われるギヤ、プーリーシステム、ブロックまたは他の機構を用いて昇降させてよい台の上に試料があってもよい。カメラ110も同様に、例えば位置を数量化できる機械的システムに沿って移動させてよい。レンズ以外の他の光学構成要素(例えば鏡)を用いて、試料上で焦点合せしてもよい。
【0020】
別の実施形態においては、レンズ120から試料位置105までの距離115を固定することができ、レンズ120はズームレンズであり得る。ズームレンズ120は、試料位置105までの有効距離を変更するために使用可能である。有効距離は、試料を実際より大きく(ひいてはより近く)見せるズーム設定値に対応していてよい。「有効」距離という用語は、実際の距離または拡大の結果のシミュレートされた距離を意味し得る。ズーム設定値に関係して以下で多く論述されているが、当業者であれば、実際の距離の変更に対する応用性を認識するものである。
【0021】
カメラ110を制御するためにはコントローラー130を使用することができ、カメラ110はコントローラー130に情報を提供できる。例えばコントローラー130は、カメラ130にコマンドおよび補足的情報を送ることができる。コマンドには、シャッター開/閉、画像形成用電子部品において使用されるゲインについての設定値、CCDの動作方法(例えばビニング)、ならびに他のコマンドが含まれ得る。さまざまな実施形態において、カメラ110はコントローラー130に対してステータス情報(例えばカメラの設定値)、カメラが何を行っているかについての情報および画像を送ることができる。
【0022】
コントローラー130は同様に、レンズ120を制御するためにも使用可能であり、これも同様にカメラ110との接続を通して行なってもよい。例えば、コントローラー130は、ズーム、焦点およびアイリス設定値を制御するようにコマンドを送ることができる。レンズ120は同様に、ステータス情報(例えばレンズの状態を表わす電圧)などの情報をコントローラー130に送ることもできる。電圧は、レンズ設定値を変更するのに使用されるモーターの位置に対応し得る。こうして、特定の電圧が、特定の設定値に対応し得る。一実施形態においては、ズーム、焦点およびアイリスの各々についてのそれぞれの電圧(デジタルまたはアナログ)がレンズ120からコントローラーに送られる。特定の設定値を得るために、コントローラー130は、モーターを移動させるためにコマンドを使用し、対応する電圧の変化に応じてその電圧を受けとり、所望の設定値(電圧)が得られた場合にはどの時点で停止コマンドを提供すべきかを決定するためにその電圧を使用することができる。一実施形態では、アナログ−デジタル変換機がモーターからアナログ電圧を受取り、それを、コントローラー130による処理のためのデジタル電圧値に変換する。変換器は、レンズ120内またはコントローラー130内にあり得る。較正の一部として、コントローラー130は各モーターについて最小および最大の電圧を得ることができる。これらの電圧は同様に、コントローラーが、作動可能範囲を超えてモーターを運転させようとして破損させることがないようにする目的でも使用可能である。
【0023】
コントローラー130は画像を処理できると同時に、距離115が可変的である場合に試料の機械的装置を移動させてもよい。一実施形態においては、コントローラーは標準的コンピュータである。別の実施形態において、コントローラーは、配線で接続された回路例えば特定用途向け集積回路(ASIC)を伴う特殊なデバイス、またはフィールドプログラマブルゲートアレイ(FRGA)などの幾分かのプログラミング可能性を伴うデバイスであってよい。
【0024】
試料の画像形成が困難である場合に、カメラおよび/またはレンズ設定値の較正を実行することができる。一実施形態において、較正ターゲット140は市松模様である。さまざまな実施形態において、特定の有効距離のためのサイズまたは特定のサイズのための有効距離を決定するために使用されている特定の有効距離のための焦点設定値を決定する目的で、較正ターゲット140を使用することができる。フラットフィールド補正のために、他のターゲットを使用してもよい。
【0025】
II.焦点合せ
試料位置までの有効距離が変化する場合、レンズ120の設定焦点を変更する必要がある。焦点を手動で決定することができるが、これには時間がかかり、しかも再現不可能であり、したがって毎回測定値が異なる可能性がある。代替的には、これらの有効距離のために特定の焦点設定値を伴う既定の有効距離を使用することもできる。しかし、その場合、画像形成システムは既定の有効距離に限定される。このような場合、既定の有効距離のために、試料が画像の比較的小さい部分になる(したがって試料の解像度が比較的低くなる)かもしれず、あるいは、試料が最大画像サイズより大きくなる可能性もあると考えられる。したがって、実施形態は、任意の有効距離について精確かつ再現可能な焦点設定値を提供することができる。
【0026】
A.任意の有効距離を使用するための画像形成システムの較正
一部の実施形態においては、較正プロセスにより、初期有効距離のための最適な焦点設定値を測定することができる。これらの最適な焦点設定値を用いて、他の有効距離のための最適な焦点設定値を決定することが可能である。一実施形態において、較正プロセスは自動化され、ユーザーは単に較正ターゲットを設定し較正プロセスを開始させるだけでよい。別の実施形態においては、ユーザーは一部のステップを手動で実行できる。一つの態様では、自動化された方法が、全試料についてより大きな画像再現性を提供することができる。
【0027】
図2Aは、本発明の実施形態に係る生体試料または化学試料の画像を形成するための画像形成システムを較正する方法を示す流れ図である。この方法では、画像形成すべき生体試料または化学試料よりも高いコントラストを有する較正ターゲットが使用される。
【0028】
ステップ210において、複数の初期有効距離が受取られる。有効距離は、試料位置(例えば試料位置105)から画像形成システムの光学構成要素(例えばレンズ120)までである。一実施形態において、焦点アリゴリズムはN個の有効距離(例えばカメラのズーム範囲内のズーム設定値)を選択する。N個のズーム設定値は、ズーム範囲全体に沿って等間隔に置かれていてよい。
【0029】
ステップ220では、各々の有効距離について、光学構成要素の最適な焦点設定値が識別される。一実施形態において、較正ターゲットは試料位置に置かれ、最適な焦点設定値を決定するために使用される。一つの態様において、最適な焦点設定値は、最小および最大の設定値を含めたN個のズーム設定値(例えば11)で決定され得る。
【0030】
ステップ230では、有効距離に対する最適な焦点設定値の従属性の関数近似を決定するための手段が、画像形成システムと通信可能に結合されるように適応されたコンピュータ可読媒体の中に記憶される。コンピュータ可読媒体は、画像形成システムの固定部品であってもよいし、リムーバブルであってもよい。通信可能に結合された時点で、この手段は、画像形成システムが任意の有効距離のための最適な焦点設定値を決定できるようにする。以下の図2Bおよび2Cは、関数近似を決定するための手段の例を提供している。コンピュータ可読媒体の例としては、ランダムアクセスメモリー(RAM)、フラッシュドライブを含むフラッシュメモリー、コンパクトディスク(CD)、デジタル汎用ディスク(DVD)または他のあらゆる種類のメモリー記憶デバイスがある。
【0031】
ステップ240では、初期有効距離の1つではない新規有効距離が受取られる。一実施形態において、新規有効距離は生体試料または化学試料の画像を形成するためにユーザーから受取られ得る。ユーザーは、試料が画像の充分な部分(例えば少なくとも90%)をほぼ満たすまでズーム設定値を変更することによって有効距離を選択してもよいと考えられる。一態様において、充分な部分は、1次元に沿ってだけである。別の態様では、入力された有効距離は、ユーザーが最適でない焦点設定値を使用して推定することができる。有効距離がひとたび入力されると、次に最適な焦点設定値を決定することができる。別の実施形態においては、例えば以下で図10内の方法1000について説明されるように、画像形成システム自体が新規有効距離を提供してもよい。
【0032】
ステップ250では、新規有効距離のための最適な焦点設定値が、関数近似から決定される。関数近似は、この有効距離のための最適な焦点設定値を得るために(例えばユーザーが入力する)任意の有効距離からのマッピングを提供できる。例えば、関数近似は、入力として有効距離を受取り最適な焦点設定値を提供する一関数であり得る。一実施形態において、コントローラー130は最適な焦点設定値を決定することができる。別の実施形態では、コントローラー130と通信可能に結合された別の処理デバイスが最適な焦点設定値を決定し、コントローラー130に設定値を提供する。コントローラー130はこのとき、最適な焦点設定値を得るためのコマンドをレンズ120に送ることができる。
【0033】
図3は、本発明の実施形態に係る有効距離(ズーム位置)対焦点位置の関数近似310を示す。図示される通り、関数近似310は連続的曲線である。ただし、他の表現も使用してよい。他の例としては、MがN(初期有効距離の数)よりも大きいM個のデータポイントとしてかまたは、(例えば有限要素または有限差を用いた)非重複セグメント内で規定された多数の連続部分を有する不連続関数が含まれる。概念的には、任意のズーム位置を選択でき、プロットから対応する最適な焦点設定値を決定することができる。一実施形態において、曲線310は、X軸(ズーム位置)上の各値についてY軸(焦点位置)上に一つの値を提供する(多数の成分を有することのできる)式として定義される。
【0034】
一実施形態においては、初期有効距離および対応する最適な焦点設定値のN個のデータポイントの関数フィットを計算することによって曲線310が得られる。例えば、N個のデータポイントに対する関数形式のフィット(例えば最小二乗)に基づいて最適化されるパラメータを用いて、関数形式を選択してよい(例えば多項式、シグモイド、ウェーブレットまたは有限差)。別の実施形態においては、初期有効距離において規定の最適な焦点設定値を有するように制約されている定義された関数形式で補間(例えば線形または二次補間)を用いて曲線310を決定することができる。補間には、入力された有効距離に近接した(例えばそのいずれかの側の)初期有効距離を有するデータポイントが使用され得る。関数近似の任意の形式を決定する他の方法としては、本明細書中で言及されている方法の組合せおよび一組のデータポイントから関数近似を得る適切な他の方法が含まれる可能性がある。
【0035】
一例として、初期ズーム位置を最適な焦点位置に対してプロットしてよく、これはコントローラー130により実行されてよい。初期ズーム位置間のズーム位置における焦点値を、関数近似を用いて決定してもよい。1つの態様において、中間値の精度は、より多くの初期データポイントを使用することで上下させることができる。別の態様では、近似のためのより複雑な関数(例えばより高次の多項式またはより多くのウェーブレット)を使用することにより、精度を高めることができる。
【0036】
図3では、レンズ上で利用可能な設定値の限界に対応し得る最小ズーム位置と最大ズーム位置の間で曲線310が示されている。関数近似は、最小/最大範囲外のズーム設定値についての焦点設定値を提供し得ると考えられるが、このような位置は、較正が行なわれる対象であるズームレンズでは得ることができない可能性がある。異なるレンズが異なる最小/最大範囲を提供できる。
【0037】
関数近似を決定するための手段はさまざまな形態をとり得る。一実施形態において、この手段は、初期有効距離についてのN個のデータポイントから画像形成システム上で関数近似の計算を提供することができる。別の実施形態では、関数近似はすでに計算されていてよく、この手段は単に関数近似を取出し新規有効距離を入力して対応する最適な焦点設定値決定することができるだけである。
【0038】
図2Bは、本発明の実施形態に係る最適な焦点設定値と有効距離の関係に対する関数近似を決定するための手段を記憶する方法260を示す。方法260は、方法200のステップ230を実施するために使用されてよい。
【0039】
ステップ231bでは、各々の初期有効距離のための最適な焦点設定値が、画像形成システムと通信可能に結合されるように適合されたコンピュータ可読媒体の中に記憶される。一実施形態において、最適な焦点設定値は画像形成システムにより決定されてよく、したがって固定メモリー内に自動的に記憶され得る。別の実施形態では、最適な焦点設定値は、ユーザーにより決定され、その後コンピュータ可読媒体上に記憶されてよい。ひとたび媒体が画像形成システムと通信可能に結合されると、画像形成システムは最適な焦点設定値を使用して関数近似を決定することができる。一実施形態においては、{初期有効距離、焦点設定値}のデータポイントは表または他のアレイとして記憶される。
【0040】
ステップ232bでは、{ズーム、焦点}の記憶されたデータポイントから関数近似を決定するためにコードおよび/またはハードウェアが提供される。一実施形態において、ソフトウェアコードは、固定および/またはリムーバブルコンピュータ可読媒体上に記憶される。コードはデータポイントと同じ媒体上に記憶されてよい。コードは画像形成システムのプロセッサーによって、データポイントを用いた関数近似を計算するために使用され得る。例えば補間、多項式に対する最小二乗フィットなどの関数近似を決定するために、さまざまなアルゴリズムを使用することができる。
【0041】
別の実施形態において、画像形成システムは、データポイントに基づいて関数近似を計算する目的で1つ以上のアルゴリズム(例えば本明細書中で言及されているもの)を使用するために配線で接続されたハードウェア(例えばASIC)を有することができる。さらに別の実施形態では、画像形成システムはソフトウェアおよび配線で接続されたハードウェアの両方を使用することができる。例えば、ソフトウェアコードを、ASIC部品を収納するFPGAのコンフィギュレーションデータとしてロードすることができる。同様に、マイクロプロセッサーは或る種の命令を実行するために配線で接続された幾つかの部品を収納することができる。
【0042】
図2Cは、本発明の実施形態に係る最適な焦点設定値と有効距離の関係に対する関数近似を決定するための手段を記憶する方法270を示す。方法270は、方法200のステップ230を実施するために使用されてよい。
【0043】
ステップ231Cでは、最適な焦点設定値と有効距離の関係に対する関数近似が計算される。関数近似は上述の通りに計算されてよい。一実施形態において、計算は、画像形成システムと結合されていないコンピュータによって実行可能である。別の実施形態では、画像形成システムにより計算を実行することが可能である。
【0044】
関数形式は、多くの形で表現可能である。一実施形態においては、関数近似を一連のデータポイント{ズーム、焦点}として記憶することができる。これらのデータポイントは初期有効距離よりも数が多い。実際、一実施形態においては、データポイントの数はズームレンズの考えられる設定値の数に等しいものであり得る。これらのデータポイントは、(例えばステップ232bで行なわれているように)別の関数近似の決定のための基礎として使用することもできる。別の実施形態においては、1つの関数を定義するパラメータセットとして関数近似を記憶することができる。例えば、1つ以上の多項式(または他の関数)の係数を記憶することができる。補間または有限要素を使用する場合、関数近似の異なる部分のための多数の多項式が存在し得る。
【0045】
ステップ232cでは、関数近似は画像形成システムと通信可能に結合されるように適応されたコンピュータ可読媒体の中に記憶される。画像形成システムは、関数近似を(例えば方法200のステップ250中のように)識別し使用するプログラムコードおよび/または配線で接続されたハードウェアを有することができる。プログラムコードを同じコンピュータ可読媒体または別のコンピュータ可読媒体内に記憶することができ、これらのコンピュータ可読媒体は画像形成システムの固定部分であってもよいしリムーバブルであってもよい。
【0046】
図3は、同様に、試料位置のシフトを説明することのできるオフセット関数近似320を示す。一部の実施形態において、試料は台から定距離(オフセット)だけ移動されてよい。例えば、システムは、光源が試料の下側にある場合、光源と試料の間にフィルターを提供し得る異なる照明板によって、異なる高さを有することができる。1つの実施例では、フィルターは、光源のスペクトルを所望のスペクトルに変更してよい。これらの実施形態では、新規有効距離のための焦点設定値の計算には、試料を定距離だけシフトさせた結果もたらされるオフセットに基づいて関数フィットをシフトするステップが含まれる。
【0047】
このような状況で、較正プロセス全体を再度行なうことは所望されない。したがって、オフセット関数近似320を関数近似310から決定することができる。一実施形態においては、1つの新規データポイントのみを最小の有効距離(すなわち最大のズーム)で考慮する。最大の有効距離(最小ズーム設定値)は、曲線310と同じ最適な焦点設定値を有するものとして考慮される。他の焦点設定値は、利用可能な範囲全体との関係における特定のズーム設定値の百分率に基づいてシフトされる。例えば、ズームが150mm〜650mmの範囲(500mmの範囲)を有する場合、600mmのズーム位置は650mmでの変化の90%を有すると考えられる。こうして、650mmでの変化が570〜620である場合には、600における焦点位置は615であると考えられる。他の実施形態では、最大有効距離でのデータポイントも計算可能である。一実施形態において、保存される最適な焦点設定値の比率は、例えば、最小および最大有効距離におけるシフトされた焦点設定値との関係におけるズーム設定値を含む比率である。
【0048】
(連続曲線として示されている)関数近似320は、試料が初期位置からオフセットされている場合、あらゆる任意のズーム位置で焦点位置を提供することができる。このオフセット方法は同様に、試料の実際の距離を移動させる実施形態にも適用可能である。これらの実施形態においては、初期距離の各々がシフトされると考えられるが、最も近い距離についてのシフトの最適な焦点設定値のみの決定が必要である。他のシフトされた焦点設定値は、上述の通りに決定可能である。
【0049】
B.最適な焦点設定値の発見
特定の初期有効サイズについての最適な焦点設定値の決定は、手動でまたは自動で決定可能である。コンピュータを用いて自動で行なう場合、画像形成システムまたは別の計算デバイスを使用してよい。一実施形態において、特定の有効距離についての最適な焦点設定値の自動的決定では、焦点コントラスト値の極値(すなわち最小または最大)を決定するために最適化方法が使用される。より精確な焦点設定値を得るため、較正ターゲット(例えば140)は1つ以上の高コントラスト要素で構成され得る。画像内につねに少なくとも1つの高コントラスト要素が存在するような形で高コントラスト要素を置くことができる。一実施形態では、高コントラスト要素は、例えば黒色物体と灰色物体などの異なる色の2つの物体の間のエッジである。
【0050】
図4は、本発明の実施形態に係る特定の有効距離設定値における最適な焦点の決定方法400の流れ図である。一態様においては、焦点設定値の全範囲について画像を獲得し、例えば画素値ヒストグラムを用いて各画像について焦点コントラスト値(FCV)を計算することによって、レンズの最適な焦点位置が決定される。最小のFCV(またはFCVの定義方法に応じて最大のFCV)を有する焦点位置は、特定のズーム設定値のための最適な焦点位置として使用可能である。以下の論述は、FCVが最小である場合に向けられているが、FCVが最大である場合にも容易に適用可能である。
【0051】
方法400は、固定された有効距離で実行される。例えば、レンズは特定の位置に対しズームされる。一実施形態では、レンズのアイリスは、画像の獲得中完全に開かれている。アイリスが完全に開放されていると、被写界深度は浅くなり、最高の焦点位置の決定を補助することができる。近似の自動露出値も得られる。一実施形態においては、黒色と灰色の画素値の間に良好な分離を得るのに充分なダイナミックレンジを獲得画像が確実に有するようにするために、自動露出が使用される。自動露出は、例えば信号を読出す前に感光性検出器上でシャッター速度を決定するかまたは積分時間を制御することにより得られる。
【0052】
ステップ410において、レンズ(または他の光学構成要素)の焦点設定値は、画像がさまざまな焦点位置で撮られるに伴って、最小値から最大値まで移動させられる。焦点が変化する間に可能なかぎり迅速に画像が獲得されてよい。一実施形態において、焦点設定値は比較的迅速に移動させられ、画像が撮られる時に特定の焦点位置に保持されない。1つの態様では、焦点設定値についての最小および最大値は、レンズが達成できる最小および最大の値であってよい。別の態様では、最小および最大値は、単に、それぞれ最適な焦点設定値よりも小さいおよび大きいものとして公知のまたは推定された値であり得る。
【0053】
ステップ420では、異なる焦点設定値で撮られる各画像について、焦点コントラスト値(FCV)が決定される。例えば本明細書で記述されている通りにかつ当業者には公知であるように、さまざまなタイプのFCVを使用してよい。各データポイントが、1つのFCVと1つの焦点設定値を有する。図5は、本発明の実施形態に係るFCV対焦点設定値(位置)のプロット500を示している。
【0054】
ステップ430では、迅速な最小−最大スイープのための最小FCVに対応する第1の焦点位置が決定される。一実施形態において、第1の焦点位置は、最小のFCVを有する画像を決定するために使用される画像の1つに対応し得る。別の実施形態では、関数フィットは多数のデータポイント上で実行でき、フィットは最小のFCVおよび対応する焦点設定値を決定するために使用される。こうして、第1の焦点位置は、ステップ410で画像を得るのに用いられる焦点設定値の1つでないかもしれない。
【0055】
ステップ440では、焦点設定値が最大焦点から最小焦点まで移動させられるという点を除いて、ステップ410〜430が反復され、こうして第2の焦点位置が得られる。第1および第2の焦点位置は典型的には異なるものとなる。最小から最大までのスイープのいずれかの方向を最初に行なうことができる。
【0056】
第1および第2の焦点位置は、最適な焦点設定値についての概算推定値である(そして一つの範囲を提供することができる)。焦点は比較的大きな範囲全体にわたり急速に移動させられたことから、これらの値は所望されるほど精確でない可能性がある。したがって、さらなる高精細化ステップを実行してもよい。
【0057】
ステップ450では、FCVの最小値検索は、ステップ430および440において決定された第1および第2の焦点位置の間の領域内で高精細化される。高精細化はさまざまな方法で行なうことができる。
【0058】
一部の実施形態において、焦点設定値は、ステップ430および440で決定される第1および第2の焦点位置の間をゆっくりと移動させられる。一態様では、この範囲は、最小から最大の範囲よりも小さい。焦点設定値は、より高い精度を提供するべくゆっくりと移動させられる。最小のFCVに対応する第3の焦点位置がこの焦点設定値スイープについて決定される。焦点設定値は同様に、最小のFCVに対応する第4の焦点位置を得るよう反対の方向にもゆっくりと移動させられる。第3および第4の焦点位置の平均が計算される。この平均は特定されたズーム位置における最適な焦点位置として取上げることができる。あるいは、第3の焦点位置と第4の焦点位置の間で別のスイープを用いるなどの方法により、さらにプロセスを進めることができ、焦点設定値のうちの最終的なものの平均を使用することができる。
【0059】
他の実施形態においては、焦点を固定した状態に保って(すなわち、焦点毎に変更しない)得た設定値において画像を撮る。その後、結果として得られた値を用いて、最適な焦点設定値についての徐々に狭めた範囲を見つけることができる。一実施形態において、検索は、各ステップが終ると範囲を2分割する二分検索である。例えば、第1および第2の焦点位置のFCVを、範囲の25%、50%および75%という3つの他の焦点位置でのFCVと共に使用する。第1および第2の焦点位置におけるFCVを再び取ることができるが、それは今度はこれらの設定値で焦点が停止されると考えられるからである。これら5つの点から、例えば25%の点および75%の点のうちのどちらがより低いFCVを有するかを識別することによって、または中心点を含まない二対の点の平均を用いることによって、または関数フィットを使用することによって、最小値が範囲の前半にあるかまたは後半にあるかを決定することができる。
【0060】
このプロセスは、所望の精度が達成されるまで反復できる。さまざまな実施形態において、所望の精度は、FCVの絶対値、FCVの変化、およびレンズから戻された電圧の分解能に基づく可能性がある。例えば2つの点の電圧についてのデジタル値の間の差が1である場合には、焦点設定値をそれ以上詳しく決定することはできない。
【0061】
一実施形態において、2色の較正ターゲットを使用することは、多数の最小値を伴う曲線と異なり焦点対FCV曲線に対し放物線形状を与えることのできる画像を提供する一助となり得る。他の実施形態は、最適なFCVを伴う焦点設定値を決定するために他の最適化方法を使用することができる。
【0062】
C.焦点コントラスト値の計算
一実施形態において、FCVは、1つの色が50%で別の色が50%である較正ターゲットを用いて決定される。例えば、一方の色は黒色(またはほぼ黒色)であってよく、他方の色は白色(またはほぼ白色)であってよい。結果として得られる画像が適正に心合わせされている場合、以上で言及した市松模様を使用してもよい。色が黒と白である場合、各画素の色を決定するためにモノクロスケールを使用してもよい。
【0063】
図6Aは、本発明の実施形態に係る焦点合せされていない画像についての(モノクロスケールでの)画素強度対画素数のヒストグラム600を示す。一部の実施形態において、各画像についてセントロイド610を決定してよい。セントロイド610は、平均または中央強度に対応する整数または分数の画素強度であり得る。一実施形態において、セントロイド610は、重みづけが特定の強度をもつ画素の数に対応する画素強度の加重平均として決定されてよい。別の実施形態において、セントロイド610は、全画素についての中央画素強度である。セントロイドは各画像について異なるものであり得る。
【0064】
セントロイド範囲620は、例えば固定量の画素強度または最大強度の一百分率(例えば+または−5%)などのセントロイド610を中心としている可能性がある。一実施形態において、セントロイド範囲620についてのヒストグラム曲線600下の面積630がFCVとしてとられる。この面積は、セントロイド610を中心とする範囲620内の画素数に対応し得る。こうして、FCVはこの範囲内部にある点の合計であり得る。一態様では、範囲は、各画像について同じ幅であり得る。セントロイド範囲620を用いて、画像についてのFCVを各画像について計算してよい。
【0065】
ヒストグラム600中に示されているように、セントロイド610は、全画素強度範囲のやや中央にある。したがって、最も一般的な強度は、ほぼ半分の強度、すなわち灰色である。ターゲットには黒と白しかないことから、このヒストグラムは、焦点合せされていない画像の特性を示す。
【0066】
図6Bは、本発明の実施形態に係る1つ以上の焦点合せした画像についての(モノクロスケールでの)画素強度対画素数のヒストグラム650を示す。ここでわかるように、セントロイド範囲620についてのヒストグラム曲線650下の面積630の量は、ヒストグラム曲線600の場合よりもはるかに小さい。これは、2つの色の分離がより大きいこと、ひいてはコントラスト分解能および焦点がより優れていることの結果である。
【0067】
別の実施形態においては、2つのピークの画素強度の分離をFCVとして使用してもよい。このような実施形態では、FCVの最大が最適な焦点設定値に対応する。さらに別の実施形態では、2つのピークの高さを使用できると考えられる。
【0068】
III.サイズ決定
以上の節では、焦点設定値に対する有効距離のマッピングについて記述した。しかしながら、適切な有効距離を容易に知ることができないかもしれない。したがって、一部の実施形態は同様に、適切な有効距離を決定するための機序を提供することもできる。一部の実施形態は同様に、例えば試料の構造分析の実行を助けるため、試料のサイズを決定する機序を提供することもできる。
【0069】
有効距離に対するサイズのマッピング
サイズアルゴリズムは、初期有効距離の各々における画像寸法を決定することができる。一実施形態においては、公知のサイズLの所与のターゲットフィーチャに広がる画像画素の数Kが決定され、画像画素1つあたりの長さ(または他のサイズ)はK/Lとして計算可能である。次に、画像画素あたりのサイズに画像センサーのx軸およびy軸内の画素の数を乗じて画像の全体的サイズを得ることができる。画像形成システムは同様に、画像の一部分についての画素の数を決定し、その後K/Lに基づいてサイズを決定することもできる。当業者であれば、公知のサイズのターゲットフィーチャからサイズを決定する他の方法を認識するものである。結果として得たサイズは、各々の有効距離に対しプロット可能であり、中間有効距離におけるサイズを焦点設定値と同じ要領で決定することができる。こうして、サイズと有効距離の間の関係についての関数近似を決定することができる。
【0070】
図7は、本発明の実施形態に係る有効距離と試料のサイズの関係についての関数近似を決定する方法700を示す流れ図である。方法700は、公知のサイズの物体を伴う較正ターゲットを使用することができ、例えば、2つのフィーチャ(例えばエッジ)間の距離が公知である。例えば、黒および40%灰色などの2つの変動するグレースケール強度の市松模様で構成されたテストパターンが使用される(図8のラベル1を参照のこと)。ただし、他の形状の物体およびフィーチャを使用してもよい。これらのフィーチャに対応する画素がひとたび識別されると、その画像(そして有効距離で取られたあらゆる画像)のサイズを決定することができる。
【0071】
ステップ710では、例えば方法200中で決定した最適な焦点を用いて、特定の有効距離(例えばズーム位置)で、較正ターゲットの画像が撮られる。公知のサイズの物体を、任意の有効距離について画像内につねに1つの物体が存在するような形で置くことができる。したがって、公知のサイズの物体を識別するために画像を分析することができる。一実施形態においては、特定の有効距離は、方法200で使用される初期有効距離の1つであってよい。別の実施形態では、特定の有効距離は、最適な焦点設定値が直接決定された有効距離ではなく、有効距離の関数として最適な焦点設定値の関数近似を使用して決定される有効距離である。
【0072】
ステップ720ではステップ710中の画像について、画像内の少なくとも1つの物体のエッジが識別される。図8では、エッジは、黒色ボックスまたは灰色(白色)ボックスのエッジであり得る。他の実施形態においては、他の物体または任意の2つの他のフィーチャのエッジを使用してもよい。エッジは、或る種のコントラスト変化が発生する1つまたは複数の画素として識別されてよい。例えば、画素強度の変化が最も極端な画素を識別することができる。他の実施形態では、フィーチャはボックスの中央であり得る。中央は、強度の最大または最小として識別可能である。
【0073】
エッジを識別するため、一実施形態は、画像中の任意のyまたはx位置において水平または垂直の画素プロファイル(強度値)を新規作成する。モノクロの較正ターゲットについては、画素プロファイル820は、画素強度に比例(正比例または反比例)し得る。図8中では、黒色ボックスがある所が最高値であることから、関係は反比例である。一態様では、画像のまさに中央で開始する水平プロファイルを使用することができる。プロファイルに基づいて、エッジを決定してよい。
【0074】
一実施形態においては、プロファイルの第2の導関数が決定される。第2の導関数がゼロである点(例えば正から負へ符号を変えるかまたはその逆の点)は、エッジとして識別され得る。任意の有限差式を用いて、第2の導関数を決定することができる。例えば、先行画素との間の強度変化がその画素と次の画素との強度変化よりも小さい場合の画素である。
【0075】
別の実施形態においては、画素プロファイルの平均画素強度830を計算し使用することができる。例えば、以下の基準の1つについてプロファイルの各画素値をチェックすることによりコントラストエッジを発見することができる:(1)プロファイル内の現行の画素の左側の画素値は、平均値より小さく、プロファイル中の現行画素の右側の画素値は平均値より大きい;(2)プロファイル内の現行の画素の左側の画素値は平均値より大きく、プロファイル内の現行の画素の右側の画素値は平均値より小さい。一部のケースでは、例えばいかなる画素も平均強度値を有していない場合など、2つの異なる画素はエッジに対応し得る。このような場合には、平均に最も近いものを選択することができ、またはいずれのものでも選択することができる。
【0076】
図7を再び参照すると、ステップ730において、エッジ間(または他のフィーチャ間)の画素数が決定される。一実施形態においては、2つのエッジ間の画素数を単に計数してよい。この画素数を複数の物体について決定し、その後平均して規定の画素数を得てもよい。
【0077】
図8は、隣接するエッジ間の間隔どり840を示す。一実施形態においては、間隔どりの標準偏差を用いて誤差を検出してもよい。例えば、無効な画素プロファイル(例えば垂直エッジ近くにある水平プロファイル)の場合を回避するために、標準偏差は小さいもの(例えば2.5%未満)でなければならない。無効な画素プロファイルの場合、異なる画素プロファイル(例えば次に隣接するy画素位置に沿った水平プロファイル)が選択される。
【0078】
ステップ740では、長さが画素に相関される。これは、エッジの間の公知の距離をエッジの間にあるものと判定された画素の数で除し、こうして画素あたりの長さを得ることで行なわれてよい。同等に、長さあたりの画素数も得られる。公知の距離(例えば較正ターゲット上のフィーチャ間の距離)は、例えばコントローラー130によりメモリーからまたはユーザーによる入力を介して受取られてよい。一実施形態においては、各物体間の距離は同じであり得、例えば各々の市松模様のボックスは0.5cmの長さを有し得る。
【0079】
ステップ750では、現行の有効距離における画像の合計画素数に基づいて、合計サイズ(例えば長さ)が計算される。一実施形態においては、画像画素あたりの画像面積(または長さ)に、画像センサーのxおよびy軸内の画素数が乗じられる。計算は、コントローラー130、画像形成システム内の別のコンピュータ、または外部コンピュータによって実行され得る。
【0080】
別の実施形態においては、完全に可視の市松模様のボックスの数が計算される。完全に可視のボックスの数は、エッジ数から1を引いたものとして決定可能である。プロファイルの最初および最後における部分的に可視の市松模様のサイズは、残った画素の数に基づいて推定されてよい。画像の物理的サイズ(例えば長さ)は、完全に可視の市松模様ボックスと2つの部分的に可視の市松模様ボックスの合計である。
【0081】
さらに別の実施形態においては、最初/最後のエッジから画像のボーダーまでの計算上の距離を隣接するエッジ間の間隔どりで除して、部分的に可視のボックスの百分率を得てもよい。例えば、最初から第1のエッジまでの距離が40画素であり、2つの隣接するエッジ間の間隔どりが平均して100画素である場合、第1の市松模様の40%のみが可視である。市松模様のサイズは公知であることから、部分的に可視の市松模様の物理的サイズを計算することができ、例えば0.5cmの40%は0.2cmである。
【0082】
さらに別の実施形態においては、(例えば公知の物体の1つではない)画像のサブエリアの物理的サイズは計算される。例えば、画像の中心における画像の幅および高さの半分を使用することができる。画像全体の物理的サイズは、サブエリアのサイズに全画像の画素数を乗じ、サブエリア内の画素数で除することにより計算される。上述の実施形態の任意の組合せならびに当業者により認識されると考えられる他の方法を使用してもよい。
【0083】
ステップ760においては、任意のより有効な設定値がサイズの決定を必要とするか否かが決定される。そうである場合、この方法は、これらの他の有効な距離についてステップ710〜750をくり返す。一態様では、ズーム範囲に沿って等間隔で置かれたN個のズーム位置(および付随する焦点設定値)でN個の画像が獲得される。一部の実施形態では、画像形成システムと通信可能に結合されるように適応されたコンピュータ可読媒体内に、各々の有効距離のための対応するサイズ(例えば長さ)を記憶することができる。一実施形態において、このコンピュータ可読媒体はコントローラー130の一部であり得る。
【0084】
ステップ770では、有効距離とサイズの関係についての関数近似が{サイズ、初期有効距離}のデータポイントから決定される。有効距離に対する焦点の関数近似について以上で記述した方法のいずれかで、関数近似を計算することができる。この関数近似を決定するための手段を、類似の要領でコンピュータ可読媒体上に記憶することもできる。
【0085】
図9は、本発明の実施形態に係るカメラによって獲得された画像中の試料の物理的サイズとレンズのズーム位置の間の関係を説明する関数近似910についてのプロットを示す。関数近似910は、有効距離に対する任意のサイズのマッピング、およびその逆を提供することができる。
【0086】
B.入力されたサイズを用いた有効距離および焦点設定値の決定
方法700からの有効距離に対するサイズのマッピングを方法200と併用して、試料のサイズのユーザー入力に基づき焦点および有効距離を決定できるようにしてよい。ユーザーが試料のサイズを知っている場合、ユーザーはまさに適切なサイズを手動で推定する必要がある。同様に一部の実施形態では、ユーザーは適切な試料サイズを画像形成システムに通信することができる。ユーザーは、どのゲルが使用されているかを入力することができ、画像形成システムはそれを公知のサイズに相関させることができ、次にそれを用いて有効距離および焦点設定値を決定することができる。一実施形態においては、入力されたゲルについての設定値を後に使用できるようセーブすることができる。
【0087】
図10は、本発明の一実施形態に係る試料サイズの入力に基づく焦点および有効距離の決定方法1000を示す流れ図である。ステップ1010では、試料サイズが画像形成システム(例えばシステム100)において受取られる。試料サイズは、1つの値としてまたは試料が入っている容器のタイプの識別情報としてユーザーから受取られてよく、これは次にサイズにクロスリファレンスされ得る。例えば、ユーザーは面積または長さとしてサイズを入力することができる。試料サイズは、試料を精確に分析するために必要とされる画像のサイズに対応できる。例えば、ユーザーは、技術的には実際の試料より大きいものの試料全体を確実に画像形成するにはちょうど充分である入力された試料サイズを提供してよい。一態様では、入力された試料サイズは、例えば方法700で使用されているような初期有効距離の1つでなくてもよい。
【0088】
ステップ1020では、画像形成システムは、試料のサイズに対する有効距離の関数近似を決定する。関数近似は、例えば図2bおよび2Cについて言及されたように、本明細書で記述されているさまざまな方法で決定され得る。一実施形態においては、関数近似を固定またはリムーバブルコンピュータ可読媒体から取出することができる。別の実施形態においては、方法700において上述の通りに決定されてよい初期有効距離および対応するサイズを含めたデータポイントセットに基づいて、関数近似を計算することができる。
【0089】
ステップ1030において、マッピングに基づく試料サイズに対応する有効距離が決定される。この有効距離は、入力されたサイズについての関数近似を評価することにより決定されてよい。例えば、図9の曲線910を用いて、入力された物理的サイズとしてのズーム位置を決定することができる。このような決定には、サイズを関数内に入力するステップおよびズーム位置を受取るステップが関与し得る。上述の通り、マッピングは1対1、または多対1であってよい、例えば、関数近似が(区分的に連続な関数のパラメータとは異なり)有限データポイントセットとして記憶される場合には、そのデータポイント内のサイズに最も近い入力サイズのいずれでも同じ対応する有効距離に対しマッピングすることができる。
【0090】
ステップ1040では、決定された有効距離に基づいて、焦点設定値が選択される。焦点設定値は、例えば方法200を介して決定される、焦点設定値に対する有効距離の関数近似に基づいて決定されてよい。こうして、ユーザーは単に(1つの数字としてかまたは公知のサイズの容器の識別子として)試料サイズを入力することができ、画像形成システムは光学構成要素を精確な設定値に調整することができる。
【0091】
C.マッピングを用いた試料のサイズの決定
有効距離に対するサイズのマッピングを用いて、画像形成システムのエンドユーザーに対し試料サイズ(例えばサイズのレジェンド(legend))を提供してよい。図11は、本発明の実施形態に係る画像形成システムを用いた生体試料または化学試料のサイズの決定方法1100を示す流れ図である。
【0092】
ステップ1110では、画像形成システムの光学構成要素と試料の間の入力された有効距離が受取られる。例えばユーザーは、画像内に試料が完全に見えるようになるまでレンズ上でズームを変更することができる。次にこのズーム設定値を入力された有効距離として使用することができる。
【0093】
ステップ1120では、サイズに対する有効距離の関数近似が得られる。関数近似は、上述の方法のいずれによっても決定可能である。例えば、それをコントローラー130と結合されたコンピュータ可読媒体(例えば不揮発性メモリー)から読取ることができ、またはメモリーから読取られた初期データポイントからコントローラー130によって決定することもできる。
【0094】
ステップ1130では、入力された有効距離に対応するサイズが、関数近似に基づいて決定される。上述の通り、一実施形態において、多数のサイズが入力された有効距離に対応し得る。他の実施形態においては、1つのサイズが、入力された有効距離の1つの値に一意的に対応してよい。
【0095】
ステップ1140においては、サイズがユーザーに対し表示される。例えば画像形成システムは、サイズがマーキングされた状態で試料を示すためのモニターまたは他の表示スクリーンを有していてよい。一実施形態においては、スクリーンのサイズを試料のサイズと等しくするレジェンドとしてサイズを提供してよい。別の例では、画像形成システムはサイズを印刷することができる。
【0096】
IV.フラットフィールド補正
試料の分子の画像を形成するにあたっては、全画像形成面積にわたり均一の信号応答を有することが所望される。すなわち、等しい量の光を提供する2つの点は、同じ輝度を有するように画像形成されなくてはならない。このような均一性は、分子を固定し特徴づけする上でより高い精度を提供することができる。しかしながら、レンズおよび照明源のために、一部の点、典型的にはエッジに沿った点が他の点と同等の輝度を有さなくなる可能性がある。一部の実施形態はこのために、実質的に均一な輝度特性を有するフラットフィールドターゲットの画像を形成し次に全ての画素が同じ輝度を有するような形で各画素について補正係数を計算することによって、補正を行なうことができる。米国特許第5,799,773号(US5,799,773)は、使用可能な補正係数の例を提供している。
【0097】
A.光源で照明された試料について、
図12Aは、本発明の実施形態に係るレンズと光源のためのフラットフィールド補正を決定するのに用いることのできるフラットフィールドターゲット1210を伴う画像形成システム1200を示す。一実施形態では、フラットフィールドターゲット1210は、均一な光源により照明された場合に実質的に均一なルミネッセンス特性を伴う発光性(例えば蛍光)材料のシートであるUVトランスイルミネータである。ターゲット1210の画像を撮り、次に均一性からの差異を用いて試料の画像を補正することができる。
【0098】
ターゲット1210は、フラットフィールドモデル画像の獲得中、光源の上の画像形成プラテン上に位置づけされてよい。ターゲットは均一な光源により照明された場合に実質的に均一なルミネッセンス特性を有するように構成されてよいが、光源は均一でなくてもよい。ターゲット120は、共に1つの画像により捕捉されることから所与の光源およびレンズの両方の不均一性をモデル化するために使用され得る。
【0099】
B.光源による照明を受けない試料について
図12Aは同様に、本発明の実施形態に係るレンズのフラットフィールド補正を決定するために使用可能であるフラットフィールドターゲット1220を伴う画像形成システム1200を示している。一実施形態では、レンズの不均一性のみをモデル化するためのフラットフィールドターゲット1220は、実質的に均一なルミネセンス特性を有する発光性(例えば蛍光)材料のシートである。このターゲットは、フラットフィールドモデル画像を獲得する場合、レンズの焦点範囲の最小作動距離の充分内側で、ズームレンズに極めて近接して置くことができる。
【0100】
図12Bは、本発明の実施形態に係るレンズのフラットフィールド補正を決定するためのターゲット1220の一例を示す。光を減衰させるためのフィルター1224を伴うプラスチックの蛍光部品1222をレンズのガラスの前面に取付けてよい。蛍光プラスチック1222は、下から紫外線で照明される。蛍光プラスチック1222は光源から比較的離れていることから、光源の不均一性は最小限となり得る。
【0101】
一実施形態において、ターゲット1220はレンズを覆ってまたはその上に嵌め込まれるキャップである。別の実施形態では、ターゲットは別のデバイスによって支持されるかまたはレンズから懸吊されている。ターゲット1220は、レンズ内の不均一性をより良く近似するようにレンズに近接し得る。一実施形態においては、ターゲットは、レンズがターゲットからの光で満たされるような形で充分近接しており、ターゲットは焦点外にある。例えば、レンズの焦点は光源上に設定され得、ルミネッセンスターゲットの画像が、設定された焦点上に作成される。その後、作成された画像についてフラットフィールド補正を計算することができる。
【0102】
C.マルチズームシステムのためのフラットフィールド較正
図13は、本発明の実施形態に係る、生体試料または化学試料の画像を形成するための画像形成システムのフラットフィールド補正を実行する方法1300を示す流れ図である。方法1300は、対応する最適な焦点設定値を用いて初期ズーム位置の各々においてフラットフィールドモデル画像を獲得することができる。ただし、(例えば以上で記述した通りの)関数近似から決定された最適な焦点設定値を伴う他のズーム設定値を使用してもよい。方法1300は、光源を用いて得られる試料画像および光源を使用せずに得るべき試料画像に対する補正のために、独立して実行されてよい。中間ズーム値におけるフラットフィールドモデル画像は、2つの最も近いズーム位置のフラットフィールドモデル画像の間の画素値補間などのフラットフィールド補正に対するズーム設定値の関数近似から決定されてよい。こうして、フラットフィールド補正は、任意の有効距離について得ることができる。
【0103】
ステップ1310においては、画像形成システムの光学構成要素から試料までの複数の初期有効距離の各々について、フラットフィールド補正が決定される。例えば、ズーム範囲に沿って等間隔に置かれてよいN個のズーム位置の各々で、フラットフィールド補正を決定することができる。ターゲット1210が使用される実施形態において、ターゲット1210は、試料位置に置かれてよく、こうして、対応する最適な焦点位置が使用される場合、それは特定の有効距離について焦点が合った状態にあるはずである。ターゲット1220が使用される実施形態においては、光源を試料位置に置くことができる。
【0104】
一実施形態においては、フラットフィールド補正は画像の各画素における1つの値を含む。この補正を、均一な画像を確保するのに必要とされる乗算値として計算することができる。例えば、平均強度がMである場合には、画素のための補正は、Mをフラットフィールド画像のためのその画素における強度で除したものとして計算することができる。このようにして、過度に輝度の高い画素(すなわち平均を超える輝度)には1未満の数を乗じ、より輝度の低い画素には1超の数を乗じる。
【0105】
ステップ1320では、フラットフィールド補正と対応する有効距離の間の関係についての関数近似が計算される。一実施形態では、各画素について独立して、関数近似が実行される。例えば、その画素について1310に由来するフラットフィールド補正の値を用いて、各画素について別個の関数近似が実行される。各々の関数近似は、例えばコンピュータ可読媒体上に記憶された手段を用いて、本明細書中に記述された方法のいずれかを介して計算されてよい。
【0106】
ステップ1330では、初期有効距離の1つではない入力された有効距離が受取られる。一実施形態において、入力された有効距離はユーザーから受取られる。別の実施形態において、入力された有効距離は、例えば方法1000を介して行なわれてよいように、試料サイズの入力から決定される。
【0107】
ステップ1340では、入力された有効距離において画像が獲得される。一実施形態において、画像は、方法200を用いて決定されるように、入力された有効距離についての最適な焦点を用いて獲得される。画像は、各々フラットフィールド補正で補正されてよい1セットの画素値で構成され得る。
【0108】
ステップ1350では、入力された有効距離についてのフラットフィールド補正が、関数近似を用いて決定される。例えば、入力された有効距離を一関数内に入力してよく、これは、画像の各画素について対応するフラットフィールド補正を提供する。一実施形態においては、1310で獲得した2つの適切なフラットフィールド画像の間の補間により、入力されたズーム設定値において特定のフラットフィールドが合成的に新規作成される。こうして、各画素のためのフラットフィールド補正を、あらゆるズーム設定値について決定してよい。
【0109】
ステップ1360では、決定されたフラットフィールド補正が、試料の補正済み画像を新規作成するために使用される。例えば、獲得された画像の各画素に、入力された有効距離についての対応するフラットフィールド補正を乗じてよい。一実施形態においては、補正された画像を決定するためにコントローラー130を使用してもよい。
【0110】
図14は、本発明の実施形態に係るシステムおよび方法と共に使用可能な例示的コンピュータ装置1400のブロック図を示す。コンピュータ装置は、任意の適切な数のサブシステムを使用してよい。このようなサブシステムまたはコンポーネントの例が図14に示されている。図14に示されているサブシステムは、システムバス1475を介して相互接続される。ディスプレーアダプター1482に結合されているプリンター1474、キーボード1478、固定ディスク1479、モニター1476などの追加のサブシステムその他が示されている。I/Oコントローラー1471に結合する周辺機器および出入力(I/O)デバイスを、シリアルポート1477などの当該技術分野において公知の任意の数の手段により、コンピュータシステムに接続することができる。例えば、コンピュータ装置をインターネットなどの広域ネットワーク、マウス入力デバイスまたはスキャナーに接続するためには、シリアルポート1477または外部インターフェース1481を使用することができる。システムバスを介した相互接続により、中央プロセッサー1473は各サブシステムと通信でき、システムメモリー1472または固定ディスク1479からの命令の実行、ならびにサブシステム間の情報交換を制御することができる。システムメモリー1472および/または固定ディスク1479により、コンピュータ可読媒体を実施してもよい。
【0111】
特定の実施形態の具体的詳細は、任意の適切な要領で組合せされてよくそれによって本発明の実施形態の精神および範囲から逸脱することはない。ただし、本発明の他の実施形態は、個別の各々の態様またはこれらの個別の態様の具体的組合せに関する具体的実施形態に向けられてよい。
【0112】
以上で記述した本発明は、モジュール式または集積式にコンピュータソフトウェアを用いたおよび/またはハードウェアを用いた制御論理の形で実施可能であるということを理解すべきである。本明細書中に提供される開示および教示に基づき、当業者であれば、ハードウェアおよびハードウェアとソフトウェアの組合せを用いて本発明を実施するための他の形および/または方法を知り、評価するものである。
【0113】
本出願中で記述したソフトウェア構成要素または関数のいずれも、例えば従来のまたはオブジェクト指向技術を使用してJava(登録商標)、C++またはPerlなどの任意の適切なコンピュータ言語を用いてプロセッサーが実行すべきソフトウェアコードとして実装されてよい。ソフトウェアコードは、一連の命令またはコマンドとして、記憶および/または伝達用のコンピュータ可読媒体上に記憶されてよく、適切な媒体としては、ランダムアクセスメモリー(RAM)、読出し専用メモリー(ROM)、磁気媒体例えばハードドライブまたはフロッピー(登録商標)ディスク、または光学媒体例えばコンパクトディスク(CD)またはデジタル汎用ディスク(DVD)、フラッシュメモリーなどが含まれる。コンピュータ可読媒体は、このような記憶または伝達デバイスの任意の組合せであってもよい。
【0114】
このようなプログラムは同様に、インターネットを含めたさまざまなプロトコルに適合する、有線、光および/または無線ネットワークを介した伝送に適応された搬送波信号を用いてコード化され伝送されてもよい。こうして、本発明の一実施形態に係るコンピュータ可読媒体は、このようなプログラムでコードされたデータ信号を用いて作成されてよい。プログラムコードでコード化されたコンピュータ可読媒体は、互換性あるデバイスとパッケージ化されるかまたは、(例えばインターネットダウンロードを介して)他のデバイスから別個に提供されてよい。任意のこのようなコンピュータ可読媒体が単一のコンピュータプログラム製品上または内部(例えばハードドライブまたはコンピュータシステム全体)に存在してよく、システムまたはネットワーク内部の異なるコンピュータプログラム製品上またはその内部に存在してもよい。コンピュータシステムは、ユーザーに対して本明細書で言及した結果のいずれかを提供するために、モニター、プリンターまたは他の適切なディスプレーを含んでいてよい。
【0115】
本発明の例示的実施形態の以上の記述は、例示および説明を目的として提示されたものである。それは網羅的であることまたは上述の明確な形態に本発明を限定することを意図されたものではなく、上記教示に照らして数多くの修正または変更が可能である。実施形態は、本発明の原理およびその実践的利用分野を最もうまく説明し、こうして他の当業者が本発明をさまざまな実施形態でそして企図される特定の用途に適したさまざまな修正を加えた上で利用できるようにする目的で選択され記述されたものである。
【0116】
「a」、「an」または「the」の列挙は、別段の具体的指示のないかぎり「1つ以上」を意味するように意図されている。
【0117】
上述の全ての特許、特許出願、公報および明細書は、全ての目的のために参照により本明細書に援用されている。いずれも先行技術として認められるものではない。
図1
図2A
図2B
図2C
図3
図4
図5
図6A
図6B
図7
図8
図9
図10
図11
図12A
図12B
図13
図14