IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ビーディー キエストラ ベスローテン フェンノートシャップの特許一覧

特表2023-544848テレセントリックレンズを有する撮像装置を用いてプレーティング培養皿の画像を取得するシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-25
(54)【発明の名称】テレセントリックレンズを有する撮像装置を用いてプレーティング培養皿の画像を取得するシステム
(51)【国際特許分類】
   C12M 1/34 20060101AFI20231018BHJP
   G01N 21/01 20060101ALI20231018BHJP
   G01N 21/17 20060101ALI20231018BHJP
【FI】
C12M1/34 B
G01N21/01 B
G01N21/17 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023521570
(86)(22)【出願日】2021-09-30
(85)【翻訳文提出日】2023-06-07
(86)【国際出願番号】 EP2021076969
(87)【国際公開番号】W WO2022073847
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】63/088,695
(32)【優先日】2020-10-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】513165469
【氏名又は名称】ビーディー キエストラ ベスローテン フェンノートシャップ
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100168642
【弁理士】
【氏名又は名称】関谷 充司
(74)【代理人】
【識別番号】100169018
【弁理士】
【氏名又は名称】網屋 美湖
(72)【発明者】
【氏名】マルセルポワル,ラファエル・エル.
(72)【発明者】
【氏名】ペトリ,ロジェ
(72)【発明者】
【氏名】フェルナンデス,マテュー・ジュリアン
(72)【発明者】
【氏名】ティーケ,ヨハネス・ワイナンドゥス
【テーマコード(参考)】
2G059
4B029
【Fターム(参考)】
2G059AA05
2G059BB12
2G059CC16
2G059DD12
2G059DD13
2G059EE01
2G059EE02
2G059FF01
2G059GG02
2G059GG03
2G059JJ11
2G059JJ26
2G059KK04
2G059PP01
2G059PP04
4B029AA08
4B029BB01
4B029CC02
4B029FA01
4B029GB06
(57)【要約】
プレーティング培養皿の画像を取り込むシステム。システムは、撮像デバイスを含み、撮像デバイスは、プレーティング培養皿の画像を取り込むように適合されたテレセントリックレンズを伴うカメラと、プレーティング培養皿の側面上のラベルが、撮像デバイスによって取り込まれるプレーティング培養皿の画像内に取り込まれることを確実にするように適合されたミラーとを有する。システムは、画像取り込みのためにプレーティング培養皿を照明する少なくとも1つの光システムを更に含む。ミラーは、ラベルが配置されるプレーティング培養皿の側面に隣接して配置され、ミラーの少なくとも一部は、プレーティング培養皿の側面において、プレーティング培養皿の底部の下に延在する。
【選択図】図5
【特許請求の範囲】
【請求項1】
プレーティング培養皿の画像を取り込むシステムであって、
プレーティング培養皿の画像を取り込むように適合されたテレセントリックレンズを伴うカメラを有する、撮像デバイスと、
前記プレーティング培養皿を受容する割出ディスクであって、前記割出ディスクは、コンベヤから前記プレーティング培養皿を受容し、前記プレーティング培養皿を前記テレセントリックレンズの視野内に回転させる、割出ディスクと、
前記プレーティング培養皿のための支持体に隣接して位置決めされたミラーであって、前記ミラーは、前記テレセントリックレンズの前記視野内の前記プレーティング培養皿の側面上のラベルの反射を提供するように適合される、ミラーと、
画像取り込みのために前記プレーティング培養皿を照明する少なくとも1つの光システムと、
を備える、システム。
【請求項2】
前記ミラーは、前記プレーティング培養皿の前記側面に隣接し、前記プレーティング培養皿は、底部を有し、前記ミラーの少なくとも一部は、前記ミラーの少なくとも一部が、前記プレーティング培養皿の前記側面における前記プレーティング培養皿の前記底部の下方に少なくとも部分的に延在するか、又は前記ミラーのいずれの部分も、前記プレーティング培養皿の前記側面における前記プレーティング培養皿の前記底部の下方に少なくとも部分的に延在しないように配置される、請求項1に記載のシステム。
【請求項3】
前記ミラーの少なくとも一部は、前記プレーティング培養皿の周縁を越えた外側に延在する、請求項2に記載のシステム。
【請求項4】
前記プレーティング培養皿は、直径を有し、前記システムは、異なる直径のプレーティング培養皿を受容する、請求項1~3のいずれか一項に記載のシステム。
【請求項5】
テレセントリックレンズモジュールを更に備え、前記テレセントリックレンズモジュールは、前記プレーティング培養皿に対して、前記撮像デバイスの前記テレセントリックレンズ及び前記カメラの位置を位置合わせし、固定するように適合される、請求項1に記載のシステム。
【請求項6】
前記少なくとも1つの光システムは、発光ダイオード(LED)を含む、請求項1に記載のシステム。
【請求項7】
前記光システムは、3つの光源を備える、請求項6に記載のシステム。
【請求項8】
前記光源は、上部光源、側方光源、及び底部光源であり、任意選択で、各光源は、円形構成に配置された複数のLEDを備える、請求項7に記載のシステム。
【請求項9】
各光源のためのディフューザを更に備える、請求項8に記載のシステム。
【請求項10】
前記側方光源のための前記ディフューザは、リフト機構を備え、前記リフト機構は、前記ディフューザを垂直に移動させ、それによって、前記プレーティング培養皿を前記テレセントリックレンズの前記視野内に移動させることができる、請求項9に記載のシステム。
【請求項11】
前記ミラーは、透明カバーの上方に位置決めされる、請求項1~8のいずれか一項に記載のシステム。
【請求項12】
可動不透明バックグラウンドが、前記透明カバーの下に位置決めされる、請求項11に記載のシステム。
【請求項13】
前記割出ディスクは、前記プレーティング培養皿が前記割出ディスクによって受容されたときに、前記プレーティング培養皿に接触する複数のバンパーを備え、前記割出ディスクは、任意選択で、前記プレーティング培養皿を割出ディスクレセプタクル内に受容するために開位置にあるヒンジアームを備え、前記ヒンジアームは、前記プレーティング培養皿が前記レセプタクルによって受容されたときに、閉位置に移動される、請求項12に記載のシステム。
【請求項14】
前記プレーティング培養皿を、進入位置から前記割出ディスクへ、かつ前記割出ディスクから退出位置へと輸送するコンベヤを更に備える、請求項1に記載のシステム。
【請求項15】
前記進入位置は、培養皿リフトを備え、前記培養皿リフトは、前記進入位置に配置されたプレーティング培養皿の下で上昇するプラットフォームを備え、前記培養皿リフトは、前記プラットフォーム上の前記プレーティング培養皿の存在を検出するセンサを任意選択で備え、前記プラットフォーム上の前記プレーティング培養皿のための固定具を任意選択で更に備え、前記固定具は、任意選択で、吸引カップである、請求項14に記載のシステム。
【請求項16】
前記コンベヤは、前記プレーティング培養皿が前記割出ディスク内に進むことを停止させるバッファ位置を更に備え、前記バッファ位置の下流に位置決めされた走査ステーションを任意選択で更に備え、前記走査ステーションにおけるスキャナは、前記プレーティング培養皿上の前記ラベルを読み取り、前記走査ステーションは、走査リフトを任意選択で備え、前記走査リフトは、プラットフォームを備え、前記プラットフォームは、前記走査ステーションに配置されたプレーティング培養皿の下で上昇し、前記プレーティング培養皿を回転させて、前記スキャナによって読み取られる前記ラベルを配置し、前記走査リフトは、前記プラットフォーム上の前記プレーティング培養皿のための固定具を更に備え、前記固定具は、任意選択で、吸引カップである、請求項14に記載のシステム。
【請求項17】
前記プレーティング培養皿が前記割出ディスクの中に受容されることに先立って、前記プレーティング培養皿から蓋を取り外す蓋マニピュレータを更に備え、前記蓋マニピュレータは、前記プレーティング培養皿上の蓋を前記プレーティング培養皿から取り外すために、前記蓋に取り付ける固定具を任意選択で備え、前記システムは、前記蓋マニピュレータから前記蓋を受容する第2の蓋マニピュレータを任意選択で備え、前記第2の蓋マニピュレータは、前記蓋を前記プレーティング培養皿上に戻す、請求項1に記載のシステム。
【請求項18】
前記退出位置は、培養皿走査リフトを備え、前記培養皿走査リフトは、プラットフォームを備え、前記プラットフォームは、前記退出位置に配置されたプレーティング培養皿の下で上昇し、前記プレーティング培養皿を回転させて、前記ラベルを前記退出位置でスキャナによって読み取られる位置に配置し、前記走査リフトは、前記プラットフォーム上の前記プレーティング培養皿のための固定具を更に備え、前記固定具は、任意選択で、吸引カップである、請求項14に記載のシステム。
【請求項19】
前記システムは、インキュベーターと統合された画像取り込みモジュールの形態である、請求項1に記載のシステム。
【請求項20】
前記画像取り込みモジュールは、制御されたキャビネット環境の外側で前記インキュベーターに隣接している、請求項19に記載のシステム。
【請求項21】
前記割出ディスクは、それぞれが前記プレーティング培養皿を受容するための複数のレセプタクルを有し、前記割出ディスクは、前記プレーティング培養皿を、前記プレーティング培養皿が前記割出ディスクによって受容される位置から前記撮像デバイスへ移動させ、かつ前記撮像デバイスから前記割出ディスクからの出口位置へ移動させる、請求項1~20のいずれか一項に記載のシステム。
【請求項22】
プレーティング培養皿の画像を取得する方法であって、前記方法は、
カメラと、テレセントリックレンズと、撮像のためにプレーティング培養皿を受容するための支持体と、前記支持体に隣接するミラーと、を備える、撮像システムを提供することと、
前記プレーティング培養皿に、前記プレーティング培養皿の側面上に位置し、前記側面に取り付けられたラベルを提供することと、
前記ラベルが前記ミラーに反射されるように、前記撮像システム内の撮像位置に前記プレーティング培養皿を位置決めすることと、
前記ミラー内の前記ラベルの反射とともに、前記プレーティング培養皿の画像を取り込むことと、
を含む、方法。
【請求項23】
前記プレーティング培養皿の前記画像の中心及び前記ラベルの中心を特定することによって、前記撮像位置における前記プレーティング培養皿の向きを決定することを更に含み、前記画像の前記中心及び前記ラベルの前記中心から、前記プレーティング培養皿の前記画像の前記中心に対する前記ラベルの端部の位置及び前記ミラーの端部の位置が決定される、請求項22に記載の方法。
【請求項24】
第1の時間に取得された前記プレーティング培養皿の第1の画像内のピクセルを、第2の時間に取得された前記プレーティング培養皿の第2の画像のピクセルと位置合わせすることであって、前記位置合わせは、前記第1の画像内で特定された前記プレーティング培養皿の前記画像の前記中心と、前記第2の画像内で特定された前記プレーティング培養皿の前記中心と、前記第1の画像内で決定された前記ラベルの前記端部の前記位置と、前記第2の画像内で決定された前記ラベルの前記端部の前記位置と、を使用して行われることを更に含む、請求項22又は23に記載の方法。
【請求項25】
前記ミラーの角度プロファイルは、前記ミラーにおける前記ラベルの前記反射の2次元画像の1次元画像から決定される、請求項24に記載の方法。
【請求項26】
前記ミラーの少なくとも一部は、前記ミラーの少なくとも一部が、前記プレーティング培養皿の前記側面における前記プレーティング培養皿の底部の下方に少なくとも部分的に延在するか、又は前記ミラーのいずれの部分も、前記プレーティング培養皿の前記側面における前記プレーティング培養皿の前記底部の下方に少なくとも部分的に延在しないように配置される、請求項22~25のいずれか一項に記載の方法。
【請求項27】
前記角度プロファイルから前記ラベルの前記端部を決定することを更に含む、請求項25に記載の方法。
【請求項28】
前記プレーティング培養皿の前記ラベル及び前記中心に対して、前記プレーティング培養皿上の物体に座標を割り当てることを更に含む、請求項27に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に記載されるのは、テレセントリックレンズを有する撮像デバイスを用いてプレーティング培養皿の画像を取得するシステムである。
【0002】
[関連出願の相互参照]
本出願は、2019年10月7日に出願された米国仮特許出願第63/088,695号の優先権の利益を主張するものであり、この仮特許出願は、引用することにより本明細書の一部をなすものとする。
【背景技術】
【0003】
プレーティング培養とは、微生物汚染の証拠についてサンプルを評価及び検査するための一般的な技術である。多くの分野における研究及び分析のために、かかるサンプルから微生物培養物及び細胞培養物を調製する種々のタイプのプレーティング培養皿が普及している。接種した培養培地のための容器の例としては、ペトリ皿、マイクロタイタープレート又はマルチウェルプレート、並びに高密度フォーマットプレート、例えば、384ウェルプレート、864ウェルプレート及び1536ウェルプレートが挙げられる。
【0004】
プレーティング培養皿は、典型的には、プレーティング培養皿上での微生物増殖を支持する培地を含有する。プレーティング培養皿にサンプルを接種した後、プレーティング培養皿がインキュベートされ、サンプル中のあらゆる微生物汚染のコロニーが形成される。培地の中には、微生物の或る特定の種類又は株のみがプレーティング培養皿中の培養培地上で増殖するような選択性のものもある。
【0005】
インキュベートしたプレートを検査して、微生物が増殖しているかどうかが確認される。コロニーを観察する場合、対象のコロニーの一部を採取し、更に分析することで、微生物についてより深く知ることができる。対象のコロニーを手動で検査し、採取することは、時間がかかり、この高度な技術の作業には微生物学者の利用を必要とする。コロニー形成及び/又は微生物増殖の証拠があるかどうかを判定するために、プレーティング培養皿の検査を自動化することがますます適用されている。かかる自動化には、典型的には、プレーティング培養皿の電子画像を取得することと、かかる画像を微生物学者に見せることとが含まれ、この微生物学者が対象のコロニーを同定し、システムを制御してそのコロニーの一部を検査のために採取することができる。あるいは、画像データを評価して、一連の規則に対して処理し、対象の1つ以上のコロニーを自動的に同定することができる。
【0006】
サンプル培養物の電子画像を取り込んで微生物増殖を検出するには、一般的に50mm~55mmのf1.4の写真レンズをカメラに接続する必要がある。しかしながら、かかるシステムは、効率的なカメラに接続された場合であっても感度が低いため、多くの培養物が依然として数十分以上の撮像時間を必要としており、画像がサンプル培養物の完全に真の画像でない原因となるヴィネット(望ましくない暗がり)及び横歪み効果等のその他の問題に悩まされている。しかしながら、かかるシステムにおけるかかる歪み効果は、プレートの側面から画像情報を得るための能力を或る程度備えていた。この欠点は、テレセントリックレンズを有する撮像システムを使用して培養プレートの真の上面図を提供することによって克服されている。テレセントリックレンズはまた、かかるシステムにおいて、他のレンズと比較して経済的な代替品にもなっている。しかしながら、テレセントリックレンズを有するシステムでは、プレーティング培養皿に入射する光線の方向は、プレーティング培養皿の側面の有用な画像を提供する歪みを欠いた方向である。したがって、プレーティング培養皿の画像を取得する際にテレセントリックレンズを効果的に配備するためには、更なる改善が必要である。
【発明の概要】
【0007】
本明細書に記載されるシステム及び方法は、自動高解像度デジタル撮像を提供するテレセントリックレンズを有するインテリジェント撮像システムを提供することによって、上記の問題に対処する。さらに、本明細書に記載される撮像システムは、インキュベーターと組み合わせて自動化された実験環境にシームレスに適合させることができ、又は実験オペレータと協働する独立型ユニットとすることができる。
【0008】
上述したように、プレーティング培養皿等の物体を撮像するためにテレセントリックレンズが使用される場合、プレーティング培養皿に入射する光線の方向は、プレーティング培養皿の側面の鮮明な画像を提供することができないような方向である。プレーティング培養皿の側面は、ラベル等の有用な情報を含むことができ、該ラベルは、撮像装置内でプレーティング培養皿の位置合わせに使用される基準マークとして使用することができる。ラベルはまた、プレーティング培養皿を特定するバーコード情報、及び他の情報、例えば、培養培地タイプ、サンプルタイプ、サンプル日付等を有することができる。
【0009】
プレーティング培養皿の画像をインキュベーションサイクル中に複数回取得するために、プレーティング培養皿を撮像装置に持ち込むことが一般的であるため、基準マーキングは有用である。プレーティング培養皿に保持された培養サンプル中で微生物増殖が起こったか否か、及びどの程度まで起こったかを自動的に評価するために、プレーティング培養皿をピクセル毎に評価し、先の画像から後の画像へ微生物増殖を示すピクセルの変化があったか否かを判定する必要がある。ピクセル毎の比較を成功させるためには、先の画像のピクセルを後の画像のピクセルと位置合わせする必要がある。
【0010】
微生物増殖の指標に関して、プレーティング培養皿を評価する自動化されたシステム及び方法におけるピクセル位置合わせの必要性が知られている。例えば、本明細書中に記載される撮像装置において、プレート上のコロニーは、1)国際出願PCT/US2016/028913号(2016年4月22日、表題「Colony Contrast Gathering」、国際公開第2016172527号として公開);及び2)国際出願PCT/EP2015/052017号(表題「A System and Method for Image Acquisition Using Supervised High Quality Imaging」、2015年1月30日に出願され、国際公開2015/114121号として公開)に記載される方法に従って撮像されており、これらの出願は、引用することにより本明細書の一部をなすものとする。これらの参考文献に記載されるように、サンプルを接種したプレーティング培養皿はインキュベートされる。しばらくして、接種した培養皿の画像が取得される。次いで、プレーティング培養皿は、更なるインキュベーションのためにインキュベーターに戻される。更に一定時間後、プレーティング培養皿を回収し、再び撮像する。次に、先の画像が後の画像とピクセル毎に比較される。上述したように、これを行うために、撮像装置は、第1の画像内のピクセルを第2の画像内のピクセルと位置合わせして、微生物増殖を示す可能性があるピクセルの変化を特定する必要がある。
【0011】
培養培地に対する異なるコロニーのコントラストにより、コロニーを区別して自動化されたコロニー採取を容易にする能力が提供される。この点に関して、バーコード基準情報は、時間tにおけるプレーティング培養皿の画像内のピクセルを後の画像(時間tx+1において取得された画像)内のピクセルと位置合わせするために使用されるだけではなく、ラベルによって提供される基準情報を参照して、微生物同定及び抗生物質感受性等の下流検査のために対象のコロニーを採取するために使用される装置内の対象のコロニーの位置を判定することができる。
【0012】
上述したように、プレーティング培養皿の初期画像が取得された後、プレーティング培養皿を一定期間インキュベートして、プレート上の微生物が存在する場合、その微生物が増殖するのを可能にする。本明細書に記載されるシステムの更なる例では、システムは、以下の自動化されたステップ、すなわちi)培養皿のためのステージ上にプレーティング培養皿を位置決めすることと、ii)ステージ内に位置決めされたプレーティング培養皿の画像を取得することと、iii)培養皿の識別情報を取得することと、iv)撮像デバイスによって取得された画像をプレーティング培養皿の記憶された初期画像と比較して、微生物の選択されたコロニーの位置に関する情報を取得する(採取されるコロニーの位置に関して採取ツールデバイスに通知する)ことと、任意選択で、vi)微生物の選択されたコロニーに対して実行されるプロセスに関する処理命令を取得することと、を実行する。培養皿が採取ツールデバイスの中に配置された際の培養皿の画像を初期画像と比較することによって、選択されたコロニーの位置を、例えば、コンピュータ化された画像比較によって、自動的に取得することができる。
【0013】
ラベル、又はより具体的にはラベルの側面は、撮像装置内のプレーティング培養皿の位置を特定して、第1の先の時間に取得されたプレーティング培養皿の画像と、第2の後の時間に取得されたプレーティング培養皿の画像とのピクセル毎の位置合わせを容易にするための基準として使用される。上述したように、ラベルがこの位置合わせを容易にするために使用される場合、撮像デバイスは、画像情報におけるラベルの位置を特定することができる必要がある。
【0014】
ラベルの側面のみでは、異なる時間に取得された画像内のピクセルを位置合わせすること、及び経時的に対象のコロニーの座標を特定することのいずれも不十分である。マシンビジョン装置を使用して、皿の中心等の別の基準点を検出し、そこから皿の座標を決定することができる。皿上のコロニーの位置は、その中心からの相対的距離及びラベルゼロオフセットに対する角度オフセットを参照して決定することができる。対象のコロニーの相対的位置が決定されると、プレーティング培養皿を別のシステムに移動して、以下の2つのステップを実施することができる。皿は、例えば機械的手段によってセンタリングされる。バーコードゼロオフセットは、例えば、固定センサによりバーコードラベルの存在を検出しながら皿を回転させ、バーコードスキャナによりバーコードを走査することによって検出される。この時点で、皿の中心は既知となり、バーコードゼロオフセットは既知となるため、以前に参照されたコロニーの位置は、皿の中心までの距離及びバーコードラベルまでの角度オフセットとして記憶されていることから、容易に算出することができる。本明細書に記載されるような自動化システムは、第2のシステム(この例ではコロニー採取システム)内のカメラ又はコンピュータビジョンシステム、又はコロニー位置情報が必要とされる任意の他のシステムを必要としない。この例で使用される角度オフセットは、バーコードラベルを参照するものであるが、上述したように、皿の基準特徴、又は皿に適用された任意の固有の基準特徴を参照することができる。
【0015】
ラベルをピクセルの位置合わせに使用するためには、ラベルの横方向端部の少なくとも1つを、テレセントリックレンズを使用する撮像装置によって明確に取り込む必要がある。ラベルの長さ及び皿の曲率は既知であるため、システムは、ラベルの他端の位置を算出し、次にラベルの中心を算出することができる。プレート上の任意の物体の座標は、プレート中心及びラベル中心の知識を用いて決定することができる。上述したように、特にオペレータの介入をほとんど又は全く伴わずに、プレーティング培養皿のための監視能力を提供するテレセントリックレンズを配備した改良型撮像システムが当技術分野で必要とされている。培養皿の側面上のラベルが位置合わせ基準として使用されるシステムにテレセントリックレンズを配備するためには、テレセントリックレンズがラベルの画像を取得できるようにするためのミラーを使用することが重要である。
【0016】
1つの態様において、本明細書に記載されるシステムは、プレーティング培養皿の画像を取り込むシステムを提供する。システムは、i)プレーティング培養皿の画像を取り込むように適合されたテレセントリックレンズを伴うカメラを有する撮像デバイスと、ii)プレーティング培養皿の側面上のラベルが撮像デバイスによって取り込まれた画像内で明確に可視であることを確実にするように適合されたミラーと、iii)画像取り込みのためにプレーティング培養皿を照明する少なくとも1つの光システムとを有する。任意選択で、ミラーは、ラベルが配置されたプレーティング培養皿に対して、垂直方向において、ミラーがプレーティング培養皿の底部の下方にあるように配置される。しかしながら、横方向では、ミラーの少なくとも一部は、プレーティング培養皿の底部の下に延在する(すなわち、一部は、ミラーの上方に着座するプレーティング培養皿によって画定される周縁の中に延在する)。ミラーの少なくとも一部は、ミラーの上に位置するプレーティング培養皿の周縁を越えて横方向に延在することになる。
【0017】
任意選択で、本明細書に記載される画像取り込みシステムは、テレセントリックレンズモジュールを有することができ、該テレセントリックレンズモジュールは、プレーティング培養皿に対して、撮像デバイスのテレセントリックレンズ及びカメラの位置を位置合わせし、固定する。テレセントリックレンズモジュールは、1つ以上のブラケットと1つ以上のプレートとを備える。
【0018】
任意選択で、本明細書に記載される画像取り込みシステムは、インキュベーター雰囲気を調節し、サンプル標本の高解像度デジタル画像を取得する統合インキュベーター及び画像取り込みモジュールの一部であり得る。任意選択で、画像取り込みモジュールには、画像取り込みモジュールから搬送されたプレーティング培養皿を受容するステージが設けられる。ステージには、プレーティング培養皿の側面上のラベルを走査するスキャナが設けられる。このステージにはまた、プレートバンパーが設けられ、このプレートバンパーのうちの1つは、ヒンジで連結されており、プレーティング培養皿がステージ中に受容された場合の開位置から、ラベルがステージに対して所定の向き内にあることをスキャナが決定する場合の閉位置まで移動する。ステージの目的は、インキュベーター内に受容されたプレーティング培養皿上のラベルの向きが、プレート間で或る程度一定になるようにすることである。プレーティング培養皿上のラベルを許容可能な向きの所定の範囲内に維持することによって、ラベルがミラーと位置合わせされるように、撮像装置内にプレーティング培養皿を位置決めすることが容易となる。また、これにより、プレート内の撮像条件の均一性がより向上する。具体的には、撮像装置は、プレート表面の完全に均一な照明を提供しない。画像が取得されるたびにプレートを撮像装置に対して同じ位置に配置することによって、プレート表面の各領域又はエリアは、経時的に同一の撮像条件に供されることになる(すなわち、領域「x」に対して、撮像条件「y」は、時間t、tx+1、tx+2等における画像について同一となる)。
【0019】
プレーティング培養皿が、或る所定の向きを伴わずに撮像装置の中に受容された場合、向きは、本質的にランダムであり、撮像装置は、ラベルがミラーと位置合わせされる向きにプレーティング培養皿を配置するために、時間及び処理リソースを費やさなければならない。このシナリオでは、ラベルはプレート周囲上のどの位置にも存在し得るため、ラベルがミラーと位置合わせされるように、プレーティング培養皿を180度以上回転させる必要があり得る。プレーティング培養皿が撮像装置内に受容される際に、ラベルを読み取るセンサに対して所定の範囲内のラベル向きでプレーティング培養皿が撮像装置内に送達された場合、撮像装置は、撮像前に、その上にラベルを伴うプレーティング培養皿を再方向付けさせる時間を短縮することができる。
【0020】
更なる利点は、本明細書に記載されるシステム及び方法の種々の態様によって実現され、以下の詳細な説明から明らかになるであろう。本明細書中に記載されるシステムの利点の1つは、プレート接種のための自動化プラットフォームとの統合であり、プレーティング培地上へのサンプルの接種、培地上へのサンプルのストリーキング、及び標的微生物の増殖のための接種した培地のインキュベーションのためのエンドツーエンド自動化を提供する。本システムは柔軟性があり、手動で接種したプレーティング培地を取り扱うこともできる。
【0021】
本明細書に記載されるシステム及び方法は、詳細な説明及び添付の図面からより良く理解されるであろう。これらの図面は、説明されるものを例示することを意図しており、限定することを意図していない。
【図面の簡単な説明】
【0022】
図1】非テレセントリックレンズを有するカメラを使用して取得された、プレーティング培養皿の側面にバーコードラベルを有するプレーティング培養皿の画像である。
図2】テレセントリックレンズを有するカメラを使用して取得された、プレーティング培養皿の側面にバーコードラベルを有するプレーティング培養皿の画像である。
図3】本明細書に記載される画像取り込みシステムで使用される凸面ミラー上の光ビームの反射の例示的な概略図である。
図4】本明細書に記載されるシステムの凸面ミラー上の光ビームの反射を示す例示的な概略図であり、ミラーは、異なるサイズのプレーティング培養皿の隣接する側及び下に配置される。
図5】プレーティング培養皿の側面に沿ってバーコードラベルを伴うプレーティング培養皿の例示的な画像であり、画像は、本明細書に記載されるシステムを使用して取得され、該システムは、テレセントリックレンズと、ラベルが配置されるプレーティング培養皿の側面に隣接して配置される弧状ミラーとを伴うカメラを有し、ミラーの少なくとも一部は、プレーティング培養皿の底部の真下に延在する。
図6】インキュベーターと統合可能である、本明細書に記載されるシステムの画像取り込みモジュールの内部部分の斜視図である。
図7】本明細書に記載されるシステムの画像取り込みモジュールの背面斜視図である。
図8図7の画像取り込みモジュールへのプレーティング培養皿の進入の詳細図である。
図9】本明細書に記載されるシステムの画像取り込みモジュールの側面斜視図である。
図10図9に示される画像取り込みモジュールのバッファ位置の詳細図である。
図11図9に示される画像取り込みモジュールの走査ステーションの詳細図である。
図12図9の画像取り込みモジュールの割出ステーションの詳細図である。
図13図9の画像取り込みモジュールの蓋マニピュレータの詳細図である。
図14】プレーティング培養皿を割出ステーション内に進める様子を示す図である。
図15】プレーティング培養皿が割出ディスクによって配置されるガラスプレートを示す図である。
図16】割出ディスクを示す図である。
図17】本明細書に記載されるシステムの一態様による、割出ディスク機構を示す図である。
図18図6に示すシステムの一態様の画像取り込みシステムの断面図であり、断面18-18がテレセントリックレンズを二分している。
図19図18に示す画像取り込みシステムの撮像チャンバの詳細図である。
図20図19の一部の拡大図であり、撮像ステーションにおける割出ステーションを示す。
図21】画像取り込みシステムのトップダウン図であり、プレーティング培養皿と、プレーティング培養皿の少なくとも部分的に下にあるミラーとを示す。
図22図6の撮像装置の撮像ディスク出口位置を示す図である。
図23】1つの態様による、本明細書に記載される撮像装置から出るプレーティング培養皿を示す図である。
図24】ガラス皿支持体上にプレーティング培養皿を位置付けること、及び皿の中心に対してラベル中心を位置付けて培養皿の画像中の物体に座標を割り当てることの両方のための、本明細書中に記載される方法についてのフローチャートである。
図25】ラベルの画像から作成された極画像を示す図である。
図26A】プレーティング培養皿の座標系を決定するために使用される、プレーティング培養皿の中心に対するラベルの角度位置を示す図である。
図26B図26Aの幾何学的解析を、ガラスプレート上にプレーティング培養皿の画像に投影したものを示す図である。
図27】プレーティング培養皿及びプレーティング培養皿のためのガラス皿支持体を表すマスキングエリアを示す図である。
図28】プレーティング培養皿の縁部の極画像を示す図である。
図29A】プレーティング培養皿リフトを示す図である。
図29B】プレーティング培養皿走査リフトを示す図である。
【発明を実施するための形態】
【0023】
図1は、プレーティング培養皿の外側にラベル12を有するプレーティング培養皿11の画像である。任意選択で、ラベル12はその上にバーコード120を有する。画像中に微生物の増殖は認められない。画像は、非テレセントリックレンズを有するカメラを使用して取得された。かかるレンズの1つの非限定的な例として、例えば、標準的な50mm~55mmのf1.4写真用レンズが挙げられる。バーコード120を有するラベル12は、画像上ではっきりと確認することができる。しかしながら、図2を参照すると、テレセントリックレンズを有するカメラを使用して、同じプレーティング培養皿11の画像を取得する場合、バーコード120を有するラベル12は、画像内であまり見えなくなる。
【0024】
上述したように、ラベルは、異なる時間に撮影されたプレーティング培養皿の画像間のピクセル位置合わせを容易にするための基準として使用される。ラベルは、任意選択でバーコード情報を有する。バーコードは、プレーティング培養皿、培養培地のタイプ、サンプル等を特定する情報を含むことができる。ラベルの端部121、122は、異なる時間に取得された画像間のピクセル位置合わせを行うために、画像上で明確に視認可能である必要がある。
【0025】
撮像装置が位置合わせを容易にするラベルについての情報を取得するために、ミラーは、プレーティング培養皿の側面上のラベルを反射するように、プレーティング培養皿に対して位置決めされる。いくつかの態様において、ミラーは、プレーティング培養皿の底部の下方に配置される。ミラーの少なくとも一部は、ミラーのその一部がミラーの上に保持されたプレーティング培養皿によって画定される周縁内にあるように、プレーティング培養皿の下で横方向に延在する。ミラーの一部は、ミラーの上に保持されたプレーティング培養皿によって画定される周縁を越えて延在する。任意選択で、ミラーは凸面ミラーである。
【0026】
図3は、本明細書に記載されるような凸面ミラー13上での光ビームの反射の例示的な概略図を示している。光線14は、本質的に垂直に下向き(14)に凸面ミラー13に方向付けられる。光線14がミラー13の球面に衝突すると、光線は、反射面では入射角が反射角に等しいという既知の原理に従って反射(15)される。
【0027】
上述したように、画像位置合わせのために、ラベルの縁部の少なくとも1つが検出される。この縁部の検出は、プレーティング培養皿の中心に対してラベル中心を配置するために用いられる。ラベル中心は、一部の先験的(a priori)知識(すなわち、ラベル長、ミラー曲率、及び皿曲率)に基づいて決定される。次いで、この情報を使用して、プレーティング培養皿中の物体の相対的配置が理解される。次に、プレーティング培養皿が撮像装置に持ち込まれると、ラベルの縁部の少なくとも1つが再び決定される。皿の中心に対するラベル中心に関する情報に基づいて、ソフトウェアは、先の画像と後の画像との間のオフセットを算出することができる。そのオフセットを使用して、撮像装置は、第1の画像内のピクセルを第2の画像内のピクセルと位置合わせする。
【0028】
ラベルの中心は位置合わせに使用され、ラベル中心は、ミラー上のラベル縁部(又は少なくとも1つのラベル縁部)の位置を検出することによって決定されるため、ラベル縁部の高品質画像が必要とされる。高度に研磨されたミラー表面からの反射は、ラベル縁部の画像を歪ませるか又はぼやけさせる可能性があるため、高度に研磨されていないミラー表面により、歪み及びぼやけを或る程度緩和することができる。しかしながら、ラベル情報、例えば、バーコード情報又はラベルが有する他の情報の画像が求められる場合、鏡面反射を提供する研磨された鏡面を有する、高度に研磨されたミラーが好ましい場合がある。求められるラベル情報に基づいて、当業者は、所望のタイプの反射(すなわち、鏡面反射又は拡散反射)を選択することができる。
【0029】
プレーティング培養皿は、様々なサイズで提供することができ、対象のラベルは、プレーティング培養皿上の様々な位置に配置することができる。当業者は、プレーティング培養皿の所与のサイズに対するラベルの反射を提供するために許容可能なミラーの寸法、ミラーの屈曲、及びこれらのプレーティング培養皿の各々に隣接し、かつその下にあるミラーの配置、並びにプレーティング培養皿上の対象のラベルの配置及びサイズを決定することができる。
【0030】
図4は、凸面ミラー23上の光ビームの反射を示す例示的な概略図を示しており、ミラーは、異なるサイズのプレーティング培養皿21A~21Dの下に位置決めされている(図4には、各プレーティング培養皿の一部のみが示されている)。図4に示すように、ミラー23の一部は、ミラー23を覆うプレーティング培養皿21A~21Dによって画定される周縁28へと横方向に延在する。ミラー23の別の部分は、この周縁の横方向外側に位置する。概略図から分かるように、ミラー23の配置及びサイズは、異なる直径及び異なる高さのプレーティング培養皿と協働して、プレーティング培養皿上のラベルの反射を提供するように構成される(異なる皿構成は21A~21Dである)。ミラー23は、プレートホルダ27によって所定の位置に保持される透明な(例えば、ガラス、プレキシガラス)培養皿窓26の上に配置される。培養皿窓26は、本明細書においてガラスとして説明されるが、当業者は、他の透明材料(例えば、アクリルガラス、プレキシガラス等)もまた、かかる材料が十分に透明かつ非反射性であることを前提として使用され得ることを理解するであろう。プレーティング培養皿21A~21Dは、(本明細書において後に詳細に説明される)割出ディスクによってガラスプレート26の上に保持される。ガラスプレート26により、プレーティング培養皿21A~21Dをプレーティング培養皿21A~Dの下から照明することが可能となる。図示したように、ガラスプレート26は、プレーティング培養皿21A~21Dの側方限界を越えて延在する。ガラスプレートは、不透明でガラスプレート26の周縁を囲むプレートホルダ27によって支持されている。プレーティング培養皿の寸法に依存して、かかる差異は、異なる皿プロファイル21A、21B、21C、及び21Dとして示され、ミラー23の位置は、異なる直径を有するプレーティング培養皿の側面上のラベルの画像を反射するように構成され得るか、又は任意選択で、異なる直径を有するプレーティング培養皿21A~21D上のかかるラベルの画像を反射するように調整され得るかのいずれかである。いずれにしても、プレーティング培養皿の側面の反射は、撮像される物体から本質的に垂直に光を受光するテレセントリックレンズによって取り込まれる。具体的には、プレーティング培養皿21Aは、第1の高さ及び第1の直径を有し、プレーティング培養皿21Bは、21Aよりも大きい直径を有するが、ほぼ同じ高さを有し、プレーティング培養皿21C及び21Dは、更に大きい高さを有し、21Aの直径よりも大きいが、21Bの直径よりも小さい直径を有する。ミラー23によって反射されたプレーティング培養皿21A、21B、及び21Cの側面の画像は、それぞれ25A、25B、及び25Cによって表される。24A、24B、及び24Cによって表されるそれぞれのラベル反射は、テレセントリックレンズに向かって方向付けられ、受信され、テレセントリックレンズは、プレーティング培養皿21A、21B、及び21Cの側面上のラベル(図示せず)の画像を取り込むことができる。そのラベル情報は、上述したように使用されて、介在するインキュベーションステップを用いて異なる時間に撮影されたプレーティング培養皿の2つの画像間で、プレーティング培養皿のピクセル毎の画像位置合わせが達成される。
【0031】
図5は、プレーティング培養皿11の側面に沿ってラベル12を有するプレーティング培養皿11の例示的な画像である。ラベル12は、その上にバーコード120を有する。しかしながら、上述したように、ラベル12が画像位置合わせに使用される場合、バーコード120がラベル12上にある必要はない。ラベル12は、プレーティング培養皿11の内側表面又はプレーティング培養皿11の外側表面のいずれかに配置することができる。
【0032】
本明細書に記載される1つの態様によれば、画像は、テレセントリックレンズを有するカメラと、プレーティング培養皿の下及びその側面に配置された円弧状ミラー13とを有するシステムを使用して取得される。画像装置は、ラベル12がミラー13と位置合わせされるように、プレーティング培養皿11を方向付ける。図5の画像から分かるように、バーコード120を有するラベル12は、ミラー13におけるその反射と同様に、はっきりと確認することができる。これにより、ラベル12の画像が、テレセントリックレンズを有する撮像装置によって取り込まれ、プレーティング培養皿11の第1の画像と、介在するインキュベーションステップを伴う後の時点で撮影されたプレーティング培養皿の第2の画像とのピクセル毎の位置合わせのために使用され得ることが確実となる。
【0033】
プレーティング培養皿は、ガラスプレート126の上に配置される。プレーティング培養皿11の取得画像の座標空間は、ラベル検出によって決定される。具体的には、ラベル12の両方の横方向端部128、129(また、図26Aの312、314)の正確な位置が、皿の輪郭に沿って決定される。これにより、ラベル中心が決定される。これらの位置は、培養皿11の中心を原点として使用する角度座標として取り込まれる。これらのラベル角座標及び皿の中心により、参照プレート中の画像上にマーキングされたコロニーの位置を正確に特定し、後にIdentifA又は任意の他の手動若しくは自動システムによって採取することができる。IdentifAとは、BD Kiestar(商標)ラボオートメーションソリューション(Becton Dickinson and Company)(BD)によって提供されるシステムである。皿の輪郭及び皿の中心は、皿を検出する前には未知である。
【0034】
図6は、インキュベーターと統合される、本明細書に記載される画像取り込みモジュール200の一態様の内部部分の斜視図である。特に、図6は、インキュベーティング培養システムから撮像ユニットを通ってインキュベーターに戻るコンベヤ240を示している。図6に示すように、プレーティング培養皿242は、コンベヤシステム240に沿って移動する。プレーティング培養皿242が指定された位置に到達すると、蓋マニピュレータ250は、プレーティング培養皿242から蓋を取り外す。次いで、プレートが走査リフトによって回転されている間に、ラベルがリーダー(すなわち、バーコードスキャナ又はRFIDリーダー)249によって読み取られる。次いで、プレーティング培養皿242は、割出ディスク251上に移動する。プレーティング培養皿242は、割出ディスク251の回転を介して、撮像ステーション253(図19)の中へ進む。割出ディスク251は、プレーティング培養皿を画像取り込みユニットの下の位置に移動させるものであり、これは、米国出願公開第2015/0299639号に詳細に説明されている。撮像後、プレーティング培養皿は、蓋が培養皿上に戻される位置260まで回転する。次いで、プレーティング培養皿242は、コンベヤ240上に再びオフロードされ、そこで、アンローディングステーション270に戻るように搬送される。アンローディングステーション270は、画像取り込みモジュール200が搭載されるインキュベーターキャビネット(図示せず)内に位置する。アンローディングステーション270は、スキャナ259及び割出ディスク(図示せず)を有する。スキャナ259は、プレーティング培養皿上のラベルの位置を決定し、別の走査リフト244’(図23)は、ラベルがアンローディングステーションからプレーティング培養皿をオフロードするロボット(図示せず)に対して所定の向き内にあるように、プレーティング培養皿242を回転させる。
【0035】
ラベルがアンローディングロボット及びローディングロボットに対して、プレーティング培養皿242上でほぼ同じ向きにあることにより、ラベルが撮像ステーション253(図20)中のミラー33と位置合わせされることを確実にするために割出ディスク251中に配置された場合、プレーティング培養皿242を走査リフト244’によって潜在的に回転させる必要性は或る程度減少する。センサがラベルの位置を決定すると、ソフトウェアは、プレーティング培養皿の回転を制御して、ロボットに対して所望の向きにラベルを配置する。このアプローチによって提供される効率は上述したとおりである。
【0036】
図7は、図6に示した画像取り込みモジュールの背面斜視図である。図7は、プレーティング培養皿242が、画像取り込みモジュールの中に進入(276)し、そこから退出(277)する入口サブシステム275を示している。培養皿の進入(276)のための装置は、図8に詳細に示される。装置は、プレーティング培養皿242が培養皿リフト244の吸引カップ243上に送達されたことを確認する。吸引カップ243は、固定プラットフォーム248によって支持される。培養皿リフト244上のプレーティング培養皿242の配置は、センサ245によって確認される。本明細書に記載されるようなリフト244は、リフト244がプレーティング培養皿を上下に移動させる一方で、走査リフト244’/244’’がプレーティング培養皿242を上下に移動させ、また、プレーティング培養皿を回転させるという点で、走査リフト244’/244’’とは区別されるべきである。リフト244は図29Aに示され、走査リフト244’/244’’は図29Bに示されている。図29Aのリフトは、非回転プラットフォーム248を有し、したがって回転機構を有さず、リフト機構のみを有する。図29Bの走査リフト機構は、走査リフト244’の回転及びリフト機構によって制御される回転プラットフォーム248’とともに示されている。
【0037】
図9は、図6に示される画像取り込みモジュールの側面斜視図である。図9は、バッファ位置246を示しており、該バッファ位置246において、培養皿(バッファ位置が見えるように図示せず)は、割出の前に保持される。バッファ位置246では、画像取り込みモジュールが撮像のために次の培養皿を受容する準備ができるまで、プレーティング培養皿が保持される。図9はまた、走査リフト244’及び割出ディスク251の上に配置されたカバー247を示している。
【0038】
図10は、スキャナ249を有する走査ステーション239の詳細図であり、培養皿は、図9のバッファ位置246から解放された後に移動される。図9のカバー247は、図10では取り外されている。この位置には、培養皿走査リフト244’も存在する。培養皿走査リフトは、吸引カップ243’及びセンサ245’を有する。吸引カップ243’は回転プラットフォーム248’上にある。走査ステーション239はまた、蓋マニピュレータ250が位置する位置でもある。図10に示すプレーティング培養皿242は、蓋255が取り外されている。図11は、蓋マニピュレータ250を示しており、該蓋マニピュレータ250は、培養皿蓋255をプレーティング培養皿242から持ち上げる吸引カップ252をその上に伴うアーム278を有する。
【0039】
図12を参照すると、培養皿蓋255は、プレーティング培養皿242から持ち上げられている。走査リフト244’は、スキャナ249がプレーティング培養皿242の側面上のラベルを読み取ることができるように、プレーティング培養皿を回転させる。培養皿は、画像取り込みシステム30(図18)の中に導入される際に予め方向付けされているため、プレーティング培養皿242は、スキャナ249の視野内に入るように約90度だけ回転される。バーコードが読み取られると、スキャナは、オフセットタイマを始動させる信号をシステムコントローラに送信する。タイマ持続時間の間、バーコードは、撮像位置(以下に説明される)内のミラーと位置合わせして配置される。タイマがタイムアウトすると、培養皿リフトは、培養皿をコンベヤ240上に下降させ、プレーティング培養皿242は、次の位置に進むことが可能になる。
【0040】
培養皿蓋255は、プレートの画像が取得される間、プレーティング培養皿242から離れたままである。図13を参照すると、蓋マニピュレータ250は、吸引カップ252’を有する第2の蓋マニピュレータ250’に蓋を移動させ、該吸引カップ252’は、培養皿の画像が取得された後、培養皿が培養皿蓋255を受容するための配置に移動されたときに、プレーティング培養皿242上に戻して配置するために培養皿蓋255を受け入れる。蓋マニピュレータ250’は、1つの態様において、3つの異なる垂直位置を有するシリンダである。シリンダには吸引カップ252’が取り付けられている。シリンダは、その上方位置で始動する。培養皿蓋255が蓋マニピュレータ250によって定位置に進むと、シリンダは、吸引カップ252’が培養皿蓋255に接触する第2の位置まで降下する。次いで、シリンダ蓋は、第3の下方位置に進み、そこで、プレーティング培養皿242上に解放されて戻される。
【0041】
図14を参照すると、プレーティング培養皿242は、スキャナ249によって走査された後、コンベヤ240によって割出ディスク251に進む。割出ディスクは、x-y-z座標空間におけるプレーティング培養皿242の位置を固定する。このようにして、プレートは、プレートが撮像されるたびに同様の位置及び向きを有することになる。プレートは、3つのバンパー280’、280’’、及び280’’’によって傾斜される。バンパー280’は完全に固定され、バンパー280’’は軸受(図示せず)上に固定され、これによりプレートが3つのバンパーの間に固定されて最大のグリップ力が得られる。より小さいバンパー280’’’が、ヒンジ付きアーム(フリッパ)281に取り付けられており、該ヒンジ付きアーム281は、培養皿242上で閉じてそれを適所に固定する。この構造についても、図15を参照して説明される。
【0042】
図16は、割出ディスク251の全体を示している。プレートが位置合わせされ、撮像位置がプレーティング培養皿を受容する準備ができると、割出ディスク251は90度回転してプレートを撮像位置に移動させる。割出ディスクは、1つの態様において、間欠回転運動を提供するための内部機構(例えば、ジェネバ機構)を有する。図16に示す機構は、2つのトラックを有する。1つのトラック283は、割出ディスク251を進めるためのものである。第2のトラック284は、プレーティング培養皿を90度だけ進めた後に機構を係止するために使用される。
【0043】
図17を参照すると、図16に示す割出ディスク251は、ステッピングモータ287に固定されたアーム286内の軸受285によって駆動される。割出ディスク251は、4つの割出位置を有しており、それらの位置は、係止部288を通して固定される。1つの態様において、割出ステーションの回転に対するステッパ回転の比は、4対1である(すなわち、ステッパモータが1回転するごとに、割出ステーションは90度進む)。
【0044】
図18は、本明細書に記載されるシステムの1つの態様の画像取り込みシステム30の断面図であり、この断面は、図6の線18-18に沿ってテレセントリックレンズ/カメラアセンブリ40を二分している。システムは、プレーティング培養皿が受容される撮像チャンバ42と、撮像中にプレーティング培養皿を支持する支持領域38とを含む。
【0045】
図19は、図18に示した装置の撮像チャンバ42の拡大図である。図示の態様において、3つの光源、すなわち、上部光源50a、グレージング光源50b、及び底部光源50cが存在する。図示したような各光源は、円形構成の12個のLEDストリップを有する(その円の一部のみが図19の破断図に示される)。上部光50a及びグレージング光50bを用いて、黒色バックグラウンドが、プレーティング培養皿(図示せず)の下に位置決めされる。底部光源がプレーティング培養皿を照射するために、このバックグラウンドは、撮像チャンバ42外に移動される。上部51a、グレージング51b及び底部51cの3つの光ディフューザが、各照明源に対して設けられている。
【0046】
グレージング光源ストリップ用のディフューザ51bが、リフト機構に取り付けられている。図示したように、プレーティング培養皿を撮像位置へ、かつ撮像位置から進めるために、割出ディスク251のリフト機構51dによって、グレージング光ディフューザ51bが邪魔にならないように持ち上げられる。
【0047】
図20を参照すると、ミラー33が、透明カバー45の下に位置決めされた光源50cからの照明を可能にする透明カバー45の上に配置される。可動黒色バックグラウンド46は、透明カバー45の下に配置される。
【0048】
図20は、画像取り込みシステム30の撮像ステーション253内にプレーティング培養皿(図示せず)を受容する構造のトップダウン斜視図である。図20はまた、プレーティング培養皿が割出ディスク279によって配置される位置に隣接するミラー33を示している。図示したように、ミラー33は、ミラー33全体がプレーティング培養皿の底部の下方になるように配置される。横方向に、ミラーの少なくとも一部は、プレーティング培養皿によって画定される周縁の中に延在する。しかしながら、図4に示すように、ミラーの大部分は、プレーティング培養皿によって画定される周縁の外側にある。
【0049】
図21を参照すると、プレーティング培養皿242は、割出ディスク279によって搬送される。割出ディスク279には、プレートバンパー280’、280’’、280’’’が設けられている。バンパー280’’’は、ヒンジアーム281上に取り付けられ、該ヒンジアーム281は、プレーティング培養皿242がコンベヤ240から割出ディスク279によって受容された場合に開位置にある。走査リフト244’が、ラベル32が所定の範囲内となるようにプレーティング培養皿242を方向付け、割出ディスクに解放した後、ヒンジアーム281は、閉位置に移動して、割出ディスク279がプレーティング培養皿242を撮像ステーション253に進めたときにラベルがミラー33と位置合わせされるように、プレーティング培養皿242を適所に保持する。グレージング光ディフューザ51bも図21に示されている。
【0050】
図22は、プレーティング培養皿242が、割出ディスク出口位置にどのように進むかを示している。上述したように、割出ディスクの上流スロットは、次のプレーティング培養皿を含んでおり、それにより、前のプレーティング培養皿が撮像ステーションから出るのとほぼシームレスに、次のプレートの撮像を開始することができる。割出ディスク251の出口位置において、フィンガ機構87は、フリッパ281を開き、その結果、プレーティング培養皿242がストッパ88に搬送される。プレーティング培養皿が該ストッパ88に保持されるため、蓋マニピュレータ250’を用いて、プレーティング培養皿242用の蓋255をプレーティング培養皿上に配置することができる。真空センサ(図示せず)が吸引カップ252’からの蓋の解放を確認すると、ストッパ88が下げられ、プレーティング培養皿が解放される。
【0051】
図23は、入口サブシステム275へのプレーティング培養皿242の戻る様子を示しており、ここで、プレーティング培養皿242は、画像取り込みモジュール200の中に進入(276)し、そこから退出(277)する。プレートはストッパ90によって停止する。吸引カップ243’は、プレートを走査リフト244’’に固定する。真空を確認した後、走査リフト244’’が上昇する。プレーティング培養皿242を回転させ、バーコードをスキャナ259によって走査することで、正しいプレートが確認される。また、プレーティング培養皿242は、バーコード及びオフセット設定を使用して方向付けされる。このように、プレーティング培養皿242が新しいサイクルのために呼び出された場合、向きは、最適なスループットのために予め定義される。
【0052】
任意選択で、ラベル検出には、システムによって記憶された或る特定の情報(本明細書において先験的(機械的)知識と称される)が用いられる。かかる情報には、システム較正又はシステム構成要素の既知の機械的定数から取得される情報が含まれるが、これらに限定されない。システム及び方法が記憶した情報は、図15に示すガラスプレート300の表面積を含む。ガラスプレートが底部から照明された場合、ガラスプレートエリアの可視部分は、円319によって近似される。
【0053】
また、記憶される情報には、ミラーアーク記述を含む。図15には、底部照明(透過光)によって見られるような、その上にプレーティング培養皿を有さないガラスプレートエリア300が示されている。較正中、ガラスプレートエリア300は、中心310を有する円319によって近似され、画定される。円の中心及び半径も近似される。円弧状ミラー313は、較正中に特定される。円弧状ミラー313の両方の端部位置332、334は、ガラスプレートエリア300に対して特定される。円弧状ミラー313の内径は、ガラスプレート319の直径よりも僅かに小さく、円弧状ミラー313の外径は、支持プレート319の直径よりも大きい。ガラスプレート300と円弧状ミラー313とは、共通の中心を有する。角度θは、円弧状ミラー313によって定められる角度である。
【0054】
上記で説明したように、割出ディスク251は、バンパー280’、280’’、及び280’’’並びにフリッパ281を使用して、撮像装置に対する培養皿の位置を固定する。
【0055】
ミラーアークは、上述した中心310で交差する線331及び332によって境界が定められる。角度θを使用して、支持中心310に対するミラーの端部の角度が特定される。支持体319の周縁は、支持体中心310及び支持体の半径から算出される。
【0056】
ラベルの画像を取り込むために、ラベルとミラーとが位置合わせされる。ラベルの縁部を検出し、ラベル配置がミラー配置と位置合わせされるようにプレーティング培養皿を回転させ、ラベルがミラーによって反射されるようにすることで、プレーティング培養皿の向きが決定される。図6を参照すると、プレーティング培養皿11は、コンベヤシステム240によって撮像装置内に搬送される。プレーティング培養皿11上のラベル(図示せず)は、プレーティング培養皿11がスキャナ249を通過して輸送されるときに走査される。ラベル配置を検知することにより、割出ディスク251は、プレーティング培養皿11が撮像位置に進んだ場合にラベルとミラー13と位置合わせし得る位置で、ラベルを有するプレーティング培養皿を受容することができる。撮像位置を図19に示している。
【0057】
前述のように、ラベルを使用して、プレーティング培養皿の現在の画像とプレーティング培養皿の以先の画像とを方向付けて、位置合わせすることができる。両方の画像は、最初に、第1の画像内の皿の中心を第2の画像内の皿の中心と位置合わせすることによって並進される。次に、ラベル縁部と皿の中心とによって定義される角度を用いて、一方の画像を他方の画像に対して回転させる。基準情報としてラベルの画像を使用することで、経時的に撮影された同じプレーティング培養皿の画像間のピクセルデータの位置合わせが容易になる。
【0058】
本明細書で詳細に説明されるように、システムは、現在の画像だけでなく、過去及び将来の画像について、プレーティング培養皿の向きを理解するために必要とされる情報を取得するために、皿を検出して、異なる時間に撮影された画像を位置合わせすることができるようにする必要がある。このようにして、画像毎に変化するピクセルを検出することができる。プレート中心及びラベル中心を決定する方法は、図24に説明される。
【0059】
皿の検出によって皿の中心が決定されると、画像は、同じプレーティング培養皿の以先の画像と比較することができ、プレーティング培養皿の以前の向きに対する撮像装置内のプレーティング培養皿の向きが決定される。並進を用いて、両方の画像がそれらの皿の中心に対して位置合わせされると、画像は、次いで、それぞれのラベル中心に対する回転を使用して(すなわち、第1の画像内のラベル中心を第2の画像内の皿の中心と位置合わせすることによって)位置合わせされる。
【0060】
任意選択で、本明細書に記載される画像取り込みシステムは、テレセントリックレンズモジュールを有することができ、該テレセントリックレンズモジュールは、プレーティング培養皿に対して、撮像デバイスのテレセントリックレンズ及びカメラの位置を位置合わせし、固定する。テレセントリックレンズモジュールは、1つ以上のブラケットと1つ以上のプレートとを備える。任意選択で、カメラ付きテレセントリックレンズを傾斜させるためにボールジョイントが使用されてもよい。これにより、テレセントリックレンズの軸及びカメラ視野をプレート表面に対して垂直に(又は所望であれば他の角度に)設定することが可能になる。
【0061】
任意選択で、本明細書に記載される画像取り込みシステムは、インキュベーターと統合されたモジュールであり得る。引用することによりその全体が本明細書の一部をなすものとする米国特許出願公開第2015/0299639号は、インキュベーター雰囲気を調節し、サンプル標本の高解像度デジタル画像を取得する、かかる統合インキュベーター及び画像取り込みモジュールを開示している。この例では、画像取り込みシステムは、微生物及び細胞培養物を増殖及び維持するために使用されるサンプルインキュベーターに直接隣接する封入ユニットである、モジュールの形態であり得る。これにより、1つ以上の介在環境を通した輸送を伴わずに、インキュベーターから画像取り込みモジュールの環境の中へサンプルを直接輸送することが可能になる。プレーティング培養物を含有する皿等のサンプル容器は、ポート又はポートの進入ドアを通して画像取り込みモジュールの中に運搬される。その後、画像取り込みユニットがサンプル容器を電子的に撮像(例えば、デジタル写真)し得るように、サンプル容器の蓋を取り外すことができる。蓋は、サンプル容器が撮像された後に交換されてもよく、サンプル容器は、インキュベーションを継続するために、制御されたインキュベーター環境の中へ戻すために、同じドアを通して、又は代替として、ポートの退出ドアを通して戻されてもよい。米国特許出願公開第2015/0299639号に記載されるように、インキュベーターに直接隣接した画像取り込みモジュールを有することで、サンプル容器が撮像される間、サンプル容器が外部環境(精密に制御された温度及び雰囲気並びに潜在的汚染物質の欠如を伴う)に曝露される時間量が低減される。画像取り込みモジュールは囲まれているため、実験室雰囲気とインキュベーター雰囲気との間のシールドとして作用し、実験室雰囲気がインキュベーターに入り、サンプル容器がインキュベーターから入り、ドアを通ってインキュベーターに戻る程度を低減する。
【0062】
上述したように、プレーティング培養物の画像は、従来技術に記載されるように取得される。かかる画像は、様々な露光時間を使用して取得される。露光時間は、画像の対象領域における目標強度範囲を提供するように決定される。本明細書に記載されるシステムを動作させる一例では、カラー画像は、側面照明のみを使用して生成される。画像の露光時間は、ミラーアークから取得される画像の強度範囲が目標強度範囲内になるように制御される。目標強度範囲を有するミラーの画像が取得されると、画像の単色チャネルを使用して取得された画像を保持することによってグレースケール画像が取得される。典型的には、最も強い色チャネルがグレースケール画像を生成するために使用される。
【0063】
図25(A)を参照すると、ラベル410の反射を有するミラー400の線形画像が示されている。ミラーに沿った角度プロファイルを取得するために、ガラスプレートの周縁を画定する円の中心310を使用して、極座標系の原点が定義される。図26Aに示すように、中心310は、ミラー313の円弧の中心でもある。ここでは、対象領域はミラー313(図26A)である。ミラーアークに関する上述した先験的知識を使用して、ミラーの極画像及びミラー内のラベルの位置が生成される。
【0064】
図25(B)は、図25(A)の2次元画像の1次元信号である。この1次元画像は、当業者に既知の種々の方法で取得することができる。例えば、図25(A)の極座標画像内の列に対する平均は、図25(A)の画像内のピクセルの全ての列に対する合計、最大、又は最小のような縮小演算において使用することができる。図25(B)に示すように、ミラーの2次元極画像は、半径方向の次元に沿って、ミラーの1次元角度プロファイル及びミラーの端部に対するラベルの位置に縮小される。典型的には、極画像の全ての列の平均が、角度プロファイルを生成するために使用される。
【0065】
ミラーの角度プロファイルが分かると、ミラー上のラベルの反射又は画像が検出される。図10を参照して上述したように、ミラー上のラベルの反射は、その横方向端部によって範囲が定められる。角度に関して、ラベルは、θstartとθendとの間にあり、これは、角度プロファイルに沿った開始角度301及び終了角度302として図25(B)に示されている。
【0066】
ミラー上のラベルを検出するために、Ωは、ミラーアーク上の角度の全ての可能なペア(θstart,θend)のセットとして使用される。このセットは、予想されるラベルの1つ(以上)の物理的長さに基づいて、ラベル長の変動を定義した上で入力される。これにより、指定された長さよりもわずかに長いラベルが可能になるが、ほとんどの場合、指定された長さよりもわずかに短いラベルを可能にするものである。公差がラベルの長さから減算されると、システムは、ミラー上のラベル投影をミラーの実際の長さよりも短くする、皿壁上の曲がったラベルの座標(すなわち、端部)を特定することができる。ミラーアーク上で部分的にしか反射されないラベルの端部を特定するために、このセットΩは、等価ラベル長未満(ラベル長の25%未満まで)だけ離間された角度ペアを含むこともできる。かかる場合、これらの例ではラベルの一端がミラーの縁部を越えて延在するため、角度のうちの1つは、2つのミラー縁部のうちの1つに対応する。
【0067】
【0068】
【0069】
【0070】
【0071】
【0072】
図26Bは、底部照明を介して取得された培養皿の実際の画像である。その画像上には、ミラー端部332、334、ラベル端部312、314、ラベル中心316、ガラスプレート中心310、及びプレーティング培養皿の中心317がオーバーレイされている。中心310及び317が完全に位置合わせされていないことが明らかである。本明細書の他の箇所で述べたように、皿検出プロセスを実行して、皿の中心317、皿の輪郭309等を決定する必要がある。
【0073】
本明細書のシステム及び方法は、テレセントリックレンズを有する撮像デバイスの画像フィールド内で皿自体を検出する方法を展開するものである。皿の検出により、皿の中心317及び皿の輪郭309を決定する。次いで、皿の輪郭及び皿の中心を使用して、ラベルの端部の位置が特定される。次に、皿の中心は、画像位置合わせ及び物体検出に使用される座標系の原点として使用される。座標系は、ラベル中心(ミラーにおけるラベルの反射によって決定される)によっても決定される。上述したように、プレーティング培養皿(又は撮像される他のレセプタクル)は、より大きなガラスプレート300上に配置され、その上で、ガラスプレートホルダ(図5の127)によってその周囲に沿って保持される。本明細書中に記載されるようなプレーティング培養皿の画像を取得する場合、上記の座標系全体の完全性は、座標系における正確な座標をディスク中心に割り当てることに依存するため、最も外側の皿の縁部は、可能な限り正確に画定する必要がある。上述したように、培養皿の外周は、皿の取り扱いによる皿の変形(例えば、皿の壁を押すと小さな凹みができる)が考えられるにもかかわらず、円によって近似されている。
【0074】
プレートの全てのその後の自動検査(例えば、増殖の検出、コロニー計数又は同定)は、この画定された円形領域に制限される。上述したように、この領域の中心は、プレート基準の原点(すなわち、上述した座標系の原点)である。座標系を使用して、異なる時間に撮影された画像のピクセルを正確に位置合わせし、画像上にマーキングされ、後に(上述したIdentifA等のシステムによって)採取されるコロニーの位置を特定する。
【0075】
上述したミラー上のラベル検出と同様に、皿の周縁の画定には、特定の先験的(機械的)知識が必要となる。具体的には、円として記述されるガラスプレートエリア300の知識が必要である。ガラスプレートは、不透明なガラスプレートホルダ127を有するが、照明されるガラスプレートの部分のみが使用され、円によって近似される(図15)。底部照明は、図15の319によって近似されるガラスプレートエリアの可視部分の限界を画定するために使用される。
【0076】
図27を参照すると、330及び340は、それぞれ、培養皿の真下のガラスプレートエリア330及び培養皿を越えて延在するガラスプレートエリアのマスク340を示している。内側マスク330は、その中心をガラスプレートエリア319(図15)の中心と共有するディスクである。培養皿の画像は、底部照明を使用して取得される。対象領域330は、システムによって許容される任意の直径の培養皿を画定する円内に嵌合するように寸法決定される。対象領域340は、システムによって許容される任意のプレーティング培養皿の直径の外側に常にあるリングである。外側の対象領域340を使用して、ガラスプレートエリアのみを透過する(ガラスプレートエリアとプレートとの両方を透過しない)底部照明の強度を記述する白色統計値が測定される。逆に、黒色統計値は、ガラスプレートエリア円340の外側で(ガラスプレートエリア円340を越えて)測定される。これは、支持プレートホルダ127の不透明部分である。
【0077】
外側マスク340は、その中心をガラスプレートエリア319の中心と共有するリング340である。外側マスクは、ガラスプレートエリア319の外径と等しい外径を有する。外側マスク340の内径は、システムによって許容される任意の直径のプレーティング培養皿を画定する円の外側にあるように寸法決定される。
【0078】
上述したように、本明細書中で先に記載された画像取得方法を用いて、従来の画像取り込みにより、プレーティング培養皿のカラー画像が取得される。ガラスプレートによって画定される円319内に大きな強度範囲を提供する画像が取得される。マスク領域330と340との間で最も高いコントラストを有する色チャネルが保持され、これを使用してグレースケール画像が生成される。マスク領域330とマスク領域340との間のコントラストが、最も吸収の少ない皿(例えば、媒体のない空の皿)を使用して実験的に調整された閾値未満である場合、これは、システム内に皿が存在しないことを示す。
【0079】
図24は、プレート中心検出及びラベル中心検出の両方を使用して、異なる時間に取得された同じプレーティング培養皿の画像を位置合わせするために使用され得る座標系を定義するためのフローチャートである。上述したように、先験的知識(ステップ410)は、ガラスプレートエリア円(ステップ410)を含めて構成によって知られているか、又は較正中に発見され、ミラー限界(ステップ415)が使用される。ステップ420において、皿検出が適用して、システム内の皿の境界を定める円309の外周が決定される。ステップ430において、プレート外側円が、ステップ420における皿検出から決定される。
【0080】
ステップ416において、ミラーの画像が取得され、その画像からミラー上のラベル端部位置301、302が検出される。したがって、ステップ417におけるラベル端部位置は、ステップ416において決定される。ステップ418において、ミラー上のラベル端部位置(図26Aの301、302)は、その後、皿外周上に投影され(ステップ430)、それにより、プレート外周上のラベル端部位置(図26Aの312、314であるステップ419のデータ)が得られる。ステップ430は、図26Aの309を決定する。これにより、皿外周円309に沿ったラベル316の中心が、前述した128、129から取得される。
【0081】
極座標のための基準系は、ステップ440において決定された皿の周縁中心及びラベル中心位置を使用して定義される。これは、図26A及び図26Bに示されている。この基準系を使用して、異なる時間に撮影された画像のピクセル位置合わせし、画像上にマーキングされ、後に採取されるコロニーの位置を特定する。
【0082】
皿の周縁円309は、対象領域(ROI)を画定し、該ROIでは、プレートの全ての後続の自動撮像及び検出(例えば、増殖の検出、コロニー計数、又は同定)が制限される。
【0083】
マスク領域340内のメジアン強度値が算出される(厳密な不透明領域に対応する340のゼロ値はメジアンの算出に含まれない)。上述したように、マスク領域340は、対象となるプレート領域の外側の領域であり、プレートによって覆われていないガラスプレートの部分を含む。白色統計値が取得され、該白色統計値は、中央強度値よりも大きいこのマスク領域内の全ての強度値の最頻値である。ガラスプレートにおける強度は、皿の縁部と支持体との間の界面で異なる強度に遷移するため、この白色統計値を使用して、プレーティング培養皿の周縁を決定することができる。
【0084】
図28を参照すると、ガラス皿支持体の不透明な外側面分からプレーティング培養皿の内側まで延在する極座標画像が示されている。極座標系の原点は、ガラスプレートの周縁を画定する円の中心310である。図27のマスク領域330の内側の外側限界は、システムによって許容される最小のプレーティング培養皿よりも小さく、ガラスプレート周縁319は、図27のマスク領域340の外側の外側限界である。したがって、図28は、図27の画像から、すなわち底部照明によって取得される極座標画像である。半径の範囲は、ガラスプレート319の外周からプレート外周309の内側の半径までであり、システム内に配備された任意のプレーティング培養皿の内側に到達することを確実にするために、システムによって許容される最小のプレーティング培養皿の半径に基づいている。極座標画像の半径範囲は、ガラスプレートの円319の外側の不透明領域と、プレーティング培養皿の周縁309の内側の領域との両方について、プレート/支持体の全周の周囲の半径を含むように近似される。図28は極画像であるため、ガラスプレートエリア円の外側からプレートの内側までの半径方向寸法は、画像内のピクセルの各列に対するものである。プレーティング培養皿及びガラス皿支持体の中心が完全に位置合わせされていない場合、極画像は、プレーティング培養皿の周縁とガラス皿支持体の周縁との間の距離の変動を反映する。上述したように、プレート半径は、システムによって許容されるプレート半径の範囲によって決定される。白色統計値は、領域340に対するものである。黒色統計値321は、ガラスプレートエリアを越える(すなわち、ガラスプレートエリア円1よりも厳密に大きい半径についての)強度平均値である。
【0085】
プレーティング培養皿を検出するために、黒色統計値及び白色統計値に基づく黒色強度321から白色323強度への強い遷移が最初に決定される。上述したように、白色統計値は、マスク領域340内で算出され、かつ、常にガラスプレートの周縁の内側にあるが、プレーティング培養皿の周縁の外側にあるように設計される。これらのピクセルは、ガラス皿支持体外周322を示す。この強度遷移は、(平均値である)白統計値と黒統計値との差の所定の閾値割合(例えば、70%)よりも大きいことが要求される。
【0086】
次いで、領域323の幅は、(最小プレート縁部吸収に関連し、実験的に70%に調整された)白色統計値の割合よりも厳密に大きいままの強度を有する列内のピクセルを特定することによって決定される。ガラスプレート領域からプレーティング培養皿の周縁へのこの遷移は、最終的に、白色から黒色への勾配が最大である位置324であるように精緻化される。これらの遷移部324の全てから、皿の外周は円309によって近似される。
【0087】
本明細書に記載されるシステム及び方法は、特定の例を参照して説明されてきたが、これらの例は、説明され、特許請求されるものの原理及び用途の単なる例示であることを理解されたい。したがって、これら及び種々の他の省略、追加、及び多数の修正が、例証的な例に行われてもよく、他の構成が、添付の特許請求の範囲の精神及び範囲から逸脱することなく考案されてもよいことを理解されたい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26A
図26B
図27
図28
図29A
図29B
【国際調査報告】