(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-07
(45)【発行日】2022-03-15
(54)【発明の名称】生体試料を撮像するシステム及び方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20220308BHJP
【FI】
G01N21/27 A
(21)【出願番号】P 2020065968
(22)【出願日】2020-04-01
(62)【分割の表示】P 2016548311の分割
【原出願日】2015-01-30
【審査請求日】2020-04-27
(32)【優先日】2014-01-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】513165469
【氏名又は名称】ビーディー キエストラ ベスローテン フェンノートシャップ
(74)【代理人】
【識別番号】100099623
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100096769
【氏名又は名称】有原 幸一
(74)【代理人】
【識別番号】100107319
【氏名又は名称】松島 鉄男
(74)【代理人】
【識別番号】100125380
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100170379
【氏名又は名称】徳本 浩一
(74)【代理人】
【識別番号】100180231
【氏名又は名称】水島 亜希子
(72)【発明者】
【氏名】マルセルポワール,ラファエル・アール
(72)【発明者】
【氏名】オルニー,セドリック
(72)【発明者】
【氏名】モレル,ディディエ
【審査官】伊藤 裕美
(56)【参考文献】
【文献】国際公開第2012/152769(WO,A1)
【文献】米国特許出願公開第2009/0086046(US,A1)
【文献】特開2008-301332(JP,A)
【文献】特開2008-205530(JP,A)
【文献】特開2005-308504(JP,A)
【文献】独国特許出願公開第102005018092(DE,A1)
【文献】特表2012-500972(JP,A)
【文献】特表2013-546083(JP,A)
【文献】特開平05-340816(JP,A)
【文献】中国特許出願公開第101052100(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/00-21/83
G01N 33/48-33/98
C12M 1/00-1/42
C12M 3/00-3/10
H04N 5/228-5/243
(57)【特許請求の範囲】
【請求項1】
プレートに配置された培養基上に配置されている生体試料を撮像するシステムであって、
プレートに配置された培養基上に配置されている生体試料の画像を取り込む光子束及び露出時間のデフォルト値を提供するシステム較正モジュールと、
カメラを備える画像取得モジュールと、
前記画像取得モジュールから
の画像データを観察用又は解析用の画像に変換する画像提示モジュールと
を備え、
該画像取得モジュールは、前記システム較正モジュールと通信して、所与の時間区間で一連の画像の画像データを取得するように適合され、前記画像取得モジュールは、i)前記システム較正モジュールからの光子束及び露出時間のデフォルト値を用い、画像データのピクセル単位のマップを作成して、第1の画像のデータを取得することであって、各ピクセルは、信号対雑音比と、光子束及び露出時間と、強度とに関連付けられていることと、ii)前記画像データを再検査して飽和ピクセルを識別し、飽和対非飽和ピクセルの比が所定の飽和閾値よりも多いのか又は少ないのかに基づいて新たな光子束値又は新たな露出時間値又はそれらの双方のうちの1つの選択を行うことによってその後の画像取得に用いられる値を新たな値として更新することと、iii)前記選択に基づいて、前記光子束、前記露出時間又はそれらの双方の前記新たな値を用いて新たな画像のデータを取得することと、iv)信号対雑音比と、前記光子束値又は前記露出時間値又はそれらの双方と、ピクセル強度との新たな値を用いて前記画像データの前記ピクセル単位のマップを更新することとを行うように構成され、
前記システム較正モジュールは、異なるタイプのプレート及び異なるタイプの培養基のライブラリと、該ライブラリの少なくとも1つのタイプのプレート及び少なくとも1つのタイプの培養基に相関する光子束のデフォルト値及び露出時間のデフォルト値とを備え、
前記画像取得モジュールは、非飽和ピクセルの信号対雑音比が所定の信号対雑音比閾値よりも小さい場合、又は飽和ピクセル数が所定の飽和閾値を越えている場合には、新たな画像のデータを取得するように構成され、
前記画像取得モジュールは、非飽和ピクセルの前記信号対雑音比が前記所定の信号対雑音比閾値以上のとき、画像取得の所定の配分された時間が経過したとき、又は所定の最大画像数が取得されたときに、画像取得を終了するものである、システム。
【請求項2】
前記光子束は一定の値であり、前記システムは、露出時間を制御することによってカメラセンサ積分を制御する、請求項1に記載のシステム。
【請求項3】
信号対雑音比は、前記プレートに配置された培養基上に配置された前記生体試料の前記画像の少なくとも一部分について求められる、請求項1に記載のシステム。
【請求項4】
前記画像取得モジュールは、少なくとも1つ若しくは複数のチャネル又は少なくとも1つ若しくは複数のスペクトル帯について前記カメラから画像データを取得する、請求項1に記載のシステム。
【請求項5】
前記画像取得モジュールは、画像取得ごとに各ピクセルの濃淡値を割り当て、該各ピクセルの濃淡値は、各画像取得後に更新される、請求項1に記載のシステム。
【請求項6】
更新された前記濃淡値は、以前の濃淡値から所定の基準値を引いたものであり、該所定の基準値は、前記プレートと、前記プレートに配置された培養基及び前記露出時間とに基づく所定の値である、請求項5に記載のシステム。
【請求項7】
前記光子束の前記新たな値は、新たな露出時間若しくは新たな光強度値又はそれらの双方を用いることによって得られる、請求項1に記載のシステム。
【請求項8】
前記画像取得モジュールは、全てのピクセルが等しく扱われる自動モード又は解析のために提供された前記画像の前記ピクセルが1つ又は複数の関心のある対象物に関連付けられたものとして識別されたピクセルであるスーパバイズモードのうちの少なくとも一方において動作するように構成されている、請求項1に記載のシステム。
【請求項9】
培養基に配置された生体試料を撮像する方法であって、
プレート内に支持された培養基上に配置された生体試料の画像を得るために用いられるデフォルト値を求めることであって、前記デフォルト値は、前記培養基及び前記培養基を支持する前記プレートに応じて得られることと、
第1の時間区間にわたり第1の時間において一連の画像に対応する画像データを取得することであって、前記一連の画像内の第1の画像の前記データは、光子束及び露出時間の所定のデフォルト値を用いて取得されることと、
前記取得された画像データのピクセル単位のマップを作成することと、
各ピクセルのデータを信号対雑音比と、光子束の値と、露出時間の値と、強度の値とに関連付けることと、
前記画像の光子束の値及び前記露出時間の値のうちの少なくとも一方の値を、i)前記取得されたデータを飽和ピクセル及び前記ピクセルの前記信号対雑音比について再検査し、飽和対非飽和ピクセルの比が所定の閾値よりも多いのか又は少ないのか及び非飽和ピクセルの信号対雑音比が所定の信号対雑音比閾値以上かに基づいて、光子束及び露出時間のうちの少なくとも一方の新たな値を選択し、前記選択に基づいて、光子束又は露出時間又はそれらの双方の前記新たな値を用いて、新たな画像を取得し、信号対雑音比と、光子束及び露出時間と、ピクセル強度の前記新たな値とを用いて前記画像の前記ピクセル単位のマップを更新することと、ii)光子束及び露出時間の前記少なくとも一方の新たな値を用いて前記新たな画像のデータを取得することと、iii)ステップi)及びii)を任意選択的に繰り返すこととによって更新することと、
前記画像データが前記所定の信号対雑音比の閾値以上であるとき又は画像取得用の所定の最大割り当て時間が経過したとき又は所定の最大数の画像が取得されたときに、ある時間区間の画像データ取得を終了することと、
第2の時間区間にわたる第2の時間について、前記取得するステップと、前記作成するステップと、前記関連付けるステップと、前記更新するステップと、終了するステップとを繰り返すことと、
第1の時間区間及び第2の時間区間において取得された前記画像データを第1の画像及び第2の画像に変換することであって、該第1の画像は前記第1の時間において取得され、該第2の画像は前記第2の時間において取得されることと、
前記第1の画像及び前記第2の画像のピクセルを比較することと、
前記第1の画像と前記第2の画像の間で変化した前記第2の画像中のピクセルを識別することと、
前記比較に基づいて、前記プレートが陽性であるか又は陰性であるか又は更なる培養を必要とするかどうかを決定することと
を含む、方法。
【請求項10】
前記光子束の値は一定であり、前記露出時間の値は更新される、請求項9に記載の方法。
【請求項11】
関心のある対象物に関連付けられ、且つ画像を作成するものであるピクセルを決定することを更に含む、請求項9に記載の方法。
【請求項12】
前記デフォルト値は、デフォルトの露出時間において関心のある対象物に関連付けられた前記ピクセルの黒色レベルを含む、請求項11に記載の方法。
【請求項13】
前記ピクセル単位のマップは、各ピクセルの濃淡値と、前記信号対雑音比及び前記露出時間とで構成される、請求項9に記載の方法。
【請求項14】
前記画像データは、カメラセンサを用いて取得され、前記光子束は一定の値であり、前記方法は、露出時間を制御することによってカメラセンサの積分を制御するステップを更に含む、請求項9に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本願は、2014年1月30日に出願された米国仮特許出願第61/933,426の
出願日の利益を主張するものであり、この仮特許出願は、その開示内容を引用することに
より、本明細書の一部をなすものとする。
【背景技術】
【0002】
ハイダイナミックレンジ(HDR)撮像は、画像の最も明るいエリアと最も暗いエリア
との間のより大きなダイナミックレンジを捕捉するデジタル撮像技法である。デジタル画
像から得られたピクセル強度のダイナミックレンジを自動的に最適化するプロセスが、Ch
ristiansen他に対する特許文献1に記載されている。HDRは、それぞれ異なる露出レベ
ルにおいて数個の画像を取り込み、それらの画像をともにスティッチングするアルゴリズ
ムを用いて、暗いスポット及び明るいスポットの双方を有する画像を、いずれのスポット
の品質も損なうことなく作成する。しかしながら、HDRは、画像の強度を全体的に歪ま
せるので、現実の歪みを呈する可能性がある。したがって、画像の強度を歪ませることな
くコントラストを強調するHDR技法が、引き続き模索されている。
【0003】
生体試料の画像を強化する技法がAllano他に対する特許文献2に記載されている。その
ような試料を撮像することに関する問題の中でも特に以下の問題が、Allano他によって特
定されている。
i)検査されているコロニーのサイズ;
ii)或るコロニーと別のコロニーとの近接性;
iii)コロニーの混色;
iv)ペトリ皿の性質;及び
v)培養基の性質;並びに他のファクタ。
【0004】
生体試料を撮像する問題に対してAllano他が提案した解決策は、各色において得られた
画像から作成されるソース画像であって、培養基及び培養容器の所定の吸収効果を取り除
き、所定の露出を用いて光子束及び露出時間の値を求めて、その後に光度ゾーンに分けて
分析される画像を得る、ソース画像を準備することである。そのソース画像から、画像光
度が得られ、用いられた光子束及び露出時間の値が正しかったか否か又は光子束及び露出
時間の新たな値が画像取り込みに用いられるべきか否かを判断するのに用いられる。
【先行技術文献】
【特許文献】
【0005】
【文献】米国特許第7,978,258号
【文献】国際公開第2012/152769号
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記技法に関する問題は、それらの技法が、増殖培地上の微生物の画像に基づく検出/
同定に必要とされるコントラストの非常に微妙な変化を検出することができる撮像条件を
提供する能力を有するシステムを提供していないということである。微生物及び/又は培
地上の微生物の増殖の画像に基づく証拠は、検出するのが困難である(又は、少なくとも
困難である可能性がある)ので、そのような試料を撮像するよりロバストな技法が模索さ
れている。
【課題を解決するための手段】
【0007】
低コントラスト又は可変コントラストを有する画像の画像取り込みを強化するシステム
及び方法が本明細書において説明される。そのような困難な撮像環境の1つの例は、寒天
培地増殖プレート上で増殖するバクテリアコロニーの撮像環境である。バクテリアコロニ
ーは、寒天培地と異なって光を反射する。加えて、バクテリアコロニーは、明色から暗色
まで変動する可能性があるとともに、寒天培地と異なって光を反射する可能性がある。コ
ロニーの画像を取り込む時間は短い(約1秒)。通常、増殖プレートの画像は、3時間~
6時間ごとに撮影される。
【0008】
各時間区間「x」(すなわち、t0、t1...tx)における一連のN回の画像取得
において画像が取得される。第1の取得(N=1)は、本明細書において「光子束及び露
出時間」と呼ばれる光強度及び露出時間のデフォルト値を用いる。光子束の値は、単位時
間及び単位面積当たりシーンに到達する光子の数((光子量)・(時間-1)・(面積-
1))を規定する。時間は、カメラのセンサにおける積分時間である。露出時間は、1つ
のフレーム取得についてセンサによって捕捉される光子の数を決定する。言い換えると、
光子束は、光源からの光子の流量であり、露出時間は、画像取得のセンサによって受信さ
れたそれらの光子の量に影響を与える。所与の光子束について、露出時間が画像強度を制
御する。
【0009】
当業者であれば、画像強度に影響を与えるように光子束を制御する多くの異なる方法を
認識している。上述したように、1つの技法は画像の露出時間を制御する。センサに送信
される光の強度を制御するのに用いることができる他の技法が存在する。例えば、フィル
タ、アパーチャ等が光子束を制御するのに用いられ、光子束は次に強度を制御する。その
ような技法は、当業者によく知られており、本明細書では詳細に説明しない。本明細書に
おいて説明する本発明の実施の形態においては、光強度は一定に設定され、露出時間は光
子束積分を制御するのに用いられる変数である。
【0010】
露出時間を制御することによって光子束が制御される実施の形態では、初期露出時間値
が、システム較正から得られる。システムは、較正プレートのライブラリを用いて較正さ
れる。ベースライン較正が、プレートタイプ及び培地タイプに応じて得られる。システム
が、新たな増殖プレートを照会するのに用いられるとき、特定のプレートタイプ及び培地
タイプの較正データが選択される。この点に関して、増殖プレートは、モノプレート(す
なわち、1つの培地の場合);バイプレート(2つの培地);トライプレート(3つの培
地)等とすることができる。増殖プレートの各タイプは、固有の撮像課題を提起する。較
正は、増殖プレートの第1の画像(画像N=1)を取り込むデフォルト露出時間を提供す
る。較正は、システム(又はシステムオペレータ)が、画像のどの部分がプレートである
(すなわち、背景でない)のか、並びに画像のプレート部分のうちのどの部分が培地(コ
ロニーを培養するのに用いられる栄養分)であるのか及びどの部分が少なくともコロニー
である可能性があるのかを判断することも可能にする。
【0011】
増殖プレートの画像N=1は、較正から得られたデフォルト値を用いて取り込まれる。
平均化技法が、増殖プレートのデジタル画像を取り込むのに用いられる場合、明るいピク
セルは、暗いピクセルよりも良好な信号対雑音比(SNR)を有する。本明細書において
説明する方法では、信号は、ピクセルが明るいのか又は暗いのかを問わず、個々のピクセ
ルごとに分離される。所定の数のピクセルについて、強度、露出時間及びSNRが求めら
れる。画像コンテキスト内のこれらの値の「マップ」が準備される。このマップから、好
ましくは所定の割合のピクセルよりも多くのピクセルを飽和させない新たな露出時間が、
N+1の画像取得用に選択される。好ましくは、非常に少ない割合(又はそれ未満)のピ
クセルしか飽和させない露出時間が求められ、最終画像を取り込むのに用いられる。
【0012】
このことから、SNRが各非飽和ピクセルについて更新される(すなわち、非飽和ピク
セルについて、濃淡値が精緻化され、SNRが改善される)各ピクセルのSNRのマップ
が生成される。画像は、このマップに基づいてシミュレーションされる。
【0013】
最適化機能アルゴリズムが、各ピクセルの各濃淡値強度を、そのピクセルの最適なSN
Rに対応する所要露出時間にマッピングするのに用いられる。この最適化アルゴリズムは
、所定のデフォルト露出時間を用いて取り込まれた初期画像(N=1)を調べることから
開始する。強度マップ、露出マップ、及びSNRマップが画像全体について生成される。
各ピクセルの露出時間は、画像Nに基づいて調整され、別の画像(N+1)が取り込まれ
る。上述のように、暗い部分の信号を飽和させ、その結果、明るい部分を露出過度にする
新たな露出時間が選ばれる。強度マップ、露出マップ、及びSNRマップは、ピクセルご
とに更新される。これは反復プロセスであり、画像の各ピクセルの最大SNRに達するま
で又は最大画像数に達するまで又は最大配分時間に達するまで、画像が取得される。
【0014】
本質的に、暗いスポットは暗いままであり、明るいスポットは明るいままであり、SN
Rは改善される。寒天増殖培地は、デジタル画像の背景として機能する。以前の画像と或
る程度異なる(すなわち、強度が異なる)画像内のピクセルは、コロニーが増殖している
ことを示すか、又はプレート上に異物(例えば、塵埃)が混入したことを示す。この技法
は、一度に複数のプレートを調べるのに用いることができる。
【0015】
SNRが大幅に改善されるので、見ること/信頼することができなかった細部を(信頼
性をもって)明らかにすることができ、時限プレート撮像において非常に早期の小さなコ
ロニーの検出が可能になる。本システム及び本方法は、シーン又は関心のある対象物にわ
たる特定の飽和及び制御された飽和に対応する最適な露出時間に対応する画像も提供する
。
【0016】
時間t0における画像取得が完了すると、その時間区間についての反復画像取得のプロ
セスは停止される。t0~t1の所定の時間区間が経過すると、そのように取得された画
像のインテグリティの所望の信頼性が得られるまで、反復画像取得プロセスは繰り返され
る。信号対雑音比は、標準偏差に反比例する(すなわち、SNR=gv’/標準偏差であ
る)。したがって、ピクセルごとに最大SNR(すなわち、ピクセルごとに最小標準偏差
)を与える画像取得は、時間「Tx」に関連付けられた高い信頼性を有する画像を提供す
る。例えば、4時間(T1=4時間)の間培養されたプレートの場合、高SNR画像が得
られる。このプレートが追加の4時間(Tx=8時間)の間培養された後は、同じプレー
トの別の高SNR画像が得られる。
【0017】
その後の時間(Tx+1)に関連付けられた画像が得られると、その画像(又は関心の
ある対象物に関連付けられた画像の少なくとも選択されたピクセル)を以前の時間(Tx
)に関連付けられた画像と比較して、その後の画像が微生物増殖の証拠を提供するか否か
を判断することができ、プレートの更なる処理を決定することができる。
【図面の簡単な説明】
【0018】
【
図1】本発明の1つの実施形態による画像の取得及び提示のための3モジュールシステムの概略記載図である。
【
図2】
図1に示す3モジュールシステムのシステム動作のフローチャートである。
【
図3】本発明の1つの実施形態による照明較正、光学部品類較正、及びカメラ較正のための
図1に示す較正モジュールの機能の記載図である。
【
図4】1つの実施形態による
図1のシステムを較正する較正プレートから求められたデータの説明図である。
【
図5】本発明の1つの実施形態による
図1に示す画像取得モジュールの機能の記載図である。
【
図6】1つの実施形態による
図1のシステムを用いた画像取得の方法の概略図である。
【
図7】
図5に示す画像取得モジュールによって実行される機能のより詳細な記載図である。
【
図8】1つの実施形態による次の画像取得時間を選ぶ方法を示す図である。
【
図9】画像取得を終了するために取られるステップの記載図である。
【
図10】システムインテグリティを判断する方法のプロセスフロー概略図である。
【発明を実施するための形態】
【0019】
本明細書において説明するシステムは、微生物の同定及びそのような微生物の微生物増
殖の検出のために微生物学試料を撮像する光学系に実装(実施)することが可能である。
そのような市販のシステムは多く存在し、これらにシステムについては、本明細書では詳
細に説明しない。1つの例は、BD Kiestra(商標)ReadAコンパクトイン
テリジェント培養撮像システム(第2世代BD Kiestra(商標)インキュベータ
)である。そのような光学撮像プラットフォームは、長年の間市販されており(当初は、
Kiestra(商標)Lab Automationが提供していたCamerA PrimerA)
、したがって、当業者には良く知られており、本明細書では詳細に説明しない。1つの実
施形態では、システムは、画像取得デバイス(例えば、カメラ)と協働し、画像内のあら
ゆるピクセルについて最大の信号対雑音比(SNR)を提供するようにインタラクトする
ことによって画像の高品質撮像を提供する非一時的コンピュータ可読媒体(例えば、ソフ
トウェアプログラム)である。各ピクセル及び各色(例えば、チャネル)について、強度
及び露出時間が記録され、システムは、その後、シーン全体又はシーン内の関心のある対
象物のSNRを改善するように次の最良の露出時間を予測する。当業者であれば、ピクセ
ルごとに得られる複数の値はピクセル及び撮像システムに依存することを理解しているで
あろう。例えば、RBG撮像システムでは、値は、チャネル(すなわち、赤色、緑色、又
は青色)ごとに得られる。他のシステムでは、値は、異なるスペクトル帯又は波長ごとに
得られる。
【0020】
最初に、システムは較正される。本明細書において説明するシステム等の撮像システム
の較正は当業者によく知られている。様々な較正手法が知られている。本明細書では、取
り込まれた画像の評価の基準となるベースラインを提供するシステム較正の例が説明され
る。較正中、較正プレート(例えば、培地を有するがコロニーを有しないプレート)が用
いられ、システム画像取得は、既知の入力に対して較正される。プレート培地のタイプご
との較正値のライブラリが作成され、特定のプレートに用いられる較正データが、試験プ
レート内の培地に基づいて選択される。システム及びデータの双方が較正される。データ
較正の場合、SNR、線形性、黒色レベル等が、較正プレートの取り込まれた画像のピク
セルごとに求められる。システム較正は、レンズ歪み、色収差、空間解像度等を含むが、
これらに限定されるものではない。
【0021】
較正に続いて、新たなプレートの画像が取得される。画像内のピクセルは、所定の閾値
未満であるSNRを有するピクセル又は最低のSNRを有するピクセルのうちのいずれか
のSNRを改善する露出時間を推定するために、リアルタイムで解析される。通常の撮像
システムは、画像内のピクセルの強度値のみを保持する。本明細書において説明する実施
形態では、強度及び露出時間がピクセルごとに記録される。同じピクセルが、それぞれ異
なる露出時間において撮像され、強度情報が組み合わされて、高SNRデータが生成され
る。この情報から、任意の指定された露出時間の画像を生成することもできるし、最良の
露出時間を抽出して、ピクセル飽和を制御することもできる。
【0022】
量的な側面から、高いSNRに起因して、微妙な強度変動、色及びテクスチャに対する
信頼性が大きく改善され、その後の対象物認識又はデータベース比較のより良好な性能が
可能になる。以前の画像内のピクセルの濃淡値(すなわち、画像Nの場合、画像N-1内
のピクセルの値)とも比較したグレースケールに関する解析が行われる。以前の画像内の
同じピクセルの濃淡値の比較に加えて、隣接するピクセルのピクセル濃淡値も、このピク
セル濃淡値と比較され、相違(例えば、コロニー/培地の境界面)が求められる。
【0023】
有色の対象物の暗色のSNRは、それぞれ異なるチャネルにおいて不均一であるか、又
は明るい対象物と比較すると非常に劣悪である。これを改善するために、本明細書におい
て説明するシステム及び方法は、対象物検出がコントラスト、SNR、及びサイズ/解像
度に基づいている画像検出モジュールを展開する。SNRは、暗い領域及び明るい領域の
双方において改善される。標準偏差は減少し、したがって、ローカルコントラストが、明
るい領域及び暗い領域において重要となる。ここでの目標は、増殖培養を含むと疑われて
いるプレートのx時間とx+1時間との間の区間の画像の微妙な相違であっても検出する
システムを提供することである。それらの相違は、信号変動が原因であって増殖培養に起
因する試料内の変化が原因ではない「雑音」と区別可能でなければならない。本明細書に
おいて説明するシステム及び方法は、シーン内の関心のある対象物が非常に異なる色及び
強度(反射率又は吸光度)を示す場合があるときに特に価値がある。
【0024】
具体的には、本システム及び本方法は、シーンに対応するようにダイナミックレンジ(
拡張ダイナミックレンジ)の自動適応を提供する。本システム及び本方法は、(画像取得
機器(例えば、カメラ)の物理的制約内及び電子的制約内において)最も明るいピクセル
を飽和させる最小露出時間と、最も暗いピクセルを飽和させる最大露出時間との双方を提
供する。本システム及び本方法は、画像平均と比較すると、ピクセルごとの最小SNRに
向かうより高速な収束を提供する。本システム及び本方法は、色に対する改善された信頼
性を提供する。具体的には、赤色、緑色及び青色の値のSNRは、赤色、緑色、及び青色
の色の強度の不一致にかかわらず均質化される。
【0025】
強度の信頼区間はピクセルごとに知られており、これは、その後のいずれの分類作業に
も非常に価値がある。本システム及び本方法によって提供されるSNR最適化は、スーパ
バイズすることができる(検出された関心のある対象物を重み付けして、次の画像取得の
露出時間が計算される)。
【0026】
強度、露出時間及び推定SNRが、較正及び物理理論からピクセルごとに求められる。
画質を更に改善するために、色収差及びレンズ歪みも較正及び補正され、画像は、そのよ
うな欠陥のない状態にされる。
【0027】
本システム及び本方法は、自動モード、又は画像の幾つかの特定の部分が特に関心のあ
るスーパバイズモードのいずれかにおいて画像のピクセルSNRを制御することができる
。自動モードでは、シーンの画像全体が最適化され、全てのピクセルが等しく扱われる。
スーパバイズモードでは、シーンは、取得されると更に解析され、関心のある対象物が検
出される。SNR最大化は、関心のある対象物の領域に有利である。
【0028】
自動モードでは、画像取得は、次の3つの条件、すなわち、(1)ありとあらゆるピク
セルのSNRのレベルが最小に達すること;(2)所定の取得数がこのシーンに対して実
行されること;又は(3)最大許容取得時間に達したことのうちの第1のものが生起した
後に停止する。
【0029】
図1を参照すると、1つの実施形態のシステムの概略図が示されている。システム10
0は3つのモジュールを有する。第1のモジュールは、システム較正モジュール110で
ある。この較正モジュールは、画像の照明と、画像を収集するのに用いられる光学部品類
と、本システムによる評価を受ける新たなプレートのベースラインデータとを較正する。
【0030】
画像取得モジュール120は、システム較正モジュール110と通信する。画像取得モ
ジュールは、解析を受ける対象物の画像を取り込む。この画像は、特定の例に関して以下
で詳細に説明する方法で求められた露出時間及び他の基準を用いて取り込まれる。上記で
論述したように、画像取得は、所定のSNR閾値がピクセルごとに満たされるまで、又は
所定の数の画像が取り込まれるまで反復的に進む。画像提示モジュールは、最良のダイナ
ミックレンジ(すなわち、飽和寸前の最も明るい非飽和ピクセル)を画像にグローバルに
(すなわち、自動モードにおいて)提供するか、又は関心のある対象物に制限されて(す
なわち、スーパバイズモードにおいて)提供する。
【0031】
図2を参照すると、外部データ及び較正プレートの双方(すなわち、試験プレート及び
培養基の様々な範囲の組み合わせ)が、システムを較正するのに用いられる)。この較正
から、システム較正及びデータ較正の双方が求められる。システム較正値及びデータ較正
値は、新たなプレートの画像取得において用いられる。この較正は、画像マップ(すなわ
ち、どのピクセルがプレートの外部の領域であるのか、どれがプレートの内部であるが、
コロニーを有しない培地であるのか、及びどの領域がコロニーを示しているのか)の観点
から、新たな画像の有効性を確認するのに用いられる。
【0032】
図3は、較正されるシステム機器の特定の態様を更に示している。照明コンポーネント
(複数の場合もある)111の場合、ウォームアップ時間、強度(λ)=f(入力電力)
及びフィールドの均一性(field homogeneity)が求められる。再度、試験プレートにつ
いて、培地は、適用可能な領域(すなわち、モノプレートの場合にはプレート全体、バイ
プレートの場合にはプレートの2分の1、及びトライプレートの場合にはプレートの3分
の1)について均一であるべきである。光学部品類較正112については、位置合わせ、
色収差及び幾何学歪みが求められる。カメラ較正113については、ベースラインレベル
が求められる。そのようなベースラインデータは、ウォームアップ時間、線形性(濃淡値
と、センサに到達する光子の数との一定の関係)、及び露出時間の関数としての黒色レベ
ルであり、ピクセル強度の関数としてのSNR、フィールドの均一性、色収差、及び幾何
学歪みは全て、取得された画像の評価の基準となるベースラインとして求められる。その
ようなベースラインデータは、当業者によく知られており、更に詳細に説明しない。
【0033】
図4は、較正システム内への入力に関する更に詳細な内容(すなわち、システム情報、
較正プレートのライブラリ及び他の入力)である。較正プレートごとに、画像が得られ、
各ピクセルには、黒色レベル、SNR、線形性及び照明の値が割り当てられる。システム
(すなわち、ピクセルごとではない)については、歪み、色収差、空間解像度及びホワイ
トバランス等のシステムファクタを反映するモデル値が求められる。これらの値は全て、
プレートの評価において用いられる較正されたシステム及び較正されたデータを提供する
ために収集される。以下で述べるように、これらの値は、画像取得を終了するのに用いら
れる。
【0034】
画像取得モジュールについてのより詳細な内容が
図5に記載されている。第1のステッ
プにおいて、デフォルト値を用いて画像が取得される。この第1の画像から、各ピクセル
の強度、露出時間、及びSNRが求められる。強度は、ピクセルの「黒色レベル」を測定
された強度値から減算することによって求められる。黒色レベル及びSNRは、前述した
較正から得られる。
【0035】
画像取得は、時間t0、t1、...txにおいて行われる。各時間において、画像は
、一連のN回の画像取得を通じて取得される。この一連のN回の画像取得は、画像インテ
グリティの高い信頼性と相関する取得画像のSNRに向けて反復する。
【0036】
所与の時間(例えば、t
0)における画像取得及び更新が
図6に示されている。新たな
プレート610の画像が、ステップ620において取得される。画像取得は、システム較
正630及びデータ較正640による情報に基づいている。プレートトラフィック条件(
すなわち、単位時間当たりのプレート数)も、システムを較正及び制御するのに用いられ
る。画像取得プロセス中の後の時点において、その後の画像が取得され(650)、(自
動的に又はスーパバイズされて)以前の画像と比較される。通常、各時間区間において約
4回~約10回の画像取得が行われ、許容可能な信頼性を有する画像が得られる。選択さ
れた対象物の所望のSNRが得られると、最終画像取得660のための露出時間が求めら
れる。
【0037】
1つの実施形態によれば、ピクセルは、以下のように更新される。濃淡値、基準露出時
間及び信号対雑音比は、プレート(画像対象物)ごとに、各照明構成(上部、側部、底部
、又はそれらの混合)について記憶された情報を表す。この情報は、新たな各取得の後に
更新される。まず、第1の画像取得(N=1)を用いてこの情報が更新される。
【0038】
濃淡値、基準露出時間及び信号対雑音比は、プレートごとに、各照明構成(上部、側部
、底部、又はそれらの混合)について記憶された情報を表す。この情報は、新たな各取得
の後に更新される。まず、この情報は、第1の画像取得(N=1)に従って初期化される
。1つの実施形態では、gv
x,y,1は、露出時間E
1及びそれぞれの信号対雑音比(
SNR
gv)を用いたプレートの第1の画像取り込み(N=1)に対応する画像位置(x
,y)における濃淡値(gv)である。この実施形態では、
・
【数1】
は、露出時間E
1に対応する(x,y)における黒色基準値点である。
・E’
x,y,1は、1回の取得後の(x,y)における更新された基準時点である。
・
【数2】
は、E’
x,y,1の同等の露出時間における1回の取得後のx,yにおける更新された
濃淡値である。
・SNR’
x,y,1は、1回の取得後のx,yにおける更新されたSNRである。
【数3】
【0039】
黒色レベルは雑音を有し、反復画像取得プロセスは、「雑音のより少ない」画像(すな
わち、より高い信頼性レベルを有する画像)を得る。黒色値は、画像取得中に再計算され
ていないデフォルト値である。黒色値は、露出時間の関数である。
【0040】
ピクセルが、所与の露出時間及び光源強度について飽和しているとき、SNR=0であ
る(したがって、SNRの改善はない)。非飽和ピクセルからの値のみが更新される。
【0041】
N=1:初期露出時間は、最もよく知られているデフォルト露出時間(アプリオリ)、
又は任意の値(例えば:
【数4】
)である。これは、特定のプレートの較正及び解析を受ける新たなプレートの培地から求
められる。
【0042】
濃淡値、基準露出時間及び信号対雑音比は、以下の実施形態によれば、新たな各画像取
得(すなわちN=2、3、4...N)の後に更新される。画像位置(x,y)の濃淡値
gv
x,y,Nは、露出時間E
N及びそれぞれの信号対雑音比(SNR
x,y,N)を用
いたプレートのN番目の画像取り込みに対応する。この実施形態では、
・
【数5】
は、露出時間E
Nに対応する(x,y)における黒色基準値点であり、
・E’
x,y,Nは、N回の取得後の(x,y)における更新された基準時点であり、
・
【数6】
は、E’
x,y,Nの同等の露出時間におけるN回の取得後の(x,y)における更新さ
れた濃淡値であり、
・SNR’
x,y,Nは、N回の取得後のx,yにおける更新されたSNRである。
【数7】
【0043】
したがって、N番目の画像取得におけるピクセルの更新されたSNRは、以前の画像取
得の更新された信号対雑音比を2乗したものと、現在の画像取得の信号対雑音比を2乗し
たものとの平方根である。各取得は、各ピクセルの更新された値(例えば、E’x,y,
N)を提供する。その更新された値は、その後、次の画像取得の更新された値を計算する
のに用いられる。ピクセルが所与の露出時間及び光源強度について飽和しているとき、そ
のピクセルはSNR=0である。非飽和ピクセルのみが更新される。N番目の露出時間は
、その目標が関心のある対象物のSNRを最大にすることであるスーパバイズされた最適
化に対応する。関心のある対象物は、プレート全体、コロニー、プレートの一部分、又は
全体画像とすることができる。
【0044】
新たな取得とともに画像データを更新した後、取得システムは、環境制約(最小必要S
NR、飽和制約、最大許容取得時間、関心のある領域)に従ってSNRを最大にする次の
最良の取得時間を提案することができる。画像取得がスーパバイズされている実施形態で
は、x,y∈対象物(object)は、スーパバイズモードにおいて、対象物ピクセルのみが
評価のために考慮されることを意味する。画像取得がスーパバイズされていない実施形態
では、デフォルトの対象物は画像全体である。
【0045】
図7を参照すると、取得された画像解析から、所与の時間区間での一連の画像取得にお
ける次の画像(N+1)の露出時間が、上記で説明した自動モード又はスーパバイズモー
ドのいずれかを用いて求められる。
図7を参照すると、自動化プロセスの場合、各ピクセ
ルは等しく重み付けされる(すなわち、1の値を割り当てられる)。スーパバイズされた
手法の場合、対象物(例えば、培養物)に関連付けられたピクセルは、異なって重み付け
される。スーパバイズされたプロセスは、追加の撮像ステップを必要とする。ピクセルの
かなりの割合(例えば、100000個のうちの2つ以上)が飽和しており、それらの重
みが0でない場合、画像を取り込むのに用いられた以前の最小露出時間よりも短い(例え
ば、1/5)新たな露出時間が提案される。この調整は、飽和するピクセルの非飽和情報
を得る確率を改善する。代替の実施形態では、新たな露出時間が計算される。大きなピク
セル飽和がない場合、露出マップ及び強度マップから、各ピクセルについて、ピクセル飽
和をもたらさない最大露出時間が求められる。これから、画像の露出時間が求められ、強
度画像がシミュレーションされる。これから、対応する重み付けされたSNRマップが求
められる。
【0046】
図8を参照すると、標本画像が、画像マップにおいて画像データをピクセルごとに更新
するのに用いられる。その標本データは、その後、画像アナライザに供給され、各ピクセ
ルのSNRに対する所定の制約、他の飽和制約、対象物制約等、及び時間又はトラフィッ
クの制約(すなわち、取り込み及び解析の継続時間)の情報に基づいて、画像解析が行わ
れる。
【0047】
特に1つの実施形態では、取得された画像は、飽和ピクセルの有無についてピクセルご
とに解析される。E
Nが、所定の制限を越えるピクセル飽和をもたらす場合、E
N+1に
ついてより低い値が選択される。例えば、最小露出時間がまだ取得されず、飽和ピクセル
【数8】
の割合(%)が所定の制限を越えている(例えば、1/10
5よりも大きい)場合、所定
の増分(例えば、以前に用いられた最小露出時間の5分の1)の新たな露出時間が提案さ
れる。下限(すなわち、最小許容可能露出時間)も事前に求められる。露出時間に対する
これらの制約によって、非飽和画像取得状態に向けたより高速な収束が可能になる。
【0048】
新たな画像が、新たな露出時間において取得される。この新たな画像について、2次的
な検査制約は、ピクセルごとの所望の最小SNR(これは、低い側のSNR閾値である)
及びこの画像について許容された全体的な取得時間(すなわち、Nmax)である。この
シーンの全体的な取得時間が時間制限に達した場合又は各ピクセルのあらゆる更新された
SNRがSNR’x,y,N≧MinSNRとなる場合、画像データは、許容可能である
とみなされ、その時間区間(例えば、t0)のシーンの取得は終了する。画像取得が時間
tx(例えば、時間t1)に開始すると、以前の取得(例えば、時間t0における)の露
出から準飽和(sub-saturation)状態を与える最良の露出時間(ENfinal)が、E
の初期値として用いられる。txにおける画像取得のプロセスは、他の点では時間toに
おけるプロセスと同一である。
【0049】
飽和制約が解除された(大きな飽和がない)場合、次の最適な露出時間が求められ、精
査される。最初に、露出時間境界制限が、関心のある領域にわたって計算される。これら
の露出時間境界は、i)最も明るいピクセルを飽和させる露出時間、及びii)最も暗い
ピクセルを飽和させる露出時間である。
【0050】
最も明るい非飽和ピクセルを飽和させる露出時間E
minは、絶対最大強度に対応する
濃淡値gv
maxから求められ、
【数9】
(その関連した露出時間)は、以下の式から得られる。
【数10】
【0051】
最も暗いピクセルを飽和させる露出時間E
maxは、絶対最小強度に対応する濃淡値g
v
minから求められ、
【数11】
は、その関連した露出時間
【数12】
である。
【0052】
次の最適な露出時間が、シミュレーションによるEmaxとEminとの範囲内の全て
の候補露出時間の中から選ばれる。具体的には、露出時間は、試験された露出時間Ete
st,N+1におけるシミュレーションされた画像を加えた後、(最小の信号対雑音比の
閾値よりも小さな全てのピクセルの)更新された平均SNRを最大にするシミュレーショ
ンによって求められる。Etest,N+1におけるシミュレーションされた画像は、(
ありとあらゆるピクセルについて)以下のように生成される。
【0053】
濃淡値
【数13】
は、現在の更新された画像データに対応するピクセルデータである。新たな時点E
tes
t,N+1が選択された場合、予想濃淡値は以下となる。
【数14】
【0054】
この値を、時点E
test,N+1の画像におけるシミュレーションされた画像からの
ピクセルの値を用いて更新した後、この(x,y)ピクセルのSNRは以下となる。
【数15】
【0055】
次の最良の露出時間E
best,N+1が、その後、以下の式によって求められる。
【数16】
画像取得及び解析がスーパバイズされ、x,y∈対象物である場合、SNRは、関心のあ
る対象物についてのみ積分される。自動モードでは、対象物は画像全体である。
【0056】
図9は、画像取得の最終ステップを記載している。それらのステップは、当業者によく
知られている従来の画像処理技法であり、本明細書では詳細に説明しない。
【0057】
図10は、システムインテグリティを画像取得中に求める方法を示している。システム
インテグリティが検査されると、標本がシステム内にロードされ、標本からのデータが取
り込まれることに留意されたい。データ取り込みは、上記で論述したような較正情報によ
る情報に基づいている。取り込まれたデータは、システムインテグリティ検査及びシステ
ムイベントアナライザの双方に提供される。
【0058】
画像は、上記で説明したように得られると、異なる時間の間培養されたプレートの画像
と比較される。例えば、プレートの画像は、そのプレートが4時間(T1=4)の間培養
された後に、本明細書において説明したように得られる。4時間以上の後、プレートの別
の画像が、上記で説明したように得られる(Tx=8時間)。その後、Tx+1において
得られた高SNR画像を、Txにおける高SNR画像と比較することができる。2つの画
像内の変化が評価され、微生物増殖の証拠が確認される。更なる処理に関する決定(例え
ば、プレートが陽性である、プレートが陰性である、プレートが更なる培養を必要とする
)は、この比較に基づいている。
【0059】
本発明は特定の実施形態を参照しながら本明細書において説明されてきたが、これらの実施形態は本発明の原理及び応用形態を例示するにすぎないことは理解されたい。それゆえ、添付の特許請求の範囲によって規定されるような本発明の趣旨及び範囲から逸脱することなく、例示的な実施形態に数多くの変更を加えることができること、及び他の構成を考案することができることは理解されたい。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項1:
培養基に配置された生体試料を撮像するシステムであって、
プレートに配置された培養基上に配置されている生体試料の画像を取り込むデフォルト値を提供するシステム較正モジュールと、
カメラを備える画像取得モジュールであって、該モジュールは、前記システム較正モジュールと通信して、所与の時間区間で一連の画像のデータを取得するように適合され、前記画像取得は、i)前記システム較正モジュールからの光子束及び露出時間のデフォルト値を用い、画像データのピクセル単位のマップを作成して、第1の画像のデータを取得することであって、各ピクセルは、信号対雑音比、光子束及び露出時間、並びに強度に関連付けられていることと、ii)前記画像データを再検査して飽和ピクセルを識別し、飽和ピクセルの数が所定の閾値よりも多いのか又は少ないのかに基づいて新たな光子束、新たな露出時間又はそれらの双方のうちの1つを選択することによって前記画像取得時間を更新することと、iii)その判断に基づいて、前記光子束、前記露出時間又はそれらの双方の前記新たな値を用いて新たな画像のデータを取得することと、iv)信号対雑音比と、前記光子束、前記露出時間又はそれらの双方と、ピクセル強度との前記新たな値を用いて前記画像データの前記マップを更新することとを行うように構成され、
該画像取得モジュールは、未飽和ピクセルの前記信号対雑音比が所定の閾値よりも小さい場合、又は前記飽和ピクセル数が前記所定の閾値を越えている場合には、新たな画像のデータを取得するように構成され、
該画像取得モジュールは、前記非飽和ピクセルの前記所定の閾値の信号対雑音比が得られたとき、画像取得の前記所定の配分された時間が経過したとき、又は前記所定の最大画像数が取得されたときに、画像取得を終了する、
画像取得モジュールと、
前記画像取得モジュールからの前記画像データを観察用又は解析用の画像に変換する画像提示モジュールと、
を備える、システム。
請求項2:
前記光子束は設定値であり、前記システムは、露出時間を制御することによってカメラセンサ積分を制御し、前記較正モジュールは、様々なプレート及び培養基のデフォルトの光子束及び露出時間を求める、請求項1に記載のシステム。
請求項3:
信号対雑音比は、前記培養基上に分散された前記試料の前記画像の少なくとも一部分について求められる、請求項1に記載のシステム。
請求項4:
前記画像取得モジュールは、少なくとも1つ若しくは複数のチャネル又は少なくとも1つ若しくは複数のスペクトル帯について前記カメラから画像データを取得する、請求項1に記載のシステム。
請求項5:
前記画像取得モジュールは、画像取得ごとに各ピクセルの濃淡値を割り当て、該各ピクセルの濃淡値は、各画像取得後に更新される、請求項1に記載のシステム。
請求項6:
前記更新された濃淡値は、前記以前の濃淡値から所定の基準値を引いたものであり、該所定の基準値は、前記プレートに基づく所定の値であり、前記プレートの培地及び前記画像取得モジュールの前記露出時間は、取得ごとに各ピクセルの濃淡値を割り当て、各ピクセルの前記濃淡値は、各画像取得後に更新される、請求項5に記載のシステム。
請求項7:
前記光子束の前記新たな値は、新たな露出時間若しくは新たな光強度値又はそれらの双方を用いることによって得られる、請求項2に記載のシステム。
請求項8:
前記画像取得モジュールは、全てのピクセルが等しく扱われる自動モード又は前記解析されるピクセルが1つ又は複数の関心のある対象物に関連付けられたものとして識別されたピクセルであるスーパバイズモードのうちの少なくとも一方において動作するように構成されている、請求項1に記載のシステム。
請求項9:
前記光子束は設定値であり、前記システムは、露出時間を制御することによってカメラセンサ積分を制御する、請求項1に記載のシステム。
請求項10:
培養基に配置された生体試料を撮像する方法であって、
プレート内に支持された培養基上に配置された生体試料の画像を得るデフォルト値を求めることと、
第1の時間区間にわたり第1の時間において一連の画像に対応するデータを取得することであって、前記一連の画像内の前記第1の画像の前記データは、光子束及び露出時間の所定のデフォルトを用いて取得されることと、
前記画像データのピクセル単位のマップを作成することと、
各ピクセルのデータを信号対雑音比、光子束の値、露出時間の値、及び強度の値に関連付けることと、
前記画像の光子束の値及び前記露出時間の値のうちの少なくとも一方を、
i)前記画像データを飽和ピクセル及び前記ピクセルの前記信号対雑音比について再検査し、飽和ピクセルの数が所定の閾値よりも多いのか又は少ないのか及び前記信号対雑音比が所定の閾値よりも大きいのか又は小さいのかに基づいて、光子束及び露出時間のうちの少なくとも一方の新たな値を選択し、その判断に基づいて、光子束、露出時間、又はそれらの双方の前記新たな値を用いて、新たな画像を取得し、信号対雑音比、光子束及び露出時間、並びにピクセル強度の前記新たな値を用いて前記画像の前記マップを更新する
ことと、
ii)光子束及び露出時間の前記少なくとも一方の新たな値を用いて前記新たな画像のデータを取得することと、
iii)ステップi)及びii)を任意選択的に繰り返すことと、
によって更新することと、
前記画像データが前記所定の信号対雑音比の閾値以上であるとき、画像取得用の前記所定の最大割り当て時間が経過したとき、又は前記所定の最大数の画像が取得されたときに、前記時間区間の画像データ取得を終了することと、
第2の時間区間にわたる第2の時間について、前記取得するステップと、前記作成するステップと、前記関連付けるステップと、前記更新するステップと、終了するステップとを繰り返すことと、
第1の時間区間及び第2の時間区間において取得された前記画像データを第1の画像及び第2の画像に変換することであって、該第1の画像は前記第1の時間において取得され、該第2の画像は第2の時間において取得されることと、
を含む、方法。
請求項11:
前記光子束の値は一定であり、前記露出時間の値は更新され、前記所定のデフォルト値は、プレート、プレート培養物及び露出時間に基づいている、請求項10に記載の方法。
請求項12:
前記画像マップが作成される前記ピクセルを求めることを更に含み、前記ピクセルは、関心のある対象物に関連付けられている、請求項10に記載の方法。
請求項13:
前記デフォルト値は、デフォルトの露出時間において関心のある対象物に関連付けられた前記ピクセルの黒色レベルを含む、請求項12に記載の方法。
請求項14:
前記ピクセル単位のマップは、各ピクセルの濃淡値、前記信号対雑音比及び前記露出時間である、請求項10に記載の方法。