知財求人 - 知財ポータルサイト「IP Force」
▶ ビオメリューの特許一覧 ▶ コミサリア ア レネルジ アトミ−ク エ オ エネルジー アルテルナティヴの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6091489
(24)【登録日】2017年2月17日
(45)【発行日】2017年3月8日
(54)【発明の名称】バイオ画像化方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20170227BHJP
G06T 1/00 20060101ALI20170227BHJP
【ＦＩ】
G01N21/27 A
G06T1/00 295
【請求項の数】2
【全頁数】34
(21)【出願番号】特願2014-508847(P2014-508847)
(86)(22)【出願日】2012年5月7日
(65)【公表番号】特表2014-514580(P2014-514580A)
(43)【公表日】2014年6月19日
(86)【国際出願番号】EP2012058399
(87)【国際公開番号】WO2012152769
(87)【国際公開日】20121115
【審査請求日】2015年4月13日
(31)【優先権主張番号】11305542.0
(32)【優先日】2011年5月6日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】304043936
【氏名又は名称】ビオメリュー
【氏名又は名称原語表記】ＢＩＯＭＥＲＩＥＵＸ
(73)【特許権者】
【識別番号】509248165
【氏名又は名称】コミサリア ア レネルジ アトミ−ク エ オ エネルジー アルテルナティヴ
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100174001
【弁理士】
【氏名又は名称】結城 仁美
(74)【代理人】
【識別番号】100181272
【弁理士】
【氏名又は名称】神 紘一郎
(72)【発明者】
【氏名】ロレーヌ アラーノ
(72)【発明者】
【氏名】レオンティン ジャクリーン
(72)【発明者】
【氏名】ドミニク デコー
(72)【発明者】
【氏名】フレデリック ピストン
(72)【発明者】
【氏名】デニス デズリー
(72)【発明者】
【氏名】ギョーム ボワシエ
(72)【発明者】
【氏名】クリストファー タチエール
(72)【発明者】
【氏名】コリーン フルキロン
(72)【発明者】
【氏名】ロレット ラピエール
(72)【発明者】
【氏名】ギヨーム スートラ
【審査官】
横尾 雅一
(56)【参考文献】
【文献】
特表２００６−５０８３６２（ＪＰ，Ａ）
【文献】
特表平１１−５０３２３９（ＪＰ，Ａ）
【文献】
特開２００８−２６１６３１（ＪＰ，Ａ）
【文献】
特表平０７−５００５０５（ＪＰ，Ａ）
【文献】
米国特許出願公開第２００４／０１０１９５１（ＵＳ，Ａ１）
【文献】
米国特許出願公開第２００４／０１０１９５４（ＵＳ，Ａ１）
【文献】
国際公開第２００４／０５１２８３（ＷＯ，Ａ２）
【文献】
米国特許第０５９３６７３１（ＵＳ，Ａ）
【文献】
国際公開第９７／０２２８４８（ＷＯ，Ａ１）
【文献】
欧州特許出願公開第００７６７３６１（ＥＰ，Ａ１）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０１Ｎ ２１／００−２１／６１
Ｃ１２Ｍ １／００− ３／１０
Ｃ１２Ｑ １／００− ３／００
Ｇ０６Ｔ １／００
(57)【特許請求の範囲】
【請求項1】
容器内の培地で成長した生物学的なサンプルの画像であり、サンプル及び培地を含む容器に近水平照明ビームを照射することによって形成された、該画像を増強する方法において、
・前記容器及び前記培地の画像を検査画像として取得する検査画像取得ステップであって、この検査画像取得は、
・互いに異なった複数個の色付き照明源を個別に前記容器及び前記培地に照射する照射ステップ、
・各色に関して前記容器及び前記培地の吸収を測定するステップ、
・各色に関する前記容器及び前記培地の吸収モデルを形成するステップ
によって行う、該検査画像取得ステップと、
・容器、培地及び生物学的なサンプルの画像を取得及び処理するサンプル画像取得及び処理ステップであって、このサンプル画像取得及び処理は、
・複数個の色付き照明源を個別に前記容器、前記培地及び前記生物学的なサンプルに照射するステップ、
・各色に関して前記容器、前記培地及び前記生物学的なサンプルの元画像を生成するステップ、
・各色に関する前記容器及び前記培地の前記吸収モデルを、各色に対応する前記元画像に適用して、前記容器及び前記培地の吸収効果を除去するステップ、
・各色の前記元画像を結合して、前記生物学的なサンプルをハイライト化する複合画像を形成するステップ
によって行う、該サンプル画像取得及び処理ステップと
を有する、方法。
・前記容器及び前記培地の画像を検査画像として取得する検査画像取得ステップであって、この検査画像取得は、
・互いに異なった複数個の色付き照明源を個別に前記容器及び前記培地に照射する照射ステップ、
・各色に関して前記容器及び前記培地の吸収を測定するステップ、
・各色に関する前記容器及び前記培地の吸収モデルを形成するステップ
によって行う、該検査画像取得ステップと、
・容器、培地及び生物学的なサンプルの画像を取得及び処理するサンプル画像取得及び処理ステップであって、このサンプル画像取得及び処理は、
・複数個の色付き照明源を個別に前記容器、前記培地及び前記生物学的なサンプルに照射するステップ、
・各色に関して前記容器、前記培地及び前記生物学的なサンプルの元画像を生成するステップ、
・各色に関する前記容器及び前記培地の前記吸収モデルを、各色に対応する前記元画像に適用して、前記容器及び前記培地の吸収効果を除去するステップ、
・各色の前記元画像を結合して、前記生物学的なサンプルをハイライト化する複合画像を形成するステップ
によって行う、該サンプル画像取得及び処理ステップと
を有する、方法。
【請求項2】
請求項１記載の方法において、前記照射ステップは、赤、緑、青色の照明源及び／又はＵＶ照明源で照射するステップを有する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、試験管内サンプルを分析する方法及びシステムに関する。
【背景技術】
【0002】
試験管内分析は多くの環境で実施され、生物学的なサンプル、例えば、微生物、細胞及び組織の培養、細胞又は細胞内の抽出物、並びに精製した分子を識別できるようにする。種々の試料サンプルを、通常の生物学的状況から隔離し、成長できる環境を与える。この環境は、サンプルが成長できるようにする培養器内に配置するペトリ皿（シャーレ）の形式で与えられることがよくある。ペトリ皿には、通常、サンプルの成長を促す微生物学的培地を設ける。理想的には、適切な培地での培養は、サンプルにおける多数のコロニーを成長させる。その後のコロニー分析は、一般的に微生物を識別し、また微生物の抗菌剤に対する感受性又は抵抗性を評価するために実施される。
【0003】
サンプル分析の重要な部分は、例えば、コロニーから特別な微生物又は細菌を識別する能力である。さらに、適切な薬物による細菌処理は、サンプル内の微生物の成長及びサンプルに投与する任意の薬物との相互作用に基づいて分析することもできる。
【0004】
予備的分析の多くは、資格のある科学者によるペトリ皿の目視分析によって行われる。予備的な目視分析はうまく機能するが、解明するのが困難な異なった微生物の形状、色、サイズ、及び形態に関する膨大な多様性に起因する、人的なエラー及び一貫性欠如を受け易い。しかし、目視手法は、現在のところ依然として、微生物を迅速に識別する最良方法の１つである。さらに、成長の多くが「ランダム」であるため、微生物の成長をモデル化し、また上述の多様性の識別に役立つようにする自動化システムを見出すのは容易ではない。
【0005】
既知の培養装置は、サンプルを見ることができる窓を有するが、ペトリ皿は目視分析するために培養装置から取り出すのが一般的である。予備的目視分析には、光源前方にペトリ皿を保持してコロニーを識別する。さらに詳細な化学的及び顕微鏡分析方法を、必要に応じて特別に識別したコロニーに対して行うことができる。
【0006】
生物学スキャナ、すなわち、細菌コロニーのスキャン又はカウントに使用する装置は、従来既知である。例えば、特許文献１（米国特許出願公開第２００４／０１０１９５１号）及び特許文献２（米国特許出願公開第２０１０／０２３２６６０号）の双方は、生物学的な成長プレートをスキャンする生物学的スキャナについて記載しており、成長プレートはそれぞれ異なる構造を有しているが、双方ともプレートの画像を生成し、また生物学的成長を検出するようこれら画像の分析を行う能力を共通して持っている。しかし、双方ともフロント又はバックからの照射を行う単独光源を使用する。実際、特許文献１及び特許文献２においては、「生物学的成長プレートは、フロント又はバックからの照明のみ必要とし、両方は不要である。」と、記載されている。このような照明は基本であり、効率的に予備的分析を行うのに十分な品質の画像はを得ることができない。
【0007】
或る従来技術のシステムにおいては、ペトリ皿内のサンプルを異なった色又は波長の光によって照射して、サンプルの画像を形成するようにしている。この画像を適切に指向させたカメラによって取得する。
【0008】
特許文献３（仏国特許第２９２６８２０号）は、生物学的サンプル内の少なくとも１つの特別な微生物を検出する方法であり、とくに、それぞれが特別な波長を示す少なくとも２つの放射を培地に加えるステップを有する。好適には、２つの照明システムを使用し、各照明システムは固有波長の放射を発生する。より具体的には、特許文献３の図１は、可視光トップライト照明及び紫外線バックライト照明との組合せを示す。２つの異なった照明からの複合画像を使用して、特別な微生物の存在を検出する。
【0009】
同様に、特許文献４（特開第２０１０−１０４３０１号）は、とくに、微生物が成長する培地の画像を得る画像化ステップと、及びコロニー検出ステップとを有する微生物検出方法を記載しており、この方法は、トップライト照明及びバックライト照明の組合せを使用する。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】米国特許出願公開第２００４／０１０１９５１号明細書
【特許文献2】米国特許出願公開第２０１０／０２３２６６０号明細書
【特許文献3】仏国特許第２９２６８２０号明細書
【特許文献4】特開第２０１０−１０４３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0011】
生物学的サンプルの画像を取得した後には、画像を増強し、画像処理するプロセスを加える。しかし、生物学的サンプルの画像を増強することに関連しては多くの問題がある。これら問題には、以下のようなものがある。すなわち、・見ているコロニーのサイズ、
・１つのコロニーの他のコロニーに対する近接度
・コロニーの色ミックス
・ペトリ皿の性質
・培地の性質
・等
これら問題の多くは、本発明によってのみ解決することができる。
【0012】
本発明の目的は、従来技術に関連する問題の少なくとも若干を解決するにある。
【0013】
さらに、本発明の他の目的は、生物学的なサンプルを分析する自動化システム及び方法を得るにある。
【課題を解決するための手段】
【0014】
本発明は、特許請求の範囲に記載の方法及びシステムを提供する。
【0015】
本発明の一態様によれば、表面を有する生物学的なサンプルの画像を生成する画像化システムを提供し、この画像化システムは、・使用中に生物学的なサンプルを支持するサンプル支持体と、前記サンプル支持体の周囲に配列した複数個の照明源であって、各照明源が使用中の前記生物学的なサンプルを互いに異なった方向から照射する、該複数個の照明源と、前記生物学的なサンプルに入射した照射を捕捉して前記サンプルの画像を形成する撮像装置と、を備え、少なくとも１個の照明源の方向は、前記サンプルの表面に直交しない方向とする。
【0016】
随意的に、照明源のうち少なくとも２つの方向はほぼ同一平面にない配列とする。一実施形態において、少なくとも２つの照明源の方向がなす最大角度は、１７０゜未満、随意的に１６０゜未満、１５０゜未満とする。ほぼ同一平面にない少なくとも２つの照明源を使用することによって、対象、マーク及び対象の特徴の識別及び検出を改善することができる。
【0017】
随意的に、複数個の照明源は、バックライト照明源、近水平照明源、前記表面に指向する環状照明源、前記表面から逆向きに指向する環状照明源、及び垂直照明源のうち、２つ以上の照明源とし、各照明ははっきりと区別できるタイプの照明源をなすものとする。
【0018】
随意的に、複数個の照明源のうち少なくとも２つは、互いに異なったタイプの照明源とする。
【0019】
随意的に、複数個の照明源は、バックライト照明源、近水平照明源、前記表面に指向する環状照明源、前記表面から逆向きに指向する環状照明源、及び垂直照明源のうち、３つ以上の照明源とし、各照明ははっきりと区別できるタイプの照明源をなすものとする。
【0020】
随意的に、複数個の照明源のうち少なくとも３つは、互いに異なったタイプの照明源とする。互いに異なったタイプの少なくとも２つ又は３つの照明源（例えば、バックライト照明源、近水平照明源等）を使用することによって、対象、マーク及び対象の特徴の識別及び検出を改善することができる。
随意的に、複数個の照明源を使用して、複合した合成画像を形成するよう組合せることができる複数の画像を生成する。
随意的に、複数個の照明源の互いに異なった組合せを使用して、互いに異なった生物学的分析のための互いに異なった画像を生成する。
随意的に、各照明源は、それぞれユニットとして設け、各ユニットを順次上方に重ね合わせることができる構成とする。
随意的に、ユニットは他のユニットに対して相対移動可能にする。
随意的に、サンプルを前記複数個の照明源に対して相対移動可能にする。
随意的に、照明源は、赤、緑、青色の照明源、白色光照明源、又はＵＶ照明源により構成する。
随意的に、サンプルは、近水平照明源によって照射できるものとする。
随意的に、本発明システムは、さらに、前記サンプルの生物学的分析を行うよう画像を増強又は処理する処理システムを備える。
随意的に、本発明システムは、サンプルを画像化する前に、前記サンプルを培養する培養システムに組合せる。
【0021】
本発明は、さらに、生物学的なサンプルを培養する培養装置であって、特許請求の範囲に定義した画像化システムを有する培養装置に関する。
【0022】
本発明の他の態様によれば、表面を有する生物学的なサンプルの画像を生成する方法を提供し、この方法は、以下のステップ、すなわち、・複数個の照明源によりサンプルを照射する照射ステップであって、前記複数個の照明源は、サンプル支持体の周囲に配列し、また使用中の前記生物学的なサンプルを互いに異なった方向から照射するよう構成した、該照射ステップと、
・前記生物学的なサンプルに入射した照射を捕捉して前記サンプルの画像を形成する撮像ステップと
を有し、前記照射ステップは、前記サンプルの表面に直交しない方向に指向する少なくとも１個の照明源で前記サンプルを照射するステップを有する。
【0023】
本発明の他の態様によれば、容器内の培地で成長する生物学的サンプルの画像を増強するシステム及び方法を提供し、画像はサンプル及び培地を含む容器に近水平照明ビームを照射することによって形成しておいたものであり、この方法は、互いに異なった色の複数個の照明源を個別に容器及び培地に照射することにより容器及び培地の画像を検査画像として取得する照射ステップと、各色に関する容器及び培地の吸収を測定するステップと、容器及び培地に関する各色の吸収モデルを形成するステップと、容器、培地及び生物学的サンプルに互いに異なった色の複数個の照明源を個別に容器及び培地に当てることにより容器、培地及び生物学的サンプルの画像を取得及び処理するステップと、容器、培地及び生物学的サンプルの各色での元画像を生成するステップと、容器及び培地の各色での吸収モデルを各元画像に適用して容器及び培地の吸収効果を除去するステップと、各色の元画像を組合せて生物学的サンプルをハイライト化する複合画像を形成するステップとを有する。
【0024】
随意的に、照射ステップは、赤、緑、青色の照明源、及び／又はＵＶ照明源で照射するステップを有する。
【0025】
本発明の他の態様によれば、生物学的画像化システムにおける生物学的なサンプルの画像の理想的露光時間を決定するシステム及び方法を提供し、この方法は、画像化すべきサンプルの１つ又はそれ以上の特徴を識別するステップと、１つ又はそれ以上の特徴に基づいてデフォルト（既定）の露光時間を決定するステップと、デフォルト露光時間で画像を撮るステップと、画像を分析して、例えば、画像における関心のあるフィールドに関連するゾーン及び関心のあるフィールドに関連しないゾーンのような、複数のゾーンを決定するステップと、前記画像の期待する輝度を見積もるよう、複数のゾーン相互間の相対輝度を決定するステップと、サンプルに関連するゾーンのような１つのゾーンに分類アルゴリズムを適用して、生物学的サンプルに関連する画像部分の集合及び生物学的サンプルに関連しない画像部分の集合をとるステップと、各部分の輝度を決定し、画像の実際の輝度に関する値を得るステップと、実際輝度及び期待輝度との比較をとり、実際輝度と期待輝度との差の差分係数を決定するステップと、係数が所定レベル以上である場合、デフォルト露光時間が不適正であることを確定するステップと、及び係数に基づく新しい露光時間で画像を再び撮るステップとを有する。
【0026】
本発明の他の態様によれば、生物学的サンプルの画像から、生物学的サンプルの表面における輪郭及び凹凸情報を決定するシステム及び方法を提供し、この方法は、サンプル上方から少なくとも１個の垂直照明源によりサンプルを照射し、またサンプルの単色画像を得るステップと、任意な方向からの第２照明源によりサンプルを照射してサンプルの第２画像を生成するステップと、単色画像に変換を加えて変換単色画像を形成するステップと、変換単色画像における低周波数輝度値を抑制するステップと、変換単色画像における各ピクセルの輝度値を決定するステップと、輝度値を第２画像に対してピクセル毎に結合して輪郭を強調し、また凹凸情報を与える最終画像を形成するステップとを有する。
【0027】
随意的に、サンプル上方から少なくとも１個の垂直照明源によりサンプルを照射し、またサンプルの単色画像を得るステップは、互いに異なった少なくとも２つの位置で少なくとも２つの垂直照明源によりサンプルを照射するステップを有する。
【0028】
随意的に、第２照明源によりサンプルを照射するステップは、複数のカラーチャネルを有する照明源を使用するステップと、第２画像をカラー画像として形成するステップとを有する。
【0029】
随意的に、第２照明源によりサンプルを照射するステップは、赤色、緑色及び青色の各照明源で個別に照射するステップと、合成した赤色、緑色及び青色の画像それぞれに輝度値を結合して、各色に対して輪郭を強調し、また凹凸情報を与える画像を形成するステップと、及び３つの色を結合して最終画像を得るステップとを有する。随意的に、サンプルは、微生物コロニーが存在する培地を含むペトリ皿とする。
【0030】
本発明の他の態様によれば、容器に関連する特徴を検出するシステム及び方法を提供し、この方法は、１つ又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して、容器の１つ又はそれ以上の画像を取得するステップと、対象検出変換法を適用して容器の端縁を識別するステップと、容器内部の画像を決定するステップとを有する。
【0031】
随意的に、容器内部の画像を決定するステップは、画像から容器の端縁をマスク掛けして、容器内部を示す合成画像を生成するステップを有する。随意的に、この方法は、容器内における任意の微生物の不在を識別するステップを有する。
【0032】
本発明の他の態様によれば、容器における非生物学的特徴を有する所定フォーマットの対象を検出するシステム及び方法を提供し、この方法は、１つ又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源をを使用して容器の１つ又はそれ以上の画像を取得するステップと、前記画像のデジタル画像を形成するステップと、非生物学的特徴を有する所定フォーマットの対象を識別するステップとを有する。
【0033】
画像のデジタル画像を形成するステップは、容器の１つ又はそれ以上の画像における、点形状及び暗色を有する対象を検索するステップを有する。この方法は、さらに、識別した対象をマスク掛けし、対象が見えない合成画像を生成するステップを有する。
【0034】
本発明の他の態様によれば、培地を含む容器における微生物コロニーを区分けするシステム及び方法を提供するものであり、この方法は、１個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の１つ又はそれ以上の画像を取得するステップと、更なる処理のために画像又は画像の組合せを選択するステップと、円形対象が容器内で離隔したコロニーを表すものとして、円形対象検出変換法を適用して容器内の１つ又はそれ以上のほぼ円形の対象を識別するステップと、識別したほぼ円形の各対象に対して、その対象の離隔面積を決定するステップとを有する。
【0035】
随意的に、対象の離隔面積を決定するステップは、識別したほぼ円形の対象の中心を決定するステップと、２値化ステップを適用することにより、識別したほぼ円形の対象のデジタル画像を形成して２値化画像を得るステップであって、２値化画像の中心が識別したほぼ円形の対象の中心に相当するものとした、ステップと、２値化画像の対象の円形度を検証するステップと、対象の離隔面積を識別する検査を行って、コロニーのサイズ、及びそのコロニーにおける他のコロニーからの離隔面積を決定するステップとを有する。
【0036】
本発明の他の態様によれば、培地を有する容器内のコロニー及び／又は非円形コロニーの団塊を検出するシステム及び方法を提供し、この方法は、１個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の１つ又はそれ以上の画像を取得するステップと、画像のデジタル画像を形成するステップと、コロニー及び非円形コロニーの高密集度を識別することによって成長を検出するステップとを有する。
【0037】
随意的に、コロニー及び非円形コロニーの高密集度を識別するステップは、所定値以上のコントラストを有する面積を決定するステップを有する。随意的に、画像のデジタル画像を形成するステップは、領域ベースのセグメント化技術で画像をセグメント化するステップを有する。
【0038】
本発明の他の態様によれば、培地を含む容器内における集団移動する微生物を検出するシステム及び方法を提供し、この方法は、１個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の１つ又はそれ以上の画像を取得するステップと、輪郭又は凹凸情報を有する画像を選択するステップと、所定フィルタを選択した画像に適用してフィルタ処理画像を形成するステップと、選択した画像をフィルタ処理画像から差し引いてテクスチャを示す画像を生成するステップとを有する。
【0039】
随意的に、フィルタを適用するステップは、メジアン７×７フィルタをデジタル画像の各点に適用するステップを有する。
【0040】
本発明の他の態様によれば、培地を含む容器内における少なくとも１つの微生物により生じたα及び／又はβの溶血を検出するシステム及び方法を提供し、この方法は、・１個又はそれ以上の複数個の照明源であり、各照明源が互いに異なった方向から容器を照射することができる照明源を使用して容器の第１画像及び第２画像を取得するステップと、
・異なった画像特徴に異なった重み付けをする融合アルゴリズムに基づいて第１画像及び第２画像を結合し、輪郭情報を有するカラー画像を生成してα及び／又はβの溶血を検出できるようにするステップと
を有する。
【0041】
以下に、例示としての添付図面について言及する。
【図面の簡単な説明】
【0042】
【図1】本発明の一実施形態による生物学的分析システムを示すブロック図である。
【図4a】本発明の一実施形態によるバックライト照明源の線図的説明図である。
【図4b】バックライト照明に関連する拡散器（デフューザ）の正面から見た斜視図及び背面から見た斜視図である。
【図4c】環状照明に関連する拡散器（デフューザ）の正面から見た斜視図及び背面から見た斜視図である。
【図5】本発明の一実施形態によるサンプルドロワ（引出し）及び関連する近水平照明源の線図的説明図である。
【図6】本発明の一実施形態による環状照明源の線図的説明図である。
【図7】本発明の一実施形態による、異なる用途向けの異なる照射タイプを示す表である。
【図8】本発明の一実施形態による、異なった画像処理技術に関連する異なった培地用の異なった照射タイプを示す表である。
【図9a】本発明の一実施形態による、第１画像増強技術のための元画像を示す。
【図9b】本発明の一実施形態による、第１画像増強技術を行った後の合成画像を示す。
【図10】本発明の一実施形態による、第１画像増強技術のステップを示すフローチャートである。
【図11a】本発明の一実施形態による、赤色に対する吸収測定及びモデルを示すグラフである。
【図11b】本発明の一実施形態による、緑色に対する吸収測定及びモデルを示すグラフである。
【図11c】本発明の一実施形態による、青色に対する吸収測定及びモデルを示すグラフである。
【図12】本発明の一実施形態による、他の画像増強技術におけるフローチャートである。
【図14】本発明の一実施形態による、他の画像増強技術を行った後の２つの合成画像である。
【図15a】本発明の一実施形態による、さらに他の画像増強技術に関する、可能な変換関数を示すグラフである。
【図15b】本発明の一実施形態による、さらに他の画像増強技術に関する、可能な変換関数を示すグラフである。
【図16】本発明の一実施形態による、さらに他の画像増強技術を行った後の２つの合成画像である。
【図17】本発明の一実施形態による画像処理技術例を示すブロック図である。
【図18】本発明の一実施形態によるマーク検出のプロセスを示すブロック図である。
【図19】本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。
【図19a】本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。
【図20】本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。
【図21】本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。
【図22】本発明の一実施形態による画像処理技術に使用するマトリクスを示す説明図である。
【図23】本発明の一実施形態による画像処理技術のプロセスにおけるステップを示すブロック図である。
【図24】本発明の一実施形態による画像化システムのロボットアームを示す線図的斜視図である。
【図25】本発明の一実施形態による画像化システムのロボットアームを示す線図的斜視図である。
【図26】本発明の一実施形態によるペトリ皿（シャーレ）用のマスクを示す線図的説明図である。
【図27】本発明の一実施形態による環状照明中にマスクを設けるペトリ皿の断面図である。
【発明を実施するための形態】
【0043】
本発明は、完全自動化又は半自動化した様式の生物学的試料を分析するシステムに関する。本明細書において、用語「対象（オブジェクト）」とは、泡又はコロニーのような実体に関連し、また用語「マーク」とは、人為物（アーチファクト）又はセリグラフィ（シルクスクリーン印刷）のような容器における特性に関連し、また用語「特徴」とは、対象の特性に関する。更に、用語「ペトリプレート」とは、ペトリ皿（シャーレ）とこのペトリ皿をカバーする蓋とのアセンブリとして定義する。
【0044】
図１は、本発明によるシステム１００の例を示す。システム１００は、サンプル容器バンク１０２、自動塗抹（ストリーキング）装置１０４、スマート培養システム１０６、処理ユニット１０８及び識別システム１１０を有する。
【0045】
サンプル容器バンク１０２は、内部で生物学的サンプルを成長させ、また分析することができるサンプル容器を手作業で又は自動的に作成準備する。サンプル容器は一般的にはペトリ皿であるが、他の容器も使用できる。したがって、本明細書におけるペトリ皿への言及は、限定することを意図するものではない。
【0046】
サンプル容器バンクは、適切な培地をペトリ皿に添加し、生物学的サンプルを成長させることができるようにする。ペトリ皿は、サンプル容器バンクから後続のプロセス段階にコンベアベルト又は他の自動化システムによって送る。代案として、サンプルは、オペレータによって移送することもできる。
【0047】
自動塗抹装置１０４は、生物学的サンプルをペトリ皿に供給し、つぎに既知のようにこのサンプルを分布させる。例えば、ペトリ皿の半径にほぼ等しい長さの櫛を使用して、皿内にサンプルを塗布する。この櫛を皿の表面に当て、つぎに皿の表面全体にわたり生物学的サンプルを回し広げる。適当な自動塗抹装置の例としては、ＰＲＥＶＩ（登録商標）Ｉｓｏｌａの商標名で本願人により市販されているものがある。
【0048】
生物学的サンプルを皿内の培地全体にわたり分布させた後、皿を次の処理段階にオペレータが手作業で、又はコンベアベルト若しくは自動化システムによって移送することができる。
【0049】
スマート培養システム１０６は、培養器１１２及び画像化システム１１４を有する。ペトリ皿を培養器内に導入し、所定時間にわたり所定温度で培養する。このことにより、生物学的サンプルを成長させ、皿の表面全体にわたり多数の微生物コロニーを増殖させる。皿が所望の培養状態になった後、皿を画像化システム１１４に移送する。画像化システムは、システム内で発生したコロニー及び培養物の画像を生成する独特で新規なシステムである。画像化システムの詳細を以下にさらに説明する。
【0050】
画像はサンプルの分析における第１段階に使用する。この段階は、生物学的サンプルのコロニー及び他の様相を識別し、全体システムにおける他の行為及び機能を支援及び容易化することができる。
【0051】
皿の画像を生成した後、皿を次の処理段階に移送する。この移送は、コンベアベルト若しくは自動化システムに自動的に又はオペレータによって行うことができる。
【0052】
処理ユニット１０８は、必要とされるサンプル分析に応じて、種々の異なった形式をとることができる。例えば、特別なコロニーを、他の分析又は処理のために画像に基づいて抽出することができる。多くの他の処理を皿に対して加えることができる。必要であれば、皿を更なる成長のために培養器に戻す、及び／又は画像化システムに戻すことができる。
【0053】
すべての必要な処理及び撮像が完了した後、皿を識別システム１１０に手動又は自動プロセスによって移送することができる。識別システム１１０は皿上のコロニー形態内存在する微生物を多くの異なる手法で識別するのに使用する。識別は、微生物の代謝分析によって、自動的又は手動で行うことができる。自動分析は、例えば、本願人によって市販されているＶＩＴＥＫ（登録商標）システムによって行うことができる。さらに、識別は、分光分析技術を使用して行うことができる。他の分析は、抗菌抵抗メカニズムを検出するステップも有することができる。全体システムにおける種々の構成要素を変更して異なった機能を実施することができると理解されたい。さらに、或るステップは、異なる順番で行うことができる。
【0054】
上述したように、スマート培養システムは、本発明の重要な態様であり、独特な画像化システムを含む。画像化システムは、以下に図２ａ、２ｂ及び２ｃにつきより詳細に説明する。画像化システム１１４は、底部ユニット２０２を有する。この底部ユニットは、赤、緑及び青のバックライト照明を発生するための光学系及び制御回路を含む。底部ユニットは、図２ｂに示す３つの位置をとるホイール形式のコントローラを有する。これら位置は、異なった照明、すなわち、「無背景」、「白背景」及び「黒背景」の照明に対応する。「無背景」位置は、ホイールにおける円形孔１５０に関連し、「白背景」位置はホイールにおける白背景円１７０に関連する。「黒背景」位置はホイールにおける黒背景円１６０に関連する。無背景はバックライトに使用し、一方白背景及び黒背景はサンプルの性質の応じてあらゆる他のタイプの照明に使用する。
【0055】
底部ユニットの上方にサンプル保持ユニット２０４を設ける。サンプル保持ユニットは、スライドして出し入れできる引出しと、及びペトリ皿を支持するよう構成した窪み２０６とを設けることができる。さらに、図２ｃに示すように、サンプル保持ユニットは、４個の赤、緑、青色用水平照明源２０８，２１０，２１２及び２１４を設ける。４個の照明源は、サンプル窪みの周りに矩形状に配置し、それぞれ独立して制御することができる。使用にあたり、ペトリ皿の頂面がほぼ４個の水平照明源の頂部に整列するようにする。水平照明源は、ペトリ皿を水平又はほぼ水平なビームで照射できる。
【0056】
窪み底部は透光性にし、バックライト照明が使用するサンプルを照射できるようにする。サンプル保持ユニットには、さらに、４個の水平照明源を動作させるのに必要な光学系及び制御器を設ける。
【0057】
サンプル保持ユニットは、他の向き（図示せず）にし、サンプルをコンベアベルトで撮像のための位置に移送するようにする。引出しは、サンプル保持ゾーンを有するコンベアベルトシステムにより交換できるようにし、各サンプル保持ゾーンはバックライトを使用できるよう透明にする。コンベアベルトシステムはサンプルを適切な位置に移動し、つぎに必要な画像を撮ることができるようにする。この後、コンベアベルトは次のサンプルを撮像位置に移動し、また第１サンプルは次の処理段階に移動する。このことにより、異なった位置でまたサンプルが移動しているとき、画像を撮ることができる。
【0058】
他の代案として、システムには、ペトリ皿をサンプルホルダ内に又はコンベアベルト上に装荷できるロボットアームを設けることができる。さらに、ロボットアームは、撮像する前にペトリ皿の蓋を取外し、撮像後に蓋を再配置することができる。このことは、ペトリ皿を反転させ、蓋を落下させることによって行うことができる。蓋を外すことにより、サンプルを所定照明源によって照射するとき蓋による反射が生じないのを確実にする。
【0059】
ロボットアームの可能性がある実施形態を、以下に説明する図２４及び２５に示す。
【0060】
さらに、撮像ゾーンに対する出し入れするため、サンプル保持ユニットには、通常位置に対するサンプル位置を変化させる機構を設けることもできる。例えば、サンプルホルダは、サンプルを特定ビームに対して特定角度をなす向きに向き決めすることができる。他の移動、例えば、サンプルの回転を適当な機構によって行うこともできる。この結果、サンプル及び照明源の任意の相対移動は、サンプル保持ユニットにおけるサンプル又は照明源のいずれかを移動することによって実現することができる。変更は無限にある。
【0061】
サンプル保持ユニットが通常位置、例えば、画像化システムにおけるホイール上に水平位置にある状況では、マスクを付加してペトリ皿内部の撮った画像画質を改善することができる。マスクを設けるペトリ皿に関連する実施形態を図２６につき以下に説明する。
【0062】
画像化システム１１４には、さらに、サンプル保持ユニット上方に位置する第１中間ユニット２１６を設ける。この第１中間ユニット２１６は、矩形に配置した４個の赤、緑、青色用照明源２１８，２２０，２２２及び２２４を有する。照明源は、使用にあたり、サンプル保持ユニット内のサンプル窪みに対して環状照射を生じ、またそれぞれ独立して制御可能にする。環状照射は、側方、非側方、又はあらゆる適切な向きを含む、適切な任意の方向からサンプルに入射するよう調整することができる。
【0063】
画像化システムには、さらに、第２中間ユニット２２６を設ける。第２中間ユニットは、矩形に配置した４個の赤、緑、青色用照明源２２８，２３０，２３２及び２３４を有する。照明源は上向きにし、ユニットの上方から反射し、逆向き環状照射を生じ、これがサンプル窪み内のサンプルを照射し、また独立的に制御可能にすることができる。
【0064】
画像化システムのヘッドユニット２３６は第２中間ユニットの上方に配置する。ヘッドユニットは、図面で４個に符号を付して示す白色光照明源２３８，２４０，２４２，２４４，２４６，２４８，２５０及び２５２を有し、これらは独立的に制御可能にする。８個の照明源を配列し、使用にあたり、サンプル窪みに対して垂直照射する。
【0065】
ヘッドユニットは、さらに、サンプル窪みに向かって指向するカメラのような撮像装置２５４を有する。照明源の任意な組合せによる照射をサンプル窪みに指向させることができる。撮像装置は、照射されているサンプル窪み内の任意のサンプルから画像を取得することができる。画像の使用及び他の処理を以下により詳細に説明する。
【0066】
ヘッドユニットには、さらに、制御パッド２５６を設け、この制御パッドを使用して種々の光源を操作する。それぞれの機能を制御する各ユニットにおける制御回路及び光学系の他に、全体制御システム（図示せず）を設ける。制御システムは、コンピュータ、ディスプレイユニット、処理モジュール及び画像増強アルゴリズム、画像処理手段、及び任意な他のプロセス又は技術を有することができる。
【0067】
制御システムを使用して、どの照明源を特定用途に使用するかを制御することができる。さらに、制御システムは、異なった画像増強技術及び画像処理手段を異なった用途に適用することができる。画像増強技術は、画像の画質を向上する、又は関連情報を専門家が見るための可視化を行う方法及び技術である。以下により詳細に説明する例としては、血球破壊（溶血）反応を見るための垂直融合又は融合のような異なった画像の融合、エッジ照明補正、露光時間補正等がある。画像処理手段は、画像から情報抽出を行い、決定支援又は自動決定ができるようにすることである。このことは、必ずしも画像の修正を含むものではなく、より高レベルの情報／解釈を自動決定することである。以下に詳細に説明する例としては、皿リングの決定、マーク決定、成長（団塊化、離隔コロニー化、集団移動）の検出、成長／非成長に関する全体的な決定等がある。集団移動は、固相又は半固相の表面にわたるバクテリア固体群の急激な（２〜１０μｍ／ｓ）また協調した転移である集団運動性を示すことを意図する。このタイプの運動性は、主に、セラチア属、サルモネラ属、アエロモナス属、バチルス属、エルシニア属、シュードモナス属、プロテウス属、ビブリオ属、エシェリキア属に関して研究されてきた。
【0068】
制御システムを使用して、画像化システムにおける任意な他の記載の及び／又は制御操作を実施することができる。例えば、限定はしないが、以下のものがある。すなわち、・サンプルのサンプル窪み内への装填及び取出し、
・サンプル窪み内へのサンプル位置決めのチェック及び調整、
・輝度レベルの制御、
・赤、緑、青成分バランスの制御、
・露光時間制御、
・照明組合せの制御、
・システムの検査、
・システムの較正、及び
・分析の使用及び目的に基づく任意な他の適切な制御
がある。
【0069】
画像化システムを形成する各ユニットは、他のユニットに対して相対移動することができる。この相対移動を生ずるとき、サンプルをすべての照明源によって照射するのを確実にするよう幾分の光学的調整を必要とする場合がある。
【0070】
画像化システムの操作を以下に図３につきより詳細に説明する。図３は、種々の照明源、及びこれら照明源が画像化システムに配置したサンプル３００をどのように照射するかを示す、画像化システム１１４の線図的説明図である。サンプル３００は、近水平ビーム３０２，３０４によって照射することができる。近水平ビームは、実際、参照符号３０２及び３０４で示したものの他に、図の紙面に対して出入りする成分を含む。近水平ビームは、図２のサンプル保持ユニット２０４における水平照明源によって生ずる。サンプルは、図２の底部ユニット２０２によって発生するバックライトビーム３０６により照射することができる。
【0071】
環状ビーム３０８もサンプル３００を照射し、この環状ビーム３０８は第１中間ユニット２１６によって生ずる。第２中間ユニット２２６により生ずる逆向き環状ビーム３１０もサンプルを照射することができる。
【0072】
垂直ビーム３１２もサンプルを照射することができ、これはヘッドユニット２３６における照明源によって発生する。
【0073】
垂直ビーム及びバックライト照明は、ペトリ皿内のサンプルに対してほぼ垂直方向に照射する。これら照明源それぞれの光軸は、したがって、サンプルに対して直交する。近水平照明源、環状照明源及び逆向き環状照明源は、ペトリ皿に非直交状態にする。非直交照明源によれば、直交照明源によって得られる画像に対して多様な又は代替的な画像を生ずる。これら非直交照明源は、非直交照明源で得られるあらゆる画像に対して、付加的な、また異なった光学的特徴を付与する。このことにより、コロニーの孤立及び検出を確実に改善する。
【0074】
図３に示し、図２の適切なユニットにより生ずる照明源は、任意の好適なタイプ、例えば、赤、緑及び青（ＲＧＢ）周波数で動作する発光ダイオード（ＬＥＤ）、単純な白色光源、紫外線（ＵＶ）源、又は任意な他の適切な放射源とすることができる。照明源は、６４個の白色ＬＥＤ、８６個の赤色ＬＥＤ、８６個の緑色ＬＥＤ、８６個の青色ＬＥＤを含む３２２個のＬＥＤを有することができる。任意の位置における光源の個数は、図示のまた本明細書に記載したのと変化させることができる。ＲＧＢ照明は、各位置において３色ＬＥＤのトリオにして設け、それぞれ対応の周波数で動作させる。異なった照明源に関しては、ＲＧＢＬＥＤの異なる組合せにすることができる。例えば、バックライト照明に関しては、ＬＥＤは、図４ａに示すように、指向させることができる。各タイプの照明は、ＬＥＤの特定配列を有する特定カードによって設ける。底部ユニット２０２は、２個のカード４００及び４０２によってバックライトビーム３０６を発生し、各カードはそれぞれ３個組の複数個のダイオードを有する。各ＬＥＤトリオ４０４は、赤、緑及び青色のＬＥＤを含む。サンプルの位置を参照符号４０６で示す。全体で４５個のＬＥＤトリオを各カードに配置し、またバックライトビーム３０６を発生するのに使用する。各トリオのうち、赤、緑及び青色のＬＥＤを一度に１つを点灯し、１つの色の点灯は他の色の後に行うようにすることができる。
【0075】
ダイオードの任意の適切な向き及び個数を図示の実施例とは異なるものにすることができることを理解されたい。さらに、ＲＧＢの異なる組合せを選択して使用することができる。
【0076】
さらに、ＵＶ源に関して、ＵＶ照明は、同時に点灯する２個のカードによって設けることができる。各カードは、例えば、強度５００ｍＡのＵＶＬＥＤを有する。
【0077】
カードには、ＬＥＤの温度及びあり得る収差を決定するセンサを設けることができ、これにより、問題が予見され得る場合に、ＬＥＤを数秒間切り替えて連続動作できるようにする。図４ｂに示すような拡散器（デフューザ）を、カード４００，４０２と窪み内のサンプルとの間に設けることができる。拡散器は、ＬＥＤが合成映像で見えるのを防止し、また背景光を均等にする補助を行う。さらに、拡散器は、強力なＬＥＤからの照射の若干を吸収する。直接照明を使用したとき、極めて短い露光時間を使用して、カメラにより生ずるいわゆるスミアに関連するあらゆる作用を減少できる。
【0078】
図５は、近水平ビーム３０２，３０４を発生するようサンプル保持ユニット２０４に配置した照明源を示す。８枚のカードを設け、各カードは、それぞれ側面５００，５０２，５０４及び５０６の長さの１／２をカバーする。各カードは８個のＲＧＢＬＥＤトリオのアレイを担持する。照明源は、ともに独立的に又は任意の所定シーケンスで制御することができる。８個のカードは、サンプル窪みを設けたサンプル引出し機構の一部をなす。異なるサイズの開孔５１０を有する透光性介在部材５０８を使用して、異なるサイズのサンプル又はペトリ皿を収容できるようにする。
【0079】
図６につき説明すると、第１中間ユニット２１６及び第２中間ユニット２２６における４個の照明源それぞれには、４個のカード６００，６０２，６０４及び６０６を設け、各カードはそれぞれ、図示のように指向した１０個のＲＧＢＬＥＤ６０８のアレイを有する。これらアレイにより、第１中間ユニット２１６の場合には環状ビーム３０８、第２中間ユニット２２６の場合には逆向き環状ビーム３１０を生ずる。各カードは独立的に制御し、各カードは一緒に又は個別に制御することができる。サンプル及び培地からの望ましくない反射を防止するため、各カードには図４ｃに示すような拡散器を設ける。各カードは、軸線（１つを参照符号６１０として示す）周りに回転し、環状ビームを最適なサンプル照射が得られるよう位置決めすることができる。この調整は、サンプルに対する中間ユニットの垂直方向位置に無関係に均一照射を確保するのに必要である。図６は、第１中間ユニット２１６のカード位置を示す。第２中間ユニットに関しては、カードは上向きに指向させ、これに応じた回転を調整するようにする。
【0080】
ヘッドユニット２３６における垂直照明源２３８，２４０，２４２，２４４，２４６，２４８，２５０及び２５２は、それぞれ白色光源とし、それぞれ独立的に制御し、垂直ビーム３１２を発生できるようにする。
【0081】
撮像装置２５４は、上方からサンプルの画像を取得するよう構成する。９０ｍｍ直径のペトリ皿に対しては、１００ｍｍ２ の画像を生ずる。このことは、一般的に標準撮像装置における２０５０pixels２に等しいが、他のピクセルサイズでは、２４４８×２０５０ピクセルを使用することもできる。さらに、皿は一般的に１３ｍｍのオーダーの高さであるため、撮像装置の被写界深度は、ペトリ皿内の培地層の高さに応じて±６ｍｍの範囲内とする。
【0082】
上述したすべての照明で、サンプル画像を撮像装置２５４によって上方から取得する。カメラは、所定時間の期間にわたり、一連の画像シーケンスのセットを撮り込み、コロニーの成長及び他の時間に関連する効果を測定することに留意されたい。さらに、カメラは、コロニーの成長過程等を測定する若干の用途ではビデオカメラとすることができる。皿の移動は、適当なコンベアベルト又はロボットアームによって画像化システムに皿を出し入れすることによって行うことができる。
【0083】
カメラは、異なった照明源から異なったタイプの画像を撮るよう構成する。一般的には、特別な用途に関しては、一連の画像シーケンスを撮るようにする。このシーケンスは、特別な照明又は照明の組合せでサンプルを照射するステップと、これに続く、特定タイプの画像、例えば、関連照明による単色（モノクローム）、白黒、ＲＧＢの画像を撮るステップとを有する。この後、次の画像を、異なったタイプの照明又は照明組合せで撮り、すべての必要な画像を撮るまてこのシーケンスを継続する。カメラは、適切タイプの画像を撮るシーケンス内で制御する。
【0084】
カメラは、例えば、単色センサを有し、また１７画像／秒の最高速度で順次走査ＣＣＤ技術を使用することができる。カメラは、１２〜２４ボルトＤＣの電力消費量とすることができる。生成した画像及び画像増強プロセスのより詳細を以下に説明する。
【0085】
上述したように、画像化システム１１４におけるサンプルを複数の異なった光源から照射することができ、異なった方向からサンプルに入射する。サンプルを照射した後、サンプルの画像を上方から撮る。各照射は、サンプルの異なった態様を強調する。
【0086】
バックライト照明は、ペトリ皿の底面におけるあらゆるマーキング、端縁形状、ペトリ皿の蓋、サンプルにおけるコロニーのレイアウト及び密度の詳細ビューを含む、ペトリ皿の詳細を示す。この照明は、コロニーを区分けし、類似のコロニー間（例えば、α及びβの溶血性種）の相違を決定する情報を提供し、また一般的にサンプル内容物のビューを与える。
【0087】
近水平照明は、サンプル及びサンプル内容物によって屈折及び反射し、人為物を区分けし、また排除するのに使用できる画像を形成する。さらに、この画像を使用して、以下により詳細に説明する培地による照明の吸収に基づいた補正を行うことができる。さらに、この画像を後で使用し、コロニーによる皿掩蔽率を決定し、コロニー密度を見積り、また不透明でない培地上での成長又は不成長を決定することができる。
【0088】
環状照明は、サンプルに指向させ、培地及び形成されたあらゆるコロニーによって撮像装置に反射又は屈折される。照明によって生ずる画像の目的は、培地及びコロニーの色を区別する能力にある。色識別能力は、若干の微生物が極めて独特な色彩をしているため、特定微生物を識別する重要なツールとなることがよくある。全体結果は、生物学者が微生物の特定タイプ、例えば、色、コロニー態様等を見ようと期待するものに最も近似するビューである。このことは、とくに、培地及びコロニー周辺の色彩のかすかな変化を識別するのに重要である。さらに、環状照明により生ずる画像は、発色媒体におけるバクテリアコロニーの下側及びその周辺のかすかな色変化を検出することができる。
【0089】
側方環状照明は、照明源２１８，２２０，２２２及び２２４のうち１個のみによる照明である。これにより、輪郭及び凹凸を識別するのに使用できる陰付き画像を生ずる。各照明源は、照射方向の結果として異なった陰影効果を生ずる。
【0090】
逆向き環状照明は、ヘッドユニットからサンプルへの反射を生ずる。この後、サンプルが照射を撮像装置に反射又は屈折する。このようにして取得された画像は、サンプルにおける異なったコロニーのコントラスト細部を与える。この画像は色情報に寄与する。さらに、この画像は、テクスチャ（質感）情報、コロニーの態様及び色、集団移動限界の情報、コロニーの凹凸に関する所定情報、例えば、形態及び形状に関する情報を与えることができる。
【0091】
逆向き環状照明は疑似垂直照射を発生し、階調変化を可視化できる。これはテクスチャび粒度情報を与え、また大きな隆起はないが、不規則表面を有するコロニーを検出するのに有用である。一実施形態において、逆向き環状照明を使用して多数の異なった画像を撮り、その後に組合わせ、画像の可能性がある色彩度に対処できるようにする。
【0092】
垂直照明源は、サンプルを上方から照射する。この照射はサンプル及びコロニーによって反射し、詳細な凹凸輪郭情報を与える画像を生ずる。この画像を使用して、サンプルの凹凸及びコロニーの高さを識別することができる。つぎに、この情報を使用して微生物の特定タイプを識別することができ、なぜならコロニーの凹凸は極めて特別であることが多いからである。例えば、或るコロニーはドーム形状をしている、他のものはコブが多い、また他のものは平坦である、等。
【0093】
上述したように、各照明源及び方向を使用して、異なった画像特性を強調付け及び改善することができる。上述の例は、異なる照明源及び方向からの照射を使用することにより、本発明の範囲から逸脱することなく、変更又は適用することができる。
【0094】
さらに、照明の異なった波長を、異なった用途に使用でき、例えば、赤外線波長及び紫外線波長を使用できる。
【0095】
本発明の他の重要な用途は、照明源の組合せから複数の画像を生じて、サンプル画像における１つより多くの特徴を強調及び改善する複合画像を生成することである。例えば、バックライト画像と環状画像との組合せは、類似のコロニー、例えば、α溶血又はβ溶血の所定の特徴又は特性を認識するのに有用となり得る。
【0096】
生成する画像に対する効果をもたらす他の要因は、サンプルを成長させるよう使用する培地のタイプである。多くの異なった培地が存在し、例えば、とくに大腸菌感染（E-coli）プロテウス属を識別し得る培地であるＣＰＳ、尿サンプルを使用するＫＥＳＣ、及び溶血能力を識別するのに有用な血液を含む培地であるＣＯＳがある。
【0097】
異なった培地、例えば、ＣＰＳ及びＣＯＳは、性質及び色が全く異なる。この結果、これら培地に加える照明は異なるタイプの画像を生ずることができる。したがって、異なった照明源及び照明源の組合せを異なる培地に使用することができる。
【0098】
図７は、上述した種々のタイプの照明、これら照明の所定用途向けあり得る使用のセットを示す表である。上述したように、多くの異なるタイプの培地がある。これら培地は、不透明培地又は透明／半透明培地として広く分類されている。表は、異なったタイプの照明を異なったタイプの培地に使用する可能性を示す。表自体は例示的なものであり、所定用途及び分析を実施するのに最適な照明条件の幾つかを示す。バックライトは、不透明血液培養における溶血を示し、また透明又は半透明培養における皿底部の情報に対するよりよいビューを与えるのに使用する。
【0099】
近水平照明は、不透明培養には不適切であるが、透明及び半透明培養には、皿における人為物を除去し、またほこり及びセリグラフィ（シルクスクリーン印刷）の影響を減少する上で有用である。
【0100】
環状照明は、生物学者が見るのに使用するものに最も近似する画像を生ずる色レンダリング用の最良のビューを与える。側方環状照明は、良好な色レンダリングを与え、また照明が片側から来るとき、陰影ができることにより、若干の凹凸（レリーフ）印象及びテクスチャ情報を与えることができるが、このことは色情報を不均一にする。
【0101】
逆向き環状照明は、さらに色レンダリングを生じ、また色情報を伴うテクスチャ及び凹凸印象も生ずる。このことは、集団移動の正確なビューを与えるのにとくに有用である。
【0102】
垂直照明は、表面情報を決定するのに有用であり、また集団移動、泡、ほこり等の検出に関する良好なビューを与える。コロニー表面及び態様の単色情報を容易に生ずる。
【0103】
本発明により得られる種々の照明方向は、多くの異なったタイプの照明を使用してサンプル内で成長するコロニーの画像を得ることができるので、利点がある。異なった画像を使用して、異なった特徴を識別することができ、この結果、これら特徴を識別する改善した方法をもたらすことができる。
【0104】
さらに、画像処理を画像に使用して改善した画像を生ずることができ、このことは、サンプルのコロニー及び他の態様を分析するようになるとき、依然としてより有用である。例えば、ペトリ皿底部における書込みを、適切なアルゴリズムによって認識し、また自動的に除去する。このことは皿における書込みがない画像を生ずる。
【0105】
他のアルゴリズムを使用して、異なった画像増強技術を容易にすることができる。以下の説明で、画像化システムにより生成した画像を改良する画像増強アルゴリズムの数例を確認する。
【0106】
本発明に使用する１つのタイプの照明は、生物学的画像形成分野において独特なものである。これは近水平ビームである。ペトリ皿に近水平ビームを使用することは、ビームがペトリ皿及び蓋の端縁を通過し、また培地を通過することを意味する。このことは光に吸収を生じ、またコロニー及びその特徴を識別する点で、他の方向からのビームよりも有用性が劣ることが予想される。しかし、このことは、事実には当たらない。
【0107】
近水平ビームを使用することは、多くの有益情報を付加する。これは、ビームがペトリ皿及び培地を通過するときに大きな照明吸収を生じても言えることである。近水平ビームがコロニーに入射するとき、ビームは撮像装置に向かって反射及び／又は屈折する。この結果、コロニーの位置をはっきりと示す画像をもたらす結果となる。この結果は、図９ａに示すようなものとなり得る。この画像は有用ではあるが、コロニー識別を最適なものにはしない多数の光学的効果を有する。例えば、培地は一様ではない表面であり、サンプル全体にわたり色及びコントラストに変化がある。さらに、端縁には、照明が通過するペトリ皿における幾つかの層に基づく大きな干渉を含む。このことは、サンプル端縁におけるコロニーを識別するのを困難にする。
【0108】
したがって、この画像の画質を改良してコロニーの識別をよりし易くする必要がある。本発明は、この画像の品質及び有用性を改善するエッジ照明補正プロセスを提案する。
【0109】
エッジ照明補正プロセスを、以下に図１０につき説明する。ステップ１０００で、空サンプルをサンプル窪みに配置する。この空サンプルは、培地を有するが、コロニー又は他の生物学的成長がないペトリ皿である。
【0110】
ステップ１００２で、近水平赤色照明を空サンプルに当て、ステップ１００４で赤色吸収を測定する。測定した赤色吸収の例を図１１ａに示す。つぎに、ステップ１００６で赤色吸収をモデル化して赤色吸収モデルを生成する。この赤色吸収モデルも図１１ａに示す。
【0111】
ステップ１００８で近水平緑色照明を空サンプルに当て、ステップ１０１０で緑色吸収を測定する。測定した緑色吸収の例を図１１ｂに示す。この後ステップ１０１２で緑色吸収をモデル化して緑色吸収モデルを生成する。この緑色吸収モデルも図１１ｂに示す。
【0112】
ステップ１０１４で近水平青色照明を空サンプルに当て、ステップ１０１６で青色吸収を測定する。測定した青色吸収の例を図１１ｃに示す。この後ステップ１０１８で青色吸収をモデル化して青色吸収モデルを生成する。この青色吸収モデルも図１１ｃに示す。
【0113】
赤、緑及び青色の吸収モデルをシステム内に記憶し、また特定空サンプルタイプとして参照される。多くの異なるタイプの空サンプル用の多くのモデルがあり得る。この場合、赤、緑及び青色のモデルとして記憶するが、ＲＧＢモデル又は白色吸収モデルとして組合わせて記憶することもできる。モデルは、上述の測定に基づく経験的モデルとすることができる。同様に、他のタイプのモデル、例えば、数学的モデル又はコンピュータ生成モデルを使用することができる。このようなモデルは、培地を構成する複合物の固有吸収特性の組合せに基づく。さらに、異なるモデルを異なるタイプの照明から導くことができる。例えば、ＵＶ照明のモデルはＲＧＢ照明のモデルとは異なる。
【0114】
図１０に戻って説明すると、エッジ照明補正を加える検査サンプル分析を以下に説明する。ステップ１０２０で検査サンプルをサンプル窪み内に装填する。関連の空サンプルを識別し、関連付けしたモデルをシステム内にロードする。
【0115】
ステップ１０２２で近水平赤色ビームをサンプルに当てる。ステップ１０２４で元画像（赤）を撮像装置によって生成する。ステップ１０２６で赤色吸収モデルを使用して元画像（赤）を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ１０２８で目標画像（赤）を生ずる。
【0116】
ステップ１０３０で近水平緑色ビームをサンプルに当てる。ステップ１０３２で元画像（緑）を撮像装置によって生成する。ステップ１０３４で緑色吸収モデルを使用して元画像（緑）を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ１０３６で目標画像（緑）を生ずる。
【0117】
ステップ１０３８で近水平青色ビームをサンプルに当てる。ステップ１０４０で元画像（青）を撮像装置によって生成する。ステップ１０４２で青色吸収モデルを使用して元画像（青）を補正する。この補正は、一般的に差分プロセス又はアルゴリズムによって行う。これにより、ステップ１０４４で目標画像（青）を生ずる。
【0118】
つぎに、ステップ１０４６で３つの目標画像を複合目標画像に複合する。複合目標画像の例を図９ｂに示す。エッジ照明補正プロセスは、コロニーをよりよく可視化し、よりよく明確化する。この画像によれば、特定コロニーを区分けし、このコロニーに対する更なる分析を行うのが極めて容易になる。
【0119】
近水平ビームを本発明のエッジ照明補正技術に使用することは、コロニーの識別及び区分けにとって大きな利点をもたらす。元画像と目標画像との間における大きな差異は極めて明白である。ユーザーは、本発明によるエッジ照明補正を使用する場合、コロニーを識別する上での一層大きなチャンスが得られることになる。
【0120】
他の画像増強技術においては、画像の露光時間を考慮し、露光時間を最適にするよう調整する。内部で成長する微生物及びコロニーを識別する分析の下にあるペトリ皿に対する必要な露光時間を決定しうるのは複雑な問題である。この問題は、このタイプの分析における多数の特別な属性がある結果として生ずる。先ず、ペトリ皿は、透明性、不透明性、暗さ、明るさ等に関する異なった属性を有することができる培地を含む。他の問題は、ペトリ皿自体が表面反射及び端縁反射を生ずる実在物になっている点である。露光条件が最適でない場合、コロニーと培地との区別をし、ペトリ皿におけるコロニーの位置を正確に決定するのを一層困難にすることがある。
【0121】
図１２は、本発明による、最適な露光時間で画像を取得するプロセスのフローチャートを示す。第１の例として、ステップ１２００で取得シーケンス及び培地タイプを識別する。取得シーケンスは、照明、背景光条件（例えば、「背景光なし」、「白背景」、「黒背景」）、撮像パラメータ、及び半自動分析用の反復される回数のオーダーのセットである。さらに、他の情報又は特徴も考慮する。これには、画像を生成するのに使用する照明源に関連する特徴、種のタイプ、種の密度等がある。ステップ１２０２において、デフォルト（既定値）露光時間を各画像に対して決定する。デフォルト露光時間は予め設定した時間、又は露光時間データベース１２０４からの履歴データに基づくものとすることができる。露光時間データベースには、所定培地、所定サンプル及び／又は培地とサンプルとの所定の組合せに関して最適な露光時間を投入することができる。データベースは、画像における任意な１つの特徴又は既知の特徴の任意な組合せに関連するデフォルト時間を有することができる。この情報は、プロセス自体からのフィードバックによって予めロード又は生成することができる。この結果、ステップ１２００で特徴を識別した後、対応するデフォルト露光時間をデータベース１２０４から検索ことができる。データベースは、各特別な照明源に対する最大及び最小の露光時間を示すテーブルを有する。このテーブルを使用して、予めデフォルト露光が決定されていない場合に、デフォルト露光時間を決定することができる。デフォルト露光時間を確立したとき、ステップ１２０６で画像を取得する。デフォルト露光時間をＴ０に選択する。ＲＧＢ初期画像は、カメラが必要とする場合、色相飽和値（ＨＳＶ：hue saturation values）に基づいて取得及び変換することができる。このことは本発明において生ずるが、常に必要ではない。
【0122】
つぎに、ステップ１２０８以降で、取得した画像を分析し、また最適な理論露光時間の計算を行う。この分析及び計算は処理アルゴリズムにつき詳細に説明する。ステップ１２１０でデフォルト露光時間及び最適理論露光時間が等しいか否かに関して決定を行う。実質的に類似していない場合、プロセスをステップ１２０６に戻し、以下に説明するようにして決定される新たな露光時間Ｔ１を有する新しい画像を取得する。ステップ１２１０でフォルト露光時間及び最適理論露光時間がほぼ類似している場合、ステップ１２１６で画像を最終処理（ファイナライズ）する。
【0123】
ステップ１２０８で図１３につき以下に説明する計算を行う。取得画像をステップ１３００における処理に送る。皿の凹凸輪郭をステップ１３０２で検出する。このことにより、画像は２つの部分に分割することができる。これら部分は、皿内部分（すなわち、関心フィールド）と皿外部分（すなわち、無関心フィールド）である。これにより、ペトリ皿の壁に対応するリングを区分けし、この後無視できるようになる。
【0124】
ステップ１３０４で皿外部分（Ｉｏｕｔ）及び皿内部分（Ｉｉｎ）との間のコントラストを決定する。
【0125】
このコントラストを、皿内外の明度、すなわち、Ｌｉｎ及びＬｏｕｔに基づいて測定する。コントラストは、さらに、培地の性質、及び照明が反射するか透過するかに関して依存性を有することがある。ＣＯＳは暗い培地であり、反射及び透過の下に異なった反応を示す。コントラスト（ｃｐ）は、Ｉ１ｉｎ及びＩ１ｏｕｔの明度（すなわち、Ｌｉｎ及びＬｏｕｔ）から次式のように計算される。すなわち、
【0126】
【数1】
【0127】
ここで決定された値を使用して、以下に説明するステップ１３１０で他の測定値に関連して最終画像における期待される明度Ｌｔを決定する。
【0128】
一方、皿内領域をステップ１３０６でさらに処理し、関心フィールド内の２つの領域を決定できるようにする。これら２つの領域は、実質的には、培地のみが存在する皿内領域、及びコロニーが成長した皿内領域に関連する。このことは、Ｋ平均クラスタ化アルゴリズムを使用して得ることができ、このアルゴリズムは、そのクラスタ（集団）の中心平均の周りにおけるクラスタを形成しようと試みるものである。クラスタ化アルゴリズムの代わりに、他のタイプの分類アルゴリズムを使用することもできる。本発明において、画像を色相飽和値（ＨＳＶ）に変換しておき、画像の「飽和」成分及び画像の「値」成分に対して、それぞれ個別にアルゴリズムを適用して、色相を初期的に無視する。各アルゴリズムの適用（一方は飽和成分、他方は値成分）に対して、２つのピクセルクラスをＫ平均アルゴリズムによって決定し、各クラスのピクセル個数は、［Ｎｓ１，Ｎｓ２］及び［Ｎｖ１，Ｎｖ２］と名前付けする。その後のステップを実施する。
【0129】
アルゴリズムを収束させるため、以下のステップを実施する。［min(Ns1,Ns2) > min(Nv1,Nv2)かつmin(Ns1,Ns2) > 0］ならば、クラスを飽和画像に維持する。
［min(Ns1,Ns2) ≦ min(Nv1,Nv2)かつmin(Nv1,Nv2) > 0］ならば、クラスを値画像に維持する。
［min(Ns1,Ns2) = min(Nv1,Nv2) = 0］ならば、アルゴリズムは収束しなかったとして、Ｋ平均アルゴリズムをこのレイヤで考えられる色相レイヤ及びピクセルクラスに再適用する。最終的に、クラスタ化アルゴリズムにより決定されたピクセルクラスに従って、２つの相補的な画像Ｉｉｎ１及びＩｉｎ２を、図１４に示すような元ＨＳＶ画像（飽和１４００、値１４０２）から取得する。
【0130】
図１３に戻って説明すると、２つの相補的画像を処理してコロニーの領域における輝度Ｌの観測したレベルを決定する。このことは、Ｉｉｎ１及びＩｉｎ２の「値」成分（それぞれＬ１及びＬ２と称する）の平均値を計算することによって得る。つぎに、最高であると観測された輝度値を次式、すなわち、Ｌ＝ｍａｘ（Ｌ１，Ｌ２）
によって決定する。
【0131】
ステップ１３１０で、観測された及び期待された輝度Ｌ及びＬｔ の値をそれぞれ使用し、最適露光時間を計算する。この計算は、デフォルト露光時間に適用する補正係数（ｃｃ：coefficient of correction）を生ずる。この係数は次式によって与えられる。
【0132】
【数2】
【0133】
絶対値｜ｃｃ-１｜＜０.０５である場合、デフォルト露光時間は容認できると見なされる。さもないと、新たな露光時間Ｔ１を次式、すなわち、Ｔ１ ＝Ｔ０xcc.
【0134】
つぎに、この露光時間を使用して画像を再び撮る。この新たな露光時間を露光時間データベースに記憶する。このプロセスを使用して、特別な画像の露光時間を自動的に最適化し、またサンプル分析により容易に使用できる画像を得る。
【0135】
本発明の他の態様は、ヘッドユニットにおける垂直照明を使用して垂直融合画像を形成することに関する。生成される垂直画像は単色画像であり、コロニーにおける表面トポグラフィの細部を含む。多数の垂直ビームで撮った画像は、培地及びコロニーの吸収特性、並びにその凹凸、テクスチャに応じてピクセルの輝度を少なく又は多くする表面における光の反射、及び表面の向きを浮き彫りにする。２つ以上の単色画像を撮る。実際、垂直照明は光の真下で若干白色（飽和）領域を生ずるため、種々の照明位置からの画像でサンプルのすべての領域における細部を見るのに有益である。
【0136】
代替的実施形態において、単色照明はコリメートすることができる。さらに、カラー画像を、サンプルを上方から照射する状態で撮り、この場合、画像化システム内での内部反射によって上方から、又は下方から撮る。照明源は画像化システムで見られる任意の光源とすることができる。カラー画像は、一度にすべての色チャネル（ＲＧＢ）を適用することにより、又は各チャネルからの画像を順次に取得し、つぎに適切な時間において組合せることによって生成することができる。
【0137】
つぎに、単色画像及びカラー画像を組合せて、色及び凹凸情報を与える。画像は以下のようにして組合せる。２つ（又はそれ以上）の垂直画像をシステム内に読み込む。組合せは、２つの組合せるべき画像における対応ピクセル間の最小明度を決定することにより行う。このことを次式、すなわち、Ｉｏｕｔ＝ｍｉｎ（Ｉ１，Ｉ２）
表現する。
【0138】
合成垂直画像（複合画像）をカラー画像に組合せることを以下に詳細に説明する。異なった照明源を使用するので、画像の明度を照明源の明度にリンクする。したがって、複合画像のコントラストを調整する必要があり得る。このことは複合画像に変換機能を適用することによって行う。変換は、図１５ａに示すタイプのリニア変換又は図１５ｂに示すベジエ変換とすることができる。複合画像は良好であるが、他の処理によりさらに改善することができる。このことは、その周波数領域のフィルタを組合せ前に単色画像に適用することによって得ることができる。
【0139】
目標は、色を大きく変更することなく画像の輝度の若干を除去し、輪郭（contour）情報が最も認知可能な最終画像の特徴となるのを確実にすることである。このことを行うためには、離散型二次元フーリエ変換を単色画像に適用する。この適用により、変換の複雑な係数を含む元画像と同一サイズのマトリクスを生ずる。元画像は、異なる周波数における周期関数の重み付き合計であり、この重みは変換の係数である。マトリクスの中心ポイントは、低周波数関数の係数に対応し、その外側のポイントは高周波数関数の係数に対応する。使用する関数は、次式である。すなわち、【数3】
【0140】
周波数領域のガウシアンフィルタを構築し、また値が次式によって与えられる単色画像にサイズが等しい第２マトリクスにガウシアンフィルタを適用する。
【0141】
【数4】
【0142】
ここで、ｒは或るポイントとマトリクス中心との間におけるピクセルのユークリッド距離であり、Ｄ０はフィルタ処理された光線半径であり、０〜３０ピクセルの範囲内の値である。ピクセル範囲は、処理している画像のサイズに依存し、また異なった画像に対しては異なる。
【0143】
２つのマトリクスは要素相互の積をとり、フィルタ処理した単色画像を生ずる。フィルタ（第１マトリクス）は中心においてはゼロに近似する値を有するため、単色画像における低周波数関数の係数は劇的に減少する。
【0144】
離散型逆フーリエ変換を適用して画像を空間ゾーンに復元させる。この結果は、画像の低周波数がほとんど消滅する。このことは、輪郭を強調し、また画像における若干の輝点を除去する。
【0145】
つぎに、カラー画像を処理した単色画像に組合せる。このことは、単色画像における対応ピクセルの輝度の歩合分しか持たないカラー画像の各ピクセルに輝度レベルを付加することによって行う。この歩合は１０％〜１００％の範囲内のいずれかである。この結果得られる合成画像を図１６に示す。好適な実施形態において、カラー輝度及び単色輝度の組合せが以下のようにして得る。単色画像の輝度を、ピクセル毎に個別に赤、緑及び青チャネルのそれぞれに組合せる。このことにより、それぞれ赤、緑又は青色の増強画像を生ずる。赤、緑及び青色の増強画像を、つぎにフルカラー増強画像に組合せることができる。
【0146】
赤、緑及び青色の増強画像それぞれの重みは、任意の様式でバランスをとる、又はバイアスをかけることができる。このことにより、異なった色バランスを生じ、これは異なったタイプのコロニーを決定するのに有用である。例えば、特別な色のコロニーは、他の色以外の色照明で照射するとき一層視認可能になり得る。
【0147】
本発明のこの態様によって生じた垂直融合画像は、培地上で成長したコロニーの輪郭及びテクスチャ（質感）を容易に見ることができるメカニズムを提供する。コロニーの高さ及び垂直方向の形状はコロニーを識別するのに寄与する。さらに、輪郭の詳細に含まれる色情報は、識別プロセスに役立つ。
【0148】
他の画像増強技術において、α溶血とβ溶血との間の相違を分析する。種々の細菌（バクテリア）種を識別するには、このような細菌がα溶血性であるか又はβ溶血性であるかを決定するために、血液培地上の検査細菌を収穫するのは有用である。α溶血が存在するとき、コロニーの下側の培地は色が暗緑色である。このことは、培地の色変化に起因して、ときに「緑色溶血」と称されることがある。例えば、連鎖球菌肺炎及び口腔連鎖球菌のグループはα溶血の症状を示す。β溶血は、ときに「完全溶血」と称されることがあり、培地におけるコロニーの周囲及び下側で培地に赤血球が完全に溶解する。この領域は明るく（黄色）また透明の様相をなす。連鎖球菌化膿又はグループＡのβ溶血性連鎖球菌はβ溶血を示す。
【0149】
したがって、生物学者がペトリ皿をスクリーン上で見るため場合、写実的な色情報でα溶血及びβ溶血を識別できるようになることが必要である。第１画像は、図２３に示すステップ２３００で環状ビームのような照明源で撮る。第２画像は、ステップ２３０２でバックライトのような照明源で撮る。ステップ２３０４で融合アルゴリズムに基づいて合成画像として組合せる。使用する融合アルゴリズムの例としては、メルテンス氏らによって提案された「露光融合」アルゴリズム（パシフィック・グラフィック２００７年-http://research.edm.uhasselt.be/~tmertens/参照）がある。本発明において、このアルゴリズムは異なった露光時間の画像に適用するだけでなく、異なった方向から照射した画像にも適用する。「露光融合」アルゴリズムの特別な場合、このアルゴリズムは、必要とされる複合画像に応じて適用すべき３つの重要なパラメータを必要とする。パラメータの例としては、コントラスト、］飽和及び露光度がある。α及びβ溶血の画像に対しては、上述の各パラメータの値は１に設定する。合成画像２３０６はフルカラー画像であり、α溶血及びβ溶血を区別するのに使用できる詳細な輪郭情報を有する。
【0150】
他の実施形態として、多数の付加的画像処理技術を以下に説明する。図１７は、包括的な画像処理技術の簡素化した説明図を示す。第１ステップ１７００で複数の画像を１つの照明源又は照明源の組合せにより撮る。皿検出技術のステップ１７０２を実施して、皿の輪郭及び端縁のような第１タイプの皿特徴を検出する。つぎにステップ１７０４でマーク検出技術を実施して、皿におけるマーク又はセリグラフィのような第２タイプの皿特徴を検出する。ステップ１７０６でさらに他の検出技術を実施する。生物学的対象又はコロニーの検出に関連する以下により詳細に説明する多くの異なった他の検出技術がある。同一サンプルに対して実施する一連の異なった画像処理技術があり、この場合、プロセスはステップ１７０８で後続の画像処理技術にフィードバックする。他の検出技術の若干においては、皿検出及び／又はマーク検出は、更なる検出技術を実施する際に役立たないため不要である場合があり得る。このように、他の検出技術の少なくとも若干はスタンドアロン型技術とし得る。
【0151】
皿検出技術１７０２は、壁及び蓋によって形成されるペトリ皿のリングを認識する技術である。この技術は、円形ハフ変換（Duda, R.O. And P.E.Hart, “Use of the Hough Transformation to Detect Lines and Curves in Picture”, Comm. ACM, Vol.15,pp.11-15参照）のような対象検出技術であり、所定サイズの円形対象を検出する。バックライト画像を使用し、サンプルの壁コントラスト画像を得る。さらに、ペトリ皿のサイズを導入し、探している円形対象又は対象の性質に関する変換を行う。探しているリングの個数を導入し、皿及び蓋の種々のリングを適切に探し出すことができる。ハフ変換の適用により、ペトリ皿の１つ以上のリング（蓋及び本体）に関する位置特定ができる。後続のステップにおいて、この情報により、ペトリ皿リング又はリングのマスキング、又は皿の外部を合成画像から除去することができる。このことは、他の検出方法をペトリ皿の内部に傾注できる。ハフ変換は円形容器に適用することに留意されたい。しかし、異なった形状の容器に対しては他の対象検出アルゴリズムを使用できる。
【0152】
代案として、他の対象検出技術を適用し、円形ハフ変換を使用することなく、ペトリ皿の輪郭を検出することができる。代替的な対象検出技術によれば、画像における閉じた輪郭を検索し、ペトリ皿の境界を識別することができる。この代替的技術は、キャニーエッジ検出方法（J.Canny による文献“A Computational Approach to Edge Detection”参照）、又は形態的勾配エッジ検出のような周知の技術に基づいて、画像の潜在的な輪郭を検出する第１ステップを有する。したがって、第１ステップはグレースケール画像を生ずる。
【0153】
この代替的技術は、例えば、「infill with holes option」のような「Ｍａｔｌａｂ（登録商標）」関数を使用して、検索した輪郭を埋める第１ステップを有する。このことは、埋合せステップは、輪郭が皿周りの閉じた輪郭である状況で皿内部を埋めるだけであることを意味する。この代替的技術は、さらに、閉じた輪郭内で最も大きい刻印円を検索するステップを有する。他のステップにおいて、プレート半径及び皿の中心位置を、対応する半径及び刻印円の中心位置に基づいて決定する。この代替的技術の利点は、この対象検出技術を実施するに先立って輪郭の所定サイズを知る必要がない点である。
【0154】
つぎに、図１８につきマーク検出技術を説明する。第１ステップ１８００において、ペトリ皿の複数の画像をシステムにロードする。セグメント化プロセスをステップ１８０２で行い、画像を２値化プロセスでセグメント化し、デジタル画像を形成する。このセグメント化プロセスは複数クラスへのピクセル分離を行う。２値化プロセスはピクセルの２組のピクセルクラス、黒又は白のクラスを生ずる特別なセグメント化プロセスである。２値化プロセスは暗色インクの点で形成されるセリグラフィの元の構造に基づく。したがって、２値化プロセスは，点形状及び暗色を有する対象を検索するステップを有する。この結果、２値化プロセスはセリグラフィを他の対象、例えばコロニー、泡又は既定物（デフォルト）から区別する改善した方法を提供する。ステップ１８０２の２値化プロセスはペトリ皿におけるセリグラフィを識別する幾つかのステップを有する。２値化プロセスは既知のＫ平均クラスタ化方法とは異なる。Ｋ平均クラスタ化方法は、類似した色及び近接しているピクセルを収集する。ステップ１８０４で、例えば、ほぼ矩形形状の対象を識別するためのサーチを行うことができる。より一般的には、サーチは非生物学的特徴を示す特徴物又は対象に対して行う。これら特徴物としては、特別な形状、セリグラフィ、バーコード、チケット、ラベル等がある。識別した対象にはマークを付け、ペトリ皿におけるマークと見なす。ステップ１８０６で合成画像を使用して、元画像とは無関係に皿上のマーク位置を見つけ出し、必要であれば除去又はマスク掛けする。このマーク位置は、どのような照明であれ、第１事例におけるマーク検出に使用された画像又は画像セットに無関係に、同一の皿における他のすべての画像にも使用することができる。特別な実施形態において、このアルゴリズムは、皿内にコロニーがないときにマークを認識するのに使用することができる。
【0155】
他の若干の画像処理技術を以下に説明する。図１９及び１９ａは、離隔したコロニーを検出するプロセスを示す。第１ステップ１９００で、複数の画像を、異なった照明源を使用して撮る。１つの画像又は画像の組合せを、後続のプロセスのために選択する。つぎに、選択した画像を、ステップ１９０２で円形ハフ変換を適用して処理する。このことにより、円形対象、例えば、細菌のコロニーを識別する。典型的なコロニーサイズを導入してハフ変換が、特定サイズの円形要素をサーチするのに限定できるようにする。円形対象（コロニー）を識別した後、ステップ１９０４で離隔検査（isolation test）を各円形対象に適用する。離隔検査を図１９ａにつき説明する。この離隔検査は、識別した円形対象（図示せず）の中心を決定するステップを有する。２値化ステップ１９０８を行って、２値化した画像を取得し、この２値化画像の中心は識別した円形対象の中心に対応する。この後、円形度検査をステップ１９１０で２値化画像に実施し、２値化対象が円形であるか否かを検証する。サイズ及び離隔度を決定する他のステップ１９１２を行ってコロニーのサイズ並びにコロニー直径及びそのコロニー周辺の離隔面積を決定する。代表的な出力を１９０６として示す。
【0156】
他の画像処理技術において、コロニーの大きな団塊の検出を行う。このことを図２０につき説明する。第１ステップ２０００で、１つ以上の異なった照明ビームを使用して多数の画像を取得する。所定画像又は画像の組合せをステップ２００２で２値化し、デジタル画像を形成する。デジタル画像を分析し、デジタル画像における対象の輪郭が元画像における高コントラストゾーンに対応するか否かを決定する。この分析は、デジタル画像における輪郭ゾーンと、元画像における高コントラストゾーン、例えば、１０より多い勾配を有する領域とを比較する（ステップ２００４）ことによって行う。相互間対応が十分である場合、デジタル化した対象はコロニーの団塊に対応し、出力２００６を生成する。この出力を使用して、コロニーの高密集領域又は事実上円形でないコロニーを有する領域を識別する。代案として、コロニーの大きな団塊を検出する他の技術を実施することもできる。この代替的技術は、色ベースのセグメント化の代わりに、領域ベースのセグメント化に関する。領域ベースのセグメント化は、対象を識別する複数のピクセルクラスを生ずる。ピクセルは色、コントラストのような所定判断基準に基づいて収集する。領域ベースのセグメント化はインタラクティブな方法であり、所定判断基準に基づいて空間的に近接しまた均質であるピクセルをまとめる。この結果、クラスの数に関する限定はない。
【0157】
図２１は、集団移動を識別するプロセスを示す。集団移動は、培地にわたる細菌個体群の急速なまた協調した移動である。集団移動は、コロニー成長が存在することの他の現れであるが、可視化しにくいものである。第１ステップ２１００において、輪郭又は凹凸情報を含む画像を取得する。代表的画像は、垂直照明画像又は側方環状照明画像又は任意の他の画像又は画像の組合せとすることができる。ステップ２１０２の処理を画像に加え、画像における高周波数テクスチャゾーンのみ保持する。高周波数は、テクスチャがリッチなゾーンで存在し、また集団移動は凹凸をハイライトで示す画像で見える皿表面における「波」によって特徴付けられる。単に高周波数ゾーン及び質感を維持するためには、２つのステップを必要とする。第１ステップにおいて、ローパスフィルタを元画像に適用する。このようなフィルタの例としては、図２２に示すようなメジアンフィルタ７×７があり、このフィルタを画像における各ポイントに適用する。第２ステップで、元画像をローパスフィルタ処理画像から差し引いて、高周波数（テクスチャ）のハイライトゾーンにし、鋭利な輪郭を持たないものにする。得られた画像はテクスチャ画像と称することができる。集団移動の存在を特徴付けるため、また集団移動を可視化するか否かを決定するため、テクスチャゾーンの「定量化」に基づく判断基準を使用する。ステップ２１０４で元画像の高明度領域を維持し、元画像における（凹凸）情報ゾーンのみ維持する。テクスチャ（質感）量に関連する係数は、元画像における高明度ゾーンのテクスチャ画像の値の平均によって決定する。ステップ２１０６で、係数が所定閾値に等しいかそれ以上である場合、集団移動があると識別し、係数が閾値よりも低い場合、集団移動はないものとする。合成画像を２１０８として示し、集団移動領域を識別できる。
【0158】
図８は、異なった培地における特別な特徴を検出するのに最適照明源の特別な例を示す表である。この表は、異なった培地、例えば、ＣＯＳ（不透明培地）及びＣＰＳ（透明／半透明培地）に対して、異なった照明源がより適切であることを示す。表は、画像を生成した後に実行する多数の検出プロセス例をも示す。各例に対して照明源又は照明ビームの組合せを示す。
【0159】
隔絶したコロニーを検出するためには、バックライト、環状、及び逆向き環状照明の組合せが、ＣＰＳ培養に対して最良結果をもたらす。ＣＯＳ培地に対しては、バックライト及び環状照明のみがより良好な結果をもたらす。表は、多数の他の例をも示す。
【0160】
図２４及び図２５につき説明すると、上述したように、ロボットアームの例を示す。図２４及び２５に示すように、このロボットアームは、ほぼ垂直な第１ガイド２４０１、及びほぼ水平の第２ガイド２４０２を有する。第１ガイド２４０１はカートリッジ２４１０を垂直方向に案内するよう構成する。第１ガイド２４０１は、ペトリプレート及びペトリ皿の蓋よりなる組立体を逆さま状態で収容及び保持し得る支持体２４１０を有する。図２４において、カートリッジ２４１０は、ペトリ皿の蓋２４３０を逆さまにしてフィンガ２４１２と可動グリッパ２４１３との間に保持した状態を示す。グリッパ２４１３はアーチ状にし、ペトリ皿の蓋２４３０をフィンガ２４１２に押付け、カートリッジ２４１０の変位中にフィンガ２４１２とグリッパ２４１３との間に保持するよう構成する。グリッパ２４１３は、グリッパ２４１３を図２４に示す保持位置と、ペトリ皿の蓋２４３０を釈放する釈放位置との間で移動するためのアーム２４１４の端部に取付ける。第２ガイド２４０２はカートリッジ２４２０を水平方向にガイドするよう構成する。このカートリッジ２４２０は、ガイド２４０２に沿って摺動する第１部分２４２１と、第１部分２４２１に対して少なくとも１８０゜回転できる第２部分２４２２とを有する。カートリッジ２４２０の第２部分２４２２には、アーチ状のグリッパ２４２３を設ける。
【0161】
グリッパ２４２３は、ペトリプレート２４３１をフィンガ２４２４に押付けて、ペトリプレート２４３１をフィンガ２４２４とグリッパ２４２３との間に保持できるようにする。グリッパ２４２３は、図２４に示す保持位置とペトリプレート２４３１を釈放する釈放位置との間でグリッパ２４２３を移動させるアーム２４２５の端部に取付ける。
【0162】
図２４及び２５によるロボットアームの機能は以下の通りである。カートリッジ２４１０は、ペトリプレート２４３１及び蓋２４３０よりなる組立体が逆さま状態となる第１位置に組立体を収容するよう構成する。この第１位置からカートリッジ２４１０はペトリプレート２４３１及び蓋２４３０よりなる組立体を垂直方向上方に移動することができる。カートリッジ２４１０は、グリッパ２４２３がペトリプレート２４３１をフィンガ２４２４に押付けることができる上方に組立体を移動する。ペトリプレート２４３１がグリッパ２４２３とフィンガ２４２４との間に保持された後、カートリッジ２４１０は下方に移動し、ペトリプレート２４３１を蓋２４３０から分離する。ペトリプレート２４３１は、この後、カートリッジ２４２０の第２部分２４２２を第１部分２４２１に対して回転することによって回転する。
【0163】
図２５には、ペトリプレート２４３１の中間位置を示し、この中間位置では、カートリッジ２４２０の第２部分２４２２が第１部分２４２１に対して９０゜回転した状態を示す。
【0164】
図２５に示す位置から回転運動を継続し、最終的にペトリプレート２４３１は上方が開放した水平位置に達する。ペトリプレート２４３１の回転運動後、又はこの回転運動中、カートリッジ２４２０の第１部分はガイド２４０２に沿って、ペトリプレート２４３１の内容物の画像を撮る位置に向かって移動する。この撮影位置を図２４に参照符号２４５０で示す。ペトリプレート２４３１の画像又は一連の画像を撮った後、カートリッジ２４１０，２４２０の移動を逆にし、ペトリプレート２４３１及び蓋２４３０の組立体を取り出す釈放位置に復帰させることができる。
【0165】
図２６及び２７につき、上述したように、以下にどのようにしてマスクを操作するかを説明する。図２６に示すように、ペトリプレート２６００がホイール上に配置されるとき、ロボットアームのグリッパ２６０４がペトリプレート２６００の輪郭を部分的に包囲する。この結果、グリッパ２６０４によってカバーされないプレートの輪郭部分のライン２６０２が現れる。ペトリプレート内部の画像を撮るため環状照明をペトリプレートに当てるとき、図２７に示すように、光ビーム２７１０がペトリプレートの下方に配置した表面２７１１で反射することができる。つぎに、光ビームは干渉光としてペトリプレート２６００に戻るよう反射することができる。この結果、画像を撮るとき、干渉光は、ペトリプレート内部の撮影画像内に対応する干渉を生じ得る。図２６に示すようにマスク２６０８をペトリプレート輪郭の周りに設けることができる。マスク２６０８をペトリプレート２６００の輪郭全体にわたって包囲する。マスクの幅はグリッパ２６０４の幅より大きいものとする。図７は、破線で分離したペトリプレートの２つの形態を示す。ペトリプレートの破線に関して左側にはマスク２６０８を設けない形態を示す。破線に関して右側にはマスク２６０８を設け、マスク２６０８がグリッパ２７０４をカバーする形態を示す。この第１形態において、環状照明中、ビーム２７１０がペトリプレート２６００の近傍ゾーンを照射するとき、ビーム２７１０は表面２７１１によって反射し、ペトリプレートの底面部分に達する干渉ビームを生ずる。第２形態において、環状照明中、ビーム２７１２がペトリプレート２６００の近傍ゾーン、例えばマスク表面を照射するとき、マスク２６０８はいかなる干渉光もペトリプレート２６００内部を照射するのを阻止し、又は撮影している画像に干渉するのを阻止する。
【0166】
検出プロセス及び最適照明源の他の組合せを使用することもできると理解されたい。照明源の位置は必要に応じて変化し、本明細書に記載した入射位置又は方向に限定するものではない。
【0167】
種々の画像増強及び処理技術を組合せて所定サンプルを分析できることが予想される。この分析には、これら技術の若干又はすべてを使用することも含まれる。これら技術を任意の順序で適用することができ、また順序はサンプル毎に変化し得る。選択した技術をサンプルに適用し、コロニーが識別されなかった場合、サンプルには成長したコロニーがないと決定することができる。
【0168】
いかなる画像増強技術又は画像処理技術においても、システムには、プロセス開始時に付加的情報を提供することができる。この付加的情報には、ペトリ皿又は他のサンプル容器に関する詳細、例えば、サイズ、形状、材料等がある。付加的情報としては、さらに、培地、及び培地で成長し得ると予想されるタイプの試料に関する詳細がある。さらに、情報としては、撮像詳細、例えば、露光時間、照明源、ペトリ皿の向き、任意な他の光学的パラメータ又は制御パラメータ等がある。情報は、用途、例えば、産業上、医療用等の目的を示すことができる。任意な他の関連情報も含めることができる。
【0169】
サンプルを分析し、また人為物を検出するこの自動化プロセスは、多くの利点がある。検出し、又は必要に応じて人為物、例えば、書込み及びマークを除去する能力は、コロニーの区分けをより容易にする。同一技術を使用して他のアーチファクトを検出し、また付加的なステップで画像からそれらを排除することができる。例えば、皿のバッチに所定サイズ及び色の栄養素に泡が過剰に存在する場合、上述のプロセスによってこれらアーチファクトを検出し、また必要に応じて除去することができる。同様に、他の光学的アーチファクトも処理することができる。
【0170】
上述した本発明の若干は、少なくとも若干程度をコンピュータ上で実施することができる。したがって、処理及びステップに対する言及は、ソフトウェア又はハードウェア又はその組合せによって、実施できる。本発明の態様をハードウェアにつき説明したが、適切なソフトウェアモジュールによって代替することができると理解されたい。同様に、ソフトウェアモジュール又はプロセスは適切なハードウェアによって代替できる。
【0171】
本発明の特許請求の範囲から逸脱することなく、本発明の可能な変更例も多くあり得ることを理解されたい。