知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6062059
(24)【登録日】2016年12月22日
(45)【発行日】2017年1月18日
(54)【発明の名称】バイオイメージング法
(51)【国際特許分類】
C12Q 1/04 20060101AFI20170106BHJP
G06T 7/60 20170101ALI20170106BHJP
C12M 1/34 20060101ALN20170106BHJP
【ＦＩ】
C12Q1/04
G06T7/60 200C
!C12M1/34 B
【請求項の数】4
【全頁数】33
(21)【出願番号】特願2015-540181(P2015-540181)
(86)(22)【出願日】2013年11月7日
(65)【公表番号】特表2015-536140(P2015-536140A)
(43)【公表日】2015年12月21日
(86)【国際出願番号】EP2013073291
(87)【国際公開番号】WO2014072422
(87)【国際公開日】20140515
【審査請求日】2016年9月15日
(31)【優先権主張番号】12306372.9
(32)【優先日】2012年11月7日
(33)【優先権主張国】EP
【早期審査対象出願】
(73)【特許権者】
【識別番号】515119804
【氏名又は名称】バイオメリュー
(73)【特許権者】
【識別番号】510336565
【氏名又は名称】コミッサリア タ レネルジー アトミク エ オ エネルジー オルタネイティヴ
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(72)【発明者】
【氏名】アラーノ ロレーヌ
(72)【発明者】
【氏名】ストラ ギヨーム
(72)【発明者】
【氏名】ムノス ロレッテ
(72)【発明者】
【氏名】フルシロン コリン
(72)【発明者】
【氏名】デソー ドミニク
(72)【発明者】
【氏名】ピンストン フレデリク
【審査官】
千葉 直紀
(56)【参考文献】
【文献】
国際公開第２０１２／１１７６４７（ＷＯ，Ａ１）
【文献】
国際公開第０３／０６７９０４（ＷＯ，Ａ２）
【文献】
特開２０１０−２２７１１８（ＪＰ，Ａ）
【文献】
特表２００６−５０７８３７（ＪＰ，Ａ）
【文献】
特表２００６−５０８３６２（ＪＰ，Ａ）
【文献】
米国特許第６２４３４８６（ＵＳ，Ｂ１）
【文献】
BEWES J M，AUTOMATED CELL COLONY COUNTING AND ANALYSIS USING THE CIRCULAR HOUGH IMAGE TRANSFORM 以下備考，PHYSICS IN MEDICINE AND BIOLOGY，英国，TAYLOR AND FRANCIS LTD.，２００８年１１月 ７日，V53 N21，P5991-6008，ALGORITHM(CHITA)
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｃ１２Ｑ １／００−３／００
Ｃ１２Ｍ １／００−３／１０
ＣＡｐｌｕｓ／ＭＥＤＬＩＮＥ／ＥＭＢＡＳＥ／ＢＩＯＳＩＳ／ＷＰＩＤＳ（ＳＴＮ）
(57)【特許請求の範囲】
【請求項1】
細胞培養容器内の目的オブジェクトの周りの分離区域を規定するための方法であって、前記方法は、
複数の照明源の１つまたはそれ以上を用いて前記細胞培養容器の１つまたはそれ以上の画像を得るステップであって、各照明源は前記容器を異なる方向から照らすことが可能である、ステップと、
さらなる処理のために画像または複数の画像の組み合わせを選択するステップと、
円形オブジェクト検出変換を適用して、前記細胞培養容器内の実質的に円形のオブジェクトである１つまたはそれ以上の目的オブジェクトを識別し、目的オブジェクトの中心を定めるステップであって、前記１つまたはそれ以上の目的オブジェクトは前記細胞培養容器内の分離コロニーを表すものである、ステップと、
２値化ステップを適用して、前記目的オブジェクトおよび他のオブジェクトの２値化画像を得るステップであって、前記２値化画像の中心は前記目的オブジェクトの前記中心に対応する、ステップと、
半径を増加させながら同心円を反復的に形成するステップであって、前記同心円は前記２値化画像の前記中心に中心合せされる、ステップと、
コロナを識別するステップであって、コロナは連続する半径値を有する２つの円によって区切られる、ステップと、
各コロナに対して、
前記コロナ内に位置する他のオブジェクトの存在および位置を定めて、前記他のオブジェクトの存在および位置を定めるステップと、
前記目的オブジェクトの周りの、他のオブジェクトがない角度セクタを規定するクリアランス角度を定めて、前記目的オブジェクトの周りの分離区域を規定し、ピッキングされる前記目的オブジェクトの有効性を規定するステップと
を含む、方法。
複数の照明源の１つまたはそれ以上を用いて前記細胞培養容器の１つまたはそれ以上の画像を得るステップであって、各照明源は前記容器を異なる方向から照らすことが可能である、ステップと、
さらなる処理のために画像または複数の画像の組み合わせを選択するステップと、
円形オブジェクト検出変換を適用して、前記細胞培養容器内の実質的に円形のオブジェクトである１つまたはそれ以上の目的オブジェクトを識別し、目的オブジェクトの中心を定めるステップであって、前記１つまたはそれ以上の目的オブジェクトは前記細胞培養容器内の分離コロニーを表すものである、ステップと、
２値化ステップを適用して、前記目的オブジェクトおよび他のオブジェクトの２値化画像を得るステップであって、前記２値化画像の中心は前記目的オブジェクトの前記中心に対応する、ステップと、
半径を増加させながら同心円を反復的に形成するステップであって、前記同心円は前記２値化画像の前記中心に中心合せされる、ステップと、
コロナを識別するステップであって、コロナは連続する半径値を有する２つの円によって区切られる、ステップと、
各コロナに対して、
前記コロナ内に位置する他のオブジェクトの存在および位置を定めて、前記他のオブジェクトの存在および位置を定めるステップと、
前記目的オブジェクトの周りの、他のオブジェクトがない角度セクタを規定するクリアランス角度を定めて、前記目的オブジェクトの周りの分離区域を規定し、ピッキングされる前記目的オブジェクトの有効性を規定するステップと
を含む、方法。
【請求項2】
前記目的オブジェクトのピッキングプロファイルを提供するステップをさらに含み、前記ピッキングプロファイルは、各コロナおよび対応するクリアランス角度に関する値を含む、請求項１に記載の方法。
【請求項3】
ピッキングプロセスに対するルックアップテーブルに関連してピッキングプロファイルを用いて、前記ルックアップテーブルの特定の基準に関係するコロニーに対するピッキングプロセスの有効性を定めるステップをさらに含む、請求項２に記載の方法。
【請求項4】
前記クリアランス角度の値が、コロナ内で検出された他のオブジェクトの数に正比例する、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インビトロサンプルを分析するための方法およびコンピュータプログラム製品に関する。
【背景技術】
【0002】
たとえば微生物、細胞および組織培養物、細胞または細胞内抽出物、ならびに精製分子などの生体サンプルを識別するために、多くの環境においてインビトロ分析が行われる。さまざまな材料のサンプルは、通常の生物学的状況から分離され、それらが生育し得る環境を与えられる。この環境はしばしばペトリ皿の形で与えられ、ペトリ皿はサンプルを生育させるためにインキュベータに入れられる。ペトリ皿は通常、サンプルの生育を促進する微生物培地を含む。理想的には、適切な培地上でのインキュベーションによって、サンプルのいくつかのコロニーの生育が生じる。その後一般的に、微生物を識別し、かつそれらの微生物の抗菌剤に対する感受性または抵抗性を評価するために、コロニーの分析が行われる。
【0003】
コロニー内の、たとえば特定の微生物またはバクテリアなどを識別する能力は、サンプル分析の重要な部分である。加えて、サンプル内の微生物の生育、およびサンプルに適用された任意の薬剤との相互作用に基づいて、適切な薬剤によるバクテリアの処理も分析され得る。
【0004】
予備分析の多くは、適任の科学者によるペトリ皿の視覚分析によって行われる。予備視覚分析は有効であるが、異なる微生物の形状、色、サイズおよび形態の多様性が大きく、解釈が困難なことがあるために、人為的エラーおよび不整合が起こりやすい。しかし、視覚的検査は現在なおも微生物を迅速に識別するための最良のやり方の１つである。
【0005】
加えて、生育のほとんどは「ランダム」であるため、微生物の生育をモデル化して、上述の多様性に適した自動化システムを見出すことは容易ではない。
【0006】
公知のインキュベータは窓を含むことがあり、その窓を通してサンプルを観察できるが、一般的には、視覚分析を行うためにペトリ皿はインキュベータから取出される。予備視覚分析は、ペトリ皿を光源の前に保持してコロニーを識別することを伴う。次いで、必要に応じて特定の識別コロニーに対するさらに詳細な化学分析法および顕微鏡分析法が実行されてもよい。
【0007】
最先端技術において、生物スキャナ、すなわちバクテリアのコロニーを走査または計数するために用いられるデバイスが公知である。たとえば、特許文献１および特許文献２はどちらも生体生育プレートを走査するための生物スキャナを開示しており、それらは異なる構造を有するが、両者とも共通して、プレートの画像を生成し、生体生育を検出するためにこれらの画像の分析を行う能力を有する。しかし、両者とも前面または背面照明を提供する単一の光源を用いる。実際に、特許文献１および特許文献２のどちらにも「いくつかの生体生育プレートは前面または背面照明のみを必要とし、両方は必要としないだろう」と記載されている。こうした照明は基本的なものであり、予備分析を効率的な態様で行うために十分な画質の画像を得ることを可能にするものではない。
【0008】
サンプルの画像を形成するために、異なる色または波長の光によってペトリ皿のサンプルを照らすような、特定の先行技術システムが存在する。画像は、適切に配向されたカメラによって捕捉される。
【0009】
特許文献３は、生体サンプル中の少なくとも１つの特定の微生物を検出するための方法を開示しており、前記方法は特に、各々が特定の波長を示す少なくとも２つの放射線に培地を晒すステップを含む。好ましくは２つの照明システムが用いられ、各照明システムは特定の波長の放射線を放射する。より特定的には、特許文献３の図１は、可視頂部照明と紫外線背面照明との組み合わせを示す。その後、２つの異なる照明からの画像の組み合わせを用いて、特定の微生物の存在が検出される。
【0010】
同様に、特許文献４は特に、微生物を検出するための方法であって、微生物が生育している培地の画像を取得するためのイメージングステップと、コロニー検出ステップとを含む方法を記載しており、前記方法も頂部照明と背面照明との組み合わせを用いる。
【0011】
生体サンプルの画像が得られた後に、その画像を強調するための処理技術が用いられてもよい。しかし、生体サンプルの画像を強調することには多くの問題が伴う。これらの問題は以下に関するものであり得る。−観察されるコロニーのサイズ、
−１つのコロニーと別のコロニーとの近さ、
−コロニーの色混合、
−ペトリ皿の性質、
−培地の性質、
−その他。
【0012】
本発明の第１の課題は、コロニーのピッキングプロセスに関する誘導を提供するために、コロニーの近隣を定めることに関する。コロニーの周囲に１つまたはそれ以上の分離区域を定める必要があると考えられる。
【0013】
別の課題は、指向性の照明源を使用することによってもたらされる、たとえば正反射などの照明アーチファクトの存在に関する。生体サンプルの画像のコロニー上に位置する照明アーチファクトの問題を解決することがさらに必要であると考えられる。
【0014】
さらなる課題は、ペトリ皿の外周に位置するコロニーを考慮に入れて、コロニー数を定めることに関する。生体サンプルの画像のコロニーの計数プロセスを改善する必要があると考えられる。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】米国特許出願公開第２００４／０１０１９５１号明細書
【特許文献2】米国特許出願公開第２０１０／０２３２６６０号明細書
【特許文献3】仏国特許出願公開第２９２６８２０号明細書
【特許文献4】特開２０１０−１０４３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0016】
本発明の目的は、上述の課題の少なくともいくつかを克服することである。
【課題を解決するための手段】
【0017】
本発明は、添付の請求項に示されるとおりの方法およびコンピュータプログラム製品を提供する。
【0018】
本発明の第１の局面に従うと、細胞培養容器内の目的オブジェクトの周りの分離区域を規定するための方法が提供され、この方法は、−複数の照明源の１つまたはそれ以上を用いて細胞培養容器の１つまたはそれ以上の画像を得るステップであって、各照明源は容器を異なる方向から照らすことが可能である、ステップと、
−さらなる処理のために画像または画像の組み合わせを選択するステップと、
−円形オブジェクト検出変換を適用して、細胞培養容器内の実質的に円形のオブジェクトである１つまたはそれ以上の目的オブジェクトを識別し、目的オブジェクトの中心を定めるステップであって、この円形の目的オブジェクトは細胞培養容器内の分離コロニーを表すものである、ステップと、
−２値化ステップを適用して、目的オブジェクトおよび他のオブジェクトの２値化画像を得るステップであって、この２値化画像の中心は目的オブジェクトの中心に対応する、ステップと、
−半径を増加させながら同心円を反復的に形成するステップであって、この同心円は２値化画像の中心に中心合せされる、ステップと、
−コロナを識別するステップであって、コロナは連続する半径値を有する２つの円によって区切られる、ステップと、
−各コロナに対して、
−コロナ内に位置するあらゆる他のオブジェクトの存在および位置を定めて、他のオブジェクトの存在および位置を定めるステップと、
−目的オブジェクトの周りの、他のオブジェクトがない角度セクタを規定するクリアランス角度を定めて、目的オブジェクトの周りの分離区域を規定するステップとを含む。
【0019】
好ましくは、この方法はさらに、オブジェクトのピッキングプロファイルを提供するステップを含み、このピッキングプロファイルは、各コロナおよび対応するクリアランス角度に関する値を含む。
【0020】
好ましくは、この方法はさらに、ピッキングプロセスに対するルックアップテーブルに関連してピッキングプロファイルを用いて、ルックアップテーブルの特定の基準に関係するコロニーに対するピッキングプロセスの有効性を定めるステップを含む。
【0021】
プログラマブルデータ処理装置に対して、本発明の第１の目的に従う方法の画像処理ステップを行わせるか、または上記に示したデータ処理装置の役割をさせるための命令を含む、コンピュータプログラム製品が提供される。このコンピュータプログラム製品は、機械読取り可能記憶媒体に保存された前記命令を含んでもよい。
【0022】
本発明の第２の局面に従うと、生体サンプルの改善された画像を形成するための方法が提供され、この画像は画素を含み、各画素は第１の画素値を有し、この方法は、−Ｎ個の照明源によって生体サンプルを照らすステップと、
−異なる照明源の各々に対する生体サンプルの画像を取得してＮ画像を得るステップと、
−得られたＮ画像を用いてＮ画素値を定めるステップと、
−Ｎ画素値に基づいて補正画素値を定めるステップと、
−各画素に対して、第１の画素値を補正画素値で置換して、生体サンプルの改善された画像を得るステップとを含む。
【0023】
好ましくは、この方法はさらに、生体サンプルの周りに均一に配置された照明源を含み、これらの照明源は生体サンプルに対する同じ入射角を有する。
【0024】
好ましくは、Ｎ画像は、対応する色チャネルに関連するＮ色画像か、またはＮ白黒画像を含む。
【0025】
好ましくは、補正値はＮ画素値の中央値であり、この中央値は各色チャネルに対して計算される。
【0026】
プログラマブルデータ処理装置に対して、本発明の第２の目的に従う方法の画像処理ステップを行わせるか、または上記に示したデータ処理装置の役割をさせるための命令を含む、コンピュータプログラム製品が提供される。このコンピュータプログラム製品は、機械読取り可能記憶媒体に保存された前記命令を含んでもよい。
【0027】
本発明の第３の局面に従うと、オブジェクトおよびオブジェクトの群でできたエレメントを含む細胞培養容器の画像におけるオブジェクトの数を定めるための方法が提供され、この方法は、−照明源の定められたビューを用いて、細胞培養容器およびエレメントの画像を取得するステップと、
−２値化ステップを適用して２値化バージョンの画像を得るステップであって、２値化画像は内側２値化画像および外側２値化画像を含み、内側２値化画像は細胞培養容器の内側部分に対応し、外側２値化画像は細胞培養容器の外側部分に対応する、ステップと、
−２値化画像における各エレメントの位置を定めて、あるコンポーネントが内側２値化画像に位置するか外側２値化画像に位置するかを定めるステップと、
−もしそのコンポーネントが内側２値化画像に位置すれば、内側２値化画像内のそのコンポーネントの画像を表す画素の画素値を、対応する第１の画素値で置換して、第１の合成画像を得るステップと、
−もしそのコンポーネントが外側２値化画像に位置すれば、外側２値化画像内のそのコンポーネントの画像を表す画素の画素値を、対応する第２の画素値で置換して、第２の合成画像を得るステップと、
−第１の合成画像および第２の合成画像を組み合わせて合成画像を得るステップであって、この合成画像の画素値は、オブジェクトのエッジに対する画素の近さに依存する、ステップと、
−合成画像にセグメント化アルゴリズムを適用して、識別可能なエッジを有するオブジェクトを含む画像を得るステップとを含む。
【0028】
好ましくは、２値化ステップは内側２値化ステップと、外側２値化ステップとを含む。
【0029】
好ましくは、外側２値化ステップは形態学的閉鎖関数を適用して結果画像を得るステップを含み、定められたビューはバックライトビューである。
【0030】
好ましくは、結果画像は第１の色空間から、たとえばＬ，ａ，ｂ色空間などのより知覚的に均一な第２の色空間に変換される。
【0031】
好ましくは、エレメントの第１の画素値はエレメントの画素値を用いることによって定められ、定められたビューは底面環状ビューである。
【0032】
好ましくは、エレメントの第２の画素値は、外側２値化画像の対応する画像距離におけるエレメントの画素値と、結果画像におけるエレメントの画素値との平均値を計算することによって定められる。
【0033】
好ましくは、セグメント化アルゴリズムはウォーターシェッドアルゴリズムである。
【0034】
プログラマブルデータ処理装置に対して、本発明の第３の目的に従う方法の画像処理ステップを行わせるか、または上記に示したデータ処理装置の役割をさせるための命令を含む、コンピュータプログラム製品が提供される。このコンピュータプログラム製品は、機械読取り可能記憶媒体に保存された前記命令を含んでもよい。
【0035】
添付の図面が例として参照される。
【図面の簡単な説明】
【0036】
【図1】本発明の一局面に従う生物分析システムの図である。
【図4a】本発明の一局面に従う、バックライト照明源の概略図である。
【図4b】鉛直照明に関係するディフューザの概略的な正面図および背面図である。
【図4c】環状照明に関係するディフューザの概略的な正面図および背面図である。
【図5】本発明の一局面に従う、サンプルドロワーおよび関連する略水平照明源の概略図である。
【図6】本発明の一局面に従う環状照明源の概略図である。
【図7】本発明の一局面に従う、異なる適用に対する異なる照明タイプを示す表である。
【図8】本発明の一局面に従う、異なる画像処理技術に関連する異なる培地に対する異なる照明タイプを示す表である。
【図10】本発明の一局面に従う画像処理技術の一例を示す図である。
【図11】本発明の一局面に従う、マーク検出のためのプロセスを示す図である。
【図12a】本発明の一局面に従う、画像処理技術のためのステップを示すプロセス図である。
【図12b】本発明の一局面に従う、画像処理技術のためのステップを示すプロセス図である。
【図13】本発明の一局面に従う、画像処理技術のためのステップを示すプロセス図である。
【図14】本発明の一局面に従う、ピッキング法を改善するための方法のステップを示す流れ図である。
【図15】先行技術に従うルックアップテーブルの一例を示す図である。
【図16】本発明の一局面に従う、コロニーからの分離距離およびコロニーの周りの分離角度に依存するコロニーのピッキングプロファイルを表す図である。
【図17】先行技術に従う、３つの色チャネルに対する４つの照明源からの画像を示す図である。
【図18】本発明の第２の局面に従う、ペトリ皿に位置するコロニーの画像上の照明アーチファクトを除去するための方法のステップを示す流れ図である。
【図19】本発明の第２の局面に従う４つの異なる画像を示す図であって、各画像はある照明源の異なるビューを示す。
【図21】本発明の第３の局面に従う、ペトリ皿内のコロニーを計数するための方法のステップを示す流れ図である。
【図22】本発明の第３の局面に従う、ペトリ皿の内側半径および外側半径を示す、ペトリ皿の画像を表す図である。
【図23】本発明の第３の局面に従う、ペトリ皿の２値化画像を表す図である。
【図24】本発明の第３の局面に従う、形態学的開放関数を適用した後の２値化画像を示す図である。
【図25】本発明の第３の局面に従う内側２値化画像を示す図である。
【図26】本発明の第３の局面に従う外側２値化画像を示す図である。
【図27】本発明の第３の局面に従う、バックライトビューによって照らされた第１の結果画像を示す図である。
【図30】本発明の第３の局面に従う、パラメータＩ１およびＩ２に関してＬａｂ空間への変換を処理した後の、組み合わされた外側２値化画像を示す図である。
【図31】本発明の第３の局面に従う、ペトリ皿の合成画像を示す図である。
【図32】本発明の第３の局面に従う、コロニーを計数するためのペトリ皿の最終画像を示す図である。
【発明を実施するための形態】
【0037】
本発明は、生体試料を全自動または半自動の態様で分析するための方法に関する。本記載において、「オブジェクト」という用語は、たとえば気泡またはコロニーなどの実際の物体（オブジェクト）に関するものであり、「マーク」という用語は、たとえばペトリ皿などの細胞培養容器の特性に関するものである。たとえば、マークはアーチファクトか、またはシリアル番号もしくは任意の識別マークに関するインクの点などに関するものであってもよい。「特徴（ｆｅａｔｕｒｅ）」という用語は、たとえばコロニーなどのオブジェクトの特性（ｃｈａｒａｃｔｅｒｉｓｔｉｃ）に関するものである。加えて、「ペトリプレート」という用語は、ペトリ皿と、ペトリ皿を覆う蓋とのアセンブリを定義するものである。
【0038】
図１に示すとおり、システム１００はサンプル容器バンク１０２と、自動画線機１０４と、スマートインキュベータシステム１０６と、処理ユニット１０８と、識別システム１１０とを含む。
【0039】
サンプルバンク１０２は、中で生体サンプルを生育させた後に分析し得るサンプル容器を手動または自動で生成する。サンプル容器は典型的にはペトリ皿であるが、その他の細胞培養容器を用いてもよい。したがって、本明細書におけるペトリ皿への言及は、制限的であることは意図されない。
【0040】
サンプル容器バンクは、生体サンプルを生育可能にするために、皿に適切な培地を加える。コンベヤベルトまたはその他の自動システムが、ペトリ皿をサンプル容器バンクから以後のプロセスの段階に送ってもよい。代替的に、オペレータがサンプルを以後の段階に送ってもよい。
【0041】
自動画線機１０４は、ペトリ皿に生体サンプルを適用し、次いでそのサンプルを公知の態様で分散させる。たとえば、皿の半径にほぼ等しい長さを有するコームを用いて、ペトリ皿内にサンプルを適用する。コームを適用し、次いで回転させて、皿の表面に生体サンプルを広げる。好適な自動画線機の一例は、出願人によってＰＲＥＶＩ（登録商標）イソラ（Ｉｓｏｌａ）の商品名で市販されている。
【0042】
皿の中の培地に生体サンプルを分散させた後、オペレータによって手動で、またはコンベヤベルトもしくはその他の自動システムによって、皿を次のプロセス段階に送る。
【0043】
スマートインキュベータシステム１０６は、インキュベータ１１２と、イメージングシステム１１４とを含む。ペトリ皿をインキュベータに入れて、予め定められた温度にて予め定められた時間インキュベートする。これによって生体サンプルが生育し、皿の表面上に微生物のいくつかのコロニーを生成することが可能になる。皿を必要に応じてインキュベートした後、皿をイメージングシステム１１４に送る。イメージングシステムは、システム全体において生成したコロニーおよび培養物の画像を生成するための、一意の新規のシステムである。イメージングシステムの詳細を以下にさらに説明する。
【0044】
この画像を、サンプル分析の第１段階において用いる。この段階は、システム全体のさらなる活動および機能を援助および促進するために、コロニーおよび生体サンプルのその他の局面を識別し得る。
【0045】
皿の画像を生成した後に、皿を次のプロセス段階に送る。これはコンベアベルトまたはその他の自動システムによって自動的に行ってもよいし、オペレータによって手動で行ってもよい。
【0046】
処理ユニット１０８は、必要とされるサンプル分析によってさまざまな異なる形を取り得る。たとえば、さらなる分析または処理のために、画像に基づいて特定のコロニーを抽出してもよい。このときに多数のその他のプロセスを皿に適用してもよい。必要であれば、皿をさらなる生育のためにインキュベータに戻すか、および／またはイメージングシステムに戻してもよい。
【0047】
すべての必要な処理およびイメージングが完了した後、手動または自動プロセスによって皿を識別システム１１０に送ってもよい。多数のやり方で皿の上にコロニーの形で存在する微生物を識別するために、識別システム１１０を用いてもよい。微生物の代謝の分析によって識別を行ってもよく、識別は自動でも手動でもよい。たとえば、出願人が市販するＶＩＴＥＫ（登録商標）システムなどによって自動分析を行うことができる。加えて、質量分析技術を用いて識別を行うこともできる。他の分析は、抗菌剤抵抗性機構を検出することをさらに含んでもよい。
【0048】
当然のことながら、異なる機能を行うためにシステム全体のさまざまな構成要素が変更されてもよい。加えて、特定のステップが異なる順序で行われてもよい。
【0049】
前述のとおり、スマートインキュベータシステムは本発明の重要な局面であり、一意のイメージングシステムを含む。ここで図２ａ、図２ｂおよび図２ｃを参照して、そのイメージングシステムをより詳細に説明する。イメージングシステム１１４は、ベースユニット２０２を含む。ベースユニットは、赤、緑および青のバックライト照明を生成するための光学素子および制御回路を含む。ベースユニットはコントローラを含んでもよく、図２ｂに示すとおり、このコントローラは３つの位置を有するホイールの形であってもよい。これらの位置は、「無背景（ｎｏＢａｃｋｇｒｏｕｎｄ）」、「白背景（ｗｈｉｔｅＢａｃｋｇｒｏｕｎｄ）」および「黒背景（ｂｌａｃｋＢａｃｋｇｒｏｕｎｄ）」という異なる照明に対応する。「無背景」位置は、ホイールの円形の穴１５０に関する。「白背景」位置は、ホイールの白色背景円１６０に関する。「黒背景」位置は、ホイールの黒色背景円１７０に関する。無背景はバックライトに対して用いるのに対し、白および黒背景は、サンプルの性質に依存して、その他すべてのタイプの照明に用いる。
【0050】
ベースユニットの上にはサンプル保持ユニット２０４がある。サンプル保持ユニットは、内外に摺動し得るドロワーを含んでもよく、かつペトリ皿を支持するように適合された凹み２０６を含む。加えて図２ｃに示すとおり、サンプル保持ユニットは４つの赤／緑／青水平照明源２０８、２１０、２１２および２１４を含む。４つの照明源は、サンプル凹みの周りに直線的に位置し、かつ独立に制御可能である。使用中に、ペトリ皿の頂部が４つの水平照明源の頂部と実質的に一直線上になる。水平照明源は、ペトリ皿が水平または略水平のビームで照らされることを可能にする。
【0051】
なお、使用中にバックライト照明がサンプルを照らすことを可能にするために、凹みの底部は光学的に透過性である。サンプル保持ユニットはさらに、４つの水平照明源を動作させるために必要な光学素子および制御を含む。
【0052】
サンプル保持ユニットは、サンプルをコンベヤベルトによってイメージングのための位置に動かすときの代替的配向（図示せず）を含んでもよい。ドロワーは、サンプル保持ゾーンを有するコンベヤベルトシステムに置き換えられてもよく、各サンプル保持ゾーンはバックライトを使用可能にするために透明である。コンベヤベルトシステムはサンプルを適切な位置に動かすことができ、次いで必要な画像が取得できる。次いで、コンベヤベルトは次のサンプルをイメージング用の位置に動かし、一方で第１のサンプルを次の処理段階に移動させる。これによって、異なる位置で画像を取得すること、およびサンプルの移動中に画像を取得することが可能になる。
【0053】
さらなる代替形において、システムは、ペトリ皿をサンプルホルダまたはコンベヤベルトに載せることのできるロボットアームを含んでもよい。加えて、ロボットアームはイメージングの前にペトリ皿の蓋を取外し、その後蓋を戻してもよい。これは、ペトリ皿を逆さにして蓋を落とすことによって行ってもよい。蓋を取外すことによって、サンプルが特定の照明源によって照らされているときに蓋が反射を生じないことが確実になる。
【0054】
イメージングゾーンの内外への移動に加えて、サンプル保持ユニットはさらに、サンプルの位置を通常の位置に対して変えるための機構を含んでもよい。たとえば、サンプルホルダは特定のビームに対する特定の角度になるようにサンプルを配向できてもよい。たとえばサンプルの回転など、その他の動きも適切な機構によって実行されてもよい。その結果として、サンプル保持ユニット内のサンプルまたは照明源のいずれかを動かすことによって、サンプルと照明源との任意の相対的な動きを達成できる。そのバリエーションは無限である。
【0055】
サンプル保持ユニットが、たとえばイメージングシステム内のホイール上の水平位置などの通常位置にあるとき、ペトリ皿の内部の取得画像の画質を改善するために、マスクを加えてもよい。
【0056】
イメージングシステム１１４はさらに、サンプル保持ユニットの上に位置する第１の中間ユニット２１６を含む。第１の中間ユニットは、４つの直線的に位置決めされた赤／緑／青照明源２１８、２２０、２２２および２２４を含む。これらの照明源は、使用中にサンプル保持ユニット内のサンプル凹みの上に環状照明を生成するように適合されており、かつ各々が独立に制御可能である。環状照明は、側方、非側方またはあらゆるその他の適切な配向を含む任意の適切な方向からサンプルに入射するように調整できる。
【0057】
図２ａに示すとおり、イメージングシステムは、第２の中間ユニット２２６をさらに含む。第２の中間ユニットは、４つの直線的に位置決めされた赤／緑／青照明源２２８、２３０、２３２および２３４を含む。これらの照明源は、各々独立に制御可能であり、かつ上向きに方向付けられて上のユニットから反射して、使用中にサンプル凹みの中のサンプルを照らす逆環状照明を生じさせる。
【0058】
第２の中間ユニットの上に、イメージングシステムのヘッドユニット２３６が位置する。ヘッドユニットは白色光照明源２３８、２４０、２４２、２４４、２４６、２４８、２５０および２５２を含み、そのうちの４つ２３８、２４０、２４２、２４４が図示される。各々は独立に制御可能である。８つの照明源は、使用中にサンプル凹みの上に鉛直照明を生成するように配置される。
【0059】
ヘッドユニットはさらに、サンプル凹みに向かって方向付けられた、たとえばカメラなどの画像捕捉デバイス２５４を含む。いずれかのユニットからの任意の組み合わせの照明源からの照明を、サンプル凹みに方向付けてもよい。次いで画像捕捉デバイスは、照らされたサンプル凹みの中の任意のサンプルから画像を捕捉できる。画像の使用およびさらなる処理について、以下により詳細に説明する。
【0060】
ヘッドユニットはさらに、さまざまな光源を動作させるために用いられる制御パッド２５６を含んでもよい。各ユニット内の、自身の機能を制御する制御回路および光学素子に加えて、全体の制御システム（図示せず）が存在してもよい。制御システムは、コンピュータ、ディスプレイユニット、処理モジュールおよび画像強調アルゴリズム、画像処理、ならびにあらゆるその他のプロセスまたは技術を含んでもよい。
【0061】
特定の適用に対してどの照明源を用いるかを制御するために、制御システムを用いてもよい。加えて制御システムは、異なる適用に対して異なる画像強調技術および画像処理を適用してもよい。画像強調技術とは、画像の画質を向上するため、または専門家が観察もしくは操作するために適切な情報を可視化するための方法および技術である。
【0062】
以下により詳細に説明される実施例は、照明アーチファクトの補正などを含む。画像処理とは、意思決定支援または自動意思決定を提供するために、画像から情報を抽出することである。これは必ずしも画像の修正を含むものではなく、自動化された態様でより高レベルの情報／解釈を定めることを含む。以下により詳細に説明される実施例は、皿の境界の検出、照明アーチファクトの検出、コロニーピッキングプロファイルの判定、コロニー数の判定、生育の検出（質量、分離コロニー、スウォーミング）、生育／非生育に対する大域的な意思決定などを含む。
【0063】
スウォーミングとは、スウォーミング運動性を示すことが意図され、これは固体または半固体表面におけるバクテリア集団の迅速（２〜１０μｍ／ｓ）かつ協調的な移動である。このタイプの運動性は、主にセラチア（Ｓｅｒｒａｔｉａ）、サルモネラ（Ｓａｌｍｏｎｅｌｌａ）、エロモナス（Ａｅｒｏｍｏｎａｓ）、バチルス（Ｂａｃｉｌｌｕｓ）、エルシニア（Ｙｅｒｓｉｎｉａ）、シュードモナス（Ｐｓｅｕｄｏｍｏｎａｓ）、プロテウス（Ｐｒｏｔｅｕｓ）、ビブリオ（Ｖｉｂｒｉｏ）およびエシェリキア（Ｅｓｃｈｅｒｉｃｈｉａ）属において研究されている。
【0064】
イメージングシステムに対するあらゆるその他の機能および／または制御動作を実行するために、制御システムを使用してもよい。これらの機能および／または制御動作は、以下を含むがそれに限定されない。−サンプルをサンプル凹みに装填および除去すること、
−サンプル凹みにおけるサンプルの位置決めをチェックおよび調整すること、
−輝度レベルを制御すること、
−赤／緑／青成分のバランスを制御すること、
−露出時間を制御すること、
−照明の組み合わせを制御すること、
−システムをテストすること、
−システムを較正すること、ならびに
−分析の使用および目的に基づくあらゆるその他の適切な制御。
【0065】
イメージングシステムを形成するユニットの各々は、他のユニットに対して移動させることができる。移動が起こるとき、すべての照明源によってサンプルが照らされることを確実にするために、特定の光学的調整が必要となり得る。
【0066】
ここで図３を参照して、イメージングシステムの動作についてより詳細に説明する。
【0067】
図３は、さまざまな照明源と、イメージングシステム内に置かれたサンプル３００にそれらの照明源がどのように影響するかとを示すための、イメージングシステム１１４の概略図を示す。略水平ビーム３０２、３０４がサンプル３００を照らしてもよい。略水平ビームは、参照番号３０２および３０４が示すものに加えて、グリッパの内外への成分を含む。図２ａのサンプル保持ユニット２０４内の水平照明源が、略水平ビームを生成する。加えて、図２ａのベースユニット２０２が生成するバックライトビーム３０６がサンプルを照らしてもよい。
【0068】
さらに、環状ビーム３０８がサンプル３００を照らしてもよく、第１の中間ユニット２１６がこの環状ビーム３０８を生成する。さらに、第２の中間ユニット２２６が生成する逆環状ビーム３１０がサンプルを照らしてもよい。
【0069】
さらに、鉛直ビーム３１２がサンプルを照らしてもよく、ヘッドユニット２３６内の照明源がこの鉛直ビーム３１２を生成する。
【0070】
鉛直ビームおよびバックライト照明は、ペトリ皿のサンプルに対して実質的に垂直方向に照明を適用する。よって、これらの照明源の各々の光軸もサンプルに対して垂直である。略水平、環状および逆環状の照明は、ペトリ皿に対して垂直ではない。同様に、これらの照明源の光軸は、サンプルに対して非垂直である。非垂直照明源は、垂直照明源によって得られるものとは異なる範囲の代替的画像を提供する。これらの非垂直照明源は、それらによって作成される任意の画像において、付加的な異なる光学的特徴を提供する。これによって、コロニーの分離および検出の改善が確実になる。
【0071】
図３に示される、図２ａの適切なユニットによって生成された照明源は、たとえば、赤、緑および青（ｒｅｄ，ｇｒｅｅｎ ａｎｄ ｂｌｕｅ：ＲＧＢ）の周波数にて動作する発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅｓ：ＬＥＤ）、単純な白色光源、紫外線（ｕｌｔｒａｖｉｏｌｅｔ：ＵＶ）源、またはあらゆるその他の適切な放射線源など、任意の好ましいタイプのものであってもよい。照明源はたとえば、６４の白色ＬＥＤと、８６の赤色ＬＥＤと、８６の緑色ＬＥＤと、８６の青色ＬＥＤとを含む３２２ＬＥＤを含んでもよい。任意の位置の光源の数は、本明細書に示されて説明されるものから変動してもよい。各位置において、各周波数にて動作する３つのＬＥＤの組によってＲＧＢ照明を提供する。異なる照明源に対しては、異なる組み合わせのＲＧＢ ＬＥＤが存在し得る。たとえば、バックライト照明のためのＬＥＤは、図４ａに示されるとおりに配向してもよい。特定の配置のＬＥＤを含む特定のカードによって、各々のタイプの照明を提供する。ベースユニット２０２は、３つずつ配置された複数のダイオードを各々含む２つのカード４００および４０２によって、バックライトビーム３０６を生成する。ＬＥＤの各３つ組４０４は、赤、緑および青色ＬＥＤを含む。サンプルの位置を４０６に示す。各カードにはＬＥＤの３つ組が合計４５組位置しており、それらを用いてバックライトビーム３０６を生成する。各３つ組の赤、緑および青色ＬＥＤは、１色の照明を順次生成するために一度に１つずつ照明できる。
【0072】
当然のことながら、上述の実施例の代わりに任意の適切な配向および数のダイオードを使用してもよい。加えて、異なる組み合わせのＲＧＢ ＬＥＤを選択して使用してもよい。
【0073】
加えて、ＵＶ源については、同時に点灯する２つのカードによってＵＶ照明を提供する。各カードは、たとえば５００ｍＡの輝度のＵＶ ＬＥＤを含む。
【0074】
連続動作において問題が予測されるときにＬＥＤを数秒間スイッチオフできるように、ＬＥＤの温度および起こり得る異常を判定するためのセンサをカードが含んでもよい。図４ｂに示すとおり、カード４００および４０２と凹みの中のサンプルとの間に、ディフューザがさらに存在してもよい。ディフューザは、結果画像においてＬＥＤが可視になることを防ぐことを助けるとともに、背景光を均一にすることを助ける。加えて、ディフューザは強力なＬＥＤからの照明の一部を吸収する。直接照明を用いるときは、カメラが引き起こすスミアリングに関するあらゆる影響を最小化するために、非常に短い露出時間を用いてもよい。
【0075】
図５は、略水平ビーム３０２、３０４を生成する、サンプル保持ユニット２０４内に位置する照明源を示す。８つのカードが存在し、その各々が側部５００、５０２、５０４および５０６の長さの半分を覆っている。各カードは、ＲＧＢ ＬＥＤの３つ組８組のアレイを有する。これらの照明源を一緒に制御してもよいし、独立に制御してもよいし、任意の予め定められた順序で制御してもよい。８つのカードは、サンプル凹みを含むサンプルドロワー機構の一部を形成する。異なるサイズのサンプルまたはペトリ皿に対する異なるサイズの開口部５１０を有する、光学的に透過性の界面５０８を用いてもよい。
【0076】
図６を参照すると、第１および第２の中間ユニット２１６および２２６における４つの照明源の各々は、それぞれ４つのカード６００、６０２、６０４および６０６を含み、その各々は、図示されるとおりに配向された１０のＲＧＢ ＬＥＤ６０８のアレイを有する。これらのアレイは、第１の中間ユニット２１６に対する環状ビーム３０８、および第２の中間ユニット２２６に対する逆環状ビーム３１０を生じる。各カードは、別々に動作するか、または組み合わされた態様で動作するために、独立に制御されてもよい。サンプルおよび培地からの望ましくない反射を防ぐために、各カードは図４ｃに示すとおりのディフューザを備える。サンプルの照明を最適化するように環状ビームを位置決めできるように、各カードは軸の周りを回転してもよく、軸の１つを図６において６１０として示す。この調整は、サンプルに対する中間ユニットの鉛直位置にかかわらず、均一な照明を確実にするために必要である。
【0077】
図６は、第１の中間ユニット２１６に対するカードの位置を示す。当然のことながら、第２の中間ユニット２２６に対するカードの位置は上向きに方向付けられ、それに従って回転が調整される。
【0078】
ヘッドユニット２３６内の鉛直照明源２３８、２４０、２４２、２４４、２４６、２４８、２５０および２５２の各々は白色光源を含み、各光源は鉛直ビーム３１２を生成するために独立に制御可能である。
【0079】
図２ａの画像捕捉デバイス２５４は、上からサンプルの画像を捕捉するように適合される。直径９０ｍｍのペトリ皿に対して、１００ｍｍ２の画像が生じる。これは典型的に、標準的画像捕捉デバイスにおける２０５０画素２と同等とされるが、たとえば２４４８×２０５０画素などのその他の画素サイズを用いてもよい。加えて、一般的に皿の高さは約１３ｍｍであるため、ペトリ皿の培地層の厚さに依存して、イメージングデバイスの被写界深度はおよそ±６ｍｍである。
【0080】
上述の照明のすべての場合に、イメージングデバイス２５４はサンプルの画像を上から捕捉する。なお、コロニーの生育およびその他の時間に関係する効果を測定するために、カメラは予め定められた期間にわたって連続的な画像の組を取得してもよい。加えて、コロニー生育の進行などを測定するような特定の適用に対して、カメラはビデオカメラであってもよい。さらに、好適なコンベヤベルトまたはロボットアームによって皿をイメージングシステムに出し入れする動きによって、皿の移動をもたらしてもよい。
【0081】
異なる照明源から異なるタイプの画像を取得するようにカメラを適合させる。特定の適用に対しては、連続する画像が必要であり得る。ある連続は、特定の照明または照明の組み合わせによってサンプルを照らすステップと、その後、関連する照明によって、たとえばモノクローム、白黒、またはＲＧＢなどの特定のタイプの画像を取得するステップとを含む。次に、異なるタイプの照明またはその組み合わせによってさらなる画像を取得し、必要な画像すべてを取得するまでこの連続を続ける。この連続において、適切なタイプの画像を取得するようにカメラを制御する。
【0082】
カメラは、たとえばモノクロームセンサを含んでもよく、かつ１秒当り１７画像の最大速度を有する順次走査ＣＣＤ技術を使用してもよい。カメラの電力消費は１２から２４ボルトＤＣであってもよい。
【0083】
ここで、生成される画像および画像強調プロセスのさらなる詳細について説明する。
【0084】
前述のとおり、異なる方向からサンプルに当たる複数の異なる光源が、イメージングシステム１１４内のサンプルを照らしてもよい。サンプルを照らした後、サンプルの画像を上から取得する。各照明は、サンプルの異なる局面を強調する。
【0085】
バックライト照明は、ペトリ皿の底面のあらゆるマーク、ペトリ皿のエッジおよび蓋の形を含むペトリ皿の詳細と、サンプル内のコロニーのレイアウトおよび密度の詳細なビューとを示す。この照明は、コロニーを分離し、類似のコロニー（たとえばαおよびβ溶血性種）の間の差を定めることが可能な情報を提供し、かつ一般的にはサンプルの内容物のビューを与える。
【0086】
本発明において用いられる照明の１つのタイプは、生物学的イメージングの分野において一意である。それは略水平ビームである。ペトリ皿に対して略水平ビームを用いることは、そのビームがペトリ皿のエッジおよび蓋を通過し、さらに培地を通過することを意味する。このことによって光の吸収が起こり、コロニーおよびその特性を識別するという点では他の方向からのビームほど有用ではないことが予測され得る。しかし、それは当てはまらない。
【0087】
略水平ビームを使用することは、かなりの量の有益な情報を追加するものである。ビームがペトリ皿および培地を通過する際に照明の顕著な吸収が起こるときであっても、それは当てはまる。略水平ビームがコロニーと衝突するとき、ビームは画像捕捉デバイスに向かって反射および／または屈折する。その結果として、コロニーの位置を明瞭に示す画像がもたらされる。その結果は図９ａに示されるようなものであり得る。この画像は有用であるが、コロニー識別を最適なものとしないいくつかの光学的効果を含んでいる。たとえば、培地の表面が不均一であるために、サンプル全体の色およびコントラストが変化していることがある。加えてエッジは、照明が通過するペトリ皿のさまざまな層に基づく顕著な干渉を含む。このため、サンプルのエッジにおいてコロニーを識別することが困難になっている。略水平ビームをエッジ照明補正技術とともに用いることで、コロニーの識別および分離にかなりの利点を提供し得る。ソースおよび目的画像の明確な対比は非常に明瞭である。ユーザは、本発明のエッジ照明補正プロセスを用いることによって、コロニーを識別する確率がかなり増すであろう。略水平照明は、不透明な培養物には不適切であるが、透明および半透明の培養物において皿のアーチファクトを除去し、塵およびセリグラフィの影響を低減するために有用である。略水平照明は、サンプルおよびその内容物から屈折および反射して、アーチファクトを分離および削除するために用いられ得る画像を形成する。この画像を後でさらに用いて、コロニーによる皿のパーセンテージ被覆を定めて、コロニー濃度の推定値を提供したり、不透明でない培地における生育または非生育を定めたりしてもよい。
【0088】
環状照明はサンプルに向けられ、培地および形成されたあらゆるコロニーから画像捕捉デバイスに向かって反射または屈折する。この照明が生成する画像の目的は、培地およびコロニーの色の区別を可能にすることである。色を識別できることは、特定の微生物を識別するための重要なツールであることがしばしばある。なぜなら、いくつかの微生物は非常に特徴的な配色を有するからである。全体の結果として得られるビューは、生物学者が特定のタイプの微生物に対して見ると予期する、たとえば色、コロニーの外観などに最も近いものとなる。このことは、培地およびコロニーの周囲の配色の微妙な変化を識別するために、特に重要である。加えて、環状照明が生成する画像は、色素産生培地におけるバクテリアコロニーの下および周囲の色の微妙な変動を検出することを可能にする。
【0089】
側方環状照明は、照明源２１８、２２０、２２２および２２４のうちの１つだけの照明である。これは影を伴う画像を与え、この画像を用いて、輪郭および隆起した表面および質感を識別できる。各照明源は、照明の方向の結果として、異なる影効果を生じる。
【0090】
逆環状照明は、ヘッドユニットからサンプルの上に反射する。次いで、サンプルはその照明を画像捕捉デバイスに向けて反射または屈折させる。こうして捕捉された画像は、サンプル内の異なるコロニーの対比の詳細を与える。加えて、この画像は色情報を提供できる。さらに、この画像は質感情報、コロニーの外観および色の詳細、スウォーミング限界に対する情報、ならびにコロニーの隆起した表面に関する情報、たとえば上昇、形態および形状などを提供できる。
【0091】
逆環状照明は、勾配の変化の視覚化を可能にする準鉛直照明を生成する。これは質感および粒度に対する情報を与えるものであり、あまり上昇していないが表面の変則性を有するコロニーを検出するために有用である。一実施形態においては、逆環状照明を用いていくつかの異なる画像を取得した後に、画像に起こり得るあらゆる飽和に対処するためにそれらを組み合わせる。
【0092】
鉛直照明源は、サンプルを上から照らす。この照明がサンプルおよびコロニーから反射して、詳細な輪郭情報を提供する画像を与える。この画像を用いて、サンプルの隆起した表面およびコロニーの高さを識別できる。コロニーの隆起した表面の詳細はしばしば非常に特異的であるため、次いでこの情報を用いて、特定のタイプの微生物を識別できる。たとえば、いくつかのコロニーはドーム形であり、他のものは凹凸があり、他のものは平坦である。よって鉛直照明は、スウォーミングの良好なビュー、気泡、塵などの検出を与える。コロニーの表面および外観のモノクローム情報が容易に生成される。
【0093】
サンプル中で生育するコロニーの画像を得るために多くの異なるタイプの照明を用い得るため、本発明が提供するさまざまな上記の照明方向は利点を提供する。異なる特性を識別するためにさまざまな画像を用い得ることから、結果としてこれらの特性を識別する改善されたやり方が提供される。
【0094】
上述のとおり、照明源および方向の各々を用いて、異なる画像の特性を目立たせて強調できる。本発明の範囲から逸脱することなく、異なる照明源および方向からの照明を用いることによって、記載される実施例を変更または適合させてもよい。
【0095】
さらに、異なる適用に対しては、たとえば赤外線および紫外線など、異なる波長の照明を用いてもよい。
【0096】
本発明の適用の１つは、照明源の組み合わせから画像を作成して、合成画像を生成することである。
【0097】
底部環状ビューは、ペトリ皿からの同一仰角における異なる位置、すなわち前後左右にある４つの照明源を伴う。イメージングシステム１１４は、異なる照明源の各々によって、ペトリ皿を同時に照らす。よってイメージングシステム１１４は、照明源の前後左右の４つの位置に関する１つの画像を生成する。
【0098】
４つの画像はかなりよく似ているように見えるかもしれないが、照明源の方向によって、たとえばペトリ皿における光の反射または段階的な陰影など、いくつかの照明アーチファクトが画像に現れる。
【0099】
照明アーチファクトは、照明後に起こる特定方向への鏡面反射である正反射を含んでもよい。照明アーチファクトはさらに、ペトリ皿内の特定の高さを有するオブジェクトに関連する陰影を含んでもよい。照明アーチファクトはさらに、光強度が不均一であることに関係する段階的陰影を含んでもよい。
【0100】
正反射は輝点を含み、対応する光源に依存する。これは、たとえば右側ビューなどの特定のビューに関係する光源を用いるときにのみ正反射が起こり得ることを意味する。よって、他の３つのビュー、すなわち左、前および後側のビューに関係する光源を用いるときには、正反射は起こらないかもしれない。
【0101】
先行技術に関する図１７に示すとおり、正反射はコロニーエッジに位置する。使用される光源の方向によって、正反射は異なるコロニーエッジに位置し得る。図１７は、４つの照明源、すなわち前後左右の同時照明を表す画像を合成画像として示す。
【0102】
したがって、こうした照明アーチファクトを伴わない画像におけるコロニーの検出を最適化するために、画像の画質を改善することが必要である。
【0103】
本発明の第１の局面は、たとえば正反射などの照明アーチファクトを除去するための方法に関する。
【0104】
照明アーチファクトを除去するための方法は、図１８に示す以下のステップに従って動作する。
【0105】
図１８に示すとおり、ステップ２２１１において、３つの色チャネルＲ、ＧおよびＢから色チャネルを選択する。ステップ２２１２において、決められた数Ｎのビューに基づいてペトリ皿の画像を取得する。Ｎビューの各々は、ペトリ皿に対する特定の方向に配向された照明源に関係する。よって図２２１３に示すとおり、各照明源は前側ビュー画像、後側ビュー画像、左側ビュー画像または右側ビュー画像を生成する。
【0106】
底部環状照明の状況において、すべての照明源はペトリ皿に対する同じ入射角のところに位置する。本発明において、この正反射を除去する方法のための底部環状照明は、４つの異なる画像を生成する４つの光源に等しい数Ｎを含む。その結果、ステップ２２１２は４つの異なる画像を提供する。除去方法の最後に最適化された結果補正画像を得るためには、異なるビューの数Ｎは少なくとも３に等しくなるべきである。加えて、照明源はペトリ皿の周りに均等に位置する必要があり、加えてペトリ皿に対する同じ入射角を有する必要がある。
【0107】
ステップ２２１３において、Ｎ画像内の各画素のＮ値を定める。これは、４つの照明源の４つの異なるビューに対応する４つの画像すべてに対して、各画素ｐを対応する値によって規定することを意味する。
【0108】
ステップ２２１４において、各画素ｐを考慮して補正画素値を定める。補正画素値は、各画素ｐに関する中央値ｖに関係してもよく、中央値は画素のＮ値から定められる。これは、たとえば左底部値（ＬＢｐ１）、前底部値（ＦＢｐ１）、後底部値（ＢＢｐ１）および右底部値（ＲＢｐ１）などの４つの値を有する画素ｐ１に対して、中央値を計算して、対応する色チャネルにおける特定の画素に対する一意の値を得ることを意味する。よって、中央値を計算した後、画素ｐ１の中央値はＮ値のうちの任意の１つであってもよい。
【0109】
加えて補正画素値は、Ｎ画素値の中間値である画素値の平均に関する第１の算出値に関係してもよい。
【0110】
加えて補正画素値は、最低値および最高値の外側の画素値の平均に関する第２の算出値に関係してもよい。
【0111】
よって、中央値、第１の算出値または第２の算出値を含む補正画素値は、対応する色チャネルに対して考慮される画素の画素値を置換してもよい。下の実施例は、底部環状ビューが４つの異なる光源を含む場合、すなわちＮ＝４である場合を示す。補正画素値は中央値に関係する。色チャネルＲ、ＧおよびＢの各々に対して中央値を定める。
【0112】
特定の画素ｐ１に対する中央値の決定の例は、次のとおりである。色チャネルＲに対して、
Ｎ＝１；左底部ビュー−画像１−ＬＢｐ１＝Ｒ１
Ｎ＝２；前底部ビュー−画像２−ＦＢｐ１＝Ｒ２
Ｎ＝３；右底部ビュー−画像３−ＲＢｐ１＝Ｒ３
Ｎ＝４；後底部ビュー−画像４−ＢＢｐ１＝Ｒ４
ここで、たとえばＲ１＞Ｒ２＞Ｒ３＞Ｒ４であり、
色チャネルＲに対するｐ１の中央値の決定：Ｖ１（ｐ１）＝（Ｒ２＋Ｒ３）／２
【0113】
色チャネルＧに対して、Ｎ＝１；左底部ビュー−画像１−ＬＢｐ１＝Ｇ１
Ｎ＝２；前底部ビュー−画像２−ＦＢｐ１＝Ｇ２
Ｎ＝３；右底部ビュー−画像３−ＲＢｐ１＝Ｇ３
Ｎ＝４；後底部ビュー−画像４−ＢＢｐ１＝Ｇ４
ここで、たとえばＧ１＞Ｇ２＞Ｇ３＞Ｇ４であり、
色チャネルＧに対するｐ１の中央値の決定：Ｖ２（ｐ１）＝（Ｇ２＋Ｇ３）／２
【0114】
色チャネルＢに対して、Ｎ＝１；左底部ビュー−画像１−ＬＢｐ１＝Ｂ１
Ｎ＝２；前底部ビュー−画像２−ＦＢｐ１＝Ｂ２
Ｎ＝３；右底部ビュー−画像３−ＲＢｐ１＝Ｂ３
Ｎ＝４；後底部ビュー−画像４−ＢＢｐ１＝Ｂ４
ここで、たとえばＢ１＞Ｂ２＞Ｂ３＞Ｂ４であり、
色チャネルＢに対するｐ１の中央値の決定：Ｖ３（ｐ１）＝（Ｂ２＋Ｂ３）／２
【0115】
先行技術においては、図１７に示すとおり、底部環状ビューは、Ｎ照明源の同時照明から得られたＮ画像の物理的組み合わせに関係する。本発明においては、図１９に示すとおり、各照明源からの各照明を１つずつ処理する。よって、Ｎ照明源に関するＮ画像を得る。Ｎ画像の各画素に対する補正画素値を定めた後、結果として得られる画像をアルゴリズムに基づいて計算する。図２０に示す補正画像においては、定められた中央値が、対応する画素の各々に影響する。このことは、各色チャネルを考慮して、画素値は考慮される色チャネルに対するその画素の中央値に等しいことを意味する。
【0116】
上記の実施例に基づいて、画素ｐ１の中央値は次のとおりに割り当てられる。色チャネルＲに対して、ｐ１はＶ１（ｐ１）＝（Ｒ２＋Ｒ３）／２によって割り当てられる
色チャネルＧに対して、ｐ１はＶ２（ｐ１）＝（Ｇ２＋Ｇ３）／２によって割り当てられる
色チャネルＢに対して、ｐ１はＶ３（ｐ１）＝（Ｂ２＋Ｂ３）／２によって割り当てられる
【0117】
図２０に示すとおりの補正画像は、照明アーチファクトを伴わずに、たとえばコロニーなどのオブジェクトを有するペトリ皿を示す。
【0118】
さらなる画像処理アルゴリズムの動作の際には、照明アーチファクトを考慮する。照明アーチファクトは、画像を生成するためのアルゴリズムのプロセスに負の影響を与える。先行技術においては、結果画像に関するアルゴリズムを適合させるためのステップが必要である。よって先行技術の方法は、照明アーチファクトの量およびタイプに基づいて、アルゴリズムのパラメータを画像の内容に適合させることを必要とする。本発明の第２の局面に対して上述される、本発明の第１の目的に従う方法の利点は、結果画像を生成するためにアルゴリズムのパラメータの特定的な適合または調節を必要としないことである。
【0119】
別の実施形態において、Ｎ画像はさらに白黒画像を含んでもよい。
【0120】
さらなる実施形態において、いくつかの付加的な画像処理技術を説明する。図１０は、一般的な画像処理技術を簡略化した図を示す。第１のステップ１７００において、照明源の１つまたは組み合わせから複数の画像を取得する。たとえば皿の輪郭およびエッジなど、皿の第１のタイプの特性を検出するために、皿検出技術ステップ１７０２を行う。次いでステップ１７０４において、たとえば皿の上のマークまたはセリグラフィなど、第２のタイプの特性を識別するために、マーク検出技術を実行する。ステップ１７０６において、さらなる検出技術を実行する。生体オブジェクトまたはコロニーの検出に関するいくつかの異なるさらなる検出技術も存在し、それらについては以下により詳細に説明する。同じサンプルに対して連続的に異なる画像処理技術が実行されてもよく、その場合にはプロセスはステップ１７０８において、以後のさらなる画像処理技術に対するフィードバックを行う。さらなる検出技術のいくつかにおいて、皿検出および／またはマーク検出は、実行されるさらなる検出技術の助けにならないことがあるため、これらのステップは必ずしも実行されなくてもよい。このように、さらなる検出技術の少なくともいくつかは、独立した技術であってもよい。
【0121】
皿検出技術１７０２とは、ペトリ皿の壁および蓋によって形成されるペトリ皿のリングを識別する技術である。この技術は、たとえば予め定められたサイズの円形オブジェクトを検出するための円形ハフ変換（ドゥダ（Ｄｕｄａ）、Ｒ．Ｏ．およびＰ．Ｅ．ハート（Ｈａｒｔ）、「写真における直線および曲線を検出するためのハフ変換の使用（Ｕｓｅ ｏｆ ｔｈｅ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｔｏ Ｄｅｔｅｃｔ Ｌｉｎｅｓ ａｎｄ Ｃｕｒｖｅｓ ｉｎ Ｐｉｃｔｕｒｅｓ）」、コミュニケーション・オブＡＣＭ（Ｃｏｍｍ．ＡＣＭ）、Ｖｏｌ．１５，ｐ．１１−１５（１９７２年１月）に記載されるものなどのオブジェクト検出技術を含む。良好な対比を付けたサンプルの画像が得られるため、バックライト画像が用いられる。加えて、ペトリ皿のサイズを入力して、変換に対して、探している単数または複数の円形オブジェクトの性質を示す。皿および蓋のさまざまなリングを適切に位置付け得るように、探しているリングの数も入力してもよい。ハフ変換を適用することによって、ペトリ皿の１つまたはそれ以上のリング（蓋または本体）の位置推定がもたらされ得る。さらなるステップにおいて、この情報は、必要であれば結果画像からペトリ皿リングを除去するか、または皿のリングもしくは外側をマスクすることを可能にし得る。これによって、さらなる検出法がペトリ皿の内側に焦点を合せ得ることが確実になる。なお、ハフ変換は円形の容器に適用するものであるが、異なる形状の容器に対しては他のオブジェクト検出アルゴリズムを用いてもよい。
【0122】
代替的に、円形ハフ変換を用いることなくペトリ皿の輪郭を検出するために、別の種類のオブジェクト検出技術を適用してもよい。代替的なオブジェクト検出技術は、ペトリ皿の境界を識別するために画像中の閉輪郭を検索することを可能にする。この代替的技術は、たとえばＪ．キャニー（Ｃａｎｎｙ）による文献「エッジ検出に対する計算的アプローチ（Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ ｔｏ Ｅｄｇｅ Ｄｅｔｅｃｔｉｏｎ）」に記載されるキャニー・エッジ検出法、または形態学的勾配エッジ検出などの周知の技術に基づいて、画像の予想される輪郭を検索する第１のステップを含む。よって、第１のステップはグレースケール画像を提供する。
【0123】
代替的技術は、Ｍａｔｌａｂ（商標）関数のたとえば「穴によるｉｍｆｉｌｌのオプション（ｉｍｆｉｌｌ ｗｉｔｈ ｈｏｌｅｓ ｏｐｔｉｏｎ）」などを用いて、検索された輪郭を埋める第２のステップを含む。これは、輪郭が皿の周りの閉輪郭である状況において、この埋めるステップが皿の内側のみを埋めることを意味する。代替的技術はさらに、その閉輪郭内の最大内接円を検索するステップを含む。さらなるステップにおいて、その内接円の対応する半径および中心の位置に基づいて、プレート半径および皿の中心の位置を定める。この代替的技術の利点は、このオブジェクト検出技術を実行するために、輪郭の予め定められたサイズを先に知っておく必要がないことである。
【0124】
ここで図１１を参照して、マーク検出技術について説明する。第１のステップ１８００において、ペトリ皿の複数の画像をシステムにロードする。
【0125】
ステップ１８０２においてセグメント化プロセスが動作し、ここではデジタル化画像を形成するために、ステップ１８０２における２値化プロセスにおいて画像をセグメント化する。セグメント化プロセスは、画素を複数のクラスに分離することを提供する。２値化プロセスは、黒または白の２クラスの画素を提供する特定的なセグメント化プロセスである。２値化プロセスは、暗色のインクの点でできたセリグラフィの元の構造に基づいている。よって２値化プロセスは、点形状および暗色を有するオブジェクトを検索するためのステップを含む。その結果として、２値化プロセスは、セリグラフィと、たとえばコロニー、気泡またはデフォルトなどのその他のオブジェクトとを区別するための改善された方法を提供する。ステップ１８０２の２値化プロセスは、ペトリ皿上のセリグラフィを識別するためのいくつかのステップを含む。２値化プロセスは、周知のＫ平均クラスタリング法とは異なる。Ｋ平均クラスタリング法は、同色の画素を集める。２値化プロセスは、類似色を有するとともに近接する画素を集める。ステップ１８０４において、たとえば実質的に矩形の形状のオブジェクトを識別するための探索を行ってもよい。より一般的には、非生物学的特性を呈する特徴またはオブジェクトに対する探索を行ってもよい。これらの特徴は、特定の形状、セリグラフィ、バーコード、チケット、ラベルなどを含み得る。識別されたオブジェクトをマーク付けして、ペトリ皿上のマークであるものとみなす。結果として得られる画像が１８０６であり、これを用いて、皿の上のマークの位置を推定し、必要であれば元の画像にかかわらずそのマークを除去またはマスクしてもよい。最初にマークを検出するために用いた画像または画像の組にかかわらず、照明が何であれ、同じ皿のすべてのその他の画像においてそのマークの位置を用い得る。特定の実施例において、皿の中にコロニーがないように見えるときに、マークを識別するためにこのアルゴリズムを用いてもよい。
【0126】
ここで、特定のさらなる画像処理技術について説明する。図１２ａおよび図１２ｂは、分離されたコロニーを検出するためのプロセスを示す。第１のステップ１９００において、異なる照明源を用いて複数の画像を取得する。さらなる処理のために、１つの画像または画像の組み合わせを選択する。次いでステップ１９０２において、円形ハフ変換を適用することによって、選択された単数または複数の画像を処理する。このステップは、たとえばバクテリアのコロニーなどの円形オブジェクトを識別する。特定のサイズの円形エレメントを探索するようにハフ変換を制限するために、典型的なコロニーサイズを入力してもよい。円形オブジェクト（コロニー）が識別されると、ステップ１９０４において、各円形オブジェクトに分離テストを適用する。図１２ａを参照して、分離テストについてさらに説明する。分離テストは、識別された円形オブジェクトの中心を定めるステップ（図示せず）を含む。次いで２値化ステップ１９０８を適用して２値化画像を取得し、この２値化画像の中心は、識別された円形オブジェクトの中心に対応する。その後、ステップ１９１０において２値化画像に対する円形テストを行って、その２値化オブジェクトが円形であるか確認する。サイズおよび分離区域の決定のさらなるステップ１９１２は、以下に説明する方法に関するものであり、コロニーのサイズ、ならびにコロニーの直径およびコロニーの周りの分離区域を決定するために実行されるものである。典型的な出力を１９０６に示す。
【0127】
ペトリ皿の内側のコロニーの位置は、ユーザまたは自動ピッキングデバイスもしくは半自動ピッキングデバイスにとって便利でないことがある。その結果として、ピックアップすべきコロニーの近隣に関する詳細な情報を提供する必要があると考えられる。
【0128】
本発明のこの第２の局面は、コロニーのさらなる手動または自動ピッキングプロセスに対する誘導を提供するための詳細な情報を得るために、たとえばコロニーなどの目的オブジェクトの近隣を定めることである。この方法の目的は、ピッキングプロセスを誘導するためのコロニーの対応ピッキングプロファイルを得るために、コロニーの近隣コロニーに対する近さを定めることである。ステップ１９０２において予め２値化された画像を考える。本発明において、２値化画像におけるすべての２値化オブジェクトは微生物であるものと想定する。
【0129】
図１４に示すとおり、目的オブジェクトの中心である２値化画像の中心の近隣において、他のオブジェクトを探索する。この探索方法は、ステップ１８１１において、定められた半径のいくつかの円を形成して、たとえば２値化マスク画像の中心の周りのコロナなど、対応する円形表面に位置するあらゆる他のオブジェクトを探索するステップを含む。各コロナは、特定の半径値を有する円形表面を含む。各コロナは、連続する半径値を有する２つの円によって区切られる。ステップ１８１２において、探索方法はさらに、コロナ内の少なくとも１つの他のオブジェクトの存在および位置を定めるステップを含む。２値化画像の中心の周りのコロナ内に他のオブジェクトが位置していなければ、次いで２値化画像の中心の周り３６０°の角度セクタによって、そのコロナを規定する。コロナの内側に何らかの他のオブジェクトが位置していれば、ステップ１８１３において、対応するクリアランス角度の決定を行う。クリアランス角度は、中心オブジェクトをユーザまたは自動デバイスがピッキングするときの有効性を規定するための角度セクタに関するものである。クリアランス角度の値は、コロナ内で検出された他のオブジェクトの数に正比例する。クリアランス角度は、他のオブジェクトが存在しないときのコロナの角度セクタの最大値に関係する。よって、ユーザまたは自動デバイスにとって最良の条件で、コロナの対応する空き区域においてピッキングプロセスが起こってもよい。目的オブジェクトの周りのすべての対応する分離区域を詳述するために、他の値のクリアランス角度をさらに定めてもよい。
【0130】
よってステップ１８１４において、関係する目的オブジェクトのピッキングプロファイルを生成する。特定の目的オブジェクト、すなわちコロニーに関するピッキングプロファイルの例を図１６に示す。ピッキングプロファイルは、目的オブジェクトに対するクリアランス角度および対応するコロナに関するピッキングプロファイル値を含む。
【0131】
図１５に示すとおりの先行技術においては、たとえば中心の目的オブジェクトの特定のクリアランス角度および特定の構成などの基準またはユーザ基準を、ルックアップテーブルが規定する。ペトリ皿内のコロニーの分離レベルに依存して、７つの基準を用いてコロニーをランク付けする。たとえば、もしコロニーの周囲２ｍｍのコロナの内側に他のオブジェクトが位置しておらず、かつコロニーの周囲最大７ｍｍまでの３０°の角度セクタに他のオブジェクトが位置していなければ、そのコロニーはクラスＣ２−Ａ３に属する。この基準は、ユーザの現在の知識および慣習に基づいて設定される。先行技術のプロセスにおいて、ユーザは、いかにしてそのユーザにとって最適化された条件でコロニーをピックアップするかに関する特定のユーザ基準を有する。その基準はユーザがコロニーをピッキングするための通常の挙動に関係しており、そのユーザが右利きか左利きか、および／またはコロニーのサイズ、および／またはたとえばペトリ皿のエッジ近くなどのコロニーの位置に基づいている。その他の基準が考慮されてもよい。本発明のこの第２の局面においては、ステップ１８１５において、コロニーをピッキングするためのピッキングプロセスを実行できるか判断するために、どのユーザ基準がピッキングプロファイルに一致するかをユーザが定める必要がある。
【0132】
本発明の第２の局面は、先行技術のルックアップテーブルに加えて、特定の中心の目的オブジェクトに対して上記のユーザまたは任意の自動デバイスの基準を適用し得るときに、ユーザまたは自動デバイスに示すためのツールを提供する。こうして本発明は、コロニーのピッキングプロセスを改善するためにコロニーの近隣を定めるための付加的な手段を提供する。加えて、コロニーをピッキングするための最良条件を定めるために、ルックアップテーブルを用いずに図１６に示すピッキングプロファイルを適用してもよい。
【0133】
もしコロニーがルックアップテーブルの少なくとも１つの基準クラスタと一致すれば、そのコロニーは分離されるものとして判断される。ほとんどの分離コロニーは、２つ以上の基準クラスタに属する。図１６に示すピッキングプロファイルにおいて、このコロニーは、クリアランス角度が３６０°未満であり、かつコロニーまでの距離が３ｍｍであるクラスＣ１に属さない。しかし図２０に示すとおり、このコロニーはクラスＣ３−Ａ１、Ｃ３−Ａ２およびＣ４−Ａ１に属する。よってユーザまたは自動デバイスは、ルックアップテーブルのすべての可能な基準を適用しようと試みる代わりに、特定のコロニーに対してどの基準が適用され得るかを容易に判定できる。本発明から得られるピッキングプロファイルは、ピッキングプロセスを行うときに誘導を提供して、ユーザまたは自動デバイスが時間を節約することを可能にする。
【0134】
本発明の第３の局面は、ペトリ皿内に位置するコロニーまたはオブジェクトの数の決定に関する。
【0135】
本発明のこの第３の局面は、分離されたコロニーおよびグループ化されたコロニーからのコロニーを計数するための解決策を扱うものであり、ペトリ皿のエッジの近くに位置するコロニーを識別することを含む。「関連コンポーネント」または「エレメント」という表現は、たとえばコロニーなどのオブジェクト、またはオブジェクトの塊に関するものである。
【0136】
図２１に示すとおり、ステップ２５１１において、ペトリ皿の反射の除去に関する予備プロセスを適用する。予備プロセスは、内側２値化画像および外側２値化画像の第１の区別に従って説明されるとおりの、照明アーチファクトを除去するためのプロセスに基づいていてもよい。よって、皿の内側部分および皿の外側部分を定めるために、皿の内側の境界を規定する必要がある。上述の皿検出法を適用することによって、ペトリ皿の境界のプラスチックの中心および半径を推定してもよい。次いで、ペトリ皿の中心からペトリ皿の境界までの距離に対応する外側半径を得るために、外側半径を推定半径の１００％に設定する。外側半径の末端を図２２に示す。
【0137】
類似の態様で、内側半径をたとえば推定半径の８５％に設定する。外側半径の末端を図２２に示す。
【0138】
内側半径および外側半径は、内側マスクおよび外側マスクという２つの対応する２値マスクの構築を可能にする。内側マスクは、皿の外周を除く皿の内側に対応する。外側マスクは、皿の外周を含む皿全体に対応する。内側半径はペトリ皿の第１の区域を規定し、外側半径はペトリ皿の第２の区域を規定する。内側区域および外側区域の組み合わせは、ペトリ皿の表面全体を規定する。
【0139】
ステップ２５１２において、大域的２値化画像を得るための２値化プロセスを行う。ステップ２５１２の内側２値化プロセスは、底部黒背景ビューを用いて行う。次いでその画像をグレースケール画像に変換する。次いで、大津の方法を用いてグレースケール画像を２値化する。２値化画像を提供するためにグレーレベル画像を低減させるために、大津の方法を用いる。内側２値化法においては、上述の内側マスクによって規定された内側画素を用いて、必要とされる大津閾値を計算する。この閾値に基づいて、図２３に示すとおりに画像全体を２値化する。
【0140】
次いで、形態学的開放と呼ばれる先行技術の関数を用いて、２値化画像をきれいにする。形態学的開放関数は、画像の前景からの小さなオブジェクトを除去して、画像の背景に置くことを可能にする。本発明において、形態学的開放関数は、５画素の半径を有するディスク形状の構造化エレメントを適用することを含む。したがって、この形態学的開放関数を使用することによって、図２４に示されるとおり、構造化エレメントよりも小さいオブジェクトを除去する。
【0141】
皿全体が２値化されるとき、２値化画像は内側コロニーと、ペトリ皿の外周上に位置する外側コロニーとを含む。さらなるステップにおいて、２値化画像を、内側マスクに位置する関連コンポーネントを含む、図２５に示す内側２値化画像と、ペトリ皿の外周に全体的または部分的に含まれる関連コンポーネントのみを含む、図２６に示す外側２値化画像とに分ける。本発明のこの第３の局面は、改善された外側２値化画像を提供するためのステップを含む。実際に、ペトリ皿の外周では多くの反射が起こるため、上記の２値化ステップによって得られる外側２値化画像はしばしば不正確である。なぜなら、誤ってコロニーと識別されるオブジェクトが正反射によって生じるためである。よって、外側２値化画像を改善する必要がある。以下のステップは、上記のステップにおいて定められた内側２値化画像のパラメータを用いることによって、外側２値化画像の画質を改善するための方法を提供する。
【0142】
ステップ２５１３において、外側２値化プロセスは、色バックライトビューを伴う外側２値化画像を用いるステップを含む。前景の小さい穴を除去するための、形態学的閉鎖と呼ばれる周知の関数。この形態学的閉鎖を、最小コロニー半径に設定した半径を有するディスク形状の構造化エレメントによって用いる。最小コロニー半径は、内側２値化画像と同様にコロニーの最小半径の推定を用いて定めてもよい。当業者の知識に基づくと、最小半径は１０画素から１５画素であり得る。形態学的閉鎖関数を動作させた後、構造化エレメントよりも小さい暗いオブジェクトを除去し、結果として図２７に示すとおり、バックライトビューにおけるプラスチック境界が明瞭に可視化される。これらのステップは、第１の結果画像を提供する。
【0143】
さらなるステップにおいて、第１の結果画像をＬａｂ色空間に変換する。これは、ＲＧＢ空間の第１の結果画像を、Ｌａｂ色空間の第２の結果画像に変換することを意味する。図２８に示すＩ１および図２９に示すＩ２の２つの画像を、Ｌａｂ空間から計算する。Ｉ１＝１−［Ｌ］
および
Ｉ２＝［［ａ］＋［ｂ］］
【0144】
Ｌ、ａ、ｂはＬａｂ空間のチャネルであり、［＊］は、以下の最大−最小正規化を用いて画素値を０から１の間に再スケールする演算子である。
【0145】
【数1】
【0146】
画像Ｉ１およびＩ２の両方を用いて、外側２値化画像を精密にする。Ｉ１における内側２値化オブジェクトの平均値を計算して、Ｅ［Ｉ１］を得る。Ｉ２における内側２値化オブジェクトの平均値を計算して、Ｅ［Ｉ２］を得る。０．９×Ｅ［Ｉ１］よりも低いＩ１の値を有する画素を０に設定する。類似の態様で、０．９×Ｅ［Ｉ２］よりも低いＩ２の値を有する画素を０に設定する。図３４に示されるとおり、外側２値化画像が含む不正確なオブジェクトは、第１の結果画像よりも少なくなる。
【0147】
最終ステップにおいて、最小コロニー半径に設定した半径を有するディスク形状の構造化エレメントを用いることによって、外側２値化画像に対して形態学的開放関数を適用する。
【0148】
その結果、ステップ２５１４において、内側２値化画像と、改善された外側２値化画像とを組み合わせた大域的２値化画像を生成する。
【0149】
ペトリ皿内に位置する関連コンポーネントの数は、コロニーまたはコロニーの塊に関係し得るため、以下のステップで説明されるとおり、コロニーの検出を改善する必要がある。
【0150】
ステップ２５１５に示すとおり、関連コンポーネントを識別して、ペトリ皿におけるそれらの位置を定める。特定の関連コンポーネントの位置によって、２つの異なるステップが生じ得る。
【0151】
ステップ２５１６に示すとおり、関連コンポーネントが内側２値化画像に位置するとき、底部ビューにおける画素の対応する値によって各画素値を割り当てる。こうして内側合成画像を得る。
【0152】
ステップ２５１７に示すとおり、関連コンポーネントが外側２値化画像に位置するときは、画像距離を計算する。画像距離は先行技術において周知である。画像距離は、オブジェクトのエッジに対するそのオブジェクトの距離に基づいて、オブジェクトの画像を表すものである。次いで、外側２値化画像に位置する関連コンポーネントの各画素値を、バックライトビューにおける対応画素値と、画像距離における対応画素値との平均値として算出された画素値によって割り当てる。こうして外側２値化画像を得る。
【0153】
ステップ２５１８において、内側合成画像および外側合成画像を組み合わせて、図３１に示すとおりの合成画像を得る。図３１において、コロニーの中心は高い値に設定し、コロニーのエッジは低い値に設定している。これは、合成画像の画素値が、オブジェクトのエッジに対するその画素の近さに依存することを意味する。上記ステップに基づいて、ここで合成画像は、コロニーの形状および色という２つの基準に依存するコロニーを表す。コロニーの中心を表すために、先行技術において公知の拡張最大変換関数を適用する。よって、合成画像をセグメント化するために、以下に説明するとおりのセグメント化アルゴリズムを適用することが改善される。
【0154】
ステップ２５１９に示すとおり、たとえば先行技術において公知のウォーターシェッドアルゴリズムなどのセグメント化アルゴリズムを合成画像に適用して、コロニーの最終表示を得る。図３２に示すとおりの最終画像は、上記２つの基準に基づくコロニーを表す。これは、オブジェクトが識別可能なエッジを含むことを意味する。よって最終画像は、最終画像に位置するコロニーの計数プロセスを容易にする。
【0155】
当然のことながら、検出プロセスおよび最適な照明源の他の組み合わせを使用してもよい。照明源の位置は必要に応じて変動してもよく、本明細書に記載される位置および影響方向に依存するものではない。
【0156】
特定のサンプルを分析するために、さまざまな強調および画像処理技術を組み合わせ得ることが予期される。これは、それらの技術のいくつかまたはすべてを使用することを必要とし得る。それらの技術は任意の順序で適用されてもよく、その順序は１つのサンプルと次のサンプルとで変わってもよい。選択された単数または複数の技術をサンプルに適用した後にコロニーが識別されなかったときは、そのサンプル上にコロニーが生育しなかったものと判定してもよい。
【0157】
任意の画像強調技術または画像処理技術において、プロセスの開始時に、システムに付加的な情報を提供してもよい。この付加的な情報は、ペトリ皿またはその他のサンプル容器に関する詳細、たとえばサイズ、形状、材料などを含んでもよい。付加的な情報はさらに、培地およびそこで生育し得る何らかの予期されるタイプの材料の詳細を含んでもよい。この情報はさらに、たとえば露出時間、照明源、ペトリ皿の配向、あらゆるその他の光学または制御パラメータなどのイメージングの詳細を含んでもよい。この情報は、たとえば工業用、医学用などの、適用の目的を示してもよい。必要に応じて、あらゆるその他の関連情報がさらに含まれてもよい。
【0158】
サンプルを分析し、かつアーチファクトを検出するこうした自動プロセスは、多くの利点を提供する。たとえば書込みおよびマークなどのアーチファクトを検出し、必要であれば除去できることによって、コロニーの分離が容易になる。他のアーチファクトを検出して、付加的なステップにおいてそれらを画像から除去するために、同じ技術を用いてもよい。たとえば、皿のバッチが特定のサイズおよび色の栄養分の中に過剰な気泡を有するとき、上述のプロセスによってこれらのアーチファクトを検出して、必要であれば除去してもよい。同様にして、その他の光学的アーチファクトも処理され得る。
【0159】
上述の発明は、生体サンプルの画像を取得および処理するための方法およびコンピュータプログラム製品に関する。本発明の局面のいくつかまたはすべてが、異なる環境において用いられてもよい。
【0160】
上述の発明のいくつかは、少なくともある程度コンピュータ上で実行できるプロセスに関する。したがって、処理技術およびステップに対する言及は、ソフトウェアもしくはハードウェアまたはその任意の組み合わせによって実行されてもよい。本発明の局面がハードウェアに関して記載されるとき、当然のことながらそれが適切なソフトウェアモジュールによって置き換えられてもよい。同様に、ソフトウェアモジュールまたはプロセスが適切なハードウェアによって置き換えられてもよい。
【0161】
第１、第２および第３の目的に従う本発明は、生物学的分析のための機器および関連機器の既存の制御システムの好適なプログラミングによって実現されてもよいし、および／または画像処理のための別個のデータ処理装置を用いて実現されてもよい。
【0162】
当然のことながら、本発明の意図される範囲内にある本発明の多くの変形が存在し得る。