特許 7148776 コロニー識別システム、コロニー識別方法およびコロニー識別プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-28

(45)【発行日】2022-10-06

(54)【発明の名称】コロニー識別システム、コロニー識別方法およびコロニー識別プログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20220929BHJP

   C12Q 1/04 20060101ALI20220929BHJP

【ＦＩ】

C12M1/34 B

C12Q1/04

【請求項の数】 11

(21)【出願番号】P 2018145688

(22)【出願日】2018-08-02

(65)【公開番号】P2020018249

(43)【公開日】2020-02-06

【審査請求日】2021-06-28

(73)【特許権者】

【識別番号】304023994

【氏名又は名称】国立大学法人山梨大学

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ弁理士法人

(74)【代理人】

【識別番号】100117466

【弁理士】

【氏名又は名称】岩上 渉

(72)【発明者】

【氏名】山村 英樹

(72)【発明者】

【氏名】安藤 英俊

(72)【発明者】

【氏名】早川 正幸

【審査官】太田 雄三

(56)【参考文献】

【文献】特開昭６０－１８４３９８（ＪＰ，Ａ）

【文献】特開２０１８－０２２２１６（ＪＰ，Ａ）

【文献】特開２０１７－０１８１２６（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０１９７２９８（ＵＳ，Ａ１）

【文献】国際公開第２０１８／１１７２７３（ＷＯ，Ａ１）

【文献】特開２０１４－０３９５１９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＣＡｐｌｕｓ／ＭＥＤＬＩＮＥ／ＥＭＢＡＳＥ／ＢＩＯＳＩＳ（ＳＴＮ）

(57)【特許請求の範囲】

【請求項1】

培地に形成された微生物のコロニーに対して可視光が照射された状態で前記コロニーを撮影した画像である可視光照射画像を取得する可視光照射画像取得部と、
前記コロニーに対して非可視光である紫外線が照射された状態で前記コロニーを撮影した画像である非可視光照射画像を取得する非可視光照射画像取得部と、
前記可視光照射画像と前記非可視光照射画像とに基づいて、前記コロニーを形成している前記微生物を識別するコロニー識別部と、
を備え、
前記コロニー識別部は、
前記コロニーの前記可視光照射画像および前記非可視光照射画像と当該コロニーを形成している前記微生物の種類とを対応づけた教師データに基づいて機械学習が行われたモデルに対して、識別対象である複数の前記コロニーを撮影した前記可視光照射画像および前記非可視光照射画像を入力し、前記微生物が、識別対象である複数の前記コロニーのそれぞれを形成している確率を、前記微生物の種類毎に同時に出力する、
コロニー識別システム。

【請求項2】

前記微生物には放線菌が含まれ、
前記培地は前記放線菌を培養可能である、
請求項１に記載のコロニー識別システム。

【請求項3】

前記可視光照射画像は、前記可視光が前記コロニーで反射した反射光によって形成され、
前記非可視光照射画像は、前記非可視光が前記コロニーで反射した反射光によって形成される、
請求項１または請求項２に記載のコロニー識別システム。

【請求項4】

前記可視光照射画像は、前記可視光が前記コロニーを透過した透過光によって形成され、
前記非可視光照射画像は、前記非可視光が前記コロニーを透過した透過光によって形成される、
請求項１～請求項３のいずれかに記載のコロニー識別システム。

【請求項5】

前記可視光照射画像および前記非可視光照射画像の少なくとも一方は、
前記コロニーに照射された光の波長域と異なる波長域の光を検出するカメラで撮影された画像を含む、
請求項１～請求項４のいずれかに記載のコロニー識別システム。

【請求項6】

前記モデルは、
識別対象である複数の前記コロニーが形成されている位置と、各コロニーを形成している前記微生物の種類とを同時に出力する、
請求項１～請求項５のいずれかに記載のコロニー識別システム。

【請求項7】

前記教師データにおいて、
上限基準以上の大きさの前記コロニーの前記可視光照射画像および前記非可視光照射画像と下限基準以下の大きさの前記コロニーの前記可視光照射画像および前記非可視光照射画像との少なくとも一部には、前記上限基準よりも小さく、前記下限基準よりも大きい前記コロニーの画像に基づいて生成された画像が含まれる、
請求項６に記載のコロニー識別システム。

【請求項8】

前記モデルは、
前記可視光を検出するカメラで撮影された３チャネルの前記可視光照射画像と、前記可視光を検出するカメラで撮影された３チャネルの前記非可視光照射画像と、前記非可視光を検出するカメラで撮影された１チャネルの前記非可視光照射画像とのそれぞれが別個のニューラルネットワークに入力され、並列的に処理された後に、得られた結果をニューラルネットワークによって合成し、
前記微生物の種類毎に前記コロニーを形成している確率を出力するニューラルネットワークである、
請求項６または請求項７に記載のコロニー識別システム。

【請求項9】

前記可視光照射画像を撮影する可視光カメラと、
前記非可視光照射画像を撮影する非可視光カメラと、
前記可視光カメラおよび前記非可視光カメラの視野に配置され、前記コロニーを含む前記培地が形成されたシャーレが載せられる透明板と、
前記透明板に対して前記可視光カメラおよび前記非可視光カメラと反対側に配置された反射板と、
前記透明板の最も広い面を延長した方向に配置され、前記可視光を出力する可視光源と前記非可視光を出力する非可視光源と、をさらに備える、
請求項１～請求項８のいずれかに記載のコロニー識別システム。

【請求項10】

培地に形成された微生物のコロニーに対して可視光が照射された状態で前記コロニーを撮影した画像である可視光照射画像を取得する可視光照射画像取得工程と、
前記コロニーに対して非可視光である紫外線が照射された状態で前記コロニーを撮影した画像である非可視光照射画像を取得する非可視光照射画像取得工程と、
前記可視光照射画像と前記非可視光照射画像とに基づいて、前記コロニーを形成している前記微生物を識別するコロニー識別工程と、
を含み、
前記コロニー識別工程においては、
前記コロニーの前記可視光照射画像および前記非可視光照射画像と当該コロニーを形成している前記微生物の種類とを対応づけた教師データに基づいて機械学習が行われたモデルに対して、識別対象である複数の前記コロニーを撮影した前記可視光照射画像および前記非可視光照射画像を入力し、前記微生物が、識別対象である複数の前記コロニーのそれぞれを形成している確率を、前記微生物の種類毎に同時に出力する、
むコロニー識別方法。

【請求項11】

コンピュータを、
培地に形成された微生物のコロニーに対して可視光が照射された状態で前記コロニーを撮影した画像である可視光照射画像を取得する可視光照射画像取得部、
前記コロニーに対して非可視光である紫外線が照射された状態で前記コロニーを撮影した画像である非可視光照射画像を取得する非可視光照射画像取得部、
前記可視光照射画像と前記非可視光照射画像とに基づいて、前記コロニーを形成している前記微生物を識別するコロニー識別部、
として機能させ、
前記コロニー識別部は、
前記コロニーの前記可視光照射画像および前記非可視光照射画像と当該コロニーを形成している前記微生物の種類とを対応づけた教師データに基づいて機械学習が行われたモデルに対して、識別対象である複数の前記コロニーを撮影した前記可視光照射画像および前記非可視光照射画像を入力し、前記微生物が、識別対象である複数の前記コロニーのそれぞれを形成している確率を、前記微生物の種類毎に同時に出力する、ようにコンピュータを機能させる、
コロニー識別プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コロニー識別システム、コロニー識別方法およびコロニー識別プログラムに関する。

【背景技術】

【0002】

従来、培地が形成されたコロニーを検出、識別する技術が知られている。例えば、特許文献１～３においては、コロニーが形成された培地の画像に基づいてコロニーを検出、識別する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５８５０２０５号公報

【文献】特開２０１１－２１２０１３号公報

【文献】特開２０１２－１３５２４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

単一の培地にコロニーを形成する微生物の種類は１種類に限られない。また、微生物のコロニーの形状、大きさ、色等の態様は多種多様である。このため、人間が視認している通常の状態を再現した画像（可視光が照射されて可視光を検出するカメラで撮影された画像）においては、異なる種類の微生物のコロニーが類似した像として撮影されることがある。従って、従来技術においては、微生物のコロニーを高精度に識別することが困難であった。
本発明は、前記課題にかんがみてなされたもので、コロニーを形成している微生物が高精度に識別される可能性を高める技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

上述の目的を達成するため、コロニー識別システムは、培地に形成された微生物のコロニーに対して可視光が照射された状態で前記コロニーを撮影した画像である可視光照射画像を取得する可視光照射画像取得部と、前記コロニーに対して非可視光が照射された状態で前記コロニーを撮影した画像である非可視光照射画像を取得する非可視光照射画像取得部と、前記可視光照射画像と前記非可視光照射画像とに基づいて、前記コロニーを形成している前記微生物を識別するコロニー識別部と、を備える。

【0006】

すなわち、コロニー識別システムにおいては、コロニーに対して可視光が照射された状態で撮影された可視光照射画像、非可視光が照射された状態で撮影された非可視光照射画像のそれぞれにおいて画像を撮影する。そして、コロニー識別システムにおいては、可視光照射画像および非可視光照射画像に基づいてコロニーを形成している微生物を識別する。非可視光が微生物に照射されると、微生物から蛍光が出力される場合や、可視光では得られなかったコントラストが得られる場合など、可視光と異なる測定が可能になる場合がある。従って、コロニー識別システムによれば、可視光照射画像のみに基づいて微生物を識別する構成と比較して、コロニーを形成している微生物が高精度に識別される可能性を高めることができる。

【図面の簡単な説明】

【0007】

【図1】図１Ａ、図１Ｂは、コロニー識別システムによる撮影を示す図である。

【図2】コロニー識別システムのブロック図である。

【図3】教師データを説明する図である。

【図4】学習対象のモデルを示す図である。

【図5】学習対象のモデルを示す図である。

【図6】モデルからの出力値を説明する図である。

【図7】機械学習処理のフローチャートである。

【図8】コロニー識別処理のフローチャートである。

【発明を実施するための形態】

【0008】

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）コロニー識別システムの構成：
（２）機械学習処理：
（３）コロニー識別処理：
（４）他の実施形態：

【0009】

（１）コロニー識別システムの構成：
図１Ａ、図１Ｂはコロニー識別システム１０の概略構成を示す図である。これらの図において、コロニー識別システム１０の要素は数字の符号、撮影等のためにコロニー識別システム１０とともに利用される部材等はアルファベットの符号によって示している。本実施形態において、コロニー識別システム１０で撮影される対象はシャーレＳに形成された平板培地Ｍである。すなわち、本実施形態においては、平板培地Ｍの１箇所以上の部位に微生物のコロニーが形成されており、当該コロニーを含む平板培地Ｍが撮影される。

【0010】

本実施形態においてシャーレＳは、光を透過する板状の部材である透明板Ｔに載せられる。透明板Ｔは、最も広い面が水平面に平行になるように、図示しない支持部に支持される。また、本実施形態においては、透明板Ｔから一定距離離れた位置に、光を反射する板状の部材である反射板Ｒが配置される。反射板Ｒと透明板Ｔとにおいては、それぞれの最も広い面が平行に向けられる。例えば、反射板Ｒが台に載せられ、当該台から一定距離離れた位置に透明板Ｔが支持される構成等によって実現される。

【0011】

なお、反射板Ｒは、光を反射することができればよく、例えば、白色の紙等が挙げられる。また、本実施形態においては、水平面をｘ－ｙ平面と見なし、鉛直上方をｚ軸方向と見なす。さらに、本実施形態においては、水平面内のある方向をｘ方向、ｘ方向に垂直な方向をｙ方向としている。

【0012】

本実施形態においては、透明板Ｔに載せられたシャーレＳの上方に可視光カメラ４１およびＵＶカメラ４２が配置される。すなわち、可視光カメラ４１およびＵＶカメラ４２は、シャーレＳ内の平板培地Ｍが視野に含まれるように、図示しない支持部に支持される。可視光カメラ４１は、可視光（４００ｎｍ～７５０ｎｍ）の強度を検出するエリアセンサを備えたカメラである。一方、本実施形態においては、非可視光として紫外線（以後、ＵＶと表記）が利用され、ＵＶカメラ４２は、非可視光（４００ｎｍ以下）の強度を検出するエリアセンサを備えたカメラである。

【0013】

可視光カメラ４１およびＵＶカメラ４２は、一体のカメラであっても良いし個別のカメラであっても良い。本実施形態にかかるコロニー識別システム１０においては、同一のシャーレＳを可視光カメラ４１およびＵＶカメラ４２のそれぞれで撮影する。このため、可視光カメラ４１およびＵＶカメラ４２が個別のカメラである場合、シャーレＳの位置を移動させず、それぞれのカメラの位置を移動させて各カメラでの撮影が行われてもよいし、シャーレＳの位置を移動させ、それぞれのカメラの位置を移動させずに各カメラでの撮影が行われてもよい。

【0014】

本実施形態においては、透明板Ｔの最も広い面を水平方向に延長した方向の２箇所に可視光源４１ａおよびＵＶ光源４２ａが配置される。本実施形態において可視光源４１ａおよびＵＶ光源４２ａは、共通の筐体内に設けられており、可視光源４１ａは電圧が印加されることにより可視光（４００ｎｍ～７５０ｎｍ）を出力する。本実施形態において、ＵＶ光源４２ａは紫外線であるＵＶＡ（例えば３２０ｎｍ～４００ｎｍ）の波長域の光を出力する。

【0015】

本実施形態において、可視光源４１ａおよびＵＶ光源４２ａは、一方向に長い筐体内に設けられており、その長手方向はｚ－ｙ平面に平行であるとともに、ｚ方向およびｙ方向の双方に対して傾いている。また、可視光源４１ａおよびＵＶ光源４２ａは、図１Ｂに示すようにその筐体の長手方向が透明板Ｔの上方から透明板Ｔの下方に渡って存在するように配置されている。本実施形態において可視光源４１ａおよびＵＶ光源４２ａは、筐体内部においてその長手方向のほぼ全域に渡って存在する。

【0016】

さらに、可視光源４１ａおよびＵＶ光源４２ａにおいては、筐体の一面に光の出力穴４４が形成されており（図１Ｂ参照）、当該出力穴４４から光が出力されるが筐体の他の面から光は出力されない。可視光源４１ａおよびＵＶ光源４２ａは、透明板Ｔの両側において、筐体の出力穴４４が透明板Ｔの方向に向くように（対向するように）配置される。従って、本実施形態においてシャーレＳは、その上方、下方および側方に存在する光源によって照明される。なお、本実施形態において可視光源４１ａおよびＵＶ光源４２ａは、共通の筐体内に設けられているが、撮影が行われる際には、何れか一方の光源から光が出力し、他方の光源から光が出力しない状態で撮影が行われる。

【0017】

シャーレＳの上方から平板培地Ｍに達した光は、平板培地Ｍに形成されたコロニーによって反射（散乱を含む）し得る。また、透明板Ｔの下方には反射板Ｒが設けられているため、鉛直下方に向かう光が反射板Ｒで反射すると、反射光が透明板Ｔを透過してシャーレＳ内の平板培地Ｍに到達し得る。平板培地Ｍを透過した透過光は平板培地Ｍに形成されたコロニーを透過し得る。従って、本実施形態においては、２箇所に設けられた可視光源４１ａおよびＵＶ光源４２ａによってコロニーを照明し、可視光カメラ４１およびＵＶカメラ４２によってコロニーの画像を撮影すると、コロニーで反射した反射光およびコロニーを透過した透過光に基づいて画像を撮影することができる。

【0018】

なお、コロニーで光が反射した反射光によって形成された画像は、主に、コロニーが表面上に形成した形状等の特性を反映した画像である。従って、当該画像によれば、コロニーが表面上に形成した形状等の特性（例えば、気菌糸や胞子によって形成された特性）に基づいて識別を行うことが可能である。一方、平板培地Ｍに形成されるコロニーは、平板培地Ｍの内部にも達し得る。例えば、放線菌であれば、平板培地Ｍの内部に基底菌糸が形成され得る。コロニーを透過した透過光は、当該基底菌糸とその上部の気菌糸との双方を透過し得るため、透過光によって形成された画像によれば、コロニーが表面および平板培地Ｍの内部に形成した形状等の特性に基づいて識別を行うことが可能である。

【0019】

なお、本実施形態において、可視光源４１ａとＵＶ光源４２ａは一体的に構成されているが、むろん、個別の光源が利用されても良い。また、光源の数は限定されない。光の種類毎に個別の筐体を有する光源が利用される場合、一方の光源を配置して光を照射して撮影が行われた後、他方の光源を配置して光を照射して撮影が行われる。

【0020】

本実施形態において、可視光カメラ４１およびＵＶカメラ４２と、可視光源４１ａおよびＵＶ光源４２ａは、制御部２０に制御される。図２は、コロニー識別システム１０の構成を示すブロック図である。

【0021】

コロニー識別システム１０は、上述の可視光カメラ４１、ＵＶカメラ４２、可視光源４１ａ、ＵＶ光源４２ａに加え、制御部２０、表示部４３、記憶媒体３０を備えている。制御部２０は、図示しないＣＰＵ，ＲＡＭ，ＲＯＭ，ＧＰＵを備えており、記憶媒体３０等に記憶された各種プログラムを実行することができる。制御部２０、記憶媒体３０、表示部４３は、一体的なコンピュータで構成されていても良いし、少なくとも一部が別の装置であり、ＵＳＢケーブル等によって接続される構成であっても良い。

【0022】

本実施形態において、制御部２０は、コロニー識別プログラム２１と機械学習プログラム２２とを実行することができる。コロニー識別プログラム２１は、可視光カメラ４１およびＵＶカメラ４２で撮影された画像に基づいてコロニーを形成している微生物を識別する機能を制御部２０に実行させるプログラムである。コロニー識別プログラム２１が実行されると、制御部２０は、可視光照射画像取得部２１ａ、非可視光照射画像取得部２１ｂ、コロニー識別部２１ｃとして機能する。

【0023】

本実施形態において、当該識別は予め行われた機械学習の結果に基づいて実行される。機械学習プログラム２２は、可視光カメラ４１およびＵＶカメラ４２で撮影された画像に基づいてコロニーを形成している微生物の種類を推定するためのモデルを機械学習する機能を制御部２０に実行させるプログラムである。機械学習プログラム２２が実行されると、制御部２０は、機械学習部２２ａとして機能する。

【0024】

（２）機械学習処理：
本実施形態において、機械学習処理は、ニューラルネットワークを形成する訓練モデルを最適化する処理である。ここで、モデルとは、推定対象のデータと推定結果のデータとの対応関係を導出する式を示す情報であり、本実施形態においては微生物の識別結果が推定結果であり、微生物を撮影した画像が推定対象である。この推定を行うためのモデルを学習によって最適化する機械学習処理を行うため、記憶媒体３０には予め教師データ３０ａが記録される。制御部２０は、当該教師データ３０ａに基づいてニューラルネットワークの訓練モデルを最適化し、最適化されたモデルを学習済モデル３０ｂとして記憶媒体３０に記憶させる。

【0025】

機械学習は、種々の手法で行われて良いが、ここではＹＯＬＯ（You Only Look Once）によって機械学習が行われる例を説明する。ＹＯＬＯによる機械学習を行うため、教師データ３０ａは、ＹＯＬＯによる機械学習を実施可能なフォーマットで定義されている。具体的には、教師データ３０ａは、可視光カメラ４１およびＵＶカメラ４２によって撮影された画像と、各画像内に含まれるコロニーを囲む矩形（bounding box）の位置、当該矩形の大きさ、矩形内に微生物がコロニーを形成している確率、微生物の識別結果とを対応づけたデータである。

【0026】

図３は、教師データ３０ａを説明するための図である。図３においては、平板培地Ｍに複数の微生物によって複数のコロニーが形成されたシャーレＳの画像を示している。この例において、コロニーを形成している微生物は放線菌、放線菌以外のバクテリア、カビであり、以下、これらの３種の識別を行う構成例について説明する。図３においては、各コロニーに対して、コロニーを囲む矩形を付して示している。本実施形態において、平板培地Ｍは、放線菌を培養可能な培地である。

【0027】

すなわち、本実施形態においては、各種の目的（例えば、医薬や農薬等）に役立つか否か研究するために放線菌を分離することを目的としている。ところが、放線菌を培養可能な平板培地Ｍにおいては放線菌以外のバクテリアやカビが培養され得る。また、バクテリアやカビを分離できれば、これらの微生物を研究対象とすることも可能である。そこで、本実施形態においては、これらの放線菌、バクテリア、カビを識別できるようにするため、予めこれらの識別結果と画像とを対応づけた教師データ３０ａを定義する。

【0028】

ＹＯＬＯにおいては、画像を複数のグリッドに分割し、各グリッドに存在するコロニーについて識別を行うように構成される。また、各グリッドにおける識別は上述の矩形に基づいて実施される。そこで、本実施形態においては、各グリッドにおいて矩形を定義し、各矩形において、矩形の位置、矩形の大きさ、矩形内に微生物がコロニーを形成している確率、微生物の識別結果が予め特定される。そして、シャーレＳの画像に対して、各矩形の位置、矩形の大きさ、矩形内に微生物がコロニーを形成している確率、微生物の識別結果が対応づけられることによって教師データ３０ａが定義される。

【0029】

なお、教師データ３０ａにおいては、微生物の識別結果が予め特定されているため、各矩形において、矩形内に微生物がコロニーを形成している確率は０または１（１が１００％）であり、微生物のいずれかが１、残りが０となる。例えば、あるグリッドに放線菌のコロニーが存在し、当該コロニーを囲むある矩形の位置がＸ_１，Ｙ_１、大きさが幅Ｗ_１，高さＨ_１である状態を想定する。

【0030】

この場合において、矩形の情報のフォーマットが（矩形のＸ座標、矩形のＹ座標、矩形の幅、矩形の高さ、矩形内に微生物がコロニーを形成している確率、識別された微生物が放線菌であることを示すフラグ、識別された微生物がバクテリアであることを示すフラグ、識別された微生物がカビであることを示すフラグ）である場合、当該グリッドにおける矩形のデータには（Ｘ_１，Ｙ_１，Ｗ_１，Ｈ_１，１，１，０，０）が対応づけられる。なお、本実施形態において幅Ｗ_１および高さＨ_１は予め用意された基準の矩形の幅および高さに対する相対値として定義されるが、むろん、相対値以外の手法、例えば、幅および高さを示すピクセル数等で定義されても良い。

【0031】

なお、基準の矩形は１個以上設けられていれば良いが、本実施形態においては、予め５個設けられている。すなわち、Ｘ方向の長さおよびＹ方向の長さが異なる５種類の矩形が予め定義されて、基準の矩形とされている。そこで、本実施形態においては、５種類の基準の矩形のそれぞれについて、矩形の情報が定義される。すなわち、上述の各グリッドに対して、５種類の基準の矩形について矩形の情報が対応づけられて教師データ３０ａが定義されている。図３においては、教師データ３０ａにおいて微生物がコロニーを形成している確率が１である矩形を抽出し、白い線で示している。

【0032】

以上のような教師データ３０ａは、機械学習が行われる前に予め用意される。教師データ３０ａが用意されると、当該教師データ３０ａを利用して機械学習を行うことができる。入力データを出力データに変換する限りにおいて、モデルは種々の定義が可能である。本実施形態においては、コロニーを含む画像を入力し、複数の畳み込み層および全結合層を経て各グリッドについての矩形の情報を出力するモデルが予め構築される。

【0033】

本実施形態においては、可視光照射画像と非可視光照射画像とが入力データとなる。ここで、可視光照射画像は、培地に形成された微生物のコロニーに対して可視光が照射された状態でコロニーを撮影した画像である。すなわち、可視光源４１ａの出力光をシャーレＳに照射した状態で、可視光カメラ４１によってシャーレＳを撮影した画像が可視光照射画像である。

【0034】

また、非可視光照射画像は、コロニーに対して非可視光が照射された状態でコロニーを撮影した画像である。本実施形態において非可視光は紫外線（ＵＶ）であるが、非可視光が照射された状態において、可視光カメラ４１およびＵＶカメラ４２の双方で画像が撮影される。すなわち、ＵＶ光源４２ａの出力光をシャーレＳに照射した状態で、可視光カメラ４１およびＵＶカメラ４２のそれぞれによってシャーレＳを撮影した画像が非可視光照射画像である。以上のように、本実施形態においては、カメラで検出可能な光の周波数に関わらず、光源から出力される光が可視光、非可視光のいずれであるのかに基づいて、画像を可視光照射画像、非可視光照射画像のいずれかと呼ぶ。表１においては、本実施形態における可視光照射画像と非可視光照射画像について、光源の周波数域とカメラの周波数域を示している。

【表1】

【0035】

なお、可視光照射画像は、人間がシャーレＳを視認する際の像に近い像であるが、非可視光照射画像は、人間がシャーレＳを視認する際の像とは異なる。すなわち、人間が通常視認している特徴と異なる特徴が解析対象となる。ＵＶ光が照射されたシャーレＳを可視光カメラ４１で撮影する場合、ＵＶ光と同一の周波数の光は撮影されないが、ＵＶ光によって微生物が蛍光を出力した場合には撮影される。従って、可視光カメラ４１で撮影された非可視光照射画像によれば、蛍光による特徴が解析可能である。このように、コロニーに照射された光の波長域と異なる波長域の光を検出するカメラで撮影された画像を解析対象とする構成によれば、光の単なる反射や透過と異なる反応（蛍光の出力等）を示すコロニーを効果的に画像化し、識別することができる。

【0036】

ＵＶ光が照射されたシャーレＳをＵＶカメラ４２で撮影する場合、人間が視認する可視光と同一の周波数の光は撮影されないが、ＵＶ光による照明下の微生物の特徴を可視化して解析可能である。なお、可視光カメラ４１は、画素毎にＲＧＢ（Ｒ：レッド、Ｇ：グレーン、Ｂ：ブルー）のそれぞれの色チャネルについての強度を出力するため、可視光カメラ４１によって撮影された画像を示す画像データは３チャンネルのデータである。

【0037】

一方、本実施形態において、ＵＶカメラ４２は、ＵＶＡ（例えば３２０ｎｍ～４００ｎｍ）を出力するＵＶ光源４２ａで照明されたシャーレＳを撮影する。この場合、ＵＶカメラ４２で検出される紫外線の波長域もＵＶＡと同等であり、可視光の波長域より狭い。そこで、本実施形態においては、ＵＶカメラ４２からの出力を１チャンネルで表現可能と見なしている。すなわち、ＵＶカメラ４２によって撮影された画像を示す画像データは１チャンネルのデータである。

【0038】

以上のように、本実施形態において可視光カメラ４１で撮影された画像を示す画像データは、３チャンネルのデータである。可視光カメラ４１は、可視光源４１ａおよびＵＶ光源４２ａのそれぞれでシャーレＳを照明した状態で撮影し、それぞれが可視光照射画像、非可視光照射画像となる。従って、可視光カメラ４１で撮影された可視光照射画像と非可視光照射画像の双方は３チャンネルのデータである（表１参照）。一方、ＵＶカメラ４２で撮影された画像を示す画像データは、１チャンネルのデータである。ＵＶカメラ４２は、ＵＶ光源４２ａでシャーレＳを照明した状態で撮影し、非可視光照射画像を出力する。従って、ＵＶカメラ４２で撮影された非可視光照射画像は１チャンネルである（表１参照）。

【0039】

本実施形態においては、３チャンネルの可視光照射画像および非可視光照射画像、１チャンネルの非可視光照射画像が入力データとなる。従って、シャーレＳを撮影して得られた合計７チャンネルの画像が入力データとなる。本実施形態においては、７チャンネルの全てを畳み込むＣＮＮ（Convolutional Neural Network）で処理されるのではなく、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とのそれぞれが別のＣＮＮによって並列的に処理される。そして、最後に個別の結果を合成するニューラルネットワークが構成されることにより、出力データが得られる。

【0040】

図４および図５は、ニューラルネットワークの例を説明する説明図である。これらの図において図４の左端が入力層であり、図面の右に移動するにつれて層が深くなっていく。図４の右端に記載された層と、図５の左端の記載された層は同一であり、図５の右端が出力層である。図４および図５においては、直方体によって各層での入力データのフォーマットを模式的に示している。図４においては、左端にシャーレＳの可視光照射画像と非可視光照射画像の実例を示している。すなわち、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とのそれぞれを示している。

【0041】

本例においてこれらの画像のサイズは縦横それぞれが１０２４画素である。図４において示す入力層は、このような画像を模式的に示している。すなわち、最上段の可視光照射画像は、縦横１０２４画素、３チャンネルのデータであるため、縦横の幅が１０２４，奥行きが３の直方体で表現される。中段の非可視光照射画像も縦横１０２４画素、３チャンネルのデータであるため、縦横の幅が１０２４，奥行きが３の直方体で表現される。一方、下段の非可視光照射画像は縦横１０２４画素、１チャンネルのデータであるため、縦横の幅が１０２４，奥行きが１の直方体で表現される。なお、図４および図５に示す例において、直方体の長さのスケールは縦横、奥行き方向のそれぞれにおいて一致しているとは限らない。

【0042】

図４においては、各画像データが入力層に入力された後、ＣＮＮを経て、すなわち、所定の大きさおよび数のフィルタによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経て５１２×５１２×３２個の出力値に変換される例を示している。図４においては、この後、所定の大きさおよび数のフィルタによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経て２５６×２５６×６４個の出力値に変換され、さらに複数の層の演算を経て３２×３２×１０２４個の出力値に変換される。

【0043】

このようなＣＮＮの処理は、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とのそれぞれについて個別に実行される。このため、本実施形態において制御部２０は、少なくとも３個のＧＰＵを備えており、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とのそれぞれについての演算を異なるＧＰＵで実行する。なお、以上のようなＣＮＮの演算は、７チャンネルまとめて（又は９チャンネルの状態で）実行されてもよいが、このような演算を実行するためには非常に大きい容量のメモリを備えたＧＰＵが必要になる。しかし、本実施形態のように、３個のＧＰＵによって、３チャンネル、３チャンネル、１チャンネルのそれぞれについての処理を行えば、まとめて演算する場合と比較してメモリの容量を抑えることができるため、安価なＧＰＵを利用して演算を行うことができる。また、まとめて演算する場合と比較して高速に学習を行うことができる。

【0044】

本実施形態においては、以上のようにして並列的に演算された出力値が結合されて、最終的に、教師データ３０ａにおける矩形の情報のフォーマットに応じた情報が出力されるようにモデルが構築されている。図５は、３チャンネル、３チャンネル、１チャンネルの画像に対して並列的にＣＮＮによる処理が行われた後の結合の様子が示されている。すなわち、ＣＮＮによる並列的な処理で得られた３２×３２×１０２４個の出力値は、結合されて３２×３２×３０７２個の出力値と見なされる。

【0045】

そして、この出力値が３２×３２個のグリッドのそれぞれについて３０７２個の出力値が得られた状態であると見なされ、各グリッド３０７２個のデータが入力値となり、４０個の出力値が得られる全結合層が定義される。この結果、最終的には、図５に示すように３２×３２×４０個の出力値が得られる。

【0046】

当該出力値は、教師データ３０ａにおける矩形の情報のフォーマットに応じた情報である。図６は当該出力値の構造を示す図である。３２×３２×４０個の出力値のうち、縦横それぞれ３２個の情報は、３２×３２個のグリッドのそれぞれに対応している。一方、奥行き方向に４０個並ぶ情報は、８個の情報が５個並ぶことによって構成されている。すなわち、矩形の情報のフォーマットは、（矩形のＸ座標、矩形のＹ座標、矩形の幅、矩形の高さ、矩形内に微生物がコロニーを形成している確率、識別された微生物が放線菌であることを示すフラグ、識別された微生物がバクテリアであることを示すフラグ、識別された微生物がカビであることを示すフラグ）であり、１個の矩形に関して８個のデータを有している。

【0047】

本実施形態においては、これらのデータが５種類の基準の矩形のそれぞれについて定義されるため、１グリッドあたりに４０個の情報が定義される。図６においては、あるグリッドのある矩形についての情報を抜き出し、矩形のＸ座標をＸ、矩形のＹ座標をＹ、矩形の幅をＷ、矩形の高さをＨとして示している。また、矩形内に微生物がコロニーを形成している確率をＰｏ、識別された微生物が放線菌であることを示すフラグをＰａ、識別された微生物がバクテリアであることを示すフラグをＰｂ、識別された微生物がカビであることを示すフラグをＰｍとして示している。なお、本実施形態においては、Ｐｏによって微生物がコロニーを形成している確率が示され、Ｐａ，Ｐｂ，Ｐｍで微生物の種類が示されるため、本実施形態にかかるニューラルネットワークは、微生物の種類毎にコロニーを形成している確率を出力するモデルであると言える。

【0048】

このような８個の出力値が、５種類の矩形のそれぞれについて得られることで４０個の出力値となり、当該４０個の出力値が３２×３２個のグリッドのそれぞれについて得られるのが本実施形態における訓練モデルである。すなわち、以上のモデルにおいて、可変パラメータ（例えば、フィルタの重み等）を機械学習することにより、微生物の存在と微生物の種類とを識別する学習済モデル３０ｂを取得することができる。むろん、図４～図６に示すモデルは一例であり、フィルタの大きさや数、種類、活性化関数の種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無等は適宜変更されて良い。

【0049】

本実施形態においては、以上のようなモデルに基づいて機械学習処理を実行する。図７は機械学習処理を示すフローチャートである。機械学習処理は、微生物の識別が行われる前に予め実行される。また、機械学習処理が行われる前には、予め教師データ３０ａが用意される。機械学習処理が開始されると、制御部２０は、機械学習部２２ａの機能により、訓練モデルを取得する（ステップＳ１００）。本実施形態において、制御部２０は、シャーレＳの画像を入力値とし、図３に示すようにシャーレＳ内の画像に重ねられる矩形の情報を出力値とする訓練モデル（モデルを示すフィルタや活性化関数等の情報）を取得する。

【0050】

次に、制御部２０は、機械学習部２２ａの機能により、教師データ３０ａを取得する（ステップＳ１０５）。本実施形態において、教師データ３０ａは、シャーレＳを撮影した表１に示すような可視光照射画像および非可視光照射画像に対して、矩形の情報（矩形の大きさや識別結果等）が対応づけられた情報であり、予め生成されている。

【0051】

次に、制御部２０は、機械学習部２２ａの機能により、テストデータを取得する（ステップＳ１１０）。本実施形態においては、教師データ３０ａの一部を抽出し、学習の汎化が行われたか否かを確認するためのテストデータとする。なお、テストデータは、機械学習には使用されない。

【0052】

次に、制御部２０は、機械学習部２２ａの機能により、初期値を決定する（ステップＳ１１５）。すなわち、制御部２０は、ステップＳ１００で取得した訓練モデルのうち、学習対象となる可変のパラメーター（フィルタの重みやバイアス等）に対して初期値を与える。初期値は、種々の手法で決定されて良い。むろん、学習の過程でパラメーターが最適化されるように初期値が調整されても良いし、各種のデータベース等から学習済のパラメーターが取得されて利用されても良い。

【0053】

次に、制御部２０は、機械学習部２２ａの機能により、学習を行う（ステップＳ１２０）。すなわち、制御部２０は、ステップＳ１００で取得した訓練モデルにステップＳ１０５で取得した教師データ３０ａの画像を入力し、識別結果を示す情報を出力する。この際、制御部２０は、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とのそれぞれを、３個のＧＰＵのそれぞれに入力する。

【0054】

ＧＰＵのそれぞれは、図４に示すモデルに従って３２×３２×１０２４個の出力値を計算する。その後、ＧＰＵまたはＣＰＵがこれらの出力値を結合し、全結合層での変換を経て図６に示す３２×３２×４０個の出力値、すなわち、モデルによる最終的な出力値が得られる。最終的な出力値が得られると、制御部２０は、当該出力値と、教師データ３０ａが示す識別結果を示す情報との誤差を示す損失関数によって誤差を特定する。

【0055】

すなわち、教師データ３０ａにおいては、５種類の基準の矩形のそれぞれについて８個、合計４０個の矩形の情報が定義され、３２×３２個の各グリッドに対応づけられている。一方、モデルによる出力値は図６に示すように３２×３２個のグリッドについて４０個得られており、これらの４０個の出力値は、５種類の基準の矩形のそれぞれについての矩形の情報である。

【0056】

あるグリッドにおける特定の矩形について着目すると、教師データ３０ａと出力値との双方において、矩形の情報は位置（Ｘ，Ｙ）、大きさ（Ｗ，Ｈ）、微生物がコロニーを形成している確率（Ｐｏ）、微生物の識別結果（Ｐａ，Ｐｂ，Ｐｍ）で表現される。このように、教師データ３０ａに対応づけられた情報と、モデルによる出力値とは対応しているため、制御部２０は、互いに対応する情報の差分を示す損失関数に基づいて誤差を特定する。損失関数Ｅが得られたら、制御部２０は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメーターを更新する。すなわち、制御部２０は、損失関数Ｅのパラメーターによる微分に基づいてパラメーターを更新する処理を既定回数繰り返す。

【0057】

以上のようにして、既定回数のパラメーターの更新が行われると、制御部２０は、訓練モデルの汎化が完了したか否かを判定する（ステップＳ１２５）。すなわち、制御部２０は、ステップＳ１１０で取得したテストデータを訓練モデルに入力して微生物の識別結果を示す出力値を取得する。そして、制御部２０は、出力された識別結果と、テストデータに対応づけられた識別結果とが一致している数を取得し、サンプル数で除することで推定精度を取得する。本実施形態において、制御部２０は、推定精度が閾値以上である場合に汎化が完了したと判定する。

【0058】

なお、汎化性能の評価に加え、ハイパーパラメーターの妥当性の検証が行われてもよい。すなわち、学習対象となる可変のパラメーター以外の可変量であるハイパーパラメーター、例えば、ノードの数等がチューニングされる構成において、制御部２０は、検証データに基づいてハイパーパラメーターの妥当性を検証しても良い。検証データは、ステップＳ１１０と同様の処理により、教師データ３０ａから検証データを予め抽出し、訓練に用いないデータとして確保しておくことで取得すれば良い。

【0059】

ステップＳ１２５において、訓練モデルの汎化が完了したと判定されない場合、制御部２０は、ステップＳ１２０を繰り返す。すなわち、さらに学習対象となる可変のパラメーターを更新する処理を行う。一方、ステップＳ１２５において、訓練モデルの汎化が完了したと判定された場合、制御部２０は、学習済モデルを記録する（ステップＳ１３０）。すなわち、制御部２０は、訓練モデルを学習済モデル３０ｂとして記憶媒体３０に記録する。

【0060】

（３）コロニー識別処理：
次に、平板培地Ｍに形成された未識別のコロニーについて実施されるコロニー識別処理を図８に示すフローチャートに基づいて説明する。コロニーが形成された平板培地Ｍを含むシャーレＳが用意されると、透明板Ｔ上における可視光カメラ４１の視野内の既定の位置にシャーレＳがセットされる。この状態で利用者が図示しないマウスやキーボード等の操作部によってコロニー識別処理の開始を指示すると、制御部２０は、コロニー識別プログラム２１の実行を開始する。

【0061】

コロニー識別プログラム２１の実行が開始されると、制御部２０は、可視光照射画像取得部２１ａの機能により、シャーレＳに可視光を照射させる（ステップＳ２００）。すなわち、制御部２０は、可視光源４１ａに制御信号を出力し、可視光源４１ａを点灯させる。この際、ＵＶ光源４２ａは消灯した状態とされる。この結果、シャーレＳが可視光によって照射され、コロニーを形成する微生物からの反射光と、反射板Ｒからの光が微生物を透過した透過光とによって可視光カメラ４１内の撮像素子に像が形成された状態になる。

【0062】

次に、制御部２０は、可視光照射画像取得部２１ａの機能により、可視光カメラ４１によって可視光照射画像を撮影する（ステップＳ２０５）。すなわち、制御部２０は、可視光カメラ４１を制御し、可視光が照射されたシャーレＳの画像データを取得する。撮影された画像データは、３チャンネルの画像データであり、制御部２０は、当該画像データに３チャンネルの可視光照射画像であることを示す情報を対応づけてＲＡＭや記憶媒体３０に記録する。

【0063】

次に、制御部２０は、非可視光照射画像取得部２１ｂの機能により、シャーレＳにＵＶ光を照射させる（ステップＳ２１０）。すなわち、制御部２０は、ＵＶ光源４２ａに制御信号を出力し、ＵＶ光源４２ａを点灯させる。この際、可視光源４１ａは消灯した状態とされる。この結果、シャーレＳがＵＶ光によって照射され、コロニーを形成する微生物からの反射光と、反射板Ｒからの光が微生物を透過した透過光とによって可視光カメラ４１内の撮像素子に像が形成された状態になる。

【0064】

次に、制御部２０は、非可視光照射画像取得部２１ｂの機能により、可視光カメラ４１によって非可視光照射画像を撮影する（ステップＳ２１５）。すなわち、制御部２０は、可視光カメラ４１を制御し、ＵＶ光が照射されたシャーレＳの画像データを取得する。撮影された画像データは、３チャンネルの画像データであり、制御部２０は、当該画像データに３チャンネルの非可視光照射画像であることを示す情報を対応づけてＲＡＭや記憶媒体３０に記録する。

【0065】

本実施形態において、制御部２０は、さらに、ＵＶカメラ４２によって非可視光照射画像を撮影する。このために利用者は、ＵＶ光源４２ａを一旦消灯させ、可視光カメラ４１を取り外し、ＵＶカメラ４２を図示しない支持部に固定する。この状態で制御部２０は、非可視光照射画像取得部２１ｂの機能により、シャーレＳにＵＶ光を照射させる（ステップＳ２１６）。すなわち、制御部２０は、ＵＶ光源４２ａに制御信号を出力し、ＵＶ光源４２ａを点灯させる。この際、可視光源４１ａは消灯した状態とされる。この結果、シャーレＳがＵＶ光によって照射され、コロニーを形成する微生物からの反射光と、反射板Ｒからの光が微生物を透過した透過光とによってＵＶカメラ４２内の撮像素子に像が形成された状態になる。

【0066】

次に、制御部２０は、非可視光照射画像取得部２１ｂの機能により、ＵＶカメラ４２によって非可視光照射画像を撮影する（ステップＳ２１７）。すなわち、制御部２０は、ＵＶカメラ４２を制御し、ＵＶ光が照射されたシャーレＳの画像データを取得する。撮影された画像データは、１チャンネルの画像データであるため、制御部２０は、当該画像データに１チャンネルの非可視光照射画像であることを示す情報を対応づけてＲＡＭや記憶媒体３０に記録する。

【0067】

むろん、ＵＶカメラ４２で３チャンネルの画像データが取得された後、１チャンネル分に情報が圧縮されても良い。また、可視光照射画像の取得と、非可視光照射画像の取得順序は一例であり、他の順序であっても良い。なお、以上のような識別対象であるシャーレＳの画像の撮影条件は、教師データ３０ａの画像を撮影する際の撮影条件と同一である。

【0068】

以上の処理により、３チャンネルの可視光照射画像と、３チャンネルの非可視光照射画像と、１チャンネルの非可視光照射画像とが取得されると、制御部２０は、コロニー識別部２１ｃの機能により、７チャンネルの入力画像を生成する（ステップＳ２２０）。すなわち、制御部２０は、ステップＳ２０５およびステップＳ２１５で取得された各画像データから既定の大きさ（上述の例では１０２４×１０２４画素）のシャーレＳの画像を切り出し、入力画像と見なす。むろん、ここでは、各種の画像処理が行われてもよい。

【0069】

入力画像が得られると、制御部２０は、コロニー識別部２１ｃの機能により、入力画像を学習済モデルに入力する（ステップＳ２２５）。すなわち、制御部２０は、記憶媒体３０に記録された学習済モデル３０ｂを取得し、入力画像を入力とした場合の出力値を取得する。この結果、３２×３２グリッドのそれぞれにおいて、５種類の基準矩形についての識別結果が得られる。

【0070】

次に、制御部２０は、コロニー識別部２１ｃの機能により、出力の抑制を行う（ステップＳ２３０）。すなわち、制御部２０は、識別結果として有意である出力値を残すための処理を行う。出力の抑制は、種々の手法で行われて良い。例えば、矩形内に微生物がコロニーを形成している確率Ｐｏが既定の閾値（例えば、０．５）以上である出力値を残す処理によれば、微生物が形成されている可能性が高い矩形を残すことができる。また、２個の矩形が既定比率以上重なっている場合に、両者のいずれかを残し、一方を残さない処理によれば、同じコロニーの検出を複数の矩形で示すことが抑制される。なお、矩形が重なっている比率は、例えば、ＩＯＵ（Intersection Over Union：２個の矩形の論理積（面積）／２つの矩形の論理和（面積））等によって評価することができる。

【0071】

次に、制御部２０は、コロニー識別部２１ｃの機能により、識別結果を表示させる（ステップＳ２３５）。すなわち、制御部２０は、表示部４３を制御し、ステップＳ２３０における抑制の結果得られた出力値に基づいて、識別結果を表示する。識別結果の表示態様は、種々の態様であって良く、本実施形態においては、シャーレＳの画像に矩形を重ねて表示する態様が採用されている。すなわち、識別結果が表示されると、表示部４３において図３に示すような画像が表示される。

【0072】

以上のような本実施形態によれば、シャーレＳの可視光照射画像および非可視光照射画像を学習済モデル３０ｂに入力して識別結果を示す情報を出力することにより、任意のシャーレＳにおいてコロニーを形成している微生物を識別することができる。従来、放線菌やバクテリア、カビの識別は、画像に基づいて人為的に行われることが多く、長年の経験や専門知識が必要とされていた。しかし、機械学習結果を用いて識別が行われる本実施形態によれば、長年の経験や専門知識がない利用者であっても識別結果を得ることができる。すなわち、所謂人工知能（ＡＩ）システムとも言える。

【0073】

さらに、長年の経験や専門知識を有する者であっても、個々のコロニーを識別する作業を行うには非常に時間がかかる。しかし、機械学習結果を用いて識別が行われる本実施形態によれば、多数のコロニーに関する識別を短期に実施することができる。

【0074】

さらに、本実施形態においては、透明板ＴにシャーレＳが載せられ、透明板Ｔから一定距離離れた位置に反射板Ｒが配置される。反射板Ｒは例えば白い紙等であって光を反射する性質を有し、透明板Ｔは光を透過させる。そして、平板培地Ｍは、濃い色であるものの光を透過させる。従って、本実施形態においては、図３に示すように、平板培地Ｍに光が透過した状態で画像が撮影される。このため、平板培地Ｍに形成されたコロニーの周囲が過度に濃い色（例えば黒）になることはなく、コロニーの細部（例えば、縁の形状等）が画像に反映された状態で機械学習および識別を行うことができる。従って、本実施形態による照明系によれば、識別精度を向上させることができる。

【0075】

さらに、本実施形態においては、ＵＶ光源４２ａによって照明されたコロニーを可視光カメラ４１で撮影した非可視光照射画像に基づいて識別が行われる。従って、非可視光であるＵＶ光が照射されることによって放線菌または代謝産物が蛍光を示す場合、この蛍光に基づいて識別を行うことが可能になる。さらに、本実施形態においては、ＵＶ光源４２ａによって照明されたコロニーをＵＶカメラ４２で撮影された非可視光照射画像に基づいて識別が行われる。従って、非可視光であるＵＶ光が照射されることによって得られる画像、すなわち、人間が通常視認できない画像に基づいて識別が行われる。このため、長年の経験や専門知識を有する者の知見を超えた特徴に基づいて識別を行うことが可能である。

【0076】

（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、可視光照射画像と非可視光照射画像とに基づいてコロニーを形成している微生物を識別する限りにおいて、他にも種々の実施形態を採用可能である。例えば、上述の実施形態においては、可視光カメラ４１で撮影された３チャンネルの非可視光照射画像と、ＵＶカメラ４２で撮影された１チャンネルの非可視光照射画像との双方が利用されていたが、いずれか一方が利用されても良い。

【0077】

また、コロニー識別システムは、複数の装置によって実現されても良く、機械学習がサーバで実施され、識別がクライアントで実施されるシステム等であっても良い。さらに、可視光照射画像取得部２１ａ、非可視光照射画像取得部２１ｂ、コロニー識別部２１ｃ、機械学習部２２ａの少なくとも一部が複数の装置に分かれて存在してもよい。例えば、コロニー識別部２１ｃにおいて、シャーレＳから矩形を抽出する処理と、矩形に含まれるコロニーを識別する処理とが異なる装置で実施される構成等であっても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。例えば、光源の切り替え等が制御部２０ではなく手動で行われる構成等が採用されてもよい。

【0078】

可視光照射画像取得部は、培地に形成された微生物のコロニーに対して可視光が照射された状態でコロニーを撮影した画像である可視光照射画像を取得することができればよい。すなわち、人間の目によって認識可能な波長域に含まれる光がコロニーに照射され、その結果コロニーから出力された光によって形成される像が可視光照射画像として取得されれば良い。コロニーから出力された光は、反射光（散乱光を含む）、透過光、蛍光のいずれであっても良いし、これらの光が含まれた光であっても良い。コロニーから出力された光の波長域は可視光の波長域であっても良いし、非可視光の波長域であっても良い。前者であれば可視光を検出可能なカメラで撮影され、後者であれば非可視光を検出可能なカメラで撮影される。

【0079】

可視光は、人間の目によって認識可能な光であれば良く、例えば、４００ｎｍ～７５０ｎｍの波長域の光を可視光とすることができる。可視光の波長域は任意性があって良いが、少なくとも可視光の波長域と非可視光の波長域とに重複していない波長域が含まれ、後者においては、人間の目に認識不可能な光が含まれるように設定される。

【0080】

培地は、識別対象の微生物を培養可能であれば良く、識別対象の微生物に応じて種々の培地が採用されてよい。むろん、識別対象を予め限定することなく未知の微生物の識別が想定されるのであれば、特定の培地ではなく種々の培地が用意されてもよい。さらに、培地はシャーレ等の容器に用意されて良く、平板培地とされてもよい。また、培地に複数のコロニーが形成され得る状態であっても良い。

【0081】

微生物は、培地によって培養されてコロニーを形成する生物であれば良く、放線菌を含む各種の菌（真正細菌、古細菌、真核生物（藻類、原生生物、菌類、粘菌）等）が挙げられるが、極小さい他の生物であっても良い。また、識別対象の微生物は、既知であっても未知であっても良い。

【0082】

可視光は、種々の状態で照射されて良い。すなわち、可視光は、可視光照射画像が撮影できるようにコロニーに対して照射されれば良く、コロニーと可視光源との位置関係は種々の関係とすることができる。むろん、位置関係が可変であっても良いし、可視光の強度が可変であっても良い。

【0083】

可視光照射画像は、可視光の強度が特定の強度である状態で撮影されても良いし、複数の強度である状態で撮影されても良く、種々の態様が採用されてよい。また、可視光照射画像は、微生物のコロニーを撮影した画像であれば良く、少なくとも１個のコロニーが含まれていれば良い。むろん、複数個のコロニーが含まれていても良い。可視光照射画像を表現するためのチャネル数は任意であるが、可視光の波長域を網羅するためには典型的には３チャネルで可視光照射画像が表現されることが好ましい。

【0084】

また、可視光照射画像は、少なくとも２次元的に広がるコロニーに対して可視光が照射された状態におけるコロニーの２次元的な像であればよく、２次元的な領域を撮影可能なカメラで撮影されれば良い。すなわち、コロニー識別システムにおいては、コロニーの特徴を２次元的な画像で捉えることによって当該画像に基づいてコロニーを形成する微生物を識別することができればよい。

【0085】

非可視光照射画像取得部は、コロニーに対して非可視光が照射された状態でコロニーを撮影した画像である非可視光照射画像を取得することができればよい。すなわち、可視光照射画像が撮影されたコロニーと同一のコロニーについて非可視光照射画像を取得することができればよい。この際、人間の目によって認識不可能な波長域に含まれる光がコロニーに照射され、その結果コロニーから出力された光によって形成される像が非可視光照射画像として取得されれば良い。

【0086】

コロニーから出力された光は、反射光（散乱光を含む）、透過光、蛍光のいずれであっても良いし、これらの光が含まれた光であっても良い。コロニーから出力された光の波長域は可視光の波長域であっても良いし、非可視光の波長域であっても良い。前者であれば可視光を検出可能なカメラで撮影され、後者であれば非可視光を検出可能なカメラで撮影される。

【0087】

非可視光は、人間の目によって認識不可能な光であれば良く、紫外線であっても良いし赤外線であっても良いし、紫外線と赤外線の双方であっても良い。紫外線の場合、ＵＶＡ（例えば３２０ｎｍ～４００ｎｍ）、ＵＶＢ（例えば２９０ｎｍ～３２０ｎｍ）、ＵＶＣ（例えば２００ｎｍ～２９０ｎｍ）のいずれであっても良いし、複数の波長域の複数の帯域が含まれていても良い。なお、微生物等への影響を低減するためには紫外線の波長が長い方が好ましく、例えば、ＵＶＡが選択されてもよい。ＩＲであっても同様の配慮がなされても良い。さらに、微生物から蛍光が出力されることが予想される場合、当該蛍光を出力させる波長が選択されてもよい。

【0088】

非可視光は、種々の状態で照射されて良い。すなわち、非可視光は、非可視光照射画像が撮影できるようにコロニーに対して照射されれば良く、コロニーと非可視光源との位置関係は種々の関係とすることができる。むろん、位置関係が可変であっても良いし、非可視光の強度が可変であっても良い。

【0089】

非可視光照射画像は、非可視光の強度が特定の強度である状態で撮影されても良いし、複数の強度である状態で撮影されても良く、種々の態様が採用されてよい。また、非可視光照射画像は、微生物のコロニーを撮影した画像であれば良く、少なくとも１個のコロニーが含まれていれば良い。むろん、複数個のコロニーが含まれていても良い。非可視光照射画像を表現するためのチャネル数は任意である。比較的狭い波長域（例えば、ＵＶＡ）が利用される場合には、例えば、１チャネルで非可視光照射画像が表現可能である場合が多く、より広い波長域で非可視光照射画像を表現する際には複数チャネルが利用されても良い。

【0090】

また、非可視光照射画像は、少なくとも２次元的に広がるコロニーに対して非可視光が照射された状態におけるコロニーの２次元的な像であればよく、２次元的な領域を撮影可能なカメラで撮影されれば良い。すなわち、コロニー識別システムにおいては、コロニーの特徴を２次元的な画像で捉えることによって当該画像に基づいてコロニーを形成する微生物を識別することができればよい。

【0091】

コロニー識別部は、可視光照射画像と非可視光照射画像とに基づいて、コロニーを形成している微生物を識別することができればよい。すなわち、コロニー識別部は、コロニーに可視光、非可視光のそれぞれを照射して得られた２次元的な画像に基づいて、コロニーを形成している微生物を識別することができればよい。識別は、可視光照射画像と非可視光照射画像とを解析することによって実施されれば良い。

【0092】

従って、機械学習以外の処理によってコロニーが識別される構成であっても良い。例えば、可視光照射画像と非可視光照射画像とのそれぞれにおけるコロニーの形状、色、大きさ、模様、コントラスト、構成部位の特徴等が取得され、特徴が特定の微生物の特徴である場合に、当該特定の微生物が形成したコロニーであると識別される構成等が挙げられる。

【0093】

このような構成の場合、特徴は予め定義されていれば良く、画像のパターンとして定義されていても良いし、特徴量として定義されていても良い。いずれにしても、可視光照射画像と非可視光照射画像とから得られたパターンや特徴量が、予め定義された特定の微生物のコロニーにおける画像のパターンや特徴量と一致し、または類似する場合に、当該特定の微生物によってコロニーが形成されていると判定可能である。

【0094】

識別は、微生物の種類に関する情報の取得であれば良く、特定の微生物であると特定する構成の他、複数の微生物のそれぞれについてコロニーを形成している確率を特定する構成であっても良い。さらに、特定の微生物でないことを推定する構成であっても良い。
ム。

【0095】

上述の実施形態において、コロニーに照射された光の波長域と異なる波長域の光を検出するカメラは、コロニーに照射された非可視光の波長域と異なる可視光を検出する可視光カメラであったが、この構成に限定されない。例えば、コロニーに照射された可視光の波長域と異なる非可視光を検出する非可視光カメラによって可視光照射画像が撮影されても良い。

【0096】

上述の実施形態においては、ＹＯＬＯによって機械学習が行われる構成が採用されているが、むろん、機械学習の手法は、他にも種々の手法を採用可能である。例えば、ＹＯＬＯで学習されたモデルにおいては、コロニーの位置の特定と微生物の識別との双方を実施可能であるが、これらが別に実施されても良い。具体的には、複数のコロニーが撮影された可視光照射画像および非可視光照射画像からコロニーの選別が行われ、選別されたコロニーのそれぞれについて微生物の種類が識別されても良い。むろん、この場合、コロニーの選別と微生物の種類の識別との双方が機械学習で行われても良いし、少なくとも一方が機械学習で行われてもよい。機械学習によらずに選別や識別が行われる場合、画像のパターンや特徴量の解析等によって自動で選別や識別が行われる構成等を採用可能である。

【0097】

機械学習の態様は限定されず、例えばニューラルネットワークによる機械学習が行われる場合、モデルを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、深層学習（ディープラーニング）、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。

【0098】

さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。さらに、機械学習は、各種の装置で行われて良く、例えば、コロニー識別システムと異なる装置において行われてもよい。この場合、例えば、サーバにおいて機械学習が行われる構成が想定される。この構成においては、例えば、複数のクライアントから教師データが収集され、この教師データに基づいてサーバにおいて機械学習が行われる構成であっても良い。

【0099】

さらに、教師データ３０ａは、種々の手法で用意されて良い。教師データ３０ａは、コロニーの画像に識別結果を対応づけた情報であるため、通常は、コロニーの画像を撮影することによって生成される。しかし、コロニーは微生物によって形成され、その特徴、例えば、大きさ等を自由に制御することができない。従って、特定の特徴のコロニーを形成することが統計的に困難である場合、当該特徴のコロニーを学習に充分な量になるまで形成させることが困難になり得る。

【0100】

放線菌等のコロニーにおいては、大きいコロニーと小さいコロニーを多数形成させることが困難であることが判明した。そこで、上限基準以上の大きさのコロニーの画像を、容易に得られる画像から生成しても良い。また、下限基準以下の大きさのコロニーの画像を、容易に得られる画像から生成しても良い。

【0101】

なお、容易に得られる画像は、例えば、大きさが下限基準から上限基準の範囲に含まれる画像が想定される。また、画像を生成する際には、画像の拡大や縮小が行われればよい。さらに、拡大や縮小等によって生成される画像は一部であり、残りは実際のコロニーの画像であっても良い。さらに、生成される画像は、可視光照射画像と非可視光照射画像との一方であっても良いし、双方であっても良い。

【0102】

以上の構成によれば、微生物によって形成されにくい特徴の画像を容易に増加させることができ、容易に教師データを用意することができる。むろん、画像が生成される際には、大きさの変化以外にも種々の処理が行われてよい。例えば、回転や反転などの処理が行われることによって画像が生成されても良い。さらに、上限基準から下限基準に含まれる大きさの画像が水増しによって生成されても良い。なお、上限基準および下限基準は、予め決定されれば良い。上限基準は、当該上限基準以上の大きさの画像が不足するような大きさとして予め定義され、下限基準は、当該下限基準以下の大きさの画像が不足するような大きさとして予め定義される。

【0103】

さらに、本発明のように、可視光照射画像と非可視光照射画像とに基づいてコロニーを形成している微生物を識別する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えた顕微鏡等を提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0104】

１０…コロニー識別システム、２０…制御部、２１…コロニー識別プログラム、２１ａ…可視光照射画像取得部、２１ｂ…非可視光照射画像取得部、２１ｃ…コロニー識別部、２２…機械学習プログラム、２２ａ…機械学習部、３０…記憶媒体、３０ａ…教師データ、３０ｂ…学習済モデル、４１…可視光カメラ、４１ａ…可視光源、４２…ＵＶカメラ、４２ａ…ＵＶ光源、４３…表示部、４４…出力穴

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】