(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022190700
(43)【公開日】2022-12-26
(54)【発明の名称】微生物の検出方法
(51)【国際特許分類】
C12Q 1/04 20060101AFI20221219BHJP
C12M 1/34 20060101ALI20221219BHJP
【ＦＩ】
C12Q1/04
C12M1/34 B
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022120598
(22)【出願日】2022-07-28
(62)【分割の表示】P 2021098715の分割
【原出願日】2021-06-14
(71)【出願人】
【識別番号】596126465
【氏名又は名称】アサヒ飲料株式会社
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】青▲柳▼ 真人
【テーマコード（参考）】
4B029
4B063
【Ｆターム（参考）】
4B029AA07
4B029BB01
4B029CC02
4B029CC11
4B029FA03
4B029HA04
4B063QA18
4B063QQ05
4B063QQ07
4B063QQ16
4B063QR69
4B063QR82
4B063QR84
4B063QS12
4B063QS32
4B063QS36
4B063QX02
(57)【要約】
【課題】本発明は、液体中の微生物を蛍光検出法により検出する方法において、取得された蛍光画像における微生物とその他の成分とを精度よく識別し、高感度かつ高精度に微生物を検出する方法を提供する。
【解決手段】液体を濾過したメンブレンフィルターを平板培地表面に貼付し、所定時間培養した後、前記平板培地から剥がして蛍光染色して蛍光画像を撮像する工程と、複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する工程と、検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する工程と、を有する、液体中の微生物の検出方法。
【選択図】なし
【解決手段】液体を濾過したメンブレンフィルターを平板培地表面に貼付し、所定時間培養した後、前記平板培地から剥がして蛍光染色して蛍光画像を撮像する工程と、複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する工程と、検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する工程と、を有する、液体中の微生物の検出方法。
【選択図】なし
【特許請求の範囲】
【請求項1】
液体中の微生物を検出する方法であって、
前記液体をメンブレンフィルターで濾過する濾過工程と、
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程と、
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程と、
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程と、
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程と、
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程と、
を有する、微生物の検出方法。
前記液体をメンブレンフィルターで濾過する濾過工程と、
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程と、
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程と、
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程と、
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程と、
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程と、
を有する、微生物の検出方法。
【請求項2】
前記蛍光画像から前記メンブレンフィルターの縁部分を取り除く前工程をさらに有し、
前記学習工程では、前記メンブレンフィルターの縁部分が取り除かれた前記蛍光画像及び前記微生物位置情報に基づいて機械学習を行う、請求項１に記載の微生物の検出方法。
前記学習工程では、前記メンブレンフィルターの縁部分が取り除かれた前記蛍光画像及び前記微生物位置情報に基づいて機械学習を行う、請求項１に記載の微生物の検出方法。
【請求項3】
前記撮像工程では、前記蛍光染色に用いた蛍光染色剤の励起光を照射して、前記蛍光画像を撮像する、請求項１に記載の微生物の検出方法。
【請求項4】
前記平板培地が、ブドウ糖、ペプトン、及びポテトエキスを含有しており、ペプトン濃度が２～５ｇ／Ｌである、請求項１に記載の微生物の検出方法。
【請求項5】
前記平板培地が、ブドウ糖、ペプトン、ポテトエキス、及び寒天のみからなる、請求項１に記載の微生物の検出方法。
【請求項6】
前記液体が飲料である、請求項１に記載の微生物の検出方法。
【請求項7】
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、を学習用データとして読み出し、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習部を備える学習装置。
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習部を備える学習装置。
【請求項8】
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報とに基づいて機械学習を行うことで生成された学習済みモデルを用いて、検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定する検査部
を備える検査装置。
を備える検査装置。
【請求項9】
液体中の微生物を検出に用いられる学習済みモデルであって、
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、
検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデル。
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、
検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、飲料等の液体中の微生物の検出方法、当該方法に使用される学習装置及び学習済みモデル、並びに当該方法を実施する検査装置に関する。
【背景技術】
【0002】
容器詰飲料は、通常、市場を流通する間の品質劣化、特に雑菌の繁殖を防止するため、滅菌処理が必要とされている。滅菌処理は、容器に充填後に行われてもよく、滅菌処理後の飲料を滅菌処理済容器に無菌充填してもよい。工場で量産された容器詰飲料は、出荷前に、適切な滅菌処理がなされていることを確認するための微生物検出検査が行われる。当該検査により微生物が検出された容器詰飲料は、滅菌が不十分であるとして出荷されず、微生物が検出されなかった容器詰飲料のみが出荷される。
【0003】
容器詰飲料の出荷前の微生物検出検査は、従来、飲料サンプルを溶解した寒天培地とシャーレ中で混合分散して平板培地に固めて培養し、コロニーの形成の有無を目視で確認する培養法で行われている。しかしながら、当該培養法では、目視で確認できるほどの大きさのコロニーが形成されるまで、２～３日間の培養時間が必要とされるため、製造後、工場からの出荷までに長い時間が必要である。そこで、微生物検出検査に要する時間をより短縮することが求められている。
【0004】
培養法よりも検出に要する時間を短縮する方法として、飲料サンプルをメンブレンフィルターを用いて濾過濃縮し、当該濾過で使用した濾過フィルターを平板培地に貼付して培養し、生じた微小なマイクロコロニーを蛍光染色して蛍光観察を行う蛍光検出法がある。微生物を蛍光染色することにより、目視よりもより高感度に微生物を検出できるため、培養時間を短縮することができる。蛍光染色したメンブレンフィルターの蛍光画像を、高性能カメラと光源、蛍光フィルターを組み合わせた蛍光撮像装置等を用いて撮像し、得られた蛍光画像を画像解析することによって、当該メンブレンフィルター上の微生物を検出する。
【0005】
前記の蛍光検出法により、迅速かつ高感度に微生物を検出することが可能であるが、飲料中には自家蛍光を発する成分が含まれている場合や、飲料中の微生物以外の夾雑物も蛍光染色されてしまう場合がある。特に、自家蛍光となりうる乳成分や果汁を多く含む飲料の場合、取得された蛍光画像中には、飲料サンプル中のタンパク質や繊維質などの様々な夾雑物に由来する輝点と微生物由来の輝点とを明確に区別することが困難な場合があり、微生物検出の精度が問題となる。当該問題を解決する方法として、微生物と夾雑物の蛍光反応における時間変化の違いに着目し、染色初期と後期の蛍光画像をルールベース型の画像処理ソフトウェアを用いて差分処理する技術が知られている（特許文献１）。
【0006】
また、最近では、画像から目的物の検出を、画像解析とディープラーニング画像処理ソフトウェアと組み合わせて行う方法も開発されている。微生物検出においては、微生物が培養された培地の培地画像データを取得し、培地種別を含む学習データを深層学習させて生成したアルゴリズムを用いて、培地画像から微生物コロニーを検出する技術やその類似技術が知られている。例えば、特許文献２には、微生物を培養した培地の画像データを取得し、予め学習した画像データに基づいて微生物を検出する方法が開示されている。また、特許文献３には、微生物を培養した培地の画像データを取得し、予め学習した画像データに基づいて微生物コロニー数を算出する方法が開示されている。特許文献４には、微生物コロニーの画像を構成するピクセルの色特徴量から、サンプル由来の色の影響を排除して、コロニーの検出感度を向上することのできる技術が開示されている。特許文献５には、グラム染色された細菌について、予め人が分類判断を行ったデータに基づいて、細菌を分類することのできる情報処理装置に関して開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開２０１６－１７４５８１号公報
【特許文献2】特開２０２０－５４２４７号公報
【特許文献3】特開２０１９－２０８３７７号公報
【特許文献4】特許第５８５０２０５号公報
【特許文献5】特開２０２０－１２３０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ルールベース型の画像処理ソフトウェアを用いた場合、蛍光画像中の微生物と微生物以外の成分とは、染色時間による蛍光強度の変化の違いに基づいて区別される。染色時間による蛍光強度変化量が、微生物とその他の成分とで大きく異なる場合、微生物とその他の成分とを精度良く識別でき、信頼性の高い微生物検出結果が得られる。一方で、染色時間による蛍光強度の変化が微生物以外の成分と同程度である微生物は、微生物とその他との識別が困難となり、偽陽性が多くなる。微生物の中でも、特にカビは、生育したコロニーの形状が複雑であり、菌種毎の差異も大きいため、蛍光画像からの正確な検出が難しい。そこで、微生物コロニーとその他の成分との識別能を向上させて微生物コロニーのみを選択的に検出するための施策が必要となる。
【0009】
また、特許文献２～５に記載の微生物検出方法では、可視光による検出を前提としている。このため、蛍光染色法や蛍光染色法において生じる微生物以外の成分の影響については全く考慮されていない。
【0010】
本発明においては、液体中の微生物を蛍光検出法により検出する方法において、取得された蛍光画像における微生物とその他の成分とを精度よく識別し、高感度かつ高精度に微生物を検出する方法、及び当該方法に使用する学習装置等を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明者は、液体中の微生物を蛍光検出法により検出する方法において、蛍光画像の解析を、ディープラーニング画像処理ソフトウェアを用いて行い、蛍光染色した微生物由来のマイクロコロニーと微生物以外の成分との特徴量の違いを深層学習して生成されたアルゴリズムを用いることによって、微生物由来の輝点と微生物以外の成分由来の輝点との識別能を改善でき、微生物の検出精度を向上させられることを見出し、本発明を完成させた。
【0012】
本発明に係る微生物の検出方法等は、下記［１］～［９］である。
［１］ 液体中の微生物を検出する方法であって、
前記液体をメンブレンフィルターで濾過する濾過工程と、
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程と、
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程と、
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程と、
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程と、
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程と、
を有する、微生物の検出方法。
［２］ 前記蛍光画像から前記メンブレンフィルターの縁部分を取り除く前工程をさらに有し、
前記学習工程では、前記メンブレンフィルターの縁部分が取り除かれた前記蛍光画像及び前記微生物位置情報に基づいて機械学習を行う、前記［１］の微生物の検出方法。
［３］ 前記撮像工程では、前記蛍光染色に用いた蛍光染色剤の励起光を照射して、前記蛍光画像を撮像する、前記［１］又は［２］の微生物の検出方法。
［４］ 前記平板培地が、ブドウ糖、ペプトン、及びポテトエキスを含有しており、ペプトン濃度が２～５ｇ／Ｌである、前記［１］～［３］のいずれかの微生物の検出方法。
［５］ 前記平板培地が、ブドウ糖、ペプトン、ポテトエキス、及び寒天のみからなる、前記［１］～［４］のいずれかの微生物の検出方法。
［６］ 前記液体が飲料である、前記［１］～［５］のいずれかの微生物の検出方法。
［７］ 液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、を学習用データとして読み出し、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習部を備える学習装置。
［８］ 液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報とに基づいて機械学習を行うことで生成された学習済みモデルを用いて、検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定する検査部
を備える検査装置。
［９］ 液体中の微生物を検出に用いられる学習済みモデルであって、
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、
検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデル。
［１］ 液体中の微生物を検出する方法であって、
前記液体をメンブレンフィルターで濾過する濾過工程と、
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程と、
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程と、
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程と、
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程と、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程と、
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程と、
を有する、微生物の検出方法。
［２］ 前記蛍光画像から前記メンブレンフィルターの縁部分を取り除く前工程をさらに有し、
前記学習工程では、前記メンブレンフィルターの縁部分が取り除かれた前記蛍光画像及び前記微生物位置情報に基づいて機械学習を行う、前記［１］の微生物の検出方法。
［３］ 前記撮像工程では、前記蛍光染色に用いた蛍光染色剤の励起光を照射して、前記蛍光画像を撮像する、前記［１］又は［２］の微生物の検出方法。
［４］ 前記平板培地が、ブドウ糖、ペプトン、及びポテトエキスを含有しており、ペプトン濃度が２～５ｇ／Ｌである、前記［１］～［３］のいずれかの微生物の検出方法。
［５］ 前記平板培地が、ブドウ糖、ペプトン、ポテトエキス、及び寒天のみからなる、前記［１］～［４］のいずれかの微生物の検出方法。
［６］ 前記液体が飲料である、前記［１］～［５］のいずれかの微生物の検出方法。
［７］ 液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、を学習用データとして読み出し、
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習部を備える学習装置。
［８］ 液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報とに基づいて機械学習を行うことで生成された学習済みモデルを用いて、検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定する検査部
を備える検査装置。
［９］ 液体中の微生物を検出に用いられる学習済みモデルであって、
液体中の微生物を捕集して培養したメンブレンフィルターを、微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、前記微生物の前記蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、
検査対象として入力された前記蛍光画像に対して、前記微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデル。
【発明の効果】
【0013】
本発明により、様々な成分が含まれている液体中の微生物を、迅速かつ高感度に検出することができる。
【図面の簡単な説明】
【0014】
【図1】本開示の実施形態に係る検査結果の表示例を示す概略図である。
【図2】本実施形態に係る検査画面の一例を示す概略図である。
【図3】本実施形態に係る学習装置の構成を示す概略ブロック図である。
【図4】本実施形態に係るユーザ操作の一例を示す概略図である。
【図5】本実施形態に係る学習装置の処理の一例を示すフロー図である。
【図6】本実施形態に係る検査装置の構成を示す概略ブロック図である。
【図7】本実施形態に係る実行承知の処理の一例を示すフロー図である。
【図8】本実施形態に係る機械学習処理の一例を示す概略図である。
【図9】参考例１において、耐熱性カビ接種飲料を濾過した後にＰＳ２５平板培地で２５℃（左図）又は３０℃（右図）で培養したメンブレンフィルターの蛍光画像である。
【図10】参考例１において、耐熱性カビ接種飲料を濾過した後にＰＤＡ平板培地で２５℃（左図）又は３０℃（右図）で培養したメンブレンフィルターの蛍光画像である。
【図11】実施例１において、Ｒｅｄツール又はＢｌｕｅツールを用いて生成した微生物検出用学習済モデルを用いて、乳性非炭酸飲料中の耐熱性カビを検出した結果を示した図である。図１１（Ａ）は、学習に使用した耐熱性カビのコロニー数（学習量）の測定結果であり、図１１（Ｂ）は、回収率（％）の測定結果である。
【図12】実施例２において、コロニー学習量を４０、８０、１２０、２４４、又は３２４ｃｆｕとして生成した微生物検出用学習済モデルを用いて、乳性非炭酸飲料中の耐熱性カビを検出した場合の回収率（％）（Ａ）と偽陽性率（％）（Ｂ）の測定結果を示した図である。
【図13】実施例２において、ブランク乳酸菌飲料と、耐熱性カビを接種した乳酸菌飲料の蛍光画像を示した図である。
【図14】実施例３において、良品学習をして生成した微生物検出用学習済モデル又は良品学習をせずに生成した微生物検出用学習済モデルを用いて、乳性非炭酸飲料中の耐熱性カビを検出した場合の回収率（％）（Ａ）と偽陽性率（％）（Ｂ）の測定結果を示した図である。
【図15】実施例４において、作成した微生物検出用学習済モデルを用いて検出した場合（Ａ）と、市販の微生物迅速検出システムキットを用いて検出した場合（Ｂ）の、各耐熱性カビの回収率（％）（５種類の乳性飲料の平均値）の測定結果を示した図である。
【図16】実施例５において、作成した微生物検出用学習済モデルを用いて検出した場合（Ａ）と、市販の微生物迅速検出システムキットを用いて検出した場合（Ｂ）の、各酵母の回収率（％）（３種類の乳性炭酸飲料の平均値）の測定結果を示した図である。
【発明を実施するための形態】
【0015】
本開示の実施形態に係る微生物の検出方法は、液体中の微生物を検出する。微生物を検出する供試試料である液体（被験液体試料）としては、特に限定されるものではない。当該液体としては、例えば、液状の飲食品、医薬品、化粧料、及びこれらの原料となる液状組成物が挙げられ、特に飲料が好ましい。飲料としては、乳酸菌や酵母等の微生物を含む飲料であってもよく、アミノ酸やタンパク質、食物繊維等の自家蛍光を発する成分を含む飲料であってもよい。また、清涼飲料、乳飲料等のノンアルコール飲料であってもよく、アルコール飲料であってもよい。清涼飲料としては、ラムネ、サイダー、コーラ、ジンジャーエール等の炭酸飲料；濃縮果汁、果汁入り飲料、果実ジュース、野菜ジュース、果実野菜ミックスジュース、果肉や野菜片含有飲料等の果実・野菜飲料；コーヒー飲料、紅茶飲料、緑茶飲料、烏龍茶飲料、麦茶飲料、ジャスミン茶飲料、ハーブ飲料、ココア飲料等の嗜好性飲料；乳酸菌飲料、発酵乳、牛乳、ミルクコーヒー飲料等の乳成分を含む飲料等の乳性飲料；豆乳飲料；スポーツ飲料；ミネラルウォーター；ノンアルコールビール、ノンアルコール梅酒、ノンアルコールカクテル等のアルコール飲料風味のノンアルコール飲料；等が挙げられる。アルコール飲料としては、ビール、ワイン、日本酒、焼酎、ウィスキー、ブランデー、リキュール、カクテル等が挙げられる。
【0016】
本開示の実施形態に係る微生物の検出方法は、自家蛍光を発する物質や、蛍光染色される物質を含む液体であっても、微生物の検出精度が高い。このため、被験液体試料としては、自家蛍光を発する物質や、蛍光染色される物質を比較的多く含む飲料が好ましい。具体的には、乳性飲料や果実・野菜飲料のように、乳成分、果実、野菜等を含有する飲料が好ましい。
【0017】
本開示の実施形態に係る微生物の検出方法において、検出対象とする微生物は、液体中に、意図せずに含まれてしまった、生きている微生物である。例えば飲料等の工業製品の場合、製造工程で意図せずに液体に含まれてしまった微生物が滅菌処理等で死滅せず、生きている場合には、流通過程で当該飲料製品の品質が損なわれる可能性が高く、また、消費者に摂取された場合に健康被害が生ずるおそれがある。そこで、以降において、生きている状態で飲料等の液体中に意図せずに含まれている微生物を、「危害微生物」ということがある。危害微生物は、具体的には、糸状菌（カビ）、酵母、細菌等である。
【0018】
本開示の実施形態に係る微生物の検出方法は、液体中の危害微生物をメンブレンフィルター上に捕集し、当該メンブレンフィルター上で増殖させてコロニーを形成させる。形成させたコロニーは、蛍光染色を利用して検出する。ヒトが視認可能な大きさのコロニーを形成させるためには、一般的に２～３日間の培養が必要だが、本発明では、蛍光を利用することにより、非常に小さいコロニー（マイクロコロニー）の状態でも検出することができるため、培養時間を短縮し、危害微生物の検出をより迅速に行うことができる。
【0019】
被験液体試料をメンブレンフィルターで濾過すると、当該メンブレンフィルター上には、危害微生物と共に、被験液体試料中の様々な成分も捕集される。メンブレンフィルター上に、自家蛍光を発する成分や、危害微生物と同様に蛍光染色される危害微生物以外の成分が捕集された場合には、当該メンブレンフィルターの蛍光染色画像中には、蛍光染色された危害微生物に由来する蛍光シグナル（輝点）と、危害微生物以外に由来する蛍光シグナルが存在することになる。この危害微生物以外に由来する蛍光シグナルを、「ノイズ」といい、ノイズの原因となる被験液体試料由来の成分を「ノイズ成分」という。
【0020】
ノイズ成分には、自家蛍光を発する成分や、危害微生物と同様に蛍光染色される成分がある。自家蛍光成分としては、例えば、アミノ酸やペプチド、食物繊維、ビタミンＢ２（リボフラビン）等が挙げられる。また、危害微生物と同様に蛍光染色される成分としては、例えば、原料成分として配合された乳酸菌や酵母であって、被験液体試料の最終滅菌処理により死滅した微生物や、果実や野菜の細断物等の細胞を含有する成分等が挙げられる。
【0021】
具体的には、本開示の実施形態に係る微生物の検出方法は、液体中の微生物を検出する方法であって、以下の工程を有する。
前記液体をメンブレンフィルターで濾過する濾過工程。
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程。
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程。
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程。
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程。
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程。
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程。
前記液体をメンブレンフィルターで濾過する濾過工程。
前記濾過工程後、前記メンブレンフィルターを平板培地表面に貼付し、所定時間培養する培養工程。
前記培養工程後、前記平板培地から剥がした前記メンブレンフィルター上の微生物を蛍光染色する蛍光染色工程。
前記蛍光染色工程後、前記メンブレンフィルターの蛍光画像を撮像する撮像工程。
複数の前記蛍光画像の各々に対して、前記微生物の前記蛍光画像上の位置を示す微生物位置情報を入力させ、前記蛍光画像及び前記微生物位置情報を学習用データとして生成する学習用データ生成工程。
前記学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する学習工程。
検査対象として入力された前記蛍光画像に対して、前記学習済みモデルを用いて、前記微生物の有無を判定する検査工程。
【0022】
［濾過工程］
濾過工程においては、微生物を検出する供試試料である液体（被験液体試料）を、メンブレンフィルターで濾過する。具体的には、底部にメンブレンを敷いたファネルに、当該ファネルの上方開口部から被験液体試料を注いで濾過する。ファネル底部から飲料を吸引濾過することにより、短時間で充分量の被験液体試料中の危害微生物をメンブレンに捕集することができる。吸引濾過は、一般的なメンブレンフィルター法と同様にして行うことができる。
濾過工程においては、微生物を検出する供試試料である液体（被験液体試料）を、メンブレンフィルターで濾過する。具体的には、底部にメンブレンを敷いたファネルに、当該ファネルの上方開口部から被験液体試料を注いで濾過する。ファネル底部から飲料を吸引濾過することにより、短時間で充分量の被験液体試料中の危害微生物をメンブレンに捕集することができる。吸引濾過は、一般的なメンブレンフィルター法と同様にして行うことができる。
【0023】
使用するメンブレンは、液性成分は透過させ、微生物は透過できない大きさの水不溶性多孔質膜であれば、特に限定されるものではない。例えば、ポアサイズが０．１～１．０μｍ、好ましくは０．１５～０．９μｍ、より好ましくは０．４５～０．８μｍのメンブレンフィルターを用いることができる。当該メンブレンフィルターの素材としては、例えば、ニトロセルロースフィルム、セルロースアセテートとニトロセルロースの混合エステルフィルム、ポリカーボネートフィルム等が挙げられる。
【0024】
危害微生物の検出精度を高めるために、被験液体試料中の微生物を捕集したメンブレンフィルターは、被験液体試料１種類当たり複数種類を調製することが好ましい。微生物検出用として、被験液体試料中の微生物を捕集したメンブレンフィルターは、被験液体試料１種類当たり２枚以上、好ましくは５枚以上、より好ましくは１０枚以上作製する。
【0025】
被験液体試料中の微生物を捕集したメンブレンフィルターは、当該被験液体試料中の微生物の検出のために用いられるだけではなく、学習済みモデルを生成するための学習用データの作成にも使用される。学習済みモデルを生成するための学習用データを作成するために、被験液体試料中の微生物を捕集したメンブレンフィルターは、被験液体試料１種類当たり複数種類を調製することが好ましい。例えば、学習用データ作成のためには、微生物を捕集したメンブレンフィルターを、被験液体試料１種類当たり５枚以上、好ましくは１０枚以上、より好ましくは１５枚以上準備する。
【0026】
［培養工程］
培養工程においては、前記濾過工程で液体中の微生物を捕集したメンブレンフィルターを、平板培地表面に貼付して所定時間培養する。使用する平板培地は、カビ、酵母、細菌等の増殖に必要な炭素源と窒素源を含む平板培地であれば特に限定されるものではない。多種多様な微生物に資化可能であることから、炭素源としてはブドウ糖が好ましく、窒素源としては、ペプトンや酵母エキス、植物エキス等が好ましい。ペプトンとしては、特に限定されるものではないが、微生物培養に汎用されていることから、カゼインペプトン、肉ペプトンが好ましい。植物エキスとしては、ポテトエキス、麦芽エキス、果汁、野菜汁等が挙げられる。カビや酵母等などの真菌の生育に必要な銅、亜鉛等の微量金属やミネラルを含有しており、真菌の培養培地の成分として汎用されていることから、平板培地に含まれる植物エキスとしては、ポテトエキスが好ましい。
培養工程においては、前記濾過工程で液体中の微生物を捕集したメンブレンフィルターを、平板培地表面に貼付して所定時間培養する。使用する平板培地は、カビ、酵母、細菌等の増殖に必要な炭素源と窒素源を含む平板培地であれば特に限定されるものではない。多種多様な微生物に資化可能であることから、炭素源としてはブドウ糖が好ましく、窒素源としては、ペプトンや酵母エキス、植物エキス等が好ましい。ペプトンとしては、特に限定されるものではないが、微生物培養に汎用されていることから、カゼインペプトン、肉ペプトンが好ましい。植物エキスとしては、ポテトエキス、麦芽エキス、果汁、野菜汁等が挙げられる。カビや酵母等などの真菌の生育に必要な銅、亜鉛等の微量金属やミネラルを含有しており、真菌の培養培地の成分として汎用されていることから、平板培地に含まれる植物エキスとしては、ポテトエキスが好ましい。
【0027】
培養後、当該平板培地から剥がしたメンブレンフィルターには、平板培地が付着する。つまり、平板培地由来の自家蛍光成分はノイズ成分となる。このため、培養工程において使用される平板培地としては、自家蛍光を抑えつつ微生物の生育性を高めるように培地組成を調整した培地が好ましい。窒素源として好適なアミノ酸やペプチドは、自家蛍光成分であるため、その含有量が多すぎるとノイズが多くなり、微生物検出精度が低下するおそれがある。一方で、窒素源は、微生物の生育促進に重要である。そこで、培養工程において使用される平板培地におけるアミノ酸やペプチドの含有量は、ノイズの低減と微生物の生育促進のバランスをとるように調節されることが好ましい。
【0028】
培養工程において使用される平板培地としては、ブドウ糖、ペプトン、ポテトエキス、及び寒天のみからなる培地が好ましい。ブドウ糖、ペプトン、及びポテトエキスを含有する平板培地は、例えば、ポテトデキストロース寒天培地（ＰＤＡ寒天培地）（ポテトエキス ４．０ｇ／Ｌ、ブドウ糖 ２０．０ｇ／Ｌ、寒天 １５．０ｇ／Ｌ）と、サブロー・ブドウ糖液体培地（カゼイン／肉ペプトン １０．０ｇ／Ｌ、ブドウ糖 ２０．０ｇ／Ｌ）を混合することで得られる。ＰＤＡ培地とサブロー・ブドウ糖液体培地はいずれも、糸状菌や酵母の培養に汎用されている。
【0029】
培養工程において使用される平板培地としては、特に、ＰＤＡ培地にサブロー・ブドウ糖液体培地を、ペプトン濃度がノイズの低減と微生物の生育促進の両方を達成する範囲内、好ましくは２～５ｇ／Ｌとなるように配合した培地に寒天を添加した培地が好ましい。中でも、ＰＤＡ培地に対して、サブロー・ブドウ糖液体培地を基準配合量の２０～３０質量％配合した平板培地（ポテトエキス ４．０ｇ／Ｌ、カゼイン／肉ペプトン ２．０～３．０ｇ／Ｌ、ブドウ糖 ２４．０～２６．０ｇ／Ｌ、寒天 １５．０ｇ／Ｌ）が好ましく、２２．５～２７．５質量％配合した培地（ポテトエキス ４．０ｇ／Ｌ、カゼイン／肉ペプトン ２．２５～２．７５ｇ／Ｌ、ブドウ糖 ２４．５～２５．５ｇ／Ｌ、寒天 １５．０ｇ／Ｌ）がより好ましい。
【0030】
濾過工程で得られたメンブレンフィルターを、平板培地表面に貼付し、所定時間培養することにより、当該メンブレンフィルター上の生きている微生物を増殖させてコロニーを形成させる。培養時間は、好ましくは３～３６時間、より好ましくは３～２４時間、さらに好ましくは１２～２４時間とすることができる。培養温度は、カビ、酵母、細菌が増殖可能な温度帯であればよく、例えば、２０～３５℃の範囲内で行うことができる。一般環境菌の生育不良リスクを回避しつつ、飲料等の工業製品に混入するおそれのある危害微生物として特に問題とされている耐熱性カビも十分に生育可能なことから、培養温度は、２０～３５℃が好ましく、２５～３２℃がより好ましく、２８～３２℃がさらに好ましく、３０℃が特に好ましい。
【0031】
［蛍光染色工程］
培養工程後、平板培地から剥がしたメンブレンフィルターを、微生物を蛍光染色するための染色剤と接触させて、当該メンブレンフィルター上の微生物を蛍光染色する。微生物を蛍光染色するための染色剤としては、生きている微生物を蛍光染色可能なものであれば特に限定されるものではなく、生菌のみを染色するものであってもよく、生菌と死菌の両方を染色するものであってもよい。飲料等の原料として配合されて滅菌処理で死滅した乳酸菌や酵母等によるノイズを抑制できるため、当該染色剤としては、生菌のみを染色するものであることが好ましい。
培養工程後、平板培地から剥がしたメンブレンフィルターを、微生物を蛍光染色するための染色剤と接触させて、当該メンブレンフィルター上の微生物を蛍光染色する。微生物を蛍光染色するための染色剤としては、生きている微生物を蛍光染色可能なものであれば特に限定されるものではなく、生菌のみを染色するものであってもよく、生菌と死菌の両方を染色するものであってもよい。飲料等の原料として配合されて滅菌処理で死滅した乳酸菌や酵母等によるノイズを抑制できるため、当該染色剤としては、生菌のみを染色するものであることが好ましい。
【0032】
微生物の生理活性に着目し、当該生理活性を有する生菌のみを蛍光染色する染色剤によって、死菌は染色せず、生菌のみを蛍光染色することができる。当該蛍光染色剤としては、例えば、生菌が有するエステラーゼ活性や酸化還元酵素活性を利用して、これらの酵素活性により分解されることによって蛍光分子が生成される非蛍光性分子が挙げられる。エステラーゼ活性を利用した蛍光染色剤としては、ＣＦＤＡ（6-carboxyfluorescein diacetate）、ＣＦＤＡ－ＡＭ（Carboxyfluorescein diacetate-acetoxymethlester）、ＦＤＡ（Fluorescein diacetate)、Ｃａｌｃｅｉｎ－ＡＭ（Calcein- acetoxymethlester）等が挙げられる。微生物の菌体内に取り込まれた非蛍光性のＣＦＤＡは、微生物内のエステラーゼ活性により、緑色蛍光を発する6-carboxyfluoresceinに変換される。酸化還元酵素活性を利用した蛍光染色剤としては、モノテトラゾリウム還元色素であるＣＴＣ（5-cyano-2, 3-ditolyl tetrazolium chloride）等が挙げられる。微生物の菌体内に取り込まれた非蛍光性のＣＴＣは、微生物内の呼吸に伴う電子伝達系で還元され、赤色蛍光を発するＣＴＦ（CTC formazan）に変換される。
【0033】
また、アミノ酸やペプチド、食物繊維等の非生物の多くは核酸を含有していないか、含有していても含有量が極微量であるため、核酸蛍光染色剤を使用することにより、非生物由来のノイズを抑制しつつ、微生物を蛍光染色することができる。核酸蛍光染色剤としては、アクリジンオレンジ、ＤＡＰＩ（4',6-diamidono-2-phenylindole）、エチジウムブロマイド、ＰＩ（Propidium iodine）、Hoechst 33258、Hoechst 33342、SYBR Green等が挙げられる。核酸染色剤の多くは、死菌も染色してしまうが、死菌は増殖せず、コロニー形成をしないため、蛍光画像中の輝点の輝度値や大きさ、形状等に基づいて、死菌と生菌を区別することもできる。
【0034】
アミノ酸や食物繊維等の自家蛍光を発する物質の多くは、紫外線等の波長の短い光により強く蛍光を発する。このため、危害微生物は、比較的長波長の励起光で蛍光を発する蛍光染色剤、特に、緑色蛍光～赤色蛍光を発する蛍光染色剤を用いて染色することが好ましい。これにより、蛍光画像におけるノイズ成分由来の蛍光シグナルを小さくし、ノイズを低減させることができる。
【0035】
具体的には、平板培地から剥がしたメンブレンフィルターを、蛍光染色剤溶液中に浸漬させる。蛍光染色剤溶液は、蛍光染色剤を、水やバッファー等の溶媒に溶解させて調製する。溶媒とするバッファーは、特に限定されるものではなく、リン酸生理食塩水（ＰＢＳ）、トリスバッファー、リン酸バッファー、ＨＥＰＥＳバッファー、ジメチルスルホキシド（ＤＭＳＯ）等を用いることができる。蛍光染色剤溶液への浸漬は、例えば、４～３８℃、好ましくは３０～３７℃で、５分間～６時間インキュベーションすることにより実施できる。
【0036】
［撮像工程］
蛍光染色工程後、蛍光染色されたメンブレンフィルターの蛍光画像を撮像する。ＣＣＤカメラ等の撮像装置を備えた蛍光撮像装置を用いて、蛍光染色に使用した蛍光染色剤に適した励起光を照射し、発生した蛍光のシグナルを検出することによって蛍光画像を撮像できる。蛍光撮像装置としては、細胞や微生物のコロニー検出に使用されている市販の蛍光シグナルを検出可能な撮像装置を用いることができる。
蛍光染色工程後、蛍光染色されたメンブレンフィルターの蛍光画像を撮像する。ＣＣＤカメラ等の撮像装置を備えた蛍光撮像装置を用いて、蛍光染色に使用した蛍光染色剤に適した励起光を照射し、発生した蛍光のシグナルを検出することによって蛍光画像を撮像できる。蛍光撮像装置としては、細胞や微生物のコロニー検出に使用されている市販の蛍光シグナルを検出可能な撮像装置を用いることができる。
【0037】
各メンブレンフィルターの蛍光画像は、同一視野に対して１枚のみ撮像してもよく、時間をおいて数枚撮像してもよい。例えば、同一視野に対して、蛍光染色の初期と後期にそれぞれ蛍光画像を取得することによって、蛍光シグナルの時間変化情報も取得できる。危害微生物とノイズ成分とは、多くの場合、蛍光反応における時間変化が相違するため、蛍光シグナルの時間変化情報を利用することにより、より高精度に、蛍光画像中の危害微生物由来の蛍光シグナルとノイズ由来の蛍光シグナルとを識別することができる。
【0038】
［学習用データ生成工程］
蛍光画像において、生菌である危害微生物とノイズ成分とは、蛍光シグナルの強度（輝度値）、形状、大きさ、ＲＧＢのそれぞれの輝度値、染色時間による蛍光強度変化等が相違する。これらの相違に基づいて、蛍光画像中の危害微生物に由来する蛍光シグナルと、ノイズ成分に由来する蛍光シグナル（ノイズ）とを識別し、精度よく危害微生物を検出できる。
蛍光画像において、生菌である危害微生物とノイズ成分とは、蛍光シグナルの強度（輝度値）、形状、大きさ、ＲＧＢのそれぞれの輝度値、染色時間による蛍光強度変化等が相違する。これらの相違に基づいて、蛍光画像中の危害微生物に由来する蛍光シグナルと、ノイズ成分に由来する蛍光シグナル（ノイズ）とを識別し、精度よく危害微生物を検出できる。
【0039】
メンブレンフィルター上での培養時間が短い場合、微生物が形成するコロニーも小さく、蛍光染色により検出感度は高められるものの、形状や蛍光シグナル強度がノイズ成分と類似している場合が多く、両者の識別は困難である場合が多い。従来、ヒトが目視により両者の識別を行っていたが、識別精度は識別者の熟練度に左右されてしまうことになり、また、危害微生物の有無の判定に時間がかかる。本開示の実施形態に係る微生物の検出方法では、危害微生物由来蛍光シグナルとノイズとの特徴量の違いを、機械学習、特に深層学習させて、両者を識別するためのアルゴリズムを生成する。この生成されたアルゴリズムを搭載した学習済モデルを用いることによって、被験液体試料から取得した蛍光画像中の危害微生物由来蛍光シグナルとノイズの識別を非常に短時間でかつ安定した識別精度で行うことができ、微生物の検出精度を改善できる。
【0040】
危害微生物由来蛍光シグナルとノイズを識別するための学習済モデル（以下、「微生物検出用学習済モデル」）を生成するための学習用データは、例えば、被験液体試料と同種の液体に、生物種が既知の危害微生物を添加した液体（微生物接種液体試料）を用いて作製する。なお、危害微生物由来蛍光シグナルとノイズの輝度値等の特徴量は、被験液体試料に含まれているノイズ成分の種類や量、メンブレンフィルターの培養条件、蛍光染色剤の種類や染色条件、蛍光画像の撮像条件等の影響を受ける。このため、学習済モデルは、これらの条件が実際の微生物検出と同じ条件で取得された学習用データを用いて深層学習して生成することが好ましい。
【0041】
被験液体試料と同種の液体に添加する危害微生物としては、糸状菌、酵母、細菌のいずれであってもよい。また、当該液体に添加する危害微生物は、１種類であってもよく、２種類以上であってもよい。例えば、耐熱性のカビと酵母、細菌をいずれも添加した微生物接種液体試料を用いることもできる。微生物接種液体試料としては、コロニーが不定形であり、蛍光画像においてノイズとの識別が比較的難しい糸状菌（カビ）を添加した液体試料が好ましい。また、酸性炭酸飲料中で増殖し得る酵母を添加した液体試料も好ましく、滅菌処理された容器詰飲料において問題となりやすい耐熱性カビや耐熱性酵母を添加した液体試料も好ましい。酸性炭酸飲料中で増殖し得る酵母としては、酸性炭酸飲料の汚染指標菌として好適なSaccharomyces cerevisiae、Zygosaccharomyces fermentati、Candida krusei、Torulaspora delbrueckii、Zygosaccharomyces bailii等がより好ましい。耐熱性カビとしては、酸性非炭酸飲料の汚染指標菌として好適なByssochlamys fulva、Aspergillus fischeri、Talaromyces flavus、Hamigera avellanea等がより好ましい。
【0042】
微生物接種液体試料の蛍光画像中の蛍光シグナルには、危害微生物由来蛍光シグナルとノイズの両方が含まれている。そこで、微生物接種液体試料の蛍光画像のうち、危害微生物由来蛍光シグナルをマーキングし、当該蛍光シグナルが危害微生物由来蛍光シグナルであることを学習させる。微生物接種液体試料から調製されたメンブレンフィルターは、蛍光画像を撮像した後、再度平板培地に貼付し、コロニーが視認できるまで継続培養することによって、マーキングした領域内の蛍光シグナルが、危害微生物由来蛍光シグナルであることを確認することが好ましい。
【0043】
その他、学習用データに使用する蛍光画像と、危害微生物由来蛍光シグナルをマーキングする蛍光画像とを分けて準備してもよい。例えば、蛍光染色工程後の撮像工程でメンブレンフィルターの蛍光画像を取得した後、再度平板培地に貼付し、コロニーが視認できるまで継続培養した後、再度同一視野の蛍光画像を取得する。継続培養後のメンブレンフィルターの蛍光画像に対して、危害微生物由来蛍光シグナルをマーキングし、得られた微生物位置情報を、蛍光染色工程後に最初に取得した蛍光画像と組み合わせたものを、学習用データとすることができる。
【0044】
具体的には、微生物接種液体試料を濾過した複数枚のメンブレンフィルターからそれぞれ取得された蛍光画像について、危害微生物の蛍光画像上の位置を示す微生物位置情報を入力して、蛍光画像及び微生物位置情報を学習用データとして生成する。この学習用データを用いて深層学習させることにより、微生物検出用学習済モデルが生成される。危害微生物由来蛍光シグナルとノイズの識別能が十分である微生物検出用学習済モデルを生成するための学習量は特に限定されるものではないが、微生物接種液体試料の蛍光画像中のマーキングした領域が３００個以上となる数の学習用データを深層学習させることが好ましい。
【0045】
学習ツールとしては、蛍光画像の画像解析で汎用されている画像解析ツールを１種又は２種以上を適宜組わせて使用することができる。当該画像解析ツールとしては、例えば、画像中の変異箇所（例えば、割れや欠け）を検出する欠陥検出ツール（以下、「Ｒｅｄツール」ということがある。）、特定の物（例えば、ヒト）を検出してカウントする位置検出ツール（以下、「Ｂｌｕｅツール」ということがある。）、検出した物を分類する分類ツール（以下、「Ｇｒｅｅｎツール」ということがある。）等が挙げられる。これらは組み合わせて用いることができる。
【0046】
微生物接種液体試料の蛍光画像を用いた学習に加えて、被験液体試料と同種の液体であって、危害微生物が含まれていないことが確認された液体（ブランク試料）の蛍光画像を学習用データに用いた学習（良品学習）を行うことも好ましい。ブランク試料の蛍光画像中の蛍光シグナルは、全てノイズであり、良品学習を行うことにより、微生物検出用学習済モデルの危害微生物由来蛍光シグナルとノイズの識別能がさらに改善され、偽陽性率をより低下させることができる。
【0047】
［検査工程］
検査対象として入力された被験液体試料から調製された蛍光画像に対して、生成された微生物検出用学習済モデルを用いて、危害微生物の有無を判定する。微生物検出用学習済モデルにより、当該蛍光画像中の各画素の蛍光シグナルについて、危害微生物由来蛍光シグナルとノイズのいずれであるかが識別される。当該蛍光画像中に、危害微生物由来蛍光シグナルが含まれていると判定された場合には、当該被験液体試料中には危害微生物が含まれていると判断する。すなわち、被験液体試料中の危害微生物は、蛍光画像中の危害微生物由来蛍光シグナルとして検出される。
検査対象として入力された被験液体試料から調製された蛍光画像に対して、生成された微生物検出用学習済モデルを用いて、危害微生物の有無を判定する。微生物検出用学習済モデルにより、当該蛍光画像中の各画素の蛍光シグナルについて、危害微生物由来蛍光シグナルとノイズのいずれであるかが識別される。当該蛍光画像中に、危害微生物由来蛍光シグナルが含まれていると判定された場合には、当該被験液体試料中には危害微生物が含まれていると判断する。すなわち、被験液体試料中の危害微生物は、蛍光画像中の危害微生物由来蛍光シグナルとして検出される。
【0048】
［微生物検出用学習済モデル］
図１は、本開示の実施形態に係る検査結果の表示例を示す図である。検査結果は、後述する検査装置２の画面に表示される。画面には、撮像された蛍光画像に対して、カビの種類と位置が示され、また、良否判定の結果が示される。
表示例Ｇ１１、Ｇ１２、Ｇ１３は、ノイズ成分を多く含む液体の蛍光画像について、それぞれ、危害微生物が検出されない場合の表示例Ｇ１１、危害微生物Ａが検出された場合の表示例Ｇ１２、危害微生物Ｂが検出された場合の表示例Ｇ１３である。
図１は、本開示の実施形態に係る検査結果の表示例を示す図である。検査結果は、後述する検査装置２の画面に表示される。画面には、撮像された蛍光画像に対して、カビの種類と位置が示され、また、良否判定の結果が示される。
表示例Ｇ１１、Ｇ１２、Ｇ１３は、ノイズ成分を多く含む液体の蛍光画像について、それぞれ、危害微生物が検出されない場合の表示例Ｇ１１、危害微生物Ａが検出された場合の表示例Ｇ１２、危害微生物Ｂが検出された場合の表示例Ｇ１３である。
【0049】
表示例Ｇ１１には、ノイズ成分が多く存在するが、危害微生物は検出されていなかった。良否判定も良となった。表示例Ｇ１２は、危害微生物Ａが検出され、危害微生物Ａのコロニーの位置に着色がなされた。表示例Ｇ１３は、危害微生物Ｂが検出され、危害微生物Ａのコロニーの位置に着色がなされた。
危害微生物とノイズ成分の蛍光反応により、蛍光反応がない場合と比較して、画像上の危害微生物及びその種類、或いは、ノイズ成分の違いが大きくなる。検査装置２は、危害微生物及びその種類とノイズ成分を区別して、カビの種類と位置を特定でき、良品判定も高い精度で判定できた。
危害微生物とノイズ成分の蛍光反応により、蛍光反応がない場合と比較して、画像上の危害微生物及びその種類、或いは、ノイズ成分の違いが大きくなる。検査装置２は、危害微生物及びその種類とノイズ成分を区別して、カビの種類と位置を特定でき、良品判定も高い精度で判定できた。
【0050】
図２は、本実施形態に係る検査画面の一例を示す概略図である。
この検査画面では、品種選択、設定、モード切替、手動トリガー等のメニュー、検査結果（図１参照）、ＯＫ、ＮＧ、総数、処理時間等の検査結果の評価、総合判定、保存設定、オーバーレイ表示設定が表示されている。
品種選択は、品種を選択するメニューである。品種とは、被験液体試料の種類である。被験液体試料の種類が飲料の場合、例えば、乳性飲料、乳性炭酸飲料、果汁飲料などであり、予め登録されている品種群から被験液体試料が該当する品種を選択する。
ＯＫとは、良品（危害微生物の検出なし）の画像数であり、ＮＧとは、不良品（危害微生物の検出あり）の画像数である。総数は、良品の画像数と不良品の画像数の累積数（検査実績の総数）である。
総合判定には、良品判定の結果が表示される。この図では「ＯＫ」（良品である）ことが表示されている。
この検査画面では、品種選択、設定、モード切替、手動トリガー等のメニュー、検査結果（図１参照）、ＯＫ、ＮＧ、総数、処理時間等の検査結果の評価、総合判定、保存設定、オーバーレイ表示設定が表示されている。
品種選択は、品種を選択するメニューである。品種とは、被験液体試料の種類である。被験液体試料の種類が飲料の場合、例えば、乳性飲料、乳性炭酸飲料、果汁飲料などであり、予め登録されている品種群から被験液体試料が該当する品種を選択する。
ＯＫとは、良品（危害微生物の検出なし）の画像数であり、ＮＧとは、不良品（危害微生物の検出あり）の画像数である。総数は、良品の画像数と不良品の画像数の累積数（検査実績の総数）である。
総合判定には、良品判定の結果が表示される。この図では「ＯＫ」（良品である）ことが表示されている。
【0051】
＜システム構成＞
検査システムＳは、学習装置１及び検査装置２を具備する。
学習装置１は、複数の蛍光画像と、各蛍光画像における危害微生物の位置を示す微生物位置情報と、に基づいて機械学習処理を行う。学習装置１は、機械学習処理の結果、学習済みモデルを生成する。
検査装置２は、学習装置１が生成した学習済みモデルを用いて、入力された蛍光画像（「検査蛍光画像」とも称する）の各画素（位置）について、危害微生物の有無を判定する。検査装置２は、検査蛍光画像に対して、危害微生物が存在する場合、その位置に色付けした表示データを生成して、ディスプレイに表示させる（図１、２参照）。
検査システムＳは、学習装置１及び検査装置２を具備する。
学習装置１は、複数の蛍光画像と、各蛍光画像における危害微生物の位置を示す微生物位置情報と、に基づいて機械学習処理を行う。学習装置１は、機械学習処理の結果、学習済みモデルを生成する。
検査装置２は、学習装置１が生成した学習済みモデルを用いて、入力された蛍光画像（「検査蛍光画像」とも称する）の各画素（位置）について、危害微生物の有無を判定する。検査装置２は、検査蛍光画像に対して、危害微生物が存在する場合、その位置に色付けした表示データを生成して、ディスプレイに表示させる（図１、２参照）。
【0052】
【0053】
入出力部Ｉ１は、データ取得部１１１、及び入出力部１１２を含んで構成される。
データ取得部１１１は、通信又は外部記憶装置より、データを取得する。
入出力部１１２は、キーボード入力やポインティングデバイスを用いたマーキング等、ユーザ操作による情報を受け付ける。
データ取得部１１１は、通信又は外部記憶装置より、データを取得する。
入出力部１１２は、キーボード入力やポインティングデバイスを用いたマーキング等、ユーザ操作による情報を受け付ける。
【0054】
記憶部Ｍ１は、データ記憶部１２１、学習用データ記憶部１２２、学習結果記憶部１２３を含んで構成される。
データ記憶部１２１は、データ取得部１１１が取得したデータを記憶する。データには、複数の蛍光画像の各々について、蛍光画像と付加情報が含まれ、付加情報にはサンプル情報及び培養情報が含まれる。サンプル情報は、検査対象のサンプルに関する情報であり、例えば対象となる液体試料の種類（品種）や液体試料名、ノイズ成分情報（ノイズ成分やその種類）、微生物情報（危害微生物の分類（糸状菌、酵母、細菌）や生物種）、製造情報（工場、ライン、原料、製造日等）、保管情報等が含まれる。培養情報は、サンプルの培養に関する情報であり、培地情報、メンブレン情報（径又は孔径）、検出作業情報（試薬又はその種類、試薬浸漬時間、蛍光撮影時間等）が含まれる。
データ記憶部１２１は、データ取得部１１１が取得したデータを記憶する。データには、複数の蛍光画像の各々について、蛍光画像と付加情報が含まれ、付加情報にはサンプル情報及び培養情報が含まれる。サンプル情報は、検査対象のサンプルに関する情報であり、例えば対象となる液体試料の種類（品種）や液体試料名、ノイズ成分情報（ノイズ成分やその種類）、微生物情報（危害微生物の分類（糸状菌、酵母、細菌）や生物種）、製造情報（工場、ライン、原料、製造日等）、保管情報等が含まれる。培養情報は、サンプルの培養に関する情報であり、培地情報、メンブレン情報（径又は孔径）、検出作業情報（試薬又はその種類、試薬浸漬時間、蛍光撮影時間等）が含まれる。
【0055】
学習用データ記憶部１２２は、機械学習に用いられる学習用データを記憶する。学習用データは、各蛍光画像及びその付加情報に対して、微生物位置情報が追加されたデータである。
学習結果記憶部１２３は、学習用データに基づいて機械学習処理が行われた結果、生成された学習済みモデルを記憶する。
学習結果記憶部１２３は、学習用データに基づいて機械学習処理が行われた結果、生成された学習済みモデルを記憶する。
【0056】
処理部Ｐ１は、学習用データ生成部１３１、前処理部１３２、学習部１３３、表示制御部１３４を含んで構成される。
学習用データ生成部１３１は、学習用データをユーザに作成させるため、蛍光画像をディスプレイに表示させる。学習用データ生成部１３１は、表示された各蛍光画像に対するユーザ操作により、画素ごとに、微生物情報及び微生物位置情報を受け付ける。
学習用データ生成部１３１は、複数の蛍光画像の各々について、画素ごとに、蛍光画像の画素情報、微生物情報及び微生物位置情報を、学習用データとして生成する。ここで、画素情報とは、ＲＧＢ値であるが、輝度値又はグレースケール、２値であってもよい。学習用データ生成部１３１は、生成した学習用データを学習用データ記憶部１２２に記憶させる。
学習用データ生成部１３１は、学習用データをユーザに作成させるため、蛍光画像をディスプレイに表示させる。学習用データ生成部１３１は、表示された各蛍光画像に対するユーザ操作により、画素ごとに、微生物情報及び微生物位置情報を受け付ける。
学習用データ生成部１３１は、複数の蛍光画像の各々について、画素ごとに、蛍光画像の画素情報、微生物情報及び微生物位置情報を、学習用データとして生成する。ここで、画素情報とは、ＲＧＢ値であるが、輝度値又はグレースケール、２値であってもよい。学習用データ生成部１３１は、生成した学習用データを学習用データ記憶部１２２に記憶させる。
【0057】
前処理部１３２は、学習用データに対して、機械学習前の加工等の前処理を行う。例えば前処理部１３２は、メンブレン情報に基づいて、メンブレンフィルターの中心から、特定の距離以上の部分（縁部分）を除くノイズ除去処理を行う。メンブレンフィルターの境界近傍は、濾過処理時に液体が透過しておらず、理論上、危害微生物もノイズ成分も存在していない。この液体が透過していない領域の蛍光シグナルを危害微生物由来蛍光シグナルと判定されてしまうと偽陽性率が高くなる。このノイズ除去処理により、メンブレンフィルターの境界近傍を除去でき、検査装置２が危害微生物又はノイズ成分を誤判定してしまうことを防止できる。
【0058】
学習部１３３は、前処理部１３２が前処理を行った学習用データに基づいて、機械学習処理を行う。具体的には、学習部１３３は、学習モデルをＣＮＮ（畳み込みニューラルネットワーク）、蛍光画像の画素情報を目的変数、微生物情報及び微生物位置情報を説明変数として、機械学習処理を行う。学習部１３３は、生成した学習済みモデルを、学習結果記憶部１２３に記憶させる。機械学習処理の詳細については、後述する。
表示制御部１３４は、画面を生成するための画面データを生成する。表示制御部１３４は、生成した画面データを、入出力部１１２を介して出力することで、ユーザのディスプレイに画面を表示させる。
表示制御部１３４は、画面を生成するための画面データを生成する。表示制御部１３４は、生成した画面データを、入出力部１１２を介して出力することで、ユーザのディスプレイに画面を表示させる。
【0059】
＜学習用データの生成＞
図４は、本実施形態に係るユーザ操作の一例を示す概略図である。このユーザ操作には、学習用データをユーザに作成させるための操作であり、表示された各蛍光画像に対して、微生物位置情報を指定する操作が含まれる。この操作は、ユーザが、危害微生物をマーキングする操作である。
表示例Ｇ２１及びＧ２２は、それぞれＲｅｄツール及びＢｌｕｅツールで、蛍光画像に対して、危害微生物がマーキングされた場合の表示例である。表示例Ｇ２１中のマーキングは、ユーザが危害微生物（近傍も含まれる）を塗りつぶしたものである。表示例Ｇ２２中のマーキングは、ユーザが危害微生物を四角形で囲んだものである。
学習用データ生成部１３１は、表示例Ｇ２１又はＧ２１のようなマーキングが行われた場合に、マーキングの内部にて、輝度が閾値より高い画素を、対象の危害微生物が存在する位置（画素）として特定する。学習用データ生成部１３１は、特定した位置を微生物位置情報とし、蛍光画像の画素情報、微生物情報及び微生物位置情報を組とした学習用データを生成する。ここで、学習用データ生成部１３１は、微生物情報ごとにマーキングを受け付け、対象の微生物情報ごとに、当該微生物情報及び微生物位置情報を説明変数として学習用データを生成する。
図４は、本実施形態に係るユーザ操作の一例を示す概略図である。このユーザ操作には、学習用データをユーザに作成させるための操作であり、表示された各蛍光画像に対して、微生物位置情報を指定する操作が含まれる。この操作は、ユーザが、危害微生物をマーキングする操作である。
表示例Ｇ２１及びＧ２２は、それぞれＲｅｄツール及びＢｌｕｅツールで、蛍光画像に対して、危害微生物がマーキングされた場合の表示例である。表示例Ｇ２１中のマーキングは、ユーザが危害微生物（近傍も含まれる）を塗りつぶしたものである。表示例Ｇ２２中のマーキングは、ユーザが危害微生物を四角形で囲んだものである。
学習用データ生成部１３１は、表示例Ｇ２１又はＧ２１のようなマーキングが行われた場合に、マーキングの内部にて、輝度が閾値より高い画素を、対象の危害微生物が存在する位置（画素）として特定する。学習用データ生成部１３１は、特定した位置を微生物位置情報とし、蛍光画像の画素情報、微生物情報及び微生物位置情報を組とした学習用データを生成する。ここで、学習用データ生成部１３１は、微生物情報ごとにマーキングを受け付け、対象の微生物情報ごとに、当該微生物情報及び微生物位置情報を説明変数として学習用データを生成する。
【0060】
【0061】
（ステップＳ１０１）
データ取得部１１１は、複数の蛍光画像及び付加情報を取得する。その後、ステップＳ１０２の処理が行われる。
（ステップＳ１０２）
学習用データ生成部１３１は、ステップＳ１０１で取得された各蛍光画像及び付加情報を表示し、微生物情報ごとに、ユーザに危害微生物をマーキングさせる（図４参照）。学習用データ生成部１３１は、マーキングに基づいて微生物位置情報を特定し、蛍光画像の画素情報、微生物情報及び微生物位置情報を組とした学習用データを生成する。学習用データ生成部１３１は、生成した学習用データを、学習用データ記憶部１２２に記憶させる。その後、ステップＳ１０３の処理が行われる。
（ステップＳ１０３）
前処理部１３２は、ステップＳ１０２で記憶された学習用データに対してノイズ除去処理等の前処理を行う。その後、ステップＳ１０４の処理が行われる。
（ステップＳ１０４）
学習部１３３は、ステップＳ１０３で前処理が行われた学習用データに基づいて、械学習処理を行う。機械学習処理が行われた結果、学習済みモデルが生成される。
データ取得部１１１は、複数の蛍光画像及び付加情報を取得する。その後、ステップＳ１０２の処理が行われる。
（ステップＳ１０２）
学習用データ生成部１３１は、ステップＳ１０１で取得された各蛍光画像及び付加情報を表示し、微生物情報ごとに、ユーザに危害微生物をマーキングさせる（図４参照）。学習用データ生成部１３１は、マーキングに基づいて微生物位置情報を特定し、蛍光画像の画素情報、微生物情報及び微生物位置情報を組とした学習用データを生成する。学習用データ生成部１３１は、生成した学習用データを、学習用データ記憶部１２２に記憶させる。その後、ステップＳ１０３の処理が行われる。
（ステップＳ１０３）
前処理部１３２は、ステップＳ１０２で記憶された学習用データに対してノイズ除去処理等の前処理を行う。その後、ステップＳ１０４の処理が行われる。
（ステップＳ１０４）
学習部１３３は、ステップＳ１０３で前処理が行われた学習用データに基づいて、械学習処理を行う。機械学習処理が行われた結果、学習済みモデルが生成される。
【0062】
【0063】
入出力部Ｉ２は、画像取得部２１１、入力部２１２及び表示部２１３を含んで構成される。
画像取得部２１１は、撮像装置、通信又は外部記憶装置より、検査対象としての検査蛍光画像を取得する。
入力部２１２は、キーボード入力やポインティングデバイスにより、ユーザ操作による情報を受け付ける。
表示部２１３は、ディスプレイであり、検査結果の表示等を行う（図１参照）。
画像取得部２１１は、撮像装置、通信又は外部記憶装置より、検査対象としての検査蛍光画像を取得する。
入力部２１２は、キーボード入力やポインティングデバイスにより、ユーザ操作による情報を受け付ける。
表示部２１３は、ディスプレイであり、検査結果の表示等を行う（図１参照）。
【0064】
記憶部Ｍ２は、端末データ記憶部２２１、設定記憶部２２２、学習モデル記憶部２２３を含んで構成される。
端末データ記憶部２２１は、画像取得部２１１が取得した検査蛍光画像、入力部２１２が受け付けた情報、及び、検査部２３２の検査結果を記憶する。
設定記憶部２２２は、検査の設定情報を記憶する。設定情報には、例えば危害微生物の有無を判定するための閾値Ｔ１や良否判定に用いる閾値Ｔ２が含まれる。
学習モデル記憶部２２３は、学習装置１が生成した学習済みモデルを記憶する。
端末データ記憶部２２１は、画像取得部２１１が取得した検査蛍光画像、入力部２１２が受け付けた情報、及び、検査部２３２の検査結果を記憶する。
設定記憶部２２２は、検査の設定情報を記憶する。設定情報には、例えば危害微生物の有無を判定するための閾値Ｔ１や良否判定に用いる閾値Ｔ２が含まれる。
学習モデル記憶部２２３は、学習装置１が生成した学習済みモデルを記憶する。
【0065】
処理部Ｐ２は、設定部２３１、検査部２３２、表示制御部２３３を含んで構成される。
設定部２３１は、閾値Ｔ１や閾値Ｔ２等の設定情報を、ユーザ操作により入力させ、その設定情報を設定記憶部２２２に記憶させる。
設定部２３１は、閾値Ｔ１や閾値Ｔ２等の設定情報を、ユーザ操作により入力させ、その設定情報を設定記憶部２２２に記憶させる。
【0066】
検査部２３２は、入力された検査蛍光画像に対して、学習モデル記憶部２２３が記憶する学習済みモデルを用いて、危害微生物の有無を判定する（検査処理）。危害微生物の有無の判定結果には、検査蛍光画像の微生物位置情報、又は、良否判定の判定結果が含まれる。良否判定とは、検査部２３２が微生物位置情報に基づいて、危害微生物の総面積、又はコロニーの大きさ或いは数を算出し、算出した結果と閾値Ｔ２を用いて液体の良否（危害微生物の検出の有無）を判定することをいう。また、危害微生物の有無は、学習済みモデルから出力された微生物位置情報の確率と閾値Ｔ１に基づいて判定される。
表示制御部２３３は、表示部２１３に、危害微生物の有無の判定結果を含む検査結果等を表示させる。
表示制御部２３３は、表示部２１３に、危害微生物の有無の判定結果を含む検査結果等を表示させる。
【0067】
【0068】
（ステップＳ２０１）
画像取得部２１１は、検査対象としての検査蛍光画像を取得する。その後、ステップＳ２０１の処理が行われる。
（ステップＳ２０２）
検査部２３２は、ステップS２０１で取得された検査蛍光画像に対して、機械学習処理（図５のステップＳ１０４）により生成された学習済みモデルを用いて、危害微生物の有無を判定する。その後、ステップＳ２０３の処理が行われる。
（ステップＳ２０３）
表示制御部２３３は、ステップS２０２の危害微生物の有無の判定結果（検査結果）を、表示部２１３に表示させる。
画像取得部２１１は、検査対象としての検査蛍光画像を取得する。その後、ステップＳ２０１の処理が行われる。
（ステップＳ２０２）
検査部２３２は、ステップS２０１で取得された検査蛍光画像に対して、機械学習処理（図５のステップＳ１０４）により生成された学習済みモデルを用いて、危害微生物の有無を判定する。その後、ステップＳ２０３の処理が行われる。
（ステップＳ２０３）
表示制御部２３３は、ステップS２０２の危害微生物の有無の判定結果（検査結果）を、表示部２１３に表示させる。
【0069】
なお、検査装置２は、学習装置１の前処理部１３２を有してもよく、ステップＳ２０１の後、学習装置１と同様のノイズ除去処理を行ってもよい。
【0070】
＜機械学習処理及び検査処理について＞
以下、機械学習処理について説明する。
学習部１３３は、蛍光画像の画素値と、微生物情報及び微生物位置情報の学習データセットを用いて、機械学習処理を行う。具体的には、学習部１３３は、学習用のＣＮＮ（畳み込みニューラルネットワーク）に対して、前処理が行われた蛍光画像の画素値を、入力層に入力する入力変数とする。学習部１３３は、微生物情報及び微生物位置情報を、出力層から出力される出力変数として設定する。ここで、学習部１３３は、微生物位置情報が示す画素に対して、各微生物情報を表す値（例えば危害微生物Ａは１、危害微生物Ｂは２）を設定する。ただし、本発明はこれに限らず、学習部１３３は、微生物情報又は付加情報（例えば、品種）ごとに定められたＣＮＮに対して、機械学習処理を行ってもよい。例えば、学習装置１は、乳性飲料、乳性炭酸飲料、又は果汁飲料ごとに、学習用データを生成し、各学習用データを用いてＣＮＮに対して機械学習処理を行うことで、各学習済みモデルを生成する。検査装置２は、ユーザに選択された乳性飲料、乳性炭酸飲料、又は果汁飲料のいずれかに対応する学習済みモデルを用いて、危害微生物の有無を判定してもよい。品種によって被験液体試料の性質や夾雑物が異なり、また、品種によって存在する可能性がある危害微生物も異なるので、蛍光染色した結果の画像は、被験液体試料によって大きく異なる場合もある。この場合、検査システムＳでは、品種ごとに学習用データ及び学習済みモデルを生成することで、被験液体試料の種類ごとの学習済みモデルを用いて危害微生物の有無を判定することができ、この判定の精度を向上できる。
以下、機械学習処理について説明する。
学習部１３３は、蛍光画像の画素値と、微生物情報及び微生物位置情報の学習データセットを用いて、機械学習処理を行う。具体的には、学習部１３３は、学習用のＣＮＮ（畳み込みニューラルネットワーク）に対して、前処理が行われた蛍光画像の画素値を、入力層に入力する入力変数とする。学習部１３３は、微生物情報及び微生物位置情報を、出力層から出力される出力変数として設定する。ここで、学習部１３３は、微生物位置情報が示す画素に対して、各微生物情報を表す値（例えば危害微生物Ａは１、危害微生物Ｂは２）を設定する。ただし、本発明はこれに限らず、学習部１３３は、微生物情報又は付加情報（例えば、品種）ごとに定められたＣＮＮに対して、機械学習処理を行ってもよい。例えば、学習装置１は、乳性飲料、乳性炭酸飲料、又は果汁飲料ごとに、学習用データを生成し、各学習用データを用いてＣＮＮに対して機械学習処理を行うことで、各学習済みモデルを生成する。検査装置２は、ユーザに選択された乳性飲料、乳性炭酸飲料、又は果汁飲料のいずれかに対応する学習済みモデルを用いて、危害微生物の有無を判定してもよい。品種によって被験液体試料の性質や夾雑物が異なり、また、品種によって存在する可能性がある危害微生物も異なるので、蛍光染色した結果の画像は、被験液体試料によって大きく異なる場合もある。この場合、検査システムＳでは、品種ごとに学習用データ及び学習済みモデルを生成することで、被験液体試料の種類ごとの学習済みモデルを用いて危害微生物の有無を判定することができ、この判定の精度を向上できる。
【0071】
図８は、機械学習処理及び検査処理の一例を示す模式図である。
この模式図は、画像セグメンテーションニューラルネットワークのうち、ＳｅｇＮｅｔと呼ばれる手法を示す。
この模式図では、ニューラルネットワークＮ１とＮ２が対称になっている。
ニューラルネットワークＮ１では、畳み込み処理（演算）及びプーリング処理が繰り返される。畳み込み処理は、元の画像にフィルターをかけて特徴マップを出力する処理であり、プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。畳み込み処理には、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ等の正規化処理が含まれてもよい。
入力変数（画素値）に対して、最初に、畳み込み処理Ｃ１１、畳み込み処理Ｃ１２、プーリング処理Ｐ１が行われる。その後、畳み込み処理Ｃ２１、畳み込み処理Ｃ２２、プーリング処理Ｐ２、畳み込み処理Ｃ３１、畳み込み処理Ｃ３２、プーリング処理Ｐ３が行われる。これらの処理結果は、ニューラルネットワークＮ２に入力される。
この模式図は、画像セグメンテーションニューラルネットワークのうち、ＳｅｇＮｅｔと呼ばれる手法を示す。
この模式図では、ニューラルネットワークＮ１とＮ２が対称になっている。
ニューラルネットワークＮ１では、畳み込み処理（演算）及びプーリング処理が繰り返される。畳み込み処理は、元の画像にフィルターをかけて特徴マップを出力する処理であり、プーリング処理は、画像の特徴を残しながら画像を縮小する処理である。畳み込み処理には、Ｂａｔｃｈ Ｎｏｒｍａｌｉｚａｔｉｏｎ等の正規化処理が含まれてもよい。
入力変数（画素値）に対して、最初に、畳み込み処理Ｃ１１、畳み込み処理Ｃ１２、プーリング処理Ｐ１が行われる。その後、畳み込み処理Ｃ２１、畳み込み処理Ｃ２２、プーリング処理Ｐ２、畳み込み処理Ｃ３１、畳み込み処理Ｃ３２、プーリング処理Ｐ３が行われる。これらの処理結果は、ニューラルネットワークＮ２に入力される。
【0072】
ニューラルネットワークＮ２では、アップサンプリング処理及び（逆）畳み込み処理が繰り返される。アップサンプリング処理は、プーリング処理で縮小した画像を拡大する処理である。ニューラルネットワークＮ１の処理結果に対して、アップサンプリング処理Ｕ４、畳み込み処理Ｃ４１、畳み込み処理Ｃ４２が行われる。その後、アップサンプリング処理Ｕ５、畳み込み処理Ｃ５１、畳み込み処理Ｃ５２、アップサンプリング処理Ｕ６、畳み込み処理Ｃ６１、畳み込み処理Ｃ６２が行われる。
機械学習処理では、ソフトマックス処理ＳＭは行われずに、畳み込み処理Ｃ６２の出力と出力変数の誤差が算出され、誤差に基づいた逆伝搬処理が行われる。検査処理では、最後にソフトマックス処理ＳＭが行われる。
機械学習処理では、ソフトマックス処理ＳＭは行われずに、畳み込み処理Ｃ６２の出力と出力変数の誤差が算出され、誤差に基づいた逆伝搬処理が行われる。検査処理では、最後にソフトマックス処理ＳＭが行われる。
【0073】
なお、本発明のニューラルネットワークでは、畳み込み処理及びプーリング処理（アップサンプリング処理）は、他の回数行われてもよいし、一部が行われなくてもよい。また、本発明の機械学習処理及び検査処理では、別の手法が用いられても良く、例えば、ＦＣＮ（Ｆｕｌｌｉｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ）、Ｕ－Ｎｅｔ、ＰＳＰＮｅｔ（Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ）であってもよい。なお、機械学習処理及び検査処理では、活性化関数として、全ての層の活性化関数にシグモイド関数を設定してもよいし、各層の活性化関数は、ステップ関数、線形結合、ソフトサイン、ソフトプラス、ランプ関数、切断冪関数、多項式、絶対値、動径基底関数、ウェーブレット、ｍａｘｏｕｔ等、他の活性化関数が設定されてもよい。また、ある層の活性化関数は、他の層とは異なる種類であってもよい。
機械学習処理では、誤差関数として、二乗損失（平均二乗誤差）を設定されてもよいし、交差エントロピー、τ－分位損失、Ｈｕｂｅｒ損失、ε感度損失（ε許容誤差関数）が設定されてもよい。機械学習処理では、勾配を計算するアルゴリズム（勾配降下アルゴリズム）として、ＳＧＤ（確率的勾配降下）を設定する。ただし、本発明はこれに限らず、勾配降下アルゴリズムには、Ｍｏｍｅｎｔｕｍ（慣性項） ＳＤＧ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍ（Ａｄａｐｔｉｖｅ ｍｏｍｅｎｔ ｅｓｔｉｍａｔｉｏｎ）等が用いられてもよい。機械学習処理及び検査処理では、畳み込みニューラルネットワーク（ＣＮＮ）に限らず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等の他のニューラルネットワークが設定されてもよい。
機械学習処理では、誤差関数として、二乗損失（平均二乗誤差）を設定されてもよいし、交差エントロピー、τ－分位損失、Ｈｕｂｅｒ損失、ε感度損失（ε許容誤差関数）が設定されてもよい。機械学習処理では、勾配を計算するアルゴリズム（勾配降下アルゴリズム）として、ＳＧＤ（確率的勾配降下）を設定する。ただし、本発明はこれに限らず、勾配降下アルゴリズムには、Ｍｏｍｅｎｔｕｍ（慣性項） ＳＤＧ、ＡｄａＧｒａｄ、ＲＭＳｐｒｏｐ、ＡｄａＤｅｌｔａ、Ａｄａｍ（Ａｄａｐｔｉｖｅ ｍｏｍｅｎｔ ｅｓｔｉｍａｔｉｏｎ）等が用いられてもよい。機械学習処理及び検査処理では、畳み込みニューラルネットワーク（ＣＮＮ）に限らず、パーセプトロンのニューラルネットワーク、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等の他のニューラルネットワークが設定されてもよい。
【0074】
＜各装置のまとめ＞
以上のように、学習装置１は、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、危害微生物の蛍光画像上の位置を示す微生物位置情報と、を学習用データとして読み出し、学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する。検査装置２は、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、微生物の蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成された学習済みモデルを用いて、検査対象として入力された検査蛍光画像に対して、危害微生物の有無を判定する。
ここで、学習済みモデルは、液体中の危害微生物の検出に用いられる学習済みモデルであって、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、危害微生物の蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、検査対象として入力された検査蛍光画像に対して、危害微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデルである。
以上のように、学習装置１は、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、危害微生物の蛍光画像上の位置を示す微生物位置情報と、を学習用データとして読み出し、学習用データに基づいて機械学習を行うことで、学習済みモデルを生成する。検査装置２は、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、微生物の蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成された学習済みモデルを用いて、検査対象として入力された検査蛍光画像に対して、危害微生物の有無を判定する。
ここで、学習済みモデルは、液体中の危害微生物の検出に用いられる学習済みモデルであって、液体中の微生物を捕集して培養したメンブレンフィルターを、危害微生物の蛍光染色剤で蛍光染色した後に撮像して取得された蛍光画像と、危害微生物の蛍光画像上の位置を示す微生物位置情報と、に基づいて機械学習を行うことで生成され、検査対象として入力された検査蛍光画像に対して、危害微生物の有無を判定するよう、コンピュータを機能させるための学習済みモデルである。
【0075】
これにより、検査システムＳは、様々な成分が含まれている液体中の危害微生物を、迅速かつ高感度に検出することができる。
例えば、人の目で危害微生物を判定する場合、２日以上の培養をしないと判定できない場合がある。これに対して、検査システムＳでは、１日程度（例えば、３６時間以内）の培養であっても、危害微生物の有無を判定できる場合がある。換言すれば、検査システムＳでは、危害微生物のコロニーが人の目で危害微生物を精度良く判定できる大きさよりも小さい（例えば、１ｍｍ以下）であっても、危害微生物の有無を判定できる場合がある。
例えば、人の目で危害微生物を判定する場合、２日以上の培養をしないと判定できない場合がある。これに対して、検査システムＳでは、１日程度（例えば、３６時間以内）の培養であっても、危害微生物の有無を判定できる場合がある。換言すれば、検査システムＳでは、危害微生物のコロニーが人の目で危害微生物を精度良く判定できる大きさよりも小さい（例えば、１ｍｍ以下）であっても、危害微生物の有無を判定できる場合がある。
【0076】
また、学習装置１は、蛍光画像からメンブレンフィルターの縁部分を取り除く。学習装置１は、メンブレンフィルターの縁部分が取り除かれた蛍光画像及び微生物位置情報に基づいて機械学習を行う。これにより、検査システムＳは、このノイズ除去処理により、メンブレンフィルターの境界近傍を除去でき、検査装置２が危害微生物又はノイズ成分を誤判定してしまうことを防止できる。
【0077】
また、学習装置１は、蛍光染色に用いた蛍光染色剤の励起光を照射して撮像された蛍光画像に基づいて機械学習を行う。検査装置２は、蛍光染色に用いた蛍光染色剤の励起光を照射して撮像された蛍光画像に対して、危害微生物の有無の判定結果（検査結果）を行う。これにより、危害微生物が蛍光染色されるので、危害微生物と、自家発光する夾雑物等のノイズ成分を判別し易くなり、検査システムＳは、人の目で危害微生物の有無を判定する場合と比較して培養時間が少なくても、精度良く危害微生物の有無を判定できる。
【0078】
また、平板培地が、ブドウ糖、ペプトン、及びポテトエキスを含有しており、ペプトン濃度が２～５ｇ／Ｌである。好ましくは、平板培地が、ブドウ糖、ペプトン、ポテトエキス、及び寒天のみからなる。これらにより、ペプトン濃度がノイズの低減と微生物の生育促進の両方を達成でき、検査システムＳは、人の目で危害微生物の有無を判定する場合と比較して培養時間が少なくても、精度良く危害微生物の有無を判定できる。
【実施例0079】
次に実施例等を示して本発明をさらに詳細に説明するが、本発明は以下の実施例等に限定されるものではない。
【0080】
［参考例１］
乳性非炭酸飲料中の危害微生物を検出するための微生物検出用学習済モデルを作成した。学習用データを生成するために、被験液体試料と同種の乳性非炭酸飲料に、耐熱性カビB. fulvaを、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験液体試料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
乳性非炭酸飲料中の危害微生物を検出するための微生物検出用学習済モデルを作成した。学習用データを生成するために、被験液体試料と同種の乳性非炭酸飲料に、耐熱性カビB. fulvaを、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験液体試料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0081】
＜培養培地の最適化＞
まず、耐熱性カビ接種飲料をメンブレンフィルター（「MF-Millipore（AABP02500）」、メルク社製）に濾過した後、当該メンブレンフィルターを平板培地表面に貼付して、２５℃又は３０℃で、２４時間培養した。平板培地は、メンブレンフィルターに捕集された耐熱性カビが２４時間で充分に生育するように、窒素源の豊富なサブロー・ブドウ糖液体培地（「ダイゴ」、日局試験用、日本製薬社製）（以下、「サブロー培地」ということがある）に寒天を加えた平板培地を用いた。
培養後に平板培地から剥がしたメンブレンフィルターに、ＣＦＤＡ染色試薬（製品名「EzFluo Reagent Kit」、メルク社製）を、製造者による推奨量添加し、３０℃、５分間インキュベートして染色した。蛍光染色したメンブレンフィルターの緑色蛍光画像を、蛍光撮像装置（製品名「TM-LABplus」、槌屋社製）を用いて撮像した。
この結果、取得された緑色蛍光画像は、メンブレン全体の異常発光や画像中心部のコロニー白飛びが発生しており、画像解析には適さなかった。
まず、耐熱性カビ接種飲料をメンブレンフィルター（「MF-Millipore（AABP02500）」、メルク社製）に濾過した後、当該メンブレンフィルターを平板培地表面に貼付して、２５℃又は３０℃で、２４時間培養した。平板培地は、メンブレンフィルターに捕集された耐熱性カビが２４時間で充分に生育するように、窒素源の豊富なサブロー・ブドウ糖液体培地（「ダイゴ」、日局試験用、日本製薬社製）（以下、「サブロー培地」ということがある）に寒天を加えた平板培地を用いた。
培養後に平板培地から剥がしたメンブレンフィルターに、ＣＦＤＡ染色試薬（製品名「EzFluo Reagent Kit」、メルク社製）を、製造者による推奨量添加し、３０℃、５分間インキュベートして染色した。蛍光染色したメンブレンフィルターの緑色蛍光画像を、蛍光撮像装置（製品名「TM-LABplus」、槌屋社製）を用いて撮像した。
この結果、取得された緑色蛍光画像は、メンブレン全体の異常発光や画像中心部のコロニー白飛びが発生しており、画像解析には適さなかった。
【0082】
蛍光画像の異常発光や白飛びは、培地由来の豊富なアミノ酸の自家蛍光が原因と推測された。そこで、自家蛍光成分が少ないＰＤＡ寒天培地（日水製薬社製）に、様々な量のサブロー培地を添加した平板培地を用いた以外は同様にして、耐熱性カビ接種飲料とブランク飲料の蛍光画像をそれぞれ取得した。この結果、ＰＤＡ寒天培地（日水製薬社製）に７．５ｇ／Ｌのサブロー培地を混合した平板培地（ポテトエキス ４．０ｇ／Ｌ、カゼイン／肉ペプトン ２．５ｇ／Ｌ、ブドウ糖 ２５．０ｇ／Ｌ、寒天 １５．０ｇ／Ｌ）（以下、「ＰＳ２５平板培地」という）が、耐熱性カビの生育が十分に早く、かつ異常発光や白飛びのない、画像解析に適した蛍光画像が得られた。
ＰＳ２５平板培地で培養したメンブレンフィルターの蛍光画像を図９に、ＰＤＡ寒天培地で培養したメンブレンフィルターの蛍光画像を図１０に、それぞれ示す。図９及び１０中、左が２５℃で培養したメンブレンフィルターの蛍光画像であり、右が３０℃で培養したメンブレンフィルターの蛍光画像である。図中、下段は上段の蛍光画像中の蛍光シグナルが観察された部分の拡大画像である。耐熱性カビB. fulvaの至適培養温度は２５～３５℃であるため、３０℃で培養した場合の蛍光画像には耐熱性カビのコロニーが多数確認されたものの、２５℃で培養した場合の蛍光画像には耐熱性カビのコロニーはほとんど確認されず、当該蛍光画像中の蛍光シグナルはノイズと推定された。
ＰＳ２５平板培地で培養したメンブレンフィルターの蛍光画像を図９に、ＰＤＡ寒天培地で培養したメンブレンフィルターの蛍光画像を図１０に、それぞれ示す。図９及び１０中、左が２５℃で培養したメンブレンフィルターの蛍光画像であり、右が３０℃で培養したメンブレンフィルターの蛍光画像である。図中、下段は上段の蛍光画像中の蛍光シグナルが観察された部分の拡大画像である。耐熱性カビB. fulvaの至適培養温度は２５～３５℃であるため、３０℃で培養した場合の蛍光画像には耐熱性カビのコロニーが多数確認されたものの、２５℃で培養した場合の蛍光画像には耐熱性カビのコロニーはほとんど確認されず、当該蛍光画像中の蛍光シグナルはノイズと推定された。
【0083】
［実施例１］
２種類の市販の乳性非炭酸飲料に、それぞれ、４種類の耐熱性カビ（B. fulva、A. fischeri、T. flavus、H. avellanea）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験飲料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
２種類の市販の乳性非炭酸飲料に、それぞれ、４種類の耐熱性カビ（B. fulva、A. fischeri、T. flavus、H. avellanea）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験飲料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0084】
＜微生物検出用学習済モデルの作成＞
培養をＰＳ２５平板培地で３０℃で行った以外は参考例１と同様にして、耐熱性カビ接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。耐熱性カビ接種飲料からは３２枚のメンブレンフィルターを調製し、ブランク飲料からは２０枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された耐熱性カビ接種飲料の蛍光画像３２枚のうち、１６枚を学習用データに用い、残り１６枚を、深層学習によって生成したアルゴリズムを搭載した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。同様に、取得されたブランク飲料の蛍光画像２０枚のうち、１０枚を学習用データに用い、残り１０枚を検出用データとして用いた。
培養をＰＳ２５平板培地で３０℃で行った以外は参考例１と同様にして、耐熱性カビ接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。耐熱性カビ接種飲料からは３２枚のメンブレンフィルターを調製し、ブランク飲料からは２０枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された耐熱性カビ接種飲料の蛍光画像３２枚のうち、１６枚を学習用データに用い、残り１６枚を、深層学習によって生成したアルゴリズムを搭載した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。同様に、取得されたブランク飲料の蛍光画像２０枚のうち、１０枚を学習用データに用い、残り１０枚を検出用データとして用いた。
【0085】
学習用データの作成のために、耐熱性カビ接種飲料のメンブレンフィルターは、蛍光撮影後に再度平板培地に貼付して、３０℃で１２～２４時間継続培養を行い、目視確認できるまで十分に生育した微生物コロニーの位置を確認した。目視確認した微生物コロニーの位置データを蛍光検出結果にフィードバックし、メンブレンフィルター上の微生物由来蛍光シグナルを特定することによって、学習用データの信頼性を向上させた。深層学習用のソフトウェアとしては、「ViDi（VisionPro Deep Learning）」（コグネックス社製）を用いた。学習用ツールは、画像中の欠点を検出し良否判定を行うＲｅｄツール又は画像中の特定の対象物を検出し計測するＢｌｕｅツールを用いた。
【0086】
深層学習により生成された微生物検出用学習済モデルを用いて、検出用データとした蛍光画像中の耐熱性カビ由来蛍光シグナルをノイズと区別して特定し、耐熱性カビを検出した。検出された耐熱性カビの数から、下記式で表される回収率（％）を算出した。危害微生物の検出において十分な感度を達成するために、回収率は５０～１２０％であることが好ましく、６０～１２０％であることがより好ましく、７０～１２０％であることがさらに好ましい。
【0087】
［回収率（％）］＝［微生物検出用学習済モデルを用いて検出された危害微生物数］／［培養法を用いて検出された危害微生物数］×１００
【0088】
各学習ツールで深層学習させた場合の、学習に使用した耐熱性カビのコロニー数（学習量）の測定結果を図１１（Ａ）に、回収率（％）を図１１（Ｂ）に、それぞれ示す。この結果、Ｒｅｄツールを用いて深層学習させて生成した微生物検出用学習済モデルを用いた場合は、回収率が１００％近くであり、Ｂｌｕｅツールを用いて深層学習させて生成した微生物検出用学習済モデルを用いた場合よりも良好であった。また、下記式で示す偽陽性率は、どちらの学習ツールを用いた学習済モデルでも、０％（０／１０枚）であった。なお、下記式中、「良品蛍光画像数」は、ブランク飲料を濾過したメンブレンフィルターの蛍光画像の数である。危害微生物の検出において十分な精度を達成するために、偽陽性率は０％であることが好ましい。
【0089】
［偽陽性率（％）］＝［微生物検出用学習済モデルを用いた場合に、偽陽性と判定された蛍光画像数］／［供試した良品蛍光画像数］×１００
【0090】
［実施例２］
Ｒｅｄツールを用いた深層学習により生成した微生物検出用学習済モデルを用いて危害微生物を検出する場合において、深層学習に供するコロニー数の生成された微生物検出用学習済モデルの危害微生物の検出精度に対する影響を調べた。
Ｒｅｄツールを用いた深層学習により生成した微生物検出用学習済モデルを用いて危害微生物を検出する場合において、深層学習に供するコロニー数の生成された微生物検出用学習済モデルの危害微生物の検出精度に対する影響を調べた。
【0091】
５種類の市販の乳性非炭酸飲料に、それぞれ、４種類の耐熱性カビ（B. fulva、A. fischeri、T. flavus、H. avellanea）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験飲料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0092】
実施例１と同様にして、耐熱性カビ接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。耐熱性カビ接種飲料からは４０枚のメンブレンフィルターを調製し、ブランク飲料からは５０枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された耐熱性カビ接種飲料の蛍光画像４０枚のうち、２０枚を学習用データに用い、残り２０枚を深層学習によって生成した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。同様に、取得されたブランク飲料の蛍光画像５０枚のうち、２５枚を学習用データに用い、残り２５枚を検出用データとして用いた。
【0093】
学習用ツールをＲｅｄツールとして用いた以外は実施例１と同様にして、取得された学習用データから、微生物検出用学習済モデルを生成し、当該微生物検出用学習済モデルを用いて検出用データとした蛍光画像中の耐熱性カビを検出した。コロニー学習量が４０、８０、１２０、２４４、又は３２４ｃｆｕの場合の回収率（％）と偽陽性率（％）を測定した。測定結果を図１２に示す。回収率が高く、かつ偽陽性率が小さくなることから、コロニー学習量は３００個前後が好ましいことがわかった。
【0094】
コロニー学習量を３２４ｃｆｕとして生成した微生物検出用学習済モデルを用いて、乳酸菌の死菌体が多く含まれている市販の乳酸菌飲料中の耐熱性カビを検出した。市販の乳酸菌飲料に、それぞれ、２種類の耐熱性カビ（B. fulva、A. fischeri）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用い、当該乳酸菌飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0095】
各蛍光画像中の蛍光シグナルのうち、耐熱性カビ由来蛍光シグナルを、微生物検出用学習済モデルを用いて検出した。結果を図１３に示す。ブランク飲料の蛍光画像には、乳酸菌の死菌体から発される自家蛍光によるノイズが多数存在していたが、耐熱性カビ（B. fulva、A. fischeri）を接種した飲料の蛍光画像において、コロニーを特異的に検出することができた。各蛍光画像について、耐熱性カビが検出されなかった蛍光画像を０、耐熱性カビが検出された蛍光画像を１．０とする基準の判定スコアを算出したところ、ブランク飲料は０．２６、B. fulvaを接種した耐熱性カビ接種飲料は０．９９、A. fischeriを接種した耐熱性カビ接種飲料は１．００であった。ブランク飲料の判定スコアと、耐熱性カビを含む耐熱性カビ接種飲料の判定スコアとの差が大きいほど、使用した微生物検出用学習済モデルの耐熱性カビの検出精度が高いことを意味する。本実施例では、ブランク飲料の蛍光画像とカビ接種飲料の蛍光画像との良否判定スコアの差が大きいため、深層学習によって生成した微生物検出用学習済モデルを用いることによって、被験飲料中にノイズ成分が多い場合でも、危害微生物の有無を明確に判定することが可能である。
【0096】
［実施例３］
深層学習の際に、良品学習を行って生成した微生物検出用学習済モデルと、良品学習を行わずに生成した微生物検出用学習済モデルの、危害微生物の検出精度を比較した。
深層学習の際に、良品学習を行って生成した微生物検出用学習済モデルと、良品学習を行わずに生成した微生物検出用学習済モデルの、危害微生物の検出精度を比較した。
【0097】
５種類の市販の乳性非炭酸飲料に、それぞれ、４種類の耐熱性カビ（B. fulva、A. fischeri、T. flavus、H. avellanea）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験飲料と同種の乳性非炭酸飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0098】
実施例１と同様にして、耐熱性カビ接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。耐熱性カビ接種飲料からは４０枚のメンブレンフィルターを調製し、ブランク飲料からは５０枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された耐熱性カビ接種飲料の蛍光画像４０枚のうち、２０枚を学習用データに用い、残り２０枚を深層学習によって生成した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。良品学習有りの場合、取得されたブランク飲料の蛍光画像５０枚のうち、２５枚を学習用データに用い、残り２５枚を検出用データとして用いた。良品学習なしの場合、取得されたブランク飲料の蛍光画像５０枚のうち、２５枚を検出用データとして用い、学習用データとしては使用しなかった。
【0099】
実施例２と同様にして、取得された学習用データから、微生物検出用学習済モデルを生成し、当該微生物検出用学習済モデルを用いて検出用データとした蛍光画像中の耐熱性カビを検出した。良品学習をして生成された微生物検出用学習済モデルを用いた場合と、良品学習をせずに生成された微生物検出用学習済モデルを用いた場合の回収率（％）と偽陽性率（％）を測定した。測定結果を図１４に示す。微生物検出用学習済モデルの生成時の良品学習の有無は、回収率に対する影響は小さい（図１４（Ａ））が、良品学習をして生成した微生物検出用学習済モデルのほうが、偽陽性率が低く、耐熱性カビの検出精度非常に良好であった。
【0100】
［実施例４］
学習ツールとしてＲｅｄツールを用いて、コロニー学習量を３００個とし、良品学習を行って深層学習を行うことにより生成した微生物検出用学習済モデルの性能を、微生物迅速検出システムキット（製品名「MilliflexRapid」、メルク社製）の性能と比較した。
学習ツールとしてＲｅｄツールを用いて、コロニー学習量を３００個とし、良品学習を行って深層学習を行うことにより生成した微生物検出用学習済モデルの性能を、微生物迅速検出システムキット（製品名「MilliflexRapid」、メルク社製）の性能と比較した。
【0101】
５種類の市販の乳性飲料に、それぞれ、３種類の耐熱性カビ（B. fulva、A. fischeri、T. flavus）を、濾過に使用するメンブレンフィルター１枚当たり２０ｃｆｕとなるように添加したものを、耐熱性カビ接種飲料として用いた。また、被験飲料と同種の乳性飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0102】
コロニー学習量を３００個とし、良品学習を行って深層学習を行う以外は実施例３と同様にして微生物検出用学習済モデルを作成した。作成した微生物検出用学習済モデルを用いた以外は実施例３と同様にして、各耐熱性カビ接種飲料の蛍光画像から耐熱性カビを検出し、回収率（％）を測定した。また、比較対象として、市販の微生物迅速検出システムキット「MilliflexRapid」を用いて同様にして耐熱性カビを検出し、回収率（％）を測定した。なお、MilliflexRapidを用いて検出した微生物の回収率（％）は、以下、「ＭＦＸ回収率（％）」という。
【0103】
各耐熱性カビの回収率（％）（５品種の乳性飲料の平均値）の測定結果を図１５に示す。図１５（Ａ）は本実施例で作成した微生物検出用学習済モデルを用いて検出した回収率（％）の結果であり、図１５（Ｂ）は「MilliflexRapid」を用いて検出したＭＦＸ回収率（％）の結果である。本実施例で作成した微生物検出用学習済モデルを用いた場合の回収率は、いずれの耐熱性カビでも７０％を超えており、市販の微生物迅速検出システムキットと遜色はなく、良好であった。
【0104】
［実施例５］
学習ツールとしてＲｅｄツールを用いて深層学習を行うことにより生成した微生物検出用学習済モデルの性能を、微生物迅速検出システムキット（製品名「MilliflexRapid」、メルク社製）の性能と比較した。
学習ツールとしてＲｅｄツールを用いて深層学習を行うことにより生成した微生物検出用学習済モデルの性能を、微生物迅速検出システムキット（製品名「MilliflexRapid」、メルク社製）の性能と比較した。
【0105】
３種類の市販の乳性炭酸飲料に、それぞれ、５種類の酵母（S. cerevisiae、Z. fermentati、C. krusei、T. delbrueckii、Z. bailii）を、濾過に使用するメンブレンフィルター１枚当たり３０ｃｆｕとなるように添加したものを、酵母接種飲料として用いた。また、被験飲料と同種の乳性飲料であって、生菌が含まれていないことが確認された飲料を、ブランク飲料として用いた。
【0106】
＜微生物検出用学習済モデルの作成＞
培養をＰＳ２５平板培地で３０℃、２４時間で行い、ＣＦＤＡ染色を３０℃、１０分間インキュベートして行い、コロニー学習量を９００個とした以外は実施例１と同様にして、酵母接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。酵母接種飲料とブランク飲料からそれぞれ４５枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された各飲料の蛍光画像４５枚のうち、３０枚を学習用データに用い、残り１５枚を、深層学習によって生成したアルゴリズムを搭載した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。
培養をＰＳ２５平板培地で３０℃、２４時間で行い、ＣＦＤＡ染色を３０℃、１０分間インキュベートして行い、コロニー学習量を９００個とした以外は実施例１と同様にして、酵母接種飲料とブランク飲料を濾過したメンブレンフィルターの蛍光画像を取得した。酵母接種飲料とブランク飲料からそれぞれ４５枚のメンブレンフィルターを調製して、各メンブレンフィルターの蛍光画像をそれぞれ取得した。取得された各飲料の蛍光画像４５枚のうち、３０枚を学習用データに用い、残り１５枚を、深層学習によって生成したアルゴリズムを搭載した微生物検出用学習済モデルを用いた検証に使うための検出用データとして用いた。
【0107】
学習用データの作成のために、酵母接種飲料のメンブレンフィルターは、蛍光撮影後に再度平板培地に貼付して、３０℃で１２～２４時間継続培養を行い、目視確認できるまで十分に生育した微生物コロニーの位置を確認した。目視確認した微生物コロニーの位置データを蛍光検出結果にフィードバックし、メンブレンフィルター上の微生物由来蛍光シグナルを特定することによって、学習用データの信頼性を向上させた。
【0108】
作成した微生物検出用学習済モデルを用いた以外は実施例３と同様にして、各酵母接種飲料の蛍光画像から酵母を検出し、回収率（％）を測定した。また、比較対象として、市販の微生物迅速検出システムキット「MilliflexRapid」を用いて同様にして酵母を検出し、ＭＦＸ回収率（％）を測定した。
【0109】
各酵母の回収率（％）（３品種の乳性炭酸飲料の平均値）の測定結果を図１６に示す。図１６（Ａ）は本実施例で作成した微生物検出用学習済モデルを用いて検出した回収率（％）の結果であり、図１６（Ｂ）は「MilliflexRapid」を用いて検出したＭＦＸ回収率（％）の結果である。本実施例で作成した微生物検出用学習済モデルを用いた場合の回収率は、いずれの酵母でも９０％を超えており、市販の微生物迅速検出システムキットと遜色はなく、良好であった。
【0110】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【0111】
例えば、学習用データ生成部１３１は、同一のメンブレンフィルターについて異なる培養時間の蛍光画像を表示させ、ユーザに、培養時間が長い蛍光画像にマーキングをさせてもよい。この場合、学習用データ生成部１３１は、培養時間が短い蛍光画像において、マーキングされた位置と同じ位置にマーキングを表示させてもよいし、当該位置を微生物位置情報としてもよい。ここで、培養時間が短い蛍光画像は、学習用データとして用いられる。また、学習用データ生成部１３１は、付加情報に基づいて、培養時間が異なるが、同一のメンブレンフィルターの蛍光画像であることを識別する。
このように、学習装置１は、培養時間が長く、人の目で危害微生物の有無を判定できる或いは判定し易い蛍光画像を用いて、ユーザに微生物位置情報を特定させる。これにより、学習装置１は、人の目で危害微生物の有無を判定できない或いは判定し難く、培養時間が短い蛍光画像上でも、精度良く微生物位置情報を特定させることができる。換言すれば、学習に用いる蛍光画像の微生物について、将来（より長い時間、培養した後）の蛍光画像の微生物の状態を観察することで、微生物位置情報を特定させることができる。
このように、学習装置１は、培養時間が長く、人の目で危害微生物の有無を判定できる或いは判定し易い蛍光画像を用いて、ユーザに微生物位置情報を特定させる。これにより、学習装置１は、人の目で危害微生物の有無を判定できない或いは判定し難く、培養時間が短い蛍光画像上でも、精度良く微生物位置情報を特定させることができる。換言すれば、学習に用いる蛍光画像の微生物について、将来（より長い時間、培養した後）の蛍光画像の微生物の状態を観察することで、微生物位置情報を特定させることができる。
【0112】
なお、上述した実施形態における学習装置１又は検査装置２の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、学習装置１又は検査装置２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における学習装置１及び検査装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。学習装置１及び検査装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態における学習装置１及び検査装置２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。学習装置１及び検査装置２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0113】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0114】
１・・・学習装置、Ｉ１・・・入出力部、Ｍ１・・・記憶部、Ｐ１・・・処理部、１１１・・・データ取得部、１１２・・・入出力部、１２１・・・データ記憶部、１２２・・・学習用データ記憶部、１２３・・・学習結果記憶部、１３１・・・学習用データ生成部、１３２・・・前処理部、１３３・・・学習部、１３４・・・表示制御部、２・・・検査装置、Ｉ２・・・入出力部、Ｍ２・・・記憶部、Ｐ２・・・処理部Ｐ２、２１１・・・画像取得部、２１２・・・入力部、２１３・・・表示部、２２１・・・端末データ記憶部、２２２・・・設定記憶部、２２３・・・学習モデル記憶部、２３１・・・設定部、２３２・・・検査部、２３３・・・表示制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】