特許 7037438 コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-08

(45)【発行日】2022-03-16

(54)【発明の名称】コロニー検出装置、コロニー検出方法、及びコロニー検出プログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20220309BHJP

   C12Q 1/06 20060101ALI20220309BHJP

   G06T 7/00 20170101ALI20220309BHJP

   G06T 7/60 20170101ALI20220309BHJP

【ＦＩ】

C12M1/34 D

C12Q1/06

G06T7/00 350C

G06T7/00 630

G06T7/60 110

【請求項の数】 13

(21)【出願番号】P 2018104759

(22)【出願日】2018-05-31

(65)【公開番号】P2019208377

(43)【公開日】2019-12-12

【審査請求日】2020-08-05

【新規性喪失の例外の表示】特許法第３０条第２項適用 ウェブサイトへの掲載 掲載日：平成３０年５月２２日、掲載アドレス等： ｈｔｔｐｓ：／／ｗｗｗ．ｎｉｋｋｅｉ．ｃｏｍ／ａｒｔｉｃｌｅ／ＤＧＸＭＺ０３０８１７７５０Ｓ８Ａ５２０Ｃ１ＴＪ２０００／

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(73)【特許権者】

【識別番号】000226862

【氏名又は名称】日水製薬株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】特許業務法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】西田 康二

(72)【発明者】

【氏名】東 春水

(72)【発明者】

【氏名】山吹 学

(72)【発明者】

【氏名】水落 慎吾

(72)【発明者】

【氏名】戸松 聖子

(72)【発明者】

【氏名】寺田 慎一郎

【審査官】新留 豊

(56)【参考文献】

【文献】国際公開第２０１５／０８０００１（ＷＯ，Ａ１）

【文献】特開２０１４－０３９５１９（ＪＰ，Ａ）

【文献】特表２０１８－５０３９０６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｃ１２Ｍ １／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

ＣＡｐｌｕｓ／ＲＥＧＩＳＴＲＹ（ＳＴＮ）

(57)【特許請求の範囲】

【請求項1】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、
コロニーを検出する対象となる培地画像を取得する培地画像取得部と、
取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出する領域抽出部と、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部と、
前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、
を備え、
前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部と、
前記培地画像に対応する培地の培地種別を判別する培地判別部をさらに備え、
前記コロニー判別部は、前記判別された培地種別に適した学習モデルを前記モデル記憶部から取得して、コロニーの有無を判別する
コロニー検出装置。

【請求項2】

前記算出されたコロニーの総数に関する情報を出力する出力部をさらに備える
請求項１に記載のコロニー検出装置。

【請求項3】

前記学習モデルは、前記コロニー候補領域におけるコロニー数を判別可能なモデルであり、前記コロニー判別部は、前記コロニー候補領域におけるコロニーの有無及びコロニーがある場合のコロニー数を判別する
請求項１又は請求項２に記載のコロニー検出装置。

【請求項4】

前記培地画像には、前記培地種別を特定可能な情報を示すラベルの画像が含まれており、
前記培地判別部は、前記培地画像から前記ラベルの情報を識別し、前記培地種別を特定する
請求項１に記載のコロニー検出装置。

【請求項5】

前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする
請求項１から請求項４のいずれか一項に記載のコロニー検出装置。

【請求項6】

前記培地画像取得部は、ネットワークを介して携帯端末から培地画像を取得する
請求項１から請求項５のいずれか一項に記載のコロニー検出装置。

【請求項7】

前記学習モデルとして、ニューラルネットワークモデルを用いる請求項１から請求項６のいずれか一項に記載のコロニー検出装置。

【請求項8】

前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである
請求項７に記載のコロニー検出装置。

【請求項9】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、
コロニーを検出する対象となる培地画像を取得する培地画像取得部と、
取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出する領域抽出部と、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部と、
前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、
を備え、
前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする
コロニー検出装置。

【請求項10】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置によるコロニー検出方法であって、
コロニーを検出する対象となる培地画像を取得しと、
取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出し、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別し、
前記判別の結果に基づいて、前記培地画像中のコロニーの総数を算出し、
前記コロニー候補領域にコロニーがあるか否かを判別する際において、前記培地画像に対応する培地の培地種別を判別し、前記判別された培地種別に適した学習モデルを、前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部から取得して、コロニーの有無を判別する
コロニー検出方法。

【請求項11】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置を構成するコンピュータに実行させるコロニー検出プログラムであって、
前記コロニー検出プログラムは、
前記コンピュータを
コロニーを検出する対象となる培地画像を取得する培地画像取得部と、
取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出する領域抽出部と、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部と、
前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、して機能させ、
更に、
前記コロニーの有無を判別するための複数の学習モデルを記憶するモデル記憶部と、
前記培地画像に対応する培地の培地種別を判別する培地判別部として機能させ、
前記コロニー判別部は、前記判別された培地種別に適した学習モデルを前記モデル記憶部から取得して、コロニーの有無を判別する
コロニー検出プログラム。

【請求項12】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置によるコロニー検出方法であって、
コロニーを検出する対象となる培地画像を取得しと、
取得された前記培地画像から前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出し、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別し、
前記判別の結果に基づいて、前記培地画像中のコロニーの総数を算出し、
前記コロニー候補領域を抽出する際に、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする
コロニー検出方法。

【請求項13】

微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置を構成するコンピュータに実行させるコロニー検出プログラムであって、
前記コロニー検出プログラムは、
前記コンピュータを
コロニーを検出する対象となる培地画像を取得する培地画像取得部と、
取得された前記培地画像から、前記コロニーの有無を検出対象とする領域であるコロニー候補領域を抽出する領域抽出部と、
前記コロニー候補領域における前記コロニーの有無を判別するための学習モデルを用いて、前記コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部と、
前記コロニー判別部による判別結果に基づいて、前記培地画像中のコロニーの総数を算出する算出部と、して機能させ、
前記領域抽出部は、取得した培地画像をグレースケール化し、２値化処理を実行し、前景・背景の分離処理を行い、輝度に基づいて領域を分割し、分割して得られた領域をコロニー候補領域とする
コロニー検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、微生物由来のコロニーを検出する技術に関する。

【背景技術】

【0002】

食品の製造、加工、調理などに携わる企業は、安全な食品を消費者に提供するために、常に徹底した品質管理が求められている。そのため、原料をはじめ製造加工、調理、保存、流通、販売などから最終製品に至るあらゆる工程に目を配り、客観性のある科学的な手法で検査が行われている（非特許文献１参照）。

【0003】

品質管理における検査としては、例えば、微生物検査の中でも最も基本的な技術である培養法が行われる。培養法は、目的とする微生物を発育させるために必要な栄養素、ｐＨや浸透圧を調整するための塩類、胆汁酸塩などの選択剤、糖類、アミノ酸類、ｐＨ指示薬や発色酵素基質などの分離鑑別剤、固化させるための寒天などにより構成されている培地に検体を供試し、この培地に形成されたコロニー数を測定することで、菌数を得る方法である。培養法により得られる菌数は、あらゆる食品並びにそれらを取り扱う環境材料（容器、まな板など）が検査対象となり、食品の微生物汚染の程度を示す最も有力な指標のひとつである。また、菌数によると、食品の腐敗や変敗の有無、食中毒発症の危険性なども、総合的に推定することができる（非特許文献２参照）。

【0004】

コロニー数を測定する技術としては、従来の目視によってコロニー数を測定する方法だけではなく、画像処理などによって機械的にコロニー数を測定する技術が知られている。画像処理などによって機械的にコロニー数を測定する技術としては、単色のＣＣＤカメラを利用した装置を用いる技術（例えば、特許文献１参照）や、イメージスキャナなど静止画像化装置を用いる技術（例えば、特許文献２参照）が知られている。また、他の技術としては、培地画像データのうち所定の条件を具備するピクセルをコロニーピクセルとして特定して統計的基準を算出し、特定したコロニーピクセルに基づいてコロニーを検出する技術が、知られている（例えば、特許文献３参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－３４５７５０号公報

【文献】特開２０１７－０３５０４２号公報

【文献】特開２０１６－２６５００号公報

【非特許文献】

【0006】

【文献】日本食品微生物学雑誌３１（２）６４－６９（２０１４）

【文献】食品衛生検査指針微生物編２０１５、公益社団法人日本食品衛生協会 ２０１５年３月３１日

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１や特許文献２に開示されている技術では、コロニーの判別の基準値として、サービスを提供する側又はユーザが事前に最適な閾値を設定する必要があった。そのため、コロニー判別のための固定的な閾値を事前に設定する必要があり、遺伝子変異や検体に含まれる夾雑物の影響により、コロニーの性状が変化した場合や、非典型的な形状をしたコロニーを計測する際、画像ごとに、このようなコロニーを考慮した閾値を手動で再設定する必要があった。また、特許文献３にあるような統計的基準では適切なコロニーを検出及び計測できる基準値となるとは限らないため、多様な撮像条件やコロニー形状の画像に対し、精度よくコロニーを計測できる保証はない。

【0008】

本発明は、上述の課題を解決するためになされたものであって、その目的は、培養後の培地を撮像した画像データから容易且つ適切にコロニーを検出することのできる技術を提供することにある。

【課題を解決するための手段】

【0009】

上記目的を達成するため、一観点に係るコロニー検出装置は、微生物の培養後の培地の画像である培地画像から微生物由来のコロニーを検出するコロニー検出装置であって、コロニーを検出する対象となる培地画像を取得する培地画像取得部と、取得された培地画像から、コロニーの有無を検出対象とする、コロニー候補領域を抽出する領域抽出部と、コロニー候補領域におけるコロニーの有無を判別するためのニューラルネットワークモデルを用いて、コロニー候補領域にコロニーがあるか否かを判別するコロニー判別部と、コロニー判別部による判別結果に基づいて、培地画像中のコロニーの総数を算出する算出部と、を備える。

【発明の効果】

【0010】

本発明によれば、画像データから容易かつ適切にコロニーを検出することができる。

【図面の簡単な説明】

【0011】

【図1】一実施形態に係るコロニーカウントシステムの全体構成図である。

【図2】一実施形態に係る学習済みモデル対応テーブルの構成図である。

【図3】一実施形態に係る閾値対応テーブルの構成図である。

【図4】一実施形態に係る乾式簡易培地の模式図である。

【図5】一実施形態に係るコロニーカウント処理のフローチャートである。

【図6】一実施形態に係る候補領域抽出処理のフローチャートである。

【図7】一実施形態に係る候補領域抽出処理における画像の状態を説明する図である。

【図8】一実施形態に係る学習済みモデル生成処理のフローチャートである。

【図9】一実施形態に係るモデルの学習及び候補領域の判別を説明する図である。

【図10】一実施形態に係る学習済みモデル生成処理及びコロニー数の計数を説明する図である。

【発明を実施するための形態】

【0012】

実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0013】

図１は、一実施形態に係るコロニーカウントシステムの全体構成図である。

【0014】

コロニーカウントシステム１は、微生物を培養させた微生物測定用の培地を撮像し、その培地の画像（培地画像）におけるコロニーをカウントするためのシステムである。コロニーカウントシステム１は、培地画像を撮像／管理するための１台以上の携帯端末１０と、培地画像を入力／管理するための１台以上の固定端末２０と、ネットワーク３０と、培地画像を取得して画像解析処理を行うコロニー検出装置の一例としての画像解析サーバ４０とを有する。なお、本実施形態では、コロニーカウントシステム１では、可搬性のある携帯端末１０と、固定端末２０とを有する例を示しているが、携帯端末１０又は固定端末２０のいずれか一方のみを有するようにしてもよい。

【0015】

ネットワーク３０は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークである。

【0016】

携帯端末１０は、静止画像などの撮像機能（以下、カメラ機能という。）を有する端末であり、例えば、スマートフォン、デジタルカメラ、タブレット、携帯用電話機などである。携帯端末１０は、画像データ生成部１１と、アプリ制御部１２と、データ送受信部１３とを有する。

【0017】

画像データ生成部１１は、所定の対象物を含む範囲を撮像するカメラ機能を有しており、カメラ機能により所定の対象物を含む範囲の画像（画像データ）を生成する。本実施形態では、画像データ生成部１１は、携帯端末１０の利用者（ユーザ）の操作に従って、後述する乾式簡易培地８０１の画像（培地画像）を生成する。アプリ制御部１２は、ユーザ・アカウントの登録・削除、画像データのプレビュー、画像データの属性設定、コロニーのカウント対象とする培地画像の指定、培地画像に対するコロニーのカウント結果の表示等を行う。データ送受信部１３は、ネットワーク３０を介して他の装置（例えば、画像解析サーバ４０等）との通信を行う。本実施形態では、データ送受信部１３は、カウント対象の培地画像の画像解析サーバ４０への送信や、画像解析サーバ４０からのカウント結果の受信等を行う。

【0018】

なお、本実施形態では、携帯端末１０を、通信機能を有する端末としているが、本発明はこれに限らず、通信機能を有さない端末であってもよい。この場合は、携帯端末１０に装着された記録媒体（メモリーカードなど）に、撮像された培地画像を格納し、記録媒体に格納された培地画像を、他の通信機能を有する装置によって読み取り、画像解析サーバ４０に送信するようにしてもよい。

【0019】

固定端末２０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等であり、画像データ入力部２１と、アプリ制御部２２と、データ送受信部２３とを有する。

【0020】

画像データ入力部２１は、メモリカード、ＵＳＢメモリ、ＣＤ－ＲＯＭ等の記録媒体から、記録媒体に格納されている培地画像を入力する。なお、画像データ入力部２１がカメラ機能を有し、そのカメラ機能により培地画像を撮像して入力するようにしてもよく、また、図示しない画像読取装置により読み取られた培地画像を入力するようにしてもよい。アプリ制御部２２は、ユーザ・アカウントの登録・削除、画像データのプレビュー、画像データの属性設定、コロニーのカウント対象とする培地画像の指定、培地画像に対するコロニーのカウント結果の表示等を行う。データ送受信部２３は、ネットワーク３０を介して他の装置（例えば、画像解析サーバ４０等）との通信を行う。本実施形態では、データ送受信部２３は、カウント対象の培地画像の画像解析サーバ４０への送信や、画像解析サーバ４０からのカウント結果の受信等を行う。

【0021】

画像解析サーバ４０は、携帯端末１０または固定端末２０とネットワーク３０を介して連動し、培地画像のコロニーをカウントする処理を実行するためのサーバ装置である。画像解析サーバ４０は、プロセッサ（ＣＰＵ）や、メモリ等を備える。画像解析サーバ４０は、培地画像取得部の一例としてのデータ送受信部４１と、領域抽出部、コロニー判別部、算出部、出力部、及び培地判別部の一例としての画像データ解析部４２と、学習済みモデル生成部４３と、モデル記憶部の一例としての記憶部４４とを備える。

【0022】

データ送受信部４１は、ネットワーク３０を介して他の装置（例えば、携帯端末１０、固定端末２０等）との通信を行う。本実施形態では、データ送受信部４１は、携帯端末１０又は固定端末２０からカウント対象の培地画像を受信し、携帯端末１０又は固定端末２０にカウント結果を送信する。

【0023】

画像データ解析部４２は、受信した培地画像を解析してコロニーをカウントする処理を実行する。学習済みモデル生成部４３は、教師用の画像データ（学習用データ）に基づいて、学習済みモデルを作成する。

【0024】

記憶部４４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等であり、画像データ４５と、学習済みモデル対応テーブル４６と、閾値対応テーブル４７と、１以上のコロニー判別用学習済みモデル４８と、製品情報判別用学習済みモデル４９とを備える。なお、記憶部４４は、図示しないプロセッサにより実行されることにより、データ送受信部４１と、画像データ解析部４２と、学習済みモデル生成部４３とを構成するための図示しないプログラム（コロニー検出プログラム）を記憶する。画像データ４５は、コロニー判別用に受信した培地画像や、学習用データを含む。

【0025】

コロニー判別用学習済みモデル４８は、培地画像から抽出される部分画像（コロニー候補画像）に対してコロニーの有無等を判別するためのニューラルネットワークモデルである。コロニー判別用学習済みモデル４８は、ＣＮＮ（畳み込みニューラルネットワークモデル）であってもよい。コロニー判別用学習済みモデル４８は、一つであってもよいが、本実施形態では、コロニー判別を行う対象を複数種類の培地としているので、コロニー判別の精度向上の観点から、コロニー判別用学習済みモデル４８を培地種別ごと（培地の製品種別ごと）に備えるようにしている。なお、培地が対象とする菌の種別ごと、コロニーの色調ごとにコロニー判別用学習済みモデル４８を備えるようにしてもよい。

【0026】

製品情報判別用学習済みモデル４９は、培地画像の後述する製品ラベル８０５の画像から製品情報を識別するためのニューラルネットワークモデルである。

【0027】

図２は、一実施形態に係る学習済みモデル対応テーブルの構成図である。

【0028】

学習済みモデル対応テーブル４６は、培地の製品種別ごとのコロニー判別時に用いるコロニー判別用学習済みモデルを管理するテーブルであり、各エントリは、製品種別４６ａと、学習済みモデル４６ｂとのフィールドを含む。製品種別４６ａには、培地の製品種別が格納される。学習済みモデル４６ｂには、エントリに対応する製品種別の培地の培地画像に対してコロニー判別を行う際に使用すべきコロニー判別用学習済みモデル４８の識別情報が格納される。この学習済みモデル対応テーブル４６によると、培地の製品種別に適したコロニー判別用学習済みモデルを特定することができる。

【0029】

図３は、一実施形態に係る閾値対応テーブルの構成図である。

【0030】

閾値対応テーブル４７は、後述する候補領域抽出処理の前景・背景分離や所定の面積以上の領域をコロニー候補領域とする処理において使用する閾値を管理するテーブルであり、各エントリは、製品種別４７ａと、閾値Ｘ４７ｂと、閾値Ｙ４７ｃとのフィールドを含む。製品種別４７ａには、培地の製品種別が格納される。閾値Ｘ４７ｂには、エントリに対応する製品種別の培地の培地画像に対して前景・背景分離する場合の閾値が格納される。閾値Ｙ４７ｃには、所定の面積以上の領域をコロニー候補領域とする場合の閾値が格納される。この閾値対応テーブル４７によると、培地の製品種別に適した閾値を特定することができる。

【0031】

次に、培地画像を撮像する対象となる培地について説明する。

【0032】

図４は、一実施形態に係る乾式簡易培地の模式図である。

【0033】

乾式簡易培地８０１は、基材８０２と、基材８０２上に配置された円形部８０３と、製品ラベル８０５とを備える。円形部８０３には、微生物を培養するための培地層８０６が納められる。培地層８０６の培地は、少なくとも微生物の発育に必要な成分を含み、寒天やゲル化剤などを含有する組成であって、微生物を培養し、そのコロニーを単離させることが可能なものであればよい。なお、乾式簡易培地８０１は、未使用状態において室温保管可能であり、冷蔵設備の必要がないので、保管面では好ましい。乾式簡易培地８０１としては、例えば、コンパクトドライ（登録商標）がある。なお、コロニーカウント処理の対象とする培地画像の基となる培地としては、上記した乾式簡易培地８０１に限られず、コロニーを単離しうる培地であればよく、フイルム状培地、シート状培地などの簡易培地または平板培地などの寒天培地を用いてもよい。

【0034】

微生物を培養する際には、検体そのまま又は検体を希釈した溶液が培地層８０６に供試され、円形部８０３の上部にカバーシート８０４が被せられ、その後所定の条件下で培養されることとなる。検体としては、例えば、飲食物、環境検体、臨床検体などがあるが、これに限定されない。本実施形態では、培養が行われた後の乾式簡易培地８０１を撮像した培地画像がコロニーの判定を行うために使用される。

【0035】

製品ラベル８０５は、基材８０２の円形部８０３の図面下側に配置される。なお、製品ラベル８０５の配置場所は、コロニーカウント処理に影響がなく、撮像された培地画像から認識可能な場所であればどこでもよい。製品ラベル８０５には、乾式簡易培地８０１の種類を識別することのできる製品情報８０７が表示される。製品情報８０７としては、培地の種別、培地において生成されるコロニーの種別、培地の製造元、製造に関する情報など培地（製品）に関する様々な情報、又は、これら情報を識別可能な情報（製品識別情報）がある。本実施形態では、製品情報８０７として、少なくとも培地（製品）の種別（製品種別）に関する情報が表示されているものとする。製品情報８０７は、英数字や２次元コード、３次元コードなど読み取り可能な形態であればよい。

【0036】

次に、コロニーカウントシステム１における処理動作について説明する。

【0037】

図５は、一実施形態に係るコロニーカウント処理のフローチャートである。

【0038】

まず、画像解析サーバ４０のデータ送受信部４１は、携帯端末１０（又は固定端末２０）から培養後の乾式簡易培地８０１の画像データ（培地画像データ）を受信（入力）し、記憶部４４に格納する（Ｓ２０１）。次に、画像データ解析部４２は、乾式簡易培地８０１の製品ラベル８０５の製品情報８０７を判別するための製品情報判別用学習済みモデル４９をロードし（Ｓ２０２）、製品情報判別用学習済みモデル４９を用いて製品情報８０７の判別を実施する（Ｓ２０３）。ここで、製品情報判別用学習済みモデル４９を用いて製品情報８０７を判別するようにしているが、これに代えて、ＯＣＲ（光学文字認識）やバーコード読み取り技術を用いて製品情報８０７を判別するようにしてもよい。

【0039】

次に、画像データ解析部４２は、学習済みモデル対応テーブル４６を参照し、ステップＳ２０３で判別した製品情報８０７（製品種別）に対応するコロニー判別用学習済みモデル４８を特定し、特定したコロニー判別用学習済みモデル４８をロードする（Ｓ２０４）。

【0040】

次に、画像データ解析部４２は、ステップＳ２０１で取得した培地画像を対象として、候補領域抽出処理（図６参照）を実行することにより、コロニー候補領域を抽出する（Ｓ２０５）。

【0041】

次に、画像データ解析部４２は、ステップＳ２０５において抽出したコロニー候補領域のそれぞれを処理対象として、ループＡの処理（Ｓ２０６，Ｓ２０７）を実行する。ここで、図５の説明において、処理対象とするコロニー候補領域を対象コロニー候補領域ということとする。

【0042】

ループＡにおいては、画像データ解析部４２は、コロニー判別用学習モデル４８を用いて、対象コロニー候補領域に対して付与する識別クラスのラベルを判別する（Ｓ２０６）。ここで、識別クラスとは、対象コロニー候補領域にコロニーがあるか、ないか（例えば背景など）、また、対象コロニー候補領域にコロニーがある場合、対象コロニー候補領域に含まれるコロニーの数はいくつであるかを識別するためのクラスである。例えば、コロニーでないことを示すクラス００、コロニーが１つあることを示すクラス０１、コロニーが２つあることを示すクラス０２、コロニーが３つあることを示すクラス０３等がある。なお、より細分化された単位でコロニー数を計測したい場合は、コロニーを計測したい区分に応じて識別クラスを設定することができる。例えば対象コロニー候補領域にどの菌種（例えばコロニーの色で特定）がいくつあるかを識別する場合は、菌Ａのコロニーが１つで菌Ｂのコロニーが０の場合はクラス１０、菌Ａのコロニーが１つで菌Ｂのコロニーが１つ場合はクラス１１のように設定すればよい。

【0043】

次いで、画像データ解析部４２は、識別クラスのラベルに基づいて、培地画像の中の処理対象とした全てのコロニー候補領域に含まれるコロニー数を計数する（Ｓ２０７）。なお、菌種などの区分ごとにカウントする識別情報を用いている場合は、その区分ごとにコロニーを計測してもよい。

【0044】

対象コロニー候補領域に対してループＡの処理を実行した場合には、次のコロニー候補領域を処理対象として、ループＡの処理を実行し、すべてのコロニー候補領域に対して、ループＡの処理を実行した場合には、ループＡの処理を抜けて、コロニーカウント処理を終了する。

【0045】

このコロニーカウント処理が終了した場合には、画像データ解析部４２は、データ送受信部４１を介して、培地画像の送信元の端末に対して、コロニーカウント処理により計数されたコロニーの数、すなわち、培地画像に含まれるコロニーの総数を送信（出力）する。なお、コロニー数を受信した端末においては、例えば、図示しない表示装置に、コロニー数を表示させるようにしてもよい。なお、菌種ごとにコロニー数を計測している場合は、菌種ごとのコロニー数を表示してもよい。

【0046】

次に、候補領域抽出処理（Ｓ２０５）について詳細に説明する。

【0047】

図６は、一実施形態に係る候補領域抽出処理のフローチャートである。図７は、一実施形態に係る候補領域抽出処理における画像の状態を説明する図である。

【0048】

候補領域抽出処理においては、後工程（Ｓ２０６）においてコロニー識別用学習済みモデル４８を用いてコロニーの判別を行うために、培地画像中の特徴のある領域をなるだけ漏らさずに、抽出することを目的としている。

【0049】

まず、画像データ解析部４２は、乾式簡易培地８０１の培地画像（培地画像データ）に対して、グレースケール変換を行う（Ｓ３０１)。このステップによると、例えば、図７（ａ）に示すオリジナルの培地画像（オリジナル画像：図示制限により白黒画像となっているが、実際にはカラー画像）が、図７（ｂ）に示すようなグレースケール画像に変換される。

【0050】

次に、画像データ解析部４２は、グレースケール画像に対して２値化処理（例えば、適応的閾値処理)を行う（Ｓ３０２）。ここで、適応的閾値処理とは、撮像条件により画像領域で異なる光源環境となるような画像に対して有効な２値化処理であり、様々な光源環境で撮像される可能性がある培地画像に対して、有効な手段となる。この処理によると、据置型の装置のような均一な条件で撮像可能な撮像装置によって撮像された培地画像でなくても、精度よくコロニーの判別を行うことができる。なお、２値化処理として、適応的閾値処理を用いた例を示したが、本発明はこれに限られず、画像データに含まれる光源によるムラを緩和できる２値化処理であれば、他の処理であってもよい。ここで、このステップによると、例えば、図７（ｂ）に示すグレースケール画像が、図７（ｃ）に示すような２値化処理が行われた画像（２値化画像という）に変換される。

【0051】

次に、画像データ解析部４２は、２値化画像に対し、ガウシアンフィルタを一例とする平滑化フィルタを用いて、ノイズ除去処理を適用する（Ｓ３０３）。

【0052】

次に、画像データ解析部４２は、２値化画像に対して、膨張処理を施すことにより、２値化画像に現れている線分をなめらかにし、さらに、前景・背景分離処理により、膨張させた線分によって形成される領域の中から、特定の領域を抽出する（Ｓ３０４）。この処理は、例えば、膨張させた線分により囲まれる領域について、領域中の重心からの距離が、閾値対応テーブル４７の製品種別に対応する閾値（閾値Ｘ４７ｂの閾値）より小さい領域を削除し、重心からの距離が閾値以上の領域を抽出するものである。この処理により、２値化画像に現れた培地の模様などといった、後景、すなわちコロニーではない可能性の高い領域を効率的に取り除くことができる。このステップによると、図７（ｃ）に示す２値化画像が、図７（ｄ）に示すような画像（前景画像という）となる。前景画像を２値化画像と比較すると、背景(培地の模様や培地の基材)となる構成が画像から取り除かれていることがわかる。

【0053】

次に、画像データ解析部４２は、前景画像に対して、Ｗａｔｅｒｓｈｅｄ法を適用して、隣接しているコロニーのエリアを分離する（Ｓ３０５）。ここで、Ｗａｔｅｒｓｈｅｄ法とは、画像の輝度を用いて、オブジェクトの輪郭を判定するためのアルゴリズムである。なお、後工程（Ｓ２０６）において、コロニー識別用学習済みモデル４８を用いて、コロニーを判別する処理において、１つのコロニー候補領域において、複数個のコロニーが含まれることを想定したクラス分類を行うため、ステップＳ３０５においては、全ての隣接したコロニーの領域を詳細に分離する必要性はない。なお、コロニーのエリアを分割する方法として、Ｗａｔｅｒｓｈｅｄ法を挙げたが、複数のコロニーのエリアを分離することのできる処理方法であれば、他の方法であってもよい。このステップによると、図７（ｄ）に示す前景画像が、図７（ｅ）に示すような画像に変換される。

【0054】

次に、画像データ解析部４２は、相対的にその面積が非常に小さい領域はコロニーではないという経験値に基づいて、所定の閾値以上の面積の領域のみをコロニー候補領域とする（Ｓ３０６）。ここで、使用する閾値は、閾値対応テーブル４７の製品種別に対応する閾値Ｙ４７ｃの閾値としてもよい。このように、製品種別に対応する閾値を使用することにより、その培地の画像に適した処理を行うことができ、より適切なコロニー候補領域を抽出することができる。

【0055】

候補領域抽出処理では、コロニーらしき領域を抽出するのではなく、コロニーではない可能性の高い領域を取り除くことに主眼に置いた処理となっており、コロニーの可能性のある領域については積極的に残して、学習済みモデルによるコロニー判別処理に引き継ぎ、コロニーの検出精度を高めることができる。

【0056】

次に、コロニー判別用学習済みモデル４８を生成する学習済みモデル生成処理について説明する。

【0057】

コロニー判別処理Ｓ２０６では、あらかじめ所定数以上の学習用データによって学習された学習済みモデルによって行われるため、コロニー判別用学習済みモデル４８を生成することが必要である。

【0058】

図８は、一実施形態に係る学習済みモデル生成処理のフローチャートである。図８は、一つの学習済みモデルを生成するための処理であり、複数種類の学習済みモデルを生成する場合には、異なる学習用データを用いて図８の処理を実行することとなる。

【0059】

学習済みモデル生成処理は、各学習用データのそれぞれを対象に、ループＢの処理（Ｓ７０１～Ｓ７０５）を実行することにより、各学習用データによる学習が完了する都度その結果が、生成中の学習済みモデルにフィードバックされることとなる。

【0060】

まず、画像解析サーバ４０の学習済みモデル生成部４３が、作業者による、学習用データと、学習用データに対応する識別クラスのラベルとの入力を受け付ける（Ｓ７０１）。ここで、学習用データとは、学習済みモデルが対象とする培地画像において、コロニー候補領域としてとりうる形態を想定して用意された画像であり、例えば、実際の培地画像から切り取った、コロニーの領域や、非コロニーの領域の画像である。様々な形態（典型的な画像、非典型的な画像、コロニー数が所定数以下のそれぞれの個数の画像、複数の菌種のコロニーが組み合わさった画像等）の学習用データを学習することにより、コロニー個数、異なる菌種別の組み合わせ等により、コロニーの形状が非典型的な形状を有している場合であっても、非典型的形状に何個のコロニーが含まれているかを判定することが可能となる。なお、様々な照明環境およびコロニー形態を考慮して識別クラスを設計するには、様々な照明環境およびコロニーの形態に対応する十分な数の学習用データを準備しておくことが肝要である。

【0061】

ここで、学習済みモデルで識別するクラス（すなわち、学習用データとして用意するクラス）としては、例えば、以下のクラスが考えられる。
・コロニーの大きさや形状に差異はあるが、コロニー数は、１つとしてカウントされる画像データで構成されるクラス
・１つの領域中に複数個のコロニーがある画像データで構成されるクラス
・１つの領域中に異なる色（異なる菌種）のコロニーがある画像データで構成されるクラス
・培地背景やその他コロニー領域ではない画像データで構成されるクラス

【0062】

学習済みモデル生成部４３は、入力された学習用データに、畳み込み処理において任意の数のフィルタを適用し、フィルタ適用された画像データごとに特徴量データを抽出する（Ｓ７０２）。次に、学習済みモデル生成部４３は、抽出された特徴量データの次元数を削減するためにプーリング処理を実施する（Ｓ７０３）。次に、学習済みモデル生成部４３は、ニューラルネットワークモデルに、Ｓ７０３で得られた特徴量データを投入し、学習用データに対応する識別クラスのラベルの予測値を出力する（Ｓ７０４）。次に、学習済みモデル生成部４３は、Ｓ７０４で出力された識別クラスのラベルの予測値と、Ｓ７０１で入力された正解の識別クラスのラベルとを比較し、学習済みモデル中のニューラルネットワークモデルにおけるパラメータのズレを最小化するように更新する（Ｓ７０５）。

【0063】

ループＢ（Ｓ７０１～Ｓ７０５）の処理を学習用データ数分繰り返し実行し、学習済みモデル生成処理を終了する。この学習済みモデル生成処理を実行することにより、コロニー判別用学習済みモデル４８が生成されることとなる。なお、製品種別の異なる培地画像用の学習済みモデルを生成する場合には、その製品種別の培地画像についての学習データを用意して、上記同様な処理を実行すればよい。

【0064】

図９は、一実施形態に係るモデルの学習及び候補領域の判別を説明する図である。

【0065】

図９に示すコロニー判別用学習済みモデル４８は、背景画像である（コロニーが無い）クラス（背景クラス：クラス００）と、コロニーが１つであるクラス（コロニー個数１クラス：クラス０１）と、コロニーが２つであるクラス（コロニー個数２クラス：クラス０２）と、コロニーが３つであるクラス（コロニー個数３クラス：クラス０３）とのいずれかに識別することのできる学習済みモデルである。このコロニー判別用学習済みモデル４８は、図９（ａ）のクラス分類の画像サンプルに示すような画像を学習用データとし、その学習用データに対応する識別クラスのラベルとして入力されて学習されて生成されている。なお、コロニー判別用学習済みモデル４８は、各クラスに対応する多様な撮像条件および態様の所定数以上の学習用データによって学習されて生成されている。

【0066】

図９（ａ）に示すコロニー候補領域の画像（コロニー無し）が処理対象である場合には、このコロニー判別用学習済みモデル４８によると、背景画像であると判別されて、このコロニー候補領域に対して、背景クラスの識別クラス（クラス００）が付与される。また、図９（ｂ）に示すコロニー候補領域の画像(コロニーの個数が１つ)が処理対象である場合には、このコロニー判別用学習済みモデル４８によると、コロニーが１つ存在すると判別されて、コロニーが１つ存在するコロニー個数１クラスの識別クラス（クラス０１）が付与される。また、図９（ｃ）に示すコロニー候補領域の画像（コロニーの個数が２つ）が処理対象である場合には、コロニー判別用学習済みモデル４８によると、コロニーが２つ存在すると判別されて、コロニーが２つ存在するコロニー個数２クラスの識別クラス（クラス０２）が付与される。

【0067】

なお、図９においては、比較的シンプルな画像に対する識別例を示したが、複数の菌についてのコロニー個数の組み合わせに対応する識別クラスとする場合には、図９に示す識別クラスよりも多くなる場合がある。

【0068】

図１０は、一実施形態に係る学習済みモデルの生成処理及びコロニー数の計数を説明する図である。

【0069】

図１０（ａ）は、培地画像に、赤色のコロニー（赤コロニー）を形成する菌（菌種Ａ）と、青色のコロニー（青コロニー）を形成する菌（菌種Ｂ）とがある場合の例を示している。このように、菌種Ａと、菌種Ｂとがある場合には、コロニー判別用学習済みモデル４８における識別クラスとして、（ａ１）に示すような赤コロニーが１つであるクラスと、（ａ２）に示すような青コロニーが1つであるクラスと、（ａ３）に示すような赤コロニーが１つ且つ青コロニーが１つであるクラス等を含むようにする。すなわち、これらのクラスに対応する学習用データを多数用意して学習をさせておく。

【0070】

このコロニー判別用学習済みモデルによると、コロニー候補領域が、赤コロニーが１つであるクラスと、青コロニーが1つであるクラスと、赤コロニーが１つ且つ青コロニーが１つであるクラスとのいずれかを判別できる。このように判別された場合には、例えば、画像データ解析部４２は、図５のコロニーカウント処理のＳ２０７においては、各色のコロニーごとに、コロニーの計数を行う。このようにすると、個々の菌種ごとのコロニーを区別して適切にカウントすることができる。

【0071】

図１０（ｂ）は、培地画像に、大きいサイズのコロニーと、小さいサイズのコロニーとが共存している場合の例を示している。このように、大きさサイズのコロニーと、小さいサイズのコロニーとが共存する場合に、コロニー判別用学習済みモデル４８は、（ｂ１）に示すような大きいサイズのコロニーが１つである場合と、（ｂ２）に示すような小さいサイズのコロニーが1つである場合とで、同一のコロニーが１つのクラスに判別されるような学習済みモデルとする。すなわち、コロニーが１つのクラスに対応する学習用データとして、コロニーが１つである大きさの異なる学習用データを多数用意して学習をさせておく。

【0072】

このコロニー判別用学習済みモデルによると、コロニー候補領域が、大きいサイズのコロニーが１つであっても、小さいサイズのコロニーが１つであっても、同一のコロニーが１つであるクラスとして判別できる。このように判別された場合には、例えば、画像データ解析部４２は、図５のコロニーカウント処理のＳ２０７においては、コロニーの大きさに関わらずコロニーの計数を行う。このようにすると、コロニーの大きさに関わらず、コロニーの個数を適切にカウントすることができる。

【0073】

図１０（ｃ）は、様々な要因で培地に着色ムラが生じた場合の例である。これに対して、コロニー判別用学習済みモデル４８として、（ｃ１）に示すような着色領域であってもコロニーが１つである場合に、コロニーが１つであるクラスに判別されるとともに、（ｃ２）に示すような着色領域で試液残渣などの非コロニーである場合に、非コロニーであるクラスに判別される学習済みモデルを生成する。すなわち、コロニーが１つのクラスに対応する学習用データとして、着色領域においてコロニーが１つである学習用データを用意して学習をさせておくとともに、非コロニーであるクラスに対応する学習用データとして、着色領域において非コロニーである学習用データを用意して学習させておく。

【0074】

このコロニー判別用学習済みモデルによると、コロニー候補領域が、着色領域であってコロニーが１つである場合には、コロニーが１つであるクラスに判別でき、着色領域であって非コロニーである場合には、非コロニーであるクラスに判別できる。このように判別された場合には、例えば、画像データ解析部４２は、図５のコロニーカウント処理のＳ２０７においては、着色領域にあるコロニーについても適切にカウントすることができる。

【0075】

図１０（ｄ）は、培地画像に、高密度にコロニーが存在する例を示している。このように、高密度にコロニーが存在している場合において、コロニー判別用学習済みモデル４８として、（ｄ１）に示すようなコロニーが３つである場合に、コロニーが３つであるクラスに判別されるようにするとともに、（ｄ２）に示すようなコロニーが４つである場合に、コロニーが４つであるクラスに判別されるような学習済みモデルを生成する。すなわち、コロニーが３つのクラスに対応する学習用データとして、コロニーが３つである学習用データを用意して学習をさせておくとともに、コロニーが４つのクラスに対応する学習用データとして、コロニーが４つである学習用データを用意して学習をさせておく。

【0076】

このコロニー判別用学習済みモデル４８によると、コロニー候補領域が、コロニーが４つである場合には、コロニーが４つであるクラスに判別でき、コロニーが３つである場合には、コロニーが３つであるクラスに判別できる。このように判別された場合には、例えば、画像データ解析部４２は、図５のコロニーカウント処理のＳ２０７においては、各クラスにおけるコロニーの数を加算することにより、コロニーの数を適切にカウントすることができる。

【0077】

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。

【0078】

例えば、上記実施形態では、画像解析サーバ４０において、コロニー判別用学習済みモデル４８及び製品情報判別用学習済みモデル４９を生成する例を示していたが、本発明はこれに限られず、画像解析サーバ４０と異なる情報処理装置により同様な処理により、コロニー判別用学習済みモデル４８又は製品情報判別用学習済みモデル４９の少なくとも一方を生成し、生成した学習済みモデルを、画像解析サーバ４０に格納するようにしてもよい。

【0079】

また、上記実施形態において、プロセッサが行っていた処理の一部又は全部を、ハードウェア回路で行うようにしてもよい。また、上記実施形態におけるプログラムは、プログラムソースからインストールされてよい。プログラムソースは、プログラム配布サーバ又は記憶メディア（例えば可搬型の記憶メディア）であってもよい。

【符号の説明】

【0080】

１…コロニーカウントシステム、１０…携帯端末、２０…固定端末、３０…ネットワーク、４０…画像解析サーバ、４１…データ送受信部、４２…画像データ解析部、４３…学習済みモデル生成部、４４…記憶部、４５…画像データ、４６…学習済みモデル対応テーブル、４７…閾値対応テーブル、４８…コロニー判別用学習済みモデル、４９…製品情報判別用学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】