(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】プログラム、情報処理装置、情報処理方法及びモデル生成方法
(51)【国際特許分類】
C12M 1/34 20060101AFI20231128BHJP
G06T 7/00 20170101ALI20231128BHJP
【ＦＩ】
C12M1/34 B
G06T7/00 350B
【請求項の数】
13
(21)【出願番号】P 2022537906
(86)(22)【出願日】2021-07-07
(86)【国際出願番号】 JP2021025540
(87)【国際公開番号】W WO2022019110
(87)【国際公開日】2022-01-27
【審査請求日】2022-11-22
(31)【優先権主張番号】P 2020124559
(32)【優先日】2020-07-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】500479164
【氏名又は名称】株式会社シバサキ
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】今井 正
(72)【発明者】
【氏名】阿部 佳織
【審査官】西 賢二
(56)【参考文献】
【文献】国際公開第２０１９／１８０８３３（ＷＯ，Ａ１）
【文献】国際公開第２０１９／１８０８４８（ＷＯ，Ａ１）
【文献】特開２０１９－２０８３７７（ＪＰ，Ａ）
【文献】特開２０１６－１５９４４（ＪＰ，Ａ）
【文献】特開２０２０－９３０７６（ＪＰ，Ａ）
【文献】特開２０２０－１３２０６（ＪＰ，Ａ）
【文献】国際公開第２０２０／００７１１８（ＷＯ，Ａ１）
【文献】特開２０１６－６２５２４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｃ１２Ｍ １／００－３／１０
Ｃ１２Ｑ １／００－３／００
Ｇ０６Ｔ ７／００
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
ＣＡｐｌｕｓ／ＭＥＤＬＩＮＥ／ＥＭＢＡＳＥ／ＢＩＯＳＩＳ（ＳＴＮ）
(57)【特許請求の範囲】
【請求項1】
蛍光検出可能な検体を撮像した検体画像を取得し、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、
ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出し、
前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを、異なる表示態様のオブジェクトで示す第２検体画像と、前記モデルによる前記微生物又は微粒子の検出数、前記ルールベース又は他のモデルによる検出数、及び前記共通して検出された前記微生物又は微粒子の検出数を示す一覧表とを出力する
処理をコンピュータに実行させるプログラム。
【請求項2】
前記検体画像は、蛍光染色剤で染色された前記検体を撮像した画像である請求項１に記載のプログラム。
【請求項3】
前記検出数を含む前記微生物又は微粒子の検出結果を記述した文書ファイルを生成し、前記文書ファイルと、前記第２検体画像の画像ファイルとを含む保存ファイルを出力する
請求項１又は２に記載のプログラム。
【請求項4】
前記検体は食品であり、前記食品を製造する複数の工程それぞれにおいて前記微生物又は微粒子を検出した際の前記保存ファイルを参照して、前記複数の工程における前記微生物又は微粒子の検出結果を記述した前記文書ファイルを生成する
請求項３に記載のプログラム。
【請求項5】
前記微生物又は微粒子の検出結果を出力後、前記第２検体画像に対し、前記微生物又は微粒子の正解の座標データを付与する操作入力を受け付け、前記検体画像と、前記正解の座標データとに基づき、前記モデルを更新する
請求項１～４のいずれか１項に記載のプログラム。
【請求項6】
前記第２検体画像に対し、前記オブジェクトを追加又は削除する操作入力を受け付けることで、前記正解の座標データの入力を受け付ける請求項５に記載のプログラム。
【請求項7】
前記微生物又は微粒子の種類に応じて前記訓練データを学習済みの複数の前記モデルそれぞれに、取得した前記検体画像を入力して、複数種類の前記微生物又は微粒子を検出する請求項１～６のいずれか１項に記載のプログラム。
【請求項8】
前記検体画像を所定倍率に拡大した拡大画像を生成し、前記拡大画像を前記モデルに入力して前記微生物又は微粒子を検出する
請求項１～７のいずれか１項に記載のプログラム。
【請求項9】
前記拡大画像を複数の分割画像に分割し、各分割画像を前記モデルに入力して、前記微生物又は微粒子を前記各分割画像から検出し、
隣り合う２枚の前記分割画像の間の境界部分から検出され、かつ、該２枚の分割画像の双方で検出された前記微生物又は微粒子を特定する
請求項８に記載のプログラム。
【請求項10】
蛍光検出可能な検体を撮像した検体画像を取得する取得部と、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出する検出部と、
ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出する第２検出部と、
前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを、異なる表示態様のオブジェクトで示す第２検体画像と、前記モデルによる前記微生物又は微粒子の検出数、前記ルールベース又は他のモデルによる検出数、及び前記共通して検出された前記微生物又は微粒子の検出数を示す一覧表とを出力する出力部と
を備える情報処理装置。
【請求項11】
蛍光検出可能な検体を撮像した検体画像を取得し、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、
ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出し、
前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを、異なる表示態様のオブジェクトで示す第２検体画像と、前記モデルによる前記微生物又は微粒子の検出数、前記ルールベース又は他のモデルによる検出数、及び前記共通して検出された前記微生物又は微粒子の検出数を示す一覧表とを出力する
処理をコンピュータが実行する情報処理方法。
【請求項12】
蛍光検出可能な検体を撮像する検出装置と、該検出装置に接続された情報処理装置とを有する情報処理システムであって、
前記情報処理装置は、
前記検体を撮像した検体画像を前記検出装置から取得する取得部と、
訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出する検出部と、
ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出する第２検出部と、
前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを、異なる表示態様のオブジェクトで示す第２検体画像と、前記モデルによる前記微生物又は微粒子の検出数、前記ルールベース又は他のモデルによる検出数、及び前記共通して検出された前記微生物又は微粒子の検出数を示す一覧表とを出力する出力部と
を備える情報処理システム。
【請求項13】
蛍光検出可能な検体を撮像した検体画像を取得し、
前記検体画像を所定倍率に拡大した拡大画像を生成し、
前記拡大画像を複数の分割画像に分割し、
訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、各分割画像を入力して、少なくとも微生物又は微粒子を前記各分割画像から検出し、
隣り合う２枚の前記分割画像の間の境界部分から検出され、かつ、該２枚の分割画像の双方で検出された前記微生物又は微粒子を特定し、
特定した前記微生物又は微粒子を差し引いた検出結果を出力する
処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、情報処理装置、情報処理方法及びモデル生成方法に関する。
【背景技術】
【0002】
画像処理技術を用いて、検体を撮像した画像から検体に含まれる細菌を検出する方法がある。例えば特許文献１では、ディープラーニングにより構築された学習モデルを用いて、検体の画像から細胞の位置を検出する画像処理方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－２１１４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に係る発明は、細菌以外の夾雑物も検出してしまう虞がある。
【0005】
一つの側面では、検体に含まれる微生物又は微粒子を好適に検出することができるプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0006】
一つの側面に係るプログラムは、蛍光検出可能な検体を撮像した検体画像を取得し、訓練用の検体画像に対し、該検体画像に含まれる微生物又は微粒子、及び夾雑物それぞれの座標データが付与された訓練データを学習済みのモデルに、取得した前記検体画像を入力して、少なくとも微生物又は微粒子を検出し、ルールベースの画像処理、又は前記モデルと異なる他のモデルにより前記検体画像から前記微生物又は微粒子を検出し、前記モデルと、前記ルールベース又は他のモデルとで共通して検出された前記微生物又は微粒子と、いずれか一方で検出された前記微生物又は微粒子とを、異なる表示態様のオブジェクトで示す第２検体画像と、前記モデルによる前記微生物又は微粒子の検出数、前記ルールベース又は他のモデルによる検出数、及び前記共通して検出された前記微生物又は微粒子の検出数を示す一覧表とを出力する処理をコンピュータに実行させる。
【発明の効果】
【0007】
一つの側面では、検体に含まれる微生物又は微粒子を好適に検出することができる。
【図面の簡単な説明】
【0008】
【図1】検出システムの構成例を示す説明図である。
【図2】サーバの構成例を示すブロック図である。
【図3】端末の構成例を示すブロック図である。
【図4】検出装置の構成例を示すブロック図である。
【図5】実施の形態１の概要を示す説明図である。
【図6】端末の表示画面例を示す説明図である。
【図7】文書ファイルの一例を示す説明図である。
【図8】検出モデルの生成処理の手順を示すフローチャートである。
【図9】細菌検出処理の手順を示すフローチャートである。
【図10】実施の形態２に係る細菌検出処理の手順を示すフローチャートである。
【図11】検出モデルの更新処理の手順を示すフローチャートである。
【図12】実施の形態３の概要を示す説明図である。
【図13】実施の形態３に係る表示画面例を示す説明図である。
【図14】実施の形態３に係る細菌検出処理の手順を示すフローチャートである。
【図15】実施の形態４の概要を示す説明図である。
【図16】実施の形態４に係る表示画面例を示す説明図である。
【図17】実施の形態４に係る細菌検出処理の手順を示すフローチャートである。
【図18】実施の形態５に係る表示画面例を示す説明図である。
【図19】ラベル付与処理の手順を示すフローチャートである。
【図20】実施の形態６に係る文書ファイルを示す説明図である。
【図21】実施の形態６に係る細菌検出処理の手順を示すフローチャートである。
【図22】実施の形態７の概要を示す説明図である。
【図23】実施の形態７に係る細菌検出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、検出システムの構成例を示す説明図である。本実施の形態では、食品、飲料品等の検体の細菌検査のため、検体を撮像した検体画像から細菌を検出する検出システムについて説明する。検出システムは、情報処理装置１、端末２、検出装置３、管理者端末４を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに接続されている。
（実施の形態１）
図１は、検出システムの構成例を示す説明図である。本実施の形態では、食品、飲料品等の検体の細菌検査のため、検体を撮像した検体画像から細菌を検出する検出システムについて説明する。検出システムは、情報処理装置１、端末２、検出装置３、管理者端末４を含む。情報処理装置１及び端末２は、インターネット等のネットワークＮに接続されている。
【0010】
なお、本実施の形態では検査対象を細菌とするが、これに限定されるものではない。例えば、酵母、カビ、藻類などの細菌以外の微生物、あるいは蛍光ビーズなどの微粒子を検査対象としてもよい。すなわち、微生物及び／又は微粒子を検出可能であればよく、検査対象は細菌に限定されない。
【0011】
情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、訓練用の検体画像に対し、細菌及び夾雑物それぞれの正解の座標データ（ラベル）が付与された訓練データを学習する機械学習を行い、後述の検出モデル５０（図５参照）を生成する。検出モデル５０は、検体画像を入力として、検体画像に含まれる細菌及び夾雑物のうち、少なくとも細菌を検出する機械学習モデルである。サーバ１は、細菌だけでなく細菌以外の夾雑物の座標データも学習することで、細菌と夾雑物とを識別可能な検出モデル５０を生成する。
【0012】
端末２は、本システムを利用するユーザの情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等である。本実施の形態ではサーバ１が生成した検出モデル５０のデータがユーザの端末２にインストールされており、端末２は、検体を撮像した検体画像を検出モデル５０に入力して細菌を検出する。
【0013】
検出装置３は、検体に含まれる細菌を検出するための検査装置であり、検体を撮像する撮像装置である。本実施の形態では細菌の検出方法として蛍光染色法を用い、検出装置３は、蛍光染色剤により染色された検体を撮像する。検出装置３は、染色剤により染色された検体を採取した測定用フィルタ（例えばメンブレンフィルタ）を保持する基盤、当該基盤をＸ軸方向及びＹ軸方向に摺動するＸＹステージ、検体に励起光を照射する励起光源、撮像カメラ等を装置内部に備え、測定用フィルタの位置をＸ軸方向及びＹ軸方向に微調整しながら検体を撮像する。本実施の形態に係る検出装置３として、例えば国際公開第２０１７／１１５７６８号に記載の検出装置を用いることができる。端末２は、検出装置３で撮像された検体画像を検出モデル５０に入力し、細菌を検出する。
【0014】
なお、上記で説明した検出装置３は一例であって、検出装置３は検体画像を撮像可能であればよい。また、検体撮像用の検出装置３を利用する構成は必須ではなく、例えば端末２は人手で検体を撮像した画像を検体画像として用いてもよい。また、蛍光染色法は細菌検出方法の一例であって、検体を撮像した画像から細菌を検出可能であればよく、その検出方法は蛍光染色法に限定されない。
【0015】
また、本実施の形態では検体を染色した上で撮像するものとするが、例えば藻類のように検出対象物（微生物又は微粒子）が自家蛍光物質を含んでいる場合、検体を染色せずともよい。すなわち、検体画像は、微生物又は微粒子を蛍光検出可能な検体を撮像した画像であればよく、蛍光染色剤による染色は必須ではない。
【0016】
管理者端末４は、本システムを管理する管理者の情報処理端末であり、例えばパーソナルコンピュータ等である。サーバ１は、本システムの管理者（検体画像に含まれる細菌と夾雑物とを識別可能な技能を有するスタッフ）が訓練用の検体画像に対し正解のラベルを付与した訓練データを管理者端末４から取得し、学習を行う。
【0017】
図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置であり、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置であり、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
【0018】
補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。また、補助記憶部１４は、検出モデル５０を記憶している。検出モデル５０は、上述の如く訓練データを学習済みの機械学習モデルであり、染色剤により染色された検体を撮像した検体画像を入力として、検体画像に含まれる細菌を検出する学習済みモデルである。検出モデル５０は、人工知能ソフトウェアの一部を構成するソフトウェアモジュールとしての利用が想定される。
【0019】
なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
【0020】
また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、ＣＤ（Compact Disk）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ等の可搬型記憶媒体１ａを読み取る読取部を備え、可搬型記憶媒体１ａからプログラムＰ１を読み取って実行するようにしても良い。あるいはサーバ１は、半導体メモリ１ｂからプログラムＰ１を読み込んでも良い。
【0021】
図３は、端末２の構成例を示すブロック図である。制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、補助記憶部２６を備える。
制御部２１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置であり、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
制御部２１は、一又は複数のＣＰＵ、ＭＰＵ等の演算処理装置であり、補助記憶部２６に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理、制御処理等を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。
【0022】
表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。補助記憶部２６は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２６は、検出モデル５０を記憶している。
【0023】
なお、端末２は、ＣＤ－ＲＯＭ等の可搬型記憶媒体２ａを読み取る読取部を備え、可搬型記憶媒体２ａからプログラムＰ２を読み取って実行するようにしても良い。あるいは端末２は、半導体メモリ２ｂからプログラムＰ２を読み込んでも良い。
【0024】
図４は、検出装置３の構成例を示すブロック図である。検出装置３は、制御部３１、撮像部３２、ＸＹ軸モータドライバ３３、ＸＹ軸モータ３４、ＬＤ（Laser Diode）ドライバ３５、ＬＤ光源３６を備える。
制御部３１は、ＣＰＵ等の演算処理装置であり、検出装置３を制御するための種々の情報処理を行う。撮像部３２は、ＣＣＤ（Charge Coupled Device）センサ等の撮像素子を有するカメラであり、測定用フィルタに採取された検体を撮像する。ＸＹ軸モータドライバ３３はＸＹステージを駆動するＸＹ軸モータ３４の動作を制御するドライバであり、ＸＹステージ上の基盤に載置された測定用フィルタの位置を調整する。ＬＤドライバ３５は、励起光源であるＬＤ光源３６から照射される励起光の光量等を調整するドライバであり、検体に励起光を照射する。
制御部３１は、ＣＰＵ等の演算処理装置であり、検出装置３を制御するための種々の情報処理を行う。撮像部３２は、ＣＣＤ（Charge Coupled Device）センサ等の撮像素子を有するカメラであり、測定用フィルタに採取された検体を撮像する。ＸＹ軸モータドライバ３３はＸＹステージを駆動するＸＹ軸モータ３４の動作を制御するドライバであり、ＸＹステージ上の基盤に載置された測定用フィルタの位置を調整する。ＬＤドライバ３５は、励起光源であるＬＤ光源３６から照射される励起光の光量等を調整するドライバであり、検体に励起光を照射する。
【0025】
図５は、実施の形態１の概要を示す説明図である。図５では、検出装置３で撮影された検体画像を検出モデル５０に入力した場合に、検体画像に含まれる細菌が検出される様子を概念的に図示している。図５に基づき、本実施の形態の概要を説明する。
【0026】
端末２は、検出装置３から検体画像を取得する。検出装置３は、上述の如く細菌検出を行うための検査装置であり、蛍光染色剤により染色された検体を撮像する装置である。検出装置３は、染色後の検体を採取した測定用フィルタに励起光を照射し、検体画像（蛍光画像）を撮像する。詳細な説明は省略するが、検出装置３は、図５左上に示すように、測定用フィルタに検体が採取された領域をＸ軸方向及びＹ軸方向に沿って複数の格子状区画に区分する。そして検出装置３は、ＸＹステージ上の基盤に載置された測定用フィルタをＸ軸方向及びＹ軸方向に摺動させながら、各区画に対応する検体画像を撮像する。検出装置３は、撮像された検体画像を端末２に送信する。
【0027】
なお、検出装置３で撮像される検体画像は白黒画像であるが、検体画像はＲＧＢ画像であってもよく、その画像形式は特に問わない。
【0028】
端末２は、検出装置３から送信された検体画像を検出モデル５０に入力する。検出モデル５０は、訓練データを学習することで生成された機械学習モデルであり、例えばディープラーニングにより構築されたニューラルネットワークである。具体的には、検出モデル５０は、Ｒ－ＣＮＮ（Region CNN）、ＹＯＬＯ（You Look Only Once）、ＳＳＤ（Single Shot Detector）等のＣＮＮ（Convolution Neural Network）である。
【0029】
なお、本実施の形態では検出モデル５０がＣＮＮであるものとして説明するが、ＣＮＮ以外のニューラルネットワーク、決定木、ランダムフォレスト、その他の機械学習モデルであってもよい。
【0030】
検出モデル５０は、検体画像の入力を受け付ける入力層と、検体画像から特徴量を抽出する中間層と、抽出した特徴量に基づく細菌の検出結果（座標データ）を出力する出力層とを備える。入力層は検体画像の入力を受け付け、中間層にデータを受け渡す。中間層は、畳み込み層とプーリング層とが交互に連結された構成を有し、検体画像の各画素の画素値を圧縮して特徴量を抽出し、出力層に受け渡す。出力層は、中間層で抽出された特徴量に基づき、細菌が存在すると推定される検体画像中の座標データを出力する。
【0031】
サーバ１は、訓練用の検体画像に対し、細菌の正解の座標データ（ラベル）が付与された訓練データを用いて学習を行い、検出モデル５０を生成する。ここでサーバ１は、訓練データとして、細菌の座標データだけでなく、夾雑物の座標データも付与された訓練データを用いて学習を行う。
【0032】
夾雑物は、細菌以外の物質であって、検出対象としない物質を指す。検体に夾雑物（例えば繊維等のゴミ）が混入している場合、染色剤によって夾雑物も染色され、検体画像において夾雑物も発光点として観測される場合がある。また、検体に自家蛍光物質に含まれる場合（例えば食品に含まれる小麦粉等）、当該物質が発光点として観測され、細菌を検出する上での夾雑物となる場合がある。熟練の作業者はこれらの夾雑物を細菌と見分けることができるが、人間による作業のため、検査時間が長くなり、処理できる検体数も限られることになる。
【0033】
そこで本実施の形態では、細菌だけでなく夾雑物の特徴も検出モデル５０に学習させ、細菌及び夾雑物を識別可能な検出モデル５０を構築する。すなわち、サーバ１は、訓練用の検出画像に対し、細菌及び夾雑物それぞれの座標データが付与された訓練データを用いて学習を行い、検出モデル５０を生成する。
【0034】
例えば訓練データは、管理者端末４において管理者（細菌検査について専門の知識を有するスタッフ）が作成し、サーバ１に提供する。サーバ１は、訓練用の検体画像を検出モデル５０に入力し、細菌が存在すると推定される座標データを出力として取得する。サーバ１は、取得した座標データを正解の座標データと比較し、両者が近似するように、ニューロン間の重み等のパラメータを調整する。例えばサーバ１は、訓練用に与えられた全ての検体画像について学習を行い、最終的にパラメータを最適化した検出モデル５０を生成する。
【0035】
なお、本実施の形態に係る検出モデル５０は、検出結果として細菌の座標データのみを出力するものとするが、細菌だけでなく夾雑物の座標データも出力するようにしてもよい。すなわち、検出モデル５０は、細菌及び夾雑物のうち、少なくとも細菌を検出可能であればよく、夾雑物も検出するようにしてもよい。
【0036】
サーバ１は、あらゆる種類の細菌（及び夾雑物）について一の検出モデル５０に学習させ、一の検出モデル５０で全ての種類の細菌を検出可能としてもよいが、細菌の種類毎に訓練データを学習し、細菌の種類に応じた複数の検出モデル５０、５０、５０…を用意するようにすると好適である。すなわち、サーバ１は、訓練用の検体画像に細菌Ａ及び夾雑物のラベルが付与された訓練データ、訓練用の検体画像に細菌Ｂ及び夾雑物のラベルが付与された訓練データ、訓練用の検体画像に細菌Ｃ及び夾雑物のラベルが付与された訓練データ…をそれぞれ取得し、各訓練データに基づき、細菌Ａ検出用の検出モデル５０、細菌Ｂ検出用の検出モデル５０、細菌Ｃ検出用の検出モデル５０…を生成する。ユーザは、これらの検出モデル５０、５０、５０…のうち、検査目的（検出対象とする細菌の種類）に応じて検出モデル５０を選択し、細菌検出に用いる。
【0037】
端末２には、サーバ１が生成した検出モデル５０のデータがインストールされている。端末２は、検出装置３から取得した検体画像を検出モデル５０に入力し、検体画像に含まれる細菌を検出する。図５右側に、細菌が検出された様子をバウンディングボックス（矩形状の枠）で図示している。図５に示すように、検出モデル５０は、黒丸で示す細菌を検出する一方で、ハッチング付きの四角形で示す物質が夾雑物であることを識別し、検出結果から除外する。
【0038】
【0039】
当該画面は、操作欄６１、タブ６２、出力ボタン６３を含む。操作欄６１は、検出装置３の現在の状態を表示すると共に、検出装置３の動作を制御するためのアイコンボタンを表示する表示欄である。ユーザはアイコンボタンを操作することでＸＹステージの動作、検体画像の撮影開始などを制御する。
【0040】
タブ６２は、画面表示を切り換えるための操作タブである。「検出条件」のタブ６２がアクティブになっている場合、端末２は検出条件を設定するための画面（不図示）に表示を切り換え、種々の検出条件の設定を受け付ける。例えば端末２は、検出条件として、撮像範囲とする測定フィルタ上の区画、検体量（ｍｌ）、検体番号、使用する検査試薬（染色剤）の種類、画像の撮像条件（輝度補正、マスク補正等）などの設定入力を受け付ける。また、端末２は、検出条件として、細菌検出に用いる検出モデル５０の種類（細菌の種類）の選択入力を受け付ける。
【0041】
端末２は、検出条件の設定完了後、操作欄６１のアイコンボタンへの操作入力に応じて、測定フィルタ上の各区画の検体画像を検出装置３に撮像させる。そして端末２は、撮像された各区画の検体画像を、上記で選択された検出モデル５０に入力し、細菌を検出する。
【0042】
「検出結果」のタブ６２がアクティブになっている場合、端末２は、細菌の検出結果を表示する。具体的には図６に示すように、端末２は、検出された細菌に対応する位置にバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）と、検出された細菌の検出数とを表示する。端末２は、測定フィルタ上の各区画の検体画像をユーザの操作に従って順次表示する。また、端末２は、測定フィルタ上の区画（検出箇所）毎に細菌の検出数を表６２１に一覧表示すると共に、現在表示中の検体画像に係る区画での検出数を表６２１の上部に表示する。
【0043】
なお、図６の画面において端末２は、バウンディングボックスで示す各検出点の細菌について、検出モデル５０が各検出点の細菌を検出した際の確からしさを示す確信度を表示してもよい。確信度は、検出モデル５０が検体画像の特徴量に基づいて各細菌を検出した際の確からしさを表す確率値であり、各検出点の座標データと共に検出モデル５０から出力される。例えば端末２は、ユーザの操作に応じてカーソルがバウンディングボックスに合わせられた場合、そのバウンディングボックス（検出点）に対応する確信度を表示する。これにより、検出モデル５０の検出結果がどれほど確からしいものか、ユーザに提示することができる。
【0044】
出力ボタン６３は、細菌の検出結果をまとめた保存用のファイル（以下、「保存ファイル」と呼ぶ）を出力するための操作ボタンである。出力ボタン６３への操作入力を受け付けた場合、端末２は保存ファイルを出力（エクスポート）する。具体的には、端末２は、検体画像の画像ファイル（検出装置３から取得した生の検体画像と、バウンディングボックスを付した検体画像（第２検体画像）とを対応付けたファイル）、及び表６２１で表示した細菌の検出数を記述したテキストファイルを出力する。
【0045】
また、端末２は、保存ファイルの一つとして、細菌の検出結果をレポート形式で記述した文書ファイルを生成して出力する。図７は、文書ファイルの一例を示す説明図である。端末２は、図７で例示する文書ファイルを生成する。例えば端末２は、使用した検査試薬、励起光の露光時間等の検出条件を記述すると共に、検出結果として、単位量（ｍｌ）当たりの検出数を記述した文書ファイルを生成する。端末２は、検出条件として設定された検体量と、検体画像から検出された細菌の検出数とに基づいて単位量当たりの検出数を算出して文書ファイルに記述し、上記の画像ファイル、テキストファイルと共に出力する。
【0046】
上述の如く、端末２は、細菌だけでなく夾雑物の特徴も学習済みの検出モデル５０を用いることで、夾雑物を検出対象から除外し、細菌を好適に検出することができる。
【0047】
【0048】
サーバ１は、検出モデル５０を生成するための訓練データを管理者端末４から取得する（ステップＳ１１）。訓練データは、訓練用の検体画像に対し、細菌及び夾雑物それぞれの正解の座標データ（ラベル）が付与されたデータである。
【0049】
サーバ１は訓練データに基づき、検体画像を入力した場合に、少なくとも細菌を検出する検出モデル５０を生成する（ステップＳ１２）。例えばサーバ１は、ＣＮＮ等のニューラルネットワークを検出モデル５０として生成する。サーバ１は、訓練用の検体画像を検出モデル５０に入力し、細菌が存在すると推定される検体画像中の座標データを出力として取得する。サーバ１は、取得した細菌の座標データを正解の座標データと比較し、両者が近似するようにニューロン間の重み等を最適化して、検出モデル５０を生成する。サーバ１は一連の処理を終了する。
【0050】
図９は、細菌検出処理の手順を示すフローチャートである。図９に基づき、検体画像から細菌を検出する際の処理内容について説明する。
端末２は、細菌の検出条件の設定入力を受け付ける（ステップＳ３１）。例えば端末２は、撮像範囲とする測定フィルタ上の区画、検体量等の設定入力を受け付けるほかに、使用する検出モデル５０の種類（細菌の種類）の選択入力を受け付ける。
端末２は、細菌の検出条件の設定入力を受け付ける（ステップＳ３１）。例えば端末２は、撮像範囲とする測定フィルタ上の区画、検体量等の設定入力を受け付けるほかに、使用する検出モデル５０の種類（細菌の種類）の選択入力を受け付ける。
【0051】
端末２は、検体を撮像した検体画像を検出装置３から取得する（ステップＳ３２）。端末２は、取得した検体画像を、上記で選択された検出モデル５０に入力して細菌を検出する（ステップＳ３３）。端末２は、検出された細菌の検出数を集計する（ステップＳ３４）。端末２は、細菌の検出結果を表示する（ステップＳ３５）。具体的には、端末２は、検出された細菌に対応する位置にバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示すると共に、ステップＳ３４で集計した検出数を表示する。
【0052】
端末２は、ユーザからの操作入力に基づき、保存ファイルを出力するか否かを判定する（ステップＳ３６）。保存ファイルを出力すると判定した場合（Ｓ３６：ＹＥＳ）、端末２は保存ファイルを出力する（ステップＳ３７）。例えば端末２は、検体画像の画像ファイル等のほか、細菌の検出数を含む検出結果をレポート形式で記述した文書ファイルを生成し、保存ファイルとして出力する。ステップＳ３７の処理を実行後、又はステップＳ３６でＮＯの場合、端末２は一連の処理を終了する。
【0053】
以上より、本実施の形態１によれば、検体に含まれる細菌を好適に検出することができる。
【0054】
また、本実施の形態１によれば、細菌の検出数を集計し、バウンディングボックスを付した検体画像と共に検出結果としてユーザに提示することができる。
【0055】
また、本実施の形態１によれば、細菌の種類に応じて訓練データを学習済みの複数の検出モデル５０を用意することで、検出対象とする細菌を好適に検出することができる。
【0056】
（実施の形態２）
実施の形態１では、ローカルの端末２が検出モデル５０を用いて細菌検出処理を行う形態について説明した。本実施の形態では、クラウド上のサーバ１が細菌検出処理を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
実施の形態１では、ローカルの端末２が検出モデル５０を用いて細菌検出処理を行う形態について説明した。本実施の形態では、クラウド上のサーバ１が細菌検出処理を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【0057】
まず、本実施の形態の概要を説明する。本実施の形態では、サーバ１が端末２からの要求を受けて検出モデル５０を用いた細菌検出処理を行う。すなわち、サーバ１は、検出装置３で撮像された検体画像を端末２から取得し、検出モデル５０に入力して細菌を検出する。そしてサーバ１は、検出結果を端末２に出力し、表示させる。表示画面等は実施の形態１と同様であるため、本実施の形態では図示を省略する。
【0058】
ここでサーバ１は、クラウド環境を利用して、端末２から取得した検体画像に基づき検出モデル５０の再学習（更新）を行うと好適である。例えばサーバ１は、端末２から取得した検体画像を保存しておき、定期的に管理者端末４に出力する。管理者端末４は、サーバ１から出力された検体画像に対し、細菌及び夾雑物の正解の座標データ（ラベル）を付与する操作入力（例えば後述の実施の形態５のように、バウンディングボックスを追加又は削除する操作入力）を管理者から受け付け、再学習用の訓練データとしてサーバ１に出力する。
【0059】
サーバ１は、再学習用の訓練データに基づき、検出モデル５０を更新する。すなわち、サーバ１は、再学習用の検体画像（端末２から取得した検体画像）を、細菌検出時に利用した検出モデル５０（すなわち、複数の検出モデル５０、５０、５０…のうち、検出した細菌の種類に対応する検出モデル５０）に入力して細菌を検出し、検出結果が正解の座標データと近似するように検出モデル５０のパラメータを最適化する。これにより、検出モデル５０が逐次的にアップデートされ、検出精度を高めることができる。
【0060】
なお、本実施の形態ではサーバ１が細菌検出処理（検出モデル５０による推論処理）と再学習処理との双方を実行することにしたが、サーバ１は再学習処理を行うのみであってもよい。
【0061】
また、サーバ１は、検体の種類毎に再学習を行い、各種類の検体に適した検出モデル５０、５０、５０…を構築するようにしてもよい。例えばサーバ１は、食品会社、飲料品メーカ、水道局などの各ユーザから検体画像を取得して細菌検出を行う場合に、食品、飲料品、水道水等の検体の種類毎に再学習用の訓練データを別々の検出モデル５０に与えて、各種類の検体用に検出モデル５０、５０、５０…を更新する。これにより、本システムの運用を通じて、個別の検体における細菌検出に適した検出モデル５０を構築することができる。
【0062】
図１０は、実施の形態２に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
端末２は、取得した検体画像をサーバ１に送信する（ステップＳ２０１）。端末２から検体画像を取得した場合、サーバ１は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ２０２）。サーバ１は、検出結果（細菌の座標データ）を端末２に送信する（ステップＳ２０３）。サーバ１は、端末２から取得した検体画像を保存（記憶）し（ステップＳ２０４）、一連の処理を終了する。
端末２は、取得した検体画像をサーバ１に送信する（ステップＳ２０１）。端末２から検体画像を取得した場合、サーバ１は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ２０２）。サーバ１は、検出結果（細菌の座標データ）を端末２に送信する（ステップＳ２０３）。サーバ１は、端末２から取得した検体画像を保存（記憶）し（ステップＳ２０４）、一連の処理を終了する。
【0063】
図１１は、検出モデル５０の更新処理の手順を示すフローチャートである。図１１に基づき、再学習を行って検出モデル５０を更新する際の処理内容について説明する。
サーバ１は、保存してある検体画像を管理者端末４に出力する（ステップＳ２２１）。管理者端末４は、検体画像に対し、細菌及び夾雑物の正解の座標データ（ラベル）を付与する操作入力を受け付ける（ステップＳ２２２）。管理者端末４は、正解の座標データが付与された検体画像を再学習用の訓練データとしてサーバ１に送信する（ステップＳ２２３）。サーバ１は、再学習用の訓練データに基づき、検出モデル５０を更新する（ステップＳ２２４）。サーバ１は一連の処理を終了する。
サーバ１は、保存してある検体画像を管理者端末４に出力する（ステップＳ２２１）。管理者端末４は、検体画像に対し、細菌及び夾雑物の正解の座標データ（ラベル）を付与する操作入力を受け付ける（ステップＳ２２２）。管理者端末４は、正解の座標データが付与された検体画像を再学習用の訓練データとしてサーバ１に送信する（ステップＳ２２３）。サーバ１は、再学習用の訓練データに基づき、検出モデル５０を更新する（ステップＳ２２４）。サーバ１は一連の処理を終了する。
【0064】
以上より、本実施の形態２によれば、ローカルの端末２ではなくクラウド上のサーバ１が細菌検出処理を実行してもよい。また、細菌検出を行った検体画像を元に再学習を行うことで、細菌の検出精度を向上させることができる。
【0065】
（実施の形態３）
実施の形態１では、検出対象とする細菌の種類に応じて複数の検出モデル５０、５０、５０…を用意し、いずれかの検出モデル５０を選択して細菌検出に用いる形態について説明した。本実施の形態では、複数の検出モデル５０、５０、５０…を併用する形態について説明する。
実施の形態１では、検出対象とする細菌の種類に応じて複数の検出モデル５０、５０、５０…を用意し、いずれかの検出モデル５０を選択して細菌検出に用いる形態について説明した。本実施の形態では、複数の検出モデル５０、５０、５０…を併用する形態について説明する。
【0066】
【0067】
実施の形態１で説明したように、サーバ１は、細菌Ａ、Ｂ、Ｃ…それぞれに対応する訓練データに基づき、細菌の種類に応じた複数の検出モデル５０、５０、５０…を生成する。本実施の形態において端末２は、検出装置３から取得した検体画像を、複数の検出モデル５０、５０、５０…にそれぞれ入力する。そして端末２は、各検出モデル５０から、細菌Ａ、Ｂ、Ｃ…それぞれの座標データを出力として取得する。
【0068】
端末２は、各検出モデル５０での検出結果を合成して表示する。図１３は、実施の形態３に係る表示画面例を示す説明図である。本実施の形態において端末２は、細菌の位置にバウンディングボックスを付して検体画像を表示する場合に、細菌の種類に応じてバウンディングボックスの表示態様を異ならせた検体画像（第２検体画像）を表示する。例えば端末２は、バウンディングボックスの表示色を変更する。なお、図１３では図示の便宜上、表示色が異なる様子を線種で表現してある。
【0069】
端末２はさらに、表６２１に、検出された各種類の細菌の検出数を、区画（検出箇所）毎に一覧表示する。また、端末２は、現在表示中の検体画像に係る区画における各種類の細菌の検出数を、表６２１の上部に表示する。
【0070】
図１４は、実施の形態３に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
端末２は、細菌の種類に応じて訓練データを学習済みの複数の検出モデル５０、５０、５０…に、ステップＳ３２で取得した検体画像を入力して、複数種類の細菌を検出する（ステップＳ３０１）。
端末２は、細菌の種類に応じて訓練データを学習済みの複数の検出モデル５０、５０、５０…に、ステップＳ３２で取得した検体画像を入力して、複数種類の細菌を検出する（ステップＳ３０１）。
【0071】
端末２は、各種類の細菌の検出数を集計する（ステップＳ３０２）。そして端末２は、各種類の細菌の検出結果を表示する（ステップＳ３０３）。具体的には、端末２は、細菌の種類に応じて異なる表示態様のバウンディングボックスを付した検体画像（第２検体画像）を表示すると共に、細菌の種類毎に検出数を表示する。端末２は処理をステップＳ３６に移行する。
【0072】
以上より、本実施の形態３によれば、複数種類の細菌を同時に検出することもできる。
【0073】
なお、本実施の形態においてもサーバ１は、検出モデル５０の再学習を行ってもよい。例えばサーバ１は、細菌の種類の指定入力を受け付けた上で、指定された細菌の正解の座標データを付与する操作入力を受け付けることで、再学習用の訓練データを取得する。サーバ１は、元の検体画像と、新たに付与された正解の座標データとに基づき、指定された細菌の種類に対応する検出モデル５０を更新する。
【0074】
（実施の形態４）
本実施の形態では、検出モデル５０を用いて細菌を検出する以外に、ルールベースの画像処理により細菌を検出し、検出モデル５０及びルールベースの検出結果を組み合わせてユーザに提示する形態について説明する。
本実施の形態では、検出モデル５０を用いて細菌を検出する以外に、ルールベースの画像処理により細菌を検出し、検出モデル５０及びルールベースの検出結果を組み合わせてユーザに提示する形態について説明する。
【0075】
図１５は、実施の形態４の概要を示す説明図である。図１５では、検出モデル５０を用いて検体画像から細菌を検出すると共に、ルールベースの画像処理（例えば二値化処理）によって検体画像から細菌を検出する様子を概念的に図示している。
【0076】
端末２は、実施の形態１と同様に、検出装置３から取得した検体画像を検出モデル５０に入力し、細菌を検出する。図１５の右上に、検出モデル５０による検出結果を概念的に図示する。なお、図１５右下の検出結果（ルールベースでの検出結果）と区別するため、図１５では検出モデル５０による検出結果を矩形状のバウンディングボックスではなく丸枠で図示している。
【0077】
さらに端末２は、ルールベースの画像処理を行い、検体画像から細菌を検出する。例えば端末２は、ルールベースの画像処理として、検体画像を二値化する二値化処理を行い、細菌を検出する。すなわち、端末２は、検体画像内の各画素値（例えば輝度）を所定の閾値と比較し、細菌と推定される領域と、細菌以外の領域とに検体画像を二値化して、細菌と推定される領域を検出する。
【0078】
なお、二値化処理はルールベースでの検出方法の一例であって、他のアルゴリズムを用いて検体画像から細菌を検出してもよい。
【0079】
図１５右下に、ルールベースでの検出結果を概念的に図示する。図１５の例で検出モデル５０による検出結果とルールベースでの検出結果とを比較した場合、検出モデル５０による検出結果では、本来検出されるべき細菌が検出されていないことがわかる。また、検出モデル５０による検出結果では、複数（２つ）の細菌が近接しているため、複数の細菌が一つの細菌として検出されていることがわかる。一方で、ルールベースでの検出結果では、夾雑物に対応する画像領域も検出されてしまい、誤った検出点が多数出現していることがわかる。
【0080】
端末２は、上記の２つの検出結果を組み合わせて表示する。図１６は、実施の形態４に係る表示画面例を示す説明図である。本実施の形態に係る表示画面は、画像タブ６２２を含む。画像タブ６２２は、検出モデル５０及び／又はルールベースの検出結果を切り換えて検体画像を表示するための操作タブである。「ＡＩ検出」の画像タブ６２２がアクティブになっている場合、端末２は、検出モデル５０により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右上参照）。「二値化検出」の画像タブ６２２がアクティブになっている場合、端末２は、二値化処理により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右下参照）。
【0081】
「ＡＩ検出と二値化検出の比較」の画像タブ６２２がアクティブになっている場合、端末２は、図１６に示すように、検出モデル５０及び二値化処理の双方の検出結果を示す検体画像を表示する。具体的には、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）と、検出モデル５０又は二値化処理のいずれか一方で検出された検出点とで、バウンディングボックスの表示態様（例えば表示色）を変更する。
【0082】
また、端末２は表６２１で、測定フィルタ上の区画（検出箇所）毎に、検出モデル５０による検出数、二値化処理による検出数、及び共通して検出された細菌の検出数を一覧表示する。また、端末２は、表６２１の上部に、現在表示中の検体画像に係る区画について、検出モデル５０による検出数、二値化処理による検出数、及び共通して検出された細菌の検出数を表示する。
【0083】
図１７は、実施の形態４に係る細菌検出処理の手順を示すフローチャートである。検出装置３から検体画像を取得した後（ステップＳ３２）、端末２は以降の処理を実行する。
端末２は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ４０１）。また、端末２は、二値化処理により検体画像から細菌を検出する（ステップＳ４０２）。端末２は、ステップＳ４０１及びＳ４０２で検出した細菌の検出数を集計する（ステップＳ４０３）。具体的には、端末２は、検出モデル５０による検出数、及び二値化処理による検出数をそれぞれ集計するほか、検出モデル５０及び二値化処理で共通して検出された細菌の検出数を集計する。
端末２は、検体画像を検出モデル５０に入力して細菌を検出する（ステップＳ４０１）。また、端末２は、二値化処理により検体画像から細菌を検出する（ステップＳ４０２）。端末２は、ステップＳ４０１及びＳ４０２で検出した細菌の検出数を集計する（ステップＳ４０３）。具体的には、端末２は、検出モデル５０による検出数、及び二値化処理による検出数をそれぞれ集計するほか、検出モデル５０及び二値化処理で共通して検出された細菌の検出数を集計する。
【0084】
端末２は、検出モデル５０による検出結果、及び二値化処理による検出結果を表示する（ステップＳ４０４）。具体的には、端末２は、検出モデル５０又は二値化処理のいずれか一方のみで検出された細菌と、検出モデル５０及び二値化処理で共通して検出された細菌とで、異なる表示態様のバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示する。また、端末２は、検出モデル５０による検出数と、二値化処理による検出数と、検出モデル５０及び二値化処理で共通して検出された細菌の検出数とをそれぞれ表示する。端末２は処理をステップＳ３６に移行する。
【0085】
以上より、本実施の形態４によれば、ルールベースの画像処理を組み合わせることで、より多くの検出結果をユーザに提示することができる。
【0086】
なお、本実施の形態では検出モデル５０と組み合わせる他の検出アルゴリズムとしてルールベースの画像処理（二値化処理）を用いるものとしたが、本実施の形態はこれに限定されるものではない。例えば端末２は、検出モデル５０と組み合わせる他の検出アルゴリズムとして、検出モデル５０とは異なる他の機械学習モデルを用いてもよい。すなわち、端末２は、検体画像を検出モデル５０と他のモデルとにそれぞれ入力し、各モデルから検出結果を取得する。当該他のモデルは、検出モデル５０とネットワーク構造が同じで異なる訓練データを学習済みのモデルであってもよく、あるいはネットワーク構造も異なる別のモデルであってもよい。ルールベースの画像処理に代えて他のモデルを用いても、上記と同様の効果を奏する。
【0087】
（実施の形態５）
実施の形態４では、検出モデル５０とルールベースでの検出処理とを組み合わせる形態について説明した。本実施の形態では、検出モデル５０及びルールベースの検出結果を利用して、検体画像に対し、再学習用のラベル付けを行う形態について説明する。
実施の形態４では、検出モデル５０とルールベースでの検出処理とを組み合わせる形態について説明した。本実施の形態では、検出モデル５０及びルールベースの検出結果を利用して、検体画像に対し、再学習用のラベル付けを行う形態について説明する。
【0088】
図１８は、実施の形態５に係る表示画面例を示す説明図である。本実施の形態では、過去に細菌検出処理を行い、保存ファイルとして保存してある検体画像の再解析機能の一つとして、検体画像に対し細菌の正解の座標データ（ラベル）を付与する機能を提供する。図１８に基づき、本実施の形態の概要を説明する。
【0089】
端末２は、「画像取り込み」のボタンへの操作入力を受け付けた場合、保存ファイルとして保存してある検体画像の指定入力を受け付ける。そして端末２は、指定された検体画像を画面に表示する。当該画面は、画像タブ１８１、追加ボタン１８２、削除ボタン１８３、保存ボタン１８４を含む。
【0090】
画像タブ１８１は、検体画像の表示を切り換えるための操作タブである。「元画像」の画像タブ１８１がアクティブになっている場合、端末２は、検出装置３で撮像された元の検体画像（バウンディングボックスが付されていない生画像）を表示する。「ＡＩ検出」の画像タブ１８１がアクティブになっている場合、端末２は、検出モデル５０により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右上参照）。「二値化検出」の画像タブ１８１がアクティブになっている場合、端末２は、二値化処理により検出された細菌の位置をバウンディングボックスで示す検体画像を表示する（図１５右下参照）。
【0091】
「ＡＩ検出と二値化検出の比較」の画像タブ１８１がアクティブになっている場合、端末２は、検出モデル５０及び二値化処理の双方の検出結果を示す検体画像を表示する。具体的には実施の形態４と同様に、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）と、検出モデル５０又は二値化処理のいずれか一方で検出された検出点とで、異なる表示態様のバウンディングボックスを付した検体画像を表示する。
【0092】
端末２は当該画面上で、バウンディングボックスとして表示された検出点（細菌）を追加又は削除する操作入力を受け付ける。例えば端末２は、バウンディングボックスを指定する指定入力を受け付け、追加ボタン１８２又は削除ボタン１８３への操作入力に応じて、指定されたバウンディングボックスを検出点に追加又は削除する。図１８では、ユーザが指定したバウンディングボックスが、矢印のアイコンで表記される様子を図示している。
【0093】
上述の如く、端末２は、検出モデル５０及び二値化処理で共通して検出された検出点と、いずれか一方で検出された検出点とを異なる表示態様で表示する。これにより、ラベルを付与すべき検出点をユーザが選択する場合に、ユーザによる選択作業を好適に補助することができる。
【0094】
なお、端末２は、細菌だけでなく、夾雑物についてもラベルを付与（バウンディングボックスを追加）する操作入力を受け付けてもよい。これにより、夾雑物についても正しいラベルが付与された訓練データを得ることができる。
【0095】
保存ボタン１８４への操作入力を受け付けた場合、端末２は、検出点の追加及び／又は削除の内容を保存する。具体的には、端末２は、保存ファイルとして保存してある検出モデル５０の検出結果から、ユーザが追加及び／又は削除した検出点を細菌の位置として追加及び／又は削除し、保存ファイルを更新する。
【0096】
サーバ１は、上記で検出点を追加又は削除した保存ファイルを用いて、検出モデル５０の再学習を行うことができる。すなわち、サーバ１は、ユーザによる追加及び／又は削除後の検出点を正解のラベルとして検出モデル５０に与え、検出モデル５０を更新する。サーバ１は、保存ファイルの検体画像を検出モデル５０に入力し、細菌（検出点）の座標データを出力として取得する。サーバ１は、検出モデル５０から出力された座標データと、ユーザによる追加及び／又は削除後の検出点の座標データとを比較し、両者が近似するように検出モデル５０のパラメータを最適化する。
【0097】
再学習の処理については実施の形態２でも説明したため、本実施の形態では再学習の処理についてフローチャートその他の詳細な説明を省略する。
【0098】
図１９は、ラベル付与処理の手順を示すフローチャートである。図１９に基づき、実施の形態５に係る端末２が実行する処理内容について説明する。
端末２は、補助記憶部２６に記憶してある保存ファイルを読み出す（ステップＳ５０１）。そして端末２は、検体画像を表示する（ステップＳ５０２）。具体的には、端末２は、検出モデル５０又は二値化処理のいずれか一方のみで検出された検出点（細菌）と、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）とで、異なる表示態様のバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示する。
端末２は、補助記憶部２６に記憶してある保存ファイルを読み出す（ステップＳ５０１）。そして端末２は、検体画像を表示する（ステップＳ５０２）。具体的には、端末２は、検出モデル５０又は二値化処理のいずれか一方のみで検出された検出点（細菌）と、検出モデル５０及び二値化処理で共通して検出された検出点（細菌）とで、異なる表示態様のバウンディングボックス（オブジェクト）を付した検体画像（第２検体画像）を表示する。
【0099】
端末２は、表示した検体画像に対し、バウンディングボックスで示す検出点を追加又は削除する操作入力を受け付ける（ステップＳ５０３）。端末２は、検出点を追加又は削除した後の画像ファイルを保存し（ステップＳ５０４）、一連の処理を終了する。
【0100】
以上より、本実施の形態５によれば、再学習用の訓練データを好適に作成することができる。
【0101】
（実施の形態６）
本実施の形態では、同じ検体について細菌検出（検査）を複数回実施する形態について説明する。
本実施の形態では、同じ検体について細菌検出（検査）を複数回実施する形態について説明する。
【0102】
図２０は、実施の形態６に係る文書ファイルを示す説明図である。図２０では、同じ検体について検査を複数回実施する場合において、各検査での検出結果をまとめた文書ファイルを図示している。図２０に基づき、本実施の形態の概要を説明する。
【0103】
同じ検体について検査を複数回実施するケースは、例えばＨＡＣＣＰ（Hazard Analysis and Critical Control Point）を実施するケースが想定される。ＨＡＣＣＰは、食品を製造する工程において、細菌（食中毒菌）や異物混入等の危険要因を除去又は低減するために、重要な工程を管理する方法を指す。本実施の形態ではＨＡＣＣＰの一環として、食品（検体）を製造する複数の工程それぞれにおいて検査を行う場合を想定して説明する。
【0104】
端末２は、複数の工程それぞれにおいて検体画像を取得し、検出モデル５０に検体画像を入力して細菌を検出する。そして端末２は、各工程での細菌の検出結果を文書ファイル等の形式で出力する。ここで端末２は、一の工程で検査を行って検出結果を出力する場合に、前回以前の工程での検査時と比較可能な形で検出結果を出力する。
【0105】
例えば端末２は、前回以前の検査時に保存した保存ファイルを参照して、前回以前の検査時における検出数等の検出結果と、今回（上記の一の工程）の検出結果との差分を示す文書ファイルを生成し、出力する。例えば端末２は、検出条件の設定時に前回以前の保存ファイルの指定入力を受け付け、指定された保存ファイルを参照して、前回以前の検査時の検出数と、今回の検出数との差分を算出して文書ファイルに記述する。
【0106】
図２０に、検出結果の差分が記述された文書ファイルを例示する。例えば端末２は、「６．今回の検出結果」として、今回検出された単位量当たりの細菌の検出数を記述すると共に、前回（図２０では２回目）の検出数との差分を算出して文書ファイルに記述する。また、端末２は、「７．前回までの検出結果」として、前回以前の各検査時に検出された検出数、及び前回との差分を一覧で記述する。これにより、ＨＡＣＣＰのように同じ検体について複数の工程で検査を実施する場合に、各工程での検査結果を好適にまとめてユーザにレポートすることができる。
【0107】
図２１は、実施の形態６に係る細菌検出処理の手順を示すフローチャートである。
端末２はまず、検出条件の設定入力を受け付ける（ステップＳ６０１）。例えば端末２は、撮像する測定フィルタ上の区画、検体量、検体番号等のほかに、比較対象とする過去の保存ファイル、すなわち前回以前の検出結果の指定入力を受け付ける。端末２は、指定された保存ファイルを読み出す（ステップＳ６０２）。端末２は、今回検査する検体画像を取得し（ステップＳ６０３）、処理をステップＳ３３に移行する。
端末２はまず、検出条件の設定入力を受け付ける（ステップＳ６０１）。例えば端末２は、撮像する測定フィルタ上の区画、検体量、検体番号等のほかに、比較対象とする過去の保存ファイル、すなわち前回以前の検出結果の指定入力を受け付ける。端末２は、指定された保存ファイルを読み出す（ステップＳ６０２）。端末２は、今回検査する検体画像を取得し（ステップＳ６０３）、処理をステップＳ３３に移行する。
【0108】
保存ファイルを出力すると判定した場合（Ｓ３６：ＹＥＳ）、端末２は、検出結果を記述した文書ファイルを生成し、検体画像の画像ファイル等と共に保存ファイルとして出力する（ステップＳ６０４）。ここで端末２は、前回以前の検査時の保存ファイルを参照して、複数の製造工程それぞれにおける検出結果を記述した文書ファイルを生成する。具体的には上述の如く、端末２は、各工程で検出された細菌数の差分を示す文書ファイルを生成する。端末２は一連の処理を終了する。
【0109】
以上より、本実施の形態６によれば、食品等の検体について、その製造工程に応じて検査を行い、各工程での検出結果を好適に提示することができる。
【0110】
（実施の形態７）
本実施の形態では、検体画像を拡大してから検出モデル５０を用いて細菌を検出する形態について説明する。
本実施の形態では、検体画像を拡大してから検出モデル５０を用いて細菌を検出する形態について説明する。
【0111】
図２２は、実施の形態７の概要を示す説明図である。図２２では、検体画像を所定倍率に拡大して複数の画像に分割し、分割した各画像から細菌を検出する様子を図示している。図２２に基づき、本実施の形態の概要を説明する。
【0112】
なお、以下では検体画像を所定倍率に拡大した画像を「拡大画像」と呼び、拡大画像を複数に分割した画像を「分割画像」と呼ぶ。
【0113】
実施の形態１で述べたように、端末２は、検出モデル５０を用いて検体画像から細菌を検出する。しかしながら、細菌のサイズは数μｍと非常に小さいため、撮像に使用するカメラのレンズ倍率が小さい場合、検体画像において観察される細菌（光点）も小さくなる。そのため、学習時の訓練データにおけるアノテーションサイズが大きいと、図１５右上のように近接する複数の光点を１つの細菌として誤検出する恐れがある。一方で、アノテーションサイズを小さくすれば複数の光点を個別に検出できるが、アノテーションサイズを小さくした分だけ検出時に使用する光点周辺の情報量が少なくなるため、夾雑物との識別等に悪影響を与える恐れがある。
【0114】
そこで本実施の形態では、検体画像を所定倍率に拡大し、拡大画像から細菌を検出する。具体的には、端末２は、拡大画像を拡大倍率に応じて複数の分割画像に分割し、各分割画像を検出モデル５０に順次入力することで、各分割画像から細菌を検出する。
【0115】
図２２では、元の検体画像が２倍に拡大され、検体画像を２×２＝４枚の分割画像に分割する様子を図示している。なお、分割画像を４枚に分割するのは学習時の画像サイズと合わせるためである。端末２は、検体画像を２倍に拡大する。この場合に端末２は、画像の継ぎ目をスムーズにするため、画像の補間処理（線形補間等による画素の補間）を行う。端末２は、拡大画像を上下均等に４分割し、分割画像を生成する。端末２は、各分割画像を検出モデル５０に入力し、細菌を検出する。
【0116】
なお、本実施の形態では拡大画像を複数の分割画像に分割するが、拡大画像を分割せず、そのまま検出モデル５０を用いて拡大画像から細菌を検出するようにしてもよい。
【0117】
また、上記では元の検体画像を単純に拡大して補間を行うものとしたが、例えば端末２は、拡大画像生成用の機械学習モデルを用いて拡大画像を生成するなどしてもよい。このように、拡大画像の生成方法は特に問わない。
【0118】
上述の如く、端末２は各分割画像から細菌を検出する。一方で、隣り合う２枚の分割画像の間の境界付近に細菌が位置する場合、当該細菌を２枚の分割画像それぞれから重複して検出してしまい、ダブルカウントを生じる恐れがある。そこで端末２は、各分割画像から検出した細菌のうち、隣り合う２枚の分割画像で重複して検出された細菌を特定する。
【0119】
具体的には、端末２は、隣り合う２枚の分割画像の間の境界部分から検出され、かつ、２枚の分割画像の双方から検出された細菌を特定する。なお、「境界部分」とは、分割画像の境界（分割画像の端）から境界線に垂直な方向に所定距離内（例えば数ピクセル内）の領域を指す。例えば端末２は、２枚の分割画像において同一の境界部分から検出された細菌であって、境界線と平行な方向における位置が同一の細菌を、重複して検出された細菌として特定する。なお、「境界線と平行な方向における位置が同一」とは、境界線と平行な方向における座標値が完全に一致、又は所定値以内（例えば数ピクセル内）に収まっている状態を指す。
【0120】
例えば上下に２分割された２枚の分割画像を考えた場合、端末２は、上側の分割画像の下端付近（境界部分）で検出された細菌と、下側の分割画像の上端付近（境界部分）で検出された細菌とについて、各細菌の左右方向における位置が同一であるか否かを判定する。同一であると判定した場合、端末２は、上側及び下側の分割画像からそれぞれ検出された細菌を、重複して検出された細菌として特定する。端末２は、各分割画像の間の境界部分それぞれ（図２２では４つの境界）について、重複して検出された細菌を特定する。
【0121】
最終的に端末２は、各分割画像から検出した細菌数を合計することで、元の検体画像における細菌数を集計する。この場合に端末２は、上記で重複するものとして特定した細菌数を減算することで、ダブルカウントを防止する。また、図２２下側に図示するように、端末２は、各分割画像における細菌の検出結果に基づき、元の検体画像にバウンディングボックスを付して表示する。なお、元の検体画像にバウンディングボックスを付与するのではなく、分割画像（又は分割前の拡大画像）にバウンディングボックスを付して表示してもよい。
【0122】
図２３は、実施の形態７に係る細菌検出処理の手順を示すフローチャートである。検体画像を取得した後（ステップＳ３２）、端末２は以下の処理を実行する。
端末２は、検体画像を所定倍率に拡大した拡大画像を生成する（ステップＳ７０１）。端末２は、拡大画像を倍率に応じて複数の分割画像に分割する（ステップＳ７０２）。端末２は、各分割画像を検出モデル５０に入力し、各分割画像から細菌を検出する（ステップＳ７０３）。
端末２は、検体画像を所定倍率に拡大した拡大画像を生成する（ステップＳ７０１）。端末２は、拡大画像を倍率に応じて複数の分割画像に分割する（ステップＳ７０２）。端末２は、各分割画像を検出モデル５０に入力し、各分割画像から細菌を検出する（ステップＳ７０３）。
【0123】
端末２は、各分割画像から検出した細菌のうち、隣り合う２枚の分割画像で重複して検出された細菌を特定する（ステップＳ７０４）。具体的には上述の如く、端末２は、隣り合う２枚の分割画像の間の境界部分から検出され、かつ、２枚の分割画像の双方から検出された細菌を特定する。
【0124】
端末２は、検体画像から検出された細菌数を集計する（ステップＳ７０５）。具体的には、端末２は、ステップＳ７０３において各分割画像から検出された細菌数を合計し、ステップＳ７０４において重複するものとして特定した細菌数を合計数から差し引く。端末２は処理をステップＳ３５に移行する。
【0125】
以上より、本実施の形態７によれば、検体画像を拡大することで細菌の検出精度を向上させることができる。
【0126】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0127】
１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 端末
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 補助記憶部
Ｐ２ プログラム
５０ 検出モデル
３ 検出装置
３１ 制御部
３２ 撮像部
３３ ＸＹ軸モータドライバ
３４ ＸＹ軸モータ
３５ ＬＤドライバ
３６ ＬＤ光源
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
２ 端末
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 補助記憶部
Ｐ２ プログラム
５０ 検出モデル
３ 検出装置
３１ 制御部
３２ 撮像部
３３ ＸＹ軸モータドライバ
３４ ＸＹ軸モータ
３５ ＬＤドライバ
３６ ＬＤ光源
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】