特開 2024-122118 細胞性微生物の判定装置、判定方法及びコンピュータープログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024122118

(43)【公開日】2024-09-09

(54)【発明の名称】細胞性微生物の判定装置、判定方法及びコンピュータープログラム

(51)【国際特許分類】

   C12M 1/34 20060101AFI20240902BHJP

   C12Q 1/04 20060101ALI20240902BHJP

   G01N 33/48 20060101ALI20240902BHJP

   G01N 33/483 20060101ALI20240902BHJP

   G06T 7/00 20170101ALN20240902BHJP

【ＦＩ】

C12M1/34 B

C12Q1/04

G01N33/48 M

G01N33/483 C

G06T7/00 350B

G06T7/00 630

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023029480

(22)【出願日】2023-02-28

(71)【出願人】

【識別番号】596136316

【氏名又は名称】三菱ケミカルアクア・ソリューションズ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100142309

【弁理士】

【氏名又は名称】君塚 哲也

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(72)【発明者】

【氏名】島崎 敦

【テーマコード（参考）】

2G045

4B029

4B063

5L096

【Ｆターム（参考）】

2G045AA28

2G045CB21

2G045FA16

2G045FA19

2G045JA03

4B029AA07

4B029BB02

4B029FA02

4B029FA03

4B063QA18

4B063QQ06

4B063QS39

4B063QX01

5L096AA06

5L096BA06

5L096CA02

5L096DA02

5L096FA06

5L096FA59

5L096FA64

5L096FA69

5L096GA02

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】撮像された画像において、撮像された細胞性微生物の種別を判定すること。
【解決手段】判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する制御部、を備える判定装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する制御部、を備える判定装置。

【請求項2】

前記制御部は、細胞性微生物が撮像された画像から取得される外形情報を複数用いて予め学習処理を行うことによって得られた学習済モデルを用いて判定する、請求項１に記載の判定装置。

【請求項3】

前記細胞性微生物は、細菌である、請求項１又は２に記載の判定装置。

【請求項4】

前記細菌は、糸状性細菌である、請求項３に記載の判定装置。

【請求項5】

前記外形情報は、前記細胞性微生物の大きさ、形状又は分岐構造に関する情報の中、１以上を含む、請求項１又は２に記載の判定装置。

【請求項6】

判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する、判定方法。

【請求項7】

判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する制御部、を備える判定装置、としてコンピューターを機能させるためのコンピュータープログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、細胞性微生物の判定装置、判定方法及びコンピュータープログラムに関する。

【背景技術】

【0002】

微生物は、ウイルス等の例外を除き「細胞」からできており、細胞性微生物ともいう。細胞性微生物は、遺伝情報である核酸を包む核膜の有無によって、「真核生物」と「原核生物」の２種類におおきく分類される。「真核生物」はさらに、酵母やカビ等の「真菌」と「原虫」の２種類に分類される。「原核生物」には、乳酸菌、大腸菌、糸状性細菌等の菌が含まれている。糸状性細菌は、活性汚泥法による生物処理槽の汚泥の中等に存在する。たくさんの分野において、細胞性微生物が対象物の中に存在するかどうかを判定できる技術が望ましい。
例えば、特許文献１には、撮像した細胞性微生物の画像に対して画像処理を施し、特定の細菌の存在の有無を検出する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１８１３７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に開示された技術では、撮影された画像内に細菌の画像が存在するか否かを判定することはできても、撮像された細菌の種別を判定することができないという問題があった。このような問題は、細菌に限定された問題ではなく、細胞性微生物にも共通する問題であった。

【0005】

本発明は、上述した事情に鑑みてなされたものであり、撮像された画像において、撮像された細胞性微生物の種別を判定することを可能とする技術を提供するものである。

【課題を解決するための手段】

【0006】

本発明は、下記の態様を有する。
［１］判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する制御部、を備える判定装置。
［２］前記制御部は、細胞性微生物が撮像された画像から取得される外形情報を複数用いて予め学習処理を行うことによって得られた学習済モデルを用いて判定する、［１］に記載の判定装置。
［３］前記細胞性微生物は、細菌である、［１］又は［２］に記載の判定装置。
［４］前記細菌は、糸状性細菌である、［３］に記載の判定装置。
［５］前記外形情報は、前記細胞性微生物の大きさ、形状又は分岐構造に関する情報の中、１以上を含む、［１］～［４］いずれか１項に記載の判定装置。
［６］判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する、判定方法。
［７］判定対象の細胞性微生物である対象微生物が撮像された対象画像に基づいて前記対象微生物の外形に関する情報である外形情報を取得し、前記外形情報に基づいて前記対象微生物の種別を判定する制御部、を備える判定装置、としてコンピューターを機能させるためのコンピュータープログラム。

【発明の効果】

【0007】

本発明により、撮像された画像において、撮像された細胞性微生物の種別を判定することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本発明の判定システム１００のシステム構成を示す概略ブロック図である。

【図2】端末装置１０の機能構成の具体例を示す概略ブロック図である。

【図3】対象画像の具体例を示す図である。

【図4】対象画像の他の具体例を示す図である。

【図5】学習装置２０の機能構成の具体例を示す概略ブロック図である。

【図6】学習装置２０の処理の具体例を示すフローチャートである。

【図7】判定装置３０の機能構成の具体例を示す概略ブロック図である。

【図8】外形情報と対象細菌の種別との相関関係を示すヒストグラムである。

【図9】判定装置３０の処理の具体例を示すフローチャートである。

【図10】本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。

【図11】判定装置３０の変形例を示す図である。

【図12】判定装置３０の変形例を示す図である。

【発明を実施するための形態】

【0009】

図１は、本発明の判定システム１００のシステム構成を示す概略ブロック図である。判定システム１００は、判定対象の細菌（以下「対象細菌」という。）の画像に基づいて対象細菌の種別を判定する際に使用される。以下、このような判定を行うための操作をする者をユーザーと呼ぶ。対象画像は、対象細菌の種別の判定の対象となる画像である。対象画像は、例えば特定の試料を顕微鏡で観察して撮像することで得られる画像である。

【0010】

判定システム１００は、端末装置１０と学習装置２０と判定装置３０とを含む。端末装置１０と判定装置３０とは、ネットワーク７０を介して通信可能に接続される。学習装置２０と判定装置３０とは、ネットワーク７０を介して通信可能に接続されもよい。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、例えばインターネットを用いて構成されてもよいし、ローカルエリアネットワーク（ＬＡＮ）を用いて構成されてもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。

【0011】

図２は、端末装置１０の機能構成の具体例を示す概略ブロック図である。端末装置１０は、例えばスマートフォン、タブレット、パーソナルコンピューター、専用機器などの情報機器を用いて構成される。端末装置１０は、通信部１１、操作部１２、出力部１３、画像入力部１４、記憶部１５及び制御部１６を備える。

【0012】

通信部１１は、通信機器である。通信部１１は、例えばネットワークインターフェースとして構成されてもよい。通信部１１は、制御部１６の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部１１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0013】

操作部１２は、キーボード、ポインティングデバイス（マウス、タブレット等）、ボタン、タッチパネル等の既存の入力装置を用いて構成される。操作部１２は、ユーザーの指示を端末装置１０に入力する際にユーザーによって操作される。操作部１２は、入力装置を端末装置１０に接続するためのインターフェースであっても良い。この場合、操作部１２は、入力装置においてユーザーの入力に応じ生成された入力信号を端末装置１０に入力する。操作部１２は、マイク及び音声認識装置を用いて構成されてもよい。この場合、操作部１２はユーザーによって発話された文言を音声認識し、認識結果の文字列情報を端末装置１０に入力する。この場合、操作部１２は音声の入力のみを行い、音声認識は制御部１６によって実行されてもよい。操作部１２は、ユーザーの指示を端末装置１０に入力可能な構成であればどのように構成されてもよい。

【0014】

出力部１３は、情報をユーザーが認知可能な形で出力する。出力部１３は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等の画像表示装置であってもよい。出力部１３は、画像表示装置を端末装置１０に接続するためのインターフェースであっても良い。この場合、出力部１３は、画像データを表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。出力部１３は、スピーカー等の音響を出力する装置であってもよい。出力部１３は、スピーカーやヘッドホン等の音響出力装置を端末装置１０に接続するためのインターフェースであってもよい。この場合、出力部１３は、音響データを再生するための音響信号を生成し、自身に接続されている音響出力装置に音響信号を出力する。

【0015】

画像入力部１４は、端末装置１０に対して入力される画像のデータを受け付ける。画像入力部１４は、スチルカメラやビデオカメラによって撮像された画像を、カメラから取得しても良い。カメラから画像が取得される場合には、例えばＵＳＢケーブルやＬＡＮケーブル等の通信ケーブルを経由した有線通信が行われても良いし、無線ＬＡＮやBlue Tooth等の無線通信が行われても良い。画像入力部１４は、スチルカメラやビデオカメラ等の撮像装置として構成されてもよい。

【0016】

スチルカメラやビデオカメラは、対象細菌を観察するための顕微鏡に取り付けられてもよい。その場合、撮像対象となる試料に含まれる対象細菌に対してピントを合わせた状態で撮像が行われてもよい。細菌に対してピントを合わせる処理は、人が顕微鏡を操作することによって行われてもよいし、装置によって実行されてもよい。装置によって実行される場合には、例えばレンズのピントを制御するための機構に設けられたアクチュエーターの動作を制御する制御装置が、レンズを介して得られる画像の画像処理を行うことによってアクチュエーターを制御することによって行われてもよい。制御装置は、例えば得られる画像に対してパターンマッチングで所定の細菌の形状に類似した形状を検出し、検出された画像のエッジ成分がより高い周波数成分となるようにアクチュエーターを制御してもよい。このような処理には、既存の様々な技術が適用されてもよい。

【0017】

画像入力部１４は、ネットワークを介して他の情報処理装置から画像のデータを受信しても良い。画像入力部１４は、例えばＣＤ－ＲＯＭやＵＳＢメモリー（Universal Serial Bus Memory）等の記録媒体に記録された画像のデータを読み出しても良い。画像入力部１４は、画像のデータの入力を受けることが可能な構成であれば、さらに異なる態様で構成されても良い。画像入力部１４によって入力された画像のデータは、記憶部１５によって記憶されても良い。

【0018】

対象画像の取得方法の具体例について説明する。まず、対象細菌の存在を確認するための試料として、活性汚泥、生物膜、被処理水、処理水などの液体を採取する。次に、採取した試料を調整する。試料の調整は、例えば採取した試料を希釈し、試料を適切な濃度に調整することによって行われる。希釈手段としては蒸留水を加水する手段などがある。

【0019】

次に、調整された試料をスライドガラスの上に一定量滴下し、カバーガラスをのせる。さらに、カバーガラスの上に油浸用オイルを滴下する。次に、試料及びカバーガラスが乗せられたスライドガラスを、顕微鏡のステージにのせる。次に、対物レンズの倍率を対象細菌に応じた倍率にセットする。例えば、対象細菌が糸状性細菌である場合には、接眼レンズと対物レンズとの倍率を合わせて１０００倍程度にセットされる。次に、対象細菌にピントを合わせ、顕微鏡の視野を撮像することで顕微鏡画像を取得する。顕微鏡画像は、静止画像であってもよいし動画像であってもよい。ただし、取得された顕微鏡画像が動画像である場合には、その動画像を他の装置で加工することによって静止画像の顕微鏡画像が取得される。顕微鏡画像において、複数の対象細菌が極端に近接していないことや、重なっていないことが望ましい。顕微鏡画像の大きさは、例えば一方の幅が１９２９ピクセルであり、他方の幅が１０８０ピクセルであってもよい。その後、顕微鏡画像から、ピントのあった対象細菌単体の画像を、所定の大きさ（例えば縦横それぞれ２２４ピクセルの大きさ）に切りとることで対象画像を生成する。

【0020】

記憶部１５は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部１５は、制御部１６によって使用されるデータを記憶する。記憶部１５は、制御部１６が処理を行う際に必要となるデータを記憶する。

【0021】

制御部１６は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリー（主記憶装置）とを用いて構成される。制御部１６は、プロセッサーがプログラムを実行することによって機能する。なお、制御部１６の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0022】

制御部１６は、例えば自装置（端末装置１０）にインストールされたアプリケーションを実行してもよい。このようなアプリケーションの具体例として、判定システム１００の専用アプリケーションとして端末装置１０に提供されるアプリケーションがある。このようなアプリケーションの他の具体例として、ＷＥＢブラウザーのアプリケーションがある。このようなアプリケーションは、予め端末装置１０にインストールされていてもよいし、判定処理を実行する際にその都度ダウンロードされてもよい。例えばＷＥＢブラウザーのアプリケーションとして実装される場合には、特定のＷＥＢサーバーに端末装置１０が接続することに応じてＷＥＢサーバーによって指定された装置（例えばＷＥＢサーバーそのものでもよいし他のサーバーでもよい）から端末装置１０がアプリケーションをダウンロードして実行してもよい。制御部１６は、実行中のアプリケーションのプログラムにしたがって動作する。

【0023】

制御部１６は、ユーザーの操作や判定装置３０から受信される情報に応じて端末装置１０を制御する。例えば、制御部１６は、ユーザーが操作部１２を操作することによって入力された情報を、通信部１１を用いることによって判定装置３０へ送信する。例えば、制御部１６は、画像入力部１４から入力された画像のデータを、通信部１１を用いることによって判定装置３０へ送信する。例えば、制御部１６は、判定装置３０から送信された情報がネットワーク７０を介して通信部１１で受信されると、受信された情報に基づいて画面データを生成し、出力部１３に画面データを表示させる。このような画面データには、判定装置３０から送信された画像や文字が含まれる。例えば、制御部１６は、判定装置３０から送信された情報がネットワーク７０を介して通信部１１で受信されると、受信された情報に基づいて音声データを生成し、出力部１３から音声データを出力させる。

【0024】

以下、制御部１６の動作の具体例について説明する。以下の例では、出力部１３の具体例として画像表示装置が用いられる。ただし、上述したように出力部１３は画像表示装置を用いて構成される必要はなく、音声出力装置を用いて構成されてもよいし、画像表示装置及び音声出力装置の両方を用いて構成されてもよい。

【0025】

制御部１６は、判定装置３０が判定処理を実行するために必要となる情報を入力することをユーザーに対して指示する文字や画像を有した画面データを生成する。制御部１６は、生成した画面データを出力部１３に表示させる。制御部１６は、例えば判定対象となる画像（対象画像）を選択することを指示してもよい。ユーザーは、操作部１２を操作することによって、対象画像を示す情報を端末装置１０に入力する。制御部１６は、入力された情報に応じた対象画像のデータを、通信部１１を用いて判定装置３０に送信する。制御部１６は、判定装置３０から判定結果を受信する。制御部１６は、判定結果を示す情報を示す画面データを生成する。制御部１６は、生成した画面データを出力部１３に表示させる。

【0026】

図３は、対象画像の具体例を示す図である。図３に示される対象画像には、対象細菌としてＴｙｐｅ０２１Ｎという名前の糸状性細菌が写っている。後述する前処理では、図３に示される対象細菌について、一方の長辺（例えば上側に位置する長辺Ａ１）と、他方の長辺（例えば下側に位置する長辺Ｂ１）とが抽出される。そして、二つの長辺の間の幅Ｗ１が、対象細菌の太さ（外形情報）として取得されてもよい。長辺Ａ１及び長辺Ｂ１とは平行な２辺として抽出されてもよいし、平行ではない２辺として抽出されてもよい。２辺が平行である場合には、Ｗ１は一意に定まる。２辺が平行では無い場合には、幅の統計値がＷ１として取得されてもよい。例えば、最大の幅と最小の幅との間の平均値が幅Ｗ１として取得されてもよいし、複数の箇所で幅を測定しその平均値がＷ１として取得されてもよいし、他の統計値がＷ１として取得されてもよい。

【0027】

図４は、対象画像の他の具体例を示す図である。図４に示される対象画像には、対象細菌としてＴｙｐｅ００４１という名前の糸状性細菌が写っている。後述する前処理では、図４に示される対象細菌について、一方の長辺（例えば上側に位置する長辺Ａ２）と、他方の長辺（例えば下側に位置する長辺Ｂ２）とが抽出される。そして、二つの長辺の間の幅Ｗ２が、対象細菌の太さ（外形情報）として取得されてもよい。長辺Ａ２及び長辺Ｂ２とは平行な２辺として抽出されてもよいし、平行ではない２辺として抽出されてもよい。２辺が平行である場合には、Ｗ２は一意に定まる。２辺が平行では無い場合には、幅の統計値がＷ２として取得されてもよい。例えば、最大の幅と最小の幅との間の平均値が幅Ｗ２として取得されてもよい。

【0028】

図５は、学習装置２０の機能構成の具体例を示す概略ブロック図である。学習装置２０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。学習装置２０は、通信部２１、記憶部２２及び制御部２３を備える。

【0029】

通信部２１は、通信機器である。通信部２１は、例えばネットワークインターフェースとして構成されてもよい。通信部２１は、制御部２３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部２１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0030】

記憶部２２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部２２は、制御部２３によって使用されるデータを記憶する。記憶部２２は、例えば教師データ記憶部２２１、前処理済教師データ記憶部２２２及び学習済モデル記憶部２２３として機能してもよい。

【0031】

（教師データの作成）
教師データ記憶部２２１は、学習装置２０において実行される学習処理に用いられる教師データを記憶する。教師データ記憶部２２１が記憶する教師データは、教師データとして用いられる細菌（以下「学習対象細菌」という。）が撮像された画像（以下「学習対象画像」という。）と、学習対象細菌の外形に関する情報（以下「外形情報」という。）と、学習対象細菌に関するラベル情報と、を含む。学習対象画像は、対象画像と同じ大きさの画像であることが望ましいが、この限りではない。外形情報は、例えば学習対象細菌の大きさ（例えば棒状の細菌の太さ、長さ、面積のいずれか一つ又は複数を含んでもよい）、形状（例えば、球形状、楕円体状、棒状、らせん状のいずれか一つ又は複数を含んでもよい）、分岐構造（例えば分岐構造の種別、分岐の数等）等の中、１以上の情報である。学習処理によって生成される学習済モデルを用いて推定される情報である。ラベル情報は、例えば細菌の種別を示す情報であってもよい。学習対象画像は、例えば上述したような対象画像の取得方法と同じような処理によって取得されてもよい。

【0032】

前処理済教師データ記憶部２２２は、前処理済教師データを記憶する。前処理済教師データは、学習対象画像に対して前処理制御部２３２が前処理を実行することによって得られる情報を記憶する。前処理は、例えば画像処理を含み、外形情報を取得する処理であってもよい。この場合、前処理済教師データは、外形情報と、教師データと、を含む。外形情報は、学習対象細菌の外形に関する情報である。外形情報は、例えば学習対象細菌の大きさ（例えば棒状の細菌の太さ、長さ、面積のいずれか一つ又は複数を含んでもよい）、形状（例えば、球形状、楕円体状、棒状、らせん状のいずれか一つ又は複数を含んでもよい）、分岐構造に関する情報（例えば分岐構造の有無、分岐の数、分岐構造の分類等の情報）の中、１以上の情報である。学習対象細菌の大きさは、画像平面上の大きさの単位（例えば画素単位）で示されてもよいし、実空間上での大きさの単位で示されてもよい。

【0033】

学習済モデル記憶部２２３は、教師データ記憶部２２１に記憶されている教師データや前処理済教師データ記憶部２２２に記憶される前処理済教師データを用いた学習処理によって得られる学習済モデルを記憶する。

【0034】

制御部２３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部２３は、プロセッサーがプログラムを実行することによって、情報制御部２３１、前処理制御部２３２及び学習制御部２３３として機能する。なお、制御部２３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0035】

情報制御部２３１は、情報の入出力を制御する。例えば、情報制御部２３１は、他の機器（情報処理装置や記憶媒体）から教師データを取得し、教師データ記憶部２２１に記録する。例えば、情報制御部２３１は、学習済モデル記憶部２２３に記憶されている学習済モデルを、他の装置（例えば判定装置３０）に対して送信する。

【0036】

前処理制御部２３２は、教師データに対して所定の前処理を実行することによって、前処理済教師データを生成する。前処理制御部２３２は、例えば対象細菌画像から、撮影されている対象細菌の外形情報を取得することによって前処理済教師データを生成してもよい。具体的には例えば以下のように実行されてもよい。まず、前処理制御部２３２は、対象細菌画像において判定対象となっている細菌に応じたパターンマッチング処理を実行し、対象細菌が写っている画像上の領域を抽出する。前処理制御部２３２は、抽出された領域の大きさを画素数単位で取得してもよい。前処理制御部２３２は、対象細菌が糸状性細菌である場合には、長辺の長さ及び短辺の長さをそれぞれ長さ及び太さとして外形情報を取得してもよい。

【0037】

学習制御部２３３は、前処理済教師データ記憶部２２２に記憶されている前処理済教師データを用いて学習処理を実行する。このような学習処理の具体例として、例えば、サポートベクトルマシンやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。学習制御部２３３は、例えば教師あり学習を行うことによって、入力される対象画像に基づいて対象細菌の種別を出力するための学習済モデルを生成する。学習制御部２３３は、生成された学習済モデルを学習済モデル記憶部２２３に記録する。学習制御部２３３によって得られた学習済モデルは、判定装置３０に対して送信され、判定装置３０の学習済モデル記憶部３２１に記録されてもよい。このような学習済モデルは、入力として対象画像を与えることによって、出力として対象細菌の種別を示す値を得ることが可能である。

【0038】

図６は、学習装置２０の処理の具体例を示すフローチャートである。まず、情報制御部２３１は教師データを取得する（ステップＳ１０１）。教師データは、例えばユーザーによって入力されてもよいし、他の情報機器から通信によって取得されてもよいし、学習装置２０に接続された記録媒体から取得されてもよい。前処理制御部２３２は、教師データに対して所定の前処理を実行する（ステップＳ１０２）。学習制御部２３３は、前処理済教師データを用いて学習処理を実行し、学習済モデルを学習済モデル記憶部２２３に記録する（ステップＳ１０３）。

【0039】

図７は、判定装置３０の機能構成の具体例を示す概略ブロック図である。判定装置３０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。判定装置３０は、通信部３１、記憶部３２及び制御部３３を備える。

【0040】

通信部３１は、通信機器である。通信部３１は、例えばネットワークインターフェースとして構成されてもよい。通信部３１は、制御部３３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部３１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0041】

記憶部３２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部３２は、制御部３３によって使用されるデータを記憶する。記憶部３２は、例えば学習済モデル記憶部３２１として機能してもよい。

【0042】

学習済モデル記憶部３２１は、予め学習処理によって生成された学習済モデルの情報を記憶する。このような学習処理は、例えば他の装置（例えば学習装置２０）によって実行されてもよいし、自装置（判定装置３０）によって実行されてもよい。

【0043】

制御部３３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部３３は、プロセッサーがプログラムを実行することによって、情報制御部３３１、前処理制御部３３２及び判定部３３３として機能する。なお、制御部３３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0044】

情報制御部３３１は、端末装置１０等の他の装置から対象画像を取得する。取得される画像は判定の対象となる対象細菌が撮像された画像である。

【0045】

情報制御部３３１は、前処理制御部３３２によって得られた情報（例えば外形情報）や、判定部３３３によって得られた判定結果を示す情報を、端末装置１０等の他の装置に対して送信する。このような情報制御部３３１による他の装置との間の情報のやりとりは、例えば通信部３１による通信によって行われてもよい。

【0046】

前処理制御部３３２は、情報制御部３３１によって取得された対象画像に対して所定の前処理を実行することで外形情報を取得する。前処理制御部３３２が実行する前処理は、判定部３３３によって使用される学習済モデルを生成する際の前処理と同様の処理である。すなわち、前処理制御部３３２が対象画像に対して行う処理は、前処理制御部２３２が対象画像に対して行う処理と同じである。前処理制御部３３２は、このような前処理を行うことによって外形情報を取得する。

【0047】

判定部３３３は、学習済モデル記憶部３２１に記憶される学習済モデルと、対象画像及び外形情報と、を用いて判定処理を行う。判定処理によって、対象画像に撮像されている対象細菌の種別が判定される。判定部３３３は、少なくとも対象画像に写っている対象細菌の種別に関する判定結果を出力する。

【0048】

図８は、外形情報と対象細菌の種別との相関関係を示すヒストグラムである。図８では、対象細菌の具体例として、図３に示した糸状性細菌であるＴｙｐｅ０２１Ｎと、図４に示した糸状性細菌であるＴｙｐｅ００４１と、を用いている。図８に示されるヒストグラムは、各糸状性細菌が撮像された対象画像を２００枚ずつ用意し、それぞれの糸状性細菌の太さ（直径）の値について作成されたヒストグラムである。縦軸は各糸状性細菌のカウント数を示し、横軸は太さ（直径）の値の範囲を示す。図８から明らかなように、糸状性細菌という同じ種別の細菌であっても、Ｔｙｐｅ０２１ＮとＴｙｐｅ００４１とでは太さの傾向に違いがある。そのため、糸状性細菌の種別と太さとには相関があることが明らかである。

【0049】

図９は、判定装置３０の処理の具体例を示すフローチャートである。まず、情報制御部３３１は端末装置１０から対象画像を取得する（ステップＳ２０１）。前処理制御部３３２は、対象画像に対して前処理を行うことによって外形情報を取得する（ステップＳ２０２）。判定部３３３は、少なくとも外形情報を用いて判定処理を行う（ステップＳ２０３）。判定部３３３は、判定結果を示す情報を端末装置１０に送信する（ステップＳ２０４）。

【0050】

このように構成された判定システム１００では、撮像された画像において、撮像された細胞性微生物の種別をより精度良く判定することが可能となる。具体的には以下の通りである。判定システム１００では、細胞性微生物の具体例として細菌が用いられている。判定システム１００では、学習対象細菌について撮像された学習対象画像を用いて生成された外形情報を用いて学習処理が実行され、学習済モデルが得られる。そして、判定システム１００では、判定対象となる新たな対象細菌について対象画像が取得され、それに基づいて前処理が実行されて外形情報が取得される。外形情報は上述したように細菌の種別に対して相関を有している。そのため、外形情報を用いて細菌の種別を判定することによって、より精度よく対象細菌の種別を判定することが可能となる。なお、上述した説明において、細菌に代えて細胞性微生物全般が用いられてもよい。この場合、判定の対象となる細胞性微生物を対象微生物と呼ぶ。

【0051】

また、判定システム１００では、外形情報を用いて学習処理が実行され、外形情報を用いて判定が行われる。外形情報では、画像に比べてより直接的に対象細菌の特徴が表現される。そのため、例えば糸状菌種判別用データベース（ＡＰＰ）等のように大量の教師データを用いなければ判別の精度が得られない公知技術に比べて、より少ない教師データでより高い精度を得ることが可能となる。

【0052】

糸状性細菌を例として訓練データにおける正解率（train accuracy）と精度検証データにおける正解率（validation accuracy）の精度について説明する。なお、訓練データにおける正解率（train accuracy）と精度検証データにおける正解率（validation accuracy）が１に近ければ近いほど精度が高い。

【0053】

複数種類の糸状性細菌を用いて（例えば、Ｔｙｐｅ００４１とＴｙｐｅ０２１Ｎ）、糸状性細菌の画像とその糸状性細菌の太さは、必ず対になるデータとして学習処理時および判定処理時に扱われる。つまり、画像と太さのデータはそれぞればらばらに処理されるのではなく、プログラミング上では画像データとその太さデータは一括りのデータとして処理される。このように糸状性細菌の画像とその糸状性細菌の太さは対になるデータとして教師データ１と教師データ２をそれぞれ作成した。

【0054】

表１に示したように、２００枚の写真のみを用いた場合（教師データ１）に比べ、５０枚の写真と太さデータとを用いた場合（教師データ３）、より高い訓練データにおける正解率（train accuracy）と精度検証データにおける正解率（validation accuracy）とを得ることが判明した。また、２００枚の写真と太さデータ両方を用いた場合（教師データ２）、さらに優れた訓練データにおける正解率（train accuracy）と精度検証データにおける正解率（validation accuracy）とを取得することができた。

【表1】

【0055】

図１０は、本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば学習装置２０及び判定装置３０に適用されてもよい。この場合、例えば通信部２１及び通信部３１は通信インターフェース９３を用いて構成されてもよい。例えば記憶部２２及び記憶部３２は補助記憶装置９４を用いて構成されてもよい。また、制御部２３及び制御部３３は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。

【0056】

（変形例）
上述した実施形態では、学習処理において学習対象画像及び外形情報が用いられている。同様に、判定処理において対象画像及び外形情報が用いられている。これに対し、学習対象画像及び対象画像は、それぞれ前処理によって外形情報を取得する際に使用されるが、その後の学習処理や判定処理には用いられなくてもよい。すなわち、学習処理及び判定処理は、外形情報が入力として用いられるものの、学習対象画像及び対象画像は学習処理及び判定処理に入力として用いられなくてもよい。

【0057】

本実施形態では、端末装置１０と判定装置３０とが異なる装置として構成されているが、一体の装置として構成されてもよい。図１１は、このように構成された判定装置３０の変形例を示す図である。図１１に示される判定装置３０は、操作部３４、出力部３５及び画像入力部３６を備える。図１１に示される判定装置３０の操作部３４、出力部３５及び画像入力部３６は、それぞれ端末装置１０の操作部１２、出力部１３及び画像入力部１４と同様に機能する。制御部３３は、操作部３４に対する操作に応じて動作し、画像入力部３６によって入力された画像を用いて判定処理を行い、出力部３５を用いて情報を出力する。このように構成されることによって、対象画像の取得から判定結果の出力までを人の手を介することなく自動的に実行することが可能となる。

【0058】

本実施形態では、学習装置２０と判定装置３０とが異なる装置として構成されているが、一体の装置として構成されてもよい。図１２は、このように構成された判定装置３０の変形例を示す図である。図１２に示される判定装置３０の記憶部３２は、教師データ記憶部３２２及び前処理済教師データ記憶部３２３としても機能する。図１２に示される判定装置３０の制御部３３は、前処理制御部３３２及び学習制御部３３４としても機能する。教師データ記憶部３２２及び前処理済教師データ記憶部３２３は、それぞれ学習装置２０の教師データ記憶部２２１及び前処理済教師データ記憶部２２２と同様に機能する。前処理制御部３３２は、判定装置３０の前処理（対象画像に対する前処理）のみではなく、学習装置２０の前処理（学習対象画像に対する前処理）も実行する。学習制御部３３４は、学習装置２０の学習制御部２３３と同様に機能する。

【0059】

学習装置２０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて学習装置２０が実装されてもよい。例えば、学習装置２０において、記憶部２２と制御部２３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、学習装置２０の記憶部２２が複数の情報処理装置に分散して実装されてもよい。判定装置３０は、複数の情報処理装置を用いて実装されてもよい。例えば、クラウド等の装置を用いて判定装置３０が実装されてもよい。例えば、判定装置３０において、記憶部３２と制御部３３とがそれぞれ異なる情報処理装置に実装されてもよい。例えば、判定装置３０の記憶部３２が複数の情報処理装置に分散して実装されてもよい。

【0060】

学習装置２０は、細菌の大きな分類毎に学習済モデルを生成してもよい。例えば、放線菌用の学習済モデルと、糸状性細菌用の学習済モデルと、が生成されてもよい。この場合、放線菌用の学習済モデルは、放線菌が撮像された学習対象画像を用いて外形情報が取得されて学習処理を行うことによって生成される。また、糸状性細菌用の学習済モデルは、糸状性細菌が撮像された学習対象画像を用いて外形情報が取得されて学習処理を行うことによって生成される。判定装置３０の学習済モデル記憶部３２１は、放線菌用の学習済モデルと糸状性細菌用の学習済モデルと、を記憶する。

【0061】

前処理制御部３３２は、対象画像において、撮像されている対象細菌の分類を判定する。このような分類は、例えばそれぞれの分類に応じて予め生成されたパターンを用いたパターンマッチング処理によって判定されてもよいし、分類するための学習済モデルを用いて判定されてもよい。分類するための学習済モデルは、例えばそれぞれの分類の細菌が撮像された画像（学習対象画像）と、その画像に写っている細菌の分類を示すラベル情報と、を用いて学習処理を行うことによって生成されてもよい。前処理制御部３３２が細菌の分類を判定すると、判定部３３３は判定結果に応じた学習済モデルを学習済モデル記憶部３２１から読み出し判定処理に使用する。

【0062】

各分類の学習済モデルでは、それぞれ異なる外形情報が用いられてもよい。例えば、放線菌用の学習済モデルでは外形情報として線状部分の形状（例、分岐の角度）が用いられ、糸状性細菌用の学習済モデルでは外形情報として太さ（直径）が用いられてもよい。この場合、前処理制御部２３２及び前処理制御部３３２は、それぞれの分類に応じた前処理を行うことによって外形情報を取得する。前処理制御部２３２は、ラベル情報に示された分類に基づいて前処理を判定してもよい。前処理制御部３３２は、対象細菌の分類の判定結果に基づいて前処理を判定してもよい。

【0063】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0064】

１００…判定システム， １０…端末装置， １１…通信部， １２…操作部， １３…出力部， １４…画像入力部、 １５…記憶部， １６…制御部， ２０…学習装置， ２１…通信部， ２２…記憶部， ２２１…教師データ記憶部， ２２２…前処理済教師データ記憶部， ２２３…学習済モデル記憶部， ２３…制御部， ２３１…情報制御部， ２３２…前処理制御部， ２３３…学習制御部， ３０…判定装置， ３１…通信部， ３２…記憶部， ３２１…学習済モデル記憶部， ３３…制御部， ３３１…情報制御部， ３３２…前処理制御部， ３３３…判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】