特許 7400035 害虫の検査のためのプログラム及び害虫検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-12-08

(45)【発行日】2023-12-18

(54)【発明の名称】害虫の検査のためのプログラム及び害虫検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231211BHJP

   G06V 10/70 20220101ALI20231211BHJP

【ＦＩ】

G06T7/00 300F

G06V10/70

【請求項の数】 7

(21)【出願番号】P 2022119873

(22)【出願日】2022-07-27

【審査請求日】2022-07-27

(73)【特許権者】

【識別番号】000232623

【氏名又は名称】日本農薬株式会社

(73)【特許権者】

【識別番号】522163469

【氏名又は名称】株式会社アグリマート

(73)【特許権者】

【識別番号】596072287

【氏名又は名称】株式会社エヌ・ティ・ティ・データＣＣＳ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】岡田 敦

(72)【発明者】

【氏名】谷元 忠

(72)【発明者】

【氏名】白井 英男

(72)【発明者】

【氏名】笠原 勇太

(72)【発明者】

【氏名】日置 和之

(72)【発明者】

【氏名】掛野 仁志

(72)【発明者】

【氏名】井上 龍一

(72)【発明者】

【氏名】田浦 翔斗

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開平０８－２６３６６０（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１５０７３１４（ＣＮ，Ａ）

【文献】国際公開第２０２０／０２６３４９（ＷＯ，Ａ１）

【文献】特開２０１４－１４２８３３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１１７８９７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０３４９６６８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／０２１２３０５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｍ １／００ － ９９／００

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

捕虫紙の画像に基づいて、前記捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに前記捕虫紙の画像を入力して前記虫体の種名の分類を実施することと、
前記虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施することと、
をコンピュータに実行させるための害虫の検査のためのプログラムであって、
前記検査モデルは、さらに、前記虫体の種名の特性に基づくグループ名の分類を実施し、
前記虫体の種名の分類結果が疑わしいか否かを判定することは、分類された種名及びグループ名の組み合わせが予め登録された種名及びグループ名の組み合わせと一致していないときに、前記虫体の種名の分類結果が疑わしいと判定することを含む害虫の検査のためのプログラム。

【請求項2】

捕虫紙の画像に基づいて、前記捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに前記捕虫紙の画像を入力して前記虫体の種名の分類を実施することと、
前記捕虫紙の画像から前記虫体の実寸を計算することと、
前記虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施することと、
をコンピュータに実行させるための害虫の検査のためのプログラムであって、
前記虫体の種名の分類結果が疑わしいか否かを判定することは、計算された実寸を有する虫体の分布範囲が予め登録された分布範囲に含まれていないときに、前記虫体の種名の分類結果が疑わしいと判定することを含む害虫の検査のためのプログラム。

【請求項3】

前記捕虫紙の画像から前記虫体の実寸を計算することは、
前記捕虫紙に予め設定された実寸が既知の区画の枠を前記捕虫紙の画像から検出することと、
前記捕虫紙の画像に占める前記区画の枠の大きさから前記虫体の実寸を計算することと、
を含む請求項２に記載の害虫の検査のためのプログラム。

【請求項4】

前記検査モデルは、前記捕虫紙の画像から前記区画の枠を検出するようにさらに構成されている請求項３に記載の害虫の検査のためのプログラム。

【請求項5】

前記虫体の種名の分類結果が疑わしいか否かを判定することは、前記捕虫紙の画像における虫体の検出結果の確からしさが閾値を超えていないときに、前記虫体の種名の分類結果が疑わしいと判定することを含む請求項１乃至４の何れか１項に記載の害虫の検査のためのプログラム。

【請求項6】

捕虫紙の画像に基づいて、前記捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに前記捕虫紙の画像を入力して前記虫体の種名の分類を実施する分類部と、
前記虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施する足切り処理部と、
を具備し、
前記検査モデルは、さらに、前記虫体の種名の特性に基づくグループ名の分類を実施し、
前記足切り処理部は、分類された種名及びグループ名の組み合わせが予め登録された種名及びグループ名の組み合わせと一致していないときに、前記虫体の種名の分類結果が疑わしいと判定する害虫検査装置。

【請求項7】

捕虫紙の画像に基づいて、前記捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに前記捕虫紙の画像を入力して前記虫体の種名の分類を実施する分類部と、
前記虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施する足切り処理部と、
を具備し、
前記足切り処理部は、計算された実寸を有する虫体の分布範囲が予め登録された分布範囲に含まれていないときに、前記虫体の種名の分類結果が疑わしいと判定する害虫検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、害虫の検査のためのプログラム及び害虫検査装置に関する。

【背景技術】

【0002】

食品工場及び飲食店等では、衛生管理の一環として害虫の検査が義務付けられている。害虫の検査では、食品工場等の所定の場所に予め設置された粘着トラップ等に張り付いた害虫の同定及び計数が行われる。これらの害虫の同定及び計数の結果に応じて対策が講じられる。ここで、害虫の同定及び計数とその結果を含む報告書作成の業務は、ユーザから委託された外部の業者であるＰＣＯ（Pest Control Operator）によって行われることが多い。従来、ＰＣＯは、粘着トラップ等に張り付いた害虫の同定及び計数を目視で行っている。また、ＰＣＯは、害虫の同定及び計数の結果を報告書にまとめて取引先に提出している。このような目視による害虫の同定及び計数には多大な労力がかかる。これに対し、人工知能（ＡＩ）によって撮影画像を解析し、解析結果に基づいて虫体の同定及び計数を実施する試みもされている。ここで、ＡＩによる解析は統計的な手法によって実施されるため、理論上、１００％の解析結果は導出され得ない。ＡＩを用いた解析の信頼性を高めることが望まれている。

【先行技術文献】

【非特許文献】

【0003】

【文献】環境機器株式会社ホームページ［Ｏｎｌｉｎｅ］，［令和４年４月７日検索］，インターネット＜ＵＲＬhttps://www.semco.net/works/system/pestvision.html＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、人工知能を用いた害虫の検査のための解析における信頼性が高められた害虫検査のためのプログラム及び害虫検査装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

一態様の害虫の検査のためのプログラムは、捕虫紙の画像に基づいて、捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに捕虫紙の画像を入力して虫体の種名の分類を実施することと、虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施することとをコンピュータに実行させる。検査モデルは、さらに、虫体の種名の特性に基づくグループ名の分類を実施する。虫体の種名の分類結果が疑わしいか否かを判定することは、分類された種名及びグループ名の組み合わせが予め登録された種名及びグループ名の組み合わせと一致していないときに、虫体の種名の分類結果が疑わしいと判定することを含む。
一態様の害虫の検査のためのプログラムは、捕虫紙の画像に基づいて、捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに捕虫紙の画像を入力して虫体の種名の分類を実施することと、虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施することとをコンピュータに実行させる。虫体の種名の分類結果が疑わしいか否かを判定することは、計算された実寸を有する虫体の分布範囲が予め登録された分布範囲に含まれていないときに、虫体の種名の分類結果が疑わしいと判定することを含む。

【発明の効果】

【0006】

本開示によれば、人工知能を用いた害虫の検査のための解析における信頼性が高められた害虫検査のためのプログラム及び害虫検査装置が提供される。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係るシステムの構成を示す図である。

【図2】図２は、サーバのハードウェア構成の一例を示すブロック図である。

【図3】図３は、サーバの機能ブロック図である。

【図4】図４は、捕虫紙の画像の一例を示す図である。

【図5】図５は、サーバによる解析処理について示すフローチャートである。

【図6】図６は、枠検出処理について示すフローチャートである。

【図7】図７は、虫体検出処理について示すフローチャートである。

【図8】図８は、虫体分類処理について示すフローチャートである。

【図9】図９は、検査実施範囲について示す図である。

【図10】図１０は、足切り処理について示すフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して実施形態を説明する。図１は、実施形態に係るシステムの構成を示す図である。システム１は、端末２と、サーバ３とを有している。端末２と、サーバ３とはネットワークＮＷを介して接続される。端末２は、例えば無線通信によってネットワークＮＷに接続し得る。

【0009】

端末２は、例えばスマートフォン、タブレット端末といった、ユーザが携帯できる端末装置である。端末２は、ＰＣＯといった害虫の検査の専門のユーザによって工場及び飲食店等の捕虫器ＩＴが設置されている場所まで携帯されて捕虫器ＩＴに取り付けられた捕虫紙の画像を撮影する。そして、端末２は、サーバ３と連携して、撮影した画像に基づいて捕虫器ＩＴに張り付いた害虫の同定及び計数といった害虫の検査をする。ここで、端末２は、ユーザが携帯できないパーソナルコンピュータ等の端末装置であってもよい。この場合、端末２は、スマートフォン等で撮影された捕虫紙の画像を受け取って検査の処理を実施する。図１では、端末２は、１つである。端末２は、２つ以上であってもよい。

【0010】

図２は、サーバ３のハードウェア構成の一例を示すブロック図である。サーバ３は、プロセッサ３１と、ＲＯＭ３２と、ＲＡＭ３３と、ストレージ３４と、入力インターフェース３５と、ディスプレイ３６と、通信モジュール３７とを有している。ここで、サーバ３は、単一のサーバでなくてもよい。さらには、サーバ３は、例えばクラウドサーバとして構成されていてもよい。

【0011】

プロセッサ３１は、サーバ３の動作を制御するように構成されたプロセッサである。プロセッサ３１は、例えばＣＰＵである。プロセッサ３１は、ＣＰＵではなく、ＭＰＵ、ＧＰＵ等であってもよい。また、プロセッサ３１は、１つのＣＰＵ等によって構成されている必要はなく、複数のＣＰＵ等によって構成されてもよい。

【0012】

ＲＯＭ３２は、例えば不揮発性メモリであり、サーバ３の起動プログラム等を記憶している。ＲＡＭ３３は、例えば揮発性のメモリである。ＲＡＭ３３は、例えばプロセッサ３１における処理の際の作業メモリとして用いられる。

【0013】

ストレージ３４は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ３４は、ＯＳ３４１、害虫検査プログラム３４２、検査モデル３４３、データベース３４４、撮影画像３４５を格納している。ストレージ３４は、ＯＳ３４１、害虫検査プログラム３４２、検査モデル３４３、データベース３４４、撮影画像３４５以外のプログラム及びデータを格納していてもよい。

【0014】

ＯＳ３４１は、サーバ３の基本的な機能を実現するためのプログラムである。ストレージ３４に格納されている各種のプログラムは、ＯＳの制御下で実行される。

【0015】

害虫検査プログラム３４２は、端末２のユーザからの要求に従って害虫の検査のための一連の処理をコンピュータに実行させるためのプログラムである。害虫検査プログラム３４２は、サーバ３のプロセッサ３１によって実行されるプログラムであってよい。または、害虫検査プログラム３４２は、ウェブアプリケーションとして端末２にダウンロードされ、端末２のウェブブラウザ上で実行されるプログラムであってもよい。さらには、害虫検査プログラム３４２は、端末２にインストールされて端末２で実行されるプログラムであってもよい。

【0016】

検査モデル３４３は、選択された画像に写っている害虫を検出し、検出した害虫が何であるかを識別する識別器を備えた検査のための解析を実施する学習済みＡＩモデルである。検査モデル３４３は、入力された画像に写っている害虫が何に分類されるかを予測し、予測確率の上位の結果に基づいて入力された画像の検査のための解析を実施する。この検査は、害虫の種名の同定及び計数を含む。検査モデル３４３については後で詳しく説明される。

【0017】

データベース３４４は、検査モデル３４３による画像の解析の際の足切り処理において利用される各種のデータを格納している。足切り処理は、検査モデル３４３による疑わしい結果がユーザに対して提示されないように事前に足切りする処理である。データベース３４４については後で詳しく説明される。

【0018】

撮影画像３４５は、端末２のユーザによってアップロードされた画像のデータである。撮影画像３４５は、検査モデル３４３を用いた解析の対象となり得る画像である。ここで、撮影画像３４５は、端末２のユーザによってアップロードされた画像以外に、例えば検査モデル３４３の学習に用いられた画像等の他の画像を含んでいてもよい。

【0019】

入力インターフェース３５は、キーボード、マウス、タッチパネル等の入力装置を含む。入力インターフェース３５の操作がされた場合、操作内容に応じた信号がプロセッサ３１に入力される。プロセッサ３１は、この信号に応じて各種の処理を行う。

【0020】

ディスプレイ３６は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置である。ディスプレイ３６は、各種の画像を表示する。

【0021】

通信モジュール３７は、サーバ３が端末２と通信するときの処理をするように構成されたインターフェースを含むモジュールである。通信モジュール３７は、携帯電話回線、有線ＬＡＮ回線、無線ＬＡＮ回線等を用いてネットワークＮＷに接続するように構成されている。

【0022】

図３は、サーバ３の機能ブロック図である。サーバ３のプロセッサ３１は、害虫検査プログラム３４２に従って動作することにより、制御部３１１として動作する。制御部３１１は、検査モデル３４３及びデータベース３４４を用いて分類部及び提示部として動作し得る。

【0023】

図３に示すように、検査モデル３４３は、捕虫紙枠検出エンジン３４３１と、虫体検出エンジン３４３２と、虫体分類エンジン３４３３とを含む。

【0024】

捕虫紙枠検出エンジン３４３１は、入力された画像における特徴量を抽出し、抽出した特徴量に基づいて画像における捕虫紙の区画を示す枠を検出する学習済みＡＩモデルである。図４は、捕虫紙の画像の一例を示す図である。図４では、１枚以上の捕虫紙が捕虫紙ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４の４つに切り分けられ、それらが並べられて同時に撮影された画像が示されている。

【0025】

人が目視で捕虫紙に張り付いた害虫の同定及び計数をする場合、捕虫紙を複数の区画に分け、区画毎に害虫の同定及び計数をしたり、１つの区画について害虫の同定及び計数をした結果を区画の数に応じて倍することによって捕虫紙の全体としての計数結果を得たりすることがある。このような区画を人の目で識別できるように、捕虫紙にはそれぞれ区画を示す枠線Ｌが捕虫紙の長手方向の辺から垂直に等間隔で引かれていることがある。例えば、捕虫紙の短手方向の辺が５ｃｍである場合、枠線が５ｃｍ間隔で引かれていると、１つの区画は、５ｃｍ×５ｃｍの領域となる。人は、図４に示す枠線Ｌを目視することによって区画を識別する。また、捕虫紙枠検出エンジン３４３１は、捕虫紙の画像における区画を示す枠線Ｌを検出することで、枠線Ｌと捕虫紙の長手方向の辺とによって囲まれる区画の枠を検出する。ここで、図４では、区画の枠は、正方形状である。しかしながら、区画の枠は、予めサイズが決められていれば必ずしも正方形状でなくてもよい。

【0026】

捕虫紙枠検出エンジン３４３１は、例えば畳み込みニューラルネットワーク（ＣＮＮ）によって構成される。捕虫紙枠検出エンジン３４３１の学習には、例えば枠線を含む種々の捕虫紙の画像と、それぞれの捕虫紙の画像における枠線の座標を示す教師データとが用いられ得る。捕虫紙枠検出エンジン３４３１は、例えば、入力された捕虫紙の画像の特徴量に基づいて検出した区画の枠の座標と教師データとして与えられた区画の枠の座標との誤差に基づく誤差逆伝搬法によって学習を実施する。

【0027】

ここで、図４では、捕虫紙は、捕虫紙ＩＰ１、ＩＰ２、ＩＰ３、ＩＰ４の４つに切り分けられた状態で撮影されている。これは、捕虫紙を端末２の撮影範囲に収めやすくして、画像の解析に適する解像度を確保するための処理である。一方で、捕虫紙は、切り分けられずに撮影されてもよい。

【0028】

虫体検出エンジン３４３２は、入力された画像から特徴量を抽出し、抽出した特徴量に基づいて画像における虫体を検出する学習済みＡＩモデルである。実施形態では、虫体の検出と虫体の分類とが異なるＡＩモデルによって行われる。

【0029】

虫体検出エンジン３４３２は、例えばＣＮＮによって構成される。虫体検出エンジン３４３２の学習には、例えば種々の虫の画像と、それぞれの虫の画像における虫体の座標を示す教師データとが用いられ得る。虫の画像は、捕虫紙に張り付いた状態の虫の画像であってもよいし、捕虫紙に張り付いていない状態の虫の画像であってもよい。虫体検出エンジン３４３２は、例えば、入力された虫の画像の特徴量に基づいて検出した虫体の座標と教師データとして与えられた虫体の座標との誤差に基づく誤差逆伝搬法によって学習を実施する。虫体の座標は、例えば虫体を含む微小な矩形範囲の座標であり得る。

【0030】

虫体分類エンジン３４３３は、画像における虫体の特徴量に基づき、画像における虫体を分類する学習済みＡＩモデルである。虫体分類エンジン３４３３は、虫体検出エンジン３４３２で検出された虫体の画像範囲に存在している虫体について分類を実施する。虫体分類エンジン３４３３による分類は、虫の種名の分類と、グループ名の分類とを含み得る。虫の種名は、虫毎に付けられる種名である。グループ名は、虫の特性に基づくグループ名である。例えば、捕虫紙が工場に設置される場合、グループ名は、例えば工場内、工場外といったグループ名を含む。工場内は、工場内で発生し得る虫のグループであることを表す。工場外は、工場外で発生し、工場内に侵入してくる虫のグループであることを表す。ここで、グループ名「工場内」、「工場外」は、それぞれさらに細分化されたグループを含んでいてもよい。「工場内」であれば、グループは、例えば、歩行の特性の違いによって分けられたグループ、湿潤環境を好むか否かによって分けられたグループ、食菌性の虫であるか否か、食菌性の虫であればどの分類の食菌性の虫に該当するかによって分けられたグループ、乾燥に強い虫であるか否かによって分けられたグループといったものを含み得る。また、「工場外」であれば、グループは、例えば、歩行の特性の違いによって分けられたグループ、飛来性の有無によって分けられたグループといったものを含み得る。これらのグループ名「工場内」及び「工場外」から細分化されたグループにもグループ名が付けられる。グループ名が細分化されている場合には、虫体分類エンジン３４３３は、例えば「工場内」、「工場外」といった大分類のグループ名に加えて「食菌性あり」、「食菌性なし」といった小分類のグループ名の分類も実施する。

【0031】

虫体分類エンジン３４３３は、例えばＣＮＮによって構成される。虫体分類エンジン３４３３の学習には、例えば種々の虫の画像と、それぞれの虫の種名及びグループ名を示す教師データとが用いられ得る。虫の画像は、捕虫紙に張り付いた状態の虫の画像であってもよいし、捕虫紙に張り付いていない状態の虫の画像であってもよい。虫体分類エンジン３４３３は、例えば、入力された虫の画像の特徴量に基づいて分類した虫体の種名及びグループ名と教師データとして与えられた虫体の種名及びグループ名との誤差に基づいて虫毎の特徴量を誤差逆伝搬法によって学習する。

【0032】

また、図３に示すように、データベース３４４は、確からしさ閾値３４４１と、枠データ３４４２と、虫データ３４４３とを少なくとも格納している。データベース３４４は、これら以外のデータを格納していてもよい。

【0033】

確からしさ閾値３４４１は、検査モデル３４３の例えば虫体検出エンジン３４３２による虫体検出の確からしさの閾値である。虫体検出エンジン３４３２は、画像から抽出される特徴量に基づいて、画像内の虫体らしさ、すなわち虫体である確率の高いものを虫体として検出するように構成されている。確からしさ閾値は、虫体らしさの閾値であり、例えば０から１の間で設定される。確からしさ閾値３４４１は、サーバ３の管理者によって任意に決められ得る。後で説明するように、制御部３１１は、虫体であるらしさが確からしさ閾値未満である虫体については検出されなかったものとする。また、確からしさ閾値３４４１は、虫体検出エンジン３４３２による虫体検出の確からしさの閾値に加えて、捕虫紙枠検出エンジン３４３１による区画の枠の検出の確からしさの閾値及び／又は虫体分類エンジン３４３３による虫体の分類の確からしさの閾値を含んでいてもよい。

【0034】

枠データ３４４２は、捕虫紙に予め設定される区画の枠に関するデータである。枠データ３４４２は、例えば１区画の実寸のデータを含む。例えば、１つの区画が５ｃｍ×５ｃｍの正方形の区画である場合、枠データ３４４２としては縦５ｃｍ、横５ｃｍといったデータが格納され得る。枠データ３４４２は、１区画の実寸のデータ以外のデータを含んでいてもよい。枠データ３４４２は、後で詳しく説明する足切り処理において利用できる各種の区画の枠に関するデータを含んでいてよい。

【0035】

虫データ３４４３は、分類対象の虫に関するデータである。虫データ３４４３は、虫の種名、分布範囲、繁殖時期、実寸といったデータを含む。ここで、虫体の実寸は、分布範囲毎に登録されてよい。さらに、実施形態における虫データ３４４３は、虫毎のグループ名のデータも含む。虫データ３４４３は、これら以外のデータを含んでいてよい。虫データ３４４３は、後で詳しく説明する足切り処理において利用できる各種の分類対象の虫に関するデータを含んでいてよい。

【0036】

次に、サーバ３による画像の解析処理について説明する。図５は、サーバ３による解析処理について示すフローチャートである。図５の処理は、端末２から虫体の解析要求がされたときに開始される。解析要求の際には、端末２から解析対象の捕虫紙の画像の情報が通知される。サーバ３は、端末２から通知された解析対象の撮影画像３４５に対して図５の処理を実施する。なお、解析対象の捕虫紙の画像は、解析要求とともに端末２から送信された画像であってもよい。

【0037】

ステップＳ１において、制御部３１１としてのプロセッサ３１は、解析対象の撮影画像３４５に対して枠検出処理を実施する。枠検出処理の後、処理はステップＳ２に移行する。枠検出処理において、プロセッサ３１は、解析対象の撮影画像３４５を検査モデル３４３に入力する。検査モデル３４３は、捕虫紙枠検出エンジン３４３１によって撮影画像３４５における区画の枠を検出する。枠検出処理については後で詳しく説明される。

【0038】

ステップＳ２において、プロセッサ３１は、解析対象の撮影画像３４５に対して虫体検出処理を実施する。虫体検出処理の後、処理はステップＳ３に移行する。虫体検出処理において、プロセッサ３１は、解析対象の撮影画像３４５を検査モデル３４３に入力する。検査モデル３４３は、虫体検出エンジン３４３２によって撮影画像３４５における虫体を検出する。虫体検出処理については後で詳しく説明される。ここで、ステップＳ１の枠検出処理とステップＳ２の虫体検出処理とは、並列で実施されてもよい。

【0039】

ステップＳ３において、プロセッサ３１は、解析対象の撮影画像３４５に対して虫体分類処理を実施する。虫体分類処理の後、処理はステップＳ４に移行する。虫体分類処理において、プロセッサ３１は、解析対象の撮影画像３４５を検査モデル３４３に入力する。検査モデル３４３は、虫体分類エンジン３４３３によって撮影画像３４５における虫体を分類する。虫体分類処理については後で詳しく説明される。

【0040】

ステップＳ４において、プロセッサ３１は、虫体分類処理の結果に対する足切り処理を実施する。足切り処理の後、処理はステップＳ５に移行する。足切り処理において、プロセッサ３１は、検査モデル３４３から枠検出処理の結果及び虫体分類処理の結果を受け取り、受け取った結果に基づいて、虫体分類処理の結果のうちの基準に満たない結果を分類できなかったことを示す「未分類」に分類する。

【0041】

ステップＳ５において、プロセッサ３１は、端末２に対して撮影画像３４５に対する解析結果を返却する。その後、図５の処理は終了する。解析結果は、撮影画像３４５における虫体の位置とその位置の虫体の種名とを含むリストであり得る。端末２は、このリストを受け取って、捕虫紙の画像における虫体の同定及び計数の結果を例えばディスプレイに表示し得る。ここで、「未分類」は、それぞれの虫体の種名とは独立して計数される。

【0042】

図６は、枠検出処理について示すフローチャートである。ステップＳ１０１において、プロセッサ３１は、解析対象の撮影画像３４５を検査モデル３４３に入力する。検査モデル３４３は、捕虫紙枠検出エンジン３４３１を呼び出し、入力された撮影画像３４５における区画の枠を検出する。そして、検査モデル３４３は、区画の枠の座標を制御部３１１としてのプロセッサ３１に返却する。ここで、図４の例で示されるように、捕虫紙の画像においては、複数の区画の枠の座標が検出され得る。この場合において、検査モデル３４３は、それぞれの区画の枠の座標を含むリストを出力してもよいし、１つの代表の区画の枠の座標だけを出力してもよい。

【0043】

ステップＳ１０２において、プロセッサ３１は、データベース３４４に格納されている枠データ３４４２と撮影画像３４５に占める区画の枠の大きさとから撮影画像３４５の１ピクセル当たりの実寸を計算する。そして、プロセッサ３１は、計算した実寸を例えばＲＡＭ３３に記憶させる。その後、図６の処理は終了する。

【0044】

例えば、枠データ３４４２として格納されている区画の枠の１辺の実寸をｄ１、撮影画像３４５において検出された区画の枠の１辺のピクセル数をｐ１とした場合、撮影画像３４５の１ピクセル当たりの実寸ｄ２は、ｄ２＝ｄ１／ｐ１から計算され得る。

【0045】

ここで、枠データ３４４２として格納されている区画の枠の縦横比に対して乖離の大きい縦横比を有する区画の枠は、検出されなかったものとして扱われることが望ましい。また、実寸ｄ２が捕虫紙の大きさよりも大きくなることはないので、予め定められた閾値範囲外の実寸ｄ２が計算される区画の枠も、検出されなかったものとして扱われることが望ましい。さらには、区画の枠の検出の確からしさの閾値が確からしさ閾値３４４１として格納されている場合には、区画の枠の検出の確からしさが閾値に満たない区画の枠も、検出されなかったものとして扱われることが望ましい。

【0046】

また、複数の区画の枠が検出されている場合、実寸ｄ２はそれぞれの区画の枠について計算されてもよいし、代表の１つの区画の枠について計算されてもよい。実寸ｄ２がそれぞれの区画の枠について計算される場合、それらの平均値等がＲＡＭ３３に記憶されてもよい。

【0047】

図７は、虫体検出処理について示すフローチャートである。ステップＳ２０１において、プロセッサ３１は、解析対象の撮影画像３４５を複数のブロックに分割する。ブロックのピクセルサイズは適宜に決められてよい。例えば、１つのブロックは、枠検出処理で検出された区画の枠と同サイズに決められてもよい。

【0048】

ステップＳ２０２において、プロセッサ３１は、撮影画像３４５のそれぞれのブロックを検査モデル３４３に入力する。検査モデル３４３には、全てのブロックが一度に入力されてもよいし、所定数ずつのブロックが入力されてもよい。検査モデル３４３は、入力されたブロックの数と同数の虫体検出エンジン３４３２を並列的に呼び出してそれぞれのブロックにおける虫体を検出する。そして、それぞれの虫体検出エンジン３４３２は、ブロック毎に検出された虫体の座標を虫体検出の確からしさとともに制御部３１１としてのプロセッサ３１に返却する。

【0049】

ステップＳ２０３において、プロセッサ３１は、すべてのブロックにおける虫体の検出結果を統合する。その後、図７の処理は終了する。例えば、プロセッサ３１は、それぞれのブロック毎に設定された座標系で表されている虫体の座標を、撮影画像３４５を基準とした座標系における座標に変換することで検出結果の統合を行う。

【0050】

図８は、虫体分類処理について示すフローチャートである。ステップＳ３０１において、プロセッサ３１は、解析対象の撮影画像３４５から検査実施範囲の画像を切り出す。図９は、検査実施範囲について示す図である。検査実施範囲は、撮影画像３４５において設定される例えば矩形の枠である。検査実施範囲は、解析要求に先立って端末２のユーザによって指定され得る。例えば、図９では、捕虫紙ＩＰ４に対して検査実施範囲Ｒが指定されている。検査実施範囲Ｒが指定されている場合、虫体分類処理は、検査実施範囲だけを対象にして行われる。検査実施範囲Ｒは、撮影画像３４５の複数の範囲に対して設定され得る。撮影画像３４５の複数の範囲に対して検査実施範囲Ｒが設定されている場合、それぞれの検査実施範囲Ｒに対して虫体分類処理が行われる。なお、検査実施範囲Ｒは、必ずしもユーザによって指定されなくてもよい。例えば、枠検出処理で検出された区画の枠が検査実施範囲Ｒとされてもよい。または、撮影画像３４５の全体が検査実施範囲Ｒとされてもよい。さらには、虫体検出処理で検出された虫体の座標を含む微小な矩形範囲が検査実施範囲Ｒとされてもよい。

【0051】

ステップＳ３０２において、プロセッサ３１は、検査実施範囲の画像を虫体検出処理で検出された虫体の座標とともに検査モデル３４３に入力する。検査モデル３４３には、全ての検査実施範囲の画像が一度に入力されてもよいし、所定数ずつの検査実施範囲の画像が入力されてもよい。検査モデル３４３は、入力された検査実施範囲の画像と同数の虫体分類エンジン３４３３を並列的に呼び出してそれぞれの検査実施範囲の画像における虫体を分類する。そして、それぞれの虫体分類エンジン３４３３は、検査実施範囲毎に分類された虫体の種名及びグループ名を分類結果として制御部３１１としてのプロセッサ３１に返却する。

【0052】

ステップＳ３０３において、プロセッサ３１は、すべてのブロックにおける虫体の分類結果を統合する。その後、図８の処理は終了する。例えば、プロセッサ３１は、それぞれの検査実施範囲毎に分類された虫体の種名及びグループ名をそれぞれの虫体の座標及び虫体検出の確からしさと関連付けた１つのリストにまとめる。

【0053】

図１０は、足切り処理について示すフローチャートである。ステップＳ４０１において、プロセッサ３１は、例えばリストにまとめられた分類結果のうちの１つの分類結果を選択する。

【0054】

ステップＳ４０２において、プロセッサ３１は、選択した分類結果に関連づけられた虫体検出の確からしさが確からしさ閾値よりも高いか否かを判定する。ステップＳ４０２において、選択した分類結果に関連づけられた虫体検出の確からしさが確からしさ閾値よりも高いと判定されたときには、処理はステップＳ４０３に移行する。ステップＳ４０２において、選択した分類結果に関連づけられた虫体検出の確からしさが確からしさ閾値以下であると判定されたときには、処理はステップＳ４０７に移行する。

【0055】

ステップＳ４０３において、プロセッサ３１は、選択した分類結果に含まれる虫体の種名とグループ名の組み合わせが正しいか否かを判定する。ステップＳ４０３においては、分類結果に含まれる虫体の種名とグループ名の組み合わせが虫データ３４４３に登録されている種名とグループ名の組み合わせと一致した場合には、組み合わせが正しいと判定される。ステップＳ４０３において、選択した分類結果に含まれる虫体の種名とグループ名の組み合わせが正しいと判定されたときには、処理はステップＳ４０４に移行する。ステップＳ４０３において、選択した分類結果に含まれる虫体の種名とグループ名の組み合わせが正しくないと判定されたときには、処理はステップＳ４０７に移行する。

【0056】

ステップＳ４０４において、プロセッサ３１は、選択した分類結果の虫体の実寸を計算する。前述した枠検出処理により、撮影画像３４５の１ピクセル当たりの実寸ｄ２が計算されている。したがって、撮影画像３４５から検出された虫体のピクセル数ｐ２と１ピクセル当たりの実寸ｄ２との積から、虫体の実寸が計算され得る。

【0057】

ステップＳ４０５において、プロセッサ３１は、分類された虫体が分布範囲内であるか否かを判定する。例えば、虫データ３４４３に登録されている分布範囲に存在する虫体の実寸と計算された虫体の実寸との差が閾値内であるときには、分類された虫体が分布範囲内であると判定される。ステップＳ４０５において、分類された虫体が分布範囲内であると判定されたときには、処理はステップＳ４０６に移行する。ステップＳ４０５において、分類された虫体が分布範囲内でないと判定されたときには、処理はステップＳ４０７に移行する。

【0058】

ステップＳ４０６において、プロセッサ３１は、選択した分類結果をそのまま出力すると決定する。その後、処理はステップＳ４０８に移行する。

【0059】

ステップＳ４０７において、プロセッサ３１は、選択した分類結果を「未分類」に変更する。その後、処理はステップＳ４０８に移行する。つまり、実施形態では、虫体検出の確からしさが低い場合、虫体の種名とグループ名の組み合わせが適切でない場合、又は検出された虫体の大きさが適切でない場合には、分類結果が「未分類」とされる。虫体検出の確からしさが低いことは、虫体でないものが虫体であるとして検出されている可能性が高いことを示している。同様に、虫体の種名とグループ名の組み合わせが適切でないことは、例えば本来は工場の外で発生する虫であるのに、工場の中で発生したと分類されているといったように虫体の分類の誤りが生じている可能性があることを示している。また同様に、虫体が分布範囲であることも虫体の分類の誤りが生じていることを示している。このように、実施形態では、疑わしい分類結果は「未分類」に変更される。

【0060】

ステップＳ４０８において、プロセッサ３１は、すべての分類結果の選択を完了したか否かを判定する。ステップＳ４０８において、すべての分類結果の選択を完了したと判定されたときには、図１０の処理は終了する。ステップＳ４０８において、すべての分類結果の選択を完了していないと判定されたときには、処理はステップＳ４０１に戻る。

【0061】

以上説明したように、本実施形態によれば、検査モデル３４３による分類結果が疑わしい場合には、その分類結果が「未分類」に変更される。これにより、明らかに誤っている分類結果に基づく同定及び計数結果がユーザに対して提示されることが抑制される。結果として検査モデル３４３の信頼性が高められる。

【0062】

また、実施形態では、虫体検出の確からしさ、虫体の種名とグループ名の組み合わせ、及び虫体の実寸に基づく分布範囲の３つの異なる判定に基づいて、分類結果が疑わしいか否かが判定される。このような３つの異なる判定によって分類結果が疑わしいか否かが判定されることにより、疑わしい分類結果に基づく同定及び計数結果がユーザに対して提示されることはより抑制される。一方で、分類結果が疑わしいか否かの判定は、必ずしも３つの判定を用いて行われる必要はない。分類結果が疑わしいか否かの判定は、虫体の種名とグループ名の組み合わせ、及び虫体の実寸に基づく分布範囲の何れか１つだけを用いて行われてもよいし、さらに異なる判定も用いて行われてもよい。

【0063】

また、実施形態における検査モデル３４３は、撮影画像３４５における虫体の検出と虫体の分類とを別々のＡＩモデルによって行う。これにより、撮影画像３４５における虫体の検出と虫体の分類とが１つのＡＩモデルによって行われるよりも、虫体の分類の精度が高められる。

【0064】

［変形例］
以下、実施形態の変形例について説明する。実施形態では、虫体の実寸を計算するのに、撮影画像３４５に映っている区画の枠の実寸が用いられている。これは、捕虫紙には、区画の枠を示す枠線が引かれていることと、区画の枠の実寸が既知であることによる。一方で、撮影画像３４５に予め大きさが既知の対象物が映っているときには、必ずしも区画の枠の実寸から虫体の実寸が計算されなくてもよい。この場合、ユーザが端末２を用いて捕虫紙の画像を撮影する際に大きさが既知の対象物とともに撮影をするように促すことが端末２において行われてもよい。また、対象物の実寸の値がユーザによって入力されてもよい。このような手法により、実施形態の足切り処理は、区画の枠線が引かれていない捕虫紙の画像に対しても適用され得る。

【0065】

また、実施形態では、虫体検出の確からしさが確からしさ閾値を超えているときには、その後の判定へ移行するものとされている。これに対し、虫体検出の確からしさが確からしさ閾値を超えており、かつ、虫体分類の確からしさが確からしさ閾値を超えているときだけ、その後の判定へ移行するように構成されてもよい。この場合において、虫体検出の確からしさ閾値と虫体分類の確からしさ閾値とは同じ値であってもよいし、異なる値であってもよい。

【0066】

また、前述した実施形態では、検査のための撮影画像の解析は、サーバ３において行われるとされている。これに対し、検査のための撮影画像の解析は、端末２において行われてもよい。

【0067】

また、上述した実施形態による各処理は、コンピュータであるプロセッサ３１に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、プロセッサ３１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

【0068】

また、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0069】

１ システム、２ 端末、３ サーバ、３１ プロセッサ、３２ ＲＯＭ、３３ ＲＡＭ、３４ ストレージ、３５ 入力インターフェース、３６ ディスプレイ、３７ 通信モジュール、３４１ ＯＳ、３４２ 害虫検査プログラム、３４３ 検査モデル、３４４ データベース、３４５ 撮影画像、３４３１ 捕虫紙枠検出エンジン、３４３２ 虫体検出エンジン、３４３３ 虫体分類エンジン、３４４１ 確からしさ閾値、３４４２ 枠データ、３４４３ 虫データ。

【要約】

【課題】人工知能を用いた害虫の検査のための解析における信頼性が高められた害虫検査のためのプログラム及び害虫検査装置を提供すること。
【解決手段】害虫の検査のためのプログラムは、捕虫紙の画像に基づいて、捕虫紙に張り付いた虫体の種名を分類するように構成された検査モデルに捕虫紙の画像を入力して虫体の種名の分類を実施することと、虫体の種名の分類結果が疑わしいか否かを判定し、疑わしいと判定された分類結果を分類できなかったと変更する足切り処理を実施することとをコンピュータに実行させる。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】