特開 2024-163512 昆虫認識モデル生成装置、および昆虫生産管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163512

(43)【公開日】2024-11-22

(54)【発明の名称】昆虫認識モデル生成装置、および昆虫生産管理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241115BHJP

   A01K 29/00 20060101ALI20241115BHJP

   A01K 67/033 20060101ALI20241115BHJP

【ＦＩ】

G06T7/00 350B

A01K29/00 C

A01K67/033 502

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023079200

(22)【出願日】2023-05-12

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110000648

【氏名又は名称】弁理士法人あいち国際特許事務所

(72)【発明者】

【氏名】蔦岡 雅人

(72)【発明者】

【氏名】河合 重和

(72)【発明者】

【氏名】渡邉 浩平

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096FA18

5L096FA52

5L096FA59

5L096FA69

5L096GA34

5L096KA04

(57)【要約】

【課題】昆虫の個体数を数える作業を省力化可能な昆虫認識モデル生成装置、および昆虫生産管理システムを提供する。
【解決手段】機械学習装置２０と、記憶装置３０と、を備え、記憶装置３０は、訓練画像データ３１と、テスト画像データ３２と、学習済みモデル３３と、を備え、機械学習装置２０は、カメラ２１と、訓練画像データ３１に対して付与されるアノテーション５０が入力される入力部２２と、訓練画像データ３１を用いて学習済みモデル３３を生成するモデル生成部２３と、学習済みモデル３３によってテスト画像データ３２を判定したときに、テスト画像データ３２に含まれるコオロギＣ１が認識されたか否かを判定する判定部２４と、判定部２４によるテスト画像データ３２の判定結果に基づいて、判定結果が誤っている場合にはアノテーション５０を修正する、アノテーション修正部２５と、を備える、昆虫認識モデル生成装置１。
【選択図】図１

【特許請求の範囲】

【請求項1】

昆虫を認識する昆虫認識モデルを生成する昆虫認識モデル生成装置であって、
機械学習装置と、記憶装置と、を備え、
前記記憶装置は、
前記昆虫がアノテーションにより紐づけられた学習用の訓練画像データと、
評価用のテスト画像データと、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルと、を備え、
前記機械学習装置は、
前記訓練画像データおよび前記テスト画像データを取得する画像取得部と、
前記訓練画像データに対して付与される前記アノテーションが入力される入力部と、
前記訓練画像データを用いて機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルによって前記テスト画像データを判定したときに、前記テスト画像データに含まれる前記昆虫が認識されたか否かを判定する判定部と、
前記判定部による前記テスト画像データの判定結果に基づいて、前記判定結果が誤っている場合には前記アノテーションを修正し、前記判定結果が正しい場合には前記アノテーションを維持する、アノテーション修正部と、を備える、昆虫認識モデル生成装置。

【請求項2】

前記アノテーションは、前記昆虫の外形を、閉じた線で囲うことにより行われる、請求項１に記載の昆虫認識モデル生成装置。

【請求項3】

前記閉じた線により形成される図形が複数の頂点を有する多角形であり、
前記アノテーションは、前記多角形の前記複数の頂点の相対的な位置に関する情報と、前記多角形の画素数に基づく情報と、を含む、請求項２に記載の昆虫認識モデル生成装置。

【請求項4】

前記昆虫は、幼虫と成虫の形状が類似しており、蛹である期間を経ることなく脱皮を繰返すことにより、前記幼虫から前記成虫に変態する不完全変態の前記昆虫である、請求項１に記載の昆虫認識モデル生成装置。

【請求項5】

前記アノテーションは、前記昆虫と、前記昆虫が脱皮した抜け殻と、を区別する、請求項４に記載の昆虫認識モデル生成装置。

【請求項6】

前記アノテーションは、前記昆虫の齢を区別する、請求項４に記載の昆虫認識モデル生成装置。

【請求項7】

前記アノテーションは、はねの有無によって、前記昆虫が成虫であるか幼虫であるかを区別する、請求項４に記載の昆虫認識モデル生成装置。

【請求項8】

前記アノテーションは、前記昆虫の外形を、閉じた線で囲うことにより行われ、
前記閉じた線により形成される図形が、
前記昆虫の頭部、胸部、および腹部の外形を囲う本体アノテーションと、
前記はねの外形を囲うはねアノテーションと、を備える、請求項７に記載の昆虫認識モデル生成装置。

【請求項9】

前記本体アノテーションは、閉じた線により形成される多角形の複数の頂点の相対的な位置に関する情報と、前記多角形の画素数に基づく情報と、を含む、請求項８に記載の昆虫認識モデル生成装置。

【請求項10】

前記アノテーションは、産卵管の有無によって前記昆虫の雌雄を区別する、請求項４に記載の昆虫認識モデル生成装置。

【請求項11】

前記アノテーションは、前記昆虫の外形を、閉じた線で囲うことにより行われ、
前記閉じた線により形成される図形が、
前記昆虫の頭部、胸部、および腹部の外形を囲う本体アノテーションと、
前記腹部から突出した前記産卵管の外形を囲う産卵管アノテーションと、を備える、請求項１０に記載の昆虫認識モデル生成装置。

【請求項12】

前記本体アノテーションは、閉じた線により形成される多角形の複数の頂点の相対的な位置に関する情報と、前記多角形の画素数に基づく情報と、を含む、請求項１１に記載の昆虫認識モデル生成装置。

【請求項13】

請求項１～１２のいずれか一項に記載の昆虫認識モデル生成装置を備える、昆虫生産管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、昆虫認識モデル生成装置、および昆虫生産管理システムに関する。

【背景技術】

【0002】

特許文献１には、昆虫の一種であるコオロギを飼育するコオロギ用の飼育装置が記載されている。飼育装置においては、コオロギに水を与えるために、水を含んだ脱脂綿が置かれた容器を飼育容器内に設けることや、コオロギが物陰に隠れることができるように、軽く丸められた新聞紙を多数飼育容器内に設けること等が、記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１０－１９１８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術によれば、コオロギの成虫は、出荷時に、出荷用の段ボール箱に数えながら投入供給される。すなわち、従来技術においては、コオロギの個体数は手作業によって数えられていた。このため、コオロギの個体数を数える作業の省力化が望まれていた。

【0005】

本発明は、かかる課題に鑑みてなされたものであり、昆虫の個体数を数える作業を省力化可能な昆虫認識モデル生成装置、および昆虫生産管理システムを提供しようとするものである。

【課題を解決するための手段】

【0006】

本発明の一態様は、
昆虫を認識する昆虫認識モデルを生成する昆虫認識モデル生成装置であって、
機械学習装置と、記憶装置と、を備え、
前記記憶装置は、
前記昆虫がアノテーションにより紐づけられた学習用の訓練画像データと、
評価用のテスト画像データと、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルと、を備え、
前記機械学習装置は、
前記訓練画像データおよび前記テスト画像データを取得する画像取得部と、
前記訓練画像データに対して付与される前記アノテーションが入力される入力部と、
前記訓練画像データを用いて機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルによって前記テスト画像データを判定したときに、前記テスト画像データに含まれる前記昆虫が認識されたか否かを判定する判定部と、
前記判定部による前記テスト画像データの判定結果に基づいて、前記判定結果が誤っている場合には前記アノテーションを修正し、前記判定結果が正しい場合には前記アノテーションを維持する、アノテーション修正部と、を備える、昆虫認識モデル生成装置にある。

【0007】

本発明の他の態様は、
上記のいずれか一つに記載の昆虫認識モデル生成装置を備える、昆虫生産管理システムにある。

【発明の効果】

【0008】

本発明の一態様によれば、昆虫を認識可能な昆虫認識モデルを生成することができる。これにより、昆虫として認識されたセグメンテーションの個数を機械学習装置が数えることにより、昆虫の個体数を算出することができる。この結果、人力によって昆虫の個体数を数える作業を省略することができるので、昆虫の計数作業の工数を低減することができる。

【0009】

本発明の他の態様によれば、昆虫生産管理システムにおいて、コオロギの計数作業の工数を低減することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１の昆虫生産管理システムおよび昆虫認識モデル生成装置を示すブロック図。

【図2】実施形態１の飼育箱を示す断面図。

【図3】コオロギについて説明するための図。

【図4】コオロギに、実施形態１に係るアノテーションが付与された状態を示す図。

【図5】実施形態１の昆虫認識モデル生成装置の動作を示すフローチャート。

【図6】実施形態１に係る訓練画像データを示す図。

【図7】実施形態１に係る訓練画像データにアノテーションが付与された状態を示す図。

【図8】実施形態１に係る学習済みモデルによりコオロギにセグメンテーションが付与された状態を示す図。

【図9】実施形態１に係るテスト画像データを示す図。

【図10】実施形態１に係るテスト画像データの判定結果の一例を示す図。

【図11】実施形態１において、修正されたアノテーションがコオロギに付与された状態を示す図。

【図12】実施形態１に係る学習済みモデルを示す図であって、（ａ）は、前回の学習済みモデルを示す図であり、（ｂ）は、新たに生成された学習済みモデルを示す図。

【図13】実施形態２に係るフタホシコオロギにアノテーションが付与された状態を示す図。

【発明を実施するための形態】

【0011】

（実施形態１）
本発明は、昆虫認識モデル生成装置１、およびこれを備えた昆虫生産管理システム２に関する。本形態に係る昆虫は、特に限定されず、成長する際に完全変態するものであっても良いし、不完全変態をするものであっても良い。不完全変態をする昆虫は、幼虫と成虫の形状が類似しており、蛹である期間を経ることなく脱皮を繰返すことにより、幼虫から成虫に変態するものをいう。不完全変態をする昆虫としては、例えば、直翅目を好適に用いることができる。直翅目としては、例えば、コオロギ、イナゴ、バッタ等を例示することができる。本形態においては、コオロギＣ１が例示される。なお、以下の説明において、複数の同一部材については一部の構成について符号を付し、他の構成については符号を省略する場合がある。

【0012】

１．昆虫生産管理システム２の概要
図１に示すように、昆虫生産管理システム２は、飼育装置１０と、昆虫認識モデル生成装置１と、を備える。飼育装置１０では、コオロギＣ１が飼育される。昆虫認識モデル生成装置１は、機械学習装置２０と、記憶装置３０と、を備える。

【0013】

機械学習装置２０は、カメラ２１（画像取得部の一例）と、入力部２２と、モデル生成部２３と、判定部２４と、アノテーション修正部２５と、を備える。記憶装置３０は、訓練画像データ３１と、テスト画像データ３２と、学習済みモデル３３（昆虫認識モデルの一例）と、を格納する。記憶装置３０は特に限定されず、半導体メモリ、ハードディスクドライブ等、任意の記憶媒体を適宜に選択できる。

【0014】

２．飼育装置１０およびコオロギＣ１
図２に示すように、飼育装置１０は、コオロギＣ１を飼育するために用いられる。飼育装置１０は、詳細には図示しないが、複数の飼育箱１１が、接続部材１２によって連結されている。飼育箱１１は箱状に形成されている。各飼育箱１１には、複数のコオロギＣ１が収容されている。各飼育箱１１には、コオロギＣ１に水を与える給水手段（図示せず）と、餌を与える給餌手段と、が収容されている。

【0015】

飼育箱１１には、同じ齢のコオロギＣ１が飼育される。コオロギＣ１は、体の表面の組織を更新する生態、所謂「脱皮」を繰り返しながら体格を増して複数段階で成長することが知られている。そこで、本例では、便宜上、脱皮の生態から定まる１単位期間を「１齢」とし、コオロギＣ１を複数の飼育箱１１のそれぞれにおいて同じ齢毎に飼育するようにしている。

【0016】

コオロギＣ１が孵化してから最初に脱皮する（第１回目の脱皮）までの期間における、当該コオロギＣ１の齢を「１齢」とすることができる。この場合、コオロギＣ１の第１回目の脱皮から次回の脱皮（第２回目の脱皮）までの期間における、当該コオロギＣ１の齢が「２齢」となり、コオロギＣ１の第２回目の脱皮から次回の脱皮（第３回目の脱皮）までの期間における、当該コオロギＣ１の齢が「３齢」となる。このように、脱皮の生態を有する昆虫においては、第（Ｍ－１）回目の脱皮後から第Ｍ回目の脱皮までに期間における、当該生物の齢を「Ｍ齢」とすることができる（ただし、Ｍを自然数とする。）。

【0017】

本例では、コオロギＣ１が８齢まで成長すると飼育を終了して収集することとし、８つの飼育箱１１を準備している。図２には、１齢のコオロギＣ１が飼育される飼育箱１１が示されている。ただし、飼育箱１１の個数は８つに限定されず、任意の個数とすることができる。

【0018】

互いに隣り合う２つの飼育箱１１は接続部材１２によって接続されている。飼育箱１１には、接続部材１２を取付けるための貫通穴１３が設けられている。接続部材１２は、２つの飼育箱１１を結ぶ連絡通路１２ａを有する。このため、一方の飼育箱１１と他方の飼育箱１１は、接続部材１２の連絡通路１２ａによって互いに連通している。

【0019】

接続部材１２の連絡通路１２ａは、飼育箱１１と飼育箱１１同士を結ぶことに加えて、その通路断面積がコオロギＣ１の１齢の状態での移動を可能とし且つ２齢以上の高齢の状態での移動を不能とするように設定されている。特に図示しないが、この点についてはその他の接続部材１２も同様である。これにより、各飼育箱１１には、同じ齢のコオロギＣ１が飼育される構成となっている。

【0020】

図２に示すように、飼育箱１１の側壁の上端部には、カメラ２１が、ステー１４を介して取付けられている。カメラ２１によって、飼育箱１１に飼育されるコオロギＣ１の画像データを撮影可能になっている。詳細には図示しないが、カメラ２１は、各飼育箱１１に取付けられている。

【0021】

ここで、図３を参照して、コオロギＣ１について説明する。１齢～６齢のコオロギＣ１は、頭部４１と、胸部４２と、腹部４３と、を備える。頭部４１には２つの眼４１ａが形成されている。また、頭部４１からは２つの触角４１ｂがのびている。胸部４２からは、６本の脚４２ａがのびている。腹部４３の末端には、２つの尾毛４３ａが突出している。１齢～６齢までは、体の大きさが齢を重ねるごとに大きくなる。しかし、頭部４１、胸部４２および腹部４３と、脚４２ａと、の相対的な大きさのバランスは変化するものと、形態はほとんど変化しない。

【0022】

７齢～８齢になると、コオロギＣ１の雌には、腹部４３から延びる１つの産卵管４３ｂが形成される。これにより、７齢以降のコオロギＣ１については、雌雄の区別が可能となる。

【0023】

上記したように、コオロギＣ１は脱皮を繰返して成長する。１齢～６齢のコオロギＣ１、および７齢～８齢のコオロギＣ１の雄の抜け殻４４ａは、眼４１ａの部分がない以外は、コオロギＣ１の形状とほとんど同じである。また、抜け殻４４ａには中身がないので、表面にしわ４４ｃが形成されている点でも、コオロギＣ１本体とは異なっている。

【0024】

７齢～８齢のコオロギＣ１の雌の抜け殻４４ｂには産卵管４３ｂに対応する形状が形成されている。この点で、７齢～８齢のコオロギＣ１の雌の形状と同じであるが、やはり、眼４１ａの部分がない点と、表面にしわ４４ｃが形成されている点で、コオロギＣ１本体とは異なっている。

【0025】

コオロギＣ１は、成虫になるとはね４５が形成される。腹部４３の先端からは、はね４５の先端部分４５ａが突出している。このように、コオロギＣ１については、はね４５の有無によって、成虫と幼虫とを区別することができる。

【0026】

３．昆虫認識モデル生成装置１
図１および図４を参照して、昆虫認識モデル生成装置１について説明する。図１に示すように、カメラ２１は、コオロギＣ１の画像データを撮影する。撮影された画像データは記憶装置３０に格納される。画像データのうち、機械学習において訓練データとして用いられるものは学習用の訓練画像データ３１とされる。また、画像データのうち、機械学習においてテストデータとして用いられるものは評価用のテスト画像データ３２とされる。

【0027】

訓練画像データ３１に対しては、撮影されたコオロギＣ１の画像に対して、入力部２２を介してアノテーション５０が付与される（図４参照）。入力部２２としては、マウス、タッチパネル、ジョイスティック等、任意の入力装置を適宜に選択できる。

【0028】

図４に、示すように、作業者は、入力部２２によって、訓練画像データ３１に撮影されたコオロギＣ１の、頭部４１、胸部４２、および腹部４３の外形を閉じた線で囲う。閉じた線は、特に限定されず、三角形、四角形、五角形、六角形等の多角形でもよいし、円形状、楕円形状でもよい。本形態では、コオロギＣ１の頭部４１、胸部４２、および腹部４３は、六角形で囲まれる。この六角形は、コオロギＣ１の本体部分を特定するものであり、本体アノテーション５０ａとされる。この本体アノテーション５０ａにより、訓練画像データ３１に撮影されたコオロギＣ１が特定される。また、六角形の６つの頂点と、六角形で囲まれた領域の画素数と、により、コオロギＣ１の形状についての情報が、本体アノテーション５０ａに紐づけられる。コオロギＣ１の形状についての情報としては、特に限定されず、例えば、体長、体幅等が挙げられる。

【0029】

また、７齢～８齢のコオロギＣ１の雌に対しては、頭部４１、胸部４２、および腹部４３を囲う六角形の本体アノテーション５０ａに加えて、産卵管４３ｂを囲う四角形の産卵管アノテーション５０ｂが付与される。

【0030】

また、成虫に対しては、雄、雌ともに、はね４５を囲う三角形のはねアノテーション５０ｃが、さらに付与される。なお、はねアノテーション５０ｃの形状は三角形に限定されず、例えば四角形、五角形等、任意の形状を適宜に採用しうる。

【0031】

なお、抜け殻４４ａ，４４ｂに対しては、アノテーション５０は付与しない。すなわち、抜け殻４４ａ，４４ｂに対しては、本体アノテーション５０ａ、産卵管アノテーション５０ｂ、およびはねアノテーション５０ｃは付与しない。

【0032】

なお、以下の説明において、本体アノテーション５０ａ、産卵管アノテーション５０ｂ、およびはねアノテーション５０ｃを区別しない場合は、アノテーション５０と記載する場合がある。アノテーション５０の種類としては、本体アノテーション５０ａ、産卵管アノテーション５０ｂ、およびはねアノテーション５０ｃに限られない。

【0033】

図１に戻って、モデル生成部２３は、入力部２２を介してアノテーション５０が付与された訓練画像データ３１によって機械学習を行うことにより、学習済みモデル３３を生成する。学習済みモデル３３は、記憶装置３０に格納される。

【0034】

判定部２４は、記憶部に格納されたテスト画像データ３２と、学習済みモデル３３と、を取得し、学習済みモデル３３を用いてテスト画像データ３２を判定する。

【0035】

アノテーション修正部２５は、判定部２４によるテスト画像データ３２の判定結果に基づいて、アノテーション５０が誤っている場合にはアノテーション５０を修正し、アノテーション５０が正しい場合にはアノテーション５０を維持する。

【0036】

４．昆虫認識モデル生成装置１の動作
図５～図１２を参照して、昆虫認識モデル生成装置１の動作について説明する。図５に、昆虫認識モデル生成装置１の動作のメインフローを示す。昆虫認識モデル生成装置１が起動されると、カメラ２１により、飼育装置１０で飼育されているコオロギＣ１が、訓練画像データ３１として撮影される（Ｓ１）。図６に示すように、複数の訓練画像データ３１が撮影される。

【0037】

次に、撮影された訓練画像データ３１にアノテーション５０が付与される（Ｓ２）。図７に示すように、作業者は、訓練画像データ３１のコオロギＣ１の、頭部４１、胸部４２および腹部４３の外形を六角形状の図形で囲うことにより、本体アノテーション５０ａを付与する。ただし、コオロギＣ１が産卵管４３ｂを有する場合には産卵管アノテーション５０ｂを付与しても良い。また、コオロギＣ１がはね４５を有する場合には、はねアノテーション５０ｃを付与しても良い。

【0038】

次に、図５に戻って、本体アノテーション５０ａが付与された訓練画像データ３１を用いて学習済みモデル３３が生成される（Ｓ３）。学習済みモデル３３は、画像データに撮影された対象物の中からコオロギＣ１を認識するための知識モデルである。図８に示すように、例えば、画像データに撮影された対象物がコオロギＣ１であると認識した場合には、コオロギＣ１の外周をセグメンテーション５１ａで囲う構成となっている。ただし、セグメンテーション５１ａの形状は限定されず、三角形、四角形、五角形、六角形等の多角形でも良いし、円形状、長円形状等、任意の形状を適宜に選択可能であり、本形態では六角形に形成されている。

【0039】

セグメンテーション５１ａは、本体アノテーション５０ａに対応する情報を含んでも良い。また、セグメンテーション５１ａは、産卵管アノテーション５０ｂに対応する情報を含んでも良いし、はねアノテーション５０ｃに関する情報を含んでも良い。

【0040】

次に、図５に戻って、生成された学習済みモデル３３を評価するための、複数のテスト画像データ３２が撮影される（Ｓ４）。図９に示すように、訓練画像データ３１とは異なる複数のテスト画像データ３２が撮影される。ただし、テスト画像データ３２は、コオロギＣ１を撮影した複数の画像データの一部を訓練画像データ３１とするとともに、他の部分をテスト画像データ３２としても良い。

【0041】

次に、判定部２４は、学習済みモデル３３を用いて、テスト画像データ３２を判定する。図１０に、テスト画像データ３２の判定結果の一例を示す。図１０には、４匹のコオロギＣ１が撮影されている。４匹のコオロギＣ１のうち、右下のコオロギＣ１を除く３匹のコオロギＣ１については、学習済みモデル３３を用いた判定において、コオロギＣ１と認識され、セグメンテーション５１ａで囲まれている。

【0042】

一方、図１０の右下に位置するコオロギＣ１については、学習済みモデル３３を用いた判定では、コオロギＣ１と認識されず、セグメンテーション５１ａが付与されなかった。

【0043】

次に、図５に戻って、学習済みモデル３３を用いた判定において、コオロギＣ１を認識できたか否かが判断される（Ｓ６）。

【0044】

図１０においては、右下のコオロギＣ１を除く３匹のコオロギＣ１については、正しくコオロギＣ１と判定されている。したがって、学習済みモデル３３による判定結果は正しかった。すなわち、正しくコオロギＣ１を認識できている（図５におけるＳ６：Ｙ）。この場合、アノテーション修正部２５は、本体アノテーション５０ａを維持する（図５におけるＳ７）。以上により、昆虫認識モデル生成装置１の動作が終了する。

【0045】

図１０においては、右下のコオロギＣ１については、コオロギＣ１と認識されていない。すなわち、コオロギＣ１を正しく認識できていない（図５におけるＳ６：Ｎ）。この場合、作業者は、図１１に示すように、正しく認識できなかったコオロギＣ１に対して、新たな本体アノテーション５０ａを付与する。これにより、アノテーション修正部２５は、本体アノテーション５０ａを修正する（図５におけるＳ８）。図５におけるＳ３に戻って、修正された本体アノテーション５０ａに基づいて、新たな学習済みモデル３３を生成する。図１２に示すように、修正された本体アノテーション５０ａに基づいて、以前の学習済みモデル３３では正しく認識できなかったコオロギＣ１に対して、新たな学習済みモデル３３が生成され、新たなセグメンテーション５１ｂが付与される。これにより、コオロギＣ１の認識精度を向上させることができる。

【0046】

５．本形態の作用効果
続いて、本形態の作用効果について説明する。本形態によれば、コオロギＣ１を認識可能な学習済みモデル３３を生成することができる。コオロギＣ１として認識されたセグメンテーション５１ａ，５１ｂの個数を機械学習装置２０が数えることにより、コオロギＣ１の個体数を算出することができる。これにより、人力によってコオロギＣ１の個体数を数える作業を省略することができるので、コオロギＣ１の計数作業の工数を低減することができる。

【0047】

また、本形態によれば、本体アノテーション５０ａは、コオロギＣ１の外形を、閉じた線で囲うことにより行われる。この閉じた線により形成される図形が複数の頂点を有する多角形であり、本体アノテーション５０ａは、多角形の複数の頂点の相対的な位置に関する情報と、多角形の画素数に基づく情報と、を含む。これにより、多角形の複数の頂点の相対的な位置座標と、多角形の面積に相当する画素数と、に基づく情報を得ることができる。これにより、昆虫の認識精度を向上させることができる。

【0048】

また、不完全変態の昆虫であるコオロギＣ１は、幼虫の形状と成虫の形状が類似しているので、幼虫と成虫を肉眼で区別することが困難である。本形態によれば、不完全変態の昆虫であるコオロギＣ１の幼虫と成虫を学習済みモデル３３により区別することができる。これにより、コオロギＣ１の認識精度を向上させることができる。

【0049】

また、不完全変態の昆虫であるコオロギＣ１は、脱皮により成長するので、多くの抜け殻４４ａ，４４ｂが発生する。この抜け殻４４ａ，４４ｂの形状はコオロギＣ１の形状と類似しているので、肉眼で区別することが困難である。本形態によれば、コオロギＣ１の抜け殻４４ａ，４４ｂと昆虫を学習済みモデル３３により区別することができる。これにより、コオロギＣ１の認識精度を向上させることができる。

【0050】

また、不完全変態の昆虫であるコオロギＣ１は、幼虫が脱皮を繰返すことにより成長する。幼虫が脱皮するごとに、齢が増加する。このため、不完全変態のコオロギＣ１においては、脱皮の前後において、形状があまり変化しない。このため、異なる齢の幼虫を肉眼で区別することが困難である。本形態によれば、コオロギＣ１の幼虫の齢を学習済みモデル３３により区別することができる。

【0051】

また、本形態によれば、はねアノテーション５０ｃを付与することにより、はね４５の有無によって、不完全変態の昆虫であるコオロギＣ１が成虫であるか幼虫であるかを区別することができる。

【0052】

本形態によれば、産卵管アノテーション５０ｂを付与することにより、産卵管４３ｂの有無によってコオロギＣ１の雌雄を区別することができる。

【0053】

本形態に係る昆虫生産管理システム２は、昆虫認識モデル生成装置１を備える。これにより、昆虫生産管理システム２において、コオロギＣ１の計数作業の工数を低減することができる。

【0054】

（実施形態２）
次に、図１３を参照して、実施形態２について説明する。本形態においては、フタホシコオロギＣ２（昆虫の一例）が飼育される。フタホシコオロギＣ２は、成虫になると、胸部４２の背中側に、間隔を空けて並ぶ二つの模様４６が現れる。これにより、フタホシコオロギＣ２の幼虫と成虫とを区別することができる。

【0055】

本形態においては、はねアノテーション５０ｃに代えて、フタホシコオロギＣ２の模様４６に対応して、胸部４２の外形を閉じた線で囲う構成になっている。胸部４２の外形を囲う閉じた線は、模様アノテーション５０ｄとされる。本形態の模様アノテーション５０ｄは四角形状に形成されている。ただし、模様アノテーション５０ｄの形状は特に限定されず、任意の形状とすることができる。

【0056】

本形態によれば、模様アノテーション５０ｄにより、フタホシコオロギＣ２の幼虫と成虫とを区別することができる。

【0057】

なお、実施形態２以降において用いた符号のうち、既出の実施形態において用いた符号と同一のものは、特に示さない限り、既出の実施形態におけるものと同様の構成要素等を表す。

【0058】

本発明は上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の実施形態に適用することが可能である。

【0059】

本発明に係る飼育装置は、実施例１および２に記載されたものに限られず、例えば、特開２０２３－０３７７６７号公報に記載された飼育装置に適用することができる。特開２０２３－０３７７６７号公報に記載された飼育装置において、コオロギの収穫時に、本体フレーム内に配置された止まり部材に止まっているコオロギを止まり部材から、ベルトコンベアのベルト上に落下させた後、本体フレームをベルトコンベア上から取外すと、ベルト上にはコオロギが配置される。このように、ベルト上に配置されたコオロギをカメラによって撮影することにより、本発明に係る訓練画像データ、およびテスト画像データを取得することができる。

【0060】

また、コオロギの収穫時に、本体フレーム内に配置された止まり部材に止まっているコオロギを止まり部材から、ベルトコンベアのベルト上に落下させ、その後、ベルトコンベアの終端部において、収穫用の収穫箱内にコオロギを収容する。この収穫箱内に収容されたコオロギをカメラで撮影することにより、本発明に係る訓練画像データ、およびテスト画像データを取得することができる。

【符号の説明】

【0061】

１：昆虫認識モデル生成装置、２：昆虫生産管理システム、２０：機械学習装置、２１：カメラ、２２：入力部、２３：モデル生成部、２４：判定部、２５：アノテーション修正部、３０：記憶装置、３１：訓練画像データ、３２：テスト画像データ、３３：学習済みモデル、４１：頭部、４２：胸部、４３：腹部、４３ｂ：産卵管、４４ａ，４４ｂ：抜け殻、４６：模様、５０：アノテーション、５０ａ：本体アノテーション、５０ｂ：産卵管アノテーション、５０ｃ：はねアノテーション、５０ｄ：模様アノテーション、Ｃ１：コオロギ、Ｃ２：フタホシコオロギ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】