特開 2024-115497 学習による昆虫個体の識別装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115497

(43)【公開日】2024-08-26

(54)【発明の名称】学習による昆虫個体の識別装置

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240819BHJP

   G06V 10/422 20220101ALI20240819BHJP

   G06V 10/762 20220101ALI20240819BHJP

   G06T 7/00 20170101ALI20240819BHJP

   A01M 1/00 20060101ALI20240819BHJP

【ＦＩ】

G06V10/82

G06V10/422

G06V10/762

G06T7/00 350C

A01M1/00 Q

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023104152

(22)【出願日】2023-06-26

(11)【特許番号】

(45)【特許公報発行日】2023-11-21

(31)【優先権主張番号】10-2023-0019251

(32)【優先日】2023-02-14

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523243720

【氏名又は名称】ファームコネクト カンパニー リミテッド

【氏名又は名称原語表記】ＦＡＲＭＣＯＮＮＥＣＴ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】キム ムヒュン

(72)【発明者】

【氏名】ジョン インソク

【テーマコード（参考）】

2B121

5L096

【Ｆターム（参考）】

2B121AA11

2B121DA63

2B121DA70

2B121EA21

2B121FA14

5L096AA02

5L096BA18

5L096CA02

5L096FA18

5L096FA66

5L096HA05

5L096HA11

5L096JA11

5L096KA04

5L096KA15

5L096MA07

(57)【要約】      （修正有）

【課題】ミツバチ、マルハナバチ、スズメバチ、アリ等の昆虫の身体構造や色等の特徴を、ディープラーニングモデルを介して学習して得られた学習データを用いて昆虫個体を識別する装置及び方法を提供する。
【解決手段】識別装置１００は、昆虫の形態学的な特徴を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部と、養蜂箱付近での蜂の動きを撮影するためのカメラ部１４０と、撮影された映像と前記保存部に保存された学習データとを用いて、撮影された映像から前記目的個体を識別し、識別された目的個体の軌跡を追跡する制御部と、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

目的個体である昆虫の形態学的な特徴を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部と、
撮影された映像と、前記保存部に保存された学習データを用いて撮影された映像から前記目的個体を識別し、識別された目的個体の軌跡を追跡する制御部を含む、
学習による昆虫個体の識別装置。

【請求項2】

ディープラーニングモデルは、前記目的個体の形態的特性を少なくとも１つ以上のクラスに分類し、各クラスの特徴を学習する、
請求項１に記載の学習による昆虫個体の識別装置。

【請求項3】

前記制御部は、前記目的個体である昆虫の形態学的な情報を用いた３次元距離測定法に基づいて前記目的個体を識別する、
請求項２に記載の学習による昆虫個体の識別装置。

【請求項4】

前記制御部は、前記目的個体の複数のクラス間の距離測定の結果と、前記保存部に保存された昆虫の形態学的な情報を用いて、前記目的個体を識別する、
請求項３に記載の学習による昆虫個体の識別装置。

【請求項5】

前記目的個体がミツバチとマルハナバチの場合、前記ディープラーニングモデルは、前記ミツバチの腹部と前記マルハナバチの腹部をそれぞれ該当する個体のクラスと定義し、前記ミツバチと前記マルハナバチの腹部の模様パターンと色の分布を、該当するクラスを表す特徴として学習する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項6】

前記目的個体がスズメバチである場合、前記ディープラーニングモデルは前記スズメバチの頭部と腹部を含むように該当する個体のクラスを複数に定義し、前記スズメバチの腹部の模様パターンと色の分布、および前記頭部と前記腹部との距離を、該当するクラスを表す特徴として学習する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項7】

前記目的個体がアリの場合、前記ディープラーニングモデルは、前記アリの頭部と腹部を含むように該当する個体のクラスを複数に定義し、前記アリの腹部の形と色の分布、および前記頭部と前記腹部との距離を、該当するクラスを表す特徴として学習する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項8】

前記目的個体がバッタの場合、前記ディープラーニングモデルは、前記バッタの頭部と尾部を含むように該当する個体のクラスを複数に定義し、前記バッタの尾部の形と前記頭部と前記尾部との距離を、該当するクラスを表す特徴として学習する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項9】

前記制御部は、前記映像に空間情報によるイメージの歪みが存在する場合、前記空間情報と前記目的個体の形態学的な情報を用いて歪みを補正する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項10】

前記制御部は、前記映像において、前記昆虫が出入りする巣箱において、前記昆虫の出入口を中心とする異なる大きさの複数の領域を定義し、前記映像において昆虫個体が識別される場合、その周囲を昆虫ボックスとして定義する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項11】

前記制御部は、前記複数の領域のうち、少なくとも１つと前記昆虫ボックスが重畳される順番を記録または追跡する方法によって、前記昆虫の出入りを区別する、
請求項１０に記載の学習による昆虫個体の識別装置。

【請求項12】

前記学習データは、花粉の形態的な特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる花粉の映像と、前記学習データに含まれる花粉の形態的な特徴を用いて、花粉の量を分析する、
請求項２に記載の学習による昆虫個体の識別装置。

【請求項13】

前記制御部は、前記撮影した映像から花粉が識別される場合、その周囲を花粉ボックスとして定義する。しかし、前記花粉ボックスはハチボックス内でのみ定義される、
請求項１２に記載の学習による昆虫個体の識別装置。

【請求項14】

前記学習データは、異常な個体の形態的な特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる異常個体の映像と、前記学習データに含まれる異常個体の形態的な特徴を用いて、異常個体の存在を分析する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項15】

前記映像を撮影するカメラ部と、
前記映像を表示するための表示部をさらに含み、
前記制御部は、前記目的個体のクラスが識別される場合、その周囲を識別ボックスとして定義して、前記表示部に表示する、
請求項４に記載の学習による昆虫個体の識別装置。

【請求項16】

前記制御部は、前記目的個体の複数のクラスの間をつなぐ表示線を前記表示部に表示する、
請求項１５に記載の学習による昆虫個体の識別装置。

【請求項17】

前記昆虫が出入りする巣箱の前記昆虫の出入口を開閉する開閉手段をさらに含み、
前記制御部は、前記異常個体の識別の際、前記開閉手段を作動する、
請求項１４に記載の学習による昆虫個体の識別装置。

【請求項18】

前記制御部は、前記異常個体を識別した際、所定の信号を発生させる、
請求項１４に記載の学習による昆虫個体の識別装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、昆虫個体の識別装置及び方法に関する。特に、ミツバチ、マルハナバチ、スズメバチ、アリ等の昆虫の身体構造や色等の特徴を、ディープラーニングモデルを介して、学習して得られた学習データを用いて昆虫個体を識別する装置と方法に関する。

【背景技術】

【0002】

ミツバチ（Ｈｏｎｅｙ ｂｅｅ）は、蜂蜜を収集し保存・生産する目的で用いられる蜂であり、マルハナバチ（Ｂｕｍｂｌｅ ｂｅｅ）は、植物の受精を目的として用いられる蜂であり、振動受粉（Ｂｕｓｓ ｐｏｌｌｉｎａｔｉｏｎ）によって花の受粉を行う。

【0003】

振動受粉とは、蜂が花に接近し、胸の筋肉を振動させることによって花の雄蕊から花粉を解放し、空中に放出された花粉がまた蜂の振動に反応して花の雌蕊に落ちることで受粉が行われる。この振動受粉の際に、空中の花粉が蜂の体毛にも付着する。

【0004】

韓国特許公開第１０－２０１６－０１４１２２４号「マルハナバチ管理装置および管理システム」は、マルハナバチの養蜂箱の出入口から出入するマルハナバチの出入回数を感知するセンサを用いてマルハナバチの交代時期を知らせてくれる技術を開示している。また、韓国特許第１０－１９６３６４８号「温室でのマルハナバチの管理システムおよび方法、マルハナバチの養蜂箱」は、複数のセンサを用いてマルハナバチの養蜂箱に出入する蜂の出入方向と出入回数を感知して出入門の開閉を制御する技術を開示している。

【0005】

しかし、前記従来技術はマルハナバチの出入りを感知するためのセンサを養蜂箱に設置するなど蜂に影響を与えることのできる環境構築が必要であり、その効果も蜂の個体数を数えるレベルに留まっており、蜂の軌跡を追跡したり、マルハナバチの動きを分析して、環境変化または、蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱や温室管理に必要な情報を提供したりするまでには及ばなかった。

【0006】

さらに、養蜂箱に近接するスズメバチ、アリ、バッタなどの望ましくない他の昆虫を識別し、それを知らせて、農家が適切な受精環境を整えるように助ける必要があるが、従来技術はこのような状況に対する問題の認識または解決策を提示していない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】韓国特許公開第１０－２０１６－０１４１２２４号（２０１６．１２．０８公開）

【0008】

【特許文献2】韓国特許第１０－１９６３６４８号（２０１９．０４．０１公告）

【発明の概要】

【発明が解決しようとする課題】

【0009】

前記課題を解決するために、本発明は、養蜂箱の近くで撮影された蜂の動きを学習データと比較して蜂の軌跡を追跡し、蜂の出入可否を判断し、出入りする蜂の数を計数し、蜂の軌道と花粉の状態を分析して、蜂の受粉活動の適正性を判別する装置及び方法を提供することを目的とする。

【0010】

また、本発明は、予め学習されたデータに基づいてミツバチやマルハナバチなどの追跡対象である目的個体と、スズメバチ、アリ、バッタなどの異常個体を識別して推定し、異常個体の接近の際、それを知らせる改善されたアルゴリズムを備えてもよい。

【課題を解決するための手段】

【0011】

本発明の一実施例の学習による昆虫個体の識別装置は、目的対象である昆虫の形態学的特徴をディープラーニングモデルを介して学習して得られた学習データを保存する保存部と、前記撮影された映像と、前記保存部に保存された学習データを用いて、撮影された映像から前記目的個体を識別し、識別された目的個体の軌跡を追跡する制御部を含む。

【0012】

さらに、前記ディープラーニングモデルは、前記目的個体の形態的特性を少なくとも１つ以上のクラスに分類し、各クラスの特徴を学習する。

【0013】

また、前記制御部は、前記目的個体である昆虫の形態学的情報を用いた３次元距離測定法に基づき、前記目的個体を識別する。

【0014】

また、前記制御部は、前記目的個体の複数のクラス間の距離測定の結果と、前記保存部に保存された昆虫の形態学的情報とを用いて、前記目的個体を識別する。

【0015】

また、前記目的個体がミツバチとマルハナバチである場合、前記ディープラーニングモデルは、ミツバチの腹部分と前記マルハナバチの腹部分をそれぞれ対応する目的個体のクラスとして定義し、前記ミツバチと前記マルハナバチの腹部分の模様と色の分布を、そのクラスを表す特徴として学習する。

【0016】

また、前記目的個体がスズメバチである場合、ディープラーニングモデルはスズメバチの頭部と腹部を含むように該当する目的個体のクラスを複数定義する。そして、前記スズメバチの腹部の模様と色の割合および頭部と前記腹部の間の距離を該当のクラスを表す特徴として学習する。

【0017】

また、前記目的個体がアリの場合、前記ディープラーニングモデルは、前記アリの頭部と腹部を含むように該当する目的個体のクラスを複数に定義し、前記アリの腹部の形状と色の割合、および前記頭部と前記腹部の間の距離を該当するクラスを表す特徴として学習する。

【0018】

また、前記目的個体がバッタの場合、ディープラーニングモデルは、前記バッタの頭部と尾部を含むように、該当する目的個体は複数に定義し、前記バッタの尾部の形状および前記頭部と前記尾部の間の距離を該当するクラスを表す特徴として学習する。

【0019】

また、前記制御部は、前記映像に空間情報によるイメージ歪みがある場合、前記空間情報と前記目的個体の形態学的情報を用いて歪みを補正する。

【0020】

また、前記制御部は、前記映像において前記昆虫の出入口を中心とする異なる大きさの複数の領域を定義し、前記映像から昆虫個体が識別される場合は、その周囲を昆虫ボックスとして定義する。

【0021】

また、前記制御部は、前記領域の内少なくとも１つと前記昆虫ボックスが重畳される順番を記録または追跡する方法によって、前記昆虫の出入りの有無を区別する。

【0022】

また、前記学習データは、花粉の形態的特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる花粉映像と前記学習データに含まれる花粉の形態的特徴を用いて花粉の量を分析する。

【0023】

また、前記制御部は、前記撮影された映像から花粉が識別される場合、その周囲を花粉ボックスとして定義する。しかし、前記花粉ボックスは蜂ボックス内でのみ定義される。

【0024】

また、前記学習データは、異常個体の形態的特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる異常個体の映像と前記学習データに含まれる異常個体の形態的特徴を用いて異常個体を識別する。

【0025】

また、前記映像を撮影するカメラ部と、前記映像を表示するための表示部をさらに含み、前記制御部は、前記目的個体のクラスが識別される場合、その周囲を識別ボックスとして定義して前記表示部に示す。

【0026】

また、前記制御部は、前記目的個体の複数のクラスの間をつなぐ表示線を前記表示部に示す。

【0027】

また、前記昆虫が出入りする養蜂箱の前記昆虫の出入口を開閉する開閉手段をさらに含み、前記制御部は、前記異常個体の識別の際、前記開閉手段を作動する。

【0028】

また、前記制御部は、前記異常個体の識別の際、所定の信号を発生する。

【発明の効果】

【0029】

本発明の一形態によれば、養蜂箱の近くで撮影された蜂の動きを学習データと比較して、蜂の軌跡を追跡し、蜂の出入りの有無を決定し、出入りする蜂の数を数え、蜂の軌跡と花粉の状態を分析して蜂の受粉活動の適正性を判断するための装置および方法が提供される。

【0030】

また、本発明の一形態によれば、予め学習されたデータに基づいてミツバチやマルハナバチなどの追跡対象である目的個体と、スズメバチ、アリ、バッタなどの異常個体を識別して推定し、異常個体の接近の際、それを知らせてくれる、改善したアルゴリズムを備えた装置および方法が提供される。

【図面の簡単な説明】

【0031】

【図1】本発明の一実施例の学習による昆虫個体の識別装置の構成図である。

【図2】本発明の一実施例の学習による昆虫個体の識別装置の画面例示である。

【図3】本発明の一実施形態による装置における昆虫の移動距離及び出現回数の分析図である。

【図4】～

【図6】本発明の一実施形態による装置を用いた蜂の状態分析の例示である。

【図7a】～

【図7b】本発明の一実施形態による装置におけるミツバチの識別方法を説明するための図である。

【図8a】～

【図8b】本発明の一実施形態による装置におけるマルハナバチの識別方法を説明するための図である。

【図9a】～

【図9b】本発明の一実施形態による装置におけるスズメバチの識別方法を説明するための図である。

【図10a】～

【図11b】本発明の一実施形態による装置で用いられる昆虫の形態学的情報を用いた三次元距離測定法を説明するための図である。

【図12】～

【図13】本発明の一実施形態による昆虫の形態学的情報を用いた昆虫個体の識別方法を様々な個体に適用した結果を示す図である。

【図14】本発明の一実施形態による昆虫の形態学的情報を用いた三次元距離測定法の性能を説明するための図である。

【発明を実施するための形態】

【0032】

本発明の利点および特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述される実施形態の例を参照することによって明らかになるであろう。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で実現することができる。但し、本実施形態は、本発明の開示が完全になるように本発明が属する技術分野における通常の知識を有する者に発明の範囲を正確に伝えるために提供するものであり、本発明は、特許請求の範囲により定義される。明細書全体にわたって、同じ図面符号は同じ構成要素を指す。

【0033】

本明細書で用いられる用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味を有しない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定しようとするものであり、1つまたは複数の他の特徴や数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に排除しないことと理解すべきである。

【0034】

本明細書において、「部」、「モジュール」、「装置」、「端末」、「サーバ」、または「システム」などの用語は、ハードウェアおよび、そのハードウェアによって駆動されるソフトウェアの組み合わせを指すことを意図した。例えば、ハードウェアは、ＣＰＵまたは他のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を含むデータ処理装置の場合もあり得る。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、個体（Ｏｂｊｅｃｔ）、実行ファイル（Ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（Ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（Ｐｒｏｇｒａｍ）などを指すことができる。

【0035】

以下では、添付の図面を参照して本発明の望ましい実施形態を詳細に説明する。

【0036】

図１は、本発明の一実施例の学習による昆虫個体の識別装置の構成図である。

【0037】

装置１００は、軌跡追跡モジュール１２０と個体識別モジュール１２５と花粉分析モジュール１３０を介して、蜂を識別し、その軌跡を追跡して、採集された花粉量を分析する制御部１１０および、蜂と花粉に関する様々な情報を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部１５０を含むように構成される。

【0038】

その他、養蜂箱付近での蜂の動きを撮影するためのカメラ部１４０、撮影された映像を表示するための表示部１６０、外部機器と有無線通信を行うための通信部１７０などを含むことができる。

【0039】

カメラ部１４０を内蔵する代わりに外部カメラ（図示しない）を用いる場合、装置１００は通信部１７０を介して外部カメラとデータの送受信を行うことができ、装置１００に内蔵された表示部１６０の代わりに外部表示装置（図示しない）を用いてもよいし、表示部１６０と並行して外部表示装置を活用してもよい。

【0040】

本発明の装置は、蜂のような昆虫の特徴、すなわち、身体構造や色の分布、パターンなどを、ディープラーニングモデルを介して、学習させ、学習データとして保存部１５０に保存し、カメラ部１４０から受信して保存部に保存された動画やカメラ部１４０からのストリーミング映像データをフレーム（Ｆｒａｍｅ）毎に保存された学習データと比較して、映像から目的とする昆虫を探し、移動経路を追跡することによって、花粉を探し、花粉の量を分析することができる。

【0041】

図２は、本発明の一実施例の学習による昆虫個体の識別、軌跡追跡及び分析装置の画面例示である。

【0042】

本発明の装置によって提供される表示画面は、図２のような構成を有してもよい。

【0043】

基本的に昆虫の認識は、昆虫を収容するための養蜂箱（Ｈｉｖｅ）の出入り口の付近に仮想で描き込んだ複数の四角形（以下、「ゲート」と称する）と昆虫を認識する際に自動的に描かれる四角形（以下、「昆虫ボックス」と称する）との積集合を計算する方法で行われる。昆虫ボックスは、例えば、蜂の画像を含む最小の四角形により表される。

【0044】

図２では、養蜂箱の出入口を中心に外側に領域１（Ａｒｅａ１、内側ゲートの内部）、領域２（Ａｒｅａ２、外側ゲートの内部）、領域３（Ａｒｅａ３、外側ゲートの外部）を区分するようにゲートが定義されている。また、昆虫として識別された個体の周りに昆虫ボックスが定義される。

【0045】

本発明の装置は、ゲート内部の領域と昆虫ボックスとの間に積集合が発生する順番を記録または追跡する方法によって、昆虫が養蜂箱に入って行くのか、出て来るのかを区別する。

【0046】

たとえば、昆虫ボックスの動き（または、昆虫ボックスとゲートの積集合の部分）が 領域１－＞領域２－＞領域３の順序で記録された場合、養蜂箱から出るもので、領域３－＞領域２－＞領域１の順序で記録された場合は、養蜂箱に入るものであり、領域１でしばらく滞在して消えたら、養蜂箱に入ったこととみなす。

【0047】

図２において、「Ｈｉｖｅ」は養蜂箱に入っている昆虫の数を表し、それは昆虫の出入り回数を計算して得られた値である。

【0048】

「ｐｏｌｌｉｎａｔｉｏｎ」は昆虫が蜂の場合、蜂が採集した花粉の量を表すもので、「Ｈｅａｖｙ」は花粉の採集が優秀な状態を、「Ｌｉｇｈｔ」は花粉の採集が相対的に不足している状態を表す。

【0049】

「ＬｏＣ」は、昆虫（または昆虫ボックス）の位置がどの領域にあるかを表す。

【0050】

一方、本発明におけるオブジェクト検出（Ｏｂｊｅｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）の精度を評価する指標であるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）の定義は次の通りである。

【0051】

計算された積集合の値は図２の画面に表示される。右上端にある「ｐＩｏＵ１」、「 ｐＩｏＵ２」、「ｃＩｏＵ１」、「ｃＩｏＵ２」がそれで、プレフィックスｐは前の値（Ｐａｓｔ）を意味し、プレフィックスｃは現在（Ｃｕｒｒｅｎｔ）の値を意味する。

【0052】

「ｐＩｏＵ１」は領域１（赤色ゲート）で測定された前のフレームの値を表し、「ｐＩｏＵ２」は領域２（青いゲート）で測定された前のフレームの値を表し、「ｃＩｏＵ１」は領域１で測定された現在のフレームの値を表し、「ｃＩｏＵ２」は、領域２で測定された現在のフレームの値をそれぞれ表す。

【0053】

「ＩｏＵ」だけでなく、「Ｈｉｖｅ」、「Ｐｏｌｌｉｎａｔｉｏｎ」などの値も、映像のフレームごとに更新される値である。

【0054】

一方、昆虫と花粉の認識は、保存された学習データと撮影した映像との比較によって行われる。昆虫や花粉のような個体を学習させたデータを撮影した映像に適用した際、任意の時間帯に獲得した映像の個体が昆虫や花粉である率は昆虫ボックスまたは花粉ボックスの近くに数値で示すことができる。例えば、昆虫ボックスの横に「０．９９」と表示された場合、その個体が目的とする個体の「昆虫」である確率が９９％という意味である。

【0055】

花粉ボックスは、昆虫ボックス内に生成され、花粉ボックスの横に表示される数値は、昆虫ボックスと積集合重畳される花粉のイメージが花粉であると推定できる確率を表す。

【0056】

本発明の装置は、図２の映像を分析して、図３～図６のように昆虫の軌跡を分析した図表を生成することができる。

【0057】

まず、図３は、本発明の一実施形態による装置における昆虫の移動距離および出現回数の分析図である。

【0058】

図３は、昆虫の軌跡（Ｔｒｅｖｅｌｌｉｎｇ ｄｉｓｔａｎｃｅ，移動距離）と出現回数(Ｎｕｍｂｅｒ ｏｆ ａｐｐｅａｒａｎｃｅｓ)を一緒に示す軌跡図であり、昆虫の巣箱の出入口から昆虫ボックスの距離を示す昆虫の軌跡線（青）と昆虫ボックスの出現回数を示す出現回数線（赤）を複合的に分析することにより、昆虫の動きと状態を把握できる。

【0059】

図４～図６は、本発明の一実施形態による装置を用いた蜂の状態分析の例示である。

【0060】

３つの図を比較すると、養蜂箱に入る正常な蜂の軌跡（図４）と、養蜂箱から出る正常な蜂の軌跡（図５）に比べて、図６のように 出入口周辺で動きを止めるので、蜂が落ちて死んでしまったことを確実に判断できる。

【0061】

本発明の装置は、他の様々な形態の蜂の状態を分析した例示を提供することができる（図示しない）。例えば、Ｘ―Ｙ座標系上で蜂の飛行軌跡を示す蜂の軌跡（Ｆｌｉｔｅ Ｔｒａｊｅｃｔｏｒｙ ｏｆ Ｂｅｅ）グラフと、映像内での蜂の累積出現頻度を示す蜂の出現状態（Ｏｂｓｅｒｖａｔｉｏｎ ｏｆ Ｂｅｅ’ｓ Ｓｔａｙｉｎｇ）グラフ、および基準点からの蜂の移動距離（Ｔｒａｖｅｌｌｉｎｇ Ｄｉｓｔａｎｃｅ ｏｆ Ｂｅｅ）と蜂の出現状態グラフを含むように構成してもよい。

【0062】

他にも蜂が養蜂箱に入ってから出て来るまでにかかる時間を測定して蜂の老化、活動性などを把握できる。また、花粉の形や色などのデータを学習することができる。したがって、撮影された映像から花粉の色を区別することができ、蜂が目的の植物と異なる種類の植物を訪れるかどうかを確認し、蜂の動きを分析して正常であるか異常であるかを判断できる。それにより、蜂の動きを分析して、環境変化または、蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱や温室管理に必要な情報を提供したりすることができる。

【0063】

次に、各個体を識別する具体的な方法について説明する。

【0064】

図７a～図７ｂは、本発明の一実施形態の装置におけるミツバチ（Ｈｏｎｅｙ ｂｅｅ）の識別方法を説明するための図であり、図８a～図８ｂは、本発明の一実施形態の装置におけるマルハナバチの識別方法を説明するための図である。

【0065】

ディープラーニングを介して、学習されたデータを用いて行う分類作業は、非常に多様な分野で活用できる。学習が可能なほどの品質を有するデータだけあれば可能である。しかしながら、本発明の核心は、単純な学習・推定ではなく、アルゴリズムによる個体の分類にある。

【0066】

これは、推定モデルの改善と向上という側面から新しい方法論を提示する。ミツバチ、マルハナバチ、花粉など各種の個体の学習の際に入力されるイメージは、ディープラーニングモデルを介して、イメージの注釈（ａｎｎｏｔａｔｉｏｎ）（クラス種類：ミツバチ、マルハナバチ、スズメバチ、花粉、その他の個体）と特徴（形態、色分布）を共に学習する。学習されたイメージに対するクラス別固有の特徴に基づいてモデルの精度を計算できる。

【0067】

撮影された映像全体に対して正確な学習と推定が可能であれば、最も優れた品質の結果を導き出すことができる。しかし、膨大なデータを扱うという点では、コンピュータの性能と作業の効率性に対する考慮が必要である。このような問題を解決するために、識別を必要とする個体のみ注釈処理（ａｎｎｏｔａｔｉｏｎ）をする方法を用いる。本発明は、各個体に対する全体的な学習を排除し、各個体またはクラスを代表する特徴のみ学習させることにより、性能の低いコンピュータでも高い効率を示すように設計された。

【0068】

図７aは撮影されたミツバチの映像であり、図８aは撮影されたマルハナバチの映像である。

【0069】

2つの蜂の基本構造は似ているが、腹部の部分の形状とパターンが異なる。ミツバチの場合は腹部の長さが短く、複雑な模様のパターンを有し、マルハナバチの場合は、腹部が厚くてシンプルな模様のパターンを有する。このような特徴は、２つの個体を分類するのに十分な条件となり、色の分析においても図７ｂおよび図８ｂのような結果を得ることができる。

【0070】

図７ｂ及び図８ｂは、それぞれミツバチとマルハナバチの腹部の模様パターンである。

【0071】

両方の個体は非常に似ており、一般的な区切りを用いるのは適していない。形態学的にマルハナバチがミツバチに比べて相対的に体が大きい。しかし、生息地域によって特徴（形態、色の分布）が変わるため、その基準にはならない。すなわち、マルハナバチとミツバチの場合、形態的に区別が難しいため、模様パターン（特に、腹部の模様）の色の分布を調べることによって分類する技術が必要である。図７ｂと図８ｂとを比較すると、マルハナバチの場合は、色が均等に分布して単純に現れ（図８ｂ）、ミツバチの場合は複雑かつ細かい模様の表現のために１０％未満の低い占有率を有する区間に多数の色が細分化されている（図７ｂ）。したがって、ミツバチとマルハナバチは、形状と共に腹部の部分パターンの特徴的な色の分布を共に学習することによってモデルの精度を向上させることができる。

【0072】

一方、ミツバチとマルハナバチを含む一般的な蜂の大きさは１５ｍｍ～２０ｍｍ程度と小さく、複雑で細かい構造のため、認識が非常に難しい。特に、マルハナバチの体全体を覆っている毛のために生じる影は、認識をさらに難しくする。本発明は、このような問題を解決するために、前述のように個体の軌跡を追跡・調査して関連データを集めた後、それを個体の特徴と組み合わせて様々な推定作業を行う過程をさらに含む。このような軌跡追跡技術を異常個体の識別アルゴリズムに適用することにより、個体認識（Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）の精度を高める。

【0073】

図９a～図９ｂは、本発明の一実施形態による装置におけるスズメバチの識別方法を説明するための図である。

【0074】

２つの異なる個体が形態において大きな違いを見せる場合は、新しいアプローチが必要である。スズメバチ（Ｈｏｒｎｅｔ）は、一般的な蜂（すなわち、ミツバチ、マルハナバチ）と構造的な違いを見せる。スズメバチの体は大きく、はっきりした形や色は、他の個体との分類が容易である。スズメバチは体の大きさが大きく、各部分の区分が明確で、腹部は濃い黄色と黒の鮮明な模様を有するのが一般的な特徴である。これらの特徴を活用するために、スズメバチの頭部と腹部を別々に学習させ、頭部と腹部の距離を調べる方法でスズメバチを分類する技術を適用した。

【0075】

図９a～図９ｂは、ミツバチ（ｈｏｎｅｙ ｂｅｅ）とスズメバチの頭部（ｈｏｒｎｅｔ ｈｅａｄ）、そして、スズメバチの腹部（ｈｏｒｎｅｔ ａｂｄｏｍｅｎ）を特徴として学習させたデータで推定した結果である。

【0076】

前述のように、ミツバチは腹部の模様の色の分布が特徴である。したがって、ミツバチを推定したボックス（青）は、図９a～図９ｂにおいて、両方ともミツバチの腹部にボックスが現れる。しかしながら、これは例示的なものであり、ミツバチの体全体にミツバチボックスが形成できるようにすることも当然可能である。

【0077】

図９aでは、スズメバチの頭部と腹部が別々に推定され、ボックスと共に表示されている。スズメバチの頭部を表したボックスとスズメバチの腹部を表したボックスが一緒に検出されると、両方のボックスのユークリッド距離を計算した後、実際のスズメバチのデータとの類似性を調べる。ボックス間の距離を計算し、ボックスをつなぐ線を水色で示し、蓄積された値の統計値を分析することによって個体識別の精度を高めた。

【0078】

注意すべき点は、同じ物体でもカメラと物体の離れた距離と撮影角度によって実物の大きさが異なって見えることである。したがって、それを補正するためには、これらの要素を考慮した補正が必要である。本発明では、撮影場所周辺の実写物の直接測量値と実写物の平均的な値の両方を用いて、統計値を求める方法が適用された。

【0079】

一方、このような計算のためには、スズメバチの部位別推定結果としてスズメバチの頭部ボックスとスズメバチの腹部ボックスの両方が現れなければならない。すなわち、入力データの低品質のためにスズメバチの頭部のみを識別したり、スズメバチの腹部のみを識別したりした結果ではスズメバチと推定できない。

【0080】

図９ｂは、スズメバチの腹部だけが識別され、スズメバチの頭部は識別されなかった場合である。スズメバチが羽ばたく際に、スズメバチの頭部と翼が重なって正しく認識できなかったのである。突発状況として認識されていない場合であるが、結果の有意性を調査するために、以前の結果と対照して可能性を計算することができる。

【0081】

本発明の一実施形態による装置において、用いられる昆虫の形態学的な情報を用いた三次元距離測定法を説明するための図である。

【0082】

「三次元距離測定法」とは、昆虫の生態学的な行動特性とよく合っており、非常に理想的な結果を提供する。動植物を含む昆虫のほとんどは関節を有しており動きに制限を受け、それぞれ特別な行動特性を示す。

【0083】

蜂のような昆虫は、各部の区分が形態的に確実で、関節があるため、制限された行動半径内の行動が制限され、すぐに見つけることができる。この原理を推定モデルに適用すると、異常値(Ｓｉｎｇｕｌａｒｉｔｙ)を検査・削除することができ、推定の精度が高まる。もちろん、ミミズなどの軟体動物の場合でも多関節で構成されていれば、それもまた行動特性を見つけることができ、本技術の適用が可能であろう。

【0084】

図１０aは、「３次元距離測定法」を適用しなかった結果である。個体識別過程を個体検出と個体認識と区別すれば、個体検出（Ｏｂｊｅｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）には成功したが、個体認識（Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）には失敗した場合といえる。アリの頭部とアリの腹部を見つけて、アリの個体を検出するための基本的なアルゴリズムは正しく機能した。しかし、また別のアリ個体が検出されるにつれ、２つの個体をつなげて、実際には存在しない新しい個体を認識した。このような場合を防ぐために、「３次元距離測定法」で計算した個体のサイズを用いて、誤った推定を排除するアルゴリズムが必要である。

【0085】

図１０ｂは、「３次元距離測定法」を適用した結果である。図１０ｂの後方の２つのアリを見ると、真ん中のアリは腹部のみ検出され、右のアリは胴体全体が頭部だと誤認識され、推定が不安定であることがわかる。したがって、これら２つの個体（すなわち、中央のアリと右のアリ）は、アリの形態学的な観点から存在不可能な個体であるため、推定から除外する必要がある。結局、前方のアリのように頭部と腹部が共に検出され、計算された距離が統計的なアリの大きさに類似している場合にのみ、成功した識別と見なして、それをアリとして推定する。

【0086】

図１１aは、近距離に多数の個体が密集している場合であり、「３次元距離測定法」を適用しなかった場合を示す。

【0087】

映像に映されている4匹のアリの内、中央部分に上下に配置された２つのアリの距離が近く、上部のアリの腹部と下部のアリの頭部が紫線でつながり、これを一つのアリ個体として誤った推定をした状態である。

【0088】

図１１ｂは、図１１aと同じ映像に「３次元距離測定法」を適用した場合である。

【0089】

「３次元距離測定法」で計算された結果は、画面のピクセル値として示すため、それを距離に換算した後、統計的個体のサイズと比較して正常な個体であるか、異常な個体であるかを識別する。デジタルイメージの解像度を表すＤＰＩ（ｄｏｔｓ ｐｅｒ ｉｎｃｈ）は、１インチ内に入っているピクセルの数を表す単位である。たとえば、ＤＰＩ９６の場合、1ｃｍ /２．５４ｘ９６＝３７．７９ピクセルになる。この値で１ピクセルの距離を逆に換算すると０．０２６３ｃｍであることが分かる。図１１ｂのアリの頭部からアリの腹部までの画素数を求めれば平均１３８（～３．６ｃｍ）ピクセルを得ることができる。アリの平均的な大きさ（働きバチ３ｍｍ、女王アリ７ｍｍ）を分類基準（Ｃｒｉｔｅｒｉａ）として用い、下部のアリのみを正常な個体と推定し、上部のアリの腹部と下部のアリの頭部をつないで認識した個体は、推定から除去される。

【0090】

図１２～図１３は、本発明の一実施形態による昆虫の形態学的な情報を用いた昆虫個体の識別方法を様々な個体に適用した結果を示す図である。

【0091】

図１２において、バッタ（Ｇｒａｓｓｈｏｐｐｅｒ）は、頭部と尾部を該当する個体のクラスとして特定し、その特徴を学習させ、アリは頭部と腹部をクラスとして、その特徴を学習させ、蜂（Ｂｅｅ）は、他の対象物体と区別できる特性である翼をクラスとしてその特徴を学習させた。特徴の学習は非常に主観的であるため、効率的な分類のためには、高度の技術と経験が必要である。

【0092】

例えば、図７、８では、ミツバチとマルハナバチを区別するために、ハチの腹部の模様をクラスの特徴として学習させているが、図９では、ミツバチ、マルハナバチと区別されるスズメバチの身体的な特徴を用いてスズメバチの頭部と腹部を各クラスに分けて特徴を学習し、その間の距離を計算する方式を適用した。図１２では、アリやバッタと区別しやすい蜂の羽をクラスにして、その特徴を学習させる。このように、状況に合わせて同じ個体に異なるクラスと特徴を導入することができる。

【0093】

一方、図１２では、バッタの頭部とアリの頭部の類似性が高いため、映像の撮影方向によっては両者の区別が難しい場合がある。言い換えれば、アリとバッタが同じ方向に置かれると区別が難しくなるのである。したがって、本発明のように「３次元距離測定法」と昆虫の形態学的な情報を同時に活用して個体を推定する必要がある。

【0094】

個体分類のために開発された「３次元距離測定」は、単に点と点との間のユークリッド距離を計算するものではない。３次元のデータではなく、２次元のデータを用いて３次元的に距離を計算する方法で、低い性能でも検出効率を高めることができるという利点がある。

【0095】

図１３は、ミミズを含むより多様な個体に本発明の「３次元距離測定法」と昆虫の生態学的なデータを同時に活用して個体を識別し、推定した結果を示す。

【0096】

目的とする各クラスの特徴を識別して各個体を推定しており、識別対象ではない個体であるミミズのような場合には、それが識別可能であれば他の個体（ｕｎｋｏｗｎ）に分類することができる。

【0097】

一方、図１３の２次元映像を３次元的に理解すると、空間の全体が同一平面でない場合、すなわち、上部の個体と下部の個体間に空間の傾きなどの影響で、空間情報によるイメージの歪み、つまり、遠近による歪みが発生する。このように、複数の平面に複数の個体が位置する場合は、空間の状態を示す空間情報と個体の形態学的情報を用いて歪みを補正して個体を識別しなければならない。例えば、制御部は、遠くの平面にある個体の部分形状の拡大率を近くの平面にある個体の部分形状の拡大率よりも大きくして補正することにより、補正後の個体の全体形状が、形態学的情報が示す形状に近くなるようにする。

【0098】

図１４は、本発明の一実施形態による昆虫の形態学的な情報を用いた３次元距離測定法の性能を説明するための図である。

【0099】

図１４は、スズメバチを対象に実験した結果を示しており、信頼度（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）は、学習させたデータがスズメバチだと推定するレベルを意味し、精度（ｐｅｒｃｅｎｔａｇｅ ａｃｃｕｒａｃｙ）は、実際にスズメバチであるかに対する正解を比較して全フレームの数で割った値を意味する。

【0100】

スズメバチの推定の際、スズメバチの全体形態を一つの特徴として学習させた場合（Ｈｏｎｅｔ＿ａｌｌ）とスズメバチの頭部と腹部を区分し、形態学的な特徴、すなわち、頭部と腹部の間の距離情報を用いて、スズメバチの各部の形態を特徴として学習させた場合（Ｈｏｒｎｅｔ＿ｐａｒｔ）を比較した結果、スズメバチの各部の形態を特徴として学習させた場合の精度がはるかに高いことが確認できる。

【0101】

スズメバチの全体の形態を学習させた場合には、イメージの画質や背景のノイズなどにより信頼度を高める場合、精度が著しく減少するのに比べて、スズメバチの頭部と腹部をそれぞれ学習した後、形態学的な特徴、すなわち、頭部と腹部の間の距離情報を考慮するアルゴリズムで分析を行うと、精度が維持され、それに応じて９０％の信頼度において８５％以上の精度を有することが確認できる。

【0102】

個体の全体の形態を学習させた場合に比べて、本発明により個体の各特徴部を学習させ、昆虫の形態学的な特徴を考慮した場合は９０％の信頼度区間において約８倍以上の性能向上が確認された。また、低解像度でテストした場合でも、両手法の違いが４０％以上の精度の差を示し、７０％の信頼度区間においても昆虫を比較的正確に検出することができた。

【0103】

前記昆虫が出入りする巣箱（例えば、昆虫が蜂の場合の養蜂箱）に前記昆虫の出入口を開閉する開閉手段をさらに含み、ミツバチやマルハナバチではなく、スズメバチ、バッタ、アリなど指定された異常個体の識別の際、前記開閉手段を作動するメカニズムを追加してもよい。

【0104】

また、異常個体の識別の際、前記開閉手段の作動とは別に、または、前記開閉手段の作動と共に、ユーザに状況を知らせるための音の発生、ランプの点灯、通信手段を用いたユーザ端末への情報伝送などの所定信号を発生させることができる。

【0105】

以上、本発明が具体的な構成要素などの特定の事項と限定した実施例及び図面により説明した。しかし、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明が前記実施例に限定されるものではない。本発明が属する技術分野において通常の知識を有する者であれば、これらの基材から様々な修正及び変形を図ることができる。

【0106】

したがって、本発明の思想は前記説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等にまたは等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7a】

【図7b】

【図8a】

【図8b】

【図9a】

【図9b】

【図10a】

【図10b】

【図11a】

【図11b】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-10-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ミツバチ又はマルハナバチの腹部の模様の色の分布により表される特徴をディープラーニングモデルにより学習して得られた第１学習データと、スズメバチの頭部と腹部との距離により表される形態学的な特徴をディープラーニングモデルにより学習して得られた第２学習データと、を保存する保存部と、
撮影された映像と、前記保存部に保存された第１学習データ及び第２学習データとを用いて、撮影された映像から、腹部の模様の色の分布によりミツバチ又はマルハナバチを識別し、頭部と腹部との距離に基づいてスズメバチを識別する制御部を含む、
学習による昆虫個体の識別装置。

【請求項2】

スズメバチの頭部と腹部との距離により表される形態学的な特徴をディープラーニングモデルにより学習して得られた学習データを保存する保存部と、
撮影された映像と、前記保存部に保存された学習データを用いて、撮影された映像から、頭部と腹部との距離に基づいてスズメバチを識別する制御部を含み、
前記制御部は、前記映像に空間内の位置によるイメージの歪みが存在する場合、空間内の位置とスズメバチの前記形態学的な特徴を示す情報を用いて、遠くの平面にあるスズメバチの部分形状の拡大率を近くの平面にあるスズメバチの部分形状の拡大率よりも大きくして補正することにより、補正後のスズメバチの全体形状が前記形態学的な特徴に対応する形状に近づくように前記歪みを補正する、
学習による昆虫個体の識別装置。

【請求項3】

スズメバチの頭部と腹部との距離により表される形態学的な特徴をディープラーニングモデルにより学習して得られた学習データを保存する保存部と、
撮影された映像と、前記保存部に保存された学習データを用いて、撮影された映像から、頭部と腹部との距離に基づいてスズメバチを識別する制御部を含み、
前記制御部は、前記映像において、スズメバチが出入りする巣箱において、スズメバチの出入口を中心とする異なる大きさの複数の領域を定義し、前記映像においてスズメバチが識別される場合、識別されるスズメバチの周囲を昆虫ボックスとして定義する、
学習による昆虫個体の識別装置。

【請求項4】

映像を撮影するカメラ部と、
前記映像を表示するための表示部と、
スズメバチの頭部と腹部との距離により表される形態学的な特徴をディープラーニングモデルにより学習して得られた学習データを保存する保存部と、
前記カメラ部により撮影された前記映像と、前記保存部に保存された学習データを用いて、撮影された映像から、頭部と腹部との距離に基づいてスズメバチを識別する制御部を含み、
前記制御部は、スズメバチの頭部と腹部が識別される場合、頭部と腹部が識別されるスズメバチの周囲を識別ボックスとして定義して、前記表示部に表示し、スズメバチの頭部と腹部との間をつなぐ表示線を前記表示部に表示する、
学習による昆虫個体の識別装置。

【請求項5】

前記制御部は、スズメバチの頭部と腹部との距離により表される前記形態学的な情報を用いた、３次元空間におけるスズメバチの頭部と腹部との距離を測定するための３次元距離測定法に基づいてスズメバチを識別する、
請求項１から４のいずれか１項に記載の学習による昆虫個体の識別装置。

【請求項6】

前記第１学習データの作成に用いられる前記ディープラーニングモデルは、前記ミツバチの腹部と前記マルハナバチの腹部をそれぞれ該当する個体のクラスと定義し、前記ミツバチと前記マルハナバチの腹部の模様パターンと色の分布を、該当するクラスを表す特徴として学習する、
請求項１に記載の学習による昆虫個体の識別装置。

【請求項7】

前記制御部は、前記複数の領域のうち、少なくとも１つと前記昆虫ボックスが重畳される順番を記録または追跡する方法によって、スズメバチの出入りを区別する、
請求項３に記載の学習による昆虫個体の識別装置。

【請求項8】

前記第１学習データ及び前記第２学習データは、花粉の形態的な特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる花粉の映像と、前記第１学習データ及び前記第２学習データに含まれる花粉の形態的な特徴を用いて、花粉の量を分析する、
請求項１に記載の学習による昆虫個体の識別装置。

【請求項9】

前記制御部は、前記撮影した映像から花粉が識別される場合、識別される花粉の周囲を、前記昆虫ボックス内で定義される花粉ボックスとして定義する、
請求項３に記載の学習による昆虫個体の識別装置。

【請求項10】

昆虫が出入りする巣箱の前記昆虫の出入口を開閉する開閉手段をさらに含み、
前記制御部は、スズメバチを識別した場合、前記開閉手段を作動する、
請求項１に記載の学習による昆虫個体の識別装置。

【請求項11】

前記制御部は、スズメバチを識別した場合、所定の信号を発生させる、
請求項１に記載の学習による昆虫個体の識別装置。