特開 2024-101979 学習による蜂の軌跡追跡及び分析装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024101979

(43)【公開日】2024-07-30

(54)【発明の名称】学習による蜂の軌跡追跡及び分析装置及び方法

(51)【国際特許分類】

   G06T 7/246 20170101AFI20240723BHJP

   G06T 7/00 20170101ALI20240723BHJP

   G06V 10/82 20220101ALI20240723BHJP

   A01K 11/00 20060101ALI20240723BHJP

   A01K 47/00 20060101ALI20240723BHJP

【ＦＩ】

G06T7/246

G06T7/00 350C

G06V10/82

A01K11/00 E

A01K47/00

【審査請求】有

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023104150

(22)【出願日】2023-06-26

(11)【特許番号】

(45)【特許公報発行日】2023-10-25

(31)【優先権主張番号】10-2023-0007640

(32)【優先日】2023-01-18

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】523243720

【氏名又は名称】ファームコネクト カンパニー リミテッド

【氏名又は名称原語表記】ＦＡＲＭＣＯＮＮＥＣＴ ＣＯ．，ＬＴＤ．

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】キム ムヒュン

(72)【発明者】

【氏名】ジョン インソク

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA20

5L096FA02

5L096HA03

5L096HA11

5L096HA13

5L096JA11

(57)【要約】      （修正有）

【課題】マルハナバチの出入りを感知するためのセンサを養蜂箱に設置することなく、蜂の軌跡を追跡し、マルハナバチの動きを分析して、環境変化または蜂の受粉活動の適正性に関する情報を提供し、養蜂箱や温室管理に必要な情報を提供する蜂の軌跡追跡および分析装置を提供する。
【解決手段】蜂の軌跡追跡及び分析装置１００は、軌跡追跡モジュール１２０と花粉分析モジュール１３０を介して蜂の軌跡を追跡し、採集された花粉量を分析する制御部１１０および蜂と花粉に関する様々な情報を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部１５０を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

養蜂箱の出入口の付近での蜂の動きを撮影するカメラ部と、
蜂の身体的な特徴を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部と、
前記カメラ部で撮影した映像と前記保存部に保存された学習データとを用いて撮影された蜂の軌跡を追跡する制御部と、
を含む学習による蜂の軌跡追跡および分析装置。

【請求項2】

前記学習データは、花粉の形態的な特徴に関するデータをさらに含み、
前記制御部は、前記映像に含まれる花粉映像と、前記学習データに含まれる花粉の形態的特徴を用いて、花粉の量を分析する、
請求項１に記載の学習による蜂の軌跡追跡および分析装置。

【請求項3】

前記制御部は、前記養蜂箱の出入口を中心とする異なる大きさの複数の仮想領域を定め、前記撮影された映像から蜂が識別される場合、その周囲をハチボックスとして定義する、
請求項１または、請求項２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項4】

前記制御部は、前記仮想領域の内、少なくとも１つと前記ハチボックスが重畳される順序を記録または追跡する方法によって、前記蜂の出入りの有無を区別する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項5】

前記仮想領域は、前記養蜂箱の出入口を中心に所定の面積を占める領域１と、前記領域１を含み前記領域１より大きい面積を占める領域２と、を含む、
請求項４に記載の学習による蜂の軌跡追跡および分析装置。

【請求項6】

前記制御部は、前記撮影した映像から花粉が識別される場合、その周囲を花粉ボックスとして定義する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項7】

前記花粉ボックスは、前記ハチボックス内に生成される、
請求項６に記載の学習による蜂の軌跡追跡および分析装置。

【請求項8】

前記制御部は、前記出入口の中心点から前記ハチボックスの相対的な距離の変化と前記仮想領域内に前記ハチボックスが出現する回数又は頻度を算出する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項9】

前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡を比較して、前記養蜂箱に入る蜂と前記養蜂箱から出る蜂を区別する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項10】

前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡を比較して正常な蜂と異常な蜂を区別する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項11】

前記制御部は、前記正常な蜂と異常な蜂の割合または個体数を計算して、前記養蜂箱の交換時期を決定する、
請求項１０に記載の学習による蜂の軌跡追跡および分析装置。

【請求項12】

前記制御部は、映像フレーム単位で前記仮想領域内において撮影された蜂の映像を計数して累積する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項13】

前記制御部は、前記養蜂箱の出入口周辺の蜂の軌跡を前記出入口からのＸ軸方向の距離およびＹ軸方向の距離に合わせて算出する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項14】

前記制御部は、所定の期間の間、前記ハチボックスと前記仮想領域との重畳が前記領域１から前記領域２の順に発生した場合、前記養蜂箱から出る蜂として区別し、前記領域２から前記領域１の順に発生した場合、前記養蜂箱に入る蜂として区別する、
請求項５に記載の学習による蜂の軌跡追跡および分析装置。

【請求項15】

表示部をさらに含み、
前記制御部は、前記養蜂箱の出入口に出入りする前記蜂の数を計数して、前記表示部に表示する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項16】

前記制御部は、前記花粉の量を前記表示部に表示する、
請求項１５に記載の学習による蜂の軌跡追跡および分析装置。

【請求項17】

前記制御部は、前記花粉の色を前記表示部に表示する、
請求項１６に記載の学習による蜂の軌跡追跡および分析装置。

【請求項18】

前記学習データは、異常個体の形態的な特徴に関するデータをさらに含み、
前記制御部は、前記映像に含まれる異常個体の映像と前記学習データに含まれる異常個体の形態的な特徴を用いて異常個体の存在を分析する、
請求項１に記載の学習による蜂の軌跡追跡および分析装置。

【請求項19】

前記制御部は、前記撮影した映像に蜂が識別されない区間においては、補間法を用いて蜂の位置を推定する、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項20】

前記制御部は、前記花粉ボックス内で、花粉の分布領域を見つけるためにイメージ前処理を経て、花粉分布領域の境界に輪郭線を形成し、前記輪郭線内の領域の色と濃度を計算する、
請求項６に記載の学習による蜂の軌跡追跡および分析装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、蜂の軌跡追跡及び分析装置及び方法に関する。特に、蜂の身体的構造や色等の特徴を、ディープラーニングモデルを介して、学習して得られた学習データを用いて蜂の軌跡を追跡及び分析する装置と方法に関する。

【背景技術】

【0002】

ミツバチ（Ｈｏｎｅｙ ｂｅｅ）は、蜂蜜を収集し保存・生産する目的で用いられる蜂であり、マルハナバチ（Ｂｕｍｂｌｅ ｂｅｅ）は、植物の受精を目的として用いられる蜂であり、振動受粉（Ｂｕｓｓ ｐｏｌｌｉｎａｔｉｏｎ）によって花の受粉を行う。

【0003】

振動受粉とは、蜂が花に接近し、胸の筋肉を振動させることによって花の雄蕊から花粉を解放し、空中に放出された花粉がまた蜂の振動に反応して花の雌蕊に落ちることで受粉が行われる。この振動受粉の際に、空中の花粉が蜂の体毛にも付着する。

【0004】

したがって、マルハナバチは蜂蜜を生産しないため、ミツバチでは受精が難しいトマト、茄子、唐辛子などのような茄子科植物の受粉作業や桃、プラム、リンゴ、アプリコット、イチゴ、メロン、梨、ブルーベリー、覆盆子、マンゴーなどの作物栽培に多く使われている。

【0005】

例えば、トマト栽培の場合、マルハナバチを導入すると、通常、蜂群の１０～２０％に当たる働きバチが一日５～１２回の花粉採集を行い、１回の採集活動の際、５０～２２０本の花を訪れると知られている。

【0006】

花の本数に比べてマルハナバチが多すぎると、過剰な受精により奇形果が発生するなど、受精が不良になる可能性があるため、出入口と回収口が別々に設けられた養蜂箱を使用し、時間帯や蜂の活動に合わせて開閉を調節することによりマルハナバチの採集活動を制御することができる。

【0007】

マルハナバチは養蜂箱の設置後、所定の期間が経過すると個体数が減少し、動きも少なくなり、養蜂箱を替える必要がある。周囲の温度が３０度を超え始めると、養蜂箱の温度を下げるための換気目的でより多くのマルハナバチが養蜂箱内に留まり、受粉活動を減少させ、周囲の温度が３３度を超えると、マルハナバチは生存モードに入り、幼虫を殺し、受粉活種を中断する。それで、このような状況を確認するためにマルハナバチの様子を遠隔でモニタリングするマルハナバチの管理方法が提案されている。

【0008】

韓国特許公開第１０－２０１６－０１４１２２４号「マルハナバチ管理装置および管理システム」は、マルハナバチの養蜂箱の出入口から出入するマルハナバチの出入回数を感知するセンサを用いてマルハナバチの交代時期を知らせてくれる技術を開示している。また、韓国特許第１０－１９６３６４８号「温室でのマルハナバチの管理システムおよび方法、マルハナバチの養蜂箱」は、複数のセンサを用いてマルハナバチの養蜂箱に出入する蜂の出入方向と出入回数を感知して出入門の開閉を制御する技術を開示している。

【0009】

しかし、前記従来技術はマルハナバチの出入りを感知するためのセンサを養蜂箱に設置するなど蜂に影響を与えることのできる環境構築が必要であり、その効果も蜂の個体数を数えるレベルに留まっており、蜂の軌跡を追跡したり、マルハナバチの動きを分析して、環境変化または、蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱や温室管理に必要な情報を提供してくれるまでは及ばなかった。

【0010】

一方、マルハナバチを養蜂して養蜂箱単位で販売する場合が多いが、新しく購入した養蜂箱内の蜂も健康状態が良くない場合がある。このような場合、蜂の健康状態を判断して事前に知らせて農家で受精の適期を見逃さないように助ける必要がある。しかし、前記従来技術はこのような状況に対する問題点の認識や解決策を提示していない。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】韓国特許公開第１０－２０１６－０１４１２２４号（２０１６．１２．０８公開）

【0012】

【特許文献2】韓国特許第１０－１９６３６４８号（２０１９．０４．０１公告）

【発明の概要】

【発明が解決しようとする課題】

【0013】

前記問題を解決するために、本発明は、養蜂箱の近くで撮影された蜂の動きを学習データと比較して、蜂の軌跡を追跡し、蜂の出入りの有無を決定し、出入りする蜂の数を数える装置および方法を提供することを目的とする。

【0014】

また、本発明は、撮影された映像を用いて蜂が採集した花粉量、蜂の受粉活動の適正性、蜂の健康状態などを分析する装置及び方法を提供することを目的とする。

【0015】

また、本発明は、撮影された映像における蜂の軌跡と花粉の状態を分析して蜂の受粉活動の適正性を判断し、それに応じて必要時に養蜂箱を替える時期を決められる装置及び方法を提供することを目的とする。

【0016】

また、本発明は、事前に学習されたデータを用いて異常個体のアクセスの際、それを知らせてくれる装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0017】

本発明の一実施例の学習による蜂の軌跡追跡および分析装置および方法は、養蜂箱の出入口付近の蜂の動きを撮影するカメラ部と、蜂の身体的特徴を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部と、前記カメラ部で撮影した映像と前記保存部に保存された学習データを用いて撮影された蜂の軌跡を追跡する制御部を含む。

【0018】

また、前記学習データは、花粉の形態的特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる花粉映像と学習データに含まれた花粉の形態的特徴を用いて花粉の量を分析する。

【0019】

また、前記制御部は、前記養蜂箱の出入口を中心とする異なる大きさの複数の仮想領域を定義し、前記撮影した映像から蜂が識別される場合、その周囲をハチボックスとして定義する。

【0020】

また、前記制御部は、前記領域の内の少なくとも一部と前記ハチボックスが重畳される順番を記録または追跡する方法により、前記蜂の出入りの有無を区別する。

【0021】

また、前記領域は、前記養蜂箱の出入口を中心に所定の面積を占める領域１、および、前記領域１を含み、前記領域１より大きい面積を占める領域２を含む。

【0022】

また、前記制御部は、前記撮影した映像から花粉が識別される場合、その周囲を花粉ボックスとして定義する。

【0023】

また、前記花粉ボックスは、前記ハチボックス内に生成される。

【0024】

また、前記制御部は、前記出入口の中心点から前記ハチボックスの相対的な距離の変化と、前記仮想領域内に前記ハチボックスが出現する回数又は頻度を算出する。

【0025】

また、前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡とを比較して、前記養蜂箱に入る蜂と前記養蜂箱から出る蜂を区別する。

【0026】

また、前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡を比較して、正常な蜂と異常な蜂を区別する。

【0027】

さらに、前記制御部は、前記正常な蜂と異常な蜂の割合または個体数を計算して、前記養蜂箱の交換時期を決定する。

【0028】

また、前記制御部は、前記仮想領域内で、映像フレーム単位で撮影された蜂の映像をカウントして累積する。

【0029】

また、前記制御部は、前記養蜂箱の出入口周辺における蜂の軌跡を前記出入口からのＸ軸上の距離および、Ｙ軸上の距離に合わせて算出する。

【0030】

また、前記制御部は、所定の期間に前記ハチボックスと前記領域との重畳が前記領域１から前記領域２の順に発生すると、前記養蜂箱から出る蜂として区別し、前記領域２から前記領域１の順に発生すると、前記養蜂箱に入る蜂として区別する。

【0031】

また、前記装置は、表示部をさらに備え、前記制御部は、前記養蜂箱の出入口に出入りする前記蜂の数を計数して前記表示部に表示する。

【0032】

また、前記制御部は、前記花粉の量を前記表示部に表示する。

【0033】

また、前記制御部は、前記花粉の色を前記表示部に表示する。

【0034】

また、前記学習データは、異常個体の形態的特徴に関するデータをさらに含み、前記制御部は、前記映像に含まれる異常個体の映像と前記学習データに含まれる異常個体の形態的特徴を用いて異常個体の存在を分析する。

【0035】

また、前記制御部は、前記撮影した映像において、蜂が識別されない区間では補間法を適用して蜂の位置を推定する。

【0036】

また、前記制御部は、前記花粉ボックス内で花粉分布領域を探すためにイメージ前処理を経て、花粉分布領域の境界に輪郭線を形成し、前記輪郭線の内領域の色と濃度を算出する。

【発明の効果】

【0037】

本発明の一形態によれば、養蜂箱の近くで撮影された蜂の動きを学習データと比較して蜂の軌跡を追跡し、蜂の出入りの有無を決定し、出入りする蜂の数を計数する装置及び方法が提供される。

【0038】

また、本発明の一形態によれば、撮影された映像を用いて蜂が採集した花粉量、蜂の受粉活動の適正性、蜂の健康状態などを分析する装置及び方法が提供される。

【0039】

また、本発明の一形態によれば、撮影された映像における蜂の軌跡と花粉の状態を分析して蜂の受粉活動の適正性を判別し、それに応じて必要時に養蜂箱の交換時期を決定することができる装置及び方法が提供される。

【0040】

さらに、本発明の一形態によれば、事前に学習されたデータを用いて異常個体が接近した場合、それを知らせてくれる装置および方法が提供される。

【図面の簡単な説明】

【0041】

【図1】本発明の一実施例の学習による蜂の軌跡追跡及び分析装置の構成図である。

【図2】～

【図15】本発明の一実施例の学習による蜂の軌跡追跡及び分析装置の画面例示である。

【図16】本発明の一実施例の学習による蜂の軌跡追跡及び分析装置における蜂の移動距離及び出現回数の分析図である。

【図17】～

【図19】本発明の一実施例の学習による蜂の軌跡追跡及び分析装置を用いた軌跡追跡の例示である。

【図20】～

【図23】本発明の一実施例の学習による蜂の軌跡追跡及び分析装置を用いた蜂の状態分析の例示である。

【発明を実施するための形態】

【0042】

本発明の利点および特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述される実施形態の例を参照することによって明らかになるであろう。しかしながら、本発明は、以下に開示される実施形態に限定されるものではなく、様々な形態で実現することができる。但し、本実施形態は、本発明の開示が完全になるように本発明が属する技術分野における通常の知識を有する者に発明の範囲を正確に伝えるために提供するものであり、本発明は、特許請求の範囲により定義される。明細書全体にわたって、同じ図面符号は同じ構成要素を指す。

【0043】

本明細書で用いられる用語は、単に特定の実施形態を説明するために用いられたものであり、本発明を限定することを意図していない。単数の表現は、文脈上明らかに他に意味を有しない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、本明細書に記載の特徴、数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものが存在することを指定しようとするものであり、1つまたは複数の他の特徴や数字、段階、動作、構成要素、部品、またはそれらを組み合わせたものの存在または追加の可能性を事前に排除しないことと理解すべきである。

【0044】

本明細書において、「部」、「モジュール」、「装置」、「端末」、「サーバ」、または「システム」などの用語は、ハードウェアおよび、そのハードウェアによって駆動されるソフトウェアの組み合わせを指すことを意図した。例えば、ハードウェアは、ＣＰＵまたは他のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を含むデータ処理装置の場合もあり得る。また、ハードウェアによって駆動されるソフトウェアは、実行中のプロセス、個体（Ｏｂｊｅｃｔ）、実行ファイル（Ｅｘｅｃｕｔａｂｌｅ）、実行スレッド（Ｔｈｒｅａｄ ｏｆ ｅｘｅｃｕｔｉｏｎ）、プログラム（Ｐｒｏｇｒａｍ）などを指すことができる。

【0045】

以下では、添付の図面を参照して本発明の望ましい実施形態を詳細に説明する。

【0046】

図１は、本発明の一実施形態に係る学習による蜂の軌跡追跡及び分析装置の構成図である。

【0047】

装置１００は、軌跡追跡モジュール１２０と花粉分析モジュール１３０を介して蜂の軌跡を追跡し、採集された花粉量を分析する制御部１１０および蜂と花粉に関する様々な情報を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部１５０を含む。

【0048】

その他、養蜂箱付近での蜂の動きを撮影するためのカメラ部１４０、撮影された映像を表示するための表示部１６０、外部機器と有線又は無線通信を行うための通信部１７０などを含む。

【0049】

カメラ部１４０を内蔵する代わりに外部カメラ２００を用いる場合、装置１００は通信部１７０を介して外部カメラ２００とデータの送受信を行うことができ、装置１００に内蔵された表示部１６０の代わりに外部表示装置（図示しない）を用いてもよいし、表示部１６０と並行して外部表示装置を用いてもよい。

【0050】

本発明の装置は、マルハナバチの特徴、すなわち身体構造や色分布などを、ディープラーニングモデルを介して、学習させ、学習データとして保存部１５０に保存し、カメラ部１４０で受信して保存部に保存された動画、または、カメラ部１４０からのストリーミング映像データをフレーム毎に学習データと比較して映像からマルハナバチを探し、移動経路を追跡することによって、花粉を探し、花粉の量を分析することができる。

【0051】

図２～図１５は、本発明の一実施形態に係る学習による蜂の軌跡追跡及び分析装置の画面例である。

【0052】

本発明の装置によって提供される表示画面は、図２のような構成を有することができる。

【0053】

基本的にマルハナバチの認識は、養蜂箱の入り口付近に仮想で描き込んだ複数の四角形ボックス（以下、「ゲート」と称する）と蜂を認識する際に自動的に描かれる四角形ボックス（以下、「ハチボックス」と称する）との積集合を計算する方法で行われる。

【0054】

図２では、養蜂箱の出入口を中心に外側に領域１（Ａｒｅａ１、赤ゲート内部）、領域２（Ａｒｅａ２、青ゲート内部）、領域３（Ａｒｅａ３、青ゲート外部）を区分するようにゲートが定義されている。蜂の周りをハチボックス（緑色のボックス）として定義する。

【0055】

本発明の装置は、ゲートの内部領域とハチボックスとの間に積集合が発生する順序を記録または追跡する方法で、蜂が養蜂箱に入るか、または養蜂箱から出るかを区別する。

【0056】

たとえば、ハチボックスの動き（またはハチボックスとゲートの積集合部分）が領域１－＞領域２－＞領域３の順序で記録された場合、養蜂箱から出るもので、領域３－＞領域２－＞領域１の順序で記録された場合は、養蜂箱に入るものであり、領域１でしばらく滞在して消えたら、養蜂箱に入ったこととみなす。

【0057】

図２において、「Ｈｉｖｅ」は養蜂箱に入っている蜂の数を表し、それは蜂たちの出入り回数を計算して得られた値である。

【0058】

「Ｐｏｌｌｉｎａｔｉｏｎ」は蜂の採集した花粉の量を示し、「Ｈｅａｖｙ」は花粉の採集が優秀な状態を、「Ｌｉｇｈｔ」は花粉の採集が相対的に不足している状態を表す。

【0059】

「ＬｏＣ」は、蜂（またはハチボックス）の位置がどの領域にあるかを表す。

【0060】

一方、本発明におけるオブジェクト検出（Ｏｂｊｅｃｔｉｏｎ ｄｅｔｅｃｔｉｏｎ）の精度を評価する指標であるＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）の定義は次の通りである。

【数1】

【0061】

計算された積集合の値は図２の画面に表示され、右上端にある「ｐＩｏＵ１」、「ｐＩｏＵ２」、「ｃＩｏＵ１」、「ｃＩｏＵ２」がそれで、プレフィックスｐは前の値（Ｐａｓｔ）を意味し、プレフィックスｃは現在（Ｃｕｒｒｅｎｔ）の値を意味する。

【0062】

「ｐＩｏＵ１」は領域１（赤色ゲート）で測定された前のフレームにおける値を表し、「ｐＩｏＵ２」は領域２（青いゲート）で測定された前のフレームにおける値を表し、「ｃＩｏＵ１」は領域１で測定された現在のフレームにおける値を表し、「ｃＩｏＵ２」は、領域２で測定された現在のフレームにおける値をそれぞれ表す。

【0063】

「ＩｏＵ」だけでなく、「Ｈｉｖｅ」、「Ｐｏｌｌｉｎａｔｉｏｎ」などの値も、映像のフレームごとに更新される値である。

【0064】

一方、蜂と花粉の認識は、保存された学習データと撮影した映像との比較によって行われる。蜂、花粉のような個体を学習したデータと撮影された映像に適用した際、任意の時間帯に獲得した映像の個体が蜂や花粉である確率はハチボックスまたは花粉ボックスの近くに数値で示すことができる。例えば、ハチボックスの横に「０．９９」と表示された場合、その個体が「蜂」である確率が９９％という意味である。

【0065】

花粉ボックスはハチボックス内に設けられ、花粉ボックスの横に表示される数値は、ハチボックスと積集合している、すなわち、重畳している花粉のイメージが花粉として推定できる確率を表す。

【0066】

花粉と推定される領域を探すためにイメージ前処理を経て当該領域に輪郭線を描くようになり、その輪郭線内部領域の色と濃度（すなわち、特定の色が占める画素の割合）を計算する。

【0067】

例えば、蜂の体に付着した花粉の分布形態と蜂の受粉活動の程度に所定の関連性があることを確認し、輪郭線の形態と曲率半径を基準に、蜂の受粉活動の程度を区分する基準を立てることができる。例えば、輪郭線が楕円で花粉分布面積が広い場合には受粉活動が少ないか円滑でないことを表し、花粉分布の面積が小さく円に近い場合には受粉活動が旺盛で円滑に行っている蜂であると判断することができる。

【0068】

図３は、蜂が採集した花粉の量が所定の基準を超えて相対的に十分な（Ｈｅａｖｙ）場合の花粉量を数値で表した場合であり、図４はその際の花粉の映像を示したもので、比較的に明確な色で花粉が表示され、その境界線も明らかな特徴を有する。

【0069】

図５は、蜂が採集した花粉の量が所定の基準に足りず、相対的に足りない（Ｌｉｇｈｔ）場合の花粉量を数値で表した場合であり、図６はその際の花粉の映像を示したもので、比較的に薄暗い、または暗い色で花粉が表示され、その境界線もぼやけたり複数の領域に分散したり面積が広い特徴を有する。

【0070】

図７～図１１は、養蜂箱に入る蜂の軌跡を追跡する映像を図示した。

【0071】

図７の映像から、撮影開始以降に４匹の蜂が養蜂箱に入り（Ｉｎ：４）、１匹の蜂が養蜂箱から出て（Ｏｕｔ：１）、現在、養蜂箱の中の蜂は３匹であることが分かる（Ｈｉｖｅ：３）。また、養蜂箱に入った４匹の蜂が採集した花粉量は、多い場合が１件（Ｐｏｌｌｉｎａｔｉｏｎ―ｈｅａｖｙ：１）で、少ない場合が３件（Ｐｏｌｌｉｎａｔｉｏｎ―ｌｉｇｈｔ：３）であったことが分かる。

【0072】

さらに、前のフレームと現在のフレームにわたりすべての領域において蜂の動きは認識されていない（ｐＩｏＵ１、ｃＩｏＵ１、ｐＩｏＵ２，ｃＩｏＵ２＝‘０’）。画面上で領域２ゲートの左上端に蜂の映像が見えるが、装置がそれをまだ蜂として認識していない状況であると判断できる。

【0073】

続いて、図８の映像では、領域２におけるＩｏＵ値がｐＩｏＵ２：０．００９－＞ｃＩｏＵ：０．０１４に増加しながら蜂が領域２に入って来ることが認識され、図９の映像では蜂が領域１に入って来ることにより、領域１でもＩｏＵ値がｐＩｏＵ１：０．０４８－＞ｃＩｏＵ：０．０３６に変化してハチボックスとの積集合が発生しており、図１０の映像では蜂が出入口に入ってからＩｏＵ１、ＩｏＵ２の値が全て減少するが、図１１の映像では蜂が養蜂箱に完全に入り、映像から消え（ＩｏＵ１＝ＩｏＵ２＝‘０’）「Ｈｉｖｅ」の値が‘４’に増加し、その蜂が採集した花粉量によって「Ｐｏｌｌｉｎａｔｉｏｎ―ｌｉｇｈｔ」の値が‘４’に増加することが確認できる。

【0074】

一方、図１２～図１５は、養蜂箱から出る蜂の軌跡を追跡する映像を図示した。

【0075】

図１２の映像は、図１１の映像から時間が少し経った後のもので、養蜂箱に蜂が２匹入り、１匹が出た後の状態であり、１匹の花粉量は「Ｈｅａｖｙ」で、残りの一匹の花粉量 は「ｌｉｇｈｔ」と判断したことが分かる。

【0076】

続いて、図１３の映像では、蜂が養蜂箱から出る姿が映り、領域１、２におけるＩｏＵの値が同時に増加し、図１４の映像では蜂が領域２から領域３に移動するにつれて領域１におけるＩｏＵの値には変化がなく、領域２でのＩｏＵの値もｐＩｏＵ：０．０１８－＞ｃＩｏＵ：０．０に減少し、蜂が養蜂箱から出たとみなされ、「Ｈｉｖｅ」値が‘４’に減少し「Ｏｕｔ」値が‘３’に増加したことが分かる。

【0077】

最後に、蜂が映像から完全に消えた図１５では、他の値は変化せず、全てのＩｏＵ値が‘０’に維持されることが確認できる。

【0078】

一方、単に積集合の有無のみを確認するＩｏＵ計算法だけでは、蜂の軌跡を見つけることが困難な場合もある。例えば、学習量の不足により個体認識力が低下したり、個体が映像内で突然消えたりする場合に備える方法が必要である。

【0079】

そのためには、前の映像での積集合（ｐＩｏＵ１，ｐＩｏＵ２）と現在の積集合（ｃＩｏＵ１，ｃＩｏＵ２）を交差分析するアルゴリズムで一次的な軌跡を見つけた後、移動距離を補間法で補う必要がある。言い換えれば、個体に対する学習量が不足したり、学習したイメージが不良（すなわち、ぼやけた映像で学習した場合）で認識率が低下したり、映像内で蜂が突然消えた場合、補間法を適用して蜂がどこにいるかを推定する方法を適用する。

【0080】

本発明の装置は、以上の映像を分析して図１６のように蜂の軌跡を分析した図表を生成することができる。

【0081】

図１６は、本発明の一実施形態に係る学習による蜂の軌跡追跡及び分析装置における蜂の移動距離及び出現回数の分析図である。

【0082】

図１６は、蜂の軌跡（Ｔｒｅｖｅｌｌｉｎｇ ｄｉｓｔａｎｃｅ，移動距離）と出現回数（Ｎｕｍｂｅｒ ｏｆ ａｐｐｅａｒａｎｃｅｓ）を一緒に示す軌跡図であり、養蜂箱の出入口からハチボックスの距離を示す蜂の軌跡線（青）とハチボックスの出現回数を示す出現回数線（赤）を複合的に分析することにより、蜂の動きと状態を把握できる。

【0083】

図１７～図１９は、本発明の一実施形態に係る学習による蜂の軌跡追跡および分析装置を用いた軌跡追跡の例示である。

【0084】

例えば、図１７のように養蜂箱に入る正常な蜂の軌跡や図１８のように養蜂箱から出る正常な蜂の軌跡に比べて、図１９の蜂は、出入口周辺で動きを止めるので蜂が落ちて死んでしまった場合であることが分かる。

【0085】

図２０～図２３は、本発明の一実施形態に係る学習による蜂の軌跡追跡及び分析装置を用いた蜂の状態分析の例示を示す図である。

【0086】

本発明の装置は、様々な形態の蜂の状態分析図を提供することができる。例えば、図２０の例示は、Ｘ-Ｙ座標系上の蜂の飛行軌跡を示す蜂の軌跡（Ｆｌｉｇｈｔ Ｔｒａｊｅｃｔｏｒｙ ｏｆ Ｂｅｅ）グラフと、映像内での蜂の累積出現頻度を示す蜂の出現状態（Ｏｂｓｅｒｖａｔｉｏｎ ｏｆ Ｂｅｅ’ｓ Ｓｔａｙｉｎｇ）グラフを含む。図２１～図２３の例示図は、基準点からの蜂の移動距離（Ｔｒａｖｅｌｌｉｎｇ Ｄｉｓｔａｎｃｅ ｏｆ Ｂｅｅ）と蜂の出現状態グラフとを含むように構成してもよい。

【0087】

図２０のグラフにより、養蜂箱の出入口から出た正常な蜂の動きを確認することができ、図２１～図２３は、養蜂箱の周囲を飛び回り、次第に落ちて死んでしまうマルハナバチの動きを確認することができる。

【0088】

特に、図２１および図２２は、出入口の周りを蜂が旋回し続ける軌跡として、基準点からの移動距離が増加または減少するのではなく、平坦な形態を一定時間維持することが確認できる。一方、蜂のこのような動きは、養蜂箱を設置してから間もない時間で、健康な蜂を観察する際にも現れるが、その理由は、慣れない環境に慣れる時間が必要であるためであり、このような場合には「正常（Ｎｏｒｍａｌ）」な状態と判断する。

【0089】

観察した結果、正常な蜂は約１秒以内に養蜂箱の中に入り、出る際は、より短い時間がかかることが分かる。しかしながら、そのような出入り時間は、初期の養蜂箱替えの後、ますます長くなり、これは蜂の老化と体力の消耗によって活動性が徐々に低下することを意味する。

【0090】

１秒に３０フレームで映像を撮影した場合、追跡した蜂の出入り軌跡が１００ステップ（注：ステップの基準は任意に設定することができ、初期化プログラムで学習が可能である）以内であれば正常と判断し、２００ステップを超える場合には問題があると判断し、３００ステップを超えると養蜂箱の交換が必要な時期と判断できる。

【0091】

さらに、本発明の装置は、事前に学習したデータを用いて、異常個体のアクセスの際に、それを知らせることができる。例えば、マルハナバチに害を及ぼす個体（例えば、スズメバチやダニ）の特性（大きさ、模様、動き）を学習させ、撮影した映像を分析し、異常個体の接近の際、自動的に知らせることができる。

【0092】

また、本発明の装置は、花粉の形態、色、蜂の正常な動き、異常な動きなどのデータを学習することができる。したがって、撮影された映像から花粉の色を区別することができ、蜂が目的とする植物と異なる種類の植物を訪れるかどうかを確認することができる。また、蜂の動きが正常であるか異常であるかを判断することができる。これにより、蜂の動きを分析して、環境変化または蜂の受粉活動の適正性に関する情報を提供したり、養蜂箱および温室管理に必要な情報を提供したりすることができる。

【0093】

以上、本発明は、具体的な構成要素などの特定の事項と限定した実施例及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明が前記実施例に限定されるものではない。本発明が属する技術分野において通常の知識を有する者であれば、これらの基材から様々な修正及び変形を図ることができる。

【0094】

したがって、本発明の思想は前記説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等にまたは等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【手続補正書】

【提出日】2023-09-05

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

養蜂箱の出入口の付近での蜂の動きを撮影するカメラ部と、
蜂の身体的な特徴を、ディープラーニングモデルを介して、学習して得られた学習データを保存する保存部と、
前記カメラ部で撮影した映像と前記保存部に保存された学習データとを用いて撮影された蜂の軌跡を追跡する制御部と、
を含む学習による蜂の軌跡追跡および分析装置であって、
前記制御部は、前記養蜂箱の出入口を中心とする異なる大きさの複数の仮想領域を定め、前記撮影された映像から蜂が識別される場合、識別された蜂の周囲をハチボックスとして定義する、
学習による蜂の軌跡追跡および分析装置。

【請求項2】

前記学習データは、花粉の形態又は色を含む形態的な特徴に関するデータをさらに含み、
前記制御部は、前記映像に含まれる花粉映像と、前記学習データに含まれる花粉の形態的特徴を用いて、花粉の量を分析する、
請求項１に記載の学習による蜂の軌跡追跡および分析装置。

【請求項3】

前記制御部は、少なくとも１つの前記仮想領域と前記ハチボックスが重畳される順序を記録または追跡する方法によって、前記蜂の出入りの有無を区別する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項4】

前記仮想領域は、前記養蜂箱の出入口を中心に所定の面積を占める領域１と、前記領域１を含み前記領域１より大きい面積を占める領域２と、を含む、
請求項３に記載の学習による蜂の軌跡追跡および分析装置。

【請求項5】

前記制御部は、前記撮影した映像から花粉が識別される場合、識別された花粉の周囲を花粉ボックスとして定義する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項6】

前記花粉ボックスは、前記ハチボックス内に生成される、
請求項５に記載の学習による蜂の軌跡追跡および分析装置。

【請求項7】

前記制御部は、前記出入口の中心点から前記ハチボックスの相対的な距離の変化と前記仮想領域内に前記ハチボックスが出現する回数又は頻度を算出する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項8】

前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡を比較して、前記養蜂箱に入る蜂と前記養蜂箱から出る蜂を区別する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項9】

前記制御部は、前記仮想領域内で撮影された蜂の軌跡と前記学習データに含まれる蜂の軌跡を比較して正常な蜂と異常な蜂を区別する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項10】

前記制御部は、前記正常な蜂と異常な蜂の割合または個体数を計算して、前記養蜂箱の交換時期を決定する、
請求項９に記載の学習による蜂の軌跡追跡および分析装置。

【請求項11】

前記制御部は、映像フレーム単位で前記仮想領域内において撮影された蜂の映像を計数して累積する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項12】

前記制御部は、前記養蜂箱の出入口周辺の蜂の軌跡を前記出入口からのＸ軸方向の距離およびＹ軸方向の距離に合わせて算出する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項13】

前記制御部は、所定の期間の間、前記ハチボックスと前記仮想領域との重畳が前記領域１から前記領域２の順に発生した場合、前記養蜂箱から出る蜂として区別し、前記領域２から前記領域１の順に発生した場合、前記養蜂箱に入る蜂として区別する、
請求項４に記載の学習による蜂の軌跡追跡および分析装置。

【請求項14】

表示部をさらに含み、
前記制御部は、前記養蜂箱の出入口に出入りする前記蜂の数を計数して、前記表示部に表示する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項15】

表示部をさらに含み、
前記花粉の量を前記表示部に表示する、
請求項２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項16】

前記制御部は、前記花粉の色を前記表示部に表示する、
請求項１５に記載の学習による蜂の軌跡追跡および分析装置。

【請求項17】

前記学習データは、異常個体の形態的な特徴に関するデータをさらに含み、
前記制御部は、前記映像に含まれる異常個体の映像と前記学習データに含まれる異常個体の形態的な特徴を用いて異常個体の存否を分析する、
請求項１に記載の学習による蜂の軌跡追跡および分析装置。

【請求項18】

前記制御部は、前記撮影した映像に蜂が識別されない区間においては、補間法を用いて蜂の位置を推定する、
請求項１又は２に記載の学習による蜂の軌跡追跡および分析装置。

【請求項19】

前記制御部は、前記花粉ボックス内で、花粉の分布領域を見つけるためにイメージ前処理を経て、花粉分布領域の境界に輪郭線を形成し、前記輪郭線内の領域の色と濃度を計算する、
請求項５に記載の学習による蜂の軌跡追跡および分析装置。