特許 7527646 発情検出装置、発情検出方法、発情検出プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】発情検出装置、発情検出方法、発情検出プログラム、及び記録媒体

(51)【国際特許分類】

   A01K 29/00 20060101AFI20240729BHJP

   G06T 7/60 20170101ALI20240729BHJP

【ＦＩ】

A01K29/00 A

G06T7/60 180Z

【請求項の数】 11

(21)【出願番号】P 2021023666

(22)【出願日】2021-02-17

(65)【公開番号】P2022125851

(43)【公開日】2022-08-29

【審査請求日】2023-12-04

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】山村 崇

【審査官】大澤 元成

(56)【参考文献】

【文献】特開２０１８－０３３３６５（ＪＰ，Ａ）

【文献】特開２０２０－１５６３９３（ＪＰ，Ａ）

【文献】特開２０１７－１９２３７５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０００６８３６（ＵＳ，Ａ１）

【文献】特開２０１９－０２４４８２（ＪＰ，Ａ）

【文献】特開２０２０－１４０７１９（ＪＰ，Ａ）

【文献】特表２０２０－５１６２３３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１５５８５６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１５８６９８（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１８７７１９（ＷＯ，Ａ１）

【文献】ニュースリリース，人工知能で人物の骨格情報を解析！姿勢推定AIエンジン「VisionPose」をお試しできるWEBサイトが12月2日より公開，NEXT-SYSTEM，2020年12月02日，p.1-6，https://www.next-system.com/topics/release/post=9918

【文献】骨格から行動推定,ネクストシステム 動画分析ツール開発，日本工業新聞社，2020年01月28日，p.1

【文献】山本諒，AI骨格検出導入拡大，西日本新聞，西日本新聞社，p.1

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｋ ２９／００

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

カメラを用いて撮像した家畜の画像を取得する画像取得部と、
前記画像から前記家畜の骨格情報を生成し、前記家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する座標取得部と、
前記画像における前記第１の骨格点の座標と前記第２の骨格点の座標とを結んだ軸の、当該第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における当該軸の、当該第１の骨格点の座標を基点とした角度との変化量を算出する算出部と、
前記変化量を参照して、前記家畜の発情に関連する所定の行動の有無を判定し、判定結果を参照して、前記家畜の発情を判定する判定部と
を備えた、発情検出装置。

【請求項2】

前記判定部は、前記変化量が所定の閾値を超えた場合に、前記家畜が前記所定の行動をしていると判定する、請求項１に記載の発情検出装置。

【請求項3】

前記第１の骨格点は尾根部であり、
前記第２の骨格点は肩であり、
前記所定の行動は乗駕である、請求項１又は２に記載の発情検出装置。

【請求項4】

前記判定部は、前記家畜が乗駕していると判定した場合に、当該家畜とは異なる、当該家畜に乗駕されている家畜が発情していると判定する、請求項３に記載の発情検出装置。

【請求項5】

前記算出部は、前記変化量を補正し、
前記判定部は、補正後の変化量を参照して、前記乗駕の有無を判定する、請求項３又は４に記載の発情検出装置。

【請求項6】

前記第１の骨格点は尾根部であり、前記第２の骨格点は後脚の爪先であるか、又は
前記第１の骨格点は肩であり、前記第２の骨格点は前脚の爪先であり、
前記所定の行動は高頻度の移動である、請求項１に記載の発情検出装置。

【請求項7】

前記第１の骨格点は尾根部であり、前記第２の骨格点は後脚の爪先である、請求項６に記載の発情検出装置。

【請求項8】

前記算出部は、前記変化量を二値化し、
前記判定部は、二値化した変化量を参照して、前記発情に関連する移動の有無を判定する、請求項６又は７に記載の発情検出装置。

【請求項9】

カメラを用いて撮像した家畜の画像を取得する画像取得ステップと、
前記画像から前記家畜の骨格情報を生成し、前記家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する座標取得ステップと、
前記画像における前記第１の骨格点の座標と前記第２の骨格点の座標とを結んだ軸の、当該第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における当該軸の、当該第１の骨格点の座標を基点とした角度との変化量を算出する算出ステップと、
前記変化量を参照して、前記家畜の発情に関連する所定の行動の有無を判定し、判定結果を参照して、前記家畜の発情を判定する判定ステップと
を含む、発情検出方法。

【請求項10】

請求項１から８のいずれか１項に記載の発情検出装置としてコンピュータを機能させるための発情検出プログラムであって、前記画像取得部、前記座標取得部、前記算出部、および前記判定部としてコンピュータを機能させるための発情検出プログラム。

【請求項11】

請求項１０に記載の発情検出プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、発情検出装置、発情検出方法、発情検出プログラム、及び記録媒体に関する。

【背景技術】

【0002】

家畜の発情状態を管理することは、畜産経営を良好に行なう上で非常に重要である。近年、畜産従事者の減少と高齢化が進む一方、一戸当たりの家畜飼養頭数は増加傾向にあり、各個体に対して発情状態管理のための行動観察時間を十分に割くことが困難となりつつある。

【0003】

家畜の行動を観察するための技術として、家畜に装着して行動を観察するためのウェアラブルセンサが広く用いられている。また、画像解析により家畜の行動観察する技術も知られている（例えば、特許文献１～３）。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１８／１５５８５６号パンフレット

【文献】国際公開第２０１７／１８７７１９号パンフレット

【文献】国際公開第２０１７／１５８６９８号パンフレット

【発明の概要】

【発明が解決しようとする課題】

【0005】

行動観察のためのウェアラブルセンサは、実用化が進んでいるものの、誤検知及び未検知がみられることがある。また、ウェアラブルセンサの取り付け時に家畜が暴れること等による畜産従業者の事故、及びウェアラブルセンサを取り付けられた家畜へのストレス等の問題がある。

【0006】

特許文献１～３に記載された技術は、画像解析により家畜の行動を観察するが、画像の奥行の影響を受けるため、検出精度が劣ることがある。

【0007】

本発明の一態様は、非侵襲的に良好な精度で家畜の発情状態を検出する技術を実現することを目的とする。

【課題を解決するための手段】

【0008】

前記の課題を解決するために、本発明の一態様に係る発情検出装置は、カメラを用いて撮像した家畜の画像を取得する画像取得部と、前記画像から前記家畜の骨格情報を生成し、前記家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する座標取得部と、前記画像における前記第１の骨格点の座標と前記第２の骨格点の座標とを結んだ軸の、当該第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における当該軸の、当該第１の骨格点の座標を基点とした角度との変化量を算出する算出部と、前記変化量を参照して、前記家畜の発情に関連する所定の行動の有無を判定し、判定結果を参照して、前記家畜の発情を判定する判定部とを備えている。

【0009】

前記の課題を解決するために、本発明の一態様に係る発情検出方法は、カメラを用いて撮像した家畜の画像を取得する画像取得ステップと、前記画像から前記家畜の骨格情報を生成し、前記家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する座標取得ステップと、前記画像における前記第１の骨格点の座標と前記第２の骨格点の座標とを結んだ軸の、当該第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における当該軸の、当該第１の骨格点の座標を基点とした角度との変化量を算出する算出ステップと、前記変化量を参照して、前記家畜の発情に関連する所定の行動の有無を判定し、判定結果を参照して、前記家畜の発情を判定する判定ステップとを含んでいる。

【0010】

本発明の各態様に係る発情検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記発情検出装置が備える各部（ソフトウェア要素）として動作させることにより前記発情検出装置をコンピュータにて実現させる発情検出装置の発情検出プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0011】

本発明の一態様によれば、非侵襲的に良好な精度で家畜の発情状態を検出することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る発情検出システムの要部構成を示すブロック図である。

【図2】本発明の一実施形態に係る発情検出システムによる発情検出に用いる家畜の背軸を概略的に示す概念図である。

【図3】本発明の一実施形態に係る発情検出システムによる発情検出に用いる家畜の後脚軸を概略的に示す概念図である。

【図4】本発明の一実施形態に係る発情検出システムによる発情検出処理を示すフローチャートである。

【図5】３分間の動画における、横軸がフレームインデックスを示し、縦軸がピクセルの座標を示すグラフである。

【図6】図５に示す生データから求めた、横軸がフレームインデックスを示し、縦軸が背軸の角度の変化量を示すグラフである。

【図7】図５に示す生データから求めた、横軸がフレームインデックスを示し、縦軸が肩のＸ座標の変化量（左上）、肩のＹ座礁の変化量（左下）、尾根部のＸ座標の変化量（右上）、及び尾根部のＹ座標の変化量（右下）を示すグラフである。

【図8】補正方法１における、横軸がフレームインデックスを示し、縦軸が補正後の背軸の角度の変化量を示すグラフである。

【図9】補正方法２における、横軸がフレームインデックスを示し、縦軸が補正後の背軸の角度の変化量を示すグラフである。

【図10】横軸がフレームインデックスを示し、縦軸が後脚軸の角度の変化量を二値化した値を示すグラフである。

【発明を実施するための形態】

【0013】

〔発情検出システム〕
以下、本発明の一実施形態について、詳細に説明する。本発明の一実施形態に係る発情検出システムは、家畜の画像と当該画像の前に撮像した比較画像との家畜の所定の箇所の角度の変化量を算出し、当該変化量を参照して、家畜の発情に関連する所定の行動の有無を判定するシステムである。ここで発情とは、動物が生殖活動に伴う興奮状態にあることを意味しており、人工授精が成功する可能性の高い状態であり得る。

【0014】

図１を参照して本発明の一実施形態に係る発情検出システムについて説明する。図１は、本発明の一実施形態に係る発情検出システムの要部構成を示すブロック図である。図１に示すように、発情検出システム１００は、カメラ１０、発情検出装置２０、及び利用者端末３０を備えている。カメラ１０と、発情検出装置２０と、利用者端末３０とは、ネットワークを介して相互に接続される。発情検出装置２０は、画像取得部２１、座標取得部２２、算出部２３、判定部２４、記憶部２５、表示部２６、及び制御部（図示せず）を備えている。制御部は、プロセッサとして、画像取得部２１、座標取得部２２、算出部２３、判定部２４、記憶部２５、及び表示部２６を制御する。

【0015】

（検出対象）
発情検出システム１００による検出の対象となる動物は家畜である。家畜から乳製品、皮、肉等を得る畜産において、家畜の繁殖を制御することは極めて重要である。家畜の人工授精時期を推定し、繁殖を制御するために、家畜の発情状態を個体毎に正確に管理することが望ましい。発情検出システム１００は、家畜の発情状態を検出することができる。発情検出システム１００による検出の対象となる家畜の例として、ウシ、ブタ、ヒツジ、ヤギ、ウマ等が挙げられ、特にウシである。

【0016】

（カメラ）
発情検出システム１００が備えるカメラ１０は、検出の対象となる家畜を撮像する。カメラ１０が撮像した画像データは、画像取得部１１に送られる。カメラ１０は、所定期間継続して撮像するように制御されてもよいし、ユーザからの入力に基づき撮像するように制御されてもよい。カメラ１０において、レンズの向き、画角、ピント、及びズームの調整等の撮像の制御は、発情検出装置２０の制御部（図示せず）により制御される。

【0017】

発情検出システム１００は、複数のカメラ１０を備えていることが好ましい。これにより、様々な方向から撮像した複数の画像が得られるので、これらの画像に基づき、発情の検知をより精度よく行うことができる。カメラ１０の設置位置は特に限定されないが、家畜の行動を妨げない位置であって、撮像可能範囲が広くなるような位置に設置することが好ましい。

【0018】

カメラ１０は、可視光カメラ及び赤外線カメラの少なくとも一方である。カメラ１０は少なくとも１台の可視光カメラと、少なくとも１台の赤外線カメラとを含むことが好ましい。これにより、例えば、昼間は可視光カメラにより撮像し、夜間は赤外線カメラにより撮像することで、昼夜問わず家畜の撮像が可能である。

【0019】

可視光カメラは、レンズ等の光学系及び光検出素子等を含み、被写体から光を検出して可視光画像データを生成する。赤外線カメラは、レンズ等の光学系及び赤外線検出素子等を含み、被写体から発せられる赤外線を感知して赤外線画像データを生成する。

【0020】

（画像取得部）
画像取得部２１は、制御部によって、カメラ１０を用いて撮像した家畜の画像を取得する。画像は、可視光画像及び赤外線画像の少なくとも一方である。画像取得部２１は、動画像として、可視光画像及び赤外線画像の少なくとも一方を取得する。画像取得部２１は、複数のカメラ１０を用いて撮像した複数の画像を取得する。画像取得部は、無線又は有線による通信インターフェースとして実装されている。画像取得部２１は、制御部によって、取得した画像データを座標取得部２２に送る。また、画像取得部２１は、制御部によって、取得した画像データを記憶部２５に送ってもよい。

【0021】

（座標取得部）
座標取得部２２は、制御部によって、画像取得部２１が取得した画像から家畜の骨格情報を生成し、家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する。骨格情報は、例えば、ＤｅｅｐＬａｂＣｕｔ解析等の公知の方法によって取得することができる。

【0022】

座標取得部２２は、第１の骨格点の座標と第２の骨格点の座標とを結ぶ軸（以下、単に「軸」とも称する）の角度を算出するために、第１の骨格点の座標及び第２の骨格点の座標を取得する。軸は、背軸及び脚軸の少なくとも一方の軸であることが好ましい。脚軸は、家畜が乗駕するときの上下方向の変化が少なく、より精度を高めることができる観点から、後脚軸であることが好ましい。本明細書において、「背軸」とは、家畜の尾根部の座標と肩の座標とを結んだ軸である。「後脚軸」とは、家畜の尾根部の座標と後脚の爪先の座標とを結んだ軸である。「前脚軸」とは、家畜の肩の座標と前脚の爪先の座標とを結んだ軸である。

【0023】

図２は、発情検出システム１００による発情検出に用いる家畜の背軸を概略的に示す概念図である。図２の１００１は、ウシ１が乗駕していないときの状態を示し、図２の１００２は、ウシ１がウシ２に対して乗駕しているときの状態を示している。図２の１００１において、ウシ１の背軸は、尾根部の座標Ａ１（Ｘ_Ａ１，Ｙ_Ａ１）と、肩の座標Ｂ１（Ｘ_Ｂ１，Ｙ_Ｂ１）とを結んだ軸である。図２の１００２において、ウシ１の背軸は、尾根部の座標Ａ２（Ｘ_Ａ２，Ｙ_Ａ２）と、肩の座標Ｂ２（Ｘ_Ｂ２，Ｙ_Ｂ２）とを結んだ軸である。背軸の角度の変化量から家畜の乗駕の有無を判定する場合、第１の骨格点は尾根部であり、第２の骨格点は肩である。

【0024】

図３は、発情検出システム１００による発情検出に用いる家畜の後脚軸を概略的に示す概念図である。図３の１００３は、ウシ３が移動する前の状態を示し、図３の１００４は、ウシ３が移動しているときの状態を示している。図３の１００３において、ウシ３の後脚軸は、尾根部の座標Ａ３（Ｘ_Ａ３，Ｙ_Ａ３）と、後脚の爪先の座標Ｂ３（Ｘ_Ｂ３，Ｙ_Ｂ３）とを結んだ軸である。図３の１００４において、ウシ３の後脚軸は、尾根部の座標Ａ４（Ｘ_Ａ４，Ｙ_Ａ４）と、後脚の爪先の座標Ｂ４（Ｘ_Ｂ４，Ｙ_Ｂ４）とを結んだ軸である。後脚軸の角度の変化量から家畜の高頻度の移動の有無を判定する場合、第１の骨格点は尾根部であり、第２の骨格点は後脚の爪先である。

【0025】

前脚軸の角度の変化量から家畜の高頻度の移動の有無を判定する場合、第１の骨格点は肩であり、第２の骨格点は前脚の爪先である。本明細書において、前脚軸と後脚軸とを合わせて脚軸とも称する。

【0026】

座標取得部２２は、制御部によって、取得した第１の骨格点の座標データ及び第２の骨格点の座標データを算出部２３に送る。また、座標取得部２２は、制御部によって、取得した第１の骨格点の座標データ及び第２の骨格点の座標データを記憶部２５に送ってもよい。

【0027】

（算出部）
算出部２３は、制御部によって、画像における軸の、第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における軸の、第１の骨格点の座標を基点とした角度との変化量を算出する。

【0028】

本明細書において、角度は、基点（第１の骨格点の座標）を（０，０）としたときの、第２の骨格点の座標の角度（ラジアン値）である。背軸の角度とは、尾根部の座標を基点とした背軸の角度である。後脚軸の角度とは、尾根部の座標を基点とした後脚軸の角度である。前脚軸の角度とは、肩の座標を基点とした前脚軸の角度である。

【0029】

背軸の角度の変化量から家畜の乗駕の有無を判定する場合、算出部２３は、変化量を補正してもよい。

【0030】

脚軸の角度の変化量から家畜の高頻度の移動の有無を判定する場合、算出部２３は、変化量を二値化してもよい。

【0031】

算出部２３は、制御部によって、変化量のデータを判定部２４に送る。また、算出部２３は、制御部によって、変化量のデータを記憶部２５に送ってもよい。

【0032】

（判定部）
判定部２４は、制御部によって、変化量を参照して、家畜の発情に関連する所定の行動の有無を判定する。所定の行動としては、例えば、乗駕（マウンティング）、スタンディング（被乗駕）、スタンディングしないが乗駕される、高頻度の移動等が挙げられる。乗駕は、他の家畜の前方、横、又は後方から乗駕を試みる行動、又は乗駕する行動である。スタンディングは、他の家畜の後方からの乗駕の間、基本的に立ち去ろうとせずにずっと立っている行動である。そのため、判定部２４が家畜がこれらの行動をしていると判定した場合に、判定部２４は、家畜が発情していると判定することができる。判定部２４は、判定結果を参照して、家畜の発情を判定する。判定部２４は、家畜が所定の行動をしていると判定した場合に、家畜が発情していると判定する。また、判定部２４は、家畜が所定の行動をしていないと判定した場合に、家畜が発情していないと判定する。

【0033】

背軸の角度の変化量から家畜の乗駕の有無を判定する場合、所定の行動は乗駕である。また、脚軸の角度の変化量から家畜の高頻度の移動の有無を判定する場合、所定の行動は家畜の高頻度の移動である。

【0034】

判定部２４は、変化量が所定の閾値を超えた場合に、家畜が所定の行動をしていると判定する。

【0035】

背軸の角度の変化量から家畜の乗駕の有無を判定する場合、判定部２４は、補正後の変化量を参照して、乗駕の有無を判定してもよい。また、判定部２４は、脚軸の角度の変化量から家畜の高頻度移動の有無を判定する場合、二値化した変化量を参照して、家畜の高頻度の移動の有無を判定してもよい。

【0036】

判定部２４は、家畜が乗駕していると判定した場合に、当該家畜とは異なる、当該家畜に乗駕されている家畜が発情していると判定してもよい。乗駕されている家畜とは、スタンディングしている家畜である。

【0037】

判定部２４は、変化量を参照して、家畜の分娩に関連する所定の行動の有無を判定してもよい。

【0038】

（記憶部）
記憶部２５は、制御部によって、発情検出装置２０の機能を実現するためのプログラムを記憶する。また、記憶部２５は、画像取得部２１が取得した画像データ、座標取得部２２が取得した座標データ、算出部２３が算出した変化量、及び判定部２４が判定した判定結果等を記憶する。

【0039】

（表示部）
判定部２４が、家畜が発情していると判定した場合、表示部２６は、制御部によって、利用者端末３０を介してユーザにその旨を通知する。利用者端末３０は、例えば、スマートフォン、タブレット端末、携帯電話等である。

【0040】

（発情検出処理）
発情検出システム１００を用いた発情検出処理について、図４を参照して説明する。図４は、発情検出システム１００による発情検出処理を示すフローチャートである。以下の発情検出処理は、発情検出装置２０の制御部（図示せず）が制御する処理である。

【0041】

図４に示すように、まず、カメラ１０を用いて撮像した画像を取得する（ステップＳ１）。ステップＳ１においては、画像取得部２１が、カメラ１０から画像を取得する。画像取得部２１は、取得した画像データを座標取得部２２に送る。

【0042】

次に、ステップＳ１において取得した画像から家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する（ステップＳ２）。ステップＳ２においては、座標取得部２２が、画像から家畜の骨格情報を生成し、家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する。座標取得部２２は、第１の骨格点の座標データ及び第２の骨格点の座標データを算出部２３に送る。

【0043】

そして、画像における軸の、第１の骨格点の座標を基点とした画像の辺に対する角度と、当該画像の前に撮像した比較画像における軸の、第１の骨格点の座標を基点とした当該比較画像の辺に対する角度との変化量を算出する（ステップＳ３）。ステップ３においては、算出部２３が、画像における軸の、第１の骨格点の座標を基点とした画像の辺に対する角度と、当該画像の前に撮像した比較画像における軸の、第１の骨格点の座標を基点とした当該比較画像の辺に対する角度との変化量を算出する。

【0044】

そして、ステップＳ４において算出した変化量を参照して、家畜の発情に関連する所定の行動の有無を判定する。ステップ４においては、判定部２４が、変化量を参照して、家畜の発情に関連する所定の行動の有無を判定する。判定部２４は、変化量が所定の閾値を超えていると判定した場合（ステップＳ４のＹｅｓ）、ステップＳ５の処理に進む。ステップＳ５においては、判定部２４が、家畜が所定の行動をしていると判定し、ステップＳ６の処理に進む。ステップＳ６においては、判定部２４が、家畜が発情していると判定し、表示部２６が、利用者端末３０を介してユーザに通知する。判定部２４が、変化量が所定の閾値以下であると判定した場合（ステップＳ４のＮｏ）、ステップＳ７の処理に進む。ステップＳ７においては、判定部２４が、家畜が所定の行動をしていないと判定し、ステップＳ８の処理に進む。ステップＳ８においては、判定部２４が、家畜が発情していないと判定し、処理を終了する。また、判定部２４は、判定結果のデータを記憶部２５に送ってもよい。

【0045】

また、以上の方法によれば、カメラ１０を用いて撮像した家畜の画像を取得する画像取得ステップ（ステップＳ１）と、画像から家畜の骨格情報を生成し、家畜の第１の骨格点の座標及び第２の骨格点の座標を取得する座標取得ステップ（ステップＳ２）と、画像における第１の骨格点の座標と第２の骨格点の座標とを結んだ軸の、第１の骨格点の座標を基点とした角度と、当該画像の前に撮像した比較画像における当該軸の、第１の骨格点の座標を基点とした角度との変化量を算出する算出ステップ（ステップＳ３）と、変化量を参照して、家畜の発情に関連する所定の行動の有無を判定し、判定結果を参照して、家畜の発情を判定する判定ステップ（ステップＳ４～８）とを含む、発情検出方法が実現される。

【0046】

発情検出システムは、家畜を撮像した画像に基づき家畜の発情を判定するため、家畜の行動を常時目視で確認したり、家畜から体液を採取したりすることなく、容易に発情検出することができる。また、発情検出システムは、家畜にセンサを装着する必要がないため、非侵襲的であり、家畜への負担が少ない。また、発情検出システムは、角度の変化量を利用することにより、画像の奥行の影響を受けることなく、良好な精度で家畜の発情を判定することができる。

【0047】

〔ソフトウェアによる実現例〕
発情検出装置２０の制御ブロック（画像取得部２１、座標取得部２２、算出部２３、及び判定部２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0048】

後者の場合、発情検出装置２０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0049】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【0050】

〔実施例〕
本発明の一実施例について以下に説明する。

【0051】

（背軸の角度の変化量の利用）
カメラを用いて、８フレーム／秒、３分間又は６０分間、４頭のウシを撮像して、カラー動画（連続画像）を取得した。解像度は２５６０×１４４０であった。動画には乗駕及びスタンディングしているウシが写っていた。６４０×３６０の解像度に変換した画像を用いて、ＤｅｅｐＬａｂＣｕｔによりウシの骨格情報を取得した（肩及び尾根部をプロットし、１８０～３２０フレームにアノテーション、２０万回の学習、トレーニングデータ及びテストデータは同じ）。取得した骨格情報から、肩及び尾根部の座標情報を取得した。

【0052】

図５は、３分間の動画における、横軸がフレームインデックスを示し、縦軸がピクセルの座標を示すグラフである。点線は尾根部のＸ座標、実線は尾根部のＹ座標、長鎖線は肩のＸ座標、長破線は肩のＹ座標を示す。動画を目視で確認したところ、実線四角囲みで示した箇所において、ウシが乗駕していることが確認された。

【0053】

次に、背軸の角度の変化量を算出した。得られた座標情報の確度が０．９９以下のものはデータから削除した。背軸の角度を正接（タンジェント）の逆関数によりラジアン単位で求めた。フレーム間の背軸の角度の差を求めた。角度の差が２０以上のものは、旋回行動等であることが疑われるため、データから削除した。得られた値の平方を求め、背軸の角度の変化量とした。座標情報の確度は、これはＤｅｅｐＬａｂＣｕｔ解析によって得られた座標の正確度であり、具体的には、０～１で示される。座標情報の確度が０．９９以下のものをデータから削除することによって、ＤｅｅｐＬａｂＣｕｔ解析によって得られた不明瞭な座標を除いた。

【0054】

図６は、図５に示す生データから求めた、横軸がフレームインデックスを示し、縦軸が背軸の角度の変化量を示すグラフである。下向き白三角はウシが乗駕しているときの変化量を示し、下向き黒三角はウシが座っているときの変化量を示す。

【0055】

図７は、図５に示す生データから求めた、横軸がフレームインデックスを示し、縦軸が肩のＸ座標の変化量（左上）、肩のＹ座礁の変化量（左下）、尾根部のＸ座標の変化量（右上）、及び尾根部のＹ座標の変化量（右下）を示すグラフである。肩のＹ座標の変化量は、ウシが乗駕しているときの変化量を顕著に示していた。また、尾根部のＹ座標の変化量は、ウシが座ろうとしたときの変化量を顕著に示していた。これらの特徴量を用いて、データの補正を試みた。

【0056】

（補正方法１）
肩のＹ座標の変化量（肩のＹ座標の変化量が１未満の場合は１に置換）の平方と、背軸の角度の変化量との積を求めて、補正後の背軸の角度の変化量とした。結果を図８に示す。図８は、補正方法１における、横軸がフレームインデックスを示し、縦軸が補正後の背軸の角度の変化量を示すグラフである。補正方法１による補正により、ウシが乗駕しているときの変化量を顕著にし、かつノイズであるウシが座っているときの変化量を低減することができた。

【0057】

（補正方法２）
背軸の角度の変化量を、尾根部のＹ座標の変化量（尾根部のＹ座標の変化量が１未満の場合は１に置換）の平方で割った値と、肩のＹ座標の変化量（肩のＹ座標の変化量が１未満の場合は１に置換）の平方との積を求めて、補正後の背軸の角度の変化量とした。結果を図９に示す。図９は、補正方法２における、横軸がフレームインデックスを示し、縦軸が補正後の背軸の角度の変化量を示すグラフである。補正方法２による補正によっても、ウシが乗駕しているときの変化量を顕著にし、かつノイズであるウシが座ろうとしたときの変化量を低減することができた。

【0058】

６０分間の動画において、補正方法１により補正した背軸の角度の変化量を求めた。閾値を２０００とすると、ほとんどのウシの乗駕を検出でき、かつノイズの検出を抑えられると判断した。表１に、閾値２０００を超えたピークを検出した結果（ピーク数）を示す。乗駕行動を、ウシが乗駕を行うために前脚が地面から離れる時から、乗駕を終え前脚が再び地面に接地する時までとして、乗駕行動中にカウントされたピークを真陽性、それ以外にカウントされたピークを偽陽性として、カウントした。偽陰性は計算できないため示していない。また、人の目では明らかに違う、プロットエラー（例えば、ウシの腰に似たような色の場所をプロットしてしまう、対象個体以外の他の個体の部位の座標をプロットしてしまう等）を除いたときの結果も合わせて表１に示している。

【0059】

【表1】

【0060】

（後脚軸の角度の変化量の利用）
カメラを用いて、８フレーム／秒、２０２０年７月１１日の９：００～１０：００、１４：００～１５：００、１７：００～１８：００の各６０分間、４頭のウシを撮像して、カラー動画を取得した。解像度は２５６０×１４４０であった。動画には移動しているウシが写っていた。６４０×３６０の解像度に変換した画像を用いて、ＤｅｅｐＬａｂＣｕｔによりウシの骨格情報を取得した（肩及び尾根部をプロットし、１００～３２０フレームにアノテーション、２０万回の学習、トレーニングデータ及びテストデータは同じ）。取得した骨格情報から、尾根部及び後脚の爪先の座標情報を取得した。

【0061】

次に、後脚軸の角度の変化量を算出した。得られた座標情報の確度が０．９９以下のものはデータから削除した。後脚軸の角度を正接（タンジェント）の逆関数によりラジアン単位で求めた。フレーム間の後脚軸の角度の差を求めた。角度の差が１０以上のものは、プロットエラー及び旋回行動等であることが疑われるため、データから削除した。角度の差が３未満の場合は１とし、角度の差が３以上、１０未満の場合は３として、二値化した。二値化した値が１の場合はウシが移動していないと判定し、二値化した値が３の場合はウシが移動していると判定した。

【0062】

図１０は、横軸がフレームインデックスを示し、縦軸が後脚軸の角度の変化量を二値化した値を示すグラフである。牛がカメラに捉えられて骨格が検出されているフレーム数に対して、移動していると判断されたフレーム数の割合を計算した。具体的には、二値化して「３」とカウントされた数をＸ、「１」とカウントされた数をＹとして、Ｘ／（Ｘ＋Ｙ）を当該割合として求めた。その結果、９：００～１０：００の値が０．０１１、１４：００～１５：００の値が０．００７、１７：００～１８：００の値が０．０６３となり、発情行動が起き始めたと考えられる１７：００～１８：００において、最も高頻度の移動が見られた。

【産業上の利用可能性】

【0063】

本発明は、畜産分野に利用することができる。

【符号の説明】

【0064】

１０ カメラ
２０ 発情検出装置
２１ 画像取得部
２２ 座標取得部
２３ 算出部
２４ 判定部
２５ 記憶部
２６ 表示部
３０ 利用者端末
１００ 発情検出システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】