(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-08
(45)【発行日】2022-12-16
(54)【発明の名称】牛の監視システム
(51)【国際特許分類】
A01K 29/00 20060101AFI20221209BHJP
【ＦＩ】
A01K29/00 A
【請求項の数】
9
(21)【出願番号】P 2022509766
(86)(22)【出願日】2020-03-23
(86)【国際出願番号】 JP2020012650
(87)【国際公開番号】W WO2021191950
(87)【国際公開日】2021-09-30
【審査請求日】2022-04-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】000236056
【氏名又は名称】三菱電機ビルソリューションズ株式会社
(74)【代理人】
【識別番号】110001210
【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所
(72)【発明者】
【氏名】岩村 光貴
【審査官】吉田 英一
(56)【参考文献】
【文献】特開２０１８－０３３３６５（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１０－００１２６１４（ＫＲ，Ａ）
【文献】内村誠、松岡恭二、武石秀一、宇都宮茂夫，ウシの乗駕行動を指標とした発情モニタリングシステムの開発，大分県農林水産研究センター畜産試験場試験成績報告書，日本，2009年12月，No. 38，pp. 23 - 27
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｋ ２９／００
ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）
ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
複数の牛が飼育されている牛舎の内部の画像を撮像し、撮像した動画データを格納するカメラ装置と、前記カメラ装置と通信回線で接続されたサーバと、
を備える牛の監視システムであって、
前記カメラ装置は、動体を検知した際に動体検知信号を出力する動体検知機能を有し、動体を検知した際に、動体を検知した時刻の前後における設定時間分の前記動画データを記録動画データとして生成し、前記動体検知信号と生成した前記記録動画データとを前記サーバに出力し、
前記サーバは、前記動体検知信号と前記記録動画データとを受信した際に、前記記録動画データから動体を検知した時刻の所定時間だけ後の時刻の少なくとも１つのフレーム画像を抽出し、
抽出した前記フレーム画像とマウンティング状態の基準画像との比較に基づいて牛の発情判定を行い、
前記所定時間は、牛が発情しておらず他の牛にマウンティングされた際にすぐに逃げてしまう時間よりも長く、牛が発情している場合に他の牛にマウンティングされている継続時間よりも短いこと、
を特徴とする牛の監視システム。
【請求項2】
請求項１に記載の牛の監視システムであって、前記サーバは、前記動体検知信号と前記記録動画データとを受信した際に、前記記録動画データから動体を検知した時刻からの経過時間が異なる複数の所定時刻における複数の前記フレーム画像を抽出し、
抽出した複数の前記フレーム画像とマウンティング状態の基準画像との比較に基づいて、牛の発情判定を行うこと、
を特徴とする牛の監視システム。
【請求項3】
請求項２に記載の牛の監視システムにおいて、前記複数の所定時刻は、前記所定時間の間の時刻であること、
を特徴とする牛の監視システム。
【請求項4】
請求項１から３のいずれか１項に記載の牛の監視システムであって、前記サーバと通信するユーザの携帯端末を含み、
前記サーバは、前記記録動画データを受信した際に、受信した前記記録動画データを保存し、
前記サーバは、牛が発情状態にあると判定した場合に、発情検出連絡メールを前記ユーザの前記携帯端末に送信し、
前記ユーザの前記携帯端末は、前記サーバから受信した前記発情検出連絡メールに応じて前記サーバと通信し、前記サーバから前記記録動画データを受信すること、
を特徴とする牛の監視システム。
【請求項5】
請求項４に記載の牛の監視システムであって、前記サーバは、マウンティング状態の複数の基準画像と、その基準画像を基礎として前記発情判定を行った場合の発情検出成功回数と発情検出成功率とを関連付けて格納した基準画像データベースを備え、
前記ユーザの前記携帯端末は、前記ユーザの発情判断結果が発情確認の場合には発情確認信号を送信し、前記ユーザの発情判断結果が発情なしの場合には発情未確認信号を前記サーバに送信し、
前記サーバは、前記発情確認信号を受信した場合には、前記発情判定の際に基礎としたマウンティング状態の基準画像の前記発情検出成功回数を増加させるとともに前記発情検出成功率を増加させること、
を特徴とする牛の監視システム。
【請求項6】
請求項５に記載の牛の監視システムであって、前記サーバは、前記発情判定の際にマウンティング状態の複数の基準画像と一又は複数の前記フレーム画像との間でパターンマッチングを実行し、前記パターンマッチングの結果に基づいて前記発情判定を行い、
前記サーバは、マウンティング状態の複数の基準画像の中で前記発情検出成功回数が多い基準画像から順次パターンマッチングを実行すること、
を特徴とする牛の監視システム。
【請求項7】
請求項５に記載の牛の監視システムであって、前記サーバは、前記発情判定の際にマウンティング状態の複数の基準画像と一又は複数の前記フレーム画像との間でパターンマッチングを実行し、前記パターンマッチングの結果に基づいて前記発情判定を行い、
前記サーバは、マウンティング状態の複数の基準画像の中で前記発情検出成功率が高い基準画像から順次パターンマッチングを実行すること、
を特徴とする牛の監視システム。
【請求項8】
請求項５から７のいずれか１項に記載の牛の監視システムであって、前記基準画像データベースは、更に、マウンティング状態の複数の基準画像と、その基準画像を基礎として前記発情判定を行った回数である参照回数とを関連付けて格納し、
前記サーバは、前記発情判定の際にマウンティング状態の複数の基準画像と一又は複数の前記フレーム画像との間でパターンマッチングを実行し、前記フレーム画像とのマッチング指数が所定の閾値を越えた際に比較したマウンティング状態の基準画像の参照回数を増加させ、
前記サーバは、マウンティング状態の基準画像の中で参照回数が多い基準画像から順次パターンマッチングを実行すること、
を特徴とする牛の監視システム。
【請求項9】
請求項１から８のいずれか１項に記載の牛の監視システムであって、前記カメラ装置は、所定の範囲での動体の検知が可能であり、
所定の範囲は、立っている状態の牛の背中の高さよりも高い範囲であること、
を特徴とする牛の監視システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、牛の発情状態を監視する牛の監視システムに関する。
【背景技術】
【0002】
子牛の生産、販売を行う牧場においては、牛の繁殖成績が経営に大きく影響する。繁殖は、飼育者が牛の行動を観察して牛の発情したタイミングを判断し、そのタイミングに人工授精を行う方法が一般的である。このため、牛の発情したタイミングを判断することが重要となる。
【0003】
しかし、牛の発情行動は夜間に発生することが多いため、飼育者が夜間に牛舎に待機して牛の行動を観察する必要があり、飼育者の負担が大きくなる原因となっていた。
【0004】
このため、牛舎に設置したカメラで牛の画像を撮像し、撮像した画像に基づいて牛の発情のタイミングを検出する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１８－３３３６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献１に記載されている従来技術は、牛舎に設置したカメラで牛のフレーム画像を取得し、取得したフレーム画像をサーバに転送してサーバで発情検出処理を行うので、常時、画像の取得とサーバへの画像送信を行わなければならず、通信データが多くなってしまう場合があった。また、特許文献１に記載されている従来技術では、サーバが動画情報を用いて牛が発情状態の動作を行っているかによって牛の発情を検出するので、サーバの動作が複雑で処理に時間が掛かってしまう場合があった。
【0007】
そこで、本発明は、少ないデータ通信量で短時間に牛の発情検出を的確に行うことを目的とする。
【課題を解決するための手段】
【0008】
本発明の牛の監視システムは、複数の牛が飼育されている牛舎の内部の画像を撮像し、撮像した動画データを格納するカメラ装置と、前記カメラ装置と通信回線で接続されたサーバと、を備える牛の監視システムであって、前記カメラ装置は、動体を検知した際に動体検知信号を出力する動体検知機能を有し、動体を検知した際に、動体を検知した時刻の前後における設定時間分の前記動画データを記録動画データとして生成し、前記動体検知信号と生成した前記記録動画データとを前記サーバに出力し、前記サーバは、前記動体検知信号と前記記録動画データとを受信した際に、前記記録動画データから動体を検知した時刻の所定時間だけ後の時刻の少なくとも１つのフレーム画像を抽出し、抽出した前記フレーム画像とマウンティング状態の基準画像との比較に基づいて牛の発情判定を行い、前記所定時間は、牛が発情しておらず他の牛にマウンティングされた際にすぐに逃げてしまう時間よりも長く、牛が発情している場合に他の牛にマウンティングされている継続時間よりも短いことを特徴とする。
【0009】
このように、カメラ装置が動体を検知した際に、動体を検知した時刻の前後における設定時間分の前記動画データを記録動画データとしてサーバに送信することにより牛の発情判定を行うので、少ないデータ通信量で牛の発情判定を行うことができる。また、記録動画データから動体を検知した時刻の所定時間後の少なくとも１つのフレーム画像を抽出し、抽出したフレーム画像と基準画像との比較に基づいて牛の発情判定を行う。ここで、所定時間は、牛が発情しておらず他の牛にマウンティングされた際にすぐに逃げてしまう時間よりも長く、牛が発情している場合に他の牛にマウンティングされている継続時間よりも短い時間である。これにより、牛が発情している場合には、他の牛にマウンティングされている状態のフレーム画像を抽出し、牛が発情していない場合には、他の牛にマウンティングされていない状態のフレーム画像を抽出できる。そして、抽出した画像とマウンティング状態の基準画像のパターンマッチングを行うことにより、牛が発情しているかどうかを確実に判定することができる。このように、動体検知の時刻よりも所定時間だけ後の時刻の少なくとも１つのフレーム画像で牛の発情判定を行うので、簡便な方法で短時間に牛の発情判定を行うことができる。
【0010】
本発明の牛の監視システムにおいて、前記サーバは、前記動体検知信号と前記記録動画データとを受信した際に、前記記録動画データから動体を検知した時刻からの経過時間が異なる複数の所定時刻における複数の前記フレーム画像を抽出し、抽出した複数の前記フレーム画像とマウンティング状態の基準画像との比較に基づいて、牛の発情判定を行ってもよい。ここで、前記複数の所定時刻は、前記所定時間の間の時刻でもよい。
【0011】
このように、所定時間の間の動体を検知した時刻からの経過時間が異なる複数の所定時刻における複数のフレーム画像を用いて牛がスタンディング状態を保持しているかどうかを判定するので、より的確に牛の発情状態を検出することができる。
【0012】
本発明の牛の監視システムにおいて、前記サーバと通信するユーザの携帯端末を含み、前記サーバは、前記記録動画データを受信した際に、受信した前記記録動画データを保存し、前記サーバは、牛が発情状態にあると判定した場合に、発情検出連絡メールを前記ユーザの前記携帯端末に送信し、前記ユーザの前記携帯端末は、前記サーバから受信した前記発情検出連絡メールに応じて前記サーバと通信し、前記サーバから前記記録動画データを受信してもよい。
【0013】
これにより、ユーザは、牛舎から離れた場所にいても動画で牛の様子を確認することができる。
【0014】
本発明の牛の監視システムにおいて、前記サーバは、マウンティング状態の複数の基準画像と、その基準画像を基礎として前記発情判定を行った場合の発情検出成功回数と発情検出成功率とを関連付けて格納した基準画像データベースを備え、前記ユーザの前記携帯端末は、前記ユーザの発情判断結果が発情確認の場合には発情確認信号を送信し、前記ユーザの発情判断結果が発情なしの場合には発情未確認信号を前記サーバに送信し、前記サーバは、前記発情確認信号を受信した場合には、前記発情判定の際に基礎としたマウンティング状態の基準画像の前記発情検出成功回数を増加させるとともに前記発情検出成功率を増加させてもよい。
【0015】
ここで、前記サーバは、前記発情判定の際にマウンティング状態の複数の基準画像と一又は複数の前記フレーム画像との間でパターンマッチングを実行し、前記パターンマッチングの結果に基づいて前記発情判定を行い、前記サーバは、マウンティング状態の複数の基準画像の中で前記発情検出成功回数が多い基準画像から順次パターンマッチングを実行してもよいし、マウンティング状態の複数の基準画像の中で前記発情検出成功率が高い基準画像から順次パターンマッチングを実行してもよい。
【0016】
このように、ユーザの判断結果に基づいて基準画像の発情検出成功回数と発情検出成功率を更新し、発情検出成功回数が多い基準画像、或いは発情検出成功率の高い基準画像に基づいて発情判定を行うことにより、より的確に短時間で発情判定を行うことができる。
【0017】
本発明の牛の監視システムにおいて、前記基準画像データベースは、更に、マウンティング状態の複数の基準画像と、その基準画像を基礎として前記発情判定を行った回数である参照回数とを関連付けて格納し、前記サーバは、前記発情判定の際にマウンティング状態の複数の基準画像と一又は複数の前記フレーム画像との間でパターンマッチングを実行し、前記フレーム画像とのマッチング指数が所定の閾値を越えた際に比較したマウンティング状態の基準画像の参照回数を増加させ、前記サーバは、マウンティング状態の基準画像の中で参照回数が多い基準画像から順次パターンマッチングを実行させてもよい。
【0018】
これにより、牛の発情判定をより短時間に行うことができる。
【0019】
本発明の牛の監視システムにおいて、前記カメラ装置は、所定の範囲での動体の検知が可能であり、所定の範囲は、立っている状態の牛の背中の高さよりも高い範囲としてもよい。
【0020】
これにより、より確実に牛の発情動作のきっかけとなるマウンティング動作を的確に検出することができる。
【発明の効果】
【0021】
本発明は、少ないデータ通信量で短時間に牛の発情検出を的確に行うことができる。
【図面の簡単な説明】
【0022】
【発明を実施するための形態】
【0023】
以下、図面を参照しながら実施形態の牛の監視システム１００について説明する。図１に示すように、実施形態の牛の監視システム１００は、牛舎１０の内部の画像を撮像するカメラ装置２０と、カメラ装置２０に接続されたサーバ４０と、サーバ４０と通信する携帯端末５０とを含んでいる。なお、牛は２頭に限らず、牛舎１０の中で多数飼育されていても良い。
【0024】
図１に示すように、サーバ４０は、情報の処理を行う演算部４２と、データ記憶部４３と、通信部４１とを有するコンピュータである。演算部４２は、カメラ装置２０あるいはユーザの携帯端末５０との間の信号、動画データ、メールの授受を制御する。サーバ４０の演算部４２、データ記憶部４３、通信部４１は、図２に示す汎用コンピュータ１５０によって実現できる。
【0025】
図２に示すように、汎用コンピュータ１５０は、情報処理を行うプロセッサであるＣＰＵ１５１と、情報処理の際にデータを一時的に記憶するＲＯＭ１５２、ＲＡＭ１５３と、プログラムやユーザのデータ等を格納するハードディスクドライブ（ＨＤＤ）１５４と、入力手段として設けられたマウス１５５と、キーボード１５６、及び表示装置として設けられたディスプレイ１５７とを含んでいる。ＣＰＵ１５１とＲＯＭ１５２とＲＡＭ１５３とＨＤＤ１５４とはデータバス１６０によって接続されている。また、マウス１５５とキーボード１５６とディスプレイ１５７とは入出力コントローラ１５８を介してデータバス１６０に接続されている。また、データバス１６０には通信手段として設けられたネットワークコントローラ１５９が接続されている。
【0026】
演算部４２、通信部４１は、図３に示す汎用コンピュータ１５０のハードウェアとＣＰＵ１５１で動作するプログラムとの協調動作により実現される。また、データ記憶部４３は図２に示す汎用コンピュータ１５０のＨＤＤ１５４によって実現される。なお、ＨＤＤ１５４に代えて、外部の記憶手段をネットワーク経由で利用することによって実現してもよい。
【0027】
通信部４１は、信号、動画データ、メールの通信を行う。なお、サーバ４０は、ネットワークに接続されていれば、例えば、クラウド上のサーバ装置でもよいし、牧場１１０から離れた遠隔地にあるデータセンター等に設置したサーバ装置でもよい。
【0028】
データ記憶部４３は、記録動画データベース１０１と、基準画像データベース１０２と、ユーザデータベース１０３とを格納している。記録動画データベース１０１は、カメラ装置２０から受信したカメラ装置２０の第２メモリ２５に保存されている短期間の画像データを格納するデータベースである。ユーザデータベース１０３は、牛の監視システム１００のユーザである牧場１１０のオーナー、あるいは、牧場１１０に勤務する従業者のメールアドレス、住所、電話番号等を格納する。
【0029】
基準画像データベース１０２は、牛の発情判定の際に用いる基準画像を格納するデータベースであり，記録動画データベース１０１に格納された動画データから抽出したフレーム画像とパターンマッチングを行う際に参照する画像データを格納したデータベースである。画像は、例えば、図６に示すような牛のマウンティング状態の様々な画像を含んでいる。図３に示すように、基準画像データベース１０２は、画像のＩＤ番号と、その画像を撮像した方向と、マウンティングされているスタンディング牛のＩＤ番号と、画像の作成日と、参照回数と、発情検出成功回数と、発情検出成功率とを関連付けて格納したデータベースである。
【0030】
ここで、参照回数は、その基準画像を基礎として発情判定を行った回数であり、発情検出成功回数は、その基準画像を基礎として発情判定を行って発情検出に成功した回数であり、発情検出成功率は、その基準画像を基礎として発情判定を行った回数である参照回数に対する発情検出に成功した回数の割合であり、発情検出成功率＝発情検出成功回数／参照回数である。
【0031】
図１に示すように、カメラ装置２０は、牧場１１０の牛舎１０の内部に設置されて、牛舎１０の内部を撮像し、牛１１、１２の動画を取得する。カメラ装置２０は、カメラ２１と、カメラ２１が撮像した動画データの処理を行うＣＰＵ２２と、動画データを格納する記憶部２３とで構成されている。記憶部２３は、後で説明する第１メモリ２４、第２メモリ２５の２つの動画データ格納領域を有している。ＣＰＵ２２と記憶部２３とはデータバスで接続されてコンピュータを構成する。カメラ装置２０は、通信装置２６とセキュリティの確保された遠隔通信網３５を介してサーバ４０と接続されている。ここで、通信装置２６は、カメラ装置２０と遠隔通信網３５を接続するゲートウェイ装置である。
【0032】
カメラ装置２０はＣＰＵ２２がプログラムを実行することにより構成される機能ブロックを有している。本実施形態では、カメラ装置２０は、図４に示すように、記録動画データを生成する記録動画データ生成部２０１と、動体検知信号を生成する動体検知信号生成部２０２の２つの機能ブロックを有している。
【0033】
記録動画データ生成部２０１は、動体検知信号生成部２０２からの動体検知信号と第１メモリ２４からの動画データとが入力され、動体検知信号が入力された時刻ｔ１の前後における設定時間分の動画データを記録動画データとして生成し、第２メモリ２５に出力する。
【0034】
動体検知信号生成部２０２は、カメラ２１から入力された動画データを分析して画像中に動体を検知した場合には、動体検知信号を生成して記録画像データ生成部と通信装置２６に出力する。
【0035】
次に、カメラ装置２０の構成と機能について説明する。先に説明したように、カメラ装置２０の記憶部２３は、第１メモリ２４、第２メモリ２５の２つの動画データ格納領域を有している。図５に示すように、第１メモリ２４は、カメラ２１で撮像した、１日、あるいは数日、あるいは一週間程度の長期間の動画データを更新しながら保存しておくものである。例えば、１日分の動画データを保存する場合、第１メモリ２４には現時点から１日前までの動画データが保存され、それ以前の動画データは順次消去されていく。数日、一週間分の動画データを保存する場合も同様である。第１メモリ２４に格納される動画データには撮像時刻が入っている。図５に示すように、第２メモリ２５は、第１メモリ２４に格納された動画データの中から、ある時刻ｔ１の前後の設定時間分の短期間の動画データを１つまたは複数保存するものである。１つの動画データは、時刻ｔ１の前の時刻ｔ２から時刻ｔ１までの前設定時間と時刻ｔ１から時刻ｔ１の後の時刻ｔ３までの後設定時間との合計設定時間分の長さとなっている。前設定時間、後設定時間は、例えば、３０秒でもよいし、１分、あるいは５分でもよく自由に設定することができる。記憶部２３は、外部から動画要求信号が入力された場合に、第２メモリ２５に格納されている動画データを外部に出力することができるよう構成されている。
【0036】
カメラ装置２０は、動体検知機能を有しており、動体検知を行う範囲を設定可能である。本実施形態の牛の監視システム１００では、図６に示すようすに、カメラ装置２０は、牛の背中の高さよりも少し高い位置にカメラ２１の光軸が略水平となるように設置されており、動体検知範囲を立っている状態の牛の背中の高さよりも高い範囲の高さｈ１～高さｈ２に設定している。
【0037】
次に図６，７を参照しながら牛１２が発情している状態の牛１１、１２の行動について説明する。牛舎１０の中には雌の牛１１，１２が飼育されている。図６の時刻ｔ０に示すように牛１１，１２が通常の状態では、牛１１，１２の頭部の高さは動体検知範囲の下側に位置しており、カメラ装置２０は牛１１，１２が移動しても動体を検知しない。図６に示すように、牛１１は頭部を牛１２の背中に載せるマウンティング行動をとる場合がある。この場合牛１１の頭部の高さは、図７の実線ａ，破線ｂで示すように動体検知範囲に入る。このため、牛１１がマウンティングを行うとカメラ装置２０は牛１１の頭部を動体として検知し、動体検知信号生成部２０２は動体検知信号を記録動画データ生成部２０１と通信装置２６とに出力する。
【0038】
ここで、牛１２が発情していない場合には、牛１２は牛１１にマウンティングされるとすぐに逃げてしまうので、牛１１の頭部の高さは、図７の破線ｂに示すようにすぐに元の高さに戻り動体検知範囲から外れてしまう。
【0039】
一方、牛１２が発情している場合には、牛１２は牛１１にマウンティングされてもすぐに逃げない状態を保持する。このため、牛１１は牛１２の上に乗りかかった状態を継続し、牛１２は牛１１にマウンティングされた状態を継続する。このため、牛１１の頭部の高さは、図７の実線ａに示すように、動体検知範囲にある状態をしばらく継続する。このように牛１１のマウンティング状態が継続する状態を牛１２のスタンディング状態という。
【0040】
そして、図６の時刻ｔ４にマウンティング行動が終了し、牛１１が頭を牛１２の背中から下ろして通常の状態の戻ると、牛１１の頭部の高さは動体検知範囲の下側に戻る。
【0041】
そこで、カメラ装置２０の記録動画データ生成部２０１は、図７に示す時刻ｔ１に動体検知信号生成部２０２から動体検知信号が入力されると、時刻ｔ１の前の時刻ｔ２からか時刻ｔ４の後の時刻ｔ３までの間の動画データを記録画像データとして第２メモリ２５に格納する。
【0042】
【0043】
図８、図９のステップＳ１０１に示すように、カメラ装置２０は、カメラ２１から動画データを取得し、図９のステップＳ１０２に示すように動画データを第１メモリ２４に格納していく。そして、図９のステップＳ１０３でカメラ装置２０の動体検知信号生成部２０２で動体を検知したかどうか判断する。動体の検知が無い場合には、カメラ装置２０は、図９のステップＳ１０１に戻ってカメラ２１からの動画データの取得と取得した動画データの格納とを繰り返し実行する。
【0044】
一方、通信装置２６は、図１０のステップＳ２０１に示すようにカメラ装置２０に対してポーリングを行っている。ポーリングは、例えば、１回／分程度の頻度で行ってもよい。
【0045】
カメラ装置２０の動体検知信号生成部２０２は、図６，７を参照して説明したように牛１１がマウンティングを行い牛１１の頭部を動体として検知した場合には、図９のステップＳ１０３でＹＥＳと判断して、図９のステップＳ１０４に進み動体検知信号を生成する。動体検知信号は、動体を検知したことと検知時刻を含む信号である。
【0046】
また、カメラ装置２０は、図９のステップＳ１０４において図４に示す記録動画データ生成部２０１で記録動画データを生成する。図４に示すように、記録動画データ生成部２０１は、第１メモリ２４に格納されている動画データを読みだす。そして、長時間の動画データの中から発情検出信号が入力された図７に示す時刻ｔ２から時刻ｔ３までの動画データを抽出して記録動画データを生成する。生成された記録動画データは、第２メモリ２５に格納される。
【0047】
ここで、時刻ｔ２は動体検知信号の入力前で牛１１がマウンティングを開始する前の時刻であり、時刻ｔ３はスタンディング状態の後、通常の状態に戻った時刻である。従って、記録動画データは、牛１１のマウンティング動作及び牛１２のスタンディング動作を確認できる動画データである。
【0048】
そして、カメラ装置２０は、動体検知信号を生成した後に、図９のステップＳ１０５に示すように通信装置２６からのポーリングを受信したら、図９のステップＳ１０６に示すように、動体検知信号を通信装置２６に送信する。
【0049】
【0050】
カメラ装置２０は、図９のステップＳ１０７に示すように通信装置２６から記録動画データ要求信号を受信するまで待機する。そして、カメラ装置２０は、通信装置２６から記録動画データ要求信号を受信したら、図９のステップＳ１０８に示すように、第２メモリ２５に格納されている記録動画データを通信装置２６に送信する。
【0051】
通信装置２６は、図１０のステップＳ２０４に示すように、カメラ装置２０から記録動画データを受信するまで待機し、記録動画データを受信したら図１０のステップＳ２０５に進んで、サーバ４０に対して動体検知信号を送信する。
【0052】
図１１のステップＳ３０１に示すように、サーバ４０は、通信装置２６から動体検知信号を受信するまで待機し、動体検知信号を受信したら、図１１のステップＳ３０２に示すように、通信装置２６に対して記録動画データ要求信号を送信する。
【0053】
通信装置２６は、図１０のステップＳ２０６に示すように、サーバ４０からの記録動画データ要求信号を受信するまで待機し、記録動画データ要求信号を受信したら図１０のステップＳ２０７に進んで記録動画データをサーバ４０に送信する。
【0054】
サーバ４０は、図１１のステップＳ３０３に示すように、記動画像データを受信するまで待機し、記録動画データを受信したら、図１１のステップＳ３０４に進み、データ記憶部４３の記録動画データベース１０１に記録動画データを格納、保存する。
【0055】
サーバ４０は、記録動画データをデータ記憶部４３に保存したら、図１１のステップＳ３０５に進み、記録動画データベース１０１から記録動画データを読み出して発情検出処理を行う。発情検出処理は後で図１４、１５を参照して説明する。サーバ４０は、図１１のステップＳ３０６で発情検出と判定した場合には、図１１のステップＳ３０７に進み、データ記憶部４３のユーザデータベース１０３から牧場１１０のオーナー、又は牧場１１０に勤務する従業員のメールアドレスを読み出す。そして、そのメールアドレスに牛１２の発情が検出されたことを連絡する発情検出連絡メールを送信する。
【0056】
牧場１１０のオーナー等のユーザは発情検出連絡メールを受信すると、牛１２の発情が検出されたことを知ることができる。また、携帯端末５０に送信された発情検出連絡メールをユーザが確認した際に、記録動画を確認したい場合には、ユーザは、携帯端末５０からサーバ４０にアクセスして記録動画データ要求信号を送信する。
【0057】
サーバ４０は、発情検出連絡メール送信後、図１２のステップＳ３０８に示すように、携帯端末５０から記録動画データ要求信号を受信するまで待機する。そして、記録動画データ要求信号を受信したら、図１２のステップＳ３０９に示すように、携帯端末５０に記録動画データを送信する。
【0058】
牧場１１０のオーナーは、サーバ４０から記録動画データが送信されたら、その動画を携帯端末５０のディスプレイに表示して確認する。先に説明したように、記録動画データは、牛１１のマウンティング動作及び牛１２のスタンディング動作を確認できる動画データであるから、ユーザは記録動画により、牛１１，１２の行動及び牛１２の発情状態を確認できる。
【0059】
オーナーは、携帯端末５０のディスプレイに表示された動画を確認し、図６に示すように牛１１，１２がマウンティング、スタンディングの状態を所定の時間継続しており、マウンティングされた牛１２が発情していることと判断したら携帯端末５０の発情確認ボタンを押す。図１３のステップＳ３２１に示すように携帯端末５０はオーナーのボタン入力があったら図１３のステップＳ３２２で発情確認ボタンかどうか判断し、ステップＳ３２２でＹＥＳと判断した場合には、発情確認信号をサーバ４０に出力する。一方、ユーザがマウンティングの後に牛１２がすぐに逃げた場合ており、牛１２が発情していないと判断した場合には、発情未確認ボタンを押す。すると、携帯端末５０は、図１３のステップＳ３２２でＮＯと判断してステップＳ３２４に進んでサーバ４０に発情未確認信号を送信する。
【0060】
サーバ４０は図１２のステップＳ３１０で携帯端末５０からの発情確認信号又は発情未確認信号の入力を待って、これらの信号が入力されたら図１２のステップＳ３１１に進んで基準画像データベース更新処理を行う。記録画像データベース更新処理は後で図１６を参照して説明する。
【0061】
次に図１４を参照しながら発情検出処理について説明する。図１４のステップＳ４０１に示すように、サーバ４０は、カウンタＮを初期値の１にセットする。そして、図１４のステップＳ４０２で記録動画データを読み出して、ステップＳ４０３に進んで動体検知信号が入力された図７に示す時刻ｔ１の所定時間後の時刻ｔ５の１つのフレーム画像を抽出する。
【0062】
ここで、所定時間は、図７の破線ｂに示すように、牛１２が発情しておらず、牛１１にマウンティングされた際にすぐに逃げてしまう時間よりも長い時間であればよい。牛１２は発情している場合には、１分程度は逃げずにマウンティングされた状態を継続する。逆に牛１２が発情していない場合には、牛１２は２～３秒程度で逃げてしまう。従って、所定時間を１０秒から３０秒程度に設定すると、牛１２が発情している場合には、牛１１にマウンティングされている状態のフレーム画像を抽出し、牛１２が発情していない場合には、牛１１にマウンティングされていない状態の１つのフレーム画像を抽出できる。そして、抽出した画像とマウンティング状態の基準画像のパターンマッチングを行うことにより、牛１２が発情しているかどうかを確実に判定することができる。
【0063】
そして、図１４のステップＳ４０４に進んで画像ＩＤ番号が１の基準画像と抽出した１つのフレーム画像とのパターンマッチングを行う。そして、図１４のステップＳ４０５に進んで、マッチング指数が所定値を超えたかどうか判断する。そして、ステップＳ４０５でＹＥＳと判断した場合には、図１４のステップＳ４０８に進んで発情検出と判定し、図１４のステップＳ４０９に進んで画像ＩＤ番号１の参照回数を１だけ増加させる。
【0064】
一方、図１４のステップＳ４０５でＮＯと判断した場合には、サーバ４０は、図１４のステップＳ４０６に進んでカウンタＮが基準画像データベース１０２に格納されている基準画像の個数であるＮｅｎｄになったかどうか判断し、ステップＳ４０６でＮＯと判断した場合には、ステップＳ４０７でカウンタＮを１だけインクレメントしてステップＳ４０４からステップＳ４０７を繰り返す。そして、画像ＩＤ番号がＮの際にステップＳ４０５でＹＥＳと判断した場合には、ステップＳ４０８に進んで発情検出と判定してステップＳ４０９で発情判定の基礎となった画像ＩＤ番号がＮの基準画像の参照回数を１だけ増加させる。
【0065】
また、ステップＳ４０６でＹＥＳと判断した場合には、抽出した１つのフレーム画像は基準画像データベース１０２に格納された基準画像とマッチングするものがなく、発情検出の判定を行わずに処理を終了する。
【0066】
ここで、マッチング指数は、例えば、フレーム画像と基準画像との類似度を示す指標であってもよい。
【0067】
このように、以上説明した発情検出処理では、動体検知の時刻ｔ１よりも所定時間だけ後の時刻ｔ５の１つのフレーム画像を用いて牛の発情判定を行うので、簡便な方法で短時間に牛の発情判定を行うことができる。
【0068】
以上の説明では、サーバ４０は、ステップＳ４０４～ステップＳ４０９を基準画像データベース１０２に格納されている基準画像の画像ＩＤ番号の順に行うこととして説明したが、これに限らず、参照回数の多いものから順次パターンマッチングを行うようにしてもよい。これにより、マッチング指数が所定値を超えた回数が多い基準画像から順次パターンマッチングを実行するので、ステップＳ４０４～ステップＳ４０９の繰り返し回数が少なくなり、短時間に発情検出の判定を行うことができる。
【0069】
次に、図１５を参照しながら他の発情検出処理について説明する。先に図１４を参照して説明したと同様の動作については簡単に説明する。図１５に示すように、サーバ４０はカウンタＫ，Ｎを初期値の１にセットし、検出フラグＳＦを初期値の０にセットする。そして、ステップＳ５０２で記録動画データを読み出し、ステップＳ５０３で図７に示す動体を検知した時刻ｔ１からの経過時間が異なる所定時刻における複数のフレーム画像を抽出する。複数のフレーム画像は、例えば、先に図１４を参照して説明した時刻ｔ１の後の１０秒から３０秒程度の所定時間の間にΔｔ時間ごとに抽出したＫｅｎｄ個のフレーム画像でもよい。
【0070】
そして、サーバ４０は、図１５のステップＳ５０４でＫ＝１のフレーム画像と画像ＩＤ番号が１の基準画像とのパターンマッチングを行う。そして、サーバ４０は、Ｋ＝１のフレーム画像と基準画像のマッチング指数が所定値を超えるまでステップＳ５０４～Ｓ５０７を繰り返して実行し、画像ＩＤ番号がＮの基準画像とのパターンマッチングの際にステップＳ５０５でＹＥＳと判断した場合には、ステップＳ５０８に進んで検出フラグＳＦを１だけインクレメントしてステップＳ５０９で発情判定の基礎となった画像ＩＤ番号がＮの基準画像の参照回数を１だけ増加させる。
【0071】
そしてサーバ４０は、図１５のステップＳ５１０でカウンタＫが抽出したフレーム画像の個数Ｋｅｎｄかどうか判断し、ＮＯの場合には、ステップＳ５１１でＫを１だけインクレメントしてステップＳ５０３に戻り、ステップＳ５０３～Ｓ５１１を繰り返して実行する。
【0072】
そして、図１５のステップＳ５１０でＹＥＳと判断した場合には、ステップＳ５１２に進んで検出フラグＳＦが閾値以上かどうかを判断し、ステップＳ５１２でＹＥＳと判断した場合には牛がスタンディング状態を保持していると判断してステップＳ５１３に進んで発情検出と判定する。一方、ステップＳ５１２でＮＯと判断した場合には、発情検出と判定せずに処理を終了する。
【0073】
以上説明した発情検出処理では、動体検知の時刻ｔ１よりも所定時間だけ後の複数の異なる時刻における複数のフレーム画像を用いて牛がスタンディング状態を保持しているかを判定し、それにより牛の発情判定を行うので、より的確に牛の発情判定を行うことができる。
【0074】
ここで、検出フラグＳＦは、Δｔに応じていろいろな数値とすることができる。Δｔを牛１２が発情していない場合に牛１２が逃げる２～３秒程度とした場合には、２以上、例えば、２～１０程度としてもよい。これにより、検出フラグＳＦの大小により牛１２のスタンディング状態がどの程度継続しているかどうかを検出でき、これにより牛１２の発情判定を行うことができる。なお、Δｔの時間を所定時間と同一の時間とした場合には検出フラグＳＦを１としてもよい。
【0075】
先に説明した発情検出処理と同様、サーバ４０は、ステップＳ５０４～ステップＳ５０９において参照回数の多いものから順次パターンマッチングを行うようにしてもよい。これにより、ステップＳ５０４～ステップＳ５０９の繰り返し回数が少なくなり、短時間に発情検出の判定を行うことができる。
【0076】
次に、図１６を参照しながら基準画像データベース更新処理について説明する。サーバ４０は、図１６のステップＳ７０１に示すように、携帯端末５０から発情確認信号又は発情未確認信号が入力されるまで待機する。そして、発情確認信号又は発情未確認信号が入力されたらステップＳ７０２に進んで発情確認信号かどうか判断する。ステップＳ７０２でＹＥＳと判断した場合には、サーバ４０は、ステップＳ７０３に進んで、図１４のステップＳ４０５又は図１５のステップＳ５０５でＹＥＳと判断した基準画像Ｎの発情検出回数を１だけ増加させるとともに、発情検出成功率を発情検出成功率＝発情検出回数／参照回数として計算し、発情検出成功率を更新する。
【0077】
そして、サーバ４０は、図１４に示すステップＳ４０４～ステップＳ４０９、或いは、図１５に示すステップＳ５０４～ステップＳ５０９において発情検出成功回数の多いもの、あるいは、発情検出成功率の高いものら順次パターンマッチングを行うようにしてもよい。これにより、発情検出判定の精度を向上させることができる。
【0078】
以上説明したように、実施形態の牛の監視システム１００は、カメラ装置２０が動体を検知した際に、動体を検知した時刻の前後における設定時間分の動画データを記録動画データとしてサーバ４０に送信することにより牛の発情判定を行うので、少ないデータ通信量で牛の発情判定を行うことができる。
【0079】
また、録動画データから動体を検知した時刻の所定時間だけ後の時刻のフレーム画像を抽出することにより抽出したフレーム画像と基準画像との比較に基づいて牛の発情判定を行う。ここで所定時間は、牛１２が発情している場合には、牛１１にマウンティングされている状態、つまり、牛１２のスタンディング状態のフレーム画像を抽出し、牛１２が発情していない場合には、牛１１にマウンティングされていない状態のフレーム画像を抽出できるよう時間である。これにより、牛１１がマウンティング動作を行ったことを動体検知で捉え、その後のマウンティングされている牛１２がスタンディング状態を保持しているかどうかを動体検知後の所定時間後のフレーム画像と基準画像を比較することによって牛の発情判定を行うことができる。
【0080】
また、実施形態の牛の監視システム１００では、サーバ４０が図１４に示すステップＳ４０４～ステップＳ４０９、或いは、図１５に示すステップＳ５０４～ステップＳ５０９において発情検出成功回数の多いもの、あるいは、発情検出成功率の高いものら順次パターンマッチングを行うようにすることにより、発情検出判定の精度を向上させることができる。
【0081】
更に、サーバ４０が図１４に示すステップＳ４０４～ステップＳ４０９、或いは、図１５に示すステップＳ５０４～ステップＳ５０９において参照回数の多いものから順次パターンマッチングを行うようにしてもよい。これにより、短時間に発情検出の判定を行うことができる。
【符号の説明】
【0082】
１０ 牛舎、１１，１２ 牛、１１、１２ 牛、２０ カメラ装置、２１ カメラ、２２ ＣＰＵ、２３ 記憶部、２４ 第１メモリ、２５ 第２メモリ、２６ 通信装置、３５ 遠隔通信網、４０ サーバ、４１ 通信部、４２ 演算部、４３ データ記憶部、５０ 携帯端末、１００ 牛の監視システム、１０１ 記録動画データベース、１０２ 基準画像データベース、１０３ ユーザデータベース、１１０ 牧場、１５０ 汎用コンピュータ、１５１ ＣＰＵ、１５２ ＲＯＭ，１５３ ＲＡＭ，１５４ ＨＤＤ、１５５ マウス、１５６ キーボード、１５７ ディスプレイ、１５８ 入出力コントローラ、１５９ ネットワークコントローラ、１６０ データバス、２０１ 記録動画データ生成部、２０２ 動体検知信号生成部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】