特許 6959495 情報処理装置、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6959495

(24)【登録日】2021年10月12日

(45)【発行日】2021年11月2日

(54)【発明の名称】情報処理装置、情報処理方法、プログラム

(51)【国際特許分類】

   A01K 29/00 20060101AFI20211021BHJP

   G06T 7/246 20170101ALI20211021BHJP

【ＦＩ】

   A01K29/00 A

   G06T7/246

【請求項の数】6

【全頁数】15

(21)【出願番号】特願2016-169422(P2016-169422)

(22)【出願日】2016年8月31日

(65)【公開番号】特開2018-33365(P2018-33365A)

(43)【公開日】2018年3月8日

【審査請求日】2019年8月30日

(73)【特許権者】

【識別番号】390002761

【氏名又は名称】キヤノンマーケティングジャパン株式会社

(73)【特許権者】

【識別番号】592135203

【氏名又は名称】キヤノンＩＴソリューションズ株式会社

(74)【代理人】

【識別番号】100189751

【弁理士】

【氏名又は名称】木村 友輔

(72)【発明者】

【氏名】鈴木 貫

(72)【発明者】

【氏名】下松 雅也

(72)【発明者】

【氏名】田中 泰洋

(72)【発明者】

【氏名】政井 隆之

(72)【発明者】

【氏名】入江 建志

(72)【発明者】

【氏名】中山 正明

【審査官】 吉田 英一

(56)【参考文献】

【文献】 韓国公開特許第１０−２０１６−００４４８３５（ＫＲ，Ａ）

【文献】 特開２００２−１５３１６２（ＪＰ，Ａ）

【文献】 Du-Ming Tsai and Ching-Ying Huang，A motion and image analysis method for automatic detection of estrus and mating behavior in cattle，Computers and Electronics in Agriculture，2014年06月，Vol. 104，pp. 25 - 31

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ０１Ｋ ２９／００

Ｇ０６Ｔ ７／２４６

Ｓｃｉｅｎｃｅ Ｄｉｒｅｃｔ

(57)【特許請求の範囲】

【請求項1】

所定の動作を行っていると推定される物体が写っている静止画における、当該所定の動作を行っていると推定される物体が写っている領域を示す座標情報を取得する座標情報取得手段と、
前記座標情報取得手段により取得した座標情報により特定される領域について、当該領域の動画データを用いて、前記所定の動作を行っている物体が写っているかを判定する判定手段と、
を備えることを特徴とする情報処理システム。

【請求項2】

撮像装置により撮影された動画データから所定の動作を行っていると推定される物体が写っている静止画を取得する画像取得手段をさらに備え、
前記判定手段は、前記画像取得手段により静止画を取得した動画データを用いて、前記座標情報取得手段により取得した座標情報により特定された領域について、前記所定の動作を行っている物体が写っているかを判定することを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記画像取得手段により取得された静止画の前のフレームに係る静止画における当該座標情報により特定される領域を抽出する抽出手段をさらに備え、
前記判定手段は、前記抽出手段により抽出された領域に係る画像と、前記座標情報取得手段により取得した座標情報により特定される領域に係る画像と、を用いて、前記所定の動作を行っている物体が写っているかを判定することを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記判定手段により前記所定の動作を行っている物体が写っていると判定された場合、所定の動作が行われている旨を通知する通知手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。

【請求項5】

情報処理システムの座標情報取得手段が、所定の動作を行っていると推定される物体が写っている静止画における、当該所定の動作を行っていると推定される物体が写っている領域を示す座標情報を取得する座標情報取得工程と、
前記情報処理システムの判定手段が、前記座標情報取得工程により取得した座標情報により特定される領域について、当該領域の動画データを用いて、前記所定の動作を行っている物体が写っているかを判定する判定工程と、
を備えることを特徴とする情報処理方法。

【請求項6】

コンピュータを、
所定の動作を行っていると推定される物体が写っている静止画における、当該所定の動作を行っていると推定される物体が写っている領域を示す座標情報を取得する座標情報取得手段と、
前記座標情報取得手段により取得した座標情報により特定される領域について、当該領域の動画データを用いて、前記所定の動作を行っている物体が写っているかを判定する判定手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラムに関する。

【背景技術】

【0002】

畜産（酪農や肉用牛の繁殖）においては、牛の繁殖成績が経営に大きく影響する。繁殖成績を上げるためには、牛が発情したタイミングを検出して授精することが重要となる。一般に、牛の発情行動としては、乗駕行動や、行動量の増加などがあり、飼育者が牛の行動を観察することで発情時期を判断している。

【0003】

しかしながら、発情行動は夜間時間帯に行われるが多いため、飼育者が見逃してしまうことがある。

【0004】

飼育者の観察を補助するあるいは代わりとなるシステムを構築することで繁殖成績の向上、畜産業の生産基盤強化が望まれている。

【0005】

そこで、特許文献１には、赤外線センサを対象牛の背中に取り付け、センサの反応とその長さによって乗駕の有無を判定する仕組みが記載されている。

【0006】

また、特許文献２には、牛舎に設置したマイクとセンサにより、牛の咆哮音と牛の行動量を測定し発情を判定する仕組みが記載されている。

【0007】

また、従来からセンサを利用し、牛の発情を検出する方法として、（１）歩数を監視する方法、（２）行動量を監視する方法があり、商品化されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１６−４２８４３号公報

【特許文献2】特開２０１５−８９３４２号公報

【発明の開示】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１の方法は、管理対象の全ての牛にセンサを取り付ける必要があり、導入コストや作業の手間がかかるという問題や、身体に取り付けた機器が牛のストレスになるという問題がある。

【0010】

また、特許文献２の方法は、牛舎に取り付けたマイクと対象牛の距離によって精度にばらつきが発生することという問題がある。また、センサを取り付けた牛舎の特定領域に発情対象の牛を拘束していないと行動量を測定できずに発情が判定できないという問題がある。

【0011】

また、歩数を監視する方法や、行動量を監視する方法では、夏場は牛の行動量が増えることや行動量に個体差があることから、これらの状態の変化が発情による変化であるとは限らず、高精度な発情発見ができないという問題がある。

【0012】

以上の課題に鑑み、本発明は、撮影された動画データから牛の発情行動を検出する仕組みを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明の情報処理装置は、撮像装置により撮影された動画データを取得する画像取得手段と、前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段と、を備えることを特徴とする。

【0014】

また、本発明の情報処理方法は、情報処理装置における情報処理方法であって、前記情報処理装置の画像取得手段が、撮像装置により撮影された動画データを取得する画像取得工程と、前記情報処理装置の領域特定手段が、前記画像取得工程により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定工程と、前記情報処理装置の見え判定手段が、前記領域特定工程により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定工程と、前記情報処理装置の動き判定手段が、前記判定工程により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定工程と、を備えることを特徴とする。

【0015】

また、本発明のプログラムは、情報処理装置において実行可能なプログラムであって、前記情報処理装置を、撮像装置により撮影された動画データを取得する画像取得手段と、前記画像取得手段により取得された動画データから１フレーム画像を抽出し、当該抽出したフレーム画像から物体が映っている領域を特定する領域特定手段と、前記領域特定手段により特定された領域に映っている物体が、検出対象の動作を行っている物体であるかを判定する見え判定手段と、前記判定手段により検出対象の動作を行っている物体であると判定された場合、当該領域における動画情報を用いて、当該物体が検出対象の動作を行っているかを判定する動き判定手段として機能させるためのプログラム。

【発明の効果】

【0016】

本発明によれば、撮影された動画データから効率的に牛の発情行動を検出することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本実施例における情報処理システムのシステム構成の一例を示す図

【図2】ネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３のハードウェア構成の一例を示すブロック図

【図3】牛の発情判定処理の全体像を説明するフローチャート

【図4】ステップＳ１０５における発情判定処理を示すフローチャート

【図5】見え情報による発情判定処理の詳細を示すフローチャート

【図6】動き情報による発情判定処理の詳細を示すフローチャート

【図7】見え情報の教師データの一例を示す図

【図8】動画中の１フレーム（ｔ）について、候補矩形を抽出し、当該候補矩形における画像と学習済み画像との類似度を算出した結果を示す模式図

【図9】フレーム画像（ｔ）とその前後のフレーム画像を示す模式図

【図10】各フレーム画像から抽出された候補矩形（対象オブジェクト領域）を示す図

【発明を実施するための形態】

【0018】

以下、図面を参照して、本発明の実施形態を詳細に説明する。

【0019】

図１は、本実施例における情報処理システムのシステム構成の一例を示す図である。

【0020】

本発明におけるシステムは、ネットワークカメラ端末（撮像装置）１０１と、サーバ装置（情報処理装置）１０２、クライアント端末１０３とが通信可能に接続されたシステムである。

【0021】

牛舎に設置されたネットワークカメラ端末１０１によって牛舎内の牛Ａを撮影し、撮影した映像データはサーバ装置１０２に送信される。サーバ装置１０２は映像データを解析処理し、乗駕行動の有無を判定する。解析処理によって乗駕行動ありと判定された場合には、クライアント端末１０３に通知を行う。

【0022】

図２は、本発明の実施形態に係わるネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３のハードウェア構成の一例を示すブロック図である。

【0023】

図２に示すように、ネットワークカメラ端末１０１、サーバ装置１０２、クライアント端末１０３では、システムバス２００を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、記憶装置２０４、入力コントローラ２０５、音声入力コントローラ２０６、ビデオコントローラ２０７、メモリコントローラ２０８、よび通信Ｉ／Ｆコントローラ２０９が接続される。

【0024】

ＣＰＵ２０１は、システムバス２００に接続される各デバイスやコントローラを統括的に制御する。

【0025】

ＲＯＭ２０２あるいは記憶装置２０４は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。

【0026】

ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは記憶装置２０４からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。

【0027】

入力コントローラ２０５は、キーボード／タッチパネル２１０などの入力装置からの入力を制御する。入力装置はこれに限ったものでなく、マウスやマルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。

【0028】

ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができる。

【0029】

この入力装置を用いて各種通信装置で利用可能な通信宛先に対する宛先を入力するようになっている。

【0030】

音声入力コントローラ２０６は、マイク２１１からの入力を制御する。マイク２１１から入力された音声を音声認識することが可能となっている。

【0031】

ビデオコントローラ２０７は、ディスプレイ２１２などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作により受け付け可能な装置については、キーボード／タッチパネル２１０からの入力を受け付けることも可能となる。

【0032】

なおビデオコントローラ２０７は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。

【0033】

本発明では、ユーザが情報処理装置を通常する場合の表示に用いられる第１のビデオメモリ領域と、所定の画面が表示される場合に、第１のビデオメモリ領域の表示内容に重ねての表示に用いられる第２のビデオメモリ領域を有している。ビデオメモリ領域は２つに限ったものではなく、情報処理装置の資源が許す限り複数有することが可能なものとする。

【0034】

メモリコントローラ２０８は、外部メモリ２１３へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。

【0035】

通信Ｉ／Ｆコントローラ２０９、ネットワーク２１４を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。

【0036】

なお、記憶装置２０４は情報を永続的に記憶するための媒体であって、その形態をハードディスク等の記憶装置に限定するものではない。例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの媒体であってもよい。

【0037】

また本実施形態における通信端末で行われる各種処理時の一時的なメモリエリアとしても利用可能である。

【0038】

次に図３に示すフローチャートを用いて、本実施例における牛の発情判定処理の全体像を説明する。

【0039】

ステップＳ１０１では、牛舎に設置されたネットワークカメラ端末１０１のＣＰＵ２０１が撮影可能な状態か否かを判定する。

【0040】

撮影可能である場合（ステップＳ１０１：ＹＥＳ）は、処理をステップＳ１０２に移行する。

【0041】

撮影不可能である場合（ステップＳ１０１：ＮＯ）は、本フローチャートの処理を終了する。

【0042】

ステップＳ１０２では、ネットワークカメラ端末１０１のＣＰＵ２０１は、撮影した映像の１フレーム画像を取得する。

【0043】

ステップＳ１０３では、ネットワークカメラ端末１０１のＣＰＵ２０１は、ステップＳ１０２で取得した１フレーム画像をサーバ装置１０２に転送する。

【0044】

ステップＳ１０４では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０３でネットワークカメラ端末１０１から送信された１フレーム画像を受信する。

【0045】

なお、ネットワークカメラ端末１０１により撮影された動画データをサーバ装置に送信し、サーバ装置において受信した動画データから１フレーム画像を取得するよう構成してもよい。

【0046】

ステップＳ１０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０４で受信した画像を用いて、発情判定処理を実行する。発情判定処理の詳細については、図４〜図６のフローチャートを用いて説明する。

【0047】

ステップＳ１０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ１０５の発情判定処理により発情判定フラグがＴｒｕｅとなったか否かを判定する。

【0048】

Ｔｒｕｅである場合（ステップＳ１０６：ＹＥＳ）は、処理をステップＳ１０７に移行する。

【0049】

Ｆａｌｓｅである場合（ステップＳ１０６：ＮＯ）は、処理をステップＳ１０１に戻す。

【0050】

ステップＳ１０７では、サーバ装置１０２のＣＰＵ２０１は、発情している牛がいる旨をクライアント端末１０３に対して通知する。

【0051】

次に、図４〜図６のフローチャートを用いて、ステップＳ１０５における発情判定処理について説明する。

【0052】

ステップＳ２０１では、サーバ装置１０２のＣＰＵ２０１は、見え情報（静止画）による発情判定処理を実行する。

【0053】

見え情報による発情判定処理の詳細は、図５のフローチャートを用いて説明する。

【0054】

図５は、ステップＳ２０１における見え情報による発情判定処理を示すフローチャートである。

【0055】

ステップＳ３０１では、サーバ装置１０２のＣＰＵ２０１は、学習済みの特徴量の重みデータを読み込む。

【0056】

例えば、図７に示すような発情行動（例えば乗駕行動）をしている牛の画像（すなわち、検出対象の動作、行為を示す画像）を複数学習させておき、それらの画像から特徴量を算出しておく。

【0057】

ステップＳ３０２では、サーバ装置１０２のＣＰＵ２０１は、処理対象の画像（ステップＳ１０４で受信した画像）から、物体が映っている領域を候補矩形として抽出する。候補矩形の抽出については、例えば「Ｆａｓｔｅｒ Ｒ−ＣＮＮ」といった公知技術を用いることで実現可能である。

【0058】

ステップＳ３０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２の処理により抽出された候補矩形が存在するかを判定する。

【0059】

存在する場合（ステップＳ３０３：ＹＥＳ）は、処理をステップＳ３０４に移行する。

【0060】

存在しない場合（ステップＳ３０３：ＮＯ）は、本フローチャートに示す処理を終了する。

【0061】

なお、ステップＳ３１０を実行後の場合には、ステップＳ３０３〜Ｓ３１０までの処理を実行していない候補矩形が存在するか否かを判定する処理となる。すなわち、本実施例においては、ステップＳ３０２で抽出された候補矩形ごとにステップＳ３０３〜Ｓ３１０の処理を繰り返し実行するものである。

【0062】

ステップＳ３０４では、サーバ装置１０２のＣＰＵ２０１は、処理対象の候補矩形における画像特徴量を算出する。

【0063】

ステップＳ３０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０４で算出した特徴量とステップＳ３０１で読み込んだ学習済み画像の特徴量とを比較する。

【0064】

図８は、動画中の１フレーム（ｔ）について、候補矩形を抽出し、当該候補矩形における画像と学習済み画像との類似度を算出した結果を示す模式図である。

【0065】

図８の例では、フレーム（ｔ）における候補矩形の座標は（ｘ１，ｙ１，ｘ２，ｙ２）であり、類似度は０．９であることを示している。

【0066】

ステップＳ３０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０５における比較の結果、特徴量の類似度が閾値以上であるかを判定する。すなわち、候補矩形における物体が発情行動をしている牛であるか（検出対象の動作を行っている物体であるか）を判定する。

【0067】

閾値以上である場合（ステップＳ３０６：ＹＥＳ）は、処理をステップＳ３０７に移行する。

【0068】

閾値に満たない場合（ステップＳ３０６：ＮＯ）は、処理をステップＳ３０９に移行する。

【0069】

ステップＳ３０７では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグをＴｒｕｅに設定する。

【0070】

ステップＳ３０８では、サーバ装置１０２のＣＰＵ２０１は、処理対象の候補矩形の領域情報を保持する。領域情報は、例えば座標情報（ｘ１、ｙ１、ｘ２、ｙ２）等の情報である。

【0071】

ステップＳ３０９では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグをＦａｌｓｅに設定する。

【0072】

ステップＳ３１０では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２で抽出された候補矩形のうち、Ｓ３０３〜Ｓ３１０の処理を実行していない候補矩形を取得する。

【0073】

ステップＳ３０２で抽出されたすべての候補矩形について、Ｓ３０３〜Ｓ３１０の処理が実行されると（ステップＳ３０３：ＮＯ）、本フローチャートの処理を終了し、処理をステップＳ２０２に移行する。

【0074】

ステップＳ２０２では、サーバ装置１０２のＣＰＵ２０１は、見え判定フラグにＴｒｕｅが設定されているか否かを判定する。

【0075】

Ｔｒｕｅが設定されている場合（ステップＳ２０２：ＹＥＳ）は、処理をステップＳ２０３に移行する。

【0076】

Ｆａｌｓｅが設定されている場合（ステップＳ２０２：ＮＯ）は、処理をステップＳ２０７に移行する。

【0077】

ステップＳ２０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０８で保持した領域情報を取得する。

【0078】

ステップＳ２０４では、サーバ装置１０２のＣＰＵ２０１は、動き情報（動画）による発情判定処理を実行する。

【0079】

動き情報による発情判定処理の詳細は、図６のフローチャートを用いて説明する。

【0080】

図６は、ステップＳ２０４における動き情報による発情判定処理を示すフローチャートである。

【0081】

ステップＳ４０１では、サーバ装置１０２のＣＰＵ２０１は、対象オブジェクト領域（ステップＳ３０８で保持した座標情報により特定される領域）の情報を読み込む。

【0082】

ステップＳ４０２では、サーバ装置１０２のＣＰＵ２０１は、領域情報の有無を判定し、領域情報が無い場合は、処理をステップＳ４１１に移行する。領域情報がある場合は処理をステップＳ４０３に移行する。

【0083】

ステップＳ４０３では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像の前のフレーム画像が存在するかを判定する。

【0084】

存在する場合（ステップＳ４０３：ＹＥＳ）は、処理をステップＳ４０４に移行する。

【0085】

存在しない場合（ステップＳ４０３：ＮＯ）は、処理をステップＳ４１１に移行する。

【0086】

ステップＳ４０４では、サーバ装置１０２のＣＰＵ２０１は、前フレームから対象オブジェクト領域の画像を取得する。すなわち、前フレームの画像から、ステップＳ３０８で保持した座標情報と同じ座標情報で特定される領域を取得する。

【0087】

ステップＳ４０５では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像から対象オブジェクト領域の画像を取得する。

【0088】

ステップＳ４０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０４とＳ４０５で取得した２つの画像から、ＯｐｔｉｃａｌＦｌｏｗ特徴量を算出する。

【0089】

ＯｐｔｉｃａｌＦｌｏｗ特徴量の算出方法については、公知の技術としていくつかの手法があるが、いずれの手法を用いても良い。また、本実施例においては、動き情報の特徴量を算出するにあたりＯｐｔｉｃａｌＦｌｏｗ特徴量を用いるが、動き情報の特徴量の算出方法はＯｐｔｉｃａｌＦｌｏｗを用いた手法に限らず、いずれの方法であっても良い。

【0090】

ステップＳ４０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０６で算出したＯｐｔｉｃａｌＦｌｏｗ特徴量を対象オブジェクト領域のサイズで除算することで、動き情報の特徴量を算出する。

【0091】

ステップＳ４０８では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ４０７で算出した動き情報の特徴量が閾値以上であるかを判定する。すなわち、牛の動きに基づき、発情行動をしているか否か（動作から算出された特徴量に基づき、当該動作が検出対象の動作であるか否か）を判定する。

【0092】

閾値以上である場合（ステップＳ４０８：ＹＥＳ）は、処理をステップＳ４０９に移行する。

【0093】

閾値を満たさない場合（ステップＳ４０８：ＮＯ）は、処理をステップＳ４１０に移行する。

【0094】

ステップＳ４０９では、サーバ装置１０２のＣＰＵ２０１は、動き判定フラグにＴｒｕｅを設定する。

【0095】

ステップＳ４１０では、サーバ装置１０２のＣＰＵ２０１は、次の対象オブジェクト領域を取得し、当該対象オブジェクト領域に対する処理に移行する。そして、本フローチャートに示す処理を終了し、処理をステップＳ２０５に戻す。

【0096】

ステップＳ４１１では、サーバ装置１０２のＣＰＵ２０１は、動き判定フラグにＦａｌｓｅを設定する。そして、本フローチャートに示す処理を終了し、処理をステップＳ２０５に戻す。

【0097】

ステップＳ２０５では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０４における処理の結果、動き判定フラグにＴｒｕｅが設定されたか否かを判定する。すなわち、動き情報を用いた発情行為判定処理により、発情行為が検知されたか否かを判定する。

【0098】

動き判定フラグがＴｒｕｅの場合（ステップＳ２０５：ＹＥＳ）は、処理をステップＳ２０６に移行する。

【0099】

動き判定フラグがＦａｌｓｅの場合（ステップＳ２０５：ＮＯ）は、処理をステップＳ２０７に移行する。

【0100】

ステップＳ２０６では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０１、Ｓ２０４の処理により発情している牛がいると判定されたため、発情判定フラグをＴｒｕｅに設定する。

【0101】

ステップＳ２０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ２０１、Ｓ２０４の処理により発情している牛を検知できなかったため、発情判定フラグをＦａｌｓｅに設定する。

【0102】

ステップＳ２０８では、サーバ装置１０２のＣＰＵ２０１は、処理対象のフレーム画像を保持する。本ステップにおいて保持したフレーム画像は、次のフレーム画像に対する処理において、動き特徴量を計算する処理にて使用する。

【0103】

図９は、フレーム画像（ｔ）とその前後のフレーム画像を示す模式図である。図１０は、図９における各フレーム画像から抽出された候補矩形（対象オブジェクト領域）を示す図である。

【0104】

以上説明したように、本発明は、まず見え情報（静止画）により発情行為が行われているかの検出と、当該行為を行っている牛が映っている領域を特定し、当該特定された領域について、動き情報（動画）により発情行為が行われているかを判定することを特徴とする。

【0105】

このように、見え情報だけでなく動き情報を用いることで、見え情報だけでは発情行為か否かの判断が困難なケース（例えば単に乗駕行動をしているだけの場合や、２頭の牛が重なって立っている場合）であっても、より正確に判断することが可能となる。

【0106】

また、動画情報だけの場合には処理対象のデータサイズが大きいため判定処理に時間がかかるが、静止画により発情行動をしている牛が映っている領域を特定し、当該特定された領域に対して動き情報を用いた判定処理を行うことで、少ないデータサイズに対する処理が可能となるため、処理時間の短縮をすることが可能となる。

【0107】

また、牛の身体に特別なセンサを取り付けることなく牛の乗駕行動の有無を発見するため、コスト面や取り付けの手間、牛へのストレスも低減することが可能となる。また、カメラで撮影できる場所であれば牛がどこにいても発情行動を検出することができるため、牛の居場所について制約がない。また、乗駕行動などによって発情しているかを判断するため、歩数や行動量での判断に比べて発情状態であることを高精度で判定することが可能となる。

【0108】

なお、本実施例においては、牛の発情行動の検知への適用を前提として説明したが、本発明の適用対象は牛の発情行動の検知に限られず、動画データから特定の動きの検知する仕組みとして、様々な対象に適用可能である。

【0109】

本発明におけるプログラムは、図３〜図６の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３〜図６の各処理ごとのプログラムであってもよい。

【0110】

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

【0111】

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

【0112】

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

【0113】

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0114】

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

【0115】

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

【0116】

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

【符号の説明】

【0117】

１０１ ネットワークカメラ端末
１０２ サーバ装置
１０３ クライアント端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】