ホーム > 特許ランキング > 国立大学法人 宮崎大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024128284
(43)【公開日】2024-09-24
(54)【発明の名称】推定装置、推定方法、プログラム、および推定システム
(51)【国際特許分類】
A01K 29/00 20060101AFI20240913BHJP
G06Q 50/02 20240101ALI20240913BHJP
【ＦＩ】
A01K29/00 D
G06Q50/02
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023037186
(22)【出願日】2023-03-10
(71)【出願人】
【識別番号】504224153
【氏名又は名称】国立大学法人 宮崎大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】ティ ティ ズイン
(72)【発明者】
【氏名】川越 悠聖
(72)【発明者】
【氏名】小林 郁雄
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC01
5L050CC01
(57)【要約】
【課題】家畜の健康管理を効率よく行うこと。
【解決手段】推定装置は、データ入力手段と、位置検出手段と、基準設定手段と、判別手段と、推定手段とを備える。データ入力手段は、給餌場内の家畜を前方から撮像した撮像データを入力する。位置検出手段は、前記撮像データに基づいて、前記家畜の頭部位置を検出する。基準線設定手段は、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する。判別手段は、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する。推定手段は、前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する。
【選択図】図１４
【解決手段】推定装置は、データ入力手段と、位置検出手段と、基準設定手段と、判別手段と、推定手段とを備える。データ入力手段は、給餌場内の家畜を前方から撮像した撮像データを入力する。位置検出手段は、前記撮像データに基づいて、前記家畜の頭部位置を検出する。基準線設定手段は、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する。判別手段は、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する。推定手段は、前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する。
【選択図】図１４
【特許請求の範囲】
【請求項1】
給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力手段と、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、
を備えることを特徴とする推定装置。
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、
を備えることを特徴とする推定装置。
【請求項2】
前記給餌場内には、横方向に延びる直線部分を有する備品が配置され、
前記直線部分は、摂食時における前記頭部位置よりも上方に位置し、
前記撮像データが示す画像から直線を検出する直線検出手段を備え、
前記基準線設定手段は、前記直線検出手段によって検出された直線に基づいて、前記基準線を設定する、
ことを特徴とする請求項１に記載の推定装置。
前記直線部分は、摂食時における前記頭部位置よりも上方に位置し、
前記撮像データが示す画像から直線を検出する直線検出手段を備え、
前記基準線設定手段は、前記直線検出手段によって検出された直線に基づいて、前記基準線を設定する、
ことを特徴とする請求項１に記載の推定装置。
【請求項3】
前記備品は、前記家畜を留め置く柵部を含み、
前記直線部分は、前記柵部の下端に延設される下側延設部を含み、
前記基準線設定手段は、前記直線検出手段によって検出された直線に基づいて、前記下側延設部に前記基準線を設定する、
ことを特徴とする請求項２に記載の推定装置。
前記直線部分は、前記柵部の下端に延設される下側延設部を含み、
前記基準線設定手段は、前記直線検出手段によって検出された直線に基づいて、前記下側延設部に前記基準線を設定する、
ことを特徴とする請求項２に記載の推定装置。
【請求項4】
前記直線部分は、前記柵部の上端に延設される上端延設部を含み、
前記上端延設部は、前記家畜の頭部が上方へ移動することを規制し、
前記位置検出手段によって検出された前記頭部位置に基づいて、前記頭部位置の最大高さを検出する高さ検出部と、
前記撮像データが示す領域から、前記高さ検出部によって検出された前記最大高さが示す座標よりも上方の領域を除いた関心領域を設定する関心領域設定手段と、
を備え、
前記直線検出手段は、前記関心領域設定手段によって設定された前記関心領域の中から直線を検出する、
ことを特徴とする請求項３に記載の推定装置。
前記上端延設部は、前記家畜の頭部が上方へ移動することを規制し、
前記位置検出手段によって検出された前記頭部位置に基づいて、前記頭部位置の最大高さを検出する高さ検出部と、
前記撮像データが示す領域から、前記高さ検出部によって検出された前記最大高さが示す座標よりも上方の領域を除いた関心領域を設定する関心領域設定手段と、
を備え、
前記直線検出手段は、前記関心領域設定手段によって設定された前記関心領域の中から直線を検出する、
ことを特徴とする請求項３に記載の推定装置。
【請求項5】
複数の家畜を前方から同時に撮像した前記撮像データが示す画像に、前記複数の家畜にそれぞれ対応する複数の分割領域を設定する分割領域設定手段を備え、
前記判別手段は、前記複数の分割領域のそれぞれについて、前記摂食の有無を判別し、
前記推定手段は、前記複数の分割領域のそれぞれについて、前記家畜の摂食時間を推定する、
ことを特徴とする請求項１～４のいずれか一項に記載の推定装置。
前記判別手段は、前記複数の分割領域のそれぞれについて、前記摂食の有無を判別し、
前記推定手段は、前記複数の分割領域のそれぞれについて、前記家畜の摂食時間を推定する、
ことを特徴とする請求項１～４のいずれか一項に記載の推定装置。
【請求項6】
前記撮像データに基づいて、前記家畜を識別する識別手段を備え、
前記推定手段は、前記識別手段によって識別された前記家畜と前記摂食時間とを対応付けた推定結果を出力する、
ことを特徴とする請求項１～４のいずれか一項に記載の推定装置。
前記推定手段は、前記識別手段によって識別された前記家畜と前記摂食時間とを対応付けた推定結果を出力する、
ことを特徴とする請求項１～４のいずれか一項に記載の推定装置。
【請求項7】
推定装置のコンピュータが、
給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力工程と、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出工程と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定工程と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別工程と、
前記判別工程の判別結果に基づいて、前記家畜の摂食時間を推定する推定工程と、
を含む処理を実行することを特徴とする推定方法。
給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力工程と、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出工程と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定工程と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別工程と、
前記判別工程の判別結果に基づいて、前記家畜の摂食時間を推定する推定工程と、
を含む処理を実行することを特徴とする推定方法。
【請求項8】
推定装置のコンピュータを、
給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力手段、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段、
として機能させることを特徴とするプログラム。
給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力手段、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段、
として機能させることを特徴とするプログラム。
【請求項9】
給餌場内の家畜を前方から撮像する撮像装置と、推定装置とを備えた推定システムにおいて、
前記推定装置は、
前記家畜を前方から撮像した撮像データを入力するデータ入力手段と、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、
を備えることを特徴とする推定システム。
前記推定装置は、
前記家畜を前方から撮像した撮像データを入力するデータ入力手段と、
前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、
前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、
前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、
前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、
を備えることを特徴とする推定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、推定装置、推定方法、プログラム、および推定システムに関する。
【背景技術】
【0002】
従来、家畜を飼育する畜産農家等では、家畜の健康管理が行われている。家畜の健康管理において、家畜の摂食行動は重要な情報源となる。具体的には、家畜の摂食時間の変化から、家畜の病気や運動障害を早期に発見することが可能である。近年では、家畜に付す耳票にセンサを搭載して家畜の健康管理が行われることもある。関連する技術として、家畜の体温を検出するための温度センサを備えた体温測定用耳標が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－２９８０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、家畜にセンサを付すと、家畜にストレスを与えてしまうことがあり、また、畜産農家にとっても家畜を１頭ずつ観察して健康を管理することは困難であった。このため、従来技術では、家畜の健康管理を効率よく行うことができない、という問題があった。
【0005】
本発明は、このような事情に鑑みてなされたもので、その目的は、家畜の健康管理を効率よく行うことができる技術を提供することにある。
【課題を解決するための手段】
【0006】
上述した課題を解決するために、本発明の一態様である推定装置は、給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力手段と、前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、を備えることを特徴とする推定装置である。
【0007】
上述した課題を解決するために、本発明の一態様である推定方法は、推定装置のコンピュータが、給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力工程と、前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出工程と、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定工程と、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別工程と、前記判別工程の判別結果に基づいて、前記家畜の摂食時間を推定する推定工程と、を含む処理を実行することを特徴とする推定方法である。
【0008】
また、本発明の他の態様であるプログラムは、推定装置のコンピュータを、給餌場内の家畜を前方から撮像した撮像データを入力するデータ入力手段、前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段、前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段、として機能させることを特徴とするプログラムである。
【0009】
また、本発明の他の態様であるシステムは、給餌場内の家畜を前方から撮像する撮像装置と、推定装置とを備えた推定システムにおいて、前記推定装置は、前記家畜を前方から撮像した撮像データを入力するデータ入力手段と、前記撮像データに基づいて、前記家畜の頭部位置を検出する位置検出手段と、前記撮像データが示す画像に、前記家畜の摂食に係る基準線を設定する基準線設定手段と、前記頭部位置が示す座標と前記基準線が示す座標とに基づいて、前記家畜が摂食しているか否かを判別する判別手段と、前記判別手段の判別結果に基づいて、前記家畜の摂食時間を推定する推定手段と、を備えることを特徴とする推定システムである。
【発明の効果】
【0010】
本発明によれば、家畜の健康管理を効率よく行うことができる。
【図面の簡単な説明】
【0011】
【図1】摂食時間推定システム１の一例を示す説明図である。
【図2】推定装置１２０のハードウェア構成の一例を示す説明図である。
【図3】本実施形態に係る推定装置１２０の機能的構成の一例を示すブロック図である。
【図4】摂食時間の推定を行う前段階で行われる設定処理の一例を示すフローチャートである。
【図5】データ入力部１５１に入力される撮像データが示す入力画像の一例を示す図である。
【図6】位置検出部１５２によって検出される牛Ｂｕの頭部位置の一例を示す図である。
【図7】関心領域設定部１５４によって設定された関心領域７００の一例を示す図である。
【図8】直線検出部１５５によって検出された検出直線の一例を示す図である。
【図9】基準線設定部１５６によって設定される摂食基準線９００の一例を示す図である。
【図10】分割領域設定部１５７によって設定された分割領域１０００の一例を示す図である。
【図11】推定装置１２０が行う摂食時間の推定処理の一例を示すフローチャートである。
【図12】推定装置１２０が行う未検出処理の一例を示すフローチャートである。
【図13】推定装置１２０が行う牛識別処理の一例を示すフローチャートである。
【図14】判別部１５９による摂食の有無に係る判別結果の一例を示す図である。
【図15】推定装置１２０が行う摂食時間の集計処理の一例を示すフローチャートである。
【図16】摂食時間の集計結果の出力例を示す図である。
【図17】摂食時間の集計結果の出力例を示す図である。
【図18】本実施形態に係る家畜識別システム１８００の機能的構成の一例を示すブロック図である。
【図19】牛Ｂｕの顔画像を抽出して記憶する概要の一例を示す説明図である。
【図20】学習処理部２２１の構成および分類モデルＭ０の構成を示す説明図である。
【図21】推定装置１２０が行う顔画像３２０の記憶制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0012】
（実施形態）
図１は、摂食時間推定システム１の一例を示す説明図である。摂食時間推定システム１は、推定システムの一例である。摂食時間推定システム１は、例えば、畜産農家が管理する酪農場に適用される。酪農場には、数十頭から数百頭の家畜が飼育されている。本実施形態において、家畜は、乳牛（牛Ｂｕ）とする。ただし、家畜は、牛Ｂｕに限らず、例えば、肉牛であってもよいし、豚、ヤギ、鶏など牛以外の動物とすることも可能である。
図１は、摂食時間推定システム１の一例を示す説明図である。摂食時間推定システム１は、推定システムの一例である。摂食時間推定システム１は、例えば、畜産農家が管理する酪農場に適用される。酪農場には、数十頭から数百頭の家畜が飼育されている。本実施形態において、家畜は、乳牛（牛Ｂｕ）とする。ただし、家畜は、牛Ｂｕに限らず、例えば、肉牛であってもよいし、豚、ヤギ、鶏など牛以外の動物とすることも可能である。
【0013】
（給餌場１０について）
酪農場は、給餌場１０を備える。給餌場１０は、牛Ｂｕが餌３０を摂食する場所である。牛Ｂｕは、例えば、毎日朝夕の定められた時間に給餌場１０に移動して、餌３０を摂食する。摂食を終えた牛Ｂｕは、給餌場１０から退き、摂食を終えていない別の牛Ｂｕと入れ替わる。
酪農場は、給餌場１０を備える。給餌場１０は、牛Ｂｕが餌３０を摂食する場所である。牛Ｂｕは、例えば、毎日朝夕の定められた時間に給餌場１０に移動して、餌３０を摂食する。摂食を終えた牛Ｂｕは、給餌場１０から退き、摂食を終えていない別の牛Ｂｕと入れ替わる。
【0014】
給餌場１０には、各種の備品が設けられる。各種備品は、柵２０（柵部）を含む。柵２０は、牛Ｂｕが収容される収容領域２１と、作業者が通行する通路２２とを仕切るために設けられている。柵２０を設けることにより、牛Ｂｕが通路２２側へ進出できないようになっており、すなわち、牛Ｂｕは収容領域２１内に留め置かれるようになっている。
【0015】
柵２０の近傍には、牛Ｂｕが摂食する餌３０が置かれる。具体的には、餌３０は、牛Ｂｕから見て、柵２０を挟んだ通路２２側に置かれる。柵２０には、牛Ｂｕの頭部が通過可能な通過領域が設けられている。牛Ｂｕは、柵２０の通過領域から頭部を露出して、通路２２側に置かれる餌３０を摂食する。
【0016】
なお、柵２０は、牛Ｂｕが自由に頭部を抜き差し可能とするタイプのものであり、すなわち、通過領域を通した頭部の移動を制限しないタイプのものである。ただし、柵２０は、このようなタイプに限らず、牛Ｂｕが自由に頭部を抜き差しできないタイプとしてもよく、すなわち、通過領域を通した頭部の移動を制限するよう頭部をロックするタイプとしてもよい。
【0017】
（撮像装置１００について）
摂食時間推定システム１は、撮像装置１００と、推定装置１２０とを備える。撮像装置１００は、給餌場１０内に収容される牛Ｂｕを撮像する。具体的には、撮像装置１００は、給餌場１０に固定して配置され、各牛Ｂｕを前方から撮像する。より具体的には、撮像装置１００は、撮像範囲に、複数（例えば「５」）の牛Ｂｕの顔が写るように、柵２０から４～５ｍ程度離間して、高さ１．６ｍ程度の位置に配置される。なお、図示では、撮像装置１００が撮像する牛Ｂｕの頭数は、５頭を示す。ただし、撮像する牛Ｂｕの頭数は、これに限らず、例えば、６頭以上（例えば１０頭）とすることも可能であるし、４頭以下とすることも可能である。
摂食時間推定システム１は、撮像装置１００と、推定装置１２０とを備える。撮像装置１００は、給餌場１０内に収容される牛Ｂｕを撮像する。具体的には、撮像装置１００は、給餌場１０に固定して配置され、各牛Ｂｕを前方から撮像する。より具体的には、撮像装置１００は、撮像範囲に、複数（例えば「５」）の牛Ｂｕの顔が写るように、柵２０から４～５ｍ程度離間して、高さ１．６ｍ程度の位置に配置される。なお、図示では、撮像装置１００が撮像する牛Ｂｕの頭数は、５頭を示す。ただし、撮像する牛Ｂｕの頭数は、これに限らず、例えば、６頭以上（例えば１０頭）とすることも可能であるし、４頭以下とすることも可能である。
【0018】
撮像装置１００は、例えば、１秒間に２５フレームの画像を撮像する。撮像装置１００は、撮像した撮像データを推定装置１２０へ出力する。撮像データの出力態様は、有線または無線の送信による出力態様であるが、これに限らず、記憶媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリなど）へ記憶させる出力態様としてもよい。
【0019】
撮像装置１００は、各牛Ｂｕを効率よく識別するという観点から、ＲＧＢカメラとしている。ただし、撮像装置１００は、ＲＧＢカメラに限らず、３Ｄカメラや、赤外線カメラや、モノクロカメラであってもよい。撮像装置１００には、例えば、ＣＣＤ（charge coupled device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを適用することができる。
【0020】
本実施形態では、説明を簡略化するために、撮像装置１００は、１台のみ配置されることとする。ただし、撮像装置１００は、複数台（例えば４台）配置されるようにすることも可能である。複数の撮像装置１００を配置する場合、それぞれを識別する番号（カメラ番号）を付すようにし、いずれの撮像装置１００で撮像された撮像データであることを識別可能にすればよい。
【0021】
（推定装置１２０について）
推定装置１２０は、パソコン、ノートパソコン、タブレット装置、スマートホンなどのコンピュータ装置である。推定装置１２０は、撮像装置１００が出力した撮像データを入力する。撮像データの入力態様は、有線または無線の受信による入力態様であるが、これに限らず、記憶媒体から読み取る入力態様としてもよい。推定装置１２０は、入力した撮像データに基づいて、各牛Ｂｕの摂食時間を推定する。
推定装置１２０は、パソコン、ノートパソコン、タブレット装置、スマートホンなどのコンピュータ装置である。推定装置１２０は、撮像装置１００が出力した撮像データを入力する。撮像データの入力態様は、有線または無線の受信による入力態様であるが、これに限らず、記憶媒体から読み取る入力態様としてもよい。推定装置１２０は、入力した撮像データに基づいて、各牛Ｂｕの摂食時間を推定する。
【0022】
（推定装置１２０のハードウェア構成）
次に、推定装置１２０のハードウェア構成について説明する。
図２は、推定装置１２０のハードウェア構成の一例を示す説明図である。図２に示すように、推定装置１２０は、ＣＰＵ１２１（Central Processing Unit）と、メモリ１２２と、操作部１２３と、マイク１２４と、ディスプレイ１２５と、スピーカ１２６と、通信Ｉ／Ｆ（インタフェース）とを備える。これらは、バス１３０を介して相互に通信可能である。
次に、推定装置１２０のハードウェア構成について説明する。
図２は、推定装置１２０のハードウェア構成の一例を示す説明図である。図２に示すように、推定装置１２０は、ＣＰＵ１２１（Central Processing Unit）と、メモリ１２２と、操作部１２３と、マイク１２４と、ディスプレイ１２５と、スピーカ１２６と、通信Ｉ／Ｆ（インタフェース）とを備える。これらは、バス１３０を介して相互に通信可能である。
【0023】
ＣＰＵ１２１は、中央演算処理装置であり、メモリ１２２に記憶されている各種プログラムを読み出して実行することにより、推定装置１２０の動作を制御する。各種プログラムは、本実施形態に係る、摂食時間推定プログラムと、学習プログラムと、家畜識別プログラムとを含む。
【0024】
メモリ１２２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、ＳＳＤ（Solid State Drive）などを含む。ＲＯＭは、読み出し専用メモリであり、プログラムをはじめとしてＣＰＵ１２１が利用する各種の情報を記憶する。ＲＡＭは、読み出しや書き込みが可能なメモリであり、種々の情報を記憶する。例えば、ＲＡＭは、外部から取得した情報や、処理において生成した情報を記憶する。また、メモリ１２２は、ＵＳＢメモリなどの着脱可能な記憶媒体や、光ディスクなどを含む。
【0025】
操作部１２３は、タッチパネルディスプレイや、キーボード、マウスなどの操作入力部である。
マイク１２４は、音声等の音を入力する。ＣＰＵ１２１は、マイク１２４に入力された音声を認識することにより、各情報を入力することも可能である。
マイク１２４は、音声等の音を入力する。ＣＰＵ１２１は、マイク１２４に入力された音声を認識することにより、各情報を入力することも可能である。
【0026】
ディスプレイ１２５は、タッチパネルディスプレイや、モニタなどである。
スピーカ１２６は、音を出力する。
通信Ｉ／Ｆ１２７は、他の装置と情報を送受信するインタフェースである。
なお、推定装置１２０は、この他にも、情報を読み取るスキャナや、媒体に情報を印刷するプリンタなどを備えていてもよい。
スピーカ１２６は、音を出力する。
通信Ｉ／Ｆ１２７は、他の装置と情報を送受信するインタフェースである。
なお、推定装置１２０は、この他にも、情報を読み取るスキャナや、媒体に情報を印刷するプリンタなどを備えていてもよい。
【0027】
（推定装置１２０の機能的構成について）
次に、推定装置１２０の機能的構成について説明する。
図３は、本実施形態に係る推定装置１２０の機能的構成の一例を示すブロック図である。なお、以下では、図４～図１０を参照しつつ、図３に示す機能的構成について説明する。
次に、推定装置１２０の機能的構成について説明する。
図３は、本実施形態に係る推定装置１２０の機能的構成の一例を示すブロック図である。なお、以下では、図４～図１０を参照しつつ、図３に示す機能的構成について説明する。
【0028】
図３に示すように、推定装置１２０は、データ入力部１５１と、位置検出部１５２と、高さ検出部１５３と、関心領域設定部１５４と、直線検出部１５５と、基準線設定部１５６と、分割領域設定部１５７と、行列生成部１５８と、判別部１５９と、識別部１６０と、推定部１６１との各機能部を備える。各機能部は、ＣＰＵ１２１によって実現される。すなわち、ＣＰＵ１２１がメモリ１２２に記憶されている摂食時間推定プログラムを実行することにより、各機能部を実現する。
【0029】
図４は、摂食時間の推定を行う前段階で行われる設定処理の一例を示すフローチャートである。
ステップＳ４０１：推定装置１２０は、設定処理を開始するか否かを判断する。設定処理の開始は、例えば、オペレータによって、設定処理の開始を示す所定の操作入力を受け付けることである。なお、本実施形態のように撮像装置１００が固定配置されていれば、牛Ｂｕと撮像装置１００との位置関係が変わらない。このため、図４に示す設定処理を最初に１回だけ行うことによって、次回以降も設定した情報を使用することが可能である。なお、撮像装置１００を搭載したロボットを用いる場合など、牛Ｂｕと撮像装置１００との位置関係が変更する場合には、都度、設定処理を行うことを要する。
推定装置１２０は、設定処理の開始となるまで待機する（ステップＳ４０１：ＹＥＳ）。
ステップＳ４０１：推定装置１２０は、設定処理を開始するか否かを判断する。設定処理の開始は、例えば、オペレータによって、設定処理の開始を示す所定の操作入力を受け付けることである。なお、本実施形態のように撮像装置１００が固定配置されていれば、牛Ｂｕと撮像装置１００との位置関係が変わらない。このため、図４に示す設定処理を最初に１回だけ行うことによって、次回以降も設定した情報を使用することが可能である。なお、撮像装置１００を搭載したロボットを用いる場合など、牛Ｂｕと撮像装置１００との位置関係が変更する場合には、都度、設定処理を行うことを要する。
推定装置１２０は、設定処理の開始となるまで待機する（ステップＳ４０１：ＹＥＳ）。
【0030】
（データ入力部１５１）
ステップＳ４０２：設定処理の開始となると（ステップＳ４０１：ＹＥＳ）、データ入力部１５１は、撮像装置１００によって撮像された各牛Ｂｕの撮像データを入力する。撮像データは、例えば、リアルタイムのデータであるが、録画データであってもよい。
図５は、データ入力部１５１に入力される撮像データが示す入力画像の一例を示す図である。図５に示すように、撮像データが示す入力画像（フレーム画像）５００は、牛Ｂｕ（Ｂｕ－１～Ｂｕ－５）と、柵２０と、通路２２と、餌３０と、背景５０との各画像を含む。柵２０は、横方向に延びる直線部分を有する。この直線部分は、柵２０の下端に延設される下端延設部２０ａ（下端の水平パイプ）と、柵２０の上端に延設される上端延設部２０ｂ（上端の水平パイプ）である。下端延設部２０ａは、牛Ｂｕの摂食時における頭部の位置よりも上方に位置する。上端延設部２０ｂは、柵２０が有する通過領域を通した頭部が上方へ移動することを規制する。
ステップＳ４０２：設定処理の開始となると（ステップＳ４０１：ＹＥＳ）、データ入力部１５１は、撮像装置１００によって撮像された各牛Ｂｕの撮像データを入力する。撮像データは、例えば、リアルタイムのデータであるが、録画データであってもよい。
図５は、データ入力部１５１に入力される撮像データが示す入力画像の一例を示す図である。図５に示すように、撮像データが示す入力画像（フレーム画像）５００は、牛Ｂｕ（Ｂｕ－１～Ｂｕ－５）と、柵２０と、通路２２と、餌３０と、背景５０との各画像を含む。柵２０は、横方向に延びる直線部分を有する。この直線部分は、柵２０の下端に延設される下端延設部２０ａ（下端の水平パイプ）と、柵２０の上端に延設される上端延設部２０ｂ（上端の水平パイプ）である。下端延設部２０ａは、牛Ｂｕの摂食時における頭部の位置よりも上方に位置する。上端延設部２０ｂは、柵２０が有する通過領域を通した頭部が上方へ移動することを規制する。
【0031】
（位置検出部１５２）
ステップＳ４０３：位置検出部１５２は、撮像データに基づいて、牛Ｂｕの頭部位置を検出する。位置検出部１５２は、機械学習による画像認識機能（例えば、YOLO：You Only Look Once)によって、入力画像５００から牛Ｂｕの頭部位置を検出する。
図６は、位置検出部１５２によって検出される牛Ｂｕの頭部位置の一例を示す図である。図６に示すように、バウンディングボックス６００（６００ａ～６００ｅ）は、位置検出部１５２によって検出される牛Ｂｕの頭部位置を示している。検出される頭部位置は、バウンディングボックス６００の各辺についてのＸ座標およびＹ座標を含む。
ステップＳ４０３：位置検出部１５２は、撮像データに基づいて、牛Ｂｕの頭部位置を検出する。位置検出部１５２は、機械学習による画像認識機能（例えば、YOLO：You Only Look Once)によって、入力画像５００から牛Ｂｕの頭部位置を検出する。
図６は、位置検出部１５２によって検出される牛Ｂｕの頭部位置の一例を示す図である。図６に示すように、バウンディングボックス６００（６００ａ～６００ｅ）は、位置検出部１５２によって検出される牛Ｂｕの頭部位置を示している。検出される頭部位置は、バウンディングボックス６００の各辺についてのＸ座標およびＹ座標を含む。
【0032】
（高さ検出部１５３）
ステップＳ４０４：高さ検出部１５３は、位置検出部１５２によって検出された頭部位置に基づいて、牛Ｂｕの頭部位置の最大高さを検出する。高さ検出部１５３は、複数のフレーム画像（所定時間分のフレーム画像）における複数の牛Ｂｕのそれぞれ頭部位置の高さ（Ｙ座標）の中から最大高さを検出する。頭部位置の高さは、例えば、バウンディングボックス６００の上辺のＹ座標によって表される。位置検出部１５２は、複数のフレーム画像における各バウンディングボックス６００の上辺のＹ座標のうち、最大値を最大高さとして検出する。
ステップＳ４０４：高さ検出部１５３は、位置検出部１５２によって検出された頭部位置に基づいて、牛Ｂｕの頭部位置の最大高さを検出する。高さ検出部１５３は、複数のフレーム画像（所定時間分のフレーム画像）における複数の牛Ｂｕのそれぞれ頭部位置の高さ（Ｙ座標）の中から最大高さを検出する。頭部位置の高さは、例えば、バウンディングボックス６００の上辺のＹ座標によって表される。位置検出部１５２は、複数のフレーム画像における各バウンディングボックス６００の上辺のＹ座標のうち、最大値を最大高さとして検出する。
【0033】
（関心領域設定部１５４）
ステップＳ４０５：関心領域設定部１５４は、関心領域を設定する。具体的には、関心領域設定部１５４は、高さ検出部１５３によって検出された最大高さに基づいて、撮像データが示す領域のうち関心領域を設定する。ここで、牛Ｂｕの頭部の上方への移動は、上端延設部２０ｂによって規制される。このため、頭部位置の最大高さは、少なくとも、上端延設部２０ｂの高さよりも低くなる。そこで、関心領域設定部１５４は、入力画像５００（図５）から、最大高さよりも上方の画像を削除することによって、関心領域を設定する。これにより、撮像データが示す入力画像５００から、上端延設部２０ｂに対応する領域を削除することができる。
ステップＳ４０５：関心領域設定部１５４は、関心領域を設定する。具体的には、関心領域設定部１５４は、高さ検出部１５３によって検出された最大高さに基づいて、撮像データが示す領域のうち関心領域を設定する。ここで、牛Ｂｕの頭部の上方への移動は、上端延設部２０ｂによって規制される。このため、頭部位置の最大高さは、少なくとも、上端延設部２０ｂの高さよりも低くなる。そこで、関心領域設定部１５４は、入力画像５００（図５）から、最大高さよりも上方の画像を削除することによって、関心領域を設定する。これにより、撮像データが示す入力画像５００から、上端延設部２０ｂに対応する領域を削除することができる。
【0034】
図７は、関心領域設定部１５４によって設定された関心領域７００の一例を示す図である。図７において、関心領域７００は、入力画像５００（図５）から、上端延設部２０ｂに対応する領域が削除されており、すなわち、背景画像５５０を含む領域が削除された領域を示している。
【0035】
（直線検出部１５５）
ステップＳ４０６：直線検出部１５５は、関心領域７００内の画像から、直線を検出する。具体的には、直線検出部１５５は、予め設定される長さ以上の直線を検出する。より具体的には、直線検出部１５５は、ハフ変換を用いて画像中の複数の直線と、当該複数の直線のＹ座標（高さ）とを検出する。
ステップＳ４０６：直線検出部１５５は、関心領域７００内の画像から、直線を検出する。具体的には、直線検出部１５５は、予め設定される長さ以上の直線を検出する。より具体的には、直線検出部１５５は、ハフ変換を用いて画像中の複数の直線と、当該複数の直線のＹ座標（高さ）とを検出する。
【0036】
図８は、直線検出部１５５によって検出された検出直線の一例を示す図である。図８に示すように、入力画像５００には、複数の検出直線８００（８００ａ～８００ｄ）を示している。直線検出部１５５は、各検出直線８００を識別するＩＤとＹ座標とを対応付ける。
【0037】
各検出直線８００ａ～８００ｄについて説明する。関心領域７００は、入力画像５００から上端延設部２０ｂに対応する領域が削除されているものの、上端延設部２０ｂが全て削除されているとは限らない。このため、削除しきれていない上端延設部２０ｂの画像に基づいて、検出直線８００ａが検出されることがある。
検出直線８００ｂは、下端延設部２０ａの画像に基づいて検出された直線を示す。
検出直線８００ｃは、収容領域２１と通路２２との境界を示す画像に基づいて検出された直線を示す。
検出直線８００ｄは、通路２２の画像に基づいて検出された直線を示す。
検出直線８００ｂは、下端延設部２０ａの画像に基づいて検出された直線を示す。
検出直線８００ｃは、収容領域２１と通路２２との境界を示す画像に基づいて検出された直線を示す。
検出直線８００ｄは、通路２２の画像に基づいて検出された直線を示す。
【0038】
なお、餌３０が多い場合には、下端延設部２０ａが餌に隠れてしまい、検出直線８００ｂが精度よく検出されないおそれがある。このようなことに鑑み、検出対象として予め設定される直線の長さは、可能な限り短くしてもよい。
【0039】
（基準線設定部１５６）
ステップＳ４０７：基準線設定部１５６は、撮像データが示す画像に、牛Ｂｕの摂食に係る基準線（以下「摂食基準線」という。）を設定する。摂食に係る基準線は、後述する判別部１５９による摂食の有無の判別に用いられる直線である。基準線設定部１５６は、直線検出部１５５によって検出された検出直線８００に基づいて、摂食基準線を設定する。図８に示したように、関心領域７００において、検出直線８００ｂが最も多く検出されており、すなわち、下端延設部２０ａに対応する位置に、直線が多く検出されている。このため、検出した複数の検出直線８００ａ～８００ｄの各Ｙ座標において、検出直線８００ｂのＹ座標が中央値となる。そこで、基準線設定部１５６は、当該中央値（検出直線８００ｂのＹ座標）を摂食基準線として設定する。
ステップＳ４０７：基準線設定部１５６は、撮像データが示す画像に、牛Ｂｕの摂食に係る基準線（以下「摂食基準線」という。）を設定する。摂食に係る基準線は、後述する判別部１５９による摂食の有無の判別に用いられる直線である。基準線設定部１５６は、直線検出部１５５によって検出された検出直線８００に基づいて、摂食基準線を設定する。図８に示したように、関心領域７００において、検出直線８００ｂが最も多く検出されており、すなわち、下端延設部２０ａに対応する位置に、直線が多く検出されている。このため、検出した複数の検出直線８００ａ～８００ｄの各Ｙ座標において、検出直線８００ｂのＹ座標が中央値となる。そこで、基準線設定部１５６は、当該中央値（検出直線８００ｂのＹ座標）を摂食基準線として設定する。
【0040】
図９は、基準線設定部１５６によって設定される摂食基準線９００の一例を示す図である。図９に示すように、摂食基準線９００は、検出直線８００ｂ（図８）に対応する位置に設定されている。これにより、牛Ｂｕの頭部を示すバウンディングボックス６００（図６）の下辺のＹ座標が摂食基準線９００を下回ることにより、当該牛Ｂｕが摂食したことを判別することが可能になる。
【0041】
なお、本実施形態において、摂食基準線９００は、自動で設定されることとするが、これに限らない。例えば、摂食基準線９００は、オペレータからＹ座標の指定を受け付けることにより、手動で設定されてもよい。すなわち、基準線設定部１５６は、オペレータから操作入力された直線（Ｙ座標）に基づいて、摂食基準線９００を設定してもよい。また、推定装置１２０は、自動で摂食基準線９００を設定する場合でも、設定した摂食基準線９００の調整（Ｙ座標の微調整など）をオペレータから受け付けるようにしてもよい。これにより、オペレータの確認のもと、摂食基準線９００を精度よく設定することができる。
【0042】
また、本実施形態では、摂食基準線の設定では、各Ｙ座標の中央値に代えて、各Ｙ座標の平均値や最頻値を用いることも可能である。ただし、下端延設部２０ａの部分に摂食基準線を精度よく設定するという観点からすると、各Ｙ座標の中央値を用いることが望ましい。
【0043】
（分割領域設定部１５７）
ステップＳ４０７：分割領域設定部１５７は、データ入力部１５１に入力された撮像データが示す入力画像に、複数の牛Ｂｕにそれぞれ対応する複数の分割領域を設定する。具体的には、分割領域設定部１５７は、関心領域７００内の牛Ｂｕの最大頭数分、分割領域を設定する。分割領域設定部１５７は、関心領域７００をＸ軸方向（横方向）に均等に分割して分割領域を設定する。本実施形態において分割する数は、「５」である。分割する数は、オペレータによって操作入力された数である。ただし、分割する数は、予め設定された数としてもよい。
ステップＳ４０７：分割領域設定部１５７は、データ入力部１５１に入力された撮像データが示す入力画像に、複数の牛Ｂｕにそれぞれ対応する複数の分割領域を設定する。具体的には、分割領域設定部１５７は、関心領域７００内の牛Ｂｕの最大頭数分、分割領域を設定する。分割領域設定部１５７は、関心領域７００をＸ軸方向（横方向）に均等に分割して分割領域を設定する。本実施形態において分割する数は、「５」である。分割する数は、オペレータによって操作入力された数である。ただし、分割する数は、予め設定された数としてもよい。
【0044】
図１０は、分割領域設定部１５７によって設定された分割領域１０００の一例を示す図である。図１０に示すように、関心領域７００は、Ｘ軸方向に均等に５分割されている。各分割領域１０００（第１分割領域１０００－１～第５分割領域１０００－５）は、各牛Ｂｕ（Ｂｕ－１～Ｂｕ－５）の画像に対応しており、領域を識別する分割領域番号（１～５）が付される。
【0045】
また、推定装置１２０は、各牛Ｂｕがどの分割領域に存在しているかを特定する。具体的には、推定装置１２０は、バウンディングボックス６００のＸ座標およびバウンディングボックス６００の横幅に基づいて、バウンディングボックス６００の中心Ｘ座標を算出する。さらに、推定装置１２０は、中心Ｘ座標と、各領域のＸ座標（ｂ１～ｂ４）とに基づいて、バウンディングボックス６００が含まれる分割領域１０００を決定する。図示のように、中心座標ｘが「ｂ３≦ｘ≦ｂ４」であれば、推定装置１２０は、バウンディングボックス６００が第４分割領域１０００－４に存在するものと決定する。
【0046】
（行列生成部１５８）
ステップＳ４０８：行列生成部１５８は、分割領域１０００（分割領域番号）に対応する行列Ｔを生成する。本実施形態の場合、行列Ｔは、１行５列（［０００００］）である。行列Ｔの各列は、分割領域番号に対応する。行列Ｔの各成分は、摂食に係るカウント値を示す。詳細については後述するが、フレーム画像ごとに各領域における各牛Ｂｕが摂食していると判別されると、行列の成分（摂食カウント値）に「１」が加算される。例えば、牛Ｂｕ－２が摂食していると判別されると、行列Ｔのうち牛Ｂｕ－２（分割領域番号＝２）に対応する成分に「１」が加算され、すなわち、行列Ｔは［０１０００］となる。
ステップＳ４０８：行列生成部１５８は、分割領域１０００（分割領域番号）に対応する行列Ｔを生成する。本実施形態の場合、行列Ｔは、１行５列（［０００００］）である。行列Ｔの各列は、分割領域番号に対応する。行列Ｔの各成分は、摂食に係るカウント値を示す。詳細については後述するが、フレーム画像ごとに各領域における各牛Ｂｕが摂食していると判別されると、行列の成分（摂食カウント値）に「１」が加算される。例えば、牛Ｂｕ－２が摂食していると判別されると、行列Ｔのうち牛Ｂｕ－２（分割領域番号＝２）に対応する成分に「１」が加算され、すなわち、行列Ｔは［０１０００］となる。
【0047】
図４に示したステップＳ４０１～Ｓ４０９に示した各処理が実行されることにより、設定処理が完了する。
【0048】
【0049】
ステップＳ１１０１：推定装置１２０は、摂食時間の推定を開始するか否かを判断する。設定処理の開始は、手動入力を受け付けることとしてもよいし、自動入力によるものとしてもよい。手動入力は、例えば、牛Ｂｕの入れ替えがあったことにより、オペレータによって、摂食時間の推定開始を示す所定の操作入力を受け付けることである。自動入力は、例えば、設定処理（図４）の完了によって設定完了の指示を取得すること（設定処理の完了後にそのまま自動開始）としてもよい。推定装置１２０は、摂食時間の推定開始となるまで、待機する（ステップＳ１１０１：ＮＯ）
【0050】
ステップＳ１１０２：摂食時間の推定を開始する場合（ステップＳ１１０１：ＹＥＳ）、データ入力部１５１は、撮像装置１００によって撮像された各牛Ｂｕのフレーム画像（撮像データ）を入力する。
ステップＳ１１０３：推定装置１２０は、注目する分割領域１０００の分割領域番号Ｎに「１」をセットする。
ステップＳ１１０３：推定装置１２０は、注目する分割領域１０００の分割領域番号Ｎに「１」をセットする。
【0051】
ステップＳ１１０４：位置検出部１５２は、分割領域番号Ｎが示す分割領域について、頭部位置を検出したか否かを判断する。位置検出部１５２によって頭部位置が検出された場合（ステップＳ１１０４：ＹＥＳ）、推定装置１２０は、ステップＳ１１０６に進む。なお、このとき、後述する未検出カウント値Ｐ（未検出時にカウント値）をリセットする（「０」にする）。
【0052】
ステップＳ１１０５：位置検出部１５２によって頭部位置が検出されない場合（ステップＳ１１０４：ＮＯ）、推定装置１２０は、未検出処理（図１２）を実行することにより、分割領域１０００内の牛Ｂｕの存否を確認する。
ステップＳ１１０６：識別部１６０は、機械学習による牛識別処理（図１３）を実行することにより、牛Ｂｕの牛ＩＤを識別（個体識別）する。
ステップＳ１１０６：識別部１６０は、機械学習による牛識別処理（図１３）を実行することにより、牛Ｂｕの牛ＩＤを識別（個体識別）する。
【0053】
（判別部１５９）
ステップＳ１１０７：判別部１５９は、頭部位置が示す座標と摂食基準線９００が示す座標とに基づいて、牛Ｂｕが摂食しているか否かを判別する。具体的には、判別部１５９は、牛Ｂｕの頭部を示すバウンディングボックス６００（図６）の下辺のＹ座標が摂食基準線９００のＹ座標を下回っているか否かを判別することにより、当該牛Ｂｕが摂食しているか否かを判別する。なお、摂食基準線９００との比較対象は、バウンディングボックス６００の下辺に限らず、バウンディングボックス６００の中心位置としてもよいし、上辺位置とすることも可能である。
ステップＳ１１０７：判別部１５９は、頭部位置が示す座標と摂食基準線９００が示す座標とに基づいて、牛Ｂｕが摂食しているか否かを判別する。具体的には、判別部１５９は、牛Ｂｕの頭部を示すバウンディングボックス６００（図６）の下辺のＹ座標が摂食基準線９００のＹ座標を下回っているか否かを判別することにより、当該牛Ｂｕが摂食しているか否かを判別する。なお、摂食基準線９００との比較対象は、バウンディングボックス６００の下辺に限らず、バウンディングボックス６００の中心位置としてもよいし、上辺位置とすることも可能である。
【0054】
図１４は、判別部１５９による摂食の有無に係る判別結果の一例を示す図である。図１４において、第１分割領域１０００－１の牛Ｂｕ－１を例に挙げて説明する。バウンディングボックス６００ａの下辺のＹ座標は、摂食基準線９００のＹ座標を下回っている。このため、判別部１５９は、牛Ｂｕ－１が摂食していると判別する。同様に、牛Ｂｕ－２～牛Ｂｕ－４についても、判別部１５９は、摂食していると判別する。一方で、牛Ｂｕ－５については、バウンディングボックス６００ｅの下辺のＹ座標は、摂食基準線９００のＹ座標を下回っていない。このため、牛Ｂｕ－５について、判別部１５９は摂食していないと判別する。
【0055】
（推定部１６１）
ステップＳ１１０８：推定部１６１は、牛Ｂｕが摂食していると判断した場合（ステップＳ１１０７：ＹＥＳ）、当該牛Ｂｕに対応する行列の成分（摂食カウント値Ｅ）に「１」を加算する。なお、ステップＳ１１０７において、判別部１５９によって、牛Ｂｕが摂食していると判断しない場合（ステップＳ１１０７：ＮＯ）、推定部１６１は、摂食カウント値Ｅに「１」を加算せずに、ステップＳ１１０９の処理に進む。
ステップＳ１１０８：推定部１６１は、牛Ｂｕが摂食していると判断した場合（ステップＳ１１０７：ＹＥＳ）、当該牛Ｂｕに対応する行列の成分（摂食カウント値Ｅ）に「１」を加算する。なお、ステップＳ１１０７において、判別部１５９によって、牛Ｂｕが摂食していると判断しない場合（ステップＳ１１０７：ＮＯ）、推定部１６１は、摂食カウント値Ｅに「１」を加算せずに、ステップＳ１１０９の処理に進む。
【0056】
ステップＳ１１０９：推定部１６１は、識別部１６０によって識別された牛ＩＤと、摂食時間とを対応付けた推定結果を出力する。摂食時間は、摂食カウント値Ｅに基づいて、算出される。本実施形態では、撮像データのフレームレートを２５ｆｐｓとしていることから、推定部１６１は、摂食カウント値Ｅが「２５」になると、摂食時間が１秒であると推定する。例えば、摂食カウント値Ｅが「２５００」になると、推定装置１２０は、摂食時間が１００秒（１分２０秒）であると推定する。
【0057】
ここで、推定結果の出力の一例について説明すると、図１４に示すように、推定結果１４００は、バウンディングボックス６００に、牛Ｂｕの識別結果１４０１と、摂食時間１４０２とが対応付けられた画像を示す。識別結果１４０１は、識別部１６０によって個体識別された牛Ｂｕの牛ＩＤを示す。摂食時間１４０２は、摂食カウント値Ｅに基づく合計の摂食時間を示す。なお、推定部１６１は、摂食時間１４０２に代えて又は加えて、摂食カウント値Ｅを出力するようにしてもよい。
【0058】
ステップＳ１１１０：推定装置１２０は、１フレーム画像について全ての牛Ｂｕについて摂食の有無を判別したか否かを判別する。具体的には、推定装置１２０は、注目する分割領域１０００の分割領域番号Ｎが「５」にセットされているか否かを判断する。
ステップＳ１１１１：分割領域番号Ｎが「５」にセットされていない場合（ステップＳ１１０８：ＮＯ）、分割領域番号Ｎに「Ｎ＋１」を加算し、ステップＳ１１０４に戻る。これにより、例えば、Ｎに「１」がセットされていれば、Ｎを「２」にすることができ、第２分割領域１０００－２の牛Ｂｕ－２について摂食の有無を判別することができる。
ステップＳ１１１１：分割領域番号Ｎが「５」にセットされていない場合（ステップＳ１１０８：ＮＯ）、分割領域番号Ｎに「Ｎ＋１」を加算し、ステップＳ１１０４に戻る。これにより、例えば、Ｎに「１」がセットされていれば、Ｎを「２」にすることができ、第２分割領域１０００－２の牛Ｂｕ－２について摂食の有無を判別することができる。
【0059】
ステップＳ１１１２：推定装置１２０は、摂食時間の推定処理を終了するか否を判断する。推定処理の終了は、例えば、牛Ｂｕの摂食が完了し、オペレータによって、推定処理の終了を示す所定の操作入力を受け付けることである。摂食時間の推定処理を終了しない場合（ステップＳ１１１２：ＮＯ）、推定装置１２０は、ステップＳ１１０２に戻り、ステップＳ１１０２～ステップＳ１１１２の処理を繰り返す。一方、摂食時間の推定処理を終了する場合（ステップＳ１１１２：ＹＥＳ）、推定装置１２０は、一連の処理を終了する。
【0060】
（ステップＳ１１０５の未検出処理について）
図１２は、推定装置１２０が行う未検出処理の一例を示すフローチャートである。未検出処理では、分割領域１０００内の牛Ｂｕの存否が判断される。
図１２は、推定装置１２０が行う未検出処理の一例を示すフローチャートである。未検出処理では、分割領域１０００内の牛Ｂｕの存否が判断される。
【0061】
ステップＳ１２０１：推定装置１２０は、未検出カウント値Ｐに「１」を加算する。
ステップＳ１２０２：推定装置１２０は、未検出カウント値Ｐが閾値であるか否かを判断する。本実施形態では、撮像データのフレームレートを２５ｆｐｓとしていることから、閾値を「２５００（＝１００秒）」とすることにより、１００秒間、牛Ｂｕの頭部が検出されない場合には、牛がいないもの（立ち去ったもの）と判断することができる。未検出カウント値Ｐが閾値ではない場合（ステップＳ１２０２：ＮＯ）、推定装置１２０は、ステップＳ１１０６（図１１）へ進む。
ステップＳ１２０２：推定装置１２０は、未検出カウント値Ｐが閾値であるか否かを判断する。本実施形態では、撮像データのフレームレートを２５ｆｐｓとしていることから、閾値を「２５００（＝１００秒）」とすることにより、１００秒間、牛Ｂｕの頭部が検出されない場合には、牛がいないもの（立ち去ったもの）と判断することができる。未検出カウント値Ｐが閾値ではない場合（ステップＳ１２０２：ＮＯ）、推定装置１２０は、ステップＳ１１０６（図１１）へ進む。
【0062】
ステップＳ１２０３：。未検出カウント値Ｐが閾値である場合（ステップＳ１２０２：ＹＥＳ）、推定装置１２０は、当該分割領域に牛Ｂｕがいないものと見なして、分割領域番号Ｎの成分（摂食カウント値Ｅ）をリセットし、ステップＳ１１０６（図１１）へ進む。すなわち、推定装置１２０は、位置検出部１５２によって所定時間以上、頭部位置が検出されない場合、当該分割領域に係る摂食時間の推定を終了する。
【0063】
（ステップＳ１１０６の牛識別処理について）
図１３は、推定装置１２０が行う牛識別処理の一例を示すフローチャートである。
ステップＳ１３０１：後述する顔画像抽出部２３２（図２０）は、位置検出部１５２によって検出された頭部位置から顔画像を抽出する。なお、位置検出部１５２が、顔画像抽出部２３２の機能を有してもよい。この場合、ステップＳ１３０１は、位置検出部１５２から顔画像を取得する処理とすればよい。
図１３は、推定装置１２０が行う牛識別処理の一例を示すフローチャートである。
ステップＳ１３０１：後述する顔画像抽出部２３２（図２０）は、位置検出部１５２によって検出された頭部位置から顔画像を抽出する。なお、位置検出部１５２が、顔画像抽出部２３２の機能を有してもよい。この場合、ステップＳ１３０１は、位置検出部１５２から顔画像を取得する処理とすればよい。
【0064】
ステップＳ１３０２：識別部１６０は、牛ＩＤを識別するための学習済みモデルに顔画像を入力する。学習済みモデルの生成については、後述する。
【0065】
ステップＳ１３０３：識別部１６０は、入力した顔画像についての牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択する。なお、推定値は、牛ＩＤごとに可能性を示すパーセンテージで表される。具体的には、牛ＩＤ「００１」の可能性が９５％、牛ＩＤ「００２」の可能性が２％、牛ＩＤ「００３」の可能性が１％というように表される。識別部１６０は、最も可能性が高い牛ＩＤを選択する。
【0066】
【0067】
（推定装置１２０が行う摂食時間の集計処理について）
次に、推定装置１２０が行う摂食時間の集計処理について説明する。
図１５は、推定装置１２０が行う摂食時間の集計処理の一例を示すフローチャートである。
ステップＳ１５０１：推定装置１２０は、摂食時間の集計を開始するか否かを判断する。集計の開始は、例えば、牛Ｂｕが入れ替わるタイミング（立ち去ったタイミング）である。牛Ｂｕが入れ替わるタイミングは、例えば、未検出カウント値Ｐが閾値となったタイミング（ステップＳ１２０３）としてもよいし、牛Ｂｕの入れ替え時にオペレータから集計開始の所定の操作を受け付けたタイミングとしてもよい。推定装置１２０は、摂食時間の集計開始となるまで、待機する（ステップＳ１５０１：ＮＯ）。
次に、推定装置１２０が行う摂食時間の集計処理について説明する。
図１５は、推定装置１２０が行う摂食時間の集計処理の一例を示すフローチャートである。
ステップＳ１５０１：推定装置１２０は、摂食時間の集計を開始するか否かを判断する。集計の開始は、例えば、牛Ｂｕが入れ替わるタイミング（立ち去ったタイミング）である。牛Ｂｕが入れ替わるタイミングは、例えば、未検出カウント値Ｐが閾値となったタイミング（ステップＳ１２０３）としてもよいし、牛Ｂｕの入れ替え時にオペレータから集計開始の所定の操作を受け付けたタイミングとしてもよい。推定装置１２０は、摂食時間の集計開始となるまで、待機する（ステップＳ１５０１：ＮＯ）。
【0068】
ステップＳ１５０２：摂食時間の集計開始になると（ステップＳ１５０１：ＹＥＳ）、推定装置１２０は、着目する分割領域１０００に牛Ｂｕが存在した期間内の摂食時間を取得する。当該期間は、牛Ｂｕの存在が検出されてから、当該牛Ｂｕの存在が検出されなくなるまでの期間である。
ステップＳ１５０３：推定装置１２０は、着目する分割領域１０００における牛ＩＤを特定する。具体的には、推定装置１２０は、牛Ｂｕが存在した期間内において、識別部１６０によって最も高頻度で識別された牛ＩＤを最終結果として決定する。これにより、フレーム画像単位では一部に誤って他の牛Ｂｕであると識別されたとしても、当該他の牛Ｂｕの摂食として推定しないようにすることができる。
ステップＳ１５０３：推定装置１２０は、着目する分割領域１０００における牛ＩＤを特定する。具体的には、推定装置１２０は、牛Ｂｕが存在した期間内において、識別部１６０によって最も高頻度で識別された牛ＩＤを最終結果として決定する。これにより、フレーム画像単位では一部に誤って他の牛Ｂｕであると識別されたとしても、当該他の牛Ｂｕの摂食として推定しないようにすることができる。
【0069】
ステップＳ１５０４：推定装置１２０は、決定した牛Ｂｕの牛ＩＤと、ステップＳ１５０２において取得した摂食時間とを対応付けた集計結果を生成する。
ステップＳ１５０５：推定装置１２０は、牛ＩＤが示す牛Ｂｕの摂食時間の集計結果を記憶し、一連の処理を終了する。推定装置１２０は、記憶した集計結果を、オペレータから所定の操作を受け付けることにより、出力することが可能である。
ステップＳ１５０５：推定装置１２０は、牛ＩＤが示す牛Ｂｕの摂食時間の集計結果を記憶し、一連の処理を終了する。推定装置１２０は、記憶した集計結果を、オペレータから所定の操作を受け付けることにより、出力することが可能である。
【0070】
図１６および図１７は、摂食時間の集計結果の出力例を示す図である。図１６および図１７に示す集計結果１６００、１７００は、例えば、ディスプレイ１２５に表示される。なお、集計結果１６００、１７００は、紙媒体に印刷されてもよいし、他の装置に送信されてもよい。
【0071】
図１６において、集計結果１６００は、ある日の一回の摂食（例えば朝）における牛Ｂｕごとの摂食時間を示す。これにより、オペレータは、各牛Ｂｕの摂食時間を容易に把握することができる。なお、推定装置１２０は、摂食時間が少ない牛Ｂｕを報知してもよい。具体的には、推定装置１２０は、集計結果１６００において、摂食時間が閾値以下（小食）の牛ＩＤや摂食時間が閾値以上（食べ過ぎ）の牛ＩＤを特定の表示態様で表示してもよい。これにより、オペレータに、体調不良の可能性がある牛Ｂｕについて症状の確認を促すことができる。
【0072】
図１７に示す集計結果１７００は、牛Ｂｕごとの摂食時間をまとめたものである。具体的には、集計結果１７００は、牛Ｂｕごとの各時間帯（朝／夕）の摂食時間や、ひと月の総摂食時間や、１回あたりの平均摂食時間などを含む。推定装置１２０は、オペレータから牛ＩＤの入力を受け付けることにより、受け付けた牛ＩＤに対応する集計結果１７００を表示する。これにより、オペレータは、特定の牛Ｂｕについて摂食時間を詳細に把握することができる。また、推定装置１２０は、閾値以下（または閾値以上）の摂食時間を特定の表示態様で表示してもよい。
【0073】
なお、集計結果１６００、１７００の表示態様は、図示したものに限らない。例えば、牛ＩＤの指定を受け付けることにより、当該牛ＩＤが示す牛Ｂｕの過去１年の集計や表示したり、摂食時間の少ない時期など特定の期間を表示したりすることも可能である。また、例えば、摂食時間の短い牛Ｂｕや、摂食時間の長い牛Ｂｕをそれぞれランキング表示することも可能である。さらに、摂食時間が閾値以下であることが所定の頻度で生じた場合には、当該牛Ｂｕに健康に異常が生じている可能性があることを示唆するようにしてもよい。
【0074】
（学習済みモデルの生成について）
次に、学習済みモデルの生成について説明する。なお、以下に説明する学習済みモデルは、推定装置１２０によって生成されることとするが、これに限らず、他の装置によって生成されてもよい。また、以下に説明する家畜識別システム１８００は、摂食時間推定システム１の一部であってもよいし、摂食時間推定システム１とは別のシステムであってもよい。
次に、学習済みモデルの生成について説明する。なお、以下に説明する学習済みモデルは、推定装置１２０によって生成されることとするが、これに限らず、他の装置によって生成されてもよい。また、以下に説明する家畜識別システム１８００は、摂食時間推定システム１の一部であってもよいし、摂食時間推定システム１とは別のシステムであってもよい。
【0075】
（家畜識別システム１８００の機能的構成、および牛Ｂｕの顔画像の抽出について）
図１８は、本実施形態に係る家畜識別システム１８００の機能的構成の一例を示すブロック図である。以下では、図１９を参照しつつ、図１８に示す機能的構成について説明する。
図１９は、牛Ｂｕの顔画像を抽出して記憶する概要の一例を示す説明図である。
図１８は、本実施形態に係る家畜識別システム１８００の機能的構成の一例を示すブロック図である。以下では、図１９を参照しつつ、図１８に示す機能的構成について説明する。
図１９は、牛Ｂｕの顔画像を抽出して記憶する概要の一例を示す説明図である。
【0076】
図１８に示すように、家畜識別システム１８００は、撮像装置１００と、推定装置１２０とを備える。推定装置１２０は、記憶制御装置２００と、学習装置２２０とを備える。記憶制御装置２００は、入力部２０１と、設定部２０２と、抽出部２０３と、記憶制御部２０４と、検出部２０５と、記憶部２１０との各機能部を備える。学習装置２２０は、学習処理部２２１の機能部を備える。推定装置１２０は、撮像情報入力部２３１と、顔画像抽出部２３２と、識別部１６０と、出力部２３４との各機能部を備える。
【0077】
入力部２０１は、撮像装置１００から撮像情報（撮像データ）を入力する。撮像情報は、牛Ｂｕ（Ｂｕ１～Ｂｕ４）を前方から撮像した画像情報である。撮像情報３００は、動画および静止画を含む。図１９に示すように、撮像情報３００は、複数のフレーム画像３０１を含む。各フレーム画像３０１の撮像領域３０２には、複数の牛Ｂｕが存在することを示している。なお、撮像領域３０２には、一頭の牛Ｂｕのみが存在する場合もある。
【0078】
設定部２０２は、撮像情報３００が示す撮像領域３０２のうち関心領域３１０（３１０ａ～３１０ｄ）を設定する。関心領域３１０は、牛Ｂｕまたは柵２０の通過領域に対応して設けられる領域であり、それぞれ牛Ｂｕの頭部が存在可能な領域を示す。関心領域３１０には、それぞれ対応する識別情報が付与される。
【0079】
抽出部２０３は、撮像情報３００に基づいて、関心領域３１０内の牛Ｂｕの顔画像３２０（３２０ａ～３２０ｄ）を抽出する。抽出部２０３は、画像認識による物体検出機能により、顔画像３２０を抽出する。抽出部２０３は、入力部２０１にフレーム画像３０１が入力される度に、顔画像３２０を抽出する。
【0080】
抽出された顔画像３２０は、例えば、３００×３００ピクセルに正規化される。仮に、抽出した顔画像３２０が横２４０×縦３００ピクセルであった場合、横方向の３００ピクセルに満たない箇所に無地（例えば黒）の画像を付け加えることにより、３００×３００ピクセルにする。すなわち、抽出した顔画像３２０の縦横の一方が３００ピクセルであり、他方が３００ピクセルに満たない場合、３００ピクセルに満たない箇所に無地（例えば黒）の画像を付け加えることにより、３００×３００ピクセルにする。
【0081】
また、仮に、抽出した顔画像３２０の縦横いずれもが３００ピクセルではない場合、ピクセル数の大きい一方が３００ピクセルになるよう、縦横同じ比率で拡大または縮小する。そして、他方の３００ピクセルに満たない箇所に無地の画像を付け加える。これにより、顔画像３２０が縦横いずれも３００ピクセルではない場合でも、３００×３００ピクセルにすることが可能である。
【0082】
記憶制御部２０４は、関心領域３１０に対応して付与される識別情報ごとに顔画像３２０を記憶部２１０に分類して記憶させる。具体的には、記憶制御部２０４は、抽出部２０３によって抽出された顔画像３２０が抽出される度に、それぞれ関心領域３１０に対応して設けられるフォルダ３３０（３３０ａ～３３０ｄ）に顔画像３２０を分類して記憶させる。記憶部２１０は、牛Ｂｕごとに、所定数の顔画像３２０をそれぞれ記憶させる。所定数は、後述する学習処理部において学習済みモデルを作成することが可能な数（例えば、３００枚程度）であればよい。
【0083】
フォルダ３３０には、識別情報としてのフォルダＩＤ（Identity）が付されている。フォルダＩＤは、牛ＩＤに対応付けられる。牛ＩＤは、フォルダＩＤと同じＩＤとしてもよいし、別途、推定装置１２０の操作者（例えば、酪農家）によって付されるＩＤや、牛Ｂｕの名前や番号としてもよい。記憶制御部２０４は、牛ＩＤ（フォルダＩＤ）ごとに顔画像３２０を記憶部２１０に記憶させる。なお、以下では、牛ＩＤとフォルダＩＤとを同じＩＤとして説明することとし、フォルダＩＤについては、牛ＩＤとして説明する。
【0084】
（重複率の算出について）
ここで、給餌場１０で餌を食べる牛Ｂｕは、餌を食べ始めてから、所定時間（例えば５分）はその場に留まって餌を食べ続ける傾向にあるものの、目の前の餌がなくなったときには、隣の牛Ｂｕの前にある餌を食べる場合もある。このような場合や、空腹が満たされて牛Ｂｕがその場に留まらない場合には、牛Ｂｕの顔画像３２０が関心領域３１０から外れてしまうことがある。関心領域３１０から外れた顔画像３２０は、例えば、顔が半分しか写っていないこともあるため、学習用の画像に用いられることは望ましくない。そこで、本実施形態では、顔画像３２０と関心領域３１０との重複率に基づいて、顔画像３２０を記憶させるようにしている。
ここで、給餌場１０で餌を食べる牛Ｂｕは、餌を食べ始めてから、所定時間（例えば５分）はその場に留まって餌を食べ続ける傾向にあるものの、目の前の餌がなくなったときには、隣の牛Ｂｕの前にある餌を食べる場合もある。このような場合や、空腹が満たされて牛Ｂｕがその場に留まらない場合には、牛Ｂｕの顔画像３２０が関心領域３１０から外れてしまうことがある。関心領域３１０から外れた顔画像３２０は、例えば、顔が半分しか写っていないこともあるため、学習用の画像に用いられることは望ましくない。そこで、本実施形態では、顔画像３２０と関心領域３１０との重複率に基づいて、顔画像３２０を記憶させるようにしている。
【0085】
具体的に説明すると、記憶制御部２０４は、顔画像３２０が示す領域と、関心領域３１０とが重複する度合い（重複率）に基づいて、当該関心領域３１０に対応する牛ＩＤごとに顔画像３２０を記憶させる。重複率は、関心領域３１０における顔画像３２０が示す領域の比率として表すことができる。例えば、重複率が閾値未満の顔画像３２０は、隣の牛Ｂｕに設定された関心領域３１０に重なっている可能性がある。
【0086】
一例を挙げると、図１９の牛Ｂｕ１の顔が隣の牛Ｂｕ２の前に移動したことにより、牛Ｂｕ１の顔画像３２０ａが、関心領域３１０ａと関心領域３１０ｂとから抽出されたとする。この場合、関心領域３１０ａから抽出された牛Ｂｕ１の顔画像３２０ａは、関心領域３１０ａにおける重複率として、低い値が算出される。また、関心領域３１０ｂから抽出された牛Ｂｕ１の顔画像３２０ａについても、関心領域３１０ｂにおける重複率として、低い値が算出される。
【0087】
このため、本実施形態において、重複率が閾値未満の場合、記憶制御部２０４は、当該顔画像３２０をフォルダ３３０に記憶させないようにする。一方で、重複率が閾値以上の場合、記憶制御部２０４は、当該顔画像３２０を、対応する牛ＩＤのフォルダ３３０に記憶させるようにする。
【0088】
（関心領域３１０の設定について）
図１９では、各牛Ｂｕは、それぞれ関心領域３１０の中央付近で餌を食べている様子を示している。ただし、牛Ｂｕは、必ずしも、撮像領域３０２における関心領域３１０の中央に位置して、餌を食べるとは限らない。このため、本実施形態では、牛Ｂｕの頭部の移動範囲に応じて関心領域３１０を設定するようにしている。
図１９では、各牛Ｂｕは、それぞれ関心領域３１０の中央付近で餌を食べている様子を示している。ただし、牛Ｂｕは、必ずしも、撮像領域３０２における関心領域３１０の中央に位置して、餌を食べるとは限らない。このため、本実施形態では、牛Ｂｕの頭部の移動範囲に応じて関心領域３１０を設定するようにしている。
【0089】
具体的に説明すると、検出部２０５は、入力部２０１に入力された撮像情報３００に含まれる複数のフレーム画像のそれぞれについて、撮像領域３０２のうち牛Ｂｕの顔の領域を検出する。検出部２０５は、物体検出機能により顔を検出する。顔の領域は、例えば、顔画像３２０が示す領域と同等の領域である。ただし、顔の領域は、顔画像３２０が示す領域よりも小さい領域としてもよいし、大きい領域としてもよい。
【0090】
設定部２０２は、検出部２０５によって検出された複数のフレーム画像における顔の領域に基づいて、関心領域３１０を設定する。具体的には、設定部２０２は、検出部２０５によって検出された同一の個体に係る複数の顔領域の中心を含む所定領域を関心領域３１０に設定する。個体の同定は、例えば、同じフレーム画像に写る複数の顔領域をそれぞれ別の個体とみなし、連続するフレーム画像において最も距離が近い顔領域同士を、同一の個体とみなすことによって行われる。また、個体の同定は、単に相対的な出現位置（左から２番目など）を特定することによって行われてもよい。
【0091】
関心領域３１０は、予め大きさや形（長方形）が予め定められていてもよい。この場合、設定部２０２は、検出部２０５によって検出された顔領域の位置を基準にして、当該長方形の配置位置を決定することにより、関心領域３１０を設定する。また、関心領域３１０を設定する際に、隣り合う関心領域３１０との間には間隙を設けることが望ましい。これは、各牛Ｂｕが隣の牛Ｂｕの関心領域３１０に入りにくくするためである。
【0092】
なお、最初に顔領域の位置を基準にして当該長方形を配置して関心領域３１０を設定したとすると、たまたま隣り合う牛Ｂｕの距離が近い場合には、隣り合う関心領域３１０同士が重なり合ってしまうおそれもある。このため、最初の数十秒程度で各牛Ｂｕの顔領域の平均的な位置を検出するようにし、当該位置を基準にして関心領域３１０を設定してもよい。また、設定部２０２は、当該長方形を縮小したり、横方向の長さを短くしたりして、隣り合う関心領域３１０同士が重なり合わないように、関心領域３１０を設定してもよい。
【0093】
（学習済みモデルの作成について）
学習処理部２２１は、牛ＩＤを識別するための学習済みモデル（判別モデル）を作成する。具体的に説明すると、学習処理部２２１は、学習用データセットを用いて、学習済みモデルを作成させる。学習用データセットは、記憶制御部２０４によって記憶された顔画像３２０を入力サンプルとし、複数のクラスのうち当該顔画像３２０が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットである。学習済みモデルは、入力された顔画像３２０に対応して、当該顔画像３２０が属するクラスの事後確率を示すベクトルを出力する学習済みモデルである。クラスの数は、記憶部２１０のフォルダの数である。
学習処理部２２１は、牛ＩＤを識別するための学習済みモデル（判別モデル）を作成する。具体的に説明すると、学習処理部２２１は、学習用データセットを用いて、学習済みモデルを作成させる。学習用データセットは、記憶制御部２０４によって記憶された顔画像３２０を入力サンプルとし、複数のクラスのうち当該顔画像３２０が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットである。学習済みモデルは、入力された顔画像３２０に対応して、当該顔画像３２０が属するクラスの事後確率を示すベクトルを出力する学習済みモデルである。クラスの数は、記憶部２１０のフォルダの数である。
【0094】
（学習処理部２２１の構成および分類モデルＭ０の構成）
ここで、図２０を用いて、学習処理部２２１について具体的に説明する。
図２０は、学習処理部２２１の構成および分類モデルＭ０の構成を示す説明図である。図２０（Ａ）は、学習処理部２２１の構成を示す。学習処理部２２１は、分類モデル記憶部１１と、データセット取得部１２と、学習部１３と、出力部１４との各機能部を備える。
ここで、図２０を用いて、学習処理部２２１について具体的に説明する。
図２０は、学習処理部２２１の構成および分類モデルＭ０の構成を示す説明図である。図２０（Ａ）は、学習処理部２２１の構成を示す。学習処理部２２１は、分類モデル記憶部１１と、データセット取得部１２と、学習部１３と、出力部１４との各機能部を備える。
【0095】
分類モデル記憶部１１は、畳み込みニューラルネットワークによって構成された分類モデルＭ０を記憶する。分類モデルＭ０は、図２０（Ｂ）に示すように、入力部Ｍ０１、特徴量算出部Ｍ０２、分類部Ｍ０３、出力部Ｍ０４を備える。入力部Ｍ０１は、入力された顔画像３２０をベクトルとして特徴量算出部Ｍ０２に出力する。入力部Ｍ０１は、ニューラルネットワークの入力層をなす。
【0096】
特徴量算出部Ｍ０２及び分類部Ｍ０３は、ニューラルネットワークの中間層をなす。出力部Ｍ０４は、ニューラルネットワークの出力層をなす。特徴量算出部Ｍ０２は、入力部Ｍ０１から入力されたベクトルを、低次元の特徴ベクトルに変換し、分類部Ｍ０３に出力する。分類部Ｍ０３は、特徴量算出部Ｍ０２から入力された特徴ベクトルから、当該特徴ベクトルが表す牛ＩＤの事後確率を示すＰ次元のベクトルに変換する。Ｐは、推定すべき牛ＩＤの数である。
【0097】
データセット取得部１２は、入力サンプルである顔画像３２０と、出力サンプルである牛ＩＤラベルとを関連付けた学習用データセットを取得する。牛ＩＤラベルは、データセットにおける牛ＩＤの数をＰとした場合に、Ｐ次元のワンホットベクトルによって表される。
【0098】
学習部１３は、データセット取得部１２が取得した学習用データセットを用いて、顔画像３２０が入力されると、当該顔画像３２０に該当する牛ＩＤの事後確率を示すＰ次元のベクトルを出力するように、分類モデルＭ０のパラメータを学習させる。
【0099】
次に、学習方法について、具体的に説明する。データセット取得部１２は、予め用意されたデータセットを取得する。そして、学習部１３は、取得したデータセットを用いて、分類モデル記憶部１１が記憶する分類モデルＭ０のパラメータを学習させる。このとき、学習部１３は、分類モデルＭ０の計算結果を用いて損失関数を最小化するように、勾配降下法により各パラメータを更新する。
【0100】
なお、学習部１３は、分類モデルＭ０のうち特徴量算出部Ｍ０２および分類部Ｍ０３のパラメータを更新する。例えば、損失関数は、分類モデルＭ０の出力値とデータセットの出力サンプルとのクロスエントロピー誤差を表す。
【0101】
学習部１３は、損失関数の評価値が所定の閾値を下回った場合、または所定回数だけ学習処理を繰り返した場合に、学習処理を終了する。学習部１３による学習処理が終了すると、出力部１４は、学習部１３によって学習された分類モデルＭ０（学習済みモデル）を識別部１６０へ出力する。
【0102】
（識別情報の付与について）
ここで、学習が進んでいない段階では、学習済みモデルで学習されていない牛Ｂｕと学習された牛Ｂｕとが混在することがある。このとき、学習された牛Ｂｕが餌を食べ終わって、学習されていない牛Ｂｕと入れ替わったときに、この２つの牛Ｂｕの顔画像が同じフォルダに記憶されないようにする必要がある。これについて具体的に説明すると、識別部１６０は、抽出部２０３によって抽出された顔画像３２０を学習済みモデルに入力することで牛ＩＤを識別する。識別部１６０によって牛ＩＤが識別されない場合（確率が低い場合）であり且つ当該牛Ｂｕについて牛ＩＤが付与されたフォルダ３３０がある場合、記憶制御部２０４は、抽出された顔画像３２０を、当該牛ＩＤに対応するフォルダ３３０に記憶させる。
ここで、学習が進んでいない段階では、学習済みモデルで学習されていない牛Ｂｕと学習された牛Ｂｕとが混在することがある。このとき、学習された牛Ｂｕが餌を食べ終わって、学習されていない牛Ｂｕと入れ替わったときに、この２つの牛Ｂｕの顔画像が同じフォルダに記憶されないようにする必要がある。これについて具体的に説明すると、識別部１６０は、抽出部２０３によって抽出された顔画像３２０を学習済みモデルに入力することで牛ＩＤを識別する。識別部１６０によって牛ＩＤが識別されない場合（確率が低い場合）であり且つ当該牛Ｂｕについて牛ＩＤが付与されたフォルダ３３０がある場合、記憶制御部２０４は、抽出された顔画像３２０を、当該牛ＩＤに対応するフォルダ３３０に記憶させる。
【0103】
また、新たに給餌場１０に入った直後の牛Ｂｕには、牛ＩＤ（フォルダＩＤ）が割り当てられていないことになる。このため、新たに給餌場１０に入ってきた牛Ｂｕについて、牛ＩＤを付与してフォルダ３３０を作成する必要がある。これについて具体的に説明すると、新たに給餌場１０に入った直後の牛Ｂｕがいる場合、具体的には、識別部１６０によって牛ＩＤが識別されない場合（学習されていない場合）であり且つ当該牛Ｂｕについて牛ＩＤが付与されたフォルダ３３０がない場合、記憶制御部２０４は、当該関心領域３１０に対応する牛ＩＤを新たに付与して、フォルダ３３０を生成する。
【0104】
また、学習済みモデルで学習された牛Ｂｕの場合、識別部１６０によって牛ＩＤが識別されることになる。この場合、記憶制御部２０４は、抽出部２０３によって抽出された顔画像３２０を、当該牛ＩＤに対応するフォルダ３３０に記憶させる。この場合、学習処理部２２１は、フォルダ３３０に記憶された当該顔画像３２０を用いて学習済みモデルを更新することにより、学習精度を向上させることができる。ただし、記憶制御部２０４は、抽出された顔画像３２０を記憶部２１０に記憶させないようにしてもよい。
【0105】
このように、記憶制御部２０４は、既知の家畜の顔画像３２０が入力されると既知の家畜の牛ＩＤとその確度を出力する判別モデル（例えば、学習処理部に２２１によって作成された学習済みモデル）に、抽出部２０３によって抽出された顔画像３２０を入力する。そして、当該確度が所定値以上である場合、記憶制御部２０４は、判別された牛ＩＤに顔画像３２０を分類する。一方で、当該確度が所定値未満である場合、記憶制御部２０４は、関心領域３１０に対応する牛ＩＤに顔画像３２０を分類する。なお、判別モデルは、学習処理部に２２１によって作成された学習済みモデルに限らず、他の装置によって作成された学習済みモデルとしてもよい。
【0106】
（牛Ｂｕの識別について）
識別部１６０は、学習処理部２２１によって作成された学習済みモデルを用いることによって、給餌場１０で餌を食べる牛Ｂｕの牛ＩＤをリアルタイムに識別することが可能である。具体的に説明すると、撮像情報入力部２３１は、撮像装置１００から、牛Ｂｕを前方から撮像した撮像情報を入力する。顔画像抽出部２３２は、撮像情報に基づいて、牛Ｂｕの顔画像３２０を抽出する。識別部１６０は、学習装置２２０によって学習された学習済みモデルに、顔画像抽出部２３２によって抽出されたリアルタイムの顔画像３２０を入力することで、牛ＩＤを識別する。より具体的には、識別部１６０は、学習済みモデルに入力した顔画像３２０について牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択（識別）する。
識別部１６０は、学習処理部２２１によって作成された学習済みモデルを用いることによって、給餌場１０で餌を食べる牛Ｂｕの牛ＩＤをリアルタイムに識別することが可能である。具体的に説明すると、撮像情報入力部２３１は、撮像装置１００から、牛Ｂｕを前方から撮像した撮像情報を入力する。顔画像抽出部２３２は、撮像情報に基づいて、牛Ｂｕの顔画像３２０を抽出する。識別部１６０は、学習装置２２０によって学習された学習済みモデルに、顔画像抽出部２３２によって抽出されたリアルタイムの顔画像３２０を入力することで、牛ＩＤを識別する。より具体的には、識別部１６０は、学習済みモデルに入力した顔画像３２０について牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択（識別）する。
【0107】
出力部２３４は、識別部１６０によって識別された結果を示す牛ＩＤを出力する。出力部２３４は、識別部１６０によって識別された牛ＩＤと、顔画像３２０とを出力する。出力部２３４は、牛ＩＤと牛Ｂｕの顔画像３２０（映像）とを対応付けて推定結果１４００（図１４）として出力する。なお、出力部２３４による出力態様は、表示による出力態様に限らず、音声による出力態様や、外部の装置への送信による出力態様を含んでもよい。外部の装置に送信する場合、外部の装置が、当該牛ＩＤや顔画像３２０を表示してもよい。
【0108】
識別部１６０は、フレーム画像ごとに、顔画像抽出部２３２によって顔画像３２０が抽出される牛ＩＤを識別する。出力部２３４は、フレーム画像ごとに、識別部１６０によって牛ＩＤが識別される牛ＩＤを出力する。また、出力部２３４は、複数のフレーム画像について、識別部１６０によって識別された牛ＩＤのうち、最も多く識別された牛ＩＤを最終結果として出力する。具体的には、出力部２３４は、所定時間内に最も多く識別された牛ＩＤを最終結果として出力する。所定時間は、牛Ｂｕがその場に留まって餌を食べる時間内（例えば５分以内）であればよい。本実施形態において、所定時間は、例えば、３分である。
【0109】
なお、本実施形態において、識別部１６０は、学習装置２２０によって作成された学習済みモデルを用いて、顔画像３２０の牛ＩＤを識別するようにしたが、これに限らない。例えば、識別部１６０は、各フォルダ３３０に対応する顔画像３２０の特徴量を比較する比較用のデータを用いて、牛ＩＤを識別するようにしてもよい。具体的に説明すると、不図示のデータベースに、各牛Ｂｕについて、牛ＩＤと、顔画像３２０から抽出された比較用の特徴量とを対応付けて記憶しておく。識別部１６０は、顔画像抽出部２３２によって抽出されたリアルタイムの顔画像３２０から特徴量を計算し、当該特徴量と最も類似度が高い特徴量に対応する牛ＩＤを特定（識別）するようにしてもよい。
【0110】
なお、本実施形態において、記憶制御装置２００と、学習装置２２０とは、推定装置１２０に含まれるが、これに限らない。例えば、推定装置１２０と、記憶制御装置２００と、学習装置２２０とは、それぞれ別々の装置であってもよい。また、推定装置１２０と、学習装置２２０とを別々の装置とし、学習装置２２０に記憶制御装置２００が含まれるようにしてもよいし、推定装置１２０に記憶制御装置２００が含まれるようにしてもよい。
【0111】
また、記憶部２１０は、記憶制御装置２００に具備されることに限らず、外部のサーバなど外部の装置に具備されていてもよい。また、入力部２０１と、撮像情報入力部２３１とは、別々の機能部とすることに限らず、一の機能部としてもよい。同様に、抽出部２０３と、顔画像抽出部２３２とについても、別々の機能部とすることに限らず、一の機能部としてもよい。
【0112】
なお、図１８に示した各機能部や、図２０に示した各機能部は、ＣＰＵ１２１によって実現される。すなわち、ＣＰＵ１２１がメモリ１２２に記憶されている学習プログラムおよび家畜識別プログラム等の各種プログラムを実行することにより、各機能部を実現する。
【0113】
（推定装置１２０が行う顔画像３２０の記憶制御処理の一例）
図２１は、推定装置１２０が行う顔画像３２０の記憶制御処理の一例を示すフローチャートである。図２１において、推定装置１２０は、操作部１２３（図５）が学習開始を示す所定の操作を受け付けることにより、学習を開始するか否かを判断する（ステップＳ６０１）。推定装置１２０は、学習の開始となるまで待機し（ステップＳ６０１：ＮＯ）、学習の開始になると（ステップＳ６０１：ＹＥＳ）、撮像装置１００によって撮像された撮像情報３００（一のフレーム画像３０１）を入力する（ステップＳ６０２）。
図２１は、推定装置１２０が行う顔画像３２０の記憶制御処理の一例を示すフローチャートである。図２１において、推定装置１２０は、操作部１２３（図５）が学習開始を示す所定の操作を受け付けることにより、学習を開始するか否かを判断する（ステップＳ６０１）。推定装置１２０は、学習の開始となるまで待機し（ステップＳ６０１：ＮＯ）、学習の開始になると（ステップＳ６０１：ＹＥＳ）、撮像装置１００によって撮像された撮像情報３００（一のフレーム画像３０１）を入力する（ステップＳ６０２）。
【0114】
そして、推定装置１２０は、関心領域３１０を設定済みであるか否かを判断する（ステップＳ６０３）。関心領域３１０を設定済みである場合（ステップＳ６０３：ＹＥＳ）、推定装置１２０は、ステップＳ６０５に進む。関心領域３１０を設定済みではない場合（ステップＳ６０３：ＮＯ）、推定装置１２０は、牛Ｂｕの顔の領域を検出し、当該検出結果に基づいて、撮像領域３０２のうち、複数の関心領域３１０（３１０ａ～３１０ｄ）を設定する（ステップＳ６０４）。
【0115】
そして、推定装置１２０は、複数の関心領域３１０のうち、一の関心領域３１０を特定する（ステップＳ６０５）。次に、推定装置１２０は、特定した一の関心領域３１０から顔画像３２０を抽出する（ステップＳ６０６）。そして、推定装置１２０は、抽出した顔画像３２０の領域と、関心領域３１０とに基づいて、重複率を算出する（ステップＳ６０７）。
【0116】
次に、推定装置１２０は、重複率が閾値以上であるか否かを判断する（ステップＳ６０８）。重複率が閾値未満である場合（ステップＳ６０８：ＮＯ）、推定装置１２０は、ステップＳ６１４に進む。重複率が閾値以上である場合（ステップＳ６０８：ＹＥＳ）、推定装置１２０は、抽出した顔画像３２０を学習済みモデルに入力する（ステップＳ６０９）。
【0117】
推定装置１２０は、学習済みモデルに顔画像３２０を入力した結果、牛ＩＤを導出したか否かを判断する（ステップＳ６１０）。具体的には、推定装置１２０は、学習済みモデルの出力ベクトルのうち、最も値が高い要素が示す確率が閾値以上である場合に、当該要素に対応する牛ＩＤが導出されたと判定する。一方、推定装置１２０は、学習済みモデルの出力ベクトルのうち、最も値が高い要素が示す確率が閾値未満である場合に、牛ＩＤが導出されなかったと判定する。牛ＩＤを導出した場合（ステップＳ６１０：ＹＥＳ）、すなわち、牛ＩＤを識別した場合、推定装置１２０は、ステップＳ６１３に進む。なお、牛ＩＤを導出した場合、牛ＩＤをディスプレイ１２５に表示してもよい。一方、牛ＩＤを導出しない場合（ステップＳ６１０：ＮＯ）、推定装置１２０は、特定した一の関心領域３１０に対応する牛ＩＤが付されているか否かを判断する（ステップＳ６１１）。
【0118】
当該一の関心領域３１０に対応する牛ＩＤが付されている場合（ステップＳ６１１：ＹＥＳ）、推定装置１２０は、ステップＳ６１３に進む。一方、当該関心領域３１０に対応する牛ＩＤが付されていない場合（ステップＳ６１１：ＮＯ）、推定装置１２０は、当該関心領域３１０に対応する新たな牛ＩＤを付与し、すなわち、新たなフォルダＩＤを付与したフォルダ３３０を生成する（ステップＳ６１２）。
【0119】
次に、推定装置１２０は、当該一の関心領域３１０に対応するフォルダ３３０に顔画像３２０を記憶する（ステップＳ６１３）。そして、推定装置１２０は、対象のフレーム画像３０１において、全ての関心領域３１０を特定したか否かを判断する（ステップＳ６１４）。全ての関心領域３１０を特定していない場合（ステップＳ６１４：ＮＯ）、推定装置１２０は、ステップＳ６０５に戻り、特定していない他の関心領域３１０について、顔画像３２０の抽出や記憶等を行う。
【0120】
一方、全ての関心領域３１０を特定した場合（ステップＳ６１４：ＹＥＳ）、推定装置１２０は、学習済みモデルを作成することが可能な所定数の顔画像３２０を得ることが可能な所定時間（例えば５分）が経過したか否かを判断する（ステップＳ６１５）。所定時間が経過していない場合（ステップＳ６１５：ＮＯ）、推定装置１２０は、ステップＳ６０２に戻り、次のフレーム画像３０１を入力する。
【0121】
一方、所定時間が経過した場合（ステップＳ６１５：ＹＥＳ）、推定装置１２０は、フォルダ３３０ごとに記憶した顔画像３２０を用いて、牛ＩＤを求める学習済みモデルを作成する（ステップＳ６１６）。既に学習済みモデルが作成されている場合は、推定装置１２０は、学習済みモデルを上書きする。なお、ステップＳ６１５に示した、学習開始のトリガとなる所定時間は、任意に設定変更することが可能である。また、当該トリガは、所定時間とすることに限らず、所定フレーム数としてもよいし、記憶した顔画像３２０の枚数としてもよい。
【0122】
ステップＳ６１６における学習済みモデルの作成を終えると、推定装置１２０は、学習済みモデルの対象の牛ＩＤに対応する関心領域３１０について、当該牛ＩＤとの対応付けを解除する（ステップＳ６１７）。次に、推定装置１２０は、操作部１２３（図４参照）が学習終了を示す所定の操作を受け付けることにより、学習を終了するか否かを判断する（ステップＳ６１８）。
【0123】
学習を終了しない場合（ステップＳ６１８：ＮＯ）、推定装置１２０は、ステップＳ６０２に戻り、次のフレーム画像３０１を入力する。一方、学習を終了する場合（ステップＳ６１８：ＹＥＳ）、推定装置１２０は、一連の処理を終了する。
【0124】
上述した処理により、推定装置１２０は、関心領域３１０から抽出した顔画像３２０を、牛ＩＤごと（関心領域３１０ごと）にフォルダ３３０に記憶させることができる。また、推定装置１２０は、各フォルダ３３０の顔画像３２０を入力サンプルとした学習済みモデルを作成することができる。また、上述した処理を繰り返し実行していくことにより、学習済みモデルによって識別可能な牛Ｂｕの数を順次増加させることができる。
【0125】
（摂食時間推定システム１の作用効果）
以上説明したように、本実施形態において、摂食時間推定システム１（推定装置１２０）は、牛Ｂｕを前方から撮像した撮像データに基づいて、牛Ｂｕの頭部位置（バウンディングボックス６００：図６）を検出し、撮像データが示す画像に摂食基準線９００（図９）を設定する。そして、摂食時間推定システム１は、検出した頭部位置が示す座標と摂食基準線９００が示す座標とに基づいて、牛Ｂｕが摂食しているか否かを判別し、当該判別結果に基づいて、牛Ｂｕの摂食時間を推定する。これにより、牛Ｂｕにセンサ等を付さないため、家畜にストレスを与えずに、簡単かつ迅速に摂食時間を推定することができる。したがって、家畜の品質を向上させることができる。また、牛Ｂｕの病気や運動障害の早期発見を支援できるとともに、健康管理に係る畜産農家の作業負荷を軽減することができる。したがって、本実施形態によれば、牛Ｂｕの健康管理を効率よく行うことができる。
以上説明したように、本実施形態において、摂食時間推定システム１（推定装置１２０）は、牛Ｂｕを前方から撮像した撮像データに基づいて、牛Ｂｕの頭部位置（バウンディングボックス６００：図６）を検出し、撮像データが示す画像に摂食基準線９００（図９）を設定する。そして、摂食時間推定システム１は、検出した頭部位置が示す座標と摂食基準線９００が示す座標とに基づいて、牛Ｂｕが摂食しているか否かを判別し、当該判別結果に基づいて、牛Ｂｕの摂食時間を推定する。これにより、牛Ｂｕにセンサ等を付さないため、家畜にストレスを与えずに、簡単かつ迅速に摂食時間を推定することができる。したがって、家畜の品質を向上させることができる。また、牛Ｂｕの病気や運動障害の早期発見を支援できるとともに、健康管理に係る畜産農家の作業負荷を軽減することができる。したがって、本実施形態によれば、牛Ｂｕの健康管理を効率よく行うことができる。
【0126】
また、本実施形態において、給餌場１０には、牛Ｂｕの摂食時における頭部の位置よりも上方に位置する下端延設部２０ａを有する柵２０が配置される。そして、摂食時間推定システム１は、撮像データが示す画像から得た検出直線８００（図８）に基づいて、下端延設部２０ａに摂食基準線９００（図９）を設定する。これにより、摂食基準線９００を簡単に（自動で）設定することができる。また、下端延設部２０ａを基準にして摂食の有無を判別することができるため、摂食時間の推定精度を向上させることができる。
【0127】
また、本実施形態において、柵２０は、牛Ｂｕの頭部の上方への移動を規制する上端延設部２０ｂを有する。そして、摂食時間推定システム１は、頭部位置の最大高さを検出し、撮像データが示す領域から、検出した最大高さが示す座標よりも上方の領域を除いた関心領域７００（図７）を設定し、関心領域７００の中から直線を検出する。これにより、撮像データが示す入力画像５００（図５）から、上端延設部２０ｂを削除することができるため、直線検出部１５５によって上端延設部２０ｂに対応する直線を検出しにくくすることができる。すなわち、直線検出部１５５によって下端延設部２０ａに対応する直線を検出しやすくすることができる。したがって、摂食基準線９００を下側延設部２０ａに精度よく設定することができ、よって、摂食時間の推定精度を向上させることができる。
【0128】
また、本実施形態において、摂食時間推定システム１は、撮像データが示す画像に、複数の家畜にそれぞれ対応する複数の分割領域１０００（図１０）を設定し、各分割領域１０００について、摂食の有無を判別して家畜の摂食時間を推定する。これにより、分割領域１０００内の各牛Ｂｕについて、摂食の有無を効率よく判別することができ、よって、各牛Ｂｕの摂食時間を効率よく推定することができる。また、仮に、当所に個体識別がされていなくても、別途取得した各牛ＩＤと各摂食時間とを対応付けることにより、各牛Ｂｕの摂食時間を効率よく得ることができる。なお、別途、牛ＩＤ取得するとは、例えば、オペレータから各分割領域１０００内の牛Ｂｕに対応する牛ＩＤを受け付けることや、学習済みモデルが未生成の場合には摂食時間の推定中に生成した学習済みモデルによって得られることとしてもよい。
【0129】
また、本実施形態において、摂食時間推定システム１は、牛Ｂｕを識別し、識別した牛ＩＤと摂食時間とを対応付けた推定結果を出力する。これにより、牛Ｂｕごとの摂食時間をオペレータに提示することができる。したがって、オペレータは、牛Ｂｕごとの摂食時間を容易に把握することができる。
【0130】
（家畜識別システム１８００の作用効果）
また、本実施形態に係る家畜識別システム１８００は、牛Ｂｕを前方から撮像した撮像情報に基づいて、関心領域３１０内の牛Ｂｕの顔画像３２０を抽出し、関心領域３１０に対応する牛ＩＤごとに顔画像３２０を分類して記憶させる。これにより、給餌場１０において餌を食べる牛Ｂｕの顔画像３２０を簡単かつ精度よく得ることができる。このため、顔画像３２０に基づく牛Ｂｕの識別を行うことができる。したがって、牛Ｂｕの体の一部に通信機を装着させたり、農場全体に中継器を設置したりしなくても、簡単な構成で、牛Ｂｕを簡単に識別することが可能になる。これにより、牛Ｂｕの識別にかかる酪農家の負荷を軽減することができる。
また、本実施形態に係る家畜識別システム１８００は、牛Ｂｕを前方から撮像した撮像情報に基づいて、関心領域３１０内の牛Ｂｕの顔画像３２０を抽出し、関心領域３１０に対応する牛ＩＤごとに顔画像３２０を分類して記憶させる。これにより、給餌場１０において餌を食べる牛Ｂｕの顔画像３２０を簡単かつ精度よく得ることができる。このため、顔画像３２０に基づく牛Ｂｕの識別を行うことができる。したがって、牛Ｂｕの体の一部に通信機を装着させたり、農場全体に中継器を設置したりしなくても、簡単な構成で、牛Ｂｕを簡単に識別することが可能になる。これにより、牛Ｂｕの識別にかかる酪農家の負荷を軽減することができる。
【0131】
本実施形態において、家畜識別システム１８００（推定装置１２０）は、顔画像３２０が示す領域と関心領域３１０とが重複する度合いに基づいて、当該関心領域３１０に対応する牛ＩＤごとに顔画像３２０を記憶させる。これにより、牛Ｂｕの顔が写っている領域が小さい顔画像３２０については、すなわち、関心領域３１０から外れているような精度の低い顔画像３２０については、記憶させないようにすることができる。このため、例えば、精度の低い顔画像３２０を学習済みモデルの作成に用いないようにすることができる。したがって、牛ＩＤの識別に係る精度を向上させることができる。
【0132】
また、本実施形態において、推定装置１２０は、撮像情報３００に基づいて、撮像領域３０２のうち牛Ｂｕの顔の領域を検出し、検出した顔の領域に基づいて、関心領域３１０を設定する。これにより、牛Ｂｕの位置に応じた好適な関心領域３１０を設定することができる。すなわち、撮像領域３０２内のいずれの位置で牛Ｂｕが餌を食べたとしても、顔画像３２０を好適に得ることができる。
【0133】
また、本実施形態において、推定装置１２０は、判別モデルに抽出部２０３によって抽出された顔画像を入力し、確度が所定値以上である場合に、判別され牛ＩＤに顔画像３２０を分類し、当該確度が所定値未満である場合に、関心領域３１０に対応する牛ＩＤに顔画像３２０を分類する。これにより、新たに給餌場１０に入った直後の牛Ｂｕ（牛ＩＤが付与されていない牛Ｂｕ）に対しても、牛ＩＤを付したフォルダ３３０を作成して、顔画像３２０を適切に分類することができる。
【0134】
また、本実施形態において、推定装置１２０は、牛ＩＤごとに記憶した顔画像３２０を入力サンプルとし、複数のクラスのうち当該顔画像３２０が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された顔画像３２０に対応して、当該顔画像３２０が属する前記クラスの事後確率を示すベクトルを出力するように学習済みモデル（判別モデル）を作成する。これにより、給餌場１０で餌を食べる牛Ｂｕの顔画像３２０を用いて、数分程度で学習済みモデルを自動で作成することができる。したがって、簡単かつ迅速に学習済みモデルを作成することができるとともに、牛ＩＤの識別を高精度に行うことができる。
【0135】
また、本実施形態において、推定装置１２０は、判別モデルを、学習装置２２０が作成した学習済みモデルとする。これにより、新たに給餌場１０に入った直後の牛Ｂｕ（牛ＩＤが付与されていない牛Ｂｕ）に対しても、牛ＩＤを付したフォルダ３３０を作成して、学習済みモデルを作成することができる。したがって、酪農場内の全ての牛Ｂｕについて、学習済みモデルを簡単かつ迅速に作成することができる。
【0136】
また、本実施形態において、推定装置１２０は、学習装置２２０によって学習された学習済みモデルに、顔画像３２０を入力することで、牛ＩＤを識別し、識別結果を出力する。これにより、給餌場１０で餌を食べる牛Ｂｕを簡単かつ精度よく識別することができる。したがって、簡単な構成で、牛Ｂｕを好適に識別することが可能になる。
【0137】
また、本実施形態において、推定装置１２０は、所定数の連続するフレーム画像の撮像情報３００について、それぞれ顔画像３２０を抽出して牛ＩＤを識別して、出力する。これにより、撮像情報３００（フレーム画像）が入力される度に、リアルタイムの識別結果をディスプレイ１２５に表示することができる。したがって、操作者に識別結果を迅速に提示することができる。
【0138】
また、本実施形態において、推定装置１２０は、所定数のフレーム画像において識別した牛ＩＤのうち、最も多く識別した牛ＩＤを最終結果として出力する。これにより、牛Ｂｕの顔の向き等によっては、識別結果にバラツキが生じる可能性があるものの、このようなバラツキが生じたとしても、所定時間内に最も多く識別した牛ＩＤを最終結果とすることができる。したがって、より高精度に牛ＩＤの識別を行うことができる。
【0139】
（実施形態の変形例）
以下に、実施形態の変形例について説明する。なお、以下の変形例では、上述した実施形態で説明した内容については、適宜説明を省略する。また、以下の変形例および上述した実施形態は、それぞれ組み合わせることも可能である。
以下に、実施形態の変形例について説明する。なお、以下の変形例では、上述した実施形態で説明した内容については、適宜説明を省略する。また、以下の変形例および上述した実施形態は、それぞれ組み合わせることも可能である。
【0140】
（変形例）
上述した実施形態では、給餌場１０に柵２０が配置され、下端に延設される下端延設部２０ａに摂食基準線９００を設定する例について説明した。変形例では、このような構成に代えて又は加えて、給餌場１０に給餌ボックスが配置され、さらに、給餌ボックスの上辺部分に摂食基準線９００を設定する例について説明する。
上述した実施形態では、給餌場１０に柵２０が配置され、下端に延設される下端延設部２０ａに摂食基準線９００を設定する例について説明した。変形例では、このような構成に代えて又は加えて、給餌場１０に給餌ボックスが配置され、さらに、給餌ボックスの上辺部分に摂食基準線９００を設定する例について説明する。
【0141】
変形例に係る摂食時間推定システム１において、給餌場１０には、備品としての柵２０に代えて又は加えて、箱形状の給餌ボックスが配置される。給餌ボックスは、底板と、当該底板に対して立ち上がる側板（例えば４つの側板）とを備える。給餌ボックスは、各板に囲まれた収容領域を備え、収容領域に餌を収容する。牛Ｂｕは、給餌ボックスに頭部を入れ、餌を摂食する。給餌ボックスは、横方向に延びる直線部分として、側板の上辺部分を有する。側板の上辺部分は、牛Ｂｕの摂食時に、頭部の位置よりも上方に位置する。
【0142】
変形例において、直線検出部１５５は、給餌ボックスを形成する側板の上辺部分について多くの直線を検出するものとする。基準線設定部１５６は、直線検出部１５５によって検出された直線に基づいて、側板の上辺部分の座標（Ｙ座標）を摂食基準線９００として設定する。なお、変形例においても、摂食基準線９００は、オペレータによる手動設定が可能であってもよい。すなわち、基準線設定部１５６は、オペレータから操作入力された直線（Ｙ座標）に基づいて、摂食基準線９００を設定してもよい。
【0143】
このようにして、摂食基準線９００を設定することにより、判別部１５９は、牛Ｂｕの頭部を示すバウンディングボックス６００（図６）の下辺のＹ座標が摂食基準線９００（側板の上辺部分）を下回った場合に、当該牛Ｂｕが摂食したことを判別することができる。
【0144】
以上のように、変形例に係る摂食時間推定システム１において、給餌場１０には、牛Ｂｕの摂食時における頭部位置よりも上方に位置する側板（の上辺）を有する給餌ボックスが配置される。そして、摂食時間推定システム１は、側板の上辺に摂食基準線９００（図９）を設定する。これにより、給餌ボックスを用いる場合でも、摂食基準線９００を容易に（自動で）設定することができる。また、側板の上辺を基準にして摂食の有無を判別することができるため、摂食時間の推定精度を向上させることができる。よって、変形例によれば、牛Ｂｕの健康管理を効率よく行うことができる。
【0145】
なお、摂食時間推定システム１、家畜識別システム１８００、推定装置１２０、記憶制御装置２００、および学習装置２２０が備える各機能部は、ＣＰＵ１２１などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現されることに限らない。例えば、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
【0146】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【0147】
なお、以上に説明した摂食時間推定システム１、家畜識別システム１８００、推定装置１２０、記憶制御装置２００、および学習装置２２０を実現するためのプログラムを、コンピュータ読み取り可能な記憶媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0148】
１…摂食時間推定システム、１００…撮像装置、１２０…推定装置、１２１…ＣＰＵ、１２２…メモリ、１２３…操作部、１２４…マイク、１２５…ディスプレイ、１２６…スピーカ、１２７…通信Ｉ／Ｆ、１５１…データ入力部、１５２…位置検出部、１５３…高さ検出部、１５４…関心領域設定部、１５５…直線検出部、１５６…基準線設定部、１５７…分割領域設定部、１５８…行列生成部、１５９…判別部、１６０…識別部、１６１…推定部、２００…記憶制御装置、２０１…入力部、２０２…設定部、２０３…抽出部、２０４…記憶制御部、２０５…検出部、２１０…記憶部、２２０…学習装置、２２１…学習処理部、２３１…撮像情報入力部、２３２…顔画像抽出部、２３４…出力部、１８００…家畜識別システム、
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】