特開 2023-117934 記憶制御装置、学習装置、家畜識別装置、記憶制御システム、記憶制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023117934

(43)【公開日】2023-08-24

(54)【発明の名称】記憶制御装置、学習装置、家畜識別装置、記憶制御システム、記憶制御方法、およびプログラム

(51)【国際特許分類】

   A01K 29/00 20060101AFI20230817BHJP

   G06T 7/00 20170101ALI20230817BHJP

【ＦＩ】

A01K29/00 A

G06T7/00 350B

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022020760

(22)【出願日】2022-02-14

(71)【出願人】

【識別番号】504224153

【氏名又は名称】国立大学法人 宮崎大学

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100181722

【弁理士】

【氏名又は名称】春田 洋孝

(72)【発明者】

【氏名】ティ ティ ズイン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096GA17

5L096GA30

5L096GA51

5L096HA09

5L096KA04

(57)【要約】

【課題】家畜を好適に識別すること。
【解決手段】記憶制御装置２００は、入力部２０１と、設定部２０２と、抽出部２０３と、記憶制御部２０４とを備える。入力部２０１は、家畜を前方から撮像した撮像情報を入力する。設定部２０２は、前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する。抽出部２０３は、前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する。記憶制御部２０４は、前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

家畜を前方から撮像した撮像情報を入力する入力手段と、
前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段と、
前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段と、
前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段と、
を備えることを特徴とする記憶制御装置。

【請求項2】

前記記憶制御手段は、前記顔画像が示す領域と前記所定領域とが重複する度合いに基づいて、当該所定領域に対応する識別情報ごとに前記顔画像を記憶させる、
ことを特徴とする請求項１に記載の記憶制御装置。

【請求項3】

前記入力手段に入力された前記撮像情報に基づいて、前記撮像領域のうち家畜の顔の領域を検出する検出手段を備え、
前記設定手段は、複数の前記撮像情報から前記検出手段によって検出された顔の領域に基づいて、前記所定領域を設定する、
ことを特徴とする請求項１または２に記載の記憶制御装置。

【請求項4】

前記設定手段は、前記撮像領域を予め区分けされた前記所定領域を設定する、
ことを特徴とする請求項１または２に記載の記憶制御装置。

【請求項5】

前記記憶制御手段は、既知の家畜の顔画像が入力されると前記既知の家畜の識別情報とその確度を出力する判別モデルに前記抽出手段によって抽出された顔画像を入力し、前記確度が所定値以上である場合に、判別された識別情報に前記顔画像を分類し、前記確度が所定値未満である場合に、前記所定領域に対応する識別情報に前記顔画像を分類する、
請求項１～４のいずれか一項に記載の記憶制御装置。

【請求項6】

請求項１～５のいずれか一項に記載の記憶制御装置によって記憶された前記顔画像を入力サンプルとし、複数のクラスのうち当該顔画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された前記顔画像に対応して、当該顔画像が属する前記クラスの事後確率を示すベクトルを出力するように判別モデルを作成させる学習処理手段を備える、
ことを特徴とする学習装置。

【請求項7】

前記撮像情報を入力する撮像情報入力手段と、
前記撮像情報に基づいて、前記顔画像を抽出する顔画像抽出手段と、
請求項６に記載の学習装置によって学習された判別モデルに、前記顔画像抽出手段によって抽出された前記顔画像を入力することで、識別情報を識別する識別手段と、
前記識別手段によって識別された結果を出力する出力手段と、
を備えることを特徴とする家畜識別装置。

【請求項8】

前記撮像情報は、所定数の連続するフレームの撮像情報であり、
前記識別手段は、前記顔画像抽出手段によって前記顔画像が抽出される度に識別情報を識別する、
ことを特徴とする請求項７に記載の家畜識別装置。

【請求項9】

前記出力手段は、前記識別手段によって識別された識別情報のうち、最も多く識別された識別情報を最終結果として出力する、
ことを特徴とする請求項８に記載の家畜識別装置。

【請求項10】

家畜を前方から撮像する撮像装置と、記憶制御装置とを備えた記憶制御システムにおいて、
前記記憶制御装置は、
前記撮像装置から撮像情報を入力する入力手段と、
前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段と、
前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段と、
前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段と、
を備えることを特徴とする記憶制御システム。

【請求項11】

記憶制御装置に用いられるコンピュータが、
家畜を前方から撮像した撮像情報を入力する入力工程と、
前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定工程と、
前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出工程と、
前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御工程と、
を含む処理を実行することを特徴とする記憶制御方法。

【請求項12】

記憶制御装置に用いられるコンピュータを、
家畜を前方から撮像した撮像情報を入力する入力手段、
前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段、
前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段、
前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記憶制御装置、学習装置、家畜識別装置、記憶制御システム、記憶制御方法、およびプログラムに関する。

【背景技術】

【0002】

従来、酪農場においては、各家畜をそれぞれ管理する必要がある。この管理において、家畜を１頭ずつ手作業で識別したとすると、手間がかかる。特に、規模が大きい酪農場ほど、この手間は顕著になる。そこで、家畜を識別する技術が各種開示されている。例えば、家畜に通信機を装着させて、家畜の位置や群れを判定する方法が開示されている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５８４６２９３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、家畜の体の一部に通信機を装着させるため、長期間装着することで牛にストレスを与えてしまい、家畜の品質が低下するおそれがある。また、家畜に装着した通信機と通信を行う中継器を農場全体に設置することになるため、酪農家にとって手間や負担が大きくなってしまう。

【0005】

本発明は、このような事情に鑑みてなされたもので、その目的は、家畜を簡単に識別することができる技術を提供することにある。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一態様である記憶制御装置は、家畜を前方から撮像した撮像情報を入力する入力手段と、前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段と、前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段と、前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段と、を備えることを特徴とする記憶制御装置である。

【0007】

上述した課題を解決するために、本発明の一態様である学習装置は、上記に記載の記憶制御装置によって記憶された顔画像を入力サンプルとし、複数のクラスのうち当該顔画像が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された前記顔画像に対応して、当該顔画像が属する前記クラスの事後確率を示すベクトルを出力するように判別モデルを作成させる学習処理手段を備える、ことを特徴とする学習装置である。

【0008】

また、本発明の他の態様である家畜識別装置は、家畜を前方から撮像した撮像情報を入力する撮像情報入力手段と、前記撮像情報に基づいて、家畜の顔画像を抽出する顔画像抽出手段と、上記に記載の学習装置によって学習された判別モデルに、前記顔画像抽出手段によって抽出された前記顔画像を入力することで、識別情報を識別する識別手段と、前記識別手段によって識別された結果を出力する出力手段と、を備えることを特徴とする家畜識別装置である。

【0009】

また、本発明の他の態様である記憶制御システムは、家畜を前方から撮像する撮像装置と、学習装置とを備えた記憶制御システムにおいて、前記学習装置は、前記撮像装置から撮像情報を入力する入力手段と、前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段と、前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段と、前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段と、を備えることを特徴とする記憶制御システムである。

【0010】

また、本発明の他の態様である記憶制御方法は、学習装置に用いられるコンピュータが、家畜を前方から撮像した撮像情報を入力する入力工程と、前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定工程と、前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出工程と、前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御工程と、を含む処理を実行することを特徴とする記憶制御方法である。

【0011】

また、本発明の他の態様であるプログラムは、記憶制御装置に用いられるコンピュータを、家畜を前方から撮像した撮像情報を入力する入力手段、前記撮像情報が示す撮像領域のうち、家畜の頭部が移動可能な所定領域を設定する設定手段、前記撮像情報に基づいて、前記所定領域内の家畜の顔画像を抽出する抽出手段、前記所定領域に対応する識別情報ごとに前記顔画像を分類して記憶させる記憶制御手段、として機能させることを特徴とするプログラムである。

【発明の効果】

【0012】

本発明によれば、家畜を簡単に識別することができる。

【図面の簡単な説明】

【0013】

【図1】家畜識別システム１の一例を示す説明図である。

【図2】本実施形態に係る家畜識別システム１の機能的構成の一例を示すブロック図である。

【図3】牛Ｂｕの顔画像を抽出して記憶する概要の一例を示す説明図である。

【図4】学習処理部２２１の構成および分類モデルＭＯの構成を示す説明図である。

【図5】家畜識別装置１２０のハードウェア構成の一例を示す説明図である。

【図6】家畜識別装置１２０が行う顔画像３２０の記憶制御処理の一例を示すフローチャートである。

【図7】家畜識別装置１２０が行う牛Ｂｕの識別処理の一例を示すフローチャートである。

【図8】家畜識別装置１２０が表示する牛ＩＤの表示例を示す説明図である。

【発明を実施するための形態】

【0014】

（実施形態）
図１は、家畜識別システム１の一例を示す説明図である。家畜識別システム１は、記憶制御システムの一例である。家畜識別システム１は、撮像装置１００と、家畜識別装置１２０とを備える。酪農場には、数十頭から数百頭の家畜が飼育されている。本実施形態において、家畜は、乳牛（牛Ｂｕ）である。ただし、家畜は、牛Ｂｕに限らず、例えば、肉牛であってもよいし、豚、ヤギ、鶏など牛以外の動物であってもよい。

【0015】

酪農場には、牛Ｂｕが餌を食べる給餌場１０が設けられている。給餌場１０には、柵２０が設けられている。柵２０には、牛Ｂｕの頭部が通過可能な隙間が設けられており、牛Ｂｕは、柵２０の隙間から頭を出して餌を食べる。柵２０は、牛Ｂｕが頭を隙間に通したときに頭部の移動を制限するよう隙間をロック可能なタイプの（ヘッドロックを備える）ものでもよいし、隙間をロックせずに牛Ｂｕが自由に頭を抜き差し可能とするタイプのものでもよい。牛Ｂｕは、例えば、毎日決まった時間に給餌場１０に移動して、餌を食べる。餌を食べ終えた牛Ｂｕは、給餌場１０から退き、餌を食べていない別の牛Ｂｕと順次入れ替わる。

【0016】

給餌場１０には、複数の牛Ｂｕを前方から撮像する撮像装置１００が固定配置されている。つまり、撮像装置１００は、撮像範囲に柵２０の隙間が並ぶ面が写るように設置される。撮像装置１００は、牛Ｂｕの顔を前方から撮像する。撮像装置１００は、各牛Ｂｕの顔を撮像する。なお、撮像する牛Ｂｕの頭数（柵２０の隙間の数）は、図示では４頭を示しているが、これに限らず、例えば、５頭以上（例えば１０頭）とすることも可能であるし、３頭以下とすることも可能である。

【0017】

撮像装置１００は、給餌場１０に、複数台配置される。複数の撮像装置１００は、それぞれを識別する番号（カメラ番号）が付されている。なお、撮像装置１００は、複数台配置されることに限らず、１台配置されていてもよい。撮像装置１００には、例えば、ＣＣＤ（charge coupled device）カメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラを用いることが可能である。また、撮像装置１００には、３Ｄカメラが用いられてもよい。

【0018】

撮像装置１００は、例えば、１秒間に２５フレームの画像を撮像する。撮像装置１００は、撮像した撮像画像を示す撮像情報を家畜識別装置１２０へ出力する。撮像情報の出力態様は、有線または無線の送信による出力態様としてもよいし、記憶媒体（例えば、ＵＳＢ（Universal Serial Bus）メモリなど）へ記憶させる出力態様としてもよい。

【0019】

家畜識別装置１２０は、パソコン、ノートパソコン、タブレット装置、スマートホンなどのコンピュータ装置である。家畜識別装置１２０は、撮像装置１００が出力した撮像情報を入力する。撮像情報の入力態様は、有線または無線の受信による入力態様としてもよいし、記憶媒体から読み取る入力態様としてもよい。家畜識別装置１２０は、入力した撮像情報から各牛Ｂｕの顔画像を牛Ｂｕごとに記憶し、記憶した顔画像を用いて、各牛Ｂｕを識別可能に学習する。

【0020】

（家畜識別システム１の機能的構成、および牛Ｂｕの顔画像の抽出について）
図２は、本実施形態に係る家畜識別システム１の機能的構成の一例を示すブロック図である。家畜識別システム１は、記憶制御システムの一例である。
図３は、牛Ｂｕの顔画像を抽出して記憶する概要の一例を示す説明図である。図２および図３の説明では、適宜図３を参照しつつ、図２に示す機能的構成について説明する。

【0021】

図２に示すように、家畜識別システム１は、撮像装置１００と、家畜識別装置１２０とを備える。家畜識別装置１２０は、記憶制御装置２００と、学習装置２２０を備える。記憶制御装置２００は、入力部２０１と、設定部２０２と、抽出部２０３と、記憶制御部２０４と、検出部２０５と、記憶部２１０とを備える。学習装置２２０は、学習処理部２２１を備える。家畜識別装置１２０は、撮像情報入力部２３１と、顔画像抽出部２３２と、識別部２３３と、出力部２３４とを備える。

【0022】

入力部２０１は、撮像装置１００から撮像情報を入力する。撮像情報は、牛Ｂｕ（Ｂｕ１～Ｂｕ４）を前方から撮像した画像情報である。撮像情報３００は、動画および静止画を含む。図３に示すように、撮像情報３００は、複数のフレーム画像３０１を含む。各フレーム画像３０１の撮像領域３０２には、複数の牛Ｂｕが存在することを示している。なお、撮像領域３０２には、一頭の牛Ｂｕのみが存在する場合もある。

【0023】

設定部２０２は、撮像情報３００が示す撮像領域３０２のうち関心領域３１０（３１０ａ～３１０ｄ）を設定する。関心領域３１０は、所定領域の一例である。関心領域３１０は、牛Ｂｕまたは柵２０の隙間に対応して設けられる領域であり、それぞれ牛Ｂｕの頭部が存在可能な領域を示す。関心領域３１０には、それぞれ対応する識別情報が付与される。

【0024】

抽出部２０３は、撮像情報３００に基づいて、関心領域３１０内の牛Ｂｕの顔画像３２０（３２０ａ～３２０ｄ）を抽出する。抽出部２０３は、画像認識による物体検出機能により、顔画像３２０を抽出する。抽出部２０３は、入力部２０１にフレーム画像３０１が入力される度に、顔画像３２０を抽出する。

【0025】

抽出された顔画像３２０は、例えば、３００×３００ピクセルに正規化される。仮に、抽出した顔画像３２０が横２４０×縦３００ピクセルであった場合、横方向の３００ピクセルに満たない箇所に無地（例えば黒）の画像を付け加えることにより、３００×３００ピクセルにする。すなわち、抽出した顔画像３２０の縦横の一方が３００ピクセルであり、他方が３００ピクセルに満たない場合、３００ピクセルに満たない箇所に無地（例えば黒）の画像を付け加えることにより、３００×３００ピクセルにする。

【0026】

また、仮に、抽出した顔画像３２０の縦横いずれもが３００ピクセルではない場合、ピクセル数の大きい一方が３００ピクセルになるよう、縦横同じ比率で拡大または縮小する。そして、他方の３００ピクセルに満たない箇所に無地の画像を付け加える。これにより、顔画像３２０が縦横いずれも３００ピクセルではない場合でも、３００×３００ピクセルにすることが可能である。

【0027】

記憶制御部２０４は、関心領域３１０に対応して付与される識別情報ごとに顔画像３２０を記憶部２１０に分類して記憶させる。具体的には、記憶制御部２０４は、抽出部２０３によって抽出された顔画像３２０が抽出される度に、それぞれ関心領域３１０に対応して設けられるフォルダ３３０（３３０ａ～３３０ｄ）に顔画像３２０を分類して記憶させる。記憶部２１０は、牛Ｂｕごとに、所定数の顔画像３２０をそれぞれ記憶させる。所定数は、後述する学習処理部において学習済みモデルを作成することが可能な数（例えば、３００枚程度）であればよい。

【0028】

フォルダ３３０には、識別情報としてのフォルダＩＤ（Identity）が付されている。フォルダＩＤは、牛ＩＤに対応付けられる。牛ＩＤは、フォルダＩＤと同じＩＤとしてもよいし、別途、家畜識別装置１２０の操作者（例えば、酪農家）によって付されるＩＤや、牛Ｂｕの名前や番号としてもよい。記憶制御部２０４は、牛ＩＤ（フォルダＩＤ）ごとに顔画像３２０を記憶部２１０に記憶させる。なお、以下では、牛ＩＤとフォルダＩＤとを同じＩＤとして説明し、具体的には、フォルダＩＤについては、牛ＩＤとして説明する。

【0029】

（重複率の算出について）
ここで、給餌場１０で餌を食べる牛Ｂｕは、餌を食べ始めてから、所定時間（例えば５分）はその場に留まって餌を食べ続ける傾向にあるものの、目の前の餌がなくなったときには、隣の牛Ｂｕの前にある餌を食べる場合もある。このような場合や、空腹が満たされて牛Ｂｕがその場に留まらない場合には、牛Ｂｕの顔画像３２０が関心領域３１０から外れてしまうことがある。関心領域３１０から外れた顔画像３２０は、例えば、顔が半分しか写っていないこともあるため、学習用の画像に用いられることは望ましくない。そこで、本実施形態では、顔画像３２０と関心領域３１０との重複率に基づいて、顔画像３２０を記憶させるようにしている。

【0030】

具体的に説明すると、記憶制御部２０４は、顔画像３２０が示す領域と、関心領域３１０とが重複する度合い（重複率）に基づいて、当該関心領域３１０に対応する牛ＩＤごとに顔画像３２０を記憶させる。重複率は、関心領域３１０における顔画像３２０が示す領域の比率として表すことができる。例えば、重複率が閾値未満の顔画像３２０は、隣の牛Ｂｕに設定された関心領域３１０に重なっている可能性がある。

【0031】

一例を挙げると、図３の牛Ｂｕ１の顔が隣の牛Ｂｕ２の前に移動したことにより、牛Ｂｕ１の顔画像３２０ａが、関心領域３１０ａと関心領域３１０ｂとから抽出されたとする。この場合、関心領域３１０ａから抽出された牛Ｂｕ１の顔画像３２０ａは、関心領域３１０ａにおける重複率として、低い値が算出される。また、関心領域３１０ｂから抽出された牛Ｂｕ１の顔画像３２０ａについても、関心領域３１０ｂにおける重複率として、低い値が算出される。

【0032】

このため、本実施形態において、重複率が閾値未満の場合、記憶制御部２０４は、当該顔画像３２０をフォルダ３３０に記憶させないようにする。一方で、重複率が閾値以上の場合、記憶制御部２０４は、当該顔画像３２０を、対応する牛ＩＤのフォルダ３３０に記憶させるようにする。

【0033】

（関心領域３１０の設定について）
図３に示すように、牛Ｂｕは、関心領域３１０の中央付近で餌を食べている。ただし、牛Ｂｕは、必ずしも、撮像領域３０２における関心領域３１０の中央に位置して、餌を食べるとは限らない。このため、本実施形態では、牛Ｂｕの頭部の移動範囲に応じて関心領域３１０を設定するようにしている。

【0034】

具体的に説明すると、検出部２０５は、入力部２０１に入力された撮像情報３００に含まれる複数のフレーム画像のそれぞれについて、撮像領域３０２のうち牛Ｂｕの顔の領域を検出する。検出部２０５は、物体検出機能により顔を検出する。顔の領域は、例えば、顔画像３２０が示す領域と同等の領域である。ただし、顔の領域は、顔画像３２０が示す領域よりも小さい領域としてもよいし、大きい領域としてもよい。

【0035】

設定部２０２は、検出部２０５によって検出された複数のフレーム画像における顔の領域に基づいて、関心領域３１０を設定する。具体的には、設定部２０２は、検出部２０５によって検出された同一の個体に係る複数の顔領域の中心を含む所定領域を関心領域３１０に設定する。個体の同定は、例えば、同じフレーム画像に写る複数の顔領域をそれぞれ別の個体とみなし、連続するフレーム画像において最も距離が近い顔領域同士を、同一の個体とみなすことによって行われる。また、個体の同定は、単に相対的な出現位置（左から２番目など）を特定することによって行われてもよい。

【0036】

関心領域３１０は、予め大きさや形（長方形）が予め定められていてもよい。この場合、設定部２０２は、検出部２０５によって検出された顔領域の位置を基準にして、当該長方形の配置位置を決定することにより、関心領域３１０を設定する。また、関心領域３１０を設定する際に、隣り合う関心領域３１０との間には隙間を設けることが望ましい。これは、各牛Ｂｕが隣の牛Ｂｕの関心領域３１０に入りにくくするためである。

【0037】

なお、最初に顔領域の位置を基準にして当該長方形を配置して関心領域３１０を設定したとすると、たまたま隣り合う牛Ｂｕの距離が近い場合には、隣り合う関心領域３１０同士が重なり合ってしまうおそれもある。このため、最初の数十秒程度で各牛Ｂｕの顔領域の平均的な位置を検出するようにし、当該位置を基準にして関心領域３１０を設定してもよい。また、設定部２０２は、当該長方形を縮小したり、横方向の長さを短くしたりして、隣り合う関心領域３１０同士が重なり合わないように、関心領域３１０を設定してもよい。

【0038】

（学習済みモデルの作成について）
学習処理部２２１は、牛ＩＤを識別するための学習済みモデル（判別モデル）を作成する。具体的に説明すると、学習処理部２２１は、学習用データセットを用いて、学習済みモデルを作成させる。学習用データセットは、記憶制御部２０４によって記憶された顔画像３２０を入力サンプルとし、複数のクラスのうち当該顔画像３２０が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットである。学習済みモデルは、入力された顔画像３２０に対応して、当該顔画像３２０が属するクラスの事後確率を示すベクトルを出力する学習済みモデルである。クラスの数は、記憶部２１０のフォルダの数である。

【0039】

ここで、図４を用いて、学習処理部２２１について具体的に説明する。
図４は、学習処理部２２１の構成および分類モデルＭＯの構成を示す説明図である。図４（Ａ）は、学習処理部２２１の構成を示す。学習処理部２２１は、分類モデル記憶部１１と、データセット取得部１２と、学習部１３と、出力部１４とを備える。

【0040】

分類モデル記憶部１１は、畳み込みニューラルネットワークによって構成された分類モデルＭ０を記憶する。分類モデルＭ０は、図４（Ｂ）に示すように、入力部Ｍ０１、特徴量算出部Ｍ０２、分類部Ｍ０３、出力部Ｍ０４を備える。入力部Ｍ０１は、入力された顔画像３２０をベクトルとして特徴量算出部Ｍ０２に出力する。入力部Ｍ０１は、ニューラルネットワークの入力層をなす。

【0041】

特徴量算出部Ｍ０２及び分類部Ｍ０３は、ニューラルネットワークの中間層をなす。出力部Ｍ０４は、ニューラルネットワークの出力層をなす。特徴量算出部Ｍ０２は、入力部Ｍ０１から入力されたベクトルを、低次元の特徴ベクトルに変換し、分類部Ｍ０３に出力する。分類部Ｍ０３は、特徴量算出部Ｍ０２から入力された特徴ベクトルから、当該特徴ベクトルが表す牛ＩＤの事後確率を示すＰ次元のベクトルに変換する。Ｐは、推定すべき牛ＩＤの数である。

【0042】

データセット取得部１２は、入力サンプルである顔画像３２０と、出力サンプルである牛ＩＤラベルとを関連付けた学習用データセットを取得する。牛ＩＤラベルは、データセットにおける牛ＩＤの数をＰとした場合に、Ｐ次元のワンホットベクトルによって表される。

【0043】

学習部１３は、データセット取得部１２が取得した学習用データセットを用いて、顔画像３２０が入力されると、当該顔画像３２０に該当する牛ＩＤの事後確率を示すＰ次元のベクトルを出力するように、分類モデルＭ０のパラメータを学習させる。

【0044】

次に、学習方法について、具体的に説明する。データセット取得部１２は、予め用意されたデータセットを取得する。そして、学習部１３は、取得したデータセットを用いて、分類モデル記憶部１１が記憶する分類モデルＭ０のパラメータを学習させる。このとき、学習部１３は、分類モデルＭ０の計算結果を用いて損失関数を最小化するように、勾配降下法により各パラメータを更新する。

【0045】

なお、学習部１３は、分類モデルＭ０のうち特徴量算出部Ｍ０２および分類部Ｍ０３のパラメータを更新する。例えば、損失関数は、分類モデルＭ０の出力値とデータセットの出力サンプルとのクロスエントロピー誤差を表す。

【0046】

学習部１３は、損失関数の評価値が所定の閾値を下回った場合、または所定回数だけ学習処理を繰り返した場合に、学習処理を終了する。学習部１３による学習処理が終了すると、出力部１４は、学習部１３によって学習された分類モデルＭ０（学習済みモデル）を識別部２３３へ出力する。

【0047】

（識別情報の付与について）
ここで、学習が進んでいない段階では、学習済みモデルで学習されていない牛Ｂｕと学習された牛Ｂｕとが混在することがある。このとき、学習された牛Ｂｕが餌を食べ終わって、学習されていない牛Ｂｕと入れ替わったときに、この２つの牛Ｂｕの顔画像が同じフォルダに記憶されないようにする必要がある。これについて具体的に説明すると、識別部２３３は、抽出部２０３によって抽出された顔画像３２０を学習済みモデルに入力することで牛ＩＤを識別する。識別部２３３によって牛ＩＤが識別されない場合（確率が低い場合）であり且つ当該牛Ｂｕについて牛ＩＤが付与されたフォルダ３３０がある場合、記憶制御部２０４は、抽出された顔画像３２０を、当該牛ＩＤに対応するフォルダ３３０に記憶させる。

【0048】

また、新たに給餌場１０に入った直後の牛Ｂｕには、牛ＩＤ（フォルダＩＤ）が割り当てられていないことになる。このため、新たに給餌場１０に入ってきた牛Ｂｕについて、牛ＩＤを付与してフォルダ３３０を作成する必要がある。これについて具体的に説明すると、新たに給餌場１０に入った直後の牛Ｂｕがいる場合、具体的には、識別部２３３によって牛ＩＤが識別されない場合（学習されていない場合）であり且つ当該牛Ｂｕについて牛ＩＤが付与されたフォルダ３３０がない場合、記憶制御部２０４は、当該関心領域３１０に対応する牛ＩＤを新たに付与して、フォルダ３３０を生成する。

【0049】

また、学習済みモデルで学習された牛Ｂｕの場合、識別部２３３によって牛ＩＤが識別されることになる。この場合、記憶制御部２０４は、抽出部２０３によって抽出された顔画像３２０を、当該牛ＩＤに対応するフォルダ３３０に記憶させる。この場合、学習処理部２２１は、フォルダ３３０に記憶された当該顔画像３２０を用いて学習済みモデルを更新することにより、学習精度を向上させることができる。ただし、記憶制御部２０４は、抽出された顔画像３２０を記憶部２１０に記憶させないようにしてもよい。

【0050】

このように、記憶制御部２０４は、既知の家畜の顔画像３２０が入力されると既知の家畜の牛ＩＤとその確度を出力する判別モデル（例えば、学習処理部に２２１によって作成された学習済みモデル）に、抽出部２０３によって抽出された顔画像３２０を入力する。そして、当該確度が所定値以上である場合、記憶制御部２０４は、判別された牛ＩＤに顔画像３２０を分類する。一方で、当該確度が所定値未満である場合、記憶制御部２０４は、関心領域３１０に対応する牛ＩＤに顔画像３２０を分類する。なお、判別モデルは、学習処理部に２２１によって作成された学習済みモデルに限らず、他の装置によって作成された学習済みモデルとしてもよい。

【0051】

（牛Ｂｕの識別について）
識別部２３３は、学習処理部２２１によって作成された学習済みモデルを用いることによって、給餌場１０で餌を食べる牛Ｂｕの牛ＩＤをリアルタイムに識別することが可能である。具体的に説明すると、撮像情報入力部２３１は、撮像装置１００から、牛Ｂｕを前方から撮像した撮像情報を入力する。顔画像抽出部２３２は、撮像情報に基づいて、牛Ｂｕの顔画像３２０を抽出する。識別部２３３は、学習装置２２０によって学習された学習済みモデルに、顔画像抽出部２３２によって抽出されたリアルタイムの顔画像３２０を入力することで、牛ＩＤを識別する。より具体的には、識別部２３３は、学習済みモデルに入力した顔画像３２０について牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択（識別）する。

【0052】

出力部２３４は、識別部２３３によって識別された結果を示す牛ＩＤを出力する。出力部２３４は、識別部２３３によって識別された牛ＩＤと、顔画像３２０とを出力する。出力部２３４は、牛ＩＤと牛Ｂｕの顔画像３２０（映像）とを対応付けてディスプレイ４０５（図８参照）に表示させる。なお、出力部２３４による出力態様は、表示による出力態様に限らず、音声による出力態様や、外部の装置への送信による出力態様を含んでもよい。外部の装置に送信する場合、外部の装置が、当該牛ＩＤや顔画像３２０を表示してもよい。

【0053】

識別部２３３は、顔画像抽出部２３２によって顔画像３２０が抽出される度に牛ＩＤを識別する。出力部２３４は、識別部２３３によって牛ＩＤが識別される度に、当該牛ＩＤを出力する。また、出力部２３４は、識別部２３３によって識別された牛ＩＤのうち、最も多く識別された牛ＩＤを最終結果として出力する。具体的には、出力部２３４は、所定時間内に最も多く識別された牛ＩＤを最終結果として出力する。所定時間は、牛Ｂｕがその場に留まって餌を食べる時間内（例えば５分以内）であればよい。本実施形態において、所定時間は、例えば、３分である。

【0054】

なお、本実施形態において、識別部２３３は、学習装置２２０によって作成された学習済みモデルを用いて、顔画像３２０の牛ＩＤを識別するようにしたが、これに限らない。例えば、識別部２３３は、各フォルダ３３０に対応する顔画像３２０の特徴量を比較する比較用のデータを用いて、牛ＩＤを識別するようにしてもよい。具体的に説明すると、不図示のデータベースに、各牛Ｂｕについて、牛ＩＤと、顔画像３２０から抽出された比較用の特徴量とを対応付けて記憶しておく。識別部２３３は、顔画像抽出部２３２によって抽出されたリアルタイムの顔画像３２０から特徴量を計算し、当該特徴量と最も類似度が高い特徴量に対応する牛ＩＤを特定（識別）するようにしてもよい。

【0055】

なお、本実施形態において、記憶制御装置２００と、学習装置２２０とは、家畜識別装置１２０に含まれるが、これに限らない。例えば、家畜識別装置１２０と、記憶制御装置２００と、学習装置２２０とは、それぞれ別々の装置であってもよい。また、家畜識別装置１２０と、学習装置２２０とを別々の装置とし、学習装置２２０に記憶制御装置２００が含まれるようにしてもよいし、家畜識別装置１２０に記憶制御装置２００が含まれるようにしてもよい。

【0056】

また、記憶部２１０は、記憶制御装置２００に具備されることに限らず、外部のサーバなど外部の装置に具備されていてもよい。また、入力部２０１と、撮像情報入力部２３１とは、別々の機能部とすることに限らず、一の機能部としてもよい。同様に、抽出部２０３と、顔画像抽出部２３２とについても、別々の機能部とすることに限らず、一の機能部としてもよい。

【0057】

（家畜識別装置１２０のハードウェア構成）
図５は、家畜識別装置１２０のハードウェア構成の一例を示す説明図である。図５において、家畜識別装置１２０は、ＣＰＵ４０１（Central Processing Unit）と、メモリ４０２と、操作部４０３と、マイク４０４と、ディスプレイ４０５と、スピーカ４０６と、通信Ｉ／Ｆ（インタフェース）とを備える。これらは、バスを介して相互に通信可能である。

【0058】

ＣＰＵ４０１は、中央演算処理装置であり、メモリ４０２に記憶されている各種プログラムを読み出して実行することにより、家畜識別装置１２０の動作を制御する。各種プログラムは、本実施形態に係る、記憶制御プログラムと、学習プログラムと、家畜識別プログラムとを含む。

【0059】

メモリ４０２は、記憶部２１０であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク、ＳＳＤ（Solid State Drive）などを含む。ＲＯＭは、読み出し専用メモリであり、プログラムをはじめとしてＣＰＵ４０１が利用する各種の情報を記憶する。ＲＡＭは、読み出しや書き込みが可能なメモリであり、種々の情報を記憶する。例えば、ＲＡＭは、外部から取得した情報や、処理において生成した情報を記憶する。また、メモリ４０２は、ＵＳＢメモリなどの着脱可能な記憶媒体や、光ディスクなどを含む。

【0060】

操作部４０３は、タッチパネルディスプレイや、キーボード、マウスなどの操作入力部である。マイク４０４は、音声等の音を入力する。ＣＰＵ４０１は、音声認識プログラムを実行することにより、マイク４０４に入力された音声を認識する。

【0061】

ディスプレイ４０５は、タッチパネルディスプレイや、モニタなどである。スピーカ４０６は、音を出力する。通信Ｉ／Ｆ４０７は、他の装置と情報を送受信するインタフェースである。なお、家畜識別装置１２０は、この他にも、情報を読み取るスキャナや、媒体に情報を印刷するプリンタなどを備えていてもよい。

【0062】

なお、図２に示した各部２０１～２０５、２２１、２３１～２３４や、図４に示した各部１１～１４は、ＣＰＵ４０１によって実現される。すなわち、ＣＰＵ４０１がメモリ４０２に記憶されている各種プログラムを実行することにより、各部１１～１４、２０１～２０５、２２１、２３１～２３４の機能を実現する。

【0063】

（家畜識別装置１２０が行う顔画像３２０の記憶制御処理の一例）
図６は、家畜識別装置１２０が行う顔画像３２０の記憶制御処理の一例を示すフローチャートである。図６において、家畜識別装置１２０は、操作部４０３（図４参照）が学習開始を示す所定の操作を受け付けることにより、学習を開始するか否かを判断する（ステップＳ６０１）。家畜識別装置１２０は、学習の開始となるまで待機し（ステップＳ６０１：ＮＯ）、学習の開始になると（ステップＳ６０１：ＹＥＳ）、撮像装置１００によって撮像された撮像情報３００（一のフレーム画像３０１）を入力する（ステップＳ６０２）。

【0064】

そして、家畜識別装置１２０は、関心領域３１０を設定済みであるか否かを判断する（ステップＳ６０３）。関心領域３１０を設定済みである場合（ステップＳ６０３：ＹＥＳ）、家畜識別装置１２０は、ステップＳ６０５に進む。関心領域３１０を設定済みではない場合（ステップＳ６０３：ＮＯ）、家畜識別装置１２０は、牛Ｂｕの顔の領域を検出し、当該検出結果に基づいて、撮像領域３０２のうち、複数の関心領域３１０（３１０ａ～３１０ｄ）を設定する（ステップＳ６０４）。

【0065】

そして、家畜識別装置１２０は、複数の関心領域３１０のうち、一の関心領域３１０を特定する（ステップＳ６０５）。次に、家畜識別装置１２０は、特定した一の関心領域３１０から顔画像３２０を抽出する（ステップＳ６０６）。そして、家畜識別装置１２０は、抽出した顔画像３２０の領域と、関心領域３１０とに基づいて、重複率を算出する（ステップＳ６０７）。

【0066】

次に、家畜識別装置１２０は、重複率が閾値以上であるか否かを判断する（ステップＳ６０８）。重複率が閾値未満である場合（ステップＳ６０８：ＮＯ）、家畜識別装置１２０は、ステップＳ６１４に進む。重複率が閾値以上である場合（ステップＳ６０８：ＹＥＳ）、家畜識別装置１２０は、抽出した顔画像３２０を学習済みモデルに入力する（ステップＳ６０９）。

【0067】

家畜識別装置１２０は、学習済みモデルに顔画像３２０を入力した結果、牛ＩＤを導出したか否かを判断する（ステップＳ６１０）。具体的には、家畜識別装置１２０は、学習済みモデルの出力ベクトルのうち、最も値が高い要素が示す確率が閾値以上である場合に、当該要素に対応する牛ＩＤが導出されたと判定する。一方、家畜識別装置１２０は、学習済みモデルの出力ベクトルのうち、最も値が高い要素が示す確率が閾値未満である場合に、牛ＩＤが導出されなかったと判定する。牛ＩＤを導出した場合（ステップＳ６１０：ＹＥＳ）、すなわち、牛ＩＤを識別した場合、家畜識別装置１２０は、ステップＳ６１３に進む。なお、牛ＩＤを導出した場合、牛ＩＤをディスプレイ４０５に表示してもよい。一方、牛ＩＤを導出しない場合（ステップＳ６１０：ＮＯ）、家畜識別装置１２０は、特定した一の関心領域３１０に対応する牛ＩＤが付されているか否かを判断する（ステップＳ６１１）。

【0068】

当該一の関心領域３１０に対応する牛ＩＤが付されている場合（ステップＳ６１１：ＹＥＳ）、家畜識別装置１２０は、ステップＳ６１３に進む。一方、当該関心領域３１０に対応する牛ＩＤが付されていない場合（ステップＳ６１１：ＮＯ）、家畜識別装置１２０は、当該関心領域３１０に対応する新たな牛ＩＤを付与し、すなわち、新たなフォルダＩＤを付与したフォルダ３３０を生成する（ステップＳ６１２）。

【0069】

次に、家畜識別装置１２０は、当該一の関心領域３１０に対応するフォルダ３３０に顔画像３２０を記憶する（ステップＳ６１３）。そして、家畜識別装置１２０は、対象のフレーム画像３０１において、全ての関心領域３１０を特定したか否かを判断する（ステップＳ６１４）。全ての関心領域３１０を特定していない場合（ステップＳ６１４：ＮＯ）、家畜識別装置１２０は、ステップＳ６０５に戻り、特定していない他の関心領域３１０について、顔画像３２０の抽出や記憶等を行う。

【0070】

一方、全ての関心領域３１０を特定した場合（ステップＳ６１４：ＹＥＳ）、家畜識別装置１２０は、学習済みモデルを作成することが可能な所定数の顔画像３２０を得ることが可能な所定時間（例えば５分）が経過したか否かを判断する（ステップＳ６１５）。所定時間が経過していない場合（ステップＳ６１５：ＮＯ）、家畜識別装置１２０は、ステップＳ６０２に戻り、次のフレーム画像３０１を入力する。

【0071】

一方、所定時間が経過した場合（ステップＳ６１５：ＹＥＳ）、家畜識別装置１２０は、フォルダ３３０ごとに記憶した顔画像３２０を用いて、牛ＩＤを求める学習済みモデルを作成する（ステップＳ６１６）。既に学習済みモデルが作成されている場合は、家畜識別装置１２０は、学習済みモデルを上書きする。なお、ステップＳ６１５に示した、学習開始のトリガとなる所定時間は、任意に設定変更することが可能である。また、当該トリガは、所定時間とすることに限らず、所定フレーム数としてもよいし、記憶した顔画像３２０の枚数としてもよい。

【0072】

ステップＳ６１６における学習済みモデルの作成を終えると、家畜識別装置１２０は、学習済みモデルの対象の牛ＩＤに対応する関心領域３１０について、当該牛ＩＤとの対応付けを解除する（ステップＳ６１７）。次に、家畜識別装置１２０は、操作部４０３（図４参照）が学習終了を示す所定の操作を受け付けることにより、学習を終了するか否かを判断する（ステップＳ６１８）。

【0073】

学習を終了しない場合（ステップＳ６１８：ＮＯ）、家畜識別装置１２０は、ステップＳ６０２に戻り、次のフレーム画像３０１を入力する。一方、学習を終了する場合（ステップＳ６１８：ＹＥＳ）、家畜識別装置１２０は、一連の処理を終了する。

【0074】

上述した処理により、家畜識別装置１２０は、関心領域３１０から抽出した顔画像３２０を、牛ＩＤごと（関心領域３１０ごと）にフォルダ３３０に記憶させることができる。また、家畜識別装置１２０は、各フォルダ３３０の顔画像３２０を入力サンプルとした学習済みモデルを作成することができる。また、上述した処理を繰り返し実行していくことにより、学習済みモデルによって識別可能な牛Ｂｕの数を順次増加させることができる。

【0075】

（家畜識別装置１２０が行う牛Ｂｕの識別処理の一例）
図７は、家畜識別装置１２０が行う牛Ｂｕの識別処理の一例を示すフローチャートである。図７において、家畜識別装置１２０は、操作部４０３（図４参照）が識別開始を示す所定の操作を受け付けることにより、牛ＩＤの識別を開始するか否かを判断する（ステップＳ７０１）。家畜識別装置１２０は、牛ＩＤの識別の開始となるまで待機し（ステップＳ７０１：ＮＯ）、牛ＩＤの識別の開始になると（ステップＳ７０１：ＹＥＳ）、撮像装置１００によって撮像された撮像情報３００（一のフレーム画像３０１）を入力する（ステップＳ７０２）。

【0076】

そして、家畜識別装置１２０は、顔画像３２０を抽出する（ステップＳ７０３）。次に、家畜識別装置１２０は、抽出した顔画像３２０ののうち一の顔画像３２０を特定する（ステップＳ７０４）。そして、家畜識別装置１２０は、特定した顔画像３２０を学習済みモデルに入力する（ステップＳ７０５）。

【0077】

家畜識別装置１２０は、入力した顔画像３２０についての牛ＩＤごとの推定値を導出し、推定値の高い牛ＩＤを選択する（ステップＳ７０６）。なお、ステップＳ７０６では、牛ＩＤごとに推定値がパーセンテージで表される。具体的には、牛ＩＤ「１」の可能性が９５％、牛ＩＤ「２」の可能性が２％、牛ＩＤ「３」の可能性が１％というように表され、最も可能性が高い牛ＩＤが選択される。

【0078】

次に、家畜識別装置１２０は、選択した牛ＩＤをディスプレイ４０５に表示する（ステップＳ７０７）。そして、家畜識別装置１２０は、ステップＳ７０３において抽出した全ての顔画像３２０について、学習済みモデルへの入力が完了したか否かを判断する（ステップＳ７０８）。全ての顔画像３２０について、学習済みモデルへの入力が完了していない場合（ステップＳ７０８：ＮＯ）、家畜識別装置１２０は、ステップＳ７０４に戻り、未だ特定していない一の顔画像３２０を特定し、学習済みモデルへの入力および牛ＩＤの選択（識別）を行う。

【0079】

一方、全ての顔画像３２０について、学習済みモデルへの入力が完了した場合（ステップＳ７０８：ＹＥＳ）、家畜識別装置１２０は、所定時間（例えば３分）が経過したか否かを判断する（ステップＳ７０９）。所定時間が経過していない場合（ステップＳ７０９：ＮＯ）、家畜識別装置１２０は、ステップＳ７０２に戻り、次のフレーム画像の入力を行う。一方、所定時間が経過した場合（ステップＳ７０９：ＹＥＳ）、家畜識別装置１２０は、所定時間内に最も多く選択した牛ＩＤを最終結果としてディスプレイ４０５に表示する（ステップＳ７１０）。

【0080】

次に、家畜識別装置１２０は、操作部４０３（図４参照）が識別終了を示す所定の操作を受け付けることにより、牛ＩＤの識別を終了するか否かを判断する（ステップＳ７１１）。牛ＩＤの識別を終了しない場合（ステップＳ７１１：ＮＯ）、家畜識別装置１２０は、ステップＳ７０２に戻り、次のフレーム画像３０１を入力する。一方、牛ＩＤの識別を終了する場合（ステップＳ７１１：ＹＥＳ）、家畜識別装置１２０は、一連の処理を終了する。

【0081】

上述した処理により、家畜識別装置１２０は、撮像領域３０２から顔画像３２０を抽出し、抽出した顔画像３２０に基づいて、牛ＩＤを識別することができる。

【0082】

（家畜識別装置１２０が表示する牛ＩＤの表示例）
図８は、家畜識別装置１２０が表示する牛ＩＤの表示例を示す説明図である。図８（Ａ）は、牛ＩＤの識別を開始してから、所定時間が経過する前の画面を示す。図８（Ｂ）は、当該所定時間が経過した後の画面を示す。図８（Ａ）、（Ｂ）において、ディスプレイ４０５には、検索画面８００が表示されている。検索画面８００は、カメラ番号入力領域８１０と、検索開始ボタン８２０、撮像表示領域８３０と、牛ＩＤ表示領域８４０とを含む。

【0083】

カメラ番号入力領域８１０は、カメラ番号の入力を受け付ける領域である。カメラ番号は、給餌場１０に配置される複数の撮像装置１００のうち、いずれかの撮像装置１００を示す番号である。検索開始ボタン８２０は、牛ＩＤの検索の開始を受け付けるボタンである。検索対象となる牛ＩＤは、カメラ番号入力領域８１０に入力されたカメラ番号の撮像装置１００によって撮像される牛Ｂｕの牛ＩＤである。

【0084】

撮像表示領域８３０は、撮像装置１００によって撮像された画像を表示する領域である。当該撮像装置１００は、カメラ番号入力領域８１０に入力されたカメラ番号に対応する撮像装置１００である。また、撮像表示領域８３０は、識別結果領域８３１（８３１ａ～８３１ｄ）を含む。識別結果領域８３１は、撮像表示領域８３０内の顔画像３２０（３２０ａ～３２０ｄ）に対応した領域であり、牛ＩＤの識別結果を示す。識別結果領域８３１は、撮像表示領域８３０内の顔画像３２０における顔の位置に応じて、上方または下方に表示される。

【0085】

例えば、牛ＩＤ「１」、「３」の顔画像３２０ａ、３２０ｃにおける牛Ｂｕの顔の位置は、撮像表示領域８３０において、比較的、上方に位置している。このため、撮像表示領域８３０の顔画像３２０ａ、３２０ｃにおける下方にスペースができることから、識別結果領域８３１ａ、８３１ｃを、顔画像３２０の下方に表示するようにしている。

【0086】

一方で、牛ＩＤ「２」、「４」の顔画像３２０ｂ、３２０ｄにおける牛Ｂｕの顔の位置は、撮像表示領域８３０において、比較的、下方に位置している。このため、撮像表示領域８３０の顔画像３２０ｂ、３２０ｄにおける上方にスペースができることから、識別結果領域８３１ａ、８３１ｃを、顔画像３２０の上方に表示するようにしている。

【0087】

このように、識別結果領域８３１は、顔画像３２０における顔の位置に応じて、都度、上方または下方に切り替えて表示される。また、同じ顔画像３２０であっても、フレームごとに、異なる識別結果が表示されることもある。

【0088】

牛ＩＤ表示領域８４０は、牛ＩＤの識別結果をリスト表示する領域である。具体的には、牛ＩＤ表示領域８４０は、撮像表示領域８３０に表示される牛Ｂｕの牛ＩＤをリスト状に表示する領域である。また、牛ＩＤ表示領域８４０に表示される牛ＩＤは、識別結果領域８３１の識別結果に対応している。このため、牛ＩＤ表示領域８４０に表示される牛ＩＤは、フレームごとに、異なる牛ＩＤが表示されることもある。

【0089】

図８（Ａ）において、識別結果領域８３１は、第１の表示態様で表示されている。図８（Ｂ）において、識別結果領域８３１は、第１の表示態様とは異なる第２の表示態様で表示されている。第２の表示態様は、識別結果の最終結果を示す表示態様である。第２の表示態様で表示されてからは、同じ顔画像３２０について、異なる識別結果が表示されることはない。

【0090】

また、牛ＩＤ表示領域８４０の表示態様についても、最終結果を示す表示態様となる。なお、図８（Ｂ）では、識別結果領域８３１と牛ＩＤ表示領域８４０との両方が最終結果を示す表示態様としているが、少なくともいずれか一方を、最終結果を示す表示態様とすればよい。

【0091】

また、図８において、操作者がカメラ番号入力領域８１０に、別のカメラ番号を入力して、検索開始ボタン８２０を選択すると、家畜識別装置１２０は、撮像表示領域８３０に別の撮像装置１００によって撮像された撮像画像を表示して、当該撮像画像に基づいて牛ＩＤの検索を行う。そして、家畜識別装置１２０は、所定時間が経過すると、別の撮像装置１００によって撮像された牛Ｂｕの牛ＩＤを最終結果として表示する。

【0092】

これにより、操作者は、撮像装置１００によって撮像された牛Ｂｕのうち、どの牛Ｂｕが餌を食べたのか、または、餌を食べていないのかを容易に確認することができる。

【0093】

以上説明したように、本実施形態において、家畜識別システム１（記憶制御装置２００）は、牛Ｂｕを前方から撮像した撮像情報に基づいて、関心領域３１０内の牛Ｂｕの顔画像３２０を抽出し、関心領域３１０に対応する牛ＩＤごとに顔画像３２０を分類して記憶させるようにした。これにより、給餌場１０において餌を食べる牛Ｂｕの顔画像３２０を簡単かつ精度よく得ることができる。このため、顔画像３２０に基づく牛Ｂｕの識別を行うことができる。したがって、牛Ｂｕの体の一部に通信機を装着させたり、農場全体に中継器を設置したりしなくても、簡単な構成で、牛Ｂｕを簡単に識別することが可能になる。これにより、牛Ｂｕの識別にかかる酪農家の負荷を軽減することができる。

【0094】

また、本実施形態において、家畜識別システム１（記憶制御装置２００）は、顔画像３２０が示す領域と関心領域３１０とが重複する度合いに基づいて、当該関心領域３１０に対応する牛ＩＤごとに顔画像３２０を記憶させるようにした。これにより、牛Ｂｕの顔が写っている領域が小さい顔画像３２０については、すなわち、関心領域３１０から外れているような精度の低い顔画像３２０については、記憶させないようにすることができる。このため、例えば、精度の低い顔画像３２０を学習済みモデルの作成に用いないようにすることができる。したがって、牛ＩＤの識別に係る精度を向上させることができる。

【0095】

また、本実施形態において、家畜識別システム１（記憶制御装置２００）は、撮像情報３００に基づいて、撮像領域３０２のうち牛Ｂｕの顔の領域を検出し、検出した顔の領域に基づいて、関心領域３１０を設定するようにした。これにより、牛Ｂｕの位置に応じた好適な関心領域３１０を設定することができる。すなわち、撮像領域３０２内のいずれの位置で牛Ｂｕが餌を食べたとしても、顔画像３２０を好適に得ることができる。

【0096】

また、本実施形態において、家畜識別システム１（記憶制御装置２００）は、判別モデルに抽出部２０３によって抽出された顔画像を入力し、確度が所定値以上である場合に、判別され牛ＩＤに顔画像３２０を分類し、当該確度が所定値未満である場合に、関心領域３１０に対応する牛ＩＤに顔画像３２０を分類するようにした。これにより、新たに給餌場１０に入った直後の牛Ｂｕ（牛ＩＤが付与されていない牛Ｂｕ）に対しても、牛ＩＤを付したフォルダ３３０を作成して、顔画像３２０を適切に分類することができる。

【0097】

また、本実施形態において、家畜識別システム１（学習装置２２０）は、牛ＩＤごとに記憶した顔画像３２０を入力サンプルとし、複数のクラスのうち当該顔画像３２０が属するクラスを示すワンホットベクトルを出力サンプルとする学習用データセットを用いて、入力された顔画像３２０に対応して、当該顔画像３２０が属する前記クラスの事後確率を示すベクトルを出力するように学習済みモデル（判別モデル）を作成するようにした。これにより、給餌場１０で餌を食べる牛Ｂｕの顔画像３２０を用いて、数分程度で学習済みモデルを自動で作成することができる。したがって、簡単かつ迅速に学習済みモデルを作成することができるとともに、牛ＩＤの識別を高精度に行うことができる。

【0098】

また、本実施形態において、家畜識別システム１（記憶制御装置２００）は、判別モデルを、学習装置２２０が作成した学習済みモデルとした。これにより、新たに給餌場１０に入った直後の牛Ｂｕ（牛ＩＤが付与されていない牛Ｂｕ）に対しても、牛ＩＤを付したフォルダ３３０を作成して、学習済みモデルを作成することができる。したがって、酪農場内の全ての牛Ｂｕについて、学習済みモデルを簡単かつ迅速に作成することができる。

【0099】

また、本実施形態において、家畜識別システム１（家畜識別装置１２０）は、学習装置２２０によって学習された学習済みモデルに、顔画像３２０を入力することで、牛ＩＤを識別し、識別結果を出力するようにした。これにより、給餌場１０で餌を食べる牛Ｂｕを簡単かつ精度よく識別することができる。したがって、簡単な構成で、牛Ｂｕを好適に識別することが可能になる。

【0100】

また、本実施形態において、家畜識別システム１（家畜識別装置１２０）は、所定数の連続するフレームの撮像情報３００から顔画像３２０を抽出する度に牛ＩＤを識別して、出力するようにした。これにより、撮像情報３００が入力される度に、リアルタイムの識別結果をディスプレイ４０５に表示することができる。したがって、操作者に識別結果を迅速に提示することができる。

【0101】

また、本実施形態において、家畜識別システム１（家畜識別装置１２０）は、識別した牛ＩＤのうち、最も多く識別した牛ＩＤを最終結果として出力するようにした。これにより、牛Ｂｕの顔の向き等によっては、識別結果にバラツキが生じる可能性があるものの、このようなバラツキが生じたとしても、所定時間内に最も多く識別した牛ＩＤを最終結果とすることができる。したがって、より高精度に牛ＩＤの識別を行うことができる。

【0102】

（実施形態の変形例）
以下に、実施形態の変形例について説明する。なお、以下の変形例では、上述した実施形態で説明した内容については、適宜説明を省略する。また、以下の変形例および上述した実施形態は、それぞれ組み合わせることも可能である。

【0103】

（変形例）
上述した実施形態では、関心領域３１０は、撮像領域３０２（図３参照）のうち牛Ｂｕの顔の領域に基づいて設定される構成について説明した。変形例１では、このような構成に加えて又は代えて、関心領域３１０は、撮像領域３０２を予め区分けされた領域とした構成について説明する。

【0104】

変形例において、設定部２０２は、撮像領域３０２を予め区分けされた関心領域３１０を設定する。具体的には、撮像領域３０２のうち、牛Ｂｕが位置する領域が予め想定されているものとする。設定部２０２は、牛Ｂｕが位置するものと想定される領域に、予め関心領域３１０を設定する。図３を例に挙げると、撮像領域３０２のうち、４つの関心領域３１０（３１０ａ～３１０ｄ）を予め設定する。隣り合う関心領域３１０の間には隙間が設けられている。なお、図示では４頭の牛Ｂｕが撮像領域３０２に写ることを想定しているが、例えば、８等の牛Ｂｕが撮像領域３０２に写ることが想定される場合には、８つの関心領域３１０を予め設定しておけばよい。

【0105】

変形例に係る家畜識別システム１（記憶制御装置２００）によれば、仮に、撮像の開始時点で、隣り合う牛Ｂｕの距離が近かったとしても、予め定めた関心領域３１０ごとに顔画像３２０を得ることができる。このようにしても、顔画像３２０を好適に得ることができる。

【0106】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【0107】

なお、以上に説明した家畜識別システム１、家畜識別装置１２０、記憶制御装置２００および学習装置２２０を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録し、そのプログラムをコンピュータシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0108】

１…家畜識別システム、１００…撮像装置、１２０…家畜識別装置、２００…記憶制御装置、２０１…入力部、２０２…設定部、２０３…抽出部、２０４…記憶制御部、２０５…検出部、２１０…記憶部、２２０…学習装置、２２１…学習処理部、２３１…撮像情報入力部、２３２…顔画像抽出部、２３３…識別部、２３４…出力部、４０１…ＣＰＵ、４０２…メモリ、４０３…操作部、４０４…マイク、４０５…ディスプレイ、４０６…スピーカ、４０７…通信Ｉ／Ｆ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】