特開 2023-14766 体重推定装置、体向き判定装置、体部位画像生成装置、機械学習装置、推論装置、体重推定方法、及び、体重推定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023014766

(43)【公開日】2023-01-31

(54)【発明の名称】体重推定装置、体向き判定装置、体部位画像生成装置、機械学習装置、推論装置、体重推定方法、及び、体重推定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230124BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2021118915

(22)【出願日】2021-07-19

(71)【出願人】

【識別番号】590002389

【氏名又は名称】静岡県

(74)【代理人】

【識別番号】100214248

【弁理士】

【氏名又は名称】青山 純

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(72)【発明者】

【氏名】瀬戸 隆弘

(72)【発明者】

【氏名】大村 学海

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096AA06

5L096AA09

5L096BA08

5L096BA18

5L096CA02

5L096DA02

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】簡便かつ安全に牛の体重を推定することを可能とする体重推定装置を提供する。
【解決手段】体重推定装置１０は、牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部３００と、画像を第１の学習モデル１１Ａに入力することで、牛の体向きを判定する体向き判定部３０１と、牛の体向きが所定の体向きにて撮像された画像を、第２の学習モデル１１Ｂに入力することで、体部位画像を生成する体部位画像生成部３０２と、体部位画像を第３の学習モデル１１Ｃに入力することで、牛の体重を推定する体重推定部３０３とを備える。
【選択図】 図１０

【特許請求の範囲】

【請求項1】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定部と、
前記牛の前記体向きが所定の体向きにて撮像された前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成部と、
前記体部位画像を、前記体部位画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定部とを備える、
体重推定装置。

【請求項2】

前記所定の体向きは、
前記画像が前記牛の左後方又は左側方から撮像されることで、前記画像に前記牛の胴体の左側が撮像される体向きである、
請求項１に記載の体重推定装置。

【請求項3】

前記所定の体部位は、
前記牛の胴体、又は、前記牛の胴体及び四肢である、
請求項１又は請求項２に記載の体重推定装置。

【請求項4】

前記画像取得部は、
前記深度画像を取得し、
前記体向き判定部は、
前記深度画像を前記第１の学習モデルに入力することで、前記深度画像に撮像された前記牛の前記体向きを判定し、
前記体部位画像生成部は、
前記牛の前記体向きが所定の体向きにて撮像された前記深度画像を前記第２の学習モデルに入力することで、前記深度画像から前記除去領域を除去した前記深度画像を前記体部位画像として生成し、
前記体重推定部は、
前記体部位画像を前記第３の学習モデルに入力することで、前記深度画像に撮像された前記牛の前記体重を推定する、
請求項１乃至請求項３のいずれか一項に記載の体重推定装置。

【請求項5】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成部と、
前記体部位画像を、前記体部位画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定部とを備える、
体重推定装置。

【請求項6】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定部と、
前記牛の前記体向きが所定の体向きにて撮像された前記画像を、前記画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定部とを備える、
体重推定装置。

【請求項7】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定部とを備える、
体重推定装置。

【請求項8】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定部とを備える、
体向き判定装置。

【請求項9】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成部とを備える、
体部位画像生成装置。

【請求項10】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像に基づいて前記牛の体重を推定するための第３の学習モデルを生成する機械学習装置であって、
前記画像に対応する第３の学習用画像と、当該第３の学習用画像に撮像された前記牛の前記体重とで構成される第３の学習用データを複数組記憶する学習用データ記憶部と、
前記第３の学習モデルに前記第３の学習用データを複数組入力することで、前記第３の学習用画像と前記体重との相関関係を前記第３の学習モデルに機械学習させる機械学習部と、
前記機械学習部により機械学習させた前記第３の学習モデルを記憶する学習済みモデル記憶部とを備える、
機械学習装置。

【請求項11】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像に基づいて前記牛の体向きを判定するための第１の学習モデルを生成する機械学習装置であって、
前記画像に対応する第１の学習用画像と、当該第１の学習用画像に撮像された前記牛の前記体向きとで構成される第１の学習用データを複数組記憶する学習用データ記憶部と、
前記第１の学習モデルに前記第１の学習用データを複数組入力することで、前記第１の
学習用画像と前記体向きとの相関関係を前記第１の学習モデルに機械学習させる機械学習部と、
前記機械学習部により機械学習させた前記第１の学習モデルを記憶する学習済みモデル記憶部とを備える、
機械学習装置。

【請求項12】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像から前記牛の所定の体部位を含む体部位領域以外の除去領域を除去した前記画像を体部位画像として生成するための第２の学習モデルを生成する機械学習装置であって、
前記画像に対応する第２の学習用画像と、当該第２の学習用画像に撮像された前記牛の前記所定の体部位を含む前記体部位領域とで構成される第２の学習用データを複数組記憶する学習用データ記憶部と、
前記第２の学習モデルに前記第２の学習用データを複数組入力することで、前記第２の学習用画像と前記体部位領域との相関関係を前記第２の学習モデルに機械学習させる機械学習部と、
前記機械学習部により機械学習させた前記第２の学習モデルを記憶する学習済みモデル記憶部とを備える、
機械学習装置。

【請求項13】

メモリと、プロセッサとを備える推論装置であって、
前記プロセッサは、
牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、
前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の体重を推論する推論処理とを実行する、
推論装置。

【請求項14】

メモリと、プロセッサとを備える推論装置であって、
前記プロセッサは、
牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、
前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の体向きを推論する推論処理とを実行する、
推論装置。

【請求項15】

メモリと、プロセッサとを備える推論装置であって、
前記プロセッサは、
牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、
前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の所定の体部位を含む体部位領域を推論する推論処理とを実行する、
推論装置。

【請求項16】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得工程と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定工程と、
前記牛の前記体向きが所定の体向きにて撮像された前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位
領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成工程と、
前記体部位画像を、前記体部位画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定工程とを備える、
体重推定方法。

【請求項17】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得工程と、
前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成工程と、
前記体部位画像を、前記体部位画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定工程とを備える、
体重推定方法。

【請求項18】

牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得工程と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定工程と、
前記牛の前記体向きが所定の体向きにて撮像された前記画像を、前記画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定工程とを備える、
体重推定方法。

【請求項19】

コンピュータを、請求項１乃至請求項７のいずれか一項に記載の体重推定装置が備える各部として機能させる、
体重推定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、体重推定装置、体向き判定装置、体部位画像生成装置、機械学習装置、推論装置、体重推定方法、及び、体重推定プログラムに関する。

【背景技術】

【0002】

従来、牛の体重を測定する手段として、各種の装置や器具が使用されている。例えば、特許文献１には、牛が一対の柵の間に設けられた秤量板の上を歩行通過するときに、その牛の体重を測定する体重測定装置が開示されている。また、特許文献２には、牛の胸囲の目盛りに対応する位置に、牛の推定体重の目盛りが付された巻き尺が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平５－１８８０６号公報

【特許文献2】特開２００２－２６２７１４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された体重測定装置は、高価で大掛かりな装置であるだけでなく、牛が柵の間を通過するように誘導する必要があるため、作業者の作業負担が大きく、測定作業にも時間を要するものであった。また、特許文献２に開示された巻き尺を使用して牛の体重を推定するには、作業者が牛と接触して胸囲を測定する必要があるため、牛に挟まれる等の事故が発生する危険性があった。

【0005】

本発明は、上述した課題に鑑みてなされたものであって、簡便かつ安全に牛の体重を推定することを可能とする体重推定装置、体向き判定装置、体部位画像生成装置、機械学習装置、推論装置、体重推定方法、及び、体重推定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の一態様に係る体重推定装置は、
牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得部と、
前記画像を、前記画像に対応する第１の学習用画像と当該第１の学習用画像に撮像された前記牛の体向きとの相関関係を機械学習させた第１の学習モデルに入力することで、前記画像に撮像された前記牛の前記体向きを判定する体向き判定部と、
前記牛の前記体向きが所定の体向きにて撮像された前記画像を、前記画像に対応する第２の学習用画像と当該第２の学習用画像に撮像された前記牛の所定の体部位を含む体部位領域との相関関係を機械学習させた第２の学習モデルに入力することで、前記画像から前記体部位領域以外の除去領域を除去した前記画像を体部位画像として生成する体部位画像生成部と、
前記体部位画像を、前記体部位画像に対応する第３の学習用画像と当該第３の学習用画像に撮像された前記牛の体重との相関関係を機械学習させた第３の学習モデルに入力することで、前記画像に撮像された前記牛の前記体重を推定する体重推定部とを備える。

【発明の効果】

【0007】

本発明の一態様に係る体重推定装置によれば、牛が所定の体向きにて撮像された画像か
ら牛の体重が推定されるので、簡便かつ安全に牛の体重を推定することができる。

【0008】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態に係る牛管理システム１の一例を示す全体構成図である。

【図2】牛管理データベース４０の一例を示すデータ構成図である。

【図3】コンピュータ９００の一例を示すハードウエア構成図である。

【図4】第１の実施形態に係る機械学習装置２の一例を示すブロック図である。

【図5】第１の学習モデル１１Ａ及び第１の学習用データ１２Ａの一例を示す図である。

【図6】第２の学習モデル１１Ｂ及び第２の学習用データ１２Ｂの一例を示す図である。

【図7】第３の学習モデル１１Ｃ及び第３の学習用データ１２Ｃの一例を示す図である。

【図8】第１の実施形態に係る機械学習装置２による機械学習方法の一例を示すフローチャートである。

【図9】第１の実施形態に係る体重推定装置１０として機能する端末装置３の一例を示すブロック図である。

【図10】第１の実施形態に係る体重推定装置１０の一例を示す機能説明図である。

【図11】第１の実施形態に係る体重推定装置１０による体重推定方法の一例を示すフローチャートである。

【図12】撮像画面１３の一例を示す画面構成図である。

【図13】体重推定結果画面１４の一例を示す画面構成図である。

【図14】第２の実施形態に係る体重推定装置１０ａとして機能する端末装置３ａの一例を示すブロック図である。

【図15】第２の実施形態に係る体重推定装置１０ａの一例を示す機能説明図である。

【図16】第３の実施形態に係る体重推定装置１０ｂとして機能する端末装置３ｂの一例を示すブロック図である。

【図17】第３の実施形態に係る体重推定装置１０ｂの一例を示す機能説明図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。

【0011】

（第１の実施形態）
図１は、第１の実施形態に係る牛管理システム１の一例を示す全体構成図である。牛管理システム１は、牛Ｃの体重を推定（測定）し、牛Ｃの生育状況や健康状態を管理するシステムである。

【0012】

牛管理システム１は、その主要な構成要素として、機械学習装置２と、端末装置３と、管理装置４とを備える。各装置２～４は、例えば、汎用又は専用のコンピュータ（後述の図３参照）で構成されるとともに、有線又は無線のネットワーク５に接続されて、各種のデータを相互に送受信可能に構成される。なお、各装置２～４の数やネットワーク５への接続構成は、図１の例に限られない。

【0013】

牛Ｃは、例えば、畜産施設にて飼育されている畜産牛である。なお、牛Ｃの数や品種は特に限定されない。

【0014】

機械学習装置２は、機械学習の学習フェーズの主体として動作し、端末装置３にて用いられる第１乃至第３の学習モデル１１Ａ～１１Ｃを機械学習により生成する。機械学習装置２は、機械学習の手法として、例えば、教師あり学習を採用する。

【0015】

学習済みの第１乃至第３の学習モデル１１Ａ～１１Ｃは、例えば、ネットワーク５や記録媒体等を介して端末装置３に提供される。その際、第１乃至第３の学習モデル１１Ａ～１１Ｃは、端末装置３にて実行されるアプリの１つである体重推定プログラム１００に組み込まれることで体重推定プログラム１００と一体的なデータで提供されてもよいし、体重推定プログラム１００により参照可能なデータとして、体重推定プログラム１００とは別のデータで提供されてもよい。

【0016】

端末装置３は、例えば、畜産施設の作業者（施設管理者、飼育員等）により使用される。端末装置３は、作業者が所有する装置であって、例えば、スマートフォン、タブレット端末等の携帯型コンピュータで構成される。端末装置３は、各種の入力操作を受け付けるとともに、アプリやブラウザによる表示画面や音声を介して、各種の情報を出力する。また、端末装置３は、ネットワーク５を介して管理装置４との間で各種のデータを送受信する。

【0017】

端末装置３は、牛Ｃを撮像するためのカメラ３５を備えるとともに、端末装置３にインストールされた体重推定プログラム１００を実行することで、牛Ｃの体重を推定（測定）する体重推定装置１０として機能する。体重推定装置１０は、機械学習の推論フェーズの主体として動作し、カメラ３５により牛Ｃが撮像された画像と、機械学習装置２により生成された第１乃至第３の学習モデル１１Ａ～１１Ｃとに基づいて、牛Ｃの体重を推定する。

【0018】

カメラ３５は、二次元画像、及び、深度画像の少なくとも一方を撮像可能な撮像装置で構成される。二次元画像は、被写体及びその周囲をカメラ３５の光軸に直交する二次元平面に投影した画像であり、例えば、カラー画像、グレースケール画像等である。深度画像は、カメラ３５の光軸方向に対する被写体及びその周囲の奥行きのデータを記録した画像であり、例えば、アクティブ方式及びパッシブ方式のいずれでもよく、グレースケール画像（明暗により遠近を表現する画像）、カラー画像（色により遠近を表現する画像）等である。カメラ３５が、二次元画像及び深度画像の両方を撮像する場合には、両画像を撮像可能な範囲（画角）は、同程度であることが好ましい。

【0019】

本実施形態では、カメラ３５は、二次元画像（カラー画像）、及び、深度画像（グレースケール画像）の両方を撮像可能なＲＧＢ－Ｄ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ）カメラで構成されるものとして説明する。

【0020】

管理装置４は、牛Ｃの各種の情報を管理する牛管理データベース４０を備える。管理装置４は、端末装置３から受信した情報に基づいて、牛管理データベース４０の情報を編集（追加、変更、削除等）したり、牛管理データベース４０に記憶された情報を端末装置３に送信したりする。

【0021】

図２は、牛管理データベース４０の一例を示すデータ構成図である。牛管理データベース４０は、牛情報テーブル４００、及び、測定情報テーブル４０１から構成される。

【0022】

牛情報テーブル４００は、牛ＩＤにより特定される複数のレコードを有し、各レコードには、牛名、分娩日、及び、産次が登録される。測定情報テーブル４０１は、測定ＩＤにより特定される複数のレコードを有し、各レコードには、牛ＩＤ、撮像日時、二次元画像、深度画像、及び、体重が登録される。

【0023】

牛管理データベース４０では、測定情報テーブル４０１の各レコードが、牛ＩＤにより牛情報テーブル４００と関連付けられることで、端末装置３（体重推定装置１０）により推定（測定）された牛Ｃの体重の測定結果（推定結果）が、牛Ｃ毎に管理される。そのため、牛管理データベース４０に記憶された情報に基づいて、体重の推移や平均値等の分析情報が牛Ｃ毎に取得可能である。

【0024】

（コンピュータ９００の構成）
図３は、コンピュータ９００の一例を示すハードウエア構成図である。機械学習装置２、端末装置３、及び、管理装置４の各々は、汎用又は専用のコンピュータ９００により構成される。

【0025】

コンピュータ９００は、図３に示すように、その主要な構成要素として、バス９１０、プロセッサ９１２、メモリ９１４、入力デバイス９１６、出力デバイス９１７、表示デバイス９１８、ストレージ装置９２０、通信Ｉ／Ｆ（インターフェース）部９２２、外部機器Ｉ／Ｆ部９２４、Ｉ／Ｏ（入出力）デバイスＩ／Ｆ部９２６、及び、メディア入出力部９２８を備える。なお、上記の構成要素は、コンピュータ９００が使用される用途に応じて適宜省略されてもよい。

【0026】

プロセッサ９１２は、１つ又は複数の演算処理装置（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）で構成され、コンピュータ９００全体を統括する制御部として動作する。メモリ９１４は、各種のデータ及びプログラム９３０を記憶し、例えば、メインメモリとして機能する揮発性メモリ（ＤＲＡＭ、ＳＲＡＭ等）と、不揮発性メモリ（ＲＯＭ）、フラッシュメモリ等とで構成される。

【0027】

入力デバイス９１６は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス９１７は、例えば、音（音声）出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス９１８は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス９１６及び表示デバイス９１８は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置９２０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等で構成され、記憶部として機能する。ストレージ装置９２０は、オペレーティングシステムやプログラム９３０の実行に必要な各種のデータを記憶する。

【0028】

通信Ｉ／Ｆ部９２２は、インターネットやイントラネット等のネットワーク９４０（図１のネットワーク５と同じであってもよい）に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器Ｉ／Ｆ部９２４は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器９５０に有線又は無線により接続され、所定の通信規格に従って外部機器９５０との間でデータの送受信を行う通信部として機能する。Ｉ／ＯデバイスＩ／Ｆ部９２６は、各種のセンサ、アクチュエータ等のＩ／Ｏデバイス９６０に接続され、Ｉ／Ｏデバイス９６０との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部９２８は、例えば、ＤＶＤ（
Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）ドライブ等のドライブ装置で構成され、ＤＶＤ、ＣＤ等のメディア（非一時的な記憶媒体）９７０に対してデータの読み書きを行う。

【0029】

上記構成を有するコンピュータ９００において、プロセッサ９１２は、ストレージ装置９２０に記憶されたプログラム９３０をメモリ９１４に呼び出して実行し、バス９１０を介してコンピュータ９００の各部を制御する。なお、プログラム９３０は、ストレージ装置９２０に代えて、メモリ９１４に記憶されていてもよい。プログラム９３０は、インストール可能なファイル形式又は実行可能なファイル形式でメディア９７０に記録され、メディア入出力部９２８を介してコンピュータ９００に提供されてもよい。プログラム９３０は、通信Ｉ／Ｆ部９２２を介してネットワーク９４０経由でダウンロードすることによりコンピュータ９００に提供されてもよい。また、コンピュータ９００は、プロセッサ９１２がプログラム９３０を実行することで実現する各種の機能を、例えば、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等のハードウエアで実現するものでもよい。

【0030】

コンピュータ９００は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ９００は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよい。コンピュータ９００は、機械学習装置２、端末装置３、及び、管理装置４以外の他の装置に適用されてもよい。

【0031】

（機械学習装置２）
図４は、第１の実施形態に係る機械学習装置２の一例を示すブロック図である。機械学習装置２は、制御部２０、入力部２１、出力部２２、通信部２３、学習用データ記憶部２４、及び、学習済みモデル記憶部２５を備える。

【0032】

制御部２０は、機械学習プログラム（不図示）を実行することで、学習用データ取得部２００、及び、第１乃至第３の機械学習部２０１Ａ～２０１Ｃとして機能する。入力部２１は、各種の入力操作を受け付けるとともに、出力部２２は、表示画面や音声を介して各種の情報を出力することで、ユーザインターフェースとして機能する。通信部２３は、ネットワーク５を介して外部装置（例えば、端末装置３、管理装置４等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。

【0033】

学習用データ取得部２００は、通信部２３及びネットワーク５を介して外部装置から各種のデータを受信することで、第１乃至第３の学習用データ１２Ａ～１２Ｃを取得する。また、学習用データ取得部２００は、入力部２１及び出力部２２を介して操作者の入力操作を受け付けることで、第１乃至第３の学習用データ１２Ａ～１２Ｃを取得する。

【0034】

学習用データ記憶部２４は、学習用データ取得部２００が取得した第１乃至第３の学習用データ１２Ｃ～１２Ｃを複数組記憶するデータベースである。第１乃至第３の学習用データ１２Ｃ～１２Ｃは、教師あり学習における訓練データ（トレーニングデータ）、検証データ及びテストデータとして用いられる。なお、学習用データ記憶部２４を構成するデータベースの具体的な構成は適宜設計すればよい。

【0035】

第１乃至第３の機械学習部２０１Ａ～２０１Ｃは、学習用データ記憶部２４に記憶された第１乃至第３の学習用データ１２Ａ～１２Ｃをそれぞれ用いて機械学習を実施することにより、第１乃至第３の学習モデル１１Ａ～１１Ｃをそれぞれ生成する。

【0036】

学習済みモデル記憶部２５は、第１乃至第３の機械学習部２０１Ａ～２０１Ｃによりそれぞれ機械学習させた学習済みの第１乃至第３の学習モデル１１Ａ～１１Ｃを記憶するデータベースである。学習済みモデル記憶部２５に記憶された第１乃至第３の学習モデル１１Ａ～１１Ｃは、ネットワーク５や記録媒体等を介して実システム（例えば、端末装置３）に提供される。なお、図３では、学習用データ記憶部２４と、学習済みモデル記憶部２５とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。

【0037】

図５は、第１の学習モデル１１Ａ及び第１の学習用データ１２Ａの一例を示す図である。第１の学習用データ１２Ａは、第１の学習用画像と、当該第１の学習用画像に撮像された牛Ｃの体向きとで構成される。

【0038】

第１の学習用画像は、カメラ３５により牛Ｃが撮像された画像であって、二次元画像及び深度画像の少なくとも一方の画像に対応する。本実施形態では、第１の学習用画像は、二次元画像である場合について説明するが、深度画像であってもよい。

【0039】

牛Ｃの体向きは、教師あり学習における正解ラベルに対応する。牛Ｃの体向きは、牛Ｃが撮像されたときの体向きを表すものであり、全周囲（３６０度）を所定の数（４、８、１６等）で分割したときの方位（４方位、８方位、１６方位）による多クラスの分類で表されてもよいし、所定の体向きであるか否かの２クラスの分類で表されてもよい。

【0040】

例えば、牛Ｃの体向きが、図５に示すように、８方位による８クラスの分類で表される場合には、牛の前方から撮像されることで、画像に牛Ｃの頭部側が正面に撮像される「前方」と、牛の左前方、左側方、左後方からそれぞれ撮像されることで、画像に牛Ｃの胴体の左側が撮像される「左前方」、「左側方」、「左後方」と、牛の右前方、右側方、右後方からそれぞれ撮像されることで、画像に牛Ｃの胴体の右側が撮像される「右前方」、「右側方」、「右後方」と、画像に牛Ｃの臀部側が正面に撮像される「後方」とで表される。また、牛Ｃの体向きが、２クラスの分類で表される場合には、画像が牛の左後方又は左側方から撮像されることで、画像に牛Ｃの胴体の左側が撮像される所定の体向き（「左後方」又は「左側方」）であるか否かで表される。

【0041】

学習用データ取得部２００は、例えば、過去に牛Ｃが撮像されたときの画像（本実施形態では、二次元画像）を外部装置から第１の学習用画像として受信するとともに、その第１の学習用画像に撮像された牛Ｃの体向きを特定する入力操作を入力部２１から受け付けて、それらを対応付けることで、第１の学習用データ１２Ａを取得する。

【0042】

第１の学習モデル１１Ａは、例えば、畳み込みニューラルネットワーク（ＣＮＮ）の構造を採用したものであり、入力層１１０Ａ、中間層１１１Ａ、及び、出力層１１２Ａを備える。各層の間には、各ニューロンをそれぞれ接続するシナプス（不図示）が張られており、各シナプスには、重みが対応付けられている。

【0043】

入力層１１０Ａは、入力データとしての第１の学習用画像の画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。中間層１１１Ａは、例えば、畳み込み層、プーリング層及び全結合層から構成され、第１の学習用画像から特徴量を抽出し、一次元配列の特徴ベクトルとして出力する。出力層１１２Ａは、中間層１１１Ａから出力された特徴ベクトルに基づいて、第１の学習用画像に撮像された牛Ｃの体向きを判定（推論）した判定結果を、出力データとして出力する。図５の例では、出力層１１２Ａは、「前方」、「左前方」、「左側方」、「左後方」、「右前方」、「右側方」、「右後方」及び「後方」からなる８クラスに対応する数のニューロンを有し、各ニューロンは、各クラスにそれぞれ分類されるときのスコア（信頼度）を、所定の範囲（例えば、０～１）の値で出力する。

【0044】

第１の機械学習部２０１Ａは、第１の学習モデル１１Ａに第１の学習用データ１２Ａを複数組入力することで、第１の学習用画像と、当該第１の学習用画像に撮像された牛Ｃの体向きとの相関関係を第１の学習モデル１１Ａに機械学習させる。複数組の第１の学習用データ１２Ａは、各クラスに対応する様々な体向きで撮像された第１の学習用画像で構成される。

【0045】

具体的には、第１の機械学習部２０１Ａは、第１の学習用データ１２Ａを構成する第１の学習用画像を入力データとして、入力層１１０Ａに入力し、出力層１１２Ａから判定結果として出力された牛Ｃの体向き（出力データ）と、当該第１の学習用データ１２Ａを構成する牛Ｃの体向き（正解ラベル）とを比較する誤差関数を用いて、各シナプスに対応付けられた重みを調整する。そして、第１の機械学習部２０１Ａは、所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときの各シナプスのそれぞれに対応付けられた重みからなる重みパラメータ群を、学習済みの第１の学習モデル１１Ａとして学習済みモデル記憶部２５に格納する。なお、第１の機械学習部２０１Ａは、第１の学習用画像を入力層１１０Ａに入力する際の前処理として、所定の画像調整（例えば、画像フォーマット、画像サイズ、色補正等）を第１の学習用画像に施してもよい。

【0046】

図６は、第２の学習モデル１１Ｂ及び第２の学習用データ１２Ｂの一例を示す図である。第２の学習用データ１２Ｂは、第２の学習用画像と、当該第２の学習用画像に撮像された牛Ｃの所定の体部位を含む体部位領域とで構成される。

【0047】

第２の学習用画像は、カメラ３５により牛Ｃが撮像された画像であって、二次元画像及び深度画像の少なくとも一方の画像に対応する。本実施形態では、第２の学習用画像は、牛Ｃの体向きが所定の体向き（「左後方」）にて撮像された深度画像である場合について説明するが、同様の条件にて撮像された二次元画像であってもよい。

【0048】

体部位領域は、教師あり学習における正解ラベルに対応する。体部位領域は、第２の学習用画像のうち、牛Ｃの所定の体部位が撮像された領域を表すものであり、所定の体部位以外の除去領域、すなわち、所定の体部位以外の体部位や背景が撮像された領域は含まれない。所定の体部位は、牛Ｃの胴体だけでもよいし、牛Ｃの胴体及び四肢でもよい。所定の体部位が、牛Ｃの「胴体」である場合、体部位領域は、胴体のみが撮像された領域であり、胴体以外の体部位や背景が撮像された領域（除去領域）は含まれない。また、所定の体部位が、牛Ｃの「胴体及び四肢」である場合、体部位領域は、図６に示すように、胴体が撮像された領域と、四肢が撮像された領域とを結合した領域であり、胴体及び四肢以外の体部位や背景が撮像された領域（除去領域）は含まれない。

【0049】

学習用データ取得部２００は、例えば、過去に牛Ｃが撮像されたときの画像（本実施形態では、「左後方」の体向きにて撮像された深度画像）を外部装置から第２の学習用画像として受信するとともに、その第２の学習用画像における体部位領域及び除去領域を特定する入力操作を入力部２１から受け付けて、それらを対応付けることで、第２の学習用データ１２Ｂを取得する。その際、学習用データ取得部２００は、体部位領域及び除去領域を特定する入力操作として、例えば、牛Ｃの体部位の各部（胴体、頭部、頸部、四肢）が撮像された領域と、背景が撮像された領域とをそれぞれ特定する情報を受け付けてもよい。

【0050】

第２の学習モデル１１Ｂは、セグメンテーションを実施する学習モデルとして、例えば、全層畳み込みネットワーク(ＦＣＮ)の構造を採用したものであり、入力層１１０Ｂ、中間層１１１Ｂ、及び、出力層１１２Ｂを備える。各層の間には、各ニューロンをそれぞれ接続するシナプス（不図示）が張られており、各シナプスには、重みが対応付けられてい
る。

【0051】

入力層１１０Ｂは、入力データとしての第２の学習用画像の画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。中間層１１１Ｂは、例えば、畳み込み層、逆畳み込み層から構成される。出力層１１２Ｂは、第２の学習用画像の画像数に対応する数のニューロンを有し、体部位領域と、体部位領域以外の除去領域とに分類（推論）した分類結果を、出力データとして出力する。出力層１１２Ｂの各ニューロンは、例えば、各ピクセルが体部位領域であるか否かのスコア（信頼度）を、所定の範囲（例えば、０～１）の値で出力する。図６の例では、出力層１１２Ｂは、「胴体及び四肢」に対応するピクセルを体部位領域とし、それら以外に対応するピクセルを除去領域とする体部位画像を生成して出力する。

【0052】

第２の機械学習部２０１Ｂは、第２の学習モデル１１Ｂに第２の学習用データ１２Ｂを複数組入力することで、第２の学習用画像と、当該第２の学習用画像に撮像された牛Ｃの所定の体部位を含む体部位領域との相関関係を第２の学習モデル１１Ｂに機械学習させる。

【0053】

具体的には、第２の機械学習部２０１Ｂは、第２の学習用データ１２Ｂを構成する第２の学習用画像を入力データとして、入力層１１０Ｂに入力し、出力層１１２Ｂから分類結果として出力された体部位領域（出力データ）と、当該第２の学習用データ１２Ｂを構成する体部位領域（正解ラベル）とを比較する誤差関数を用いて、各シナプスに対応付けられた重みを調整する。そして、第２の機械学習部２０１Ｂは、所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときの各シナプスのそれぞれに対応付けられた重みからなる重みパラメータ群を、学習済みの第２の学習モデル１１Ｂとして学習済みモデル記憶部２５に格納する。

【0054】

図７は、第３の学習モデル１１Ｃ及び第３の学習用データ１２Ｃの一例を示す図である。第３の学習用データ１２Ｃは、第３の学習用画像と、当該第３の学習用画像に撮像された牛Ｃの体重とで構成される。

【0055】

第３の学習用画像は、カメラ３５により牛Ｃが撮像された画像であって、二次元画像及び深度画像の少なくとも一方の画像に対応する。本実施形態では、第３の学習用画像は、牛Ｃの体向きが所定の体向き（「左後方」）にて撮像された深度画像であって、その深度画像から所定の体部位（「胴体及び四肢」）を含む体部位領域以外の除去領域を除去した深度画像（体部位画像）である場合について説明するが、同様の条件にて撮像されて処理された二次元画像であってもよい。

【0056】

牛Ｃの体重は、教師あり学習における正解ラベルに対応する。牛Ｃの体重は、第３の学習モデル１１Ｃを分類モデルとする場合には、図７に示すように、所定の範囲毎（例えば、１０ｋｇ毎）による多クラスの分類で表されてもよいし、第３の学習モデル１１Ｃを回帰モデルとする場合には、単位をキログラムとする数値で表されてもよい。

【0057】

学習用データ取得部２００は、例えば、過去に牛Ｃが撮像されたときの画像（本実施形態では、「左後方」の体向きにて撮像された深度画像から「胴体及び四肢」を含む体部位領域以外の除去領域を除去した深度画像（体部位画像））を外部装置から第３の学習用画像として受信するとともに、その第３の学習用画像に撮像された牛Ｃの体重を入力する入力操作を入力部２１から受け付けて、それらを対応付けることで、第３の学習用データ１２Ｃを取得する。その際、第３の学習用画像は、画像編集ソフトウェア等で画像を編集することで生成されたものでもよい。また、牛Ｃの体重は、例えば、体重計により測定された測定値が入力される。

【0058】

第３の学習モデル１１Ｃは、例えば、畳み込みニューラルネットワークの構造を採用したものであり、入力層１１０Ｃ、中間層１１１Ｃ、及び、出力層１１２Ｃを備える。各層の間には、各ニューロンをそれぞれ接続するシナプス（不図示）が張られており、各シナプスには、重みが対応付けられている。

【0059】

入力層１１０Ｃは、入力データとしての第３の学習用画像の画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。中間層１１１Ｃは、例えば、畳み込み層、プーリング層及び全結合層から構成され、第３の学習用画像から特徴量を抽出し、一次元配列の特徴ベクトルとして出力する。出力層１１２Ｃは、中間層１１１Ｃから出力された特徴ベクトルに基づいて、第３の学習用画像に撮像された牛Ｃの体重を推定（推論）した推定結果を、出力データとして出力する。図７の例では、出力層１１２Ｃは、１０ｋｇ毎の各体重に対応する数のニューロンを有し、各ニューロンは、各クラスにそれぞれ分類されるときのスコア（信頼度）を、所定の範囲（例えば、０～１）の値で出力する。

【0060】

第３の機械学習部２０１Ｃは、第３の学習モデル１１Ｃに第３の学習用データ１２Ｃを複数組入力することで、第３の学習用画像と、当該第３の学習用画像に撮像された牛Ｃの体重との相関関係を第３の学習モデル１１Ｃに機械学習させる。

【0061】

具体的には、第３の機械学習部２０１Ｃは、第３の学習用データ１２Ｃを構成する第３の学習用画像を入力データとして、入力層１１０Ｃに入力し、出力層１１２Ｃから推定結果として出力された牛Ｃの体重（出力データ）と、当該第３の学習用データ１２Ｃを構成する牛Ｃの体重（正解ラベル）とを比較する誤差関数を用いて、各シナプスに対応付けられた重みを調整する。そして、第３の機械学習部２０１Ｃは、所定の学習終了条件が満たされたと判断した場合には、機械学習を終了し、そのときの各シナプスのそれぞれに対応付けられた重みからなる重みパラメータ群を、学習済みの第３の学習モデル１１Ｃとして学習済みモデル記憶部２５に格納する。

【0062】

（機械学習方法）
図８は、第１の実施形態に係る機械学習装置２による機械学習方法の一例を示すフローチャートである。以下では、第３の機械学習部２０１Ｃが、複数組の第３の学習用データ１２Ｃを用いて第３の学習モデル１１Ｃを生成する場合について説明する。なお、図８では、「第３の学習モデル１１Ｃ」及び「第３の学習用データ１２Ｃ」における「第３の」という記載は省略する。また、第１の機械学習部２０１Ａ及び第２の機械学習部２０１Ｂによる機械学習方法は、第３の機械学習部２０１Ｃと同様であるため、それらの説明は省略する。

【0063】

まず、ステップＳ１００において、学習用データ取得部２００は、機械学習を開始するための事前準備として、複数組の第３の学習用データ１２Ｃを取得し、その取得した複数組の第３の学習用データ１２Ｃを学習用データ記憶部２４に記憶する。

【0064】

次に、ステップＳ１１０において、第３の機械学習部２０１Ｃは、機械学習を開始すべく、学習前の第３の学習モデル１１Ｃを準備する。学習前の第３の学習モデル１１Ｃは、各シナプスの重みが初期値に設定されている。入力層１１０Ｃの各ニューロンには、第３の学習用データ１２Ｃを構成する第３の学習用画像の各画素が対応付けられる。出力層１１２Ｃの各ニューロンには、１０ｋｇ毎の各体重に対応する各クラスが対応付けられる。

【0065】

次に、ステップＳ１２０において、第３の機械学習部２０１Ｃは、学習用データ記憶部２４に記憶された複数組の第３の学習用データ１２Ｃから、例えば、ランダムに１組の第
３の学習用データ１２Ｃを取得する。

【0066】

次に、ステップＳ１３０において、第３の機械学習部２０１Ｃは、１組の第３の学習用データ１２Ｃに含まれる第３の学習用画像（入力データ）を、準備された学習前（又は学習中）の第３の学習モデル１１Ｃの入力層１１０Ｃに入力する。その結果、第３の学習モデル１１Ｃの出力層１１２Ｃから牛Ｃの体重の推定結果（出力データ）が出力されるが、当該推定結果は、学習前（又は学習中）の第３の学習モデル１１Ｃによって推定されたものである。そのため、学習前（又は学習中）の状態では、推定結果として出力された牛Ｃの体重は、第３の学習用データ１２Ｃに含まれる牛Ｃの体重（正解ラベル）とは異なる情報を示す。

【0067】

次に、ステップＳ１４０において、第３の機械学習部２０１Ｃは、ステップＳ１２０において取得された１組の第３の学習用データ１２Ｃに含まれる牛Ｃの体重（正解ラベル）と、ステップＳ１３０において出力層１１２Ｃから推定結果として出力された牛Ｃの体重（出力データ）とを比較する誤差関数を用いて、誤差関数の評価値が小さくなるように、各シナプスに対応付けられた重みを調整することで、機械学習を実施する。これにより、第３の機械学習部２０１Ｃは、第３の学習用画像と、当該第３の学習用画像に撮像された牛Ｃの体重との相関関係を第３の学習モデル１１Ｃに機械学習させる。

【0068】

次に、ステップＳ１５０において、第３の機械学習部２０１Ｃは、所定の学習終了条件が満たされたか否かを、例えば、誤差関数の評価値が許容値より小さいか否か、ステップＳ１２０～Ｓ１４０の反復回数が所定の回数に到達したか否か等に基づいて判定する。

【0069】

ステップＳ１５０において、第３の機械学習部２０１Ｃが、学習終了条件が満たされておらず、機械学習を継続すると判定した場合（ステップＳ１５０でＮｏ）、ステップＳ１２０に戻り、学習中の第３の学習モデル１１Ｃに対してステップＳ１２０～Ｓ１４０の工程を未学習の第３の学習用データ１２Ｃを用いて実施する。一方、ステップＳ１５０において、第３の機械学習部２０１Ｃが、学習終了条件が満たされて、機械学習を終了すると判定した場合（ステップＳ１５０でＹｅｓ）、ステップＳ１６０に進む。

【0070】

そして、ステップＳ１６０において、第３の機械学習部２０１Ｃは、各シナプスに対応付けられた重みを調整することで機械学習させた学習済みの第３の学習モデル１１Ｃ（調整済みの重みパラメータ群）を学習済みモデル記憶部２５に記憶し、図８に示す一連の機械学習方法を終了する。上記の機械学習方法において、ステップＳ１００が学習用データ記憶工程、ステップＳ１１０～Ｓ１５０が機械学習工程、ステップＳ１６０が学習済みモデル記憶工程に相当する。

【0071】

以上のように、本実施形態に係る機械学習装置２及び機械学習方法によれば、カメラ３５により牛Ｃが撮像された画像から、牛Ｃの体重を高精度に推定（測定）することが可能な第３の学習モデル１１Ｃを提供することができる。また、本実施形態に係る機械学習装置２及び機械学習方法によれば、カメラ３５により牛Ｃが撮像された画像から、牛Ｃの体向きを高精度に判定することが可能な第１の学習モデル１１Ａを提供することができる。さらに、本実施形態に係る機械学習装置２及び機械学習方法によれば、カメラ３５により牛Ｃが撮像された画像から、体部位画像を生成することが可能な第２の学習モデル１１Ｂを提供することができる。

【0072】

（体重推定装置１０）
図９は、第１の実施形態に係る体重推定装置１０として機能する端末装置３の一例を示すブロック図である。図１０は、第１の実施形態に係る体重推定装置１０の一例を示す機能説明図である。端末装置３は、制御部３０、入力部３１、出力部３２、通信部３３、記
憶部３４、及び、カメラ３５を備える。

【0073】

制御部３０は、記憶部３４に記憶された体重推定プログラム１００を実行することで、体重推定装置１０として機能する。具体的には、制御部３０は、体重推定装置１０が備える画像取得部３００、体向き判定部３０１、体部位画像生成部３０２、体重推定部３０３、及び、入出力処理部３０４として機能する。

【0074】

入力部３１は、各種の入力操作を受け付けるとともに、出力部３２は、表示画面や音声を介して各種の情報を出力することで、入出力処理部３０４と連携するユーザインターフェースとして機能する。通信部３３は、ネットワーク５を介して外部装置（例えば、機械学習装置２、管理装置４等）と接続され、各種のデータを送受信する通信インターフェースとして機能する。記憶部３４は、体重推定プログラム１００を記憶する他に、機械学習装置２により生成された学習済みの第１乃至第３の学習モデル１１Ａ～１１Ｃ（例えば、調整済みの重みパラメータ群）、オペレーティングシステム（ＯＳ）、他のプログラム（アプリ）、各種のデータ等を記憶する。

【0075】

画像取得部３００は、カメラ３５により体重推定の対象とする牛Ｃが撮像された画像を取得する。本実施形態では、画像取得部３００は、二次元画像及び深度画像の両方を取得する場合について説明する。

【0076】

体向き判定部３０１は、画像取得部３００により取得された画像（本実施形態では、二次元画像）を、第１の学習モデル１１Ａに入力することで、その画像に撮像された牛Ｃの体向きを判定する。本実施形態では、第１の学習モデル１１Ａは、８クラス（８方位）に対する各スコアを出力するため、体向き判定部３０１は、クラス毎のスコアのうち最大値のスコアを出力するクラスを選択し、そのクラスに対応する体向きを判定結果として出力する。

【0077】

体部位画像生成部３０２は、体向き判定部３０１により判定された牛の体向きが所定の体向きにて撮像された画像（本実施形態では、「左後方」の体向きにて撮像された深度画像）を、第２の学習モデル１１Ｂに入力することで、その画像から所定の体部位を含む体部位領域以外の除去領域を除去した画像を体部位画像として生成する。本実施形態では、第２の学習モデル１１Ｂは、所定の体部位として、「胴体及び四肢」を含む体部位領域以外の除去領域（頭部、頸部、背景等）を除去した画像を体部位画像として生成するため、体部位画像生成部３０２は、胴体及び四肢のみを抽出し、頭部、頸部、背景等を除去した体部位画像を出力する。

【0078】

体重推定部３０３は、体部位画像生成部３０２により生成された体部位画像（本実施形態では、「左後方」の体向きにて撮像された深度画像から「胴体及び四肢」を含む体部位領域以外の除去領域を除去した深度画像）を、第３の学習モデル１１Ｃに入力することで、その体部位画像に撮像された牛Ｃの体重を推定する。本実施形態では、第３の学習モデル１１Ｂは、多クラス（１０ｋｇ毎の体重）に対する各スコアを出力するため、体重推定部３０３は、クラス毎のスコアのうち最大値のスコアを出力するクラスを選択し、そのクラスに対応する体重を推定結果として出力する。

【0079】

入出力処理部３０４は、各種の表示画面（撮像画面、体重推定結果画面等）を表示し、表示画面の画面遷移を制御するとともに、各表示画面に対する入力操作を受け付けることで、各種のタスクを制御する。タスクとしては、例えば、カメラ３５による牛Ｃの撮像、その撮像された牛Ｃの体重の推定、その推定された結果の表示、牛管理データベース４０の編集（追加、変更、削除等）や参照、牛管理データベース４０に記憶された情報を所定の形式のデータとして保存するデータ保存、牛管理データベース４０に記憶された情報に
基づく分析情報（体重の推移や平均値等）の取得、体重推定プログラム１００における各種のパラメータの設定等が挙げられる。

【0080】

なお、記憶部３４に記憶される第１乃至第３の学習モデル１１Ａ～１１Ｃの数はそれぞれ１つに限定されず、例えば、機械学習の手法、牛Ｃの体向き、品種等の条件が異なる複数の学習済みモデルが記憶され、選択的に利用されてもよい。また、第１乃至第３の学習モデル１１Ａ～１１Ｃは、外部コンピュータ（機械学習装置２でもよいし、他のサーバ型コンピュータやクラウド型コンピュータでもよい）の記憶部で代用されてもよく、その場合には、体向き判定部３０１、体部位画像生成部３０２、及び、体重推定部３０３は、当該外部コンピュータにアクセスすればよい。

【0081】

また、本実施形態では、画像取得部３００は、図１０に示すように、二次元画像及び深度画像の両方を取得する場合について説明するが、二次元画像及び深度画像の一方の画像だけを取得してもよく、その場合には、体向き判定部３０１、体部位画像生成部３０２、及び、体重推定部３０３では、画像取得部３００により取得された一方の画像を用いるようにすればよい。画像取得部３００が、一方の画像として、例えば、深度画像を取得する場合には、体向き判定部３０１は、深度画像を第１の学習モデル１１Ａに入力することで、深度画像に撮像された牛Ｃの体向きを判定し、体部位画像生成部３０２は、牛Ｃの体向きが所定の体向きにて撮像された深度画像を第２の学習モデル１１Ｂに入力することで、深度画像から除去領域を除去した深度画像を体部位画像として生成し、体重推定部は、体部位画像を第３の学習モデルに入力することで、深度画像に撮像された牛Ｃの前記体重を推定すればよい。その際、第１の学習モデル１１Ａは、第１の学習用画像としての深度画像と、当該深度画像に撮像された牛Ｃの体向きとの相関関係を機械学習させたものである。

【0082】

さらに、画像取得部３００が、二次元画像及び深度画像の両方を取得した場合においても、体向き判定部３０１、体部位画像生成部３０２、及び、体重推定部３０３では、画像取得部３００により取得された一方の画像（例えば、深度画像）を用いるようにしてもよい。その場合、他方の画像（例えば、二次元画像）については、入出力処理部３０４が、各種のタスクで用いるようにしてもよく、他方の画像（例えば、二次元画像）を、例えば、撮像画面１３（後述の図１２参照）や体重推定結果画面１４（後述の図１３参照）に表示するようにしてもよい。これにより、他方の画像が、二次元画像である場合には、ユーザインターフェースにおける画像の視認性を向上させることができる。

【0083】

（体重推定方法）
図１１は、第１の実施形態に係る体重推定装置１０による体重推定方法の一例を示すフローチャートである。図１１に示す体重推定方法は、端末装置３にて体重推定プログラム１００が起動されることで実行される。以下では、体重推定プログラム１００の設定パラメータは、設定済みであり、体重推定の対象とする牛Ｃの情報は、牛管理データベース４０の牛情報テーブル４００に登録済みであるものとして説明する。

【0084】

まず、ステップＳ２００において、入出力処理部３０４は、作業者の入力操作として、牛Ｃの体重測定を開始する旨の体重測定開始操作を受け付けると、ステップＳ２０１において、カメラ３５により牛Ｃを撮像するための撮像画面１３を表示する。

【0085】

図１２は、撮像画面１３の一例を示す画面構成図である。撮像画面１３は、カメラ３５によるリアルタイムの画像を表示する画像表示領域１３０と、カメラ３５による撮像を指示する撮像ボタン１３１とを備える。なお、撮像画面１３には、所定の体向きである「左後方」にて牛Ｃを撮像するように促す旨のメッセージが表示されていてもよい。また、画像表示領域１３０には、二次元画像及び深度画像のいずれかの画像が表示されてもよいし
、両画像が、並べて表示されてもよいし、切替可能に表示されてもよい。

【0086】

ステップＳ２０２において、入出力処理部３０４が、撮像ボタン１３１の押下操作を受け付けると、カメラ３５が、牛Ｃを撮像する。そして、ステップＳ２１０において、画像取得部３００は、カメラ３５により撮像された画像として、二次元画像及び深度画像を取得する。

【0087】

次に、ステップＳ２２０において、体向き判定部３０１は、ステップＳ２１０にて取得された二次元画像及び深度画像のうち、二次元画像を第１の学習モデル１１Ａに入力することで、その画像に撮像された牛Ｃの体向きを判定する。

【0088】

そして、ステップＳ２２１において、ステップＳ２２０にて判定された牛Ｃの体向きが、所定の体向き（「左後方」）である場合には、ステップＳ２３０に進み、そうでない場合には、カメラ３５により撮像された牛Ｃの体向きが、所定の体向き（「左後方」）でない旨のメッセージを表示し、ステップＳ２０１に戻る。なお、体向き判定部３０１が、カメラ３５によるリアルタイムの画像を所定の周期で第１の学習モデル１１Ａに入力することで、牛Ｃの体向きを所定の周期で判定してもよく、その場合には、入出力処理部３０４は、牛Ｃの体向きが所定の体向き（「左後方」）であるタイミングにおいて、撮像画面１３の撮像ボタン１３１を有効にしたり、牛Ｃの撮像を促す旨のメッセージを表示したりしてもよい。

【0089】

次に、ステップＳ２３０において、体部位画像生成部３０２は、ステップＳ２１０にて取得された、「左後方」の体向きにて撮像された二次元画像及び深度画像のうち、深度画像を第２の学習モデル１１Ｂに入力することで、その深度画像から「胴体及び四肢」を含む体部位領域以外の除去領域を除去した深度画像を体部位画像として生成する。

【0090】

次に、ステップＳ２４０において、体重推定部３０３は、ステップＳ２３０にて生成された体部位画像を第３の学習モデル１１Ｃに入力することで、その体部位画像に撮像された牛Ｃの体重を推定する。

【0091】

次に、ステップＳ２５０において、入出力処理部３０４は、ステップＳ２４０にて推定された推定結果として、体重推定の対象とする牛Ｃの体重を出力するための体重推定結果画面１４を表示する。

【0092】

図１３は、体重推定結果画面１４の一例を示す画面構成図である。体重推定結果画面１４は、ステップＳ２０２にてカメラ３５により撮像された画像を表示する画像表示領域１４０と、体重推定の対象とする牛Ｃの情報を表示する牛情報表示欄１４１と、ステップＳ２４０にて体重推定部３０３により推定された牛Ｃの体重の推定結果を表示する推定結果示欄１４２と、牛Ｃの体重の推定結果を牛管理データベース４０に登録する登録ボタン１４３とを備える。

【0093】

ステップＳ２５１において、入出力処理部３０４が、登録ボタン１４３の押下操作により体重推定結果登録操作を受け付けると、ステップＳ２５２において、入出力処理部３０４は、ステップＳ２４０にて推定された牛Ｃの体重を牛管理データベース４０に登録するための登録情報を管理装置４に送信し、図１１に示す一連の体重推定方法を終了する。なお、入出力処理部３０４が、登録ボタン１４３の押下操作を受け付けなかった場合には、登録情報を管理装置４に送信せずに、上記の体重推定方法を終了すればよい。また、体重推定の対象とする牛Ｃが複数存在する場合には、上記の体重推定方法を繰り返し実行すればよい。上記の体重推定方法において、ステップＳ２１０が画像取得工程、ステップＳ２２０が体向き判定工程、ステップＳ２３０が体部位画像生成工程、ステップＳ２４０が体
重推定工程に相当する。

【0094】

以上のように、本実施形態に係る体重推定装置１０及び体重推定方法によれば、牛Ｃが所定の体向きにて撮像された画像を第１乃至第３の学習モデル１１Ａ～１１Ｃに入力することで、画像から牛Ｃの体重が推定されるので、簡便かつ安全に牛Ｃの体重を推定することができる。

【0095】

その際、体向き判定部３０１が、第１の学習モデル１１Ａを用いて牛Ｃの体向きを判定することで、所定の体向きにて撮像された画像に基づいて牛Ｃの体重が推定される。そのため、牛Ｃの所定の体向きとして、例えば、「左後方」又は「左側方」から撮像された画像を用いる場合、その画像には、左腹部を含む牛Ｃの側面全体が撮像されて牛Ｃの体部分の撮像範囲が大きくなるので、牛Ｃの体重を推定する際の推定精度を向上させることができる。

【0096】

また、体部位画像生成部３０２が、第２の学習モデル１１Ｂを用いて体部位画像を生成することで、牛Ｃの所定の体部位を含む体部位領域以外の除去領域が除去された体部位画像に基づいて牛Ｃの体重が推定される。そのため、牛Ｃの所定の体部位として、例えば、「胴体」又は「胴体及び四肢」以外の除去領域が除去された体部位画像を用いる場合、その体部位画像では、牛Ｃが頻繁に動作させる体部位である頭部や頸部が除去されているので、牛Ｃの姿勢の変化による影響が低減されることで、牛Ｃの体重を推定する際の推定精度の低下を抑制することができる。

【0097】

さらに、体重推定部３０３が、第３の学習モデル１１Ｃを用いて体部位画像から牛Ｃの体重を推定することで、体重推定装置１０として、例えば、スマートフォン、タブレット端末等の携帯型コンピュータを使用することができるので、高価で大掛かりな装置を使用することなく、簡便かつ安全に牛Ｃの体重を推定することができる。

【0098】

（第２の実施形態）
図１４は、第２の実施形態に係る体重推定装置１０ａとして機能する端末装置３ａの一例を示すブロック図である。図１５は、第２の実施形態に係る体重推定装置１０ａの一例を示す機能説明図である。

【0099】

端末装置３ａの制御部３０は、体重推定プログラム１００ａを実行することで、画像取得部３００、体部位画像生成部３０２、体重推定部３０３、及び、入出力処理部３０４を備える体重推定装置１０ａとして機能する。すなわち、第２の実施形態に係る体重推定装置１０ａは、第１の実施形態に係る体重推定装置１０に対して、第１の学習モデル１１Ａを用いて牛Ｃの体向きを判定する体向き判定部３０１を省略したものである。

【0100】

図１５に示す体重推定装置１０ａでは、画像取得部３００が、深度画像を取得し、体部位画像生成部３０２が、その深度画像を第２の学習モデル１１Ｂに入力することで体部位画像を生成し、体重推定部３０３が、その体部位画像を第３の学習モデル１１Ｃに入力することで牛Ｃの体重を推定する。なお、画像取得部３００が取得する深度画像は、牛Ｃの体向きが「左後方」又は「左側方」にて撮像された深度画像である場合が好ましいが、特に限定されない。牛管理システム１におけるその他の基本的な構成及び動作は、第１の実施形態と同様であるため、説明を省略する。

【0101】

以上のように、本実施形態に係る体重推定装置１０ａ及び体重推定方法によれば、牛Ｃが所定の体向きにて撮像された画像を第２及び第３の学習モデル１１Ｂ、１１Ｃに入力することで、画像から牛Ｃの体重が推定されるので、簡便かつ安全に牛Ｃの体重を推定することができる。

【0102】

（第３の実施形態）
図１６は、第３の実施形態に係る体重推定装置１０ｂとして機能する端末装置３ｂの一例を示すブロック図である。図１７は、第３の実施形態に係る体重推定装置１０ｂの一例を示す機能説明図である。

【0103】

端末装置３ｂの制御部３０は、体重推定プログラム１００ｂを実行することで、画像取得部３００、体向き判定部３０１、体重推定部３０３、及び、入出力処理部３０４を備える体重推定装置１０ｂとして機能する。すなわち、第３の実施形態に係る体重推定装置１０ｂは、第１の実施形態に係る体重推定装置１０に対して、第２の学習モデル１１Ｂを用いて体部位画像を生成する体部位画像生成部３０２を省略したものである。

【0104】

図１７に示す体重推定装置１０ｂでは、画像取得部３００が、二次元画像及び深度画像を取得し、体向き判定部３０１が、その二次元画像を第１の学習モデル１１Ａに入力することで牛Ｃの体向きを判定し、体重推定部３０３が、牛Ｃの体向きが所定の体向き（「左後方」）にて撮像された深度画像を第３の学習モデル１１Ｃに入力することで牛Ｃの体重を推定する。なお、第３の学習モデル１１Ｃは、体部位画像と牛Ｃの体重との相関関係ではなく、深度画像と牛Ｃの体重との相関関係を機械学習させたものである場合が好ましいが、特に限定されない。牛管理システム１におけるその他の基本的な構成及び動作は、第１の実施形態と同様であるため、説明を省略する。

【0105】

以上のように、本実施形態に係る体重推定装置１０ｂ及び体重推定方法によれば、牛Ｃが所定の体向きにて撮像された画像を第１及び第３の学習モデル１１Ａ、１１Ｃに入力することで、画像から牛Ｃの体重が推定されるので、簡便かつ安全に牛Ｃの体重を推定することができる。

【0106】

（他の実施形態）
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。

【0107】

上記実施形態では、機械学習装置２が、第１乃至第３の機械学習部２０１Ａ～２０１Ｃを備える場合について説明したが、例えば、３つの機械学習装置が、第1乃至第３の機械
学習部２０１Ａ～２０１Ｃをそれぞれ備えるようにしてもよい。

【0108】

上記実施形態では、コンピュータ９００（端末装置３）に体重推定プログラム１００、１００ａ、１００ｂを実行させることで実現される体重推定装置１０、１０ａ、１０ｂが、画像取得部３００及び体重推定部３０３に加えて、体向き判定部３０１及び体部位画像生成部３０２の少なくとも一方を備えるものとして説明したが、体重推定装置は、少なくとも画像取得部３００及び体重推定部３０３を備えるものであればよい。また、コンピュータ９００（端末装置３）に体向き判定プログラムを実行させることで、コンピュータ９００が、画像取得部３００及び体向き判定部３０１を備える体向き判定装置として機能するようにしてもよい。さらに、コンピュータ９００（端末装置３）に体部位画像生成プログラムを実行させることで、コンピュータ９００が、画像取得部３００及び体部位画像生成部３０２を備える体部位画像生成装置として機能するようにしてもよい。

【0109】

上記実施形態では、第１乃至第３の機械学習部２０１Ａ～２０１Ｃによる機械学習の具体的な手法として、畳み込みニューラルネットワークや全層畳み込みネットワークを採用した場合について説明したが、第１乃至第３の機械学習部２０１Ａ～２０１Ｃは、任意の他の機械学習の手法（教師あり学習だけでなく、教師なし学習や強化学習も含む）を採用
してもよい。他の機械学習の手法としては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク、等の他のニューラルネット型(ディープラーニングを含む)、階層型クラスタリング、非階層型クラスタリング、ｋ近傍法、ｋ平均法等のクラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。

【0110】

上記実施形態では、第３の学習モデル１１Ｃの出力データは、牛Ｃの体重である場合について説明したが、第３の学習モデル１１Ｃの出力データは、牛Ｃの体重に加えて、ボディコンディションスコア（太り具合の指標）、ルーメンフィルスコア（満腹具合の指標）、及び、跛行スコア（脚の病気の指標）の少なくとも１つを採用するようにしてもよい。その場合には、体重推定部３０３が、画像を第３の学習モデル１１Ｃに入力することで、牛Ｃの体重に加えて、ボディコンディションスコア、ルーメンフィルスコア、及び、跛行スコアの少なくとも１つをさらに推定するようにしてもよい。

【0111】

（推論装置、推論方法又は推論プログラム）
上記実施形態に係る体重推定装置１０の態様に代えて、牛Ｃの体重を推定するために用いられる推論装置（推論方法又は推論プログラム）の態様で提供してもよい。この場合、推論装置は、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行する。

【0112】

一連の処理の第１の態様は、牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の体向きを推論する推論処理とを含む。一連の処理の第２の態様は、牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の所定の体部位を含む体部位領域を推論する推論処理とを含む。一連の処理の第３の態様は、牛が撮像された二次元画像及び深度画像の少なくとも一方の画像を取得する画像取得処理と、前記画像取得処理にて前記画像を取得すると、前記画像に撮像された前記牛の体重を推論する推論処理とを含む。上記の推論装置（推論方法又は推論プログラム）の態様で提供することで、体重推定装置１０を実装する場合に比して簡単に種々の装置への適用が可能となる。なお、推論装置（推論方法又は推論プログラム）が、推論処理を実行する際、上記実施形態に係る機械学習装置２により生成された学習済みの第１乃至第３の学習モデル１１Ａ～１１Ｃを用いてもよいことは、当業者にとって当然に理解され得るものである。

【符号の説明】

【0113】

１…牛管理システム、２…機械学習装置、３、３ａ、３ｂ…端末装置、
４…管理装置、５…ネットワーク、１０、１０ａ、１０ｂ…体重推定装置、
１１Ａ…第１の学習モデル、１１Ｂ…第２の学習モデル、
１１Ｃ…第３の学習モデル、１２Ａ…第１の学習用データ、
１２Ｂ…第２の学習用データ、１２Ｃ…第３の学習用データ、
１３…撮像画面、１４…体重推定結果画面、
２０…制御部、２１…入力部、２２…出力部、２３…通信部、２４…学習用データ記憶部、
２５…学習済みモデル記憶部、
３０…制御部、３１…入力部、３２…出力部、３３…通信部、３４…記憶部、
３５…カメラ、４０…牛管理データベース、
１００、１００ａ、１００ｂ…体重推定プログラム、１１０Ａ～１１０Ｃ…入力層、
１１１Ａ～１１１Ｃ…中間層、１１２Ａ～１１２Ｃ…出力層、
１３０…画像表示領域、１３１…撮像ボタン、
１４０…画像表示領域、１４１…牛情報表示欄、１４２…推定結果示欄、
１４３…登録ボタン、
２００…学習用データ取得部、２０１Ａ…第１の機械学習部、
２０１Ｂ…第２の機械学習部、２０１Ｃ…第３の機械学習部
３００…画像取得部、３０１…体向き判定部、３０２…体部位画像生成部、
３０３…体重推定部、３０４…入出力処理部、
４００…牛情報テーブル、４０１…測定情報テーブル
９００…コンピュータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】