特許 7553971 評価装置、評価方法、評価プログラム、及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-10

(45)【発行日】2024-09-19

(54)【発明の名称】評価装置、評価方法、評価プログラム、及び記録媒体

(51)【国際特許分類】

   G06T 7/73 20170101AFI20240911BHJP

   A61B 5/11 20060101ALI20240911BHJP

   A01K 29/00 20060101ALI20240911BHJP

【ＦＩ】

G06T7/73

A61B5/11

A01K29/00 A

【請求項の数】 9

(21)【出願番号】P 2022118868

(22)【出願日】2022-07-26

(65)【公開番号】P2023041002

(43)【公開日】2023-03-23

【審査請求日】2023-05-01

(31)【優先権主張番号】P 2021148059

(32)【優先日】2021-09-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】檜垣 彰吾

(72)【発明者】

【氏名】吉岡 耕治

(72)【発明者】

【氏名】西浦 玲奈

【審査官】松浦 功

(56)【参考文献】

【文献】国際公開第２０１６／２００５６４（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１８７７１９（ＷＯ，Ａ１）

【文献】特開２００８－２５４１６７（ＪＰ，Ａ）

【文献】特開２０１６－０５９３００（ＪＰ，Ａ）

【文献】国際公開第２０１８／１７９２１９（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０７８８６７（ＷＯ，Ａ１）

【文献】国際公開第２０２１／１５７４２８（ＷＯ，Ａ１）

【文献】特開２００３－２２８７０１（ＪＰ，Ａ）

【文献】特開２０２０－０５２８６７（ＪＰ，Ａ）

【文献】特開２０２１－１０１６６８（ＪＰ，Ａ）

【文献】特開２００５－２５３４３５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ａ６１Ｂ ５／１１ － ５／１１３

Ａ０１Ｋ ２９／００

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

家畜の姿勢を評価する評価装置であって、
カメラを用いて撮像した家畜の画像を取得する取得部と、
前記画像中の前記家畜の骨格を表す骨格情報を検出する検出部と、
前記骨格情報を参照して、前記家畜の姿勢を表す姿勢情報を抽出する抽出部と、
前記姿勢情報を参照して、前記家畜の姿勢を評価する評価部と
を備え、
前記評価部は、解析期間中における前記家畜の頭頂の高さを示す値の分散を、前記頭頂から吻端までの距離で除した値を用いて、運歩サイクル中の前記家畜の頭部の上下動を評価する、評価装置。

【請求項2】

前記姿勢情報には、立位姿勢、臥位姿勢、及び、歩行時の姿勢の少なくとも１つを表す情報が含まれる、請求項１に記載の評価装置。

【請求項3】

前記骨格情報には、関節及び骨の所定の部位を含む骨格の特徴点の位置、並びに、当該特徴点間の角度の少なくとも一方を表す情報が含まれる、請求項１又は２に記載の評価装置。

【請求項4】

前記抽出部は、所定時間内の前記特徴点の位置及び前記特徴点間の角度の少なくとも一方の変化を参照して、前記家畜の姿勢の変化を表す姿勢情報を抽出する、請求項３に記載の評価装置。

【請求項5】

前記検出部は、前記画像から前記家畜の全身骨格を表す骨格情報を検出する、請求項１又は２に記載の評価装置。

【請求項6】

前記評価部による評価結果に基づき、前記家畜の運動器機能の異常の有無を診断する診断部をさらに備えた、請求項１又は２に記載の評価装置。

【請求項7】

家畜の姿勢を評価する評価方法であって、
カメラを用いて撮像した家畜の画像を取得する取得ステップと、
前記画像中の前記家畜の骨格を表す骨格情報を検出する検出ステップと、
前記骨格情報を参照して、前記家畜の姿勢を表す姿勢情報を抽出する抽出ステップと、
前記姿勢情報を参照して、前記家畜の姿勢を評価する評価ステップと
を包含し、
前記評価ステップでは、解析期間中における前記家畜の頭頂の高さを示す値の分散を、前記頭頂から吻端までの距離で除した値を用いて、運歩サイクル中の前記家畜の頭部の上下動を評価する、評価方法。

【請求項8】

請求項１又は２に記載の評価装置としてコンピュータを機能させるための評価プログラムであって、前記検出部、前記抽出部、及び、前記評価部としてコンピュータを機能させるための評価プログラム。

【請求項9】

請求項８に記載の評価プログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価装置、評価方法、評価プログラム、及び記録媒体に関する。

【背景技術】

【0002】

運動器病は、ウシの死廃事故及び病傷事故の主要な原因の１つである。運動器病は、それ自体の治療費が必要となるだけでなく、ウシの繁殖成績の低下や乳量の減少等を引き起こすことが知られている。そのため、畜産経営の安定化を図るためには、運動器病を早期に発見し、早期治療に繋げることが望まれる。しかしながら、近年のウシ群の大型化や畜産従事者の減少に伴い、運動器病を発見するための十分な観察時間を各ウシ個体に割くことが困難となっている。このような問題を解決し、運動器病を検知可能な技術として、特許文献１及び非特許文献１～９に記載された技術が知られている。

【0003】

特許文献１及び非特許文献１には、家畜の頭部、背部、四肢関節部分等にマーカーを固定してトレッドミル上を歩行させる等しながら撮影した画像に基づき運動器機能を評価する技術が記載されている。非特許文献２～４には、家畜にマーカー等は固定せず、家畜を撮影した画像を処理し、四肢の動きを抽出して運動器機能を評価する技術が記載されている。非特許文献５及び６には、家畜を撮影した画像を処理し、背線（肩、背及び尾根を結ぶ線）を抽出して運動機能を評価する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2003－228701号公報

【非特許文献】

【0005】

【文献】Flower et al., J Dairy Sci 88:3166-3173, 2005

【文献】Song et al., Comput Electron Agric, 64:39-44, 2008

【文献】Zhao et al., Comput Electron Agric, 148:226-236, 2018

【文献】Wu et al., Biosyst Eng, 189:150-163, 2020

【文献】Poursaberi et al., Comput Electron Agric, 74:110-119, 2010

【文献】Jabbar et al., Biosyst Eng, 153:63-69, 2017

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述したように、家畜の運動器機能を評価可能な様々な技術が開発されているものの、より侵襲性が低く、精度良く運動器機能を評価可能な技術開発が望まれている。特許文献１及び非特許文献１に記載された技術では、家畜にマーカーを固定する必要がある。非特許文献２～４に記載された技術では、四肢のみを評価の対象としている上に、各肢の全体をひとかたまりとして解析に用いており、運動器機能の評価精度に疑問がある。非特許文献５及び６に記載された技術では、背線に基づいて評価しており、四肢の状態が考慮されていないため、運動器機能の評価精度に疑問がある。

【0007】

本発明の一態様は、上述した問題点を解決するためになされたものであり、その目的は、運動器機能を評価可能な技術を実現することにある。

【課題を解決するための手段】

【0008】

本発明の一態様に係る評価装置は、家畜の姿勢を評価する評価装置であって、カメラを用いて撮像した家畜の画像を取得する取得部と、前記画像中の前記家畜の骨格を表す骨格
情報を検出する検出部と、前記骨格情報を参照して、前記家畜の姿勢を表す姿勢情報を抽出する抽出部と、前記姿勢情報を参照して、前記家畜の姿勢を評価する評価部とを備えている。

【0009】

本発明の一態様に係る評価方法は、家畜の姿勢を評価する評価方法であって、カメラを用いて撮像した家畜の画像を取得する取得ステップと、前記画像中の前記家畜の骨格を表す骨格情報を検出する検出ステップと、前記骨格情報を参照して、前記家畜の姿勢を表す姿勢情報を抽出する抽出ステップと、前記姿勢情報を参照して、前記家畜の姿勢を評価する評価ステップとを包含する。

【0010】

本発明の各態様に係る評価装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記評価装置が備える各部（ソフトウェア要素）として動作させることにより前記評価装置をコンピュータにて実現させる評価装置の評価プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0011】

本発明の一態様によれば、運動器機能を評価可能な技術を実現することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一態様に係る評価装置の要部構成を示すブロック図である。

【図2】骨格情報の一例を示す図である。

【図3】骨格情報の他の例を示す図である。

【図4】健康牛と跛行牛との骨格情報を比較する図である。

【図5】健康牛の姿勢情報の例を示す図である。

【図6】跛行牛の姿勢情報の例を示す図である。

【図7】健康牛と跛行牛の姿勢情報の他の例を示す図である。

【図8】本発明の一態様に係る評価装置による評価処理を示すフローチャートである。

【図9】変形例１において、滑走又は転倒を診断するために参照する骨格情報の例を示す図である。

【図10】変形例２において、四肢集合姿勢に関連する異常を診断するために参照する骨格情報の例を示す図である。

【図11】変形例３において、負重していない肢を診断するために参照する骨格情報の例を示す図である。

【図12】変形例４において、挙尾に影響する異常を診断するために参照する骨格情報の例を示す図である。

【図13】実施例において検出した骨格情報の一例を示す図である。

【図14】実施例において抽出した右後肢蹄尖の位置座標の経時変化を示すグラフである。

【図15】実施例において健康牛から抽出した姿勢情報を示す図である。

【図16】実施例における健康牛の各姿勢情報の平均値及び９５％信頼区間を示す図である。

【図17】実施例において跛行牛から抽出した姿勢情報を示す図である。

【図18】実施例において跛行牛から抽出した姿勢情報を示す図である。

【発明を実施するための形態】

【0013】

本発明の一態様に係る評価装置は、カメラを用いて撮像した家畜の画像に基づき、家畜の姿勢を評価する。評価装置による姿勢の評価の対象となる家畜は、例として、ウシ、ウマ等の有蹄類である。評価装置により評価する家畜の姿勢は、例として、立位姿勢、臥位姿勢、歩行時の姿勢を表す歩様である。評価装置は、家畜の姿勢が正常であるか、疾病に
罹患した家畜に特徴的な姿勢であるか、運動器機能に異常が有る場合に特徴的な姿勢であるか、運動器病を発症した家畜に特徴的な姿勢であるか等を評価する。ここで、運動器病とは、家畜の骨、腱、関節、蹄、筋肉等の運動に関わる部位の疾病が意図される。運動器病の例として、跛行が挙げられる。

【0014】

〔評価装置１０〕
図１は、本発明の一態様に係る評価装置１０の要部構成を示すブロック図である。図１に示すように、評価装置１０は、取得部１２、検出部１３、抽出部１４、及び評価部１５を備えている。評価装置１０は、さらに診断部１６を備えている。評価装置１０は、表示装置２０、カメラ３０、及び記憶装置４０とデータ通信可能に接続されている。評価装置１０、表示装置２０、カメラ３０、及び記憶装置４０は、それぞれ独立した装置であってもよいし、これらの装置が一の装置内に一体として備えられていてもよい。

【0015】

評価装置１０は、評価装置１０の各部を統括して制御する制御部１１を備えている。制御部１１は、一例として、プロセッサ及びメモリにより実現される。この例において、プロセッサはストレージ（不図示）にアクセスし、ストレージに格納されているプログラム（不図示）をメモリにロードし、当該プログラムに含まれる一連の命令を実行する。これにより、制御部１１の各部が構成される。当該各部として、制御部１１は、取得部１２、検出部１３、抽出部１４、評価部１５、及び診断部１６を備えている。

【0016】

（取得部１２）
取得部１２は、カメラを用いて撮像した家畜の画像を取得する。取得部１２は、カメラ３０により家畜が撮像される度毎に画像を取得してもよいし、ユーザからの画像の取得開始又は姿勢の評価開始を示す入力に基づいて、画像を取得してもよい。取得部１２は、記憶装置４０に格納された、カメラを用いて撮像した画像を取得してもよい。

【0017】

取得部１２が取得する画像は、家畜を所定期間継続して撮像した連続画像であってもよいし、当該連続画像を含む動画であってもよい。一例として、取得部１２が取得する画像には、１秒間に２５フレーム（２５ｆｐｓ）以上で撮影された画像を含んでいてもよい。画像は、可視光画像であっても、赤外線画像であってもよい。取得部１２は、カメラ３０に含まれる複数のカメラを用いて撮像した複数の画像を取得してもよい。取得部１２は、家畜の側部及び後部のように、複数の方向から撮像された画像を取得してもよい。

【0018】

取得部１２は、無線又は有線による通信インタフェースとして実装されている。取得部１２は、取得した画像データを検出部１３へ出力する。また、取得部１２により取得された画像データは、記憶装置４０へ格納されてもよい。

【0019】

（検出部１３）
検出部１３は、画像中の家畜の骨格を表す骨格情報を検出する。骨格情報には、家畜の骨格の位置、形状及び姿勢に関する情報が含まれている。一例として、骨格情報には、関節及び骨の所定の部位を含む骨格の特徴点の位置、並びに、当該特徴点間の角度の少なくとも一方を表す情報が含まれる。検出部１３は、検出した骨格情報を、抽出部１４へ出力する。また、検出部１３により検出された骨格情報は、記憶装置４０へ格納されてもよい。

【0020】

骨格情報の例について、図２及び３を参照して説明する。図２は、骨格情報の一例を示す図であり、図３は、骨格情報の他の例を示す図である。図２は、ウシの骨格における関節の位置や骨の位置を含む２５の特徴点の位置を示している。図３は、図２に示す特徴点間の３５か所の角度を示している。骨格情報には、これらの特徴点の画像中における位置座標や角度の情報が含まれ得る。図２及び図３に示す特徴点及び角度は、家畜の姿勢を評
価し、家畜の運動器機能を診断するために適したものであるが、特徴点及び角度はこれらに限定されない。また、骨格情報は、図２及び３に示すものに限定されず、家畜の全身骨格中の他の特徴点に関する情報ついても含まれ得る。検出部１３が検出する骨格情報に含まれる特徴点及び角度は、評価又は診断する目的に応じて適宜選択することができる。

【0021】

検出部１３による骨格情報の検出は、家畜の画像を入力情報として、骨格情報を出力情報とするように構築された検出モデルを用いて行うことができる。検出モデルの例として、ニューラルネットワーク、決定木、ランダムフォレスト、サポートベクトルマシン等の既知の機械学習方法、ディープニューラルネットワーク等の既知の深層学習方法を用いて、構築された検出モデルが挙げられる。

【0022】

検出部１３による骨格情報の検出は、例えば、ＯｐｅｎＰｏｓｅ、ＤｅｅｐＰｏｓｅ、ＤｅｅｐＬａｂＣｕｔ、Ａｓｓｏｃｉａｔｉｖｅ Ｅｍｂｅｄｄｉｎｇ等の、主にヒトの骨格検出や姿勢推定において用いられている公知のシステムを使用して抽出することができる。また、検出部１３は、画像に基づき家畜の骨格情報を検出する技術として、以下の参考文献１～３に記載された技術を用いることができる：参考文献１ Li et al., Comput Electron Agric, 164:104885, 2019；参考文献２ Cao et al., Proceedings of IEEE/CVF ICCV, 9498-9507, 2019；参考文献３ Mathis et al., Proceedings of IEEE/CVF WACV, 1859-1868, 2021。ここで、参考文献１～３の全体を、参照として本明細書に組み込
む。

【0023】

検出部１３が検出した骨格情報は、健康な家畜と運動器病等に罹患した家畜とで異なり得る。図４は、健康牛と跛行牛との骨格情報を比較する図である。図４は、検出部１３において、深層学習により構築した検出モデルを用いて、健康牛及び跛行牛の骨格情報を検出し、それぞれのウシの画像に骨格情報を重ねて示したものである。図４に示す画像は、Ｘ軸方向に歩行中のウシを撮像した画像である。図４に示すように、健康牛と跛行牛とでは、歩行中の骨格情報が異なる。

【0024】

検出部１３は、画像から家畜の全身骨格を表す骨格情報を検出することが好ましい。家畜の全身骨格を表す骨格情報を検出して、姿勢の評価に用いることで、家畜の全身の姿勢に基づき正確に運動器機能を評価することができる。

【0025】

（抽出部１４）
抽出部１４は、骨格情報を参照して、家畜の姿勢を表す姿勢情報を抽出する。抽出部１４は、抽出した姿勢情報を評価部１５へ出力する。また、抽出部１４により抽出された姿勢情報は、記憶装置４０に格納されてもよい。

【0026】

抽出部１４が抽出する姿勢情報には、立位姿勢、臥位姿勢、及び、歩行時の姿勢の少なくとも１つを表す情報が含まれ得る。抽出部１４は、立位姿勢、臥位姿勢、及び歩様の少なくとも１つの情報を抽出する。ここで、姿勢情報は、家畜の骨格の状態を表しており、骨格の特徴点及び特徴点間の角度の状態を表すものであり得る。したがって、立位姿勢の姿勢情報は家畜が立っているときの骨格の状態、臥位姿勢の姿勢情報は家畜が寝そべっているときの骨格の状態、歩様の姿勢情報は家畜が歩いているときの骨格の状態を、それぞれ表すものであり得る。また、骨格情報に家畜の全身骨格を表す情報が含まれている場合、抽出部１４は、家畜の全身の姿勢を表す姿勢情報を抽出することができる。

【0027】

抽出部１４は、所定時間内の特徴点の位置及び特徴点間の角度の少なくとも一方の変化を参照して、家畜の姿勢の変化を表す姿勢情報を抽出してもよい。家畜の姿勢の変化を表す姿勢情報は、家畜の骨格の特徴点の位置変化（移動距離）や、特徴点間の角度変化を表す情報であり得、家畜の骨や関節の動きに対応し得る情報である。抽出部１４は、一例と
して、特徴点の時系列の座標データに基づき姿勢情報を算出する。このような姿勢情報の算出には、変化点検知や異常検知等の公知の時系列解析を用いてもよい。

【0028】

家畜の姿勢の変化を表す姿勢情報について、図５及び６を参照して説明する。図５は、健康牛の姿勢情報の例を示す図であり、図６は、跛行牛の姿勢情報の例を示す図である。図５及び図６において、上段のグラフは、特徴点の位置座標の経時変化を表しており、下段のグラフは特徴点間の角度の経時変化を表している。また、図５及び図６において、左側のグラフは体幹の各特徴点のデータを表しており、右側のグラフは四肢の各特徴点のデータを表している。

【0029】

また、姿勢情報は、図７に示すような情報を含んでいてもよい。図７は、健康牛と跛行牛の姿勢情報の他の例を示す図である。図７に示す体幹の特徴についての、背線の角度範囲のような角度の数値範囲（角度の振れ幅）や、頭頂の上下動範囲のような特徴点の位置変化の範囲（特徴点の移動距離）を姿勢情報として抽出してもよい。また、図７に示す四肢の特徴について、遊脚期及び立脚期のそれぞれの長さ、歩幅、速度、球節（指節関節及び趾節関節）の角度変化、運歩サイクルに占める遊脚期及び立脚期の割合等を、骨格情報から算出し、姿勢情報として抽出してもよい。

【0030】

さらに、姿勢情報は、同じ動きが想定される左右の前肢間、及び、左右の後肢間の各関節の角度変化の差に関する情報を含んでいてもよい。これにより、同側の前後肢における骨格構造の相違を考慮せずに、家畜の姿勢を評価することができる。また、姿勢情報は、左右の四肢における、運歩サイクルに占める遊脚期及び立脚期の割合の差に関する情報を含んでいてもよい。これにより、歩行速度を考慮せずに、運歩サイクルに占める遊脚期及び立脚期の割合に基づき家畜の姿勢を評価することができる。

【0031】

（評価部１５）
評価部１５は、姿勢情報を参照して、家畜の姿勢を評価する。評価部１５は、家畜の姿勢が正常であるか、疾病に罹患した家畜に特徴的な姿勢であるか、運動器機能に異常が有る場合に特徴的な姿勢であるか、運動器病を発症した家畜に特徴的な姿勢であるか等を評価する。評価部１５は、評価結果を診断部１６へ出力する。また、評価部１５による評価結果は、記憶装置４０へ格納されてもよい。

【0032】

評価部１５は、一例として、家畜の姿勢情報を入力情報として、家畜の姿勢の異常の有無を表す情報を出力情報とするように構築された評価モデルを用いて、家畜の姿勢を評価してもよい。このような評価モデルは、一例として、家畜の姿勢情報を含む学習データや、家畜の姿勢情報と当該家畜の姿勢の異常の有無とを関連付けた教師データを用いて、上述したような機械学習を行うことにより構築することができる。なお、学習データに含まれるサンプル数が少ない場合には、閾値を設定して家畜の姿勢を評価してもよい。

【0033】

評価部１５は、健康な家畜の姿勢情報及び疾病に罹患した家畜の姿勢情報の少なくとも一方と、評価対象の家畜の姿勢情報とを比較することにより、評価対象の家畜の姿勢を評価してもよい。図５～図７に示すように、健康牛と跛行牛とは、体幹及び四肢のいずれにおいても、骨格の特徴点及び角度の骨格情報から抽出された姿勢情報が異なっている。例えば、跛行牛では健康牛と比較して、背線に背弯が生じており、頭頂の上下動範囲が大きくなっている。また、跛行牛の患肢では健常な肢と比較して、遊脚期が長く、立脚期が短く、速度は遅く、趾節関節の角度変化は小さくなっている。すなわち、図５～図７に示すような姿勢情報に基づけば、跛行の有無、跛行の程度、跛行の態様（どの脚に異常があるか）を、評価することができる。一例として、図５～７に示す姿勢情報に基づけば、右足の異常による跛行が生じていることを評価することができる。なお、評価部１５は、上述したような家畜の特定の特徴点の姿勢情報に基づく評価に限らず、家畜の全身骨格の姿勢
情報に基づき、家畜の姿勢を評価してもよい。これにより、評価部１５は、家畜の全身骨格の姿勢情報を総合的に考慮した評価が可能であり、より詳細な家畜の姿勢の評価が可能である。

【0034】

したがって、評価部１５は、評価対象の家畜の姿勢情報が、健康な家畜の姿勢情報に類似しているのか、疾病に罹患した家畜の姿勢情報に類似しているのかを判定することにより、評価対象の家畜の姿勢の異常の有無を評価することができる。

【0035】

評価部１５は、骨格情報に含まれる全ての特徴点及び角度について、上述したような評価が可能である。家畜の姿勢情報に家畜の全身の姿勢に関する情報が含まれている場合、家畜の部位毎の姿勢を把握することができる。したがって、評価部１５は、どの部位に異常が有るかまで評価することができる。また、評価部１５は、全身の姿勢に関する姿勢情報に基づき、家畜の姿勢を総合的に評価することができるので、より精度よく評価することができる。

【0036】

また、評価部１５は、解析期間中における頭頂のＹ軸値の分散を、頭部長（頭頂から吻端までの距離）で除した値（相対値）として算出した運歩サイクル中の頭部の上下動を、評価してもよい。これにより、撮像した家畜の画像における家畜の大きさの影響を抑えて、家畜の個体間の姿勢の比較が可能である。また、評価部１５は、四肢蹄尖の動きを示すグラフから、運歩サイクルに要する時間を計算し、その時間に占める遊脚期と立脚期の時間の割合として算出した運歩サイクルに占める遊脚期及び立脚期の割合を、評価してもよい。当該評価は、跛行牛と健康牛とでは運歩サイクルに占める遊脚期及び立脚期の割合が異なるという、本発明者らが見出した知見に基づく。これにより、運歩速度や遊脚期又は立脚期に要する時間以外の指標による跛行の診断が可能である。

【0037】

（診断部１６）
診断部１６は、評価部１５による評価結果に基づき、家畜の運動器機能の異常の有無を診断する。診断部１６は、一例として、姿勢の評価結果に応じて、異常の程度、異常のある部位、異常から導き出される運動器病名等を診断する。診断部１６は、姿勢の異常が生じ得る種々の運動器病を診断することが可能であり、一例として、跛行を生じさせるような蹄病、関節炎、骨折等を診断することができる。また、診断部１６は、家畜の運動器機能の異常の有無と共に、異常の有る部位及び異常の程度を診断し得る。一例として、診断部１６は、図５～７に示す跛行牛について、右足根関節部分の疼痛による跛行が生じていると診断することができる。

【0038】

また、診断部１６は、評価部１５において評価した姿勢情報に基づき、所定の閾値を基準として、家畜の運動器機能の異常の有無を診断してもよい。診断部１６における診断基準は、一例として、異常のない家畜における姿勢情報の９５％信頼区間に基づき設定してもよい。従来、跛行のような家畜の運動器機能の異常の検知は目視で行われており、定量的な基準は知られていない。評価装置１０によれば、異常のない家畜における姿勢情報の９５％信頼区間を基準として、家畜の運動器機能の異常の有無を診断することができる。さらに、診断部１６は、運動器機能に異常のある家畜の全身の骨格情報に基づいた教師あり、あるいは、正常な変化からの逸脱に基づいた教師なしの機械学習により構築されたモデルを用いて、家畜の運動器機能の異常の有無を診断してもよい。

【0039】

表示装置２０は、評価装置１０による評価結果を表示する。また、表示装置２０は、評価装置１０が検出した骨格情報や、抽出した姿勢情報を、家畜の画像と共に表示してもよい。表示装置２０は、例えば、骨格情報や姿勢情報を家畜の画像に対応するように重ね合わせて表示してもよい。表示装置２０は、評価装置１０が生成した情報を表示する、コンピュータのディスプレイ、スマートフォンのようなモバイルデバイスのディスプレイであ
ってもよい。

【0040】

カメラ３０は、一例として、デジタルカメラやスマートフォンカメラのような可視光カメラである。カメラ３０は、安価且つ入手が容易なコンパクトデジタルカメラや監視カメラであってもよい。可視光カメラは、レンズ等の光学系や光検出素子等を含み、被写体から光を検出して可視光画像データを生成する。カメラ３０は、赤外線カメラであってもよい。赤外線カメラは、レンズ等の光学系や赤外線検出素子等を含み、被写体から発せられる赤外線を感知して赤外線画像データを生成する。

【0041】

カメラ３０において、撮像、及び、レンズの向き、画角、ピントやズームの調整等は、評価装置１０の制御部１１により制御されてもよい。カメラ３０は、複数のカメラにより構成されていてもよく、これにより、様々な方向から撮像した複数の画像が得ることができる。カメラ３０の設置位置は特に限定されないが、家畜の行動を妨げない位置であって、撮像可能範囲が広くなるような位置に設置されていることが好ましい。

【0042】

記憶装置４０は、評価装置１０にて使用されるプログラム及びデータを記憶する。記憶装置４０は、一例として、カメラ３０により撮像された家畜の画像を記憶している。また、記憶装置４０は、一例として、評価装置１０が検出した骨格画像や、抽出した姿勢情報を、評価対象の家畜毎に記憶している。さらに、記憶装置４０は、一例として、評価装置１０による評価結果及び診断結果を、評価対象の家畜毎に記憶している。記憶装置４０は、各種データを記憶するデータベースをクラウド又はサーバ上に有していてもよい。

【0043】

また、評価装置１０は、ユーザによる評価装置１０に対する入力操作を受け付ける入力装置を備えていてもよい。入力装置は、コンピュータに接続されたキーボードやマウス、モバイルデバイスのタッチパネルであってもよい。

【0044】

評価装置１０によれば、家畜の身体にマーカー等を装着する必要がなく、家畜の画像に基づき姿勢を評価することができるので、侵襲性がない。また、評価装置１０によれば、家畜をトレッドミル上で歩行させる必要がなく、家畜の通常の飼育中の画像を用いて姿勢を評価することができるので、家畜にかかる負担が小さい。さらに、評価装置１０によれば、四肢や背線のみでなく、家畜の全身の骨格の状態を総合的に解析して、家畜の姿勢を評価するので、より精度よく評価することができる。

【0045】

〔評価処理〕
評価装置１０による家畜の姿勢の評価処理（評価方法）の流れについて、図８を参照して説明する。図８は、本発明の一態様に係る評価装置が実行する評価処理の一例を示すフローチャートである。

【0046】

図８に示すように、まず、取得部１２は、カメラを用いて撮像した家畜の画像を取得する（ステップＳ１、取得ステップ）。次に、検出部１３は、取得部１２が取得した画像中の家畜の骨格を表す骨格情報を検出する（ステップＳ２、検出ステップ）。抽出部１４は、検出された骨格情報を参照して、家畜の姿勢を表す姿勢情報を抽出する（ステップＳ３、抽出ステップ）。そして、評価部１５は、抽出された姿勢情報を参照して、家畜の姿勢を評価する（ステップＳ４、評価ステップ）。診断部１６は、家畜の姿勢の評価結果に基づき、家畜の運動器機能の異常の有無、異常の有る部位及び異常の程度を診断し（ステップＳ５、診断ステップ）、評価処理を終了する。

【0047】

このように、評価装置１０による評価処理によれば、カメラ画像に基づき家畜の姿勢を評価することができる。そして、評価装置１０は、姿勢の評価結果に基づき、家畜の運動器機能の異常を診断することができる。評価装置１０によれば、家畜の運動器機能の異常
を容易に診断することができる。

【0048】

〔ソフトウェアによる実現例〕
評価装置１０（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるための評価プログラムであって、当該装置の各制御ブロック（特に制御部１１に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0049】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0050】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0051】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0052】

また、上記各実施形態で説明した各処理は、ＡＩ（Artificial Intelligence：人工知
能）に実行させてもよい。この場合、ＡＩは上記制御装置で動作するものであってもよいし、他の装置（例えばエッジコンピュータまたはクラウドサーバ等）で動作するものであってもよい。

【0053】

〔変形例１〕
評価装置１０により、滑走又は転倒を診断することもできる。図９は、変形例１において、滑走又は転倒を診断するために参照する骨格情報の例を示す図である。評価部１５において、骨格情報に含まれる肘と膝と足根との間の角度を参照して、家畜の姿勢を評価する。診断部１６は、この評価結果に基づき、家畜の滑走又は転倒を診断する。一例として、家畜の後肢における滑走は、肘と膝と足根との間の角度が１８０度以上を閾値として診断する。異常のない家畜であれば、肘と膝と足根との間の角度が１８０度未満でありえる。また、診断部１６における診断基準を、異常のない家畜における上記角度の９５％信頼区間に基づき設定してもよい。また、評価装置１０は、滑走又は転倒した家畜の全身の骨格情報に基づいた教師あり、あるいは、正常な変化からの逸脱に基づいた教師なしの機械学習により構築されたモデルを用いて、滑走又は転倒を診断してもよい。

【0054】

〔変形例２〕
評価装置１０により、四肢集合姿勢を評価して肢の痛みや腹痛等の異常を診断することもできる。図１０は、変形例２において、四肢集合姿勢に関連する異常を診断するために参照する骨格情報の例を示す図である。評価部１５において、骨格情報に含まれる肘と手根関節又は指節関節又は前肢蹄尖との位置関係、並びに、膝と足根関節又は趾節関節又は後肢蹄尖との位置関係を参照して、家畜の姿勢を評価する。診断部１６は、この評価結果に基づき、家畜の肢の痛みや腹痛などの四肢集合姿勢に関連する異常を診断する。

【0055】

一例として、肘関節よりも手根関節又は指節関節又は前肢蹄尖が前に出ている場合、肢の突っ張りがあると評価し、関節の拘縮や蹄病等を診断する。また、膝関節よりも足根関
節又は趾節関節又は後肢蹄尖が前に出ている場合、前後肢の蹄尖間の距離が近い場合には、四肢集合姿勢であると評価し、四肢集合姿勢に関連する異常を診断する。診断部１６における診断基準は、異常のない家畜における上記の姿勢の９５％信頼区間に基づき設定することもできる。また、評価装置１０は、四肢集合姿勢を呈する家畜の全身の骨格情報に基づいた教師あり、あるいは、正常な変化からの逸脱に基づいた教師なしの機械学習により構築されたモデルを用いて、四肢集合姿勢を評価してもよい。

【0056】

〔変形例３〕
評価装置１０により、負重していない肢を診断することもできる。図１１は、変形例３において、負重していない肢を診断するために参照する骨格情報の例を示す図である。評価部１５において、骨格情報に含まれる、１肢の球節（指節関節又は趾節関節）の角度と、他の３肢の球節の角度との比較により、家畜の姿勢を評価する。診断部１６は、この評価結果に基づき、家畜において負重していない肢を診断する。一例として、歩行していない状態において、左右の趾節関節の角度が大幅に異なる場合、角度の小さい方の肢は浮いている状態であり、負重できていないと診断する。なお、家畜の歩行の有無は、骨格情報に含まれる頭部等の移動速度から判断可能である。また、診断部１６における診断基準は、異常のない家畜における上記の姿勢の９５％信頼区間に基づき設定してもよい。また、評価装置１０は、負重していない肢のある家畜の球節の角度や全身の骨格情報に基づいた教師あり、あるいは、正常な変化からの逸脱に基づいた教師なしの機械学習により構築したモデルを用いて、負重していない肢を診断してもよい。

【0057】

〔変形例４〕
評価装置１０により、外陰部周囲の不快感、排泄、分娩等の挙尾に影響する異常を診断することもできる。図１２は、変形例４において、挙尾に影響する異常を診断するために参照する骨格情報の例を示す図である。評価部１５において、骨格情報に含まれる、背、尾根、又は尾の角度を参照して、家畜の姿勢を評価する。診断部１６は、この評価結果に基づき、挙尾に関連する異常を診断する。一例として、背、尾根、又は尾の角度から得られる挙尾を、異常のない家畜の挙尾と比較して、外陰部周囲の不快感、排泄、分娩等を診断する。なお、診断部１６における診断基準は、異常のない家畜における上記の姿勢の９５％信頼区間に基づき設定してもよい。また、評価装置１０は、挙尾に影響する異常が生じている家畜の背、尾根、又は尾の角度や、全身の骨格情報に基づいた教師あり、あるいは、正常な変化からの逸脱に基づいた教師なしの機械学習により構築したモデルを用いて、挙尾の評価及び挙尾に影響する異常の診断をしてもよい。

【0058】

〔実施例〕
健康牛５頭及び跛行牛８頭について、カメラを用いて撮像した画像に基づき、姿勢評価及び運動器病の診断を行った。自由に歩行しているウシの側方から、水平方向に２～３ｍの距離かつ地面から１．５～１．８ｍの高さにおいて、デジタルカメラ（オリンパス製ＴＧ－４、リコー製ＷＧ－２０、ＧｏＰｒｏ製ＧｏＰｒｏ Ｈｅｒｏ ９）を用いて動画を撮影した。動画は、３～５回の運歩サイクル（立脚期＋遊脚期）を含むように、３０ｆｐｓで撮影した。動画は、照明の調節は行わず、様々な背景条件下で撮影した。

【0059】

得られた画像から各ウシの骨格情報を検出した。検出した骨格情報の例を図１３に示す。図１３は、実施例において検出した骨格情報の一例を示す図である。検出した骨格情報を参照して、各ウシの姿勢情報を抽出した。姿勢情報の抽出は、各特徴点の時系列の座標データに基づき各姿勢情報を算出することにより行った。姿勢情報として、図１３に示す、「頭部の上下動」、運歩サイクル中の「背線の角度」の経時変化、「足根関節の角度」の経時変化、「手根関節の角度」の経時変化、「趾節関節の角度」の経時変化、「指節関節の角度」の経時変化、及び、運歩サイクルに占める「遊脚期及び立脚期の割合」を抽出した。

【0060】

なお、運歩サイクル中の「頭部の上下動」は、解析期間中における頭頂のＹ軸値の分散を、頭部長（頭頂から吻端までの距離）で除した値（相対値）として算出した。また、運歩サイクルに占める「遊脚期及び立脚期の割合」は、図１４に示す、四肢蹄尖の動きを示すグラフから、運歩サイクルに要する時間を計算し、その時間に占める遊脚期と立脚期の時間の割合として、算出した。図１４は、実施例において抽出した右後肢蹄尖の位置座標の経時変化を示すグラフである。

【0061】

５頭の健康牛から抽出した各姿勢情報を図１５に示し、図１５に示す各姿勢情報から算出した健康牛５頭の平均値と９５％信頼区間とを図１６に示した。図１５は、実施例において健康牛から抽出した姿勢情報を示す図であり、図１６は、実施例における健康牛の各姿勢情報の平均値及び９５％信頼区間を示す図である。また、８頭の跛行牛から抽出した各姿勢情報を図１７及び１８に示す。図１７及び１８は、実施例において跛行牛から抽出した姿勢情報を示す図である。

【0062】

同側の前後肢では骨格構造の相違を考慮する必要があるため、本実施例において、同じ動きが想定される左右の前肢間、及び、左右の後肢間の各関節の角度変化の差の平均値を健康牛において算出し、跛行牛との比較に用いた。また、遊脚期及び立脚期の割合については、歩行速度によりこれらの割合が変化する可能性があるため、左右の四肢におけるこれらの割合の差を健康牛において算出し、跛行牛との比較に用いた。

【0063】

健康牛の姿勢情報に基づき跛行牛の姿勢情報を評価するための基準として、頭部の上下動、各関節の角度変化、並びに、遊脚期及び立脚期の割合については９５％信頼区間の上限値を設定し、背線の角度については９５％信頼区間の下限値を設定した。この基準値の設定は、跛行時には頭部上下動の増大、背線角度の減少（背弯）、関節角度の変化量の減少、及び、運歩リズムの均一性の変化が起こるという知見に基づく。

【0064】

健康牛における基準値との比較により、跛行牛８頭のうち、６頭で頭部上下動の増大、４頭で背線角度の減少がみられた。また、患肢の角度異常として、跛行牛８頭のうち、１頭で指節関節の角度変化の異常、２頭で足根関節の角度変化の異常がみられた。さらに、全ての跛行牛の患肢において、立脚期の短縮及び遊脚期の延長がみられ、運歩が均一でなくなっていることが示された。

【0065】

このように、健康牛の姿勢情報を基準として、ウシの姿勢を評価することにより、跛行の有無を診断することができることが示された。

【0066】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0067】

１０ 評価装置
１２ 取得部
１３ 検出部
１４ 抽出部
１５ 評価部
１６ 診断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】