特許7554506行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-11
(45)【発行日】2024-09-20
(54)【発明の名称】行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体
(51)【国際特許分類】
G06T 7/00 20170101AFI20240912BHJP
G06T 7/70 20170101ALI20240912BHJP
【ＦＩ】
G06T7/00 350B
G06T7/70 Z
【請求項の数】
9
(21)【出願番号】P 2023059075
(22)【出願日】2023-03-31
(62)【分割の表示】P 2021110070の分割
【原出願日】2021-07-01
(65)【公開番号】P2023073478
(43)【公開日】2023-05-25
【審査請求日】2023-03-31
(31)【優先権主張番号】P 2020114316
(32)【優先日】2020-07-01
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】多田 慎吾
【審査官】小池 正彦
(56)【参考文献】
【文献】特開２０２１－１４４６３１（ＪＰ，Ａ）
【文献】特開２０１９－２０４４６４（ＪＰ，Ａ）
【文献】特開２０２０－０３８５７２（ＪＰ，Ａ）
【文献】特開２０１９－０２４４８２（ＪＰ，Ａ）
【文献】国際公開第２０１２／０４６３９２（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／７０
(57)【特許請求の範囲】
【請求項1】
個体を含む画像を取得する画像取得部と、前記画像中の個体の体の部位の位置を特定する位置特定部と、
特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得部と、
取得した前記時系列情報を参照して、前記個体の行動型であって、前記個体が反芻行動をしているか否か、及び前記個体が立っているか座っているか、並びにこれらの組合せからなる群から選択される前記行動型を分析する行動型分析部と
を備えている、行動型分析装置。
【請求項2】
前記位置特定部は、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記位置を特定する、請求項１に記載の行動型分析装置。
【請求項3】
前記位置特定部は、前記個体の体の部位の位置の座標を取得する、請求項１又は２に記載の行動型分析装置。
【請求項4】
前記行動型分析部は、時系列情報を入力データとして、当該時系列情報に対応した行動型を推定するように機械学習した分析モデルに、前記情報取得部が取得した前記時系列情報を入力データとして入力することにより出力される行動型を分析結果として取得する、請求項１から３のいずれか１項に記載の行動型分析装置。
【請求項5】
前記位置特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定する、請求項１から４のいずれか１項に記載の行動型分析装置。
【請求項6】
前記画像取得部が取得した前記画像中の前記個体を検出する検出部、および、前記検出部が検出した前記個体を識別する識別部、
をさらに備えている、請求項１から５のいずれか１項に記載の行動型分析装置。
【請求項7】
個体を含む画像を取得する画像取得ステップと、前記画像中の個体の体の部位の位置を特定する位置特定ステップと、
特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得ステップと、
取得した前記時系列情報を参照して、前記個体の行動型であって、前記個体が反芻行動をしているか否か、及び前記個体が立っているか座っているか、並びにこれらの組合せからなる群から選択される前記行動型を分析する行動型分析ステップと
を含む、行動型分析方法。
【請求項8】
請求項１から６のいずれか１項に記載の行動型分析装置としてコンピュータを機能させるための行動型分析プログラムであって、上記画像取得部、上記位置特定部、上記情報取得部、および上記行動型分析部としてコンピュータを機能させるための行動型分析プログラム。
【請求項9】
請求項８に記載の行動型分析プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、行動型分析装置、行動型分析方法、行動型分析プログラム、及び記録媒体に関する。
【背景技術】
【0002】
酪農経営の大規模化に対応した省力的な牛群管理技術の開発に向けて、牛群内の各個体の行動を自動でモニタリングできる手法が求められている。牛群内を個体毎にモニタリングする技術として、各個体に加速度計等のウェアラブルセンサを装着してモニタリングする技術が実用化されている。このような技術の一例として、牛の活動量を把握するための首輪型センサを牛に装着し、活動、反芻及び休息の時間を計算して、その情報から発情、疾病の疑い等の注意すべきウシを検出する技術が知られている。
【0003】
しかしながら、このような技術では、牛群が大規模であるほど導入コストが増大すると共に、機器の管理に係る労力が大きくなる。このような技術の導入、運用にかかる費用は、例えば、ウシの活動量を把握するための首輪型センサが１台数万円、利用料が１頭数千円/年とされている。
【0004】
これに対して、映像解析に基づいて牛をモニタリングする技術では、牛にセンサを取り付ける必要がないのでコストを削減でき、また、管理が容易であるという利点がある。映像解析に基づいて牛をモニタリングする技術として、非特許文献１及び２に記載された技術が例として挙げられる。非特許文献１には、牛の深度カメラ映像から牛の歩様を解析し、蹄病を検出できることが示されている。また、非特許文献２には、分娩予兆としての姿勢の変化等を牛の撮影画像から検知することが記載されている。
【0005】
また、人を対象とした個体の識別及び追跡する技術として、特許文献１及び２に記載された技術が例として挙げられる。特許文献１には、特定地域内を移動するヒトを検知すると共に当該人の静止画を取得して住人か非住人かを判断し、時系列で行動を追う構成が記載されている。また、特許文献２には、映像中の動体を検出し、人物の判別のための特徴量を抽出する構成が記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2017-224249
【文献】特開2019-169843
【非特許文献】
【0007】
【文献】砂川 翔ら、情報処理学会研究報告、Vol. 2017-CVIM-206, No.2(2017)
【文献】沖本祐典ら、人工知能学会全国大会論文集、第32回全国大会（2018）
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、非特許文献１及び２に記載された技術は、単独の個体をモニタリングすることを想定したものであるため、複数の牛個体の行動を個体毎に解析する態様に適したものではない。
【0009】
一方、特許文献１及び２に記載された技術は、複数の個体をモニタリングするものであり、個体識別に機械学習済みモデルを利用することが記載されているが、機械学習のための学習用データの収集についてなんら記載されていない。個体構成や撮影条件が異なる様々な牛群に対して汎用利用可能な個体識別技術とするためには、牛群毎に簡便に構築可能な学習済みモデルを利用した個体識別システムであることが求められる。
【0010】
本発明の一態様は、上述した問題点を解決するためになされたものであり、その目的は、様々な個体に適用できる汎用性の高い、映像からの行動解析システムを実現することである。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、本発明は、以下の態様を含む。
１） 行動型分析装置は、個体を含む画像を取得する画像取得部と、前記画像中の個体の体の部位の位置を特定する位置特定部と、特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得部と、取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析部とを備えている。
２） １）に記載の行動型分析装置において、前記位置特定部は、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記位置を特定する。
３） １）または２）に記載の行動型分析装置において、前記位置特定部は、前記個体の体の部位の位置の座標を取得する、請求項１又は２に記載の行動型分析装置。
４） １）から３）のいずれかに記載の行動型分析装置において、前記行動型分析部は、時系列情報を入力データとして、当該時系列情報に対応した行動型を推定するように機械学習した分析モデルに、前記情報取得部が取得した前記時系列情報を入力データとして入力することにより出力される行動型を分析結果として取得する。
５） １）から４）のいずれかに記載の行動型分析装置において、前記位置特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定する。
６） １）から５）のいずれかに記載の行動型分析装置は、前記画像取得部が取得した前記画像中の前記個体を検出する検出部、および、前記検出部が検出した前記個体を識別する識別する識別部、をさらに備えている。
７）行動型分析方法は、個体を含む画像を取得する画像取得ステップと、前記画像中の個体の体の部位の位置を特定する位置特定ステップと、特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得ステップと、取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析ステップとを含む。
８） 行動型分析プログラムは、１）から６）のいずれかに記載の行動型分析装置としてコンピュータを機能させるための行動型分析プログラムであって、上記画像取得部、上記位置特定部、上記情報取得部、および上記行動型分析部としてコンピュータを機能させる。
９） コンピュータ読み取り可能な記録媒体は、８）に記載の行動型分析プログラムを記録したものである。
１） 行動型分析装置は、個体を含む画像を取得する画像取得部と、前記画像中の個体の体の部位の位置を特定する位置特定部と、特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得部と、取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析部とを備えている。
２） １）に記載の行動型分析装置において、前記位置特定部は、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、前記画像取得部が取得した前記画像を入力データとして入力することにより出力される前記位置を特定する。
３） １）または２）に記載の行動型分析装置において、前記位置特定部は、前記個体の体の部位の位置の座標を取得する、請求項１又は２に記載の行動型分析装置。
４） １）から３）のいずれかに記載の行動型分析装置において、前記行動型分析部は、時系列情報を入力データとして、当該時系列情報に対応した行動型を推定するように機械学習した分析モデルに、前記情報取得部が取得した前記時系列情報を入力データとして入力することにより出力される行動型を分析結果として取得する。
５） １）から４）のいずれかに記載の行動型分析装置において、前記位置特定部は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定する。
６） １）から５）のいずれかに記載の行動型分析装置は、前記画像取得部が取得した前記画像中の前記個体を検出する検出部、および、前記検出部が検出した前記個体を識別する識別する識別部、をさらに備えている。
７）行動型分析方法は、個体を含む画像を取得する画像取得ステップと、前記画像中の個体の体の部位の位置を特定する位置特定ステップと、特定した前記位置の所定時間内の変化を表す時系列情報を取得する情報取得ステップと、取得した前記時系列情報を参照して、前記個体の行動型を分析する行動型分析ステップとを含む。
８） 行動型分析プログラムは、１）から６）のいずれかに記載の行動型分析装置としてコンピュータを機能させるための行動型分析プログラムであって、上記画像取得部、上記位置特定部、上記情報取得部、および上記行動型分析部としてコンピュータを機能させる。
９） コンピュータ読み取り可能な記録媒体は、８）に記載の行動型分析プログラムを記録したものである。
【発明の効果】
【0012】
本発明の一態様によれば、様々な個体に適用できる汎用性の高い、映像からの行動解析システムを実現することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一態様に係る学習用データ生成装置の要部構成を示すブロック図である。
【図2】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図3】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図4】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図5】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図6】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図7】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図8】本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【図9】学習用データ生成装置による学習用データ生成処理を示すフローチャートである。
【図10】本発明の一態様に係る学習装置の要部構成を示すブロック図である。
【図11】学習装置による学習処理を示すフローチャートである。
【図12】本発明の一態様に係る個体識別装置の要部構成を示すブロック図である。
【図13】個体識別装置による個体識別処理を示すフローチャートである。
【図14】本発明の一態様に係る行動分析装置の要部構成を示すブロック図である。
【図15】行動分析装置による行動分析処理を示すフローチャートである。
【図16】本発明の一態様に係る学習用データ生成装置で利用する個体識別の一例を説明する図である。
【図17】本発明の一態様に係る学習用データ生成装置において画像中の個体を検出するために用いられる物体検出機械学習モデルの一例を説明する図である。
【図18】本発明の一態様に係る学習用データ生成装置において画像中の個体を検出するために用いられる骨格検知機械学習モデルの一例を説明する図である。
【図19】本発明の一態様に係る学習用データ生成装置において体領域を特定する形態の一例を説明する図である。
【図20】本発明の一態様に係る学習用データ生成装置において体の一部を表す画像から体全体の画像を特定するために用いられる姿勢推定モデルの一例を説明する図である。
【図21】本発明の一態様に係る行動型分析システムの要部構成を示すブロック図である。
【図22】行動型分析装置において特定される個体の体の部位を例示する図である。
【図23】行動型分析装置において分析される個体の行動型を例示する図である。
【図24】行動型分析装置による行動型分析処理を示すフローチャートである。
【発明を実施するための形態】
【0014】
〔学習用データ生成装置〕
本発明の一態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の動体を検知する動体検知部と、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲み部と、枠囲みが付与された前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する生成部とを備えている。
本発明の一態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の動体を検知する動体検知部と、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲み部と、枠囲みが付与された前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する生成部とを備えている。
【0015】
図１は、本発明の一態様に係る学習用データ生成装置の要部構成を示すブロック図である。学習用データ生成装置１０は、画像取得部１１、動体検知部１２、枠囲み部１３、抽出部１４、学習用データ生成部（生成部）１５、及び学習用データ記憶部１６を備えている。学習用データ生成装置１０は、機械学習により個体識別モデルを構築するために用いられる学習用データを生成する。
【0016】
（個体）
学習用データ生成装置１０により生成する学習用データを機械学習させた個体識別モデルは、複数の個体が撮影された画像において個体を識別する機械学習済モデルである。個体識別モデルにより識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、以下では、識別する個体の例としてホルスタイン種の乳牛個体について説明するが、本発明はこれに限定されず、他の乳牛個体又は他の動物個体であっても、紋様や体型の違い、あるいは簡易なマーカー等を利用することにより、ホルスタイン種の乳牛個体と同様に適用することができる。例えば、錦鯉、豚、猫や犬等にも、本発明を適用することができる。簡易なマーカーを利用する構成の例として、図１６に示すように、首輪に数値などの標識を装着する構成が挙げられる。図１６は、本発明の一態様に係る学習用データ生成装置で利用する個体識別の一例を説明する図である。このような簡易なマーカーを利用することによって、紋様による識別が難しい種であっても容易に個体識別することが可能であり、様々な種の個体に本発明を適用することができる。
学習用データ生成装置１０により生成する学習用データを機械学習させた個体識別モデルは、複数の個体が撮影された画像において個体を識別する機械学習済モデルである。個体識別モデルにより識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、以下では、識別する個体の例としてホルスタイン種の乳牛個体について説明するが、本発明はこれに限定されず、他の乳牛個体又は他の動物個体であっても、紋様や体型の違い、あるいは簡易なマーカー等を利用することにより、ホルスタイン種の乳牛個体と同様に適用することができる。例えば、錦鯉、豚、猫や犬等にも、本発明を適用することができる。簡易なマーカーを利用する構成の例として、図１６に示すように、首輪に数値などの標識を装着する構成が挙げられる。図１６は、本発明の一態様に係る学習用データ生成装置で利用する個体識別の一例を説明する図である。このような簡易なマーカーを利用することによって、紋様による識別が難しい種であっても容易に個体識別することが可能であり、様々な種の個体に本発明を適用することができる。
【0017】
なお、多頭飼育されている個体は、図２に示すように、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。図２は、本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
【0018】
（画像取得部１１）
画像取得部１１は、ウシ個体を含む画像を取得する。画像取得部１１は、入出力部（図示せず）を介して、ウシ個体を撮像したカメラ２０から個体を含む画像を取得する。画像取得部１１は、無線通信又は有線通信によりカメラ２０からウシ個体を含む画像を取得する。画像取得部１１は、カメラ２０によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
画像取得部１１は、ウシ個体を含む画像を取得する。画像取得部１１は、入出力部（図示せず）を介して、ウシ個体を撮像したカメラ２０から個体を含む画像を取得する。画像取得部１１は、無線通信又は有線通信によりカメラ２０からウシ個体を含む画像を取得する。画像取得部１１は、カメラ２０によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
【0019】
カメラ２０は、ウシ個体を上から撮影するものであってもよいし、斜め上方から撮影するものであってもよい。学習用データ生成装置１０においては、ウシ個体を上から撮影した画像のみならず、斜め上方から撮影した画像であっても好適に使用可能である。一例として、ウシ個体が屋内において飼育されている場合には、カメラ２０を天井に設置していてもよいし、壁面に設置していてもよい。また、ウシ個体が屋外において飼育されている場合には、カメラ２０をポールや柵等に固定して設置していてもよい。
【0020】
ウシ個体を含む画像は、ウシ個体が撮像された画像であり、可視光画像であってもよいし、サーモカメラ等で撮影した赤外線画像であってもよいし、３次元レーザーセンサー等により得られた３次元画像であってもよい。赤外線画像やレーザーセンサーによる３次元画像を用いることにより、照明を用いずに夜間の画像を取得することができる。また、ウシ個体を含む画像は、静止画であっても、動画であってもよい。画像取得部１１は、複数のカメラ２０からウシ個体を含む画像を取得することが好ましく、複数のカメラ２０がそれぞれ異なる方向からウシ個体を撮像した画像を取得することがより好ましい。画像取得部１１は、取得したウシ個体を含む画像を動体検知部１２に送る。
【0021】
（動体検知部１２）
動体検知部１２は、取得したウシ個体を含む画像中の動体を検知する。動体検知部１２は、ウシ個体を含む画像において物体の動きを検知し、動いた物体を動体として検知する。動体検知部１２は、例えば、撮像された時間が異なる複数の画像フレーム間で比較を行うフレーム間差分処理、撮像された画像と事前に取得した背景画像とで比較を行う背景差分処理等により、画像中の動体を検知する。動体検知部１２は、検知した動体の、画像中の位置情報を取得し、枠囲み部１３に送る。
動体検知部１２は、取得したウシ個体を含む画像中の動体を検知する。動体検知部１２は、ウシ個体を含む画像において物体の動きを検知し、動いた物体を動体として検知する。動体検知部１２は、例えば、撮像された時間が異なる複数の画像フレーム間で比較を行うフレーム間差分処理、撮像された画像と事前に取得した背景画像とで比較を行う背景差分処理等により、画像中の動体を検知する。動体検知部１２は、検知した動体の、画像中の位置情報を取得し、枠囲み部１３に送る。
【0022】
（枠囲み部１３）
枠囲み部１３は、検知した動体のうちのウシ個体の体全体を含む体領域に枠囲みを付与する。枠囲み部１３は、検知した動体がウシ個体である場合に、当該ウシ個体の体領域に枠囲みを付与する。枠囲み部１３は、取得した動体の位置情報に対応する部分領域の画像において、ウシ個体の体領域を特定し、枠囲みを付与する。
枠囲み部１３は、検知した動体のうちのウシ個体の体全体を含む体領域に枠囲みを付与する。枠囲み部１３は、検知した動体がウシ個体である場合に、当該ウシ個体の体領域に枠囲みを付与する。枠囲み部１３は、取得した動体の位置情報に対応する部分領域の画像において、ウシ個体の体領域を特定し、枠囲みを付与する。
【0023】
ウシ個体の体領域を特定せずに、動体の位置情報に対応する部分領域の画像に枠囲みを付与すると、図３に示すように、ウシ個体の頭部や尾部のみのような体の一部にのみ枠囲みが付与される場合がある。また、ウシ個体以外の動体に枠囲みが付与される場合もある。
【0024】
一方、枠囲み部１３は、動体の位置情報に対応する部分領域の画像において、ウシ個体の体領域を特定して枠囲みを付与するので、図４に示すように、ウシ個体の体全体が枠の内側に存在するように枠囲みが付与される。図４は、本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【0025】
枠囲み部１３におけるウシ個体の体領域の特定は、例えば、ウシ個体の体領域を特定するように機械学習した学習済みモデルを用いる方法や、特徴点マッチング、パターンマッチング等の方法により行うことができる。すなわち、枠囲み部１３は、ウシ個体を含む画像から当該ウシ個体の体全体を含む体領域を抽出するように機械学習した判別モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される体領域に枠囲みを付与する。このような機械学習済みの判別モデルは、例えば、数千～数万頭のウシ個体の体全体を撮像した画像を蓄積した、図５に示すような学習用データを用いて、サポートベクターマシン、ランダムフォレスト、ｋ－means法、畳み込みニューラルネットワークのような公知の学習アルゴリズムを適用することで得られる。図５は、本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。
【0026】
また、枠囲み部１３は、撮像された画像にウシ個体の一部しか含まれていない、ウシ個体同士が重なっている、柱や壁のような障害物にウシ個体の一部が隠れている等の場合には、ウシ個体の一部を表す画像から体領域画像を生成し、生成した体領域画像に枠囲みを付与する。すなわち、枠囲み部１３は、個体の体の一部を表す画像から当該個体の体全体を表す画像を生成するように機械学習した生成モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される個体の体全体を表す画像を体領域とし、当該体領域に枠囲みを付与する。
【0027】
このような生成モデルとして、変分オートエンコーダ（ＶＡＥ）、敵対的生成ネットワーク（ＧＡＮ）等の公知の生成モデルを用いることができる。例えば、変分オートエンコーダを用いる場合、図６に示すように、ウシ個体の体の一部の画像データから、エンコーダの畳み込みにより画像データの特徴を表す数値が得られる。そして、特徴を表す数値を逆畳み込みすることにより、ウシ個体の体全体の画像が復元される。図６は、本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。例えば、図６に示すような、数千～数万頭のウシ個体の体全体を撮像した画像を蓄積した学習用データを用いて、公知の生成モデルを適用することで、機械学習済みの生成モデルが得られる。このように、ウシ個体の体の一部の画像から体全体の体領域画像を復元するように学習した生成モデルを用いることで、入力画像データとしてウシ個体の体の一部の画像を用いて、ウシ個体の体全体の画像を復元することができる。なお、図６に示す例において生成モデルから出力されるデータは、体全体を囲む枠のみであってもよく、模様や色等は出力されなくてもよい。
【0028】
図７及び８は、本発明の一態様に係る学習用データ生成装置の学習用データ生成処理を説明する図である。機械学習済みの生成モデルに、図７に示すように、ウシ個体の体の一部を表す画像データを入力すると、デコーダの畳み込みにより画像データの特徴を表す数値Ｚが得られる。数値Ｚは、入力された画像の特徴を表す数値であり、例えば、画像の縮尺や、画像に含まれる領域が体全体のどの範囲に該当するか等に関する情報を表す数値である。そして、得られた数値Ｚを逆畳み込みにより復元することで、ウシ個体の体領域を表す体領域画像が生成され、出力される。また、この機械学習済みの生成モデルに、図７に示すように、学習データに含まれていないような特徴を含むウシ個体の体の一部を表す画像データを入力すると、ウシ個体の体領域画像が生成され、出力される。このように、未知のウシ画像データを生成モデルに入力した場合でも、ウシ個体の体全体を枠囲みしたデータが出力される。このように、学習データに含まれていないような特徴を含むウシ個体の体の一部を表す画像データを生成モデルに入力した場合でも、ウシ個体の体全体を枠囲みしたデータが出力される。また、図８に示す入力データのように、ウシ個体の体の一部を表す画像の縮尺が図７と比較して大きい場合でも、入力画像の縮尺に応じた大きさで枠囲みされたウシ個体の体領域画像が出力される。
【0029】
このように、動体の画像がウシ個体の一部のみである場合、枠囲み部１３は、個体の体の一部を表す画像から当該個体の体全体を表す画像を生成するように機械学習した生成モデルを用いることで、ウシ個体の体領域を生成し、枠囲みを付与する。
【0030】
（抽出部１４）
抽出部１４は、枠囲みが付与された体領域画像を抽出する。抽出部１４は、カメラ２０が撮像した画像から、枠囲みの外側の画像を取り除き、枠囲みの内側の体領域画像を切り出す。抽出部１４は、抽出した体領域画像を学習用データ生成部１５に送る。
抽出部１４は、枠囲みが付与された体領域画像を抽出する。抽出部１４は、カメラ２０が撮像した画像から、枠囲みの外側の画像を取り除き、枠囲みの内側の体領域画像を切り出す。抽出部１４は、抽出した体領域画像を学習用データ生成部１５に送る。
【0031】
（学習用データ生成部１５）
学習用データ生成部１５は、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する。学習用データは、ラベル付されていない教師なしデータであり得、例えば、数百～数万の体領域画像データを含む。学習用データ生成部１５は、体領域画像を同一個体毎に分類して蓄積し、学習用データを生成し得る。学習用データ生成部１５は、予め定められた数の体領域画像が蓄積された時点、又は、ユーザからの学習用データ生成指示を受け付けた時点において、蓄積されている体領域画像により学習用データを生成してもよい。
学習用データ生成部１５は、抽出した前記体領域画像から、個体を識別する個体識別モデルの学習用データを生成する。学習用データは、ラベル付されていない教師なしデータであり得、例えば、数百～数万の体領域画像データを含む。学習用データ生成部１５は、体領域画像を同一個体毎に分類して蓄積し、学習用データを生成し得る。学習用データ生成部１５は、予め定められた数の体領域画像が蓄積された時点、又は、ユーザからの学習用データ生成指示を受け付けた時点において、蓄積されている体領域画像により学習用データを生成してもよい。
【0032】
なお、学習用データ生成部１５による体領域画像の同一個体毎の分類は、一例として、体領域画像の類似度、時系列における前後の画像との位置関係等の情報を参照することによって行うことができる。このような体領域画像の同一個体毎の分類は、体領域画像から当該体領域画像の類似度による推定や時系列における前後の画像との位置関係による推定をするように機械学習した分類推定モデルを用いて実行してもよい。
【0033】
学習用データ生成部１５は、個体識別モデルが識別する個体群に対応した学習用データを生成する。例えば、学習用データにより機械学習する個体識別モデルが、ウシ個体Ｎｏ．１～ウシ個体Ｎｏ．１０までの１０頭のウシ個体が含まれる個体群Ｘを識別する場合、個体群Ｘに含まれる１０頭のウシ個体の体領域画像データを含む学習用データを生成する。学習用データ生成部１５は、生成した学習用データを、対応する個体群の情報と関連付けて学習用データ記憶部１６に格納する。
【0034】
（学習用データ記憶部１６）
学習用データ記憶部１６には、生成された学習用データが格納される。また、学習用データ記憶部１６には、画像取得部１１が取得した画像や、動体検知部１２が検知した動体の、画像における位置情報等のデータが格納されてもよい。また、学習用データ記憶部１６には、学習用データ生成装置１０が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
学習用データ記憶部１６には、生成された学習用データが格納される。また、学習用データ記憶部１６には、画像取得部１１が取得した画像や、動体検知部１２が検知した動体の、画像における位置情報等のデータが格納されてもよい。また、学習用データ記憶部１６には、学習用データ生成装置１０が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
【0035】
（学習用データ生成処理）
図９を参照して、学習用データ生成装置１０による学習用データ生成処理の一例について説明する。図９は、図１の学習用データ生成装置１０による学習用データ生成処理を示すフローチャートである。
図９を参照して、学習用データ生成装置１０による学習用データ生成処理の一例について説明する。図９は、図１の学習用データ生成装置１０による学習用データ生成処理を示すフローチャートである。
【0036】
まず、ステップＳ９１において、画像取得部１１は、ウシ個体を含む画像を取得する。なお、学習用データ生成装置１０による学習用データ生成処理は、カメラ２０から撮像画像データの入力を受け付けることにより開始してもよい。
【0037】
次に、動体検知部１２は、取得したウシ個体を含む画像中の動体を検知する（ステップＳ９２）。続いて、ステップＳ９３において、枠囲み部１３は、検知した動体のうちのウシ個体の体領域に枠囲みを付与する。次に、ステップＳ９４において、抽出部１４は、枠囲みが付与された体領域画像を抽出する。そして、学習用データ生成部１５は、体領域画像から学習用データを生成する（ステップＳ９４）。学習用データ生成部１５は、生成した学習用データを学習用データ記憶部１６に格納し、学習用データ生成処理を終了する。
【0038】
このように、学習用データ生成装置１０は、動体検知したウシ個体の体領域画像を抽出して蓄積することで、機械学習により個体識別モデルを構築するために用いられる学習用データを自動生成する。これにより、個体識別モデルを構築するための学習用データの生成が容易である。そのため、個体構成や撮影条件が異なる様々な個体群に対して、個体群毎に簡便に学習用データを生成することができる。また、学習用データ生成装置１０により生成した学習用データには、様々な向きのウシ個体の体領域画像が含まれる。そのため、このような学習用データを用いて学習した個体識別モデルを用いて個体識別することによって、識別する画像におけるウシ個体の向きに関わらず個体識別が可能となる。
【0039】
画像認識の機械学習においては、従来、学習用データの準備に時間及び労力がかかる点が問題となっている。学習用データ生成装置１０によれば、個体識別モデルの機械学習に用いられる学習用データを自動的に蓄積できる。これにより、例えば、ウシ個体群の個体構成や撮影条件が異なる酪農現場毎に対応した個体識別モデルを簡便に構築することが可能であり、個体識別モデルの汎用利用を実現できる。
【0040】
〔学習装置〕
本発明の一実施形態に係る学習装置は、本発明の一実施形態に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得部と、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する個体識別モデルを構築する学習部とを備えている。
本発明の一実施形態に係る学習装置は、本発明の一実施形態に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得部と、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する個体識別モデルを構築する学習部とを備えている。
【0041】
図１０は、本発明の一態様に係る学習装置の要部構成を示すブロック図である。学習装置１００は、学習用データ取得部１０１、学習部１０２、及び学習モデル記憶部１０３を備えている。学習装置１００は、個体を識別する個体識別モデルを構築する。
【0042】
（学習用データ取得部１０１）
学習用データ取得部１０１は、学習用データ生成装置１０の学習用データ記憶部１６に格納された学習用データを、入出力部（図示せず）を介して取得する。学習用データ取得部１０１は、学習部１０２において機械学習する個体識別モデルが識別する個体群に対応した学習用データを取得する。例えば、個体識別モデルが、ウシ個体Ｎｏ．１～ウシ個体Ｎｏ．１０までの１０頭のウシ個体が含まれる個体群Ｘのウシ個体を識別する学習済みモデルである場合、学習用データ取得部１０１は、個体群Ｘに対応した学習用データを取得する。学習用データ取得部１０１は、取得した学習用データを学習部１０２に送る。
学習用データ取得部１０１は、学習用データ生成装置１０の学習用データ記憶部１６に格納された学習用データを、入出力部（図示せず）を介して取得する。学習用データ取得部１０１は、学習部１０２において機械学習する個体識別モデルが識別する個体群に対応した学習用データを取得する。例えば、個体識別モデルが、ウシ個体Ｎｏ．１～ウシ個体Ｎｏ．１０までの１０頭のウシ個体が含まれる個体群Ｘのウシ個体を識別する学習済みモデルである場合、学習用データ取得部１０１は、個体群Ｘに対応した学習用データを取得する。学習用データ取得部１０１は、取得した学習用データを学習部１０２に送る。
【0043】
（学習部１０２）
学習部１０２は、取得した学習用データを用いて、個体を識別する個体識別モデルを構築する。学習部１０２は、取得した学習用データを用いて、サポートベクタ―マシン、ランダムフォレスト、ｋ－means法、畳み込みニューラルネットワークのような公知の学習アルゴリズムを適用して個体識別モデルを機械学習する。
学習部１０２は、取得した学習用データを用いて、個体を識別する個体識別モデルを構築する。学習部１０２は、取得した学習用データを用いて、サポートベクタ―マシン、ランダムフォレスト、ｋ－means法、畳み込みニューラルネットワークのような公知の学習アルゴリズムを適用して個体識別モデルを機械学習する。
【0044】
学習部１０２において構築した機械学習済みの個体識別モデルは、個体を含む画像データを入力データとして入力することにより、当該個体を識別する識別情報を出力する学習済みモデルである。例えば、個体識別モデルが個体群Ｘのウシ個体を識別する場合、個体識別モデルは、入力された画像データ中のウシ個体が、個体群Ｘ中の何れのウシ個体（ウシ個体Ｎｏ．１、ウシ個体Ｎｏ．２、・・・又はウシ個体Ｎｏ．１０）であるかを出力する。学習部１０２は、機械学習済みの個体識別モデルを、学習モデル記憶部１０３に格納する。
【0045】
（学習モデル記憶部１０３）
学習モデル記憶部１０３には、機械学習済みの個体識別モデルが格納される。また、学習モデル記憶部１０３には、学習用データ取得部１０１が取得した学習用データ等が格納されてもよい。また、学習モデル記憶部１０３には、学習装置１００が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
学習モデル記憶部１０３には、機械学習済みの個体識別モデルが格納される。また、学習モデル記憶部１０３には、学習用データ取得部１０１が取得した学習用データ等が格納されてもよい。また、学習モデル記憶部１０３には、学習装置１００が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
【0046】
【0047】
まず、ステップＳ１１１において、学習用データ取得部１０１は、学習用データ生成装置１０から学習用データを取得する。次に、学習部１０２は、取得した学習用データを用いて、個体を識別する個体識別モデルを機械学習させる（ステップＳ１１２）。そして、学習部１０２は、機械学習済みの個体識別モデルを学習モデル記憶部１０３に格納し（ステップＳ１１３）、学習処理を終了する。
【0048】
このように、学習装置１００は、個体群毎に対応して生成された学習用データを用いて機械学習により個体識別モデルを構築するので、例えば、ウシ個体群の個体構成や撮影条件が異なる酪農現場毎に対応した個体識別モデルを簡便に構築することが可能である。その結果、個体識別モデルの汎用利用を実現できる。
【0049】
〔個体識別装置〕
本発明の一実施形態に係る個体識別装置は、個体を含む画像を取得する画像取得部と、本発明の一実施形態に係る学習装置によって構築された前記個体識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部とを備えている。
本発明の一実施形態に係る個体識別装置は、個体を含む画像を取得する画像取得部と、本発明の一実施形態に係る学習装置によって構築された前記個体識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部とを備えている。
【0050】
図１２は、本発明の一態様に係る個体識別装置の要部構成を示すブロック図である。個体識別装置１２０は、画像取得部１２１、識別部１２２、及び識別画像蓄積部１２３を備えている。個体識別装置は、個体識別モデルを用いて個体群中の個体を識別する。
【0051】
（個体）
個体識別装置１２０により識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、多頭飼育されている個体は、図２に示すように、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
個体識別装置１２０により識別する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であることが好ましい。個体識別モデルにより識別する個体は、多頭飼育されている家畜個体であることがより好ましく、ウシ個体であることがさらに好ましく、乳牛個体であることがさらにより好ましく、最も好ましくはホルスタイン種の乳牛個体である。なお、多頭飼育されている個体は、図２に示すように、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
【0052】
（画像取得部１２１）
画像取得部１２１は、ウシ個体を含む画像を取得する。画像取得部１２１は、入出力部（図示せず）を介して、ウシ個体を撮像したカメラ２０から個体を含む画像を取得する。画像取得部１２１は、無線通信又は有線通信によりカメラ２０からウシ個体を含む画像を取得する。画像取得部１２１は、カメラ２０によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
画像取得部１２１は、ウシ個体を含む画像を取得する。画像取得部１２１は、入出力部（図示せず）を介して、ウシ個体を撮像したカメラ２０から個体を含む画像を取得する。画像取得部１２１は、無線通信又は有線通信によりカメラ２０からウシ個体を含む画像を取得する。画像取得部１２１は、カメラ２０によりウシ個体を撮像する度毎に画像を取得してもよいし、所定時間毎に画像を取得してもよい。
【0053】
カメラ２０は、ウシ個体を上から撮影するものであってもよいし、斜め上方から撮影するものであってもよい。個体識別装置１２０においては、ウシ個体を上から撮影した画像のみならず、斜め上方から撮影した画像であっても好適に使用可能である。一例として、ウシ個体が屋内において飼育されている場合には、カメラ２０を天井に設置していてもよいし、壁面に設置していてもよい。また、ウシ個体が屋外において飼育されている場合には、カメラ２０をポールや柵等に固定して設置していてもよい。
【0054】
ウシ個体を含む画像は、ウシ個体が撮像された画像であり、可視光画像であってもよいし、サーモカメラ等で撮影した赤外線画像であってもよいし、３次元レーザーセンサー等により得られた３次元画像であってもよい。赤外線画像やレーザーセンサーによる３次元画像を用いることにより、照明を用いずに夜間の画像を取得することができる。また、ウシ個体を含む画像は、静止画であっても、動画であってもよい。画像取得部１２１は、取得したウシ個体を含む画像を識別部１２２に送る。
【0055】
（識別部１２２）
識別部１２２は、学習装置１００によって構築された個体識別モデルに、取得した画像のデータを入力データとして入力することにより、当該画像中のウシ個体の個体識別情報を出力する。識別部１２２は、学習装置１００の学習モデル記憶部１０３に格納された個体識別モデルを、入出力部（図示せず）を介して取得する。個体識別モデルは、個体識別装置１２０により識別する個体群に対応した機械学習済みモデルである。例えば、個体識別装置１２０により識別する個体群が、ウシ個体Ｎｏ．１～ウシ個体Ｎｏ．１０までの１０頭のウシ個体が含まれる個体群Ｘである場合、個体識別モデルは、個体群Ｘに対応した機械学習済みモデルである。
識別部１２２は、学習装置１００によって構築された個体識別モデルに、取得した画像のデータを入力データとして入力することにより、当該画像中のウシ個体の個体識別情報を出力する。識別部１２２は、学習装置１００の学習モデル記憶部１０３に格納された個体識別モデルを、入出力部（図示せず）を介して取得する。個体識別モデルは、個体識別装置１２０により識別する個体群に対応した機械学習済みモデルである。例えば、個体識別装置１２０により識別する個体群が、ウシ個体Ｎｏ．１～ウシ個体Ｎｏ．１０までの１０頭のウシ個体が含まれる個体群Ｘである場合、個体識別モデルは、個体群Ｘに対応した機械学習済みモデルである。
【0056】
識別部１２２は、取得した画像に含まれるウシ個体が何れのウシ個体であるかを表す個体識別情報と、当該画像データとを関連付けて識別画像蓄積部１２３に格納する。また、識別部１２２は、図４に示すように、個体識別情報を画像データに付して表示部（図示せず）に表示してもよい。例えば、識別部１２２は、図４に示すように、画像中のウシ個体にそのウシ個体を識別するウシ個体Ｎｏ．を付して表示する。
【0057】
識別部１２２が識別する画像は、画像取得部１２１からウシ個体の体全体を含む体領域画像を抽出した画像であり得る。すなわち、個体識別装置１２０は、画像取得部１２１が取得した画像中のウシ個体の体領域に枠囲みを付与する枠囲み部と、枠囲みが付与された体領域画像を抽出する抽出部とをさらに備えていてもよい。また、画像取得部１２１が取得した画像中の動体を検知する動体検知部をさらに備えていてもよい。そして、識別部１２２は、抽出部が抽出した体領域画像を入力データとして個体識別モデルに入力することにより、当該画像中のウシ個体の個体識別情報を出力する。なお、識別部１２２が識別する画像は、例えば画像中のウシ個体が単独である場合には、画像取得部１２１がカメラ２０から取得した画像そのものであってもよい。
【0058】
このように、個体識別装置１２０は、個体識別の対象となる画像を、カメラ２０から取得した画像そのものではなく、学習用データ生成装置１０による学習用データ生成処理と同様の処理が施された体領域画像としてもよい。これにより、個体識別の対象となる画像に個体識別に不要な部分が含まれず、より正確な個体識別が可能である。
【0059】
（識別画像蓄積部１２３）
識別画像蓄積部１２３には、個体識別された画像が格納される。また、識別画像蓄積部１２３には、個体識別装置１２０が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
識別画像蓄積部１２３には、個体識別された画像が格納される。また、識別画像蓄積部１２３には、個体識別装置１２０が行う動作に必要な一連の処理を示すプログラムが格納されていてもよい。
【0060】
【0061】
まず、ステップＳ１３１において、画像取得部１２１は、ウシ個体を含む画像を取得する。なお、個体識別装置１２０による個体識別処理は、カメラ２０から撮像画像データの入力を受け付けることにより開始してもよい。
【0062】
次に、識別部１２２は、学習装置１００から学習済みの個体識別モデルを読み出す（ステップＳ１３２）。続いて、ステップＳ１３３において、識別部１２２は、読み出した個体識別モデルに画像データを入力する。そして、ステップＳ１３４において、識別部１２２は、個体識別モデルが出力したウシ個体の個体識別情報と画像とを関連付けて識別画像蓄積部１２３に格納し、個体識別処理を終了する。
【0063】
このように、個体識別装置１２０は、個体群毎に対応した個体識別モデルを用いて個体を識別するので、例えば、ウシ個体群の個体構成や撮影条件が異なる酪農現場毎に対応した個体識別が可能である。また、学習装置１００により学習済みの個体識別モデルを用いることによって、識別する画像中のウシ個体の向きに関わらず個体識別可能である。個体識別装置１２０によれば、個体識別モデルの汎用利用が可能である。
【0064】
〔行動分析装置〕
本発明の一実施形態に係る行動分析装置は、個体を含む画像を取得する画像取得部と、上記学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と、識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。すなわち、行動分析装置は、本発明の一実施形態に係る個体識別装置により識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。
本発明の一実施形態に係る行動分析装置は、個体を含む画像を取得する画像取得部と、上記学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別部と、識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。すなわち、行動分析装置は、本発明の一実施形態に係る個体識別装置により識別した個体の時系列の画像を取得する識別画像取得部と、取得した前記画像を参照して、前記個体の行動を分析する分析部とを備えている。
【0065】
図１４は、本発明の一態様に係る行動分析装置の要部構成を示すブロック図である。行動分析装置１４０は、識別画像取得部１４１、分析部１４２、及び分析結果記憶部１４３を備えている。行動分析装置は、識別した個体の行動を追跡して分析する。
【0066】
（識別画像取得部１４１）
識別画像取得部１４１は、個体識別装置１２０の識別画像蓄積部１２３に蓄積されたウシ個体の画像を、入出力部（図示せず）を介して取得する。識別画像取得部１４１は、個体識別装置１２０において識別したウシ個体の時系列の画像を取得する。識別画像取得部１４１は、取得したウシ個体の時系列の画像を分析部１４２に送る。
識別画像取得部１４１は、個体識別装置１２０の識別画像蓄積部１２３に蓄積されたウシ個体の画像を、入出力部（図示せず）を介して取得する。識別画像取得部１４１は、個体識別装置１２０において識別したウシ個体の時系列の画像を取得する。識別画像取得部１４１は、取得したウシ個体の時系列の画像を分析部１４２に送る。
【0067】
（分析部１４２）
分析部１４２は、ウシ個体の時系列の画像を参照して、ウシ個体の行動を分析する。ウシ個体の時系列の画像により、ウシ個体の行動を追跡することができる。分析部１４２は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することによって、所定時間内のウシの行動を分析する。分析部１４２は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することで、例えば、所定時間内のウシ個体の行動量、行動範囲、行動パターンを分析する。分析部１４２は、ウシ個体の分析結果を分析結果記憶部１４３に格納する。
分析部１４２は、ウシ個体の時系列の画像を参照して、ウシ個体の行動を分析する。ウシ個体の時系列の画像により、ウシ個体の行動を追跡することができる。分析部１４２は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することによって、所定時間内のウシの行動を分析する。分析部１４２は、ウシ個体の時系列の画像に基づいてウシ個体の行動を追跡することで、例えば、所定時間内のウシ個体の行動量、行動範囲、行動パターンを分析する。分析部１４２は、ウシ個体の分析結果を分析結果記憶部１４３に格納する。
【0068】
分析部１４２は、ウシ個体が座っている時間や立っている時間、動き回っている時間等の行動パターンを分析することによって、ウシ個体の身体状態、発情状態、疾患等を予測してもよい。また、分析部１４２は、ウシ個体が水を飲む回数や時間、餌を食べる回数や時間等の行動パターンを分析することによって、ウシ個体の飼養管理をしてもよい。
【0069】
分析部１４２は、ウシ個体の画像から、ウシ個体の画像における位置座標を取得し、当該位置座標をウシ個体が存在する空間の空間座標に変換することで、空間内におけるウシ個体の行動範囲、行動パターン等を追跡及び分析してもよい。位置座標から空間座標への変換は、例えば、画像上の空間座標が既知である基準点の情報を用いて、取得した位置座標をウシ個体が存在する空間の空間座標に変換することにより行うことができる。分析部１４２が参照するウシ個体の画像が、ウシ個体の体全体を含む体領域画像であれば、ウシ個体の足の位置座標を取得することができるので、空間内におけるウシ個体の行動を正確に追跡することができる。ウシ個体の足の位置座標又は空間座標は、図４に示すようにウシ個体の体領域画像と共に表示部（図示せず）に表示させてもよい。
【0070】
【0071】
まず、ステップＳ１５１において、識別画像取得部１４１は、ウシ個体の時系列の画像データを取得する。次に、分析部１４２は、ウシ個体の時系列の画像によりウシ個体の行動を追跡して、ウシ個体の行動を分析する（ステップＳ１５２）。分析部１４２は、分析結果を分析結果記憶部１４３に格納し、行動分析処理を終了する。
【0072】
このように、行動分析装置１４０は、個体群毎に対応した個体識別モデルを用いて識別した個体の画像を追跡することで個体の行動を分析するので、例えば、ウシ個体群の個体構成や撮影条件が異なる酪農現場毎に対応した正確かつ容易な個体の行動分析が可能である。なお、図１に示す学習用データ生成装置１０、図１０に示す学習装置１００、図１２に示す個体識別装置１２０、及び、図１４に示す行動分析装置１４０を備えた行動分析システムについても本発明の範疇に含まれる。
【0073】
〔学習用データ生成方法及び行動分析方法〕
本発明の一態様に係る学習用データ生成方法は、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを含む。一例として、本発明の一態様に係る学習用データ生成方法は、上述した本発明の一態様に係る学習用データ生成装置により実現されるものである。したがって、本発明の一態様に係る学習用データ生成方法の説明は、上述した本発明の一態様に係る学習用データ生成装置の説明に準じる。
本発明の一態様に係る学習用データ生成方法は、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを含む。一例として、本発明の一態様に係る学習用データ生成方法は、上述した本発明の一態様に係る学習用データ生成装置により実現されるものである。したがって、本発明の一態様に係る学習用データ生成方法の説明は、上述した本発明の一態様に係る学習用データ生成装置の説明に準じる。
【0074】
本発明の一態様に係る行動分析方法は、個体を含む画像を取得する画像取得ステップと、上記学習用データ生成方法により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを含む。一例として、本発明の一態様に係る行動分析方法は、上述した本発明の一態様に係る行動分析装置により実現されるものである。したがって、本発明の一態様に係る行動分析方法の説明は、上述した本発明の一態様に係る行動分析装置の説明に準じる。
【0075】
〔ソフトウェアによる実現例〕
学習用データ生成装置１０、学習装置１００、個体識別装置１２０、及び行動分析装置１４０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
学習用データ生成装置１０、学習装置１００、個体識別装置１２０、及び行動分析装置１４０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【0076】
後者の場合、上述した各装置は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0077】
すなわち、本発明の各態様に係る学習用データ生成装置、学習装置、個体識別装置、行動分析装置１４０は、コンピュータによって実現してもよく、この場合には、コンピュータを前記各装置が備える各部（ソフトウェア要素）として動作させることにより前記各装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【0078】
具体的には、下記のプログラムについても、本発明の範疇に入る：
本発明の各態様に係る学習用データ生成装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る行動分析装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る学習装置としてコンピュータを機能させるためのプログラムであって、本発明の各態様に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得ステップと、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する識別モデルを構築する学習ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る個体識別装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップとを実行することを特徴とする、プログラム。
本発明の各態様に係る学習用データ生成装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、取得した前記画像中の動体を検知する動体検知ステップと、検知した前記動体のうちの前記個体の体全体を含む体領域に枠囲みを付与する枠囲みステップと、枠囲みが付与された前記体領域の体領域画像を抽出する抽出ステップと、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る行動分析装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習用データ生成装置により生成した学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって構築された、個体を識別する識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップと、識別した個体の時系列の画像を取得する識別画像取得ステップと、取得した前記画像を参照して、前記個体の行動を分析する分析ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る学習装置としてコンピュータを機能させるためのプログラムであって、本発明の各態様に係る学習用データ生成装置が生成した学習用データを取得する学習用データ取得ステップと、取得した前記学習用データを用いて、画像に含まれる個体を識別するように機械学習することによって、個体を識別する識別モデルを構築する学習ステップとを実行することを特徴とする、プログラム：
本発明の各態様に係る個体識別装置としてコンピュータを機能させるためのプログラムであって、個体を含む画像を取得する画像取得ステップと、本発明の各態様に係る学習装置によって構築された前記識別モデルに、取得した前記画像のデータを入力データとして入力することにより、当該画像に含まれる個体の個体識別情報を出力する識別ステップとを実行することを特徴とする、プログラム。
【0079】
〔変形例〕
本発明の他の態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の前記個体を検出する検出部と、検出した前記個体の体全体を含む体領域を特定する体領域特定部と、特定した前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成部とを備えている。
本発明の他の態様に係る学習用データ生成装置は、個体を含む画像を取得する画像取得部と、取得した前記画像中の前記個体を検出する検出部と、検出した前記個体の体全体を含む体領域を特定する体領域特定部と、特定した前記体領域の体領域画像を抽出する抽出部と、抽出した前記体領域画像から、個体を識別する識別モデルの学習用データを生成する生成部とを備えている。
【0080】
すなわち、学習用データ生成装置において、画像中の個体を検出する方法は、動体検知方法に限定されず、個体を検出する他の方法により実現してもよい。画像中の個体を検出する他の例として、機械学習を利用した方法が挙げられる。よって、学習用データ生成装置において、動体検知部に替えて機械学習を利用して画像中の個体を検出する検出部を用いる構成についても、本発明の範疇に含まれる。
【0081】
機械学習を利用して画像中の個体を検出する場合、画像の撮影方向に応じて、個体の検出に適した機械学習モデルを作成することが好ましい。例えば、個体を斜め上方から撮影した画像を用いる場合、斜め上方から撮影した画像中の個体の検出に適するように生成した機械学習モデルを用いる。機械学習を利用して画像中の個体を検出する方法には、機械学習を利用して物体を検出する方法及び個体の骨格を検出する方法が含まれる。そして、このような検出部は、本発明の一態様に係る個体識別装置において使用することもできる。
【0082】
画像から物体を検出するように作成した機械学習モデルを用いる場合、図１７に示すように、ウシ個体の画像データを入力データとして物体検出機械学習モデルに入力することにより、画像中におけるウシ個体部分の検出結果が出力される。また、画像から骨格を検出するように作成した機械学習モデルを用いる場合、図１８に示すように、ウシ個体の画像データを入力データとして骨格検知機械学習モデルに入力する。これにより、画像中のウシ個体の骨格位置が検出されて個体毎にまとめられ、画像中におけるウシ個体部分の検出結果が出力される。
【0083】
また、学習用データ生成装置において、検出した個体の体全体を含む体領域を特定する方法は、枠囲みを付与する方法に限定されず、個体の体領域を特定する他の方法により実現してもよい。個体の体領域を特定する他の例として、図１９に示すように、画像セグメンテーションを利用した方法が挙げられる。図１９は、本発明の一態様に係る学習用データ生成装置において体領域を特定する形態の一例を説明する図である。図１９に示すように、ウシ個体を含む画像において画像セグメンテーションにより体領域を特定し、例えば、特定した体領域範囲のみを示す位置座標を取得する。このように、学習用データ生成装置において、枠囲み部に替えて画像セグメンテーションにより個体の体領域を特定する体領域特定部を用いる構成についても、本発明の範疇に含まれる。また、このような体領域特定部は、本発明の一態様に係る個体識別装置において使用することもできる。
【0084】
さらに、学習用データ生成装置において、個体の体の一部を表す画像から体全体の画像を特定する方法は、体の他の部分を表す画像を復元する方法に限定されず、体の一部を表す画像から体全体の画像を特定する他の方法により実現してもよい。体の一部を表す画像から体全体の画像を特定する他の例として、機械学習を利用した骨格検知に基づいて推定された姿勢を参照する方法が挙げられる。
【0085】
骨格検知に基づいて推定された姿勢を参照して、体の一部を表す画像から体全体の画像を特定する例を、図２０に示す。図２０は、本発明の一態様に係る学習用データ生成装置において体の一部を表す画像から体全体の画像を特定するために用いられる姿勢推定モデルの一例を説明する図である。図２０に示すように、ウシ個体の一部のみが含まれる画像データを取得した場合に、画像に含まれる部位（見えている部位）から推定した姿勢を参照して、画像に含まれない部位（見えない部位）の位置を特定する。
【0086】
例えば、図２０の画像データにおいて見えているのは鼻、左目、右目、左耳、右耳、左肩、及び左腰の７箇所のみである。この画像データを姿勢推定モデルに入力すると、機械学習により、見えている部位の骨格を検知する。そして、見えていない１０箇所の部位の位置(右肩、右腰、左前足首、左前蹄、左後足首、左後蹄、右前足首、右前蹄、右後足首、右後蹄)を含む骨格フレーム情報が姿勢の推定結果として出力される。なお、ここに示したウシ個体の部位は例示であり、画像に含まれる部位及び画像に含まれない部位の種類や数はこれらに限定されず、適宜設定可能である。
【0087】
これにより、画像中に遮蔽物があり、個体の一部しか含まれないような場合であっても、体領域の全体を特定し、個体の行動解析に利用することができる。このように、画像に含まれない部位を推定するための情報として、画像中に含まれる部位の情報を用いている。また、入力データとして、例えば、対象となる画像の時系列の前後の画像において検出した各部位の位置を利用してもよい。
【0088】
このように、学習用データ生成装置において、体領域特定部が、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検知した前記動体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、個体の体全体を表す体領域を特定する構成についても、本発明の範疇に含まれる。また、このような体領域特定部は、本発明の一態様に係る個体識別装置において使用することもできる。
【0089】
〔行動型分析システム〕
動物各個体の行動種別（行動型）は動物を管理する上で重要な情報である。例えば、採食行動や休息行動は維持行動が確保されていることの指標となる。また、反芻家畜において、行動型の中でも特に反芻行動は、飼料摂取量をはじめ各種疾病の徴候や回復状態、あるいはストレス状態を反映するバロメーターとなる有用な情報とされている。従来、ウェアラブルセンサ等を利用して行動型を把握するシステムが実用化しているがコストや管理に係る労力の点で問題がある。一方、従来の画像解析では、特に反芻のような動作の把握が必要な行動の検出が困難であった。本発明の一形態によれば、画像解析を利用して動物の行動型を把握することで、省力的かつ容易に行動型データを取得することができる。また、本発明の一形態によれば、動作の把握が必要な行動型であっても検出することができる。
動物各個体の行動種別（行動型）は動物を管理する上で重要な情報である。例えば、採食行動や休息行動は維持行動が確保されていることの指標となる。また、反芻家畜において、行動型の中でも特に反芻行動は、飼料摂取量をはじめ各種疾病の徴候や回復状態、あるいはストレス状態を反映するバロメーターとなる有用な情報とされている。従来、ウェアラブルセンサ等を利用して行動型を把握するシステムが実用化しているがコストや管理に係る労力の点で問題がある。一方、従来の画像解析では、特に反芻のような動作の把握が必要な行動の検出が困難であった。本発明の一形態によれば、画像解析を利用して動物の行動型を把握することで、省力的かつ容易に行動型データを取得することができる。また、本発明の一形態によれば、動作の把握が必要な行動型であっても検出することができる。
【0090】
図２１を参照して、本発明の一態様に係る行動型分析システムについて説明する。図２１は、本発明の一態様に係る行動型分析システム２００の要部構成を示すブロック図である。行動型分析システム２００は、行動型分析装置２２０を備えている。また、行動型分析システム２００は、カメラ２０、学習用データ生成装置２１０及び学習装置１００を備えている。
【0091】
（行動型分析装置２２０）
行動型分析装置２２０は、画像取得部２２１、検出部２２２、識別部２２３、位置特定部２２４、情報取得部２２５、及び、行動型分析部２２６を備えている。行動型分析装置２２０は、さらに、分析結果記憶部２２７を備えている。行動型分析装置２２０は、個体の行動型を検出して分析する。
行動型分析装置２２０は、画像取得部２２１、検出部２２２、識別部２２３、位置特定部２２４、情報取得部２２５、及び、行動型分析部２２６を備えている。行動型分析装置２２０は、さらに、分析結果記憶部２２７を備えている。行動型分析装置２２０は、個体の行動型を検出して分析する。
【0092】
＜個体＞
行動型分析装置２２０により行動型を分析する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であってもよいし、個体毎に管理されている個体であってもよい。このような個体には、多頭飼育されている家畜個体及び単頭飼育されている家畜個体が含まれる。家畜個体は、ウシ個体のような反芻動物個体であってもよく、例えば、乳牛個体、より具体的には、ホルスタイン種の乳牛個体であってもよい。多頭飼育されている個体は、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
行動型分析装置２２０により行動型を分析する個体は、ヒト、動物、他の移動体等であり得るが、閉鎖された空間内で群毎に管理される個体であってもよいし、個体毎に管理されている個体であってもよい。このような個体には、多頭飼育されている家畜個体及び単頭飼育されている家畜個体が含まれる。家畜個体は、ウシ個体のような反芻動物個体であってもよく、例えば、乳牛個体、より具体的には、ホルスタイン種の乳牛個体であってもよい。多頭飼育されている個体は、屋内で放し飼いにされている個体であってもよいし、鎖等に繋がれてつなぎ飼いにされている個体であってもよい。また、多頭飼育されている個体は、屋外の管理区域内で飼育されている個体であってもよい。本実施形態においては、個体がウシ個体である場合を例として説明する。
【0093】
＜画像取得部２２１＞
画像取得部２２１は、カメラ２０により撮影されたウシ個体を含む画像を取得する。画像取得部２２１は、上述した個体識別装置１２０の画像取得部１２１と同様に構成される。そのため、画像取得部２２１の説明として、個体識別装置１２０の画像取得部１２１の説明を援用し、その詳細な説明は省略する。カメラ２０についても、個体識別装置１２０に関して説明したカメラ２０と同一であるため、その詳細な説明は省略する。
画像取得部２２１は、カメラ２０により撮影されたウシ個体を含む画像を取得する。画像取得部２２１は、上述した個体識別装置１２０の画像取得部１２１と同様に構成される。そのため、画像取得部２２１の説明として、個体識別装置１２０の画像取得部１２１の説明を援用し、その詳細な説明は省略する。カメラ２０についても、個体識別装置１２０に関して説明したカメラ２０と同一であるため、その詳細な説明は省略する。
【0094】
＜検出部２２２＞
検出部２２２は、画像取得部２２１が取得した画像中のウシ個体を検出する。画像中のウシ個体を検出する方法としては、動体検知方法、機械学習を利用した方法等が挙げられる。動体検知方法を利用する場合、検出部２２２は、学習用データ生成装置１０の動体検知部１２と同様に構成することができる。機械学習を利用する場合、図１７に示す物体検出機械学習モデル、及び、図１８に示す骨格検知機械学習モデルのような、機械学習モデルを用いることができる。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の検出は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
検出部２２２は、画像取得部２２１が取得した画像中のウシ個体を検出する。画像中のウシ個体を検出する方法としては、動体検知方法、機械学習を利用した方法等が挙げられる。動体検知方法を利用する場合、検出部２２２は、学習用データ生成装置１０の動体検知部１２と同様に構成することができる。機械学習を利用する場合、図１７に示す物体検出機械学習モデル、及び、図１８に示す骨格検知機械学習モデルのような、機械学習モデルを用いることができる。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の検出は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
【0095】
＜識別部２２３＞
識別部２２３は、検出部２２２が検出したウシ個体を識別する。識別部２２３は、上述した個体識別装置１２０の識別部１２２と同様に構成される。そのため、識別部２２３の説明として、個体識別装置１２０の識別部１２２の説明を援用し、その詳細な説明は省略する。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の識別は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
識別部２２３は、検出部２２２が検出したウシ個体を識別する。識別部２２３は、上述した個体識別装置１２０の識別部１２２と同様に構成される。そのため、識別部２２３の説明として、個体識別装置１２０の識別部１２２の説明を援用し、その詳細な説明は省略する。なお、画像中にウシ個体が単体で含まれる場合には、ウシ個体の識別は不要であり、取得した画像において後述する位置特定が行なわれてもよい。
【0096】
＜位置特定部２２４＞
位置特定部２２４は、識別した個体の体の部位の位置を特定する。位置特定部２２４が特定する個体の体の部位の位置は、例えば、鼻先、口元、前肢踵、前肢蹄、等の個体の体の部位である。図２２に、位置特定部２２４がウシ個体の体の部位を特定する例を示す。図２２の左側には、座位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を、右側に立位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を示す。なお、特定する個体の体の部位の数はこれに限定されず、より少なくても、より多くてもよい。
位置特定部２２４は、識別した個体の体の部位の位置を特定する。位置特定部２２４が特定する個体の体の部位の位置は、例えば、鼻先、口元、前肢踵、前肢蹄、等の個体の体の部位である。図２２に、位置特定部２２４がウシ個体の体の部位を特定する例を示す。図２２の左側には、座位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を、右側に立位のウシ個体の鼻先、口元、前肢踵、及び前肢蹄を特定した例を示す。なお、特定する個体の体の部位の数はこれに限定されず、より少なくても、より多くてもよい。
【0097】
位置特定部２２４は、機械学習を利用して個体の体の部位の位置を特定してもよい。例えば、個体を含む画像を入力データとして、当該画像中の当該個体の体の部位の位置を特定するように機械学習した位置特定モデルに、画像取得部が取得した画像を入力データとして入力することにより出力される位置を特定する。位置特定モデルに個体を含む画像を入力することにより、図２２のように個体の体の部位が特定された画像が出力され得る。
【0098】
位置特定部２２４は、個体の体の部位の位置の座標を取得することで、当該位置を特定してもよい。位置特定部２２４は、画像中における個体の体の部位の位置座標を取得する。位置特定部２２４は、取得した位置座標をウシ個体が存在する空間の空間座標に変換してもよい。位置特定部２２４は、撮像された時間が異なる複数のフレーム分の画像において位置座標を取得する。
【0099】
位置特定部２２４は、個体の体の一部を表す画像から当該個体の骨格を検知して姿勢を推定するように機械学習した姿勢推定モデルに、検出した前記個体の画像データを入力データとして入力することにより出力される個体の姿勢を参照して、前記位置を特定してもよい。位置特定部２２４において用いる姿勢推定モデルは、図２０に示す姿勢推定モデルと同一である。また、位置特定部２２４は、学習用データ生成装置１０の枠囲み部１３において用いられる個体の体の一部を表す画像から当該個体の体全体を表す画像を生成するように機械学習した生成モデルを用いてもよい。これにより、画像中に遮蔽物があり、個体の体の一部しか含まれないような場合であっても、個体の体の部位を特定することが可能であり、また、位置座標を取得することも可能である。
【0100】
なお、位置特定部２２４は、画像データに個体の体の一部しか含まれていない場合、個体の体全体を表す画像を生成することなく、個体の体の一部の画像において個体の体の部位を特定し、位置座標を取得してもよい。この場合、例えば、個体の体の一部の画像から個体の体の部位を特定することが可能なように学習させた位置特定モデルを用いて、個体の体の部位を特定してもよい。個体の体の一部の画像から体全体の画像を復元することなく、個体の体の一部の画像をそのまま利用しても、行動型分析を行うことができる。
【0101】
＜情報取得部２２５＞
情報取得部２２５は、特定した位置の所定時間内の変化を表す時系列情報を取得する。情報取得部２２５が取得する時系列情報は、所定時間内の連続する画像から得られるウシ個体の部位の変化を表す情報であり、位置特定部２２４が取得した位置座標に基づいて得られる各部位間の平均距離及び各部位の画像フレーム間の平均変位であり得る。
情報取得部２２５は、特定した位置の所定時間内の変化を表す時系列情報を取得する。情報取得部２２５が取得する時系列情報は、所定時間内の連続する画像から得られるウシ個体の部位の変化を表す情報であり、位置特定部２２４が取得した位置座標に基づいて得られる各部位間の平均距離及び各部位の画像フレーム間の平均変位であり得る。
【0102】
＜行動型分析部２２６＞
行動型分析部２２６は、取得した時系列情報を参照して、個体の行動型を分析する。行動型分析部２２６は、時系列情報を参照することで、ウシ個体の動作を検出することが可能であり、また、ウシ個体の行動を追跡することもできる。これにより、所定のタイミングや所定の時間内における、ウシ個体の動作や行動から行動型を分析することができる。行動型分析部２２６は、ウシ個体の行動型の分析結果を分析結果記憶部２１７に格納する。
行動型分析部２２６は、取得した時系列情報を参照して、個体の行動型を分析する。行動型分析部２２６は、時系列情報を参照することで、ウシ個体の動作を検出することが可能であり、また、ウシ個体の行動を追跡することもできる。これにより、所定のタイミングや所定の時間内における、ウシ個体の動作や行動から行動型を分析することができる。行動型分析部２２６は、ウシ個体の行動型の分析結果を分析結果記憶部２１７に格納する。
【0103】
行動型分析部２２６により分析されるウシ個体の行動型は、例えば、横臥休息、横臥反芻、立位休息、立位反芻、採食、等のような行動の種別である。図２３に示すように、所定時間内の連続する画像から得られる時系列情報と、その時系列情報に対応するウシ個体の行動型とを対応付けた情報を予め取得しておくことで、時系列情報に基づいてウシ個体の行動型を分析することができる。
【0104】
行動型分析部２２６は、時系列情報とウシ個体の行動型とが対応付けられた教師データを用いて構築された分析モデルを用いて、ウシ個体の行動型を分析してもよい。このような分析モデルに、時系列情報を入力データとして入力することにより、ウシ個体の行動型が出力される。行動型分析部２２６は、図２３に示すように、分析したウシ個体の行動型をウシ個体の画像と共に表示部（図示せず）に表示させてもよい。また、行動型分析部２２６は、画像データに個体の体の一部しか含まれていない場合、特定した体の一部の部位の位置座標の情報のみを用いて、個体の行動型を分析してもよい。この場合、体の部位の位置座標に欠損データがあっても行動型を分析することが可能なように学習させた分析モデルを用いて、個体の行動型を分析してもよい。
【0105】
＜学習用データ生成装置２１０＞
行動型分析システム２００が備える学習用データ生成装置２１０は、個体を含む画像を取得する画像取得部１１と、取得した画像中の前記個体を検出する検出部２１２と、検出した個体の体領域を特定する特定部２１３と、特定した体領域の体領域画像を抽出する抽出部１４と、抽出した体領域画像から、個体を識別する識別モデルの学習用データを生成する学習用データ生成部１５とを備えている。学習用データ生成装置２１０は、生成した学習用データを記憶する学習用データ記憶部１６をさらに備えている。
行動型分析システム２００が備える学習用データ生成装置２１０は、個体を含む画像を取得する画像取得部１１と、取得した画像中の前記個体を検出する検出部２１２と、検出した個体の体領域を特定する特定部２１３と、特定した体領域の体領域画像を抽出する抽出部１４と、抽出した体領域画像から、個体を識別する識別モデルの学習用データを生成する学習用データ生成部１５とを備えている。学習用データ生成装置２１０は、生成した学習用データを記憶する学習用データ記憶部１６をさらに備えている。
【0106】
検出部２１２は、動体検知法、機械学習を利用した方法等を用いて、画像中の個体を検出する。機械学習を利用して画像中の個体を検出する方法には、機械学習を利用して物体を検出する方法及び個体の骨格を検出する方法が含まれる。特定部２１３は、検出した個体の体全体を含む体領域に枠囲みを付与する方法、画像セグメンテーションを利用する方法等を用いて、検出した個体の体領域を特定する。
【0107】
画像取得部１１、抽出部１４、及び、学習用データ生成部１５は、図１に示す学習用データ生成装置１０におけるこれらの部材と同一である。すなわち、学習用データ生成装置２１０は、学習用データ生成装置１０と同様に構成されている。そのため、学習用データ生成装置２１０の説明として、学習用データ生成装置１０の説明を援用し、その詳細な説明は省略する。
【0108】
学習用データ生成装置２１０は、識別モデルを構築するための学習用データのみならず、行動型分析部２２６が行動型を分析するために用いる分析モデルを構築するための学習用データを生成するために用いることもできる。
【0109】
＜学習装置１００＞
学習装置１００は、学習用データ生成装置２１０が生成した学習用データを用いて、識別モデル、分析モデル等を構築する。行動型分析システム２００が備える学習装置１００は、図１０に示す学習装置１００と同一である。したがって、行動型分析システム２００が備える学習装置１００の説明として、図１０に示す学習装置１００の説明を援用し、その詳細な説明は省略する。
学習装置１００は、学習用データ生成装置２１０が生成した学習用データを用いて、識別モデル、分析モデル等を構築する。行動型分析システム２００が備える学習装置１００は、図１０に示す学習装置１００と同一である。したがって、行動型分析システム２００が備える学習装置１００の説明として、図１０に示す学習装置１００の説明を援用し、その詳細な説明は省略する。
【0110】
【0111】
まず、ステップＳ２４１において、画像取得部２２１は、ウシ個体を含む画像を取得する。なお、行動型分析装置２２０による行動型分析処理は、カメラ２０から撮像画像データの入力を受け付けることにより開始してもよいし、ユーザからの行動型分析処理を開始する操作入力を受け付けることにより開始してもよい。
【0112】
次に、検出部２２２は、骨格検知機械学習モデルに画像データを入力し、画像データ中のウシ個体を検出する（ステップＳ２４２）。そして、識別部２２３は、検出されたウシ個体の画像データを識別モデルに入力し、ウシ個体の個体識別情報を取得し、ウシ個体を識別する（ステップＳ２４３）。
【0113】
位置特定部２２４は、識別されたウシ個体の画像データを位置特定モデルに入力し、ウシ個体の体の部位を特定する位置座標を取得する（ステップＳ２４４）。そして、情報取得部２２５は、特定された位置座標を連続する数フレーム分取得し、各部位間の平均距離及び各部位のフレーム間の平均変位を時系列情報として算出する（ステップＳ２４５）。
【0114】
行動型分析部２２６は、時系列情報を分析モデルに入力し、ウシ個体の行動型を分析する（ステップＳ２４６）。行動型分析部２２６は、分析結果を分析結果記憶部２２７に格納し、行動型分析処理を終了する。
【0115】
このように、行動型分析装置２２０は、画像データから個体の体の部位の位置を特定し、当該位置の変化を追跡することで、個体の行動型を分析することができる。これにより、省力的かつ容易に行動型分析することが可能であり、また、反芻行動のような動作の把握が必要な行動型であっても検出することができる。
【0116】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0117】
１０ 学習用データ生成装置、１１ 画像取得部、１２ 動体検知部、１３ 枠囲み部、１４ 抽出部、１５ 学習用データ生成部（生成部）、１００ 学習装置、１０１ 学習用データ取得部、１０２ 学習部、１２０ 個体識別装置、１２１ 画像取得部、１２２ 識別部、１４０ 行動分析装置、１４１
識別画像取得部、１４２ 分析部、２００ 行動型分析システム、２２０ 行動型分析装置、２２１ 画像取得部、２２２ 検出部、２２３ 識別部、２２４ 位置特定部、２２５ 情報取得部、２２６ 行動型分析部
識別画像取得部、１４２ 分析部、２００ 行動型分析システム、２２０ 行動型分析装置、２２１ 画像取得部、２２２ 検出部、２２３ 識別部、２２４ 位置特定部、２２５ 情報取得部、２２６ 行動型分析部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】