(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023150555
(43)【公開日】2023-10-16
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
A01K 29/00 20060101AFI20231005BHJP
G06T 7/70 20170101ALI20231005BHJP
G06T 7/00 20170101ALI20231005BHJP
【FI】
A01K29/00 A
G06T7/70 A
G06T7/00 350B
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022059718
(22)【出願日】2022-03-31
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和2年度採択 国立研究開発法人農業・食品産業技術総合研究機構生物系特定産業技術研究支援センター「イノベーション創出強化研究推進事業(うち群飼育下の乳用雌哺育牛から体調不良個体を早期検出するリアルタイムモニタリング技術の開発)」、産業技術力強化法第17条の適用を受ける特許出願
(71)【出願人】
【識別番号】000005290
【氏名又は名称】古河電気工業株式会社
(74)【代理人】
【識別番号】100114292
【弁理士】
【氏名又は名称】来間 清志
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(72)【発明者】
【氏名】山崎 美来
(72)【発明者】
【氏名】尾高 邦雄
(72)【発明者】
【氏名】喜瀬 智文
(72)【発明者】
【氏名】福嶋 將行
(72)【発明者】
【氏名】成井 公一
(72)【発明者】
【氏名】中井 祐賀子
(72)【発明者】
【氏名】石井 孝幸
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096FA69
5L096HA09
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】特定領域における動物の撮像画像に基づいて、撮像画像に係る当該動物の個体識別を可能とすること。
【解決手段】動物容姿判定装置100は、牛房内で飼育されているウシを含む撮像画像を取得し、前記撮像画像内のウシの画像に基づいて算出したウシの牛房内における位置を、第1の位置情報として取得する画像データ解析部112と、ウシに設けたセンサ装置200からの識別情報と、ウシの牛房内での位置を示す第2の位置情報とを取得する位置データ解析部114と、前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する個体識別部115とを備えている。
【選択図】
図3
【特許請求の範囲】
【請求項1】
予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する第1の位置情報取得部と、
前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する第2の位置情報取得部と、
前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する個体識別部と、
を備えている情報処理装置。
【請求項2】
撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第1の位置情報を取得し、当該第1の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部
を備えている、請求項1に記載の情報処理装置。
【請求項3】
前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定する、請求項2に記載の情報処理装置。
【請求項4】
前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定する、請求項2に記載の情報処理装置。
【請求項5】
前記第2の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出される、請求項1から4までのいずれか一項に記載の情報処理装置。
【請求項6】
前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用される、請求項2から5までのいずれか一項に記載の情報処理装置。
【請求項7】
情報処理装置が、
予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する処理と、
前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する処理と、
前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する処理と、
を実行する情報処理方法。
【請求項8】
情報処理装置に、
予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する処理と、
前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する処理と、
前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
安定的な酪農経営を継続する上で、飼育している動物の健康管理を効率的に行うことが重要になってきている。例えば、特許文献1には、家畜を撮像した画像情報を含む飼養状況情報を取得する飼養状況取得部と、前記飼養状況取得部により取得した前記画像情報に映る家畜を抽出して前記家畜の状況を解析し、当該家畜の状況に応じた疾病リスクを推定する疾病リスク推定部とを備える家畜疾病管理システムが記載されている。特許文献2には、複数の動物を含む複数の撮像画像を取得し、前記複数の撮像画像に基づいて、前記複数の動物のそれぞれに装着された装着物の動きを検出し、検出された前記装着物の動きに応じて、前記複数の動物のそれぞれの行動量を算出する処理をコンピュータに実行させることを特徴とする行動量算出プログラムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-135956号公報
【特許文献2】特開2018-148843号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献1の技術では、群としての疾病リスク推定はできるが、個体ごとの疾病リスク推定、体調管理はできないという問題があった。特許文献2の技術では、観察対象家畜の頭数が増えた場合や画像上で装着物が確認できない場合などに個体識別の精度が低下する場合があるという問題があった。
【0005】
本発明の目的の一つは、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を精度よく特定し、もって撮像画像に係る当該動物の個体識別を可能とする情報処理装置、情報処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の一つの態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する第1の位置情報取得部と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する第2の位置情報取得部と、前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する個体識別部とを備えている情報処理装置である。
【0007】
前記情報処理装置は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第1の位置情報を取得し、当該第1の位置情報に関連付けられている前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部を備えているとしてもよい。
【0008】
前記容姿判定部が、前記動物について取得された画像と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用して前記動物の容姿を判定するとしてもよい。
【0009】
前記容姿判定部が、前記動物について取得された画像と、前記容姿判定項目についてあらかじめ設定された前記動物の画像における特徴の判断基準とに基づいて前記動物の容姿を判定するとしてもよい。
【0010】
前記第2の位置情報は、前記動物に設けた端末装置から送信される電波の到来方向に基づいて算出されるものとすることができる。
【0011】
前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。
【0012】
本発明の他の態様は、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する処理と、前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する処理、
を実行する情報処理方法である。
【0013】
本発明のさらに他の態様は、情報処理装置に、予め定められた飼育エリア内で飼育されている動物を含む撮像画像を取得し、前記撮像画像内の当該動物の画像に基づいて算出した当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する処理と、前記動物に設けた端末装置から当該動物の識別情報と、前記動物の前記飼育エリア内での位置を示す第2の位置情報とを取得する処理と、前記第1の位置情報と前記第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する処理とを実行させるプログラムである。
【発明の効果】
【0014】
本発明によれば、特定領域における動物の撮像画像に基づいて、当該動物の特定領域における位置を特定することが可能となるとともに、撮像画像に係る当該動物の個体識別が可能となる。
【図面の簡単な説明】
【0015】
【
図1】本発明の一実施形態における動物容姿判定システムの全体構成を例示する模式図である。
【
図2】本発明の一実施形態における動物容姿判定システムの機能の概要を示すブロック図である。
【
図3】本発明の一実施形態における動物容姿判定装置のハードウェア及び機能ブロックの構成を例示するブロック図である。
【
図4】本発明の一実施形態におけるセンサ装置、位置検出器のハードウェア及び機能ブロックの構成を例示するブロック図である。
【
図5】動物を撮像した画像の処理例を示す説明図である。
【
図6】画像から特定した動物の位置とセンサ装置からの識別情報から特定した動物の位置とを対比して示す模式図である。
【
図8】容姿判定用データ記憶部の構成例を示す図である。
【
図11】処理対象データ記憶部の構成例を示す図である。
【
図12】本発明の一実施形態における動物容姿判定装置が実行する位置情報算出処理の一例を示すフローチャートである。
【
図13】本発明の一実施形態における動物容姿判定装置が実行する容姿判定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0016】
以下、本発明について、その実施形態に即して添付図面を参照しながら説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、及び位置関係を概略的に示してあるに過ぎない。即ち、本発明は、各図で例示された形状、大きさ、及び位置関係のみに限定されるものでない。
【0017】
(実施形態)
<動物容姿判定システム1>
図1は、本発明の一実施形態における動物容姿判定システム1の全体構成を例示する模式図である。
図1に示すように、本実施形態の動物容姿判定システム1は、例えば酪農家が飼育しているウシCの容姿を撮像した画像に基づいて、あらかじめ規定した容姿の判定項目に関しての判定結果である容姿情報を、動物の個体ごとに時系列に記録する機能を備えている。記録対象となる動物には、ウシCに限らず、ブタ、ヒツジ、ウマ、ヤギ等の、いわゆる産業動物のカテゴリーに入る動物、動物園等で飼育される動物、いわゆる愛玩動物を含む、容姿情報の取得、利用に利益のあるすべての動物が含まれうる。本実施形態では、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の4項目を設定している。容姿判定項目は、このような項目に限定されることなく、対象の動物、容姿情報の利用目的等に応じて適宜設定することができる。
【0018】
図1は、牛舎内に配置されている一つの矩形状の牛房CBを取り出して模式的に示している平面図である。簡単のために、
図1では、牛房CB内に2頭のウシC1,C2が飼育されている状況を示している。
【0019】
牛房CB内には、その適宜の場所に餌場F、哺乳場M、水飲み場Wが設けられ、それぞれの場所で、ウシC1,C2が餌を食べ、乳を飲み、水を飲むことができるように構成されている。なお、これらの餌場F、哺乳場M、水飲み場Wの牛房CB内での配置は、
図1の例に限られず適宜定めることができる。
【0020】
ウシC1,C2には、それぞれのウシの挙動、心拍数等の生体情報をモニタするためのセンサデバイスを備えるセンサ装置200が装着されている。各センサ装置200には固有の識別情報が割り当てられており、各ウシの識別情報として利用される。センサ装置200にはデータ伝送機能が設けられており、センサデバイスから取得されたデータが、前記の識別情報とともに、例えば近距離無線通信(NFC)によって送信される。
【0021】
牛房CBを含む牛舎の近傍、例えば酪農家の管理棟等に、本実施形態における動物容姿判定のための主要な機能が実装されている情報処理装置である、動物容姿判定装置100が設置される。動物容姿判定装置100は、ウシCに装着されているセンサ装置200からの各種データ及び識別情報を受信して、各ウシCの牛房CB内における位置の特定等に利用する。
【0022】
牛房CB内には、センサ装置200から送信される電波を受信して送信元であるセンサ装置200の位置、すなわち、牛房CB内でのウシC1,C2の位置を前記動物容姿判定装置100によって解析するためのデータを生成するデバイスである位置検出器300が設けられる。
図1の例では、2台の位置検出器300が、牛房CB内の適宜の場所に設置され、センサ装置200から到来する電波の角度を検出し、動物容姿判定装置100へ送信している。動物容姿判定装置100は、各位置検出器300からの角度データを利用して、牛房CB内におけるウシCの位置を解析して取得する。
図1に例示するように、牛房CB内には、便宜的に、平面座標系を規定するX軸、Y軸と、それらに直交するZ軸を設定しておくことができる。動物容姿判定装置100は、インターネット、WAN、LAN等の、外部の通信ネットワークNと通信可能に構成してもよい。動物容姿判定装置100、センサ装置200、位置検出器300の構成と機能については、関連図面を参照して後述する。
【0023】
牛房CB内には、ウシCの画像を撮像するための、一又は複数のカメラ400が設置される。牛房CB内で飼育されているウシCについては、定期的にその画像が撮像されることが望ましい。そのため、カメラ400を、牛房CB内においてウシCが定期的に(例えば一日一回)現れるような場所、例えば餌場や水飲み場付近が撮像されるように設置すれば、牛房CB内のウシCそれぞれについて定期的に画像を取得することができ好適である。カメラ400は、例えばCCD等の撮像素子を有するデジタルカメラであり、牛房CB内の動画像の撮像、又は所定時間間隔での静止画像の撮像を行い、画像データを動物容姿判定装置100に送信する。
【0024】
図2に、
図1の動物容姿判定システム1の概略構成、機能を示している。本実施形態の動物容姿判定システム1は、動物容姿判定装置100を備える。動物容姿判定装置100には、牛房CB内に設置された位置検出器300からの電波受信角度データが、当該センサ装置200の識別情報とともに入力される。センサ装置200の識別情報は、センサ装置200から位置センサ300が受信するデータに含まれている。動物容姿判定装置100は、位置データ解析機能F1により、入力された電波受信角度データと位置検出器300の設置位置との解析を行い、位置情報算出機能F2により、牛房CB内におけるセンサ装置200の位置情報を算出する。センサ装置200の識別情報は各ウシCと紐付けられているため、センサ装置200の位置情報は、牛房CB内での当該センサ装置200が取り付けられたウシCの位置を表すこととなる。
【0025】
一方、動物容姿判定装置100は、カメラ400が撮像した牛房CB内の画像データを取得する。取得された画像データは、画像解析機能F3によって解析され、動物抽出機能F4によって各画像に含まれているウシCの画像が抽出される。このとき、画像内における各ウシCの位置が算出される。画像内におけるウシCの位置は、当該画像を撮像したカメラ400の設置位置、撮像方向、及び画角に基づいて、実際の牛房CB内における位置に変換される。
【0026】
センサ装置200から受信した信号に基づく位置情報(第2の位置情報)と、画像内のウシCの位置から変換して得られた牛房CB内における位置の情報(第1の位置情報)は、個体識別機能F5によって対照される。画像に基づく位置情報とセンサ装置200からの信号に基づく位置情報とに対応関係があると判定された場合、当該画像は対応関係があると認められたセンサ装置200が取り付けられたウシCの画像であると特定される。前記のように、センサ装置200の識別情報は各ウシCの個体情報と対応づけられているので、前記画像とウシCの個体情報とが対応づけられることとなる。画像に基づく位置情報とセンサ装置200からの信号に基づく位置情報とに対応関係があるとは、各位置情報によって特定される牛房CB内の位置の差分(距離)が、所定の閾値以下であることを意味する。さらに換言すると、画像に基づく位置情報が示す牛房CB内の位置とセンサ装置200からの信号に基づく位置情報が示す牛房CB内の位置とが一定の範囲内に含まれる場合、前記の対応関係が存在すると判断される。前記の閾値は対象の動物等に応じて適宜定めればよいが、本実施形態のウシの場合、例えば数10cmのオーダーで規定することができる。
【0027】
動物抽出機能F4によって各画像において抽出されたウシCの画像は容姿判定機能F6により、その容姿の観点から判定処理が実施される。前記のように、容姿判定項目として、「耳の位置」、「目の開き度合い」、「頭の位置」、「背中の曲がり」の4項目が設定されており、容姿判定機能F6では、ウシCの画像に基づいて、各容姿判定項目について定量的な判定が実行される。個体識別機能F5によって対応づけられたウシCの画像と個体情報、及び容姿判定機能F6によって得られた各ウシCの画像に基づく判定結果とが関連付けられて、容姿情報記録機能F7によって時系列に記録されていく。
【0028】
<動物容姿判定装置100,センサ装置200,位置検出器300>
次に、本実施形態における動物容姿判定装置100、センサ装置200、位置検出器300の構成と機能について、具体的に説明する。
図3、
図4は、それぞれ、本実施形態における動物容姿判定装置100、センサ装置200及び位置検出器300のハードウェア及び機能ブロックの構成を例示するブロック図である。
【0029】
<<センサ装置200、位置検出器300>>
まず、
図4を参照して、本実施形態におけるセンサ装置200、位置検出器300について説明する。センサ装置200は、ウシCの身体の適宜部位に装着され、ウシCの行動に含まれる、ウシCの移動を物理量に変換して出力するデバイスを備える。本実施形態では、センサ装置200は例えば首輪に固定されてウシCの首に装着されるが、耳に装着するなど、他の部位に取り付けるように構成してもよい。
【0030】
センサ装置200は、本実施形態においては当該センサ装置200の位置を動物容姿判定装置100にて取得可能とするための端末装置として機能する。したがって、本実施形態においては、センサ装置200は、自身の識別情報を送信する端末装置の機能を有すれば足りる。ここではそのような端末装置としてのセンサ装置200の構成について説明する。
図4に例示しているように、センサ装置200は、CPU等のプロセッサによって構成される処理部210と、通信部220とを備える。処理部210はセンサ装置200の識別情報であるデータを記憶している識別情報記憶部211と、その識別情報のデータを外部へ送出するための識別情報送出部212を備える。識別情報としては、センサ装置200を構成するデバイス固有のシリアル番号等を利用してもよい。
【0031】
通信部220は、処理部210の識別情報送出部212から識別情報データを受け取って、所定の通信方式によって無線送信する機能を有する。本実施形態では、通信部220は、Bluetooth(登録商標)に準拠した通信機能を備えた通信モジュールとして構成されている。通信部220から送信される識別情報送出部212からのデジタルデータは、Bluetoothのデータとして送信され、動物容姿判定装置100によって受信される。Bluetoothのデータはまた、牛房CB内に設置された位置検出器300においても受信される。なお上記の通信方式は一例であり、これに制約されるものではない。
【0032】
位置検出器300は、例えばBluetooth5.1に含まれている方向検知機能を利用するためのロケータとして機能する。
図4に示すように、位置検出器300は、プロセッサ等で構成される処理部310、アンテナアレイ320、及び通信部330を備えて構成することができる。処理部310は、機能ブロックとしての電波受信部311と、受信角度算出部312とを備えるものとすることができる。Bluetooth5.1においては、電波の受信角度(Angle of Arrival,AoA)によりBluetooth信号の到来角度を取得することができる。Bluetooth5.1のデジタル信号には、通常のデータ通信の後にConstant Tone Extension(CTE)と呼ばれる一定期間の単調な正弦波が含まれる。位置検出器300は、このCTEを複数のアンテナを含むアンテナアレイ320を通じて電波受信部311で受信し、受信角度算出部312において、各アンテナでの受信波の位相角の差に基づいて、Bluetooth信号の入射角を算出する機能を備えている。後述するように、位置検出器300の受信角度算出部312で算出された受信角度データは、通信部330によって動物容姿判定装置100へ伝送される。なお、センサ装置200の位置を検出する位置検出方式は、Bluetoothの機能を利用する方式に限られず、GPS等の衛星測位システムを利用した位置検出方式、Wi-Fi基地局からの電波を利用した位置特定方式等、他の利用可能な方式を採用することができる。
【0033】
<<動物容姿判定装置100>>
次に、本発明に係る情報処理装置の一実施形態である動物容姿判定装置100について説明する。
図3に示すように、動物容姿判定装置100は、サーバコンピュータ又はパーソナルコンピュータなどの情報処理装置であり、処理部110、記憶部120、入出力部130、データインタフェース(データIF)部140、及び通信部150を備えている。処理部110、記憶部120、入出力部130、データIF部140、及び通信部150の間は、図示を省略する内部通信線としてのバスによって接続されている。
【0034】
処理部110は、CPU等のプロセッサによって構成される演算装置であり、後述の記憶部120から各種プログラム、データを読み込んで実行し、動物容姿判定装置100の機能を実現する。本実施形態では、処理部110は、画像データ受信部111、画像データ解析部112、位置データ受信部113、位置データ解析部114、個体識別部115、容姿判定部116、容姿情報記録部117、及び容姿情報出力部118の各機能部のデータ処理を実行する。各機能部の動作については後述する。
【0035】
記憶部120は、ハードウェア群を動物容姿判定装置100として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ROM、RAM、フラッシュメモリ、半導体ドライブ(SSD)又はハードディスク(HDD)などで構成することができる。具体的には、記憶部120は、本実施形態の各機能を処理部110に実行させるためのプログラム(動物容姿判定装置100の制御プログラム)、各種パラメータ、個体識別、容姿判定に利用されるデータ、処理対象であるウシCに関するデータ、外部から入力される操作入力データ、及び生成された容姿情報データ等が記憶される。
【0036】
入出力部130は、外部から動物容姿判定装置100へのデータ入力を可能とするキーボード、マウス、タッチパネル、マイク等の各種入力デバイスと、容姿情報データ等を出力表示するためのモニタディスプレイ、スピーカ等の出力デバイスから構成されている。
【0037】
データIF部140は、処理部110、記憶部120、入出力部130、通信部150の間でのデータ通信を制御する機能を有する。
【0038】
通信部150は、センサ装置200、位置検出器300との間で各種データの送受信を行う通信モジュールであり、例えばネットワークインタフェースカード(NIC)等のハードウェアとして構成される。通信部150は、動物容姿判定装置100が
図1に例示した外部の通信ネットワークNとの間で通信を実行するのにも使用することができる。本実施形態では省略しているが、動物容姿判定装置100には、牛房CB内に設置したカメラ400の各種制御機能を設けてもよい。
【0039】
次に、処理部110が実行する各プログラムによって実現される動物容姿判定装置100の機能について説明する。
【0040】
画像データ受信部111は、牛房CB内に設置されたカメラ400によって撮像された画像データを受信する機能を有する。カメラ400は、典型的にはCCD等の撮像素子を備え、所要の解像度を備えたデジタルビデオカメラであるが、それに制約されるものではなく、所定時間間隔で静止画像を撮像するようにしてもよい。
【0041】
画像データ解析部112は、画像データ受信部111が受信した牛房CB内の撮像画像データを、画像解析用データを用いて解析し、画像内にウシCが含まれているか、含まれているウシCについては、その画像内での位置に基づいて算出される牛房CB内での位置を求める機能を有する。
図5に、カメラ400によって撮像された牛房CB内の画像例を示している。
図5に例示する画像には、3頭のウシC1~C3が撮像されている。画像データ解析部112は、記憶部120の画像解析用データ記憶部121に格納されている、多様なウシが撮像されている画像データを用いてあらかじめ学習させた学習モデルを用いて、各画像内にウシが撮像されているかを調べ、画像内でウシと判別された領域を、例えば
図5に例示されているように矩形(x
1,y
1)、(x
2,y
2)、(x
3,y
3)、(x
4,y
4)で枠付けする。(x
1,y
1)、…は、画像内のスクリーン座標系における矩形頂点の座標を示す。学習に用いられる教師データは、多様なウシの画像を含む画像データについてウシが撮像されている領域を特定してなるアノテーションデータである。ウシCが含まれていると判定された画像データは、後述する容姿判定のためのデータとして利用される。一方、画像内にウシCが含まれていると判定された画像については、画像データ解析部112によって、画像内におけるウシCの領域に基づいて、牛房CB内におけるウシCの位置が算出される。画像内におけるウシCが占める領域、すなわち前記の矩形頂点のスクリーン座標系における位置座標は、カメラ400の設置位置座標、撮像方向を示す角度、例えばカメラ400の撮影方向が水平面となす角度(俯角)及び牛房CB内の座標軸に対する角度、並びにカメラ400の画角に基づいて、牛房CB内における現実空間の座標系(ワールド座標系)に射影変換され、当該画像内のウシCが現実空間である牛房CB内において占める位置を求めることができる。具体的には、スクリーン座標系におけるウシCの位置を示す矩形を平行移動、及び回転させてワールド座標系における位置に変換するための変換行列をあらかじめ各カメラ400について用意しておく。この画像データに基づいて算出されたウシCの位置は、後述する各ウシCの個体識別処理に利用される。
【0042】
位置データ受信部113は、位置検出器300からの位置データを受信する機能を有する。前記のように、位置データは、例えば各位置検出器300の牛房CB内における位置座標、各位置検出器300の受信角度算出部312において算出された、センサ装置200からの電波受信角度データである。位置検出器300の位置座標データは、あらかじめパラメータとして記憶部120に格納しておいてもよい。
【0043】
位置データ解析部114は、位置データ受信部113にて受信、取得した位置検出器300の位置座標データ及び電波受信角度を用いて、牛房CB内におけるセンサ装置200の位置を算出する。
図1のように2セットの位置検出器300を用いると、電波の発信元であるセンサ装置200の位置は、各位置検出器300の位置から電波受信角度に従って引いた直線の交点として求めることができる。センサ装置200の位置測定精度の必要に応じて、位置検出器300を増設することも可能である。求められたセンサ装置200の位置を、あらかじめ牛房CB内に設定した平面座標とマッチングすることで、センサ装置200が装着されたウシCが、牛房CB内のどの場所にいるかを判定することができる。位置データ解析部114によって算出された各センサ装置200の牛房CB内における位置は、後述する各ウシCの個体識別処理に利用される。なお、上記のセンサ装置200の位置検出方式は一例であり、GPS(Global Positioning System)の測位衛星信号に基づいて位置座標を算出する、Wi-Fi基地局からの電波を利用する等、他の方式を利用するとしてもよい。
【0044】
個体識別部115は、画像データ解析部112によって、画像データに含まれているウシCの画像内位置に基づいて算出されたウシCの牛房CB内における推定位置と、位置データ解析部114によって、位置検出器300からのデータに基づいて算出された各センサ装置200の牛房CB内における位置とを対照することにより、画像内に撮像されている各ウシCの個体識別を行う機能を有する。前記のように、各ウシCに取り付けられているセンサ装置200には、固有の識別情報であるセンサ装置IDが付与されており、位置検出器300を経由して容姿判定装置100で受信される。センサ装置IDは各ウシCの個体識別符号である個体IDと紐づけられているので、画像データから推定されたウシCの位置とセンサ装置200の位置とを対照することにより、画像データから推定されたウシCの位置とセンサ装置200の位置との差分が所定の閾値以下であるか(両位置が牛房CB内の一定の範囲内に含まれる程度に十分近接しているか)を判定し、画像内のウシCと個体IDとを関連付けることができる(この関連付けは、処理対象データ記憶部の構成に関して後述する)。
図6に、画像データから推定した牛房CB内のウシCの位置と、センサ装置200からの受信電波に基づいて算出されたウシCの位置とを対照して模式的に示している。
図6において、星印は画像データから推定されたウシCの位置を、丸印はセンサ装置200からの受信電波に基づいて算出されたウシCの位置を示している。画像データに基づくウシCの数がセンサ装置200の数より少ないのは、牛房CB内にいるウシCのうち、カメラ400の撮像画像からは検出できなかったものが存在することを示している。
図6においては、画像データから推定されたウシCの位置(星印)に、斜線を付した丸印の3頭のウシ(個体ID=001~003)が対応付けられることが示されている。このように、個体識別部115は、画像内に撮像されているウシCがいずれの個体であるかを特定することを可能としている。各ウシCについて特定された位置情報は、記録年月日及び時刻、ウシCの個体ID、及び牛房CB内における位置が関連付けられたレコードとして、
図9に例示する位置情報記憶部123に記録される。
【0045】
容姿判定部116は、カメラ400によって撮像された画像データ内に含まれているウシCの画像に基づいて、そのウシCの容姿を定量的に判定する機能を有する。ウシCの容姿を定量的に判定することにより、各ウシCの健康管理、疾病予防等に利用することができる。
図7に、本実施形態における容姿判定で判定される容姿判定項目を例示している。本実施形態では、一例として子牛の容姿判定項目を示しており、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の4項目について、それぞれ最良判定である容姿スコア0から容姿スコア2までの3段階で判定している。各項目では、耳の位置は高く上がっているほどよく、目は大きく見開いているほどよく、頭の位置は高いほどよく、背中は曲がりがなく真っすぐなほどよいという観点で判定される。乳牛の経産牛など、容姿判定の対象に応じて判定項目は適宜に変更してよい。容姿判定部116は、画像データ解析部112が画像内において枠付けしたウシCを含む画像データについて、容姿判定用データ記憶部122に格納されている容姿判定用データを利用して判定処理を実行する。
図8に、容姿判定用データ記憶部122の構成例を示している。
図8に例示する容姿判定用データは、ウシCを含む画像データ、顔、体側等の画像に含まれているウシCの容姿種別、目の開き等の判定項目、及び対応付けられている画像データの判定項目について付与された容姿スコアが格納されている。容姿判定部116は、例えば判定対象のウシCの画像と容姿判定用データとを対照し、その画像における判定項目の類似度に基づいて判定対象画像についての容姿スコアを決定することができる。容姿判定の手法としては、これに制約されることなく、
・多数のウシCについて蓄積された画像から、「耳の位置」、「目の開き」などの各判定項目に基づいてあらかじめ定量化指標を導出しておき、その定量化指標に基づいて容姿判定を行う。例えば、「耳の位置」であれば、水平線からの耳のたれ具合(耳の下がり角度)に基づいて容姿スコアを付与できるように判定基準を定量化しておく。
・容姿判定用データにより、ウシCの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにのより、あらたなウシCの画像について容姿判定を実行させる。
等を採用することが可能である。
【0046】
容姿情報記録部117は、容姿判定部116によって生成されたウシCごとの容姿判定結果を容姿情報として時系列で記録する機能を有する。容姿情報は、記憶部120の容姿情報記憶部124に記録される。
図10に、容姿情報記憶部124の構成例を示している。
図10に例示する容姿情報記憶部124は、容姿情報が記録された年月日及び時刻、ウシCの個体ID、容姿判定項目及び容姿スコアが関連付けられて記録されている。
【0047】
容姿情報出力部118は、容姿情報記憶部124から入出力部130等からの入力操作によって、所定の条件の下で容姿情報データを抽出して出力する機能を有する。例えば特定の個体IDを有するウシCの特定の容姿判定項目と対応する容姿スコアを抽出して時系列データとして出力させることにより、当該のウシCの健康状態の変化、疾病や特定イベント(離乳、分娩等)の兆候を捉えるために利用することが可能である。
【0048】
処理対象データ記憶部125は、容姿判定の対象となる個々のウシCに関する個別の情報を格納している。
図11に、処理対象データ記憶部125の構成例を示している。
図11に例示する処理対象データ記憶部125は、容姿判定の対象である各ウシCに識別符号として付与されている個体IDに対応付けて、センサ装置200の固有の識別情報であるセンサ装置ID、ウシとしての種類を示す牛種、性別、年齢、健康状態、及び病歴の各項目が記録されている。センサ装置IDは、ウシCに取り付けられている各センサ装置200から動物容姿判定装置100に送信されるセンサデータに付帯され、受信したセンサデータがどのセンサ装置200で取得されたかを識別可能としている。センサ装置IDは位置検出器300においても受信されるので、特定のセンサ装置200の位置とセンサ装置IDとを紐づけることができる。健康状態は、図示のように判定数値で記録するほか、具体的にテキストで記録してもよい。病歴についても適宜の記載様式を採用してよい。処理対象データ記憶部125の記録項目は、
図11の例に制約されることなく、適宜決定することができる。
【0049】
<動物容姿判定装置100によるデータ処理>
次に、本実施形態における動物容姿判定装置100が実行するデータ処理について説明する。動物容姿判定装置100は、主として、画像に撮像されている動物(本実施形態ではウシ)の位置を検出するための位置情報算出処理と、画像に基づいて動物の容姿を判定する容姿判定処理とを実行する。
【0050】
<<位置情報算出処理>>
図12に、本実施形態における動物容姿判定装置100が実行する位置情報算出処理の処理フロー例をフローチャートで示している。位置情報算出処理は、例えば動物容姿判定装置100の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。
【0051】
動物容姿判定装置100の画像データ受信部111は、カメラ400から、カメラ400が撮像した撮像画像データを受信する(ステップS11)。
【0052】
画像データ解析部112は、カメラ400から受信した画像データを、画像解析用データ記憶部121に記憶されている画像解析用データを利用して解析し(ステップS12)、画像内におけるウシCの画像領域を抽出する(ステップS13)。
【0053】
画像データ解析部112は、画像内におけるウシCの占める領域を、スクリーン座標系、カメラ400の位置、撮像方向に基づくカメラ座標系、及び現実世界の空間座標系との関係を用いて空間座標系内の位置に変換し、牛房CB内におけるウシCの位置を算出する(ステップS14)。
【0054】
一方、位置データ解析部114は、位置データ受信部113が位置検出器300から受信した電波の到来角度から各センサ装置200の位置をウシCの位置として算出し、ステップS14において画像データに基づき推定したウシCの位置と対照する(ステップS15)。これにより、画像データから推定されたウシCの位置が、対照されるセンサ装置200の位置、すなわちセンサ装置200が装着されたウシCの位置によって検証され、画像に撮像されている各ウシCの個体識別が達成される。なお、ウシCの位置の検証は、まず画像データに基づき推定したウシCの位置を示す第1の位置情報をウシCの牛房CB内における位置と仮定して、対応するセンサ装置200の位置があるか、言い換えれば画像データに基づき推定したウシCの位置座標から一定の範囲内にいずれかのセンサ装置200の位置座標が検出されているかに基づいて実施することができる。あるいは、まずセンサ装置200の位置を牛房CB内でのウシCの位置とし、これらに対応する画像データに基づき推定したウシCの位置を示す第1の位置情報があるか、言い換えればセンサ装置200の位置座標から一定の範囲内にいずれかの画像データに基づき推定したウシCの位置座標が存在するかに基づいてウシCの位置を検証することもできる。
【0055】
位置データ解析部114は、ステップS15において特定されたウシCの位置を、位置情報記憶部123に記録する(ステップS16)。
【0056】
処理部110は、入出力部130あるいは通信部150を通じてデータ処理の終了命令を受けているかを判定する(ステップS17)。終了命令を受けていないと判定した場合(ステップS17:NO)、処理部110はステップS11に戻って位置情報算出処理の実行を継続する。終了命令を受けていると判定した場合(ステップS17:YES)、処理部110は位置情報算出処理を終了する。
【0057】
<<容姿判定処理>>
図13に、本実施形態における動物容姿判定装置100が実行する容姿判定処理の処理フロー例をフローチャートで示している。容姿判定処理は、例えば動物容姿判定装置100の電源投入及び起動を契機として開始され、一定時間間隔ごとに実行される。
【0058】
動物容姿判定装置100による容姿判定処理は、動物容姿判定装置100の動作中、ウシCに装着されているセンサ装置200ごとに反復して実行される(ステップS21のループ)。容姿判定部116は、画像データ解析部112が画像データから抽出したウシCの画像を取得する(ステップS22)。容姿判定部116は、取得したウシCの画像から、容姿判定項目に係る画像を抽出する(ステップS23)。具体的には、容姿判定部116は、取得した画像にウシCの頭部、顔、体側が含まれており、容姿判定項目に関わる「頭」、「耳」、「目」、及び「背部」が識別可能か調べる。この判定は、例えばウシCの「頭」、「耳」、「目」、及び「背部」を含む多数の教師データによって学習させた学習モデルを用いることができる。なお、ウシCの画像取得に関しては、各ウシCについて、容姿判定項目に関わる身体の部位がまんべんなく撮像されるようにすることが好ましい。このような観点からは、例えば、ウシCが飼育されている牛房CB内に複数のカメラ400を設置し、牛房CB内を複数の異なる方向から撮像することが好ましい。あるいは、例えばカメラ400において撮像中に、ウシCがカメラ400に注意を向けるような音響、光等を発するように構成することも考えられる。
【0059】
容姿判定部116は、抽出した容姿判定項目に関わる画像を、容姿判定用データ記憶部122から読み出した容姿判定用データと対照する(ステップS24)。具体的には、上記したように、容姿判定部116は、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」の4項目について、容姿判定用データとの類似度を調べる。あるいは、各判定項目に基づいてあらかじめ導出された定量化指標と比較する、容姿判定用データにより、ウシCの容姿の画像と各判定項目の容姿スコアとの関係を学習させた学習済みモデルにより、あらたなウシCの画像について判定させるといった処理を実行する。
【0060】
容姿判定部116は、ステップS24の対照結果に基づいて各判定項目についての容姿スコアを決定し(ステップS25)、容姿情報として、容姿情報記録部117により容姿情報記憶部124に記録される(ステップS26)。
【0061】
以上の位置情報算出処理及び容姿判定処理が実行されることによって、各ウシCについての容姿判定項目である「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアが、時系列に蓄積される。
【0062】
<動物容姿判定装置100による容姿判定結果の利用>
上記したように、本実施形態における動物容姿判定装置100によれば、各ウシCについて、容姿判定項目として選定されている「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する判定指標、容姿スコアが時系列に蓄積される。したがって、例えば、「耳の位置」、「目の開き」、「頭の位置」、及び「背中の曲がり」に関する容姿スコアの時間的な変化と、ウシCの健康状態、疾病罹患、発情、分娩、離乳等のイベントとの間の相関関係を分析して動物容姿判定装置100に学習させることにより、本実施形態の動物容姿判定装置100を、ウシCの健康状態の変化、疾病罹患、発情、分娩、離乳等のイベントの予兆検出の目的に利用することができる。なお、本実施形態では、牛房CB内のウシCを定期的に撮像しているが、各ウシCは基本的に自然な状態にある。そのような状態で撮像を継続した場合、例えばあるウシCの体調が悪く、動きが少ない、あるいはあまり姿勢が変わらないといった場合には、その特定のウシCについて、容姿判定項目として使用可能な画像の撮像数が少ない、あるいは特定の容姿判定項目についての画像数が少ないといった傾向が認められるものと推測することができる。すなわち、ウシCについて容姿スコアの時系列的な変化だけでなく、容姿判定項目に関する画像数の時間的変化によっても健康状態の変化等を予測することができると考えられる。
【0063】
以上説明した実施形態によれば、以下のような効果を奏する。
【0064】
本発明の一実施形態における動物容姿判定装置100は、牛房CB内で飼育されているウシCを含む撮像画像を取得し、前記撮像画像内のウシCの画像に基づいて算出したウシ当該動物の前記飼育エリア内における位置を、第1の位置情報として取得する画像データ解析部112と、ウシCに設けたセンサ装置200から識別情報と、ウシCの牛房CB内での位置を示す第2の位置情報とを取得する位置データ解析部114と、第1の位置情報と第2の位置情報との差分が所定の閾値以下であると判定した場合、前記第1の位置情報と前記第2の位置情報に係る前記識別情報とを関連付けて記録する個体識別部115とを備えている。
【0065】
このようにすれば、牛房CB内でのウシCの撮像画像に基づいて、ウシCの牛房CB内での位置が精度よく特定され、もって撮像画像に係るウシCの個体識別が可能となる。
【0066】
動物容姿判定装置100は、撮像された前記動物の画像に基づいて、当該動物の容姿に関してあらかじめ設定した容姿判定項目について判定を行い、その判定結果を当該動物の容姿情報とし、前記判定の対象となった前記動物の画像から算出された前記第1の位置情報を取得し、当該第1の位置情報に関連付けられている前記第2の位置情報に対応する前記識別情報と、前記容姿情報とを関連付けて記録する容姿判定部116を備えるとしてもよい。
【0067】
このようにすれば、個体識別された各ウシCの容姿の変化を時系列で記録することができる。
【0068】
容姿判定部116が、ウシCについて取得された画像情報と、あらかじめ設定された前記容姿判定項目についての判定結果である容姿情報との関係を学習させた学習済みモデルを使用してウシCの容姿を判定するとしてもよい。
【0069】
このようにすれば、各ウシCの容姿についての判定を自動的に実行させることができる。
【0070】
容姿判定部116が、ウシCについて取得された画像と、容姿判定項目についてあらかじめ設定されたウシCの画像における特徴の判断基準とに基づいてウシCの容姿を判定するとしてもよい。
【0071】
このようにすれば、各ウシCの容姿についての判定を自動的に実行させることができる。
【0072】
ウシCの画像に基づいて推定した位置と対照される位置情報は、ウシCに設けたセンサ装置200から送信される電波の到来方向に基づいて算出されるものとすることができる。
【0073】
このようにすれば、センサ装置200からのデータ送信に利用される電波によって、センサ装置200、すなわちウシCの位置検出を実現することができる。
【0074】
前記容姿判定部が時系列に記録した前記動物の個体ごとの容姿情報が、当該動物の疾病、発情、分娩、成長、及び離乳のうちの少なくとも一つ以上の時期を予測するために利用されるとしてもよい。
【0075】
このようにすれば、動物の疾病、発情、分娩、成長、及び離乳といった事象を動物の容姿判定に基づいて適時に見逃すことなく知得することができる。
【0076】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、
図2、
図3の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が、動物容姿判定装置100に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図2、
図3の例に限定されない。また、一つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
【0077】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0078】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるUSBメモリ等のリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk),Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROMや、記憶部120に含まれるハードディスク等で構成される。
【0079】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【0080】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、上記実施形態と変形例の各構成を組み合わせることも可能である。更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0081】
1 動物容姿判定システム
100 動物容姿判定装置
110 処理部
115 個体識別部
116 容姿判定部
120 記憶部
122 容姿判定用データ記憶部
124 容姿情報記憶部
200 センサ装置
300 位置検出器
400 カメラ