特開 2024-46059 画像解析システム、画像解析方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024046059

(43)【公開日】2024-04-03

(54)【発明の名称】画像解析システム、画像解析方法及びプログラム

(51)【国際特許分類】

   A01K 29/00 20060101AFI20240327BHJP

   G06T 7/11 20170101ALI20240327BHJP

   G06Q 50/02 20240101ALI20240327BHJP

【ＦＩ】

A01K29/00 A

G06T7/11

A01K29/00 D

G06Q50/02

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022151218

(22)【出願日】2022-09-22

(71)【出願人】

【識別番号】311001347

【氏名又は名称】ノーリツプレシジョン株式会社

(74)【代理人】

【識別番号】100150072

【弁理士】

【氏名又は名称】藤原 賢司

(74)【代理人】

【識別番号】100185719

【弁理士】

【氏名又は名称】北原 悠樹

(72)【発明者】

【氏名】北 耕次

(72)【発明者】

【氏名】島本 久嗣

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC01

5L096FA02

5L096FA06

5L096FA35

5L096FA76

(57)【要約】

【課題】各家畜を個別に認識可能な画像解析システム、画像解析方法及びプログラムを提供する。
【解決手段】画像解析システムは、カメラと、コンピュータとを備える。カメラは、複数の家畜を撮影可能な位置に設置される。コンピュータは、カメラによる撮影画像における家畜間の境界を推定するように構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の家畜を撮影可能な位置に設置されるカメラと、
前記カメラによる撮影画像における家畜間の境界を推定するように構成されたコンピュータとを備える、画像解析システム。

【請求項2】

前記複数の家畜は一方向に並んでおり、
前記カメラは、前記一方向が前記撮影画像の横方向に対応するように設置されており、
前記コンピュータは、前記撮影画像において前記横方向に並ぶ複数の縦長の領域の各々の画素値と相関を有する横プロファイルを生成し、少なくとも前記横プロファイルに基づいて前記境界を推定する、請求項１に記載の画像解析システム。

【請求項3】

前記複数の縦長の領域の各々は、前記横方向に対して垂直な方向に延びる列である、請求項２に記載の画像解析システム。

【請求項4】

前記複数の縦長の領域は、前記横方向に対して垂直な方向に延びる列に対して傾斜した列を含む、請求項２に記載の画像解析システム。

【請求項5】

前記コンピュータは、前記撮影画像において前記複数の家畜の第１輪郭線及び第２輪郭線を推定し、
前記第１輪郭線は、前記複数の家畜の各々の輪郭の上側部分を含んでおり、
前記第２輪郭線は、前記複数の家畜の各々の輪郭の下側部分を含んでおり、
前記コンピュータは、前記横プロファイル、前記第１輪郭線及び前記第２輪郭線に基づいて前記境界を推定する、請求項２から請求項４のいずれか１項に記載の画像解析システム。

【請求項6】

前記複数の家畜は、繋ぎ飼い状態である、請求項１から請求項４のいずれか１項に記載の画像解析システム。

【請求項7】

前記カメラは、サーモグラフィーカメラであり、
前記横プロファイルは波形を示し、
前記コンピュータは、前記横プロファイルの谷部分が前記境界であると推定する、請求項２から請求項４のいずれか１項に記載の画像解析システム。

【請求項8】

前記第１輪郭線及び前記第２輪郭線の各々は波形を示し、
前記コンピュータは、前記第１輪郭線の谷部分及び前記第２輪郭線の山部分を参照することによって前記境界を推定する、請求項５に記載の画像解析システム。

【請求項9】

前記カメラは、サーモグラフィーカメラであり、
前記カメラは、前記複数の家畜の後方に設置され、
前記コンピュータは、前記撮影画像における前記複数の家畜の各々の尻部の位置を推定し、前記撮影画像における前記尻部の移動状態に基づいて前記複数の家畜の各々の分娩兆候を推定する、請求項６に記載の画像解析システム。

【請求項10】

前記カメラは、前記複数の家畜の前方に設置され、
前記コンピュータは、前記撮影画像における前記複数の家畜の各々に対応する尾根部の位置を推定し、前記撮影画像における前記尾根部の移動状態に基づいて前記複数の家畜の各々の分娩兆候を推定する、請求項６に記載の画像解析システム。

【請求項11】

複数の家畜を撮影可能な位置に設置されたカメラによって生成された撮影画像を取得するステップと、
前記撮影画像における家畜間の境界を推定するステップとを含む、画像解析方法。

【請求項12】

複数の家畜を撮影可能な位置に設置されたカメラによって生成された撮影画像を取得するステップと、
前記撮影画像における家畜間の境界を推定するステップとをコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像解析システム、画像解析方法及びプログラムに関する。

【背景技術】

【0002】

特開２０１５－１７３６０５号公報（特許文献１）は、複数の牛（家畜の一例）が飼育されている場合に、各牛を特定する特定方法を開示する。この特定方法においては、牛の側面の画像が取得され、この画像に基づいて牛の特定が行なわれる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－１７３６０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、カメラによる撮影画像に基づいて複数の家畜の各々の状態を判定するためには、撮影画像に含まれる複数の家畜の各々がコンピュータによって個別に認識される必要がある。しかしながら、例えば、撮影画像において複数の家畜が重なっている場合には、複数の家畜の各々を個別に認識することが容易ではない。上記特許文献１においては、このような問題の解決手段が開示されていない。

【0005】

本発明の目的は、撮影画像において複数の家畜が重なっている場合であっても各家畜を個別に認識可能な画像解析システム、画像解析方法及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明のある局面に従う画像解析システムは、カメラと、コンピュータとを備える。カメラは、複数の家畜を撮影可能な位置に設置される。コンピュータは、カメラによる撮影画像における家畜間の境界を推定するように構成されている。

【0007】

この画像解析システムにおいては、撮影画像における家畜間の境界が推定される。したがって、この画像解析システムによれば、各家畜を個別に認識することができる。

【0008】

上記画像解析システムにおいて、複数の家畜は一方向に並んでいてもよく、カメラは上記一方向が撮影画像の横方向に対応するように設置されていてもよく、コンピュータは、撮影画像において横方向に並ぶ複数の縦長の領域の各々の画素値と相関を有する横プロファイルを生成し、少なくとも横プロファイルに基づいて上記境界を推定してもよい。

【0009】

撮影画像においては、家畜が存在する位置と家畜が存在しない位置とで画素値に差が生じる。すなわち、各縦長の領域（以下、「縦長領域」とも称する。）の画素値と相関を有する横プロファイルは、各縦長領域に占める家畜の領域の大きさと相関を有する。この画像解析システムによれば、各縦長領域に占める家畜の領域の大きさと相関を有する横プロファイルに基づいて家畜間の境界が推定されるため、家畜間の境界を比較的高精度に推定することができる。

【0010】

上記画像解析システムにおいて、複数の縦長の領域の各々は、横方向に対して垂直な方向に延びる列であってもよい。

【0011】

上記画像解析システムにおいて、複数の縦長の領域は、横方向に対して垂直な方向に延びる列に対して傾斜した列を含んでもよい。

【0012】

カメラによる撮影画像においては、カメラに近い部分が広く映り、カメラから遠い部分が狭く映る。例えば、斜め上方から複数の家畜を撮影した場合には、仮に複数の家畜が横方向に並び、各家畜が縦方向に延びるように位置していたとしても、各家畜は消失点に向かって収束する方向に傾いて撮影画像に映る。この画像解析システムによれば、複数の縦長の領域が、横方向に対して垂直な方向に延びる列に対して傾斜した列を含むため、撮影画像における各家畜の傾きを考慮した上で家畜間の境界線を推定することができる。

【0013】

上記画像解析システムにおいて、コンピュータは、撮影画像において複数の家畜の第１輪郭線及び第２輪郭線を推定してもよく、第１輪郭線は、複数の家畜の各々の輪郭の上側部分を含んでおり、第２輪郭線は、複数の家畜の各々の輪郭の下側部分を含んでおり、コンピュータは、横プロファイル、第１輪郭線及び第２輪郭線に基づいて上記境界を推定してもよい。

【0014】

第１輪郭線は複数の家畜の各々の輪郭の上側部分を含み、第２輪郭線は複数の家畜の各々の輪郭の下側部分を含むため、第１輪郭線及び第２輪郭線は、撮影画像における各家畜の位置と相関を有する。この画像解析システムによれば、横プロファイル、第１輪郭線及び第２輪郭線に基づいて家畜間の境界が推定されるため、家畜間の境界を比較的高精度に推定することができる。

【0015】

上記画像解析システムにおいて、複数の家畜は、繋ぎ飼い状態であってもよい。

【0016】

上記画像解析システムにおいて、カメラはサーモグラフィーカメラであり、横プロファイルは波形を示し、コンピュータは、横プロファイルの谷部分が上記境界であると推定してもよい。

【0017】

サーモグラフィーカメラによる撮影画像においては、例えば、高温部分に対応する画素の画素値が低温部分に対応する画素の画素値よりも高くなる。家畜の温度が背景の温度よりも高いため、撮影画像において横方向に並ぶ各列において、家畜に対応する領域の画素値は背景に対応する領域の画素値と比較して高くなる。すなわち、各列の画素値と相関を有する横プロファイルは、各列に占める家畜の領域の大きさと相関を有する。家畜間の境界部分に対応する列における家畜の領域の大きさは、当該列に隣接する列における家畜の領域の大きさよりも小さい傾向がある。すなわち、横プロファイルにおいて、家畜間の境界部分に対応する部分は谷になる傾向がある。この画像解析システムによれば、横プロファイルの谷部分が家畜間の境界であると推定されるため、家畜間の境界を比較的高精度に推定することができる。

【0018】

上記画像解析システムにおいて、第１輪郭線及び第２輪郭線の各々は波形を示し、コンピュータは、第１輪郭線の谷部分及び第２輪郭線の山部分を参照することによって上記境界を推定してもよい。

【0019】

例えば、撮影画像において一部の家畜が斜めになっている場合に、横プロファイルを参照するのみでは家畜間の境界を正確に認識できないときがある。一方、第１輪郭線の谷部分と第２輪郭線の山部分とを結ぶ線が家畜間の境界を示す可能性がある。この画像解析システムによれば、第１輪郭線の谷部分及び第２輪郭線の山部分を参照することによって家畜間の境界が推定されるため、家畜間の境界を比較的高精度に推定することができる。

【0020】

上記画像解析システムにおいて、カメラは、サーモグラフィーカメラであり、サーモグラフィーカメラは、複数の家畜の後方に設置されてもよく、コンピュータは、撮影画像における複数の家畜の各々の尻部の位置を推定し、撮影画像における尻部の移動状態に基づいて複数の家畜の各々の分娩兆候を推定してもよい。

【0021】

繋ぎ飼いされている家畜においては、頭部の移動が制限されている。一方、尻部の移動は比較的自由である。この画像解析システムによれば、撮影画像における尻部の移動状態に基づいて複数の家畜の各々の分娩兆候が推定されるため、各家畜の分娩兆候を比較的高精度に推定することができる。

【0022】

上記画像解析システムにおいて、カメラは、複数の家畜の前方に設置されてもよく、コンピュータは、撮影画像における複数の家畜の各々に対応する尾根部の位置を推定し、撮影画像における尾根部の移動状態に基づいて複数の家畜の各々の分娩兆候を推定してもよい。

【0023】

繋ぎ飼いされている家畜においては、頭部の移動が制限されている。一方、尾根部（前方から家畜を見た場合に最も盛り上がっている部分）の移動は比較的自由である。この画像解析システムによれば、撮影画像における尾根部の移動状態に基づいて複数の家畜の各々の分娩兆候が推定されるため、各家畜の分娩兆候を比較的高精度に推定することができる。

【0024】

本発明の他の局面に従う画像解析方法は、複数の家畜を撮影可能な位置に設置されたカメラによって生成された撮影画像を取得するステップと、撮影画像における家畜間の境界を推定するステップとを含む。

【0025】

この画像解析方法においては、カメラによる撮影画像における家畜間の境界が推定される。したがって、この画像解析方法によれば、各家畜を個別に認識することができる。

【0026】

本発明の他の局面に従うプログラムは、複数の家畜を撮影可能な位置に設置されたカメラによって生成された撮影画像を取得するステップと、撮影画像における家畜間の境界を推定するステップとをコンピュータに実行させる。

【0027】

このプログラムがコンピュータによって実行されると、カメラによる撮影画像における家畜間の境界が推定される。したがって、このプログラムによれば、各家畜を個別に認識することができる。

【発明の効果】

【0028】

本発明によれば、撮影画像において複数の家畜が重なっている場合であっても各家畜を個別に認識可能な画像解析システム、画像解析方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0029】

【図1】画像解析システムの構成を模式的に示す図である。

【図2】サーバのハードウェア構成の一例を示す図である。

【図3】サーモグラフィーカメラによって生成された撮影画像の一例を模式的に示す図である。

【図4】図３に示される撮影画像における各牛の位置を説明するための図である。

【図5】横プロファイルの一例について説明するための図である。

【図6】横プロファイルに基づいて牛間の境界を推定する手順を説明するための図である。

【図7】撮影画像における牛間の境界の推定手順を示すフローチャートである。

【図8】各牛の分娩兆候の検出手順を示すフローチャートである。

【図9】サーモグラフィーカメラによる撮影画像の一部分を模式的に示す図である。

【図10】実施の形態２における牛間の境界の推定手順を説明するための図である。

【図11】実施の形態２における牛間の境界の推定手順を示すフローチャートである。

【図12】複数の列の一部が、サーモグラフィー画像の横方向に対して垂直に延びる列に対して傾斜している例を示す図である。

【図13】複数の横プロファイルを用いて牛間の境界線を推定する方法を説明するための図である。

【発明を実施するための形態】

【0030】

以下、本発明の一側面に係る実施の形態（以下、「本実施の形態」とも称する。）について、図面を用いて詳細に説明する。なお、図中同一又は相当部分には同一符号を付してその説明は繰り返さない。また、各図面は、理解の容易のために、適宜対象を省略又は誇張して模式的に描かれている。

【0031】

［１．実施の形態１］
＜１－１．構成＞
（１－１－１．システム全体の構成）
図１は、本実施の形態１に従う画像解析システム１０の構成を模式的に示す図である。図１に示されるように、画像解析システム１０は、サーモグラフィーカメラ１００と、サーバ２００とを含んでいる。

【0032】

サーモグラフィーカメラ１００は、複数の牛（家畜の一例）４００を収容する牛房３００内に設置される。牛房３００においては、例えば、複数の牛４００が繋ぎ飼い状態で飼育される。繋ぎ飼いとは、牛房３００において各牛４００を固定して飼育する方法のことをいう。牛房３００において、各牛４００は一列に並んだ状態でロープ等を介して棒等に固定される。繋ぎ飼い状態において、各牛４００の並び順は変わらない。サーモグラフィーカメラ１００は、例えば、複数の牛４００を前方斜め上方から撮影可能な位置であり、かつ、複数の牛４００の並び方向と撮影画像の横方向とが対応するような位置に設置される。

【0033】

サーモグラフィーカメラ１００は、例えば、遠赤外線カメラで構成されており、牛４００に関する画像データを生成するように構成されている。より詳細には、サーモグラフィーカメラ１００は、撮影範囲における温度分布を示す画像データを生成する。撮影画像においては、例えば、高温部分に対応する画素が低温部分に対応する画素よりも明るく示される。

【0034】

サーモグラフィーカメラ１００は、例えば、サーモグラフィー画像を連続的に生成することによって、撮影範囲における温度分布を示す動画像データを生成する。サーモグラフィーカメラ１００によって生成される画像データがサーモグラフィー画像のデータであるため、周囲の明るさに拘わらず（昼夜を問わず）画像データに基づいて各牛４００の状況を把握することができる。

【0035】

サーモグラフィーカメラ１００によって生成された画像データは、ネットワークＮ１を通じてサーバ２００へ送信される。すなわち、サーモグラフィーカメラ１００は、通信機能を有している。サーバ２００においては、受信された画像データに基づいて、撮影画像に含まれる各牛４００の状況が個別に認識される。受信された画像データに基づいて各牛４００を個別に認識する方法については後程詳しく説明する。例えば、サーバ２００においては、各牛４００の分娩兆候が個別に認識され、例えば、分娩兆候のある牛４００が検出された場合にユーザの通信端末への通知が行なわれる。

【0036】

（１－１－２．コンピュータの構成）
図２は、サーバ２００のハードウェア構成の一例を示す図である。図２に示されるように、サーバ２００は、制御部２１０と、記憶部２２０と、通信モジュール２３０と、入出力Ｉ／Ｆ２４０とを含んでいる。サーバ２００に含まれる各構成要素は、バスを通じて電気的に接続されている。

【0037】

制御部２１０は、ＣＰＵ（Central Processing Unit）２１１、ＲＡＭ（Random Access Memory）２１２及びＲＯＭ（Read Only Memory）２１３等を含み、情報処理に応じて各構成要素の制御を行なうように構成されている。

【0038】

記憶部２２０は、例えば、フラッシュメモリ又はハードディスクドライブ等の補助記憶装置である。記憶部２２０は、例えば、制御プログラム２２１を記憶するように構成されている。制御プログラム２２１は、制御部２１０によって実行されるサーバ２００の制御プログラムである。制御部２１０が制御プログラム２２１を実行する場合に、制御プログラム２２１はＲＡＭ２１２に展開される。そして、制御部２１０は、ＲＡＭ２１２に展開された制御プログラム２２１をＣＰＵ２１１によって解釈及び実行することにより、各構成要素を制御する。

【0039】

通信モジュール２３０は、外部機器と通信するように構成されており、例えば、サーモグラフィーカメラ１００及びユーザの通信端末の各々と通信する。通信モジュール２３０は、例えば、無線ＬＡＮ（Local Area Network）モジュール、有線ＬＡＮモジュール、又は、ＬＴＥ（Long Term Evolution）等の他の通信規格に準拠した通信モジュールで構成される。

【0040】

入出力Ｉ／Ｆ２４０は、サーバ２００における入出力装置である。入出力Ｉ／Ｆ２４０は、例えば、キーボード、マウス及びディスプレイで構成される。

【0041】

＜１－２．家畜間の境界を認識することの必要性＞
上述のように、サーモグラフィーカメラ１００によって生成される撮影画像は、温度分布を示す画像である。この撮影画像は可視光カメラで生成されていないため、撮影画像において牛４００同士の境界が明確に視認できない場合がある。

【0042】

図３は、サーモグラフィーカメラ１００によって生成された撮影画像の一例を模式的に示す図である。図４は、図３に示される撮影画像における各牛４００の位置を説明するための図である。図３及び図４を参照して、サーモグラフィー画像（撮影画像）ＩＭ１には、領域Ｔ１，領域Ｔ２及び領域Ｔ３が含まれている。領域Ｔ１は牛Ｃ１に対応し、領域Ｔ２は牛Ｃ２に対応している。領域Ｔ３は、牛Ｃ３，Ｃ４に対応している。撮影画像において、領域Ｔ１，Ｔ２，Ｔ３の各々は、他の領域（背景に対応する領域）と比較して明るく示されている。例えば、各牛４００の温度は背景（地面等）の温度よりも高いことが多いためである。

【0043】

牛Ｃ１，Ｃ２は、互いに接触していない。高温である牛Ｃ１，Ｃ２の間には低温である背景が含まれているため、サーモグラフィー画像ＩＭ１において牛Ｃ１，Ｃ２間の境界は明確に表われている。一方、牛Ｃ３，Ｃ４は、互いに接触している。すなわち、牛Ｃ３，Ｃ４間には背景が含まれていない。その結果、サーモグラフィー画像ＩＭ１においては、牛Ｃ３，Ｃ４が同化し、牛Ｃ３，Ｃ４間の境界が不明確になっている。

【0044】

例えば、サーモグラフィー画像ＩＭ１に基づいて各牛４００の分娩兆候を判定する場合に、サーモグラフィー画像ＩＭ１に基づいて各牛４００の動きを個別に認識する必要がある。この例においては、領域Ｔ１の動きを参照することによって牛Ｃ１の動きを認識することができ、領域Ｔ２の動きを参照することによって牛Ｃ２の動きを認識することができる。一方、領域Ｔ３における牛Ｃ３，Ｃ４間の境界が認識されていない状態においては、領域Ｔ３の動きに基づいて牛Ｃ３，Ｃ４の各々の動きを高精度に認識することができない。

【0045】

画像解析システム１０においては、サーモグラフィーカメラ１００による撮影画像における牛４００間の境界がサーバ２００によって推定される。したがって、画像解析システム１０によれば、サーモグラフィーカメラ１００による撮影画像に基づいて各牛４００を個別に認識することができる。次に、牛４００間の境界の推定方法の一例について説明する。

【0046】

サーバ２００の制御部２１０は、サーモグラフィーカメラ１００から受信された撮影画像に基づいて横プロファイルを生成し、横プロファイルに基づいて牛４００間の境界を推定する。この例において、横プロファイルは、撮影画像において横方向に並ぶ複数の列（縦長の領域の一例）の各々における縦方向に並ぶ各画素の画素値の平均値によって構成されている。

【0047】

図５は、横プロファイルの一例について説明するための図である。図５を参照して、サーモグラフィー画像ＩＭ１は、横方向に並ぶ複数の列Ｒ１を含んでいる。制御部２１０は、各列Ｒ１において縦方向に並ぶ複数の画素の画素値の平均値を算出する。横プロファイルは、複数の列Ｒ１の各々における画素値の平均値によって構成される。

【0048】

図６は、横プロファイルに基づいて牛４００間の境界を推定する手順を説明するための図である。図６を参照して、横プロファイルＰ１は、各列Ｒ１（図５）において縦方向に並ぶ各画素の画素値の平均値をつなぐことによって生成された波形である。牛４００間の境界に対応する列Ｒ１においては、牛４００間の境界以外に対応する列Ｒ１と比較して、低温の背景に対応する領域が占める割合が大きいため（高温の牛４００に対応する領域が占める割合が小さいため）、縦方向に並ぶ各画素の画素値の平均値が小さくなる傾向がある。制御部２１０は、このような傾向を考慮して、横プロファイルＰ１における谷部分に牛４００間の境界が存在すると推定する。

【0049】

例えば、サーモグラフィー画像ＩＭ１においては、谷部Ｖ１に境界線Ｌ１が存在すると推定され、谷部Ｖ２に境界線Ｌ２が存在すると推定され、谷部Ｖ３に境界線Ｌ３が存在すると推定される。これにより、各牛４００に対応する個別の領域が推定される。サーモグラフィー画像ＩＭ１が画面表示される場合に、各境界線がサーモグラフィー画像ＩＭ１に重畳表示されてもよい。

【0050】

制御部２１０は、各牛４００に対応する領域毎に縦方向において最も上方の位置が各牛４００の尾根部であるとみなす。例えば、サーモグラフィー画像ＩＭ１においては、位置Ｈ１が牛Ｃ１（図４）の尾根部と推定され、位置Ｈ２が牛Ｃ２の尾根部と推定される。また、位置Ｈ３が牛Ｃ３の尾根部と推定され、位置Ｈ４が牛Ｃ４の尾根部と推定される。サーモグラフィー画像ＩＭ１が画面表示される場合に、尾根部の位置を強調して示すマークがサーモグラフィー画像ＩＭ１に重畳表示されてもよい。

【0051】

制御部２１０は、例えば、各牛４００の尾根部の動きに基づいて、各牛４００の分娩兆候を推定する。分娩兆候のある牛４００が検出された場合に、制御部２１０は、例えば、ユーザの通信端末へ通知を送信するように通信モジュール２３０を制御する。

【0052】

＜１－３．動作＞
図７は、撮影画像における牛４００間の境界の推定手順を示すフローチャートである。このフローチャートに示される処理は、通信モジュール２３０を通じてサーモグラフィーカメラ１００から画像データが順次受信され、受信された画像データに対応する撮影画像が順次画面表示されている状態で、サーバ２００の制御部２１０によって繰り返し実行される。

【0053】

図７を参照して、制御部２１０は、受信された画像データに基づいて横プロファイルを生成する（ステップＳ１００）。制御部２１０は、横プロファイルにおける谷部分を検出し、各谷部分が牛４００間の境界であると推定する（ステップＳ１１０）。制御部２１０は、推定された境界線を撮影画像に重畳表示するように入出力Ｉ／Ｆ２４０を制御する（ステップＳ１２０）。なお、境界線は、必ずしも撮影画像に重畳表示されなくてもよい。

【0054】

図８は、各牛４００の分娩兆候の検出手順を示すフローチャートである。このフローチャートに示される処理は、通信モジュール２３０を通じてサーモグラフィーカメラ１００から画像データが継続的に受信され、受信された画像データに対応する撮影画像が順次画面表示されている状態で、サーバ２００の制御部２１０によって繰り返し実行される。

【0055】

図８を参照して、制御部２１０は、受信された画像データに基づいて各牛４００の尾根部の位置を推定する（ステップＳ２００）。制御部２１０は、各牛４００の尾根部の位置を強調するマークを撮影画像に重畳表示するように入出力Ｉ／Ｆ２４０を制御する（ステップＳ２１０）。なお、各牛４００の尾根部の位置を強調するマークは、必ずしも撮影画像に重畳表示されなくてもよい。制御部２１０は、尾根部の動きが所定条件を満たす牛４００が存在するか否かを判定する（ステップＳ２２０）。所定条件の一例としては、所定時間における尾根部の移動量が所定量を超えることが挙げられる。所定時間及び所定量の各々は、例えば、予め定められている。

【0056】

尾根部の動きが所定条件を満たす牛４００が存在しないと判定されると（ステップＳ２２０においてＮＯ）、処理はリターンへ移行する。一方、尾根部の動きが所定条件を満たす牛４００が存在すると判定されると（ステップＳ２２０においてＹＥＳ）、制御部２１０は、当該牛４００が分娩兆候を有する旨の通知をユーザの通信端末へ送信するように通信モジュール２３０を制御する（ステップＳ２３０）。

【0057】

＜１－４．特徴＞
以上のように、画像解析システム１０においては、撮影画像における牛４００間の境界が推定される。したがって、画像解析システム１０によれば、各家畜を個別に認識することができる。

【0058】

より詳細には、画像解析システム１０においては、サーモグラフィーカメラ１００による撮影画像が用いられる。サーモグラフィーカメラ１００による撮影画像は温度分布を示すため、画像解析システム１０によれば、昼夜を問わず牛４００の状態を認識することができる。一方、サーモグラフィーカメラ１００による撮影画像においては、複数の牛４００が重なる場合に複数の牛４００に跨がる領域の温度が略同一となるため、隣接する複数の牛４００が同化した状態で示されることがある。画像解析システム１０においては、サーモグラフィーカメラ１００による撮影画像における牛４００間の境界が推定される。したがって、画像解析システム１０によれば、昼夜を問わず各牛４００を個別に認識することができる。

【0059】

また、撮影画像においては、牛４００が存在する位置と牛４００が存在しない位置とで画素値に差が生じる。すなわち、各列Ｒ１（図５）の画素値と相関を有する横プロファイルＰ１（図６）は、各列Ｒ１に占める牛４００の領域の大きさと相関を有する。画像解析システム１０によれば、各列Ｒ１に占める牛４００の領域の大きさと相関を有する横プロファイルＰ１に基づいて牛４００間の境界が推定されるため、牛４００間の境界を比較的高精度に推定することができる。

【0060】

より詳細には、サーモグラフィーカメラ１００による撮影画像においては、例えば、高温部分に対応する画素の画素値が低温部分に対応する画素の画素値よりも高くなる。牛４００の温度が背景の温度よりも高いため、撮影画像において横方向に並ぶ各列Ｒ１において、牛４００に対応する領域の画素値は背景に対応する領域の画素値と比較して高くなる。すなわち、各列Ｒ１の画素値と相関を有する横プロファイルＰ１は、各列Ｒ１に占める牛４００の領域の大きさと相関を有する。牛４００間の境界部分に対応する列Ｒ１における牛４００の領域の大きさは、当該列Ｒ１に隣接する列Ｒ１における牛４００の領域の大きさよりも小さい傾向がある。画像解析システム１０によれば、各列Ｒ１に占める牛４００の領域の大きさと相関を有する横プロファイルＰ１に基づいて牛４００間の境界が推定されるため、牛４００間の境界を比較的高精度に推定することができる。

【0061】

また、上述のように、牛４００間の境界部分に対応する列Ｒ１における牛４００の領域の大きさは、当該列Ｒ１に隣接する列Ｒ１における牛４００の領域の大きさよりも小さい傾向がある。すなわち、横プロファイルＰ１において、牛４００間の境界部分に対応する部分は谷になる傾向がある。画像解析システム１０によれば、横プロファイルＰ１の谷部分が牛４００間の境界であると推定されるため、牛４００間の境界を比較的高精度に推定することができる。

【0062】

また、繋ぎ飼いされている牛４００においては、頭部の移動が制限されている。一方、尾根部（前方から牛４００を見た場合に最も盛り上がっている部分）の移動は比較的自由である。画像解析システム１０によれば、撮影画像における尾根部の移動状態に基づいて複数の牛４００の各々の分娩兆候が推定されるため、各牛４００の分娩兆候を比較的高精度に推定することができる。

【0063】

［２．実施の形態２］
上記実施の形態１に従う画像解析システム１０においては、撮影画像の横プロファイルに基づいて各牛４００の境界が推定された。しかしながら、各牛４００の境界の推定方法はこれに限定されない。本実施の形態２に従う画像解析システム１０Ａにおいては、各牛４００の境界を推定するために、撮影画像の横プロファイル以外の情報も参照される。以下においては、主に上記実施の形態１と異なる点について説明する。

【0064】

再び図１を参照して、画像解析システム１０Ａは、サーモグラフィーカメラ１００と、サーバ２００Ａとを含んでいる。サーモグラフィーカメラ１００の構成は、上記実施の形態１と同様である。

【0065】

再び図２を参照して、サーバ２００Ａは、制御部２１０と、記憶部２２０Ａと、通信モジュール２３０と、入出力Ｉ／Ｆ２４０とを含んでいる。制御部２１０、通信モジュール２３０及び入出力Ｉ／Ｆ２４０の各々の構成は、上記実施の形態１と同様である。

【0066】

記憶部２２０Ａは、例えば、フラッシュメモリ又はハードディスクドライブ等の補助記憶装置である。記憶部２２０Ａは、例えば、制御プログラム２２１Ａを記憶するように構成されている。制御プログラム２２１Ａは、制御部２１０によって実行されるサーバ２００Ａの制御プログラムである。制御部２１０が制御プログラム２２１Ａを実行する場合に、制御プログラム２２１ＡはＲＡＭ２１２に展開される。そして、制御部２１０は、ＲＡＭ２１２に展開された制御プログラム２２１ＡをＣＰＵ２１１によって解釈及び実行することにより、各構成要素を制御する。

【0067】

＜２－１．境界線の補正の有効性＞
図９は、サーモグラフィーカメラ１００による撮影画像の一部分を模式的に示す図である。図９に示されるように、この撮影画像においては、牛Ｃ５，Ｃ６が同化して領域Ｔ４として示されている。

【0068】

図１０は、本実施の形態２における牛Ｃ５，Ｃ６間の境界の推定手順を説明するための図である。図１０を参照して、境界線Ｌ４は、横プロファイルＰ２に基づいて推定されたものである。この撮影画像においては、牛Ｃ５（図９）が比較的大きく斜めになっているため、境界線Ｌ４が領域Ｔ４における実際の境界線から大きくずれている。

【0069】

サーバ２００Ａの制御部２１０は、牛４００間の境界を推定する場合に、横プロファイルＰ２、第１輪郭線Ｏ１及び第２輪郭線Ｏ２を参照する。第１輪郭線Ｏ１は複数の牛４００（牛Ｃ５，Ｃ６等）の各々の輪郭の上側部分を含み、第２輪郭線Ｏ２は複数の牛４００の各々の輪郭の下側部分を含む。

【0070】

サーバ２００Ａの制御部２１０は、例えば、横プロファイルＰ２の谷部分が第１輪郭線Ｏ１の谷部分及び第２輪郭線Ｏ２の山部分のいずれかから横方向において所定画素数以上ずれている場合に境界線Ｌ４を補正してもよい。制御部２１０は、例えば、境界線Ｌ４が第１輪郭線Ｏ１の谷部分と第２輪郭線Ｏ２の山部分とを結ぶ境界線Ｌ５になるように境界線Ｌ４を補正してもよいし、境界線Ｌ４が境界線Ｌ５に近付くように境界線Ｌ４を傾けることによって境界線Ｌ４を補正してもよい。これにより、画像解析システム１０Ａによれば、より高精度に牛４００間の境界を推定することができる。

【0071】

＜２－２．動作＞
図１１は、撮影画像における牛４００間の境界の推定手順を示すフローチャートである。このフローチャートに示される処理は、通信モジュール２３０を通じてサーモグラフィーカメラ１００から画像データが順次受信され、受信された画像データに対応する撮影画像が順次画面表示されている状態で、サーバ２００Ａの制御部２１０によって繰り返し実行される。

【0072】

図１１を参照して、制御部２１０は、受信された画像データに基づいて横プロファイルを生成する（ステップＳ３００）。制御部２１０は、横プロファイルにおける谷部分を検出し、各谷部分を牛４００間の仮の境界線に設定する（ステップＳ３１０）。制御部２１０は、仮の境界線に問題があるか否かを判定する（ステップＳ３２０）。制御部２１０は、例えば、横プロファイルの谷部分が第１輪郭線（複数の牛４００の各々の輪郭の上側部分を含む波形）の谷部分及び第２輪郭線（複数の牛４００の各々の輪郭の下側部分を含む波形）の山部分のいずれかから横方向において所定画素数以上ずれている場合に仮の境界線に問題があると判定する。なお、以下では、複数の牛４００の各々の輪郭の上側部分を含む波形を「第１輪郭線」とも称し、複数の牛４００の各々の輪郭の下側部分を含む波形を「第２輪郭線」とも称する。

【0073】

仮の境界線に問題があると判定されると（ステップＳ３２０においてＮＯ）、制御部２１０は、第１輪郭線及び第２輪郭線の各々を参照することによって仮の境界線を補正する（ステップＳ３３０）。仮の境界線に問題がないと判定されると（ステップＳ３２０においてＹＥＳ）、又は、ステップＳ３３０において仮の境界線の補正が行なわれると、制御部２１０は、境界線を撮影画像に重畳表示するように入出力Ｉ／Ｆ２４０を制御する（ステップＳ３４０）。

【0074】

＜２－３．特徴＞
以上のように、画像解析システム１０Ａにおいては、撮影画像における牛４００間の境界が推定される。したがって、画像解析システム１０Ａによれば、各家畜を個別に認識することができる。

【0075】

より詳細には、画像解析システム１０Ａにおいては、サーモグラフィーカメラ１００による撮影画像が用いられる。サーモグラフィーカメラ１００による撮影画像は温度分布を示すため、画像解析システム１０Ａによれば、昼夜を問わず牛４００の状態を認識することができる。一方、サーモグラフィーカメラ１００による撮影画像においては、複数の牛４００が重なる場合に複数の牛４００に跨がる領域の温度が略同一となるため、隣接する複数の牛４００が同化した状態で示されることがある。画像解析システム１０Ａにおいては、サーモグラフィーカメラ１００による撮影画像における牛４００間の境界が推定される。したがって、画像解析システム１０Ａによれば、昼夜を問わず各牛４００を個別に認識することができる。

【0076】

また、第１輪郭線は複数の牛４００の各々の輪郭の上側部分を含み、第２輪郭線は複数の牛４００の各々の輪郭の下側部分を含むため、第１輪郭線及び第２輪郭線は、撮影画像における各牛４００の位置と相関を有する。画像解析システム１０Ａによれば、横プロファイル、第１輪郭線及び第２輪郭線に基づいて牛４００間の境界が推定されるため、牛４００間の境界を比較的高精度に推定することができる。

【0077】

また、例えば、撮影画像において一部の牛４００が斜めになっている場合に、横プロファイルを参照するのみでは牛４００間の境界を正確に認識できないときがある。一方、第１輪郭線の谷部分と第２輪郭線の山部分とを結ぶ線が牛４００間の境界を示す可能性がある。画像解析システム１０Ａによれば、第１輪郭線の谷部分及び第２輪郭線の山部分を参照することによって牛４００間の境界が補正されるため、牛４００間の境界を比較的高精度に推定することができる。

【0078】

［３．他の実施の形態］
上記実施の形態の思想は、以上で説明された実施の形態に限定されない。以下、上記実施の形態の思想を適用できる他の実施の形態の一例について説明する。

【0079】

＜３－１＞
上記実施の形態１，２においては、複数の牛４００の前方斜め上方にサーモグラフィーカメラ１００が設置された。しかしながら、サーモグラフィーカメラ１００の設置位置はこれに限定されない。サーモグラフィーカメラ１００は、例えば、複数の牛４００の後方斜め上方に設置されてもよい。

【0080】

この場合に、制御部２１０は、サーモグラフィーカメラ１００による撮影画像における複数の牛４００の各々の尻部の位置を推定してもよい。制御部２１０は、例えば、複数の牛４００の各々に対応する各領域においてより高温の位置を牛４００の尻部と推定してもよい。制御部２１０は、撮影画像における各牛４００の尻部の移動状態に基づいて各牛４００の分娩兆候を推定してもよい。

【0081】

繋ぎ飼いされている牛４００においては、頭部の移動が制限されている。一方、尻部の移動は比較的自由である。この画像解析システムによれば、撮影画像における尻部の移動状態に基づいて複数の牛４００の各々の分娩兆候が推定されるため、各牛４００の分娩兆候を比較的高精度に推定することができる。

【0082】

＜３－２＞
上記の説明においては、家畜の一例として牛４００が挙げられた。しかしながら、上述の技術は牛４００以外の家畜にも適用可能である。上述の技術は、例えば、豚及び鶏の各々にも適用可能である。

【0083】

＜３－３＞
上記実施の形態１，２において、横プロファイルは、撮影画像において横方向に並ぶ複数の列の各々における縦方向に並ぶ各画素の画素値の平均値に基づいて生成された。しかしながら、横プロファイルの生成方法はこれに限定されない。横プロファイルは、例えば、撮影画像において横方向に並ぶ複数の列の各々における縦方向に並ぶ各画素の画素値の合計に基づいて生成されてもよい。要するに、横プロファイルは、撮影画像において横方向に並ぶ複数の列の各々における画素値と相関を有していればよい。

【0084】

＜３－４＞
上記実施の形態２において、第１輪郭線及び第２輪郭線の各々は、仮の境界線を補正するために用いられた。しかしながら、第１輪郭線及び第２輪郭線の各々は、必ずしも仮の境界線を補正する目的で使用されなくてもよい。例えば、境界線の推定に横プロファイルが用いられず、第１輪郭線及び第２輪郭線の少なくともいずれか一方に基づいて境界線が推定されてもよい。また、横プロファイル、第１輪郭線及び第２輪郭線の各々に基づいて複数の仮の境界線が推定され、複数の仮の境界線のいずれかが境界線として採用されてもよい。すなわち、第１輪郭線及び第２輪郭線の少なくとも一方が境界推定において補間的に用いられてもよい。

【0085】

＜３－５＞
また、上記実施の形態１，２においては、カメラの一例としてサーモグラフィーカメラ１００が用いられた。しかしながら、サーモグラフィーカメラ１００の代わりに可視カメラ（可視光カメラ）が用いられてもよい。この場合であっても、撮影画像において複数の牛４００が重なった場合に類似の問題が生じる。例えば、牛４００が黒毛牛である場合に、牛４００が重なると、牛４００の境界が不明確になる。この場合には、牛４００の領域における画素値が背景における画素値よりも低くなるため、上記実施の形態１，２における方法を適用するためには、各画素の階調反転が必要になる。また、階調反転を行なわなくても、横プロファイルの山部分が境界であると判定することが可能である。さらに、可視カメラの場合には、背景に様々な物体が写り込みやすいため、撮影画像において背景部分に加工が施されてもよい。また、この場合であっても、第１輪郭線及び第２輪郭線の各々が、仮の境界線の補正に用いられてもよいし、境界線の補正において補間的に用いられてもよい。例えば、境界線の推定において、第１輪郭線の谷部分及び第２輪郭線の山部分が参照されてもよい。

【0086】

＜３－６＞
また、上記実施の形態１，２においては、各列Ｒ１が撮影画像の横方向に対して垂直に延びる列とされた。しかしながら、各列Ｒ１は、必ずしも撮影画像の横方向に対して垂直に延びる列でなくてもよい。例えば、複数の列Ｒ１は、撮影画像の横方向に対して垂直に延びる列に対して傾斜した列を含んでいてもよい。

【0087】

図１２は、複数の列Ｒ１の一部が、サーモグラフィー画像ＩＭ１の横方向に対して垂直に延びる列に対して傾斜している例を示す図である。図１２に示されるように、サーモグラフィー画像ＩＭ１の横方向の中央に位置する列Ｒ１Ｘは、サーモグラフィー画像ＩＭ１の横方向に対して垂直に延びている。一方、列Ｒ１Ｘ以外の列Ｒ１は、列Ｒ１Ｘに対して傾斜している。この例においては、サーモグラフィー画像ＩＭ１の横方向の中央部分から横方向に遠ざかる程、列Ｒ１の傾きは大きくなっている。横プロファイルＰ３は各列Ｒ１における画素値に基づいて生成され、境界線Ｌ６，Ｌ７，Ｌ８の各々は横プロファイルＰ３に基づいて生成される。

【0088】

サーモグラフィーカメラ１００による撮影画像においては、サーモグラフィーカメラ１００に近い部分が広く映り、サーモグラフィーカメラ１００から遠い部分が狭く映る。例えば、斜め上方から複数の牛４００を撮影した場合には、仮に複数の牛４００が横方向に並び、各牛４００が縦方向に延びるように位置していたとしても、各牛４００は消失点に向かって収束する方向に傾いて撮影画像に映る。この画像解析システムによれば、複数の列Ｒ１が、横方向に対して垂直な方向に延びる列に対して傾斜した列を含むため、撮影画像における各牛４００の傾きを考慮した上で牛４００間の境界線を推定することができる。

【0089】

また、複数の横プロファイルに基づいて牛４００間の境界線が推定されてもよい。ここで用いられる複数の横プロファイルにおいては、横プロファイル生成の前提となる列Ｒ１の傾き度合いが互いに異なっていてもよい。

【0090】

図１３は、複数の横プロファイルを用いて牛４００間の境界線を推定する方法を説明するための図である。図１３を参照して、上部に位置する撮影画像においては、列Ｒ１が横方向に対して垂直である。各列Ｒ１の画素値に基づいて横プロファイルＰ４が生成されている。中央に位置する撮影画像においては、列Ｒ１が第１の傾き度合いで傾斜している。各列Ｒ１の画素値に基づいて横プロファイルＰ５が生成されている。下部に位置する撮影画像においては、列Ｒ１が第２の傾き度合いで傾斜している。各列Ｒ１の画素値に基づいて横プロファイルＰ６が生成されている。なお、第２の傾き度合いは、第１の傾き度合いよりも大きい。

【0091】

仮に、横プロファイルＰ４に基づいて境界線Ｌ９，Ｌ１０が推定され、横プロファイルＰ５に基づいて境界線Ｌ１１が推定され、横プロファイルＰ６に基づいて境界線Ｌ１２が推定されたとする。この場合に、例えば、境界線Ｌ９，Ｌ１０，Ｌ１２が牛４００間の境界線として採用される。この例においては、境界線Ｌ１０，Ｌ１１が横方向において互いに近い位置に存在するので、一方の境界線Ｌ１０が採用されているが、境界線Ｌ１０の代わりに境界線Ｌ１１が採用されてもよい。このような方法によって、牛４００間の境界線が推定されてもよい。これにより、各横プロファイルの利点を活かしながら、牛４００間の境界を高精度に推定することができる。

【0092】

以上、本発明の実施の形態について例示的に説明した。すなわち、例示的な説明のために、詳細な説明及び添付の図面が開示された。よって、詳細な説明及び添付の図面に記載された構成要素の中には、課題解決のために必須でない構成要素が含まれることがある。したがって、それらの必須でない構成要素が詳細な説明及び添付の図面に記載されているからといって、それらの必須でない構成要素が必須であると直ちに認定されるべきではない。

【0093】

また、上記実施の形態は、あらゆる点において本発明の例示にすぎない。上記実施の形態は、本発明の範囲内において、種々の改良や変更が可能である。すなわち、本発明の実施にあたっては、実施の形態に応じて具体的構成を適宜採用することができる。

【符号の説明】

【0094】

１０，１０Ａ 画像解析システム、１００ サーモグラフィーカメラ、２００，２００Ａ サーバ、２１０ 制御部、２１１ ＣＰＵ、２１２ ＲＡＭ、２１３ ＲＯＭ、２２０，２２０Ａ 記憶部、２２１，２２１Ａ 制御プログラム、２３０ 通信モジュール、２４０ 入出力Ｉ／Ｆ、３００ 牛房、４００ 牛、Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５，Ｃ６ 牛、Ｈ１，Ｈ２，Ｈ３，Ｈ４ 位置、ＩＭ１ サーモグラフィー画像、Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８，Ｌ９，Ｌ１０，Ｌ１１，Ｌ１２ 境界線、Ｎ１ ネットワーク、Ｏ１ 第１輪郭線、Ｏ２ 第２輪郭線、Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６ 横プロファイル、Ｒ１，Ｒ１Ｘ 列、Ｔ１，Ｔ２，Ｔ３，Ｔ４ 領域、Ｖ１，Ｖ２，Ｖ３ 谷部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】