特開 2024-146434 推定装置、推定方法、コンピュータープログラム及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024146434

(43)【公開日】2024-10-15

(54)【発明の名称】推定装置、推定方法、コンピュータープログラム及び情報処理装置

(51)【国際特許分類】

   G01F 23/292 20060101AFI20241004BHJP

【ＦＩ】

G01F23/292 Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023059328

(22)【出願日】2023-03-31

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(71)【出願人】

【識別番号】501220570

【氏名又は名称】アクセリア株式会社

(71)【出願人】

【識別番号】523121794

【氏名又は名称】アドバリーシステム株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】新関 智明

(72)【発明者】

【氏名】伴 泰洋

(72)【発明者】

【氏名】山田 剛

(72)【発明者】

【氏名】戸田 貴之

(72)【発明者】

【氏名】田中 望

(72)【発明者】

【氏名】長田 直之

(72)【発明者】

【氏名】小林 允

【テーマコード（参考）】

2F014

【Ｆターム（参考）】

2F014AA06

2F014AC07

2F014FA04

2F014GA01

(57)【要約】

【課題】所定の容器内に蓄積された所定の物体の状態を推定すること。
【解決手段】所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、を備える推定装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、
所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、
を備える推定装置。

【請求項2】

前記状態推定部は、前記物体の状態の推定として、前記物体が異常状態となっているか否かを推定する、請求項１に記載の推定装置。

【請求項3】

前記正解ラベルは、前記物体が正常状態であるか、前記物体の一部が固まってしまうことによる異常状態であるか、を示す請求項１又は２に記載の推定装置。

【請求項4】

前記正解ラベルは、前記異常状態について複数の種別を示す、請求項３に記載の推定装置。

【請求項5】

前記状態推定部は、前記物体の状態の推定として、前記物体の残量を推定する、請求項１に記載の推定装置。

【請求項6】

所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得ステップと、
所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得ステップにおいて取得された画像に写っている前記物体の状態を推定する状態推定ステップと、
を有する推定方法。

【請求項7】

所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、
所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、を備える推定装置としてコンピューターを機能させるためのコンピュータープログラム。

【請求項8】

所定の物体を格納する容器において、内部に残る前記物体の残量を示す情報と、前記残量の時系列における変化を示すグラフと、を画面に表示するための表示情報を生成する表示情報生成部を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、容器内の物体の状態を推定するための技術に関する。

【背景技術】

【0002】

畜産業では、畜産飼料のコストが生産コスト全体の約６割を占める。それにもかかわらず、畜産飼料の価格は不安定な相場変動の影響を受けやすい。そのため、畜産飼料の適正な管理は畜産業界にとって喫緊の課題である。畜産飼料の適正な管理を実現するためには、畜産飼料の残量を適正に把握する必要がある。

【0003】

畜産飼料は、一般的に飼料タンク内に備蓄される。飼料タンク内の畜産飼料の残量は、従来はタンク上部又はタンク側面のぞき窓から目視で管理されることが一般的である。また、タンク上部から長竿などの棒状の物体を飼料の山に差し込み深さを測ることによって残量を推測することも行われている。また、このようにタンク等の容器内の格納物の量を計ることについては様々な分野で要求があり、例えば給油のタンク残量を計測する技術なども提案されている（例えば特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許４３１２６２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、このように人手に頼った確認方法は、労力を要することや危険を伴う可能性があるという課題がある。また、赤外線センサーを飼料タンク内にレベルセンサーとして取り付けることで、ある一定量まで飼料が減った場合に報知する技術も提案されている。しかしながら、畜産飼料がある一定量に減少するまでは、残量がわからない。もし複数の段階で報知しようとすると、そのレベル毎に赤外線センサーを取り付ける必要がありコストや労力を要してしまうという問題があった。また、飼料タンク内に蓄積されている飼料の一部が固まってしまうことに起因して種々の問題が生じることもあった。このような問題は、飼料タンクに限られた問題ではなく、所定の容器内に所定の物体を備蓄する様々なケースに共通する問題である。

【0006】

上記事情に鑑み、本発明は、所定の容器内に蓄積された所定の物体の状態を推定することができる技術の提供を目的としている。

【課題を解決するための手段】

【0007】

本発明の一態様は、所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、を備える推定装置である。

【0008】

本発明の一態様は、上記の推定装置であって、前記状態推定部は、前記物体の状態の推定として、前記物体が異常状態となっているか否かを推定する。

【0009】

本発明の一態様は、上記の推定装置であって、前記正解ラベルは、前記物体が正常状態であるか、前記物体の一部が固まってしまうことによる異常状態であるか、を示す。

【0010】

本発明の一態様は、上記の推定装置であって、前記正解ラベルは、前記異常状態について複数の種別を示す。

【0011】

本発明の一態様は、上記の推定装置であって、前記状態推定部は、前記物体の状態の推定として、前記物体の残量を推定する。

【0012】

本発明の一態様は、所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得ステップと、所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得ステップにおいて取得された画像に写っている前記物体の状態を推定する状態推定ステップと、を有する推定方法である。

【0013】

本発明の一態様は、所定の物体を格納する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、所定の物体を格納している容器の内側を情報から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、を備える推定装置としてコンピューターを機能させるためのコンピュータープログラムである。

【発明の効果】

【0014】

本発明により、所定の容器内に蓄積された所定の物体の状態を推定することが可能となる。

【図面の簡単な説明】

【0015】

【図1】本発明の情報システム１００のシステム構成を示す概略ブロック図である。

【図2】飼料タンク１０の具体例を示す図である。

【図3】格納物体の補給と取り出しとの具体例を示す図である。

【図4】飼料タンク内１０の正常状態の具体例を示す図である。

【図5】異常状態の一態様である“ラットホール”の状態の具体例を示す図である。

【図6】異常状態の一態様である“ブリッジ”の状態の具体例を示す図である。

【図7】異常状態の一態様である“ブロッキング”の状態の具体例を示す図である。

【図8】異常状態の一態様である“付着残留”の状態の具体例を示す図である。

【図9】センサーユニット２０の撮像装置によって撮影される画像（タンク内画像）の具体例を示す図である。

【図10】推定装置５０の機能構成を示す概略ブロック図である。

【図11】情報提供部５３３によって提供される情報に基づいて端末装置４０に表示される画面の第一の具体例を示す図である。

【図12】情報提供部５３３によって提供される情報に基づいて端末装置４０に表示される画面の第二の具体例を示す図である。

【図13】端末装置４０の表示例を示す図である。

【図14】情報システム１００の処理の流れの具体例を示すシーケンスチャートである。

【図15】学習装置６０の機能構成の具体例を示す概略ブロック図である。

【図16】学習装置６０の処理の具体例を示すフローチャートである。

【図17】本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。

【発明を実施するための形態】

【0016】

以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図１は、本発明の情報システム１００のシステム構成を示す概略ブロック図である。

【0017】

情報システム１００は、飼料タンク１０、センサーユニット２０、中継装置３０、端末装置４０、推定装置５０及び学習装置６０を備える。中継装置３０と、センサーユニット２０とは、通信を行うことによってデータを送受信する。中継装置３０とセンサーユニット２０との間で行われる通信は、無線通信であってもよいし有線通信であってもよい。図１の例では、無線通信を一例として示している。この無線通信は、例えば短距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））であってもよいし、無線ＬＡＮ（Local Area Network）であってもよいし、ＬＰＷＡ（Low Power, Wide Area）であってもよい。中継装置３０、端末装置４０、推定装置５０及び学習装置６０は、ネットワーク７０を介して通信する。ネットワーク７０は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク７０は、複数のネットワークが組み合わされて構成されてもよい。中継装置３０は、センサーユニット２０から受信されたデータを推定装置５０に送信する。推定装置５０は、受信されたデータに基づいて飼料タンク１０内の飼料の状態について推定し、推定結果に基づいて端末装置４０にデータを送信する。

【0018】

図２は、飼料タンク１０の具体例を示す図である。飼料タンク１０は、容器の具体例である。図２に示されるように、飼料タンク１０は、タンク本体１１、上蓋１２、取り出し口１３を備える。上蓋１２の裏側には、センサーユニット２０が取り付けられる。そのため、センサーユニット２０は、飼料タンク１０の内側上部に設けられることになる。飼料タンク１０の内部には、所定の物体（以下「格納物体」という。）が格納される。本実施形態において飼料タンク１０の内部に格納される格納物体は、畜産飼料１４である。畜産飼料は、例えば粒状の物体である。畜産飼料は、例えば粒度の細かい飼料（例えばマッシュ）であってもよい。

【0019】

図３は、格納物体の補給と取り出しとの具体例を示す図である。上蓋１２が持ち上げられることによって、タンク本体１１の上部に設けられた開口部が開放される。格納物体は、開放された開口部から飼料タンク１０の内部に矢印１５で示されるように補給される。取り出し口１３には、飼料タンク１０の内部に格納された畜産飼料１４の一部を下方に取り出すための機構が設けられている。人が取り出し口１３を操作することによって、畜産飼料１４を飼料タンク１０から矢印１６で示されるように取り出すことができる。

【0020】

飼料タンク１０内の畜産飼料１４は、内部の環境や保管期間に応じてその一部が固まってしまうことがある。このように畜産飼料１４が固まってしまうと、飼料タンク１０内の畜産飼料１４の残量を正確に把握することが困難になってしまうおそれがある。また、畜産飼料１４が飼料タンク１０の内壁の一部に付着して固まってしまった場合には、単に取り出し口１３を操作するのみでは、飼料タンク１０内の畜産飼料１４の一部を取り出すことが困難になってしまうおそれもある。そのため、容器内の物体の状態として、残量を知りたいというニーズと、畜産飼料１４の一部が固まってしまうことによる異常状態が生じていないか知りたいというニーズと、がある。以下、飼料タンク１０内の正常状態と異常状態との具体例について説明する。

【0021】

図４は、飼料タンク内１０の正常状態の具体例を示す図である。正常状態である場合には、畜産飼料１４の上面には、多少の高低差が生じているとしても、取り出し口１３付近まで到達するような凹みは生じていない。また、正常状態の畜産飼料１４の内側には、空洞が生じていない。なお、ここで言う“空洞”とは、畜産飼料１４の粒と粒との間に生じてしまうような粒の大きさと同等かそれ以下の大きさの空間を指すのではなく、少なくとも粒の大きさよりも１０倍程度以上（飼料タンク１０によっては１００倍でも１０００倍でもそれ以上でもよい）の大きさの空間を指す。正常状態である場合には、飼料タンク１０内に残存している畜産飼料１４は、最も低い部位（図４の例では取り出し口１３の上面）から順に畜産飼料１４が蓄積される。そのため、正常状態である場合には、最も低い部位には殆ど畜産飼料１４が蓄積されていないにもかかわらず、それよりも高い部位（図４の例では飼料タンク１０内の斜面の部分等）に所定量以上の畜産飼料１４が付着しているような状態にはならない。

【0022】

図５は、異常状態の一態様である“ラットホール”の状態の具体例を示す図である。図５に示される異常状態では、水平面で見たときの略中心部分において、取り出し口１３付近まで到達するような凹みが生じており、上面が陥没している。この場合、畜産飼料１４は飼料タンク１０内の壁面に付着し、付着した畜産飼料１４の粒に他の畜産飼料１４の粒が次々と付着して固まっている。この場合、飼料タンク１０内に多くの畜産飼料１４が残存しているにもかかわらず、取り出し口１３を操作しただけでは畜産飼料１４が落ちてこないため取り出すことが困難である。また、取り出し口１３を操作しても畜産飼料１４が落ちてこないため、飼料タンク１０の関係者は畜産飼料１４が枯渇してしまったと誤って判断してしまうおそれもある。

【0023】

図６は、異常状態の一態様である“ブリッジ”の状態の具体例を示す図である。図６に示される異常状態では、畜産飼料１４の下面が固まってしまっており、最も低い部位（図６の例では取り出し口１３の上面）には畜産飼料１４が到達していない。この場合、飼料タンク１０内に多くの畜産飼料１４が残存しているにもかかわらず、取り出し口１３を操作しただけでは畜産飼料１４が落ちてこないため取り出すことが困難である。また、取り出し口１３を操作しても畜産飼料１４が落ちてこないため、飼料タンク１０の関係者は畜産飼料１４が枯渇してしまったと誤って判断してしまうおそれもある。

【0024】

図７は、異常状態の一態様である“ブロッキング”の状態の具体例を示す図である。図７に示される異常状態では、畜産飼料１４の内側に空洞が生じている。例えば、畜産飼料１４の内側に蟻の巣状の空洞が生じている。この場合、畜産飼料１４は飼料タンク１０内の壁面に付着し、付着した畜産飼料１４の粒に他の畜産飼料１４の粒が次々と付着して固まっている。この場合、飼料タンク１０内に多くの畜産飼料１４が残存しているにもかかわらず、取り出し口１３を操作しただけでは畜産飼料１４が落ちてこないため取り出すことが困難である。また、取り出し口１３を操作しても畜産飼料１４が落ちてこないため、飼料タンク１０の関係者は畜産飼料１４が枯渇してしまったと誤って判断してしまうおそれもある。

【0025】

図８は、異常状態の一態様である“付着残留”の状態の具体例を示す図である。図８に示される異常状態では、飼料タンク１０内の畜産飼料１４の大部分が取り出された状態であるが、一部が飼料タンク１０内の壁面に付着して固まって残っている。この場合、飼料タンク１０内に畜産飼料１４が残存しているにもかかわらず、取り出し口１３を操作しただけでは畜産飼料１４が落ちてこないため取り出すことが困難である。また、このように壁面に付着した畜産飼料１４をそのままにしていると、新たに投入した畜産飼料１４がこれらの付着した畜産飼料１４にさらに付着し、ラットホールに発展してしまうおそれがある。

【0026】

センサーユニット２０は、飼料タンク１０の内側上部に設けられる。センサーユニットは、制御装置及び撮像装置を備える。制御装置は、所定のタイミングで撮像装置を動作させて飼料タンク１０内を撮像することでタンク内画像を取得し、取得したタンク内画像を中継装置３０に送信する。タンク内画像は、飼料タンク１０の画像である。撮像装置は、飼料タンク１０の内側上部から下方を撮像する。図９は、センサーユニット２０の撮像装置によって撮影される画像（タンク内画像）の具体例を示す図である。タンク内画像には、飼料タンク１０のタンク本体１１の内壁と、畜産飼料１４とが撮影されている。タンク内画像において、畜産飼料１４の外縁は、十分な量が飼料タンク１０内に蓄積されている場合であって且つ正常状態である場合には、図９に示されるように略円形を形成する。図９では、畜産飼料１４の外縁が形成する円の直径の長さはｄ１である。撮像装置は、撮像してえら得たタンク内画像のデータを制御装置に出力する。

【0027】

中継装置３０は、通信装置である。中継装置３０は、センサーユニット２０との間で通信を行う第一通信インターフェースと、ネットワーク７０を介して他装置との間で通信を行う第二通信インターフェースを備える。中継装置３０は、第一通信インターフェースによってセンサーユニット２０からデータを受信する。中継装置３０は、受信されたデータを、第二通信インターフェースによって推定装置５０に送信する。

【0028】

端末装置４０は、飼料タンク１０に関連するユーザーによって使用される情報処理装置である。端末装置４０は、例えば携帯電話、スマートフォン、タブレット端末、パーソナルコンピューター、テレビ受像器などの装置である。端末装置４０は、推定装置５０から、飼料タンク１０内の格納物体に関する情報を受信する。端末装置４０は、受信された情報を出力する。端末装置４０は、例えば音声を出力することによって情報を出力してもよいし、画面を表示することによって情報を出力してもよい。画面の表示は、例えばブラウザによって行われてもよいし、特定のアプリケーションによって行われてもよい。ユーザーは、端末装置４０の出力を知覚することによって、飼料タンク１０内の格納物体の状態（残量、異常状態となっているか否かなど）を認識することができる。

【0029】

推定装置５０は、パーソナルコンピューターやサーバー装置等の情報処理装置を用いて構成される。図１０は、推定装置５０の機能構成を示す概略ブロック図である。推定装置５０は、通信部５１、記憶部５２及び制御部５３を備える。

【0030】

通信部５１は、通信インターフェースを用いて構成される。通信部５１は、無線通信又は有線通信でネットワーク７０に接続し、他の装置との間でデータ通信する。

【0031】

記憶部５２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部５２は、制御部５３によって記録されるデータを記憶する。記憶部５２に記憶されているデータは、制御部５３によって読み出される。記憶部５２は、例えばタンク情報記憶部５２１及び学習済モデル記憶部５２２として機能する。

【0032】

タンク情報記憶部５２１は、飼料タンク１０における畜産飼料１４に関する情報を記憶する。例えば、タンク情報記憶部５２１は、センサーユニット２０から送信されたタンク内画像のログを記録する。例えば、タンク情報記憶部５２１は、制御部５３によって推定された結果（飼料タンク１０内の状態）を示す情報のログを記憶する。

【0033】

学習済モデル記憶部５２２は、予め学習処理によって生成された学習済モデルの情報を記憶する。このような学習処理は、例えば他の装置（例えば学習装置６０）によって実行されてもよいし、自装置（推定装置５０）によって実行されてもよい。学習済モデル記憶部５２２が記憶する学習済モデルは、センサーユニット２０の撮像装置によって撮影されるタンク内画像に基づいて飼料タンク１０内の状態を推定するために使用される学習済モデルである。このような学習済モデルは、例えば予め生成されたタンク内画像と、そのタンク内画像における状態を示す正解ラベルと、の組み合わせを含む教師データを複数用いて教師有り学習を実行することによって得られてもよい。

【0034】

飼料タンク１０内の畜産飼料１４が異常状態になっている場合と正常状態である場合とでは、タンク内画像に違いが生じうる。例えば、ラットホールが生じている場合には、タンク内画像の中央部付近において深い凹部が写る。例えば、ブリッジが生じている場合には、飼料タンク１０内の畜産飼料１４の一部が固まっていることに応じてその上面にも凹凸として影響が生じうる。例えば、ブロッキングが生じている場合には、飼料タンク１０内の畜産飼料１４の一部が広範囲にわたって固まっていることに応じて、その上面にも凹凸として影響が生じうる。例えば、付着残留が生じている場合には、タンク内画像において殆どの畜産飼料１４が無いにもかかわらず内壁ではなく畜産飼料１４の色が広範囲にわたって写る。このように、タンク内画像と異常状態との間には相関がある。

【0035】

飼料タンク内の畜産飼料１４の量によっても、タンク内画像に違いが生じうる。畜産飼料１４が正常状態である場合には、飼料タンク１０内に蓄積された畜産飼料１４の高さが高いほど直径ｄ１が長くなり、畜産飼料１４の高さが低いほど直径ｄ１が短くなる。このように、タンク内画像と畜産飼料１４の量との間にも相関がある。

【0036】

教師データとして用いられるタンク内画像は、状態推定部５３２の推定対象となる飼料タンク１０と同じ大きさや同じ型の飼料タンク１０の内部の画像であることが望ましいが、他の大きさの飼料タンク１０や他の型の飼料タンク１０の内部の画像であってもよい。教師データとして用いられるタンク内画像における畜産飼料１４は、状態推定部５３２の推定対象となる飼料タンク１０に蓄積される畜産飼料１４と同じ種別や同じ粒径の畜産飼料１４であることが望ましいが、他の種別や他の粒径の畜産飼料１４の画像であってもよい。学習済モデル記憶部５２２は、例えば飼料タンク１０の種別毎に学習済モデルを記憶してもよいし、畜産飼料１４の種別毎に学習済モデルを記憶してもよい。学習済モデル記憶部５２２は、例えば飼料タンク１０の種別と畜産飼料１４の種別との組み合わせ毎に学習済モデルを記憶してもよい。これらの場合、後述する状態推定部５３２は、推定対象となる飼料タンク１０や畜産飼料１４の種別に応じた学習済モデルを使用して推定処理を実行してもよい。

【0037】

制御部５３は、ＣＰＵ（Central Processing Unit）等のプロセッサーとメモリーとを用いて構成される。制御部５３は、ＣＰＵがプログラムを実行することによって、画像取得部５３１、状態推定部５３２及び情報提供部５３３として機能する。なお、制御部５３の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。プログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ：Solid State Drive）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。プログラムは、電気通信回線を介して送信されても良い。

【0038】

画像取得部５３１は、センサーユニット２０から送信されたデータを、通信部５１を介して受信する。画像取得部５３１は、受信されたデータから、センサーユニット２０の撮像装置によって撮影されたタンク内画像の画像データを取得する。画像取得部５３１は、取得されたタンク内画像の画像データをタンク情報記憶部５２１にログデータとして記録する。

【0039】

状態推定部５３２は、画像取得部５３１によって取得されたタンク内画像と学習済モデルとを用いて、飼料タンク１０内の畜産飼料１４の状態を推定する。畜産飼料１４の状態の具体例として、畜産飼料１４の残量と、畜産飼料１４に異常状態が生じているか否か、とがある。状態推定部５３２が畜産飼料１４の残量を推定する場合には、正解ラベルとして畜産飼料１４の残量を含む教師データを用いた学習処理によって得られた学習済モデルが用いられる。状態推定部５３２が畜産飼料１４に異常状態が生じているか否かを推定する場合には、正解ラベルとして異常状態が生じているか否かを示す教師データを用いた学習処理によって得られた学習済モデルが用いられる。この場合には、様々な異常状態が生じている教師データと、正常状態（異常状態が生じていない状態）の教師データとを用いて学習処理が実行されてもよい。状態推定部５３２は推定結果をタンク情報記憶部５２１に記録する。このとき、状態推定部５３２は、推定結果と、その推定結果を得る際に使用されたタンク内画像とを対応付けて記録してもよい。状態推定部５３２は、推定結果と、その推定結果が得られた際の日時を示す情報とを対応付けて記録してもよい。

【0040】

情報提供部５３３は、飼料タンク１０の関係者が使用する端末装置４０に対し情報を提供する。情報提供部５３３は、端末装置４０に対し、その関係者が使用する飼料タンク１０に取り付けられたセンサーユニット２０によって得られた測定値に基づいて得られる情報を提供する。例えば、飼料タンク１０と、情報の提供先となる端末装置４０とが予め対応付けて記憶部５２に記録されていてもよい。例えば、端末装置４０から、飼料タンク１０を示す識別子とともに要求データが送信され、要求データに含まれる識別子が示す飼料タンク１０に関する情報がその端末装置４０に応答情報として送信されてもよい。この場合、端末装置４０から飼料タンク１０に関する認証がなされることが望ましい。情報提供部５３３が提供する情報は、少なくとも飼料タンク１０内の飼料の状態を含む。情報提供部５３３が提供する情報は、例えば残量の推定結果であってもよいし、異常状態となっているか否かの推定結果であってもよい。また、情報提供部５３３は、異常状態との推定結果が得られた場合には、プッシュ通信で端末装置４０に対して異常の発生を通知してもよい。

【0041】

図１１は、情報提供部５３３によって提供される情報に基づいて端末装置４０に表示される画面の第一の具体例を示す図である。図１１の例では、表示画面には、タンク名９０１、タンク状体画像９０２、残量推定値９０３、温度測定値９０４、湿度測定値９０５、電池残量値９０６、直近更新日時９０７、直近開閉日時９０８及び飼料名９０９が表示される。

【0042】

タンク名９０１は、表示されている画面が示す飼料タンク１０のタンク名を示す。タンク名９０１は、さらに飼料タンク１０の大きさを示す情報を含んでもよい。

【0043】

タンク状体画像９０２は、飼料タンク１０内の畜産飼料１４の残量の概略を示す画像である。タンク状体画像９０２は、推定装置５０の状態推定部５３２によって推定された状態に応じて変化する。タンク状体画像９０２は、異常状態が生じていると推定された場合には、その異常状態の種別に応じたパターンの画像が表示されてもよい。例えば、異常状態としてラットホール、ブリッジ、ブロッキング、付着残留の４つのパターンがある場合には、正常状態を加えて少なくとも５つのパターンそれぞれに応じた画像が予め準備されてもよい。

【0044】

準備された画像は、端末装置４０において予め記憶されていてもよいし、推定装置５０の記憶部５２に記憶されていてもよい。推定装置５０が画像を記憶している場合には、情報提供部５３３は端末装置４０に対して状態のパターンに応じた画像を読み出して端末装置４０に送信する。タンク状体画像９０２は、蓄積形状の推定結果に加えてさらに残量の推定結果に応じて変化してもよい。例えば、残量の推定結果が０％～３５％である場合と、残量の推定結果が３６％～７０％である場合と、残量の推定結果が７１％～１００％である場合とで、それぞれの状態（正常状態や異常状態の種別）に応じた画像が予め準備されてもよい。この具体例の場合には、１５パターンの画像が準備されてもよい。

【0045】

残量推定値９０３は、状態推定部５３２の推定結果である残量の値を示す。残量推定値９０３は、他の文字列に比べてより大きな文字列で表示されてもよい。温度測定値９０４は、飼料タンク１０内の温度の測定値を示す。このような表示がなされる場合、温度センサーがセンサーユニット２０に設けられる。湿度測定値９０５は、飼料タンク１０内の湿度の測定値を示す。このような表示がなされる場合、湿度センサーがセンサーユニット２０に設けられる。電池残量値９０６は、センサーユニット２０に設けられた電池の残量を示す。このような表示がなされる場合、電池の残量を測定するセンサーがセンサーユニット２０に設けられる。

【0046】

直近更新日時９０７は、表示されている各情報が取得された日時を示す。
直近開閉日時９０８は、開閉推定部５３５によって最も近いタイミングで上蓋１２が開閉されたと推定された日時を示す。ユーザーは、直近開閉日時９０８の値を見ることによって、いつ上蓋１２が開閉されたかを知ることができる。もし、ユーザーにとって想定外の日時が表示されている場合には、ユーザーが把握していない第三者によって上蓋１２が開閉された可能性がある。直近開閉日時９０８が表示されることによって、ユーザーは、そのような異常事態の発生を容易に知ることが可能となる。
飼料名９０９は、飼料タンク１０内に蓄積されている飼料の種別名を示す。

【0047】

図１２は、情報提供部５３３によって提供される情報に基づいて端末装置４０に表示される画面の第二の具体例を示す図である。図１２の例では、残量推定値９１１及び残量推移グラフ９１２が表示される。残量推定値９１１は、残量推定値９０３と同様の情報を含む。残量推移グラフ９１２は、飼料タンク１０内の畜産飼料１４の残量の推移を時系列に表すグラフである。例えば、縦軸は残量（例えば満タンを１００％としたときのパーセンテージ）を示し、横軸は時間を示す。

【0048】

図１３は、端末装置４０の表示例を示す図である。複数の飼料タンク１０を管理するユーザーの端末装置４０には、図１３に示されるように１つの画面で複数の飼料タンク１０の情報が表示されてもよい。図１３の例では、図１１に示される画像が１つの画面で２つ横に並べて表示されている。図１１に示される画像は１つの画面で３つ以上並べて表示されてもよいし、縦に並べて表示されてもよいし、縦及び横に並べて表示されてもよい。

【0049】

図１４は、情報システム１００の処理の流れの具体例を示すシーケンスチャートである。センサーユニット２０の制御装置は、所定のタイミングでタンク内を撮像してタンク内画像を取得する。センサーユニット２０の制御装置は、取得されたタンク内画像を含むデータを中継装置３０に送信する（ステップＳ１０１）。中継装置３０は、センサーユニット２０からデータを受信すると、受信されたデータを推定装置５０に中継する（ステップＳ１０２）。

【0050】

推定装置５０の画像取得部５３１は、タンク内画像を含むデータを受信すると、受信されたデータに含まれるタンク内画像をログデータとして記憶部５２に記録する（ステップＳ１０３）。状態推定部５３２は、受信されたデータに含まれるタンク内画像に基づいて状態を推定する（ステップＳ１０４）。情報提供部５３３は、推定結果を含む提供情報のデータを生成する。情報提供部５３３は、得られた推定結果の飼料タンク１０に対応付けられている端末装置４０に対し、提供情報のデータを送信する（ステップＳ１０５）。端末装置４０は、提供情報のデータを受信すると、受信されたデータに基づいて画面のデータ（表示情報）を生成する（ステップＳ１０６）。そして、端末装置４０は、生成された表示情報に基づいて画面を表示する（ステップＳ１０７）。なお、表示情報は端末装置４０のプロセッサーによって生成されてもよいし、推定装置５０の制御部５３（例えば情報提供部５３３）によって生成されてもよい。端末装置４０は、自装置に設けられている画像表示装置や、自装置に接続されている画像表示装置に、表示情報に応じた画面（例えば図１１～図１３に示される画面）を表示する。

【0051】

図１５は、学習装置６０の機能構成の具体例を示す概略ブロック図である。学習装置６０は、例えばパーソナルコンピューターやサーバー装置などの情報処理装置を用いて構成される。学習装置６０は、通信部６１、記憶部６２及び制御部６３を備える。

【0052】

通信部６１は、通信機器である。通信部６１は、例えばネットワークインターフェースとして構成されてもよい。通信部６１は、制御部６３の制御に応じて、ネットワーク７０を介して他の装置とデータ通信する。通信部６１は、無線通信を行う装置であってもよいし、有線通信を行う装置であってもよい。

【0053】

記憶部６２は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部６２は、制御部６３によって使用されるデータを記憶する。記憶部６２は、例えば学習データ記憶部６２１及び学習済モデル記憶部６２２として機能してもよい。

【0054】

学習データ記憶部６２１は、学習装置６０において実行される学習処理に用いられる学習データを記憶する。学習データ記憶部６２１が記憶する学習データは、タンク内画像と正解ラベルとを含む。学習データ記憶部６２１は、例えば学習済モデル記憶部５２２が記憶する学習済モデルの生成に使用される教師データを学習データとして記憶してもよい。

【0055】

学習済モデル記憶部６２２は、学習データ記憶部６２１に記憶されている学習データを用いた学習処理によって得られる学習済モデルを記憶する。

【0056】

制御部６３は、ＣＰＵ等のプロセッサーとメモリーとを用いて構成される。制御部６３は、プロセッサーがプログラムを実行することによって、情報制御部６３１及び学習制御部６３２として機能する。なお、制御部６３の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、半導体記憶装置（例えばＳＳＤ）等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。

【0057】

情報制御部６３１は、情報の入出力を制御する。例えば、情報制御部６３１は、他の機器（情報処理装置や記憶媒体）から学習データを取得し、学習データ記憶部６２１に記録する。例えば、情報制御部６３１は、学習済モデル記憶部６２２に記憶されている学習済モデルを、他の装置（例えば推定装置５０）に対して送信する。

【0058】

学習制御部６３２は、学習データ記憶部６２１に記憶されている学習データを用いて学習処理を実行する。このような学習処理の具体例として、例えば、サポートベクトルマシンやニューラルネットワーク等の分類のための教師あり学習が用いられてもよい。学習制御部は、例えば教師あり学習を行うことによって、入力されるタンク内画像に基づいて畜産飼料１４の状態を推定するための学習済モデルを生成する。学習制御部６３２は、生成された学習済モデルを学習済モデル記憶部６２２に記録する。学習制御部６３２によって得られた学習済モデルは、推定装置５０に対して送信され、推定装置５０の学習済モデル記憶部５２２に記録されてもよい。このような学習済モデルは、入力としてタンク内画像を与えることによって、出力として飼料タンク１０内の畜産飼料１４の状態を示す値を得ることが可能である。

【0059】

図１６は、学習装置６０の処理の具体例を示すフローチャートである。まず、情報制御部６３１は学習データを取得する（ステップＳ１０１）。学習データは、例えばユーザーによって入力されてもよいし、他の情報機器から通信によって取得されてもよいし、学習装置６０に接続された記録媒体から取得されてもよい。学習制御部６３２は、学習データを用いて学習処理を実行し、学習済モデルを学習済モデル記憶部６２２に記録する（ステップＳ１０２）。

【0060】

このように構成された情報システム１００では、所定の容器（例えば飼料タンク１０）内に蓄積された所定の物体（例えば畜産飼料１４）の状態を推定することが可能となる。具体的には以下の通りである。

【0061】

情報システム１００では、所定の容器内に画像センサーが設けられる。画像センサーによって、容器の内側上部から格納物体の上面を含むタンク内の画像が撮像される。このタンク内画像に基づいて、所定の容器内に格納されている格納物体の状態（量や異常など）が推定される。レベルセンサーのように、格納物体の量がある閾値に達しているか否かということが検知されるのではなく、画像に基づいて推定される。そのため、より少ない数のセンサーで、より高い精度で状態を推定することが可能となる。

【0062】

具体的には、飼料タンク１０内の畜産飼料１４の量が推定される。そのため、ユーザーは格納物体の蓄積量について情報を容易に取得することが可能となる。具体的には、飼料タンク１０内の畜産飼料１４が異常状態となっているか否かが推定されてもよい。そのため、ユーザーは格納物体の蓄積量について情報を容易に取得することが可能となる。

【0063】

このように残量や異常の有無に関する情報をよりリアルタイムに近いタイミングで容易に取得することができるため、畜産生産者や飼料管理者は畜産飼料をより効率的に管理することが可能となる。例えば、補給をしなければならないタイミングをより適切に判断することが可能となる。さらに、畜産生産者や飼料管理者は、品質のよい畜産飼料をオンデマンドで調達することが可能となるため、畜産物の品質を向上させることも可能となる。

【0064】

また、飼料供給会社にとっては、より効率的に畜産飼料を生産することが可能となり、品質を高く維持しつつ、価格を低くすることが可能となる。さらに、飼料供給会社にとっては、酪農地域の特性である広大な営業エリアの供給管理をより容易に行うことが可能となる。

【0065】

図１７は、本実施形態に適用される情報処理装置９０のハードウェア構成例の概略を示す図である。情報処理装置９０は、プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４、入出力インターフェース９５及び内部バス９６を備える。プロセッサー９１、主記憶装置９２、通信インターフェース９３、補助記憶装置９４及び入出力インターフェース９５は、内部バス９６を介して互いに通信可能に接続される。情報処理装置９０は、例えば推定装置５０及び学習装置６０に適用されてもよい。この場合、例えば通信部５１及び通信部６１は通信インターフェース９３を用いて構成されてもよい。例えば記憶部５２及び記憶部６２は補助記憶装置９４を用いて構成されてもよい。また、制御部５３及び制御部６３は、プロセッサー９１及び主記憶装置９２を用いて構成されてもよい。

【0066】

（変形例）
図１の例では、容器の具体例として飼料タンクが適用され、容器に格納される物体（格納物体）の具体例として畜産飼料が適用された。しかしながら、容器及び格納物体は、それぞれ飼料タンク及び畜産飼料に限定される必要は無い。例えば、格納物体の具体例として、砂、石、粒状のポリマー、動物の体毛がある。個々の格納物体の大きさが容器の大きさに比べて十分に小さく、格納物体の堆積時の形状（特に上面の形状）が変化するようなものであってもよい。また、格納物体の具体例として上述したような固体が適用されてもよいし、水や石油などのような液体が適用されてもよい。

【0067】

状態推定部５３２は、タンク内画像において畜産飼料１４と飼料タンク１０の内壁との境界線を推定してもよい。このような推定処理は、例えば色の違いに基づいて境界線を推定する処理として実装されてもよいし、学習済モデルを用いて境界線を推定する処理として実装されてもよい。この場合、状態推定部５３２は、境界線の内側の領域の大きさに基づいて畜産飼料１４の量を推定してもよい。例えば、境界線を円に近似することでその直径ｄ１を算出し、直径ｄ１に応じて畜産飼料１４の量が推定されてもよい。

【0068】

センサーユニット２０の設置位置は、飼料タンク１０のタンク本体１１の内側であって畜産飼料１４の上面を撮影可能な位置であればあればどこでもよい。そのため、センサーユニット２０の設置位置は、上述したような上蓋１２の裏側でなくてもよい。

【0069】

情報提供部５３３は、センサーユニット２０によって撮影された画像（例えば図９に示す画像）を端末４０に対して送信してもよい。この場合、端末４０は、センサーユニット２０によって撮影された画像を表示してもよい。例えば、図１１～図１３に示すような表示において、上記画像がさらに表示されてもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0070】

１００…情報システム， １０…飼料タンク， １１…タンク本体， １２…上蓋， １３…取り出し口， １４…畜産飼料， ２０…センサーユニット， ３０…中継装置， ４０…端末装置， ５０…推定装置， ５１…通信部， ５２…記憶部， ５３…制御部， ５３１…画像取得部， ５３２…状態推定部， ５３３…情報提供部， ６０…学習装置， ６１…通信部， ６２…記憶部， ６２１…学習データ記憶部， ６２２…学習済モデル記憶部， ６３…制御部， ６３１…情報制御部， ６３２…学習制御部， ９０１…タンク名， ９０２…タンク状体画像， ９０３…残量推定値， ９０４…温度測定値， ９０５…湿度測定値， ９０６…電池残量値， ９０７…直近更新日時， ９０８…直近開閉日時， ９０９…飼料名

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2024-05-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

上方から補給される所定の粒状の物体を格納し下方に取り出し口を有する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、
所定の物体を格納している容器の内側を上方から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、
を備え、
前記正解ラベルは、前記物体が正常状態であるか、前記物体の一部が固まってしまうことによる異常状態であるか、を示し、
前記正解ラベルは、前記異常状態について複数の種別を示す、推定装置。

【請求項2】

前記状態推定部は、前記物体の状態の推定として、前記物体が異常状態となっているか否かを推定する、請求項１に記載の推定装置。

【請求項3】

前記状態推定部は、前記物体の状態の推定として、前記物体の残量を推定する、請求項１に記載の推定装置。

【請求項4】

上方から補給される所定の粒状の物体を格納し下方に取り出し口を有する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得ステップと、
所定の物体を格納している容器の内側を上方から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得ステップにおいて取得された画像に写っている前記物体の状態を推定する状態推定ステップと、
を有し、
前記正解ラベルは、前記物体が正常状態であるか、前記物体の一部が固まってしまうことによる異常状態であるか、を示し、
前記正解ラベルは、前記異常状態について複数の種別を示す、推定方法。

【請求項5】

上方から補給される所定の粒状の物体を格納し下方に取り出し口を有する容器の内側に設けられた撮像装置によって撮像される画像を取得する取得部と、
所定の物体を格納している容器の内側を上方から撮影した画像と、前記画像に写っている前記物体の状態を示す正解ラベルと、を含む学習データを用いて予め学習処理を行うことによって得られた学習済モデルを用いて、前記取得部によって取得された画像に写っている前記物体の状態を推定する状態推定部と、を備え、
前記正解ラベルは、前記物体が正常状態であるか、前記物体の一部が固まってしまうことによる異常状態であるか、を示し、
前記正解ラベルは、前記異常状態について複数の種別を示す推定装置としてコンピューターを機能させるためのコンピュータープログラム。