(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-28
(45)【発行日】2024-11-06
(54)【発明の名称】システム、プログラム及びシステムの制御方法
(51)【国際特許分類】
A01G 7/00 20060101AFI20241029BHJP
G06Q 50/02 20240101ALI20241029BHJP
【FI】
A01G7/00 603
G06Q50/02
(21)【出願番号】P 2019228800
(22)【出願日】2019-12-19
【審査請求日】2022-12-15
(73)【特許権者】
【識別番号】390002761
【氏名又は名称】キヤノンマーケティングジャパン株式会社
(74)【代理人】
【識別番号】100114775
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】廣光 誠一
(72)【発明者】
【氏名】阿部 桂久
(72)【発明者】
【氏名】中田 聡一郎
(72)【発明者】
【氏名】松本 あづさ
【審査官】中村 圭伸
(56)【参考文献】
【文献】特許第6261492(JP,B2)
【文献】特許第4009441(JP,B2)
【文献】特開2005-013057(JP,A)
【文献】国際公開第2019/208538(WO,A1)
【文献】特開2019-033720(JP,A)
【文献】特許第4012554(JP,B2)
【文献】特許第6262929(JP,B2)
【文献】米国特許出願公開第2010/0114535(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G06Q 50/02
(57)【特許請求の範囲】
【請求項1】
圃場における特定の農作物の画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の複数の生育指標データを生成する生成手段と、
前記生成手段によって生成された複数の日時の複数の生育指標データを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記複数の日時の複数の生育指標データに基づき、複数の生育ステージを含む期間における前記特定の農作物にかかる複数の生育指標データの推移を表示するための制御を行う制御手段と、
前記圃場の環境に関する環境情報データを取得するためのセンサデバイスと、
前記画像のヘッダ領域に、前記センサデバイスによって測定されたデータに基づく情報を記録することによって、前記画像と前記測定されたデータに基づく情報とを関連付けて記録するように制御する記録制御手段と、
前記画像取得手段により取得された前記画像を解析対象として、前記農作物の生育指標データを得るための画像解析を行うように指示する指示手段と、を有し
前記記録制御手段は、前記画像解析に基づく前記生育指標データを前記画像のヘッダ領域にさらに記録するように制御することを特徴とするシステム。
【請求項2】
前記制御手段は、前記期間における複数の生育指標データの推移のそれぞれを示す複数のグラフを同一の時間軸に対応付けて表示するように制御することを特徴とする請求項1に記載のシステム。
【請求項3】
前記制御手段は、前記期間における前記特定の農作物にかかる複数の生育指標データの推移と、前記複数の生育指標データのモデルと、を共に表示するように制御することを特徴とする請求項1または2に記載のシステム。
【請求項4】
圃場における特定の農作物の画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する生成手段と、
前記生成手段によって生成された複数の日時の生育指標データを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記複数の日時の生育指標データに基づき、複数の生育ステージを含む期間における前記特定の農作物にかかる前記生育指標データの推移と、過去の統計に基づくモデルと、を共に表示するための制御を行う制御手段と、
前記圃場の環境に関する環境情報データを取得するためのセンサデバイスと、
前記画像のヘッダ領域に、前記センサデバイスによって測定されたデータに基づく情報を記録することによって、前記画像と前記測定されたデータに基づく情報とを関連付けて記録するように制御する記録制御手段と、
前記画像取得手段により取得された前記画像を解析対象として、前記農作物の生育指標データを得るための画像解析を行うように指示する指示手段と、を有し
前記記録制御手段は、前記画像解析に基づく前記生育指標データを前記画像のヘッダ領域にさらに記録するように制御することを特徴とするシステム。
【請求項5】
前記制御手段は、前記期間における前記生育指標データの推移を示すグラフと、前記モデルのグラフとを比較表示するように制御することを特徴とする請求項4に記載のシステム。
【請求項6】
前記圃場の環境に関する環境情報データを取得する環境情報取得手段をさらに有し、
前記蓄積手段はさらに、前記環境情報取得手段で取得した前記複数の日時の環境情報データを蓄積し、
前記制御手段はさらに、前記複数の日時の環境情報データに基づいて前記生育指標データの推移を表示するための制御を行うことを特徴とする請求項1~5のいずれか1項に記載のシステム。
【請求項7】
前記環境情報取得手段は、前記圃場の環境に関する測定するセンサデバイスで測定された測定データに基づく環境情報データを取得することを特徴とする請求項6に記載のシステム。
【請求項8】
前記蓄積手段は前記複数の日時の農作物の画像も蓄積することを特徴とする請求項1~7のいずれか1項に記載のシステム。
【請求項9】
前記制御手段はさらに、前記期間に含まれる特定の日時における前記生育指標データと前記圃場の環境に関する環境情報データの少なくとも一方を表示するように制御することを特徴とする請求項1~8のいずれか1項に記載のシステム。
【請求項10】
前記制御手段は、前記生育指標データと前記環境情報データの少なくとも一方と共に、前記特定の日時における前記圃場の画像または前記農作物の画像の少なくとも一方を表示するように制御することを特徴とする請求項9に記載のシステム。
【請求項11】
前記特定の農作物はイネ科の植物であり、
前記生育指標データは前記農作物の茎数に関するデータを含み、
前記生成手段は、前記画像取得手段によって取得された前記農作物の画像に基づき、農作物の葉先の数をカウントし、カウントされた葉先の数に基づいて前記農作物の茎数を特定することを特徴とする請求項1~10のいずれか1項に記載のシステム。
【請求項12】
前記生育指標データは、前記農作物の茎数、草丈、葉色に関するデータを含むことを特徴とする請求項11に記載のシステム。
【請求項13】
前記生育指標データは単位面積当たりの植被率、茎数に対する穂の出た茎の割合、黄色に変色した穂の割合、穂の数、1穂当たりの籾数、茎の傾き、茎の曲がりの程度の少なくとも1つに関するデータを含むことを特徴とする請求項1~12のいずれか1項に記載のシステム。
【請求項14】
前記制御手段はさらに、収穫時期と単位面積当たりの収穫量の予想の少なくとも一方を表示するように制御することを特徴とする請求項1~13のいずれか1項に記載のシステム。
【請求項15】
前記生成手段は、前記蓄積手段に蓄積された複数の日時の生育指標データと前記圃場の環境に関する環境情報データを生育モデルデータと比較することによって前記農作物の生育指標データを生成することを特徴とする請求項1~14のいずれか1項に記載のシステム。
【請求項16】
前記蓄積手段に蓄積された前記生育指標データを課金の状況に応じて所定の端末に提供するように処理する処理手段を有することを特徴とする請求項1~15のいずれか1項に記載のシステム。
【請求項17】
前記環境情報データは前記圃場に関する、土壌の色、土壌の水分量、土壌中の所定の複数の化学物質の割合、土壌のph値、気象情報、緯度経度、標高、天気、降水量、降雨量、降雪量、気温、湿度、圃場の水位、圃場の水温、照度、日照時間、風速、気圧の少なくとも1つに関するデータを含むことを特徴とする請求項6、7、9、10、15のいずれか1項に記載のシステム。
【請求項18】
前記蓄積手段は、前記農作物の画像に基づき生成された前記生育指標データを前記画像に関連付けて記憶することを特徴とする請求項1~17のいずれか1項に記載のシステム。
【請求項19】
前記蓄積手段は、前記生育指標データを、EXIF規格のフォーマットに従った前記画像のファイルのヘッダ領域に記憶することを特徴とする請求項18に記載のシステム。
【請求項20】
前記蓄積手段は、前記生育指標データをWAGRI規格のデータプラットフォームのAPIフォーマットに従って記憶することを特徴とする請求項18に記載のシステム。
【請求項21】
前記画像取得手段は前記農作物の画像を撮影するネットワークカメラまたは測距可能なカメラで撮影された画像を取得することを特徴とする請求項1~20のいずれか1項に記載のシステム。
【請求項22】
少なくとも1つのコンピュータを、請求項1~21のいずれか1項に記載されたシステムの各手段として機能させるためのプログラム。
【請求項23】
圃場における特定の農作物の画像を取得する画像取得ステップと、
前記画像取得ステップによって取得された前記農作物の画像に基づき前記農作物の複数の生育指標データを生成する生成ステップと、
前記生成ステップによって生成された複数の日時の複数の生育指標データを蓄積する蓄積ステップと、
前記蓄積ステップによって蓄積された前記複数の日時の複数の生育指標データに基づき、複数の生育ステージを含む期間における前記特定の農作物にかかる複数の生育指標データの推移を表示するための制御を行う制御ステップと、
前記圃場の環境に関する環境情報データを取得するための環境情報データ取得ステップと、
前記画像のヘッダ領域に、前記
環境情報データ取得ステップによって
取得されたデータに基づく情報を記録することによって、前記画像と前記
取得されたデータに基づく情報とを関連付けて記録するように制御する記録制御ステップと、
前記画像取得ステップにより取得された前記画像を解析対象として、前記農作物の生育指標データを得るための画像解析を行うように指示する指示ステップと、を有し
前記記録制御ステップは、前記画像解析に基づく前記生育指標データを前記画像のヘッダ領域にさらに記録するように制御することを特徴とするシステムの制御方法。
【請求項24】
圃場における特定の農作物の画像を取得する画像取得ステップと、
前記画像取得ステップによって取得された前記農作物の画像に基づき前記農作物の生育指標データを生成する生成ステップと、
前記生成ステップによって生成された複数の日時の生育指標データを蓄積する蓄積ステップと、
前記蓄積ステップによって蓄積された前記複数の日時の生育指標データに基づき、複数の生育ステージを含む期間における前記特定の農作物にかかる前記生育指標データの推移と、過去の統計に基づくモデルと、を共に表示するための制御を行う制御ステップと、
前記圃場の環境に関する環境情報データを取得するための環境情報データ取得ステップと、
前記画像のヘッダ領域に、前記
環境情報データ取得ステップによって
取得されたデータに基づく情報を記録することによって、前記画像と前記
取得されたデータに基づく情報とを関連付けて記録するように制御する記録制御ステップと、
前記画像取得ステップにより取得された前記画像を解析対象として、前記農作物の生育指標データを得るための画像解析を行うように指示する指示ステップと、を有し
前記記録制御ステップは、前記画像解析に基づく前記生育指標データを前記画像のヘッダ領域にさらに記録するように制御することを特徴とするシステムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は農作業の支援に適した情報処理装置等に関するものである。
【背景技術】
【0002】
従来の農業においては、伝統的に農業従事者の経験と知識や勘などに基づき農作物の生育状況の判断が行われてきた。一方、近年、IoT(Internet of Things)技術を用いて、環境センサや画像データなどの情報を取得し、生育状況を判断するためのシステムが考えられつつある。
しかしそのようなシステムにおいても、結局取得された画像データなどを総合的に判断するのは農業従事者であり、取得されたデータの蓄積が有益なデータとして十分に活用されたり共有されたりしていなかった。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献1には、農産物が栽培されている栽培所に設置され、栽培所における環境を示す環境情報を取得する環境情報センサと、前記栽培所に設置され、前記農産物の画像を撮像する撮像装置が記載されている。また、前記環境情報と、前記農産物の画像から得られる情報である画像情報と、に基づいて、前記農産物の適切な収穫までの所定の環境値の積算値である残積算値を判定する判定装置が記載されている。
しかし、特許文献1の技術では収穫時期を判定しているだけで、農作物の生育中に最適な生育を行うためのきめ細かな情報が不足している。従って天候の状況等によって生育状況が変化してもそれに対してどのような対策をするのが最適かは考慮されていない。
【0005】
本発明は、上記のような従来技術の問題に対して、農産物の生育状況等に関する有益な情報を提供できるシステムを提供することを目的としている。
【課題を解決するための手段】
【0006】
上述の目的を達成するため、本発明のシステムは、
圃場における特定の農作物の画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記農作物の画像に基づき前記農作物の複数の生育指標データを生成する生成手段と、
前記生成手段によって生成された複数の日時の複数の生育指標データを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記複数の日時の複数の生育指標データに基づき、複数の生育ステージを含む期間における前記特定の農作物にかかる複数の生育指標データの推移を表示するための制御を行う制御手段と、
前記圃場の環境に関する環境情報データを取得するためのセンサデバイスと、
前記画像のヘッダ領域に、前記センサデバイスによって測定されたデータに基づく情報を記録することによって、前記画像と前記測定されたデータに基づく情報とを関連付けて記録するように制御する記録制御手段と、
前記画像取得手段により取得された前記画像を解析対象として、前記農作物の生育指標データを得るための画像解析を行うように指示する指示手段と、を有し
前記記録制御手段は、前記画像解析に基づく前記生育指標データを前記画像のヘッダ領域にさらに記録するように制御することを特徴とする。
【発明の効果】
【0007】
本発明によれば農産物の生育状況等に関する有益な情報を提供できるシステムを提供できる。
【図面の簡単な説明】
【0008】
【
図1】本発明の実施例の情報処理装置を用いたシステムの全体構成図である。
【
図2】画像解析クラウドサーバの機能ブロック図である。
【
図3】制御サーバを中心とした動作フローを示すフローチャートである。
【
図4】アプリケーションサーバにおいて生成される表示データに基づく表示画面の例を示す図である。
【
図7】関連付けのためのフローチャートの例を示す図である。
【
図8】関連付けのためのフローチャートの例の続きを示す図である。
【
図9】関連付けをしたテーブルの例等を示す図である。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
【0010】
図1は、本発明の実施例の情報処理装置を用いたシステムの全体構成図である。
以下、
図1を参照して本発明の実施例における情報処理装置を用いたシステムの全体構成について説明する。
本実施例における情報処理装置を用いたシステムはネットワークカメラ101、複数のセンサデバイス102、ネットワーク(公衆回線)103、制御サーバ104、データ蓄積クラウドサーバ105、アプリケーションサーバ106を有する。
【0011】
また、サービス提供管理サーバ107、課金決済サーバ108、サービス契約者のタブレット等の情報端末109、画像解析クラウドサーバ110、生育状況を学習するモデルクラウドサーバ111、気象情報サーバ112等を有する。
なお、実施例ではサーバやクラウドサーバの例を用いて説明しているが、サーバやクラウドサーバの形態をとらなくても良く、例えば各サーバやクラウドサーバの機能と同様の機能を有する電子機器であれば良い。
【0012】
また、本実施例において、情報処理装置とは、制御サーバ104の機能を少なくとも含む装置であって、更に他のサーバ105~108、110、111等の一部または全部の機能を含む装置であっても良い。
ネットワークカメラ101は固定カメラであっても良いし、ドローン等に搭載されたカメラであっても良く、有線または無線のネットワーク103を介して撮影画像を制御サーバ104等に送るためのネットワークインターフェースを持つ。
【0013】
また、ネットワークカメラ101はネットワーク103を介して制御サーバ104から撮影指示などの制御信号を受信し、制御信号に基づき、ON/OFF制御や撮影動作や撮影画像の制御サーバへの送信動画等が実行される。ここで、ネットワークカメラ101は圃場における特定の農作物の画像を取得する画像取得手段として機能している。なお、画像取得手段は例えば予め記録媒体に記録された特定の農作物の画像を読み出すことによって取得する読出し装置を含む。
【0014】
また制御サーバ104にはコンピュータとしてのCPUが内蔵されており、メモリに記憶されたコンピュータプログラムに基づきシステム内のネットワークカメラ、センサデバイス、その他の各装置の動作を制御する制御手段として機能している。
なお本実施例において、農作物の圃場の面積が大きい場合には、ネットワークカメラ101やセンサデバイス102は複数設置されていてもよい。
【0015】
また、本実施例では対象物(農作物)として稲を農作物として栽培する例を用いて説明するが、イネ科の他の植物にも同様に適用できる。イネ科の植物(農作物)としては、例えば稲、ムギ(小麦、大麦)、キビ、アワ、ヒエ、トウモロコシ等を含む。なお、本実施例はイネ科植物の他に露地栽培のホウレンソウなどに適用することもできる。
後述するように、少なくとも1台のネットワークカメラ101は
図4において圃場の様子として示されるように、圃場の所定位置の農作物を上から撮影するように構成されている。
【0016】
なお、ネットワークカメラ101はドローンに搭載されたカメラでもよく、ドローンを使って例えば圃場の複数の所定位置(サンプル位置)の農作物を上から撮影するようにしても良い。また、ステレオカメラ等を用いて上から撮影した時の左右の撮影画像に基づいて測距することによって草丈を求めるようにしても良い。また、測距可能なカメラとして例えばステレオカメラ等をドローンや移動型ロボットに搭載して定点上部からの撮影と測距をしても良い。
【0017】
なお、ネットワーク103は有線LANであっても無線LANであってもよいが、本実施例ではネットワーク103は無線LANであるものとする。
また、ネットワーク103は通信事業者が提供する移動体通信網であっても良い。その場合は、ネットワークカメラ101本体内の不図示のカードアダプタへSIMカードを挿入することによって公衆回線網へ接続可能となる。
【0018】
複数のセンサデバイス102は、ネットワーク103を介して制御サーバ104と接続され、センサデバイスごとに制御サーバ104からのセンサデータ取得要求に応じてセンサデータを制御サーバ104に送信する。あるいは、各センサデバイスはそれぞれ異なるタイミングで、かつ所定の送信間隔でセンサデータをLPWA(Low Power Wide Area)通信規格等に従って制御サーバ104に送信するように構成されていても良い。
【0019】
その場合、制御サーバ104はセンサデバイスから所定周期で送られてきたデータの内、所望のタイミングで送られてきたセンサデータを取捨選択すれば良い。本実施例のセンサデバイス102は複数種類のセンサデバイスを含み、圃場の環境に関する環境情報データを取得する環境情報取得手段として機能している。具体的には、例えば、圃場の緯度経度(や高度)に関するデータを取得できるように構成されている。更に、圃場の土壌の環境に関する環境情報データを取得するセンサデバイスを含む。
【0020】
なお、圃場の緯度経度(や高度)に関するデータを取得するためのセンサデバイスは例えばGPSセンサなどを含み、このセンサデバイスは圃場の複数個所に配置されていても良いし、ネットワークカメラ101内部に配置されていても良い。
なお、ネットワークカメラ101はそれぞれ固有の識別情報としてのカメラID(カメラ識別情報)を有している。そしてそれらのカメラIDはネットワークカメラ101の筐体の外側に文字またはQRコード(登録商標)等で表示されている。
【0021】
同様にセンサデバイス102はそれぞれ固有の識別情報としてのセンサID(センサ識別情報)を有している。そして本実施例ではそれらのセンサIDはセンサデバイス102の筐体の外側に文字またはQRコード(登録商標)等で表示されている。
ネットワークカメラ101とセンサデバイス102とは予めリンク(対応付け)あるいはペアリングしておくことが望ましい。
【0022】
具体的な方法としては、例えばセンサデバイス102の筐体の外側に表示されている文字またはQRコード(登録商標)等から成るセンサIDを、ネットワークカメラ101で撮影する。それによって、撮影されたセンサデバイス102のセンサIDを画像認識し、撮影したネットワークカメラ101のカメラIDと対応付けることができる。
その際、例えばネットワークカメラ101で撮影した画像のヘッダ領域に認識したセンサデバイス102のセンサIDを書き込む。
【0023】
それによって、ネットワークカメラ101で撮影した画像を制御サーバ104に送る際に、センサデバイス102のセンサIDとネットワークカメラ101のカメラIDを対応付けることができる。ここで、そのような画像ファイルのヘッダ領域への書き込み手段が対応付け手段として機能することになる。
あるいは、ネットワークカメラ101やセンサデバイス102や制御サーバ104が予めアプリケーションソフトを有するようにしても良い。そして、そのアプリケーションソフト画面上で、ユーザがセンサデバイス102のセンサIDとネットワークカメラ101のカメラIDを対応付けて登録するようにしても良い。
【0024】
その場合には、カメラIDとセンサIDとはそれぞれの筐体の外側に表示されていなくても良い。この場合、前記ユーザが、前記カメラ識別情報と前記センサ識別情報を対応付けるための設定をするアプリケーションソフトが対応付け手段として機能する。
あるいはネットワークカメラ101のカメラIDとセンサデバイス102のセンサIDを同時にあるいは順次スマートフォン等に設けられた別のカメラで撮影してもよい。
【0025】
そして、その画像を制御サーバ104に送信することで、ネットワークカメラ101のカメラIDとセンサデバイス102のセンサIDとを対応付けて登録することもできる。
図7、
図8のフローはそのようなペアリング(対応付け、リンク)方法についての詳細なフローチャートであり、後述する。
【0026】
なお、カメラIDとセンサIDを対応付けする方法として上記のように筐体の外側に表示された文字IDやQRコード(登録商標)などを撮影して画像認識したりする方法の代わりに例えばBluetooth(登録商標)やNFCなどを用いてペアリングするようにしても良い。
ペアリングを事前にすることによって、例えば複数のネットワークカメラの内の特定のカメラで撮影した画像と、予め対応付けられたセンサデバイスのセンサデータとをリンクして(関連付けて)制御サーバでテーブルを用いて管理することができる。
【0027】
図7、
図8はペアリングの方法の例を示すフローチャートであり、
図9はそのような関連付けをしたテーブルの例を示す図である。
図7~9については後述する。
そして、例えば特定のネットワークカメラ101で撮影した画像の画像ファイルのヘッダ領域に、対応付けられたセンサデバイスのセンサデータを効率的に記録することができる。従って、ネットワークカメラ101とセンサデバイス102が多数存在する場合に、画像データとセンサデータの関連付けを効率的に実行することができる。
【0028】
なお、画像ファイルのヘッダ領域の一部に対応するセンサデバイスのIDが書き込まれることによって対応付けがなされている、同じ画像ファイルのそれとは別のヘッダ領域に前記センサデバイスのセンサデータが書き込まれることになる。
センサデバイス102が測定する圃場の土壌の環境に関する環境情報データは、例えば土壌の色、土壌の水分量、土壌中の所定の複数の化学物質(例えば窒素、リン酸、カリウム等)の量や割合、土壌のph値の少なくとも1つに関するデータを取得する。
【0029】
また、センサデバイス102は圃場の気象情報等に関する一部のデータも取得できるように構成されていても良い。即ち、センサデバイス102は、例えば圃場の標高、降水量、降雨量、降雪量、気温、湿度、水田等の圃場の水位、水田等の圃場の水温、照度、日照時間、風速、気圧の少なくとも1つに関するデータを検出(測定)できるように構成されていても良い。
データ蓄積クラウドサーバ105は制御サーバ104からの指示に基づきデータを蓄積するためのクラウドサーバである。
【0030】
そして、ネットワークカメラ101からの画像データ(画像ファイル)やセンサデバイス102からのセンサデータを、それらの取得日時のデータとリンクさせた状態で蓄積(記憶)する。なお、ここで、リンクとは画像ファイルのヘッダ領域に各種データを書き込む(記憶する)ことでリンク(関連付け)させるものを含む。なお、日時のデータは例えばネットワークカメラ101内のCPU等から取得しても良いし、センサデバイス102から取得しても良い。あるいはデータ蓄積クラウドサーバ105内のCPU等から取得しても良い。また、データ蓄積クラウドサーバ105は前記の画像が撮影された日時の気象データも気象情報サーバ112から取得する。
【0031】
そしてデータ蓄積クラウドサーバ105は、制御サーバ104からの指示に基づき、ネットワークカメラ101からの撮影画像とセンサデータ、気象情報サーバ112からの気象情報データを画像解析クラウドサーバ110に送る。
画像解析クラウドサーバ110は制御サーバ104からの指示に基づきネットワークカメラ101からの画像を画像解析する。
【0032】
モデルクラウドサーバ111は過去の農作物の画像、生育指標データ、環境情報データ(センサデータ、気象データ等)、日時等と生育状況の関係を統計的に学習する。そして、学習によって画像、生育指標データ、環境情報データ、日時等と生育状況とを関連付けた生育モデルデータを生成し保存している。
画像解析クラウドサーバ110はモデルクラウドサーバ111から過去の生育指標データおよび環境情報データとリンクした生育モデルデータを取得する。
【0033】
そして画像解析クラウドサーバ110は、ネットワークカメラ101により得られた農作物の画像を解析して、解析結果として、前記農作物の生育指標データを生成する。更にこの生育指標データと環境情報データ(センサデータ、気象情報データ等)と日時データを生育モデルデータと比較/参照することによって、画像解析クラウドサーバ110は農作物の生育指標データを生成する。即ち、画像解析クラウドサーバ110は生育指標データを生成するための指標データ生成手段として機能する。また、特に各生育ステージ(例えば分げつ期等)に関する情報を生成する(生育ステージ)データ生成手段として機能する。
【0034】
画像解析クラウドサーバ110が生成した生育指標データ(解析結果)はデータ蓄積クラウドサーバ105に送られて、前記画像やセンサデータや気象データや日時とリンクして(関連付けて)蓄積される。
その際、農作物の画像ファイルのそれぞれ所定のヘッダ領域に前記生育指標データとセンサデータと気象データと日時等をそれぞれ書き込んで蓄積(記憶)する。例えば、EXIF(Exchangeable Image File Format)規格で定められている画像ファイルのヘッダ領域に書き込む。
【0035】
具体的にはEXIF規格のヘッダ領域の内のMaker Noteという、データタイプがUNDEFINEDとなっているデータ構造やサイズについて規定がない領域に書き込むのが望ましい。そして前記生育指標データ、センサデータ、気象データ、日時等をそれぞれのヘッダ領域に書き込むように割り振れば良い。また、画像ファイルのヘッダ領域ではなく、別途データプラットフォームを利用した通信を行う場合はWAGRI規格で定められているAPIフォーマットを利用しても良い。ここでAPIはApplication Programming Interfaceの略である。それによって、前記生育指標データとセンサデータと気象データの連携、共有や提供等相互利用を可能としても良い。
【0036】
ここでWAGRIは農業データ連携基盤の名称である。以下、ここでは、画像ファイルのヘッダ領域を使う場合の実施例を記載する。
データ蓄積クラウドサーバ105は前記指標データ生成手段によって生成された複数の日時の画像データ、生育指標データ、複数の日時の環境情報データ、気象情報等を各日時データと共に関連付けて蓄積する蓄積手段として機能している。
【0037】
データ蓄積クラウドサーバ105に一旦蓄積された複数の日時の農作物の撮影画像データ、生育指標データ、環境情報データ、それらの取得日時の情報等はアプリケーションサーバ106に送られる。アプリケーションサーバ106は、複数の日時の生育指標データと複数の日時の前記環境情報データに基づき生育過程(生育ステージ)に関する情報をグラフ化して表示させるための表示データを生成する。アプリケーションサーバ106はそのための表示データ生成手段あるいは生育ステージデータ生成手段として機能している。
【0038】
気象情報サーバ112は制御サーバ104からの気象情報取得要求に応じて環境情報データとして気象情報をデータ蓄積クラウドサーバ105に送る。気象情報は例えば、天気、降水量、降雨量、降雪量、気温、湿度、日照時間、風速、気圧の少なくとも1つに関するデータを含む。前述したように、気象情報等の一部はセンサデバイス102から取得することもできる。気象情報サーバ112も圃場の環境(気象)に関する環境情報データを取得する環境情報取得手段の一部として機能している。
【0039】
107はサービス提供管理サーバであり、課金決済サーバ108からの課金決済情報に基づき、どのような表示画面、データ、サービスを契約者(契約ユーザ)に提供するかの情報をアプリケーションサーバ106に送る。また、課金サービス内容についての情報を課金決済サーバ108に送る。
課金決済サーバ108は、契約者の情報端末109と通信をし、契約者に対する課金の決済情報を契約者の情報端末109から取得し、決済が完了したか否か等の情報を契約者の情報端末109に送る。
【0040】
ここで、サービス提供管理サーバ107と課金決済サーバ108とアプリケーションサーバ106は、蓄積された生育指標データと環境情報データを課金に応じて所定の端末に提供可能にするための課金決済手段として機能している。
また複数の日時の生育指標データと前記複数の日時の前記環境情報データに基づき生成した生育過程に関するデータを課金に応じて前記所定の端末に提供可能にする課金決済手段として機能している。
【0041】
契約者の情報端末109から決済情報が課金決済サーバ108に送られると、その決済情報がサービス提供管理サーバ107に送られる。そして、その決済情報(支払いを完了したか否か等)に基づき画面、データ、サービス情報がアプリケーションサーバ106に送られる。
【0042】
アプリケーションサーバ106はそれに応じて契約者の情報端末109に対して生育過
程をグラフ化して表示させるための表示データを送り、契約者の情報端末109で生育過程をグラフ化した表示画面が表示可能となる。なお、クラウドサーバ105~108、110~112や情報端末109もコンピュータを有することは言うまでもない。
図2は画像解析クラウドサーバ110の機能ブロック図であり、
図2を用いて画像解析クラウドサーバ110の機能について説明する。
【0043】
1101は入力部であり、データ蓄積クラウドサーバ105から撮影画像データ、各種センサデータ、気象情報データ、それぞれのデータを取得した日時データ等を取得する。
1102は葉色算出部であり農作物の葉の色を算出する。なお、穂の色も算出するようにしても良い。1103は茎数算出部であり、農作物の茎の数を算出する。
【0044】
葉色は、所定の条件下で所定の範囲においてクロロフィル含有量との相関があると言われているSPAD値(Solid and Plant Analyzer Development)という単位に換算して表すようにしても良い。圃場における茎の数を画像から算出するために、本実施例においては葉の先端を点として葉の先端(葉先)をAI(人工知能)で学習させて認識し、葉の先端(葉先)の数をカウントし、それに基づき茎数を算出する。
【0045】
これは過去の統計データ(学習データ)により葉の先端の数と茎数とに所定の相関関係が見いだせるためである。例えば、統計的には、葉先の数の約1/3を茎数として概算することができる。1104は草丈算出部であり、草丈(地面からの農作物の最大の高さ)を算出する。例えば農作物の側方にネットワークカメラ101の1つを配置し、農作物の横に設置した基準スケールと一緒に撮影することによって、草丈(地面からの農作物の最大の高さ)を算出することができる。
【0046】
本実施例においてはこれらの葉色、茎数、草丈に関するデータを農作物の主要な生育指標データとしている。更に生育指標データとして、例えば単位面積当たりの植被率を含んでも良い。
またイネ科の農作物の場合には、茎数に対する穂の出た茎の割合、黄色に変色した穂の割合、穂の数、1穂当たりの籾数、茎の傾き、茎の曲がりの程度の少なくとも1つに関するデータを含んでも良い。それらの生育指標データの種類を増やすことによって、生育過程をグラフ化して表示する際の精度を向上することができる。
【0047】
また、籾の膨らみや色などから算出される状態や成熟度合を生育指標データに入れても良い。これにより、整粒歩合を示せるようになる。ここで整粒歩合とは、一定量の玄米のなかに存在する整粒、すなわちきちんと整った形をしている米粒の割合を%で示したものである。
葉色算出部1102、茎数算出部1103、草丈算出部1104等の生育指標データおよび、入力部1101からのセンサデータや気象情報データ、日時データ等は生育ステージ判定部1105に供給される。
【0048】
それとともに、生育状況を学習するモデルクラウドサーバ111にも供給されて保存され学習データとして使われる。
生育ステージ判定部1105においては、葉色、茎数、草丈等の生育指標データ、センサデータ、気象情報データ、日時データ等をモデルクラウドサーバ111の生育モデルデータと比較する。それによって農作物の画像が撮影されたときの生育ステージ(生育過程)を判定する。更に、モデルクラウドサーバ111の生育モデルデータを参照することによって単位面積当たりの収穫量の予想値や望ましい収穫予定日についても算出する。
【0049】
そして出力部1106を介して葉色、茎数、草丈等の生育指標データ、生育ステージデータ、収穫予定日、単位面積当たりの収穫量等を解析結果としてデータ蓄積クラウドサーバ105に出力する。
図4はアプリケーションサーバ106において生成される表示データに基づく表示画面の例を示す図である。
【0050】
アプリケーションサーバ106においては、データ蓄積クラウドサーバ105に蓄積された複数の日時の生育指標データと前記複数の日時の前記環境情報データ等に基づき生育過程をグラフ化して表示させるための表示データを生成する。更に、前記生育過程の表示と共に、所定の日時における前記圃場の画像または前記農作物の画像の少なくとも一方を表示させるための表示データを生成しても良い。
【0051】
また、前記生育過程の表示と共に、収穫時期と単位面積当たりの収穫量の予想の少なくとも一方を表示するための表示データを生成しても良い。また、生育過程の表示データと共に、前記農作物の生育ステージ(例えば分げつ期等)に関する情報を表示させるための表示データを生成しても良い。これらの表示データは例えば情報端末109において
図4に示すようなグラフ等として表示される。
図4の表示内容については後述する。
【0052】
次に
図3を用いて制御サーバ104を中心とした動作フローを説明する。
図3は制御サーバを中心とした動作フローを示すフローチャートである。
図1に示すシステムにおいて、制御サーバ104等を起動することによって
図3のフローがスタートする。ステップS301において所定周期で圃場の撮影を、ネットワークカメラ101を用いて行う。所定周期は予め情報端末109のアプリケーションを介して例えば、「毎朝10時に取得」等制御サーバ104に設定をしておく。
【0053】
ステップS302においてセンサデバイス102に対してデータ取得要求を送る。ステップS303において、ステップS301とS302の結果として撮影画像とセンサデータとを取得する。ステップS304において、撮影画像データの所定のヘッダ領域にメタデータとして撮影日時とセンサデータを書き込む。
ステップS305で、上記のヘッダにデータが書き込まれた撮影画像データをデータ蓄積クラウドサーバ105に送り、気象情報サーバ112からの気象情報データを撮影画像データの他のヘッダ領域に書き込む。
【0054】
ステップS306において、画像解析クラウドサーバ110に対して、ヘッダに各種データが書き込まれた画像データを送らせるとともに、画像解析を指示する。ステップS307において、画像解析クラウドサーバ110はモデルクラウドサーバ111の生育モデルを比較/参照して画像解析を実行させる。
ステップS308において、画像解析クラウドサーバ110が解析した結果である生育指標データを画像のヘッダ領域に更に追加して、データ蓄積クラウドサーバ105に送らせる。
【0055】
これによって画像ファイルの各ヘッダ領域に日時と環境データ(センサデータ)と生育指標データとがそれぞれ書き込まれた状態で、データ蓄積クラウドサーバ105に蓄積されていく。ステップS309で所定の契約ユーザから課金の支払いがあったか否かを判別し、課金があればステップS310に進む。課金がなければステップS301に戻りデータの蓄積を継続する。ステップS310では、課金に対して支払いを行った契約ユーザに所定期間の画像を提供するようにアプリケーションサーバ106に指示を出す。
【0056】
この時、画像のヘッダ領域には上述の複数のデータの一部または全部が書き込まれている状態で提供する。課金の金額に応じて、ヘッダ領域に書き込まれているデータの一部をマスクして提供するようにしても良い。
ステップS311では課金としてオプション料金の支払いがあるか否かを判別する。Noの場合にはステップS313に進み、Yesの場合にはステップS312に進む。
【0057】
ステップS312ではアプリケーションサーバ106で生育過程を表示するための表示データを生成させ、その生育過程を表示するための表示データを前記の所定期間の画像と共に契約ユーザに提供させる。
ステップS313では、契約ユーザのID(識別番号)と、支払い履歴と、提供したデータ等に関する履歴を課金決済サーバ108に保存させる。
【0058】
ステップS314で
図1のシステムがオフされたか否かを判別し、オフされていなければステップS301に戻り、データの蓄積を繰り返す。ステップS314でオフされたことが判別された場合にはフローを終了する。
このように、システム運営者は、過去の蓄積された有益な生育モデルデータを必要なユーザに提供することが可能になる。また逆に、ユーザは課金をすることによって、過去の蓄積された有益な生育モデルデータを入手することが可能になる。
【0059】
次に
図4を用いてアプリケーションサーバ106で生成される生育過程の表示例等を説明する。
図4はアプリケーションサーバにおいて生成される表示データに基づく表示画面の例を示す図である。
図5、
図6は表示画面のそれぞれ他の例を示す図である。
アプリケーションサーバ106は、データ蓄積クラウドサーバ105から表示画面に必要なデータを取得する。
【0060】
図4~
図6において、400は情報端末109の表示画面であり、401は生育過程を示すグラフ、402は現在の日時を示す表示領域である。403は、課金契約者名(契約ユーザ名やユーザID)等を表示する表示領域である。ここで課金契約者とは、蓄積された生育指標データと環境情報データ、さらには、生育過程データ等を課金に応じて所定の端末に提供するための契約を結んだ契約者を指す。
【0061】
404は農作物の種別を表示する表示領域、405縦軸に表示される茎数のスケール、406は縦軸に表示される草丈のスケール、407は横軸に表示される月単位の時間軸のスケールである。408は稲の生育過程(生育ステージ)の概略を示すデータ、409は生育過程に応じて行うことが推奨される農作業の例を示す表示である。420は縦軸に表示されるSPAD値のスケール、421はSPAD値に換算する前の葉色のスケールである。
【0062】
410aは草丈の生育過程を示すグラフであり、410bは草丈の生育モデルを示すグラフである。411aは茎の数の生育過程を示すグラフであり、411bは茎数の生育モデルを示すグラフである。412aはSPAD値の生育に伴う過程を示すグラフであり、412bはSPAD値の生育モデルを示すグラフである。422は茎の数の生育過程に応じた生育ステージ(例えば分げつ期等)に関する説明を表示している。
【0063】
410a、411a、412aは、撮影した現時点の画像から算出した値のグラフを示している。また、410b、411b、412bは、過去の実測値や過去に算出した値を蓄積して統計処理してモデル化したグラフ(生育モデル)を示している。これらのグラフにより、撮影された画像から算出した値が、モデル化したグラフに対して順調に沿っている(差分が小さい)か、ズレているかを容易に比較、判断することが可能になっている。
【0064】
図5、
図6はそれぞれ
図4のグラフ表示からメニュー選択等により切り替えられる表示画面の例をそれぞれ示す図である。
図5、
図6の413は現時点において行うことが推奨される農作業について強調表示したガイドである。
図5の表示例においては「現在、分げつ期です、追肥をしてください。」と表示し、
図6の表示例においては、「現在、整粒歩合75%です。収穫して下さい。」と表示している。
【0065】
414は生育ステージがどのステージであるかを表示するための表示領域であり、415は主要な3つの生育指標データとしての葉色、茎数、草丈を数字表示するための表示領域である。この例では3つの生育指標データだけが表示されているが、例えばプルダウンメニュー等によってその他の生育指標データを表示できるようにしても良い。
なお、実施例では、例えばこれらの数字をユーザが適宜修正できるように構成されている。416は環境情報データを数値表示するための表示領域である。
【0066】
この実施例では、環境情報データとして記憶、湿度、圃場の水位、圃場の水温、圃場の土壌のPh、照度、風速などが表示されているが、例えばプルダウンメニュー等によってその他の環境情報データを表示できるようにしても良い。417は画面上に表示されている数値を修正するためのモードに切り替えるボタンであり、このボタンをクリックまたはタッチすると画面上に表示されている数値を修正するための修正モードに切り替わる。ここでボタン417は表示データ生成手段によって生成された表示データの一部をユーザ入力により修正するための修正手段として機能している。
【0067】
修正モードにおいては、領域415や416に表示された数値を変更できる。変更後に、再びボタン417をクリックまたはタッチすると修正モードから通常モードに切換わる。418はグラフと共に表示される圃場の画像または農作物の画像であり、少なくとも一方の画像を表示できる。419は移動可能なマーカ線であり、デフォルトではグラフ上の現在の日時の位置に表示されるが、これをマウスやタッチによって移動することもできる。
【0068】
例えば、強風や天候状況などによって茎が曲がったり、倒れていたりする場合に、撮影画像からは適切な草丈が得られないことがある。この修正モードにおいて、手動で測定した値や姿勢を直して撮影して測定しなおした値を入れ直すことが可能になる。環境情報についても環境情報センサの故障等の場合に測り直した測定値や正常なセンサからの値を入力し後から修正することが可能になる。
【0069】
このように、画像認識の結果、誤ったデータが取得された場合には、ユーザが修正することによって、生育過程のグラフ等をそれに応じて自動的に修正することができる。そして、生育過程のグラフ等の精度が落ちないようにすることが出来る。
図4において、マーカ線419を移動すると402の領域の日付表示がそれに応じて変化する。また、マーカ線419の移動後にメニュー選択で表示画面を
図5、
図6のように切り替えると、414~416の表示領域の表示内容や、418の画像もその日時に合わせたものに変化する。
【0070】
なお、以上の例では、
図4の生育課程のグラフと、
図5や
図6の圃場の画像と各指標値の表示等を別の表示画面としたが、
図4と
図5、または
図4と
図6を同一画面上に表示するようにしても良い。
或いは、例えば、生育過程のグラフと共に、所定の日時における生育指標データと環境情報データの少なくとも一方を、農作物の種別と共に表示させるようにしても良い。
【0071】
このように、本実施例では、契約ユーザは圃場から取得した農作物の画像や環境情報データ等にもとづき農作物の生育過程がグラフによって速やかに理解できる。そして、圃場に行かなくても、また農業の初心者であっても、現時点でどのような農作業を行うべきかが速やかかつ容易にわかる。
次に
図7、
図8は前述のペアリングの方法の例を示すフローチャートであり、
図9はそのような関連付けをしたテーブルの例を示す図である。
【0072】
図7において、ステップS700において情報端末109の電源をONし、ステップS701において、対応付けを行うためのアプリケーションを起動する。ステップS702において、ユーザIDを登録し、ステップS703において、GPS位置情報を取得し、ステップS704で例えば付属のカメラやスマートフォンのカメラ等で複数のセンサデバイス102のQRコード(登録商標)を撮影する。
【0073】
ステップS705において、撮影された複数のセンサデバイス102のIDが登録されて画面に表示される。ステップS706において、付属のカメラやスマートフォンのカメラ等でネットワークカメラ101のQRコード(登録商標)を撮影し、ステップS707において、ネットワークカメラ101のIDが登録されて画面に表示される。ステップS708において、情報端末109が取得したGPSの位置情報と複数のセンサデバイス102のIDとネットワークカメラ101のIDとが合わせて制御サーバ104に送られる。
【0074】
ステップS709において、初期設定動作を終了すし、
図8のステップS710に進む。ステップS710において、制御サーバ104は、登録されたユーザIDと情報端末109が取得したGPS位置情報とネットワークカメラの101のIDと複数のセンサデバイス102のIDをテーブル化して保存する。ここで
図9(A)はそのような関連付けをしたテーブルの例を示す図である。
図9(A)においてはユーザID、情報端末ID、センサデバイスのGPS位置情報、センサデバイスID、ネットワークカメラIDを関連付けたテーブルの例を示している。
【0075】
このテーブルの例では、ユーザIDのみが異なり、他の情報が同じ例が示されている。ここで各ユーザIDは
図9(B)に示すように、異なるサービスプランに加入している。
図9(B)では、ユーザID(0001)は圃場の画像をモニタリングするだけのプランに加入しており、ユーザID(0002)は蓄積された生育データを一括でダウンロードできるプランに加入している。ここで、
図9(B)のようなユーザIDとサービスプランの対応を示すテーブルは例えばサービス提供管理サーバ107に保存されている。
【0076】
ステップS710の次にステップS711に進み
図3のフローチャートに示されるフローを実行する。アプリケーションサーバ106はステップS712において、ユーザがアプリケーションサーバにログインしたことを検出し、ステップS713において、ログイン情報に元にサービス提供管理サーバ107にそのユーザの受けられるサービス情報を問い合わせる。そしてステップS714において、制御サーバ104のステップS711の処理中に、制御サーバ104からサービスを提供するように指示が来たらステップS714の処理を実行する。
【0077】
即ち、ステップS714において、ステップS713での問い合わせの結果受領したサービス情報に応じた表示用データを生成するためのデータを、データ蓄積クラウドサーバ105に要求して取得する。ステップS715で必要なデータをデータ蓄積クラウドサーバ105から取得し、ステップS716で取得したデータに基づき表示用の画面データを生成する。
【0078】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
例えば以上の実施例では生育過程データを高い精度で得るために環境情報データを積するようにしているが、簡略化したシステムでは、環境情報データを蓄積しなくても良い。
【0079】
そして、生育過程をグラフ化して表示するにあたり環境情報データを考慮せずに、画像から取得した生育指標データ(葉色、茎数、草丈等)に基づき、生育過程をグラフ化して表示するための表示データを生成しても良い。しかも、その際に、葉色、茎数、草丈だけを生育指標データとして用いて生育過程を表示するための表示データを生成しても良い。
【0080】
また、実施例ではモデルクラウドサーバにおいて学習されたモデルデータを参照して生育過程データを生成しているが、簡易的に、予め用意した関数(テーブル)等によって生育過程データを生成するようにしてもよい。
なお、実施例においては、複数のサーバによって処理を分割して実行している。しかし、例えば制御サーバ104の中に、データ蓄積クラウドサーバ105やアプリケーションサーバ106や画像解析クラウドサーバ110、モデルクラウドサーバ111等の機能の一部または全部を内蔵しても良い。
【0081】
更には、サービス提供管理サーバ107や課金決済サーバ108の機能も内蔵しても良い。あるいは、これらの7つのサーバ104~108、110、111等の2つ以上を適宜統合してサーバの数を減らしても良い。
また、カメラで撮影する対象は農作物に限らず、例えば人間等を含む生物等であっても良い。
【0082】
なお、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して情報処理装置を構成する各サーバ等のコンピュータに供給するようにしてもよい。そしてそのサーバにおけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【0083】
101 ネットワークカメラ
102 センサデバイス
103 ネットワーク
104 制御サーバ
105 データ蓄積クラウドサーバ
106 アプリケーションサーバ
109 情報端末
110 画像解析クラウドサーバ