(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0012】
以下、図面を参照しつつ、本発明の様々な実施形態について説明する。ただし、本発明の技術的範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0013】
1.本実施形態の概略
図1は、画像判定システムの概略を説明するための模式図である。画像判定システムは、複数の圃場毎に設置されるセンサ端末2と、複数の圃場のそれぞれを運営する各ユーザが所有する携帯端末4と、携帯端末4と通信するサーバ5と、を有する。
【0014】
画像判定システムでは、サーバ5は、携帯端末4から送信された撮影画像に類似する生物画像を検索し、検索された生物画像に対応する生物の態様に関する名称を判定結果名として携帯端末4に送信する。生物画像は、植物、動物、及び、昆虫等の生物の画像、並びに、農作物等を含む植物の病害の症状の画像等であり、生物の態様に関する名称は、植物名称、動物名称、昆虫名称等の生物の名称、並びに、病害名等である。害虫の撮影画像又は農作物の病害の症状の撮影画像に対応する害虫名又は病害名を検索し、検索された害虫名又は病害名を判定結果名として携帯端末4に送信する。携帯端末4は、多機能携帯電話(所謂「スマートフォン」)であるが、携帯電話(所謂「フィーチャーフォン」)、携帯情報端末(Personal Digital Assistant, PDA)、携帯ゲーム機、携帯音楽プレーヤ、タブレットPC等であってもよい。以下、害虫の撮影画像又は農作物の病害の症状の撮影画像に対応する害虫名又は病害名を検索し、検索された害虫名又は病害名を判定結果名として携帯端末4に送信する画像判定システムを一例に説明する。なお、害虫又は農作物の病害を、病虫害と称し、害虫名又は病害名を、病虫害名と称する場合がある。
【0015】
まず、携帯端末4が備える撮影機能によって、当該携帯端末4を所有するユーザが運営する圃場Aに生息する害虫、又は、圃場Aで生育される農作物の病害の症状が撮影される(1)。次に、携帯端末4は、撮影された撮影画像をサーバ5に送信する(2)。
【0016】
サーバ5は、複数の病虫害のそれぞれに対応した複数の病虫害画像、及び、当該病虫害が発生しやすい環境情報の範囲を示す発生環境情報を記憶する。病虫害が発生しやすい環境情報は、生物の態様に適した環境情報の一例である。病虫害画像は、実際の病虫害を撮影して得られた画像であり、農業専門家等によって判定された病虫害名と関連付けてサーバ5に記憶される。環境情報は、各圃場に設置されたセンサ端末2によって測定された気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO
2等、並びに、外部サーバから取得した雨量情報等の環境因子を示すデータである。発生環境情報は、病虫害が発生しやすい環境情報の範囲又は圃場の条件等を示すデータであり、例えば、いもち病の発生環境情報は、気温の範囲が15度〜25度、葉の濡れ時間が8時間以上である。
【0017】
サーバ5は、携帯端末4から送信された撮影画像を受信する。次に、サーバ5は、記憶された複数の病虫害画像のうち、携帯端末4から受信した撮影画像に類似する病虫害画像を検索して、検索された病虫害画像に基づいて、各病虫害名にポイントを付与する(3)。まず、サーバ5は、SURF(Speeded Up Robust Features)法等を用いて、記憶された病虫害画像毎に、特徴点を抽出し、各特徴点の局所特徴量を算出する。次に、サーバ5は、算出した局所特徴量をフィッシャーベクトル(Fisher Vector)等の特徴ベクトルで表現し、Random Forest等の機械学習を用いて、特徴ベクトルに対する分類モデルを作成する。次に、サーバ5は、携帯端末4から送信された撮影画像の特徴点を抽出し、特徴点の局所特徴量を算出し、算出した局所特徴量を特徴ベクトルで表現する。そして、撮影画像における特徴ベクトル及び分類モデルを用いて、携帯端末4から送信された撮影画像に類似する病虫害画像を検索して、検索され病虫害画像に対応する病虫害名毎に、ポイントを付与する。
【0018】
なお、分類モデルは、例えば、Random Forestにおける複数の決定木である。また、ポイントは、例えば、Random Forestでは、複数の決定木のそれぞれにおいて決定した、病虫害画像に対応する病虫害名の投票数である。
【0019】
サーバ5は、センサ端末2によって測定された環境情報を当該センサ端末2から受信する。次に、サーバ5は、センサ端末2から受信した圃場Aの環境情報を特定し、特定された環境情報を含む発生環境情報を判定する。次に、サーバ5は、特定された環境情報を含むと判定された発生環境情報に対応付けられた病虫害名を抽出し、抽出された病虫害名に対応するポイントに重み付けする(4)。
【0020】
そして、サーバ5は、各病虫害名に対応するポイントのうち最も高いポイントに対応する病虫害名を判定結果名として携帯端末4に送信する。これにより、ユーザは、携帯端末4で撮影した病虫害の撮影画像をサーバ5に送信することにより、病虫害の撮影画像による画像分類に基づく病虫害名であり且つユーザが運営する圃場の環境情報に適合した病虫害名を判定結果名として知ることができる。
【0021】
上述のとおり、画像判定システムは、予め蓄積された病虫害の画像情報だけでなく、圃場の環境情報に基づいて病虫害を検索することができるため、病虫害の撮影画像の判定の精度を向上させることが可能となる。
【0022】
なお、上述した
図1の説明は、本発明の内容への理解を深めるための説明にすぎない。本発明は、具体的には、次に説明する各実施形態において実施され、且つ、本発明の原則を実質的に超えずに、さまざまな変形例によって実施されてもよい。このような変形例はすべて、本発明および本明細書の開示範囲に含まれる。
【0023】
2.農業管理システム1の構成
図2は、農業管理システム1の概略構成の一例を示す図である。
【0024】
農業管理システム1は、1又は複数のセンサ端末2と、センサ基地局3と、携帯端末4と、サーバ5とを有する。なお、農業管理システム1は、画像判定システムの一例である。1又は複数のセンサ端末2とセンサ基地局3とは、センサネットワーク7を介して相互に接続される。センサ端末2とサーバ5とは、通信ネットワークを介して相互に接続され、例えば、センサネットワーク7、センサ基地局3、基地局6、バックボーンネットワーク9、ゲートウェイ10、及びインターネット11を介して相互に接続される。なお、農業管理システム1は、センサ端末2の台数に応じて複数のセンサ基地局3を有してもよい。また、携帯端末4と基地局6とは、無線通信ネットワーク8を介して相互に接続される。携帯端末4とサーバ5とは、通信ネットワークを介して相互に接続され、例えば、無線通信ネットワーク8、基地局6、バックボーンネットワーク9、ゲートウェイ10、及びインターネット11を介して相互に接続される。
【0025】
基地局6は、センサ基地局3とバックボーンネットワーク9との接続、携帯端末4同士の接続、又は、携帯端末4とバックボーンネットワーク9との接続を行う無線機器であり、バックボーンネットワーク9には、複数の基地局6が接続される。
【0026】
2.1.センサ端末2の構成
図3は、センサ端末2の概略構成の一例を示す図である。
【0027】
センサ端末2は、測定された環境因子を示す環境情報の取得、環境情報の送信等を行う。そのために、センサ端末2は、センサ端末通信部21と、センサ端末記憶部22と、GPS(Global Positioning System)部23と、センサ接続部24と、センサ部25と、センサ端末処理部26とを備える。
【0028】
センサ端末通信部21は、主に920MHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、センサ端末2をセンサネットワーク7に接続する。センサ端末通信部21は、特定のチャネルを用いて、センサ基地局3との間で特定小電力無線方式等に基づいて無線通信を行う。なお、センサ端末通信部21の周波数帯域は、上記した周波数帯域に限定されない。センサ端末通信部21は、センサ端末処理部26から供給された環境情報をセンサ基地局3に送信する。
【0029】
センサ端末記憶部22は、例えば、半導体メモリを有する。センサ端末記憶部22は、センサ端末処理部26での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、データ等を記憶する。例えば、センサ端末記憶部22は、ドライバプログラムとして、センサ端末通信部21を制御する無線通信デバイスドライバプログラム、GPS部23を制御するGPSドライバプログラム、センサ部25を制御するセンサドライバプログラム等を記憶する。また、センサ端末記憶部22は、オペレーティングシステムプログラムとして、特定小電力無線方式等を実行する無線制御プログラム等を記憶する。また、センサ端末記憶部22は、データとして、センサ部25によって測定された環境因子を示す環境情報を記憶する。
【0030】
GPS部23は、主に1.5GHz帯を感受帯域とするアンテナを含む、GPS回路を有し、不図示のGPS衛星からGPS信号を受信する。GPS部23は、そのGPS信号をデコードし、時刻情報等を取得する。次に、GPS部23は、その時刻情報等に基づいてGPS衛星からセンサ端末2までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、センサ端末2が存在する位置(緯度、経度、高度等)を検出する。そして、GPS部23は、検出した位置を示す位置情報と取得した時刻情報とを関連付けて定期的にセンサ端末処理部26に出力する。
【0031】
センサ接続部24は、センサ部25と接続するセンサ端子を含み、1又は複数の種類の環境因子を測定するためのセンサ部25と接続する。
【0032】
センサ部25は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO
2等の環境因子を測定するための各種センサを含む。例えば、センサ部25は、気温を測定するための気温センサ、湿度を測定するための湿度センサ、土壌温度を測定するための土壌温度センサ、土壌水分量を測定するための土壌水分センサ、日射量を測定するための日射センサ、土壌電気伝導度を測定するための土壌EC(Electrical Conductivity)センサ、土壌pHを測定するための土壌pHセンサ、風向センサ及び風速センサ、露点温度センサ、水位センサ、水温センサ、及びCO
2センサ等の少なくとも何れか1つを含む。
【0033】
センサ端末処理部26は、一又は複数個のプロセッサ及びその周辺回路を有する。センサ端末処理部26は、センサ端末2の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。センサ端末処理部26は、センサ端末2の各種処理がセンサ端末記憶部22に記憶されているプログラム等に応じて適切な手順で実行されるように、センサ端末通信部21、GPS部23、センサ部25等の動作を制御する。センサ端末処理部26は、センサ端末記憶部22に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム等)に基づいて処理を実行する。
【0034】
センサ端末処理部26は、測定情報取得部261と、測定情報送信部262とを有する。センサ端末処理部26が有するこれらの各部は、センサ端末処理部26が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、センサ端末処理部26が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてセンサ端末2に実装されてもよい。
【0035】
2.2.センサ基地局3の構成
図4は、センサ基地局3の概略構成の一例を示す図である。
【0036】
センサ基地局3は、センサ端末2からの環境情報の受信、測定された環境因子を示す環境情報の取得、環境情報の送信等を行う。そのために、センサ基地局3は、第1基地局通信部31と、第2基地局通信部32と、基地局記憶部33と、GPS部34と、センサ接続部35と、センサ部36と、基地局処理部37とを備える。
【0037】
第1基地局通信部31は、主に920MHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、センサ基地局3をセンサネットワーク7に接続する。第1基地局通信部31は、特定のチャネルを用いて、センサ端末2との間で特定小電力無線方式等に基づいて無線通信を行う。なお、第1基地局通信部31の周波数帯域は、上記した周波数帯域に限定されない。第1基地局通信部31は、センサ端末2から送信された環境情報を受信し、受信した環境情報を基地局処理部37に供給する。
【0038】
第2基地局通信部32は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有し、図示しない無線LAN(Local Area Network)の基地局6との間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。また、第2基地局通信部32の周波数帯域は、上記した周波数帯域に限定されない。そして、第2基地局通信部32は、基地局処理部37から供給された環境情報を基地局6に送信する。
【0039】
基地局記憶部33は、例えば、半導体メモリを有する。基地局記憶部33は、基地局処理部37での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、データ等を記憶する。例えば、基地局記憶部33は、ドライバプログラムとして、第1基地局通信部31を制御する無線通信デバイスドライバプログラム、第2基地局通信部32を制御する無線LAN通信デバイスドライバプログラム、GPS部34を制御するGPSドライバプログラム、センサ部25を制御するセンサドライバプログラム等を記憶する。また、基地局記憶部33は、オペレーティングシステムプログラムとして、特定小電力無線方式等を実行する無線制御プログラム、IEEE802.11規格の無線通信方式を実行する接続制御プログラム等を記憶する。また、基地局記憶部33は、データとして、センサ部36によって測定された環境因子を締める環境情報及びセンサ端末2から受信した環境情報を記憶する。
【0040】
GPS部34は、主に1.5GHz帯を感受帯域とするアンテナを含む、GPS回路を有し、不図示のGPS衛星からGPS信号を受信する。GPS部34は、そのGPS信号をデコードし、時刻情報等を取得する。次に、GPS部34は、その時刻情報等に基づいてGPS衛星からセンサ基地局3までの擬似距離を計算し、その擬似距離を代入して得られる連立方程式を解くことにより、センサ基地局3が存在する位置(緯度、経度、高度等)を検出する。そして、GPS部34は、検出した位置を示す位置情報と取得した時刻情報とを関連付けて定期的に基地局処理部37に出力する。
【0041】
センサ接続部35は、センサ部36と接続するセンサ端子を含み、1又は複数の種類の環境因子を測定するためのセンサ部36と接続する。
【0042】
センサ部36は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及びCO
2等の環境因子を測定するための各種センサを含む。例えば、センサ部36は、気温を測定するための気温センサ、湿度を測定するための湿度センサ、土壌温度を測定するための土壌温度センサ、土壌水分量を測定するための土壌水分センサ、日射量を測定するための日射センサ、土壌電気伝導度を測定するための土壌EC(Electrical Conductivity)センサ、土壌pHを測定するための土壌pHセンサ、風向センサ及び風速センサ、露点温度センサ、水位センサ、水温センサ、及びCO
2センサ等の少なくとも何れか1つを含む。
【0043】
基地局処理部37は、一又は複数個のプロセッサ及びその周辺回路を有する。基地局処理部37は、センサ基地局3の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。基地局処理部37は、センサ基地局3の各種処理が基地局記憶部33に記憶されているプログラム等に応じて適切な手順で実行されるように、第1基地局通信部31、第2基地局通信部32、GPS部34、センサ部36等の動作を制御する。基地局処理部37は、基地局記憶部33に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム等)に基づいて処理を実行する。
【0044】
基地局処理部37は、測定情報取得部371と、環境情報受信部372と、環境情報送信部373とを有する。基地局処理部37が有するこれらの各部は、基地局処理部37が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、基地局処理部37が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてセンサ基地局3に実装されてもよい。
【0045】
2.3.携帯端末4の構成
図5は、携帯端末4の概略構成の一例を示す図である。
【0046】
携帯端末4は、ユーザ情報の送信、圃場の環境情報の履歴及び範囲情報の受信、環境情報の履歴及び範囲情報の表示等を行う。そのために、携帯端末4は、第1無線通信部41と、第2無線通信部42と、端末記憶部43と、操作部44と、表示部45と、撮影部46と、端末処理部47とを備える。
【0047】
第1無線通信部41は、主に2.1GHz帯を感受帯域とするアンテナを含む、通信インターフェース回路を有し、携帯端末4を通信ネットワーク(図示せず)に接続する。第1無線通信部41は、基地局6により割り当てられるチャネルを介して、基地局6との間でCDMA(Code Division Multiple Access)方式等による無線信号回線を確立し、基地局6との間で通信を行う。なお、基地局6との間の通信方式は、CDMA方式に限定されず、W−CDMA(Wideband Code Division Multiple Access)方式、LTE(Long Term Evolution)方式等の他の通信方式でもよく、今後使用される通信方式でもよい。また、基地局6との間の通信方式は、PHS(Personal Handy-phone System)等の他の通信方式でもよい。また、第1無線通信部41の周波数帯域は、上記した周波数帯域に限定されない。第1無線通信部41は、基地局6から受信したデータを端末処理部47に供給し、端末処理部47から供給されたデータを基地局6に送信する。
【0048】
第2無線通信部42は、主に2.4GHz帯、5GHz帯等を感受帯域とするアンテナを含む、通信インターフェース回路を有し、図示しない無線LAN(Local Area Network)のアクセスポイントとの間でIEEE(The Institute of Electrical and Electronics Engineers, Inc.)802.11規格の無線通信方式に基づいて無線通信を行う。また、第2無線通信部42の周波数帯域は、上記した周波数帯域に限定されない。そして、第2無線通信部42は、基地局6から受信したデータを端末処理部47に供給し、端末処理部47から供給されたデータを基地局6に送信する。
【0049】
端末記憶部43は、例えば、半導体メモリを有する。端末記憶部43は、端末処理部47での処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、端末記憶部43は、ドライバプログラムとして、第1無線通信部41を制御する携帯電話通信デバイスドライバプログラム、第2無線通信部42を制御する無線LAN通信デバイスドライバプログラム、操作部44を制御する入力デバイスドライバプログラム、表示部45を制御する出力デバイスドライバプログラム等を記憶する。また、端末記憶部43は、オペレーティングシステムプログラムとして、IEEE802.11規格の無線通信方式を実行する接続制御プログラム、携帯電話の接続制御プログラム等を記憶する。また、端末記憶部43は、アプリケーションプログラムとして、ウェブページの取得及び表示を行うウェブブラウザプログラム、電子メールの送信及び受信を行う電子メールプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM(compact disk read only memory)、DVD−ROM(digital versatile disk read only memory)等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部43にインストールされてもよい。
【0050】
操作部44は、携帯端末4の操作が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の入力装置、キーパッド等である。所有者は、このデバイスを用いて、文字、数字等を入力することができる。操作部44は、所有者により操作されると、その操作に対応する信号を発生する。発生した信号は、所有者の指示として、端末処理部47に入力される。
【0051】
表示部45は、動画像、静止画像等の出力が可能であればどのようなデバイスでもよく、例えば、タッチパネル式の表示装置、液晶ディスプレイ、有機EL(Electro−Luminescence)ディスプレイ等である。表示部45は、端末処理部47から供給される動画像データに応じた動画像、静止画像データに応じた静止画像等を表示する。
【0052】
撮影部46は、結像光学系、撮像素子及び画像処理部等を有する。結像光学系は、例えば光学レンズであり、被写体からの光束を撮像素子の撮像面上に結像させる。撮像素子は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等であり、撮像面上に結像した被写体像の画像信号を出力する。画像処理部は、撮像素子によって生成された画像信号から所定のファイル形式の画像データを作成して出力する。
【0053】
端末処理部47は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部47は、携帯端末4の全体的な動作を統括的に制御するものであり、例えば、CPU(Central Processing Unit)である。端末処理部47は、携帯端末4の各種処理が端末記憶部43に記憶されているプログラム及び操作部44の操作からの出力等に応じて適切な手順で実行されるように、第1無線通信部41、第2無線通信部42、表示部45等の動作を制御する。端末処理部47は、端末記憶部43に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部47は、複数のプログラム(アプリケーションプログラム等)を並列に実行することができる。
【0054】
端末処理部47は、閲覧実行部471と、取得部472と、端末送信部473とを有する。端末処理部47が有するこれらの各部は、端末処理部47が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、端末処理部47が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとして携帯端末4に実装されてもよい。
【0055】
2.4.サーバ5の構成
図6は、サーバ5の概略構成の一例を示す図である。また、
図7(a)〜(d)は、サーバ記憶部52が記憶する各種テーブルのデータ構造の一例を示す図である。
【0056】
サーバ5は、センサ端末2又はセンサ基地局3から環境情報を受信すると、環境情報を蓄積及び管理し、携帯端末4に、環境情報及び環境情報の範囲情報等を送信する。また、サーバ5は、携帯端末4によって送信された病虫害の撮影画像を受信すると、撮影画像に対応する病虫害名を検索し、検索された病虫害名を判定結果名として携帯端末4に送信する。そのために、サーバ5は、サーバ通信部51と、サーバ記憶部52と、サーバ処理部53とを備える。
【0057】
サーバ通信部51は、サーバ5をインターネット11に接続するための通信インターフェース回路を有する。サーバ通信部51は、センサ端末2又はセンサ基地局3から送信されたデータ、及び、携帯端末4から送信されたデータを受信し、受信された各データをサーバ処理部53に供給する。
【0058】
サーバ記憶部52は、例えば、半導体メモリ、磁気ディスク装置、及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部52は、サーバ処理部53による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部52は、ドライバプログラムとして、サーバ通信部51を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばCD−ROM、DVD−ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部52にインストールされてもよい。
【0059】
また、サーバ記憶部52は、データとして、
図7(a)に示すユーザ管理テーブル、
図7(b)に示すセンサ管理テーブル、
図7(c)に示す範囲管理テーブル、
図7(d)に示す評価履歴テーブル、画面表示に係る様々な画像データ等を記憶する。さらに、サーバ記憶部52は、所定の処理に係る一時的なデータを一時的に記憶してもよい。
【0060】
図7(a)は、ユーザを管理するユーザ管理テーブルを示す。ユーザ管理テーブルには、各ユーザについて、当該ユーザの識別番号(ユーザID)、ユーザの名前、ユーザのメールアドレス、センサ端末2及びセンサ基地局3の識別番号(センサID)等の情報が関連付けて記憶される。センサ端末IDは、ユーザが所有するセンサ端末2の識別番号である。
【0061】
図7(b)は、センサ端末2及びセンサ基地局3を管理するセンサ管理テーブルを示す。センサ管理テーブルには、各センサ端末2及びセンサ基地局3について、当該センサ端末2及びセンサ基地局3の識別番号(センサID)、センサ位置、圃場の識別番号(圃場ID)、農作物の識別番号(農作物ID)、現生育期、下限評価値、レコード毎の環境情報等の情報が関連付けて記憶される。
【0062】
センサ位置は、各センサ端末2及びセンサ基地局3から送信された、各センサ端末2及びセンサ基地局3のGPS部によって取得された緯度及び経度である。圃場IDは、各センサ端末2及びセンサ基地局3が設置される圃場の識別番号である。農作物IDは、各センサ端末2及びセンサ基地局3が設置される圃場において栽培される農作物の識別番号である。生育期は、各農作物が生育される生育期間を、複数の生育状況毎に分割した複数の期間であり、農作物の種類毎に複数設定される。生育期は、例えば、播種期、育苗期、活着期等である。
【0063】
現育成期は、各センサ端末2及びセンサ基地局3が設置される圃場において生育される農作物の現在の生育期である。なお、現生育期は、ユーザから送信された生育期更新要求をサーバ5が受信した際に、次の育成期に更新される。下限評価値は、各センサ端末2及びセンサ基地局3が設置される圃場において生育される農作物の成果価値のうち、ユーザが所望する成果価値の下限である。下限評価値は、ユーザによって設定されるが、予め定められた評価値であってもよい。レコード毎の環境情報は、センサ基地局3から所定のサーバ送信周期で送信されたセンサID、環境情報、及び測定時間に基づいて、センサID毎に測定時間に従って順次関連付けられて記憶される。例えば、センサID毎に、最初の測定時間の環境情報が1レコードとして記憶され、各レコードは、測定された順番に、レコード1、レコード2、レコード3、・・・として記憶される。なお、環境情報は、気温、湿度、土壌温度、土壌水分量、日射量、土壌電気伝導度、土壌pH、風向及び風速、飽差、露点温度、水位、水温、及び/又はCO
2であるが、他の環境因子を含めてもよく、各環境因子の積算値であってもよい。また、各レコードに含まれる生育期は、環境情報が記憶される時点での現生育期が記憶される。
【0064】
図7(c)は、環境情報の範囲情報を管理する範囲管理テーブルを示す。範囲管理テーブルには、各農作物について、当該農作物の識別番号(農作物ID)、生育期毎の農作物が収穫されるために必要な環境情報の範囲情報等が関連付けて記憶される。
【0065】
図7(d)は、過去に生育された農作物の評価値を管理する評価履歴テーブルを示す。評価履歴テーブルには、センサ端末2及びセンサ基地局3毎に、当該センサ端末2及びセンサ基地局3の識別番号(センサID)、当該センサ端末2及びセンサ基地局3が設置された圃場において収穫された農作物の評価履歴等が関連付けて記憶される。評価履歴は、過去に収穫された農作物の育成期間と、当該農作物の成果価値を示す評価値等が含まれる。なお、記憶処理部535が、センサID毎に、評価履歴テーブルに記憶された評価履歴と、センサ管理テーブルに記憶された圃場ID及び農作物IDの何れか一方又は両方とを、相互に対応付けてサーバ記憶部52に記憶するようにしてもよい。
【0066】
図6に戻り、サーバ処理部53は、一又は複数個のプロセッサ及びその周辺回路を有する。サーバ処理部53は、サーバ5の全体的な動作を統括的に制御するものであり、例えば、CPUである。サーバ処理部53は、サーバ5の各種処理がサーバ記憶部52に記憶されているプログラム等に応じて適切な手順で実行されるように、サーバ通信部51等の動作を制御する。サーバ処理部53は、サーバ記憶部52に記憶されているプログラム(ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、サーバ処理部53は、複数のプログラム(アプリケーションプログラム等)を並列に実行できる。
【0067】
サーバ処理部53は、サーバ受信部531と、登録部532と、画面作成部533、サーバ送信部534と、記憶処理部535と、警告部536、修正部537、特定部538、画像判定部539とを有する。サーバ処理部53が有するこれらの各部は、サーバ処理部53が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部53が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてサーバ5に実装されてもよい。
【0068】
3.農業管理システム1の動作シーケンス
図8は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図8に示す動作シーケンスは、携帯端末4とサーバ5との間のユーザ情報登録処理の一例である。
【0069】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
【0070】
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて入力したユーザ情報を、ユーザ情報の登録要求とともに第2無線通信部42を介してサーバ5に送信する(ステップS101)。次に、サーバ5のサーバ受信部531は、携帯端末4から送信されたユーザ情報を、サーバ通信部51を介して受信する。ユーザ情報には、ユーザの名前、ユーザのメールアドレス、ユーザが所有するセンサ端末2及びセンサ基地局のセンサID、センサIDに対応する圃場ID、農作物ID,現生育期、下限評価値、生育期毎の農作物が収穫されるために必要な環境情報の範囲情報等が含まれる。なお、圃場IDは、ユーザが操作部44を用いて入力した圃場名に基づいて、一意のIDをサーバ5が付与してもよい。また、農作物IDは、ユーザが操作部44を用いて入力した農作物の種類に基づいて、一意のIDをサーバ5が付与してもよい。
【0071】
次に、登録部532は、サーバ受信部531が受信したユーザ情報を、サーバ記憶部52に記録された各種テーブルに登録するユーザ情報登録処理を実行する(ステップS102)。
【0072】
次に、画面作成部533は、登録部532によって登録されたユーザ情報を含む管理画面表示データを作成する。次にサーバ送信部534は、画面作成部533によって管理画面表示データが作成されると、作成された管理画面表示データを、サーバ通信部51を介して携帯端末4に送信する(ステップS103)。携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した管理画面表示データに基づいて、登録されたユーザ情報を含む管理画面(図示せず)を表示する(ステップS104)。
【0073】
図9は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図9に示す動作シーケンスは、センサ端末2とセンサ基地局3とサーバ5との間の環境情報記憶処理の一例である。
【0074】
以下に説明する動作シーケンスは、予めセンサ端末記憶部22、基地局記憶部33及びサーバ記憶部52に記憶されているプログラムに基づいて、主にセンサ端末処理部26、基地局処理部37及びサーバ処理部53により、センサ端末2、センサ基地局3及びサーバ5の各要素と協働して実行される。
【0075】
最初に、センサ端末2の測定情報取得部261は、センサ部25が測定した環境因子を示す環境情報を、センサ接続部24を介してセンサ部25から所定の測定周期で取得するとともに、GPS部23から定期的に出力される時刻情報を取得する。次に、測定情報取得部261は、センサ端末2を識別するためのセンサIDに関連付けて、センサ部25から取得した環境情報と、GPS部23から取得した時刻情報とをセンサ端末記憶部22に記憶する。そして、測定情報送信部262は、センサ端末記憶部22に記憶された、センサID、環境情報、及び測定時間を、所定の送信周期でセンサ端末通信部21を介してセンサ基地局3に送信する(ステップS201)。
【0076】
次に、センサ基地局3の測定情報取得部371は、センサ部36が測定した環境因子を示す環境情報を、センサ接続部35を介してセンサ部36から所定の測定周期で取得するとともに、GPS部34から定期的に出力される時刻情報を取得する。次に、測定情報取得部371は、センサ基地局3を識別するためのセンサIDに関連付けて、センサ部36から取得した環境情報と、GPS部34から取得した時刻情報とを基地局記憶部33に記憶する。次に、環境情報受信部372は、センサ端末2から所定の送信周期で送信された、センサID、環境情報、及び測定時間を、第1基地局通信部31を介して受信する。次に、環境情報受信部372は、受信したセンサID、環境情報、及び測定時間を基地局記憶部33に記憶する。そして、環境情報送信部373は、基地局記憶部33に記憶された、センサID、環境情報、及び測定時間を、所定のサーバ送信周期で第2基地局通信部32を介してサーバ5に送信する(ステップS202)。
【0077】
次に、サーバ5のサーバ受信部531は、センサ基地局3から所定のサーバ送信周期で送信された、センサID、環境情報、及び測定時間を、サーバ通信部51を介して受信する。そして、記憶処理部535は、受信した測定時間及び環境情報を、同時に受信したセンサIDに関連付けて、サーバ記憶部52のセンサ管理テーブルに1レコードずつ順次記憶する(ステップS203)。
【0078】
図10は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図10に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報登録処理の一例である。
【0079】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
【0080】
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて入力した農作物を識別する農作物IDと各評価値の農作物が収穫されるために必要な環境情報の範囲情報とを、環境情報の範囲情報の登録要求とともに第2無線通信部42を介してサーバ5に送信する(ステップS301)。以下、各評価値の農作物が収穫されるために必要な環境情報の範囲情報を、各評価値に対応する環境情報の範囲情報と称する場合がある。
【0081】
次に、サーバ5のサーバ受信部531は、携帯端末4から送信された農作物IDと各評価値に対応する環境情報の範囲情報とを、サーバ通信部51を介して受信する。そして、登録部532は、農作物IDに、各評価値に対応する環境情報の範囲情報を関連付けてサーバ記憶部52の範囲管理テーブルに記録する(ステップS302)。
【0082】
次に、画面作成部533は、登録部532の範囲管理テーブルによって記録された、農作物IDによって示される農作物と、当該農作物に対応し且つ各評価値に対応する環境情報の範囲情報を含む管理画面表示データを作成する。そして、サーバ送信部534は、画面作成部533によって管理画面表示データが作成されると、作成された管理画面表示データを、サーバ通信部51を介して携帯端末4に送信する(ステップS303)。
【0083】
携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した管理画面表示データに基づいて、登録された環境情報の範囲情報を含む管理画面(図示せず)を表示する(ステップS304)。
【0084】
図11は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図11に示す動作シーケンスは、携帯端末4とサーバ5との間の警告メール出力処理の一例である。
【0085】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
【0086】
最初に、サーバ5の警告部536及び画面作成部533は、所定の警告周期で警告メール出力処理を実行する(ステップS401)。警告メール出力処理の詳細については後述する。そして、サーバ送信部534は、警告部536及び画面作成部533によって警告メール出力処理が実行されると、警告部536から警告メールを受け取って、警告メールに含まれる送信先アドレスによって示される携帯端末4に、警告メールを送信する(ステップS402)。
【0087】
図12は、警告部536及び画面作成部533による警告メール出力処理の動作フローの一例を示す図である。
図12に示す警告メール出力処理は、
図11のステップS401において実行される。
【0088】
最初に、警告部536は、サーバ記憶部52に記憶されたセンサ管理テーブルを参照して、センサID毎に、最新のレコードの環境情報を所定の警告周期で取得する(ステップS501)。次に、警告部536は、サーバ記憶部52に記憶されたセンサ管理テーブルを参照して、センサID毎に、各センサIDに関連付けられた農作物ID及び下限評価値を抽出する。次に、警告部536は、サーバ記憶部52に記憶された範囲管理テーブルを参照して、抽出された農作物IDに関連付けられた、現在の生育期における下限評価値以上(例えば、下限評価値が4である場合は所定値4及び5)の環境情報の範囲情報を取得する(ステップS502)。なお、下限評価値は、所定の評価値の一例である。
【0089】
次に、警告部536は、センサID毎に、最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値以上の環境情報の範囲情報内であるか否かを判定する(ステップS503)。次に、警告部536が、各センサIDの最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値の環境情報の範囲情報内であると判定した場合(ステップS503−Yes)、後述するステップS506に処理を進める。
【0090】
一方、警告部536が各センサIDの最新のレコードの環境情報が、各センサIDに関連付けられた農作物IDに対応する下限評価値の環境情報の範囲情報内でないと判定した場合(ステップS503−No)、警告部536は、下限評価値の農作物が収穫されるために必要な環境を示す環境適合情報を作成する。環境適合情報は、最新のレコードの環境情報と下限評価値以上の環境情報の範囲情報との差分を示す情報等である。画面作成部533は、警告部536によって作成された環境適合情報を含む管理画面表示データを作成する(ステップS504)。
【0091】
次に、警告部536は、現在の環境情報が環境情報の範囲情報内でないことを示す情報を含む警告メールを作成する(ステップS505)。まず、警告部536は、ユーザ管理テーブルを参照し、下限評価値の環境情報の範囲情報内でないと判定された最新のレコードの環境情報に対応するセンサIDに関連付けられたユーザIDを特定し、特定されたユーザIDに関連付けられたメールアドレスを取得する。次に、警告部536は、取得したメールアドレスが送信先として設定され、且つ、現在の環境情報が環境情報の範囲情報内でないことを示す情報が本文として設定された警告メールを作成する。そして、警告部536は、作成した警告メールをサーバ送信部534に渡す。なお、警告部536は、警告メールに、環境適合情報を含む管理画面表示データの格納場所を示すURL(Uniform Resource Locator)を含めてもよい。これにより、警告メールを受け取ったユーザは、携帯端末4に環境適合情報を含む管理画面を表示することができる。
【0092】
次に、警告部536は、警告メールを作成すると、センサ管理テーブルに記憶された全てのセンサIDに対して、ステップS503〜S504の処理を実行したか否かを判定する(ステップS506)。次に、警告部536は、全てのセンサIDに対して、ステップS503〜S504の処理を実行していないと判定した場合(ステップS506−No)、ステップS503に処理を戻す。そして、警告部536は、全てのセンサIDに対して、ステップS503〜S504の処理を実行したと判定した場合(ステップS506−Yes)、一連のステップを終了する。
【0093】
図13は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図13に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報修正処理の一例である。
【0094】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
【0095】
最初に、携帯端末4の閲覧実行部471は、ユーザが操作部44を用いて、各農作物の生育期間の内のいずれかの生育期が終了したことを入力すると、携帯端末4を所有するユーザのユーザID及びセンサIDを含む生育期更新要求を、第2無線通信部42を介してサーバ5に送信する(ステップS601)。以降、終了した生育期を、現在の生育期と称し、生育期更新要求によって更新する生育期を次の生育期と称する。センサIDは、生育期が終了した農作物を生育している圃場に設置されたセンサ端末2及びセンサ基地局3のセンサIDである。
【0096】
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された生育期更新要求をサーバ通信部51を介して受信すると、修正部537及び画面作成部533は、範囲情報修正処理を実行する(ステップS602)。範囲情報修正処理の詳細については後述する。
【0097】
そして、サーバ送信部534は、修正部537及び画面作成部533によって範囲情報修正処理が実行されると、画面作成部533から管理画面表示データを受け取って、携帯端末4に、管理画面表示データを送信する(ステップS603)。
【0098】
図14は、修正部537及び画面作成部533による範囲情報修正処理の動作フローの一例を示す図である。
図14に示す範囲情報修正処理は、
図13のステップS602において実行される。
【0099】
最初に、修正部537は、センサ管理テーブルを参照して、サーバ受信部531によって受信された生育期更新要求に含まれるセンサIDに関連付けられた各レコードの環境情報の内、現在の生育期におけるレコードの環境情報を取得する(ステップS701)。次に、修正部537は、センサ管理テーブルを参照して、生育期更新要求に含まれるセンサIDに関連付けられた農作物ID及び下限評価値を抽出し、範囲管理テーブルを参照して、抽出された農作物IDに関連付けられた現在の生育期における下限評価値以上の環境情報の範囲情報を取得する(ステップS702)。以下、抽出された農作物IDに関連付けられた現在の生育期における下限評価値以上の環境情報の範囲情報を、目標範囲情報と称する場合がある。
【0100】
次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内であったか否かを判定する(ステップS703)。なお、修正部537は、目標範囲情報内に含まれる環境情報のレコード数が、所定数以上の場合、現在の生育期におけるレコードの環境情報が目標範囲情報内であったと判定してもよい。
【0101】
次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内である場合(ステップ703−Yes)、ステップS706に処理を進める。次に、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、目標範囲情報内でない場合(ステップ703−No)、ステップS702で抽出された下限評価値よりも低い評価値を抽出し、生育期更新要求に含まれるセンサIDに関連付けられた下限評価値として抽出された評価値をセンサ管理テーブルに記憶する(ステップS704)。なお、下限評価値及び下限評価値よりも低い評価値は、所定の評価値及び第2の評価値の一例である。なお、第2の評価値は、下限評価値よりも低い評価値に限られない。例えば、修正部537は、ステップS702において取得された下限評価値以上の環境情報の範囲情報に、現在の生育期におけるレコードの環境情報の平均値が含まれるか否かを判定する。そして、修正部537は、現在の生育期におけるレコードの環境情報の平均値が、下限評価値以上の環境情報の範囲情報内である場合、この下限評価値以上の環境情報に対応する評価値を、第2の評価値とする。このように、環境情報に応じて、所定の評価値とは異なる第2の評価値を抽出し、評価値をセンサ管理テーブルに記憶する。
【0102】
次に、修正部537は、ステップS702で抽出された抽出された農作物IDに関連付けられた次の生育期における第2の評価値の環境情報の範囲情報を取得して、画面作成部533は、抽出した環境情報の範囲情報を含む管理画面を表示するための管理画面表示データを作成する(ステップS705)。そして、画面作成部533は、作成された管理画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。なお、警告部536は、下限評価値よりも低い評価値を用いて、上述の警告メール出力処理を実施する。
【0103】
図15は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図15に示す動作シーケンスは、携帯端末4とサーバ5との間の範囲情報更新処理の一例である。
【0104】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。
【0105】
最初に、ユーザは、各農作物の生育期間が終了して各農作物が収穫された場合に、操作部44を用いて、収穫された各農作物が生育された圃場に設置されたセンサ端末2及びセンサ基地局3のセンサIDと収穫された農作物の農作物ID、評価値及び生育期間を入力する。次に、携帯端末4の取得部472は、入力されたセンサIDと、農作物ID、評価値及び生育期間とを取得する。そして、端末送信部473は、携帯端末4を所有するユーザのユーザID、並びに、取得部472によって取得されたセンサID、農作物ID、評価値及び生育期間を含む収穫データを、第2無線通信部42を介してサーバ5に送信する(ステップS801)。
【0106】
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された収穫データをサーバ通信部51を介して受信すると、特定部538及び画面作成部533は、範囲情報更新処理を実行する(ステップS802)。範囲情報更新処理の詳細については後述する。
【0107】
そして、サーバ送信部534は、特定部538及び画面作成部533によって範囲情報更新処理が実行されると、画面作成部533から管理画面表示データを受け取って、携帯端末4に、管理画面表示データを送信する(ステップS803)。
【0108】
図16は、特定部538及び画面作成部533による範囲情報更新処理の動作フローの一例を示す図である。
図16に示す範囲情報更新処理は、
図15のステップS802において実行される。
【0109】
最初に、特定部538は、センサ管理テーブルを参照して、サーバ受信部531によって受信された収穫データに含まれるセンサID且つ農作物IDに関連付けられた全てのレコードの環境情報の内、各レコードに含まれる生育期毎に環境情報を取得する(ステップS901)。なお、ステップS901において取得される環境情報は、サーバ受信部531によって受信された収穫データに含まれるセンサIDに関するものであるが、この限りではない。例えば、特定部538は、サーバ記憶部52に記憶された全てのセンサIDに関連付けられた全レコードの環境情報であって、農作物IDに関連付けられた環境情報を取得してもよい。また、特定部538は、各圃場の緯度経度、標高、気候条件、土壌の種類等に基づいて、各圃場を複数のグループに分類し、サーバ受信部531によって受信された収穫データに含まれるセンサIDに対応する圃場と同じグループに分類された圃場に対応するセンサIDに関連付けられた全レコードの環境情報であって、農作物IDに関連付けられた環境情報を取得してもよい。
【0110】
次に、特定部538は、サーバ受信部531が受信した収穫データに含まれるセンサIDと農作物の評価値及び生育期間とを取得し、取得したセンサIDに関連付けて、取得した農作物の評価値及び生育期間を評価履歴テーブルに記憶する更新処理を行い、次に、更新処理後の評価履歴テーブルを参照して、サーバ受信部531によって受信された収穫データに含まれるセンサIDに関連付けられた全ての評価履歴を取得する(ステップS902)。
【0111】
次に、特定部538は、生育期毎に、ステップS901において取得した全ての環境情報に、当該環境情報の測定時間を含む生育期間に関連付けられた評価値を対応付ける(ステップS903)。以降、評価値と複数の環境情報とが対応付けられたデータセットを、環境情報履歴Dと称する。
【0112】
次に、特定部538は、複数の環境情報履歴Dの中から、評価値に対する影響が大きい環境情報を選定する(ステップS904)。まず、特定部538は、複数の環境情報履歴Dうちの環境情報を変数として、主成分分析を実行し、第1主成分における各変数の主成分負荷量(因子負荷量)を算出する。そして、特定部538は、主成分負荷量が所定の値よりも大きい変数(環境情報)を選定する。なお、特定部538は、第1主成分の主成分負荷量だけではなく、第2主成分の各主成分負荷量が所定の値よりも大きい変数も選定してもよい。また、第1主成分の寄与率が一定値よりも低い場合は、以降の、ステップS905〜S907を実行せず、範囲情報更新処理を終了してもよい。また、環境情報履歴Dの環境情報の種類が少ない(例えば、環境情報の種類が3種類以下。)場合、ステップS904を実行せずに、ステップS905に処理を進めてもよい。
【0113】
次に、特定部538は、選定された環境情報履歴Dにおける評価値と環境情報との間に特定の相関関係があるか否か判定する(ステップS905)。以下、評価値と環境情報との間の相関関係について説明する。
【0114】
図17は、環境情報履歴Dを、評価値及び環境情報を軸とした2次元平面にマッピングした模式図である。
図17に示す環境情報は土壌温度の積算値であるが、他の環境因子(気温、日射量等)の積算値であってもよい。一般に、評価値の高い農作物が収穫されるためには、各生育期において、最適な環境情報の範囲内で農作物を生育する必要があることが知られている。例えば、
図17に示すとおり、積算土壌温度2,300度前後において、評価値の高い農作物が収穫される。また、積算土壌温度が2,300度から低くなるに従い、評価値の低い農作物が収穫され、且つ、積算土壌温度が2,300度から高くなるに従い、評価値の低い農作物が収穫される。
【0115】
ここで、積算土壌温度をx
i、評価値をy
iとし、x
i及びy
iの平均値をX及びYとすると、相関係数R
xyは、次の式(1)で求められる。なお、nは、環境情報履歴Dのデータ数である。
【0117】
また、回帰直線は、次の式(2)で求められる。
【0119】
この場合、a及びbは、それぞれ次の式(3)及び(4)で表される。
【0122】
また、評価値yの推定値の標準偏差S
eは、次の式(5)で表される。
【0124】
図16に戻り、特定部538は、ステップS905において、評価値と環境情報との間の正の相関関係を示す回帰直線及び負の相関関係を示す回帰直線を算出し、算出された回帰直線に係る相関係数R
xyの絶対値が0.8以上の場合、評価値と環境情報との間に特定の相関関係があると判定する。
【0125】
次に、特定部538は、評価値と環境情報との間に特定の相関関係がないと判定した場合(ステップS905−No)、ステップS907に処理を進める。
【0126】
一方、特定部538は、評価値と環境情報との間に特定の相関関係があると判定した場合(ステップS905−Yes)、正の相関関係を示す回帰直線に応じて、各評価値に対応する環境情報の下限値を算出するとともに、負の相関関係を示す回帰直線に応じて、各評価値に対応する環境情報の上限値を算出する。次に、特定部538は、算出した各評価値に対応する下限値及び上限値を、サーバ記憶部52に記憶された範囲管理テーブルの環境情報の範囲情報として更新して記憶する(ステップS906)。
【0127】
次に、画面作成部533は、範囲管理テーブルの環境情報の範囲情報が更新された通知を含む管理画面を表示するための管理画面表示データを作成する(ステップS907)。そして、画面作成部533は、作成された管理画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。
【0128】
なお、特定部538は、ステップS904において実行した主成分分析における第1主成分スコアと評価値との間に特定の相関関係があるか否か判定してもよい。まず、特定部538は、複数の環境情報履歴Dうちの環境情報を変数として、主成分分析を実行し、それぞれの変数(環境情報)に対応する第1主成分スコアを算出する。特定部538は、上述した式(1)において、第1主成分スコアをx
i、第1主成分スコアに対応する変数(環境情報)と関連対応付けられた評価値をy
iとし、x
i及びy
iの平均値をX及びYとして、相関係数R
xyを算出する。特定部538は、上述した式(2)〜(5)によって、評価値と第1主成分スコアとの間の正の相関関係を示す回帰直線及び負の相関関係を示す回帰直線を算出し、算出された回帰直線に係る相関係数R
xyの絶対値が0.8以上の場合、評価値と第1主成分スコアとの間に特定の相関関係があると判定する。特定部538は、評価値と第1主成分スコアとの間に特定の相関関係があると判定した場合、正の相関関係を示す回帰直線に応じて、各評価値に対応する第1主成分スコアの下限値を算出するとともに、負の相関関係を示す回帰直線に応じて、各評価値に対応する第1主成分スコアの上限値を算出する。次に、特定部538は、算出した各評価値に対応する下限値及び上限値に、主成分分析によって算出された固有ベクトルの逆行列を乗じて、ステップS904で選定された各変数(環境情報)に対応する上限値及び下限値を、サーバ記憶部52に記憶された範囲管理テーブルの各環境情報の範囲情報として更新して記憶する。これにより、収穫された農作物の評価値に影響を与える複数の環境情報に対する範囲情報を算出することが可能となる。
【0129】
以上説明してきたように、農業管理システム1によって、サーバ5は、各圃場において、過去に収穫した農作物の成果価値及び環境情報の履歴に基づいて、各圃場に適した農作物の管理情報を提供することが可能となる。したがって、サーバ5は、圃場毎の農作物の生育に適した環境を管理することができる。
【0130】
なお、サーバ5の画面作成部533は、積算土壌温度及び積算日射量を軸とした2次元平面にセンサ管理テーブルに記憶された各レコードの土壌温度及び日射量を積算した値をプロットした圃場環境特性曲線を含む画面を表示するための表示データを作成し、サーバ送信部534が、当該表示データをサーバ通信部51を介して携帯端末4に送信するようにしてもよい。
【0131】
図18は、積算土壌温度及び積算日射量を軸とした2次元平面に表示された圃場環境特性曲線を示す模式図である。
図18では、特定の評価値5の農作物が収穫されたX試験場における圃場環境特性曲線と、特定の農作物を生育しているY町Z圃場における圃場環境特性曲線とが示されている。これにより、現在のY町Z圃場における圃場環境特性曲線とX試験場における圃場環境特性曲線との乖離を視認することができる。
【0132】
なお、圃場環境特性曲線を用いることにより、現在のY町Z圃場における最適な種及び品種を決定すること、並びに、開花日及び収穫日を多次元的に解析することが可能となる。
【0133】
図19は、農業管理システム1に係る動作シーケンスの一例を示す図である。
図19に示す動作シーケンスは、携帯端末4とサーバ5との間の画像判定処理の一例である。なお、
図19に示す動作シーケンスを実行する農業管理システム1は、画像判定方法を実行する画像判定システムの一例である。
【0134】
以下に説明する動作シーケンスは、予め端末記憶部43及びサーバ記憶部52に記憶されているプログラムに基づいて、主に端末処理部47及びサーバ処理部53により、携帯端末4及びサーバ5の各要素と協働して実行される。なお、サーバ記憶部52は、病虫害毎に、複数の病虫害画像、病虫害名、農作物名、発生部位、発生環境情報等が関連付けて記憶される病虫害画像管理テーブルを記憶する。農作物名は、病虫害が発生した農作物の名称である。なお、各病虫害に関連付けて、複数の病虫害画像が記憶されるが、各病虫害に関連付けて、1の病虫害画像を記憶されてもよい。発生部位は、病虫害が発生した農作物の部位である。発生環境情報は、病虫害が発生しやすい環境情報の範囲又は圃場の条件を示すデータである。また、発生環境情報における環境情報の種類は、1種類でも複数種類でもよい。
【0135】
最初に、取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により得られた病虫害の撮影画像を取得する(ステップS1001)。なお、撮影された病虫害は、当該携帯端末4を所有するユーザが運営する圃場に生息する害虫、又は、当該圃場で生育する農作物の病害の症状等である。
【0136】
携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像及び携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する(ステップS1002)。
【0137】
次に、サーバ5のサーバ受信部531が、携帯端末4から送信された画像判定要求を、サーバ通信部51を介して受信すると、画像判定部539及び画面作成部533は、撮影画像判定処理を実行する(ステップS1003)。撮影画像判定処理の詳細については後述する。
【0138】
次に、サーバ送信部534は、画像判定部539及び画面作成部533によって撮影画像判定処理が実行されると、画面作成部533から判定結果画面表示データを受け取って、携帯端末4に、判定結果画面表示データを送信する(ステップS1004)。
【0139】
そして、携帯端末4の閲覧実行部471は、第2無線通信部42を介して受信した判定結果画面表示データに基づいて、判定結果名を含む判定結果画面(図示せず)を表示する(ステップS1005)。
【0140】
図20は、画像判定部539及び画面作成部533による撮影画像判定処理の動作フローの一例を示す図である。
図20に示す撮影画像判定処理は、
図19のステップS1003において実行される。
【0141】
最初に、画像判定部539は、病虫害画像管理テーブルに記憶された複数の病虫害画像を取得し、SURF法等の局所特徴量抽出法を用いて、取得された複数の病虫害画像のそれぞれに対して、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する(ステップS1101)。なお、局所特徴量抽出法として、SURF法に限らず、SIFT(Scale-Invariant Feature Transform)法等が用いられてもよい。なお、局所特徴量抽出法によって算出された局所特徴量は、128次元であるが、それに限らず64次元でも、それ以外の次元数でもよい。
【0142】
次に、画像判定部539は、複数の病虫害画像のそれぞれに対して算出された複数の局所特徴量に基づいて、各病虫害画像を特徴ベクトルで表現する(ステップS1102)。病虫害画像を特徴ベクトルで表現する処理は、例えば、フィッシャーベクトル(Fisher Vector)等の特徴ベクトル表現方法を用いて実行される。なお、フィッシャーベクトルの要素数は、フィッシャーベクトルにおけるコードブックサイズが10であり且つ局所特徴量の次元数が128次元の場合、(2×128)×10−1=2559である。
【0143】
次に、画像判定部539は、複数の病虫害画像のそれぞれを表現した特徴ベクトルに基づいて分類モデルを生成する(ステップS1103)。分類モデルは、例えば、Random Forestにおける複数の決定木である。また、分類モデルは、Soft Margin Support Vector Machineにおける学習データを複数の病虫害画像のそれぞれを表現した特徴ベクトルとした場合におけるスラック変数ξを導入した目的関数であってもよい。
【0144】
次に、画像判定部539は、サーバ受信部531によって受信された画像判定要求に含まれる撮影画像に対して、局所特徴量抽出法を用いて、複数の特徴点を抽出して、各特徴点の局所特徴量を算出する(ステップS1104)。
【0145】
次に、画像判定部539は、撮影画像に対して算出された複数の局所特徴量に基づいて、撮影画像を特徴ベクトルで表現する(ステップS1105)。
【0146】
次に、画像判定部539は、生成した分類モデルに基づいて、撮影画像を表現した特徴ベクトルに類似する病虫害名に対応付けてポイントを付与する(ステップS1106)。ポイントは、例えば、Random Forestでは、複数の決定木のそれぞれにおいて決定した、病虫害画像に対応する病虫害名の投票数である。また、ポイントは、Soft Margin Support Vector Machineにおける、スラック変数ξのペナルティとmarginの大きさの按配を制御するパラメータである。
【0147】
次に、画像判定部539は、病虫害名に対応付けられたポイントの何れかに重み付けする(ステップS1107)。以下、重み付けの処理について説明する。まず、画像判定部539は、ユーザ管理テーブルを参照し、サーバ受信部531によって受信された画像判定要求に含まれるユーザIDに関連付けられたセンサIDを取得する。次に画像判定部539は、センサ管理テーブルを参照し、取得されたセンサIDに関連付けられた所定期間内のレコードの環境情報及び農作物IDを取得する。なお、所定期間は、1年間であるが、当該センサIDに関連付けられた農作物IDに対応する農作物の生育期間であってもよい。次に、画像判定部539は、病虫害画像管理テーブルを参照して、取得された農作物IDに関連付けられた発生環境情報を抽出し、取得された環境情報が、抽出された発生環境情報に含まれるか否か判定する。そして、画像判定部539は、取得された環境情報が、抽出された発生環境情報に含まれると判定した場合は、病虫害画像管理テーブルを参照して、取得された環境情報を含むと判定された発生環境情報に関連付けられた病虫害名を特定し、特定された病虫害名のポイントに重み付けする。例えば、ポイントに重み付けする処理は、ポイントに対して、1.2を乗算する処理等である。
【0148】
次に、画像判定部539は、各病虫害名に対応付けられたポイントを比較して、最も高いポイントが付与された病虫害名を判定結果名として決定する(ステップS1108)。
【0149】
そして、画面作成部533は、画像判定部539によって決定された判定結果名を含む判定結果画面表示データを作成し(ステップS1109)、作成された判定結果画面表示データを、サーバ送信部534に渡して、一連のステップを終了する。
【0150】
以上説明してきたように、画像判定システムによって、サーバ5は、予め蓄積された病虫害の画像情報だけでなく、圃場の環境情報に基づいて病虫害を検索することが可能となる。したがって、サーバ5は、病虫害の撮影画像の判定の精度を向上させることができる。
【0151】
なお、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により得られた病虫害の撮影画像は、ユーザによる操作部44を用いた操作に応じて、病虫害の部分のみを切り出した画像であってもよい。携帯端末4が、病虫害の部分のみの画像を含む画像判定要求をサーバ5に送信し、サーバ5が、当該画像によって画像判定処理を行う場合、当該画像は病虫害以外の部分領域が小さくなっているため、画像判定処理の精度を向上させることができる。
【0152】
また、携帯端末4が、病虫害の撮影画像含む画像判定要求をサーバ5に送る場合、携帯端末4のユーザによる操作部44を用いた操作に応じて入力された農作物名及び病虫害の発生部位等を画像判定要求に含めてもよい。この場合、上述したステップS1101において、病虫害画像管理テーブルから取得する複数の病虫害画像を、画像判定要求に含まれる農作物名及び/又は発生部位に対応する病虫害画像とする。これにより、病虫害が発生した農作物及び/又は発生部位に対応する病虫害画像を判定の対象とすることができ、画像判定処理の精度を向上させることができる。
【0153】
また、重み付けの処理において、サーバ受信部531によって受信された画像判定要求に含まれるユーザIDをキーにしてユーザ管理テーブルからセンサIDを取得したが、画像判定要求を送信した携帯端末4の位置に基づいてセンサIDを取得してもよい。この場合、携帯端末4は、携帯端末4が存在する位置(緯度、経度、高度等)を検出するGPS部(図示せず)を有する。まず、
図19のステップS1001において、携帯端末4の取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により病虫害の撮影画像を取得した際に、GPS部が検出した位置(緯度、経度、高度等)を撮影位置として取得する。次に、
図19のステップS1002において、携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像、撮影位置、携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する。そして、
図20のステップS1107において、画像判定部539は、センサ管理テーブルを参照し、サーバ受信部531によって受信された撮影位置の近傍のセンサ位置に関連付けられたセンサIDを取得する。これにより、ユーザは、ユーザ自身が運営する圃場以外であっても、画像判定を実施することが可能になる。
【0154】
また、重み付けの処理において、サーバ5が、画像判定要求を送信した携帯端末4がセンサ端末2から直接取得したセンサIDを、当該携帯端末4から取得するようにしてもよい。この場合、画像判定要求を送信した携帯端末4は、Bluetooth(登録商標)などの端末間の近距離無線通信によって、無線の到達範囲内に位置するセンサ端末2と通信を確立させて、通信が確立されたセンサ端末2からセンサIDを直接取得する。携帯端末4は、
図5に示した各部に加えて、さらに近距離無線通信部48を備える。近距離無線通信部48は、Bluetooth(登録商標)等の通信方式に従った近距離無線通信を行うためのインターフェース回路を有する。携帯端末4の取得部472が、近距離無線通信部48を介して通信可能な所定範囲に位置するセンサ端末2を特定し、センサID要求信号をセンサ端末2に送信する。センサ端末2のセンサ端末処理部26は、携帯端末4からセンサID要求信号を受信すると、センサ端末記憶部22に記憶された自己のセンサIDを取得し、取得したセンサIDを、センサID要求信号を送信した携帯端末4に送信する。そして、携帯端末4の端末送信部473は、画像判定要求に受信したセンサIDを更に含めて、サーバ5に送信する。これにより、携帯端末4が備えるGPS等を用いた測位システムの精度が悪い場合であっても、携帯端末4の周辺に位置するセンサ端末2のセンサIDを取得することが可能になる。
【0155】
また、重み付けの処理において、現在発生している病虫害の情報に基づいて画像判定を行ってもよい。この場合、サーバ5のサーバ受信部531は、圃場を運営する各ユーザから、各圃場において発生が確認されている病虫害名を受信し、サーバ5の取得部472は、病虫害が発生している圃場の圃場IDに対応付けて当該病虫害名を記憶した病虫害発生テーブルをサーバ記憶部52に記憶する。次に、
図20のステップS1107において、画像判定部539は、センサ管理テーブルを参照し、サーバ受信部531によって受信された撮影位置の近傍のセンサ位置に関連付けられた圃場IDを取得する。次に、画像判定部539は、病虫害発生テーブルを参照して、圃場IDに対応付けられた病虫害名を取得し、取得した病虫害名のポイントに重み付けする。これにより、ユーザ自身が運営する圃場周辺の圃場において発生した病虫害に基づいて画像判定を実施することが可能になり、病虫害の撮影画像の判定の精度を向上させることができる。
【0156】
なお、現在発生している病虫害の情報として、外部サーバから取得した発生病虫害データ又は画像判定システムのサーバ管理者によって登録された発生病虫害データを用いてもよい。この場合、サーバ記憶部52は、現在発生が確認されている発生病虫害名と病虫害が発生している位置の発生位置情報とを対応付けて記憶する。また、携帯端末4は、携帯端末4が存在する位置(緯度、経度、高度等)を検出するGPS部(図示せず)を有する。まず、
図19のステップS1001において、携帯端末4の取得部472は、携帯端末4のユーザによる操作部44を用いた操作に応じて撮影部46の撮影により病虫害の撮影画像を取得した際に、GPS部が検出した位置(緯度、経度、高度等)を撮影位置として取得する。次に、
図19のステップS1002において、携帯端末4の端末送信部473は、携帯端末4の撮影部46の撮影により得られた病虫害の撮影画像、撮影位置、携帯端末4を所有するユーザのユーザIDを含む画像判定要求を、第2無線通信部42を介して、サーバ5に送信する。そして、
図20のステップS1107において、画像判定部539は、取得した撮影位置が、サーバ記憶部52に記憶された発生位置情報を中心とした所定範囲内に含まれるか否か判定する。そして、画像判定部539は、撮影位置が所定範囲内に含まれると判定した場合は、発生位置情報に対応する発生病虫害名を特定し、特定された病虫害名のポイントに重み付けする。これにより、ユーザは、全国で現在発生している発生病虫害データに基づいて、画像判定を実施することが可能になる。
【0157】
また、画像判定システムが実行する画像判定処理は、病虫害以外の動植物の判定に用いられてもよい。動植物は、植物、動物、昆虫等である。この場合、まず、サーバ5は、複数の動植物のそれぞれに対応した複数の動植物画像、及び、当該動植物が発生しやすい環境情報の範囲を示す発生環境情報を記憶する。次に、サーバ5は、携帯端末4から送信された撮影画像を受信する。次に、サーバ5は、記憶された複数の動植物画像のうち、携帯端末4から受信した撮影画像に類似する動植物画像を検索して、検索された動植物画像に基づいて、各動植物名にポイントを付与する。なお、ポイント付与は、画像判定部539によって実行される。次に、サーバ5は、センサ端末2によって測定された環境情報を当該センサ端末2から受信する。次に、サーバ5は、センサ端末2から受信した圃場の環境情報を特定し、特定された環境情報を含む発生環境情報を判定する。次に、サーバ5は、特定された環境情報を含むと判定された発生環境情報に対応付けられた動植物名を抽出し、抽出された動植物名に対応するポイントに重み付けする。なお、サーバ5は、動植物が生息しやすい位置情報を記憶し、当該位置情報と撮影位置に基づいて動植物名に対応するポイントに重み付けしてもよい。そして、サーバ5は、各動植物名に対応するポイントのうち最も高いポイントに対応する動植物名を判定結果名として携帯端末4に送信する。これにより、ユーザは、携帯端末4で撮影した動植物の撮影画像をサーバ5に送信するだけで、動植物の撮影画像による画像分類に基づく動植物名を判定結果名として知ることができる。
【0158】
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。