特許 6768767 作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768767

(24)【登録日】2020年9月25日

(45)【発行日】2020年10月14日

(54)【発明の名称】作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201005BHJP

   A01G 7/00 20060101ALI20201005BHJP

【ＦＩ】

   G06T7/00 350C

   A01G7/00 603

【請求項の数】11

【全頁数】13

(21)【出願番号】特願2018-225140(P2018-225140)

(22)【出願日】2018年11月30日

(65)【公開番号】特開2020-87286(P2020-87286A)

(43)【公開日】2020年6月4日

【審査請求日】2018年11月30日

(73)【特許権者】

【識別番号】596072287

【氏名又は名称】株式会社エヌ・ティ・ティ・データＣＣＳ

(73)【特許権者】

【識別番号】519048986

【氏名又は名称】岩澤 紀生

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】下城 洋人

(72)【発明者】

【氏名】岩澤 紀生

(72)【発明者】

【氏名】三尾 有年

(72)【発明者】

【氏名】竹本 宏

【審査官】 板垣 有紀

(56)【参考文献】

【文献】 特開２００３−００９６６４（ＪＰ，Ａ）

【文献】 特開２０１８−０２９５６８（ＪＰ，Ａ）

【文献】 伊藤 篤 他，ドローンの農業への応用，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，２０１７年 ５月１８日，第117巻 第52号，pp.25-30

【文献】 袖 美樹子 他，稲作管理システム −ＩＣＴで効率化，儲かるお米づくり−，情報処理，日本，一般社団法人情報処理学会，２０１７年 ８月１５日，第58巻 第9号，pp.810-813

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ａ０１Ｇ ７／００

(57)【特許請求の範囲】

【請求項1】

作物生育判定システムのサーバ装置であって、
作物の株を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
を備える作物生育判定システムのサーバ装置。

【請求項2】

上記第１の画像入力部は、画像情報に植生指標値を用いて作物の株の画像を抽出するマスキング処理を施す、請求項１記載の作物生育判定システムのサーバ装置。

【請求項3】

上記作物は水稲であり、上記学習部は、分げつ期の稈数と水稲の株の画像との対応付けの深層学習を行なう、請求項１または２記載の作物生育判定システムのサーバ装置。

【請求項4】

上記第１の画像入力部は、上記マスキング処理を施した後に、反転、回転、及びズーミングの少なくとも一つにより加工を施した画像情報を生成して、入力する画像情報を増大させる、請求項２記載の作物生育判定システムのサーバ装置。

【請求項5】

上記出力部は、判定した茎数の情報を複数段階のレベルの１つに分類して出力する、請求項１乃至４いずれか記載の作物生育判定システムのサーバ装置。

【請求項6】

作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって構築する学習済モデルを有する学習部を備えた作物生育判定装置であって、
茎数の不明な作物の株を撮影した画像情報を入力する画像入力部と、
上記画像入力部で入力した画像情報に対し、上記学習部が有する学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
を備える作物生育判定装置。

【請求項7】

作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部を備える作物生育学習装置。

【請求項8】

作物の株を撮影した画像情報を複数入力する第１の画像入力工程と、
上記第１の画像入力工程で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力工程と、
上記第１の画像入力工程で入力した複数の画像情報と上記茎数情報入力工程で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習工程と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力工程と、
上記第２の画像入力工程で入力した画像情報に対し、上記学習工程で構築した学習済モデルに基づいて茎数を判定する茎数判定工程と、
上記茎数判定工程で判定した茎数の情報を出力する出力工程と、
を有する作物生育判定方法。

【請求項9】

コンピュータが実行するプログラムであって、上記コンピュータを、
作物の株を撮影した画像情報を複数入力する第１の画像入力部と、
上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、
上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、
茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、
上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
して機能させるプログラム。

【請求項10】

作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、作物の株の画像と茎数との対応付けの深層学習を行なって構築する学習済モデルを有する学習部を備えた作物生育判定装置のコンピュータが実行するプログラムであって、上記コンピュータを、
茎数の不明な作物の株を撮影した画像情報を入力する画像入力部と、
上記画像入力部で入力した画像情報に対し、上記学習部が有する学習済モデルに基づいて茎数を判定する茎数判定部と、
上記茎数判定部で判定した茎数の情報を出力する出力部と、
して機能させるプログラム。

【請求項11】

コンピュータが実行するプログラムであって、上記コンピュータを、
作物の株を撮影した複数の画像情報と、複数の画像情報それぞれに対応した当該作物の１株毎の茎数の情報とに基づいて、当該作物の株の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作物の生育状況を正しく把握するのに好適な作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラムに関する。

【背景技術】

【0002】

稲作農家にとっての目的は、収穫する米の、量を増やすことと、品質を向上させることである。これらの目的を達成し、イネの倒伏を防ぎつつ多くの穂を実らせるためにも、イネの茎（稈）の数を適正な数、例えば主要な品種であるコシヒカリであれば１株当たり２２本程度に保つことが求められており、それより多すぎても少なすぎても許容されない。

【0003】

そのために稲作農家は、特に分げつ期と呼ばれる茎数が増加する時期において、日々イネの茎を数え、その結果に応じて圃場の水を一時的に抜く「中干し」、あるいは一時的に水深を深くする「深水」等と称される作業などにより茎数制御を行なっている。

【0004】

しかしながら、イネの株については茎数に個体差もあるため、１つの圃場に関して多数のイネの株の茎数を数えなければ、その圃場全体の代表値を判断することができない。したがって稲作農家は、実際に茎数を数える作業の度に、水田に入って身を屈めるような、負荷の高い動作を繰り返し行なわなければならず、重労働の作業となっている。

【0005】

加えて、茎のカウント作業に関しては、その茎に生えている葉の状態等によって、カウントすべき茎とカウントすべきでない茎があるなど、技術的に作業自体がある程度のノウハウを要するものであり、単純ではない。

【0006】

このような作業性の悪さを避けるべく、スマートフォンなどのモバイル端末を利用して、圃場の農作物の生育状況と施肥量と営農者が即座に把握できるようにした装置等が提案されている。（例えば、特許文献１）

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１７−０４６６３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、前記特許文献１に記載された技術は、モバイル端末で撮影した画像の緑色画素のヒストグラムの形状分析により２値化した画像から植被率や推定生育量、穂肥量等を算出するものである。

【0009】

そのため、撮影時の光の色温度や、作物に使用している肥料の量や種類等によっても、画像中の緑色画素値が変化するため、前記植被率等の正確な判定を行なうことが困難となるとともに、作物としてイネの茎の数そのものを正確に判定することはできない。

【0010】

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、対象となる作物の茎の数を手軽、且つ正確に判定することが可能な作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0011】

本発明の一態様は、作物生育判定システムのサーバ装置であって、作物の株を撮影した画像情報を複数入力する第１の画像入力部と、上記第１の画像入力部で入力した複数の画像情報それぞれについて当該作物の１株毎の茎数の情報を入力する茎数情報入力部と、上記第１の画像入力部で入力した複数の画像情報と上記茎数情報入力部で入力した当該作物の１株毎の茎数情報とに基づいて、作物の画像と茎数との対応付けの深層学習を行なって学習済モデルを構築する学習部と、茎数の不明な作物の株を撮影した画像情報を入力する第２の画像入力部と、上記第２の画像入力部で入力した画像情報に対し、上記学習部で構築した学習済モデルに基づいて茎数を判定する茎数判定部と、上記茎数判定部で判定した茎数の情報を出力する出力部と、を備える。

【発明の効果】

【0012】

本発明によれば、対象となる作物の茎の数を手軽、且つ正確に判定することが可能となる。

【図面の簡単な説明】

【0013】

【図1】図１は、本発明の一実施形態に係る生育判定システム全体の構成を示す図である。

【図2】図２は、上記実施形態に係るサーバ装置の機能構成を示すブロック図である。

【図3】図３は、上記実施形態に係る学習フェーズで実行する一連の処理内容を示すフローチャートである。

【図4】図４は、上記実施形態に係る学習フェーズでの画像データの増幅処理について説明する図である。

【図5】図５は、上記実施形態に係る学習フェーズで茎数のレベルに応じて分類した結果を例示する図である。

【図6】図６は、上記実施形態に係る判定フェーズで実行する処理内容を示すフローチャートである。

【図7】図７は、上記実施形態に係る判定フェーズでの茎数レベルに基づく検証結果を例示する図である。

【図8】図８は、上記実施形態に係る判定フェーズで用いた画像データの例を示す図である。

【図9】図９は、上記実施形態に係る判定フェーズでの図８の画像データに対する判定結果を例示する図である。

【発明を実施するための形態】

【0014】

以下、本実施形態を、水稲の生育判定を行なう生育判定システムに適用した場合の一実施形態について、図面を参照して詳細に説明する。

【0015】

図１は、同実施形態に係る生育判定システム全体の構成を示す図である。同図において、生育の判定対象となる水田ＰＤを、ここでは図示しないユーザが所持する、スマートフォンＳＰのカメラ機能により撮影する。

【0016】

スマートフォンＳＰには、本システム専用のアプリケーションプログラムを予めインストールしておく。スマートフォンＳＰでそのアプリケーションプログラムを起動した状態で、ディスプレイ画面に表示されるガイドラインに沿った構図、具体的には水田のイネの直上方よりイネの株がガイドライン矩形内に収まるように撮影することで、撮影により得られたイネの静止画像データが判定対象となる画像情報として取得される。

【0017】

スマートフォンＳＰは、携帯電話網の基地局やインターネットを含むネットワークＮＷを介して、茎数ステージの判定を行なうためのサーバ装置ＳＶと接続される。

【0018】

なお、判定対象の画像を撮影する手段としては、ユーザが所持するスマートフォンＳＰに限らず、例えば水田ＰＤの上空を飛翔させるドローン等で撮影した画像を、スマートフォンＳＰ経由でサーバ装置ＳＶに送信するものとしても良い。

【0019】

サーバ装置ＳＶは、格納している学習済モデルに基づいて、スマートフォンＳＰから送られてきた画像情報に対し、撮影対象のイネの株がその葉先を含めて収まる程度の範囲となるように画像をトリミングした後、被写体としてのイネ以外の影響を排除するために、例えばＧＲＶＩ（Ｇｒｅｅｎ−Ｒｅｄ Ｖｅｇｉｔａｔｉｏｎ Ｉｎｄｅｘ）等の植生指標値でマスキング処理した上で画像情報中のイネの茎の数を判定し、判定結果を当該スマートフォンＳＰに返送する。なお、マスキング処理では、前記ＧＲＶＩに代えて、他の植生指標値としてＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｉｔａｔｉｏｎ Ｉｎｄｅｘ）やＥＶＩ（Ｅｎｈａｎｃｅｄ Ｖｅｇｉｔａｔｉｏｎ Ｉｎｄｅｘ）を用いることも考えられる。

【0020】

なお、実際の運用に際しては、スマートフォンＳＰで同一の圃場における多数のイネの株を撮影して、それらの画像情報をサーバ装置ＳＶに一括送信することで、サーバ装置ＳＶにおいて、１株当たりのイネの茎数の平均値とそのレベル、さらにはサーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去のイネの茎数の履歴から、最適な茎数となるまでに何日程度かかると予想されるか等を算出し、スマートフォンＳＰに返送して提示させるようにしても良い。

【0021】

図２は、サーバ装置ＳＶ内で実行されるコンピュータプログラムの機能構成を示すブロック図である。
サーバ装置ＳＶは、茎数レベル判定部１０を主構成要素とし、この茎数レベル判定部１０が、学習フェーズと判定フェーズとに二分される領域に跨がって配置される構成となる。

【0022】

学習フェーズにおいて、基本の学習モデルを構成するための多くの茎数のイネの画像データが画像データ入力部１１により入力される。一方で、茎数の判定を行なう熟練者により、各画像データと関連付けられた茎数情報が、茎数情報入力部１２により入力される。

【0023】

画像データ入力部１１から入力されたイネの画像データと、茎数情報入力部１２で入力された、画像データと関連付けられた茎数情報とが、学習画像入力部１３により受け付けられ、関連付けられて茎数レベル判定部１０の学習部１４に入力される。

【0024】

学習部１４は、例えば５層、すなわち入力層、中間層Ａ、中間層Ｂ、中間層Ｃ、及び出力層を有する畳み込みニューラルネットワーク（ＣＮＮ）による深層学習により、入力される画像データと茎数情報との多数の組を教師データとした学習を実行する。

【0025】

学習実行時においては、試行錯誤によって各種パラメータが変更設定されながら最適な学習モデルが作成される。十分に実用に適したものとなったと判断された時点で、取得したニューラルネットワークである学習済モデルを構築し、判定フェーズ側の学習済モデル保持部１５に保持させる。

【0026】

茎数レベル判定部１０の判定フェーズにおいては、ネットワークＮＷを介して同一圃場における複数のイネの画像データが画像入力部１６より入力されると、それらの画像データに対し、それぞれ学習済モデル保持部１５に保持している学習済モデルに基づいて茎数を判定する。そして、判定結果となる、１株当たりのイネの茎数の平均値とそのレベルの情報を判定結果出力部１７によりネットワークＮＷを介して、上記画像データを送ってきたスマートフォンＳＰに返信する。

【0027】

次に上記実施形態の動作について説明する。
なお、サーバ装置ＳＶでの学習フェーズで入力する画像データの撮影条件として、風によるイネの倒伏等の除外条件を予め設定することで、例えば風が強くて静止画像中のイネが著しく傾き、あるいはブレて写るなど、学習時間の長期化や学習データとしての精度の低下の要因となり得る画像データの入力を制限するものとする。

【0028】

まず、水田ＰＤにおける各茎数に対応した水稲を撮影した画像データを順次、茎数の情報と共に入力し、入力した内容により深層学習を行なう学習フェーズでの処理について説明する。

【0029】

図３は、サーバ装置ＳＶの茎数レベル判定部１０で学習フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、イネの株が写った画像データを１つ選択して画像データ入力部１１から入力するとともに（ステップＳ１０１）、熟練者によりその画像に対応する茎数の情報を茎数情報入力部１２から入力する（ステップＳ１０２）。画像データには、付帯データの一部に、撮影を行なった年月日と時刻のデータが含まれる。

【0030】

サーバ装置ＳＶでは、学習画像入力部１３がこれら画像データと茎数の情報とを関連付けて受け付け、その当初に、受け付けた画像データに対し、影や太陽光の反射、番号札丁の映り込み等による影響を極力排除するため、ＧＲＶＩ等の植生指標値でマスキング処理する（ステップＳ１０３）。

【0031】

図４は、この時点で学習画像入力部１３で実行する、学習フェーズでの画像データの増幅処理について説明する図である。図４（Ａ）に示す、画像データ入力部１１より入力された画像データに対して、上記マスキング処理を施すことで、図４（Ｂ）に示すように、植物体を写した画素部分以外をマスクした画像を得ることができる。

【0032】

さらに学習画像入力部１３では、上記マスキング処理した画像を元に、画像の左右、上下をそれぞれ反転した画像データや、所定角度単位、例えば３０［ｄｅｇ］で回転させた画像データ、及びトリミング比率を変えてイネの株の範囲をズームインした画像データを作成して、元の画像データに対する画像数を大幅に増加させると共に、それら増幅された画像データに対しても、茎数情報入力部１２より入力した茎数の情報を関連付けて説明する。

【0033】

図４（Ｃ）は、元の画像データに対して、トリミングする範囲を変えて設定する場合を、２種類のズーム枠と共に例示している。

【0034】

また図４（Ｄ）は、反転処理及び回転処理により元の画像データから多数の画像データを生成して増加させた場合を例示している。

【0035】

なお、上記図４（Ｃ）及び図４（Ｄ）で用いた画像データの例は、特許図面上の黒つぶれを回避するためにあえてマスキング処理を施していない画像データで表現しているが、実際にはいずれも上記図４（Ｂ）で示したようなマスキング処理を施した上で、ズーム処理や回転処理を施すものとする。

【0036】

このように元の画像データから加工して生成した画像データに対しても、元の画像データに対して入力された茎数の情報を関連付けるものとする。

【0037】

その後に学習画像入力部１３では、全ての画像データが入力されたか否かにより、画像データと茎数の情報の入力をまだ継続するか否か判断する（ステップＳ１０５）。

【0038】

全ての画像データと茎数の情報の入力を終えておらず、さらに入力があると判断した場合（ステップＳ１０５のＮｏ）、学習画像入力部１３では上記ステップＳ１０１からの処理に戻り、画像データと茎数の情報の入力に対する処理を続行する。

【0039】

こうしてステップＳ１０１〜Ｓ１０５の処理を繰り返し実行し、全ての画像データを茎数の情報とともに入力し終えたと判断した時点で（ステップＳ１０５のＹｅｓ）、サーバ装置ＳＶの学習部１４において、画像の特徴量と茎数の情報とを対応付けるモデルを構築するべく、ＣＮＮによる深層学習を実行し（ステップＳ１０６）、以上で学習フェーズでの処理を完了する。

【0040】

なお本実施形態においては、茎数を全体で６つのレベル、すなわちレベルＬ１：１〜９本、レベルＬ２：１０〜１４本、レベルＬ３：１５〜１９本、レベルＬ４：２０〜２４本、レベルＬ５：２５〜２９本、レベルＬ６：３０本以上、に分類し、分類したレベルでの評価等を実施するものとする。

【0041】

図５は、学習フェーズで画像データ入力部１１により入力した元の画像データを、茎数のレベルに応じて分類した結果の例を示している。

【0042】

なお本実施形態では、レベルＬ１が１０本未満、レベルＬ６が３０本以上として、レベルＬ２〜Ｌ５では５本ずつの均等な数値の範囲として茎数のレベルを分類する場合について示しているが、稲作における茎数の重要度、具体的にはその品種で最適と考えられている茎数を中心とし、中心に近いレベル程狭く、中心から外れるレベル程に広くなる不均等な数値の範囲を設定してレベルの分類を行なうことも考えられる。

【0043】

学習部１４では、深層学習を実行することにより、茎数を判定するための水稲画像の特徴を示す特徴情報を抽出した学習済モデルを構築し、構築した学習済モデルを学習済モデル保持部１５に保持させる。

【0044】

次に、学習済モデル保持部１５に学習済モデルが保持されている状態で、画像入力部１６から茎数の判定を求める対象圃場の画像データが入力された場合の判定フェーズでの処理について説明する。

【0045】

図６は、サーバ装置ＳＶの茎数レベル判定部１０で判定フェーズにおいて実行する、一連の処理内容を示すフローチャートである。その当初に、ネットワークＮＷを介してユーザから送られてくる、茎数が不明な複数の画像データを画像入力部１６で一括して入力する（ステップＳ２０１）。

【0046】

茎数レベル判定部１０では、入力された画像データを１つ選択し、その画像中の株範囲をトリミングした上で、ＧＲＶＩ等の植生指標値でマスキング処理する（ステップＳ２０２）。

【0047】

茎数レベル判定部１０では、マスキング処理した株の画像について学習済モデル保持部１５に保持している学習済モデルを用いて茎数を判定する（ステップＳ２０３）。

【0048】

次に茎数レベル判定部１０では、まだ判定を行なっていない画像データがあるか否かを判断する（ステップＳ２０４）。

【0049】

まだ判定を終えていない画像データがあると判断した場合（ステップＳ２０３のＹｅｓ）、茎数レベル判定部１０では上記ステップＳ２０２からの処理に戻り、同様の処理を実行する。

【0050】

こうしてステップＳ２０２〜Ｓ２０４の処理を繰り返し実行し、送られてきたすべての画像データについて、それぞれ学習済モデル保持部１５が保持する学習済モデルに基づいて茎数を判定する。

【0051】

入力された画像データのすべてに対する茎数の判定を終え、他に判定が必要な画像データはないと判断すると（ステップＳ２０４のＮｏ）、画像データと茎数の情報を対応付けるような判定結果データ、例えば複数の画像データに対応する各サムネイル画像中に茎数の数値を重畳した上で、分類したレベルに応じて画像自体を着色して表記するような一覧画像のデータを作成して、判定結果出力部１７により、ネットワークＮＷを介して、一連の画像データを送信してきたユーザのスマートフォンＳＰに対して、判定結果としての茎数の情報とそのレベルとを返答として出力し（ステップＳ２０５）、以上でこの図６の処理を終了する。

【0052】

また、上述したように、判定結果としてユーザのスマートフォンＳＰに送信する返答としては、複数の画像データから判定した１株当たりのイネの茎数の平均値とそのレベル、さらにはサーバＳＶで蓄積記憶している、ユーザに紐付く圃場の過去のイネの茎数の履歴から、最適な茎数となるまでに何日程度かかると予想されるか等を算出して提示させるようにしても良い。

【0053】

図７は、上記図５に示した画像データと茎数の情報とを元に、上述した如く画像データ数を大幅に増加させる処理を実行し、そのうちの７０［％］の画像データを用いて学習フェーズにおいて深層学習を実行して学習済モデルを作成した上で、残る３０［％］の画像データを検証用に判定フェーズで判定した結果の一例を示している。

【0054】

ここでは、上記図５で示したように茎数を複数のレベルに分類してレベル毎の判定結果を評価した場合について例示している。個々の画像データの画像サイズが縦１５３画素×横１５３画素、総学習画像データ数が６３２８枚として、２７１２枚の画像データを判定した結果、茎数レベルの判定の正解率は０．９８３４０７となった。

【0055】

また図８及び図９は、茎数そのものを学習させて回帰問題として学習結果を検証した場合を例示するもので、図８が「１」番乃至「１２」番までの計１２枚の画像データを示し、図９はその判定結果を示す。

【0056】

図９に示すように、茎数判定で誤差が±１［本］未満を茎数判定における合格（図中の「○」）とするとともに、上記図５に示した茎数のレベル判定の結果が同一レベル内である場合を合格（図中の「○」）、レベルが異なる場合を不合格（図中の「×」）としている。

【0057】

図示している如く、二乗平均平方根誤差ＲＭＳＥが１．８２［本］となり、比較的に正確に、茎数及び茎数レベルの判定が行なえていることが検証できた。

【0058】

なお、上記実施形態では、作物として水稲の画像からその茎数を判定する場合について説明したが、判定対象となる作物については、茎数の判定が必要となるものであれば、イネに限らず、他にも麦類（大麦、小麦、ライ麦等）等であっても同様に適用することが可能となる。

【0059】

以上詳述した如く本実施形態によれば、対象となる作物の茎の数を手軽、且つ正確に判定することが可能となる。

【0060】

また本実施形態では、対象となる作物として、栄養成長期と生殖成長期とが明確に分かれている水稲について、生育状態の指標である茎数を判定するものとしたので、近年高齢化が著しいと思われる稲作農家において、経験の少ない若者が新規に参入するための一助となり得る。

【0061】

さらに本実施形態では、学習フェーズで入力した画像データを、反転、回転、ズーミング等の処理により増大させた上で、入力された茎数の情報とともに深層学習を実行するものとしたので、入力した画像データを有効に活用して学習精度を向上させることができる。

【0062】

また上記実施形態では、判定した茎数の情報に関し、その平均値とともに複数段階のレベルの１つに分類して提示することで、ユーザ側がより容易に茎数の判定結果を理解できる。

【0063】

なお、上記実施形態では、携帯通信端末であるスマートフォンＳＰとネットワークＮＷを介して無線接続されたサーバ装置ＳＶにより学習と判定とを行なう場合について説明したが、スマートフォンに内蔵されているプログラム自体により判定を行なうものとしてもよい。

【0064】

さらに、選定した農家の方に画像と判定結果となる茎数の情報を適時入力して貰い、その正当性を確認した後に、教師データとして学習させても良い。

【0065】

さらに、水稲の茎数の数え方についてのチュートリアルを上記アプリケーションプログラムにより提示可能としても良い。

【0066】

その他、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0067】

１０…茎数レベル判定部
１１…画像データ入力部
１２…茎数情報入力部
１３…学習画像入力部
１４…学習部
１５…学習済モデル保持部
１６…画像入力部
１７…判定結果出力部
ＮＷ…ネットワーク
ＰＤ…水田（圃場）
ＳＰ…スマートフォン
ＳＶ…サーバ装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】