(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-10
(45)【発行日】2023-07-19
(54)【発明の名称】農作物生育推定装置、農作物生育推定システム、農作物生育推定方法、及びプログラム
(51)【国際特許分類】
A01G 7/00 20060101AFI20230711BHJP
A01G 22/15 20180101ALI20230711BHJP
A01G 22/25 20180101ALI20230711BHJP
G06Q 50/02 20120101ALI20230711BHJP
G06T 7/00 20170101ALI20230711BHJP
【FI】
A01G7/00 603
A01G22/15
A01G22/25 Z
G06Q50/02
G06T7/00 640
G06T7/00 350C
(21)【出願番号】P 2019201061
(22)【出願日】2019-11-05
【審査請求日】2022-07-19
【新規性喪失の例外の表示】特許法第30条第2項適用 1)刊行物名 日本機械学会 第28回設計工学・システム部門講演会講演論文集 発行日 2018年11月3日 発行所 一般社団法人 日本機械学会 2)刊行物名 IFIP APMS 2019(Advances in Production Management Systems),Proceedings,Part 1 発行日 2019年8月28日 発行所 情報処理国際連合(IFIP) 3)刊行物名 日本機械学会 第29回設計工学・システム部門講演会講演論文集 発行日 2019年9月20日 発行所 一般社団法人 日本機械学会 4)刊行物名 神戸新聞2019年5月14日朝刊 発行日 2019年5月14日 発行所 株式会社 神戸新聞社 5)刊行物名 神戸新聞2019年10月27日朝刊別冊 発行日 2019年10月27日 発行所 株式会社神戸新聞社
【国等の委託研究の成果に係る記載事項】(出願人による申告)「国等の委託研究の成果に係る特許出願(平成30年度農林水産省「戦略的プロジェクト研究推進事業」産業技術力強化法第17条の適用を受ける特許出願)」
(73)【特許権者】
【識別番号】504150450
【氏名又は名称】国立大学法人神戸大学
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(73)【特許権者】
【識別番号】592216384
【氏名又は名称】兵庫県
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】藤井 信忠
(72)【発明者】
【氏名】飯塚 俊介
(72)【発明者】
【氏名】岡田 邦彦
(72)【発明者】
【氏名】中野 伸一
【審査官】田辺 義拓
(56)【参考文献】
【文献】特開2012-208839(JP,A)
【文献】特開2019-040383(JP,A)
【文献】特開2017-077238(JP,A)
【文献】特開2010-231733(JP,A)
【文献】特開2012-055207(JP,A)
【文献】特開2019-170359(JP,A)
【文献】小椋吉晃,レタスの葉数は40枚,農中総研 調査と情報,2019年07月10日,Vol.73,p.4-5
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
A01G 22/15
A01G 22/25
G06Q 50/02
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得部と、
教師画像と該教師画像に表現される前記農作物の葉形の佇まいから分類された葉齢とが関連付けされた学習データによって、学習がなされた学習済みの第1の分類器モデルを用いて前記画像を解析し、前記農作物の葉齢を推定する葉齢推定部、
を備えたことを特徴とする農作物生育推定装置。
【請求項2】
一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得部と、
教師画像と該教師画像に表現される前記農作物の葉形の佇まいから分類された葉齢とが関連付けされた学習データによって、学習がなされた学習済みの第1の分類器モデルを用いて前記画像を解析し、前記農作物の葉齢を推定する葉齢推定部と、
前記画像の取得日からの経過日数と、
該取得日以後の日平均気温と、
前記葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数、
から葉齢増加量を算出する葉齢増加量算出部と、
前記画像の取得日の葉齢推定値に前記葉齢増加量を加算し、前記画像の取得日からの日数経過後の葉齢を算出する葉齢算出部、
を
備えたことを特徴とする
農作物生育推定装置。
【請求項3】
予め設定された収穫期葉齢と、前記画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する収穫時期推定部、を更に備えたことを特徴とする請求項
2に記載の農作物生育推定装置。
【請求項4】
前記分類器モデルは、畳み込みニューラルネットワークを含んで構成されることを特徴とする請求項1~
3の何れかに記載の農作物生育推定装置。
【請求項5】
前記農作物は、ハクサイ、キャベツ、ブロッコリー、レタス類(レタス、非結球レタス、チコリー)、ホウレンソウ、コマツナ、ダイコン、ニンジンを含む結球野菜、又は、葉根菜であることを特徴とする請求項1~
4の何れかに記載の農作物生育推定装置。
【請求項6】
前記画像は、ドローンを含む無人航空機に搭載されたカメラにより撮影されたことを特徴とする請求項1~
5の何れかに記載の農作物生育推定装置。
【請求項7】
請求項1~
5の何れかの農作物生育推定装置と、ユーザ端末と、カメラ手段とから構成される農作物生育推定システムであって、
前記カメラ手段は、撮影した画像データを前記農作物生育推定装置に送信するデータ通信部を備え、
前記ユーザ端末は、前記農作物生育推定装置から通信ネットワークを介して生育状況の推定結果を受信する、ことを特徴とする農作物生育推定システム。
【請求項8】
ドローンを含む無人航空機を更に備え、
該無人航空機には、前記カメラ手段が搭載されたことを特徴とする請求項
7に記載の農作物生育推定システム。
【請求項9】
一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得ステップと、
教師画像と該教師画像に表現される前記農作物の葉形の佇まいから分類された葉齢とが関連付けされた学習データによって、学習がなされた学習済みの第1の分類器モデルを用いて前記画像を解析し、前記農作物の葉齢を推定する葉齢推定ステップ、
を備えたことを特徴とする農作物生育推定方法。
【請求項10】
一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得ステップと、
教師画像と該教師画像に表現される前記農作物の葉形の佇まいから分類された葉齢とが関連付けされた学習データによって、学習がなされた学習済みの第1の分類器モデルを用いて前記画像を解析し、前記農作物の葉齢を推定する葉齢推定ステップと、
前記画像の取得日からの経過日数と、
該取得日以後の日平均気温と、
前記葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数、
から葉齢増加量を算出する葉齢増加量算出ステップと、
前記画像の取得日の葉齢推定値に前記葉齢増加量を加算し、前記画像の取得日からの日数経過後の葉齢を算出する葉齢算出ステップ、
を
備えたことを特徴とする
農作物生育推定方法。
【請求項11】
予め設定された収穫期葉齢と、前記画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する収穫時期推定ステップ、を更に備えたことを特徴とする請求項
10に記載の農作物生育推定方法。
【請求項12】
請求項
9~11の何れかの農作物生育推定方法における前記ステップ全てをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農作物の生育状況の推定技術に関するものである。
【背景技術】
【0002】
近年、日本の農業は、農業人口の減少、農業従事者の高齢化、食料自給率の低下、後継者不足など多くの問題を抱えているのが実情である。これらの問題により、日本の農業の活力が低下しており、農業の活性化が求められている。農業の活性化を図るためには、農村がもつ資源の有効活用、農作物の生産プロセス・加工プロセス・販売プロセスの一体化、農産物に関する情報管理の強化が必要である。すなわち、農業のみならず、製造業、小売業といった1,2,3次産業全てを組合せた新しい産業化が必要である。
【0003】
現在の農作物のサプライチェーンは、農家、管理業者、販売業者、消費者で構成されている。これらの間には農作物の流通や情報のやり取り等があり、管理業者は、販売業者に対する販売戦略を立てる上で、農家から農作物の収穫時期と収穫個数を知る必要がある。また、販売業者においても、消費者に対する販売戦略を立てる上で、仕入れ時期などの予測は重要である。しかしながら、現状では、管理業者が農家一軒一軒を回って、何の農作物をいつ頃定植したのか、どれくらい収穫が見込めるのかといったヒヤリングを個別に行って、収穫時期と収穫量の情報を得ており、時間やコストがかかるといった問題がある。
【0004】
農作物の中で、特にレタスやキャベツなどの露地野菜は、気象条件により植付けや生育状況が大きく影響され、生育日数や収穫量が変動しやすく、収穫直前にならないと出荷時期や出荷量を正確に把握できず、出荷時期が不安定であり、生産や流通で問題となっている。
かかる露地野菜の問題に対して、圃場別に、栽培途中の育成段階情報(現在の露地野菜がどの育成段階にあるのかといった情報)と育成量(現在の地上部の重量)を起点とする生育シミュレーションによって、精度良く収穫時期を予測できる生育モデルが知られている(例えば、非特許文献1、非特許文献2を参照)。農業生産現場において、栽培途中の生育量に関する情報については、作物体の鉛直方法からの投影面積など定量的に推定する手法など種々の手法が提案されているが、育成段階情報については、有効な手法が見当らず、かかる情報を得ることが極めて困難であった。育成段階を定量的に推定できれば、既に確立された育成状況の予測手法を用いて、その後の育成段階、更には収穫時期を精度良く予測することが可能である。
【0005】
一方で、農業管理予測を自動的に行う公知技術として、画像データの可視域赤の反射率と近赤外域の反射率から算出される指数であって、植物の茎葉の窒素含有量と極めて高い相関がある正規化植生指数(NDVI;Normalized Difference Vegetation Index)と呼ばれる生育指標を算出し、農作物の生育状況を予測するシステムが知られている(例えば、特許文献1,特許文献2を参照)。
【0006】
特許文献1に開示されたシステムでは、撮影した画像と付加情報とに基づき、散水や肥料散布、除草などの作業が必要な植物が存在する箇所を検出でき、また農作物の収穫時期については、農作物の大きさや色、糖度などを分析し、収穫するか否かを判断している。また、特許文献2に開示されたシステムでは、植生指数化、指数情報の標準偏差化、標準偏差の意味化を行い、その結果を可視化する。標準偏差の意味化は、農業専門家の知見をベースにしたディープラーニングなどにより人工知能として機能する。人工知能による分類は、日々の業務により蓄積された専門家の知見に係るライブラリに基づいて信頼性の高い結果を得ている。
また特許文献2に開示されたシステムは、データ収集にドローンを用いており、ドローンに搭載されるカメラはマルチスペクトラムカメラであって、RGB、RED EDGE、NIR(近赤外線)による撮影を行い、撮影した画像データに基づいて、農地等の管理と農作物の生育予測、収穫予測等を自動的に行っている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2016-49102号公報
【文献】特開2018-46787号公報
【非特許文献】
【0008】
【文献】菅原幸治,“露地野菜の安定的な契約取引を支援する出荷予測システム”,グリーンレポートNo.594,pp.2-5,2018年12月号
【文献】菅原幸治、岡田邦彦,“レタスの生育モデルに基づく出荷予測アプリケーション”,電子情報通信学会技術研究報告115(290),pp.77-78,2015年
【発明の概要】
【発明が解決しようとする課題】
【0009】
上述のとおり、従来、農作物の生育量情報は、作物体の鉛直方向からの投影面積などを計測することにより定量的に推定する手法は知られているものの、農作物の生育段階情報(農作物の葉齢や農作物の植付け後の週数や日数等)を定量的に推定できる手法は見当たらないのが実情である。
かかる状況に鑑みて、本発明は、農作物の育成段階情報を定量的に推定でき、推定値から更にその後の育成段階情報、収穫時期を推定できる農作物生育推定装置、農作物生育推定システム、及び農作物生育推定方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記課題を解決すべく、本発明の第1の観点による農作物生育推定装置は、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得部と、学習済みの第1の分類器モデルを用いて画像を解析し、農作物の葉齢を推定する葉齢推定部とを備える。本発明によれば、農作物の成育が旺盛か否かといった生育状況、育成段階情報を推定することができる。農業の管理業者は、葉齢に基づいて、収穫時期を予測することができる。
【0011】
本発明の対象となる農作物は、一株一個体のロゼット状の葉を地面に広げる農作物であり、具体的には、ハクサイ、キャベツ、ブロッコリー、レタス類(レタス、非結球レタス、チコリー)、ホウレンソウ、コマツナ、ダイコン、ニンジンを含む結球野菜、又は、葉根菜が挙げられるが、これらに限定されず、葉を放射状や螺旋状に配列し地表に平らに並べる植物の農作物であれば対象となる。なお、茎が伸びる立茎植物は、本発明の対象の農作物ではない。
【0012】
本発明では、農作物の葉齢を、農作物の出来具合の良し悪し(出来不出来)を推定するための時間軸として利用する。葉齢と生育段階との間には強い相関がある。葉齢は、通常はイネの生育段階を親茎の葉の枚数で表現したものを意味するものであるが、本発明における農作物の葉齢とは、一株一個体のロゼット状の葉を地面に広げる農作物において、種子から最初に出てくる双葉を除き、葉身のついた本葉を第一葉とカウントし、出てきた本葉の枚数をカウントしたものである。すなわち、本発明における葉齢とは、最初の本葉から順に数えた展開葉数と定義する。特に農作物が結球野菜である場合には、葉齢は、最初の本葉から順に数えた展開葉数と結球葉数の合計と定義する。
【0013】
葉齢は、何枚目の本葉が出ているのかを、展開している葉を下からカウントした値である。葉齢は1から始まる自然数である。重要なことは、葉齢は、何枚目の本葉が出ているのかを、展開している葉を下からカウントするが、葉齢がNだからといって、撮影した画像でもN枚ということではない。すなわち、農作物の葉齢は、撮影した画像に映る葉の枚数と必ずしも一致しない。また、例えばレタスでは葉齢が6を超える辺りから、葉が重なり合うために、一部の葉が他の葉の陰になる場合があり、撮影した画像に全ての葉が映るというものではない。また葉齢が10を超える辺りから、最初の本葉は枯れ落ちるため、葉齢と残存する葉の数は一致しない。
なお、葉齢が大きくなると、葉の重なりが多くなり、上方から撮影した画像からの葉齢の推定が困難となることから、葉齢は凡そ15乃至20以下までが推定可能である。
【0014】
本発明の農作物生育推定装置における画像取得部では、農作物の葉を上方から撮影した画像を取得する。画像取得部がカメラ手段を有し、カメラ手段が撮影した画像データを取得する態様でもよいし、或は、カメラ手段が装置とは別物であって当該カメラ手段から画像データが受渡しされる態様でもよい。本発明の対象の農作物は、一株一個体のロゼット状の葉を地面に広げるものであり、葉を上方から撮影する。撮影した画像に複数の個体の葉が映っている場合でも、植付け間隔や画像から、その中から1個体分の画像を抜き出すことができる。上方から撮影するものは、真上から撮影するのが好ましいが、斜め上方からであっても、一株一個体のロゼット状の葉の形状が判別できるものであれば構わない。
また本発明の農作物生育推定装置における葉齢推定部は、学習済みの第1の分類器モデルを用いて画像を解析し、農作物の葉齢を推定する。分類器モデルは、予めディープラーニングなどにより十分に学習させたものを用いる。
【0015】
次に、本発明の第2の観点による農作物生育推定装置は、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得部と、学習済みの第2の分類器モデルを用いて画像を解析し、農作物の植付け後の週数又は日数を推定する生育時間推定部を備える。本発明によれば、農作物の成育が旺盛か否かといった生育状況、育成段階情報を推定することができる。
植付け後の週数とは、農作物の植付け後、何週目に当るかを示す指標である。農作物の種子の植付け(定植)後0週目を“0”、定植後1週目を“1”、定植後2週目を“2”、・・・、定植後5週目を“5”、定植後6週目以降を“6”とし、ラベル付けを行う。ラベルと週数の関係は、これに限定されず、他のラベル付けを行うことも可能である。農業の管理業者は、週数に基づいて、収穫時期を予測することができる。
第2の観点による農作物生育推定装置における分類器モデルは、教師画像と、該教師画像に表現される農作物の実際の植付け後の週数又は日数とが関連付けされた学習データによって、学習がなされたものである。本発明の対象となる農作物は、第1の観点による農作物生育推定装置と同様である。
【0016】
一方、第1の観点による農作物生育推定装置における分類器モデルは、教師画像と、教師画像に表現される農作物の葉形の佇まいから分類された葉齢とが関連付けされた学習データによって、学習がなされたものである。
教師画像に関連付けされた「葉齢」の教師ラベルは、当該画像に映る農作物の葉形の佇まいから、農業に従事する専門家の知見により付与されるものであってもよい。農業に長年従事する者であれば、農作物の葉の形状や葉のつき方など形の佇まいから、葉齢を判別することができるからである。葉形の佇まいには、何らかの特徴点があるが、それらの特徴点が具体的に何かということを列記することは困難である。農業に長年従事する者であれば、過去の記憶と合せて感覚で、葉齢を推定している。経験を積んだ農作物の栽培者や栽培研究者であれば、農作物の葉形の佇まいから、大凡の生育段階の見当を付けることができるという情報に着目して、農作物の葉を上方から撮影した画像のデータ情報から葉齢の識別器モデルを学習するものである。
また、農作物の生育を観察し、何枚目の本葉が出ているのかを、既に枯れ落ちた本葉の数や葉の重なりを考慮し、展開している葉を下から正確にカウントして、農作物の葉を上方から撮影した画像に、カウントした本葉の数を、葉齢として関連付けすることもできる。
【0017】
本発明の第1の観点による農作物生育推定装置において、画像取得部と葉齢推定部に加えて、更に、葉齢増加量算出部と葉齢算出部を備えることが好ましい態様である。
葉齢増加量算出部は、撮影した画像の取得日からの経過日数と、取得日以後の日平均気温と、葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数から葉齢増加量を算出する。
また、葉齢算出部は、画像の取得日から推定した葉齢推定値に、葉齢増加量算出部で算出した葉齢増加量を加算し、画像の取得日からの日数経過後の葉齢を算出する。
【0018】
ここで、葉齢増加量算出部について説明する。葉齢増加量算出部では、農作物の定植日から1日当りの葉齢増加量を積算して毎日の葉齢を算出する。1日当りの葉齢増加量は、撮影した画像の取得日以後の日平均気温(℃)を用い、日平均気温に所定の係数を乗算して算出する。日本の日平均気温は、例えば、メッシュ農業気象データシステム(The Agro-Meteorological Grid Square Data)を利用することで取得することができる。メッシュ農業気象データシステムは、気象情報が農業現場で有効に活用されることを目指して、本出願人の一つである国立研究開発法人農業・食品産業技術総合研究機構(農研機構)が開発し運用する気象データサービスシステムである。日本全国の日平均気温などの日別気象情報を、約1km四方(基準地域メッシュ)単位で場所を指定することにより、インターネットを介してオンラインで取得できる。詳細については、Webサイト(https://amu.rd.naro.go.jp/)を参照。
【0019】
葉齢増加係数は、農作物の品種によって異なるが、例えば、レタスやキャベツの農産物では、何れの品種でもほぼ同等であることが知られている。また、生育段階によって、葉齢増加係数の値が変化することも知られている。例えば、レタスやキャベツの農産物では、葉齢が12を閾値として、葉齢増加係数の値が変化する。これら葉齢増加係数や閾値のパラメータ値は、農作物の種類や場合によっては更に品種に応じて、適切に設定される。
【0020】
本発明の第1の観点による農作物生育推定装置において、予め設定された収穫期葉齢と、画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する収穫時期推定部、を更に備えることが好ましい。
収穫期の目安である収穫期葉齢は、農作物の種類や品種、出荷規格に応じて予め設定される。例えば、レタスやキャベツの収穫期葉齢は、30~40が設定される。この収穫期葉齢と、画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する。
【0021】
本発明の第1及び第2の観点による農作物生育推定装置で用いる分類器モデルは、具体的には、畳み込みニューラルネットワーク(CNN;Convolutional Nerural Network)を含んで構成される。近年のビッグデータやコンピュータの計算資源の進歩などにより、ニューラルネットワークのディープラーニングを活用した技術が様々提案されており、特に、画像認識においては、従来のニューラルネットワークに畳み込み処理を組合せたCNNが有用で、この畳み込み処理により特徴量を抽出できる。CNNの構造は畳み込み層とプーリング層を交互に持ち、出力の直前に全結合層を持つ。畳み込み層で畳み込み処理を行い、画像から特徴量を抽出し、プーリング層でデータ圧縮し、特徴の位置感度を低下させ位置に対するロバスト性を高め、全結合層で取り出された情報を結合して結果を出力する。CNNでは学習する際、教師画像を用い、畳み込み層および全結合層の重みを調整する。
【0022】
本発明の第1及び第2の観点による農作物生育推定装置における画像取得部で取得する画像は、一つの態様として、ドローンを含む無人航空機に搭載されたカメラにより撮影される。広大な圃場の農作物の生育状況(葉齢や週数)のモニタリングを省力化または自動化するために、カメラ付きドローン(無人小型マルチコプター)や、タイムラプス撮影できる定点カメラや、移動式車両や移動式ロボットのアームに取付けられたカメラなどを利用して、圃場の画像を取得する。なお、省力化・自動化ではないが、人手で圃場の農作物の生育状況をカメラ撮影した画像を取得しても構わない。
【0023】
次に、本発明の農作物生育推定システムについて説明する。本発明の農作物生育推定システムは、上述の第1の観点または第2の観点の農作物生育推定装置と、ユーザ端末と、カメラ手段とから構成される。農作物生育推定装置は、サーバ装置として機能する。
カメラ手段は、撮影した画像データを農作物生育推定装置に送信するデータ通信部を備える。上述したとおり、カメラ手段は、カメラ付きドローンやタイムラプス撮影できる定点カメラを用いることができる。またユーザ端末は、農作物生育推定装置から通信ネットワークを介して生育状況の推定結果を受信し、現在の葉齢や週数、予想された収穫時期を画面に表示するなどし、ユーザに推定情報を提供する。
カメラ付きドローンを用いて、作付圃場全体を上空10~100mから撮影する。作付圃場全体を上空から撮影して、農作物の欠株あるいは生育不良株の数または割合を直接計測することは従来から知られているが、本発明により、一株の拡大画像から当該株の現在の葉齢や週数もしくは日数を推定でき、更に収穫時期を予測できる。また、作付け日が異なる圃場が、撮影された画像に複数存在している場合でも、作付け日が異なる圃場毎に、一株の拡大画像を抽出し当該株の現在の葉齢や週数もしくは日数を推定でき、作付け日が異なる圃場毎の収穫時期を予測できる。このことは、農業の管理業者だけではなく、前述のとおり、農家、管理業者、販売業者、消費者の農作物のサプライチェーン全体にとって、非常に有益である。
【0024】
次に、本発明の農作物生育推定方法について説明する。本発明の農作物生育推定方法は、本発明の農作物生育推定装置と同様、第1の観点による農作物生育推定方法と第2の観点による農作物生育推定方法に分けられる。
本発明の第1の観点による農作物生育推定方法は、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得ステップと、学習済みの第1の分類器モデルを用いて画像を解析し、農作物の葉齢を推定する葉齢推定ステップを備える。
また、本発明の第1の観点による農作物生育推定方法において、葉齢増加量算出ステップと葉齢算出ステップを更に備える。葉齢増加量算出ステップは、画像の取得日からの経過日数と、該取得日以後の日平均気温と、葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数から葉齢増加量を算出する。葉齢算出ステップは、画像の取得日の葉齢推定値に葉齢増加量を加算し、画像の取得日からの日数経過後の葉齢を算出する。
本発明の第1の観点による農作物生育推定方法において、予め設定された収穫期葉齢と、画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する収穫時期推定ステップを更に備える。
個々の説明については、本発明の第1の観点による農作物生育推定装置と同様であり割愛する。
【0025】
本発明の第2の観点による農作物生育推定方法は、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する画像取得ステップと、学習済みの第2の分類器モデルを用いて画像を解析し、農作物の植付け後の週数または日数を推定する生育時間推定ステップを備える。個々の説明については、本発明の第2の観点による農作物生育推定装置と同様であり割愛する。
【0026】
本発明のプログラムは、上述の第1の観点による農作物生育推定方法における画像取得ステップ、葉齢推定ステップ、葉齢増加量算出ステップ、葉齢算出ステップ、及び収穫時期推定ステップの全てをコンピュータに実行させるためのプログラムである。あるいは、上述の第2の観点による農作物生育推定方法における画像取得ステップ及び生育時間推定ステップの全てをコンピュータに実行させるためのプログラムである。
【発明の効果】
【0027】
本発明によれば、農作物の育成段階を定量的に推定でき、推定値から更にその後の育成段階情報、収穫時期を推定できるといった効果がある。
【図面の簡単な説明】
【0028】
【
図1】第1の観点による農作物生育推定装置の機能ブロック図
【
図6】第2の観点による農作物生育推定装置の機能ブロック図(実施例3)
【
図7】実施例4の第1の観点による農作物生育推定装置の機能ブロック図
【
図8】実施例5の農作物生育推定システムのシステム構成図
【発明を実施するための最良の形態】
【0029】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【0030】
先ず、本発明の第1の観点による農作物生育推定装置の一実施態様について説明する。
図1は、第1の観点による農作物生育推定装置1の機能ブロック図である。農作物生育推定装置1は、画像取得部3と葉齢推定部4を備える。画像取得部3は、画像データ入力部31と画像データ処理部32から構成され、さらに画像データ処理部32は、個体画像抽出部32aと画像サイズ変更部32bから構成される。
画像取得部3では、一株一個体のロゼット状の葉を地面に広げる農作物の上方からカメラで撮影した画像を取得するが、入力する画像は、一株一個体の画像でなくてもよく、複数の個体が写り込んだ画像でよい。画像データ入力部31は、データ通信や記録媒体(図示せず)の受渡しによって、カメラ11の内部に記録された画像データ10を入力する。入力された画像データ10は、画像データ処理部32で入力され、データ処理が施される。
【0031】
画像データ処理部32において、データ処理は、個体画像抽出部32aと画像サイズ変更部32bが行う。個体画像抽出部32aは、画像データ10から推定対象となる作物体の一個体の写っている画像領域を切り出し抽出する。画像領域の切り出しサイズは、一株一個体の場合であれば株間の距離を用いて予め決定し、その切り出した画像領域の中に一株だけ収まるようにする。切り出す画像領域の形状は特に限定されるものではないが、通常は正方形や長方形の形状で切り取る。また画像サイズ変更部32bは、後述する分類器に入力する画像サイズ(ピクセル単位)に合致させるように切り出した画像の画像サイズを変更する。
【0032】
葉齢推定部4では、画像取得部3から出力される画像を、学習済みの第1の分類器モデル100を用いて解析し、作物体の葉齢を推定する。前述のとおり、葉齢とは、葉身のついた本葉を第一葉とカウントし、出てきた本葉の枚数をカウントしたものである。葉齢と生育段階との間には強い相関があり、葉齢を農作物の出来具合の良し悪しを推定するための時間軸として利用する。
【0033】
葉齢推定部4では、学習済みの分類器モデル100が画像を判別して葉齢を推定するが、以下に、分類器モデル100の学習内容について説明する。
分類器モデル100は、一株一個体のロゼット状の葉を地面に広げる作物体を撮影対象として上方から撮影した教師画像と、その教師画像に付与される葉齢ラベルとが関連付けされた学習データセットを用いて学習が施される。葉齢は1から始まる自然数であり、何枚目の本葉が出ているのかを、展開している葉を下からカウントしたものである。葉齢は、撮影した画像に映る葉の枚数と必ずしも一致しないが、画像に表現される作物体の葉形の佇まいから推定できる。
【0034】
CNNでは高い認識精度を出すために大量の学習データセットが必要とされることから、後述する実施例3では、分類器モデル100の学習に用いる教師画像は、分類する葉齢の各グループの画像枚数を増大した。すなわち、教師画像として標準生育画像を用いるが、各グループの画像枚数を等しくするために、標準生育画像を各グループの画像枚数がある程度の枚数になるまで増やした。画像の増やし方としては、元々ある教師画像を目標枚数となるまで、左右反転、輝度変更、コントラスト変更を行った。
【0035】
分類器モデル100は、畳み込みニューラルネットワーク(CNN)から構成されるが、ここでCNNの構造について
図3~5を用いて説明する。前述のとおり、CNNの構造は畳み込み層(Convolutional layer)とプーリング層(Pooling layer)を交互に持ち、出力の直前に1層以上の全結合層(Fully connected layer)を持つ。畳み込み層で畳み込み処理を行い、入力画像から特徴量を抽出し、次いで、プーリング層でデータ圧縮し、特徴の位置感度を低下させ位置に対するロバスト性を高める。そして、全結合層で取り出された情報を結合して分類結果を出力する。CNNでは学習する際、教師画像を用いて畳み込み層および全結合層の重みを調整する。
【0036】
全結合層において、あるユニットには、その直前の層の出力の重み付き和にバイアスが加算され入力させ、この入力を活性化関数であるReLU関数に入力させる。分類器モデル100では、最終端の出力には葉齢の分類グループ数と同数のユニットを配置するが、これらのユニットの出力には活性化関数ではなく、全ての入力値と出力値が結びついた確率分布を与える関数であるソフトマックス関数を用いる。分類判定には、期待値が最大値をとるユニットのインデックスを葉齢推定値とする。
【0037】
プーリング層は、畳み込み層の出力データを入力し、畳み込み層で抽出した特徴から認識に余分な情報を捨て、認識に必要な情報を保った新たな表現に変換するものであり、画像内に現れる特徴の微小な位置変化に対する応答の不変性を実現する。
図5に示すように、プーリング層のユニットでは、入力データ(直前の畳み込み層の出力データ)の一部の小領域P
ijについて、小領域内部の出力y
pqを集約し1つの出力とする。小領域P
ijは任意の大きさ(例えば、図のように2×2ピクセルや、3×3ピクセル)であり、入力が複数チャネルある場合には、チャネル毎にプーリングを行う(なお、チャネルとは、畳み込み層の入力画像の枚数のことである)。プーリングには、小領域内の平均を出力する平均プーリングと最大値を出力する最大プーリングがあるが、以下の実施例においては、最大プーリングを用いる。
【0038】
CNNの学習は、畳み込み層と全結合層の重みが教師画像に適応するように調整することであり、以下の実施例でも、ソフトマックス関数が出力した値と正解ラベル間の損失誤差を計算、具体的には、交差エントロピーを求める。求めた交差エントロピーから逆誤差伝播法を用いて各重みに対する勾配を算出し、算出した勾配から重みを更新する。CNNの学習の最適化手法として、Adam(Adaptive moment estimation)を用いる。
【0039】
次に、本発明の第2の観点による農作物生育推定装置の一実施態様について説明する。
図6は、第2の観点による農作物生育推定装置2の機能ブロック図である。農作物生育推定装置2は、画像取得部3と、生育時間推定部として機能する週数推定部5を備える。画像取得部3は、第1の観点による農作物生育推定装置1と同じであり、画像データ入力部31と画像データ処理部32から構成され、さらに画像データ処理部32は、個体画像抽出部32aと画像サイズ変更部32bから構成される。
週数推定部5では、画像取得部3から出力される画像を、学習済みの第2の分類器モデル200を用いて解析し、作物体の植付け後の週数を推定する。週数推定部5では、学習済みの分類器モデル200が画像を判別して週数を推定するが、分類器モデル200の学習内容については、教師画像に付与される教師ラベルが、植付け後の週数ラベルである点を除いて、第1の観点による農作物生育推定装置1の分類器モデル100の学習内容と同様である。
【0040】
以下の実施例では、レタスを例示作物として、育成段階情報を持つレタス画像を教師画像とし、畳み込みニューラルネットワーク(CNN)を用いて学習させ、その学習結果を農業現場で撮影されたレタス画像に適用し、育成段階情報として葉齢および植付け後週数を推定した結果について説明する。
先ず、実施例1及び実施例2では、露地野菜として結球レタスを対象とした葉齢の推定について説明し、実施例3では、同じく、結球レタスを対象とした植付け後の週数の推定について説明する。また、実施例4では、
図1の機能ブロック図で示される農作物生育推定装置1に、更に、葉齢増加量算出部と葉齢算出部および収穫時期推定部の機能ブロックが備わった農作物生育推定装置について説明し、実施例5では、農作物生育推定装置1をサーバ装置とした農作物生育推定システムについて説明する。そして、実施例6及び7では、第1又は第2の観点による農作物生育推定方法の処理フローを説明した後、実施例8において、それを実現するプログラムについて説明する。
【実施例1】
【0041】
(結球レタスの葉齢の推定について)
本実施例では、結球レタスを対象とした葉齢の推定について説明する。第1の観点による農作物生育推定装置1の分類器モデル100に、結球レタスの画像を入力させ、葉齢を出力させた。
まず、分類器モデル100に入力する画像データの前処理について、
図2を参照して説明する。前処理では、撮影された画像から推定対象の一個体の範囲を切り出し、画像サイズを変更する。
【0042】
図2は、発芽後数週間生育された後に定植されたレタスの株のイメージを示している。画像10aには、圃場13に定植されたレタス12が写っている。画像の調整と切り出しは、画像10bの範囲、すなわち、a×b(=15×13cm)の大きさで行った。
図2に示すように、レタスとレタスの株間が縦A(=30cm)、横B(=26cm)であるのでそれに合わせて長方形を作り、その中に一株だけ収まるように切り出した。
切り出したレタス画像を分類器モデル100に入力するために画像サイズを変更した。具体的には、30×26cmの大きさで切り出した画像データを75ピクセル×65ピクセルの画像サイズに変更した。
【0043】
本実施例では、2015年、2016年及び2019年に、人手により撮影された42432枚の結球レタスの画像を用いる。結球レタスの品種は、エレガントである。まず、得られた画像データを作物体の育成段階に応じて、葉齢4~16の13グループ(「葉齢4」、「葉齢5」、「葉齢6」、「葉齢7」、「葉齢8」、「葉齢9」、「葉齢10」、「葉齢11」、「葉齢12」、「葉齢13」、「葉齢14」、「葉齢15」及び「葉齢16」)に判別し分類した。そして、葉齢4~16の13グループ全てについて、画像枚数を揃え、それぞれの葉齢グループから1枚ずつを抜き出し評価画像とし、残りを教師画像とした。グループ毎に揃えた画像枚数は52枚であり、評価画像として1枚を抜き出したため、生育予測に使用した教師画像の枚数は51枚であった。
【0044】
教師画像663枚(=13×51枚)、評価画像13枚を用いて検証実験を行った。本実験において用いた分類器モデル100のCNNの構造は、
図3に示すものであるが、畳み込み層1のサイズは5×5×40、プーリング層1及び2のサイズは共に2×2、畳み込み層2のサイズは5×5×50である。また、全結合層1のサイズは11200、全結合層2のサイズは500、全結合層3のサイズは13である。
その他の計算機実験の実験条件としては、上述のとおり、グループ数は13、学習率(α)は0.001、バッチサイズは32、更新回数は20回、試行回数は10回である。1試行あたり20回の更新回数があり、1回の更新回数で1回の学習を行った。1回の学習で663枚の教師画像の学習と判別を行い、13枚の評価画像については判別のみを行った。
下記表1は、10試行(10回の試行回数)の判別率(正解率)の平均(Avg.)と標準偏差(S.D.)をまとめたもので、20回目の更新回数時における結果である。ここで、評価画像については、正解の葉齢の±1(前後1)を正解と見做した判別率を示している。葉齢の±1(前後1)を正解と見做す妥当性について、その理由を説明する。1つ目の理由としては、葉齢の測定が人手により行われるために、教師画像に関連付けした葉齢の教師ラベルが、前後1枚程度の誤差を含んでいる可能性があることである。また、2つ目の理由としては、葉齢の分類器モデルで判別を行う際に、判別した葉齢が前後1枚程度の誤差を含んでいたとしても作物体の生育予測にとって実用上の問題が無いからである。
【0045】
【0046】
上記表1に示すように、判別率は、教師画像で99.11%、評価画像で87.69%であった。下記表2は、評価画像における10試行の各葉齢の判別率の平均と標準偏差をまとめたものであり、20回目の更新回数時における結果を示したものである。なお、括弧内は、葉齢の前後1を含めた判別率である。
【0047】
【0048】
上記表2に示すように、各葉齢の判別率の平均は、葉齢4では100%、葉齢5では70%と高い数値を示しているが、例えば、葉齢7、葉齢14又は葉齢15では20%と低い数値となっている。しかしながら、表2の括弧内に示すように、葉齢の前後1を含めた判別率の平均を算出すると、全ての葉齢について80%以上の値となり、高い判別率が得られることがわかる。
【実施例2】
【0049】
本実施例では、10m、15m、25m、及び50mの高度からドローンにより撮影された画像を判別に用いた場合の、結球レタス(品種:エレガント)を対象とした葉齢推定について説明する。第1の観点による農作物生育推定装置1の分類器モデル100に、結球レタスの画像を入力させ、葉齢を出力させる点は実施例1と同様である。また、評価画像については、実施例1と同様に、正解の葉齢の±1(前後1)を正解と見做した判別率を示している。
【0050】
本実施例で用いた画像は、実施例1と同様であり、2015年、2016年及び2019年に手撮影された42432枚の結球レタスの画像である。下記表3は、実施例2に用いた各画像の枚数を表したものである。実施例1と同様に、画像データを作物体の育成段階に応じて、葉齢4~16の13グループ(「葉齢4」、「葉齢5」、「葉齢6」、「葉齢7」、「葉齢8」、「葉齢9」、「葉齢10」、「葉齢11」、「葉齢12」、「葉齢13」、「葉齢14」、「葉齢15」及び「葉齢16」)に判別し分類した。
【0051】
【0052】
上記表3に示すように、葉齢4~16の13グループ全てについて、教師用元画像枚数はバラついているが、教師画像の枚数は一律に揃えている。ここでは、葉齢4~16の13グループの内で、葉齢4の教師用元画像の枚数が52枚であり、最も少ないため、他のグループについても52枚に揃えている。評価画像として用いられた画像は、42432枚の内、葉齢5において、高度15mで撮影された画像が73枚、高度10m、25m又は50mで撮影された画像が4枚である。葉齢6において、高度15mで撮影された画像が86枚、10m、25m又は50mの高度で撮影された画像が266枚である。葉齢7において、高度15mで撮影された画像が1枚、10m、25m又は50mの高度で撮影された画像が30枚である。
【0053】
本実験で用いた分類器モデル100のCNNの構造は、
図3に示すものであるが、畳み込み層1のサイズは5×5×40、プーリング層1及び2のサイズは共に2×2、畳み込み層2のサイズは5×5×50である。また、全結合層1のサイズは11200、全結合層2のサイズは500、全結合層3のサイズは13である。
その他の計算機実験の実験条件としては、上述のとおり、グループ数は13、学習率(α)は0.001、バッチサイズは32、更新回数は20回、試行回数は10回である。1試行あたり20回の更新回数があり、1回の更新回数で1回の学習を行った。1回の学習で663枚の教師画像の学習と判別を行い、評価画像については判別のみを行った。
下記表4は、10試行を通しての判別率の平均と標準偏差をまとめたものであり、20回目の更新回数時における結果を示している。
【0054】
【0055】
上記表4に示すように、判別率は、高度10mで撮影された教師画像の場合は99.42%、高度15mで撮影された教師画像の場合は99.14%、高度25mで撮影された教師画像の場合は98.66%、また、高度50mで撮影された教師画像の場合は98.29%であった。また、高度10mの撮影された評価画像の場合は85.17%、高度15mで撮影された評価画像の場合は96.38%、高度25mで撮影された評価画像の場合は98.03%、また、高度50mで撮影された評価画像の場合は98.13%であった。このように、教師画像の場合では全て98%以上の判別率が得られているが、評価画像の場合においても、正解の葉齢の±1(前後1)を正解と見做した判別率で見ると、全て85%の以上の判別率が得られており、特に高度25m及び高度50mで撮影された評価画像の場合は98%以上の判別率が得られており、極めて高い判別率であることが判った。
【0056】
下記表5は、評価画像における10試行を通しての葉齢5~7の判別率の平均(Avg.)と標準偏差(S.D.)をまとめたものであり、20回目の更新回数時における結果を示したものである。なお、判別率の平均値において、括弧を付けていない数値は、正解の葉齢そのものに分類した判別率であり、括弧内の数値は葉齢の前後1を含めた判別率である。
【0057】
【0058】
上記表5に示すように、葉齢5の評価画像の場合の撮影の高度毎の判別率については、高度10mの画像では27.5%、高度15mの画像では10.69%、高度25mの画像では5%、高度50mの画像では25%であった。葉齢6の評価画像の場合の撮影の高度毎の判別率については、高度10mの画像では44.06%、高度15mの画像では71.16%、高度25mの画像では81.8%、高度50mの画像では83.8%であった。葉齢7の評価画像の場合の撮影の高度毎の判別率については、高度10mの画像では13.67%、高度15mの画像では0%、高度25mの画像では8.67%、高度50mの画像では7.3%であった。
このように、葉齢6の評価画像の場合については、高度によらず、何れも44%以上の判別率が得られ、特に高度25m及び高度50mで撮影された画像の場合には、何れも81%以上という非常に高い判別率であった。
一方で、葉齢5又は7の評価画像の場合、0~27.5%という低い判別率であったが、葉齢の前後1を含めた判別率の平均を算出すると、葉齢6の評価画像の場合が何れも87%以上の判別率であり、また葉齢5の評価画像の場合が85%以上、葉齢7の評価画像の場合が63%の判別率であり、何れも高い判別率であったことがわかる(上記表5の括弧内を参照)。
【実施例3】
【0059】
(結球レタスの植付け後週数の推定について)
本実施例では、結球レタスを対象とした植付け後の週数の推定について説明する。第2の観点による農作物生育推定装置2の分類器モデル200に、結球レタス画像を入力させ、植付け後の週数(定植後何週目)を出力させる。
まず、分類器モデル200に入力する画像データの前処理について説明する。前処理では、撮影された画像から推定対象の一個体の範囲を切り出し、画像サイズを変更する。そして、画像データを作物体の育成段階に応じて、週数0~6の7グループ(「定植後0週目」、「定植後1週目」、「定植後2週目」、「定植後3週目」、「定植後4週目」、「定植後5週目」、及び「定植後6週目以降」)に判別し分類する。判別の精度を上げるために画像の各グループの枚数を100枚になるまで画像を増大する。その後、画像を分類器モデル200に入力し、判別を行う。
【0060】
本実施例で用いた画像は、2016年に農林水産技術総合センターで標準的な生育環境で撮影されたもの(標準生育画像)と、2017年に協力農家の実圃場で撮影されたもの(実環境生育画像)の2種類である。結球レタスは、品種がエレガントであり、栽培場所が兵庫県南あわじ市であり、1週間間隔で撮影された画像を用いた。
【0061】
レタスの株の画像の切り出し及び調整の方法については、実施例1と同様である。切り出し及び調整が行われた画像にラベルを付与した。このとき、ラベルはレタスの育成段階に応じてグループ分けしたものを用いた。得られた画像は、標準生育画像で、「定植後0週目」が69枚、「定植後1週目」が72枚、「定植後2週目」が93枚、「定植後3週目」が60枚、「定植後4週目」が90枚、「定植後5週目」が36枚、「定植後6週目以降」が30枚の計450枚であり、実環境生育画像でそれぞれ、12枚、12枚、12枚、11枚、11枚、11枚、54枚の計123枚である。
【0062】
分類器モデル200では、高い認識精度を出すため、データセットを増大し、また各グループの画像枚数を等しくするため、標準生育画像450枚を各グループの枚数が100枚になるまで増やした。増やし方は画像を100枚になるまで左右反転、輝度変更、コントラスト変更を行った。このようにして標準生育画像の枚数は各グループ100枚ずつの計700枚としたが、実環境生育画像の枚数は増やさずに123枚を用いた。
【0063】
標準生育画像700枚を教師画像、実環境生育画像123枚を評価画像として実験を行った。本実験において用いた分類器モデル200のCNNの構造は、
図3に示すものであるが、畳み込み層1のサイズは5×5×40、プーリング層1のサイズは2×2、畳み込み層2のサイズは5×5×50である。また、全結合層1のサイズは11200、全結合層2のサイズは500、全結合層3のサイズは7である。
その他の計算機実験の実験条件としては、上述のとおり、グループ数は7、教師画像枚数は700枚、評価画像枚数は123枚、学習率(α)は0.001、バッチサイズは100、更新回数は20回、試行回数は5回である。1試行あたり20回の更新回数があり、1回の更新回数で1回の学習を行った。1回の学習で700枚の教師画像の学習と判別を行い、123枚の評価画像については判別のみを行った。
【0064】
初めに判別率に関する結果を示す。下記表6は5回の試行回数の判別率の平均と標準偏差をまとめたものであり、1回目、5回目、10回目、15回目、20回目の更新回数時の結果である。
【0065】
【0066】
上記表6より、教師画像の判別率は学習が進むにつれて上昇し、20回目の更新回数終了時における判別率は98.4%と高い判別率が得られた。その一方で、評価画像の判別率は学習が進んだとしてもあまり変わらず、20回目の更新回数終了時における判別率は42.8%と低いものとなった。実環境生育画像を用いた評価画像の判別率が向上しないことについて、次に説明する。
【0067】
正解ラベルと不正解となった予測ラベルの対応をまとめたものを下記表7及び表8に示す。表7は教師画像の誤判別結果、表8は評価画像の誤判別結果であり、行が正解ラベル、列が予測ラベルを示している。
【0068】
【0069】
【0070】
教師画像の誤判別に関しては、もともと付与されている正解ラベルに近いラベルを予測して誤判別している。例えば、上記表7の正解ラベルが0である「定植後0週目」の場合、「定植後1週目」と誤判別されている回数が232回、「定植後2週目」であると誤判別されている回数が12.6回、「定植後3週目」であると誤判別されている回数が4.6回、「定植後4週目」であると誤判別されている回数が3.8回、「定植後5週目」であると誤判別されている回数が2.8回、「定植後6週目以降」であると誤判別されている回数が0回であった。
【0071】
一方、評価画像に関しては「定植後0週目」と「定植後1週目」は「定植後2週目」と誤判別することが多く、正解ラベルよりも先の週を予測している。それに対し、「定植後2週目」は「定植後0週目」と、「定植後3週目」は「定植後2週目」と、「定植後4週目」も「定植後2週目」と、「定植後5週目」は「定植後3週目」と、「定植後6週目以降」は「定植後4週目」と誤判別することが多く、正解ラベルよりも前の週を予測している。特に、前の週を予測し誤判別している中で正解ラベルが「定植後3週目」を除く、「定植後2週目」、「定植後4週目」、「定植後5週目」、「定植後6週目以降」では2週間前を予測している。予測結果と表7より評価画像として用いた実環境生育画像中のレタスの生育は、教師画像として用いた標準生育画像中のレタスよりも成長が進むにつれて2週間程度の遅れがでていることがわかる。
【0072】
すなわち、2017年に栽培されたレタスは2016年に栽培されたレタスよりも2週間ほど成長が遅いものが多い。標準生育画像として用いたレタスの栽培時期は2016年10月から2017年1月である。実環境生育画像として用いたレタスの栽培時期は2017年10月から12月であり、定植日は10月11日と12日である。直後の10月15日から雨が続き、台風が接近した同月22日は南あわじ市内に24時間で200ミリ超の雨が降り、多くの畑が冠水し、植えつけたばかりのレタスの根が傷んでしまったからだと推察できる。
ここでは図示しないが、誤判別された評価画像中のレタスと教師画像中のレタスの生育状況が類似していることがわかった。以上より、2017年に栽培されたレタスは2016年に栽培されたレタスよりも生育が2週間ほど遅れているものが多いと考えられ、標準生育画像を教師画像として用いることにより、農作物の生育状況を予測することができることが理解できる。
【実施例4】
【0073】
図7は、本実施例で説明する第1の観点による農作物生育推定装置1aの機能ブロック図である。農作物生育推定装置1aは、画像取得部3、葉齢推定部4、葉齢増加量算出部6、葉齢算出部7および収穫時期推定部8を備える。画像取得部3は、第1の観点による農作物生育推定装置1と同じであり、画像データ入力部31と画像データ処理部32から構成され、さらに画像データ処理部32は、個体画像抽出部32aと画像サイズ変更部32bから構成される。
葉齢推定部4では、画像取得部3から出力される画像を、学習済みの第1の分類器モデル100を用いて解析し、葉齢を推定する。葉齢推定部4については、前述の実施例1における第1の観点による農作物生育推定装置1と同じである。
【0074】
これに対して、本実施例における第1の観点による農作物生育推定装置1aは、実施例1における第1の観点による農作物生育推定装置1と異なり、葉齢増加量算出部6、葉齢算出部7および収穫時期推定部8を更に備える。
葉齢増加量算出部6は、撮影した画像の取得日からの経過日数と、取得日以後の日平均気温と、葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数から葉齢増加量を算出する。葉齢算出部7は、画像の取得日から推定した葉齢推定値に、葉齢増加量算出部で算出した葉齢増加量を加算し、画像の取得日からの日数経過後の葉齢を算出する。また、収穫時期推定部8は、農作物生育推定装置1aにおいて、予め設定された収穫期葉齢と、画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定するものである。
【実施例5】
【0075】
図8は、本実施例の農作物生育推定システムのシステム構成図を示している。
図8に示すように、本実施例の農作物生育推定システム14は、サーバ15、ドローン16、ユーザ端末17を備え、サーバ15、ドローン16及びユーザ端末17は、ネットワーク18により通信可能となっている。
図8に示すように、圃場13にはレタス12が定植されている。ドローン16には、カメラ11が設けられており、圃場13全体を、ドローン16を用いて上空10~100mから撮影する。ドローン16は、データ通信部(図示せず)を備え、ネットワーク18を用いて、サーバ15又はユーザ端末17との間でデータの送受信を行うことが可能である。本実施例において、ネットワーク18はインターネットであるが、インターネット以外の通信手段を用いることも可能である。
サーバ15には、前述した農作物生育推定装置(1,1a,2)が設けられており、ドローン16のカメラ11により撮像された画像データを基に、レタスの生育状況を推定する。
ユーザ端末17は、サーバ15からネットワーク18を介してレタスの生育状況の推定結果を受信し、現在の葉齢や週数、予想された収穫時期を画面に表示するなどし、ユーザに推定情報を提供する。ユーザ端末17としては、ここではスマートフォンを用いているが、PC、タブレット端末、ウェアラブル端末等、その他の端末でもよい。
【実施例6】
【0076】
図9は、本発明の第1の観点による農作物生育推定方法のフロー図を示している。
図9に示すように、まず、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する(ステップS01:画像取得ステップ)。次に、学習済みの第1の分類器モデルを用いて画像を解析し、農作物の葉齢を推定する(ステップS02:葉齢推定ステップ)。画像の取得日からの経過日数と、該取得日以後の日平均気温と、葉齢推定部で推定した葉齢に応じて決定される葉齢増加係数から葉齢増加量を算出する(ステップS03:葉齢増加量算出ステップ)。画像の取得日の葉齢推定値に葉齢増加量を加算し、画像の取得日からの日数経過後の葉齢を算出する(ステップS04:葉齢算出ステップ)。最後に、予め設定された収穫期葉齢と、画像の取得日からの経過日数後の葉齢推定値とを比較することにより、収穫時期を推定する(ステップS05:収穫時期推定ステップ)。
【実施例7】
【0077】
図10は、本発明の第2の観点による農作物生育推定方法のフロー図を示している。フロー図に示すように、まず、一株一個体のロゼット状の葉を地面に広げる農作物の上方から撮影した画像を取得する(ステップS11:画像取得ステップ)。次に、学習済みの第2の分類器モデルを用いて画像を解析し、農作物の植付け後の週数を推定する(ステップS12:週数推定ステップ)。
【実施例8】
【0078】
農作物生育推定方法の各ステップをコンピュータに実行させる農作物生育推定プログラムについて説明する。コンピュータは、CPU、メモリ、ハードディスク、通信I/Fを備える。CPUは、ハードディスクに記録されているオペレーティング・システム(OS)、農作物生育推定プログラムその他のアプリケーションに基づいた処理を行う。メモリは、CPUに対して作業領域を提供する。ハードディスクは、オペレーティング・システム(OS)、農作物生育推定プログラム等その他のアプリケーション、及び農作物生育推定の結果得られた推定データを記録保持する。通信I/Fは、無線LAN通信などのI/Fであり、外部のカメラの撮影した画像データを受信する。
【0079】
農作物生育推定プログラムは、
図9のフローに示す農作物生育推定方法における画像取得ステップ(ステップS01)、葉齢推定ステップ(ステップS02)、葉齢増加量算出ステップ(ステップS03)、葉齢算出ステップ(ステップS04)及び収穫時期推定ステップ(ステップS05)をコンピュータに実行させる。或は、農作物生育推定プログラムは、
図10のフローに示す農作物生育推定方法における画像取得ステップ(ステップS11)及び週数推定ステップ(ステップS12)をコンピュータに実行させる。
【産業上の利用可能性】
【0080】
本発明は、露地野菜など生育段階に応じて作物体形状に違いが見られる多くの農作物の発育段階の推定に有用である。
【符号の説明】
【0081】
1,1a,2 農作物生育推定装置
3 画像取得部
4 葉齢推定部
5 週数推定部
6 葉齢増加量算出部
7 葉齢算出部
8 収穫時期推定部
10 画像データ
10a,10b 画像
11 カメラ
12 レタス
13 圃場
14 農作物生育推定システム
15 サーバ
16 ドローン
17 ユーザ端末
18 ネットワーク
31 画像データ入力部
32 画像データ処理部
32a 個体画像抽出部
32b 画像サイズ変更部
100 第1の分類器モデル
200 第2の分類器モデル