IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 西ヶ谷 亮志の特許一覧

特許7113555果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-28
(45)【発行日】2022-08-05
(54)【発明の名称】果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法
(51)【国際特許分類】
   G06Q 50/02 20120101AFI20220729BHJP
   A01G 7/00 20060101ALI20220729BHJP
   G06N 20/00 20190101ALI20220729BHJP
【FI】
G06Q50/02
A01G7/00 603
G06N20/00
【請求項の数】 9
(21)【出願番号】P 2021140537
(22)【出願日】2021-08-30
【審査請求日】2021-08-31
【早期審査対象出願】
(73)【特許権者】
【識別番号】718006095
【氏名又は名称】西ヶ谷 亮志
(74)【代理人】
【識別番号】100214248
【弁理士】
【氏名又は名称】青山 純
(74)【代理人】
【識別番号】100214260
【弁理士】
【氏名又は名称】相羽 昌孝
(72)【発明者】
【氏名】西ヶ谷 亮志
【審査官】樋口 龍弥
(56)【参考文献】
【文献】特開2021-058124(JP,A)
【文献】特開2020-156431(JP,A)
【文献】国際公開第2021/100430(WO,A1)
【文献】国際公開第2017/199539(WO,A1)
【文献】特開2020-099215(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
A01G 7/00
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
支援対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報を取得する取得部と、
学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に対して次年の前記開花時期までに行う作業内容を含む作業情報との相関関係を学習させた学習モデルに対して、前記取得部により取得された前記支援対象の果樹に対する前記果樹状態情報を入力することで、当該果樹に対する前記作業情報を生成する生成処理部と、を備え、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
果樹栽培支援装置。
【請求項2】
前記作業情報は、前記作業内容として、
剪定作業における剪定量及び剪定時期を含む、
請求項1に記載の果樹栽培支援装置。
【請求項3】
前記果樹状態情報は、
前記支援対象の果樹の剪定時期における当該果樹が撮影された画像情報をさらに含み、
前記作業情報は、前記作業内容として、
剪定作業における剪定箇所を含む、
請求項1又は請求項2に記載の果樹栽培支援装置。
【請求項4】
前記作業情報は、前記作業内容として、
夏肥の施肥作業における肥料量、
秋肥の施肥作業における肥料量、及び、
春肥の施肥作業における肥料量のうち少なくとも1つを含む、
請求項1乃至3のいずれか一項に記載の果樹栽培支援装置。
【請求項5】
支援対象の果樹の栽培を支援するために用いられる推論装置であって、
前記推論装置は、メモリと、プロセッサとを備え、
前記プロセッサは、
支援対象の果樹の開花時期における当該果樹の状態を示す果樹状態情報を取得する取得処理と、
前記取得処理にて前記支援対象の果樹に対する前記果樹状態情報を取得すると、当該果樹に対して次年の前記開花時期までに行う作業内容を示す作業情報を推論する推論処理と、を実行し、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
推論装置。
【請求項6】
学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に対して次年の前記開花時期までに行う作業内容を含む作業情報とで構成される学習用データを複数組記憶する学習用データ記憶部と、
複数組の前記学習用データを学習モデルに入力することで、前記果樹状態情報と前記作業情報との相関関係を前記学習モデルに学習させる機械学習部と、
前記機械学習部により前記相関関係を学習させた前記学習モデルを記憶する学習済みモデル記憶部と、を備え、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
機械学習装置。
【請求項7】
支援対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報を取得する取得工程と、
学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に対して次年の前記開花時期までに行う作業内容を含む作業情報との相関関係を学習させた学習モデルに対して、前記取得工程により取得された前記支援対象の果樹に対する前記果樹状態情報を入力することで、当該果樹に対する前記作業情報を生成する生成処理工程と、を備え、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
果樹栽培支援方法。
【請求項8】
メモリと、プロセッサとを含む推論装置において、支援対象の果樹の栽培を支援するために用いられる推論方法であって、
前記プロセッサは、
前記支援対象の果樹の開花時期における当該果樹の状態を示す果樹状態情報を取得する取得工程と、
前記取得工程にて前記支援対象の果樹に対する前記果樹状態情報を取得すると、当該果樹に対して次年の前記開花時期までに行う作業内容を示す作業情報を推論する推論工程と、を実行し、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
推論方法。
【請求項9】
学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に対して次年の前記開花時期までに行う作業内容を含む作業情報とで構成される学習用データを学習用データ記憶部に複数組記憶する学習用データ記憶工程と、
複数組の前記学習用データを学習モデルに入力することで、前記果樹状態情報と前記作業情報との相関関係を前記学習モデルに学習させる機械学習工程と、
前記機械学習工程により前記相関関係を学習させた前記学習モデルを学習済みモデル記憶部に記憶する学習済みモデル記憶工程と、を備え、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む、
機械学習方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法に関する。
【背景技術】
【0002】
従来、果樹園における果樹の栽培では、摘果、剪定、施肥等の作業内容を決定する際、作業者の経験やノウハウに依存する部分が大きかったが、近年、各種のデータに基づいて果樹の栽培を管理するためのシステムの開発や導入や進められている。例えば、特許文献1には、果樹園に設置されたカメラで評価対象の果樹を撮影スケジュールに従って撮影した画像から葉面積の積算値を求め、その葉面積の積算値と、過去の生育状態のデータから決定された生育曲線とに基づいて、その果樹に対する摘果作業のアドバイスを行う栽培支援システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-187259号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
果樹の栽培では、1年毎に豊作と不作を繰り返す隔年結果と呼ばれる現象が発生するため、毎年の果樹の収穫量は不安定になりやすい。隔年結果の抑制という観点でみると、特許文献1に開示された栽培支援システムは、単年毎の収穫をそれぞれ最適化するものであり、その年の摘果作業のアドバイスにおいて、次年以降の収穫については考慮されていない。また、特許文献1に開示された栽培支援システムでは、評価対象の果樹を毎日のように撮影する必要があるため、栽培支援システムを導入し、正常に動作させるために必要な条件が厳しいものであった。
【0005】
本発明は、上述した課題に鑑みてなされたものであって、毎年の収穫量の平準化を簡便に図ることを可能とする果樹栽培支援装置、推論装置、機械学習装置、果樹栽培支援方法、推論方法、及び、機械学習方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一態様に係る果樹栽培支援装置は、
支援対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報を取得する取得
部と、
学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に
対して次年の前記開花時期までに行う作業内容を含む作業情報との相関関係を学習させた
学習モデルに対して、前記取得部により取得された前記支援対象の果樹に対する前記果樹
状態情報を入力することで、当該果樹に対する前記作業情報を生成する生成処理部と、を
え、
前記果樹状態情報は、前記状態として、
前記開花時期における前記果樹が撮影された画像情報、
前記開花時期における前記果樹の花と芽の割合を示す割合情報を含む、及び、
前記開花時期における前記果樹内の内生植物ホルモンの含有量を示す含有量情報のうち少なくとも1つを含み、
前記作業情報は、前記作業内容として、
あら摘果作業における摘果量、及び、
前記あら摘果作業よりも後であって仕上げ摘果作業よりも前に行われる中間摘果作業における摘果量のうち少なくとも1つを含む。
【発明の効果】
【0007】
本発明の一態様に係る果樹栽培支援装置によれば、開花時期における支援対象の果樹の状態から、当該果樹に対して次年の開花時期までに行う作業内容を含む作業情報が生成される。これは、開花時期における果樹の状態を毎年安定させるように、果樹に対する作業内容を決めることが隔年結果の抑制に有効であるという新たな知見に基づくものである。
そして、この新たな知見を学習モデルとして導入し、開花時期における果樹の状態という基準に基づいて、次年の開花時期までの作業内容が決められるので、毎年の収穫量の平準化を簡便に図ることができる。
【0008】
上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。
【図面の簡単な説明】
【0009】
図1】第1の実施形態に係る果樹栽培支援システム1の一例を示す全体構成である。
図2】果樹Tに対して行われる作業と、その作業時期を示す図である。
図3】コンピュータ900の一例を示すハードウエア構成図である。
図4】果樹データベース40の一例を示すデータ構成図である。
図5】果樹データベース40に基づく特定の果樹Tに対する情報の一例を示す説明図である。
図6】第1の実施形態に係る機械学習装置5の一例を示すブロック図である。
図7】果樹状態情報が画像情報である場合の第1の学習モデル110及び第1の学習用データ120の一例を示す図である。
図8】果樹状態情報が割合情報である場合の第2の学習モデル111及び第2の学習用データ121の一例を示す図である。
図9】果樹状態情報が含有量情報である場合の第3の学習モデル112及び第3の学習用データ122の一例を示す図である。
図10】機械学習装置5による機械学習方法の一例を示すフローチャートである。
図11】第1の実施形態に係る果樹栽培支援装置6の一例を示すブロック図である。
図12】第1の実施形態に係る果樹栽培支援装置6の一例を示す機能説明図である。
図13】果樹栽培支援装置6による果樹栽培支援方法の一例を示すフローチャートである。
図14】第2の実施形態に係る機械学習装置5aの一例を示すブロック図である。
図15】第4の学習モデル113及び第4の学習用データ123の一例を示す図である。
図16】第5の学習モデル114及び第5の学習用データ124の一例を示す図である。
図17】第6の学習モデル115及び第6の学習用データ125の一例を示す図である。
図18】第2の実施形態に係る果樹栽培支援装置6aとして機能する果樹栽培支援装置6aの一例を示すブロック図である。
図19】第2の実施形態に係る果樹栽培支援装置6aの一例を示す機能説明図である。
図20】第3の実施形態に係る機械学習装置5bの一例を示すブロック図である。
図21】状態解析用の第7の学習モデル116及び第7の学習用データ126の一例を示す図である。
図22】状態解析用の第8の学習モデル117及び第8の学習用データ127の一例を示す図である。
図23】第3の実施形態に係る果樹栽培支援装置6bとして機能する果樹栽培支援装置6bの一例を示すブロック図である。
図24】第3の実施形態に係る果樹栽培支援装置6bの一例を示す機能説明図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
【0011】
(第1の実施形態)
図1は、第1の実施形態に係る果樹栽培支援システム1の一例を示す全体構成図である。図2は、果樹Tに対して行われる作業と、その作業時期を示す図である。果樹栽培支援システム1は、多数の果樹Tを栽培する果樹園にて作業する作業者を支援するために用いられるシステムである。
【0012】
果樹栽培支援システム1は、その主要な構成要素として、作業者端末装置2と、果樹状態取得装置3と、データベース装置4と、機械学習装置5と、果樹栽培支援装置6とを備える。各装置2~6は、例えば、汎用又は専用のコンピュータ(後述の図3参照)で構成されるとともに、有線又は無線のネットワーク7に接続されて、各種のデータを相互に送受信可能に構成される。なお、各装置2~6の数やネットワーク7の接続構成は、図1の例に限られず、適宜変更してもよい。
【0013】
果樹Tは、例えば、ミカン科、バラ科、カキノキ科等の果樹であり、果樹Tの品種は特に限定されない。なお、果樹園では、複数品種の果樹Tが栽培されていてもよい。本実施形態では、果樹Tとして、ミカン科に属するミカン属の一種を例にして説明する。
【0014】
果樹Tに対する作業として、果樹Tの開花時期(5月頃)を起点にして次年の開花時期までに行われる作業を順に並べると、図2に示すように、夏肥の施肥作業(5月頃)、あら摘果作業(6~7月頃)、中間摘果作業(7~8月頃)、仕上げ摘果作業(8~9月頃)、秋肥の施肥作業(9月頃)、剪定作業(2~4月頃)、春肥の施肥作業(2~3月頃)等が挙げられる。なお、上記の各作業の時期は、目安の時期であり、前後にずれてもよい。また、上記の各作業は、その順序が入れ替えられてもよいし、その一部が省略されてもよいし、他の作業が追加で行われてもよい。
【0015】
果樹栽培支援システム1では、果樹Tの状態を果樹T毎に管理し、果樹Tに対する各作業の作業内容は、開花時期における果樹Tの状態を含む果樹状態情報を主な基準にして果樹T毎に決定される。なお、各作業のうち一部の作業の作業内容は、開花時期における果樹Tの状態だけでなく、その作業の作業時期における果樹Tの状態を補助的な基準にして決定されてもよく、例えば、剪定作業では、開花時期の状態だけでなく、剪定作業の作業時期の状態も基準にして決定されてもよい。また、各作業のうち一部の作業の作業内容は、開花時期における果樹Tの状態ではなく、その作業の作業時期における果樹Tの状態を主な基準にして決定されてもよく、例えば、仕上げ摘果作業では、開花時期の状態ではなく、仕上げ摘果作業の作業時期の状態を基準にして決定されてもよい。
【0016】
果樹状態情報は、開花時期における果樹が撮影された画像情報、開花時期における果樹の花と芽の割合を示す割合情報、及び、開花時期における果樹内の内生植物ホルモンの含有量を示す含有量情報の少なくとも1つを含む。
【0017】
作業者端末装置2は、果樹園の作業者(各種作業を行う農作業者や果樹園の管理者等)により使用される端末装置である。作業者端末装置2は、据置型の装置又は携帯型の装置で構成され、例えば、スマートフォン、タブレット端末、AR(又はMR)機能付きスマートグラス等の携帯型の装置で構成される場合には、作業者端末装置2は、果樹状態情報としての画像情報を取得可能なカメラ20を備える。
【0018】
作業者端末装置2は、アプリケーションプログラム、ウェブブラウザ等の表示画面を介して各種の入力操作を受け付けるとともに、表示画面を介して各種の情報(例えば、果樹状態情報、作業情報等)を表示する。作業者端末装置2は、例えば、果樹状態情報としての割合情報の入力操作や、果樹Tに対する作業内容の入力操作を受け付けたり、果樹Tに対して行われた過去の作業内容をデータベース装置4から受信して表示したり、果樹Tに対して行われる予定の作業内容を果樹栽培支援装置6から受信して表示したりする。
【0019】
果樹状態取得装置3は、果樹状態情報を取得し、その取得した果樹状態情報をネットワーク7又は記録媒体等を介してデータベース装置4、果樹栽培支援装置6等に提供する。果樹状態情報が画像情報である場合には、果樹状態取得装置3は、例えば、固定型又は携帯型のカメラ30、カメラが搭載されたドローン31等で構成される。なお、作業者端末装置2が、上記のように、カメラ20を備える場合には、作業者端末装置2が果樹状態取得装置3を兼ねてもよい。また、果樹状態情報が含有量情報である場合には、果樹状態取得装置3は、例えば、成分分析計32等で構成される。
【0020】
データベース装置4は、果樹園にて栽培されている各果樹Tに関する各種の情報を登録可能な果樹データベース40を備える。データベース装置4は、作業者端末装置2や果樹状態取得装置3から果樹状態情報や作業内容を随時受信し、果樹データベース40に登録することで、果樹データベース40には、各果樹Tに関する各種の情報が、日付情報とともに蓄積される。
【0021】
機械学習装置5は、機械学習の学習フェーズの主体として動作し、例えば、データベース装置4から果樹データベース40の一部を学習用データ12として取得し、果樹栽培支援装置6にて用いられる学習モデル11を機械学習により生成する。学習済みの学習モデル11は、ネットワーク7や記録媒体等を介して果樹栽培支援装置6に提供される。本実施形態では、機械学習の手法として、教師あり学習を採用する場合について説明する。
【0022】
果樹栽培支援装置6は、機械学習の推論フェーズの主体として動作し、機械学習装置5により生成された学習済みの学習モデル11を用いて、支援対象の果樹Tに対する作業情報を生成し、その作業情報を作業者端末装置2、データベース装置4等に提供する。
【0023】
(コンピュータ900)
図3は、コンピュータ900の一例を示すハードウエア構成図である。果樹栽培支援システム1の各装置2~6は、汎用又は専用のコンピュータ900により構成される。
【0024】
コンピュータ900は、図3に示すように、その主要な構成要素として、バス910、プロセッサ912、メモリ914、入力デバイス916、出力デバイス917、表示デバイス918、ストレージ装置920、通信I/F(インターフェース)部922、外部機器I/F部924、I/O(入出力)デバイスI/F部926、及び、メディア入出力部928を備える。なお、上記の構成要素は、コンピュータ900が使用される用途に応じて適宜省略されてもよい。
【0025】
プロセッサ912は、1つ又は複数の演算処理装置(CPU(Central Processing Unit)、MPU(Micro-processing unit)、DSP(digital signal processor)、GPU(Graphics Processing Unit)等)で構成され、コンピュータ900全体を統括する制御部として動作する。メモリ914は、各種のデータ及びプログラム930を記憶し、例えば、メインメモリとして機能する揮発性メモリ(DRAM、SRAM等)と、不揮発性メモリ(ROM)、フラッシュメモリ等とで構成される。
【0026】
入力デバイス916は、例えば、キーボード、マウス、テンキー、電子ペン等で構成され、入力部として機能する。出力デバイス917は、例えば、音(音声)出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス918は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス916及び表示デバイス918は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置920は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等で構成され、記憶部として機能する。ストレージ装置920は、オペレーティングシステムやプログラム930の実行に必要な各種のデータを記憶する。
【0027】
通信I/F部922は、インターネットやイントラネット等のネットワーク940(図1のネットワーク7と同じであってもよい)に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器I/F部924は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器950に有線又は無線により接続され、所定の通信規格に従って外部機器950との間でデータの送受信を行う通信部として機能する。I/OデバイスI/F部926は、各種のセンサ、アクチュエータ等のI/Oデバイス960に接続され、I/Oデバイス960との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部928は、例えば、DVD(Digital Versatile Disc)ドライブ、CD(Compact Disc)ドライブ等のドライブ装置で構成され、DVD、CD等のメディア(非一時的な記憶媒体)970に対してデータの読み書きを行う。
【0028】
上記構成を有するコンピュータ900において、プロセッサ912は、ストレージ装置920に記憶されたプログラム930をメモリ914に呼び出して実行し、バス910を介してコンピュータ900の各部を制御する。なお、プログラム930は、ストレージ装置920に代えて、メモリ914に記憶されていてもよい。プログラム930は、インストール可能なファイル形式又は実行可能なファイル形式でメディア970に記録され、メディア入出力部928を介してコンピュータ900に提供されてもよい。プログラム930は、通信I/F部922を介してネットワーク940経由でダウンロードすることによりコンピュータ900に提供されてもよい。また、コンピュータ900は、プロセッサ912がプログラム930を実行することで実現する各種の機能を、例えば、FPGA(field-programmable gate array)、ASIC(application specific integrated circuit)等のハードウエアで実現するものでもよい。
【0029】
コンピュータ900は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ900は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよい。コンピュータ900は、他の装置に適用されてもよい。
【0030】
(果樹データベース40)
図4は、果樹データベース40の一例を示すデータ構成図である。果樹データベース40は、各果樹Tにそれぞれ付与された果樹識別情報(果樹ID)に基づいて、各果樹Tの状態や作業内容を管理するためのデータベースである。果樹データベース40は、例えば、基本情報テーブル400と、状態記録テーブル401と、作業記録テーブル402と、収穫記録テーブル403とから構成される。
【0031】
基本情報テーブル400は、果樹Tの基本情報を記録するための複数のレコードを有し
、各レコードには、果樹ID、品種、植樹日、及び、植樹位置が登録される。植樹位置は、果樹園内に植えられた果樹Tの位置を示すものであり、例えば、果樹園の敷地を表す地図上に対して果樹Tの位置表示を可能とする情報である。
【0032】
状態記録テーブル401は、果樹状態情報を記録するための複数のレコードを有し、各レコードには、果樹ID、取得日、果樹状態種別、及び、果樹状態情報が登録される。果樹状態情報には、画像情報、割合情報、及び、含有量情報のいずれかが登録され、果樹状態種別には、その登録された果樹状態情報の種別が登録される。
【0033】
作業記録テーブル402は、果樹Tに対する作業内容を記録するための複数のレコードを有し、各レコードには、果樹ID、作業項目、予定作業時期、予定作業内容、実施作業日、実施作業内容、及び、実施作業者が登録される。予定作業時期及び予定作業内容は、今後作業が行われる作業予定に関する情報であり、実施作業日、実施作業内容及び実施作業者は、実際に作業が行われた作業実績に関する情報である。実施作業内容及び予定作業内容には、各作業の作業量が登録されるが、標準的な作業量を中間値として、所定の範囲(例えば、0~1)に正規化した値で登録される。
【0034】
収穫記録テーブル403は、果樹Tの収穫実績を記録するための複数のレコードを有し、各レコードには、果樹ID、収穫日、及び、収穫量が登録される。なお、収穫量は、果実の大きさ、色、形毎に記録されてもよい。
【0035】
図5は、果樹データベース40に基づく特定の果樹Tに対する情報の一例を示す説明図である。果樹データベース40では、図4に示す各テーブルの情報が果樹IDにより関連付けられることで、各果樹Tにおける過去から現在までの状態、作業実績、今後の作業予定、収穫実績が一元管理される。
【0036】
図5には、2021年の開花時期における果樹ID(「T0103」)で特定される果樹Tの情報が例示されている。2018年~2020年の各作業内容は、作業実績である。植樹日以降の2017年までの作業内容や、実際には果樹データベース40に登録されているが、図5では省略している。また、2021年の各作業内容は、作業予定であり、果樹栽培支援装置6により2021年の開花時期における画像情報D3(「T0103―P21」)に基づいて生成された作業情報D4が登録されたものである。なお、果樹データベース40に登録された情報は、作業者端末装置2の表示画面に表示され、編集、検索、統計、印刷等の処理が可能である。
【0037】
(機械学習装置5)
図6は、第1の実施形態に係る機械学習装置5の一例を示すブロック図である。機械学習装置5は、制御部50、通信部51、学習用データ記憶部52、及び、学習済みモデル記憶部53を備える。
【0038】
制御部50は、学習用データ取得部500及び機械学習部501として機能する。通信部51は、ネットワーク7を介して外部装置(例えば、装置2~4、6等)と接続され、各種のデータを送受信する通信インターフェースとして機能する。
【0039】
学習用データ取得部500は、通信部51及びネットワーク7を介して外部装置と接続され、学習対象の果樹Tの開花時期における当該果樹Tの状態を含む果樹状態情報と、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報とで構成される学習用データ12を取得する。本実施形態では、学習用データ取得部500は、果樹データベース40に登録された過去の果樹状態情報及び作業内容に基づいて、学習用データ12を取得する場合を中心に説明する。なお、学習用データ取得部500は、管理者や熟練の農
作業者が、果樹状態情報やその果樹状態情報に対する作業内容を入力する操作を、作業者端末装置2を介して受け付けることで、学習用データ12を取得するようにしてもよい。
【0040】
学習用データ記憶部52は、学習用データ取得部500で取得した学習用データ12を複数組記憶するデータベースである。学習用データ12は、上記のように、入力データとしての果樹状態情報と、出力データとしての作業情報とで構成される。学習用データ12は、教師あり学習における教師データ(トレーニングデータ)、検証データ及びテストデータとして用いられるデータである。また、作業情報は、教師あり学習における正解ラベルとして用いられるデータである。なお、学習用データ記憶部52を構成するデータベースの具体的な構成は適宜設計すればよい。
【0041】
機械学習部501は、学習用データ記憶部52に記憶された複数組の学習用データ12を用いて機械学習を実施する。すなわち、機械学習部501は、学習モデル11に学習用データ12を複数組入力し、学習用データ12に含まれる果樹状態情報と作業情報との相関関係を学習モデル11に学習させることで、学習済みの学習モデル11を生成する。
【0042】
学習済みモデル記憶部53は、機械学習部501により生成された学習済みの学習モデル11(具体的には、調整済みの重みパラメータ群)を記憶するデータベースである。学習済みモデル記憶部53に記憶された学習済みの学習モデル11は、ネットワーク7や記録媒体等を介して実システム(例えば、果樹栽培支援装置6)に提供される。なお、図5では、学習用データ記憶部52と、学習済みモデル記憶部53とが別々の記憶部として示されているが、これらは単一の記憶部で構成されてもよい。
【0043】
本実施形態では、学習用データ12が、果樹状態情報として、学習対象の果樹Tの開花時期における画像情報、割合情報、及び、含有量情報をそれぞれ含む第1乃至第3の学習用データ120~122で構成される場合であって、機械学習部501が、第1乃至第3の学習用データ120~122から第1乃至第3の学習モデル110~112をそれぞれ生成する場合について説明する。
【0044】
図7は、果樹状態情報が画像情報である場合の第1の学習モデル110及び第1の学習用データ120の一例を示す図である。第1の学習モデル110の機械学習に用いられる第1の学習用データ120は、学習対象の果樹Tの開花時期における画像情報と、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報とで構成される。
【0045】
画像情報は、作業者端末装置2(カメラ20)、又は、果樹状態取得装置3(カメラ30、ドローン31)により開花時期の果樹Tが撮影されたものである。画像情報は、果樹Tが特定の方角から撮影された画像でもよいし、例えば、果樹状態取得装置3がドローン31で構成される場合には、果樹Tが真上から撮影された画像でもよい。画像情報は、複数の画像でもよく、例えば、複数の方角から撮影された複数の画像でもよいし、果樹Tの全体が撮像された画像と、果樹Tの一部が撮像された画像とを組み合わせたものでもよい。画像情報は、モノクロ画像及びカラー画像のいずれでもよいし、二次元画像及び三次元画像のいずれでもよい。
【0046】
作業情報は、果樹Tの画像情報が撮影された開花時期を起点として、次年の開花時期までに行われた作業内容として、例えば、夏肥の施肥作業における肥料量、あら摘果作業における摘果量、中間摘果作業における摘果量、秋肥の施肥作業における肥料量、剪定作業における剪定量及び作業時期、並びに、春肥の施肥作業における肥料量のうち少なくとも1つを含む。
【0047】
学習用データ取得部500は、果樹データベース40を参照したり、作業者端末装置2
による管理者の入力操作を受け付けたりすることで、第1の学習用データ120を取得する。例えば、学習用データ取得部500は、例えば、開花時期における花と芽の割合の変化量が次年に対して特定の範囲内にある場合等を学習用データ検索条件として、果樹データベース40を検索する。このとき、果樹Tは、1年周期で開花時期が到来するため、1つの果樹Tに対して1年毎に学習用データ検索条件に該当する年であるか否かが判定される。
【0048】
そして、学習用データ取得部500は、学習用データ検索条件に該当する果樹Tと対象の年を特定すると(管理者により指定されたものでもよい)、その果樹Tがその対象の年の開花時期に撮影された画像情報と、その果樹Tに対して次年の開花時期までに行われた作業内容(管理者により作業内容の一部又は全部が指定されたものでもよい)とを果樹データベース40から取得することで、第1の学習用データ120を取得する。例えば、図5の破線で囲まれた範囲の情報D1、D2が、第1の学習用データ120にそれぞれ相当する。図7は、図5に示す情報D1を、第1の学習用データ120として例示したものである。
【0049】
第1の学習モデル110は、例えば、畳み込みニューラルネットワーク(CNN)の構造を採用したものであり、入力層1100、中間層1101、及び、出力層1102を備える。各層の間には、各ニューロンをそれぞれ接続するシナプス(不図示)が張られており、各シナプスには、重みがそれぞれ対応付けられている。各シナプスの重みからなる重みパラメータ群が、機械学習により調整される。
【0050】
入力層1100は、入力データとしての画像情報の画素数に対応する数のニューロンを有し、各ピクセルの画素値が各ニューロンにそれぞれ入力される。中間層1101は、例えば、畳み込み層、プーリング層及び全結合層から構成される。出力層1102は、出力データとしての作業情報が含む作業内容に対応する数のニューロンを有し、各作業内容の判定結果(推論結果)が、出力データとしてそれぞれ出力される。
【0051】
第1の学習モデル110を、図7に示すように、回帰モデルで構成する場合には、摘果量、剪定量、及び、肥料量は、標準的な作業量を中間値に対応させた所定の範囲(例えば、0~1)を有する数値でそれぞれ表され、剪定作業における剪定時期は、1年の期間に対応させた所定の範囲(例えば、0~1)を有する数値で表される。そのため、出力層1102の各ニューロンは、各作業内容に対応付けられて、上記のような数値をそれぞれ出力する。また、第1の学習モデル110を分類モデルで構成する場合には、作業内容としての摘果量、剪定量、及び、肥料量は、作業量を段階的に区切ったときの各段階に対応させた多クラスでそれぞれ表され、剪定時期は、1年を所定の期間(例えば、1カ月)で区切ったときの各期間にそれぞれ対応させた多クラスで表される。そのため、出力層1102の各ニューロンは、作業内容を表す上記の各クラスにそれぞれ対応付けられて、そのクラスにそれぞれ分類されるときのスコア(信頼度)を、所定の範囲(例えば、0~1)の値で出力する。
【0052】
図8は、果樹状態情報が割合情報である場合の第2の学習モデル111及び第2の学習用データ121の一例を示す図である。第2の学習モデル111の機械学習に用いられる第2の学習用データ121は、学習対象の果樹Tの開花時期における割合情報と、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報とで構成される。作業情報は、第1の学習用データ120と同様であるため、説明を省略する。
【0053】
割合情報は、例えば、作業者が開花時期に果樹Tを目視し、その花と芽の割合を判定した結果が、作業者端末装置2を介して入力されたものである。割合情報は、作業者の判定結果として入力された値が、所定の範囲(例えば、0~1)に正規化されて、その値が大
きくなるほど花の割合が高いものとして定義される。
【0054】
学習用データ取得部500は、果樹データベース40を参照したり、作業者端末装置2による管理者の入力操作を受け付けたりすることで、第2の学習用データ121を取得する。例えば、学習用データ取得部500は、学習用データ検索条件に該当する果樹Tと対象の年を特定し(管理者により指定されたものでもよい)、その対象の年の開花時期におけるその果樹Tの割合情報と、その果樹Tに対して次年の開花時期までに行われた作業内容(管理者により作業内容の一部又は全部が指定されたものでもよい)とを果樹データベース40から取得することで、第2の学習用データ121を取得する。
【0055】
第2の学習モデル111は、例えば、ニューラルネットワークの構造を採用したものであり、入力層1110、中間層1111、及び、出力層1112を備える。各層の間には、各ニューロンをそれぞれ接続するシナプス(不図示)が張られており、各シナプスの重みからなる重みパラメータ群が、機械学習により調整される。
【0056】
入力層1110は、入力データとしての割合情報に対応するニューロンを有し、割合情報が示す値が、そのニューロンに入力される。中間層1111は、例えば、複数の層から構成される。出力層1112は、出力データとしての作業情報が含む作業内容に対応する数のニューロンを有し、各作業内容の判定結果(推論結果)が、出力データとしてそれぞれ出力される。
【0057】
図9は、果樹状態情報が含有量情報である場合の第3の学習モデル112及び第3の学習用データ122の一例を示す図である。第3の学習モデル112の機械学習に用いられる第3の学習用データ122は、学習対象の果樹Tの開花時期における含有量情報と、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報とで構成される。作業情報は、第1の学習用データ120と同様であるため、説明を省略する。
【0058】
含有量情報は、果樹状態取得装置3としての成分分析計32により開花時期の果樹T内に存在する内生植物ホルモンが計測されたものである。内生植物ホルモンは、例えば、ジベレリン、サイトカイニン、オーキシン等であり、含有量情報は、これらのうち少なくとも1つの内生植物ホルモンの含有量を表すものである。上記のような内生植物ホルモンの含有量は、果樹Tの生育状況に影響を与えるものであり、例えば、開花時期における花と芽の割合に影響を与えるものである。なお、含有量情報は、成分分析計32による含有量の計測値でそのまま表されてもよいし、その計測値が、所定の範囲(例えば、0~1)に正規化されたものでもよい。
【0059】
学習用データ取得部500は、果樹データベース40を参照したり、作業者端末装置2による管理者の入力操作を受け付けたりすることで、第3の学習用データ122を取得する。例えば、学習用データ取得部500は、学習用データ検索条件に該当する果樹Tと対象の年を特定し(管理者により指定されたものでもよい)、その対象の年の開花時期におけるその果樹Tの含有量情報と、その果樹Tに対して次年の開花時期までに行われた作業内容(管理者により作業内容の一部又は全部が指定されたものでもよい)とを果樹データベース40から取得することで、第3の学習用データ122を取得する。
【0060】
第3の学習モデル112は、例えば、ニューラルネットワークの構造を採用したものであり、入力層1120、中間層1121、及び、出力層1122を備える。各層の間には、各ニューロンをそれぞれ接続するシナプス(不図示)が張られており、各シナプスの重みからなる重みパラメータ群が、機械学習により調整される。
【0061】
入力層1120は、入力データとしての含有量情報に対応する数(本実施形態では、ジ
ベレリン及びサイトカイニンの含有量に対応する2つ)のニューロンを有し、例えば、含有量が正規化された値が、各ニューロンにそれぞれ入力される。中間層1121は、例えば、複数の層から構成される。出力層1122は、出力データとしての作業情報が含む作業内容に対応する数のニューロンを有し、各作業内容の判定結果(推論結果)が、出力データとしてそれぞれ出力される。
【0062】
なお、学習用データ12は、上記のように、学習用データ検索条件に従って抽出されたり、管理者により指定されたりすることで取得されるが、その学習用データ12としては、開花時期の果樹Tの状態から、管理者や熟練の農作業者の長年の経験に基づいて隔年結果を抑制できるような作業内容を含む作業情報(所謂、成功データ)を用いることができるその作業情報は、例えば、隔年結果を抑制するための長年の経験(発明者により得られた知見)として、隔年結果が発生しているような果樹T、すなわち、開花時期の状態が花ばかりの年と芽ばかりの年とを繰り返すような果樹Tの状態を、安定状態(例えば、花と芽の割合が5:5)に単年又は複数年に亘って移行させるような作業内容を含むものである。具体的には、あら摘果作業における摘果量は、安定状態の果樹Tにおいて生理落下後に着果する果実の数が目標数になるように、開花時期の果樹Tに状態に応じて調整されるものであり、例えば、花の割合が芽の割合よりも高い果樹Tでは、その割合が高い程、摘果量は多くなるように調整され、花の割合が芽の割合よりも低い果樹Tでは、「0」(未摘果)のように調整されてもよい。その他の作業内容についても同様に調整される。
【0063】
(機械学習方法)
図10は、機械学習装置5による機械学習方法の一例を示すフローチャートである。以下では、複数組の学習用データ12を用いて学習モデル11を生成するものとして説明するが、第1乃至第3の学習用データ120~122の各々を用いて第1乃至第3の学習モデル110~112をそれぞれ作成する場合に適用される。
【0064】
まず、ステップS100において、学習用データ取得部500は、機械学習を開始するための事前準備として、果樹データベース40等から所望の数の学習用データ12を取得し、その取得した学習用データ12を学習用データ記憶部52に記憶する。ここで準備する学習用データ12の数については、最終的に得られる学習モデル11に求められる推論精度を考慮して設定すればよい。
【0065】
次に、ステップS110において、機械学習部501は、機械学習を開始すべく、学習前の学習モデル11を準備する。ここで準備する学習前の学習モデル11は、図7乃至図9に例示したニューラルネットワークモデルで構成されており、各シナプスの重みが初期値に設定されている。
【0066】
次に、ステップS120において、機械学習部501は、学習用データ記憶部52に記憶された複数組の学習用データ12から、例えば、ランダムに1組の学習用データ12を取得する。
【0067】
次に、ステップS130において、機械学習部501は、1組の学習用データ12に含まれる果樹状態情報としての画像情報(入力データ)を、準備された学習前(又は学習中)の学習モデル11の入力層に入力する。その結果、学習モデル11の出力層から推論結果として作業情報(出力データ)が出力されるが、当該出力データは、学習前(又は学習中)の学習モデル11によって生成されたものである。そのため、学習前(又は学習中)の状態では、推論結果として出力された出力データは、学習用データ12に含まれる作業情報(正解ラベル)とは異なる情報を示す。
【0068】
次に、ステップS140において、機械学習部501は、ステップS120において取
得された1組の学習用データ12に含まれる作業情報(正解ラベル)と、ステップS130において出力層から推論結果として出力された作業情報(出力データ)とを比較し、各シナプスの重みを調整する処理(バックプロバケーション)を実施することで、機械学習を実施する。これにより、機械学習部501は、果樹状態情報と作業情報との相関関係を学習モデル11に学習させる。
【0069】
次に、ステップS150において、機械学習部501は、所定の学習終了条件が満たされたか否かを、例えば、学習用データに含まれる作業情報(正解ラベル)と、推論結果として出力された作業情報(出力データ)とに基づく誤差関数の評価値や、学習用データ記憶部52内に記憶された未学習の学習用データの残数に基づいて判定する。
【0070】
ステップS150において、機械学習部501が、学習終了条件が満たされておらず、機械学習を継続すると判定した場合(ステップS150でNo)、ステップS120に戻り、学習中の学習モデル11に対してステップS120~S140の工程を未学習の学習用データ12を用いて複数回実施する。一方、ステップS150において、機械学習部501が、学習終了条件が満たされて、機械学習を終了すると判定した場合(ステップS150でYes)、ステップS160に進む。
【0071】
そして、ステップS160において、機械学習部501は、各シナプスに対応付けられた重みを調整することで生成された学習済みの学習モデル11(調整済みの重みパラメータ群)を学習済みモデル記憶部53に記憶し、図10に示す一連の機械学習方法を終了する。機械学習方法において、ステップS100が学習用データ記憶工程、ステップS110~S150が機械学習工程、ステップS160が学習済みモデル記憶工程に相当する。
【0072】
以上のように、本実施形態に係る機械学習装置5及び機械学習方法によれば、開花時期における支援対象の果樹Tの状態を含む果樹状態情報から、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報を生成(推論)することが可能な学習モデル11(第1乃至第3の学習モデル110~112)を提供することができる。
【0073】
(果樹栽培支援装置6)
図11は、第1の実施形態に係る果樹栽培支援装置6の一例を示すブロック図である。図12は、第1の実施形態に係る果樹栽培支援装置6の一例を示す機能説明図である。果樹栽培支援装置6は、制御部60、通信部61、及び、学習済みモデル記憶部62を備える。
【0074】
制御部60は、取得部600、生成処理部601及び出力処理部602として機能する。通信部61は、ネットワーク7を介して外部装置(例えば、装置2~6等)と接続され、各種のデータを送受信する通信インターフェースとして機能する。
【0075】
取得部600は、通信部61及びネットワーク7を介して外部装置と接続され、支援対象の果樹Tの開花時期における当該果樹Tの状態を含む果樹状態情報を取得する。例えば、取得部600が、支援対象の果樹Tの状態を表す情報として、画像情報を取得する場合には、作業者端末装置2(カメラ20)又は果樹状態取得装置3(カメラ30、ドローン31)により支援対象の果樹Tが撮影された画像情報を作業者端末装置2又は果樹状態取得装置3から受信したり、果樹データベース40に登録されている支援対象の果樹Tの画像情報を参照したりする。取得部600が、支援対象の果樹Tの状態を表す情報として、割合情報を取得する場合には、作業者により作業者端末装置2に対して入力された支援対象の果樹Tの割合情報を作業者端末装置2から受信したり、果樹データベース40に登録されている支援対象の果樹Tの割合情報を参照したりする。取得部600が、支援対象の果樹Tの状態を表す情報として、含有量情報を取得する場合には、果樹状態取得装置3と
しての成分分析計32により計測された支援対象の果樹Tの含有量情報を果樹状態取得装置3から受信したり、成分分析計32の計測結果が作業者により作業者端末装置2に対して入力された支援対象の果樹Tの含有量情報を作業者端末装置2から受信したり、果樹データベース40に登録されている支援対象の果樹Tの含有量情報を参照したりする。
【0076】
生成処理部601は、取得部600により取得された支援対象の果樹Tに対する果樹状態情報を、学習モデル11に入力することで、当該果樹Tに対する作業情報を生成する。具体的には、生成処理部601は、果樹状態情報の種別に応じて、第1乃至第3の学習モデル110~112のいずれかに入力する。
【0077】
学習済みモデル記憶部62は、生成処理部601にて用いられる学習済みの学習モデル11(具体的には、第1乃至第3の学習モデル110~112)を記憶するデータベースである。なお、学習済みモデル記憶部62に記憶される学習モデル11は、果樹状態情報の種別に応じて生成されたものに限られず、例えば、機械学習の手法、果樹状態情報に含まれるデータの種類、作業情報に含まれる作業内容の種類等のように、条件が異なる複数の学習済みモデルが記憶され、選択的に利用可能としてもよい。また、学習済みモデル記憶部62は、外部コンピュータ(例えば、サーバ型コンピュータやクラウド型コンピュータ)の記憶部で代用されてもよく、その場合には、生成処理部601は、当該外部コンピュータにアクセスすることで、上記の作業情報を生成してもよい。
【0078】
出力処理部602は、生成処理部601により生成された作業情報を出力するための出力処理を行う。例えば、出力処理部602は、その作業情報を作業者端末装置2に送信することで、その作業情報に基づく表示画面が作業者端末装置2に表示されてもよいし、その作業情報をデータベース装置4に送信することで、その作業情報が果樹データベース40に登録されてもよい。
【0079】
(果樹栽培支援方法)
図13は、果樹栽培支援装置6による果樹栽培支援方法の一例を示すフローチャートである。以下では、作業者が、作業者端末装置2のカメラ20で支援対象の果樹Tを撮影したときの果樹栽培支援装置6の動作を例にして説明する。
【0080】
まず、ステップS200において、作業者が、作業者端末装置2のカメラ20で支援対象の果樹Tを撮影するとともに、その支援対象の果樹Tを特定する果樹ID(例えば、図5に示す「T0103」)を入力する操作を行うと、作業者端末装置2は、その支援対象の果樹Tを撮影した画像情報を生成し、画像情報及び果樹IDを果樹栽培支援装置6に送信する。なお、その画像情報及び果樹IDは、データベース装置4にも送信されて、果樹データベース40に登録される。すなわち、果樹ID「T0103」に関連付けて、図5の破線で囲まれた画像情報D3(「T0103―P21」)が登録される。
【0081】
次に、ステップS210において、果樹栽培支援装置6の取得部600は、図12に示すように、ステップS200にて送信された画像情報(「T0103―P21」)及び果樹ID(「T0103」)を受信することで、支援対象の果樹Tに対する果樹状態情報を取得する。
【0082】
次に、ステップS220において、生成処理部601は、ステップS210にて取得された支援対象の果樹Tに対する果樹状態情報を学習モデル11に入力することで、当該果樹Tに対する作業情報を生成する。具体的には、生成処理部601は、図12に示すように、支援対象の果樹Tに対する画像情報(「T0103―P21」)を第1の学習モデル110に入力することで、当該果樹Tに対する作業情報を生成する。
【0083】
次に、ステップS230において、出力処理部602は、ステップS220にて生成された作業情報を出力するための出力処理として、その作業情報を作業者端末装置2に送信する。また、出力処理部602は、その作業情報を、ステップS210にて取得された果樹IDとともにデータベース装置4に送信することで、その作業情報は、果樹データベース40に登録される。ここでの作業情報は、開花時期において果樹状態情報が取得されたタイミングで生成されるため、今後の作業予定として、例えば、作業記録テーブル402の予定作業時期、予定作業内容等に登録される。すなわち、果樹ID「T0103」に関連付けて、図5に破線で囲まれた作業情報D4が登録される。
【0084】
次に、ステップS240において、作業者端末装置2は、ステップS230にて送信された作業情報を受信すると、その作業情報に基づいて、その支援対象の果樹Tに対する今後の作業予定を示す表示画面を表示し、図13に示す一連の果樹栽培支援方法が終了する。果樹栽培支援方法において、ステップS210が取得工程、ステップS220が生成処理工程、ステップS230が出力処理工程に相当する。
【0085】
なお、上記では、図13に示す一連の処理が、開花時期において実行されるものとして説明したが、ステップS210以降の処理は、実際に作業を行う直前に実行されるようにしてもよい。例えば、あら摘果作業の作業時期において、作業者が、あら摘果作業を行うタイミングで、果樹栽培支援装置6が、作業者端末装置2からの要求を受け付けて、ステップS210以降の処理を実行して、あら摘果作業における摘果量を含む作業情報を生成するようにしてもよい。
【0086】
また、ステップS220において、生成処理部601は、果樹状態情報が割合情報である場合には、その果樹状態情報を第2の学習モデル111に入力すればよいし、果樹状態情報が含有量情報である場合には、その果樹状態情報を第3の学習モデル112に入力すればよい。
【0087】
さらに、果樹状態取得装置3としてのドローン31が、果樹園の上空を巡回しながら支援対象の果樹Tを順次撮影した画像情報を果樹栽培支援装置6に送信する場合には、果樹栽培支援装置6は、その画像情報を受信する毎に、ステップS210以降の処理を繰り返し実行するようにすればよい。その場合には、画像情報に撮影位置が付加されることで、その撮影位置から果樹IDを特定すればよい。
【0088】
以上のように、本実施形態に係る果樹栽培支援装置6及び果樹栽培支援方法によれば、開花時期における支援対象の果樹Tの状態を含む果樹状態情報が学習モデル11に入力されることで、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報が生成される。これは、開花時期における果樹Tの状態を毎年安定させるように、果樹Tに対する作業内容を決めることが隔年結果の抑制に有効であるという新たな知見に基づくものである。そして、この新たな知見を学習モデル11として導入し、開花時期における果樹Tの状態という基準に基づいて、次年の開花時期までの作業内容が決められるので、毎年の収穫量の平準化を簡便に図ることができる。
【0089】
(第2の実施形態)
第2の実施形態は、果樹状態情報が、開花時期における果樹Tの状態だけでなく、剪定時期における果樹Tが撮影された画像情報をさらに含むものであり、作業情報は、作業内容として、剪定作業における剪定箇所を含むものである。以下では、第2の実施形態に係る機械学習装置5a及び果樹栽培支援装置6aについて、第1の実施形態と異なる部分を中心に説明する。
【0090】
図14は、第2の実施形態に係る機械学習装置5aの一例を示すブロック図である。図
15は、第4の学習モデル113及び第4の学習用データ123の一例を示す図である。図16は、第5の学習モデル114及び第5の学習用データ124の一例を示す図である。図17は、第6の学習モデル115及び第6の学習用データ125の一例を示す図である。第4乃至第6の学習用データ123~125の各々は、第4乃至第6の学習モデル113~115の機械学習にそれぞれ用いられる。
【0091】
第4乃至第6の学習用データ123~125を構成する果樹状態情報は、学習対象の果樹Tの開花時期における当該果樹Tの状態として、画像情報(図15)、割合情報(図16)及び含有量情報(図17)のいずれかと、剪定時期における当該果樹Tが撮像された画像情報とを含む。剪定時期の画像情報は、作業者端末装置2(カメラ20)又は果樹状態取得装置3(カメラ30、ドローン31)により剪定時期の果樹Tが撮影されたものである。なお、剪定時期の画像情報は、開花時期の画像情報と同様にして撮影されたものでもよいし、異なる撮影条件(例えば、枝の分岐や枝の方向を含むような撮影位置)にて撮影されたものでもよい。
【0092】
第4乃至第6の学習用データ123~125を構成する作業情報は、学習対象の果樹Tに対する作業内容として、剪定作業における剪定箇所を少なくとも含む。剪定箇所は、剪定する枝の位置を指定するものでもよいし、剪定する範囲を指定するものでもよい。
【0093】
学習用データ取得部500は、果樹データベース40を参照したり、作業者端末装置2による管理者の入力操作を受け付けたりすることで、第4乃至第6の学習用データ123~125を取得する。例えば、学習用データ取得部500は、学習用データ検索条件に該当する果樹Tと対象の年を特定し(管理者により指定されたものでもよい)、その対象の年の開花時期におけるその果樹Tの状態(画像情報、割合情報及び含有量情報のいずれか)及びその果樹Tの剪定時期における画像情報と、その果樹Tに対する剪定作業における剪定箇所を少なくとも含む作業情報(管理者により作業内容の一部又は全部が指定されたものでもよい)とを果樹データベース40から取得することで、第4乃至第6の学習用データ123~125を取得する。
【0094】
機械学習部501は、学習モデル11a(第4乃至第6の学習モデル113~115)に学習用データ12a(第4乃至第6の学習用データ123~125)を複数組入力し、学習用データ12aに含まれる果樹状態情報と作業情報との相関関係を学習モデル11aに学習させることで、学習済みの学習モデル11aを生成する。
【0095】
図18は、第2の実施形態に係る果樹栽培支援装置6aとして機能する果樹栽培支援装置6aの一例を示すブロック図である。図19は、第2の実施形態に係る果樹栽培支援装置6aの一例を示す機能説明図である。
【0096】
取得部600は、支援対象の果樹Tの開花時期における当該果樹Tの状態と、剪定時期における当該果樹Tが撮像された画像情報とを含む果樹状態情報を取得する。例えば、取得部600は、開花時期における支援対象の果樹Tの状態を表す情報(画像情報、割合情報及び含有量情報のいずれか)を果樹データベース40から取得するとともに、剪定時期において作業者端末装置2(カメラ20)又は果樹状態取得装置3(カメラ30、ドローン31)により支援対象の果樹Tが撮影された画像情報を作業者端末装置2又は果樹状態取得装置3から取得する。なお、剪定時期の画像情報が、果樹データベース40に登録済みの場合には、取得部600は、果樹データベース40から剪定時期の画像情報を取得してもよい。
【0097】
生成処理部601は、取得部600により取得された支援対象の果樹Tに対する果樹状態情報を、学習モデル11a(具体的には、第4乃至第6の学習モデル113~115の
いずれか)に入力することで、当該果樹Tに対する作業情報を生成する。作業情報は、作業内容として、剪定作業における剪定箇所を少なくとも含む。
【0098】
以上のように、本実施形態に係る果樹栽培支援装置6a及び果樹栽培支援方法によれば、開花時期における支援対象の果樹Tの状態及び剪定時期における画像情報を含む果樹状態情報が学習モデル11aに入力されることで、当該果樹Tに対する剪定作業における剪定箇所を少なくとも含む作業情報が生成される。したがって、作業者は、作業情報に含まれる剪定箇所を参考にしながら剪定作業を行うことができる。
【0099】
(第3の実施形態)
第3の実施形態は、学習モデルが、状態解析用の学習モデルと、作業支援用の学習モデルとで構成されるものである。以下では、第3の実施形態に係る機械学習装置5b及び果樹栽培支援装置6bについて、第1の実施形態と異なる部分を中心に説明する。
【0100】
図20は、第3の実施形態に係る機械学習装置5bの一例を示すブロック図である。図21は、状態解析用の第7の学習モデル116及び第7の学習用データ126の一例を示す図である。図22は、状態解析用の第8の学習モデル117及び第8の学習用データ127の一例を示す図である。
【0101】
第1の例に係る学習モデル11bは、状態解析用の第7の学習モデル116(図21)と、作業支援用の第2の学習モデル111(図8)とで構成される。状態解析用の第7の学習モデル116の機械学習に用いられる第7の学習用データ126は、図21に示すように、学習対象の果樹Tの開花時期における当該果樹Tが撮影された画像情報と、開花時期における当該果樹Tの花と芽の割合を示す割合情報とで構成される。作業支援用の第2の学習モデル111及び第2の学習用データ121は、第1の実施形態(図8参照)と同様に構成されるため、説明を省略する。
【0102】
第2の例に係る学習モデル11cは、状態解析用の第8の学習モデル117(図22)と、作業支援用の第3の学習モデル112(図9)とで構成される。状態解析用の第8の学習モデル117の機械学習に用いられる第8の学習用データ127は、図22に示すように、学習対象の果樹Tの開花時期における当該果樹Tが撮影された画像情報と、開花時期における当該果樹内の内生植物ホルモンの含有量を示す含有量情報とで構成される。作業支援用の第3の学習モデル112及び第3の学習用データ122は、第1の実施形態(図9参照)と同様に構成されるため、説明を省略する。
【0103】
学習用データ取得部500は、果樹データベース40を参照したり、作業者端末装置2による管理者の入力操作を受け付けたりすることで、第7及び第8の学習用データ126、127を取得する。
【0104】
機械学習部501は、状態解析用の第7の学習モデル116に第7の学習用データ126をそれぞれ複数組入力し、第7の学習用データ126に含まれる画像情報と割合情報との相関関係を状態解析用の第7の学習モデル116に学習させることで、学習済みの状態解析用の第7の学習モデル116を生成する。また、機械学習部501は、状態解析用の第8の学習モデル117に第8の学習用データ127をそれぞれ複数組入力し、第8の学習用データ127に含まれる画像情報と含有量情報との相関関係を状態解析用の第8の学習モデル117に学習させることで、学習済みの状態解析用の第8の学習モデル117を生成する。
【0105】
図23は、第3の実施形態に係る果樹栽培支援装置6bとして機能する果樹栽培支援装置6bの一例を示すブロック図である。図24は、第3の実施形態に係る果樹栽培支援装
置6bの一例を示す機能説明図である。
【0106】
取得部600は、支援対象の果樹Tの開花時期における当該果樹Tの状態を表す情報として、開花時期における画像情報を取得する。例えば、取得部600は、作業者端末装置2(カメラ20)又は果樹状態取得装置3(カメラ30、ドローン31)により支援対象の果樹Tが撮影された画像情報を作業者端末装置2又は果樹状態取得装置3から受信したり、果樹データベース40に登録されている支援対象の果樹Tの画像情報を参照したりすることで、開花時期における画像情報を取得する。
【0107】
生成処理部601は、第1の例に係る学習モデル11bを用いる場合には、状態解析用の第7の学習モデル116に対して、取得部600により取得された支援対象の果樹Tに対する画像情報を入力することで、当該果樹Tに対する割合情報を生成し、作業支援用の第2の学習モデル111に対して、その生成した割合情報を入力することで、当該果樹Tに対する作業情報を生成する。
【0108】
生成処理部601は、第2の例に係る学習モデル11cを用いる場合には、状態解析用の第8の学習モデル117に対して、取得部600により取得された支援対象の果樹Tに対する画像情報を入力することで、当該果樹Tに対する含有量情報を生成し、作業支援用の第3の学習モデル112に対して、その生成した含有量情報を入力することで、当該果樹Tに対する作業情報を生成する。
【0109】
以上のように、本実施形態に係る果樹栽培支援装置6b及び果樹栽培支援方法によれば、開花時期における支援対象の果樹Tの状態を含む果樹状態情報が学習モデル11b、11cに入力されることで、当該果樹Tに対して次年の開花時期までに行う作業内容を含む作業情報が生成される。これは、開花時期における果樹Tの状態を毎年安定させるように、果樹Tに対する作業内容を決めることが隔年結果の抑制に有効であるという新たな知見に基づくものである。そして、この新たな知見を学習モデル11b、11cとして導入し、開花時期における果樹Tの状態という基準に基づいて、次年の開花時期までの作業内容が決められるので、毎年の収穫量の平準化を簡便に図ることができる。
【0110】
(他の実施形態)
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。
【0111】
上記実施形態では、データベース装置4、機械学習装置5及び果樹栽培支援装置6は、別々の装置で構成されたものとして説明したが、それら3つの装置が、単一の装置で構成されていてもよいし、それら3つの装置のうち任意の2つの装置が、単一の装置で構成されていてもよい。また、機械学習装置5及び果樹栽培支援装置6の少なくとも一方は、作業者端末装置2に組み込まれていてもよい。
【0112】
上記実施形態では、機械学習装置5、5a、5bの機械学習部501が、第1乃至第8の学習モデル110~117を生成するものとして説明したが、機械学習部501は、第1乃至第8の学習モデル110~117のいずれかを生成するものであればよく、その場合には、第1乃至第8の学習用データ120~127のうち機械学習に必要な学習用データが、学習用データ取得部500により取得されて、学習用データ記憶部52に記憶されていればよい。また、上記実施形態では、果樹栽培支援装置6、6a、6bの生成処理部601が、第1乃至第8の学習モデル110~117を用いて作業情報を生成するものとして説明したが、生成処理部601は、第1乃至第8の学習モデル110~117のいずれかを用いるものであればよく、その場合には、作業情報を生成するのに必要な果樹状態
情報が、取得部600により取得されていればよい。
【0113】
上記実施形態では、機械学習部501による機械学習を実現する学習モデルとして、ニューラルネットワークを採用した場合について説明したが、他の機械学習のモデルを採用してもよい。他の機械学習のモデルとしては、例えば、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、再帰型ニューラルネットワーク、畳み込みニューラルネットワーク、LSTM等のニューラルネット型(ディープラーニングを含
む)、階層型クラスタリング、非階層型クラスタリング、k近傍法、k平均法等のクラス
タリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等が挙げられる。
【0114】
上記実施形態では、果樹栽培支援システム1は、単一の果樹園に使用された場合を中心に説明したが、機械学習装置5、5a、5b及び果樹栽培支援装置6、6a、6bは、複数の果樹園にて使用されてもよいし、機械学習装置5、5a、5b及び果樹栽培支援装置6、6a、6bは、異なる果樹園にて使用されてもよい。
【0115】
(推論装置、推論方法又は推論プログラム)
本発明は、上記実施形態に係る果樹栽培支援装置6(果樹栽培支援方法又は果樹栽培支援プログラム)の態様によるもののみならず、支援対象の果樹の栽培を支援するために用いられる推論装置(推論方法又は推論プログラム)の態様で提供することもできる。その場合、推論装置(推論方法又は推論プログラム)としては、メモリと、プロセッサとを含み、このうちのプロセッサが、一連の処理を実行するものとすることができる。当該一連の処理とは、支援対象の果樹の開花時期における当該果樹の状態を示す果樹状態情報を取得する取得処理(取得工程)と、取得処理にて支援対象の果樹に対する果樹状態情報を取得すると、当該果樹に対して次年の前記開花時期までに行う作業内容を示す作業情報を推論する推論処理(推論工程)とを含む。また、当該一連の処理とは、支援対象の果樹の開花時期における当該果樹が撮影された画像情報を取得する取得処理(取得工程)と、取得処理にて支援対象の果樹に対する画像情報を取得すると、開花時期における当該果樹の花と芽の割合を示す割合情報、又は、当該果樹内の内生植物ホルモンの含有量を示す含有量情報を推論する推論処理(推論工程)とを含むものでもよい。
【0116】
推論装置(推論方法又は推論プログラム)の態様で提供することで、果樹栽培支援装置6を実装する場合に比して簡単に種々の装置への適用が可能となる。推論装置(推論方法又は推論プログラム)が作業情報を推論する際、上記実施形態に係る機械学習装置5及び機械学習方法により生成された学習済みの学習モデルを用いて、生成処理部が実施する推論手法を適用してもよいことは、当業者にとって当然に理解され得るものである。
【符号の説明】
【0117】
1…果樹栽培支援システム、2…作業者端末装置、3…果樹状態取得装置、
4…データベース装置、5、5a、5b…機械学習装置、
6、6a、6b…果樹栽培支援装置、7…ネットワーク、
11、11a~11c…学習モデル、12、12a~12c…学習用データ、
20…カメラ、30…カメラ、31…ドローン、32…成分分析計、
40…果樹データベース、
50…制御部、51…通信部、52…学習用データ記憶部、
53…学習済みモデル記憶部、
60…制御部、61…通信部、62…学習済みモデル記憶部
400…基本情報テーブル、401…状態記録テーブル、
402…作業記録テーブル、403…収穫記録テーブル、
500…学習用データ取得部、501…機械学習部、
600…取得部、601…生成処理部、602…出力処理部、
900…コンピュータ
【要約】
【課題】毎年の収穫量の平準化を簡便に図ることを可能とする果樹栽培支援装置を提供する。
【解決手段】果樹栽培支援装置は、支援対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報を取得する取得部600と、学習対象の果樹の開花時期における当該果樹の状態を含む果樹状態情報と、当該果樹に対して次年の開花時期までに行う作業内容を含む作業情報との相関関係を学習させた学習モデル110~112に対して、取得部600により取得された支援対象の果樹に対する果樹状態情報を入力することで、当該果樹に対する作業情報を生成する生成処理部601と、を備える。
【選択図】 図12
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24