IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ HarvestX株式会社の特許一覧

特許7090953農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム
<>
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図1
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図2
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図3
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図4
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図5
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図6
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図7
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図8
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図9
  • 特許-農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-06-17
(45)【発行日】2022-06-27
(54)【発明の名称】農業支援システム、農業支援装置、農業支援方法及び農業支援プログラム
(51)【国際特許分類】
   A01G 7/00 20060101AFI20220620BHJP
   G06Q 50/02 20120101ALI20220620BHJP
   A01H 1/02 20060101ALI20220620BHJP
【FI】
A01G7/00 603
G06Q50/02
A01H1/02
【請求項の数】 15
(21)【出願番号】P 2021164227
(22)【出願日】2021-10-05
【審査請求日】2021-10-05
【早期審査対象出願】
(73)【特許権者】
【識別番号】520308732
【氏名又は名称】HarvestX株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】市川 友貴
(72)【発明者】
【氏名】渡邉 碧為
【審査官】竹中 靖典
(56)【参考文献】
【文献】特許第6749720(JP,B2)
【文献】国際公開第2019/176879(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G06Q 50/02
A01H 1/02
(57)【特許請求の範囲】
【請求項1】
植物と接触して所定の操作を行う操作機構と、
制御部と、を備える農業支援システムであって、
前記制御部は、
所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部と、
前記3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部と、
判定対象の植物の画像を取得する画像取得部と、
前記第1学習済みモデルを取得するモデル取得部と、
前記第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の前記所定の箇所の前記所定のパラメータを推定するパラメータ推定部と、
前記推定した所定のパラメータに基づいて前記操作機構に、当該判定対象の植物の前記所定の箇所に所定の方向から所定の操作を行わせる操作指示部と、を含む、システム。
【請求項2】
前記所定のパラメータは、前記3次元モデルを生成するための3次元空間における前記植物の前記所定の箇所の向き、前記植物の前記所定の箇所の位置関係からなる群から選択される少なくとも1つである、請求項1に記載の農業支援システム。
【請求項3】
前記所定の生成条件は、前記3次元モデルの大きさ、前記3次元モデルにおける花弁の数、前記3次元モデルの色彩、前記3次元モデルの形状、前記3次元モデルが生成される空間の背景、前記3次元モデルが生成される空間における照明の位置、前記3次元モデルの向きからなる群から選択される少なくとも1つである、請求項1または2に記載の農業支援システム。
【請求項4】
前記判定対象の植物の前記所定の箇所は、花のめしべの位置、花のおしべの位置、果実の位置、葉の位置からなる群から選択される少なくとも1つである、請求項1から3のいずれかに記載の農業支援システム。
【請求項5】
前記所定の操作は、花の受粉操作、果実の収穫操作、葉掻き操作、果実の間引き操作からなる群から選択される少なくとも1つである、請求項1から4のいずれかに記載の農業支援システム。
【請求項6】
前記植物の画像を撮影する撮影機構を含む、請求項1から5のいずれかに記載の農業支援システム。
【請求項7】
前記モデル取得部は、
圃場における風通しまたは日当たりの少なくともいずれかと、収穫時期における果実の収量とを学習させた第2学習済みモデルを取得する、請求項1から6のいずれかに記載の農業支援システム。
【請求項8】
前記制御部は、
前記第2学習済みモデルにより出力された収量予測に基づいて、最適な葉、花、果実からなる群のいずれかの位置関係を推定する位置関係推定部を含み、
前記操作指示部は、
前記位置関係推定部により推定した最適な葉、花、果実からなる群のいずれかの位置関係に基づいて、前記操作機構に前記所定の操作を行わせる、請求項7に記載の農業支援システム。
【請求項9】
前記制御部は、
受粉の瞬間を前記撮影機構に撮影させる受粉撮影部と、
前記撮影した受粉の瞬間の画像に基づいて、収量予測をする収量予測部と、
前記予測した収量予測を、ユーザに提示する出力部と、を含む、請求項6に記載の農業支援システム。
【請求項10】
果実の重量を測定する重量センサと、
果実の糖度を測定する糖度センサと、をさらに含み、
前記モデル取得部は、
果実の画像と、前記果実の重量と、前記果実の糖度と、前記果実の品質とを関連付けた第3学習済みモデルを取得し、
前記出力部は、前記果実の画像と、重量と、糖度と、前記第3学習済みモデルとに基づいて、前記果実の品質を特定し、出力させる、
請求項9に記載の農業支援システム。
【請求項11】
前記モデル取得部は、
前記植物の画像と、前記植物の病害画像とを関連付けた第4学習済みモデルを取得し、
前記出力部は、前記第4学習済みモデルに基づいて、前記植物の画像を入力として受け付けると、前記植物が病害に罹患しているか否かを出力し、
前記操作指示部は、前記植物が病害に罹患していると出力された場合、前記操作機構に前記病害に罹患している箇所を除去する操作を行わせる、請求項9または10に記載の農業支援システム。
【請求項12】
前記制御部は、
肥料調整部を含み、
前記モデル取得部は、前記植物の画像と、前記植物の栄養状況とを関連付けた第5学習済みモデルを取得し、
前記出力部は、前記第5学習済みモデルに基づいて、前記植物の画像を入力として受け付けると、前記植物の栄養状況の過不足を判定し出力し、
前記肥料調整部は、前記植物の栄養状況に基づいて、圃場に散布する肥料の調整を行う、請求項9から11のいずれかに記載の農業支援システム。
【請求項13】
植物と接触して所定の操作を行う操作機構と、
制御部と、を備えた農業支援装置であって、
前記制御部は、
所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部と、
前記3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部と、
判定対象の植物の画像を取得する画像取得部と、
前記第1学習済みモデルを取得するモデル取得部と、
前記第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の前記所定の箇所の前記所定のパラメータを推定するパラメータ推定部と、
前記推定した所定のパラメータに基づいて前記操作機構に、当該判定対象の植物の前記所定の箇所に所定の方向から所定の操作を行わせる操作指示部と、を含む、農業支援装置。
【請求項14】
植物と接触して所定の操作を行う操作機構と、
制御部と、を用いた農業支援方法であって、
前記方法は、前記制御部が、
所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成ステップと、
前記3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習ステップと、
判定対象の植物の画像を取得する画像取得ステップと、
前記第1学習済みモデルを取得するモデル取得ステップと、
前記第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の前記所定の箇所の前記所定のパラメータを推定するパラメータ推定ステップと、
前記推定した所定のパラメータに基づいて前記操作機構に、当該判定対象の植物の前記所定の箇所に所定の方向から所定の操作を行わせる操作指示ステップと、を実行する、方法。
【請求項15】
植物と接触して所定の操作を行う操作機構と、
制御部と、を用いた農業支援をコンピュータに実行させるためのプログラムであって、前記プログラムは、前記制御部に、
所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成ステップと、
前記3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習ステップと、
判定対象の植物の画像を取得する画像取得ステップと、
前記第1学習済みモデルを取得するモデル取得ステップと、
前記第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の前記所定の箇所の前記所定のパラメータを推定するパラメータ推定ステップと、
前記推定した所定のパラメータに基づいて前記操作機構に、当該判定対象の植物の前記所定の箇所に所定の方向から所定の操作を行わせる操作指示ステップと、を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、農業支援システム、農業支援装置、農業支援方法及び農業支援プログラムに関する。
【背景技術】
【0002】
農業において、果実などの受粉を自動的に行う技術が知られている。
【0003】
特許文献1には、雌しべに花粉または着果剤を付着させる付着用アタッチメントを備えたドローンを制御するドローン制御装置についての技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2021-45055号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術では、ドローンから取得した花の画像データに基づいて開花状態を判定し、花粉、着果剤を付着させる技術が記載されている。
しかしながら、特許文献1の技術では、回転方向に花が向いている場合に、適切に花粉、着果剤を付着できないおそれがある。
そのため、受粉など、農業に係る各種作業をより一層適切に実施することができる技術が必要とされている。
【課題を解決するための手段】
【0006】
一実施形態によると、植物と接触して所定の操作を行う操作機構と、制御部と、を備える農業支援システムであって、制御部は、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部と、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部と、判定対象の植物の画像を取得する画像取得部と、第1学習済みモデルを取得するモデル取得部と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定部と、推定した所定のパラメータに基づいて操作機構に所定の操作を行わせる操作指示部と、を含む、システムが提供される。
【発明の効果】
【0007】
本開示によれば、受粉など、農業に係る各種作業をより一層適切に実施することができる。
【図面の簡単な説明】
【0008】
図1】システム1全体の構成を示すブロック図である。
図2】端末装置10の機能的な構成を示す図である。
図3】サーバ20の機能的な構成を示す図である。
図4】農業支援装置30の機能的な構成を示す図である。
図5】第1の実施形態に係る農業支援装置30の外観(斜視図)の例を示す図である。
図6】第1の実施形態に係る農業支援装置30の外観(側面図)の例を示す図である。
図7】農業支援装置30の本体部502の詳細な構成を示した図である。
図8】農業支援装置30が、取得した植物の画像と学習済みモデルとに基づいて、所定の操作を実行する一連の処理を表すフローチャートである。
図9】農業支援装置30が有する操作機構302が、植物の所定の箇所に対し所定のパラメータに基づいて所定の操作を実行する動作図を示す。
図10】農業支援装置30が有する操作機構302が、植物の病害の傾向を検出した際に、圃場を管理するユーザに通知を表示する際の画面例を示す。
【発明を実施するための形態】
【0009】
以下、図面を参照しつつ、本開示の実施形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【0010】
<第1の実施形態>
<概要>
以下の実施形態では、植物の画像を取得し、学習済みモデルに基づいて当該植物の3次元空間における所定のパラメータを推定し、当該パラメータに基づいて農業支援装置のアームの先端部に設けられている操作機構を操作する技術について説明する。
【0011】
実施の形態との比較例として、以下の構成について説明する。比較例として、植物の画像を取得し、花の雌しべの位置を特定し装置により自動受粉を行う技術を想定する。例えば、花の学習用画像と、開花状態とを関連付けた学習済みモデルにより、撮影された花の画像における開花状態を判定し、開花状態と判定された花の向きに合わせてアタッチメントを駆動させ受粉させる。しかし、比較例においては、花の向きはあくまで撮影された画像に基づいた平面(2次元)における向きであり、花が奥行き方向に向いている場合などは、開花判定、および受粉を適切に行うことができず、受粉作業に抜け漏れが生じ、収穫量が損なわれる恐れがある。
【0012】
そこで、本実施の形態で説明するシステム1では、植物と接触して所定の操作を行う操作機構と、制御部と、を備える農業支援システムであって、制御部は、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部と、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部と、判定対象の植物の画像を取得する画像取得部と、第1学習済みモデルを取得するモデル取得部と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定部と、推定した所定のパラメータに基づいて操作機構に所定の操作を行わせる操作指示部と、を含む、システムを提供する。
【0013】
以上のように、システム1は、受粉など、農業に係る各種作業をより一層適切に実施する技術を提供する。
【0014】
システム1は、例えば、植物工場、温室、またはビニールハウスにおいて自動的に受粉、収穫、葉掻き等を行う場面において使用され得る。これにより、受粉など、農業に係る各種作業をより一層適切に実施することができる。
【0015】
以下、図1図4を参照しながら、本開示の第1の実施形態に係るシステム1の構成について説明する。システム1は、主に植物工場、温室、またはビニールハウスのように植物を計画的に生産するシステムであり、下記に示す装置を含む。
・植物の花に対して自動的に授粉処理を行う装置
・植物の果実に対して自動的に収穫処理を行う装置
・植物の葉、茎に対して自動的に葉掻き、剪定、間引きを行う装置
・植物に対して自動的に肥料を散布する装置
上記装置は、具体的には、花粉が同じ花の柱頭につく自家授粉の花に対し、自動的に授粉処理を行う装置であり、花粉が他の花の柱頭につく他家授粉の花に対し、自動的に授粉処理を行う装置である。
【0016】
<1 システム全体の構成図>
図1は、第1の実施の形態におけるシステム1の全体の構成を表している。
【0017】
図1に示すように、システム1は、端末装置10(図1では端末装置10のみ図示しているが、複数の端末装置(10A、10B、10C等)で構成されていてもよい。)と、サーバ20と、農業支援装置30とを含む。端末装置10とサーバ20と農業支援装置30とは、ネットワーク80を介して通信接続する。ネットワーク80は、有線または無線ネットワークにより構成される。
【0018】
端末装置10は、各ユーザが操作する装置である。端末装置10は、据え置き型のPC(Personal Computer)、ラップトップPC等により実現される。この他、端末装置10は、例えば移動体通信システムに対応したタブレット、スマートフォン等の携帯端末であるとしてもよい。図1に示すように、端末装置10は、通信IF(Interface)12と、入力装置13と、出力装置14と、メモリ15と、記憶部16と、プロセッサ19とを備える。サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。農業支援装置30は、通信IF32と、入出力IF33と、メモリ35と、記憶部36と、プロセッサ39とを備える。
【0019】
端末装置10は、ネットワーク80を介してサーバ20、農業支援装置30と通信可能に接続される。端末装置10は、各種通信規格(5G、LTE(Long Term Evolution)など)に対応した無線基地局81、IEEE(Institute of Electrical and Electronics Engineers)802.11などの無線LAN(Local Area Network)規格に対応した無線LANルータ82等の通信機器と通信することによりネットワーク80に接続される。
【0020】
通信IF12は、端末装置10が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置13は、ユーザからの入力操作を受け付けるための入力装置(例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等)である。出力装置14は、ユーザに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)である。メモリ15は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。記憶部16は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ19は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0021】
サーバ20は、農業支援装置が取得する学習済みモデルに関する情報等を管理する。学習済みモデルの詳細については後述する。
ある局面において、サーバ20は、圃場を経営するユーザ等の各種情報を管理してもよい。具体的には、例えば、サーバ20は、圃場を経営するユーザに関する情報として、下記の情報を管理してもよい。
・ユーザが圃場において栽培している野菜・果実の種類
・ユーザが管理している圃場の面積
・ユーザが所持している器具・機械の種類
・ユーザが管理している圃場の傾斜角度
・ユーザが管理している圃場の土壌の性質
・ユーザが圃場において使用する肥料の種類
・ユーザが管理している圃場が存在する地域
・ユーザが管理している圃場が存在する地域における気候の情報(平均気温、降雨量、日照量等)
【0022】
通信IF22は、サーバ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力IF23は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ25は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。ストレージ26は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0023】
本実施形態において、各装置(端末装置、サーバ等)を情報処理装置として把握することもできる。すなわち、各装置の集合体を1つの「情報処理装置」として把握することができ、システム1を複数の装置の集合体として形成してもよい。1つ又は複数のハードウェアに対して本実施形態に係るシステム1を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力及び/又はシステム1に求められる仕様等に鑑みて適宜決定することができる。
【0024】
農業支援装置30は、ユーザからの指示、または予め設定された条件に基づいて、圃場において所定の作業を行う装置である。所定の作業は、具体的には、例えば、農業支援装置30は、ユーザが管理する圃場における下記の作業を含む。
・受粉(雌しべに花粉を付着させる)作業
・収穫作業
・葉掻き(重なった葉、余分な葉を除去する)作業
・肥料の散布作業
・病気の果実、葉等の間引き作業
【0025】
通信IF32は、農業支援装置30が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力IF33は、ユーザからの入力操作を受け付けるための入力装置、および、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ35は、プログラム、および、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。記憶部36は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ39は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。
【0026】
<1.1 端末装置10の構成>
図2は、実施の形態1のシステム1を構成する端末装置10の機能的な構成を示すブロック図である。図2に示すように、端末装置10は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部121、第2無線通信部122)と、操作受付部130(キーボード1301及びマウス1302を含む)と、音声処理部140と、マイク141と、スピーカ142と、ディスプレイ150と、位置情報センサ160と、記憶部170と、制御部180とを含む。端末装置10は、図2では特に図示していない機能及び構成(例えば、電力を保持するためのバッテリ、バッテリから各回路への電力の供給を制御する電力供給回路等)も有している。図2に示すように、端末装置10に含まれる各ブロックは、バス等により電気的に接続される。
【0027】
アンテナ111は、端末装置10が発する信号を電波として放射する。また、アンテナ111は、空間から電波を受信して受信信号を第1無線通信部121へ与える。
【0028】
アンテナ112は、端末装置10が発する信号を電波として放射する。また、アンテナ112は、空間から電波を受信して受信信号を第2無線通信部122へ与える。
【0029】
第1無線通信部121は、端末装置10が他の無線機器と通信するため、アンテナ111を介して信号を送受信するための変復調処理などを行う。第2無線通信部122は、端末装置10が他の無線機器と通信するため、アンテナ112を介して信号を送受信するための変復調処理などを行う。第1無線通信部121と第2無線通信部122とは、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路などを含む通信モジュールである。第1無線通信部121と第2無線通信部122とは、端末装置10が送受信する無線信号の変復調、および周波数変換を行い、受信信号を制御部180へ与える。
【0030】
操作受付部130は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部130は、キーボード1301と、マウス1302とを含む。なお、操作受付部130は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成してもよい。
【0031】
キーボード1301は、端末装置10のユーザの入力操作を受け付ける。キーボード1301は、文字入力を行う装置であり、入力された文字情報を入力信号として制御部180へ出力する。
【0032】
マウス1302は、端末装置10のユーザの入力操作を受け付ける。マウス1302は、ディスプレイ150に表示されている表示物を選択等するためのポインティングデバイスであり、画面上で選択された位置情報と、ボタン押下されていることを示す情報とを入力信号として制御部180へ出力する。
【0033】
音声処理部140は、音声信号の変復調を行う。音声処理部140は、マイク141から与えられる信号を変調して、変調後の信号を制御部180へ与える。また、音声処理部140は、音声信号をスピーカ142へ与える。音声処理部140は、例えば音声処理用のプロセッサによって実現される。マイク141は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部140へ与える。スピーカ142は、音声処理部140から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。
【0034】
ディスプレイ150は、制御部180の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ150は、例えばLCD(Liquid Crystal Display)、または有機EL(Electro-Luminescence)ディスプレイによって実現される。
【0035】
位置情報センサ160は、端末装置10の位置を検出するセンサであり、例えばGPS(Global Positioning System)モジュールである。GPSモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも3個または4個の衛星からの信号を受信し、受信した信号に基づいて、GPSモジュールが搭載される端末装置10の現在位置を検出する。例えば、システム1において、ユーザの位置情報を参照可能にしている場合、ユーザの位置情報に基づいて、ユーザが管理する圃場の位置に関する情報等を特定し、当該圃場における気候条件等を特定してもよい。他にも、システム1は、端末装置10等が圃場を管理するユーザに関する情報を保持している場合、位置情報に基づいて、当該地域において圃場を管理しているユーザの情報を特定してもよい。また、位置情報センサ160は、情報機器間の近距離通信システムで用いられる通信規格に基づく送受信装置であるとしてもよい。具体的には、位置情報センサ160は、Bluetooth(登録商標)モジュールなど2.4GHz帯を使用して、Bluetooth(登録商標)モジュールを搭載した他の情報機器からのビーコン信号を受信する。
【0036】
記憶部170は、例えばフラッシュメモリ等により構成され、端末装置10が使用するデータおよびプログラムを記憶する。ある局面において、記憶部170は、圃場を管理するユーザに関する情報として、例えば、下記の情報を記憶していてもよい。
・ユーザが圃場において栽培している野菜・果実の種類
・ユーザが管理している圃場の面積
・ユーザが所持している器具・機械の種類
・ユーザが管理している圃場の傾斜角度
・ユーザが管理している圃場の土壌の性質
・ユーザが圃場において使用する肥料の種類
・ユーザが管理している圃場が存在する地域
・ユーザが管理している圃場が存在する地域における気候の情報(平均気温、降雨量、日照量等)
【0037】
制御部180は、記憶部170に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置10の動作を制御する。制御部180は、例えばアプリケーションプロセッサである。制御部180は、プログラムに従って動作することにより、入力操作受付部1801と、送受信部1802と、データ処理部1803と、報知制御部1804としての機能を発揮する。
【0038】
入力操作受付部1801は、キーボード1301等の入力装置に対するユーザの入力操作を受け付ける処理を行う。なお、入力操作受付部1801は、ユーザからの入力操作をタッチ・センシティブ・デバイス(図示せず)等の入力装置等により受け付ける場合には、タッチ・センシティブ・デバイスに対してユーザが指などを接触させた座標の情報に基づき、下記に含む操作の種別を判定する。
・ユーザの操作がフリック操作であるか
・ユーザの操作がタップ操作であるか、
・ユーザの操作がドラッグ(スワイプ)操作であるか
【0039】
送受信部1802は、端末装置10が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
【0040】
データ処理部1803は、端末装置10が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
【0041】
報知制御部1804は、ユーザに対し情報を提示する処理を行う。報知制御部1804は、表示画像をディスプレイ150に表示させる処理、音声をスピーカ142に出力させる処理等を行う。
【0042】
<1.2 サーバ20の機能的な構成>
図3は、サーバ20の機能的な構成を示す図である。図3に示すように、サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
【0043】
通信部201は、サーバ20が外部の装置と通信するための処理を行う。
【0044】
記憶部202は、サーバ20が使用するデータ及びプログラムを記憶する。記憶部202は、学習済みモデルデータベース2021等を記憶する。ある局面において、記憶部202は、圃場を管理するユーザに関する各種情報を記憶していてもよい。
【0045】
学習済みモデルデータベース2021は、植物の3次元モデルにおける所定の箇所の所定のパラメータと、植物の画像とを関連付けた学習済みモデルの情報を管理するためのデータベースである。ここで、関連付けられるものは、植物の画像に限らない。植物の動画等と関連付けられていてもよい。
【0046】
受信制御部2031は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0047】
送信制御部2032は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0048】
モデル生成部2033は、所定の生成条件に基づいて、植物の3次元モデルを生成する処理を制御する。具体的には、例えば、モデル生成部2033は、下記に含む要素の組み合わせを3次元モデルの生成条件とし、植物の3次元モデルを生成する。
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実それぞれの大きさ
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実それぞれの数
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実それぞれの色彩
・背景の情報
・照明の情報
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実それぞれの向き
・植物の葉、茎、花(雌しべ、雄しべ等を含む)、果実それぞれの位置
ここで、3次元モデルの作成方法は、既存のあらゆる3次元描画ソフトウェアを使用してよい。
サーバ20は、上記要素の組み合わせにより生成された3次元モデルの情報を、記憶部202に蓄積してもよい。
【0049】
学習部2034は、生成された3次元モデルと、植物の所定のパラメータとを関連付けた学習済みモデルを学習し、サーバ20の記憶部202の学習済みモデルデータベース2021に格納する処理を制御する。
【0050】
ここで、本開示における学習済みモデルの作成方法について例示する。
例えば、学習部2034は、モデル生成部2033により生成された3次元モデルの情報を取得する。
【0051】
次に、学習部2034は、圃場を管理するユーザから、3次元モデルと関連付ける植物の画像(または動画)を受け付け、当該植物の各箇所における各種パラメータ(雌しべの位置、向き、位置関係)と3次元モデルの各箇所における各種パラメータとを関連付ける。例えば、学習部2034は、雌しべの位置が所定の向きを向いている植物の画像を受け付ける。次に、学習部2034は、3次元モデルにおいて、受け付けた植物の画像とめしべの位置が同じ向きを向いているモデルを、圃場を管理するユーザから受け付け、当該モデルにおける各種パラメータを関連付ける。
【0052】
サーバ20は、植物の画像を入力として受け付けると、学習済みモデルに基づいて、植物の所定の箇所(例えば、花、雌しべ、葉等)におけるパラメータ(例えば、向き、位置関係等)を特定し、当該パラメータを、農業支援装置を操作するためのパラメータとして出力する。すなわち、雌しべが所定の方向(例えば、奥行き斜め後ろ方向)に向いているため、当該雌しべに正面方向から受粉を行うための情報を出力する。このとき、出力する情報は法線ベクトルであってよく、農業支援装置は、当該出力された法線ベクトルの情報に基づいて、後述する操作機構を操作してもよい。
これにより、圃場を管理するユーザは、様々な条件下において、正確・精緻に圃場における作業を自動で行うことができる。
【0053】
ある局面において、サーバ20は、上記に例示した学習済みモデル(第1学習済みモデル)だけでなく、複数の学習済みモデルの情報を記憶部に記憶していてもよい。具体的には、例えば、サーバ20は、下記の学習済みモデルを記憶していてもよい。
・圃場における風通しまたは日当たりの少なくともいずれかと、収穫時期における果実の収量とを学習させた学習済みモデル(第2学習済みモデル)
・果実の画像と、果実の重量と、果実の糖度と、果実の品質とを関連付けた学習済みモデル(第3学習済みモデル)
・植物の画像と、植物の病害画像とを関連付けた学習済みモデル(第4学習済みモデル)
・植物の画像と、植物の栄養状況とを関連付けた学習済みモデル(第5学習済みモデル)
ここで、それぞれの学習済みモデルの生成方法について例示する。
ある局面において、サーバ20は、植物毎に各種学習済みモデルを記憶しておいてもよい。例えば、いちご、トマト、メロン、キュウリ等、圃場で栽培する植物それぞれに対し、上述した学習済みモデルを記憶させていてもよい。このとき、サーバ20は、取得した画像から当該植物がどの植物であるかを特定したうえで、取得する学習済みモデルを決定してもよい。
これにより、圃場を管理するユーザは、複数種類の植物を栽培していても、即時的に取得する学習済みモデルを変更し、適切に各種操作を行うことができる。
【0054】
第2学習済みモデルの生成方法について例示する。サーバ20は、圃場を管理するユーザから、圃場における風通し(植物における葉等の密集度合いと近似してもよい)、または圃場における日当たり(植物における葉等の密集度合に基づいた、植物の各所における日照度合)の情報を受け付ける。次に、サーバ20は、圃場を管理するユーザから、収穫時期における、植物の果実等の収量の情報を受け付け、当該風通し、日当たりの情報と関連付ける。サーバ20は、植物の画像を入力として受け付けると、第2学習済みモデルに基づいて、収量予測を出力する。
ある局面において、農業支援装置は、当該出力された収量予測に基づいて、最適な収量となる葉等の位置関係を推定し、当該推定した結果に基づいて、葉掻き等を実行してもよい。
これにより、圃場を管理するユーザは、葉の風通し等の情報に基づいて、最適な収量を得られるよう、自動で調節することができる。
【0055】
第3学習済みモデルの生成方法について例示する。サーバ20は、圃場を管理するユーザから、果実の画像と、果実の重量と、果実の糖度と、果実の品質とを受け付け、これらを関連付けてもよい。サーバ20は、果実の画像と、重量と、糖度とを入力として受け付けると、当該果実の品質を出力する。
これにより、圃場を管理するユーザは、定量的に果実の品質を評価することができる。
【0056】
第4学習済みモデルの生成方法について例示する。サーバ20は、圃場を管理するユーザから、植物が病害にかかった際の画像に基づいて作成された植物の3次元モデルの情報を受け付ける。このとき、圃場を管理するユーザは、下記に例示する条件をランダムに設定した植物の病害モデルを作成してもよい。
・病害の発生位置
・病害の発生量(葉、花における面積等)
・一株の植物における病害の発生位置
次に、サーバ20は、植物の画像において、病害の傾向がみられる画像を受け付け、これらの3次元モデルと関連付ける。すなわち、葉の一部等に所定の病害(炭疽病、フィロキセラ、ウドンコ病など、限定されない)が見られた場合、当該病害の傾向が見られた箇所の情報を出力する。
ある局面において、農業支援装置は、当該出力された病害の傾向が見られた箇所の情報に基づいて、当該箇所の摘出・間引き等を実行してもよい。
これにより、圃場を管理するユーザは、圃場の面積が広大である場合でも、迅速に病害の傾向を検出でき、病害による損害を早期に防止することができる。
【0057】
第5学習済みモデルの生成方法について例示する。サーバ20は、圃場を管理するユーザから、様々な栄養状況(栄養不足、栄養過剰等)による植物の画像に基づいて作成された植物の3次元モデルの情報を受け付ける。次に、サーバ20は、植物の画像において、上記に示した栄養状況の傾向がみられる画像を受け付け、これらの3次元モデルと関連付ける。すなわち、圃場において一部の植物に栄養不足が見られた場合、当該傾向が見られた箇所の情報を出力する。
ある局面において、農業支援装置は、当該出力された栄養不足の傾向が見られた箇所の情報に基づいて、散布する肥料の量・割合等を調整してもよい。
これにより、圃場を管理するユーザは、肥料の散布状況の偏りなどを把握することができ、均質な果実等を収穫することができる。
【0058】
学習部2034は、生成された学習済みモデルをサーバ20の記憶部202の学習済みモデルデータベース2021に格納する処理を制御する。具体的には、例えば、学習部2034は、圃場を管理するユーザから操作指示を受け付けることに応答して、農業支援装置30に当該学習済みモデルを送信してもよいし、農業支援装置30から植物の画像を受け付けることに応答して、当該植物に対応する学習済みモデルを送信してもよい。
【0059】
<1.3 農業支援装置30の機能的な構成>
図3は、農業支援装置30の機能的な構成を示す図である。図3に示すように、農業支援装置30は、通信部301と、操作機構302と、記憶部303と、制御部304と、撮影機構350とを有している。
【0060】
通信部201は、農業支援装置30が外部の装置と通信する。
【0061】
操作機構302は、農業支援装置30が植物に対し所定の操作を行う。所定の操作は、例えば、下記を含む。
・受粉(雌しべに花粉を付着させる)作業
・収穫作業
・葉掻き(重なった葉、余分な葉を除去する)作業
・肥料の散布作業
・病気の果実、葉等の間引き作業
【0062】
記憶部303は、農業支援装置30が使用するデータ及びプログラムを記憶する。ある局面において、記憶部303は、各種学習済みモデル、および、圃場を管理するユーザに関する各種情報等を記憶していてもよい。
【0063】
制御部304は、記憶部303に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、農業支援装置30の動作を制御する。制御部304は、例えばアプリケーションプロセッサである。制御部304は、プログラムに従って動作することにより、画像取得部3031、モデル取得部3032、パラメータ推定部3033、操作指示部3034に示す機能を発揮する。
【0064】
画像取得部3031は、後述する撮影機構350により撮影された画像または動画を取得する動作を制御する。このとき、画像取得部3031が取得する画像、または動画の形式は限定されない。例えば、画像取得部3031は、下記を含む形式の画像、または動画を取得する。
・JPEG(Joint Photographic Experts Group)形式
・PNG(Portable Network Graphics)形式
・GIF(Graphics Interchange Format)形式
・TIFF(Tagged Image File Format)形式
・ビットマップ形式
・MP4(Moving Picture Experts Group)形式
・MOV(QuickTime file format)形式
・AVI(Audio Video still Images)形式
・VOB(Video Object file)形式
【0065】
モデル取得部3032は、サーバ20から、各種学習済みモデルを取得する処理を制御する。具体的には、例えば、モデル取得部3032は、画像取得部3031が植物の画像を取得することに応答して、各種学習済みモデルを取得する。このとき、モデル取得部3032は、記憶部303に取得した学習済みモデルを保持しておき、同じ植物に対する各種操作を行う際の学習済みモデルの取得処理を省略してもよい。また、モデル取得部3032は、取得した学習済みモデルを不揮発性メモリに一時的に保持しておき、操作の都度、対応する学習済みモデルを取得することとしてもよい。
これにより、ユーザは、農業支援装置に十分な記憶部の容量を担保し辛い状況下でも、学習済みモデルに基づいた各種操作を行うことができる。
【0066】
パラメータ推定部3033は、画像取得部3031が取得した植物の画像と、モデル取得部が取得した学習済みモデルとに基づいて、植物の所定の箇所における所定のパラメータを推定する処理を制御する。所定の箇所は、具体的には、例えば、下記を含む。
・植物の花・花弁
・植物の雌しべ
・植物の雄しべ
・植物の葉
・植物の果実
・植物の茎
また、所定のパラメータは、例えば、下記を含む。
・上述した植物の所定の箇所の向き
・上述した植物の所定の箇所の位置関係
このとき、パラメータ推定部3033は、向きのパラメータとして、上向き、下向き、等のパラメータではなく、3次元空間における法線ベクトルとして算出してもよい。3次元空間における法線ベクトルは、例えば、360°天球モデルにおける、各種向きをベクトルとして表示したものであってよい。
これにより、圃場を管理するユーザは、植物の花、葉等があらゆる方向を向いていても、正確にその方向を推定し、適切に受粉、収穫、葉掻き等の操作を行うことができる。
【0067】
操作指示部3034は、農業支援装置30の操作機構302に所定の操作を実行させる処理を制御する。所定の操作は、例えば、下記を含む。
・受粉(雌しべに花粉を付着させる)作業
・収穫作業
・葉掻き(重なった葉、余分な葉を除去する)作業
・肥料の散布作業
・病気の果実、葉等の間引き作業
【0068】
撮影機構350は、圃場における植物の画像を取得する。このとき、撮影機構350は、植物の動画を取得してもよい。
撮影機構350は限定されず、既存のあらゆるカメラであってもよい。撮影機構350は、銀塩式フィルムを使用するカメラであってもよいし、デジタルカメラでもよい。
【0069】
ある局面において、農業支援装置30は、用途により上記以外の機能を有していてもよい。例えば、農業支援装置は、下記を含む機能(いずれも図示せず)を有していてもよい。
・水を散布するための水散布部
・肥料を散布するための肥料散布部
・薬剤を散布するための薬剤散布部
他の機能としては上記に限定されず、農業を行う上で必要なあらゆる機能であってもよい。
【0070】
<1.3 農業支援装置30の構成>
【0071】
図5および図6は第1の実施形態に係る農業支援装置30の外観の例を示す図である。図5は農業支援装置30の斜視図であり、図6は農業支援装置30の側面図である。
【0072】
図5および図6に示すように、農業支援装置30は、トレイ設置ラック501と、収穫トレイ5011と、本体部502と、情報処理部503と、走行部504とを有している。このとき、本体部502は、上下に移動可能なレール上に設置されていてよい。
【0073】
トレイ設置ラック501および収穫トレイ5011は、農業支援装置30により収穫された果実等を収納するための機構である。具体的には、例えば、農業支援装置30は、収穫された果実を収納するための収穫トレイ5011を、トレイ設置ラック501に設置する。農業支援装置30は、収穫された果実(例えば、イチゴ)を、収穫トレイ5011に収納する。トレイ設置ラック501は多段式に構成されており、本体部502は、収穫トレイ5011の収納容量が規定値に達した場合、本体部502を上下に移動させ、容量が空いている収穫トレイ5011に果実を収納させる。
これにより、圃場を管理するユーザは、効率的に果実の収穫を行うことができる。
【0074】
ある局面において、トレイ設置ラック501に収穫トレイ5011を設置する操作は、圃場を管理するユーザにより行われても良いし、自動で行われてもよい。具体的には、農業支援装置30は、本体部502に前後左右に移動可能なトレイ設置用アーム(図示せず)を備えており、当該トレイ設置用アームが収穫トレイ5011を掴み移動させることで、トレイ設置ラック501の所定の位置に収穫トレイ5011を設置することとしてもよい。
これにより、圃場を管理するユーザは、農業支援装置30のトレイ設置ラックの段数が増加しても、手動でラックを設置する手間を低減することができる。
【0075】
また、ある局面において、トレイ設置ラック501および収穫トレイ5011は、果実の収穫の用途ではなく、植物の苗木を収納してもよい。その場合、本体部502は、収穫トレイ5011から順次苗木を取り出し、圃場に植える操作を実行してもよい。
【0076】
本体部502は、圃場において各種作業(受粉、収穫、葉掻き等)を行うための機構である。詳細は後述する。
【0077】
情報処理部503は、農業支援装置30が外部の端末と通信を行う、または予め情報処理部503に保持されたプログラムに基づいて本体部502等に操作指示を行うための機構である。情報処理部503は、プロセッサを備えるコンピュータであってもよいし、マイコン(マイクロコンピュータ)であってもよい。
【0078】
走行部504は、農業支援装置30を圃場内で移動させるための機構である。具体的に葉、例えば、走行部504は、農業支援装置30の下面に設置され、地面を走行するための車輪であるとしてもよく、レール上を移動可能な車輪であってもよい。他にも、走行部504は、下記に示す機構で農業支援装置30を移動させてもよい。
・マグネットセンサを備え、圃場の路面に敷設されたマグネットを検知することにより農業支援装置30を走行させる機構
・ラインセンサを備え、圃場に描画されたラインを検知することにより農業支援装置30を走行させる機構
この他、走行部504は、自動車等の自動走行に用いられるあらゆる機構を有していてもよい。
【0079】
図7は、農業支援装置30の本体部502の詳細な構成を示した図である。
【0080】
図7に示すように、農業支援装置30は、本体部502と、本体部502に配置されるアーム701と、アーム先端部に設けられる操作機構302と、駆動機構751と、アタッチメント752とを有している。
【0081】
操作機構302は、アーム701先端部に搭載されていてもよい。撮影機構350(図示せず)は、操作機構302(つまり、アーム701の先端)の他、アーム701の他の位置に搭載されることとしてもよい。
ある局面において、アーム701は、受粉の瞬間を撮影する受粉撮影部(図示せず)と、撮影した受粉の瞬間の画像に基づいて、収量予測をする収量予測部(図示せず)と、を備えていてもよい。加えて、農業支援装置30は、予測した収量予測を、ユーザに提示してもよい。これにより、圃場を管理するユーザは、受粉の瞬間の情報と収量予測とに基づいて、適切に受粉がなされたかを判定することができる。
また、ある局面において、農業支援装置30は、収量予測の結果、過去の収量予測よりも収量が少ない場合には、再度受粉操作を実行することとしてもよい。
これにより、圃場を管理するユーザは、受粉の不足なく、安定して果実等を収穫することができる。
【0082】
操作機構302は、図7に示すように、移動可能なアーム701の先端部に設けられ、植物の花、果実、葉等と接触して所定の操作を行うものである。操作機構302は、その操作の種類に応じて、先端部に異なる機構を有していてもよい。例えば、植物の受粉の操作を行う場合には、植物の花と接触させるための先端部に、繊維状の部材を有していてもよい。また、果実の収穫、葉掻き等の作業を行う場合には、先端に果実を剪定し収穫するためのアーム等を有していてもよい。操作機構302は、当該先端に有している種々の機構により、植物に対し所定の操作を行う。以下に、受粉操作を行う際の動作を提示する。
【0083】
例えば、操作機構302は、駆動機構751と、アタッチメント752とを有する。操作機構302は、制御部304の制御に従って、受粉の操作を行うべき植物の所定の箇所(例えば、花のめしべ)に対し、駆動機構751を駆動させ、アタッチメント752を接触させる。制御部304は、撮影機構350から取得した画像と、学習済みモデルとに基づいて、画像における雌しべの位置および当該雌しべの法線ベクトルを出力する。操作機構302は、制御部304が出力した法線ベクトルの情報に従って、駆動機構751を3次元方向に駆動させ、アタッチメント752が雌しべに対し垂直に(つまり、雌しべに対し真正面から)接触するように制御し、花粉をまんべんなく均一に雌しべに付着させる。また、操作機構302を、花の蕊に接触させながら上下方向及び左右方向に動かすこともできる。
【0084】
<2 動作>
以下、システム1を構成する農業支援装置30が、取得した植物の画像と、学習済みモデルとに基づいて、所定の操作を実行する一連の処理について説明する。
【0085】
図8は、農業支援装置30が、取得した植物の画像と学習済みモデルとに基づいて、所定の操作を実行する一連の処理を表すフローチャートである。
【0086】
ステップS811において、端末装置10の制御部180は、圃場を管理するユーザからの操作入力を受け付ける。具体的には、例えば、制御部180は、圃場を管理するユーザから、圃場における所定の操作(受粉作業、果実の収穫作業等)のための操作入力を受け付ける。このとき、制御部180は、ユーザから入力された操作内容を農業支援装置30に送信してもよいし、予め圃場を管理するユーザに設定された操作の情報を農業支援装置30に送信してもよい。
【0087】
ステップS801において、農業支援装置30の制御部304は、判定対象の植物の画像を取得する。具体的には、例えば、農業支援装置30は、装置の下面に設置されたレールにより対象となる植物の前に移動し、撮影機構350により植物の画像を撮影する。制御部304は、取得した画像をサーバ20に送信してもよい。撮影方法は、例えば、具体的には、撮影機構350が、自動で花等を判別し当該箇所にピントを合わせて撮影するとともに、例えば赤外線センサ又は深度センサのようなセンサにより、撮影した花等までの距離及び角度を検知して、さらに操作機構302から花等までの距離及び角度を算出してもよい。
【0088】
ステップS851において、サーバ20の制御部203は、第1学習済みモデルを農業支援装置30に送信する。具体的には、例えば、制御部203は、上述された方法により学習された第1学習済みモデルを、農業支援装置30からの指示に従い、農業支援装置30に送信する。このとき、送信する学習済みモデルは、第1学習済みモデルに限られない。制御部203は、農業支援装置30が取得した植物の画像に基づいて、送信する学習済みモデルを決定してもよい。また、圃場を管理するユーザから、送信する学習済みモデルの情報を受け付けてもよい。
【0089】
ステップS802において、農業支援装置30の制御部304は、第1学習済みモデルをサーバから取得する。具体的には、制御部304を構成するモデル取得部3032は、画像取得部3031が植物の画像を取得することに応答して、各種学習済みモデルを取得する。このとき、モデル取得部3032は、記憶部303に取得した学習済みモデルを保持しておき、同じ植物に対する各種操作を行う際の学習済みモデルの取得処理を省略してもよい。また、モデル取得部3032は、取得した学習済みモデルを不揮発性メモリに一時的に保持しておき、操作の都度、対応する学習済みモデルを取得することとしてもよい。
【0090】
ステップS803において、農業支援装置30の制御部304は、第1学習済みモデルと植物の画像とに基づいて、所定のパラメータを推定する。具体的には、制御部304を構成するパラメータ推定部3033は、画像取得部3031が取得した植物の画像と、モデル取得部が取得した学習済みモデルとに基づいて、植物の所定の箇所における所定のパラメータを推定する処理を制御する。所定の箇所は、具体的には、例えば、下記を含む。
・植物の花・花弁
・植物の雌しべ
・職粒の雄しべ
・植物の葉
・植物の果実
・植物の茎
また、所定のパラメータは、例えば、下記を含む。
・上述した植物の所定の箇所の向き
・上述した植物の所定の箇所の位置関係
このとき、パラメータ推定部3033は、向きのパラメータとして、上向き、下向き、等のパラメータではなく、3次元空間における法線ベクトルとして算出してもよい。3次元空間における法線ベクトルは、例えば、360°天球モデルにおける、各種向きをベクトルとして表示したものであってよい。
【0091】
ステップS804において、農業支援装置30の制御部304は、推定した所定のパラメータに基づいて所定の操作を行わせる。具体的には、制御部304を構成する操作指示部3034は、農業支援装置30の操作機構302に所定の操作を実行させる処理を制御する。所定の操作は、例えば、下記を含む。
・受粉(雌しべに花粉を付着させる)作業
・収穫作業
・葉掻き(重なった葉、余分な葉を除去する)作業
・果実の間引き作業
・肥料の散布作業
・病気の果実、葉等の間引き作業
【0092】
上記処理により、圃場を管理するユーザは、植物の各箇所(花、蕊、葉、茎、果実等)があらゆる方向、位置関係であっても、適切に各種処理(受粉、収穫、葉掻き等)を行うことができる。そのため、より一層高品質な果実を安定して栽培することができる。
【0093】
ある局面において、サーバ20は、自家受粉の植物を他家受粉により受粉したときの果実の品質に関する結果を保持していてもよい。サーバ20は、当該結果に基づいて、自家受粉の植物であっても、他家受粉をした方が果実の品質の向上が見込まれる場合には、その旨を、圃場を管理するユーザに提示してもよい。
これにより、圃場を管理するユーザは、品質改良を含め、適切に受粉などの操作を管理することができる。
【0094】
<3 動作例>
図9図10は、本発明において開示されるシステム1が、圃場を管理するユーザから受け付けた、圃場における所定の操作のための入力に基づいて、農業支援装置の操作機構等を操作する一連の処理の動作例などを示す図である。
【0095】
図9は、農業支援装置30が有する操作機構302が、植物の所定の箇所に対し所定のパラメータに基づいて所定の操作を実行する動作図を示す。
【0096】
図9において、農業支援装置30は、植物の画像と学習済みモデルとに基づいて特定された植物の所定の箇所における所定のパラメータに基づいてアーム701を駆動させる。図9では、花の雌しべに受粉処理を実行する際の動作例を例示している。図9に示すように、農業支援装置30は、特定されたパラメータに基づいて、アーム701および操作機構302の駆動機構751を所定の方向に動かし、花の雌しべに対し、アーム701の先端部に設けられている操作機構302のアタッチメント752が垂直(真正面)になるように駆動させる。所定の方向は、例えば、学習済みモデルにより出力され、法線ベクトルとして、下記に示すベクトルの組み合わせにより決定する。
・ロール(x軸方向の回転)
・ピッチ(y軸方向の回転)
・ヨー(z軸方向の回転)
これにより、植物の画像(2次元)の情報からでも、学習済みモデルに基づいて、3次元空間における方向を出力できる。農業支援装置30は、アーム701の動きと駆動機構751の動きとを組み合わせることで、アタッチメント752を任意の向きに向け、植物と接触させることができる。そのため、圃場を管理するユーザは、例えば、花の雌しべ等が農業支援装置30から見て奥行き方向に向いていたとしても、適切に受粉等の操作を行うことができる。
【0097】
上記に説明した操作は、受粉に限られない。圃場において発生する操作(葉掻き、剪定、果実の間引き等)においても、同様の機構により行われてもよい。
【0098】
図10は、農業支援装置30が有する操作機構302が、植物の病害の傾向を検出した際に、圃場を管理するユーザに通知を表示する際の画面例を示す。
【0099】
図9において、圃場を管理するユーザが所有する端末装置10のディスプレイ150には、撮影画像1001と、病害アラート1002と、生育不良アラート1003とが表示されている。撮影画像1001は、農業支援装置30に備えられている撮影機構350により撮影された植物の画像である。
【0100】
病害アラート1002は、撮影された植物の画像において、病害の傾向が見られた植物に対して表示されるアラートを示す。具体的には、農業支援装置30の制御部304は、取得した植物の画像と、前述した第4学習済みモデルとに基づいて、当該植物に見られた傾向が病害のものであるか否かを推定する。推定した結果、当該植物が病害に罹患している場合に、病害アラート1002を、圃場を管理するユーザに提示する。ある局面において、農業支援装置30は、当該植物が病害に罹患している場合に、病害アラート1002を、圃場を管理するユーザに提示するとともに、操作機構302に病害に罹患している箇所を除去する操作を行わせてもよい。
これにより、圃場を管理するユーザは、病害の早期発見をすることができ、病害による損失を防ぐことができる。
【0101】
生育不良アラート1003は、撮影された植物の画像において、生育不良の傾向が見られた植物に対して表示されるアラートを示す。具体的には、農業支援装置30の制御部304は、取得した植物の画像と、前述した第5学習済みモデルとに基づいて、当該植物に見られた傾向が生育不良に基づくものであるか否かを推定する。推定した結果、当該植物が生育不良である場合に、生育不良アラート1003を、圃場を管理するユーザに提示する。ある局面において、農業支援装置30は、当該植物が生育不良である場合に、生育不良アラート1003を、圃場を管理するユーザに提示するとともに、肥料調整部に生育不良である植物が栽培されている圃場の領域の肥料を調整する操作を行わせてもよい。
これにより、圃場を管理するユーザは、肥料散布のムラ等に起因する生育不良の早期発見をすることができ、均質な果実を収穫することができる。
【0102】
ある局面において、農業支援装置は、葉の重なり状況を判定した結果においても同様の通知を、圃場を管理するユーザに通知してもよい。
【0103】
本開示における実施形態では、農業支援システムとして、サーバ20と農業支援装置30とで情報を通信する態様で例示したが、実施形態はこれに限られない。例えば、農業支援装置30の記憶部に保持された学習済みモデルに基づいて、サーバ20との通信なしに一連の処理を実行してもよい。また、農業支援装置30の制御部が、3次元モデルを生成し、学習済みモデルを学習する機能を有していてもよい。
【0104】
<4 変形例>
本実施形態の変形例について説明する。すなわち、以下のような態様を採用してもよい。
(1)情報処理装置であって、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
(2)方法であって、コンピュータを情報処理装置として機能させ、当該情報処理装置に、このプログラムが予めインストールされていてもよいし、事後的にインストールされてもよいし、このようなプログラムを外部の非一時的な記憶媒体に記憶させてもよいし、クラウドコンピューティングで動作させてもよい。
【0105】
<付記>
以上の各実施形態で説明した事項を以下に付記する。
【0106】
(付記1)
植物と接触して所定の操作を行う操作機構302と、制御部304と、を備える農業支援システム1であって、制御部304は、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部2033と、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部2034と、判定対象の植物の画像を取得する画像取得部3041と、第1学習済みモデルを取得するモデル取得部3042と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定部3043と、推定した所定のパラメータに基づいて操作機構302に所定の操作を行わせる操作指示部3044と、を含む、システム1。
【0107】
(付記2)
所定のパラメータは、3次元空間における植物の所定の箇所の向き、植物の所定の箇所の位置関係からなる群から選択される少なくとも1つである、付記1に記載の農業支援システム1。
【0108】
(付記3)
所定の生成条件は、3次元モデルの大きさ、3次元モデルにおける花弁の数、3次元モデルの色彩、3次元モデルの形状、3次元モデルが生成される空間の背景、3次元モデルが生成される空間における照明の位置、3次元モデルの向きからなる群から選択される少なくとも1つである、付記1または2に記載の農業支援システム1。
【0109】
(付記4)
判定対象の植物の所定の箇所は、花のめしべの位置、花のおしべの位置、果実の位置、葉の位置からなる群から選択される少なくとも1つである、付記1から3のいずれかに記載の農業支援システム1。
【0110】
(付記5)
所定の操作は、花の受粉操作、果実の収穫操作、葉掻き操作、果実の間引き操作からなる群から選択される少なくとも1つである、付記1から4のいずれかに記載の農業支援システム1。
【0111】
(付記6)
植物の画像を撮影する撮影機構350を含む、付記1から5のいずれかに記載の農業支援システム1。
【0112】
(付記7)
モデル取得部3032は、圃場における風通しまたは日当たりの少なくともいずれかと、収穫時期における果実の収量とを学習させた第2学習済みモデルを取得する、付記1から6のいずれかに記載の農業支援システム1。
【0113】
(付記8)
制御部304は、第2学習済みモデルにより出力された収量予測に基づいて、最適な葉、花、果実からなる群のいずれかの位置関係を推定する位置関係推定部を含み、操作指示部3044は、位置関係推定部により推定した最適な葉、花、果実からなる群のいずれかの位置関係に基づいて、操作機構302に所定の操作を行わせる、付記7に記載の農業支援システム1。
【0114】
(付記9)
制御部304は、受粉の瞬間を撮影機構350に撮影させる受粉撮影部と、撮影した受粉の瞬間の画像に基づいて、収量予測をする収量予測部と、予測した収量予測を、ユーザに提示する出力部と、を含む、付記6から8のいずれかに記載の農業支援システム1。
【0115】
(付記10)
果実の重量を測定する重量センサと、果実の糖度を測定する糖度センサと、をさらに含み、モデル取得部3032は、果実の画像と、果実の重量と、果実の糖度と、果実の品質とを関連付けた第3学習済みモデルを取得し、出力部は、果実の画像と、重量と、糖度と、前記第3学習済みモデルとに基づいて、果実の品質を特定し、出力させる、付記1から9のいずれかに記載の農業支援システム1。
【0116】
(付記11)
モデル取得部3032は、植物の画像と、植物の病害画像とを関連付けた第4学習済みモデルを取得し、出力部は、第4学習済みモデルに基づいて、植物の画像を入力として受け付けると、植物が病害に罹患しているか否かを出力し、操作指示部3044は、植物が病害に罹患していると出力された場合、操作機構302に病害に罹患している箇所を除去する操作を行わせる、付記1から10のいずれかに記載の農業支援システム1。
【0117】
(付記12)
制御部304は、肥料調整部を含み、モデル取得部3032は、植物の画像と、植物の栄養状況とを関連付けた第5学習済みモデルを取得し、出力部は、第5学習済みモデルに基づいて、植物の画像を入力として受け付けると、植物の栄養状況の過不足を判定し出力し、肥料調整部は、植物の栄養状況に基づいて、圃場に散布する肥料の調整を行う、付記1から11のいずれかに記載の農業支援システム1。
【0118】
(付記13)
植物と接触して所定の操作を行う操作機構302と、制御部304と、を備えた農業支援装置30であって、制御部304は、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部2033と、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部2034と、判定対象の植物の画像を取得する画像取得部3041と、第1学習済みモデルを取得するモデル取得部3042と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定部3043と、推定した所定のパラメータに基づいて操作機構302に所定の操作を行わせる操作指示部3044と、を含む、農業支援装置30。
【0119】
(付記14)
植物と接触して所定の操作を行う操作機構302と、制御部304と、を用いた農業支援方法であって、方法は、制御部304が、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成ステップと、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習ステップと、判定対象の植物の画像を取得する画像取得ステップ(S801)と、第1学習済みモデルを取得するモデル取得ステップ(S802)と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定ステップ(S803)と、推定した所定のパラメータに基づいて操作機構302に所定の操作を行わせる操作指示ステップ(S804)と、を実行する、方法。
【0120】
(付記15)
植物と接触して所定の操作を行う操作機構302と、制御部304と、を用いた農業支援をコンピュータ20に実行させるためのプログラムであって、プログラムは、制御部304に、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成ステップと、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習ステップと、判定対象の植物の画像を取得する画像取得ステップ(S801)と、第1学習済みモデルを取得するモデル取得ステップ(S802)と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定ステップ(S803)と、推定した所定のパラメータに基づいて操作機構302に所定の操作を行わせる操作指示ステップ(S804)と、を実行させる、プログラム。
【符号の説明】
【0121】
1 システム、10 端末装置、12 通信インタフェース、13 入力装置、14 出力装置、15 メモリ、16 記憶部、19 プロセッサ、20 サーバ、22 通信インタフェース、23 入出力インタフェース、25 メモリ、26 ストレージ、29 プロセッサ、30 農業支援装置、32 通信インタフェース、33 入出力インタフェース、35 メモリ、36 、記憶部、39 プロセッサ、80 ネットワーク、170 記憶部、180 制御部、1801 入力操作受付部、1802 送受信部、1803 データ処理部、1804 報知制御部、130 操作受付部、1301 キーボード、1302 マウス、140 音声処理部、141 マイク、142 スピーカ、150 ディスプレイ、160 位置情報センサ、202 記憶部、2021 学習済みモデルデータベース、203 制御部、2031 受信制御部、2032 送信制御部、2033 モデル生成部、3034 学習部、302 操作機構、303 記憶部、304 制御部、3041 画像取得部、3042 モデル取得部、3043 パラメータ推定部、3044 操作指示部、350 撮影機構

【要約】
【課題】 受粉など、農業に係る各種作業をより一層適切に実施することができる技術を提供する。
【解決手段】
植物と接触して所定の操作を行う操作機構と、制御部と、を備える農業支援システムであって、制御部は、所定の生成条件の組み合わせにより植物の3次元モデルを生成するモデル生成部と、3次元モデルにおける所定のパラメータと、植物の画像と、を学習データとして学習を行うことにより生成される第1学習済みモデルを学習する学習部と、判定対象の植物の画像を取得する画像取得部と、第1学習済みモデルを取得するモデル取得部と、第1学習済みモデルと判定対象の植物の画像とに基づいて、当該判定対象の植物の所定の箇所の所定のパラメータを推定するパラメータ推定部と、推定した所定のパラメータに基づいて操作機構に所定の操作を行わせる操作指示部と、を含む、システム。
【選択図】図7

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10