IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人名古屋大学の特許一覧

特許7473951情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
<>
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図1
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図2
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図3
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図4
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図5
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図6
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図7
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図8
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図9
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図10
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図11
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図12
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図13
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図14
  • 特許-情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-16
(45)【発行日】2024-04-24
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
(51)【国際特許分類】
   G06Q 50/02 20240101AFI20240417BHJP
   A01G 7/00 20060101ALI20240417BHJP
   G06T 7/00 20170101ALI20240417BHJP
【FI】
G06Q50/02
A01G7/00 603
G06T7/00 350C
【請求項の数】 7
(21)【出願番号】P 2020031113
(22)【出願日】2020-02-27
(65)【公開番号】P2021135726
(43)【公開日】2021-09-13
【審査請求日】2023-02-24
【国等の委託研究の成果に係る記載事項】(出願人による申告)令和元年度 戦略的プロジェクト研究推進事業委託事業「AIを活用した食品における効率的な生産流通に向けた研究開発」、産業技術力強化法第17条の適用を受ける特許出願
(73)【特許権者】
【識別番号】504139662
【氏名又は名称】国立大学法人東海国立大学機構
(74)【代理人】
【識別番号】110001911
【氏名又は名称】弁理士法人アルファ国際特許事務所
(72)【発明者】
【氏名】北 栄輔
(72)【発明者】
【氏名】内山 敦史
(72)【発明者】
【氏名】吉田 重信
(72)【発明者】
【氏名】窪川 清一
【審査官】樋口 龍弥
(56)【参考文献】
【文献】国際公開第2016/009752(WO,A1)
【文献】特開2013-005724(JP,A)
【文献】特開2014-191624(JP,A)
【文献】特開2017-169511(JP,A)
【文献】特開2019-037225(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00 - 99/00
A01G 7/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
情報処理装置であって、
栽培中の特定種類の植物である対象植物を撮影することにより生成された画像データである対象画像データを取得する対象データ取得部と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、収穫時の前記対象植物の生育状態に対する、画像データにより表される前記対象植物の生育状態の比である生育率を推定する生育率推定部と、
前記対象画像データについて推定された前記生育率に基づき、前記対象植物の収穫日時を予測する収穫日時予測部と、
を備え
前記対象データ取得部は、前記対象植物を複数の日時に撮影することにより生成された複数の前記対象画像データを取得し、
前記生育率推定部は、複数の前記対象画像データについて前記生育率を推定し、
前記収穫日時予測部は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記生育率と、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記生育率と、に基づき予測する、
情報処理装置。
【請求項2】
請求項1に記載の情報処理装置であって、さらに、
前記特定種類の植物を、定植から収穫までの期間内の複数の日時に撮影することにより生成された画像データである複数の訓練用画像データと、前記訓練用画像データにより表される前記植物の前記生育率を示す生育率データと、が関連付けられた訓練データを取得する訓練データ取得部と、
前記訓練データを用いた前記機械学習により、前記モデルを取得するモデル取得部と、
を備える、
情報処理装置。
【請求項3】
請求項に記載の情報処理装置であって、
前記生育率データは、前記特定種類の植物の定植から収穫までに要する時間に対する、定植から各前記訓練用画像データの撮影日時までの経過時間の比を前記生育率として示すデータである、
情報処理装置。
【請求項4】
請求項1から請求項までのいずれか一項に記載の情報処理装置と、
前記情報処理装置との間で通信ネットワークを介して通信可能な端末装置と、
を備える情報処理システムであって、
前記情報処理装置は、さらに、推定された前記対象植物の生育率を示す情報を、前記通信ネットワークを介して前記端末装置に向けて送信する情報送信部を備える、
情報処理システム。
【請求項5】
請求項に記載の情報処理システムであって、さらに、
前記対象植物が栽培されている圃場に設置され、前記情報処理装置との間で通信ネットワークを介して通信可能な撮影装置を備え、
前記対象データ取得部は、前記撮影装置が前記対象植物を撮影することにより生成された前記対象画像データを、前記通信ネットワークを介して取得する、
情報処理システム。
【請求項6】
情報処理方法であって、
栽培中の特定種類の植物である対象植物を撮影することにより生成された画像データである対象画像データを取得する工程と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、収穫時の前記対象植物の生育状態に対する、画像データにより表される前記対象植物の生育状態の比である生育率を推定する工程と、
前記対象画像データについて推定された前記生育率に基づき、前記対象植物の収穫日時を予測する工程と、
を備え
前記対象画像データを取得する工程は、前記対象植物を複数の日時に撮影することにより生成された複数の前記対象画像データを取得する工程であり、
前記生育率を推定する工程は、複数の前記対象画像データについて前記生育率を推定する工程であり、
前記収穫日時を予測する工程は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記生育率と、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記生育率と、に基づき予測する工程である、
情報処理方法。
【請求項7】
コンピュータプログラムであって、
コンピュータに、
栽培中の特定種類の植物である対象植物を撮影することにより生成された画像データである対象画像データを取得する処理と、
前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、収穫時の前記対象植物の生育状態に対する、画像データにより表される前記対象植物の生育状態の比である生育率を推定する処理と、
前記対象画像データについて推定された前記生育率に基づき、前記対象植物の収穫日時を予測する処理と、
を実行させ
前記対象画像データを取得する処理は、前記対象植物を複数の日時に撮影することにより生成された複数の前記対象画像データを取得する処理であり、
前記生育率を推定する処理は、複数の前記対象画像データについて前記生育率を推定する処理であり、
前記収穫日時を予測する処理は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記生育率と、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記生育率と、に基づき予測する処理である、
コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示される技術は、栽培中の植物の生育率を推定する情報処理装置に関する。
【背景技術】
【0002】
近年、植物(葉物野菜、果樹、花き類等)の栽培の効率化や最適化のための技術が種々提案されている。例えば、篤農家が行った果樹栽培において、果樹を撮影した画像から果実のサイズおよび葉面積の積算値を求め、果実のサイズおよび葉面積の積算値に基づき果実の生育状態を近似した生育曲線を決定し、該生育曲線を用いて栽培の果実の生育状態を評価し、該評価結果に基づき果実の収穫日を予測する技術が知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-187259号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の技術では、栽培中の植物の生育状態を評価するための処理が煩雑である、という課題がある。
【0005】
本明細書では、上述した課題を解決することが可能な技術を開示する。
【課題を解決するための手段】
【0006】
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
【0007】
(1)本明細書に開示される情報処理装置は、栽培中の特定種類の植物である対象植物を撮影することにより生成された画像データである対象画像データを取得する対象データ取得部と、前記対象画像データの色情報を含む画像データと、所定の機械学習により作成されたモデルとを用いて、収穫時の前記対象植物の生育状態に対する、画像データにより表される前記対象植物の生育状態の比である生育率を推定する生育率推定部と、を備える。このように、本情報処理装置は、栽培中の対象植物を撮影することにより生成された対象画像データを取得し、対象画像データの色情報を含む画像データと機械学習により作成されたモデルとを用いて、対象植物の生育率を推定することができる。そのため、本情報処理装置によれば、対象画像データを取得するだけで対象植物の生育率を推定することができ、植物栽培の効率化や最適化を実現することができる。また、本情報処理装置によれば、対象画像データを取得するだけで対象植物の生育率を推定することができるため、生育率の推定の精度の低下を抑制しつつ、対象植物の生育率を推定するための処理が煩雑になることを抑制することができる。
【0008】
(2)上記情報処理装置において、さらに、前記対象画像データについて推定された前記生育率に基づき、前記対象植物の収穫日時を予測する収穫日時予測部を備える構成としてもよい。本情報処理装置によれば、対象画像データを取得するだけで対象植物の収穫日時を予測することができ、植物栽培の効率化や最適化を効果的に実現することができる。
【0009】
(3)上記情報処理装置において、前記対象データ取得部は、前記対象植物を複数の日時に撮影することにより生成された複数の前記対象画像データを取得し、前記生育率推定部は、複数の前記対象画像データについて前記生育率を推定し、前記収穫日時予測部は、一の前記対象画像データについての前記対象植物の収穫日時を、前記一の対象画像データについて推定された前記生育率と、前記一の対象画像データの撮影日時より前に撮影された各前記対象画像データについて推定された前記生育率と、に基づき予測する構成としてもよい。本情報処理装置によれば、対象植物の収穫日時を精度良く予測することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0010】
(4)上記情報処理装置において、さらに、前記特定種類の植物を、定植から収穫までの期間内の複数の日時に撮影することにより生成された画像データである複数の訓練用画像データと、前記訓練用画像データにより表される前記植物の前記生育率を示す生育率データと、が関連付けられた訓練データを取得する訓練データ取得部と、前記訓練データを用いた前記機械学習により、前記モデルを取得するモデル取得部と、を備える構成としてもよい。本情報処理装置によれば、他の装置を用いずとも、植物の生育率を推定するためのモデルを取得することができ、該モデルを用いて対象植物の生育率を推定することができる。
【0011】
(5)上記情報処理装置において、前記生育率データは、前記特定種類の植物の定植から収穫までに要する時間に対する、定植から各前記訓練用画像データの撮影日時までの経過時間の比を前記生育率として示すデータである構成としてもよい。本情報処理装置によれば、容易に、かつ、画一的に、植物の生育率を特定することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0012】
(6)本明細書に開示される情報処理システムは、上記情報処理装置と、前記情報処理装置との間で通信ネットワークを介して通信可能な端末装置と、を備える情報処理システムであって、前記情報処理装置は、さらに、推定された前記対象植物の生育率を示す情報を、前記通信ネットワークを介して前記端末装置に向けて送信する情報送信部を備える。本情報処理システムによれば、情報処理装置の情報送信部が、推定された対象植物の生育率を示す情報を端末装置に向けて送信するため、端末装置を保持する農作業者は、圃場以外の地点に居ても対象植物の生育率を把握することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0013】
(7)上記情報処理システムにおいて、さらに、前記対象植物が栽培されている圃場に設置され、前記情報処理装置との間で通信ネットワークを介して通信可能な撮影装置を備え、前記対象データ取得部は、前記撮影装置が前記対象植物を撮影することにより生成された前記対象画像データを、前記通信ネットワークを介して取得する構成としてもよい。本情報処理システムによれば、撮影者(例えば、農作業者)が圃場に出向くことなく対象画像データを取得することができ、取得された対象画像データを用いて対象植物の生育率を推定することができるため、植物栽培の効率化や最適化を極めて効果的に実現することができる。
【0014】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理システム、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【0015】
図1】本実施形態における植物栽培管理システム10の概略構成を示す説明図
図2】植物栽培管理サーバ100の構成を概略的に示すブロック図
図3】本実施形態における生育率推定モデル作成処理の内容を示すフローチャート
図4】訓練データTDの一例を概念的に示す説明図
図5】生育率推定モデルMOの一例を概念的に示す説明図
図6】本実施形態における植物栽培支援処理の内容を示すフローチャート
図7】本実施形態における植物栽培支援処理中に端末装置200の表示部210に表示される画面の一例を示す説明図
図8】本実施形態における生育率Gに基づく収穫日時Teの予測方法の一例を示す説明図
図9】本実施形態における植物栽培支援処理中に端末装置200の表示部210に表示される画面の一例を示す説明図
図10】本実施例において利用した植物の栽培実績を示す説明図
図11】本実施例において使用した画像データを示す説明図
図12】本実施例におけるエポック毎の損失関数の推移を示す説明図
図13】本実施例における生育率Gの予測精度を示す説明図
図14】本実施例における生育率Gの予測精度を示す説明図
図15】本実施例における生育率Gの予測精度を示す説明図
【発明を実施するための形態】
【0016】
A.実施形態:
A-1.植物栽培管理システム10の構成:
図1は、本実施形態における植物栽培管理システム10の概略構成を示す説明図である。植物栽培管理システム10は、圃場における植物の栽培の管理を行うためのシステムであり、より具体的には、栽培中の植物の画像データを利用して当該植物の生育状態や予測される収穫日時を把握することを可能とし、植物栽培の効率化や最適化を図るシステムである。本実施形態において、圃場は、半開放型の植物工場PFである。ここで、半開放型の植物工場PFとは、例えばビニールハウスのように、太陽光を遮断しない材料によって囲われた圃場である。ただし、植物栽培管理システム10は、他の種類の圃場(例えば、閉鎖型や開放型といった他のタイプの植物工場、露地栽培用の圃場等)にも適用可能である。なお、図1には、1つの植物工場PFのみが示されているが、植物栽培管理システム10は、複数の植物工場PFのそれぞれにおける植物栽培の管理にも適用可能である。また、栽培対象の植物は、葉物野菜(例えば、ほうれん草)や果樹(例えば、トマト)、花き類等、任意の種類の植物であってよい。植物栽培管理システム10は、特許請求の範囲における情報処理システムに相当する。
【0017】
植物栽培管理システム10は、植物栽培管理サーバ100と、農作業者P1が使用する端末装置200と、植物工場PFに設置された撮影装置300とを備える。植物栽培管理システム10を構成する各装置は、通信ネットワークNETを介して互いに通信可能に接続されている。
【0018】
撮影装置300は、植物工場PF内に設置され、植物工場PF内で栽培されている植物を撮影することにより、該植物の画像データ(例えば、RGBの静止画像データ)を生成する装置である。本実施形態では、撮影装置300は、植物工場PF内における予め設定された範囲(栽培されている植物を含む範囲)を被写体として、定期的に(例えば、1時間毎に)撮影を行う。また、撮影装置300は、図示しない通信インターフェースを有しており、例えば撮影の都度、撮影により生成された画像データを通信ネットワークNETを介して植物栽培管理サーバ100に送信する。なお、1つの植物工場PFに、互いに異なる範囲を被写体として撮影する複数の撮影装置300が設置されていてもよい。また、植物栽培管理システム10の管理対象の植物工場PFが複数ある場合には、各植物工場PFに撮影装置300が設置される。
【0019】
端末装置200は、例えば、スマートフォンやタブレット型端末である。端末装置200は、例えば液晶ディスプレイ等により構成された表示部210を備える(図7,9参照)。また、端末装置200には、植物栽培管理のためのアプリケーションプログラムがインストールされている。詳しくは後述するが、端末装置200の使用者(農作業者P1等)は、該アプリケーションプログラムを用いることにより、植物工場PFにおいて栽培中の植物の生育状態や予測される収穫日時を把握することができる。
【0020】
植物栽培管理サーバ100は、植物工場PFにおける植物の栽培の管理を行うためのサーバ装置である。図2は、植物栽培管理サーバ100の構成を概略的に示すブロック図である。植物栽培管理サーバ100は、制御部110と、記憶部120と、表示部130と、操作入力部140と、インターフェース部150とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。なお、植物栽培管理サーバ100は、特許請求の範囲における情報処理装置に相当する。
【0021】
植物栽培管理サーバ100の表示部130は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。また、操作入力部140は、例えばキーボードやマウス、ボタン、マイク等により構成され、管理者の操作や指示を受け付ける。なお、表示部130がタッチパネルを備えることにより、操作入力部140として機能するとしてもよい。また、インターフェース部150は、例えばLANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置との通信を行う。
【0022】
植物栽培管理サーバ100の記憶部120は、例えばROMやRAM、ハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部120には、後述する生育率推定モデル作成処理や植物栽培支援処理を実行するためのコンピュータプログラムである植物栽培管理プログラムCPが格納されている。植物栽培管理プログラムCPは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(不図示)に格納された状態で提供され、植物栽培管理サーバ100にインストールすることにより記憶部120に格納される。
【0023】
また、植物栽培管理サーバ100の記憶部120には、後述する生育率推定モデル作成処理および植物栽培支援処理の実行中に、訓練データTDと、生育率推定モデルMOと、対象画像データI(o)と、推定生育率データGDと、予測収穫日時データPDとが格納される。これらの情報の内容については、後述する生育率推定モデル作成処理および植物栽培支援処理の説明に合わせて説明する。
【0024】
植物栽培管理サーバ100の制御部110は、例えばCPU等により構成され、記憶部120から読み出したコンピュータプログラムを実行することにより、植物栽培管理サーバ100の動作を制御する。例えば、制御部110は、記憶部120から植物栽培管理プログラムCPを読み出して実行することにより、後述の生育率推定モデル作成処理および植物栽培支援処理を実行する植物栽培管理部111として機能する。植物栽培管理部111は、訓練データ取得部112と、モデル取得部114と、対象データ取得部115と、生育率推定部116と、収穫日時予測部117と、情報送信部118とを含む。これら各部の機能については、後述の生育率推定モデル作成処理および植物栽培支援処理の説明に合わせて説明する。
【0025】
A-2.生育率推定モデル作成処理:
次に、本実施形態の植物栽培管理サーバ100により実行される生育率推定モデル作成処理について説明する。図3は、本実施形態における生育率推定モデル作成処理の内容を示すフローチャートである。生育率推定モデル作成処理は、所定の機械学習を用いて、特定種類の植物(例えば、ほうれん草)を撮影することにより生成された画像データから、該画像データにより表される植物の生育率Gを推定するための生育率推定モデルMOを作成する処理である。生育率推定モデル作成処理は、管理者が、植物栽培管理サーバ100の操作入力部140を操作して開始指示を入力したことに応じて開始される。
【0026】
ここで、植物の生育率Gとは、(予想される)収穫時の該植物の生育状態に対する、現時点での該植物の生育状態の比を意味する。本実施形態では、ある日時Ti(例えば、植物の撮影日時)における植物の生育率Gを、該植物の栽培に要する全体の時間(定植(栽培開始)から収穫(栽培終了)までに要する時間)に対する、該植物の定植から該日時Tiまでの経過時間の比で表すものとする。すなわち、生育率Gは、下記の式(1)で表される。
G=(Ti-Ts)/(Te-Ts) ・・・(1)
ただし、
Ts:植物の定植日時
Te:植物の収穫日時
Ti:生育率Gを特定する対象の日時
【0027】
生育率推定モデル作成処理では、はじめに、植物栽培管理サーバ100の訓練データ取得部112(図2)が、訓練データTDを取得する(S110)。訓練データTDは、植物工場PFにおいて栽培される特定種類の植物(例えば、ほうれん草)を、定植から収穫までの期間内の複数の日時に撮影することにより生成された複数の訓練用画像データI(t)と、各訓練用画像データI(t)により表される植物の生育率G(すなわち、撮影日時における生育率G)を示す生育率データと、が対応付けられたデータである。取得された訓練データTDは、植物栽培管理サーバ100の記憶部120に格納される。
【0028】
図4は、訓練データTDの一例を概念的に示す説明図である。上述したように、植物工場PFに設置された撮影装置300は、定期的に(例えば、1時間毎に)撮影を行っており、撮影の都度、撮影により生成された画像データを通信ネットワークNETを介して植物栽培管理サーバ100に送信している。なお、本実施形態では、撮影装置300は、植物の定植前や収穫後にも、撮影および画像データの送信を行う。植物栽培管理サーバ100の訓練データ取得部112は、撮影装置300から送信された画像データを、インターフェース部150を介して取得し、記憶部120に格納する。なお、訓練データ取得部112は、撮影装置300から送信された画像データに対して、トリミング等の所定の処理を実行した後に、記憶部120に格納するとしてもよい。
【0029】
訓練データ取得部112は、記憶部120に格納された複数の画像データの中から、特定種類の植物の定植日時Tsから収穫日時Teまでの期間内の複数の日時に撮影することにより生成された一連の複数の画像データ(すなわち、1作分の画像データ)を選択する。なお、以下では、日時Tiに撮影・生成された画像データを、画像データIiと表す。定植日時Tsに撮影された画像データは画像データIsであり、収穫日時Teに撮影された画像データは画像データIeである。訓練データ取得部112は、公知の画像認識処理により、記憶部120に格納された複数の画像データの中から、定植日時Tsに撮影された画像データIsおよび収穫日時Teに撮影された画像データIeを特定する。また、訓練データ取得部112は、記憶部120に格納された複数の画像データの中から、撮影日時が定植日時Tsから収穫日時Teまでの期間内である画像データIを選択する。ただし、本実施形態では、太陽光を利用して栽培を行う半開放型の植物工場PFを対象としており、比較的明るい時間帯(例えば、7時~17時)以外の時間帯に撮影された画像データIには植物の姿が鮮明に写らないおそれがあるため、該時間帯に撮影された画像データIは除外される。このようにして、訓練データ取得部112は、定植日時Tsから収穫日時Teまでの期間内の複数の日時Ti(Ts,T1,T2,・・・,Te)に撮影・生成された複数の画像データIi(Is,I1,I2,・・・,Ie)を、訓練用画像データI(t)として選択する。
【0030】
また、訓練データ取得部112は、選択された複数の画像データIi(すなわち、1作分の画像データ)のそれぞれについて、上記式(1)に従ってラベルとしての生育率Gi(Gs,G1,G2,・・・,Ge)を算出し、算出された生育率Giを画像データIiに関連付けることにより、ラベル付きデータとしての訓練データTDを作成する。例えば、図4に示すように、ある日時Tmに撮影された画像データImについて、定植日時Tsから該日時Tmまでの経過時間が、栽培に要した全体の時間(定植日時Tsから収穫日時Teまでの時間)の2割であった場合には、生育率Gmは「0.2」であると算出される。そのため、画像データImに生育率Gmとして0.2という値が関連付けられたデータが、訓練データTDとして作成される。他の画像データIiについても同様である。なお、定植日時Tsにおける生育率Gsは0(ゼロ)であり、収穫日時Teにおける生育率Geは1.0である。
【0031】
なお、訓練データ取得部112は、特定種類の植物の1作分の訓練データTDを取得するとしてもよいが、生育率推定モデルMOの精度向上のために、特定種類の植物の複数作分の訓練データTDを取得することが好ましい。また、訓練データ取得部112は、1つの植物工場PFに複数の撮影装置300が設置されている場合には、複数の撮影装置300から取得された画像データに基づき訓練データTDを取得するとしてもよい。また、訓練データ取得部112は、栽培される植物の種類が上記特定種類である限りにおいて、複数の植物工場PFのそれぞれに設置された撮影装置300から取得された画像データに基づき訓練データTDを取得するとしてもよい。
【0032】
次に、植物栽培管理サーバ100のモデル取得部114(図2)が、訓練データTDを用いた所定の機械学習により、生育率推定モデルMOを作成する(S120)。図5は、生育率推定モデルMOの一例を概念的に示す説明図である。図5に示すように、生育率推定モデルMOは、特定種類の植物を撮影することにより生成された画像データIの色情報(例えば、RGB値)を含む画像データから、該画像データIにより表される植物の生育率G(すなわち、撮影日時における生育率G)を推定するためのモデルである。モデル取得部114は、訓練データTDに含まれる訓練用画像データI(t)を入力データとし、各訓練用画像データI(t)に関連付けられた生育率Gを目的変数とし、評価指標として平均二乗平方根誤差(RMSE)、平均絶対誤差(MAE)、決定係数(R)の少なくとも1つを用いた公知の機械学習を実行することにより、生育率推定モデルMOを作成する。作成された生育率推定モデルMOは、植物栽培管理サーバ100の記憶部120に格納される。なお、生育率推定モデルMOの作成には、例えば、重回帰分析、Random Forest、XGBoost、畳み込みニューラルネットワーク(CNN)等の種々の公知の機械学習のアルゴリムを利用可能である。生育率推定モデルMOは、特許請求の範囲におけるモデルに相当する。以上の工程により、生育率推定モデルMOを作成する生育率推定モデル作成処理が完了する。
【0033】
A-3.植物栽培支援処理:
次に、本実施形態の植物栽培管理サーバ100により実行される植物栽培支援処理について説明する。図6は、本実施形態における植物栽培支援処理の内容を示すフローチャートである。また、図7および図9は、本実施形態における植物栽培支援処理中に端末装置200の表示部210に表示される画面の一例を示す説明図であり、図8は、本実施形態における生育率Gに基づく収穫日時Teの予測方法の一例を示す説明図である。
【0034】
植物栽培支援処理は、農作業者P1による特定種類の植物(対象植物)の栽培を支援するための処理である。より具体的には、植物栽培支援処理は、栽培中の対象植物を撮影することにより生成された画像データIである対象画像データI(o)の色情報を含む画像データと、上述した生育率推定モデルMOとを用いて、対象画像データI(o)により表される対象植物の生育率G(すなわち、対象画像データI(o)の撮影日時における生育率G)を推定すると共に、推定された生育率Gに基づき対象植物の収穫日時Teを予測し、生育率Gや収穫日時Teを示す情報を農作業者P1の端末装置200に表示させる処理である。植物栽培支援処理は、農作業者P1が端末装置200を操作したり植物栽培管理サーバ100の管理者が操作入力部140を操作したりして開始指示を入力したことに応じて開始される。
【0035】
植物栽培支援処理では、はじめに、植物栽培管理サーバ100の対象データ取得部115(図2)が、栽培中の対象植物を撮影することにより生成された画像データIである対象画像データI(o)を取得する(S210)。上述したように、植物工場PFに設置された撮影装置300は、定期的に(例えば、1時間毎に)撮影を行っており、撮影の都度、撮影により生成された画像データIを通信ネットワークNETを介して植物栽培管理サーバ100に送信している。植物栽培管理サーバ100の対象データ取得部115は、撮影装置300から送信された画像データIを、インターフェース部150を介して取得し、対象画像データI(o)として記憶部120に格納する。なお、対象データ取得部115は、撮影装置300から送信された画像データIに対して、生育率推定モデルMOへの入力として適切な形式になるように所定の処理(例えば、トリミング)を実行した後に、対象画像データI(o)として記憶部120に格納するとしてもよい。
【0036】
次に、植物栽培管理サーバ100の生育率推定部116(図2)は、直前のS210において取得された対象画像データI(o)と、上述した生育率推定モデルMOとを用いて、対象画像データI(o)により表される対象植物の生育率G(すなわち、対象画像データI(o)の撮影日時における生育率G)を推定する(S220)。生育率推定部116は、図5に示すように、生育率推定モデルMOに対象画像データI(o)の色情報を含む画像データを入力し、生育率推定モデルMOから出力される生育率Gを取得することにより、生育率Gを推定する。例えば図5に示す例では、対象植物の生育率Gは「0.5」であると推定される。生育率推定部116は、推定された生育率Gを示す情報である推定生育率データGDを生成し、植物栽培管理サーバ100の記憶部120に格納する。
【0037】
次に、植物栽培管理サーバ100の植物栽培管理部111(図2)は、生育率Gが推定された対象画像データI(o)の個数Nが所定の閾値Th(例えば、30個)以上であるか否かを判定する(S230)。S230の判定において、生育率Gが推定された対象画像データI(o)の個数Nが閾値Th未満であると判定された場合には(S230:NO)、定式化が難しいために後述する収穫日時Teの予測(S240)は実行されない。この場合には、植物栽培管理サーバ100の情報送信部118(図2)が、直前のS210において取得された対象画像データI(o)と、直前のS220において推定された生育率Gを示す推定生育率データGDとを、インターフェース部150および通信ネットワークNETを介して、農作業者P1の端末装置200に向けて送信する(S250)。その結果、図7に示すように、端末装置200の表示部210に、植物工場PFで栽培されている対象植物(図7の例では、ほうれん草)について、現時点(正確には、対象画像データI(o)の撮影時点)での写真および推定された生育率Gが表示される。これにより、農作業者P1は、植物工場PFに出向かなくても、現時点での対象植物の生育率Gを把握することができる。なお、上述したように、S230の判定において生育率Gが推定された対象画像データI(o)の個数Nが閾値Th未満であると判定された場合には、収穫日時Teの予測(S240)は実行されていないため、予測される収穫日時Teの欄には、予測不能を示す記号「-」が表示されている。
【0038】
S250の処理の後には、植物栽培管理サーバ100の植物栽培管理部111(図2)は、栽培が終了したか(植物が収穫されたか)否かを判定する(S270)。S270の判定において、栽培はまだ終了していないと判定された場合には(S270:NO)、S210以降の処理が繰り返し実行される。
【0039】
S210以降の処理が繰り返し実行され、S230の判定において生育率Gが推定された対象画像データI(o)の個数Nが閾値Th以上であると判定された場合には(S230:YES)、植物栽培管理サーバ100の収穫日時予測部117(図2)が、各対象画像データI(o)について推定された生育率Gに基づき、対象植物の収穫日時Teを予測する(S240)。図8に示すように、本実施形態では、生育率Giを目的変数とし、定植日時Tsからの経過時間ΔTi(=Ti-Ts)を説明変数として単回帰分析による回帰式を立て、該回帰式において生育率Giが1.0となる経過時間ΔTiを逆算することにより、収穫日時Teを予測している。例えば、図8には、日時Tkに撮影された対象画像データI(o)についての生育率Gの推定が完了した時点において、これまでに生育率Gが推定されたデータを示す(k+1)個の点(ΔTi,Gi)がプロットされている。収穫日時予測部117は、これら(k+1)個のデータを用いて、単回帰式RL:Gi=a×ΔTi+bを導出する。そして、収穫日時予測部117は、この単回帰式RLにおいてGi=1.0となるΔTi(=ΔTe)の値を算出し、定植日時Tsからこの経過時間ΔTeが経過した日時(=Ts+ΔTe)を、予測される収穫日時Teとして算出する。収穫日時予測部117は、予測された収穫日時Teを示す情報である予測収穫日時データPDを生成し、植物栽培管理サーバ100の記憶部120に格納する。
【0040】
収穫日時Teの予測(S240)が行われた場合には、植物栽培管理サーバ100の情報送信部118(図2)が、直前のS210において取得された対象画像データI(o)と、直前のS220において推定された生育率Gを示す推定生育率データGDと、直前のS240において予測された収穫日時Teを示す予測収穫日時データPDとを、インターフェース部150および通信ネットワークNETを介して、農作業者P1の端末装置200に向けて送信する(S260)。その結果、図9に示すように、端末装置200の表示部210に、植物工場PFで栽培されている対象植物(図9の例では、ほうれん草)について、現時点(正確には、対象画像データI(o)の撮影時点)での写真と、推定された生育率Gと、予測された収穫日時Teとが表示される。これにより、農作業者P1は、植物工場PFに出向かなくても、現時点での対象植物の生育率Gや予測される収穫日時Teを把握することができる。
【0041】
S260の処理の後には、植物栽培管理サーバ100の植物栽培管理部111(図2)は、栽培が終了したか(植物が収穫されたか)否かを判定する(S270)。S270の判定において、栽培はまだ終了していないと判定された場合には(S270:NO)、S210以降の処理が繰り返し実行される。上述した処理が繰り返し実行され、S270の判定において、栽培は終了したと判定された場合には(S270:YES)、物栽培支援処理は終了される。
【0042】
A-4.本実施形態の効果:
以上説明したように、本実施形態の植物栽培管理サーバ100は、対象データ取得部115と、生育率推定部116とを備える。対象データ取得部115は、栽培中の特定種類の植物である対象植物を撮影することにより生成された画像データである対象画像データI(o)を取得する。生育率推定部116は、対象画像データI(o)の色情報を含む画像データと、所定の機械学習により作成された生育率推定モデルMOとを用いて、対象諸物の生育率Gを推定する。ここで、生育率Gは、収穫時の対象植物の生育状態に対する、対象画像データI(o)により表される対象植物の生育状態の比である。
【0043】
このように、本実施形態の植物栽培管理サーバ100は、栽培中の対象植物を撮影することにより生成された対象画像データI(o)を取得し、対象画像データI(o)の色情報を含む画像データと生育率推定モデルMOとを用いて、対象植物の生育率Gを推定することができる。そのため、本実施形態の植物栽培管理サーバ100によれば、対象画像データI(o)を取得するだけで対象植物の生育率Gを推定することができ、植物栽培の効率化や最適化を実現することができる。また、本実施形態の植物栽培管理サーバ100によれば、対象画像データI(o)を取得するだけで対象植物の生育率Gを推定することができるため、生育率Gの推定の精度の低下を抑制しつつ、対象植物の生育率Gを推定するための処理が煩雑になることを抑制することができる。
【0044】
また、本実施形態の植物栽培管理サーバ100は、さらに、収穫日時予測部117を備える。収穫日時予測部117は、対象画像データI(o)について推定された生育率Gに基づき、対象植物の収穫日時Teを予測する。そのため、本実施形態の植物栽培管理サーバ100によれば、対象画像データI(o)を取得するだけで対象植物の収穫日時Teを予測することができ、植物栽培の効率化や最適化を効果的に実現することができる。
【0045】
また、本実施形態の植物栽培管理サーバ100では、対象データ取得部115は、対象植物を複数の日時に撮影することにより生成された複数の対象画像データI(o)を取得し、生育率推定部116は、複数の対象画像データI(o)について生育率Gを推定する。また、収穫日時予測部117は、一の対象画像データI(o)についての対象植物の収穫日時Teを、該一の対象画像データI(o)について推定された生育率Gと、該一の対象画像データI(o)の撮影日時より前に撮影された各対象画像データI(o)について推定された生育率Gと、に基づき予測する。そのため、本実施形態の植物栽培管理サーバ100によれば、対象植物の収穫日時Teを精度良く予測することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0046】
また、本実施形態の植物栽培管理サーバ100は、さらに、特定種類の植物を、定植から収穫までの期間内の複数の日時に撮影することにより生成された画像データである複数の訓練用画像データI(t)と、訓練用画像データI(t)により表される植物の生育率Gを示す生育率データと、が関連付けられた訓練データTDを取得する訓練データ取得部112と、訓練データTDを用いた機械学習により、生育率推定モデルMOを取得するモデル取得部114とを備える。そのため、本実施形態の植物栽培管理サーバ100によれば、他の装置を用いずとも、生育率推定モデルMOを取得することができ、生育率推定モデルMOを用いて生育率Gを推定することができる。
【0047】
また、本実施形態の植物栽培管理サーバ100では、訓練データTDに含まれる生育率データは、特定種類の植物の定植から収穫までに要する時間に対する、定植から各訓練用画像データI(t)の撮影日時までの経過時間の比を生育率Gとして示すデータである。そのため、本実施形態の植物栽培管理サーバ100によれば、容易に、かつ、画一的に、植物の生育率Gを特定することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0048】
また、本実施形態の植物栽培管理システム10は、植物栽培管理サーバ100と、植物栽培管理サーバ100との間で通信ネットワークNETを介して通信可能な端末装置200とを備える。また、植物栽培管理サーバ100は、さらに、推定された対象植物の生育率Gを示す推定生育率データGDを、通信ネットワークNETを介して端末装置200に向けて送信する情報送信部118を備える。このように、本実施形態の植物栽培管理システム10では、植物栽培管理サーバ100の情報送信部118が、推定された対象植物の生育率Gを示す推定生育率データGDを端末装置200に向けて送信するため、端末装置200を保持する農作業者P1は、植物工場PF以外の地点に居ても対象植物の生育率Gを把握することができ、植物栽培の効率化や最適化をさらに効果的に実現することができる。
【0049】
また、本実施形態の植物栽培管理システム10は、さらに、対象植物が栽培されている圃場(例えば、植物工場PF)に設置され、植物栽培管理システム10との間で通信ネットワークNETを介して通信可能な撮影装置300を備える。また、植物栽培管理システム10の対象データ取得部115は、撮影装置300が対象植物を撮影することにより生成された画像データIである対象画像データI(o)を、通信ネットワークNETを介して取得する。そのため、本実施形態の植物栽培管理システム10では、撮影者(例えば、農作業者P1)が圃場に出向くことなく対象画像データI(o)を取得することができ、取得された対象画像データI(o)を用いて対象植物の生育率Gを推定することができるため、植物栽培の効率化や最適化を極めて効果的に実現することができる。
【0050】
A-5.実施例:
上述した本実施形態の植物栽培管理サーバ100による生育率Gの推定の精度を検証するために行った実施例について、以下説明する。図10は、本実施例において利用した植物の栽培実績を示す説明図である。本実施例では、半開放型の植物工場PF(ビニールハウス)において、ほうれん草の栽培を6作分行った際のデータを利用した。図10には、作毎の定植日時Tsおよび収穫日時Teが示されている。植物工場PF内の上部に撮影装置300を設置し、1時間毎に撮影を行い、撮影により得られた画像データIを使用した。ただし、7時~17時の時間帯に撮影された画像データIのみを使用し、それ以外の時間帯に撮影された画像データIは除外した。また、システムのエラーにより画像データIが取得できなかった時間もあった。また、各画像データIに対し、224×224ピクセルの領域をトリミングにより切り出して使用した。
【0051】
また、本実施例では、生育率Gの推定モデルとして、畳み込みニューラルネットワーク(CNN)をベースとしたモデルを使用した。より具体的には、大規模学習済みネットワークであるImageNetを利用した転移学習として、ImageNetに対して出力層を一部変更し再学習させ、畳み込み層13層、全結合層2層のCNN(VGG16)をベースとしたモデルを使用した。学習時のパラメータは、下記の通りとした。
・損失関数:平均二乗平方根誤差(RMSE)
・活性化関数:ReLU
・最適化関数:Adam
・学習率:0.001(3エポック続けて損失が減らなかった場合には学習率を1/10にする。)
・バッチサイズ:32
・エポック数:50
・学習終了条件:5エポック続けて損失が減らなかった場合には最大エポック数50を待たずに学習を終了する。
【0052】
図11は、本実施例において使用した画像データを示す説明図である。図11に示すように、本実施例では、全6作分の画像データ(1064枚)の内、6作目の画像データ(220枚)をテスト用画像データとした。また、6作目以外の画像データ(844枚)をシャッフルし、その内の8割(675枚)の画像データを訓練用画像データとし、残り2割(169枚)の画像データを検証用画像データとした。
【0053】
図12は、本実施例におけるエポック毎の損失関数の推移を示す説明図である。図12に示すように、本実施例では、検証用画像データに対する損失関数の値が下がっているため、学習が進行していると言える。
【0054】
また、図13から図15は、本実施例における生育率Gの予測精度を示す説明図である。図13には、訓練用画像データおよびテスト用画像データのそれぞれについて、平均二乗平方根誤差(RMSE)、平均絶対誤差(MAE)および決定係数(R)の値が示されている。また、図14には、訓練用画像データについて、生育率Gの真値と推定値との関係が示されており、図15には、テスト用画像データについて、生育率Gの真値と推定値との関係が示されている。図14および図15に示すように、本実施例では、生育率Gの真値と推定値との関係を示す各点が概ね直線上に乗っており、生育率Gを概ね正しく推定できていると言える。また、図13に示すように、テスト用画像データについて、決定係数(R)は0.95を超えている。また、平均絶対誤差(MAE)は0.047であるので、平均して4.7%の誤差に収まっている。今回のテスト用画像データの栽培日数は21日であるため、4.7%の誤差を日数に換算すると1日未満に収まっており、十分な推定精度を実現していると言える。なお、収穫直前の画像を対象として予測を行うと、決定係数(R)は0.85~0.97程度であったため、この点からも十分な推定精度を実現していると言える。
【0055】
B.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
【0056】
上記実施形態における植物栽培管理システム10の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、植物栽培管理システム10が撮影装置300を備えているが、植物栽培管理システム10が撮影装置300を備えていなくてもよい。植物栽培管理システム10が撮影装置300を備えていない場合であっても、例えば、農作業者P1が撮影装置(例えば、端末装置200に搭載されているカメラ)を用いて植物工場PF内で栽培されている植物を撮影することにより画像データを生成し、該画像データを植物栽培管理サーバ100に送信することにより、植物栽培管理サーバ100は植物の画像データを取得することができる。
【0057】
また、上記実施形態では、撮影装置300は、撮影の都度、撮影により生成された画像データを植物栽培管理サーバ100に送信するとしているが、他のタイミング(例えば、植物栽培管理サーバ100からの要求があったタイミング)で画像データを植物栽培管理サーバ100に送信するとしてもよい。
【0058】
また、上記実施形態では、植物栽培管理サーバ100が、生育率推定モデルMOを作成するための生育率推定モデル作成処理を実行しているが、生育率推定モデル作成処理が、植物栽培管理サーバ100以外の他の装置により実行され、植物栽培管理サーバ100のモデル取得部114が、該他の装置から生育率推定モデルMOを取得するものとしてもよい。あるいは、植物栽培管理サーバ100が、該他の装置に対象画像データI(o)を送信し、該他の装置において生育率推定モデルMOを用いて推定された生育率Gを植物栽培管理サーバ100が取得するとしてもよい。
【0059】
また、上記実施形態における植物栽培支援処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態における植物栽培支援処理では、生育率Gの推定(S220)と収穫日時Teの予測(S240)とが実行されているが、生育率Gの推定のみが実行され、収穫日時Teの予測は実行されないとしてもよい。
【0060】
また、上記実施形態では、圃場として半開放型の植物工場PFを例に説明しているが、本明細書に開示される技術は、他の種類の圃場(例えば、閉鎖型や開放型といった他のタイプの植物工場、露地栽培用の圃場等)にも同様に適用可能である。
【0061】
また、上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
【符号の説明】
【0062】
10:植物栽培管理システム 100:植物栽培管理サーバ 110:制御部 111:植物栽培管理部 112:訓練データ取得部 114:モデル取得部 115:対象データ取得部 116:生育率推定部 117:収穫日時予測部 118:情報送信部 120:記憶部 130:表示部 140:操作入力部 150:インターフェース部 190:バス 200:端末装置 210:表示部 300:撮影装置 CP:植物栽培管理プログラム GD:推定生育率データ MO:生育率推定モデル NET:通信ネットワーク P1:農作業者 PD:予測収穫日時データ PF:植物工場 TD:訓練データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15