(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024024247
(43)【公開日】2024-02-22
(54)【発明の名称】葉温に関する学習データ作成装置、機械学習装置、推定装置、方法およびプログラム
(51)【国際特許分類】
A01G 7/00 20060101AFI20240215BHJP
【FI】
A01G7/00 603
【審査請求】未請求
【請求項の数】18
【出願形態】OL
(21)【出願番号】P 2022126931
(22)【出願日】2022-08-09
(71)【出願人】
【識別番号】504174180
【氏名又は名称】国立大学法人高知大学
(74)【代理人】
【識別番号】110000796
【氏名又は名称】弁理士法人三枝国際特許事務所
(72)【発明者】
【氏名】北野 雅治
(72)【発明者】
【氏名】野村 浩一
(72)【発明者】
【氏名】岩尾 忠重
(72)【発明者】
【氏名】齋藤 雅彦
(72)【発明者】
【氏名】山崎 富弘
(72)【発明者】
【氏名】但田 育直
(57)【要約】
【課題】植物の葉温を手軽に把握する。
【解決手段】植物の葉温を推定する推定用アルゴリズム5の学習に用いる学習データ4を作成するための学習データ作成装置1であって、圃場90における環境データ41に基づいて個葉葉温を算出する個葉葉温算出部11と、圃場90において栽培されている植物91の葉を含む熱画像43を、個葉葉温と植物91の葉を含む可視画像42とに関連付けて、学習データ4を作成する学習データ作成部13と、を備える、学習データ作成装置1。
【選択図】
図1
【特許請求の範囲】
【請求項1】
植物の葉温を推定する推定用アルゴリズムの学習に用いる学習データを作成するための学習データ作成装置であって、
圃場における環境データに基づいて個葉葉温を算出する個葉葉温算出部と、
前記圃場において栽培されている植物の葉を含む熱画像を、前記個葉葉温と前記植物の葉を含む可視画像とに関連付けて、学習データを作成する学習データ作成部と、
を備える、学習データ作成装置。
【請求項2】
前記植物の前記熱画像は、前記圃場において栽培されている前記植物の群落の葉温の分布に関する情報を含む、請求項1に記載の学習データ作成装置。
【請求項3】
前記植物の葉を含む可視画像に基づいて、前記葉に関する指標を算出する指標算出部をさらに含み、
前記学習データ作成部は、前記植物の前記熱画像を、前記葉に関する前記指標にさらに関連付けて前記学習データを作成する、請求項1に記載の学習データ作成装置。
【請求項4】
前記学習データ作成部は、前記植物の前記熱画像を、前記植物が栽培されている雰囲気の気温にさらに関連付けて前記学習データを作成する、請求項1に記載の学習データ作成装置。
【請求項5】
前記個葉葉温算出部は、前記環境データと、植物生理生態モデルとに基づいて、前記個葉葉温を算出する、請求項1に記載の学習データ作成装置。
【請求項6】
請求項1から5のいずれかに記載の学習データ作成装置によって作成された学習データに基づいて、前記植物の葉温を推定する推定用アルゴリズムを学習する学習部、
を備える、機械学習装置。
【請求項7】
前記推定用アルゴリズムは、人工ニューラルネットワークを用いて構成されている、請求項6に記載の機械学習装置。
【請求項8】
圃場における環境データを取得する環境データ取得部と、
前記圃場において栽培されている植物の葉を含む可視画像を取得する植物画像取得部と、
前記環境データに基づいて、個葉葉温を算出する個葉葉温算出部と、
請求項6に記載の機械学習装置によって学習された推定用アルゴリズムに従って、前記個葉葉温と前記植物の葉を含む前記可視画像とに基づいて、前記植物の群落の葉温を推定する群落葉温推定部と、
を備える、推定装置。
【請求項9】
前記植物の葉を含む前記可視画像に基づいて、前記葉に関する指標を算出する指標算出部をさらに備え、
前記群落葉温推定部は、前記推定用アルゴリズムに従って、前記葉に関する前記指標にさらに基づいて、前記植物の群落の葉温を推定する、請求項8に記載の推定装置。
【請求項10】
前記群落葉温推定部は、前記推定用アルゴリズムに従って、前記植物が栽培されている雰囲気の気温にさらに基づいて、前記植物の群落の葉温を推定する、請求項8に記載の推定装置。
【請求項11】
前記植物の群落の葉温に基づいて、前記植物の熱画像を作成する熱画像作成部をさらに備える、請求項8に記載の推定装置。
【請求項12】
前記環境データに基づいて、前記植物が栽培されている雰囲気の露点を算出する露点温度算出部と、
前記植物の群落の葉温と前記雰囲気の前記露点とに基づいて、前記植物の葉の結露を予測する結露予測部と、
をさらに備える、請求項8に記載の推定装置。
【請求項13】
植物の葉温を推定する推定用アルゴリズムの学習に用いる学習データを作成するための学習データ作成方法であって、
圃場における環境データに基づいて、個葉葉温を算出する個葉葉温算出ステップと、
前記圃場において栽培されている植物の葉を含む熱画像を、前記個葉葉温と前記植物の葉を含む可視画像とに関連付けて、学習データを作成する学習データ作成ステップと、
を含む、学習データ作成方法。
【請求項14】
請求項13に記載の学習データ作成方法によって作成された学習データに基づいて、前記植物の葉温を推定する推定用アルゴリズムを学習する学習ステップ、
を含む、機械学習方法。
【請求項15】
圃場における環境データを取得する環境データ取得ステップと、
前記圃場において栽培されている植物の葉を含む可視画像を取得する植物画像取得ステップと、
前記環境データに基づいて、個葉葉温を算出する個葉葉温算出ステップと、
請求項14に記載の機械学習方法によって学習された推定用アルゴリズムに従って、前記個葉葉温と前記植物の葉を含む前記可視画像とに基づいて、前記植物の群落の葉温を推定する群落葉温推定ステップと、
を含む、推定方法。
【請求項16】
コンピュータに、
請求項13に記載の学習データ作成方法の各ステップを実行させるためのプログラム。
【請求項17】
コンピュータに、
請求項14に記載の機械学習方法の各ステップを実行させるためのプログラム。
【請求項18】
コンピュータに、
請求項15に記載の推定方法の各ステップを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物の葉温を推定する技術に関する。
【背景技術】
【0002】
植物の体温は、葉の温度である葉温で表される。植物は、日差しが強い昼間に光合成をするため、多くの太陽光を吸収しようとして葉を大きく広げている。葉が大きく広がると葉から多くの熱も吸収されるので、葉温は雰囲気の気温と大きく異なる場合がある。一方で、葉温が低下して露点温度を下回ると、葉面結露が発生して病害の原因となる。葉温を管理して作物のより良い栽培環境を実現することは、農業の効率化を進めている営農現場にとって重要となっている。
【0003】
また近年では、例えば種々のセンシングデータ等を活用することにより、作物の生育や病害を予測する、いわゆるスマート農業への取り組みが進められている。例えば下記特許文献1に記載の葉の温度取得装置によると、作物の葉の温度を取得することができる。まず、赤外線カメラを用いて作物の葉を撮像することにより、熱画像のデータを取得する。次に、取得した熱画像から葉の背景の熱画像を除去する。作物の葉の温度は、背景が除去された熱画像に基づいて取得することができる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の葉の温度取得装置では、赤外線カメラを用いて作物の葉を撮像することにより熱画像のデータを取得しているが、熱画像を撮影できる赤外線カメラは未だ高価である。学術的な研究を目的とするのであれば、このような高価な赤外線カメラを使用することはできるが、研究者が使用するような高価な赤外線カメラを、営農現場において、特に小規模の生産者が圃場に設置して日常的に運用することは現実的ではない。
【0006】
このような事情から、営農現場においては、特に小規模の圃場においては、高温障害や結露による病害の発生は依然として生産者の経験や勘に基づいて把握されており、作物の葉温を測定して把握しようとする取り組みは進んでいない。作物のより良い栽培環境を実現するために、営農現場において葉温を手軽に把握することが求められている。
【0007】
本発明は、植物の葉温を手軽に把握することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を達成するための本発明は、例えば以下に示す態様を含む。
【0009】
(項1)
植物の葉温を推定する推定用アルゴリズムの学習に用いる学習データを作成するための学習データ作成装置であって、
圃場における環境データに基づいて個葉葉温を算出する個葉葉温算出部と、
前記圃場において栽培されている植物の葉を含む熱画像を、前記個葉葉温と前記植物の葉を含む可視画像とに関連付けて、学習データを作成する学習データ作成部と、
を備える、学習データ作成装置。
(項2)
前記植物の前記熱画像は、前記圃場において栽培されている前記植物の群落の葉温の分布に関する情報を含む、項1に記載の学習データ作成装置。
(項3)
前記植物の葉を含む可視画像に基づいて、前記葉に関する指標を算出する指標算出部をさらに含み、
前記学習データ作成部は、前記植物の前記熱画像を、前記葉に関する前記指標にさらに関連付けて前記学習データを作成する、項1または2に記載の学習データ作成装置。
(項4)
前記学習データ作成部は、前記植物の前記熱画像を、前記植物が栽培されている雰囲気の気温にさらに関連付けて前記学習データを作成する、項1から3のいずれか一項に記載の学習データ作成装置。
(項5)
前記個葉葉温算出部は、前記環境データと、植物生理生態モデルとに基づいて、前記個葉葉温を算出する、項1から4のいずれか一項に記載の学習データ作成装置。
(項6)
項1から5のいずれかに記載の学習データ作成装置によって作成された学習データに基づいて、前記植物の葉温を推定する推定用アルゴリズムを学習する学習部、
を備える、機械学習装置。
(項7)
前記推定用アルゴリズムは、人工ニューラルネットワークを用いて構成されている、項6に記載の機械学習装置。
(項8)
圃場における環境データを取得する環境データ取得部と、
前記圃場において栽培されている植物の葉を含む可視画像を取得する植物画像取得部と、
前記環境データに基づいて、個葉葉温を算出する個葉葉温算出部と、
項6または7に記載の機械学習装置によって学習された推定用アルゴリズムに従って、前記個葉葉温と前記植物の葉を含む前記可視画像とに基づいて、前記植物の群落の葉温を推定する群落葉温推定部と、
を備える、推定装置。
(項9)
前記植物の葉を含む前記可視画像に基づいて、前記葉に関する指標を算出する指標算出部をさらに備え、
前記群落葉温推定部は、前記推定用アルゴリズムに従って、前記葉に関する前記指標にさらに基づいて、前記植物の群落の葉温を推定する、項8に記載の推定装置。
(項10)
前記群落葉温推定部は、前記推定用アルゴリズムに従って、前記植物が栽培されている雰囲気の気温にさらに基づいて、前記植物の群落の葉温を推定する、項8または9に記載の推定装置。
(項11)
前記植物の群落の葉温に基づいて、前記植物の熱画像を作成する熱画像作成部をさらに備える、項8から10のいずれか一項に記載の推定装置。
(項12)
前記環境データに基づいて、前記植物が栽培されている雰囲気の露点を算出する露点温度算出部と、
前記植物の群落の葉温と前記雰囲気の前記露点とに基づいて、前記植物の葉の結露を予測する結露予測部と、
をさらに備える、項8から11のいずれか一項に記載の推定装置。
(項13)
植物の葉温を推定する推定用アルゴリズムの学習に用いる学習データを作成するための学習データ作成方法であって、
圃場における環境データに基づいて、個葉葉温を算出する個葉葉温算出ステップと、
前記圃場において栽培されている植物の葉を含む熱画像を、前記個葉葉温と前記植物の葉を含む可視画像とに関連付けて、学習データを作成する学習データ作成ステップと、
を含む、学習データ作成方法。
(項14)
項13に記載の学習データ作成方法によって作成された学習データに基づいて、前記植物の葉温を推定する推定用アルゴリズムを学習する学習ステップ、
を含む、機械学習方法。
(項15)
圃場における環境データを取得する環境データ取得ステップと、
前記圃場において栽培されている植物の葉を含む可視画像を取得する植物画像取得ステップと、
前記環境データに基づいて、個葉葉温を算出する個葉葉温算出ステップと、
項14に記載の機械学習方法によって学習された推定用アルゴリズムに従って、前記個葉葉温と前記植物の葉を含む前記可視画像とに基づいて、前記植物の群落の葉温を推定する群落葉温推定ステップと、
を含む、推定方法。
(項16)
コンピュータに、
項13に記載の学習データ作成方法の各ステップを実行させるためのプログラム。
(項17)
コンピュータに、
項14に記載の機械学習方法の各ステップを実行させるためのプログラム。
(項18)
コンピュータに、
項15に記載の推定方法の各ステップを実行させるためのプログラム。
(項19)
前記指標算出部は、人工知能を用いた画像解析により、前記可視画像において前記葉の領域を抽出する葉領域抽出部を備える、項3に記載の学習データ作成装置。
(項20)
前記葉に関する前記指標は、前記葉の葉面積指数と、前記葉の受光量との少なくともいずれかを含む、項3または19に記載の学習データ作成装置。
(項21)
前記指標算出部は、前記可視画像を二値化することにより得られる、前記可視画像において前記葉以外の領域が占める割合を用いて、前記葉面積指数を算出する葉面積指数算出部を備える、項20に記載の学習データ作成装置。
(項22)
前記指標算出部は、前記可視画像について前記葉の領域の相対輝度を算出する受光量算出部を備える、項20または21に記載の学習データ作成装置。
【発明の効果】
【0010】
本発明によると、植物の葉温を手軽に把握することができる。
【図面の簡単な説明】
【0011】
【
図1】本発明の一実施形態に係る葉温推定支援システムの概略的な構成を模式的に示す図である。
【
図2】本発明の一実施形態に係る学習データ作成装置および機械学習装置の機能を説明するためのブロック図である。
【
図3】本発明において導入する植物生理生態モデルを説明するための模式的な図である。
【
図4】植物生理生態モデルに含まれる熱収支方程式を説明するための模式的な図である。
【
図5】人工知能を用いた画像解析により葉の領域を抽出した一例を示す図である。
【
図6】本発明の一実施形態に係る推定用アルゴリズムに用いる全結合ニューラルネットワークを説明するための模式的な図である。
【
図7】本発明の一実施形態に係る推定用アルゴリズムに用いる畳み込みニューラルネットワークを説明するための模式的な図である。
【
図8】本発明の一実施形態に係る推定装置の機能を説明するためのブロック図である。
【
図9】本発明の一実施形態に係る機械学習装置を用いて推定用アルゴリズムの機械学習を行う手順を説明するためのフローチャートである。
【
図10】
図9に示すフローチャートにおいて葉に関する指標を算出するステップのフローチャートである。
【
図11】本発明の一実施形態に係る推定装置と学習済の推定用アルゴリズムとを用いて葉温を推定する手順を説明するためのフローチャートである。
【
図12】
図11に示すフローチャートにおいて葉に関する指標を算出するステップのフローチャートである。
【
図13】植物の葉の結露を予測した結果を熱画像に対応して表示する一例である。
【
図14】実施例1において植物の可視画像および熱画像のペアを取得した際の状況を説明する図である。
【
図15】実施例1において推定された葉温の変動を測定値と共に示すグラフである。
【
図16】実施例1において葉温の空間分布の妥当性を検証するための可視画像および熱画像である。
【
図17】実施例1に係る葉温の推定値と測定値との相関を示すグラフである
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、以下の説明および図面において、同じ符号は同じまたは類似の構成要素を示すこととし、よって、同じまたは類似の構成要素に関する重複した説明を省略する。
【0013】
[推定支援システム]
<システムの概要>
図1は、本発明の一実施形態に係る葉温推定支援システムの概略的な構成を模式的に示す図である。
【0014】
本発明の一実施形態に係る葉温推定支援システム100(以下、単に推定支援システム100とも記載する)は、学習データ作成装置1と、機械学習装置2と、推定装置3とを備える。推定支援システム100は、小規模な圃場80における生産者が、赤外線カメラのような高価な設備を用いることなく、生産者が運営する圃場80における植物81の群落(canopy)の葉温を手軽に把握することを可能にする。
【0015】
学習データ作成装置1、機械学習装置2、および推定装置3は、例えばネットワーク10を介してデータの送受信が可能な態様で、有線または無線により直接的または間接的に接続されている。
【0016】
本実施形態では、学習データ作成装置1および機械学習装置2は、例えば試験研究用の圃場90を管理する組織または者(以下、単に管理者とも記載する)によって使用される。推定装置3は、例えば小規模な圃場80における生産者(以下、単に生産者とも記載する)によって使用される。圃場90の管理者は、例えば国や県の農業試験場や、国公立または私立の研究機関および大学等、並びにそれら組織における研究者等である。
【0017】
圃場90、80において栽培される植物91,81について説明する。葉温を把握しようとする対象である、生産者の圃場80において栽培されている植物81の種類は、管理者の圃場90において栽培されている植物91の種類と同じである。圃場90,80において栽培される植物は、ナスやニラ等の食用の作物に限らず、例えば生花とすることができる。すなわち圃場90,80において栽培する植物91,81は、光合成を行う植物であればよい。
【0018】
学習データ4の作成に用いる環境データ41、植物91の葉を含む可視画像42、および植物91の葉を含む熱画像43は、圃場90において取得される。取得されたデータ41,42,43は学習データ作成装置1に入力され記録される。圃場90におけるデータ41,42,43の取得については後述する。
【0019】
学習データ作成装置1は、植物の葉温を推定する推定用アルゴリズム5の学習に用いる学習データ4を作成する。学習データ4は、試験研究用の圃場90において測定されるデータ41,42,43に基づいて作成される。作成された学習データ4は、機械学習装置2に提供される。学習データ4および推定用アルゴリズム5は植物の種類毎に作成される。
【0020】
機械学習装置2は、学習データ作成装置1によって作成された学習データ4に基づいて、推定用アルゴリズム5を学習する。学習された推定用アルゴリズム5は、推定装置3に提供される。
【0021】
生産者の圃場80では、圃場80における環境データおよび植物81の葉を含む可視画像が、環境測定装置6および撮像装置7を用いて取得される。
【0022】
推定装置3は、機械学習装置2によって学習された推定用アルゴリズム5に従って、個葉葉温と植物81の葉を含む可視画像とに基づいて、植物81の群落の葉温を推定する。学習に用いる推定用アルゴリズム5に応じて、推定装置3は、群落の葉温の時系列の温度を推定、または、群落の葉温の空間分布を示す熱画像43Eを推定することができる。個葉葉温は、生産者の圃場80において取得された環境データに基づいて算出される。
【0023】
これにより、小規模な圃場80における生産者は、赤外線カメラのような高価な設備を用いることなく、生産者が運営する圃場80において、植物81の群落の葉温を把握することが可能になる。
【0024】
試験研究用の圃場90では、圃場90における環境データ41、植物91の葉を含む可視画像42および熱画像43が、環境測定装置92および撮像装置7を用いて取得される。また本実施形態では、環境データ41として、光合成光量子束密度(photosynthetic photon flux density; PPFD)(単位[μmol・m-2・s-1])、雰囲気のCO2濃度Ca(単位[μmol・mol-1])、雰囲気の気温Ta(単位[℃])、および雰囲気の湿度VPDa(vapor pressure deficit)(単位[kPa])の4つを用いる。これら環境データ41は、環境測定装置92を用いて測定することができる。
【0025】
本実施形態では、圃場90において栽培されている植物91の葉を含む可視画像42および熱画像43のペアを、赤外線カメラ99a(サーマルカメラ99a)を用いて取得する。可視画像42および熱画像43のペアは、植物91の群落を含む撮影角度で撮像される。赤外線カメラ99aにより撮像される可視画像42の色空間はRGB形式であり、群落の葉の分布に応じた輝度情報を含んでいる。熱画像43は、植物91の群落の葉の温度分布情報を持つ。赤外線カメラ99aは、試験研究用の圃場90側に設けられており、生産者が運営する小規模な圃場80側には設けられていない。
【0026】
また本実施形態では、後述する葉に関する指標を算出するために、圃場90において栽培されている植物91の葉を含む別角度からの画像が、ハウスの天井面に取り付けられた撮像装置99b(デジタルカメラ99b)を用いて撮像され、画像データが取得される。別角度からの画像は、植物91を天井面から地面(土壌)に向かって見下ろした直下視(nadir view)画像であり、撮像範囲に植物91の葉が含まれている画像である。植物91の別角度からの画像データは、可視画像42および熱画像43のペアと同時に撮影されて、可視画像42の別角度の画像データとして、可視画像42とセットで保存される。撮像装置99bにより撮像される別角度からの画像の色空間もRGB形式である。
【0027】
<ハードウェア構成>
学習データ作成装置1、機械学習装置2、および推定装置3は、例えば汎用コンピュータやタブレットPC、スマートフォン等を用いて構成することができる。これら学習データ作成装置1、機械学習装置2、および推定装置3のすべてを汎用コンピュータで構成することができるし、一部をタブレットPCやスマートフォンで構成することもできる。
【0028】
例えばスマートフォンを用いると、推定装置3と、後述する撮像装置7と表示装置8と入力装置9とが一体化された統合型の推定装置を構成することができる。スマートフォンを用いたこのような統合型の推定装置に、さらに別体の環境測定装置6を例えばWi-Fi(登録商標)やBluetooth(登録商標)等の無線通信方式を用いて通信可能に接続することにより、営農現場において生産者が手軽に使用することが可能なユーザ端末を提供することができる。
【0029】
学習データ作成装置1、機械学習装置2、および推定装置3のそれぞれは、ハードウェアの構成として、データ処理を行うCPU等のプロセッサ(図示せず)と、プロセッサがデータ処理の作業領域に使用する主記憶装置(図示せず)と、データの一時保存に使用する補助記憶装置19,29,39とを備えている。それぞれの補助記憶装置19,29,39には、データ41,42,43、学習データ4、推定用アルゴリズム5、学習データ作成プログラム、機械学習プログラム、推定プログラム等が適宜記憶されている。
【0030】
推定装置3には、ハードウェアの構成として、環境測定装置6と撮像装置7とが接続されている。環境測定装置6および撮像装置7は、推定装置3のユーザである生産者が、圃場80における環境データと植物81の葉を含む可視画像とを取得するために用いられる。
【0031】
本実施形態では、環境測定装置6は、圃場80における環境データとして、光合成光量子束密度PPFDと、雰囲気のCO2の濃度と、雰囲気の気温と、雰囲気の湿度とを測定する。環境測定装置6は、これら環境データのそれぞれを測定するための各種のセンサを備えている。例えば、光合成光量子束密度PPFDを測定するセンサには、公知のPPFDセンサを用いることができる。CO2の濃度を測定するセンサには公知のCO2センサを用いることができ、気温および湿度を測定するセンサには公知の温湿度センサを用いることができる。これらセンサはすべて手持ち型の機器で実現することができ、環境測定装置6は手軽に使用することが可能である。
【0032】
撮像装置7は、圃場80において栽培されている植物81の葉を含む可視画像を撮像し、画像データを取得する。圃場90において取得される可視画像42と同様に、本実施形態では、後述する葉に関する指標を算出するために、撮像装置7は、植物81の群落を含む撮影角度での画像と、植物81の葉を含む別角度からの画像とを撮像する。別角度からの画像は、植物81の直下視画像であり、撮像範囲に一株の植物81の葉が概ね全て含まれている画像である。撮像装置7にはデジタルカメラ7を用いることができる。
【0033】
なお、後述する
図8に示すように、本実施形態では、推定装置3は表示装置8を備えている。表示装置8には、例えば液晶モニタを用いることができ、推定装置3のユーザである生産者に情報を表示する。また、推定装置3には、任意の構成として、入力装置9を接続することができる。入力装置9には、例えばキーボード、タッチパネル、マウス等を用いることができ、ユーザからの入力操作を受け付ける。推定装置3は、例えばユーザが環境測定装置6を用いて測定した環境データの値を、入力装置9を介して取得することもできる。表示装置8と入力装置9とが一体化されたタッチパネルを、推定装置3に接続してもよい。
【0034】
[学習データ作成装置]
図2は、本発明の一実施形態に係る学習データ作成装置および機械学習装置の機能を説明するためのブロック図である。
【0035】
学習データ作成装置1は、機能ブロックとして、個葉葉温算出部11と、指標算出部12と、学習データ作成部13とを備えている。指標算出部12は、機能ブロックとして、葉領域抽出部121と、葉面積指数算出部122と、受光量算出部123とを備えている。これらの機能ブロックは、集積回路等を用いてハードウェアとして実装することができる。或いは、これらの機能ブロックは、学習データ作成装置1のプロセッサが、学習データ作成プログラムを学習データ作成装置1の主記憶装置に読み出して実行することにより、ソフトウェアとして実装することもできる。なお、指標算出部12は任意の構成であり省略することができる。
【0036】
個葉葉温算出部11は、圃場90における環境データ41に基づいて個葉葉温を算出する。本実施形態では、個葉葉温算出部11は、環境データ41と、植物生理生態モデル(plant physio-ecological model)とに基づいて、個葉葉温(single-leaf photosynthetic rate)を算出する。
【0037】
図3は、本発明において導入する植物生理生態モデルを説明するための模式的な図である。(A)は葉緑体を示しており、(B)は葉の断面図を示している。
図4は、植物生理生態モデルに含まれる熱収支方程式を説明するための模式的な図である。
【0038】
本実施形態では、植物生理生態モデルは、光合成生化学モデル(biochemical model of photosynthetic)と、輸送方程式と、気孔コンダクタンスモデルと、熱収支方程式とを含む。光合成生化学モデルは、(A)に示す葉緑体における作用に関連する。輸送方程式、気孔コンダクタンスモデル、および熱収支方程式は、
図3(B)に示す葉における作用に関連する。本実施形態では、これら4つのモデルを表す以下のそれぞれの数式に環境データ41の値を代入して、連立方程式を解くことにより、個葉葉温T
Lを算出する。
【0039】
光合成生化学モデルは次の式1~式4で表される。
【数1】
光合成生化学モデルでは、光合成速度を、CO
2濃度に律速されるRubisco-limited段階における光合成速度A
L,cと、光量により主に律速されるRuBP-limited段階における光合成速度A
L,jとの2つの律速段階における2つの光合成速度に分けて、これら2つの光合成速度A
L,c,A
L,jのうち、速度が低い方を個葉光合成速度A
Lとしている。
【0040】
なお、
図3(B)に示す葉肉コンダクタンスg
mは実測が困難である。そのため、本実施形態において導入する光合成生化学モデルでは、葉緑体内のCO
2濃度C
cと葉内細胞間のCO
2濃度C
iとの間にほとんど差が無いと仮定して、C
c=C
iとしている。
【0041】
輸送方程式は次の式5および式6で表される。
【数2】
気孔コンダクタンスモデルは次の式7で表される。
【数3】
熱収支方程式は次の式8および式9で表される。
【数4】
式1~式9、
図3および
図4中に表されている変数について説明する。
【0042】
PPFD、Ca、Ta、およびVPDaはそれぞれ、光合成光量子束密度PPFD、雰囲気のCO2濃度、雰囲気の気温、および雰囲気の湿度であり、圃場90,80において環境データとして取得される。
【0043】
AL,AL,c,AL,jは光合成速度(単位[μmol・m-2・s-1])を意味する。ALは個葉光合成速度である。AL,cはRubisco-limited段階における光合成速度である。AL,jはRuBP-limited段階における光合成速度である。
【0044】
Vcmaxは、カルボキシル化の最大速度(単位[μmol・m-2・s-1])であり、植物の種類毎に定める値である。Rdは、日中の呼吸数(day respiration rate)(単位[μmol・m-2・s-1])である。Γ*は、日中の呼吸数Rdが無い場合のCO2同化のCO2補償点(単位[μmol・m-2・s-1])である。
【0045】
Ci,Cc,Csは葉のCO2濃度(単位[μmol・mol-1])を意味する。Ciは葉内細胞間のCO2濃度である。Ccは葉緑体内のCO2濃度である。Csは葉の表面のCO2濃度である。Oは葉内細胞間のO2濃度(単位[mol・mol-1])である。
【0046】
Kc,KOはMichaelis-Menten定数(単位[μmol・mol-1])である。Kcはカルボキシル化のMichaelis-Menten定数である。KOはカルボキシル化酸素化のMichaelis-Menten定数である。
【0047】
Jは電子伝達速度(単位[μmol・m-2・s-1])であり、植物の種類毎に定める値である。Jmaxは電子伝達速度Jの最大値である。θはJ-PPFD曲線のコンベクシティ(convexity)である。φはJ-PPFD曲線の初期勾配(initial slope)である。
【0048】
gs,ga,gmは葉のコンダクタンス(単位[mol・m-2・s-1])を意味する。gsは気孔コンダクタンスである。gaは葉面境界層コンダクタンスである。gmは葉肉コンダクタンスである。g0,g1は、気孔コンダクタンスgsのフィッティング・パラメータである。VPDLは葉面と雰囲気との飽差(単位[Pa])である.
ρaは空気の密度(1.204kg・m-3)である。Cpは定圧力での空気の比熱(1010J・kg-1・K-1)である。
【0049】
TL,γ,Rni,s,gHR,gLWは熱収支方程式を記述する変数である。TLは葉温(単位[K])である。γは乾湿計定数(単位[Pa・K-1])である。Rniは等温純放射(単位[W・m-2・s-1])である。sは温度に対する飽和水蒸気圧の傾き(単位[Pa・K-1])である。gHRは放射と葉面境界層における顕熱輸送との合計コンダクタンス(単位[m・s-1])である。gLWは葉面境界層と気孔における水分子輸送の合成コンダクタンス(単位[m・s-1])である。
【0050】
αs,Rs,αl,Rld,Rlu,H,λElも熱収支方程式を記述する変数である。Rsは、太陽からの短波放射による熱フラックスである。Rld,Rluは、それぞれ、葉に入射する下向き長波、葉から放射する上向き長波による熱フラックスである。αsおよびαlは、それぞれの波長に応じた葉の吸収係数である。HおよびλElはそれぞれ、外環境との温度差で奪われる顕熱フラックス、および蒸散で奪われる潜熱フラックスである。
【0051】
式1~式9中に表されている変数のうち、別の測定により予め値を決定しておく変数およびその値を以下に示す。以下に示す値はすべて葉温が25℃における値である。
【0052】
Vcmax=90.58[μmol・m-2・s-1]
Jmax=154.99[μmol・m-2・s-1]
Rd=1.39[μmol・m-2・s-1]
Kc=404.9[μmol・mol-1]
KO=278.4[μmol・mol-1]
Γ*=42.75[μmol・mol-1]
θ=0.7
φ=0.36
g0=0.034[mol・m-2・s-1]
g1=4.43
変数Vcmax,Jmax,Rd,Kc,KO,Γ*は温度依存性を有するパラメータである。変数Vcmax,Rd,Kc,KO,Γ*の値は、葉温が25℃のときの値をもとにアレニウス式により求める。変数Jmaxは葉温が25℃のときの値をもとに修正アレニウス式により求める。アレニウス式は公知であるので本明細書における詳細な説明は省略する。
【0053】
再び
図2を参照する。指標算出部12は、圃場90において栽培されている植物91の葉を含む画像42に基づいて、葉に関する指標を算出する。本実施形態では、葉に関する指標として、葉面積指数(Leaf Area Index; LAI)と、葉の受光量とを算出する。これら指標の算出に先立って、葉領域抽出部121が葉の領域を抽出する。
【0054】
葉領域抽出部121は、人工知能を用いた画像解析により、植物91の葉を含む画像42において葉の領域を抽出する。本実施形態では、葉領域抽出部121は、人工知能の一例である深層学習を用いた公知の画像認識の手法に基づいて、画像42において葉の領域を抽出する。葉領域抽出部121は、葉以外の領域であると判別した領域を黒色に置き換える。後述するように、黒色の領域は相対輝度Lの値がゼロである。
【0055】
図5は、人工知能を用いた画像解析により葉の領域を抽出した一例を示す図である。(A)は葉の領域を抽出する前の画像であり、(B)は人工知能により葉の領域を抽出した後の画像である。
【0056】
(A)および(B)において、符号101で示す領域は植物の葉の領域である。(A)において符号102で示す領域は、植物を栽培する土壌を覆うビニールシートである。例えば葉領域抽出部121は、人工知能を用いた画像解析により、(A)において符号102で示すこのようなビニールシートの領域を、葉以外の領域であると判別する。このビニールシートの領域のように、葉以外の領域であると判別された領域は、(B)において符号103で示すように黒色で表示されている。
【0057】
再び
図2を参照する。葉面積指数算出部122は、植物91の葉を含む画像42を二値化することにより得られる、画像42において葉以外の領域が占める割合を用いて、葉面積指数LAIを算出する。例示的には、画像の二値化とは画像の白黒化を意味する。本実施形態では、植物91の葉を含む画像42は、植物91を天井面から地面に向かって見下ろした直下視画像である。このような直下視画像を二値化(すなわち白黒化)することにより、葉を含む画像42を葉の領域a
Lと葉以外の領域a
NLとに二分すると、葉以外の領域が占める割合P
0は、P
0=a
NL/(a
NL+a
L)と表される。P
0を用いると、葉面積指数LAIは、次の式10に基づいて算出することができる。
【数5】
葉面積指数LAIの算出について詳述する。植物の株を天井面から地面に向かって見下ろした直下視画像を考える。このような直下視画像において、大きさがLの葉面積指数を有する株を、鉛直方向下向きに株の表面から底面にかけて十分に大きな数のN個の層に分割することを考える。分割したそれぞれの層内には、株が有する葉の一部が含まれていることとする。このとき以下の4つの事項を仮定する。
【0058】
仮定1:葉は方位的に均一かつ空間的にランダムに分布している。
【0059】
仮定2:各層が有する葉面積指数は等しい。すなわちL/N=ΔLである。
【0060】
仮定3:光線は鉛直下向きに照射され、各層において光線が葉に複数回接触する確率は、光線が葉に一回のみ接触する確率よりも極めて小さくゼロである。
【0061】
仮定4:各層において光線が葉に接触する確率は、仮定1に基づいてすべての層において等しい。その確率は、各層が有する葉面積指数を水平投影した値に等しく、係数をGとするとGΔLと表すことができ、光線が葉に接触しない確率は(1-GΔL)と表すことができる。
【0062】
光線が株の表面から底面にかけてN個の層を通過する際に、すべての層において葉と接触しない確率P
0は、組合せの記号Cを用いて次の式11のように記述される。
【数6】
ここでNを無限に大きくすると、式11は次の式12のように変形することができる。
【数7】
式12は、確率P
0が葉面積指数の大きさLのポアソン分布の関係にあることを示している。ここで、葉の傾斜角が球面分布していると仮定すると、係数G=0.5と近似することができる。この近似により式12を変形することにより、次の式13を得ることができる。
【数8】
式13により、植物の株の直下視画像において葉以外の領域が占める割合(P
0)から、葉面積指数LAIを算出することができる。
【0063】
受光量算出部123は、植物91の葉を含む画像42について、葉の領域の相対輝度を抽出することにより、その値を受光量と見なす。
【0064】
相対輝度は、基準白色に対して正規化された値である。RGB形式の画像において或る画素のRGB値をそれぞれR,G,Bで表すと、そのベクトル長をその画素の相対輝度Lと定義した。
相対輝度L= (R2 + G2 + B2)1/2 (式14)
【0065】
受光量算出部123は、RGB形式の画像42を輝度画像に変換し、変換した輝度画像において、葉の領域に含まれるそれぞれの画素について相対輝度を算出する。なお、本実施形態では、RGB形式の画像42は、葉領域抽出部121により葉以外の領域は既に黒色に置き換えられている。黒色のRGB値は、R=0、G=0、B=0である。すなわち、黒色の領域については相対輝度Lの値がゼロとなり、RGB形式の画像42において黒色に置き換えられている葉以外の領域については、相対輝度Lの積算値に寄与しない。
【0066】
学習データ作成部13は、圃場90において栽培されている植物91の葉を含む熱画像43を、個葉葉温と、葉に関する指標と、植物91の葉を含む可視画像42とに関連付けて、学習データ4を作成する。学習データ4は、推定用アルゴリズム5の学習に用いるデータセットであり、入力層51に設定されるデータと出力層53に設定されるデータとがセットにされたデータである。作成した学習データ4は例えば補助記憶装置19に記憶される。
【0067】
作成した学習データ4は、学習データ作成装置1から機械学習装置2へ送信されて、機械学習装置2の補助記憶装置29に記憶される。機械学習装置2は、受信した学習データ4を用いて、推定用アルゴリズム5の機械学習を行う。
【0068】
[機械学習装置]
再び
図2を参照する。機械学習装置2は、機能ブロックとして学習部21を備えている。学習部21は、集積回路等を用いてハードウェアとして実装することができる。或いは、学習部21は、機械学習装置2のプロセッサが、機械学習プログラムを機械学習装置2の主記憶装置に読み出して実行することにより、ソフトウェアとして実装することもできる。
【0069】
学習部21は、学習データ作成装置1によって作成された学習データ4に基づいて、植物の群落の葉温を推定する推定用アルゴリズム5を学習する。本実施形態では、学習に用いる推定用アルゴリズム5を、推定する葉温に応じて使い分ける。群落の葉温の時系列の温度を学習し推定する場合、学習部21は、全結合ニューラルネットワークを推定用アルゴリズム5に使用し、群落の葉温の空間分布を示す熱画像を学習し推定する場合、学習部21は、畳み込みニューラルネットワークを推定用アルゴリズム5に使用する。学習済の推定用アルゴリズム5は、機械学習装置2から推定装置3へ送信されて、推定装置3の補助記憶装置39に記憶される。推定装置3は、受信した学習済みの推定用アルゴリズム5を用いて、生産者の圃場80における植物81の群落の葉温を推定する。
【0070】
・時系列の葉温の学習
図6は、本発明の一実施形態に係る推定用アルゴリズムに用いる全結合ニューラルネットワークを説明するための模式的な図である。
【0071】
本実施形態では、時系列の葉温を学習する場合の推定用アルゴリズム5は、全結合型の人工ニューラルネットワーク(Artificial Neural Network; ANN)を用いて構成されている。推定用アルゴリズム5は、ニューラルネットワークを構成する層として、入力層51と、中間層52と、出力層53とを含んでいる。学習データ4は、それぞれが互いに関連付けられた、植物91の葉を含む熱画像43と、個葉葉温と、葉に関する指標と、植物91の葉を含む可視画像42とから構成されている。学習部21は、個葉葉温と葉に関する指標と植物91の葉を含む可視画像42とを入力層に設定し、植物91の葉を含む熱画像43を出力層に設定して、推定用アルゴリズム5を学習する。学習済の推定用アルゴリズム5は補助記憶装置29に記憶される。
【0072】
熱画像43は、実測された植物の群落の葉温を画素毎に持ち、これにより、入力層51に入力される個葉葉温、葉に関する指標、および可視画像42の輝度情報と、出力層53に設定される熱画像43の輝度情報との対応関係が、推定用アルゴリズムに学習される。入力層51に入力する可視画像42の輝度情報は、可視画像42の平均輝度とすることができ、出力層53に設定する平均葉温の値は熱画像43から算出することができる。この場合、推定用アルゴリズム5は、時系列の平均葉温を学習し推定することが可能となる。同様に、推定用アルゴリズム5は、可視画像42の最大輝度と熱画像43から算出される最大葉温とを学習し推定することが可能となり、可視画像42の最小輝度と熱画像43から算出される最小葉温とを学習し推定することが可能となる。
【0073】
なお、推定用アルゴリズムの学習を行う際に、出力層53に対する説明性が高い学習データを入力層51に設定することにより、学習データ4の量が従来よりも少量であっても、高い精度での推定が可能になる。すなわち、入力層51に設定するデータと、出力層53に設定するデータとの間の論理的な因果関係が向上するほど、より少ない量の学習データで推定用アルゴリズム5の学習を行うことができる。この目的のために、本実施形態では、植物生理生態モデルに基づいて環境データ41から植物91の個葉葉温を算出し、算出した個葉葉温を推定用アルゴリズム5の説明変数として入力している。
【0074】
・葉温の空間分布の学習
図7は、本発明の一実施形態に係る推定用アルゴリズムに用いる畳み込みニューラルネットワークを説明するための模式的な図である。図中、(i)に示す植物91の可視画像42は、(ii)に示すように葉の部分が抽出された後、(iii)から(iv)に示すように、畳み込み処理がなされて、(v)に示す推定熱画像が生成される。
【0075】
本実施形態では、葉温の空間分布を学習する場合の推定用アルゴリズム5は、畳み込みニューラルネットワーク(Convolutional Neural Network)を用いて構成されている。例示する推定用アルゴリズム5のニューラルネットワークは、中間層に5x5ピクセルと1x1ピクセルのフィルタを持つ畳み込み層を含んでいる。プーリング層は設けず、入力画像と同サイズの葉温推定画像43Eを生成する学習モデルである。
【0076】
時系列の葉温を学習する場合と同様に、学習データ4は、それぞれが互いに関連付けられた、植物91の葉を含む熱画像43と、個葉葉温と、葉に関する指標と、植物91の葉を含む可視画像42とから構成されている。学習部21は、個葉葉温と葉に関する指標と植物91の葉を含む可視画像42とを入力層に設定し、植物91の葉を含む熱画像43を出力層に設定して、推定用アルゴリズム5を学習する。学習済の推定用アルゴリズム5は補助記憶装置29に記憶される。
【0077】
[推定装置]
図8は、本発明の一実施形態に係る推定装置の機能を説明するためのブロック図である。
【0078】
推定装置3は、機能ブロックとして、環境データ取得部31と、植物画像取得部32と、個葉葉温算出部33と、指標算出部34と、群落葉温推定部35と、熱画像作成部36と、露点温度算出部37と、結露予測部38とを備えている。指標算出部34は、機能ブロックとして、葉領域抽出部341と、葉面積指数算出部342と、受光量算出部343とを備えている。これらの機能ブロックは、集積回路等を用いてハードウェアとして実装することができる。或いは、これらの機能ブロックは、推定装置3のプロセッサが、推定プログラムを推定装置3の主記憶装置に読み出して実行することにより、ソフトウェアとして実装することもできる。なお、指標算出部34、熱画像作成部36、露点温度算出部37、および結露予測部38は任意の構成であり、省略することができる。
【0079】
推定装置3には、環境測定装置6と撮像装置7とが接続されている。推定装置3のユーザは、環境測定装置6および撮像装置7を用いて、圃場80における環境データと植物81の葉を含む画像とを取得する。
【0080】
環境データ取得部31は、圃場80における環境データを環境測定装置6から取得する。取得する環境データの種類は、学習データ作成装置1において学習データ4の作成に用いた環境データ41と同じである。本実施形態では、環境測定装置6および撮像装置7を用いて、圃場80における環境データとして、光合成光量子束密度PPFDと、雰囲気のCO2濃度Caと、雰囲気の気温Taと、雰囲気の湿度VPDaとを取得する。
【0081】
植物画像取得部32は、圃場80において栽培されている植物81の葉を含む可視画像を撮像装置7から取得する。推定装置3により葉温を推定する際には、植物81の熱画像を取得する必要は無い。本実施形態では、植物81の葉を含む可視画像を取得する方法は、圃場90において植物91の葉を含む可視画像を取得する方法と同じである。すなわち、撮像される植物81の葉を含む可視画像は、撮像装置7を用いて撮像され、植物81の群落を含む撮影角度で撮像された画像と、植物81の葉を含む別角度からの画像とのペアの画像データが取得される。別角度からの画像は、植物81を上方から地面に向かって見下ろした直下視画像であり、撮像範囲に一株の植物81の葉が概ね全て含まれている画像である。撮像装置7により撮像されるペアの可視画像の色空間はRGB形式である。
【0082】
個葉葉温算出部33は、
図2に示す学習データ作成装置1の個葉葉温算出部11と同一の機能を有している。個葉葉温算出部33は、環境データ取得部31により取得した、圃場80における環境データに基づいて、個葉葉温を算出する。
【0083】
指標算出部34は、
図2に示す学習データ作成装置1の指標算出部12と同一の機能を有している。すなわち、指標算出部34が備える葉領域抽出部341、葉面積指数算出部342、および受光量算出部343は、指標算出部12が備える葉領域抽出部121、葉面積指数算出部122、および受光量算出部123と同一の機能を有している。
【0084】
指標算出部34は、植物画像取得部32により取得した、圃場80において栽培されている植物81の葉を含む画像に基づいて、葉に関する指標を算出する。葉領域抽出部341は、人工知能を用いた画像解析により、植物81の葉を含む画像において葉の領域を抽出する。葉面積指数算出部342は、植物81の葉を含む画像を二値化することにより得られる、画像において葉以外の領域が占める割合を用いて、葉面積指数LAIを算出する。受光量算出部343は、植物81の葉を含む画像について、葉の領域の相対輝度を抽出することにより、その値を受光量と見なす。
【0085】
群落葉温推定部35は、機械学習装置2によって学習された推定用アルゴリズム5に従って、個葉葉温と、葉に関する指標と、植物81の葉を含む可視画像とに基づいて、植物81の群落の葉温を推定する。学習に用いた推定用アルゴリズム5に応じて、推定装置3は、群落の葉温の時系列の温度を推定、または、群落の葉温の空間分布を示す熱画像43Eを推定することができる。群落の葉温の時系列の温度を推定する場合、群落葉温推定部35は、学習済みの全結合ニューラルネットワークを推定用アルゴリズム5に使用し、群落の葉温の空間分布を示す熱画像を推定する場合、群落葉温推定部35は、学習済みの畳み込みニューラルネットワークを推定用アルゴリズム5に使用する。
【0086】
補助記憶装置39には、学習済の推定用アルゴリズム5が記憶されている。群落葉温推定部35は、個葉葉温算出部33により算出した個葉葉温と、指標算出部34により算出した葉に関する指標と、植物画像取得部32により取得した植物81の葉を含む可視画像とを、学習済の推定用アルゴリズム5の入力層51に入力することにより、植物81の群落の葉温の推定値が出力層53から出力される。本実施形態では、出力層53から出力される、得られた推定値は、表示装置8に表示され、推定装置3のユーザである生産者に提示される。
【0087】
これにより、小規模な圃場80における生産者は、赤外線カメラのような高価な設備を用いることなく、生産者が運営する圃場80において、植物81の群落の葉温を手軽に把握することが可能になる。
【0088】
熱画像作成部36は、群落葉温推定部35により推定した植物81の群落の葉温に基づいて、植物81の熱画像(推定熱画像43E)を作成する。作成された推定熱画像43Eは、葉温の空間分布を表しており、表示装置8に表示され、推定装置3のユーザである生産者に提示される。
【0089】
露点温度算出部37は、環境データ取得部31により取得した、圃場80における環境データに基づいて、植物81が栽培されている雰囲気の露点を算出する。
【0090】
結露予測部38は、群落葉温推定部35により推定した植物81の群落の葉温と、露点温度算出部37により算出した雰囲気の露点とに基づいて、圃場80において栽培されている植物81の葉の結露を予測する。本実施形態では、葉温と露点との温度差に基づいて植物81の葉の結露を予測する。例えば、推定された葉温が雰囲気の露点よりも低いほど、結露の可能性が高いと予測する。予測結果は、例えば、植物画像取得部32により取得した、植物81の葉を含む可視画像に対応して表示される。
【0091】
[機械学習の手順]
図9および
図10は、本発明の一実施形態に係る機械学習装置を用いて推定用アルゴリズムの機械学習を行う手順を説明するためのフローチャートである。
【0092】
機械学習の手順は、例えば試験研究用の圃場90の管理者である農業試験場の研究者により、学習データ作成装置1および機械学習装置2を用いて行われる。
【0093】
機械学習の手順は、推定用アルゴリズム5の学習に用いる学習データ4を作成するステップS1~ステップS6と、作成された学習データ4に基づいて推定用アルゴリズム5を学習するステップS7とを含む。ステップS1~ステップS6の手順は、学習データ作成装置1を用いて行われ、ステップS7の手順は機械学習装置2を用いて行われる。
【0094】
ステップS1において、圃場90における環境データ41を取得する。ステップS2において、圃場90において栽培されている植物91の葉を含む可視画像42および熱画像43のペアを取得する。例示的には、環境データ41、葉を含む可視画像42および熱画像43のペアは、30分毎に測定し、合計3日程度のデータを取得すれば葉温推定モデルを作成することができる。なお、葉温の季節変動も考慮したモデルとする場合には、1年間のデータを準備することが望ましい。
なお、葉を含む可視画像42において、式13で計算される葉面積指数Lの値の変化は、一日のうちでは無視できる程度に小さい。よって、同じ日に測定した環境データ41について、データ41を測定した日と同じ日に撮像した可視画像42および熱画像43を使いまわす(reuse)ことができる。
【0095】
図1に示すように、環境データ41は、例えば農業試験場の研究者が、圃場90に設置されている環境測定装置92を用いて取得する。植物91の葉を含む可視画像42および熱画像43のペアは、赤外線カメラ99a(サーマルカメラ99a)を用いて取得される。これら取得した環境データ41、植物91の葉を含む可視画像データ42、および植物91の葉を含む熱画像データ43は、学習データ作成装置1の補助記憶装置19に記憶される。
【0096】
ステップS3(個葉葉温算出ステップ)において、個葉葉温算出部11は、取得した環境データ41に基づいて個葉葉温を算出する。
【0097】
ステップS4(指標算出ステップ)において、指標算出部12は、取得した植物91の葉を含む可視画像データ42に基づいて、葉に関する指標を算出する。ステップS4では、次に説明するステップS4a~ステップS4cの手順を行う。
【0098】
ステップS4a(葉領域抽出ステップ)において、葉領域抽出部121は、人工知能を用いた画像解析により、植物91の葉を含む可視画像42において葉の領域を抽出する。
【0099】
ステップS4b(葉面積指数算出ステップ)において、葉面積指数算出部122は、植物91の葉を含む可視画像42を二値化することにより得られる、可視画像42において葉以外の領域が占める割合を用いて、葉面積指数を算出する。
【0100】
ステップS4c(受光量算出ステップ)において、受光量算出部123は、植物91の葉を含む可視画像42について、葉の領域の相対輝度を抽出することにより、その値を受光量と見なす。
【0101】
ステップS5(学習データ作成ステップ)において、学習データ作成部13は、圃場90において栽培されている植物91の葉を含む熱画像43を、ステップS3において算出した個葉葉温と、ステップS4において算出した葉に関する指標と、植物91の葉を含む可視画像42とに関連付けて、学習データ4を作成する。作成した学習データ4は補助記憶装置19に記憶される。
【0102】
また、学習データ4は、学習データ作成装置1から機械学習装置2へ送信されて、機械学習装置2の補助記憶装置29に記憶される。機械学習装置2は、受信した学習データ4を用いて、推定用アルゴリズム5の機械学習を行う。
【0103】
ステップS6において、学習データ4の数が十分であるか否かを、例えば学習データ作成装置1自身が判定する。学習データ4の数が十分ではない場合は、ステップS1~ステップS5の手順を繰り返す。学習データ4の数が十分である場合は、ステップS7の手順を行う。例示的には、ステップS7の手順を行うために必要な学習データ4の数は、約144セット程度である。
【0104】
ステップS7(学習ステップ)において、学習部21は、学習データ作成装置1において作成された学習データ4に基づいて、植物の群落の葉温を推定する推定用アルゴリズム5を学習する。学習済の推定用アルゴリズム5は補助記憶装置29に記憶される。
【0105】
また、学習済の推定用アルゴリズム5は、機械学習装置2から推定装置3へ送信されて、推定装置3の補助記憶装置39に記憶される。推定装置3は、受信した学習済の推定用アルゴリズム5を用いて、生産者の圃場80における植物81の群落の葉温を推定する。
【0106】
[推定の手順]
図11および
図12は、本発明の一実施形態に係る推定装置と学習済の推定用アルゴリズムとを用いて葉温を推定する手順を説明するためのフローチャートである。
【0107】
推定の手順は、例えば小規模な圃場80における生産者により、推定装置3を用いて行われる。推定の手順は、次のステップS11~ステップS15を含む。
【0108】
ステップS11(環境データ取得ステップ)において、圃場80における環境データを取得する。ステップS12(植物画像取得ステップ)において、圃場80において栽培されている植物81の葉を含む可視画像を取得する。
【0109】
図1に示すように、環境データおよび植物81の葉を含む可視画像は、例えば植物81を栽培する農家における生産者が、圃場80において環境測定装置6および撮像装置7を用いて取得する。
【0110】
ステップS13(個葉葉温算出ステップ)において、個葉葉温算出部33は、取得した環境データに基づいて個葉葉温を算出する。
【0111】
ステップS14(指標算出ステップ)において、指標算出部34は、取得した植物81の葉を含む可視画像に基づいて、葉に関する指標を算出する。ステップS14では、次に説明するステップS14a~ステップS14cの手順を行う。
【0112】
ステップS14a(葉領域抽出ステップ)において、葉領域抽出部341は、人工知能を用いた画像解析により、植物81の葉を含む可視画像において葉の領域を抽出する。
【0113】
ステップS14b(葉面積指数算出ステップ)において、葉面積指数算出部342は、植物81の葉を含む可視画像を二値化することにより得られる、画像において葉以外の領域が占める割合を用いて、葉面積指数を算出する。
【0114】
ステップS14c(受光量算出ステップ)において、受光量算出部343は、植物81の葉を含む可視画像について、葉の領域の相対輝度を抽出することにより、その値を受光量と見なす。
【0115】
ステップS15(群落葉温推定ステップ)において、群落葉温推定部35は、機械学習方法によって学習された推定用アルゴリズム5に従って、ステップS13において算出した個葉葉温と、ステップS14において算出した葉に関する指標と、ステップS12において取得した植物81の可視画像とに基づいて、植物81の群落の葉温を推定する。得られた推定値は、例えば表示装置8に表示され、推定装置3のユーザである生産者に提示される。
【0116】
これにより、小規模な圃場80における生産者は、赤外線カメラのような高価な設備を用いることなく、生産者が運営する圃場80において、植物81の群落の葉温を手軽に把握することが可能になる。
【0117】
任意の処理として、推定の手順は、ステップS15に続いて以下のステップS16~S18を含むことができる。
【0118】
ステップS16(熱画像作成ステップ)において、熱画像作成部36は、群落葉温推定部35により推定した植物81の群落の葉温に基づいて、植物81の熱画像を作成する。作成された熱画像は、葉温の空間分布を表しており、推定装置3のユーザである生産者に提示される。
【0119】
ステップS17(露点温度算出ステップ)において、露点温度算出部37は、環境データ取得部31により取得した、圃場80における環境データに基づいて、植物81が栽培されている雰囲気の露点を算出する。
【0120】
ステップS18(結露予測ステップ)において、結露予測部38は、ステップS15において推定した植物81の群落の葉温と、ステップS17において算出した雰囲気の露点とに基づいて、圃場80において栽培されている植物81の葉の結露を予測する。予測結果は、例えばステップS12において取得した植物81の葉を含む可視画像に対応して表示する。結露の予測結果を植物81の群落の可視画像に対応して表示する例を
図13に示す。
【0121】
[効果]
以上、本発明の一実施形態に係る学習データ作成装置、機械学習装置、および推定装置、並びに学習データ作成方法、機械学習方法、および推定方法によると、植物の葉温を手軽に把握することができる。
【0122】
これにより、小規模な圃場80における生産者は、赤外線カメラのような高価な設備を用いることなく、生産者が運営する圃場80において、植物81の群落の葉温を手軽に把握することが可能になる。
【0123】
生産者が、圃場80において植物81の葉温を手軽に把握することが可能になると、営農現場において、葉面結露の発生を生産者の経験や勘に頼らずに把握することが可能になる。また、葉温が急激に上昇した場合には、蒸散が止まり、水が不足していることを示しており、従来は萎れるまで分からなかった作物の水ストレス状態をより早く知ることも可能になる。これにより、営農現場において作物のより良い栽培環境を実現することが可能になり、農業の効率化が促進される。
【0124】
営農現場において生産者が推定に用いる推定装置3には、タブレットPCやスマートフォン等の機器を用いることができ、さらに手持ち型の環境測定装置6をこのような推定装置3に通信可能に接続することにより、生産者は葉温の推定を手軽に行うことが可能になる。
【0125】
また、生産者は、このような葉温の推定を営農現場において日々行うことにより、作物の病害の原因となる葉面結露の可能性を、時系列で把握することも可能になる。これにより、葉面結露を防止するための対策の要否を、営農現場においてより適切に判断することが可能になり、農業の効率化がより促進される。
【0126】
[その他の形態]
以上、本発明を特定の実施形態によって説明したが、本発明は上記した実施形態に限定されるものではない。
【0127】
上記実施形態では、学習データ作成装置1は指標算出部12を備え、推定装置3は指標算出部34を備えているが、指標算出部12,34は任意の構成であり省略することができる。この場合、学習データ作成部13は、植物91の葉を含む熱画像43を、個葉葉温と、植物91の葉を含む可視画像42とに関連付けて、学習データ4を作成する。学習部21は、個葉葉温と、植物91の葉を含む可視画像42とを入力層に設定し、植物91の葉を含む熱画像43を出力層に設定して、推定用アルゴリズム5を学習する。群落葉温推定部35は、機械学習装置2によって学習された推定用アルゴリズム5に従って、個葉葉温と、植物81の葉を含む可視画像とに基づいて、植物81の群落の葉温を推定する。
【0128】
上記実施形態では、学習データ作成部13は、植物91の葉を含む熱画像43を、個葉葉温と、葉に関する指標と、植物91の葉を含む可視画像42とに関連付けて、学習データ4を作成し、且つ、群落葉温推定部35は、機械学習装置2によって学習された推定用アルゴリズム5に従って、個葉葉温と、葉に関する指標と、植物81の葉を含む可視画像とに基づいて、植物81の群落の葉温を推定しているが、学習データ4として関連付けるデータはこれらに限定されないし、植物81の群落の葉温を推定する際に、学習済みの推定用アルゴリズム5の入力層51に入力するデータはこれらに限定されない。他の実施形態では、学習データ作成部13は、植物91の葉を含む熱画像43を、植物91が栽培されている雰囲気の気温にさらに関連付けることができ、学習部21は、植物91が栽培されている雰囲気の気温がさらに関連付けられた学習データ4に基づいて、植物の群落の葉温を推定する推定用アルゴリズム5を学習することができ、且つ、群落葉温推定部35は、学習済の推定用アルゴリズム5の入力層51に、植物81が栽培されている雰囲気の気温をさらに入力することにより、植物81の群落の葉温の推定値を出力層53から出力することができる。
【0129】
上記実施形態では、推定用アルゴリズム5の構成に人工ニューラルネットワークを用いているが、推定用アルゴリズム5は人工ニューラルネットワークに限定されない。学習データを用いて推定用アルゴリズムを学習することができる限り、推定用アルゴリズムには種々の機械学習アルゴリズムを用いることができる。
【0130】
上記実施形態では、指標算出部12は、葉に関する指標として、葉面積指数および葉の受光量の両方を算出しているが、学習データ4の作成に用いられる、葉に関する指標として算出する指標は、葉面積指数および葉の受光量の少なくともいずれかとすることができる。なお、指標算出部12自体が任意の構成であるので、葉に関する指標を算出すること自体を省略することもできる。
【0131】
上記実施形態では、学習データ作成装置1と機械学習装置2とはそれぞれ別の装置として構成されているが、これら学習データ作成装置1および機械学習装置2を一体化して一つの装置として構成することができる。
【0132】
上記実施形態では、学習データ作成装置1、機械学習装置2、および推定装置3は、ネットワーク10を介して互いに通信可能に接続されているが、これら学習データ作成装置1、機械学習装置2、および推定装置3は、例えばDVD-ROMやメモリカード等の記録媒体を介してデータ交換可能に接続することができる。
【0133】
上記実施形態では、圃場90の管理者が学習データ作成装置1および機械学習装置2を使用しているが、学習データ作成装置1および機械学習装置2を取り扱う者は圃場90の管理者に限定されない。例えば、圃場90におけるデータ41,42,43の取得を圃場90の管理者が行い、学習データの作成および推定用アルゴリズムの機械学習を、機械学習の技術に精通した、例えばデータサイエンティストが行うこともできる。
【0134】
上記実施形態では、学習データ作成装置1は一体の装置として実現されているが、学習データ作成装置1は一体の装置である必要はなく、プロセッサ、主記憶装置、補助記憶装置19等が別所に配置され、これらが互いにネットワークで通信可能に接続されていてもよい。機械学習装置2および推定装置3についても、学習データ作成装置1と同様である。また、推定装置3に接続される環境測定装置6、撮像装置7、表示装置8、および入力装置9についても、これらが一箇所に配置される必要はなく、それぞれが別所に配置されて互いにネットワークで通信可能に接続されていてもよい。
【0135】
上記実施形態では、学習データ作成装置1の各機能ブロックは、単一のプロセッサで実行されているが、これら各機能ブロックは単一のプロセッサで実行される必要はなく、複数のプロセッサで分散して実行されてもよい。機械学習装置2および推定装置3についても、学習データ作成装置1と同様である。
【0136】
学習データ作成装置1、機械学習装置2、および推定装置3の各機能ブロックは、一部または全部が、ネットワーク10を介して接続されるサーバ装置(図示せず)においてクラウド化されていてもよい。
【0137】
以下に本発明の実施例を示し、本発明の特徴をより明確にする。
【実施例0138】
実施例1では、推定装置により推定される群落の葉温の妥当性を検証した。検証に用いるデータは全て試験研究用の圃場において取得した。試験研究用の圃場において栽培した植物は、本実施例ではナスであった。
【0139】
検証は次の手順で行った。まず、試験研究用の圃場に設置した環境測定装置、熱画像カメラを用いて、妥当性の検証に用いる種々のデータを取得した。取得したデータは、圃場の環境データ、圃場において栽培されている植物(ナス)の可視画像データおよび熱画像データであった。これら種々のデータは、上記した実施形態のステップS1~ステップS2に示した態様に沿って、試験研究用の圃場において合計30日間にわたって取得した。以後、取得した環境データと、可視画像データと、熱画像データとの組み合わせを、データセットとして管理した。
【0140】
図14は、実施例1において植物の可視画像および熱画像のペアを取得した際の状況を説明する図である。
図14(A)は、赤外線カメラの配置を示す図である。
図14(B)は、(i)および(ii)に示すそれぞれの方向について取得した植物の可視画像および熱画像のペアの一例を示す図である。
【0141】
可視画像は、植物の群落を含む撮影角度での画像と、植物の葉を含む別角度からの画像とをそれぞれ取得した。
図14(A)に示すように、東向きに設置した赤外線カメラでは、植物に接近して可視画像および熱画像を撮像し、南向きに設置した赤外線カメラでは、植物の群落を含むようにハウス内の遠方から植物の可視画像および熱画像を撮像した。接近した東向きカメラ画像よりも、広い範囲を撮影した南向きカメラの画像の方が、葉温推定結果の精度は高い結果となった。
【0142】
次に、取得した合計30日分の複数のデータセットを所定の割合でランダムに分割した。本実施例では、取得した複数のデータセットを、トレーニング用:バリデーション用:テスト用=0.5:0.3:0.2の割合でランダムに分割した。
【0143】
次に、トレーニング用のデータセットに含まれる環境データと植物の可視画像データおよび熱画像データとを用いて、学習データ作成装置により学習データを作成した。この学習データは、上記した実施形態のステップS3~ステップS6に示した態様に沿って作成した。次に、このように作成した学習データを用いて、上記した実施形態のステップS7に示した態様に沿って、機械学習装置により推定用アルゴリズムを学習させた。学習データの作成および推定用アルゴリズムの学習に用いたトレーニング用のデータセットは、取得したデータセットの約50%に相当した。
【0144】
次に、推定装置により得られる推定値の妥当性を検証するために、この学習済の推定用アルゴリズムと推定装置とを用いて、テスト用のデータセットを推定装置が再現できるか否かを検証した。テスト用のデータセットは、取得したデータセットの残りの約20%に相当した。
【0145】
まず、テスト用のデータセットに含まれる環境データと植物の可視画像データとを用いて、個葉葉温を推定装置により推定した。この推定は、上記した実施形態のステップS13~ステップS15に示した態様に沿って行った。次に、推定装置により得られた群落の葉温の推定値と、その推定値の推定に用いたテスト用のデータセットに含まれる実際の測定値である、葉の領域に関して植物の熱画像から得られる温度とを比較することにより、推定装置による推定値の再現性を確認した。
【0146】
図15~
図17は、推定装置により推定された葉温の妥当性を検証するためのグラフおよび画像である。
【0147】
図15は、推定された葉温の時系列の変動を測定値と共に示すグラフである。グラフ中、(i)は推定された葉温を示し、(ii)は葉温の実測値を示す。(iii)は露点温度を示し、(iv)は外気温を示す。
【0148】
図16は、葉温の空間分布の妥当性を検証するための可視画像および熱画像である。(i)は実際に撮像された可視画像であり、(ii)は推定装置により推定された植物の推定熱画像であり、(iii)は実際に撮像された熱画像であり、(iv)は(iii)の実測による熱画像と(ii)の推定による熱画像との差分画像である。
【0149】
図17は、葉温の推定値と測定値との相関を示すグラフである。
図17(A)は時系列の平均葉温に関するグラフであり、
図17(B)は葉温の空間分布に関するグラフである。
図17(C)は、葉温の推定に用いたモデルの精度を評価するための指数(評価指数)を示す表である。(C)に示す表において、第1列に示す評価指数「平均値」は、(A)に示す平均葉温の推定に用いたモデルの精度を示している。第2列に示す評価指数「画像分布」は、(B)に示す葉温の空間分布の推定に用いたモデルの精度を示している。
【0150】
図15に示すように、推定値(i)と測定値(ii)とは概ね一致していた。また、
図17(A)~
図17(C)に示すように、推定値と測定値とは高い相関を示していた。
図17(C)に示すように、
図17(A)に示す時系列の平均葉温の推定値に関する決定係数R
2はR
2=0.970であり、平均平方二乗誤差(Root Mean Square Error; RMSE)はRMSE=0.813であった。
図17(B)に示す葉温の空間分布の推定値に関する決定係数R
2はR
2=0.921であり、平均平方二乗誤差はRMSE=1.49であった
【0151】
図16の(iv)差分画像に示すように、実測による熱画像と推定による熱画像との間の温度差は、概ね2℃以下に収まっていた。また、
図17(A)~
図17(C)に示すように、推定値と測定値とは高い相関を示していた。
【0152】
以上により、推定装置による推定値は、妥当性が高い値であることが確認された。