知財求人 - 知財ポータルサイト「IP Force」
特許7687669葉の温度取得装置、作物の育成システム、葉の温度の取得方法、葉の温度を取得するためのプログラムおよび作物の育成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-26
(45)【発行日】2025-06-03
(54)【発明の名称】葉の温度取得装置、作物の育成システム、葉の温度の取得方法、葉の温度を取得するためのプログラムおよび作物の育成方法
(51)【国際特許分類】
A01G 7/00 20060101AFI20250527BHJP
【ＦＩ】
A01G7/00 603
【請求項の数】
14
(21)【出願番号】P 2021114390
(22)【出願日】2021-07-09
(65)【公開番号】P2022035996
(43)【公開日】2022-03-04
【審査請求日】2024-04-23
(31)【優先権主張番号】P 2020138804
(32)【優先日】2020-08-19
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２１年７月１日にＦｒｏｎｔｉｅｒｓ ｉｎ Ｐｌａｎｔ Ｓｃｉｅｎｃｅにて発表
(73)【特許権者】
【識別番号】501203344
【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構
(74)【代理人】
【識別番号】100096884
【弁理士】
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】エムディー パーベズ イスラム
(72)【発明者】
【氏名】イ ウンソク
(72)【発明者】
【氏名】高地 伸夫
(72)【発明者】
【氏名】徳田 献一
(72)【発明者】
【氏名】中野 有加
【審査官】伊藤 裕美
(56)【参考文献】
【文献】再公表特許第２０１８／０７３８９９（ＪＰ，Ａ１）
【文献】特開２０１８－０７３１７５（ＪＰ，Ａ）
【文献】特開２０１９－１１８８１４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／０１４８３４１（ＵＳ，Ａ１）
【文献】特開２０１８－１６１０５８（ＪＰ，Ａ）
【文献】特開昭５７－１４４４５１（ＪＰ，Ａ）
【文献】特開２０１３－１７２７００（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／００４２０９８（ＵＳ，Ａ１）
【文献】特開２０１４－１９８０１２（ＪＰ，Ａ）
【文献】特開２０１９－１６５６６０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ０１Ｇ ７／００
Ａ０１Ｇ ３１／００
Ｇ０１Ｊ ５／００－５／９０
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
作物の葉の温度を取得する葉の温度取得装置であって、赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部と
を備え、
前記深層学習機能は、
前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、
前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、
前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、
前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップと
を有するネットワークを有し、
前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度取得装置。
【請求項2】
前記熱画像は、波長８μｍ～１４μｍの範囲の放射熱に基づく熱画像である請求項１に記載の葉の温度取得装置。
【請求項3】
前記深層学習機能は、対象となる作物の葉のＲＧＢ画像に基づき、当該葉が写った熱画像から背景を除去したものを教師画像として得られる請求項１または２に記載の葉の温度取得装置。
【請求項4】
前記第１の画像、前記第２の画像，前記第３の画像および前記第４の画像の中の任意の２つの画像に着目した場合に、（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
上記（１）の要件を満たし、且つ、（２），（３），（４）の中の少なくとも２つの要件を満たす請求項１に記載の温度取得装置。
【請求項5】
ｎを４以上の自然数として、前記第３のステップにおいて、第１の特徴マップ～第ｎの特徴マップを得、
前記第４のステップにおいて、前記第１の特徴マップ～第ｎの特徴マップのそれぞれに対する更なる畳み込み処理が行なわれる請求項１に記載の温度取得装置。
【請求項6】
赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部と
を備えた葉の温度取得装置を備え、
前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、
前記育成環境の制御は、
前記作物の葉の温度が特定の温度範囲にある当該葉の面積の割合と、前記葉の前記面積の割合における前記温度範囲が継続している時間と、前記制御の内容との関係を予め定めたテーブルに基づいて行われる作物の育成システム。
【請求項7】
赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部と
を備えた葉の温度取得装置を備え、
前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、
前記作物の葉の周囲環境の湿度をＲＨ、
前記葉の温度取得装置が取得した前記作物の葉の温度をＴ（Ｔleaf）、
前記Ｔから求められる前記作物の葉の飽和蒸気圧をＳＶＰ、
ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰ
として、
前記作物の花芽の成長の時期における前記ＶＰＤに係り、前記作物の生理障害が顕在化しない前記ＶＰＤの範囲は予め取得されており、
前記作物の花芽の成長の時期における前記育成環境の制御は、前記生理障害が顕在化しない前記ＶＰＤの範囲となるように行なわれる作物の育成システム。
【請求項8】
赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部と
を備えた葉の温度取得装置を備え、
前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、
前記作物の葉の周囲環境の湿度をＲＨ、
前記葉の温度取得装置が取得した前記作物の葉の温度をＴ（Ｔleaf）、
前記Ｔから求められる前記作物の葉の飽和蒸気圧をＳＶＰ、
前記葉の周囲環境の温度をＴｍ（Ｔtemperature of the surrounding environment）、
ΔＴ＝Ｔleaf－Ｔtemperature of the surrounding environment、
ΔＴ＝Ｔ－Ｔｍ、
ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰ
として、
前記作物の花芽の成長の時期における前記ＶＰＤと前記ΔＴには、線形の関係があり、
前記線形の関係には、関係が相対的に強い領域と関係が相対的に弱い領域とがあり、
前記作物の花芽の成長の時期における前記育成環境の制御は、前記関係が相対的に強い領域における前記ＶＰＤの値となるように行なわれる作物の育成システム。
【請求項9】
前記作物がトマトであり、少なくとも花芽が形成された時点から実が赤くなる前の時点の期間において、ＶＰＤ＜２．２となるように前記育成環境の制御が行われる請求項８に記載の作物の育成システム。
【請求項10】
前記ＲＨ、前記ＳＶＰ、前記Ｔ、前記Ｔｍに係る対象は、前記作物の前記花芽が形成される部分の葉である請求項８に記載の作物の育成システム。
【請求項11】
作物の葉の温度を取得する葉の温度の取得方法であって、赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、
前記背景が除去された熱画像に基づき、前記葉の温度を決定する葉の温度決定ステップと
を備え、
前記深層学習機能は、
前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、
前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、
前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、
前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップと
を有するネットワークを有し、
前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度の取得方法。
【請求項12】
コンピュータに読み取らせて実行させる作物の葉の温度を取得するためのプログラムであって、 コンピュータに
赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、
前記背景が除去された熱画像に基づき、前記葉の温度を決定する葉の温度決定ステップと
を実行させ、
前記深層学習機能は、
前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、
前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、
前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、
前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップと
を有するネットワークを有し、
前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度を取得するためのプログラム。
【請求項13】
赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得ステップと、
前記葉の温度取得ステップにおいて取得した前記作物の葉の前記温度に基づき、前記作物の育成環境の制御を行う制御ステップと
を含み、
前記育成環境の制御は、
前記作物の葉の温度が特定の温度範囲にある当該葉の面積の割合と、前記葉の前記面積の割合における前記温度範囲が継続している時間と、前記制御の内容との関係を予め定めたテーブルに基づいて行われる作物の育成方法。
【請求項14】
赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、
深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、
前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得ステップと、
前記葉の温度取得ステップにおいて取得した前記作物の葉の前記温度に基づき、前記作物の育成環境の制御を行う制御ステップと
を含み、
前記作物の葉の周囲環境の湿度をＲＨ、
前記葉の温度取得装置が取得した前記作物の葉の温度をＴ（Ｔ leaf ）、
前記Ｔから求められる前記作物の葉の飽和蒸気圧をＳＶＰ、
ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰ
として、
前記作物の花芽の成長の時期における前記ＶＰＤに係り、前記作物の生理障害が顕在化しない前記ＶＰＤの範囲は予め取得されており、
前記作物の花芽の成長の時期における前記育成環境の制御は、前記生理障害が顕在化しない前記ＶＰＤの範囲となるように行なわれる作物の育成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、野菜や果物等の作物を育成する技術に関する。
【背景技術】
【0002】
これまで、農産物の生産は、生産者の経験や勘に頼るところが大きかった。他方で、生産者人口の減少および高齢化が進行する中で、安定した生産量の確保、生産コストの低減、植物を健全に育成させるための生理障害や病害の抑制といった課題がある。この課題に答える技術として、各種のセンシングデータに基づくシステム化された農産物の生産管理が研究されている。
【0003】
例えば、特許文献１には、熱画像を用いる農業生産システムが記載されている。また、非特許文献１および２には、飽和水蒸気量が作物の育成に関係する点が記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－１７２７００号公報
【非特許文献】
【0005】
【文献】Murray FW (1967) On the computation of saturation vapor pressure. J. Appl. Meteorol. 6: 203-204.
【文献】Monteith JL, Unsworth MH (1990) Principles of environmental physics. in: Fourth Edition, Plants, Animals, and the Atmosphere.The Boulevard, LangfordLane, Kidlington, Oxford OX51GB, UK, 403pp.
【発明の概要】
【発明が解決しようとする課題】
【0006】
一般に、農業ハウスを利用した農産物の生産において、農業ハウス内の温度等を計測し、それに基づき、農業ハウス内の環境を調整することが行なわれている。しかしながら、同じ農業ハウス内であっても、樹冠単位（苗単位や株単位）や群落単位で育成の状態は違い、より高い生産性や植物の健全な生育を促すための生理障害や病害の抑制を行うには、樹冠単位や群落単位できめ細かい計測と制御が必要である。
【0007】
また、客観的な計測値に基づき生理障害の発生を抑制する技術が求められているが、そのような技術はこれまで確立されていない。
【0008】
このような背景において、本発明は、計測値により農産物の育成状態を把握でき、またその育成状態の制御が可能な技術の提供を目的とする。更に副次的に、本発明は、計測値に基づき健全に作物を育て生理障害や病害を抑制できる技術の提供を目的とする。
【課題を解決するための手段】
【0009】
本発明は、作物の葉の温度を取得する葉の温度取得装置であって、赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部とを備え、前記深層学習機能は、前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップとを有するネットワークを有し、前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度取得装置である。
【0010】
本発明において、前記熱画像は、波長８μｍ～１４μｍの範囲の放射熱に基づく熱画像である態様は好ましい。本発明において、前記深層学習機能は、対象となる作物の葉のＲＧＢ画像に基づき、当該葉が写った熱画像から背景を除去したものを教師画像として得られる態様は好ましい。
【0012】
上記のネットワークにおいて、前記第１の画像、前記第２の画像，前記第３の画像および前記第４の画像の中の任意の２つの画像に着目した場合に、
（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
上記（１）の要件を満たし、且つ、（２），（３），（４）の中の少なくとも２つの要件を満たす態様が挙げられる。
（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
上記（１）の要件を満たし、且つ、（２），（３），（４）の中の少なくとも２つの要件を満たす態様が挙げられる。
【0013】
また、上記のネットワークにおいて、ｎを４以上の自然数として、前記第３のステップにおいて、第１の特徴マップ～第ｎの特徴マップを得、前記第４のステップにおいて、前記第１の特徴マップ～第ｎの特徴マップのそれぞれに対する更なる畳み込み処理が行なわれる態様が挙げられる。
【0014】
本発明は、赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部とを備えた葉の温度取得装置を備え、前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、前記育成環境の制御は、前記作物の葉の温度が特定の温度範囲にある当該葉の面積の割合と、前記葉の前記面積の割合における前記温度範囲が継続している時間と、前記制御の内容との関係を予め定めたテーブルに基づいて行われる作物の育成システムである。この発明は、方法の発明として把握することもできる。
【0015】
本発明は、赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部とを備えた葉の温度取得装置を備え、前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、前記作物の葉の周囲環境の湿度をＲＨ、前記葉の温度取得装置が取得した前記作物の葉の温度をＴ（Ｔleaf）、前記Ｔから求められる前記作物の葉の飽和蒸気圧をＳＶＰ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰとして、前記作物の花芽の成長の時期における前記ＶＰＤに係り、前記作物の生理障害が顕在化しない前記ＶＰＤの範囲は予め取得されており、前記作物の花芽の成長の時期における前記育成環境の制御は、前記生理障害が顕在化しない前記ＶＰＤの範囲となるように行なわれる作物の育成システムである。この発明は、方法の発明として把握することもできる。
【0016】
本発明は、赤外線カメラにより作物の葉を撮像することで得た熱画像のデータを取得する熱画像データ取得部と、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去部と、前記背景が除去された熱画像に基づき、前記葉の温度を取得する葉の温度取得部とを備えた葉の温度取得装置を備え、前記葉の温度取得装置が取得した前記作物の葉の温度に基づき、前記作物の育成環境の制御を行う作物の育成システムであって、前記作物の葉の周囲環境の湿度をＲＨ、前記葉の温度取得装置が取得した前記作物の葉の温度をＴ（Ｔleaf）、前記Ｔから求められる前記作物の葉の飽和蒸気圧をＳＶＰ、前記葉の周囲環境の温度をＴｍ（Ｔtemperature of the surrounding environment）、ΔＴ＝Ｔleaf－Ｔtemperature of the surrounding environment、ΔＴ＝Ｔ－Ｔｍ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰとして、前記作物の花芽の成長の時期における前記ＶＰＤと前記ΔＴには、線形の関係があり、前記線形の関係には、関係が相対的に強い領域と関係が相対的に弱い領域とがあり、前記作物の花芽の成長の時期における前記育成環境の制御は、前記関係が相対的に強い領域における前記ＶＰＤの値となるように行なわれる作物の育成システムである。
【0017】
本発明において、前記作物がトマトであり、少なくとも花芽が形成された時点から実が赤くなる前の時点の期間において、ＶＰＤ＜２．２となるように前記育成環境の制御が行われる態様は好ましい。また、前記ＲＨ、前記ＳＶＰ、前記Ｔ、前記Ｔｍに係る対象は、前記作物の前記花芽が形成される部分の葉である態様は好ましい。
【0018】
本発明は、作物の葉の温度を取得する葉の温度の取得方法であって、赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、前記背景が除去された熱画像に基づき、前記葉の温度を決定する葉の温度決定ステップとを備え、前記深層学習機能は、前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップとを有するネットワークを有し、前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度の取得方法である。
【0019】
本発明は、コンピュータに読み取らせて実行させる作物の葉の温度を取得するためのプログラムであって、コンピュータに赤外線カメラにより前記葉を撮像することで得た熱画像のデータを取得する熱画像データ取得ステップと、深層学習機能を利用して前記熱画像における前記葉の背景の熱画像を除去する背景除去ステップと、前記背景が除去された熱画像に基づき、前記葉の温度を決定する葉の温度決定ステップとを実行させ、前記深層学習機能は、前記葉を赤外線撮影することで得た熱画像を得る第１のステップと、前記熱画像に対して畳み込み処理を行うことでベース特徴マップを得る第２のステップと、前記ベース特徴マップに対して異なる複数の畳み込み処理を個別に行うことで、少なくとも第１の特徴マップ、第２の特徴マップ、第３の特徴マップおよび第４の特徴マップを得る第３のステップと、前記第１の特徴マップに対する更なる畳み込み処理、前記第２の特徴マップに対する更なる畳み込み処理、前記第３の特徴マップに対する更なる畳み込み処理、および前記第４の特徴マップに対する更なる畳み込み処理を行なう第４のステップとを有するネットワークを有し、前記第１の特徴マップを画像化した第１の画像、前記第２の特徴マップを画像化した第２の画像、前記第３の特徴マップを画像化した第３の画像、および前記第４の特徴マップを画像化した第４の画像は、それぞれ異なる特徴を有している葉の温度を取得するためのプログラムである。
【発明の効果】
【0020】
本発明によれば、計測により農産物の育成状態を把握でき、またその育成状態の制御が可能となる。
【図面の簡単な説明】
【0021】
【図1】発明を利用したシステムの概要図である。
【図2】発明を利用した解析装置のブロック図である。
【図3】葉のＲＧＢ写真画像（Ａ）と背景を除去した写真画像（Ｂ）である。
【図4】葉の熱画像（Ａ）、背景を除去した熱画像（Ｂ）、背景を黒とした２値画像である。
【図5】葉のＲＧＢ画像（Ａ）、背景を除去したＲＧＢ画像（Ｂ）、背景を除去したＲＧＢ画像（Ｃ）である。
【図6】葉の熱画像（Ａ）、背景を除去した熱画像（Ｂ）、背景を黒とした２値画像である。
【図7】管理テーブルの一例を示す表である。
【図8】処理の手順の一例を示すフローチャートである。
【図9】ＶＰＤとΔＴ（葉と雰囲気温度の差）の関係を示すグラフである。
【図11】管理テーブルの一例を示す表である。
【図12】処理の手順の一例を示すフローチャートである。
【図13】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図14】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図15】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図16】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図17】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図18】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図19】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図20】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図21】熱画像における葉と背景の分離に利用したネットワークを示す図面代用写真である。
【図22】ネットワークのパフォーマンスを示す表である。
【図23】ネットワークのパフォーマンスを示す図と表である。
【図24】ネットワークの違いによる葉と背景の分離の効果を比較する図面代用写真である。
【図25】ネットワークの違いによる葉と背景の分離の効果を比較する図面代用写真である。
【図26】ネットワークの構造を説明する図である。
【図27】ネットワークの構造を説明する図である。
【図28】ネットワークの構造を説明する図である。
【図29】ネットワークの構造を説明する図である。
【図30】ネットワークの構造を説明する図である。
【発明を実施するための形態】
【0022】
（１）システムの概要
図１にシステムの概要を示す。ここでは、育成（栽培）する植物としてトマトの場合、を示す。尚、本例ではトマトの場合について説明するが、他の植物、例えば、ナス、イチゴ、キャベツ、パプリカ、キュウリ、しし唐等、他のものでも同様である。図１に示すシステムは、トマトの樹冠１００に係る各種の計測データに基づいて、農業ハウス３００内の環境（温度や湿度等）を制御する。ここでは、トマトの例を示すが、トマト以外の植物への適用も可能である。ここで、樹冠は、根、該根から延びる茎や幹、該茎や幹から枝分れする枝、枝についた葉、花、実により構成される部分をいう。一般に、苗や株と同義の概念で樹冠と表記する。
図１にシステムの概要を示す。ここでは、育成（栽培）する植物としてトマトの場合、を示す。尚、本例ではトマトの場合について説明するが、他の植物、例えば、ナス、イチゴ、キャベツ、パプリカ、キュウリ、しし唐等、他のものでも同様である。図１に示すシステムは、トマトの樹冠１００に係る各種の計測データに基づいて、農業ハウス３００内の環境（温度や湿度等）を制御する。ここでは、トマトの例を示すが、トマト以外の植物への適用も可能である。ここで、樹冠は、根、該根から延びる茎や幹、該茎や幹から枝分れする枝、枝についた葉、花、実により構成される部分をいう。一般に、苗や株と同義の概念で樹冠と表記する。
【0023】
図１の例では、トマトは図示しない誘引線により鉛直上方に沿って成長するように誘引されている。成長の方向は、任意に設定可能である。そして成長する方向（鉛直上方に向かう方向）に沿って、３段階にセンサ群が配置されている。各センサ群は、赤外線カメラ、温度センサ、湿度センサおよび光量子センサにより構成されている。カメラは、熱画像を撮像する赤外線カメラである。ここでは、波長８μｍ～１４μｍの帯域に感度を有する赤外線カメラが利用される。更にＲＧＢカラー画像を撮像するカメラを配置することもできる。以下、本明細書中における熱画像は、上記波長帯域に感度を有する赤外線カメラで撮像したものである。
【0024】
本発明者らの知見によれば、植物の葉の放射率は、波長８μｍ～１４μｍの帯域で高い。このため、８μｍ～１４μｍ波長の範囲に感度を持つ赤外線カメラが撮像した熱画像では、葉に係る情報が相対的に高い感度で得られる。すなわち、当該熱画像では、葉とそれ以外で情報量に差がある。具体的には、葉を写した熱画像では、相対的に葉の情報が多く、葉以外の情報が相対的に少ない。この差が後述する深層学習により取得された推定モデルにより判定され、葉とその背景の分離が行われる。
【0025】
例えば、農業ハウス内での撮影の場合、葉の背景は、農業ハウスを構成するガラスや金属となる。これらは、熱放射のスペクトルが葉と大きく異なる。故に、葉の熱画像の画像情報と背景の熱画像の画像情報とに差が生じ、葉と背景の効果的な分離が可能となる。
【0026】
各センサ群は、クリップに搭載され、該クリップを誘引線、幹、枝、支持ロッド等に取り付けることで、トマトの樹冠１００に近接させて、その上下方向における３か所に配置されている。クリップにカメラや各種のセンサを搭載し、このクリップを誘引線等などに取り付け、植物に対する各種の計測を行う技術については、例えば特願２０２０－８９９３号に記載されている。図１には、３群のセンサ群が示されているが、更に多くのセンサ群を配置してもよい。
【0027】
【0028】
図１のシステムは、センサ群が取得した各種のセンシングデータに基づき、トマトの栽培環境の制御を行う。本発明者らの研究によれば、トマトの葉の温度と実の生育状態には強い相関関係があることが判明している。ここで重要なのは、葉の温度を正確に計測することである。
【0029】
本明細書で開示する発明では、熱画像から葉の温度を計測（予測）する。この際、着目する葉と背景の分離を熱画像の特性を利用して行う。また、計測した葉の温度を利用したトマトの育成環境の制御を行う。また、トマトにおいて、果実発育初期の段階における葉の飽和蒸気圧に関係するパラメータが、最終的な実の生理障害（裂果（実割れ）や尻ぐされ果等）と高い相関関係があることを利用し、当該生理障害を防止する。ここで、果実発育初期には、花芽の形成、花芽の成長、開花、着果、果実の成長の時期が含まれる。この時期は、果実の細胞肥大期に当たる。また、果実は、植物の実のことである。
【0030】
（２）センサ群の構成
センサ群は、着目する樹冠の特定の部分の葉に関して、赤外線カメラによる熱画像の取得（撮像）、温度センサによる当該葉付近の雰囲気温度の計測、湿度センサによる当該葉付近の雰囲気湿度の計測、光量子センサによる当該葉付近における光合成に必要な光の量（可視光の光量）の計測を行う。各センサを構成するデバイスは、市販されているものを利用する。図１の場合、トマトの樹冠１００の下段、中段、上段の３箇所で計測を行う例が示されている。また、図１に示すシステムは、ＣＯ２センサを備える。ＣＯ２センサは、一つの苗樹冠に対して１つが配置されている。ＣＯ２センサを更に細かく配置する形態も可能である。
センサ群は、着目する樹冠の特定の部分の葉に関して、赤外線カメラによる熱画像の取得（撮像）、温度センサによる当該葉付近の雰囲気温度の計測、湿度センサによる当該葉付近の雰囲気湿度の計測、光量子センサによる当該葉付近における光合成に必要な光の量（可視光の光量）の計測を行う。各センサを構成するデバイスは、市販されているものを利用する。図１の場合、トマトの樹冠１００の下段、中段、上段の３箇所で計測を行う例が示されている。また、図１に示すシステムは、ＣＯ２センサを備える。ＣＯ２センサは、一つの苗樹冠に対して１つが配置されている。ＣＯ２センサを更に細かく配置する形態も可能である。
【0031】
（３）解析装置の構成
以下、図１の解析装置２００について説明する。解析装置２００は、センサ群が計測した計測データの解析、この解析の結果に基づく各種の判定、この判定の結果に基づく環境制御の内容の決定を行う。解析装置２００は、市販のＰＣ（パーソナル・コンピュータ）を利用して構成されている。解析装置３００は、一般的なＰＣが備える各種の演算機能、通信機能、ユーザインターフェース機能、データの記憶機能等を備えている。
以下、図１の解析装置２００について説明する。解析装置２００は、センサ群が計測した計測データの解析、この解析の結果に基づく各種の判定、この判定の結果に基づく環境制御の内容の決定を行う。解析装置２００は、市販のＰＣ（パーソナル・コンピュータ）を利用して構成されている。解析装置３００は、一般的なＰＣが備える各種の演算機能、通信機能、ユーザインターフェース機能、データの記憶機能等を備えている。
【0032】
図２に解析装置２００のブロック図を示す。解析装置２００は、熱画像データ取得部２０１、雰囲気温度取得部２０２、雰囲気湿度取得部２０３、光量取得部２０４、葉の温度取得部２０５、判定部２０６、データ記憶部２０７、ＳＶＰ取得部２０８、ＶＰＤ算出部２０９、制御内容決定部２１０を有する。これら各機能部は、使用するＰＣにインストールされたプログラムにより、当該ＰＣのＣＰＵやその他の集積回路によりソフトウェア的に実現されている。
【0033】
解析装置２００の一部または全部を専用のハードウェアにより構成してもよい。また、ネットワーク回線に接続されたサーバ等を解析装置２００として動作させてもよい。また、解析装置２００の機能を分散配置された複数のＰＣやサーバで行う形態も可能である。
【0034】
熱画像データ取得部２０１は、赤外線カメラが撮像した熱画像のデータ（熱画像データ）を受け付ける。雰囲気温度取得部２０２は、温度センサの計測データを受け付ける。雰囲気湿度取得部２０３は、湿度センサの計測データを受け付ける。光量取得部２０４は、光量子センサの計測データを受け付ける。
【0035】
葉の温度取得部２０５は、熱画像データ取得部２０１が取得した葉の熱画像に基づき、当該葉の温度を取得する。葉の温度取得部２０５は、機能ブロックとして、背景除去部２１１、葉の熱画像抽出部２１２、葉の温度マップ作成部２１３、葉の温度決定部２１４を備える。
【0036】
背景除去部２１１は、深層学習により得た推定モデルを利用して、熱画像の中から葉の部分と、そうでない背景の部分とを分離し、背景の部分を除去する。深層学習により得る推定モデルの詳細については後述する。
【0037】
葉の熱画像抽出部２１２は、背景が除去された熱画像から、葉の部分の熱画像を抽出する。葉の温度マップ作成部２１３は、抽出された葉の部分の熱画像に基づき、葉の温度の分布を示すマップを作成する。葉の温度マップとしては、熱画像が葉の拡大画像であれば、葉内の温度分布のマップとして得られ、多数の葉が写った熱画像であれば、葉毎の温度の違いが示される温度分布のマップとなる。勿論、画像の拡大の状態や解像度によって、これらの中間の場合も有り得る。
【0038】
葉の温度決定部２１４は、温度分布のマップに基づき、葉の温度を決定する。葉の温度の決定方法としては、例えば１枚の葉の場合、平均値を算出しそれを当該葉の温度と決定する方法、温度分布の中央値を当該葉の温度として決定する方法、温度分布のピークの温度を当該葉の温度として決定する方法、特定の面積比以上の領域の温度分布の平均やピークの値を当該葉の温度として決定する方法等がある。また、複数の葉を対象とする場合は、全体の平均値やピーク値を得る方法もあるが、第１の温度範囲にある葉の面積の割合、第２の温度範囲にある葉の面積の割合・・・・といったデータを得ることもできる。
【0039】
判定部２０６は、葉の温度取得部２０５が取得した葉の温度の情報に基づき、各種の判定を行う。この判定の結果に基づき、農業ハウス３００内の環境（温度、湿度等）の調整が行われる。判定の条件や制御の詳細については後述する。
【0040】
データ記憶部２０７は、判定部２０６での判定の基礎となるデータ、その他解析装置２００の動作に必要なデータ、解析装置２００の動作の結果得られたデータを記憶する。
【0041】
ＳＶＰ取得部２０８は、葉の温度取得部２０５が取得した葉の温度Ｔに基づき、トマトの樹冠１００の先端付近１０１における葉の飽和蒸気圧ＳＶＰ(Saturated Vapor pressure)を取得する。対象となるトマトに関して、葉の温度ＴとＳＶＰの関係に係るテーブルデータが予め取得されており、このテーブルデータに基づき、ＴからＳＶＰが求められる。この処理がＳＶＰ取得部２０８で行なわれる。なお、葉の温度Ｔは、対象とする葉の群の平均値が利用される。観察の対象となる葉としては、トマトの樹冠１００先端の複数枚以上が選択される。
【0042】
ＶＰＤ算出部２０９は、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰからＶＰＤ(Vapor pressure deficit)を算出する。ここで、ＲＨは、雰囲気湿度情報取得部２０２が取得した樹冠１００の先端付近の湿度情報である。
【0043】
制御内容決定部２１０は、判定部２０６の判定の結果に基づき、農業ハウス３００内の環境の制御を行うための制御の内容を決定する。この決定に従って、図１の環境制御装置４００による環境の制御が行われる。
【0044】
（４）環境制御装置
図１の環境制御装置４００は、農業ハウス３００内部の環境を調整する。調整の対象となる環境は、温度、湿度、明るさ、細霧冷房の噴霧（水の噴霧）、灌水の状態、換気、送風、空気の強制循環、ＣＯ２濃度である。制御される装置としては、加温装置（暖房装置）および冷房装置（これは、一般的な空調装置が利用される）、細霧冷房噴霧装置、加湿装置、除湿装置、送風ファン、灌水装置、換気窓の開閉装置、遮光カーテンの開閉装置、ライト（照明）の制御装置、ＣＯ２細霧冷房装置が含まれる。
図１の環境制御装置４００は、農業ハウス３００内部の環境を調整する。調整の対象となる環境は、温度、湿度、明るさ、細霧冷房の噴霧（水の噴霧）、灌水の状態、換気、送風、空気の強制循環、ＣＯ２濃度である。制御される装置としては、加温装置（暖房装置）および冷房装置（これは、一般的な空調装置が利用される）、細霧冷房噴霧装置、加湿装置、除湿装置、送風ファン、灌水装置、換気窓の開閉装置、遮光カーテンの開閉装置、ライト（照明）の制御装置、ＣＯ２細霧冷房装置が含まれる。
【0045】
（５）葉の温度の取得
以下、葉の温度取得部２０５で行われる処理について説明する。本明細書で開示する技術では、葉の温度を熱画像から求める。この際、熱画像中から着目している葉の熱画像を分離、言い換えると着目している葉の背景を除去する処理が必要となる。
以下、葉の温度取得部２０５で行われる処理について説明する。本明細書で開示する技術では、葉の温度を熱画像から求める。この際、熱画像中から着目している葉の熱画像を分離、言い換えると着目している葉の背景を除去する処理が必要となる。
【0046】
ここでは、熱画像の特性を生かして、深層学習を利用して熱画像の中から葉の部分の熱画像を分離する。そして、背景を除去した葉の熱画像から葉の温度分布を求め、最終的に葉の温度を決定する。
【0047】
本発明では、深層学習により、放射率の違いに起因する葉の熱画像と背景の熱画像の差を学習し、熱画像上で葉と背景とを分離する演算モデル（後述の推定モデル）を作成する。深層学習については後述する。まず、放射率の違いに起因する葉の熱画像と背景の熱画像の識別について説明する。
【0048】
図３には、葉を写した原画像となる可視帯域のカラー画像（ＲＧＢ画像）（Ａ）と、そこから色情報の差を利用した色抽出により背景を除去した背景除去画像（Ｂ）が示されている。カラー画像の場合、色情報に基づく分離の精度は光の当たり具合の影響が大きく、背景を除去した際に、葉として識別しなくてはならない部分が欠落する傾向（あるいはその逆に背景が残る傾向）が見られる。これは、均一な照明環境を得ることが困難な農作業現場では、極めて不利となる。
【0049】
図４は、図３と同じ視点で赤外線カメラが撮影した熱画像（Ａ）、（Ａ）の熱画像から後述する推定モデルを用いて背景を除去した熱画像（Ｂ）、（Ｂ）の熱画像を、背景を黒とした２値画像に変換した２値画像（Ｃ）である。図４に示すように、熱画像の場合、葉の情報の欠落は少ない。また、熱画像は、環境の明るさ（光の当たり具合や照明の状態）に関係なく、画像を得ることができる。特に、熱画像は、夜であっても画像を得ることができる。
【0050】
図５は、農業ハウス内で栽培している作物を撮影した可視帯域のカラー原画像（ＲＧＢ画像）（Ａ）、（Ａ）の画像から色抽出により背景を除去した画像（Ｂ）と（Ｃ）である。（Ｂ）と（Ｃ）の違いは、画像処理の条件の違いである。
【0051】
図５（Ｂ）の背景除去画像では、背景と一緒に葉の画像も一部除去されている。他方で、図５（Ｃ）の背景除去画像では、背景が残っている。このように、色抽出による背景除去では、抽出条件の設定が微妙であり、また、光の当たり具合の影響も強く受けるので、安定した背景の除去は難しい。
【0052】
図６（Ａ）は、図５と同じ部位を撮影した熱画像である。図６（Ｂ）は、（Ａ）の熱画像から後述する深層学習で得た推定モデルを用いて背景を除去した熱画像である。図６（Ｃ）は、（Ｂ）の熱画像において背景を黒として２値画像とした画像である。図６から明らかなように、熱画像を用いることで、効果的に葉と背景を分離することができる。
【0053】
以上まとめると、ＲＧＢ画像において、葉と背景を分離するのは、条件の設定が微妙であり、特に光の当たり具合の影響が大きい。また、暗い状況では利用できない。暗い状況では、照明により、明るさを確保する方法が考えられるが、照明の場合、光の当たり具合や反射の問題が生じ、安定した分離を行うことは難しい。
【0054】
これに対して、熱画像の場合、環境の明るさに関係なく、安定して葉と背景の分離が可能となる。これは、熱画像が可視光の影響を受けないこと、そして、材質の放射率の違いに起因する葉とそうでない材質との熱放射の差が熱画像に現れ、それを利用した分離が行なわれるからであると推察される。
【0055】
また、夜間に利用できる点は、継続して作物育成の制御を行う観点から特に有用である。
【0056】
（６）深層学習について
（用語の定義）
以下、使用する用語について説明する。ここでは、初期熱画像、推定モデル、学習ネットワーク、推定熱画像、教師熱画像について説明する。
（用語の定義）
以下、使用する用語について説明する。ここでは、初期熱画像、推定モデル、学習ネットワーク、推定熱画像、教師熱画像について説明する。
【0057】
初期熱画像は、着目する葉を背景から分離する処理を行っていない熱画像である。なお、初期熱画像は、正規化やノイズ除去は行っていてもよい。
【0058】
推定モデルは、ＡＩ推定機能を有する学習ネットワークに推定熱画像を推定する手法を学習させることで得られる。推定モデルにより、初期熱画像から着目する葉を背景から分離した推定熱画像の推定が行なわれる。この例では、上記の推定モデルにより、図２の背景除去部２１１と葉の熱画像抽出部２１２の機能が実現される。
【0059】
学習ネットワークは、ニューラルネットワークの階層を深めたアルゴリズムであり、深層学習を行う。学習ネットワークは、特に限定されない。学習ネットワークとしては、例えば、U-Net, Deeplab v3+, FPN(Feature Pyramid Networks), PSPNet（Pyramid Scene Parsing Network）, LinkNet等がある。
【0060】
推定熱画像は、初期熱画像に基づき、推定モデルにより推定された熱画像である。推定熱画像では、初期熱画像から葉の背景が除去されている。すなわち、推定熱画像は、初期熱画像から葉と背景を分離し、葉だけの熱画像としたものである。
【0061】
教師熱画像は、初期熱画像において、手作業により、熱画像中にＲＧＢ画像に基づく境界線を記入し、背景を除去した熱画像である。教師熱画像は、理想的に正しく推定された場合の正解画像でもある。
【0062】
（７）推定モデルの作成
学習ネットワークに初期熱画像から推定熱画像を推定させる機能（能力）を学習させる。この学習では、初期熱画像を入力、教師熱画像が出力となる機能を学習させる
学習ネットワークに初期熱画像から推定熱画像を推定させる機能（能力）を学習させる。この学習では、初期熱画像を入力、教師熱画像が出力となる機能を学習させる
【0063】
学習の具体的な手順の一例を以下に示す。例えば、学習の対象となるサンプルが１０００あるとする。これらを３００サンプル（Ａ群：教師データ群）と７００サンプル（Ｂ群：テストデータ群）に分ける。まず、Ａ群のサンプルを用い、上記の学習を行い、推定モデルを得る。すなわち、Ａ群のサンプルを使って、初期熱画像を入力、教師熱画像が出力となる機能を学習させる。この学習により、推定モデルが得られる。
【0064】
そして、Ａ群のサンプルによって得られた上記の推定モデルに対して、Ｂ群のサンプルを用い、誤差逆伝搬学習(Backpropagation)を行う。この誤差逆伝搬学習では、Ｂ群のサンプルを用いて、上記の推定モデルにより、初期熱画像から推定熱画像を推定し、得られた推定画像と教師画像の差を計算して求め、この差が最小となるようにニューラルネットワークの重みづけの調整、すなわち学習ネットワークの調整が行われる。
【0065】
上記の処理をＡ群とＢ群の組み合わせをランダムに変更して複数回行う。以上の処理により、深層学習を行った推定モデルを得る。この推定モデルを用いて、例えば、図４（Ａ）⇒（Ｂ）の処理や図６（Ａ）⇒（Ｂ）の処理が行われる。
【0066】
（８）環境制御の例
以下、図１のシステムにおけるトマトの樹冠１００の育成の制御において、取得した葉の温度の情報に基づく環境の制御の一例を説明する。ここでは、トマトの樹冠１００全体の葉に対して熱画像の撮像が行われ、葉の温度分布の取得が行われる。
以下、図１のシステムにおけるトマトの樹冠１００の育成の制御において、取得した葉の温度の情報に基づく環境の制御の一例を説明する。ここでは、トマトの樹冠１００全体の葉に対して熱画像の撮像が行われ、葉の温度分布の取得が行われる。
【0067】
【0068】
図７の管理テーブルは以下のように利用される。ここでは、トマトの樹冠１００全体における葉の温度を監視する。例えば、監視している葉の面積で考えて２５％以上が１５℃～２０℃の範囲にあり、且つ、その状態が３０分以上継続した場合、レベル２と判定される。この場合、葉の温度が低めという判定となり、葉の温度を高めるために環境の温度を高める処理である暖房が行われる制御が選択される。
【0069】
例えば、監視している葉の面積で考えて５％以上が３５℃～４０℃の範囲にあり、且つ、その状態が１０分以上継続した場合、レベル６と判定される。この場合、葉の温度が高く温度ストレスが中程度に大きいという判定となる。そしてこの状況を緩和するために、葉の温度を低下させるべく、細霧冷房の噴霧（水の噴霧）、空気循環、環境の温度を低下させる処理である冷房が行われる。
【0070】
また、異なる２つのレベルが同時に判定される場合も有り得る。この場合の対応として、いくつかの方法がある。第１の方法は、より面積の多いレベルの判定を優先する方法である。例えば、レベル４とレベル５が同時に判定されたとする。この際、レベル４の対象の葉の面積比が３４％、レベル５の対象の葉の面積比が２１％であれば、より面積の大きい、レベル４が優先され、レベル４に応じた制御が行われる。
【0071】
第２の方法は、より深刻なレベルを優先する方法である。例えば、レベル４とレベル５が同時に判定されたとする。この際、レベル５の方が深刻なので、レベル５が優先され、レベル５に応じた制御が行われる。
【0072】
第１の方法と第２の方法を併用した方法も可能である。この場合、面積比の差が閾値より小さい場合は、深刻なレベルの方を優先し、面積比の差が閾値以上である場合は、大きな面積のレベルを優先する。これらの方法は、異なる３以上のレベルが同時に判定された場合も同様に適用できる。
【0073】
ここで、時間軸方向の変化を判定に取り入れることもできる。葉の温度は、時間軸上で変動する。そこで、時間軸上での平均を加味して、上記の面積比の算出を行う。例えば、１５分の間で特定の温度範囲の面積の変化を観察し、その平均を当該温度範囲にある面積として特定する。
【0074】
また、複数の樹冠を対象として制御を行う態様も可能である。この場合、樹冠単位を計測および制御の対象とし、樹冠単位で環境の制御を行う。方向性としては、全体としてレベル３になるべく近づくように制御を行う。灌水や細霧冷房の噴霧は樹冠毎に独立して制御できるので、複数の樹冠を対象とする場合、樹冠毎に灌水や細霧冷房の噴霧の状態を制御し、各樹冠がレベル３に収まるように制御する方法が採用可能である。また、個別に仕切りを設け、環境の制御を行う形態も可能である。
【0075】
図８に図７の管理テーブルを利用した処理の手順の一例を示す。図８の処理を実行するプログラムは、解析装置２００を構成するＰＣの記憶領域（ハードディスクや半導体メモリ等）に記憶され、解析装置２００が備えるＣＰＵによって実行される。当該プログラムを適当な記憶媒体や記憶サーバ等に記憶させ、そこからダウンロードして利用する形態も可能である。
【0076】
処理が開始されると、まず熱画像のデータが取得され（ステップＳ１０１）、次に、葉の温度Ｔを得るための処理であるステップＳ１０２～Ｓ１０５が行なわれる。これらの処理は、図２の温度取得部２０５で行われる。まず、ステップＳ１０１で得た熱画像において、葉の背景を除去する（ステップＳ１０２）。この処理は、図２の背景除去部２１１で行われる。
【0077】
葉の背景を除去したら、葉の熱画像を抽出する（ステップＳ１０３）。この処理は、図２の葉の熱画像抽出部２１２で行われる。次に、抽出した葉の熱画像に基づき、葉の温度分布のマップを作成する（ステップＳ１０４）。この処理は、図２の葉の温度マップ作成部２１３で行われる。この場合、葉の温度分布のマップが作成される。
【0078】
葉の温度マップを得たら、この温度マップに基づき、葉の温度と面積比の対応関係を特定する（ステップＳ１０５）。この処理は、葉の温度決定部２１４で行われる。この処理では、図７の１０～１５℃にある葉の割合（％）、１５～２０℃にある葉の割合（％）、２０～２５℃にある葉の割合（％）、２５～３０℃にある葉の割合（％）、３０～３５℃にある葉の割合（％）、３５～４０℃にある葉の割合（％）、４０℃を超える温度にある葉の割合（％）が求められる。
【0079】
次に、環境の制御が必要か、の判定が行われ（ステップＳ１０６）、環境の制御が必要であれば、図７のレベルに対応した環境の制御が行われる（ステップＳ１０７）。図７のレベル３の場合、環境の制御は必要なく、ステップＳ１０１以下の制御が繰り返される。図７の管理テーブルに基づく、環境の制御の内容の決定は、図２の制御内容決定部２１０で行われる。
【0080】
（９）ＶＰＤに基づく生理障害抑制の例
ここでは、トマトの育成において、熱画像に基づき取得した葉の温度に基づき、生理障害を抑制する技術について説明する。トマトの生理障害（裂果や尻ぐされ果、他）の要因は、花芽の段階～実が結実する段階（実が緑で赤くなる前の段階）の間で生じている。つまり、果実発育初期の段階で既に生理障害の要因が内包されている。
ここでは、トマトの育成において、熱画像に基づき取得した葉の温度に基づき、生理障害を抑制する技術について説明する。トマトの生理障害（裂果や尻ぐされ果、他）の要因は、花芽の段階～実が結実する段階（実が緑で赤くなる前の段階）の間で生じている。つまり、果実発育初期の段階で既に生理障害の要因が内包されている。
【0081】
これは、以下のモデルにより説明される。トマトのような実がなる植物の場合、果実発育初期の段階から細胞分裂が繰り返され、最終的に実が形成されてゆく。ここで、初期の細胞分裂の段階で後の生理障害となる要因が生じる。
【0082】
生理障害の要因は、主に細胞への水分の供給の不足あるいは過多によって生じる。よって、花芽が形成され、その後に実が結実する過程の段階で、適切な生育環境の制御を行い、上記の生理障害の要因が生じないようにすることが重要となる。
【0083】
本発明者らは、上記の生理障害の発生の要因を評価する方法として図９の関係が利用できることを見出した。
【0084】
図９には、ハウス栽培のトマトにおいて、樹冠の先端（上端）の花芽が形成される部分の葉を対象に、葉の周囲環境の湿度（相対湿度）をＲＨ、葉の飽和蒸気圧をＳＶＰ（ＫＰａ）、前記葉の温度をＴ（Ｔleaf）（℃）、前記葉の周囲環境の温度をＴｍ（Ｔtemperature of the surrounding environment）（℃）、ΔＴ＝Ｔleaf－Ｔtemperature of the surrounding environment、ΔＴ＝Ｔ－Ｔｍ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰとして、縦軸にΔＴ、横軸にＶＰＤ（ＫＰａ）を取ったグラフが示されている。ここで、ＶＰＤ(Vapor pressure deficit)は、葉と該葉の周囲における空気の飽和水蒸気圧の差であり、葉からの水分の蒸発のし易さを評価するパラメータである。
【0085】
ＲＨは、対象となる葉の近傍（概ね３０ｃｍ以下の距離の位置）で計測された湿度（相対湿度）である。葉の飽和蒸気圧ＳＶＰ(Saturated Vapor pressure)は、葉の温度Ｔから求められる。一般に飽和蒸気圧は、温度に依存することが知られている。ここで、対象となるトマトに関して、葉の温度ＴとＳＶＰの関係は予め取得されており、対応関係のテーブルデータが予め用意されている。このテーブルデータに基づき、計測された葉の温度ＴからＳＶＰが求められる。一般に温度が高いほど、飽和蒸気圧は高くなる。よって、葉の温度Ｔが高い程、ＳＶＰは大きな値となる。
【0086】
葉の温度Ｔは、当該葉を赤外線カメラで撮像することで得た熱画像（赤外線写真画像）から得る。この熱画像は、波長８μｍ～１４μｍの赤外光（遠赤外線）に感度を有する赤外線カメラにより得られる。
【0087】
葉の周囲環境の温度Ｔｍは、対象となる葉の近傍（概ね３０ｃｍ以下の距離の位置）に設置した温度センサによって計測する。葉の周囲環境の湿度（相対湿度）ＲＨは、温度センサと同様な位置に設置した湿度センサによって計測する。
【0088】
図９に示すプロット点は、ＶＰＤとΔＴの値が特定の値となるように環境の温度Ｔｍ（℃）と湿度（相対湿度）を調整することで得ている。この環境を維持する期間は、花芽が形成された段階を起点とし、実が結実し赤くなる前の段階（実の色が緑の段階）を終点とした。
【0089】
ＶＰＤの値は多様なパラメータの影響を受ける。例えば、葉の周囲環境の温度Ｔｍが変化すると、葉の呼吸状態や葉からの水分の放出の状態が変化し、葉の温度Ｔが変化し、葉の飽和蒸気圧ＳＶＰが変化し、ＶＰＤの値が変化する。また例えば、葉の周囲環境の湿度ＲＨを変化させれば、ＶＰＤを示す式から明らかなようにＶＰＤの値が変化する。また例えば、ハウス内に外気を取り入れる等の換気を行うことで、ＴｍとＲＨが変化し、ＶＰＤの値が変化する。また、葉に光が当たれば、葉における光合成活動等により、葉の温度Ｔが変化し、また葉から放出される水分の影響で葉の周囲環境の湿度ＲＨが影響を受ける。また、水分が不足している状態で根に水を供給すれば、葉に水分が供給され、葉の温度Ｔに影響が生じる。また、葉に細霧冷房を噴霧すると、葉の温度Ｔが低下し、ＳＶＰが小さくなり、ＶＰＤの値は小さくなる。
【0090】
従って、温度、湿度、照射される光、根への水分の供給、細霧冷房の噴霧といったパラメータの組み合わせを調整することで、ＶＰＤの値を制御できる。図１の場合、対象となる樹冠先端付近の雰囲気の温度Ｔｍと湿度ＲＨを調整することで、図示するデータを得ている。
【0091】
図９に示すように、縦軸のΔＴと横軸のＶＰＤには、直線で近似される相関関係が認められる。ただし、２．２＜ＶＰＤの範囲でフィッティングする直線からのバラツキ（偏差）が顕著に大きくなる。つまり、ＶＰＤ＝２．２を閾値として、ΔＴとＶＰＤの直線関係に対する分散の状態が相対的に小さい領域（ＶＰＤ＜２．２の領域）と直線に対する分散の状態が相対的に大きい領域（２．２＜ＶＰＤ）に分かれる。
【0092】
【0093】
図１０において、縦軸の（ｙ－ΔＴ）は、データのバラツキを示している。図１０に示すように、ＶＰＤが２．２以下の領域では、データのバラツキが相対的に小さく（ＳＴＤ（標準偏差）＝０．５６）、ＶＰＤが２．２を超える領域では、データのバラツキが相対的に大きい（ＳＴＤ＝３．３６）。
【0094】
図１０から明らかなように、ＶＰＤ＜２．２では（ｙ－ΔＴ）のバラツキが小さい。これは、ＶＰＤ＜２．２では、ΔＴとＶＰＤとの線形な関係が相対的に強いことを示している。これに対して、２．２＜ＶＰＤでは、（ｙ－ΔＴ）のバラツキが大きい。これは、ΔＴとＶＰＤとの線形な関係が相対的に弱いことを示している。この場合は、線形の関係からの偏差が標準偏差で５倍の差がある。図１０の様なデータ処理を行うことで、ＶＰＤの閾値を見定めることができる。
【0095】
ここで、プロットポイントの分散状態と、得られたトマトの実際の亀裂との間に明確な相関関係がある。 まず、ＶＰＤ＜２．２のサンプルのグループでは、実際の亀裂のある固体の最大値は約５％であった。 また、いくつかのトラスには実際の亀裂がなかった。一方、２．２＜ＶＰＤのサンプルグループでは、実際の亀裂が５０％以上で観察された。
【0096】
よって、ＶＰＤで考えた場合、生理障害の発生の有無の閾値（ＶＰＤｔｈ）は、ＶＰＤｔｈ＝２．２であると結論される。
【0097】
以上の分析から、ＶＰＤ＜２．２となるように農業ハウス内の雰囲気（環境）を制御することで、生理障害の少ないトマトの栽培が可能となると結論できる。
【0098】
以下、ＶＰＤｔｈの求め方について説明する。まず、第１の方法を説明する。第１の方法では、予めΔＴとＶＰＤの関係を実測したデータを求め、図９に対応するデータを得る。次に、生理障害の事態を調査し、生理障害が顕在化するＶＰＤの値（ＶＰＤｔｈ）を求める。例えば、横軸にＶＰＤ、縦軸にトラスにおける生理障害率をとり、グラフを作成する。そして、このグラフにおける傾きが急激に変化している部分のＶＰＤをＶＰＤｔｈとして取得する。
【0099】
次に、第２の方法を説明する。第２の方法では、ΔＴとＶＰＤの関係を実測したデータを求め、図９に対応するデータを得る。そして、プロット点にフィッティングする直線を求め、この直線と各プロット点の差を求め、図１０に対応するグラフを得る。そして、図１０に示すような（ｙ－ΔＴ）の値が大きくばらつくＶＰＤの値をＶＰＤｔｈとして取得する。
【0100】
具体的には、図１０の様なデータを作成し、ＳＴＤ（標準偏差）に差が付く２つの領域を求める。図１０の場合、ＳＴＤに５倍の差が生じている。目安としては、ＳＴＤに２倍以上、好ましくは３倍以上の差がつく２つの領域を見つけ、その境界部分のＶＰＤをＶＰＤｔｈとして取得する。
【0101】
ＶＰＤの下限ＶＰＤminは、ＶＰＤmin=０．４程度である。ＶＰＤ＜０．４となると、別の生理障害や病害が発生する可能性が増大する。これは、トマト以外の場合も同じである。
【0102】
（１０）ＶＰＤ制御に係る生産システム
以下、図９のデータから得られる知見に基づく作物の生産システムの一例を説明する。ここでは、作物としてトマトの場合を説明する。適用できる作物としては、キュウリ、ナス、ピーマン、メロン、スカッシュ（カボチャ）、ブドウ、オレンジ、イチゴ、ホウレンソウ等が挙げられる。
以下、図９のデータから得られる知見に基づく作物の生産システムの一例を説明する。ここでは、作物としてトマトの場合を説明する。適用できる作物としては、キュウリ、ナス、ピーマン、メロン、スカッシュ（カボチャ）、ブドウ、オレンジ、イチゴ、ホウレンソウ等が挙げられる。
【0103】
ここでは、図１の農業ハウス３００を利用し、トマトの樹冠１００を育成する。この場合、生理障害に係るＶＰＤの閾値（ＶＰＤｔｈ）として、ＶＰＤｔｈ＝１．４を採用する。図１から得られるＶＰＤｔｈは２．２であるが、ここでは、余裕を見て、ＶＰＤｔｈ＝１．４を採用する。
【0104】
なお、トマトの品種が異なると、この値は多少違う値となる可能性がある。よって、正確には、栽培する品種毎にＶＰＤｔｈを求めることが好ましい。しかしながら、トマトであれば、品種に係らず、ＶＰＤｔｈ＝２．２（ＶＰＤ＜２．２）、余裕を見た場合はＶＰＤｔｈ＝１．４（ＶＰＤ＜１．４）とすることで、ある程度の生理障害防止の効果を得ることができる。
【0105】
ここでは、農業ハウス内の湿度と温度を制御し、ＶＰＤ＜１．４を実現する場合の例を説明する。ここで、湿度の調整は、細霧冷房の噴霧および除湿によって行い、温度の調整は、冷暖房装置によって行う。勿論、通風、採光、照明、灌水といったパラメータを制御することで、ＶＰＤの制御を行う形態も可能である。
【0106】
この例では、トマトの樹冠１００の先端（上端）付近１０１の雰囲気の温度Ｔｍと湿度ＲＨを計測する。また、トマトの樹冠１００の先端（上端）付近１０１の葉を赤外線カメラにより撮像し、トマトの樹冠１００の先端（上端）付近１０１の葉の温度Ｔを取得する。葉の温度Ｔの取得は、図２の葉の温度取得部２０５で行われる。
【0107】
この場合、図２の判定部２０６は、図１１に示す管理テーブルに従って、制御のための判定を行う。この判定の結果に基づき、図２の制御内容決定部２１０で制御の内容が決定され、決定した制御に係る指示が育成環境制御装置４００に対して行われる。決定された制御は、育成環境制御装置４００で実行される。
【0108】
【0109】
ＶＰＤステージ２は、高湿度であるとの判定となる。高湿状態であるので、葉の水分が過剰となる。そこで、除湿を行って雰囲気の含有水分量を減らし、葉から水分が蒸散しやすい環境を実現する制御が行われる。
【0110】
この場合、除湿することで、湿度（ＲＨ）を低下させ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰで示されるＶＰＤの値を上昇させる。
【0111】
また例えば、ＶＰＤ＞２．２（ＫＰａ）の状態が１５分以上継続したとする。この場合、図１１のＶＰＤステージ５が判定部２０６において判定され、図１１のテーブルに従って、灌水（水やり）、加湿装置にいる加湿、空調装置による冷房（雰囲気温度の低下）が行なわれる。
【0112】
ＶＰＤステージ５は、極めて低湿度であるとの判定となる。低湿状態であるので、葉から水分が失われ易い。そこで、環境の制御として、灌水による葉への水分の供給、加湿による葉からの水分の蒸散の抑制、雰囲気温度低下による雰囲気湿度の上昇を実現するための制御が行われる。
【0113】
すなわち、加湿を行うことで湿度を上昇させ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰで示されるＶＰＤの値を低下させる。また、一般に温度が高いほど、飽和蒸気圧は高いので、雰囲気温度を下げることで、ＳＶＰ（葉の飽和蒸気圧）を低下させ、ＶＰＤを低下させる。
【0114】
環境の制御は、ＶＰＤの値を監視しながら連続的あるいは間欠的に行う。そして、０．４（ＫＰａ）≦ＶＰＤ＜１．４（ＫＰａ）となった段階で制御を停止する。図１１のテーブルに示すように、０．４（ＫＰａ）≦ＶＰＤ＜１．４（ＫＰａ）の範囲では、最適なＶＰＤの範囲と判定され、特段の環境の制御は行われない。
【0115】
【0116】
（１１）ＶＰＤ制御に係る処理の一例
以下、ＶＰＤの制御に関し、図１のシステムで行なわれる処理の一例を説明する。図１２に処理の手順の一例を示す。図１２の処理を実行するプログラムは、解析装置２００を構成するＰＣの記憶領域（ハードディスクや半導体メモリ等）に記憶され、解析装置２００が備えるＣＰＵによって実行される。当該プログラムを適当な記憶媒体や記憶サーバ等に記憶させ、そこからダウンロードして利用する形態も可能である。
以下、ＶＰＤの制御に関し、図１のシステムで行なわれる処理の一例を説明する。図１２に処理の手順の一例を示す。図１２の処理を実行するプログラムは、解析装置２００を構成するＰＣの記憶領域（ハードディスクや半導体メモリ等）に記憶され、解析装置２００が備えるＣＰＵによって実行される。当該プログラムを適当な記憶媒体や記憶サーバ等に記憶させ、そこからダウンロードして利用する形態も可能である。
【0117】
【0118】
図１２の処理は、発芽の段階から開始される。なお、既に苗の状態となっているものを植える場合は、苗を植えた時点から処理を開始する。
【0119】
なお、図１２に示す処理を実行する頻度やタイミングとしては、連続して常に継続して行う形態、または特定の時間間隔で行う形態が挙げられる。
【0120】
処理が開始されると、まず対象となる葉の熱画像のデータが取得される（ステップＳ２０１）。ここでは、樹冠（苗）は鉛直上方に成長する形態であり、成長の先端（上端）の部分の葉が観察の対象（葉の温度Ｔの取得の対象）となる。
【0121】
次に、葉の温度Ｔを得るための処理ステップＳ２０２～Ｓ２０５が行なわれる。これらの処理は、図２の温度取得部２０５で行われる。まず、ステップＳ２０１で得た熱画像において、葉の背景を除去する（ステップＳ２０２）。この処理は、図２の背景除去部２１１で行われる。
【0122】
葉の背景を除去したら、葉の熱画像を抽出する（ステップＳ２０３）。この処理は、図２の葉の熱画像抽出部２１２で行われる。次に、抽出した葉の熱画像に基づき、葉の温度分布のマップを作成する（ステップＳ２０４）。この処理は、図２の葉の温度マップ作成部２１３で行われる。
【0123】
葉の温度マップとしては、以下のものが挙げられる。例えば、１または数枚の葉の熱画像の場合、１枚または各葉における温度の分布がマップ化される。例えば、多数の葉が写った熱画像の場合、葉毎の温度の分布のマップが得られる。もちろん、両者の中間的なマップが得られる場合もある。
【0124】
葉の温度マップを得たら、葉の温度Ｔを決定（算出）する（ステップＳ２０５）。この場合、温度マップに基づき、温度分布の平均値を葉の温度として決定する。この処理は、葉の温度決定部２１４で行われる。
【0125】
【0126】
雰囲気温度Ｔｍと雰囲気湿度ＲＨは、観察の対象であるトマトの樹冠１００の先端（上端）付近１０１の葉の近傍におけるものが取得される。これは、樹冠の先端（上端）部分に花芽が形成されるので、その部分の葉を対象にＶＰＤの制御を行うことで、効果的に生理障害（トマトの裂果や尻ぐされ果等等）の抑制ができるからである。
【0127】
次に、対象としている葉の飽和蒸気圧ＳＶＰ(Saturated Vapor pressure)を取得する（ステップＳ２０８）。ＳＶＰは、ステップＳ２０５で得た葉の温度Ｔを、予め用意されているＴとＳＶＰの関係を求めたテーブルデータに当てはめることで得る。この処理は、図２のＳＶＰ取得部２０８で行われる。
【0128】
次に、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰから、ＶＰＤを算出する（ステップＳ２０８）。この処理は、図２のＶＰＤ算出部２０９で行われる。
【0129】
ＶＰＤを得たら、図１１の管理テーブルに基づく判定を行い、環境の制御の必要の有無を判定する（ステップＳ２０９）。この処理は、図２の判定部２０６で行なわれる。環境の制御が必要であれば、図１１の管理テーブルで定められた環境の制御を行う（ステップＳ２１０）。環境の制御が必要でなければ、Ｓ２０１以下の処理を繰り返す。また、ステップＳ２１０の後、ステップＳ２０１以下の処理を繰り返す。
【0130】
図１２の処理は、トマトの実が結実し、赤みを帯びる段階まで行う。実が赤みを帯びる段階以降では、生理障害の原因となる細胞分裂はほぼ終了し、ＶＰＤの制御による生理障害の防止効果は低くなる。よって、赤みが観察された時点で図１２の処理を終了してよい。
【0131】
ＶＰＤ算出の対象となる部位は、樹冠先端の実になる過程での細胞分裂が盛んに行われている部分とするのが好ましい。これは、花芽の形成から結実の過程で細胞分裂が盛んに行われ、その過程における環境が生理障害の要因の生成に大きく関係するからである。逆に実がある程度大きくなった以降は、ＶＰＤの制御による生理障害防止の効果は、それ程顕著でなくなる。トマトの場合、樹冠の先端（最上部）で花芽が形成されるので、樹冠の先端（上端）部分の葉を対象にＶＰＤの制御する形態が好ましい。また、ＶＰＤの制御は、実に係る細胞分裂が生じる期間に行うことが望ましい。
【0132】
（他の作物への応用）
例えば、ナスの場合、０．４（ＫＰａ）≦ＶＰＤ＜１．９（ＫＰａ）の範囲とすることで、生理障害を抑制する効果が得られる。また、キュウリの場合、０．４（ＫＰａ）≦ＶＰＤ＜１．５（ＫＰａ）の範囲の制御することが好ましい。いずれの場合もＶＰＤが０．４（ＫＰａ）を下回ると、真菌または他の疾患が発生する傾向が見られるので、ＶＰＤの下限は０．４（ＫＰａ）とすることが適当である。
例えば、ナスの場合、０．４（ＫＰａ）≦ＶＰＤ＜１．９（ＫＰａ）の範囲とすることで、生理障害を抑制する効果が得られる。また、キュウリの場合、０．４（ＫＰａ）≦ＶＰＤ＜１．５（ＫＰａ）の範囲の制御することが好ましい。いずれの場合もＶＰＤが０．４（ＫＰａ）を下回ると、真菌または他の疾患が発生する傾向が見られるので、ＶＰＤの下限は０．４（ＫＰａ）とすることが適当である。
【0133】
（１２）複数の樹冠を育成する場合への対応
樹冠が複数ある場合、各樹冠あるいは複数の樹冠を群として計測および制御の対象を設定する。この際、なるべく対象毎に環境の制御ができるように留意する。また、全体の傾向として、判定の対象となるパラメータ（葉の温度やＶＰＤ）が極端に基準から外れた値とならないようにする制御も可能である。また、仕切りや簡易ハウス等で、計測および制御の対象毎に空間を区分けし、対象毎に個別に制御をし易くする構成も可能である。
樹冠が複数ある場合、各樹冠あるいは複数の樹冠を群として計測および制御の対象を設定する。この際、なるべく対象毎に環境の制御ができるように留意する。また、全体の傾向として、判定の対象となるパラメータ（葉の温度やＶＰＤ）が極端に基準から外れた値とならないようにする制御も可能である。また、仕切りや簡易ハウス等で、計測および制御の対象毎に空間を区分けし、対象毎に個別に制御をし易くする構成も可能である。
【0134】
（１３）むすび
以上述べた技術では、作物の葉の温度を熱画像から得る。この際、熱画像における葉と背景の分離が深層学習を利用して行われる。また、取得した葉の温度、その温度の葉の面積割合、その温度の継続時間に基づき、育成環境の制御を行う。また、葉の周囲環境の湿度をＲＨ、前記作物の葉の飽和蒸気圧をＳＶＰ、前記葉の温度をＴ、前記葉の周囲環境の温度をＴｍ、ΔＴ＝Ｔ－Ｔｍ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰとして、ＶＰＤが特定の範囲となるように環境の制御を行う。ＶＰＤが特定の範囲となるように環境の制御を行うことで、生理障害等を防ぐことができる。
以上述べた技術では、作物の葉の温度を熱画像から得る。この際、熱画像における葉と背景の分離が深層学習を利用して行われる。また、取得した葉の温度、その温度の葉の面積割合、その温度の継続時間に基づき、育成環境の制御を行う。また、葉の周囲環境の湿度をＲＨ、前記作物の葉の飽和蒸気圧をＳＶＰ、前記葉の温度をＴ、前記葉の周囲環境の温度をＴｍ、ΔＴ＝Ｔ－Ｔｍ、ＶＰＤ＝（（１００－ＲＨ）／１００）×ＳＶＰとして、ＶＰＤが特定の範囲となるように環境の制御を行う。ＶＰＤが特定の範囲となるように環境の制御を行うことで、生理障害等を防ぐことができる。
【0135】
上記の制御は、客観的な計測値に基づいて行われるので再現性が高い。このため、農産物の安定した収穫を行うことができる。
【0136】
（１４）熱画像における葉と背景を分離するネットワーク（学習ネットワーク）についての説明
以下、深層学習に利用したネットワークの一例を説明する。
以下、深層学習に利用したネットワークの一例を説明する。
【0137】
（初めに）
葉の温度を熱画像から得る場合、熱画像中で葉と背景を分離することが重要となる。
背景からも熱は放射されており、その影響を排除する必要がある。
本発明者らは、深層学習により上記の目的を達成することを研究してきた。
しかしながら、公知の深層学習モデルでは、上記の目的の達成は困難であった。
葉の温度を熱画像から得る場合、熱画像中で葉と背景を分離することが重要となる。
背景からも熱は放射されており、その影響を排除する必要がある。
本発明者らは、深層学習により上記の目的を達成することを研究してきた。
しかしながら、公知の深層学習モデルでは、上記の目的の達成は困難であった。
【0138】
（概略）
そこで本発明者らは、図１３および図３０に示すネットワークモデルを開発した。ここで、入力画像は、波長８μｍ～１４μｍに感度を有するサーモグラフィーカメラによって撮影した熱画像（赤外線画像）である。
そこで本発明者らは、図１３および図３０に示すネットワークモデルを開発した。ここで、入力画像は、波長８μｍ～１４μｍに感度を有するサーモグラフィーカメラによって撮影した熱画像（赤外線画像）である。
【0139】
図１３，図３０のネットワークは、大局的な構造として、特徴の抽出を行うダウンサンプリングと、抽出した特徴を画像化し、最終的に背景を除去した葉の熱画像を得るアップサンプリングに分けることができる。ダウンサンプリングとアップサンプリングは、多段階に渡り行われる。各処理の詳細な説明は後述する。
【0140】
ここでは、要点を簡素に述べる。このネットワークモデルでは、ダウンサンプリングにおいて、演算の経路を４チャネルに分岐する。ブロックＢからブロックＣに行く部分がその部分である。図１５の上段は、この部分の詳細である。
【0141】
図１５上段は、適切なフィルタ群（４つのフィルタ）が選択された場合であり、下段は、適切でないフィルタ群（４つのフィルタ）が選択された場合である。上記の４チャンネルの経路の分岐は、画像データの畳み込み処理を行うフィルタを個別に選択することにより行われる。ここで、フィルタの選択が重要となる。
【0142】
図１５上段の画像３０．３９，１２，２１に示すように、利用するフィルタによって得られる画像は様子が異なる。これは、フィルタにより、画像情報のどの部分が選択的にフィルタリングされるのかが異なるからである。換言すると、ある段階の特徴マップ(Feature map)を対象とした畳み込みの仕方を変えることで、その結果得られる特徴マップに違いが生じる。この違いが上記の画像の差となる。
【0143】
フィルタは、波長、強度(intensity)、エッジ部分の扱い、画素の扱いに係り多様なものが用意されている。ここでは、異なる４つのフィルタを選択し、出力される画像を目視で見て判定する。フィルタは、ネットワークの構築に利用したソフトウェアで用意されているものの中から４つを選び使用した。
【0144】
使用したソフトウェアでは、準備されている１０２４種類のフィルタから、一つのグループコンボレーションレイヤーに対して、ランダムに６４種類のフィルタを選び、表示させて目視によりその中でいいものを１つ選んだ。それを４つのグループコンボレーションレイヤーに対して行い、結果として4つのフィルタを選択した。
その中から得られた４枚の画像において、
（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
といった要件を満たすものを選択した。
この選択は、発明者自身が目視により行った。
ここで、上記の要件を最も満たす４枚の組を選択し、その際に利用した４つのフィルタの組を採用した。
その中から得られた４枚の画像において、
（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
といった要件を満たすものを選択した。
この選択は、発明者自身が目視により行った。
ここで、上記の要件を最も満たす４枚の組を選択し、その際に利用した４つのフィルタの組を採用した。
【0145】
（フィルタの選択に関する考察）
熱画像は、対象物の熱放射の強度を画像化したものである。熱画像では、温度だけなく、放射波長のスペクトルの違いも画像の違いに影響を与える。また、温度だけでなく、水分、対象物の放射率の影響も熱画像に表れ、事情は複雑である。これは、ＲＧＢに対応する波長の組み合わせとして画像化される可視光画像の場合と違う部分である。
熱画像は、対象物の熱放射の強度を画像化したものである。熱画像では、温度だけなく、放射波長のスペクトルの違いも画像の違いに影響を与える。また、温度だけでなく、水分、対象物の放射率の影響も熱画像に表れ、事情は複雑である。これは、ＲＧＢに対応する波長の組み合わせとして画像化される可視光画像の場合と違う部分である。
【0146】
ここで対象として植物の葉を考える。葉の放射温度特性は、単なる固体物質の場合と異なる。すなわち、葉は生体であり、特定波長の光を吸収する葉緑素の存在、葉緑素に関連する光合成、光合成の作用における水分の存在、気孔での呼吸、呼吸に伴う気孔からの水分の放出、といった事項が熱放射に影響を与える。
【0147】
よって、葉における熱画像への影響をフィルタにより抽出できれば、葉に特有な熱画像の特徴を抽出でき、熱画像における葉と背景の分離が効果的に行えることになる。この葉であるが故に生じる熱画像への影響は、多様な部分に及ぶと考えられる。
【0148】
その中の主なものは、熱放射の波長スペクトルの形や強度の違いにあると考えられる。また、葉の形状の特異性も熱画像に現れる。例えば、葉の縁の部分の形状、茎と葉の形状、それらの組み合わせ等である。また、葉脈（葉の維管束）の存在も熱画像に大きな影響を与えると考えられる。葉脈は、水分や養分の通り道であり、そこからの熱放射は熱画像に影響を与える。これら要素の組み合わせが、熱画像における葉特有の情報となる。
【0149】
上記（１）～（４）の要件を満たす４つのフィルタの組み合わせは、以上述べた葉特有の熱画像情報を際立たせる情報の抽出に有効であると考えられる。まず、（１）の要件を満たすことで、フィルタにより特定の特徴が効果的に抽出されている画像情報が得られる。（２），（３），（４）の要件を満たすことで、波長と形状に係る情報に違いのある画像情報の多様な組み合わせが得られる。なお、ここでは、（２）～（４）の要件の中の少なくとも２つを満たすものを選択した。
【0150】
例えば、図１６上段の３９と２１の画像は、互いに反転した関係にある画像のように見える。これは、抽出された波長の違いに起因すると考えられる。この傾向は、１２と２１の画像についてもいえる。また、３９と３０の画像は、顕在化された特徴部分に大きな違いがある。これは、波長情報の違いと形状の特徴パターンやその分布に関する組み合わせの特徴に起因すると考えられる。また、この２つの画像は明るさも異なる。
【0151】
熱放射の波長情報には多様なものがある。例えば、ピークの波長の違い、波長のピークの値の違い、波長分布の違い（スペクトルの形状の違い）等がある。また、波長分布の違いにも多様なものがある。また、これらは葉の生体としての状態の影響も受ける。更に、これらの要素に葉の形状に関係する情報が組み合わされる。
【0152】
この多様な情報の違いは、特徴部分の見え方の違い、画像中での特徴部分の有無、陰影の違い、明暗の違い、およびそれらの組み合わせの違い、として熱画像に表れる。よって、この差のバリエーションを多く選択することで、葉特有の情報を効果的に取り込むことができる。
【0153】
また、（４）の解像度の違う画像が得られるフィルタを選択することも重要である。解像度が高いと、より高い波長の情報が取得できるが、他方でノイズの影響も大きくなる。よって、解像度の低い画像もノイズを除去する上で有用な情報を含んでいるといえる。この意味で、相対的に解像度が低い画像も必要となる。
【0154】
ところで、上記の要件の組み合わせは膨大なものとなる。この点で論理の分岐を極力多くした方が、より多様な情報を取り込める。しかしながら、フィルタの数を増やし、論理を分岐する数を増やすと、演算量が増大し、演算装置（コンピュータ）の負担が大きくなり、実用性が低下する。
【0155】
本発明者らは、図１３のブロックＢからブロックＣに移行する過程で、分岐数が４であれば、実用上有意な葉と背景の分離が可能となり、また演算量の増大も抑えられると判断している。分岐数が４であれば、４つの画像情報の組み合わせとなるので、上述した多様な波長情報の違いを次の演算工程に取り込むことができる。なお、分岐数が３以下となると、波長情報が不足し、葉と背景の分離効率が顕著に低下する。分岐数を５以上とすると、効果は高くなるが、演算量が増大する。
【0156】
トマトの葉を対象とした実験によれば、葉と背景の分離効果として、９５％以上の数値が得られている。この優位性と実用性を鑑み、上記の例では、分岐数を４としている。ハードウェアの進歩により、より大容量の演算がより低コスト、より短時間で行えるようになれば、分岐数を５以上とすることも有効である。
【0157】
【0158】
Convolutionは、畳み込みにより特徴量の圧縮を行う処理である。Convolutionにより、画像の特徴が効率よくデータ化される。
【0159】
Grouped Convolutionは、入力データをレイヤー方向にgroup分割し、分割した各データに対して畳み込みを行い、最後に結合して出力する。
【0160】
MaxPoolingは、各領域内の最大値をとって圧縮を行う。例えば、（２×２）の小領域が更に２×２ある領域（計４×４領域）において、２×２の小領域内の最大値を採用し、当該４×４領域の特徴を２×２に圧縮する。これにより、画像の特徴を維持しつつ、画像サイズを圧縮し、後の工程での演算の負担を軽減する。この場合、４×４＝１６領域が２×２＝４領域に圧縮される。
【0161】
ReLUは、活性化関数を用いて特徴を顕在化する処理の一手法である。
【0162】
Batch Normalizationは、出力を規格化する処理である。
【0163】
Depth concatenationは、情報の深さ方向における結合を行う処理である。例えば、３２×３２×３の画像データＡと画像データＢがあるとする。ここで、情報の各要素は、幅×高さ×奥行き（深さ）である。例えば、３２×３２が画像の２次元方向における情報（形状の情報）であり、最後の３は、各画素の情報（例えば、色や濃さ）が３種類あることを示している。なお、情報の圧縮が進むと、この深さ方向の情報にも形状に関係する情報が畳み込まれ、含まれることになる。
【0164】
上記の場合、画像データＡと画像データＢを深さ方向で結合する処理がDepth concatenationとなる。
【0165】
Transposed Convolutionは、Convolutionにより、畳み込まれ、特徴量の圧縮が行われた画像情報から基の画像への復元を行う処理である。
【0166】
Addition layerは、複数の入力を足し合わせる処理が行なわれる層である。
【0167】
Crop2Dは、データの高さと幅の調整を行う。
【0168】
（概略の説明）
以下、図１３の階層図について説明する。図３０は、図１３を別の観点から見た概念図である。このネットワークでは、ＢｌｏｃｋＡからＢｌｏｃｋＤにおいて、熱画像データ中の葉の画像情報の特徴の抽出、すなわち葉の熱画像に係る情報の顕在化を多段階に渡り行う。
以下、図１３の階層図について説明する。図３０は、図１３を別の観点から見た概念図である。このネットワークでは、ＢｌｏｃｋＡからＢｌｏｃｋＤにおいて、熱画像データ中の葉の画像情報の特徴の抽出、すなわち葉の熱画像に係る情報の顕在化を多段階に渡り行う。
【0169】
ここで抽出したい（顕在化）したい画像情報は、熱画像に捉えられた葉特有の情報である。換言すると、葉であることを示す熱画像情報を効果的に多段階に抽出することで、葉特有の熱画像情報を圧縮して顕在化させ、より濃い情報が得られるようにする。他方で、葉特有の熱画像情報を多段階に渡り深化させることで、葉でない熱画像情報は、その分排除される。換言すると、葉の熱画像の特徴が強化され、葉以外の熱画像の特徴が弱化される。この処理がＢｌｏｃｋＡからＢｌｏｃｋＤのダウンサンプリングで行われる。
【0170】
ＢｌｏｃｋＥからＢｌｏｃｋＧでは、圧縮された葉の熱画像情報に基づき、基の（入力時の）葉の熱画像を再現する処理が行われる。ＢｌｏｃｋＤの終わりの段階のデータは、葉の熱画像の特徴を抽出したデータであるが、特徴部分の情報のみを抽出化した結果、特徴はデジタルデータとして抽象化され、見た目の画像としての情報は失われ、画像として認識することはできない。
【0171】
そこで、ＢｌｏｃｋＥ以降において、葉の特徴を踏まえた画像復元の処理が行われる。最終的に得られる葉の熱画像は、ＢｌｏｃｋＤまでで得られた葉特有のデータに基づくので、背景（葉以外の部分）が除去され、葉のみのものとなる。すなわち、背景が分離された葉の熱画像を得ることができる。
【0172】
（ネットワークの詳細）
処理の対象となる画像は、波長８μｍ～１４μｍに感度を有するサーモグラフィーカメラによって撮影した熱画像（赤外線画像）である。この熱画像は１０４０×７８０画素で２４ビットの階調情報を持つ。この熱画像を２４０×２４０画素にサイズ変更し、ノイズ除去を行い、更にバイナリ画像としたものを入力画像とした。
処理の対象となる画像は、波長８μｍ～１４μｍに感度を有するサーモグラフィーカメラによって撮影した熱画像（赤外線画像）である。この熱画像は１０４０×７８０画素で２４ビットの階調情報を持つ。この熱画像を２４０×２４０画素にサイズ変更し、ノイズ除去を行い、更にバイナリ画像としたものを入力画像とした。
【0173】
使用した熱画像は原画像が１３,７６６枚でこれを画像変換 (ex.拡大、縮小、回転、平行移動など) を行い５５，０６４枚に増やし、これらの熱画像について、各画像の画素を手動で葉のグループと背景のグループの２つに分類した。葉と分類された画素は７７％、背景と分類された画素は２３％であった。この５５，０６４枚の熱画像の内、６０％を学習に使用し、２０％を検証に使用し、２０％をテスト目的に使用した。
【0174】
図１４には、図１３のＢｌｏｃｋＡの処理の詳細および得られる画像イメージが示されている。ここで、入力画像は、画素数が２４０画素×２４０画素×３（ＲＧＢ）の画像データをバイナリイメージとした画像データである。この入力画像に対して３２枚のフィルタを用いてConvolution（畳み込み）を行い、２４０×２４０×３２のFeature mapを作成する（マップ１）。ここでは、一つのフィルタ毎に２４０×２４０×１のFeature mapが作成される。
【0175】
次に、ReLUにより、マップ１のFeature mapの特徴を顕在化しマップ２を得る。更に６４枚のフィルタを用いてConvolution（畳み込み）を行い、１２０×１２０×６４のFeature mapを作成する（マップ３）。この際、畳み込みの仕方により、各Feature mapを１２０×１２０に圧縮する。
【0176】
その後、Batch Normalizationを行い（マップ４）、ReLUにより、マップ４の特徴を顕在化する（マップ５）。
【0177】
次に図１６の処理に進む。図１６のマップ６の処理（MaxPooling）では、画像の特徴を維持しつつ、画像サイズを６０×６０×６４に圧縮する。図１５には、この段階でMaxPoolingを行う効果の有無が示されている。図１５の上段の右端には、マップ６の段階でMaxPoolingを行った結果得られた画像が示され、図１５の下段の右端には、マップ６の段階でMaxPoolingを行わなかった場合に得られた画像が示されている。
【0178】
図１５から、マップ６の段階でMaxPoolingを行うことで、特徴の顕在化、言い換えると特徴の効果的な抽出が行われることが理解される。
【0179】
マップ６の後、Convolution（マップ７）、Batch Normalization n（マップ８）、ReLU（マップ９）、Convolution（マップ１０）と工程を進め、さらに特徴の抽出を進める。マップ１０を得たら、ReLU（活性化関数を用いて特徴を顕在化する処理）によりマップ１１を得る。
【0180】
ここで、マップ１１に対してGrouped Convolutionを行い４チャネルに分割したConvolutionを行い、マップ１２，２１，３０，３９を得る。この際、マップ１２，２１，３０，３９は、それぞれ異なるフィルタを用いて得る。
【0181】
以下、マップ１１からマップ１２，２１，３１，３９に移行する部分の処理について詳しく説明する。
【0182】
まず、マップ１１（６０×６０×６４）に対してConvolutionを行い、６０×６０×６４のFeature map１２（マップ１２）を得たとする。そして、このFeature map１２を画像化したものが図１６画像１２であるとする。ここで、マップ１１は６０×６０×６４のデータであり、６０×６０画素の画像が６４枚ある。ここでは、この６４枚ある画像の中から１枚が選択され、図示されている。
【0183】
ここで、マップ１１に対するConvolutionを行うに際して、Convolutionの方法を変えることを考える。Convolutionの方法を変えると、利用するフィルタの組み合わせが変わり、異なる畳み込みとなり、異なる結果が得られる（勿論、そうならない場合もあり得る）。これは、畳み込みの手順の違いにより、圧縮される特徴量の違い、特徴量の圧縮の程度の違い、複数ある特徴量の圧縮の程度のバランスの違い、といったことが生じるからである。
【0184】
以下手順を詳述する。ここで、使用したソフトウェアに実装されているフィルタは６４種類ある。よってこの場合、第１のConvolution、第２のConvolution、第３のConvolution、・・・第６４のConvolutionの合計６４通りのConvolutionがあることになる。
【0185】
まず、上記６４通りのConvolutionの中から４つを選ぶ。選び方はランダムである。ここでは、この４つのConvolutionを第１のConvolution、第２のConvolution、第３のConvolution、第４のConvolutionと呼ぶ。当然、第１のConvolution、第２のConvolution、第３のConvolution、第４のConvolutionは、異なるConvolutionである。
【0186】
ここで、マップ１１に対する第１のConvolutionを行い第１の特徴マップを得、マップ１１に対する第２のConvolutionを行い第２の特徴マップを得、マップ１１に対する第３のConvolutionを行い第３の特徴マップを得、マップ１１に対する第４のConvolutionを行い第４の特徴マップを得る。この処理が第１のGrouped Convolutionとなる。
【0187】
そして、第１の特徴マップを画像化して第１の画像を得、第２の特徴マップを画像化して第２の画像を得、第３の特徴マップを画像化して第３の画像を得、第４の特徴マップを画像化して第４の画像を得る。
【0188】
これら第１～第４の画像を得たら、その中の任意の２画像を選択し、下記（１）の要件を満たし、且つ、（２），（３），（４）の中の少なくとも２つの要件を満たすか否か、を目視で判定する。勿論、画像解析技術を用いてこの判定を自動化することも可能である。ここでは、発明者が目視で判定を行なった。
【0189】
（１）全体に明瞭である。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
（２）特徴が強調されて見えている部分が異なる。
（３）色調や明暗の部分が異なる。
（４）解像度が異なる。
【0190】
この判定を上記第１の画像～第４の画像の中から選ばれた２つの画像の組の全て、すなわち第１～第４の４つの画像の中における２つの画像の組み合わせの全ての組に対して行う。全ての組における判定がＹＥＳ、すなわち全ての組が（１）を満たし、且つ、（２）～（４）の要件の少なくとも２つを満たす場合、選んだ第１の画像～第４の画像の基となる第１のGrouped Convolutionを採用候補とする。
【0191】
ここで、Convolutionの種類は６４あり、その中の４つの組み合わせを変えることで、第２のGrouped Convolution、第３のGrouped Convolution、・・・・を用意し、同様の処理を繰り返す。なお理想はそうであるが、現実には組み合わせ数が膨大になるので、明瞭な画像が得られ、また解像度があるレベル以上得られるConvolutionに絞ってGrouped Convolutionを構成し、上記の判定を各Grouped Convolutionについて行なった。
【0192】
上記の判定を通過（合格）したGrouped Convolutionがない場合、上記（１）の要件の基準を緩和し、合格するGrouped Convolutionを探索する。合格するGrouped Convolutionが複数ある場合、その中で上記の要件をより顕著に満たす画像の組が得られたGrouped Convolutionを採用する。
【0193】
こうして、任意の２つの画像を選択した場合に、全ての組み合わせにおいて、上記（１）の要件を満たし、且つ、（２），（３），（４）の中の少なくとも２つの要件を満たす４枚の画像の基となるFeature mapの組をマップ１２，２１，３０，３９として選択する。
以上の処理は、ｎを５以上の自然数として、分岐数がｎの場合も同じである。
以上の処理は、ｎを５以上の自然数として、分岐数がｎの場合も同じである。
【0194】
なお、マップ１１に対して、Grouped Convolutionでなく、Convolutionを行った場合、図１６下段に示すように得られる画像の解像度が低くなる。
【0195】
マップ１２以降の処理、マップ２１以降の処理、マップ３０以降の処理およびマップ３９以降の処理は同じである。ただし、出発点となるマップ１２，２１，３０，３９が異なるので、処理の結果は異なるものとなる。
【0196】
この段階で、４チャネルに分割したConvolutionを行い、マップ１２，２１，３０，３９を得ることは重要である。この処理は、熱画像における葉と背景の分離を効果的に行うために実行される。
【0197】
ここで、より前の段階で上記の処理を行うと、熱画像における葉特有の特徴の抽出（顕在化）が十分でないので、ノイズ成分の影響が大きく、各チャンネルにおけるこのノイズ成分の悪影響が顕在化する。
【0198】
他方において、この段階より後に上記の処理を行うと、特徴量の抽出（顕在化）がデータ上で進みすぎ、画像として認識し難いデータとなる。特徴量の圧縮が進むと、特徴のデータ化は進むが、他方で画素に対応するデータ量は減り、画像として視認した場合に、それが本来視覚的にどのような画像であったのかは徐々に認識し難くなってゆく。すなわち、畳み込みを繰り返してゆくと、画像の特徴のデータ化画進み、画像の特徴の抽象化が進むが、それに反比例して、見た目の画像として情報は失われてゆく。
【0199】
マップ１１⇒マップ１２、マップ１１⇒マップ２１、マップ１１⇒マップ３０、マップ１１⇒マップ３９の分岐に係り、マップ１２，２１，３０，３９を画像化したものを視認して、Convolutionの選択を行っている。そのため、この段階で画像の認識がし難いと、４チェンネルに分岐するための効果的なConvolutionの選択が難しくなる。
【0200】
以上の理由から、ある程度の特徴量の圧縮が行われ、且つ、画像化したものの視認性が損なわれないFeature mapとして、マップ１１が選択されている。
【0201】
マップ１２以降、マップ２１以降、マップ３０以降、マップ３９以降の各チャネルの処理の詳細は、図１６に示す通りである。
【0202】
図１６に示すＢｌｏｃｋＢの後、図１７のＢｌｏｃｋＣに進む。この際、マップ２０とマップ２９は、Depth concatenationにより結合（合成）され、Feature map４８（マップ４８）を得る。また、マップ３８とマップ４７は、Depth concatenationにより結合（合成）され、Feature map５９（マップ５９）を得る。
【0203】
ここで、ＳＫＩＰ処理として、マップ１５と２４のデータがマップ４８を得るためのDepth concatenationにおいてマップ２０と２９のデータと結合される。また、マップ３３と４２のデータがマップ５９を得るためのDepth concatenationにおいてマップ３８と４７のデータと結合される。
【0204】
このＳＫＩＰ処理は、情報の欠落を抑制し、また処理を安定させるために行われる。Convolutionを多段階に行うと、特徴量の圧縮が進むが、必要な情報が欠落する可能性も発生する。この欠落する情報を取り込むために、上記ＳＫＩＰ処理が行われる。
【0205】
マップ４８，５９の段階で、マップを一つに纏めず、マップ４８と５９に纏めるのは以下の理由がある。マップ１５，２４，３３，４２の段階で３０×３０×３２と特徴量の圧縮が進んでいる。
【0206】
ここでは、マップ１２～２０，２１～２９，３１～３８，３９～４７の４チャンネルの処理は、その基点となるマップ１２，２３，３０，３９の段階における画像情報が、極力顕著に異なる組み合わせとなるように選択されている。故に、各チャネルにおいて圧縮される特徴量は大きく異なる傾向になる可能性がある（意図してそのようにしているとも言える）。
【0207】
顕著に異なる特徴量をDepth concatenationにおいて結合した場合、その後のConvolutionにおいて、特徴量の圧縮に無理が生じ、有効な（効果的な）特徴量の圧縮に支障が出る傾向が生じる。この問題を緩和するために、マップ２０とマップ２９、ＳＫＩＰデータとしてマップ１５とマップ２４の４つのマップのデータを合成してマップ４８を得ている。また、マップ３８とマップ４７、ＳＫＩＰデータとしてマップ３３とマップ４２の４つのマップのデータを合成してマップ５９を得ている。こうして、4チャネルを2チャネルに編成し直している。
【0208】
マップ４８，マップ５９の段階において、３０×３０×３２のFeature mapを４つDepth concatenationするので、この段階で得られるFeature mapのデータ量は３０×３０×１２８となる。
【0209】
マップ４８にMaxPoolingを行いマップ４９を得る。また、マップ５９にMaxPoolingを行いマップ６０を得る。この段階でデータ量は１０×１０×１２８に圧縮される。そして、マップ５０，６１の段階でConvolutionにより、データ量が１０×１０×６４となり、更にマップ５６，６７の段階でデータ量が５×５×６４に畳み込まれる。
【0210】
マップ５８からマップ７０と７６に分岐し、それぞれにおいてConvolutionが行われる。ここでは５×５×６４のデータが、第１の５×５×３２のデータ、第２の５×５×３２のデータに分岐され、マップ７０⇒７１⇒７２⇒７３⇒７４⇒７５の系統の処理と、マップ７６⇒７７⇒７８の系統の処理が行われる。ここで、階層を変えた２系統の処理を行うことで、誤った方向への特徴量の圧縮を抑制している。
【0211】
マップ５６の５×５×６４のＳＫＩＰデータ、マップ７５の５×５×３２のデータ、マップ７８の５×５×３２のデータは、図１８のマップ８８で合成され、５×５×１２８のデータが得られる。
【0212】
また、マップ６７の５×５×６４のＳＫＩＰデータ、マップ８１の５×５×３２のデータ、マップ８７の５×５×３２のデータは、図１８のマップ９５で合成され、５×５×１２８のデータが得られる。
【0213】
マップ８８の５×５×１２８のデータが１×１×６４のデータに畳み込まれる（マップ８９）。また、マップ９５の５×５×１２８のデータが１×１×６４のデータに畳み込まれる（マップ９６）。
【0214】
マップ９４からマップ１０２と１０５に分岐し、それぞれデータの畳み込み（Convolution）が行われ、１×１×３２のデータを２系統得る。また、マップ１０１からマップ１０８と１１１に分岐し、それぞれデータの畳み込みが行われ、１×１×３２のデータを２系統得る。
【0215】
マップ１０２のデータに対して、出力を規格化する処理であるBatch Normalizationが行われてマップ１０３が得られ、活性化関数を用いて特徴を顕在化する処理ReLUが施され更にマップ１０４が得られる。同様にして、マップ１０７，１１０，１１３が得られる。
【0216】
こうして、葉の特徴量が１×１×３２に圧縮された４系統のデータであるFeature map１０４，１０７，１１０，１１３が得られる。ここまでがダウンサンプリング、すなわち葉の特徴量を圧縮する工程となる。この段階で、葉の熱画像の特徴量が高度に抽象化されたデジタルデータが得られる。
【0217】
このデータは、葉の熱画像の特徴を高レベルに抽出したものであるが、初めに２４０×２４０あった画素データは１画素のデータに圧縮され、そのままでは画像化できない。
【0218】
そこで、マップ１０４，１０７，１１０，１１３に基づく画像の復元を行う。この画像の復元がアップサンプリングとなる。
【0219】
図１９以降にアップサンプリングの詳細が記載されている。マップ１１４，１１５以降に分岐を繰り返しているが、これは処理の効率を上げるためである。なお、アップサンプリングの段階では、演算の負担がダウンサンプリングの場合に比較して少ない。そのため図１９に示す処理の分岐が可能となる。
【0220】
マップ１７６では、マップ５６の５×５×６４のデータ、マップ１３３，１３９，１４５，１５１の５×５×１６のデータが加算され、５×５×１２８のデータが得られる。
【0221】
マップ１７７では、マップ６７の５×５×６４のデータ、マップ１５７，１６３，１６９，１７５の５×５×１６のデータが加算され、５×５×１２８のデータが得られる。
【0222】
図１９のマップ１８３から図２０のマップ１９０，２１０に進み、図１９のマップ１８９から図２０のマップ２２７，２５３に進む。図２０において経路が不均等に分岐している。これは、画像の再現性を高めるためである。
【0223】
図２０のマップ２０９，２２６が図２１のマップ２６３で合成される。図２０のマップ２４２，２５２が図２１のマップ２７３で合成される。マップ２６７，２７７の段階で２４０×２４０×３２のデータとされ、マップ２８３の段階で合成される。
【0224】
その後、マップ２８４の段階でマップ２８３のデータと入力のＲＧＢ熱画像が合成される。マップ２８３は、葉の特徴量を圧縮し、データ化したデータであり、マップ２８３と入力画像を合成することで、入力画像における葉の部分がより強調され、葉以外の画像が弱化される。すなわち、マップ２８３のデータが入力画像の中から葉の部分の画像を強調する（あるいは葉以外の画像をマスクする）フィルタとして機能する。
【0225】
マップ２９０の段階で２４０×２４０×２のバイナリ画素データとされ、更にsoftmax処理が行われて出力画像(Output)が得られる。
【0226】
【0227】
（付記）
本実施形態で示すネットワークは、葉の熱画像（赤外線画像）における葉と背景の分離を目的に開発したものであり、特に熱画像を対象とした場合に有効であるが、熱画像以外への適用を阻害する理由はない。よって、熱画像以外の画像（例えば、可視光画像）への適用も可能である。また、対象も葉に限定されず、画像中からの特定の対象の分離に利用することも可能である。
本実施形態で示すネットワークは、葉の熱画像（赤外線画像）における葉と背景の分離を目的に開発したものであり、特に熱画像を対象とした場合に有効であるが、熱画像以外への適用を阻害する理由はない。よって、熱画像以外の画像（例えば、可視光画像）への適用も可能である。また、対象も葉に限定されず、画像中からの特定の対象の分離に利用することも可能である。
【0228】
上記のネットワークを方法の発明あるいはプログラムの発明として把握することも可能である。
【符号の説明】
【0229】
１００…トマトの樹冠、２００…解析装置、３００…農業ハウス、４００…育成環境制御装置、１０１…トマトの樹冠の上端付近。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】