ホーム > 特許ランキング > 国立大学法人 筑波大学
特開2023-32096区分け画像推定装置、区分け画像推定方法、機械学習装置、及び機械学習方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023032096
(43)【公開日】2023-03-09
(54)【発明の名称】区分け画像推定装置、区分け画像推定方法、機械学習装置、及び機械学習方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20230302BHJP
G06T 7/10 20170101ALI20230302BHJP
【ＦＩ】
G06T7/00 350B
G06T7/10
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021138004
(22)【出願日】2021-08-26
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、研究成果展開事業 共創の場形成支援（産学共創プラットフォーム共同研究推進プログラム）「食の未来を拓く革新的先端技術の創出に関する国立大学法人筑波大学による研究開発」委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】福田 直也
(72)【発明者】
【氏名】アランニャ クラウス デ カステロ
(72)【発明者】
【氏名】今倉 暁
(72)【発明者】
【氏名】櫻井 鉄也
(72)【発明者】
【氏名】アベ ミツ テル
(72)【発明者】
【氏名】藤内 直道
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA01
5L096EA39
5L096FA34
5L096FA67
5L096JA03
5L096JA11
5L096KA04
(57)【要約】
【課題】３Ｄスキャナーとは異なる手法を用いて葉群落における葉の形質評価を実施する技術を提供すること。
【解決手段】区分け画像推定装置（１）は、機械学習により構築された学習済モデル（ＬＭ）を用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを実行する１又は複数のプロセッサを備えており、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【選択図】図１
【解決手段】区分け画像推定装置（１）は、機械学習により構築された学習済モデル（ＬＭ）を用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを実行する１又は複数のプロセッサを備えており、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【選択図】図１
【特許請求の範囲】
【請求項1】
機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを実行する１又は複数のプロセッサを備えており、
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする区分け画像推定装置。
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする区分け画像推定装置。
【請求項2】
前記１又は複数のプロセッサは、前記区分け画像のうち前記葉の領域に含まれるピクセルのピクセル数を出力する出力ステップを更に実行する、
ことを特徴とする請求項１に記載の区分け画像推定装置。
ことを特徴とする請求項１に記載の区分け画像推定装置。
【請求項3】
前記１又は複数のプロセッサは、
前記区分け画像の全ピクセル数に対する前記ピクセル数の比を算出する比算出ステップと、
予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に実行する、
ことを特徴とする請求項２に記載の区分け画像推定装置。
前記区分け画像の全ピクセル数に対する前記ピクセル数の比を算出する比算出ステップと、
予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に実行する、
ことを特徴とする請求項２に記載の区分け画像推定装置。
【請求項4】
前記葉群落は、列に沿って形成されており、且つ、一対の側面を有しており、
前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、
前記１又は複数のプロセッサは、前記第１の推定ステップと前記第２の推定ステップとの間に実行する重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に実行し、
前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている、
ことを特徴とする請求項３に記載の区分け画像推定装置。
前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、
前記１又は複数のプロセッサは、前記第１の推定ステップと前記第２の推定ステップとの間に実行する重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に実行し、
前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている、
ことを特徴とする請求項３に記載の区分け画像推定装置。
【請求項5】
前記重みフィルタは、前記葉群落画像の左右の端部のうち、一方の端部である第１の端部から他方の端部である第２の端部へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されており、
前記１又は複数のプロセッサは、前記重み付け画像生成ステップにおいて、
前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタを適用し、
前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタを適用する、
ことを特徴とする請求項４に記載の区分け画像推定装置。
前記１又は複数のプロセッサは、前記重み付け画像生成ステップにおいて、
前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタを適用し、
前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタを適用する、
ことを特徴とする請求項４に記載の区分け画像推定装置。
【請求項6】
前記１又は複数のプロセッサは、前記第１の推定ステップと前記重み付け画像生成ステップとの間にトリミングステップを更に実行し、
当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
ことを特徴とする請求項５に記載の区分け画像推定装置。
当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
ことを特徴とする請求項５に記載の区分け画像推定装置。
【請求項7】
１又は複数のプロセッサが、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを含んでおり、
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする区分け画像推定方法。
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする区分け画像推定方法。
【請求項8】
前記区分け画像のうち前記葉の領域に含まれるピクセルのピクセル数を出力する出力ステップを更に含んでいる、
ことを特徴とする請求項７に記載の区分け画像推定方法。
ことを特徴とする請求項７に記載の区分け画像推定方法。
【請求項9】
前記区分け画像の全ピクセル数に対する前記ピクセル数の比を算出する比算出ステップと、
予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に含んでいる、
ことを特徴とする請求項８に記載の区分け画像推定方法。
予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に含んでいる、
ことを特徴とする請求項８に記載の区分け画像推定方法。
【請求項10】
前記葉群落は、列に沿って形成されており、且つ、一対の側面を有しており、
前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、
前記第１の推定ステップと前記第２の推定ステップとの間に実行される重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に含み、
前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるように構成されている、
ことを特徴とする請求項９に記載の区分け画像推定方法。
前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、
前記第１の推定ステップと前記第２の推定ステップとの間に実行される重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に含み、
前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるように構成されている、
ことを特徴とする請求項９に記載の区分け画像推定方法。
【請求項11】
前記重みフィルタは、前記葉群落画像の左右の端部のうち、一方の端部である第１の端部から他方の端部である第２の端部へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されており、
前記重み付け画像生成ステップにおいては、
前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタが適用され、
前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタが適用される、
ことを特徴とする請求項１０に記載の区分け画像推定方法。
前記重み付け画像生成ステップにおいては、
前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタが適用され、
前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタが適用される、
ことを特徴とする請求項１０に記載の区分け画像推定方法。
【請求項12】
前記第１の推定ステップと前記重み付け画像生成ステップとの間に実行されるトリミングステップを更に含み、
当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
ことを特徴とする請求項１１に記載の区分け画像推定方法。
当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
ことを特徴とする請求項１１に記載の区分け画像推定方法。
【請求項13】
学習用データセットを用いた機械学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを実行する１又は複数のプロセッサを備えており、
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする機械学習装置。
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする機械学習装置。
【請求項14】
１又は複数のプロセッサが、学習用データセットを用いた機械学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを含んでおり、
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする機械学習方法。
前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、
前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである、
ことを特徴とする機械学習方法。
【請求項15】
請求項１～６の何れか１項に記載の区分け画像推定装置としてコンピュータを機能させるためのプログラムであって、上記第１の推定ステップをコンピュータに実行させるプログラム。
【請求項16】
請求項１３に記載の機械学習装置としてコンピュータを動作させるためのプログラムであって、前記構築ステップを前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習済モデルを用いて葉群落における葉の領域と他の領域との境界を推定する装置及び方法に関する。また、そのような学習済モデルを構築する装置及び方法に関する。
【背景技術】
【0002】
野菜や果物などの作物の生育状況の管理を行う場合、遺伝的能力を示す遺伝要因データと、環境要因を示す環境要因データと、作物の成長量を示す成長量データとを用いる。生育状況の管理においては、遺伝要因データ及び環境要因データが説明変数であり、成長量データが目的変数である。
【0003】
遺伝要因データ及び環境要因データについては、シーケンサー及びセンサの進化に伴い、人手を掛けずに大量のデータを取得することが可能になっている。一方、成長量データ（一例としては、葉群落における葉面積指数）を取得するための形質評価については、ユーザが定規又はノギスを用いて葉の形状などを評価する手法が現在でも行われている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ohashi et. al., Monitoring the Growth and Yield of Fruit Vegitables in Greenhouse Using a Three-Dimensional Scanner, Sensor, 20, 5270, 2020.
【発明の概要】
【発明が解決しようとする課題】
【0005】
機械的に葉群落における葉の形質評価を実施する技術としては、光源としてレーザーを備えた３Ｄスキャナーを用いる技術が知られている（非特許文献１参照）。
【0006】
しかしながら、３Ｄスキャナーは、１台の価格が高価である。そのため、３Ｄスキャナーを各農園に普及させることは、非現実的である。また、３Ｄスキャナーは、大きく重たいため、通路が十分に広くない畑あるいはグリーンハウスにおいて移動させることが難しい。すなわち、３Ｄスキャナーは、作物の栽培現場での使用に向いていない。
【0007】
また、３Ｄスキャナーは、外乱光が存在している環境では使えない。そのため、３Ｄスキャナーを用いての葉群落の計測は、昼間に実施することができず、３Ｄスキャナーの操作者は、夜間に形質評価を実施せざるを得ない。
【0008】
本発明の一態様は、上述した課題に鑑み成されたものであり、その目的は、３Ｄスキャナーとは異なる手法を用いて葉群落における葉の形質評価を実施する技術を提供することである。
【課題を解決するための手段】
【0009】
本発明の一態様に係る区分け画像推定装置は、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する推定ステップを実行する１又は複数のプロセッサを備えている。また、本発明の一態様に係る区分け画像推定方法は、１又は複数のプロセッサが、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する推定ステップを含んでいる。
【0010】
また、本発明の一態様に係る機械学習装置は、学習用データセットを用いた教師あり学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを実行する１又は複数のプロセッサを備えている。また、本発明の一態様に係る機械学習方法は、１又は複数のプロセッサが、学習用データセットを用いた教師あり学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを含んでいる。
【0011】
そして、前記区分け画像推定装置、前記区分け画像推定方法、前記機械学習装置、及び前記機械学習方法において、（ａ）前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、（ｂ）前記学習済モデルの出力は、葉群落における葉の領域と他の領域との境界を推定することにより生成された区分け画像データであって、前記葉の領域と前記他の領域とを区分けした区分け画像を表す区分け画像データである。
【発明の効果】
【0012】
本発明の一態様によれば、３Ｄスキャナーとは異なる手法を用いて葉群落における葉の形質評価を実施する技術を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態に係る区分け画像推定システムの構成を示す図である。
【図3】（ａ）は、図２の区分け画像推定装置が実施する区分け画像推定方法の流れを示すフローチャートである。（ｂ）は、（ａ）に示す区分け画像推定方法に含まれる後処理ステップの流れを示すフローチャートである。
【図4】トマトが栽培されているグリーンハウスの模式的な平面図である。
【図14】（ａ）～（ｆ）は、本発明の実施例の実用フェーズで用いた葉群落画像の一例である。（ａ）～（ｃ）は、第１のグループの葉群落画像であり、（ｄ）～（ｆ）は、第２のグループの葉群落画像である。
【図15】（ａ）は、本発明の実施例において、第１のグループの葉群落画像データを学習済モデルの入力として得られたピクセル比と、第１のグループの葉群落画像データの各葉群落画像の被写体となった葉群落のＬＡＩの実測値と、をプロットしたグラフである。また、（ａ）には、第１の相関関係を直線で示している。（ｂ）は、本発明の実施例において、第２のグループの葉群落画像データを学習済モデルの入力として得られたピクセル比と、第２のグループの葉群落画像データの各葉群落画像の被写体となった葉群落のＬＡＩの実測値と、をプロットしたグラフである。また、（ｂ）には、第２の相関関係を直線で示している。
【発明を実施するための形態】
【0014】
【0015】
区分け画像推定システムＳは、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成するためのシステムである。区分け画像推定システムＳは、図１に示すように、区分け画像推定装置１と、機械学習装置２と、を備えている。また、区分け画像推定システムＳにおいては、区分け画像推定装置１への入力となる葉群落画像データを生成するために、カメラＣ１を用いる。また、区分け画像推定システムＳにおいては、機械学習装置２への入力となる葉群落画像データを生成するために、カメラＣ２１を用いる。また、区分け画像推定システムＳにおいては、機械学習装置２への入力となる区分け画像データを生成するためにコンピュータＣ２２を用いる。
【0016】
カメラＣ１及びカメラＣ２は、撮影した画像を表す画像データを生成するデジタルカメラである。本実施形態では、カメラＣ１及びカメラＣ２１の各々としてスマートフォンが備えているデジタルカメラを用いる。ただし、カメラＣ１及びカメラＣ２の各々は、スマートフォンが備えているデジタルカメラに限定されない。カメラＣ１及びカメラＣ２１の各々は、被写体として葉群落を含む画像を撮影することができるデジタルカメラであればいかなるものでもよい。また、カメラＣ１及びカメラＣ２１は、同じデジタルカメラであってもよいし、異なるデジタルカメラであってもよい。
【0017】
＜区分け画像推定装置＞
区分け画像推定装置１は、区分け画像推定方法Ｍ１を実施するための装置である。区分け画像推定方法Ｍ１は、カメラＣ１から提供されたデータに基づき、機械学習により構築された学習済モデルＬＭを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する方法である。学習済モデルＬＭとしては、例えば、U-Net Deep Neural Networks(U-Net DNN)アーキテクチャーが挙げられる。U-Net DNNについては、Ghosh, S., Das, N., Das, I., & Maulik, U. (2019). Understanding deep learning techniques for image segmentation. ACM Computing Surveys, 52 , 1{35. URL:https://doi.org/10.1145/3329784. doi:10.1145/3329784に記載されている。区分け画像推定装置１の構成及び区分け画像推定方法Ｍ１の流れの詳細については、参照する図面を代えて後述する。
区分け画像推定装置１は、区分け画像推定方法Ｍ１を実施するための装置である。区分け画像推定方法Ｍ１は、カメラＣ１から提供されたデータに基づき、機械学習により構築された学習済モデルＬＭを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する方法である。学習済モデルＬＭとしては、例えば、U-Net Deep Neural Networks(U-Net DNN)アーキテクチャーが挙げられる。U-Net DNNについては、Ghosh, S., Das, N., Das, I., & Maulik, U. (2019). Understanding deep learning techniques for image segmentation. ACM Computing Surveys, 52 , 1{35. URL:https://doi.org/10.1145/3329784. doi:10.1145/3329784に記載されている。区分け画像推定装置１の構成及び区分け画像推定方法Ｍ１の流れの詳細については、参照する図面を代えて後述する。
【0018】
学習済モデルＬＭの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データである。
【0019】
本実施形態において被写体として撮影する葉群落は、列に沿って植えられた複数の作物の葉群落である。そのため、この葉群落は、カメラＣ１を持つユーザから見た場合に、ユーザに近い側の側面と、ユーザに違い側の側面と、からなる一対の側面を有する。ユーザが被写体とする作物の列の右側にいる場合、葉群落の右側の側面がユーザに近い側の側面となり、葉群落の左側の側面がユーザに遠い側の側面となる。また、ユーザが被写体とする作物の列の右側にいる場合には、上述した関係は、逆になる。
【0020】
区分け画像推定システムＳにおいて、葉群落画像は、被写体である葉群落の一対の側面のうち一方の側面を斜めの角度から撮影したものである。葉群落画像の具体例については、参照する図面を代えて後述する。
【0021】
本実施形態では、作物としてグリーンハウス中において栽培されているトマトを用いて区分け画像推定システムＳについて説明する。ただし、作物は、トマトに限定されるものではなく、葉群落を形成する作物であれば如何なるものであってもよい。トマト以外の作物の例としては、きゅうり及びパプリカが挙げられる。なお、区分け画像推定システムＳは、トマトのように、葉群落における葉の重なり具合が高い作物における葉の形質評価に好適である。
【0022】
学習済モデルＬＭの出力は、葉群落における葉の領域と他の領域との境界を推定することにより生成された区分け画像データであって、前記葉の領域と前記他の領域とを区分けした区分け画像を表す区分け画像データである。
【0023】
区分け画像は、葉群落画像をベースにして生成される画像であって、区分け画像を構成する各ピクセルが０又は１の値を有する二値画像である。本実施形態では、葉群落画像のうち、葉群落における葉の領域に対応するピクセルの値を１とし、他の領域に対応するピクセルの値を０とする。このように、区分け画像においては、各ピクセルがその値として二値の何れかをとることによって、葉群落における葉の領域と、他の領域と、を区分けしている。
【0024】
学習済モデルＬＭの入力である葉群落画像と学習済モデルＬＭの出力である区分け画像との間には、関係式として明示的に特定することは困難であるものの、一定の関係があることが知られている。したがって、葉群落画像を入力とする学習済モデルＬＭを用いれば、区分け画像を精度良く推定することができる。
【0025】
＜機械学習装置＞
機械学習装置２は、機械学習方法Ｍ２を実施するための装置である。機械学習方法Ｍ２は、カメラＣ２１から提供された葉群落画像データと、ユーザが推定した境界であって、葉群落における葉の領域と他の領域との境界に基づいてコンピュータＣ２２が生成し、機械学習装置２に入力された区分け画像データと、を用いて学習用データセットＤＳを作成すると共に、学習用データデータセットＤＳを用いた機械学習によって学習済モデルＬＭを構築するための方法である。機械学習装置２の構成及び機械学習方法Ｍ２の流れの詳細については、参照する図面を代えて後述する。
機械学習装置２は、機械学習方法Ｍ２を実施するための装置である。機械学習方法Ｍ２は、カメラＣ２１から提供された葉群落画像データと、ユーザが推定した境界であって、葉群落における葉の領域と他の領域との境界に基づいてコンピュータＣ２２が生成し、機械学習装置２に入力された区分け画像データと、を用いて学習用データセットＤＳを作成すると共に、学習用データデータセットＤＳを用いた機械学習によって学習済モデルＬＭを構築するための方法である。機械学習装置２の構成及び機械学習方法Ｍ２の流れの詳細については、参照する図面を代えて後述する。
【0026】
＜区分け画像推定システムにおける各フェーズ＞
区分け画像推定システムＳは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
区分け画像推定システムＳは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
【0027】
（１）準備フェーズ
準備フェーズにおいては、ユーザがコンピュータＣ２２を用いて葉群落画像における葉領域とその他の領域との境界を特定する。コンピュータＣ２２は、ユーザにより特定された境界に応じて、葉の領域と他の領域とを区分けした区分け画像を表す区分け画像データを生成する。以下においては、この操作を区分け画像の生成と称する。ユーザによる区分け画像の生成が行われる度に、機械学習装置２は、カメラＣ２１から提供された葉群落画像データと、ユーザがコンピュータＣ２２を用いて生成し、機械学習装置２に入力された区分け画像データと、から学習用データ（教師データ）を作成し、作成した学習用データを学習用データセットＤＳに追加する。準備フェーズは、準備フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、準備フェーズにおける区分け画像の生成回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。準備フェーズが終了すると、機械学習装置２は、学習用データセットＤＳを用いた機械学習によって学習済モデルＬＭを構築する。構築された学習済モデルＬＭは、機械学習装置２から区分け画像推定装置１に転送される。
準備フェーズにおいては、ユーザがコンピュータＣ２２を用いて葉群落画像における葉領域とその他の領域との境界を特定する。コンピュータＣ２２は、ユーザにより特定された境界に応じて、葉の領域と他の領域とを区分けした区分け画像を表す区分け画像データを生成する。以下においては、この操作を区分け画像の生成と称する。ユーザによる区分け画像の生成が行われる度に、機械学習装置２は、カメラＣ２１から提供された葉群落画像データと、ユーザがコンピュータＣ２２を用いて生成し、機械学習装置２に入力された区分け画像データと、から学習用データ（教師データ）を作成し、作成した学習用データを学習用データセットＤＳに追加する。準備フェーズは、準備フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、準備フェーズにおける区分け画像の生成回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。準備フェーズが終了すると、機械学習装置２は、学習用データセットＤＳを用いた機械学習によって学習済モデルＬＭを構築する。構築された学習済モデルＬＭは、機械学習装置２から区分け画像推定装置１に転送される。
【0028】
（２）試用フェーズ
試用フェーズにおいては、ユーザが区分け画像の生成を行うと共に、区分け画像推定装置１が区分け画像の推定を行う。ユーザによる区分け画像の生成が行われる度に、区分け画像推定装置１は、カメラＣ１から提供されたデータ、及び、ユーザにより入力されたデータに基づき、学習済モデルＬＭを用いて区分け画像を推定する。試用フェーズは、試用フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、試用フェーズにおける区分け画像の生成回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。試用フェーズが終了すると、ユーザは、定義に従って算出された区分け画像と区分け画像推定装置１が推定した区分け画像とを比較し、区分け画像推定装置１の推定精度を評価する。推定精度が不十分である場合には、準備フェーズに戻る。推定精度が十分である場合には、実用フェーズに進む。なお、推定精度の確認は、準備フェーズが終了した段階で、学習用データセットＤＳの一部を利用して行ってもよい。この場合、試用フェーズを省略することができる。
試用フェーズにおいては、ユーザが区分け画像の生成を行うと共に、区分け画像推定装置１が区分け画像の推定を行う。ユーザによる区分け画像の生成が行われる度に、区分け画像推定装置１は、カメラＣ１から提供されたデータ、及び、ユーザにより入力されたデータに基づき、学習済モデルＬＭを用いて区分け画像を推定する。試用フェーズは、試用フェーズの開始から所定の期間（例えば、１週間、１ヶ月、又は１年など）が経過した時点で終了してもよいし、試用フェーズにおける区分け画像の生成回数が所定の回数（例えば、１００回、１０００回、又は１００００回など）に達した時点で終了してもよい。試用フェーズが終了すると、ユーザは、定義に従って算出された区分け画像と区分け画像推定装置１が推定した区分け画像とを比較し、区分け画像推定装置１の推定精度を評価する。推定精度が不十分である場合には、準備フェーズに戻る。推定精度が十分である場合には、実用フェーズに進む。なお、推定精度の確認は、準備フェーズが終了した段階で、学習用データセットＤＳの一部を利用して行ってもよい。この場合、試用フェーズを省略することができる。
【0029】
（３）実用フェーズ
実用フェーズにおいては、区分け画像推定装置１が区分け画像の推定を行う。実用フェーズにおいて区分け画像推定装置１が用いる学習済モデルＬＭは、試用フェーズにおいて十分な推定精度を有することを確かめられたものである。実用フェーズにおいては、ユーザによる区分け画像の生成を省略することができる。このため、区分け画像の生成の手間からユーザを解放すると共に、精度良く区分け画像の推定を行うことが可能になる。
実用フェーズにおいては、区分け画像推定装置１が区分け画像の推定を行う。実用フェーズにおいて区分け画像推定装置１が用いる学習済モデルＬＭは、試用フェーズにおいて十分な推定精度を有することを確かめられたものである。実用フェーズにおいては、ユーザによる区分け画像の生成を省略することができる。このため、区分け画像の生成の手間からユーザを解放すると共に、精度良く区分け画像の推定を行うことが可能になる。
【0030】
【0031】
区分け画像推定装置１は、汎用コンピュータを用いて実現されており、プロセッサ１１と、一次メモリ１２と、二次メモリ１３と、入出力インタフェース１４と、通信インタフェース１５と、バス１６とを備えている。プロセッサ１１、一次メモリ１２、二次メモリ１３、入出力インタフェース１４、及び通信インタフェース１５は、バス１６を介して相互に接続されている。
【0032】
二次メモリ１３には、区分け画像推定プログラムＰ１、学習済モデルＬＭ、及び、区分け画像におけるピクセル比と葉面積指数(Leaf Area Index, LAI)との相関関係を表す相関関数が格納されている。プロセッサ１１は、二次メモリ１３に格納されている区分け画像推定プログラムＰ１及び学習済モデルＬＭを一次メモリ１２上に展開する。そして、プロセッサ１１は、一次メモリ１２上に展開された区分け画像推定プログラムＰ１に含まれる命令に従って、区分け画像推定方法Ｍ１に含まれる各ステップを実行する。一次メモリ１２上に展開された学習済モデルＬＭは、区分け画像推定方法Ｍ１の第１の推定ステップＭ１２（後述）をプロセッサ１１が実行する際に利用される。なお、区分け画像推定プログラムＰ１が二次メモリ１３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ１３に記憶されていることを指す。また、学習済モデルＬＭが二次メモリ１３に格納されているとは、学習済モデルＬＭを規定するパラメータが二次メモリ１３に格納されていることを指す。
【0033】
なお、上述したピクセル比とＬＡＩとの相関関係を表す相関関数については、参照する図を代えて後述する。
【0034】
プロセッサ１１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ１１は、「演算装置」と呼ばれることもある。
【0035】
また、一次メモリ１２として利用可能なデバイスとしては、例えば、ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ１２は、「主記憶装置」と呼ばれることもある。また、二次メモリ１３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ１３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ１３は、区分け画像推定装置１に内蔵されていてもよいし、入出力インタフェース１４又は通信インタフェース１５を介して区分け画像推定装置１と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、区分け画像推定装置１における記憶を２つのメモリ（一次メモリ１２及び二次メモリ１３）により実現しているが、これに限定されない。すなわち、区分け画像推定装置１における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ１２として利用し、そのメモリの他の記憶領域を二次メモリ１３として利用すればよい。
【0036】
入出力インタフェース１４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース１４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）、ＨＤＭＩ（High Definition Multimedia Interface、登録商標）などのインタフェースが挙げられる。入出力インタフェース１４に接続される入力デバイスとしては、カメラＣ１が挙げられる。この場合、カメラＣ１は、区分け画像推定装置１に対して、上述した何れかの規格（例えば、ＵＳＢ又はＨＤＭＩ）に準拠したインターフェースケーブルを用いて有線接続される。
【0037】
区分け画像推定方法Ｍ１においてカメラＣ１から取得するデータは、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される入力デバイスとしては、例えば、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。区分け画像推定方法Ｍ１においてユーザから取得するデータは、これらの入力デバイスを介して区分け画像推定装置１に入力され、一次メモリ１２に記憶される。また、入出力インタフェース１４に接続される出力デバイスとしては、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。区分け画像推定方法Ｍ１においてユーザに提供する情報は、これらの出力デバイスを介して区分け画像推定装置１から出力される。なお、区分け画像推定装置１は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、区分け画像推定装置１は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0038】
通信インタフェース１５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース１５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、例えば、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。通信インタフェース１５に接続される入力デバイスとしては、カメラＣ１が挙げられる。この場合、カメラＣ１は、区分け画像推定装置１に対して、上述した何れかのネットワークを用いて、無線接続される。
【0039】
区分け画像推定方法Ｍ１において区分け画像推定装置１が他のコンピュータ（例えば、機械学習装置２）から取得するデータ（例えば、学習済モデルＬＭ）は、これらのネットワークを介して送受信される。
【0040】
なお、本実施形態においては、単一のプロセッサ（プロセッサ１１）を用いて区分け画像推定方法Ｍ１を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて区分け画像推定方法Ｍ１を実行する構成を採用してもよい。例えば、第１の推定ステップＭ１２（後述）を第１のプロセッサにおいて実行し、後処理ステップＭ１３（後述）を第２のプロセッサにおいて実行してもよい。この場合、連携して区分け画像推定方法Ｍ１を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して区分け画像推定方法Ｍ１を実行する態様などが考えられる。
【0041】
また、本実施形態においては、区分け画像推定方法Ｍ１を実行するプロセッサ（プロセッサ１１）と同じコンピュータに内蔵されたメモリ（二次メモリ１３）に学習済モデルＬＭを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、区分け画像推定方法Ｍ１を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルＬＭを格納する構成を採用してもよい。この場合、学習済モデルＬＭを格納するメモリが内蔵されたコンピュータは、区分け画像推定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルＬＭを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが区分け画像推定方法Ｍ１を実行する態様などが考えられる。
【0042】
また、本実施形態においては、単一のメモリ（二次メモリ１３）に学習済モデルＬＭを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルＬＭを分散して格納する構成を採用してもよい。この場合、学習済モデルＬＭを格納する複数のメモリは、単一のコンピュータ（区分け画像推定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（区分け画像推定方法Ｍ１を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルＬＭを分散して格納する構成などが考えられる。
【0043】
〔区分け画像推定方法の流れ〕
区分け画像推定方法Ｍ１の流れについて、図３～図１０を参照して説明する。図３の（ａ）は、区分け画像推定方法Ｍ１の流れを示すフローチャートである。図３の（ｂ）は、区分け画像推定方法Ｍ１に含まれる後処理ステップＭ１３の流れを示すフローチャートである。図４は、トマトが栽培されているグリーンハウスＧＨの模式的な平面図である。図５の（ａ）及び（ｂ）は、区分け画像推定装置１において、学習済モデルＬＭの入力となる葉群落画像の一例である。図６の（ａ）及び（ｂ）は、学習済モデルＬＭの出力となる区分け画像の一例である。図７は、後処理ステップＭ１３に含まれるトリミングステップＭ１３１を実施した後の区分け画像の一例である。図８は、後処理ステップＭ１３に含まれる重み付け画像生成ステップＭ１３２における区分け画像、重みフィルタ、及び重み付けされた画像を示す。図９は、後処理ステップＭ１３に含まれる重み付け画像生成ステップＭ１３２において用いる重みフィルタの重みの値を示すグラフである。図１０は、第２の推定ステップＭ１３５において用いられる相関関係を示すグラフである。
区分け画像推定方法Ｍ１の流れについて、図３～図１０を参照して説明する。図３の（ａ）は、区分け画像推定方法Ｍ１の流れを示すフローチャートである。図３の（ｂ）は、区分け画像推定方法Ｍ１に含まれる後処理ステップＭ１３の流れを示すフローチャートである。図４は、トマトが栽培されているグリーンハウスＧＨの模式的な平面図である。図５の（ａ）及び（ｂ）は、区分け画像推定装置１において、学習済モデルＬＭの入力となる葉群落画像の一例である。図６の（ａ）及び（ｂ）は、学習済モデルＬＭの出力となる区分け画像の一例である。図７は、後処理ステップＭ１３に含まれるトリミングステップＭ１３１を実施した後の区分け画像の一例である。図８は、後処理ステップＭ１３に含まれる重み付け画像生成ステップＭ１３２における区分け画像、重みフィルタ、及び重み付けされた画像を示す。図９は、後処理ステップＭ１３に含まれる重み付け画像生成ステップＭ１３２において用いる重みフィルタの重みの値を示すグラフである。図１０は、第２の推定ステップＭ１３５において用いられる相関関係を示すグラフである。
【0044】
区分け画像推定方法Ｍ１は、取得ステップＭ１１と、第１の推定ステップＭ１２と、後処理ステップＭ１３と、を含んでいる（図３の（ａ）参照）。
【0045】
＜グリーンハウス及び葉群落画像＞
区分け画像推定方法Ｍ１について説明する前に、学習済モデルＬＭの入力となる葉群落画像と、その被写体となる葉群落ＬＣ１～ＬＣ３が栽培されているグリーンハウスについて説明する。
区分け画像推定方法Ｍ１について説明する前に、学習済モデルＬＭの入力となる葉群落画像と、その被写体となる葉群落ＬＣ１～ＬＣ３が栽培されているグリーンハウスについて説明する。
【0046】
グリーンハウスＧＨ内には、トマトの苗木が２条植えされている。図４においては、１６本のトマトの苗木を８行２列に植えている。図４においては、各苗木の主茎ＭＳを円で図示し、１６本の苗木により構成される葉群落ＬＣ１～ＬＣ３を長方形で図示している。
【0047】
このように、各葉群落ＬＣ１～ＬＣ３は、列に沿って形成されている。そのため、葉群落ＬＣ１は、列方向に沿った一対の側面である左側面Ｌ１及び右側面Ｒ１を有する。同様に、葉群落ＬＣ２は、左側面Ｌ２及び右側面Ｒ２を有し、葉群落ＬＣ３は、左側面Ｌ３及び右側面Ｒ３を有する。
【0048】
なお、図４では、この列方向をｙ軸方向と定め、ｙ軸方向に直交する方向をｘ軸方向と定めている。なお、ユーザＵの左から右へ向かう方向をｘ軸正方向と定め、ユーザから葉群落ＬＣ１～ＬＣ３をみた場合に手前から奥へ向かう方向をｙ軸正方向と定めている。また、図５～図８の各図には、葉群落画像又は区分け画像に投影した状態で、図４に示したｘ軸方向を模式的に示している。
【0049】
ユーザＵは、カメラＣ１を用いて、被写体となる葉群落ＬＣ１の一対の側面のうち一方の側面である右側面Ｒ１を斜めの角度から撮影する。ユーザがこのように葉群落ＬＣ１を撮影することにより、カメラＣ１は、被写体として葉群落ＬＣ１を含む葉群落画像を表す葉群落画像データを生成する。図５の（ａ）及び（ｂ）に、葉群落画像の一例を示す。図５の（ａ）は、１列の葉群落である葉群落ＬＣ１のみを被写体とした場合の葉群落画像であり、図５の（ｂ）は、隣接する２列の葉群落である葉群落ＬＣ１，ＬＣ２を被写体とした場合の葉群落画像である。このように、葉群落画像には、隣接する２列の葉群落が被写体として含まれていてもよい。
【0050】
次に、取得ステップＭ１１、第１の推定ステップＭ１２、及び、後処理ステップＭ１３について説明する。
【0051】
＜取得ステップ＞
取得ステップＭ１１は、プロセッサ１１が、カメラＣ１から入力される葉群落画像データを取得するステップである。カメラＣ１は、上述したようにインターフェースケーブルを用いて区分け画像推定装置１に接続されていてもよいし、ネットワークを介して区分け画像推定装置１に接続されていてもよい。ネットワークを介してカメラＣ１を区分け画像推定装置１に接続することにより、遠隔地にある農園で栽培されている作物についても区分け画像推定方法Ｍ１を実施し、延いては、その作物のＬＡＩを推定することができる。なお、葉群落画像データは、カメラＣ１からコンピュータ及びネットワークを介して区分け画像推定装置１に供給されてもよい。取得ステップＭ１１において、プロセッサ１１は、取得した葉群落画像データを一次メモリ１２に書き込む。
取得ステップＭ１１は、プロセッサ１１が、カメラＣ１から入力される葉群落画像データを取得するステップである。カメラＣ１は、上述したようにインターフェースケーブルを用いて区分け画像推定装置１に接続されていてもよいし、ネットワークを介して区分け画像推定装置１に接続されていてもよい。ネットワークを介してカメラＣ１を区分け画像推定装置１に接続することにより、遠隔地にある農園で栽培されている作物についても区分け画像推定方法Ｍ１を実施し、延いては、その作物のＬＡＩを推定することができる。なお、葉群落画像データは、カメラＣ１からコンピュータ及びネットワークを介して区分け画像推定装置１に供給されてもよい。取得ステップＭ１１において、プロセッサ１１は、取得した葉群落画像データを一次メモリ１２に書き込む。
【0052】
＜第１の推定ステップ＞
第１の推定ステップＭ１２は、プロセッサ１１が、学習済モデルＬＭを用いて葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成するステップである。第１の推定ステップＭ１２において、プロセッサ１１は、葉群落画像データを一次メモリ１２から読み出し、読み出した葉群落画像データデータを学習済モデルＬＭに入力する。そして、学習済モデルＬＭから出力された区分け画像データを一次メモリ１２に書き込む。
第１の推定ステップＭ１２は、プロセッサ１１が、学習済モデルＬＭを用いて葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成するステップである。第１の推定ステップＭ１２において、プロセッサ１１は、葉群落画像データを一次メモリ１２から読み出し、読み出した葉群落画像データデータを学習済モデルＬＭに入力する。そして、学習済モデルＬＭから出力された区分け画像データを一次メモリ１２に書き込む。
【0053】
図６の（ａ）及び（ｂ）の各々は、それぞれ、図５の（ａ）及び（ｂ）を入力として、学習済モデルＬＭが推定した区分け画像である。図６の（ａ）及び（ｂ）では、葉群落画像のうち、葉群落における葉の領域に対応するピクセル（値が１であるピクセル）を白で示し、他の領域に対応するピクセル（値が０であるピクセル）を黒で示している。
【0054】
なお、区分け画像推定方法Ｍ１は、第１の推定ステップＭ１２にて推定した区分け画像を出力する出力ステップを更に含んでいてもよい。この出力ステップにおいて、プロセッサ１１は、区分け画像データを一次メモリ１２から読み出し、読み出した区分け画像データの表す区分け画像をディスプレイに出力することによって、ユーザに提示する。これにより、ユーザは、ＬＡＩを推定するために用いられる区分け画像を目視で確認することができる。
【0055】
＜後処理ステップ＞
後処理ステップＭ１３は、トリミングステップＭ１３１と、重み付け画像生成ステップＭ１３２と、出力ステップＭ１３３と、比算出ステップＭ１３４と、第２の推定ステップＭ１３５と、を含んでいる（図３の（ｂ）参照）。
後処理ステップＭ１３は、トリミングステップＭ１３１と、重み付け画像生成ステップＭ１３２と、出力ステップＭ１３３と、比算出ステップＭ１３４と、第２の推定ステップＭ１３５と、を含んでいる（図３の（ｂ）参照）。
【0056】
（トリミングステップ）
トリミングステップＭ１３１は、プロセッサ１１が、第１の推定ステップＭ１２と、重み付け画像生成ステップＭ１３２との間に実行するステップである。トリミングステップＭ１３１は、隣接する２列の葉群落ＬＣ１，ＬＣ２が区分け画像に含まれている場合（図６の（ｂ）参照）に、当該区分け画像における各葉群落の幅（図６の（ｂ）に示すｘ軸方向に沿った長さ）を比較する。そのうえで、トリミングステップＭ１３１は、幅が大きい方の葉群落ＬＣ１を含み、且つ、幅が小さい方の葉群落ＬＣ２を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
例えば、図６の（ｂ）に示す区分け画像において、プロセッサ１１が、Ａ－Ａ’線から左の領域を関心領域としてトリミングした場合、新たな区分け画像は、図７のようになる。
トリミングステップＭ１３１は、プロセッサ１１が、第１の推定ステップＭ１２と、重み付け画像生成ステップＭ１３２との間に実行するステップである。トリミングステップＭ１３１は、隣接する２列の葉群落ＬＣ１，ＬＣ２が区分け画像に含まれている場合（図６の（ｂ）参照）に、当該区分け画像における各葉群落の幅（図６の（ｂ）に示すｘ軸方向に沿った長さ）を比較する。そのうえで、トリミングステップＭ１３１は、幅が大きい方の葉群落ＬＣ１を含み、且つ、幅が小さい方の葉群落ＬＣ２を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、
例えば、図６の（ｂ）に示す区分け画像において、プロセッサ１１が、Ａ－Ａ’線から左の領域を関心領域としてトリミングした場合、新たな区分け画像は、図７のようになる。
【0057】
（重み付け画像生成ステップ）
重み付け画像生成ステップＭ１３２は、プロセッサ１１が、第１の推定ステップＭ１２と、第２の推定ステップＭ１３５との間に実行するステップである。重み付け画像生成ステップＭ１３２は、上述した区分け画像（例えば、図６の（ａ）及び図７参照）に対して重みフィルタを適用することにより、重み付けされた画像を生成するステップである（図８参照）。
重み付け画像生成ステップＭ１３２は、プロセッサ１１が、第１の推定ステップＭ１２と、第２の推定ステップＭ１３５との間に実行するステップである。重み付け画像生成ステップＭ１３２は、上述した区分け画像（例えば、図６の（ａ）及び図７参照）に対して重みフィルタを適用することにより、重み付けされた画像を生成するステップである（図８参照）。
【0058】
重み付け画像生成ステップＭ１３２において、プロセッサ１１が用いる重みフィルタは、被写体である葉群落の一方の側面（本実施形態においては、葉群落ＬＣ１）の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている。本実施形態においては、前者を採用している。
【0059】
図８に示す重みフィルタにおいては、重みの値が１であるピクセルを白で表し、重みの値が０であるピクセルを黒で表し、重みの値が０より大きく１未満であるピクセルをグレーで表している。グレーの階調は、重みの値に対応している。図８に示す重みフィルタにおいては、列方向に沿って配列しているピクセルに対しては、同じ重みの値が設定されている。一方、この重みフィルタにおいては、行方向に沿って配列しているピクセルに対して、重みフィルタの左端から右端へ向かえば向かうほど、重みの値が１から０に向かって小さくなるように構成されている。ここで、重みフィルタの左端が葉群落ＬＣ１の手前側に対応し、重みフィルタの右端が葉群落ＬＣ１の奥側に対応する。
【0060】
図９に、重みフィルタにおける重みの値の行方向における位置依存性を示す。図９においては、重みフィルタの左端を原点として、重みフィルタの右端を１に規格化している。重みの値の行方向における位置依存性は、点（０，１）から点（１，０）へ向かって単調減少もしくは単調増加していればよく、その形状は、直線であってもよいし、図９に示すようにベジェ曲線であってもよい。重みフィルタにおいては、この重みの値の位置依存性の形状を調整することによって、後述する第２の推定ステップＭ１３５において推定される推定ＬＡＩの精度を高めることができる。
【0061】
たとえば、ベジェ曲線であれば、その形状は、図９において黒丸で示す制御点（０，１），（１，０）と、白丸で示す２つの制御点の計４つの制御点により定義される。したがって、白丸で示す２つの制御点の位置を調整することによって推定ＬＡＩの精度を高めることができる。
【0062】
このように、重みフィルタは、重みの値の位置依存性の形状が、葉群落画像の左右の端部のうち、一方の端部である第１の端部（本実施形態においては葉群落画像の左端）から他方の端部である第２の端部（本実施形態においては葉群落画像の右端）へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている。そのうえで、プロセッサ１１は、葉群落画像が葉群落ＬＣ１の一対の側面のうち第２の側の側面（本実施形態においては右側面Ｒ１）を撮影したものである場合、葉群落画像に対してそのまま重みフィルタを適用する。一方、プロセッサ１１は、葉群落画像が葉群落ＬＣ１の一対の側面のうち第１の側の側面（本実施形態においては左側面Ｌ１）を撮影したものである場合、葉群落画像の左右を反転させたうえで重みフィルタを適用する。
【0063】
なお、重みフィルタにおいて、重みの値が大きい第１の端部を、葉群落画像の左端に対応させるか、葉群落画像の右端に対応させるかは、適宜選択することができる。重みの値の位置依存性の形状として、図９に示したベジェ曲線の形状を左右において反転させたベジェ曲線を採用する場合、上述した２タイプの葉群落画像（右側面Ｒ１を撮影したもの、及び、左側面Ｌ１を撮影したもの）の取り扱いを反転させればよい。
【0064】
また、本実施形態においては、重みの値が大きい第１の端部と、被写体である葉群落の手前側とを対応させるために、葉群落画像における左右を反転させている。ただし、葉群落画像における左右を反転させる代わりに、ベジェ曲線の形状にける左右を反転することもできる。
【0065】
（出力ステップ）
出力ステップＭ１３３は、プロセッサ１１が、重み付け画像生成ステップＭ１３２により重み付けされた区分け画像のうち葉の領域に含まれるピクセル（すなわち、値が１であるピクセル）のピクセル数を出力するステップである。
出力ステップＭ１３３は、プロセッサ１１が、重み付け画像生成ステップＭ１３２により重み付けされた区分け画像のうち葉の領域に含まれるピクセル（すなわち、値が１であるピクセル）のピクセル数を出力するステップである。
【0066】
（比算出ステップ）
比算出ステップＭ１３４は、重み付け画像生成ステップＭ１３２により重み付けされた区分け画像の全ピクセル数に対する前記ピクセル数の比（以下において、ピクセル比と称する）を算出する比算出ステップである。
比算出ステップＭ１３４は、重み付け画像生成ステップＭ１３２により重み付けされた区分け画像の全ピクセル数に対する前記ピクセル数の比（以下において、ピクセル比と称する）を算出する比算出ステップである。
【0067】
（第２の推定ステップ）
第２の推定ステップＭ１３５は、プロセッサ１１が、ピクセル比と葉群落におけるＬＡＩとの相関関係を参照し、前記比に対応するＬＡＩを推定するステップである。以下において、第２の推定ステップＭ１３５において推定されるＬＡＩを推定ＬＡＩと称する。
第２の推定ステップＭ１３５は、プロセッサ１１が、ピクセル比と葉群落におけるＬＡＩとの相関関係を参照し、前記比に対応するＬＡＩを推定するステップである。以下において、第２の推定ステップＭ１３５において推定されるＬＡＩを推定ＬＡＩと称する。
【0068】
この相関関係は、以下のようにして予め定めることができる。まず、ユーザは、コンピュータを用いて、葉群落画像データが表す葉群落画像を参照する。当該ユーザは、葉群落画像において、葉群落における葉の領域と他の領域との境界を推定し、コンピュータに入力する。コンピュータは、ユーザが推定した前記境界に基づいて、葉群落における葉の領域と他の領域とを区分けした区分け画像を表す区分け画像データを生成する。次に、この区分け画像データに、後処理ステップＭ１３と同じ後処理を実施することにより、ピクセル比が得られる。また、ユーザは、前記葉群落画像に被写体として含まれている葉群落のＬＡＩを実測しておく。以下において、このＬＡＩの実測値を実測ＬＡＩと称する。実測ＬＡＩは、全葉面積と床面積とを用いて算出することができる。全葉面積は、対象となる葉群落に含まれる全ての葉について、葉の長さ及び幅を測定することにより得られる。このようにして、ユーザが推定した前記境界に基づく区分け画像データを用いて算出されたピクセル比と、実測ＬＡＩとを用いて、ピクセル比と葉群落におけるＬＡＩとの相関関係を推定する。本実施形態では、線形回帰モデルを用いてこの相関関係を推定した。ただし、この相関関係を推定するために用いるモデルは、線形回帰モデルに限定されない。
【0069】
この相関関係は、二次メモリ１３に格納されている。プロセッサ１１は、この相関関係を一次メモリ１２上に展開し、第２の推定ステップＭ１３５において参照する。本実施形態において、この相関関係は、関数で表されている（図１０参照）。ただし、この相関関係は、テーブルで表されていてもよい。
【0070】
例えば、比算出ステップＭ１３４により算出されたピクセル比が０．４である場合、プロセッサ１１は、図１０の相関関係より、推定ＬＡＩを１．８５と推定する。
【0071】
【0072】
機械学習装置２は、汎用コンピュータを用いて実現されており、プロセッサ２１と、一次メモリ２２と、二次メモリ２３と、入出力インタフェース２４と、通信インタフェース２５と、バス２６とを備えている。プロセッサ２１、一次メモリ２２、二次メモリ２３、入出力インタフェース２４、及び通信インタフェース２５は、バス２６を介して相互に接続されている。
【0073】
二次メモリ２３には、機械学習プログラムＰ２及び学習用データセットＤＳが格納されている。学習用データセットＤＳは、学習用データＤＳ１，ＤＳ２…の集合である。プロセッサ２１は、二次メモリ２３に格納されている機械学習プログラムＰ２を一次メモリ２２上に展開する。そして、プロセッサ２１は、一次メモリ２２上に展開された機械学習プログラムＰ２に含まれる命令に従って、機械学習方法Ｍ２に含まれる各ステップを実行する。二次メモリ２３に格納された学習用データセットＤＳは、機械学習方法Ｍ２の学習用データセット作成ステップＭ２１（後述）にて作成され、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２（後述）において利用される。また、機械学習方法Ｍ２の学習済モデル構築ステップＭ２２にて構築された学習済モデルＬＭも、二次メモリ２３に格納される。なお、機械学習プログラムＰ２が二次メモリ２３に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ２３に記憶されていることを指す。また、学習済モデルＬＭが二次メモリ２３に格納されているとは、学習済モデルＬＭを規定するパラメータが二次メモリ２３に格納されていることを指す。
【0074】
プロセッサ２１として利用可能なデバイスとしては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ２１は、「演算装置」と呼ばれることもある。
【0075】
また、一次メモリ２２として利用可能なデバイスとしては、例えば、ＲＡＭ（Random Access Memory）を挙げることができる。一次メモリ２２は、「主記憶装置」と呼ばれることもある。また、二次メモリ２３として利用可能なデバイスとしては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＯＤＤ（Optical Disk Drive）、又は、これらの組み合わせを挙げることができる。二次メモリ２３は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ２３は、機械学習装置２に内蔵されていてもよいし、入出力インタフェース２４又は通信インタフェース２５を介して機械学習装置２と接続された他のコンピュータ（例えば、クラウドサーバを構成するコンピュータ）に内蔵されていてもよい。なお、本実施形態においては、機械学習装置２における記憶を２つのメモリ（一次メモリ２２及び二次メモリ２３）により実現しているが、これに限定されない。すなわち、機械学習装置２における記憶を１つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ２２として利用し、そのメモリの他の記憶領域を二次メモリ２３として利用すればよい。
【0076】
入出力インタフェース２４には、入力デバイス及び／又は出力デバイスが接続される。入出力インタフェース２４としては、例えば、ＵＳＢ（Universal Serial Bus）、ＡＴＡ（Advanced Technology Attachment）、ＳＣＳＩ（Small Computer System Interface）、ＰＣＩ（Peripheral Component Interconnect）などのインタフェースが挙げられる。入出力インタフェース２４に接続される入力デバイスとしては、データロガー５が挙げられる。機械学習方法Ｍ２においてセンサ群４から取得するデータは、このデータロガー５を介して機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される入力デバイスとしては、例えば、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置２に入力され、一次メモリ２２に記憶される。また、入出力インタフェース２４に接続される出力デバイスとしては、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。機械学習方法Ｍ２においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置２から出力される。なお、機械学習装置２は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置２は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
【0077】
通信インタフェース２５には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース２５としては、例えば、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのインタフェースが挙げられる。利用可能なネットワークとしては、例えば、ＰＡＮ（Personal Area Network）、ＬＡＮ（Local Area Network）、ＣＡＮ（Campus Area Network）、ＭＡＮ（Metropolitan Area Network）、ＷＡＮ（Wide Area Network）、ＧＡＮ（Global Area Network）、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置２が他のコンピュータ（例えば、区分け画像推定装置１）に提供するデータ（例えば、学習済モデルＬＭ）は、これらのネットワークを介して送受信される。
【0078】
なお、本実施形態においては、単一のプロセッサ（プロセッサ２１）を用いて機械学習方法Ｍ２を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法Ｍ２を実行する構成を採用してもよい。例えば、学習用データセット作成ステップＭ２１（後述）を第１のプロセッサにおいて実行し、学習済モデル構築ステップＭ２２を第２のプロセッサにおいて実行する構成を採用してもよい。この場合、連携して機械学習方法Ｍ２を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法Ｍ２を実行する態様などが考えられる。
【0079】
また、本実施形態においては、機械学習方法Ｍ２を実行するプロセッサ（プロセッサ２１）と同じコンピュータに内蔵されたメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法Ｍ２を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットＤＳを格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納するメモリが内蔵されたコンピュータは、機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットＤＳを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法Ｍ２を実行する態様などが考えられる。
【0080】
また、本実施形態においては、単一のメモリ（二次メモリ２３）に学習用データセットＤＳを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットＤＳを分散して格納する構成を採用してもよい。この場合、学習用データセットＤＳを格納する複数のメモリは、単一のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい）に設けられていてもよいし、複数のコンピュータ（機械学習方法Ｍ２を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい）に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットＤＳを分散して格納する構成などが考えられる。
【0081】
また、本実施形態においては、区分け画像推定方法Ｍ１及び機械学習方法Ｍ２を異なるプロセッサ（プロセッサ１１及びプロセッサ２１）を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、区分け画像推定方法Ｍ１及び機械学習方法Ｍ２を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法Ｍ２を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに学習済モデルＬＭが格納さる。そして、このプロセッサは、区分け画像推定方法Ｍ１を実行する際に、このメモリに格納された学習済モデルＬＭを利用することになる。
【0082】
【0083】
機械学習方法Ｍ２は、学習用データセット作成ステップＭ２１と、学習済モデル構築ステップＭ２２と、を含んでいる。
【0084】
学習用データセット作成ステップＭ２１は、プロセッサ２１が、学習用データ（教師データ）ＤＳ１，ＤＳ２，…の集合である学習用データセットＤＳを作成するステップである。
【0085】
各学習用データＤＳｉ（ｉ＝１，２，…）には、葉群落画像データが含まれている。各学習用データＤＳｉに含まれる葉群落画像データは、学習済モデルＬＭに入力する葉群落画像データと同様、被写体として葉群落を含む葉群落画像を表す。学習用データセット作成ステップＭ２１において、プロセッサ２１は、カメラＣ２１（図１参照）から入力される葉群落画像データを取得する。プロセッサ２１がカメラＣ２１から葉群落画像データを取得する方法は、プロセッサ１１がカメラＣ１から葉群落画像データを取得する方法と同じである。
【0086】
また、各学習用データＤＳｉには、区分け画像データが正解を示すラベルとして含まれている。各学習用データＤＳｉに含まれる区分け画像データは、学習済モデルＬＭから出力される区分け画像データと同様、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を表す。ただし、各学習用データＤＳｉに含まれる区分け画像データは、生成されるときにユーザが介在し、学習済モデルＬＭが介在しない点が学習済モデルＬＭから出力される区分け画像データとは異なる。ユーザは、コンピュータＣ２２（図１参照）を用いて葉群落画像（例えば図１３の（ａ）参照）に含まれる葉の領域と他の領域との境界を推定する。コンピュータＣ２２は、前記境界に基づき、葉の領域に対応するピクセルの値を１に設定し、他の領域に対応するピクセルの値を０に設定することにより区分け画像（例えば図６参照）を表す区分け画像データを生成する。図１３の（ａ）は、各学習用データＤＳｉに含まれる葉群落画像データにより表される葉群落画像の一例である。図１３の（ｂ）は、各学習用データＤＳｉに含まれる区分け画像データにより表される区分け画像の一例である。学習用データセット作成ステップＭ２１において、プロセッサ２１は、コンピュータＣ２２から入力される区分け画像データを取得する。
【0087】
そして、プロセッサ２１は、葉群落画像データと区分け画像データとを関連付けて二次メモリ２３に格納する。以上のプロセスをプロセッサ２１が繰り返すことによって、学習用データセットＤＳが作成される。
【0088】
学習済モデル構築ステップＭ２２は、プロセッサ２１が、学習済モデルＬＭを構築するステップである。学習済モデル構築ステップＭ２２において、プロセッサ２１は、学習用データセット作成ステップＭ２１にて作成された学習用データセットＤＳを用いた教師あり学習によって、学習済モデルＬＭを構築する。学習済モデル構築ステップＭ２２にて構築された学習済モデルＬＭは、二次メモリ２３に格納される。
【0089】
〔実施例〕
本発明の一実施形態に係る区分け画像推定システムＳの第１の実施例について、以下に説明する。
本発明の一実施形態に係る区分け画像推定システムＳの第１の実施例について、以下に説明する。
【0090】
＜葉群落画像データについて＞
本実施例においては、トマトを栽培しているグリーンハウスにおいて取得した葉群落画像データを用いて、準備フェーズ及び実用フェーズを実施した。
本実施例においては、トマトを栽培しているグリーンハウスにおいて取得した葉群落画像データを用いて、準備フェーズ及び実用フェーズを実施した。
【0091】
各葉群落画像データは、各々が表す葉群落画像がさまざまなサイズのトマトの葉群落を被写体として含むように作成した。このデータ群を作成するために、４つの品種のトマトの苗木を５４本栽培した。また、区分け画像推定方法Ｍ１を実施することにより得られる推定ＬＡＩの精度を検証するために、各葉群落画像に被写体として含まれている葉群落に含まれる全ての葉について葉の長さ及び幅を測定し、実測ＬＡＩを得た。
【0092】
また、準備フェーズ及び実用フェーズの各々において、複数の葉群落画像データを２つのグループに分けた。第１のグループの葉群落画像データのうち一部の葉群落画像データには、被写体として２列以上の葉群落が含まれている（例えば図５の（ｂ）参照）。一方、第２のグループの葉群落画像データには、被写体として１列の葉群落のみが含まれている（例えば図５の（ａ）参照）。なお、第１のグループ及び第２のグループの各々に含まれる葉群落画像データは、準備フェーズにおいてそれぞれ１２個とし、実用フェーズにおいてそれぞれ８０個とした。
【0093】
＜準備フェーズ＞
準備フェーズにおいては、第１のグループの葉群落画像データ（例えば図１３の（ａ）参照）と、ユーザが生成した区分け画像データ（例えば図１３の（ｂ）参照）とに基づく第１の学習用データセットＤＳ１を用いた機械学習によって、第１の学習済モデルＬＭ１を構築する。同様に、第２のグループの葉群落画像データと、ユーザが生成した区分け画像データとに基づく第２の学習用データセットＤＳ２を用いた機械学習によって、第２の学習済モデルＬＭ２を構築する。
準備フェーズにおいては、第１のグループの葉群落画像データ（例えば図１３の（ａ）参照）と、ユーザが生成した区分け画像データ（例えば図１３の（ｂ）参照）とに基づく第１の学習用データセットＤＳ１を用いた機械学習によって、第１の学習済モデルＬＭ１を構築する。同様に、第２のグループの葉群落画像データと、ユーザが生成した区分け画像データとに基づく第２の学習用データセットＤＳ２を用いた機械学習によって、第２の学習済モデルＬＭ２を構築する。
【0094】
また、準備フェーズでは、第１のグループの葉群落画像データを用いてユーザが区分け画像データを生成し、当該区分け画像データを用いて算出されたピクセル比と、実測ＬＡＩとの第１の相関関係を推定した。また、第２のグループの葉群落画像データを用いてユーザが区分け画像データを生成し、当該区分け画像データを用いて算出されたピクセル比と、実測ＬＡＩとの第２の相関関係を推定した。
【0095】
＜実用フェーズ＞
実用フェーズでは、準備フェーズで用いた葉群落画像データとは異なる葉群落画像データを用いた。実用フェーズにおいては、ユーザによる区分け画像データの生成は行わず、その代わりに、上述した実測ＬＡＩを用いて、区分け画像推定装置１から得られた推定ＬＡＩの精度を検証した。この推定ＬＡＩの精度は、区分け画像推定装置１から得られたピクセル比の精度を主に反映していると考えられる。
実用フェーズでは、準備フェーズで用いた葉群落画像データとは異なる葉群落画像データを用いた。実用フェーズにおいては、ユーザによる区分け画像データの生成は行わず、その代わりに、上述した実測ＬＡＩを用いて、区分け画像推定装置１から得られた推定ＬＡＩの精度を検証した。この推定ＬＡＩの精度は、区分け画像推定装置１から得られたピクセル比の精度を主に反映していると考えられる。
【0096】
図１４の（ａ）～（ｆ）に、実用フェーズで用いた葉群落画像の一例である。図１４の（ａ）～（ｆ）の各々には、各葉群落画像の被写体である葉群落におけるＬＡＩの実測値（実測ＬＡＩ）及び推定値（推定ＬＡＩ）を示す。図１４の（ａ）～（ｃ）は、第１のグループの葉群落画像であり、図１４の（ｄ）～（ｆ）は、第２のグループの葉群落画像である。なお、図１４の（ｆ）の葉群落画像に被写体として踏まれている葉群落は、大きく成長していた。そのため、カメラＣ１の仰角を葉群落の高さに合わせて調整した結果、撮影状態が好ましくない状態になった。その結果、図１４の（ｆ）の葉群落画像から得られた推定ＬＡＩは、とても小さく推定されていた。
【0097】
また、第１のグループの葉群落画像データを入力として、区分け画像推定方法Ｍ１を実施することにより得られたピクセル比と、第１のグループの葉群落画像データの各葉群落画像の被写体となった葉群落のＬＡＩの実測値とを、図１５の（ａ）にプロットした。なお、図１５の（ａ）には、第１の相関関係も実線で示した。また、第２のグループの葉群落画像データを入力として、区分け画像推定方法Ｍ１を実施することにより得られたピクセル比と、第２のグループの葉群落画像データの各葉群落画像の被写体となった葉群落のＬＡＩの実測値とを、図１５の（ｂ）にプロットした。なお、図１５の（ｂ）には、第２の相関関係も実線で示した。図１５の（ａ）及び（ｂ）は、推定ＬＡＩにおける誤差分布を示すグラフである。
【0098】
また、以上の実施例の結果より、平均絶対誤差（Mean Absolute Error, MAE）と、
推定ＬＡＩと実測ＬＡＩとの差の合計における二乗平均平方根誤差（Root Mean Square Error, RMSE）と、Ｒ２値とを算出した。
推定ＬＡＩと実測ＬＡＩとの差の合計における二乗平均平方根誤差（Root Mean Square Error, RMSE）と、Ｒ２値とを算出した。
【0099】
ＭＡＥは、第１のグループの葉群落画像データを入力とした場合に０．４未満であり、第２のグループの葉群落画像データを入力とした場合に０．５未満であった。
【0100】
第１の学習済モデルＬＭ１の入力として、第１のグループの葉群落画像データではなく第２のグループの葉群落画像データを採用した場合、及び、第２の学習済モデルＬＭ２の入力として、第２のグループの葉群落画像データではなく第１のグループの葉群落画像データを採用した場合、のいずれの場合にも、ＭＡＥの増加は、０．１未満だった。このことは、区分け画像推定装置１及び区分け画像推定方法Ｍ１が回帰モデルを推定するときに用いる葉群落画像を撮影するときのコンディション変化に対して高いロバスト性を有することを示す。
【0101】
トリミングステップＭ１３１で用いる重みの値の位置依存性の形状（例えば図９参照としてベジェ曲線を採用した場合のＭＡＥと、当該形状として直線を採用した場合のＭＡＥと、との差は、上述した回帰モデルを推定するときに用いる葉群落画像を撮影するときのコンディション変化に起因するＭＡＥの差よりも小さい。
【0102】
＜後処理ステップの変形例＞
本実施例では、図３の（ｂ）に示した後処理ステップＭ１３を採用している。したがって、後処理ステップＭ１３は、重み付け画像生成ステップＭ１３２を含んでおり、且つ、重み付け画像生成ステップＭ１３２において、重みフィルタの重みの値が大きい端部と、被写体である葉群落の手前側とを対応させるために、必要に応じて葉群落画像を左右に反転させている。
本実施例では、図３の（ｂ）に示した後処理ステップＭ１３を採用している。したがって、後処理ステップＭ１３は、重み付け画像生成ステップＭ１３２を含んでおり、且つ、重み付け画像生成ステップＭ１３２において、重みフィルタの重みの値が大きい端部と、被写体である葉群落の手前側とを対応させるために、必要に応じて葉群落画像を左右に反転させている。
【0103】
後処理ステップＭ１３の第１の変形例では、重み付け画像生成ステップＭ１３２のうち必要に応じて実施する葉群落画像の反転を省略した。
【0104】
また、後処理ステップＭ１３の第２の変形例では、重み付け画像生成ステップＭ１３２を省略した。
【0105】
実施例、第１の変形例、及び、第２の変形例におけるＭＡＥ、ＲＭＳＥ、及び、Ｒ２を以下に示す。
【表1】
【0106】
実施例、第１の変形例、及び、第２の変形例を対比すると、第１の変形例及び第２の変形例において、Ｒ２が著しく低下していることが分かった。また、第２の変形例において、ＭＡＥが急激に増大していることが分かった。したがって、後処理ステップＭ１３においては、必要に応じて実施する葉群落画像の反転を含む重み付け画像生成ステップＭ１３２を実施することが好ましいことが分かった。ただし、後処理ステップＭ１３の第１の変形例及び第２の変形例も本発明の範疇には含まれている。
【0107】
＜参考例との対比＞
非特許文献１に記載された３Ｄスキャナーを用いる技術と、本実施例と、をＲＭＳＥ、及び、Ｒ２について対比した結果を以下に示す。非特許文献１では、きゅうり、パプリカ、及び、トマトの葉群落における推定ＬＡＩを評価している。
非特許文献１に記載された３Ｄスキャナーを用いる技術と、本実施例と、をＲＭＳＥ、及び、Ｒ２について対比した結果を以下に示す。非特許文献１では、きゅうり、パプリカ、及び、トマトの葉群落における推定ＬＡＩを評価している。
【表2】
【0108】
非特許文献１では、きゅうり及びパプリカの場合に良好な結果が報告されている一方で、トマトの場合には、得られる効果が限定されている。これは、トマトの葉群落における葉の重なり具合が、きゅうり及びパプリカの葉群落の場合のよりも高いことに起因する。
【0109】
本実施例では、きゅうり及びパプリカの葉群落の場合については結果が得られていないが、トマトの葉群落においては、非特許文献１の技術よりも高いＲ２が得られた。
【0110】
なお、本実施例の第２のパターンにより得られたＲＭＳＥがとても大きな値を示しているが、これは、図１４の（ｆ）に示した葉群落画像のように撮影状態が好ましくない葉群落画像に起因している。
【0111】
〔まとめ〕
態様１に係る区分け画像推定装置は、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを実行する１又は複数のプロセッサを備えている。本区分け画像推定装置において、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
態様１に係る区分け画像推定装置は、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを実行する１又は複数のプロセッサを備えている。本区分け画像推定装置において、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【0112】
態様１に係る区分け画像推定装置によれば、学習済モデルを用いて区分け画像データを出力することができるので、３Ｄスキャナーとは異なる手法を用いて葉群落における葉の形質評価を実施する技術を提供することができる。
【0113】
態様２に係る区分け画像推定装置においては、上述した態様１に係る区分け画像推定装置の構成に加えて、前記１又は複数のプロセッサは、前記区分け画像のうち前記葉の領域に含まれるピクセルのピクセル数を出力する出力ステップを更に実行する、構成が採用されている。
【0114】
態様２に係る区分け画像推定装置によれば、前記１又は複数のプロセッサが前記葉の領域に含まれるピクセルのピクセル数を出力するので、当該ピクセル数を葉の形質評価に用いることができる。
【0115】
態様３に係る区分け画像推定装置においては、上述した態様２に係る区分け画像推定装置の構成に加えて、前記１又は複数のプロセッサは、前記区分け画像の全ピクセル数に対する前記ピクセル数の比を算出する比算出ステップと、予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に実行する、構成が採用されている。
【0116】
態様３に係る区分け画像推定装置によれば、前記区分け画像の全ピクセル数に対する前記ピクセル数の比を用いて前記葉面積指数を推定することができる。したがって、本区分け画像推定装置は、形質評価の一態様として前記葉面積指数を評価することができる。
【0117】
態様４に係る区分け画像推定装置においては、上述した態様３に係る区分け画像推定装置の構成に加えて、前記葉群落は、列に沿って形成されており、且つ、一対の側面を有しており、前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、前記１又は複数のプロセッサは、前記第１の推定ステップと前記第２の推定ステップとの間に実行する重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に実行するように構成されている。ここで、前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている。
【0118】
態様４に係る区分け画像推定装置によれば、葉群落における葉の位置に応じて、区分け画像に対して重み付けを実施することができるので、前記葉の領域に含まれるピクセルのピクセル数を精度よくカウントすることができる。ひいては、前記葉面積指数を精度よく推定することができる。
【0119】
態様５に係る区分け画像推定装置においては、上述した態様４に係る区分け画像推定装置の構成に加えて、前記重みフィルタは、前記葉群落画像の左右の端部のうち、一方の端部である第１の端部から他方の端部である第２の端部へ向かえば向かうほど、重みの値が小さくなるようにもしくは大きくなるように構成されている。そのうえで、前記１又は複数のプロセッサは、前記重み付け画像生成ステップにおいて、前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタを適用し、前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタを適用する、ように構成されている。
【0120】
態様５に係る区分け画像推定装置によれば、列に沿って形成された葉群落において、一対の側面のうち何れの側の側面が葉群落画像の被写体になっている場合であっても、適切な向きで重みフィルタを適用することができる。
【0121】
態様６に係る区分け画像推定装置においては、上述した態様５に係る区分け画像推定装置の構成に加えて、前記１又は複数のプロセッサは、前記第１の推定ステップと前記重み付け画像生成ステップとの間にトリミングステップを更に実行し、当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、構成が試用されている。
【0122】
態様６に係る区分け画像推定装置によれば、隣接する２列の前記葉群落が葉群落画像に含まれていたことに起因して、２列の前記葉群落が前記区分け画像に含まれている場合であっても、２列の前記葉群落のうち被写体として適切な葉群落を含む区分け画像を得ることができる。
【0123】
態様７に係る区分け画像推定方法は、１又は複数のプロセッサが、機械学習により構築された学習済モデルを用いて、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する第１の推定ステップを含んでいる。本区分け画像推定方法において、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【0124】
態様７に係る区分け画像推定方法によれば、態様１に係る区分け画像推定装置と同じ効果を奏する。
【0125】
態様８に係る区分け画像推定方法においては、上述した態様７に係る区分け画像推定方法の構成に加えて、前記区分け画像のうち前記葉の領域に含まれるピクセルのピクセル数を出力する出力ステップを更に含んでいる、構成が採用されている。
【0126】
態様８に係る区分け画像推定方法によれば、態様２に係る区分け画像推定装置と同じ効果を奏する。
【0127】
態様９に係る区分け画像推定方法においては、上述した態様８に係る区分け画像推定方法の構成に加えて、前記区分け画像の全ピクセル数に対する前記ピクセル数の比を算出する比算出ステップと、予め定められた相関関係であって、前記比と葉群落における葉面積指数との相関関係を参照し、前記比に対応する前記葉面積指数を推定する第２の推定ステップと、を更に含んでいる、構成が採用されている。
【0128】
態様９に係る区分け画像推定方法によれば、態様３に係る区分け画像推定装置と同じ効果を奏する。
【0129】
態様１０に係る区分け画像推定方法においては、上述した態様９に係る区分け画像推定方法の構成に加えて、前記葉群落は、列に沿って形成されており、且つ、一対の側面を有しており、前記葉群落画像は、前記一対の側面のうち一方の側面を斜めの角度から撮影したものであり、前記第１の推定ステップと前記第２の推定ステップとの間に実行される重み付け画像生成ステップであって、前記区分け画像に対して重みフィルタを適用することにより、重み付けされた画像を生成する重み付け画像生成ステップを更に含む、構成が採用されている。ここで、前記重みフィルタは、前記一方の側面の手前側に対応する領域から、奥側に対応する領域へ向かえば向かうほど、重みの値が小さくなるように構成されている。
【0130】
態様１０に係る区分け画像推定方法によれば、態様４に係る区分け画像推定装置と同じ効果を奏する。
【0131】
態様１１に係る区分け画像推定方法においては、上述した態様１０に係る区分け画像推定方法の構成に加えて、前記重みフィルタは、前記葉群落画像の左右の端部のうち、一方の端部である第１の端部から他方の端部である第２の端部へ向かえば向かうほど、重みの値が小さくなるように構成されており、前記重み付け画像生成ステップにおいては、前記葉群落画像が前記一対の側面のうち第１の側の側面を撮影したものである場合、当該葉群落画像の左右を反転させたうえで重みフィルタが適用され、前記葉群落画像が前記一対の側面のうち第２の側の側面を撮影したものである場合、当該葉群落画像に対してそのまま重みフィルタが適用される、ように構成されている。
【0132】
態様１１に係る区分け画像推定方法によれば、態様５に係る区分け画像推定装置と同じ効果を奏する。
【0133】
態様１２に係る区分け画像推定方法においては、上述した態様１１に係る区分け画像推定方法の構成に加えて、前記第１の推定ステップと前記重み付け画像生成ステップとの間に実行されるトリミングステップを更に含み、当該トリミングステップは、隣接する２列の前記葉群落が前記区分け画像に含まれている場合に、当該区分け画像における各葉群落の幅を比較し、幅が大きい方の葉群落を含み、且つ、幅が小さい方の葉群落を含まない領域を関心領域としてトリミングし、当該関心領域の画像を新たに区分け画像とする、構成が試用されている。
【0134】
態様１２に係る区分け画像推定方法によれば、態様５に係る区分け画像推定装置と同じ効果を奏する。
【0135】
態様１３に係る機械学習装置は、学習用データセットを用いた機械学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを実行する１又は複数のプロセッサを備えている。本機械学習装置において、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【0136】
態様１３に係る機械学習装置によれば、態様１～６の何れか一態様に係る区分け画像推定装置おいて利用することができる学習済モデルを構築することができる。
【0137】
態様１４に係る機械学習方法は、学習用データセットを用いた機械学習によって、葉群落における葉の領域と他の領域との境界を推定することにより、前記葉の領域と前記他の領域とを区分けした区分け画像を生成する学習済モデルを構築する構築ステップを含んでいる。本機械学習方法において、前記学習済モデルの入力は、被写体として葉群落を含む葉群落画像を表す葉群落画像データであり、前記学習済モデルの出力は、前記区分け画像を表す区分け画像データである。
【0138】
態様１４に係る機械学習装置によれば、態様７～１２の何れか一態様に係る区分け画像推定方法おいて利用することができる学習済モデルを構築することができる。
【0139】
なお、本発明の範疇には、態様１～６の何れか一態様に係る区分け画像推定装置としてコンピュータを機能させるためのプログラムであって、上記第１の推定ステップをコンピュータに実行させるプログラム、及び、態様１３に係る機械学習装置としてコンピュータを動作させるためのプログラムであって、前記構築ステップを前記コンピュータに実行させるプログラムも含まれる。
【0140】
〔付記事項〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、上述した実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる他の実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0141】
１ 区分け画像推定装置
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１４ 入出力インタフェース
１５ 通信インタフェース
１６ バス
Ｍ１ 区分け画像推定方法
Ｍ１１ 取得ステップ
Ｍ１２ 第１の推定ステップ
Ｍ１３ 後処理ステップ
２ 機械学習装置
２１ プロセッサ
２２ 一次メモリ
２３ 二次メモリ
２４ 入出力インタフェース
２５ 通信インタフェース
２６ バス
Ｍ２ 機械学習方法
Ｍ２１ 学習用データセット作成ステップ
Ｍ２２ 学習済モデル構築ステップ
Ｓ 区分け画像推定システム
１１ プロセッサ
１２ 一次メモリ
１３ 二次メモリ
１４ 入出力インタフェース
１５ 通信インタフェース
１６ バス
Ｍ１ 区分け画像推定方法
Ｍ１１ 取得ステップ
Ｍ１２ 第１の推定ステップ
Ｍ１３ 後処理ステップ
２ 機械学習装置
２１ プロセッサ
２２ 一次メモリ
２３ 二次メモリ
２４ 入出力インタフェース
２５ 通信インタフェース
２６ バス
Ｍ２ 機械学習方法
Ｍ２１ 学習用データセット作成ステップ
Ｍ２２ 学習済モデル構築ステップ
Ｓ 区分け画像推定システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】