(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-02-20
(45)【発行日】2024-02-29
(54)【発明の名称】生成方法、判別方法、コンピュータプログラム、生成装置及び判別装置
(51)【国際特許分類】
G01N 21/27 20060101AFI20240221BHJP
【FI】
G01N21/27 A
(21)【出願番号】P 2023199346
(22)【出願日】2023-11-24
【審査請求日】2023-11-24
【早期審査対象出願】
(73)【特許権者】
【識別番号】507014553
【氏名又は名称】株式会社レフ・テクノロジー
(73)【特許権者】
【識別番号】523445298
【氏名又は名称】カンダシステム株式会社
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100131808
【氏名又は名称】柳橋 泰雄
(74)【代理人】
【識別番号】100163902
【氏名又は名称】市川 奈月
(72)【発明者】
【氏名】浅香 尚洋
(72)【発明者】
【氏名】井形 俊幸
(72)【発明者】
【氏名】赤崎 直哉
【審査官】伊藤 裕美
(56)【参考文献】
【文献】特許第7232376(JP,B1)
【文献】特開2018-161058(JP,A)
【文献】特開2023-147526(JP,A)
【文献】特開2023-139674(JP,A)
【文献】特開2023-117777(JP,A)
【文献】特許第7305902(JP,B1)
【文献】YEE-RENDON, Arturo et al.,Analysis of New RGB Vegetation Indices for PHYVV and TMV Identification in Jalapeno Pepper (Capsicum annuum) Leaves Using CNNs-Based Model,Plants,2021年09月22日,10,1977,1-17
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00 - A01G 7/06
G06T 1/00 - G06T 1/60
G06T 7/00 - G06T 7/38
G01N 21/00 - G01N 21/61
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
記憶装置にアクセス可能な演算回路を含むコンピュータにより実行される植物の生育状態を判別する判別モデルの生成方法であって、
前記記憶装置は、
複数の植物の葉の画像を用いて、画像の画素毎に、以下の式(1)を用いて得られた、複数の葉緑体疎密画像を記憶し、
(赤色光の強度×x+緑色光の強度×y)/(x+y)-青色光の強度 (1)
(ただし、0≦x、0≦y、であり、x=y=0の場合は除く)
前記生成方法は、
前記演算回路が、前記記憶装置から
複数の前記葉緑体疎密画像を読み出し、
前記演算回路が、複数の前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する、
生成方法であって、さらに、
前記演算回路が、前記式(1)のxとyとの値を、判別精度の最も高くなる組み合わせに最適化する工程を含む
生成方法。
【請求項2】
前記植物の生育状態は、健康状態、病害罹患状態、栄養不良又は過多状態、生育環境不良状態、虫害状態の群から選択された少なくとも一つを含む、
請求項1に記載の生成方法。
【請求項3】
前記生育状態は、程度の異なるレベルのうち選択されたレベルを含む、
請求項1に記載の生成方法。
【請求項4】
前記植物の葉の画像の取得には、輝度が面に対して略均一の面光源を内蔵した透過型光学系を用いる
請求項1に記載の生成方法。
【請求項5】
前記機械学習は、教師あり学習と教師なし学習のうち、少なくとも一種類を含む、
請求項1に記載の生成方法。
【請求項6】
前記記憶装置は、
前記各葉緑体疎密画像に、前記植物の生育状態を示すラベルを関連付けて記憶し、
前記生成方法は、
前記演算回路が、前記記憶装置から前記葉緑体疎密画像とともに前記ラベルを教師あり学習の学習用データとして読み出し、
前記演算回路が、前記学習用データに含まれる複数の前記葉緑体疎密画像と、対応する前記ラベルとの関係を機械学習により学習し、新たな植物の葉緑体疎密画像に対して、前記新たな植物の生育状態を判別結果として出力する判別モデルを生成する、
請求項1に記載の生成方法。
【請求項7】
前記演算回路が、前記記憶装置から複数の前記葉緑体疎密画像を教師なし学習の学習用データとして読み出し、
前記演算回路が、前記学習用データの複数の前記葉緑体疎密画像の特徴を分析結果に基づいて、植物の生育状態の特徴毎の複数のクラスタを生成し、
前記演算回路が、各クラスタに前記植物の生育状態を示すラベルが付与されると、前記クラスタに含まれる複数の前記葉緑体疎密画像と、前記クラスタに付与されたラベルとを教師あり学習の学習用データとし、複数の前記葉緑体疎密画像と、対応する前記ラベルとの関係を学習し、新たな植物の葉緑体疎密画像に対して、前記新たな植物の生育状態を判別結果として出力する判別モデルを生成する、
請求項1に記載の生成方法。
【請求項8】
演算回路を含むコンピュータにより実行される植物の生育状態を判別する判別方法であって、
前記演算回路が、判別用の植物の葉の画像を受け付け、
前記演算回路が、前記画像から、植物の葉緑体の疎密を示す葉緑体疎密画像を演算し、
前記演算回路が、演算された前記葉緑体疎密画像を請求項1の生成方法で生成された前記判別モデルへの入力として、前記植物の生育状態を判別する、
判別方法。
【請求項9】
請求項1から
7のいずれか1に記載の生成方法を
前記コンピュータに実行させるコンピュータプログラム。
【請求項10】
請求項8に記載の判別方法を
前記コンピュータに実行させるコンピュータプログラム。
【請求項11】
記憶装置にアクセス可能な演算回路を含み、植物の生育状態を判別する判別モデルの生成装置であって、
前記記憶装置は、
複数の植物の葉の画像を用いて、画像の画素毎に、以下の式(1)を用いて得られた、複数の葉緑体疎密画像を記憶し、
(赤色光の強度×x+緑色光の強度×y)/(x+y)-青色光の強度 (1)
(ただし、0≦x、0≦y、であり、x=y=0の場合は除く)
前記演算回路
は、
前記記憶装置から
複数の前記葉緑体疎密画像を読み出し、
複数の前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する、
生成装置
であって、
前記演算回路は、さらに、
前記式(1)のxとyとの値を、判別精度の最も高くなる組み合わせに最適化する
生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
植物の生育状態を判別する判別モデルの生成方法及び生成装置、植物の生育状態を判別する判別方法及び判別装置、これら方法を実行するコンピュータプログラムに関する。
【背景技術】
【0002】
植物の生育状態は、植物の生葉から観察されることがある。例えば、特許文献1には、植物の葉に励起光を照射して植物が病原菌に感染しているか診断する装置が記載される。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、植物の生育状態を容易に観察する点及び精度良く観察する点においては、未だ改善の余地がある。
【0005】
そこで、本開示は、植物の生育状態の容易及び/又は精度良い観察を可能とする、植物の生育状態を判別する判別モデルの生成方法及び生成装置、植物の生育状態を判別する判別方法及び判別装置、これら方法を実行するコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る生成方法は、記憶装置にアクセス可能な演算回路を含むコンピュータにより実行される植物の生育状態を判別する判別モデルを生成する。前記記憶装置は、複数の学習用の植物の葉の画像から得られた、前記植物葉に含まれるクロロフィルとカロテノイドの吸光スペクトルの差を反映した画像である葉緑体疎密画像を記憶する。生成方法は、前記演算回路に実行され、前記記憶装置から前記葉緑体疎密画像を読み出し、前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する。
【0007】
このような概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【0008】
本開示に係る植物の生育状態を判別する判別モデルの生成方法及び生成装置、植物の生育状態を判別する判別方法及び判別装置、これら方法を実行するコンピュータプログラムは、植物の生育状態の容易及び/又は精度良い観察を提供する。
【図面の簡単な説明】
【0009】
【
図1A】白色LEDの発光スペクトルのモデルを示す。
【
図1B】クロロフィルの吸光スペクトルのモデルを示す。
【
図1C】カロテノイドの吸光スペクトルのモデルを示す。
【
図1D】クロロフィルの作用スペクトルのモデルを示す。
【
図3A】デジタルカメラのRの分光感度曲線のモデルを示す。
【
図3B】デジタルカメラのGの分光感度曲線のモデルを示す。
【
図3C】デジタルカメラのBの分光感度曲線のモデルを示す。
【
図4】黄化部分のモデルスペクトルと健康部分のモデルスペクトルの差を示す。
【
図5B】
図2Aの画像をモノクロ化した画像の二値化画像である。
【
図5C】
図2Aの画像から得たR画像及びB画像を用いて求めた葉緑体疎密画像の二値化画像である。
【
図6A】判別モデルの生成を説明する概略図である。
【
図6B】判別モデルを用いた判別を説明する概略図である。
【
図7】第1実施形態に係る生成装置の一例を示すブロック図である。
【
図8】第1実施形態に係る判別装置の一例を示すブロック図である。
【
図9】第1実施形態に係る生成装置で実行される判別モデルの生成の処理の一例を示すフローチャートである。
【
図10】第1実施形態に係る判別装置で実行される判別処理の一例を示すフローチャートである。
【
図11】第2実施形態に係る生成装置の一例を示すブロック図である。
【
図12A】クラスタリング用データを説明する概略図である。
【
図12B】クラスタリング結果を説明する概略図である。
【
図12C】クラスタリング結果へのラベルの受け付けを説明する概略図である。
【
図13】第2実施形態に係る生成装置で実行されるクラスタリング及び判別モデルの生成の処理の一例を示すフローチャートである。
【
図14】実験例1で利用するデータの一例を示す概略図である。
【
図15】
図14のグループから1回目から9回目でそれぞれ選択された学習用データと評価用データの一例を示す概略図である。
【発明を実施するための形態】
【0010】
以下に、図面を用いて本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。
【0011】
本開示は、植物の生育状態を判別する判別モデルの生成方法および判別方法に関する。以下では、植物の生育状態として、植物の健康生育状態を判別する判別モデルの生成及び利用を例として説明する。より具体的には、植物の病気が葉の黄化として現れる一例で説明する。
【0012】
〈植物の生育状態〉
植物の生育状態は、植物の葉に現れることがある。例えば、植物が、健康状態または病気に感染した状態の何れの生育状態であるかを、葉の外観から判断できることがある。一方で、植物が健康であっても、一見すると、病気に感染した場合と同様の生育状態に見える場合もある。
【0013】
例えば、植物が病気に感染した場合、植物の葉が黄化することがある。したがって、植物の栽培者は、植物の葉が黄化した場合に、この植物が病気に感染したと判断することがある。一方で、植物が病気に感染していない場合であっても、植物の葉が黄化することがある。例えば、植物が、栄養不足や日照不足等の条件下にあるとき、植物が病気に感染していない場合であっても、葉が黄化することがある。このような場合、植物が病気に感染したか、または、感染していないかは、専門家であっても判別しにくいことがある。
【0014】
植物が病気に感染していない場合と、病気に感染した場合とでは、植物に対して行う対応が異なる。したがって、植物が病気に感染したか否かの判別精度を向上することが望まれる。
【0015】
植物の葉は、クロロフィルの量が変化することで相対的にカロテノイドの密度が高くなり、黄化する。栄養不足などの黄化と病害による黄化では、その形状や分布、濃淡などの違いがある場合がある。熟練の農作業者のみがこの黄化部分の差異を認識できるケースもある。
【0016】
植物が光合成を行うため、葉の葉肉には、葉緑体が有するクロロフィル(葉緑素)やカロテノイドといった光合成色素が含まれる。葉緑体が有するクロロフィルは、主要な光合成色素の1つであり、カロテノイドは、補助的な光合成色素の1つである。
【0017】
植物がウイルス感染等による病気に罹患せず、生育が良好であるとき、すなわち植物が健康なときは、葉の葉肉はクロロフィル及びカロテノイドを十分に含む。以下では、このようにクロロフィル及びカロテノイドを十分に含む部分を「健康部分」とも称する。
【0018】
植物が病害に罹患したり、栄養不足になると、葉肉の緑体の発達が悪くなりクロロフィルが減少し、葉が黄化する。以下では、このような部分を「黄化部分」と称する。すなわち、黄化部分は、「病害に罹患したことが原因となる場合」と、「病害に罹患したこと以外が原因となる場合」とがある。
【0019】
なお、葉の葉脈は、通常、クロロフィル及びカロテノイドが少ない、又は含んでいない。
【0020】
したがって、各部分のクロロフィル及びカロテノイドの量は、以下の表1のようになる。
(表1)
【0021】
ここで、上述したように、黄化部分は、「病害に罹患したことが原因となる場合」と、「病害に罹患したこと以外が原因となる場合」とがある。この原因に応じて、黄化部分を含む葉の表面上のクロロフィルの分布が異なる。換言すると、クロロフィル量の減少を原因とする黄化部分の形状や濃淡、分布が異なる。このような見た目では容易に区別することができないクロロフィルの分布の様相を判別することができれば、黄化の原因が、「病害」または「それ以外」であるかを区別することができる。例えば、黄化部分の形状や葉における分布、濃淡の識別がしやすくなれば、判別の精度を向上することができる。
【0022】
〈葉緑体での光の透過〉
次に、クロロフィルとカロテノイドの光の透過について説明する。一例として、光源に白色LEDを使用した場合を考える。
図1Aに、白色LEDの発光スペクトルのモデルを示す。
図1Bにクロロフィルの吸光スペクトルのモデルを示す。
図1Cにカロテノイドの吸光スペクトルのモデルを示す。
【0023】
しかしながら、
図1B及び
図1Cで示す吸光度は溶液内で理想的に計測されたものであり、実際には、葉に侵入した光は、葉内で内部散乱することにより、緑色光であっても葉緑体またはその他の葉内の物質に吸収され光合成に寄与しうる。この効果は、例えば、
図1Dに示すように、光合成の作用スペクトルという形で見ることが出来る。
【0024】
前述のように、緑色光の吸収効果は、葉内の内部散乱によるところが大きいため、アオサなどの薄い植物においては、理想的なクロロフィルの吸光スペクトルに近い光合成作用スペクトルを持つことが知られている。緑色光を吸収する物質が何であれ、緑色光の吸収効果は、葉緑体の存在による内部散乱効果がもたらす入射光と吸光物質の遭遇確率の増加による所が大きいため、葉緑体が葉の黄化により消失すれば、緑色の吸収効果も弱くなる。その意味において、ここでは、
図1Dの作用スペクトルを、便宜上クロロフィルの作用スペクトルとして採用する。また、カロテノイドについては、
図1をそのまま採用する。
【0025】
表1に従い、光源の光にそれぞれの条件で吸光スペクトルを作用させる。即ち、健康部分には
図1Bに示すクロロフィルの吸光スペクトルと
図1Cに示すカロテノイドの吸光スペクトルを作用させる。黄化部分には
図1Cに示すカロテノイドの吸光スペクトルのみ作用させる。葉脈部分にはクロロフィルの吸光スペクトルもカロテノイドの吸光スペクトルも作用させない。
図2Aに健康部分の結果(健康部分のスペクトルのモデル)、
図2Bに黄化部分の結果(黄化部分のスペクトルのモデル)、
図2Cに葉脈部分の結果(葉脈部分のスペクトルのモデル)を示す。
【0026】
次に、これらのスペクトル群にデジタルカメラの分光感度曲線を作用させる。即ち、RGBの三色に区分されるわけだが、分光したときには波長情報はなく、積算された画素値が残ることになる。なお、格子状に並んだ、画像を構成する最小要素を画素(pixel=ピクセル)という。各画素は、数値によって光の強さや色を表す。また、各画素の光の強さや色を表す値を画素値という。
図3Aに、Rの分光感度曲線のモデルを示す。
図3Bに、Gの分光感度曲線のモデルを示す。
図3Cに、Bの分光感度曲線のモデルを示す。
【0027】
表2.1は、R、G、Bの各光を作用させたときの、健康部分、黄化部分、葉脈部分の各光の強さを表す画素値の一例を示す。表2.1によると、R、G、Bいずれの場合においても、もっとも高い値となるのは葉脈部分であり、黄化部分を強調できていないことが分かる。また、各画素値を比較すると、葉脈部分はR画像、G画像、B画像全ての帯域で高い値であるのに対し、健康部分と黄化部分おいてはB画像が、R画像およびG画像よりも低い値であることが分かる。
(表2.1)
【0028】
図4は、黄化部分のモデルスペクトルと健康部分のモデルスペクトルの差を示す。具体的には、
図2Bのモデルスペクトルから
図2Aのモデルスペクトルを減算した値を示すグラフである。
図4では、短波長側(例えば、波長約400nm~500nm)よりも、中波長(例えば、約500nm~600nm)及び長波長側(例えば、約600nm~780nm)で差が大きいことが分かる。つまり、G(緑色光:例えば、中波長)とR(赤色光:例えば、長波長)にまたがって分布している波長部分に大きな差があり、B(青色光:例えば、短波長)にカウントされる波長帯域には、黄化と健康の差は相対的に少ない。これは、上記マトリックスにおいて、R、G、Bの画素値それぞれにおいて黄化部分と健康部分の値の差を計算しても明白である。
【0029】
以上の内容から、以下の二点が言える。
黄化部分と健康部分の差はRとGにまたがる波長帯域の画素値に現れる
葉脈部分はRGB全ての波長帯域において高い画素値を持っている
【0030】
このことから、「黄化部分と健康部分の差」、すなわち、「葉緑体の疎密」を最大限強調するには、式(1.1)が最適の計算式であると言える。
(R画像とG画像を任意の重み付けで配合する式)-(B画像を用いた式) (1.1)
【0031】
ここで、(R画像とG画像を任意の重み付けで配合する式)は、算術平均、幾何平均、その他二つの要素の重み付けが可能な式を含む。(B画像を用いた式)には、例えば、葉脈除去の効果が高まるように、係数や補正項を用いてもよい。(R画像とG画像を任意の重み付けで配合する式)と(B画像を用いた式)は、最終的にモノクロ画像として葉緑体疎密画像を出力するため、両者の最大最小範囲を同一にするために、規格化してもよい。
【0032】
上記式(1.1)の第一項で、黄化部分と健康部分の差が明確になる。式(1.1)の第二項で、葉脈部分の情報をカットする。ここで、式(1.1)第一項と二項の最大最小範囲を同一にする必要がある。一般的に、RGBそれぞれの画素値は、0から255までの値をとる。したがって、式(1.1)の第一項は式(1.2)となる。
(R画像×x+G画像×y)/(x+y) (1.2)
(ただし、0≦x、0≦y)
【0033】
ここで、xとyの値が一意に定められない理由は、植物葉によって、光合成の作用スペクトルが異なるからである。植物の種類によって、RとGどちらに比重をかけた方がより黄化部分と健康部分の差が強調されるか異なるのである。
【0034】
表2.2は、以下の式(1.3)のx及びy値を、それぞれ、(0、1)、(1、0)、(1、1)としたときの、健康部分、黄化部分、葉脈部分の積算された画素値の一例である。いずれのケースも、黄化部分が最大の画素値となり、モノクロ画像において黄化部分が最も強調されていることが分かる。
(R画像×x+G画像×y)/(x+y)-B画像 (1.3)
(ただし、0≦x、0≦y)
式(1.3)で得られた画像は、本開示における「葉緑体疎密画像」の一例である。
(表2.2)
【0035】
〈葉緑体疎密画像〉
ここで、
図5Aから
図5Cを用いて、本開示の判別モデルで使用する葉緑体疎密画像を説明する。
図5Aは、葉の表面を撮影した画像である。実際は、
図5Aでは、モノクロ画像で示すが、実際は、カラー画像である。
【0036】
図5Bは、
図5Aをモノクロ化した画像を、所定の閾値で二値化した画像である。閾値は、黄化部分が抽出できるように調整しながら決定された。また、
図5Bの画像において、黒色の部分が主に黄化部分とされる。しかしながら、
図5Bの画像では、黄化していない葉脈部分等も黒く検出されている。
【0037】
図5Cは、
図5Aのカラー画像を用いて求めたR画像及びB画像を利用した葉緑体疎密画像を黄化部分が抽出できるように閾値を調整して二値化した画像の一例を示す。具体的には、
図5Cの画像は、以下の式(1.3)において、x及びyの値を、それぞれ(1、0)としたときの葉緑体疎密画像を二値化した画像である。
(R画像×x+G画像×y)/(x+y)-B画像 (1.3)
図5Cの画像でも、黒色の部分が主に黄化部分とされる。
図5Bの二値化画像と、
図5Cの葉緑体疎密画像を二値化した画像とを比較すると、
図5Cの葉緑体疎密画像を二値化した画像は、葉脈の部分が黄化として抽出されることを軽減することができる。これは上記でも述べた通りの葉脈削減効果(葉脈部分の情報をカットした効果)が表れている。
【0038】
〈判別モデル〉
図6Aおよび
図6Bを用いて、植物の生育状態を判別する判別モデルMについて簡単に説明する。
図6Aに示すように、判別モデルの生成に利用する学習用データD13は、複数組の画像データと、画像に付与されたラベルとを含む。各画像データは、「植物の葉の葉緑体疎密画像」である。また、ラベルは、各画像データと対応する「植物の生育状態」である。具体的には、植物の生育状態は、健康状態並びに葉色に影響を及ぼし得る、病害罹患状態、栄養不良・過多状態、生育環境不良状態(日照、気温、湿度、水やりが不適切)、虫害状態のうち、少なくとも一つである。
【0039】
学習器において、学習用データD13に含まれる各画像データと、植物の生育状態との関係を機械学習により学習し、判別モデルMを生成する。判別モデルMは、新たに植物の疎密を示す画像が入力されると、判別結果である植物の生育状態を出力する。仮に、ラベルである植物の生育状態が、「良好」と「不良」とであるとき、判別モデルMは、例えば、植物の疎密を示す入力画像に対して、その植物が「良好」または「不良」である可能性を出力する。なお、植物の生育状態を示すラベルは、「良好」及び「不良」の2種類に限定されない。例えば、植物の生育状態を、3種以上のラベルで表してもよい。判別モデルMを利用することで、目視だけでは難しい植物の判別を容易に行うことが可能となる。
【0040】
なお、各画像データ(葉緑体疎密画像)は、例えば、植物の葉の表面を撮影した画像データから生成されたデータである。なお、1つの学習用データセットに含まれる画像データは、同一の条件で撮影及び生成されることが好ましい。例えば、1つの学習用データセットに含まれる画像データ(葉緑体疎密画像)は、同一又は同程度の光の照射条件で撮影した画像データで生成され得る。より具体的には、輝度が面に対してほぼ均一の面光源を内蔵した透過型光学系を用いて撮影された画像データであり得る。また、1つの学習用データセットに含まれる画像データ(葉緑体疎密画像)は、撮影データから同一の方法(演算式)で生成される。このように、同一又は同程度の学習用データと、判別用データとは、同一の条件で撮影されることで、正確な判別を可能とする。
【0041】
仮に、光の照射条件が異なる複数の撮影条件で画像を撮影した場合、光源スペクトルや分光感度曲線が異なる可能性がある。上述したモデルスペクトルの議論より、光の照射条件が異なる場合、最適なxとyの値を一意に定めることができず、非効率的である。したがって、学習用データと判別用データを同一又は同程度の撮影条件とすることで、より正確な判別が可能となる。
【0042】
また、上述のモデルスペクトルの議論は、葉の健康(葉肉)部分、黄化部分、葉脈部分を明確に区別できるように撮影することを前提としている。本発明は、高品質な植物葉撮影データを用いることを前提に、判別モデルMの判別精度をさらに向上させる技術である。例えば、透過型光学系のような高精度の撮影環境を採用することで、高品質な植物葉の画像を撮影することができる。
【0043】
〈生成装置の構成〉
図7を用いて、判別モデルMを生成する生成装置1の構成を説明する。生成装置1は、
図7に示すように、演算回路11、入力装置12、出力装置13、通信回路14及び記憶装置15等を備える。例えば、生成装置1は、パーソナルコンピュータや情報処理装置である。
【0044】
演算回路11は、生成装置1全体の制御を司るコントローラである。例えば、演算回路11は、記憶装置15に記憶されている生成プログラムP1を読み出して実行することにより、判別モデルMの生成に関する各種の処理を実現する。演算回路11は、CPU、MPU、GPU、FPGA、DSP、ASIC等、種々のプロセッサ又は専用に設計されたハードウェア回路であってもよい。
【0045】
入力装置12は、ユーザによる操作やデータの入力に利用される。入力装置12は、例えば、操作ボタン、キーボード、マウス、タッチパネル、マイクロフォン等でありうる。出力装置13は、処理結果やデータの出力に利用される。出力装置13は、例えば、ディスプレイ、スピーカ等の出力手段でありうる。
【0046】
通信回路14は、他の装置とのデータ通信を行う。データ通信は、有線および/または無線で行われ、例えば公知の通信規格にしたがう。例えば、有線によるデータ通信は、イーサネット(登録商標)規格、および/またはUSB(登録商標)規格等に準拠して動作する半導体集積回路の通信コントローラを通信回路14として用いることによって行われてもよい。また無線によるデータ通信は、無線LAN(Local Area Network)に関するIEEE802.11規格、および/または移動体通信に関する、いわゆる4G/5G/6Gと呼ばれる、第4/第5/第6世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信回路14として用いることによって行われてもよい。
【0047】
記憶装置15は種々の情報を記録する記録媒体である。記憶装置15は、例えば、RAM、ROM、フラッシュメモリ、SSD(Solid State Drive)、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置15は、生成プログラムP1、撮影データD11、光強度データD12、学習用データD13、判別モデルM等を格納する。生成プログラムP1は、演算回路11が実行するコンピュータプログラムである。生成プログラムP1が実行されることで、判別モデルMを生成する各種の処理が実行される。
【0048】
撮影データD11は、植物の葉を撮影して得られた画像データである。
【0049】
光強度データD12は、撮影データD11から生成されたR画像、G画像及びB画像のデータである。
【0050】
学習用データD13は、
図6Aを用いて上述したように、葉緑体疎密画像と、対応する植物の生育状態を示すラベルとを複数組含むデータである。葉緑体疎密画像は、光強度データD12から生成される。
【0051】
判別モデルMは、
図6A及び
図6Bを用いて簡単に説明したように、生成装置1で学習用データD13を用いて生成される。
【0052】
図7は、生成装置1が1台の情報処理装置で実現される例を示す。しかしながら、生成装置1は、複数の情報処理装置で実現されてもよい。例えば、実行される複数の処理の少なくとも一部が、演算回路で実行されてもよい。また例えば、複数のデータのうち少なくとも一部が、異なる記憶装置に記憶されていてもよい。
【0053】
生成装置1が、各状態を示すラベルが付された葉緑体疎密画像を用いて学習することで、表1に関連して上述した「病害に罹患したことが原因となる黄化」と、「病害に罹患したこと以外が原因となる黄化」とを区別して判別する判別モデルMを生成することができる。すなわち、「病害に罹患したことが原因となる黄化」と、「病害に罹患したこと以外が原因となる黄化」は、カラー画像の目視だけでは区別しにくい。しかしながら、クロロフィルの量に応じて求められた葉緑体の疎密を示す葉緑体疎密画像を学習用データとすることで、目視では区別が困難な「病害に罹患したことが原因の黄化の程度」と、「病害に罹患したこと以外が原因となる黄化の程度」とを区別することが可能となる。
【0054】
〈判別装置の構成〉
図8を用いて、判別モデルMを用いて植物の生育状態を判別する判別装置2の構成を説明する。判別装置2は、
図8に示すように、演算回路21、入力装置22、出力装置23、通信回路24及び記憶装置25等を備える。例えば、判別装置2は、パーソナルコンピュータや情報処理装置である。
【0055】
演算回路21、入力装置22、出力装置23、通信回路24及び記憶装置25は、それぞれ、
図8を用いて上述した演算回路11、入力装置12、出力装置13、通信回路14及び記憶装置15と同様の具体的手段で実現される。
【0056】
記憶装置25は、判別プログラムP2、判別モデルM、撮影データD21、光強度データD22、判別用データD23等を格納する。
【0057】
判別プログラムP2は、演算回路21が実行するコンピュータプログラムである。判別プログラムP2が実行されることで、判別のための各種の処理が実行される。
【0058】
判別モデルMは、上述した生成装置1で生成された学習済みモデルである。
【0059】
撮影データD21は、生育状態を判別する植物の葉の画像データである。
【0060】
光強度データD22は、撮影データD21から生成されたR画像、G画像及びB画像のデータである。
【0061】
判別用データD23は、撮影データD21から得られた葉緑体疎密画像である。
【0062】
図8は、判別装置2が1台の情報処理装置で実現される例を示す。しかしながら、判別装置2は、複数の情報処理装置で実現されてもよい。
【0063】
なお、
図8に示す判別装置2は、
図7を用いて上述した生成装置1と同一の装置で実現してもよい。すなわち、判別モデルMの生成と、判別モデルMを用いた植物の生育状態の判別が、同一の情報処理装置で実行されてもよい。
【0064】
〈判別モデルの生成の処理〉
図9に示すフローチャートを用いて、生成装置1で実行される判別モデルMを生成する処理を説明する。
【0065】
演算回路11は、まず、複数の植物の葉の撮影データD11を取得する(S01)。演算回路11は、取得した複数の撮影データD11を記憶装置15に記憶させる。ここで、各撮影データD11には、植物の生育状態を示すラベルが予め関連付けられていてもよい。例えば、各撮影データD11には、「健康」、「病気初期」、「病気中期」、「病気末期」などのラベルが関連付けられる。また、各撮影データD11を植物の生育状態を示すラベルと関連付けて記憶装置15に記憶させる。なお、ステップS01で取得した撮影データD11に植物の生育状態を示すラベルが関連付けられていないとき、演算回路11は、各撮影データD11へのラベル付けの処理を実行する。
【0066】
演算回路11は、ステップS01で取得した撮影データD11を用いて、光強度データD12を生成する(S02)。具体的には、演算回路11は、各撮影データD11を、R成分、G成分、B成分に分解して、赤色光の強度を示すR画像、緑色光の強度を示すG画像、青色光の強度を示すB画像を生成することで、複数の光強度データD12を生成する。また、演算回路11は、生成した光強度データD12を記憶装置15に記憶させる。
【0067】
演算回路11は、ステップS02で生成した光強度データD12を用いて、葉緑体疎密画像を生成する(S03)。演算回路11は、例えば、画像の対応する画素毎に、以下の式(1.3)を適用することにより、葉緑体疎密画像を生成する。ステップS02からステップS03の処理は、いわゆる前処理である。ここで、ステップS02またはステップS03の処理の前後で他の前処理が必要な場合、他の前処理を実行してもよい。例えば、前処理の一例としては、画像のトリミングや画像の回転等の処理があり得る。
(R画像×x+G画像×y)/(x+y)-B画像 (1.3)
(ただし、0≦x、0≦y)
【0068】
一つの判別モデルにおいては、同一の演算式を用いて葉緑体疎密画像を取得する。ここで、式(1.3)又は上述の式(1.2)において、約分をすれば同じ式になるxとyの組み合わせについては、全て同一であると定義する。換言すると、xとyの比率が同じとき、同一であると定義する。例えば、x:yが1:2、2:4、3:6の組み合わせは、同一であると定義する。
【0069】
演算回路11は、ステップS03で生成した各葉緑体疎密画像に、対応するラベルを関連付けて、学習用データD13を生成する(S04)。また、演算回路11は、生成した学習用データD13を記憶装置15に記憶させる。
【0070】
演算回路11は、ステップS04で生成した学習用データD13を用いて、判別モデルMを生成する(S05)。具体的には、演算回路11は、学習用データD13に含まれる葉緑体の疎密を示す画像と植物の生育状態との関係を学習して判別モデルMを生成する。また、演算回路11は、生成した判別モデルMを記憶装置15に記憶させる。
【0071】
このようにして、生成装置1は、植物の葉の画像から植物の葉の生育状態を判別する判別モデルMを生成することができる。
【0072】
〈判別モデルを用いた判別の処理〉
図10に示すフローチャートを用いて、判別装置2で実行される判別モデルMを用いて植物の生育状態を判別する処理を説明する。
【0073】
演算回路21は、まず、生育状態を判別する植物の葉の撮影データを取得する(S11)。演算回路21は、取得した撮影データD21を記憶装置25に記憶させる。
【0074】
演算回路21は、ステップS11で取得した撮影データD21を用いて、光強度データD22を生成する(S12)。光強度データD22の生成は、
図6を用いて上述したステップS02と同様の処理で実行することができる。また、演算回路21は、生成した光強度データD22を記憶装置25に記憶させる。
【0075】
演算回路21は、ステップS12で生成した光強度データD22を用いて、葉緑体疎密画像を生成する(S13)。葉緑体疎密画像の生成は、
図9を用いて上述したステップS03と同様の処理で実行することができる。また、演算回路21は、生成した葉緑体疎密画像を判別用データD23として記憶装置25に記憶させる。
【0076】
演算回路21は、ステップS13で生成した判別用データD23を、判別モデルMの入力として、対象の植物の生育状態を判別する(S14)。
【0077】
演算回路21は、出力装置23にステップS14における判別結果を出力する(S15)。
【0078】
このようにして、判別装置2は、判別モデルMを用いて、植物の葉の画像から植物の葉の生育状態を判別することができる。
【0079】
《式(1.3)に使用するx、yの決定》
式(1.3)に用いるx、yの最適な値の決定を、その時に得られた判別精度をフィードバックし、最適化することにより決定することができる。例えば、式(1.3)に用いるx、yの値の決定は、生成装置1において、実行してもよい。このとき、演算回路11は、一般的な最適化問題で利用される手法を用いて、xとyの値を決定することができる。xとyの値の決定に利用されるデータは、例えば、専門家によって「健康」「病気初期」」、「病気中期」、「病気末期」がラベル付けされた「撮影データ」が関連付けられるデータである。
【0080】
〈第2実施形態〉
図11~13を用いて、第2実施形態に係る生成装置1Aを説明する。上述した第1実施形態では、生成装置1が、教師あり学習を利用して判別モデルMを生成する例で説明した。具体的には、生成装置1は、前処理によって予めラベルが付された画像を含む学習用データD13を用いて判別モデルMを生成する。これに対し、第2実施形態に係る生成装置1Aは、教師なし学習を利用してラベルが付与されていない画像をクラスタリングする。また、生成装置1Aは、クラスタリングで生成された各クラスタのラベルを受け付けると、学習用データを生成して判別モデルMを生成する。実施形態2において、実施形態1に係る生成装置1と同一の構成及び同一の処理は、同一の符号を用いて説明を省略することもある。
【0081】
〈生成装置の構成〉
図11に示すように、第2実施形態に係る生成装置1Aは、演算回路11は、入力装置12、出力装置13、通信回路14及び記憶装置15を含む情報処理装置で実現される。第2実施形態に係る生成装置1Aの記憶装置15は、
図14に示すように、クラスタリングプログラムP3、生成プログラムP1、撮影データD11、光強度データD12、クラスタリング用データD31、クラスタリング結果データD32、学習用データD13、判別モデルMを記憶する。
【0082】
クラスタリングプログラムP3は、演算回路11が実行するコンピュータプログラムである。クラスタリングプログラムP3が実行されることで、生成装置1Aにおいて、クラスタリングの処理が実行される。クラスタリングプログラムP3は、例えば階層的クラスタリング及び非階層的クラスタリングといったハードクラスタリングや、ソフトクラスタリングを利用してクラスタを生成する。
【0083】
クラスタリング用データD31は、
図12Aに示すように、フラグが付されていない単なる画像を含むデータである。クラスタリング用データは、例えば、複数の撮影データD11からそれぞれ生成された葉緑体疎密画像であり得る。
【0084】
クラスタリング結果データD32は、クラスタリング用データD31がクラスタリングされた結果である。例えば、
図12Bに示すように、教師なし学習により、クラスタリング用データD31から複数のクラスタが得られ、クラスタリング結果データD32となる。例えば、
図12Bは、一つのデータが一つのクラスタにしか属さないハードクラスタリングを用いて、クラスタA~Eが得られた一例を示す。なお、一つのデータが複数のクラスタに属することを許容するソフトクラスタリングを用いた場合、例えば、「病害かつ栄養不足」という複数の項目のラベルが付与されてもよい。また、複数のラベルの相対的な配分まで評価してもよい。一般的に、葉の黄化を含む自然現象は、複合的な要因によって発現する。
【0085】
学習用データD13は、クラスタリング結果データD32の各クラスタA~Eに、ユーザによってラベルが付され、生成されたデータである。学習用データD13は、判別モデルMの生成で利用される。
図12Cは、
図12Bで得られたクラスタA~Cに、それぞれ「病気」、「健康」、「栄養不足」のラベルが付された例である。なお、全てのクラスタのラベルが特定できない場合もあり得る。特定できない場合、
図12Cに示すように、「不明」のラベルを付してもよい。また、例えば柑橘グリーニング病のように、病害の発現の仕方が複数パターン存在する場合や、病原菌の遺伝子系統が複数存在する場合もあり得る。そのような場合は、例えば「病気」ラベルのクラスタを「病気パターンA」、「病気パターンB」のように、細分化し、階層化してもよい。尚、ラベルの細分化と階層化は「病気」ラベルに限らない。
【0086】
〈クラスタリング及び判別モデルの生成の処理〉
図13に示すフローチャートを用いて、生成装置1Aで実行されるクラスタリング及び判別モデルMを生成する処理を説明する。具体的には、
図13に示すフローチャートの破線内(S21~S23)が、クラスタリングの処理である。
【0087】
演算回路11は、まず、複数の植物の葉の撮影データD11を取得する(S01)。演算回路11は、取得した複数の撮影データD11を記憶装置15に記憶させる。なお、生成装置1Aでは、クラスタリングの後にラベルが付されるため、ステップS01ではラベルは付されない。
【0088】
演算回路11は、ステップS01で取得した撮影データD11を用いて、光強度データD12を生成する(S02)。光強度データD12の生成方法は、第1実施形態に係る生成装置1と同様である。また、演算回路11は、生成した光強度データD12を記憶装置15に記憶させる。
【0089】
演算回路11は、ステップS02で生成した光強度データD12を用いて、葉緑体疎密画像を生成する(S03)。葉緑体疎密画像の生成方法は、第1実施形態に係る生成装置1と同様である。また、演算回路11は、生成した複数の葉緑体疎密画像を、クラスタリング用データD31として記憶装置15に記憶させる。
【0090】
演算回路11は、教師なし学習により、ステップS03で記憶したクラスタリング用データD31を用いて、クラスタリングする(S21)。演算回路11は、クラスタリングの結果を、クラスタリング結果データD32として、記憶装置15に記憶させる。
【0091】
演算回路11は、ステップS21で得られた各クラスタのラベルを受け付ける(S22)。例えば、各クラスタのラベルは、入力装置12を介してユーザによって入力される。
【0092】
演算回路11は、クラスタリング用データD31の各葉緑体疎密画像に、ステップS22で受け付けた対応するラベルを関連付けて、学習用データD13を生成する(S23)。また、演算回路11は、生成した学習用データD13を記憶装置15に記憶させる。
【0093】
演算回路11は、ステップS04で生成した学習用データD13を用いて、判別モデルMを生成する(S05)。判別モデルMの生成方法は、第1実施形態に係る生成装置1と同様である。また、演算回路11は、生成した判別モデルMを記憶装置15に記憶させる。
【0094】
このようにして、生成装置1Aは、植物の葉の画像からクラスタリングを行う。また生成装置1A、クラスタリングの結果を用いて植物の葉の生育状態を判別する判別モデルMを生成することができる。
【0095】
なお、上述の説明では、生成装置1Aが、葉緑体疎密画像の生成、クラスタリング及び判別モデルMの生成の全てを実行する例で説明した。しかしながら、一部の処理を別の情報処理装置で実行してもよい。また、各処理を異なる情報処理装置で実行してもよい。例えば、他の情報処理装置で生成された葉緑体疎密画像を利用してクラスタリングを実行してもよい。また、クラスタリングと、判別モデルMの生成を異なる情報処理装置で実行してもよい。
【0096】
第2実施形態で上述したように生成された判別モデルMによる判別は、第1実施形態で上述した説明と同様に実行される。なお、
図12Cでは、各クラスタにそれぞれ「病気」、「健康」、「栄養不足」、「不明1」、「不明2」のラベルが付される例で説明した。このように生成された学習用データD13で生成された判別モデルMでは、判別結果は「病気」、「健康」または「栄養不足」の他、「不明」となることもあり得る。また、後に、「不明」であったクラスタに付すラベルが分かったとき、正しいラベルを付してもよい。これにより、判別モデルMは、より正確に判別することが可能となる。
【0097】
〈変形例1〉
上述の第1実施形態では、健康であるか、黄化が生じた病気であるかを判別する例で説明した。また、病気の中で、病気初期、病気中期、病気末期のいずれであるかのラベルを利用して学習した判別モデルを利用して判別していた。しかしながら、もちろん、判別モデルは、これ以外のラベルが付された学習用データを利用してもよい。例えば、判別モデルは、上記のラベルに加え、又は、上記のラベルの代わりに、「栄養不足」、「水のやりすぎ」等のラベルを付した学習用データを用いて生成されてもよい。
【0098】
〈変形例2〉
上述の例では、撮影データにおける葉の向きについては言及していない。一方、笹の葉等のように、葉脈の向きが分かりやすい植物もある。このような場合は、学習用データと、判別用データとで、葉の向きを所定の向きに調整することで、判別精度を向上させることができる。
【0099】
〈変形例3〉
変形例2では、葉脈の向きが分かりやすい植物に関し、葉の向きを調整している。しかしながら、葉脈の向きが揃っていない葉の場合は、1つの撮影データを回転させて学習用データの数を、増加させてもよい。このように1つの撮影データに対して回転させた画像データを学習することで、葉の撮影向きに依存せずに、判別が可能となり、判別用の撮影データの撮影を容易にすることができる。また、仮に、画像内でグラデーションがかかっているような場合であっても、そのグラデーションの方向性に依存せずに学習することができる。したがって、学習用データのグラデーションによる過学習を防止し、判別の精度を向上させることができる。
【0100】
〈変形例4〉
上述の例では、撮影データD11は、「輝度が略均一な透過型光学系」を利用して撮影する一例で説明した。しかしながら、撮影データD11の撮影に利用する撮影光学系は、透過型光学系に限定されない。具体的には、撮影データD11は、黄化部分、健康部分及び葉脈部分を分離することができるデータであり得る。また、撮影データD11の撮影に利用する撮影光学系は、各サンプルで均一な条件で撮影できる撮影光学系あり得る。例えば、フィールドに屋外に携帯可能な透過型光学系の他、屋内の撮影環境が均一に整った撮影光学系であってもよい。
【0101】
〈その他の変形例〉
上述した例では、機械学習により、植物の状態を判別する一例で説明したが、同一の学習用データに基づいて、例えば敵対的生成ネットワークを用いて生成AIを実現することもできる。具体的には、葉緑体疎密画像を学習させ、任意の条件での実在しない葉緑体疎密画像を生成し、例えば画素値が高い部分から低い部分にかけて黄色から緑色に着色することにより、疑似的に葉のRGB画像を復元する。このような生成AIは、例えば、仮想の「健康」な葉の画像、仮想の「病気初期+栄養不足中期」の葉の画像等、所望の条件画像を生成することができる。このような生成AIを用いることにより、例えば柑橘グリーニング病の場合、未だに病気が広がっていない地域の柑橘類がその病気に罹患したとき、どのような黄化の様相になるかを予測することが出来、早期発見に役立てることが出来る。
【0102】
〈実験例1〉
上述した判別モデルMの生成の実験結果を以下で説明する。実験では、健康な植物の葉と病気の植物の葉とを含む841枚の撮影データを用意した。各撮影データは、上述した輝度が面に対して略均一の面光源を内蔵した透過型光学系を用いて撮影された画像である。植物は、シークワーサー等カンキツの葉であり、病気は、柑橘グリーニング病である。
図14に示すように、各撮影データには、「健康」、「病気初期」、「病気中期」、「病気末期」のいずれかのラベルが付した。また、撮影データは、撮影時間毎にグループ1(撮影初期)、グループ2(撮影中期)、グループ3(撮影後期)に分け、各グループから学習用データと評価用データとを選択して評価した。なお、異なるグループに、同一の葉の画像が入らないようにグループを作成した。
【0103】
図15に示すように、学習および評価を異なる組み合わせで、3回行うことを3回繰り返した。具体的には、1回目の学習では、グループ2及びグループ3の撮影データに基づいて学習を実行し、グループ1の撮影データに基づいて評価を行った。また、2回目の学習では、グループ1及びグループ3の撮影データに基づいて学習を実行し、グループ2の撮影データに基づいて評価を行った。3回目の学習では、グループ1及びグループ2の撮影データに基づいて学習を実行し、グループ3の撮影データに基づいて評価を行った。4回目と7回目は、1回目と同様の組で評価を行った。5回目と8回目は、2回目と同様の組で評価を行った。6回目と9回目は、1回目と同様の組で評価を行った。
【0104】
具体的には、判別モデルの生成及び検証は様々な処理または演算結果で得られた画像を用いて行った。ここでは、それらの中で、撮影データ自体(表3.1)に加え、評価の精度が高い結果を示す。具体的には、R画像とB画像で演算された画像(R画像-B画像)(表3.2)、G画像とB画像で演算された画像(G画像-B画像)(表3.3)、(G画像+R画像)/2-B画像で求めた画像(表3.4)、表3.3の画像を、45°ずつ回転させて8倍に増加させた画像(表3.5)で判別モデルの生成及び検証を行った結果を示す。
【0105】
以下の表では、「病気初期」を単に「初期」、「病気中期」を単に「中期」、「病気末期」を単に「末期」とした。
【0106】
また、以下では、「正答率」は、病気初期~中期の、各ラベルに分類した分類結果の正答率である。また、「病害葉正答率」は、健康であるか、病気であるかの分類結果の正答率である。例えば、病気の初期と中期の境界は曖昧である。また、病気の中期と末期の境界は曖昧である。したがって、病気初期から末期を、「病気」という1つの判別結果とみなし、いずれかに分類されれば、正とした場合の正答率である。以下では、説明の簡易化のため、「病害葉正答率」を中心に、「病害葉正答率」と「正答率」の双方が上がっている傾向にある場合に、「評価結果の精度が向上」したとして説明する。
【0107】
さらに、下記の結果は、
図15に示す組み合わせで行った1回目から9回目の学習と評価の結果の合計を示す。
【0108】
【0109】
表3.2は、撮影データから求めたR画像及びB画像を用いて、画素毎に、以下の式(2.1)を適用して求めた画像を用いて、学習及び評価を行った例を示す。
R画像-B画像 (2.1)
【0110】
表3.1の撮影データの場合と比較して、評価結果の精度が向上している。
(表3.2)
【0111】
表3.3は、撮影データから求めたG画像及びR画像を用いて、画素毎に、以下の式(2.2)を適用して求めた画像を用いて、学習及び評価を行った例を示す。
G画像-B画像 (2.2)
【0112】
表3.1の撮影データの場合と比較して、評価結果の精度が向上している。
(表3.3)
【0113】
表3.4は、撮影データから求めたG画像及びR画像を用いて、画素毎に、以下の式(2.3)で得られた画像を用いて、学習及び評価を行った例を示す。
(G画像+R画像)/2-B画像 (2.3)
式(2.3)は、上述の式(1.3)のx及びyの値を、(1、1)とした場合である。
【0114】
表3.1の撮影データの場合と比較して、評価結果の精度が向上している。
(表3.4)
【0115】
表3.5は、上述の式(2.2)で求めた画像を、45°ずつ回転させて、8倍に増加させた画像を用いて、学習及び評価を行った例を示す。
【0116】
表3.1の撮影データの場合と比較して、評価結果の精度が向上している。また、当該表3.5で示す評価結果は、上記の表3.2から表3.4の他の全ての評価結果と比較しても、評価結果の精度が高いことが分かる。
(表3.5)
【0117】
〈実験例2〉
実験例2では、色相(H)画像、彩度(S)画像、明度(V)画像、R画像、G画像、B画像の画像を使用した。実験例2でも、
図14に示したグループで、
図15に示すように、合計9回の学習及び評価を繰り返してその結果を合計した。また、実験例2では、実験1で最も評価結果の精度が高い表3.5の結果と比較した。H画像、S画像、V画像、R画像、G画像、B画像のいずれの場合の評価結果も、表3.5の結果と比較して精度が低くなっている。一例として、H画像の評価結果のみ、下記で説明する。
【0118】
表4は、カラー画像の撮影データを色相画像に変換した画像で学習及び評価を行った例を示す。表3.5の場合と比較して、評価結果の精度が低い。また、元画像である表3.1の結果と比較しても病害葉正答率が全体的に悪化している。
(表4)
【0119】
H画像は、葉の枯死部分の情報を、他の黄化部分や健康部分と同等に扱ったため、評価結果が悪くなったと考えられる。これにより、黄化は色味の違いであるが、色味の違いを示すH画像を用いる判別モデルを利用すれば判別の精度が高くなるわけでないことが分かる。また、式(1.3)で得られた画像を用いる判別モデルが、有用であることも分かる。
【0120】
〈実験例3〉
実験例3では、式(1.3)のx、yの値を変化させたときの判別精度の推移を評価した。実験例3は、実験例1で使用した画像から、式(1.3)で得られた画像を生成し、判別モデルを生成した場合の判別精度である。表5に、実験例3の結果を示す。表5は、R:GにおけるRの比率(x/(x+y))のが各値であるときの、病害葉正答率の代表値を示す。病害葉正答率の代表値は、病害葉正答率の合計の数値である。
(表5)
【0121】
また、表5の結果を、
図16に示す。
図16に示すグラフの傾向から、Rの比率が少ない方が、判別の精度が高いことが分かる。最も判別の精度が高いx=0、y=1を採用してもよい。また例えば、x、yの値は、判別の精度が87%以上である、Rの比率が0.0~0.3の平均値であるx=0.15、y=0.85を採用してもよい。
【0122】
(1)本開示の生成方法は、記憶装置にアクセス可能な演算回路を含むコンピュータにより実行される植物の生育状態を判別する判別モデルの生成方法であって、
前記記憶装置は、
複数の学習用の植物の葉の画像から得られた、前記植物に含まれるクロロフィルとカロテノイドの吸光スペクトルの差を反映した画像である葉緑体疎密画像を記憶し、
前記演算回路に実行され、
前記記憶装置から前記葉緑体疎密画像を読み出し、
前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する。
【0123】
(2)(1)の生成方法では、前記葉緑体疎密画像は、植物の葉の画像から得られたR画像、G画像及びB画像のうち二以上を用いて、対応する画素の値毎に、以下の式(1)により求められた画像であって、
(R画像とG画像を任意の重み付けで配合する式)-(B画像を用いた式) (1)
前記式(1)において、前記R画像、前記G画像及び前記B画像のうち、使用しない画像の画素の値は0であってもよい。
【0124】
(3)(2)の生成方法では、前記式(1)は、以下の式(2)であってもよい。
(R画像×x+G画像×y)/(x+y)-B画像 (2)
(ただし、0≦x、0≦y)
【0125】
(4)(1)から(3)の生成方法では、前記植物の生育状態は、健康状態、病害罹患状態、栄養不良又は過多状態、生育環境不良状態、虫害状態の群から選択された少なくとも一つを含んでもよい。
【0126】
(5)(1)から(4)の生成方法では、程度の異なるレベルのうち選択されたレベルを含んでもよい。
【0127】
(6)(3)の生成方法では、前記式(2)のxとyとの値を、判別精度の最も高くなる組み合わせに最適化する工程を含んでもよい。
【0128】
(7)(1)から(6)の生成方法では、前記植物の葉の画像の取得には、輝度が面に対して略均一の面光源を内蔵した透過型光学系を用いてもよい。
【0129】
(8)(1)から(7)の生成方法では、前記機械学習は、教師あり学習と教師なし学習のうち、少なくとも一種類を含んでもよい。
【0130】
(9)(1)から(8)の生成方法では、前記記憶装置は、
前記各葉緑体疎密画像に、前記植物の状態を示すラベルを関連付けて記憶し、
前記演算回路は、
前記記憶装置から前記葉緑体疎密画像とともに前記ラベルを教師あり学習の学習用データとして読み出し、
前記学習用データに含まれる複数の前記葉緑体疎密画像と、対応する前記ラベルとの関係を機械学習により学習し、新たな植物の葉緑体疎密画像に対して、前記新たな植物の状態を判別結果として出力する判別モデルを生成してもよい。
【0131】
(10)(1)から(9)の生成方法では、前記演算回路は、
前記記憶装置から複数の前記葉緑体疎密画像を教師なし学習の学習用データとして読み出し、
前記学習用データの複数の前記葉緑体疎密画像の特徴を分析結果に基づいて、植物の状態の特徴毎の複数のクラスタを生成し、
各クラスタに前記植物の状態を示すラベルが付与されると、前記クラスタに含まれる複数の前記葉緑体疎密画像と、前記クラスタに付与されたラベルとを教師あり学習の学習用データとし、複数の前記葉緑体疎密画像と、対応する前記ラベルとの関係を学習し、新たな植物の葉緑体疎密画像に対して、前記新たな植物の状態を判別結果として出力する判別モデルを生成してもよい。
【0132】
(11)本開示の判別方法は、記憶装置にアクセス可能な演算回路を含むコンピュータにより実行される植物の状態を判別する判別方法であって、
前記演算回路に実行され、
前記記憶装置から判別用の植物の葉の画像を読み出し、
前記画像から、植物の葉緑体の疎密を示す葉緑体疎密画像を演算し、
演算された前記葉緑体疎密画像を請求項1の生成方法で生成された前記判別モデルへの入力として、前記植物の状態を判別する。
【0133】
(12)本開示のコンピュータプログラムは、(1)から(10)のいずれか1の生成方法を実行する。
【0134】
(13)本開示のコンピュータプログラムは、(11)の判別方法を実行する。
【0135】
(14)本開示の生成装置は、記憶装置にアクセス可能な演算回路を含み、植物の状態を判別する判別モデルの生成装置であって、
前記記憶装置は、
複数の学習用の植物の葉の画像から得られた、前記植物に含まれるクロロフィルとカロテノイドの吸光スペクトルの差を反映した画像である葉緑体疎密画像を記憶し、
前記演算回路により、
前記記憶装置から前記葉緑体疎密画像を読み出し、
前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する。
【符号の説明】
【0136】
1 生成装置
2 判別装置
11,21 演算回路
12,22 入力装置
13,23 出力装置
14,24 通信回路
15,25 記憶装置
D11 撮影データ
D12 光強度データ
D13 学習用データ
D21 撮影データ
D22 光強度データ
D23 判別用データ
M 判別モデル
P1 生成プログラム
P2 判別プログラム
【要約】
【課題】植物の生育状態を判別する。
生成方法は、記憶装置にアクセス可能な演算回路を含むコンピュータにより実行される植物の生育状態を判別する判別モデルを生成する。前記記憶装置は、複数の学習用の植物の葉の画像から得られた、前記植物に含まれるクロロフィルとカロテノイドの吸光スペクトルの差を反映した画像である葉緑体疎密画像を記憶する。生成方法は、前記演算回路に実行され、前記記憶装置から前記葉緑体疎密画像を読み出し、前記葉緑体疎密画像を機械学習の学習用データとして用いて植物の生育状態の判別モデルを生成する。
【選択図】
図6A