IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社レフ・テクノロジーの特許一覧

特許7232376植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム
<>
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図1
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図2
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図3
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図4A
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図4B
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図4C
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図4D
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図4E
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図5
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図6
  • 特許-植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-02-21
(45)【発行日】2023-03-02
(54)【発明の名称】植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム
(51)【国際特許分類】
   A01G 7/00 20060101AFI20230222BHJP
【FI】
A01G7/00 603
【請求項の数】 12
(21)【出願番号】P 2022190072
(22)【出願日】2022-11-29
【審査請求日】2022-11-29
【早期審査対象出願】
(73)【特許権者】
【識別番号】507014553
【氏名又は名称】株式会社レフ・テクノロジー
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100131808
【弁理士】
【氏名又は名称】柳橋 泰雄
(72)【発明者】
【氏名】浅香 尚洋
【審査官】大澤 元成
(56)【参考文献】
【文献】特許第7058816(JP,B1)
【文献】特開2013-036889(JP,A)
【文献】中国特許出願公開第110705653(CN,A)
【文献】特開2020-136696(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G01N 21/00-21/61
G06T 7/00
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
植物の葉の画像を取得する工程と、
前記画像からR画像とB画像とを取得する工程と、
前記R画像と前記B画像の差分を表す差分画像を取得する工程と、
前記差分画像に基づく、画素値に対するピクセル数を示す第1の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第1のピーク部分を取得する工程と、
前記第1のピーク部分に基づいて、前記葉の黄化部分に関する黄化情報を取得する工程と、
を含む、植物の黄化情報取得方法。
【請求項2】
前記植物の葉の画像を取得する工程は、前記葉の輪郭を取得する工程を含む、請求項1に記載の植物の黄化情報取得方法。
【請求項3】
前記黄化情報は、前記葉の葉肉に対する黄化部分で表される第1の割合である、請求項1に記載の植物の黄化情報取得方法。
【請求項4】
前記植物の黄化情報取得方法は、前記B画像に基づく、画素値に対するピクセル数を示す第2の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第2のピーク部分を取得する工程をさらに含み、
前記第1の割合は、第2の割合R2と第3の割合R3とを用いて表される、
式1:
によって取得され、
前記第2の割合は、前記第1のピーク部分に基づいて取得された、前記葉全体に対する前記黄化部分の割合であって、
前記第3の割合は、前記第2のピーク部分に基づいて取得された、前記葉全体に対する前記葉の葉脈の割合である、請求項3に記載の植物の黄化情報取得方法。
【請求項5】
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記第2の分布は、前記B画像の2値化画像において取得され、
前記第2の割合は、前記第1の分布において、前記画像の全ピクセル数に対する第1の閾値以上の画素値を有するピクセル数で表され、
前記第3の割合は、前記第2の分布において、前記全ピクセル数に対する第2の閾値以上の画素値を有するピクセル数で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定され、
前記第2の閾値は、前記第2のピーク部分に基づいて設定される、請求項4に記載の植物の黄化情報取得方法。
【請求項6】
前記黄化情報は、前記葉全体に対する黄化部分で表される第4の割合である、請求項1に記載の植物の黄化情報取得方法。
【請求項7】
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記第4の割合は、前記第1の分布において、前記画像の全ピクセル数に対する第1の閾値以上の画素値を有するピクセル数で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定される、請求項6に記載の植物の黄化情報取得方法。
【請求項8】
前記黄化情報は、前記葉の黄化部分の形状であり、
前記黄化部分の形状に基づいて前記植物が罹患している病気を推定する工程をさらに含む、請求項1に記載の植物の黄化情報取得方法。
【請求項9】
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記黄化部分の形状は、前記差分画像の2値化画像において第1の閾値以上の画素値を有するピクセル群で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定される、請求項8に記載の植物の黄化情報取得方法。
【請求項10】
請求項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行するコンピュータプログラム。
【請求項11】
前記画像を取得する画像取得手段と、
請求項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行する制御装置と、
を備える、植物の黄化情報取得装置。
【請求項12】
前記画像を取得する画像取得手段と、
請求項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行する制御装置と、
前記取得された黄化情報を表示する表示部と、
を備える、植物の黄化情報取得システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システムに関する。
【背景技術】
【0002】
近年、植物体の生葉から植物体の生育状況が観察されることがある。例えば、特許文献1には、植物の葉に励起光を照射して植物体が病原菌に感染しているか否かを診断する装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2013-36889号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、植物の生育状況を経時的に観察する点、及び利便性においては、未だ改善の余地がある。
【0005】
そこで、本開示は、植物の生育状況を経時的に観察できる植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る植物の黄化情報取得方法は、植物の葉の画像を取得する工程と、前記画像からR画像とB画像とを取得する工程と、前記R画像と前記B画像の差分を表す差分画像を取得する工程と、前記差分画像に基づく、画素値に対するピクセル数を示す第1の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第1のピーク部分を取得する工程と、前記第1のピーク部分に基づいて、前記葉の黄化部分に関する黄化情報を取得する工程と、を含む。
【0007】
これらの概括的かつ特定の態様は、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【0008】
本開示の植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システムによれば、植物の生育状況を経時的に観察できる。
【図面の簡単な説明】
【0009】
図1】本開示に係る植物の黄化情報取得システムのブロック図の一例である。
図2】本開示に係る植物の黄化情報取得装置の一例を示す模式図である。
図3】本開示の実施形態1に係る植物の黄化情報取得方法のフロー図である。
図4A】本開示の実施形態1に係る植物の黄化情報取得方法の一工程で得られる植物の葉の画像の一例である。
図4B】本開示の実施形態1に係る植物の黄化情報取得方法の一工程で得られる植物の葉の画像の一例である。
図4C】本開示の実施形態1に係る植物の黄化情報取得方法の一工程で得られる第1の分布の一例である。
図4D】本開示の実施形態1に係る植物の黄化情報取得方法の一工程で得られる第2の分布の一例である。
図4E図4Dに示される第2の分布の一部を拡大した分布である。
図5】本開示の実施形態2に係る植物の黄化情報取得方法のフロー図である。
図6】本開示の実施形態3に係る植物の黄化情報取得方法のフロー図である。
図7】本開示の実施形態3に係る植物の黄化情報取得方法の一工程で得られる黄化部分の形状の一例である。
【発明を実施するための形態】
【0010】
1.実施形態1
以下、図面を参照しながら、本発明を実施するための実施形態を説明する。なお、以下に説明する植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システムは、本発明の技術思想を具体化するためのものであって、特定的な記載がない限り、本発明を以下のものに限定しない。
各図面中、同一の機能を有する部材には、同一符号を付している場合がある。要点の説明または理解の容易性を考慮して、便宜上実施形態や実施例に分けて示す場合があるが、異なる実施形態で示した構成の部分的な置換または組み合わせは可能である。後述の実施形態や実施例では、前述と共通の事柄についての記述を省略し、異なる点についてのみ説明する。特に、同様の構成による同様の作用効果については、実施形態や実施例ごとには逐次言及しないものとする。各図面が示す部材の大きさや位置関係等は、説明を明確にするため、誇張して示している場合もある。
【0011】
〈植物の黄化情報取得システム〉
図1に示すように、本開示に係る植物の黄化情報取得システム1は、画像取得手段2と、制御装置3と、を含む。植物の黄化情報取得システム1は、さらに表示部4及び/又は透過型光学系5を含んでいてよい。
【0012】
〈植物の黄化情報取得装置〉
画像取得手段2と、制御装置3と、1つの黄化情報取得装置6に含まれていてもよい。さらに、該黄化情報取得装置6は、表示部4と、透過型光学系5と、を含んでいてもよい。黄化情報取得装置6は、例えば、スマートホン、タブレット等の電子機器であってもよい。
【0013】
<<画像取得手段>>
図2に示すように、画像取得手段2は、植物の葉Lの画像を取得する。画像取得手段2は、植物の葉Lのカラー画像で取得できる。画像取得手段2は、植物の葉Lのデジタル画像を取得できる。画像取得手段2は、光源を含んでいてよい。光源は、赤色光と青色光とを含む光を出射する。光源は、赤色光と青色光とを含む白色光を出射するフラッシュ光源、LED光源等であってよい。なお、本明細書において、青色光とは、例えば430nm以上490nm以下の波長を有する光であり、赤色光とは、例えば640nm以上770nm以下の波長を有する光であり、緑色光とは、例えば490nm以上550nm以下の波長を有する光である。
画像取得手段2は、例えば、デジタルカメラ、スマートホンやタブレット等の電子機器に搭載されるカメラである。画像取得手段2は、持ち運び自在であるとよい。
【0014】
<<制御装置>>
制御装置3は、演算部31を含む。制御装置3はさらに、記憶部と、学習部と、を含んでいてよい。
【0015】
図1に示すように、演算部31は、後述する、本開示に係る植物の黄化情報取得方法を実行する。制御装置3は、CPU、MPU、GPU、FPGA、DSP、ASIC等である。制御装置3は、スマホやタブレット等の電子機器に搭載されていてよい。
【0016】
記憶部は、種々の情報を記録する記録媒体である。記憶部は、例えば、RAM、ROM、フラッシュメモリ、SSD(Solid State Drive)、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部は、演算部31が実行するコンピュータプログラムである植物の黄化情報取得プログラムと、該植物の黄化情報取得プログラムの実行に使用する種々のデータ等が格納される。例えば、記憶部は、黄化部分の形状と植物が罹患している病気との関係に関する情報を記憶する。なお、記憶部は、いわゆるクラウド等、制御装置3とは別の外部装置、外部システム等に含まれていてもよい。この場合、制御装置3は、記憶部を含む外部装置、外部システム等とデータ通信できる。
【0017】
学習部は、例えば、演算部31が実施した植物の黄化情報取得方法の結果を基に、植物の生育状態、植物が罹患している病気等を学習する。なお、学習部もまた、クラウド等、制御装置3とは別の外部装置、外部システム等に含まれていてもよい。この場合、制御装置3は、学習部を含む外部装置、外部システム等とデータ通信できる。
【0018】
<<表示部>>
表示部4は、制御装置3が植物の黄化情報取得方法を実行した結果、取得された植物の黄化情報を表示する。表示部4は、画像取得手段2で取得された画像を表示してもよい。表示部4は、例えば、スマートホン、タブレット、パソコン等の電子機器の画面(ディスプレイ)である。
【0019】
<<透過型光学系>>
透過型光学系5は、図2に示すように、植物の葉Lに対して画像取得手段2と反対側に配置される。透過型光学系5は、例えば、白色の光を出射する。透過型光学系5は、例えば、透過照明である。透過型光学系5は、例えば、面発光の透過型光源である。面発光の透過型光源を用いることで、光源面に水平に葉Lと撮像面とを並べることができるため、葉Lの面積及び葉Lの葉脈をより正確にとらえることができる。なお、透過型光学系5は、持ち運び自在であるとよい。
【0020】
〈植物の黄化情報取得方法〉
図3に示すように、実施形態1に係る植物の黄化情報取得方法は、
(1)植物の葉の画像を取得する工程S1と、
(2)R画像とB画像とを取得する工程S2と、
(3)差分画像を取得する工程S3と、
(4)第1のピーク部分を取得する工程S4と、
(5)第2のピーク部分を取得する工程S5と、
(6)黄化情報を取得する工程S6と、
を含む。
実施形態1に係る植物の黄化情報取得方法は、例えば、制御装置3の演算部31によって実行されるコンピュータプログラムである。
以下に、各工程について詳細に説明する。
【0021】
(植物の葉の画像を取得する工程S1)
本工程では、画像取得手段2によって、被観察対象である植物の葉Lの画像を取得する。本工程では、例えば、葉Lの向軸面(表面)L1の画像を取得する。植物の黄化情報取得システムが透過型光学系5を有する場合、植物の葉Lの背軸面(裏面)L2側に透過型光学系5を配置し、植物の葉の表面を画像取得手段2によって撮影することで、植物の葉Lの向軸面L1の画像を取得できる。
取得される葉Lの画像は、例えば、デジタル画像である。また、取得される葉Lの画像は、例えば、RGBカラーモデルを使用した画像である。
【0022】
植物の葉の画像を取得する工程S1は、さらに葉の輪郭を取得する工程S1-1を含んでよい。葉の輪郭を取得する工程S1-1により、観察対象である葉Lと、背景等の観察対象である葉L以外と、を区別することができる。
葉の輪郭を取得する工程S1-1は、例えば、取得した葉Lの画像を2値化処理し、輪郭抽出処理する方法等、既知の輪郭抽出方法によって実施されてよい。
【0023】
(R画像とB画像とを取得する工程S2)
本工程では、植物の葉の画像を取得する工程S1で取得した画像から、R画像とB画像とを取得する。R画像とはRGBカラーモデルのR(Red/赤)画像であり、B画像とはRGBカラーモデルのB(Blue/青)画像である。R画像及びB画像は、既知の方法で取得してよい。例えば、R画像及びB画像は、取得した画像をR成分(Red成分)、B成分(Blue成分)、及びG成分(Green成分)に分離することで取得される。
【0024】
ここで、植物の葉に含まれる成分と、該成分による光の吸収及び透過について説明する。
【0025】
植物が光合成を行うため、葉の葉肉には、葉緑体が有するクロロフィル(葉緑素)やカロテノイドといった光合成色素が含まれる。葉緑体が有するクロロフィルは、主要な光合成色素の1つであり、カロテノイドは、補助的な光合成色素の1つである。
【0026】
植物がウイルス感染等による病気に罹患せず、生育が良好であるとき、すなわち植物が健康なときは、葉の葉肉はクロロフィル及びカロテノイドを十分に含む。以下では、このようにクロロフィル及びカロテノイドを十分に含む部分を「健康部分」とも称する。
植物が病気に罹患しているとき、特に病気の初期のときや、日照時間が少なく生育が良好でないとき、葉肉の緑体の発達が悪くなりクロロフィルが減少し、いわゆる黄化部分が生じる。黄化部分では、クロロフィルが減少することにより、相対的にカロテノイドの量が増える。
葉の葉脈は、通常、クロロフィル及びカロテノイドが少ない、又は含んでいない。
【0027】
クロロフィルは、短波長域(例えば、波長400以上500nm未満)の光(青色光を含む光)及び長波長域(例えば、波長600以上780nm未満)の光(赤色光を含む光)を吸収し、中波長域(例えば、波長500以上600nm未満)の光(緑色光を含む光)を透過する。
カロテノイドは、短波長域(例えば、波長400以上500nm未満)を吸収し、中波長域(例えば、波長500以上600nm未満)の光や長波長域(例えば、波長600以上780nm未満)の光を透過する。
【0028】
本工程では、青色光及び赤色光を含む光が葉Lに照射される。青色光及び赤色光は、自然光、画像取得手段2の光源、及び透過型光学系5のうち少なくとも1つから出射される。
葉Lに青色光及び赤色光を含む光が照射されると、健康部分ではクロロフィル及びカロテノイドにより青色光及び赤色光の多くが吸収される。
また、葉Lに青色光及び赤色光を含む光が照射されると、葉脈ではクロロフィルとカロテノイドとが少ない、又は含まないため、青色光及び赤色光の多くが透過する。
また、葉Lに青色光及び赤色光を含む光が照射されると、黄化部分ではクロロフィルの減少が始まっていることにより、相対的にカロテノイドの光吸収及び光透過の影響が大きいため、青色光の多くはカロテノイドに吸収される。一方、赤色光の多くはカロテノイドを透過する。黄化部分の赤色光の吸収量は、健康部分の該吸収量に比べて少なく、葉脈の該吸収量に比べて多いとも言える。
【0029】
以上の赤色光及び青色光の吸収及び透過の差異は、以下の表1のようにまとめることができる。なお、以下では、これら葉の部分や状態によって赤色光及び青色光の吸収及び透過が異なることを単に「赤色光及び青色光の吸収及び透過の差異」とも称する。
【0030】
(表1)
【0031】
このような赤色光及び青色光の吸収及び透過の差異により、R画像及びB画像において、健康部分と、黄化部分と、葉脈とはそれぞれ、明るさの見え方が異なって現われる。
【0032】
具体的には以下の表2に示されるように、R画像において、健康部分はより暗く、黄化部分は健康部分に比べて明るく且つ葉脈に比べて暗く、葉脈はより明るく現れる。また、B画像において、健康部分及び黄化部分はより暗く、葉脈はより明るく現れる。
【0033】
(表2)
【0034】
図4Aに、B画像の一例を示す。図4Aに示す例は、B画像の2値化画像であり、画像が見易くなるように白黒を反転させている。すなわち、図4Aでは、健康部分A1と黄化部分A3とがより白く(より明るく)現れており、葉脈A2がより黒く(より暗く)現れている。
【0035】
本開示に係る植物の黄化情報取得方法は、上記の赤色光及び青色光の吸収及び透過の差異を利用したものである。本開示に係る植物の黄化情報取得方法は、赤色光及び青色光の吸収及び透過の差異を利用して、例えば、農業や林業、菜園や園芸における収穫量を維持又は向上させることができる。具体的には、上述のように、植物がカビ、細菌、ウイルス、病害虫等に感染したり、気象の変動、雑草、土壌環境等の生育環境の悪化によって生育不良になると、その初期症状として葉の葉緑体の発達が悪くなり、クロロフィルが減少する。このため、葉の葉緑体の分布状態を随時把握して、ウイルスや病害虫等に感染した植物を、該ウイルスや病害虫等が他の植物に感染する前に排除することで、農業、林業、菜園、園芸等における収穫量の維持、又は向上を図ることができる。また、葉の葉緑体の分布状態を随時把握して、土壌や日当たり等の生育環境が悪化していることを早期に把握し、生育環境の是正処置を早期に施すことで、農業、林業、菜園、園芸等における収穫量の維持、又は向上を図ることができる。
【0036】
(差分画像を取得する工程S3)
本工程では、取得されたR画像とB画像との差分を表す差分画像を取得する。表2より、差分画像では、B画像でより明るく現れる葉脈をR画像から分離することができる。これにより、図4Bに示すように、差分画像では、黄化部分A3が健康部分A1及び葉脈A2よりも明るい部分として現れる。
【0037】
(第1のピーク部分を取得する工程S4)
本工程では、差分画像に基づく、画素値に対するピクセル数を示す第1の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第1のピーク部分を取得する。
具体的にはまず、本工程では、例えば、差分画像の2値化画像において、画素値に対するピクセル数を示す第1の分布を取得する。図4Cに示す第1の分布は、例えば、x軸を画素値とし、y軸をピクセル数とすることができる。差分画像の2値化画像では、白色(又は白色に近い色)が黄色部分に相当する。したがって、第1の分布において、画素値がより大きい部分は、黄化部分を示す。
【0038】
次に、第1の分布において現れ得る複数のピーク部分それぞれに対応する画素値を取得する。
ここで、本明細書において「ピーク部分」とは、分布において、ピクセルが増加する向きに凸型になる部分であって、例えば、ピークフィット法等、既知の方法で分布から算出できる部分を意味する。
図4Cに示す例では、対応する画素値が大きい順に、3つのピーク部分P1~P3が示されている。「ピーク部分に対応する画素値」とは、該ピーク部分に含まれるピクセル値をとるときの画素値である。
図4Cに示す例において、例えば、ピーク部分P1が一点鎖線で挟まれる部分であると算出された場合、「ピーク部分P1に対応する画素値」は、101以上141以下となる。
【0039】
次に、取得した各ピーク部分に対応する画素値のうち、最大の画素値のピーク部分(以下、「第1のピーク部分」とも称する)を取得する。各ピーク部分に対応する画素値が重複する場合、最も大きい画素値を含むピーク部分が第1のピーク部分である。これは、第1の分布において、画素値が大きい端側に現れるピーク部分が第1のピーク部分であると換言できる。
図4Cに示す例では、3つのピーク部分P1~P3に対応する画素値のうち、最大の画素値のピーク部分はピーク部分P1である。また、図4Cに示す例では、「第1の分布において、画素値が大きい端側」とは、図4Cの右側であり、3つのピーク部分P1~P3のうち、ピーク部分P1が右側に現れている。したがって、図4Cに示す例では、ピーク部分P1が第1のピーク部分Paである。
第1のピーク部分Paは、差分画像においてより明るい部分、すなわち、黄化部分に起因する。
【0040】
(第2のピーク部分を取得する工程S5)
本工程では、B画像に基づく、画素値に対するピクセル数を示す第2の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第2のピーク部分を取得する。
本工程では、B画像に対して、第1のピーク部分を取得する工程S4と同様の処理を行う。
まず、本工程では例えば、B画像の2値化画像において、画素値に対するピクセル数を示す第2の分布を取得する。第2の分布は、例えば図4D及び図4Eに示すように、x軸を画素値とし、y軸をピクセル数とすることができる。B画像の2値化画像では、白色(又は白色に近い色)が葉脈に相当する。したがって、第2の分布において、画素値がより大きい部分は、葉脈を示す。
【0041】
次に、第2の分布において現れ得る複数のピーク部分それぞれに対応する画素値を取得する。図4D及び図4Eに示す例では、対応する画素値が大きい順に、2つのピーク部分P4、P5が示されている。
【0042】
次に、取得した各ピーク部分に対応する画素値のうち、最大の画素値のピーク部分(以下、「第2のピーク部分」とも称する)を取得する。第1のピーク部分と同様に、各ピーク部分に対応する画素値が重複する場合、最も大きい画素値を含むピーク部分が第2のピーク部分である。これは、第2の分布において、画素値が大きい端側に現れるピーク部分が第2のピーク部分であると換言できる。
図4D及び図4Eに示す例では、2つのピーク部分P4、P5に対応する画素値のうち、最大の画素値のピーク部分はピーク部分P4である。また、図4D及び図4Eに示す例では、「第2の分布において、画素値が大きい端側」とは、図4D及び図4Eの右側であり、2つのピーク部分P4~P5のうち、ピーク部分P4が右側に現れている。したがって、図4D及び図4Eに示す例では、ピーク部分P4が第2のピーク部分Pbである。
第2のピーク部分Pbは、B画像においてより明るい部分、すなわち、葉脈に起因する。
【0043】
(黄化情報を取得する工程S6)
本工程では、第1のピーク部分に基づいて、葉の黄化部分に関する黄化情報を取得する。実施形態1に係る本工程ではさらに、第2のピーク部分に基づいて葉の黄化部分に関する黄化情報を取得する。実施形態1に係る黄化情報は、葉の葉肉に対する黄化部分で表される割合(以下、「第1の割合R1」とも称する)である。
第1の割合R1は、第2の割合R2及び第3の割合R3を用いて、以下の式1によって取得される。なお、式1において、第1の割合R1、第2の割合R2、及び第3の割合R3の単位は、「%」である。
【0044】
(式1)
【0045】
第2の割合R2は、第1のピーク部分Paに基づいて取得された、葉L全体に対する黄化部分の割合である。具体的には、第2の割合R2は、第1の分布において、画像の全ピクセル数に対する第1の閾値V1以上の画素値を有するピクセル数で表される。
【0046】
画像の全ピクセル数は、植物の葉の画像を取得する工程S1で取得した画像の全ピクセル数、又は差分画像を取得する工程S3で取得した差分画像の全ピクセル数であってよい。また、画像の全ピクセル数は、R画像とB画像とを取得する工程S2取得したR画像又はB画像の全ピクセル数であってよい。さらに、画像の全ピクセル数は、第1の分布を積分して算出することもできる。
【0047】
第1の閾値V1は、第1のピーク部分Paに基づいて設定される。
第1の閾値V1は、例えば、第1のピーク部分Paに対応する画素値のうちから選択される値である。図4Cに示す例では、第1の閾値V1は、例えば、101以上141以下である。
また、第1の閾値V1は、例えば、第1のピーク部分Paのピーク値に対応する画素値である。本明細書において、ピーク部分のピーク値とは、ピーク部分における最大のピクセル値を意味する。このように第1の閾値V1を設定する場合、図4Cに示す例では、第1の閾値V1は、121である。
また、第1の閾値V1は、例えば、第1の分布において対応する画素値が2番目に大きいピーク部分、すなわちピーク部分P2のピーク値に対応するピーク値より大きく、第1のピーク部分Paのピーク値に対応する画素値以下の画素値であってよい。図4Cに示す例では、ピーク部分P2のピーク値に対応するピーク値は81であるため、第1の閾値V1は、81より大きく、121以下の値である。
【0048】
第3の割合R3は、第2のピーク部分Pbに基づいて取得された、葉L全体に対する葉の葉脈の割合である。具体的には、第3の割合R3は、第2の分布において、画像の全ピクセル数に対する第2の閾値V2以上の画素値を有するピクセル数で表される。
画像の全ピクセル数は、第2の割合R2を算出する際の画像の全ピクセル数と同一である。
【0049】
第2の閾値V2は、第2のピーク部分Pbに基づいて設定される。
第2の閾値V2は、例えば、第2のピーク部分Pbのピーク部分に対応する画素値である。
また、第2の閾値V2は、例えば、第2のピーク部分Pbのピーク値に対応する画素値である。このように第2の閾値V2を設定する場合、図4Eに示す例では、第2の閾値V2は、117である。
また、第2の閾値V2は、例えば、第2の分布において対応する画素値が2番目に大きいピーク部分、すなわちピーク部分P5のピーク値に対応するピーク値より大きく、第2のピーク部分Pbのピーク値に対応する画素値以下の画素値であってよい。図4Eに示す例では、ピーク部分P5のピーク値に対応するピーク値は41であるため、第2の閾値V2は、41より大きく、117以下の値である。
【0050】
ここで、図4C図4Eに示す例において、具体的な数値を例示して第1の割合R1を算出する。例えば、画像の全ピクセル数を553,535であり、第1の閾値V1を121とし、第2の閾値V2を117とすると、第1の閾値V1以上のピクセル数は63,102であり、第2の閾値V2以上のピクセル数は25,296である。従って、第2の割合R2は11.41%であり、第3の割合R3は4.57%であり、第1の割合R1は11.95%と算出される。
【0051】
(効果)
上記の植物の黄化情報取得方法は、葉全体から葉脈を除外することができる。これにより、葉肉における黄化部分を定量化することができる。
さらに、上記の植物の黄化情報取得方法は、差分画像の第1の分布及びB画像の第2の分布それぞれにおいて、対応する画素値が最大である第1のピーク部分及び第2のピーク部分を利用する。上述したように第1のピーク部分及び第2のピーク部分はそれぞれ、第1の分布と第2の分布とにおいて、画素値が最大の端側に現れる。これにより、差分画像を用いず、単に画像取得手段で取得した画像や、該画像のR画像やB画像それ自体で黄化情報を取得する場合と比較して、黄化情報を取得することが容易になる。具体的には、例えば、R画像において画素値に対するピクセル数の分布を作成しても、表2より黄化部分に起因する第1のピーク部分は、複数のピーク部分の端には現れない。そのため、制御装置において第1のピーク部分を取得するための処理が複雑になる。本開示に係る黄化情報取得方法では、上述したように、第1のピーク部分及び第2のピーク部分が第1の分布、第2の分布それぞれの端に現れるので、第1のピーク部分及び第2のピーク部分の取得が容易になる。その結果、第1のピーク部分に基づく第1の閾値及び第2のピーク部分に基づく第2の閾値の設定が容易になる。すなわち、上記の植物の黄化情報取得方法は、実施される処理工程を容易にできる。
また、上記の植物の黄化情報取得方法は、植物の葉を植物自体から収穫(採取)することなく実施できる。これにより、植物の生育を阻害することを抑制できる。また、同一の葉の画像を経時的に取得することができ、葉の葉緑体の分布状態を随時把握できる。その結果、植物の成長にともなう黄化部分の情報を取得することができる。
【0052】
なお、実施形態1に係る植物の黄化情報取得方法は、植物の生育状況を推定する工程を含んでいてもよい。植物の生育状況を推定する工程では、例えば、黄化情報を取得する工程S6で取得された黄化部分の割合に基づいて植物の生育状況を推定する。具体的には、葉の葉緑体の分布状態を随時把握して、黄化部分の割合が一定の割合以上であると、土壌や日当たり等の生育環境が悪化していると推定する。また、黄化部分の割合が急速に増加すると、土壌や日当たり等の生育環境が悪化していると推定する。該推定結果に基づいて、早期に生育環境の是正処置を早期に施すことで、農業、林業、菜園、園芸等における収穫量の維持、又は向上を図ることができる。さらに、例えば、黄化部分の割合が一定の割合以下であれば、対処をしなくても枯死の可能性が低いと推定できる。これにより過剰な施肥等を防止できる。
【0053】
2.実施形態2
実施形態2に係る植物の黄化情報取得方法は、黄化情報が葉L全体に対する黄化部分の割合(以下、「第4の割合R4」とも称する)である点で、実施形態1に係る植物の黄化情報取得方法と異なる。また、実施形態2に係る植物の黄化情報取得方法は、実施形態1に係る第2のピーク部分を取得する工程S5を含まない点で実施形態1に係る植物の黄化情報取得方法と異なる。すなわち、図5に示すように、実施形態2に係る植物の黄化情報取得方法は例えば、
(1)植物の葉の画像を取得する工程S101と、
(2)R画像とB画像とを取得する工程S102と、
(3)差分画像を取得する工程S103と、
(4)第1のピーク部分を取得する工程S104と、
(5)黄化情報を取得する工程S105と、
を含む。
実施形態2に係る工程S101~工程S104はそれぞれ、実施形態1に係る工程S1~工程S4と同一である。以下では、実施形態1に係る植物の黄化情報取得方法と異なる点を主に説明する。
【0054】
(黄化情報を取得する工程S105)
実施形態2に係る本工程では、第1のピーク部分Paに基づいて葉Lの黄化部分に関する黄化情報を取得する。実施形態2に係る黄化情報は、黄化情報が葉L全体に対する黄化部分の割合(第4の割合R4)である。
第4の割合R4は、実施形態1に係る第2の割合R2に相当する。第4の割合R4の算出方法は、実施形態1に係る第2の割合R2の算出方法と同一であるため、ここでは説明を省略する。
【0055】
(効果)
上記の植物の黄化情報取得方法は、葉脈を含む葉全体に対する黄化部分の情報を取得できる。
また、上記の植物の黄化情報取得方法は、実施する処理工程数を減らすことができる。これにより、大量処理、スマートホンやタブレットのような身近なインターフェイスによって実施することができる。さらに、計算処理が軽くなるためビッグデータとして扱うことができる。
【0056】
3.実施形態3
実施形態3に係る植物の黄化情報取得方法は、黄化情報が葉Lの黄化部分の形状である点で、実施形態1に係る植物の黄化情報取得方法と異なる。また、実施形態3に係る植物の黄化情報取得方法は、図6に示すように、実施形態1に係る第2のピーク部分を取得する工程S5を含まない点で、実施形態1に係る植物の黄化情報取得方法と異なる。さらに、実施形態3に係る植物の黄化情報取得方法は、植物が罹患している病気を推定する工程S206をさらに含んでいてよい。すなわち、図6に示すように、実施形態3に係る植物の黄化情報取得方法は例えば、
(1)植物の葉の画像を取得する工程S201と、
(2)R画像とB画像とを取得する工程S202と、
(3)差分画像を取得する工程S203と、
(4)第1のピーク部分を取得する工程S204と、
(5)黄化情報を取得する工程S205と、
(6)植物が罹患している病気を推定する工程S206と、
を含んでいる。
実施形態3に係る工程S201~工程S204はそれぞれ、実施形態1に係る工程S1~工程S4と同一である。以下では、実施形態1に係る植物の黄化情報取得方法と異なる点を主に説明する。
【0057】
(黄化情報を取得する工程S205)
実施形態3に係る本工程では、第1のピーク部分Paに基づいて葉Lの黄化部分に関する黄化情報を取得する。実施形態2に係る黄化情報は、黄化情報が葉の黄化部分の形状である。
黄化部分の形状は、差分画像の2値化画像において第1の閾値V1以上の画素値を有するピクセル群で表される。すなわち、黄化部分の形状は、差分画像の2値化画像上で、該ピクセル群が表す形状である。例えば、図7に示す例では、白色部分の形状が黄化部分A3の形状である。
【0058】
第1の閾値は、第1のピーク部分Paに基づいて設定される。第1の閾値は、実施形態1の第1のピーク部分を取得する工程S4における第1の閾値V1と同一の方法で設定されてよいため、ここでは説明を省略する。
【0059】
(植物が罹患している病気を推定する工程S206)
本工程では、黄化部分の形状に基づいて植物が罹患している病気を推定する。
本工程では、黄化情報を取得する工程S205で取得された黄化部分の形状から、葉が罹患している病気を推定する。罹患している病気によって、黄化部分の形状は異なり得る。例えば、黄化部分が斑点形状である場合、糸状菌(カビ)、細菌、ウイルスなどの病原菌による病気に罹患している可能性がある。また、黄化部分が斑点形状であり、黄化部分が増えたり拡大したりしない場合は薬害、日焼け、塩害などが考えられる。このような黄化部分の形状と病気との関係を示すデータは、例えば、予め記憶部に記憶されていてよい。本工程では、該データと、取得された黄化部分の形状と、に基づいて、植物が罹患している病気を推定する。
【0060】
(効果)
上記の植物の黄化情報取得方法は、罹患している病気を推定することで、植物に薬剤を散布することや、周囲の植物への影響を予測することができる。その結果、葉の葉緑体の分布状態を随時把握して、ウイルスや病害虫等に感染した植物を、該ウイルスや病害虫等が他の植物に感染する前に排除することで、農業、林業、菜園、園芸等における収穫量の維持、又は向上を図ることができる。さらに、植物活性の時系列評価により、育成途中での収穫量の予測、また、植物に害を与えている外的要因の存在の推定できる。
【0061】
なお、上記の植物の黄化情報取得方法は、推定した結果を記憶部に記憶させ、学習部に黄化形状と推定した病気とを学習させることで、推定精度を向上させることができる。
【0062】
他の形態
(項1)
植物の葉の画像を取得する工程と、
前記画像からR画像とB画像とを取得する工程と、
前記R画像と前記B画像の差分を表す差分画像を取得する工程と、
前記差分画像に基づく、画素値に対するピクセル数を示す第1の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第1のピーク部分を取得する工程と、
前記第1のピーク部分に基づいて、前記葉の黄化部分に関する黄化情報を取得する工程と、
を含む、植物の黄化情報取得方法。
(項2)
前記植物の葉の画像を取得する工程は、前記葉の輪郭を取得する工程を含む、項1に記載の植物の黄化情報取得方法。
(項3)
前記黄化情報は、前記葉の葉肉に対する黄化部分で表される第1の割合である、項1又は2に記載の植物の黄化情報取得方法。
(項4)
前記植物の黄化情報取得方法は、前記B画像に基づく、画素値に対するピクセル数を示す第2の分布において、ピクセル数のピーク部分のうち、該ピーク部分に対応する画素値が最大である第2のピーク部分を取得する工程をさらに含み、
前記第1の割合R1は、第2の割合R2と第3の割合R3とを用いて表される、
式1:
によって取得され、
前記第2の割合R2は、前記第1のピーク部分に基づいて取得された、前記葉全体に対する前記黄化部分の割合であって、
前記第3の割合R3は、前記第2のピーク部分に基づいて取得された、前記葉全体に対する前記葉の葉脈の割合である、項3に記載の植物の黄化情報取得方法。
(項5)
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記第2の分布は、前記B画像の2値化画像において取得され、
前記第2の割合は、前記第1の分布において、前記画像の全ピクセル数に対する第1の閾値以上の画素値を有するピクセル数で表され、
前記第3の割合は、前記第2の分布において、前記全ピクセル数に対する第2の閾値以上の画素値を有するピクセル数で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定され、
前記第2の閾値は、前記第2のピーク部分に基づいて設定される、項4に記載の植物の黄化情報取得方法。
(項6)
前記黄化情報は、前記葉全体に対する黄化部分で表される第4の割合である、項1又は2に記載の植物の黄化情報取得方法。
(項7)
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記第4の割合は、前記第1の分布において、前記画像の全ピクセル数に対する第1の閾値以上の画素値を有するピクセル数で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定される、項6に記載の植物の黄化情報取得方法。
(項8)
前記黄化情報は、前記葉の黄化部分の形状であり、
前記黄化部分の形状に基づいて前記植物が罹患している病気を推定する工程をさらに含む、項1に記載の植物の黄化情報取得方法。
(項9)
前記第1の分布は、前記差分画像の2値化画像において取得され、
前記黄化部分の形状は、前記差分画像の2値化画像において第1の閾値以上の画素値を有するピクセル群で表され、
前記第1の閾値は、前記第1のピーク部分に基づいて設定される、項8に記載の植物の黄化情報取得方法。
(項10)
項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行するコンピュータプログラム。
(項11)
前記画像を取得する画像取得手段と、
項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行する制御装置と、
を備える、植物の黄化情報取得装置。
(項12)
前記画像を取得する画像取得手段と、
項1~9のいずれか1項に記載の植物の黄化情報取得方法を実行する制御装置と、
前記取得された黄化情報を表示する表示部と、
を備える、植物の黄化情報取得システム。
【0063】
以上、本開示の実施形態及び実施例を説明したが、開示内容は構成の細部において変化してもよく、実施形態、及び実施例における要素の組合せや順序の変化等は請求された本開示の範囲および思想を逸脱することなく実現し得るものである。
【符号の説明】
【0064】
1 黄化情報取得システム
2 画像取得手段
3 制御装置
31 演算部
4 表示部
5 透過型光学系
6 黄化情報取得装置
A1 健康部分
A2 葉脈
A3 黄化部分
L 葉
L1 向軸面
L2 背軸面
【要約】
【課題】 植物の生育状況を経時的に観察できる植物の黄化情報取得方法、コンピュータプログラム、植物の黄化情報取得装置及び植物の黄化情報取得システムを提供する。
【解決手段】 植物の葉の画像を取得する工程と、前記画像からR画像とB画像とを取得する工程と、前記R画像と前記B画像の差分を表す差分画像を取得する工程と、前記差分画像に基づく、画素値に対するピクセル数を示す第1の分布において、ピクセル数のピーク値のうち、該ピーク値に対応する画素値が最大である第1のピーク値を取得する工程と、前記第1のピーク値に基づいて、前記葉の黄化部分に関する黄化情報を取得する工程と、を含む。
【選択図】図3
図1
図2
図3
図4A
図4B
図4C
図4D
図4E
図5
図6
図7