特開 2023-183099 測定装置、測定システム、測定方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183099

(43)【公開日】2023-12-27

(54)【発明の名称】測定装置、測定システム、測定方法、およびプログラム

(51)【国際特許分類】

   A01G 7/00 20060101AFI20231220BHJP

   G01N 21/27 20060101ALI20231220BHJP

【ＦＩ】

A01G7/00 603

G01N21/27 A

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2022096529

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】神川 朋久

【テーマコード（参考）】

2G059

【Ｆターム（参考）】

2G059AA05

2G059BB08

2G059BB12

2G059CC16

2G059EE02

2G059EE13

2G059FF01

2G059HH02

2G059KK04

2G059MM01

2G059MM02

2G059MM03

2G059MM04

2G059MM09

2G059MM10

(57)【要約】

【課題】農作物の生育指標を高精度に測定することが可能な測定装置を提供する。
【解決手段】測定装置（１００）は、第１植物と第２植物とを含む画像を用いて、画像における正規化植生指標または葉色値に関する分布データを作成する作成部（１２０）と、分布データを用いて、画像において第１植物が存在する画像領域を特定する特定部（１３０）とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

第１植物と第２植物とを含む画像を用いて、該画像における正規化植生指標または葉色値に関する分布データを作成する作成部と、
前記分布データを用いて、前記画像において前記第１植物が存在する画像領域を特定する特定部と、を有することを特徴とする測定装置。

【請求項2】

前記画像における前記画像領域を対象として、前記第１植物に関する生育指標を算出する算出部を更に有することを特徴とする請求項１に記載の測定装置。

【請求項3】

前記特定部は、前記画像に対して前記画像領域に対応するマスクを適用することで、前記第２植物が除去された画像データを生成し、
前記算出部は、前記画像データを用いて前記生育指標を算出することを特徴とする請求項２に記載の測定装置。

【請求項4】

前記生育指標は、正規化植生指標、葉色値、茎数、または草丈の少なくとも一つを含むことを特徴とする請求項２に記載の測定装置。

【請求項5】

前記特定部は、
前記分布データのヒストグラムを作成するヒストグラム作成部と、
前記ヒストグラムにおける第１ピークを有する第１分布領域の第１積分値と第２ピークを有する第２分布領域の第２積分値とを算出する積分値算出部と、を有し、
前記第１積分値と前記第２積分値とを用いて、前記画像領域を特定することを特徴とする請求項１に記載の測定装置。

【請求項6】

前記特定部は、前記第１積分値が前記第２積分値よりも大きい場合、前記第１分布領域に対応する領域を前記画像領域として決定することを特徴とする請求項５に記載の測定装置。

【請求項7】

前記特定部は、前記第１分布領域の少なくとも一部が前記第２分布領域と重なっている場合、前記ヒストグラムにおける分散を用いて前記画像領域を特定することを特徴とする請求項５に記載の測定装置。

【請求項8】

前記特定部は、前記分布データと、前記第１植物に関する予測データとを用いて、前記画像領域を特定することを特徴とする請求項１に記載の測定装置。

【請求項9】

前記予測データは、前記第１植物に関して予測された正規化植生指標または葉色値のデータであることを特徴とする請求項８に記載の測定装置。

【請求項10】

前記予測データは、前記第１植物に関する過去の生育指標に基づくデータであることを特徴とする請求項８に記載の測定装置。

【請求項11】

前記予測データは、前記第１植物に関する生育ステージに応じて異なるデータであり、
前記特定部は、前記画像における前記第１植物の前記生育ステージに基づいて、前記分布データと前記予測データとが一致すると判定した領域を、前記画像領域として特定することを特徴とする請求項８に記載の測定装置。

【請求項12】

前記画像はＲＧＢ画像であり、
前記作成部は、前記ＲＧＢ画像から前記分布データを作成することを特徴とする請求項１に記載の測定装置。

【請求項13】

前記第１植物は農作物であり、前記第２植物は雑草であることを特徴とする請求項１に記載の測定装置。

【請求項14】

請求項１乃至１３のいずれか一項に記載の測定装置と、撮像部とを有することを特徴とする測定システム。

【請求項15】

第１植物と第２植物とを含む画像を用いて、該画像における正規化植生指標または葉色値に関する分布データを作成するステップと、
前記分布データを用いて、前記画像において前記第１植物が存在する画像領域を特定するステップと、を有することを特徴とする測定方法。

【請求項16】

請求項１５に記載の測定方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、測定装置、測定システム、測定方法、およびプログラムに関する。

【背景技術】

【0002】

従来、圃場の上方から農作物を撮影し、取得した画像を解析することで、農作物における葉色値、茎数、および草丈などの生育指標を測定する方法が知られている。しかし、圃場においては、農作物以外の植物、例えばヒエまたはコナギなどの雑草が茂っていることがある。このため、画像を用いて測定された生育指標は、雑草を含む生育指標となるため、農作物の生育指標としての信頼性が低い。

【0003】

特許文献１には、圃場に存在する植物の高さの分布を示す高さ分布データと、生育指標の対象となる農作物の予測高さデータとを照合することで、農作物のみが存在する領域を特定し、雑草の影響を除去した生育指標を測定する方法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６７２９７９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示されている方法では、雑草の高さが農作物の高さと同様である場合、生育指標の対象となる農作物のデータも除去されてしまう。このため、農作物の生育指標としての信頼性が低下し、農作物の生育指標を高精度に測定することができない。

【0006】

そこで本発明は、測定対象の植物の生育指標を高精度に測定することが可能な測定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての測定装置は、第１植物と第２植物とを含む画像を用いて、該画像における正規化植生指標または葉色値に関する分布データを作成する作成部と、前記分布データを用いて、前記画像において前記第１植物が存在する画像領域を特定する特定部とを有する。

【0008】

本発明の他の目的及び特徴は、以下の実施例において説明される。

【発明の効果】

【0009】

本発明によれば、測定対象の植物の生育指標を高精度に測定することが可能な測定装置を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施例１における生育指標算出装置のブロック図である。

【図2】実施例１における生育指標算出方法を示すフローチャートである。

【図3】実施例１における生育指標算出方法の説明図である。

【図4】実施例２における生育指標算出装置のブロック図である。

【図5】実施例２における生育指標算出方法を示すフローチャートである。

【図6】実施例２における生育指標算出方法の説明図である。

【図7】実施例３における生育指標算出システムのブロック図である。

【図8】実施例３における生育指標算出方法の説明図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

【実施例0012】

まず、図１を参照して、本発明の実施例１における生育指標算出装置（測定装置）１００の基本構成について説明する。図１は、生育指標算出装置１００のブロック図である。生育指標算出装置１００は、画像作成部１１０、分布データ作成部１２０、特定部１３０、生育指標算出部１４０、記憶部１５０、およびシステムコントローラ１６０を有する。特定部１３０は、ヒストグラム作成部１３２および積分値算出部１３３を備えた領域特定部１３１を有する。

【0013】

不図示のＲＡＷ画像データが入力されると、画像作成部１１０は、ＲＡＷ画像データに対してＲＧＢの色ごとに補間処理およびホワイトバランスの調整などを行い、ＲＡＷ現像画像を作成する。なお生育指標算出装置１００に入力される画像データは、補間処理およびホワイトバランスの調整などがなされたＲＡＷ現像画像またはＪＰＥＧ画像であってもよい。この場合、画像作成部１１０による処理は不要である。以下、ＲＡＷ現像画像またはＪＰＥＧ画像をＲＧＢ画像と呼ぶ。

【0014】

分布データ作成部１２０は、ＲＧＢ画像を用いて分布データを作成する作成部である。分布データは、ＲＧＢまたはＩＲの画素値に基づいて作成された、正規化植生指標（Ｎｏｒｍａｌｉｚｅｄ Ｄｉｆｆｅｒｅｎｃｅ Ｖｅｇｅｔａｔｉｏｎ Ｉｎｄｅｘ：ＮＤＶＩ）または葉色値のうち少なくとも一つの分布に関するデータである。葉色値としては、例えばＳＰＡＤ値（Ｓｏｉｌ Ｐｌａｎｔ Ａｎａｌｙｓｉｓ Ｄｅｖｅｌｏｐｍｅｎｔ：ＳＰＡＤ）を用いることができる。

【0015】

分布データは、特定部１３０の領域特定部１３１に送られる。特定部１３０のヒストグラム作成部１３２は、分布データを用いて、正規化植生指数または葉色値のヒストグラムを作成する。積分値算出部１３３は、作成されたヒストグラムを用いて、一つまたは複数の山型分布の積分値を算出する。例えば山型分布のピークが一つで左右対称の場合、領域特定部１３１は、画像データ内に生育指標算出の対象となる農作物（測定対象の植物）以外の植物（雑草）が存在しないと判定する。一方、山型分布のピークがなだらかで左右非対称の場合、農作物（第１植物）のヒストグラムと雑草（第２植物）のヒストグラムとが混在しており、積分値だけでは両者の区別が難しいことがある。その場合、領域特定部１３１は、ヒストグラムにおける分布幅（分散）により農作物と雑草とを判別する。

【0016】

また、山型分布の複数のピークが存在し、複数の山同士が重なっていない場合、領域特定部１３１は、積分値が最も大きい山型分布が農作物のものであると判定する。すなわち領域特定部１３１は、ヒストグラムにおける第１ピークを有する第１分布領域（第１山型分布）の第１積分値と第２ピークを有する第２分布領域（第２山型分布）の第２積分値とを用いて、農作物が存在する画像領域を特定する。

【0017】

一方、山型分布の複数のピークが存在し、複数の山同士が重なっている場合、農作物のヒストグラムと雑草のヒストグラムとが混在しており、積分値だけでは両者の区別が難しい。その場合、領域特定部１３１は、ヒストグラムにおける分布幅（分散）によって農作物と雑草とを判別する。

【0018】

特定部１３０は、分布データのうち、農作物の山型分布領域に相当する領域だけを残したマスクを生成し、画像データにマスクを適用することで、雑草の領域が除去されて農作物の領域のみを有する画像を取得する。特定部１３０は、この画像を生育指標算出部１４０へ送信する。生育指標算出部１４０は、この画像を用いて、雑草の影響を受けていない高精度な生育指標を算出する算出部である。これらの処理は、システムコントローラ１６０により統括して行われる。記憶部１５０は、各処理で得られたデータを記憶することができる。

【0019】

次に、図２を参照して、生育指標算出装置１００を用いた生育指標の算出方法について説明する。図２は、生育指標算出装置１００を用いた生育指標の算出方法を示すフローチャートである。

【0020】

生育指標算出装置１００にＲＡＷ画像データが入力されると、まずステップＳ１０１において、画像作成部１１０は、ＲＡＷ現像画像を作成する。なお、入力される画像データはＲＧＢ画像でもよい。その場合、ステップＳ１０１の処理はスキップされる。続いてステップＳ１０２において、分布データ作成部１２０は、ＲＧＢ画像を用いて、正規化植生指標または葉色値のうち少なくとも一つの分布に関する分布データを作成する。続いてステップＳ１０３において、ヒストグラム作成部１３２は、その分布データを用いてヒストグラムを作成する。続いてステップＳ１０４において、積分値算出部１３３は、作成されたヒストグラムを用いて、一つまたは複数の山型分布の積分値を算出する。続いてステップＳ１０５において、特定部１３０は、積分値が最大となる山型分布に相当する領域を農作物領域として特定する。なお、積分値だけで農作物領域の特定が難しい場合、特定部１３０は、分布幅（分散）によって農作物領域を特定する。続いてステップＳ１０６において、生育指標算出部１４０は、特定された農作物領域について生育指標を算出する。

【0021】

次に、図３を参照して、本実施例における生育指標の算出方法について詳述する。図３は、本実施例における生育指標の算出方法の説明図である。ある水田において一部に雑草が生えているとする。水田を撮影したＲＧＢ画像３００には、生育指標の算出対象である水稲３０１と、対象外の雑草３０２とが含まれている。生育指標算出装置１００は、ＲＧＢ画像３００の画素値ＲＧＢのそれぞれを用いて葉色値分布４００を作成することができる。なお生育指標算出装置１００は、画素値ＲＧＢから葉色値分布を作成する際に、最適化または機械学習などを用いてもよい。葉色値分布４００には、水稲に相当する葉色値４０１と、雑草に相当する葉色値４０２とが含まれている。

【0022】

生育指標算出装置１００は、葉色値分布４００から葉色値（ＳＰＡＤ値）のヒストグラム４１０を作成すると、水稲に相当するヒストグラムの山４１１と、雑草に相当するヒストグラムの山４１２が得られる。一般に、水稲と雑草とが混在する水田において両者の割合を比較すると、水稲の割合が多くなる。従って、水稲と雑草のそれぞれの山の積分値を算出すると、積分値の大きい方が水稲の積分値であると判定できる。水稲に相当する領域だけをＲＧＢ画像で残すようにすることで、雑草が除去された水田のＲＧＢ画像３１０が得られる。生育指標算出装置１００は、ＲＧＢ画像３１０を用いて茎数などの生育指標を算出することで、雑草の影響が除去された生育指標５００を得ることができる。

【0023】

なお、ヒストグラムに複数の山のピークが存在する場合、または複数の山同士が重なって分離が難しい場合、分布幅（分散）によって農作物と雑草とを判別してもよい。または、草丈や株の位置など他の生育指標を組み合わせて判定してもよい。

【実施例0024】

次に、図４を参照して、本発明の実施例２における生育指標算出装置（測定装置）２００の基本構成について説明する。図４は、生育指標算出装置２００のブロック図である。生育指標算出装置２００は、画像作成部２１０、分布データ作成部２２０、特定部２３０、生育指標算出部２４０、記憶部２５０、およびシステムコントローラ２６０を有する。特定部２３０は、領域特定部２３１を有する。

【0025】

前述の実施例では、分布データのヒストグラムを用いて農作物（測定対象の植物）と雑草とを区別するが、本変形例では、予測値を用いて農作物と雑草とを区別する。不図示のＲＡＷ画像データが入力されると、画像作成部２１０は、ＲＡＷ画像データに対してＲＧＢの色ごとに補間処理およびホワイトバランスの調整などを行い、ＲＡＷ現像画像を作成する。なお生育指標算出装置２００に入力される画像データは、ＲＧＢ画像でもよい。この場合、画像作成部２１０による処理は不要である。

【0026】

分布データ作成部２２０は、ＲＧＢ画像を用いて分布データを作成する作成部である。分布データは、ＲＧＢまたはＩＲの画素値に基づいて作成された、正規化植生指標（ＮＤＶＩ）または葉色値（ＳＰＡＤ値）のうち少なくとも一つの分布に関するデータである。

【0027】

分布データは、特定部２３０の領域特定部２３１に送られる。また、生育指標の算出対象となる農作物について、予測された正規化植生指標または葉色値のうち少なくとも一つのデータも領域特定部２３１に送られる。領域特定部２３１は、分布データと、予測された正規化植生指標または葉色値のうち少なくとも一つのデータとを照合する。そして領域特定部２３１は、農作物に相当する領域だけを残してマスクとし、画像データにマスクをすることで、雑草が除去された農作物の領域だけが特定された画像を得る。この画像は生育指標算出部２４０へ送信される。生育指標算出部２４０は、この画像を用いて、雑草の影響を受けていない高精度な生育指標を算出する算出部である。これらの処理は、システムコントローラ２６０により統括して行われる。記憶部２５０は、各処理で得られたデータを記憶することができる。

【0028】

次に、図５を参照して、生育指標算出装置２００を用いた生育指標の算出方法について説明する。図５は、生育指標算出装置２００を用いた生育指標の算出方法を示すフローチャートである。

【0029】

生育指標算出装置２００にＲＡＷ画像データが入力されると、まずステップＳ２０１において、画像作成部２１０は、ＲＡＷ現像画像を作成する。なお、入力される画像データはＲＧＢ画像でもよい。その場合、ステップＳ２０１の処理はスキップされる。続いてステップＳ２０２において、分布データ作成部２２０は、ＲＧＢ画像を用いて、正規化植生指標または葉色値のうち少なくとも一つの分布に関する分布データを作成する。続いてステップＳ２０３において、特定部２３０は、生育指標の算出対象となる農作物について、予測された正規化植生指標または葉色値のうち少なくとも一つのデータ（予測データ）を読み込む。続いてステップＳ２０４において、特定部２３０は、分布データと予測データとを照合することで、農作物領域を特定する。続いてステップＳ２０５において、生育指標算出部２４０は、特定された農作物領域について生育指標を算出する。

【0030】

次に、図６を参照して、本実施例における生育指標の算出方法について詳述する。図６は、本実施例における生育指標の算出方法の説明図である。なお図６において、実施例１にて説明した図３と同じものに関しては図３と同一符号を用い、それらの説明を省略する。

【0031】

一般に、農作物の生育方法は過去の経験に基づいて決定されることが多いため、圃場ごとに農作物や品種に応じた過去の生育指標をデータとして保持している。例えば、水稲の生育ステージはおおまかに田植え～中干し～出穂～収穫となるため、各ステージに対応する生育指標（例えば葉色値）をグラフにすると、生育ステージに対応する生育指標グラフ６００が得られる。生育指標算出装置２００は、過去数年のデータの平均値などから生育指標を求めることができる。新品種などの理由により過去の生育指標データが無い場合、生育指標算出装置２００は、機械学習などを用いて他品種から生育指標データを推定してもよい。または生育指標算出装置２００は、雑草の生えていない範囲の画像データから、生育指標を推定してもよい。

【0032】

生育指標算出装置２００は、葉色値分布４００と生育ステージに対応する生育指標グラフ６００とを比較することで、水稲の葉色値に相当する分布だけを抜き出すことができる。例えば生育ステージに対応した生育指標グラフ６００によると、生育ステージが中干し～出穂の時期は、水稲の葉色値は雑草（オモダカ）よりも低い値になっている。このため、水稲の葉色値に相当する領域だけをＲＧＢ画像で残すようにすることで、雑草が除去された水田のＲＧＢ画像３１０が得られる。生育指標算出装置２００は、ＲＧＢ画像３１０を用いて茎数などの生育指標を算出することで、雑草の影響が除去された生育指標５００を得ることができる。