(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-23
(45)【発行日】2024-09-02
(54)【発明の名称】画像診断装置、画像診断システム、画像診断方法、およびプログラム
(51)【国際特許分類】
A01G 7/00 20060101AFI20240826BHJP
【FI】
A01G7/00 603
(21)【出願番号】P 2020004912
(22)【出願日】2020-01-16
【審査請求日】2023-01-10
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】古賀 悠修
【審査官】吉田 英一
(56)【参考文献】
【文献】特開2003-009664(JP,A)
【文献】特開2004-121033(JP,A)
【文献】特開2018-082648(JP,A)
【文献】中国特許出願公開第109978047(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G06T 7/00- 7/90
G06Q 50/02
JSTPlus(JDreamIII)
JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
植物の画像を用いて
該植物の葉先を検出し、該葉先を用いて葉先数を取得し、該葉先数を用いて該植物の葉の枚数を取得する第1取得部と、
前記葉の枚数
と前記植物の茎数
との相関に基づいて算出される関係式を用いて該茎数を取得する第2取得部とを有
し、
前記植物は稲及び麦の少なくとも一方を含むことを特徴とする画像診断装置。
【請求項2】
前記
第1取得部は、機械学習により生成された学習済みモデルを使用して前記葉先を検出することを特徴とする請求項
1に記載の画像診断装置。
【請求項3】
前記学習済みモデルは、前記植物の画像を入力データ、前記植物における葉先と該葉先以外の領域とをそれぞれ異なる値でラベリングして得られた画像を教師データとした学習により得られたものであることを特徴とする請求項
2に記載の画像診断装置。
【請求項4】
前記画像は、前記植物を上方から撮影することで得られたものであることを特徴とする請求項1乃至
3の何れか一項に記載の画像診断装置。
【請求項5】
前記葉の枚数
をX、
前記植物の茎数実測値
をYとし、
【数1】
で表される前記葉の枚数と前記茎数実測値との相関関係に基づく係数
をai(i=0,・・・,M)、前記茎数
をY
est
とするとき、
前記関係式は、
【数2】
なる式で表されることを特徴とする請求項
1乃至4の何れか一項に記載の画像診断装置。
【請求項6】
請求項1乃至
5の何れか一項に記載の画像診断装置と
、前記植物の画像を取得する画像取得装置とを有することを特徴とする画像診断システム。
【請求項7】
植物の画像を用いて
該植物の葉先を検出し、該葉先を用いて葉先数を取得し、該葉先数を用いて該植物の葉の枚数を取得する
第1ステップと、
前記葉の枚数
と前記植物の茎数
との相関に基づいて算出される関係式を用いて該茎数を取得する
第2ステップとを有
し、
前記植物は稲及び麦の少なくとも一方を含むことを特徴とする画像診断方法。
【請求項8】
前記第1ステップでは、機械学習により生成された学習済みモデルを使用して前記葉先を検出することを特徴とする請求項7に記載の画像診断方法。
【請求項9】
前記学習済みモデルは、前記植物の画像を入力データ、前記植物における葉先と該葉先以外の領域とをそれぞれ異なる値でラベリングして得られた画像を教師データとした学習により得られたものであることを特徴とする請求項8に記載の画像診断方法。
【請求項10】
前記植物を上方から撮影することで前記画像を取得するステップを有することを特徴とする請求項7乃至9の何れか一項に記載の画像診断方法。
【請求項11】
請求項
7乃至10
の何れか一項に記載の画像診断方法を
コンピュータに実行
させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、植物の画像を用いて植物の茎数を取得するための画像診断装置、画像診断システム、画像診断方法、およびプログラムに関する。
【背景技術】
【0002】
近年、植物の画像を用いて茎数を取得する方法が提案されている。特許文献1には、水稲の画像を用いて撮影面積に占める水稲の割合を表す指標である植被率を求め、植被率と茎数の相関関係を基に茎数を取得する方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、栽植密度(単位面積当たりの株数)や一株当たりの植え付け本数等の栽培条件ごとに、植被率と茎数の相関関係は異なる。そのため、特許文献1の方法を使用するためには、栽培条件ごとに植被率と茎数の相関関係を調べておく必要がある。また、特許文献1の方法では、水稲の生育が進み植被率が1に近づくと、茎数が増加しても植被率の変化が少なくなるため、茎数を適切に取得することが困難になる。
【0005】
本発明は、植物の画像を用いて植物の茎数を簡易かつ適切に取得可能な画像診断装置、画像診断システム、画像診断方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一側面としての画像診断装置は、植物の画像を用いて該植物の葉先を検出し、該葉先を用いて葉先数を取得し、該葉先数を用いて植物の葉の枚数を取得する第1取得部と、葉の枚数と植物の茎数との相関に基づいて算出される関係式を用いて該茎数を取得する第2取得部とを有し、植物は稲及び麦の少なくとも一方を含むことを特徴とする。
【0007】
また、本発明の他の側面としての画像診断方法は、植物の画像を用いて植物の葉の枚数を取得するステップと、葉の枚数を用いて植物の茎数を取得するステップとを有することを特徴とする。
【発明の効果】
【0008】
本発明によれば、植物の画像を用いて植物の茎数を簡易かつ適切に取得可能な画像診断装置、画像診断システム、画像診断方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0009】
【
図1】葉数計測値と茎数実測値との相関関係を示す図である。
【
図2】本発明の画像診断方法を示すフローチャートである。
【
図3】
図2のステップS20の詳細を示すフローチャートである。
【
図5】解析領域の設定方法の一例を説明する図である。
【
図6】実施例1の画像診断装置のハードウェア構成図である。
【
図7】実施例1の画像診断装置のソフトウェア構成図である。
【
図8】圃場の一部を上方から撮影した画像の一例を示す図である。
【
図10】実施例2の画像診断システムの構成図である。
【
図11】圃場の一部を上方から撮影した画像の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【0011】
まず、各実施例の具体的な説明を行う前に、本発明の要旨を説明する。本発明では、植物の葉の枚数(葉数)が植物の茎数と相関があることを利用して、植物の画像を用いて取得された葉数に基づいて植物の茎数を取得することを特徴とする。特に、稲の葉数と茎数との相関関係を用いて、稲の画像を用いて取得された葉数に基づいて茎数を取得することを特徴としている。以下では、植物の一例として稲を用いて説明する。
【0012】
図1は、葉数計測値と茎数実測値との相関関係を示す図である。葉数計測値は、水稲の画像を用いて取得された葉数である。茎数実測値は、人手により実測された水稲の一株当たりの茎数である。決定係数は
図1に示されるように0.74となっており、葉数計測値と茎数実測値とは強い相関関係がある。すなわち、葉数計測値を用いて茎数を取得可能である。
【0013】
葉数と茎数との相関関係は、栽植密度や一株当たりの植え付け本数には依存せず、水稲固有の関係性を有する。したがって、本発明では、水稲の栽培条件が異なっても、同一方法、および同一パラメータを用いて茎数を簡易に取得することが可能である。また、本発明では、後述するように葉先の数(葉先数)を用いて葉数計測値を取得するため、植被率が1に近づいた生育後期においても茎数を適切に取得することが可能である。
【0014】
以下、本発明の植物の画像を用いて植物の茎数を取得するための画像診断方法について説明する。
図2は、本発明の画像診断方法を示すフローチャートである。
【0015】
ステップS10では、水稲の画像が入力される。後述するように、本実施形態では稲の茎数を取得するために、水稲の葉先を検出する。水稲の葉は地面から空に向かって生育していくため、水稲の葉先は常に地面から高い所に位置している。そのため、上方から水稲を撮影すると葉先が見えやすくなる。したがって、稲の茎数を取得する場合、上方から撮影した水稲の画像を用いることが好ましい。
【0016】
ステップS20では、入力された水稲の画像を用いて葉数計測値が取得される。
【0017】
図3は、
図2のステップS20の詳細を示すフローチャートである。
【0018】
ステップS21では、水稲の画像から水稲の葉先が検出され、葉先が検出された画像(葉先検出画像)が出力される。ステップS21の処理を実施する場合、例えば、機械学習により構成された学習済みモデルを用いるとよい。学習済みモデルを構成する場合、例えば、
図4(a)に示される、入力データを水稲の画像、出力データを葉先検出画像とするニューラルネットワークを用いればよい。
【0019】
ニューラルネットワークにより学習済みモデルを構成する際には、
図4(b)に示されるように、水稲の画像を入力データ、植物における葉先と葉先以外の領域とをそれぞれ異なる値でラベリングして得られたラベリング画像を教師データとするとよい。ラベリング画像には、例えば、
図4(b)に示されるように、葉先の領域を1でラベリングし、葉先以外の領域を0でラベリングした画像を用いるとよい。ただし、教師データは上述したデータに限ったものではなく、葉先以外の領域をさらに細かく分類したラベリング画像を用いてもよい。
【0020】
ニューラルネットワークの学習は、
図4(b)に示される方法で行えばよい。まず、入力層に入力される入力データに応じて出力層から出力される出力データと、教師データとの差分に応じた誤差が損失関数を用いて計算される。次に、得られた誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等が更新される。この更新では例えば、上記の誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を調整する誤差逆伝播法を用いて、結合重み付け係数等が更新される。
【0021】
なお。ステップS21の処理は機械学習を用いる方法に限らず、パターンマッチング等のパターン認識技術やSIFT特徴量等の局所特徴量を用いる方法で実施されてもよい。
【0022】
ステップS22では、ステップS21で出力された葉先検出画像を用いて葉先数が取得される。本実施形態では、ステップS21で出力された葉先検出画像を入力として、ラベリング処理を用いることにより葉先数が取得される。具体的には、まず、葉先検出画像において、葉先として検出された画素の画素値を1、葉先以外の領域として検出された画素の画素値を0と設定する。次に、隣接する画素の画素値が1である一塊の領域を1つの葉先として、ラベリング処理が行われることで、葉先検出画像内の葉先数が取得される。
【0023】
ステップS23では、ステップS22で取得された葉先数を用いて葉数計測値が取得される。植物によっては1枚の葉が複数の葉先を有する場合もあるが、水稲は1枚の葉が1つの葉先を有するため、本ステップでは葉先数と葉数は等しいとして葉数計測値が取得される。
【0024】
なお、ステップS20の処理は上述した方法に限ったものではなく、その他の方法を用いて、葉数計測値を取得してもよい。
【0025】
ステップS30では、葉数計測値を用いて茎数が取得される。茎数が取得される際、
図1の相関に基づいて算出される関係式が用いられる。具体的には、ステップS23で取得された葉数計測値をXとして、以下の式(1)により茎数Y
estが取得される。
【0026】
【0027】
ここで、a
i(i=0,・・・,M)は、
図1の葉数計測値と茎数実測値との相関関係に基づく係数である。例えば、葉数計測値と茎数実測値のN個のデータの組を(X
j,Y
j)(j=1,・・・,N)とすると、a
iは
【0028】
【0029】
で表される。
【0030】
本発明では、以上のステップを実施することで、水稲の画像内の茎数を取得することが可能である。
【0031】
水稲の茎数は通常、一株当たりの茎数、又は単位面積当たりの茎数で表記されることが多い。そこで、一株当たりの茎数、又は単位面積当たりの茎数を取得する場合、あらかじめ、解析領域ROIを設定しておくとよい。
【0032】
図5(a)は、解析領域ROIの設定方法の一例を説明する図である。
図5(a)において、白丸は画像内の各稲株の中心位置、点線は隣接する白丸をグリッド上に結んだ線、実線は解析領域ROIを表している。
図5(a)では、3×4株の稲株において、最外周に位置する稲株の中心位置を結んだ領域(六株分の水稲の作地面積に相当する領域)が解析領域ROIとして設定されている。
【0033】
解析領域ROIを設定するにあたり、稲株の中心位置は水稲の画像を見ながらユーザーが手入力で設定してもよいし、パターン認識技術等を用いて自動で設定してもよい。
【0034】
ステップS22で解析領域ROIを、葉先数を取得する範囲として設定すると、解析領域ROI当たりの葉先数を取得することができる。また、ステップS23では、解析領域ROI当たりの葉数計測値を取得することができる。したがって、ステップS30では、解析領域ROI当たりの葉数計測値Xを用いて解析領域ROI当たりの茎数Yestを取得することができる。
【0035】
解析領域ROI内の株数をL、解析領域ROIの面積をSとすると、一株当たりの茎数はYest/L、単位面積当たりの茎数はYest/Sとして取得することができる。解析領域ROIの面積Sは、解析領域ROIの撮像素子面上での実際の面積と撮影時の撮影倍率を用いて取得することができる。また、解析領域ROIの面積Sは、水稲の田植え時の植え付け間隔(条間や株間)から取得してもよい。
【0036】
解析領域ROIは、
図5(b)に示される方法で設定されてもよい。
図5(b)において、白丸は画像内の各稲株の中心位置、一点鎖線は隣接する白丸をグリッド上に結んだ線、白い四角形は四角形を構成する最も近い4点の白丸の座標を用いて算出された重心位置、実線は解析領域ROIを表している。また、点線は、一株当たりの解析領域を示す補助線を表している。
図5(b)では、3×4株の稲株の中心位置から設定された重心位置を中心の二株を囲むように結んだ領域が解析領域ROIとして設定されている。
【0037】
なお、
図5(a),(b)では、解析領域ROI内の株数をそれぞれ、六株、二株としたが、解析領域ROI内の株数は目的に合わせて任意に設定可能である。例えば、株ごとの茎数を取得する場合、解析領域ROI内の株数が1つになるように設定すればよい。また、圃場内の平均値を取得する場合、解析領域ROI内の株数が二株以上になるように設定すればよい。圃場内の平均値を信頼できる値にするために、解析領域ROI内の株数を十株以上になるように設定することが好ましい。
【0038】
以下、本発明の各実施例の詳細について説明する。
【実施例1】
【0039】
本実施例では、本発明の画像診断方法を実施することで植物の画像を用いて植物の茎数を取得可能な画像診断装置300について説明する。本実施例では、植物の一例として稲を用いて説明する。
【0040】
図6は、画像診断装置300のハードウェア構成図である。画像診断装置300は、各構成間のデータ転送を行うシステムバス301、CPU302、ROM303、RAM304、HDD305、NIC306、入力部307、表示部308、GPU309を有する。
【0041】
図7は、画像診断装置300のソフトウェア構成図である。画像診断装置300は、画像入力手段310、葉数取得手段(第1取得部)320、茎数取得手段(第2取得部)330を有する。また、葉数取得手段320は、葉先検出部(検出部)321、葉先数取得部322、葉数取得部323を有する。なお、葉数取得手段320および茎数取得手段330はそれぞれ、各機能を実行するためにプログラムされたプロセッサおよびメモリを含んでいてもよい。
【0042】
画像入力手段310には、水稲の画像が入力される。画像の入力は、ROM303やHDD305等の記憶装置にあらかじめ保存された画像をRAM304上に読み込むことで実施するか、又はNIC306を経由して、ネットワーク上に保存された画像をRAM304上に読み込むことで実施される。
【0043】
葉数取得手段320は、RAM304上に読み込まれた画像を用いて葉数計測値を取得する。具体的には、まず、葉先検出部321が入力画像から葉先検出画像を生成する。本実施例では、ニューラルネットワークにより構成された学習済みモデルを使用して葉先検出画像が生成される。学習済みモデルの構造、および各種パラメータに関する情報は、あらかじめROM303、又はHDD305に保存されている。葉先検出部321にて葉先検出画像を生成する処理を行う際には、CPU302に加えGPU309が用いられる。GPU309はデータをより多く並列処理することで効率的な演算を行うことができるため、ニューラルネットワークの計算処理を行う場合にはGPU309で処理を行うことが有効である。
【0044】
次に、葉先数取得部322は、葉先検出画像を用いて葉先数を取得する。本実施例では、葉先数はラベリング処理を用いて、CPU302、又はGPU309により取得される。本実施例では、
図5(a)を用いて説明した六株分の水稲の作地面積に相当する領域である解析領域ROI1内の葉先数が取得される。解析領域ROI1は、あらかじめROM303、又はHDD305に保存されている情報を基に設定されるか、ユーザーが入力部307から直接入力することにより設定される。
【0045】
次に、葉数取得部323は、葉先数を用いて葉数計測値を取得する。本実施例では、植物が稲であるため、葉数取得部323は葉先数を葉数計測値として取得する。なお、葉数取得部323の処理は、CPU302にて実施される。
【0046】
茎数取得手段330は、葉数計測値、および式(1)を用いて茎数を取得する。本実施例では、M,a0,a1をそれぞれ1,0,0.59として茎数を取得した。取得された茎数は、ROM303、又はHDD305に保存される。また、取得された茎数は、NIC306を経由して、ネットワークに接続された非図示の外部記憶装置に保存されてもよい。また、取得された茎数は、表示部308に表示されてもよい。なお、茎数取得手段330の処理は、CPU302にて実施される。
【0047】
図8は、栽植密度が37株/坪、植え付け本数が4本/株である第1の栽培条件で田植えを行ったコシヒカリの圃場の一部を上方から撮影した画像の一例を示している。
図8の圃場の田植え日は5月15日であり、
図8(a),(b)はそれぞれ6月4日と7月11日に撮影した画像である。なお、
図8の画像はモノクロ表示を行っているが、実際の画像診断にはRGB画像が用いられる。稲の葉先を検出するにあたってはモノクロ画像を用いてもよいが、色情報を用いると葉先の検出精度が向上するため、2バンド以上のマルチバンド画像を用いることが好ましい。
【0048】
図9は、第1の栽培条件で田植えを行ったコシヒカリの圃場の定点撮影画像を用いて茎数を取得した結果を示している。横軸は日付、縦軸は一株当たりの茎数を表している。白丸は本発明の画像診断方法を用いて取得された診断値(取得値)、黒い星印は解析領域ROI1に含まれる3×4株の稲株の実測値から平均により求めた正解値、エラーバーは3×4株の稲株の実測値の標準偏差を表している。
図9に示されるように、診断値は正解値と近しい値を示しており、本発明の画像診断補法が有効であることが確認できる。
【実施例2】
【0049】
本実施例では、本発明の画像診断方法を実施することで植物の画像を用いて植物の茎数を取得可能な画像診断システム400について説明する。本実施例では、植物の一例として稲を用いて説明する。
【0050】
図10は、本実施例の画像診断システム400の構成図である。画像診断システム400は、画像取得装置410、インターネット420、データ収集サーバー(記憶装置)430、画像診断装置300を有する。
【0051】
画像取得装置410は、水稲の画像を取得する。画像取得装置410により取得された画像は、インターネット420を介して、データ収集サーバー430に格納される。画像診断装置300は、データ収集サーバー430に格納された水稲の画像を、インターネット420を介して読み込み、実施例1で説明した方法により水稲の画像を用いて茎数を取得する。
【0052】
図11は、栽植密度が60株/坪、植え付け本数が4本/株である第2の栽培条件で田植えを行ったコシヒカリの圃場の一部を上方から撮影した画像の一例を示している。
図11の圃場では、実施例1で説明した
図8の圃場よりも株間が狭く、栽植密度が増加している。
図11の圃場の田植え日は5月15日であり、
図11(a),(b)はそれぞれ6月4日と7月11日に撮影した画像である。なお、
図11の画像はモノクロ表示を行っているが、実際の画像診断にはRGB画像が用いられる。
【0053】
図12は、第2の栽培条件で田植えを行ったコシヒカリの圃場の定点撮影画像を用いて茎数を取得した結果を示している。横軸は日付、縦軸は一株当たりの茎数を表している。なお、第2の栽培条件は第1の栽培条件と株間が異なるため、本実施例の六株分の水稲の作地面積に相当する領域である解析領域ROI2の面積は実施例1の解析領域ROI1の面積とは異なるが、他のパラメータは実施例1と同じである。白丸は本発明の画像診断方法を用いて取得された診断値(取得値)、黒い星印は解析領域ROI2に含まれる3×4株の稲株の実測値から平均により求めた正解値、エラーバーは3×4株の稲株の実測値の標準偏差を表している。
図12に示されるように、診断値は正解値と近しい値を示しており、本発明の画像診断補法が有効であることが確認できる。
【0054】
また、
図9と
図12の正解値を比較すると、生育後期では第1の栽培条件の圃場の方が第2の栽培条件の圃場よりも茎数が多く、診断値でも同様の結果を示していることが確認できる。したがって植被率が1に近づく生育後期においても、茎数の違いを区別して診断できていることが確認できる。
【0055】
以上説明したように、本発明の構成によれば、植物の栽植密度、植え付け本数、生育時期に依らず、植物の画像を用いて植物の茎数を簡易かつ適切に取得可能である。
【0056】
なお、本明細書では、植物の一例として稲について説明したが、本発明の植物は稲に限ったものではない。稲以外の植物として例えば、麦が挙げられる。麦も稲と同様に、葉数と茎数とに強い相関があり、葉の形状も稲と似ているため、本発明を適用することができる。ただし、本発明を適用可能な植物であれば、植物は稲と麦に限ったものではない。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC(Application-Specific Integrated Circuit))によっても実現可能である。
【0057】
以上、本発明の好ましい実施形態及び実施例について説明したが、本発明はこれらの実施形態及び実施例に限定されず、その要旨の範囲内で種々の組合せ、変形及び変更が可能である。
【符号の説明】
【0058】
300 画像診断装置
320 葉数取得手段(第1取得部)
330 茎数取得手段(第2取得部)