特許 7563673 発芽判定装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】発芽判定装置及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241001BHJP

   G06N 3/08 20230101ALI20241001BHJP

【ＦＩ】

G06T7/00 350C

G06N3/08

【請求項の数】 7

(21)【出願番号】P 2020057701

(22)【出願日】2020-03-27

(65)【公開番号】P2021157548

(43)【公開日】2021-10-07

【審査請求日】2023-03-27

(73)【特許権者】

【識別番号】000102717

【氏名又は名称】ＮＴＴテクノクロス株式会社

(73)【特許権者】

【識別番号】390028130

【氏名又は名称】タキイ種苗株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】今村 龍太

(72)【発明者】

【氏名】大庭 宏明

(72)【発明者】

【氏名】溝根 千紘

(72)【発明者】

【氏名】森川 高志

(72)【発明者】

【氏名】木村 健太郎

(72)【発明者】

【氏名】浅見 美貴

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１９５８５１（ＵＳ，Ａ１）

【文献】特開２０１９－１５３１０９（ＪＰ，Ａ）

【文献】特開平０１－２６２７１２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

１以上の種子を撮影した撮影画像を入力する入力手段と、
学習済みの第１のニューラルネットワークのモデルパラメータを用いて、前記撮影画像中の種子の発芽状況を判定する第１の判定手段と、
前記撮影画像から地色と異なる色を抽出することで色差分画像を作成する第１の作成手段と、
前記第１の判定手段による判定結果と前記色差分画像とを用いて、前記撮影画像中に含まれる物体のうち、前記第１の判定手段で検出されなかった未検出物体を特定する特定手段と、
前記未検出物体を含む所定の大きさの画像領域を前記撮影画像から切り出した未検出物体画像を作成する第２の作成手段と、
学習済みの第２のニューラルネットワークのモデルパラメータを用いて、前記未検出物体画像を、正常発芽を示すクラス、異常発芽を示すクラス又は種子以外を示すクラスのいずれかに分類することで、前記未検出物体画像中に含まれる物体が種子であるか否かと前記物体が種子である場合における発芽状況とを判定する第２の判定手段と、
を有することを特徴とする発芽判定装置。

【請求項2】

前記第１の判定手段は、
前記撮影画像中に含まれる１以上の種子を検出し、検出した種子を、正常発芽を示すクラス又は異常発芽を示すクラスのいずれかに分類することで、前記種子の発芽状況を判定する、請求項１に記載の発芽判定装置。

【請求項3】

少なくとも前記第１の判定手段による判定結果から発芽率を算出する発芽率算出手段、を有することを特徴とする請求項１又は２に記載の発芽判定装置。

【請求項4】

前記撮影画像から第１の学習用画像を作成する第３の作成手段と、
前記第１の学習用画像を用いて、前記第１のニューラルネットワークのモデルパラメータを学習する第１の学習手段と、を有し、
前記第３の作成手段は、
前記撮影画像中に含まれる種子が所定の評価基準を満たす場合は前記種子に対して正常発芽を示すアノテーションを行って、前記種子が前記評価基準を満たさない場合は前記種子に対して異常発芽を示すアノテーションを行うことで、前記第１の学習用画像を作成する、ことを特徴とする請求項１乃至３の何れか一項に記載の発芽判定装置。

【請求項5】

前記撮影画像から第２の学習用画像を作成する第４の作成手段と、
前記第２の学習用画像を用いて、前記第２のニューラルネットワークのモデルパラメータを学習する第２の学習手段と、を有し、
前記第４の作成手段は、
前記撮影画像中に含まれる種子が所定の評価基準を満たす場合は前記撮影画像に対して正常発芽を示すラベルを付与し、前記種子が前記評価基準を満たさない場合は前記撮影画像に対して異常発芽を示すラベルを付与することで、前記第２の学習用画像を作成する、ことを特徴とする請求項１乃至４の何れか一項に記載の発芽判定装置。

【請求項6】

前記評価基準は前記種子の根の長さと胚軸の長さの比が所定の範囲内にあるか否かを示す条件である、ことを特徴とする請求項４又は５に記載の発芽判定装置。

【請求項7】

コンピュータを、請求項１乃至６の何れか一項に記載の発芽判定装置における各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、発芽判定装置及びプログラムに関する。

【背景技術】

【0002】

種苗法の指定種苗の生産等に関する基準では、種子の中で正常に発芽する割合を発芽率と定め、作物ごとに基準となる発芽率を定めている（非特許文献１）。また、正常に発芽する種子は、発芽試験により種子から発芽した芽生を評価することにより判別される。

【0003】

一般に、発芽試験はシャーレに水を含ませたろ紙を敷いたものや、育苗トレイに土を充てんしたものを培地とし、その上に種子を置床した後、一定期間経過後に検査員がその発芽状況を一つ一つ目視確認し、発芽数の計数と発芽した種子の芽生評価を行う手順で実施される（非特許文献２）。

【先行技術文献】

【非特許文献】

【0004】

【文献】指定種苗の生産等に関する基準：農林水産省，インターネット＜ＵＲＬ：https://www.maff.go.jp/j/kokuji_tuti/kokuji/k0000254.html＞

【文献】農業生物資源ジーンバンク - 発芽試験マニュアル，インターネット＜ＵＲＬ：https://www.gene.affrc.go.jp/manuals-plant_germination.php＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、検査員が発芽して形成された芽生を目視判断するため、検査員個人の経験やスキルによっては芽生が正常であるのか異常であるのかの判定に差が生じるおそれがあった。また、検査員は種子の発芽状況を一つ一つ目視確認する必要があり、その確認作業に多くの時間を要していた。

【0006】

本発明の一実施形態は、上記の点に鑑みてなされたもので、種子の芽生評価を含む発芽判定を効率的に行うことを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、一実施形態に係る発芽判定装置は、１以上の種子を撮影した撮影画像を入力する入力手段と、学習済みの第１のニューラルネットワークのモデルパラメータを用いて、前記撮影画像中の種子の発芽状況を判定する第１の判定手段と、を有することを特徴とする。

【発明の効果】

【0008】

種子の芽生評価を含む発芽判定を効率的に行うことができる。

【図面の簡単な説明】

【0009】

【図1】推論時における発芽判定装置の全体構成の一例を示す図である。

【図2】本実施形態に係る発芽率算出処理の一例を示すフローチャートである。

【図3】判定対象画像の一例を示す図である。

【図4】物体検出及びクラス分類結果の画像の一例を示す図である。

【図5】色差分を検出した画像の一例を示す図である。

【図6】未検出物体を含む領域を切り出した画像の一例を示す図である。

【図7】学習時における発芽判定装置の全体構成の一例を示す図である。

【図8】第１のモデルパラメータを学習するための学習用画像の作成を説明する図である。

【図9】第２のモデルパラメータを学習するための学習用画像の作成を説明する図である。

【図10】本実施形態に係る学習処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について説明する。本実施形態では、１以上の種子（未発芽の種子及び発芽した種子を総称し、以下、種子と呼ぶ）を撮影した画像からその発芽状況（つまり、正常発芽又は異常発芽のいずれであるか）を判定し、発芽率を算出する発芽判定装置１０について説明する。本実施形態に係る発芽判定装置１０を用いることで、例えば、検査員個人の経験やスキルに依らず画一的に発芽状況を判定することが可能になると共に、種子の発芽状況を一つ一つ目視確認する必要がなくなり効率的に発芽状況を判定することが可能になる。

【0011】

なお、正常発芽とは種子から正常な芽生が形成された状況のことを意味し、異常発芽とは正常発芽以外の状況（未発芽、奇形、正常と判断できる生育段階に至らない場合等も含む。）のことを意味する。

【0012】

ここで、本実施形態に係る発芽判定装置１０は、ニューラルネットワークでそれぞれ実現される２つの分類モデル（第１の分類モデル及び第２の分類モデル）により、画像中の種子の発芽状況を判定する。このため、本実施形態に係る発芽判定装置１０には、第１の分類モデル及び第２の分類モデルをそれぞれ実現するニューラルネットワークのパラメータを学習する「学習時」と、学習済みのパラメータを用いて第１の分類モデル及び第２の分類モデルにより発芽状況を判定（推論）する「推論時」とがある。そこで、本実施形態では、発芽判定装置１０の学習時と推論時についてそれぞれ説明する。なお、以降では、第１の分類モデルを実現するニューラルネットワークのパラメータを「第１のモデルパラメータ」、第２の分類モデルを実現するニューラルネットワークのパラメータを「第２のモデルパラメータ」と表す。

【0013】

［推論時］
まず、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みであるものとして、第１のモデルパラメータ及び第２のモデルパラメータを用いて発芽状況を判定する推論時について説明する。

【0014】

＜推論時における発芽判定装置１０の全体構成＞
推論時における発芽判定装置１０の全体構成について、図１を参照しながら説明する。図１は、推論時における発芽判定装置１０の全体構成の一例を示す図である。

【0015】

図１に示すように、推論時における発芽判定装置１０は、入力部１０１と、第１の判定部１０２と、色差分抽出部１０３と、未検出物体特定部１０４と、画像切出部１０５と、第２の判定部１０６と、発芽率算出部１０７とを有する。これら各部は、例えば、発芽判定装置１０にインストールされた１以上のプログラムが、ＣＰＵ（Central Processing Unit）等のプロセッサに実行させる処理により実現される。

【0016】

入力部１０１は、発芽状況の判定対象となる１以上の種子を撮影した画像（以下、「判定対象画像」という。）を入力する。

【0017】

第１の判定部１０２は判定対象画像に対して物体検出と当該物体のクラス分類とを行う第１の分類モデルであり、第１のモデルパラメータを用いて、判定対象画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す画像（以下、「第１の分類結果画像」という。）が得られる。

【0018】

なお、第１のモデルパラメータは、後述するように、１以上の種子が含まれる画像に対して、画像領域指定を行い、それらの種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを示すアノテーションを行った学習用画像を第１の分類モデルに入力し、各種子のクラス分類結果とアノテーションとの誤差を最小化するように学習されたものである。

【0019】

色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の部分を抽出した画像（以下、「色差分画像」という。）を作成する。

【0020】

未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する。

【0021】

画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域を切り出した画像（以下、「未検出物体画像」という。）を作成する。

【0022】

第２の判定部１０６は未検出物体画像のクラス分類を行う第２の分類モデルであり、第２のモデルパラメータを用いて、未検出物体画像が「正常発芽」、「異常発芽」又は「種子以外」のいずれのクラスに属するかのクラス分類を行う。これにより、未検出物体画像に対してクラス分類を行った結果を示す画像（以下、「第２の分類結果画像」という。）が得られる。

【0023】

ここで、第２の分類モデルには、未検出物体画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかのクラス分類を行う第３の分類モデルと、未検出物体画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかのクラス分類を行う第４の分類モデルとが含まれる。第２の判定部１０６は、第３の分類モデルにより未検出物体画像に対してクラス分類を行って「正常発芽」又は「正常発芽以外」のいずれであるかを判定し、「正常発芽以外」であると判定された場合は第４の分類モデルにより未検出物体画像に対してクラス分類を行って「異常発芽」又は「異常発芽以外」のいずれであるかを判定し、「異常発芽以外」であると判定された場合は「種子以外」と判定する。これにより、未検出物体画像に含まれる物体が「正常発芽」、「異常発芽」又は「種子以外」のいずれかに分類される。

【0024】

また、このとき、第２のモデルパラメータには、第３の分類モデルを実現するニューラルネットワークのパラメータである第３のモデルパラメータと、第４の分類モデルを実現するニューラルネットワークのパラメータである第４のパラメータとが含まれる。

【0025】

なお、第３のモデルパラメータは、後述するように、１つの種子が含まれる画像に対してその種子が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第３の分類モデルに入力し、当該種子のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。同様に、第４のモデルパラメータは、後述するように、１つの種子が含まれる画像に対してその種子が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するか示すラベルを付与した学習用画像を第４の分類モデルに入力し、当該種子のクラス分類結果とラベルとの誤差を最小化するように学習されたものである。

【0026】

発芽率算出部１０７は、未検出物体特定部１０４により未検出物体が特定されなかった場合は第１の分類結果画像から発芽率を算出し、未検出物体特定部１０４により未検出物体が特定された場合は第１の分類結果画像と第２の分類結果画像から発芽率を算出する。なお、発芽率は、（クラス分類で正常発芽と分類された種子の数）／（クラス分類で正常発芽と分類された種子の数＋クラス分類で異常発芽と分類された種子の数）で算出される。

【0027】

＜発芽率算出処理＞
次に、本実施形態に係る発芽判定装置１０により判定対象画像中の種子の発芽状況を判定し、その発芽率を算出する処理について、図２を参照しながら説明する。図２は、本実施形態に係る発芽率算出処理の一例を示すフローチャートである。

【0028】

入力部１０１は、判定対象画像を入力する（ステップＳ１０１）。ここで、判定対象画像は少なくとも１以上の種子が含まれる画像であり、例えば、種子の発芽状況を検査するためのトレイやパレットをカメラ等で撮影することで生成された画像である。判定対象画像の一例を図３に示す。図３に示す判定対象画像１０００には種子Ｓ１～Ｓ９が含まれている。なお、種子は一部が重なっていてもよいし、種子以外の異物（例えば、塵や埃、虫等）が含まれていてもよい。図３に示す例では、種子Ｓ４と種子Ｓ５とが一部重なっている。また、図３に示す例では、種子以外の異物として虫Ｏが含まれている。

【0029】

次に、第１の判定部１０２は、第１のモデルパラメータを用いて、判定対象画像に対して物体検出と当該物体のクラス分類とを行って、判定対象画像中の種子を検出した上で、検出した種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを分類する（ステップＳ１０２）。これにより、判定対象画像に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像が得られる。ここで、図３に示す判定対象画像１０００に対して物体検出及びクラス分類を行った結果を示す第１の分類結果画像の一例を図４に示す。図４に示す第１の分類結果画像２０００では、種子Ｓ１～Ｓ２、Ｓ４～Ｓ６及びＳ９の画像領域は正常発芽と分類された画像領域であり、種子Ｓ３及びＳ７の画像領域は異常発芽と分類された画像領域である。これにより、種子Ｓ１～Ｓ２、Ｓ４～Ｓ６及びＳ９は正常発芽、種子Ｓ３及びＳ７は異常発芽と判定される。なお、種子Ｓ３は未発芽のため異常発芽と判定された種子であり、種子Ｓ７は芽生が形成されているが奇形のため異常発芽と判定された種子である。

【0030】

一方で、図４に示す第１の分類結果画像２０００では、種子Ｓ８及び虫Ｏは第１の判定部１０２では物体検出及びクラス分類されていない。このように、種子であっても、何等かの原因（例えば、光の当たり方や種子の向き、種子の生育度合いの個体差、学習用画像の不足等）によっては第１の分類モデルで検出できないことがある。また、第１の分類モデルでは種子以外の物体（例えば、塵や埃、虫等の異物）を検出する可能性は極めて低い。

【0031】

次に、色差分抽出部１０３は、判定対象画像から地色（背景）と異なる色の抽出した色差分画像を作成する（ステップＳ１０３）。ここで、図３に示す判定対象画像１０００から地色と異なる色を抽出した色差分画像の一例を図５に示す。図５に示す色差分画像３０００では、判定対象画像１０００中の全ての物体（つまり、種子Ｓ１～Ｓ９、虫Ｏ）の画像領域が色差分領域として抽出される。

【0032】

次に、未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを用いて、判定対象画像中の物体のうち、第１の判定部１０２で検出されなかった物体（つまり、未検出物体）を特定する（ステップＳ１０４）。未検出物体特定部１０４は、第１の分類結果画像と色差分画像とを重畳させた場合に、正常発芽の画像領域及び異常発芽の画像領域と全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。より具体的には、未検出物体特定部１０４は、第１の分類結果画像における正常発芽又は異常発芽の各画像領域中の各画素の位置座標と、色差分画像における各色差分領域中の各画素の位置座標とを比較し、正常発芽又は異常発芽の画像領域に全く重ならない色差分領域を未検出物体の画像領域とすることで、未検出物体を特定する。

【0033】

例えば、図４に示す第１の分類結果画像２０００と図５に示す色差分画像３０００とを重畳させた場合、種子Ｓ８の色差分領域と虫Ｏの色差分領域は共に正常発芽の画像領域及び異常発芽の画像領域と全く重ならない。このため、この場合、種子Ｓ８と虫Ｏとが未検出物体として特定される。

【0034】

上記のステップＳ１０４で未検出物体が特定されなかった場合（ステップＳ１０５でＮＯ）、発芽率算出部１０７は、第１の分類結果画像から発芽率を算出する（ステップＳ１０６）。すなわち、発芽率算出部１０７は、第１の分類結果画像中で正常発芽と分類された種子の数をａ、第１の分類結果画像中で異常発芽と分類された種子の数をｂとして、ａ／（ａ＋ｂ）により発芽率を算出する。

【0035】

一方で、上記のステップＳ１０４で未検出物体が特定された場合（ステップＳ１０５でＹＥＳ）、画像切出部１０５は、判定対象画像中の未検出物体を含む部分領域をそれぞれ切り出して、未検出物体画像を作成する（ステップＳ１０７）。画像切出部１０５は、例えば、判定対象画像中の未検出物体を含み、かつ、所定の大きさ（サイズ）の矩形の画像領域をそれぞれ切り出することで、１以上の未検出物体画像を作成すればよい。具体的には、例えば、判定対象画像１０００中の未検出物体である種子Ｓ８及び虫Ｏをそれぞれ含み、かつ、所定の大きさの矩形の画像領域を切り出すことで、図６（ａ）に示す未検出物体画像４１００と図６（ｂ）に示す未検出物体画像４２００とが作成される。図６（ａ）に示す未検出物体画像４１００は種子Ｓ８を含む所定の大きさの画像であり、図６（ｂ）に示す未検出物体画像４２００は虫Ｏを含む所定の大きさの画像である。

【0036】

次に、第２の判定部１０６は、第２のモデルパラメータを用いて、各未検出物体画像のクラス分類をそれぞれ行って、これら各未検出物体画像のそれぞれが「正常発芽」、「異常発芽」又は「種子以外」のいずれのクラスに属するかを分類する（ステップＳ１０８）。

【0037】

具体的には、第２の判定部１０６は、まず、第３のモデルパラメータを用いて、未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかを分類する。「正常発芽以外」と分類された場合は、第２の判定部１０６は、第４のモデルパラメータを用いて、当該未検出物体画像に対してクラス分類を行って、当該未検出物体画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかを分類する。「異常発芽以外」と分類された場合は、第２の判定部１０６は、当該未検出物体画像を「種子以外」のクラスに属すると分類する。これにより、未検出物体画像中の物体が「正常発芽」、「異常発芽」又は「種子以外」のいずれかのクラスに分類される。具体的には、例えば、図６（ａ）に示す未検出物体画像４１００中の物体（種子Ｓ８）は「正常発芽」のクラスに分類され、図６（ａ）に示す未検出物体画像４２００中の物体（虫Ｏ）は「種子以外」のクラスに分類される。

【0038】

なお、本実施形態では、一例として、「正常発芽」及び「正常発芽以外」の２クラス分類を行う第３の分類モデルと、「異常発芽」及び「異常発芽以外」の２クラス分類を行う第４の分類モデルとで第２の分類モデルが構成されている場合について説明したが、これに限られず、例えば、第２の分類モデルは「正常発芽」、「異常発芽」及び「種子以外」の３クラス分類を行うモデルであってもよい。

【0039】

そして、発芽率算出部１０７は、第１の分類結果画像と第２の分類結果画像から発芽率を算出する（ステップＳ１０９）。すなわち、発芽率算出部１０７は、第１の分類結果画像中で正常発芽と分類された種子の数をａ、第１の分類結果画像中で異常発芽と分類された種子の数をｂ、正常発芽と分類された物体が含まれる第２の分類結果画像の数をｃ、異常発芽と分類された物体が含まれる第２の分類結果画像の数をｄとして、（ａ＋ｃ）／（ａ＋ｂ＋ｃ＋ｄ）により発芽率を算出する。

【0040】

以上のように、本実施形態に係る発芽判定装置１０は、１以上の種子を撮影した判定対象画像（例えば、１以上の種子を並べたトレイ等を撮影した画像）を入力として、これらの種子の発芽状況（正常発芽又は異常発芽）を判定し、その発芽率を算出することができる。また、本実施形態に係る発芽判定装置１０は、判定対象画像から色差分画像を作成して未検出物体を特定することで、第１の判定部１０２（第１の分類モデル）で検出されなかった物体のみを第２の判定部１０６（第２の分類モデル）で判定することが可能となる。これにより、種子の発芽状況を効率的かつ高い精度で判定することが可能になる（したがって、発芽率も効率的かつ高い精度で算出することが可能になる。）。

【0041】

しかも、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルを用いることで、種子の正常発芽又は異常発芽を判定する際に、芽生の評価を含めて正常発芽又は異常発芽のいずれであるかを判定することができる。このため、従来では非効率であったり、困難があったりした芽生の評価も含めた発芽状況の判定を効率的かつ効果的に行うことが可能となる。

【0042】

更に、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルにより種子の発芽状況を判定するため、例えば、画像中の種子同士の一部が重なっていたとしても高い精度で発芽状況を判定することが可能になると共に、１以上の種子を撮影する際の撮影環境に依存せずに高い精度で発芽状況を判定することが可能にある。このように、本実施形態に係る発芽判定装置１０は、ニューラルネットワークで実現される第１の分類モデル及び第２の分類モデルを用いることで、例えば、種子同士の重なりや撮影環境の変化等に対して高いロバスト性を獲得することができる。

【0043】

［学習時］
次に、第１のモデルパラメータ及び第２のモデルパラメータはそれぞれ学習済みでないものとして、これらの第１のモデルパラメータ及び第２のモデルパラメータを学習する学習時について説明する。

【0044】

＜学習時における発芽判定装置１０の全体構成＞
学習時における発芽判定装置１０の全体構成について、図７を参照しながら説明する。図７は、学習時における発芽判定装置１０の全体構成の一例を示す図である。

【0045】

図７に示すように、学習時における発芽判定装置１０は、入力部１０１と、第１の判定部１０２と、第２の判定部１０６と、学習用画像作成部１０８と、学習部１０９とを有する。これら各部は、例えば、発芽判定装置１０にインストールされた１以上のプログラムが、ＣＰＵやＧＰＵ（Graphics Processing Unit）等のプロセッサに実行させる処理により実現される。

【0046】

学習用画像作成部１０８は、発芽状況が既知の１以上の種子を撮影した画像（以下、「撮影画像」という。）から学習用画像を作成する。

【0047】

ここで、第１のモデルパラメータを学習する際は、１以上の種子を撮影した撮影画像を用いて、この撮影画像に対して、画像領域指定を行い、これらの種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかを示すアノテーションを行った第１の学習用画像を作成する。具体的には、例えば、図８に示すように、種子Ｓ１１～Ｓ１９を撮影した撮影画像５０００を用いて、これらの種子Ｓ１１～Ｓ１９の画像領域に対して正常発芽又は異常発芽を示すアノテーションを行うことで第１の学習用画像６０００を作成する。図８に示す例では、種子Ｓ１１及びＳ１３～Ｓ１８の画像領域には正常発芽を示すアノテーションが行われ、種子Ｓ１２及びＳ１９の画像領域には異常発芽を示すアノテーションが行われている。

【0048】

また、第３のモデルパラメータを学習する際は、正常発芽している種子を撮影した撮影画像を用いて、この撮影画像に対して当該種子が「正常発芽」に属することを示すラベルを付与した第２の学習用画像を作成する。同様に、第４のモデルパラメータを学習する際は、異常発芽している種子を撮影した撮影画像を用いて、この撮影画像に対して当該種子が「異常発芽」に属することを示すラベルを付与した第３の学習用画像を作成する。具体的には、図９に示すように、正常発芽している種子Ｓ２１を撮影した撮影画像６１００を用いて、この撮影画像６１００に対して正常発芽を示すラベルを付与することで第２の学習用画像７１００を作成する。同様に、異常発芽している種子Ｓ２２を撮影した撮影画像６２００を用いて、この撮影画像６２００に対して異常発芽を示すラベルを付与することで第３の学習用画像７２００を作成する。

【0049】

なお、アノテーションには、画像領域を指定する処理と、ラベルを付与する処理とを含むが、画像領域を指定する作業は画素単位に手作業で行ってもよいし、正常発芽又は異常発芽のいずれかのラベル付与を手作業で行ってもよい。この際、例えば、正常発芽又は異常発芽のいずれのラベルを付与するかを複数の評価者が判断してもよい。これにより、正常発芽又は異常発芽のいずれであるかを判断する際のばらつきを抑制することができる。また、所定の評価基準に基づいて学習用画像作成部１０８が自動的にアノテーションを行ってもよい。

【0050】

撮影画像に対してラベルを付与する際も同様であり、手作業でラベルを付与してもよいし、所定の評価基準に基づいて学習用画像作成部１０８が自動的にラベルを付与してもよい。また、ラベルを手作業で付与する際には、同様に、いずれのラベルを付与するかを複数の評価者が判断してもよい。

【0051】

また、学習用画像作成部１０８が自動的にアノテーションを行う際の評価基準としては、例えば、種子の根と胚軸の成長バランスを評価基準とすることが考えられる。より具体的には、根と胚軸の成長バランスが所定の条件を満たす場合（例えば、根の長さと胚軸の長さの比が或る所定の範囲内にある等）は正常発芽を示すアノテーションを当該種子の画像領域に対して行い、当該条件を満たさない場合は異常発芽を示すアノテーションを当該種子の画像領域に対して行う、等である。自動的にラベルを付与する際の評価基準も同様である。

【0052】

入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する。

【0053】

第１の判定部１０２は、第１のモデルパラメータを用いて、第１の学習用画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。

【0054】

第２の判定部１０６は、第２のモデルパラメータを用いて、第２の学習用画像又は第３の学習用画像が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類を行う。

【0055】

学習部１０９は、第１の判定部１０２による検出結果及び判定結果と第１の学習用画像に対して行われたアノテーションとの誤差を用いて、この誤差が最小となるように第１のモデルパラメータを更新する。同様に、学習部１０９は、第２の判定部１０６による判定結果と第２の学習用画像又は第３の学習用画像に対して付与されたラベルとの誤差を用いて、この誤差が最小となるように第２のモデルパラメータに含まれる第３のモデルパラメータ又は第４のモデルパラメータを更新する。

【0056】

＜学習処理＞
次に、本実施形態に係る発芽判定装置１０により第１のモデルパラメータ又は第２のモデルパラメータに含まれる第３のモデルパラメータ若しくは第４のモデルパラメータを学習する処理について、図１０を参照しながら説明する。図１０は、本実施形態に係る学習処理の一例を示すフローチャートである。

【0057】

まず、入力部１０１は、学習用画像作成部１０８により作成された学習用画像（第１の学習用画像、第２の学習用画像又は第３の学習用画像）を入力する（ステップＳ２０１）。

【0058】

次に、第１の判定部１０２又は第２の判定部１０６は、学習用画像に対してクラス分類を行う（ステップＳ２０２）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、第１の判定部１０２は、第１のモデルパラメータを用いて、第１の分類モデルにより第１の学習用画像中に含まれる種子の検出と当該種子が「正常発芽」又は「異常発芽」のいずれのクラスに属するかのクラス分類とを行う。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、第２の判定部１０６は、第３のモデルパラメータを用いて、第３の分類モデルにより第２の学習用画像が「正常発芽」又は「正常発芽以外」のいずれのクラスに属するかのクラス分類を行う。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、第２の判定部１０６は、第４のモデルパラメータを用いて、第４の分類モデルにより第３の学習用画像が「異常発芽」又は「異常発芽以外」のいずれのクラスに属するかのクラス分類を行う。

【0059】

そして、学習部１０９は、第１の判定部１０２又は第２の判定部１０６による判定結果（クラス分類結果）と学習用画像に対して行われたアノテーション又は学習用画像に付与されたラベルとの誤差を用いて、この誤差が最小となるように第１のモデルパラメータ又は第２のモデルパラメータを更新する（ステップＳ２０３）。すなわち、上記のステップＳ２０１で第１の学習用画像が入力された場合、学習部１０９は、第１の判定部１０２による各種子のクラス分類結果と当該種子の画像領域に対して行われたアノテーションとの誤差を算出し、算出した誤差が最小となるように第１のモデルパラメータを更新する。また、上記のステップＳ２０１で第２の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第２の学習用画像のクラス分類結果と当該第２の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第３のモデルパラメータを更新する。同様に、上記のステップＳ２０１で第３の学習用画像が入力された場合、学習部１０９は、第２の判定部１０６による第２の学習用画像のクラス分類結果と当該第２の学習用画像に付与されたラベルとの誤差を算出し、算出した誤差が最小となるように第４のモデルパラメータを更新する。なお、第１のモデルパラメータと第２のモデルパラメータに含まれる第３のモデルパラメータ及び第４のモデルパラメータとの更新には既知の最適化手法を用いればよい。

【0060】

以上により、本実施形態に係る発芽判定装置１０は、第１のモデルパラメータと第２のモデルパラメータを学習することができる。なお、図１０に示す学習処理では、一例として、オンライン学習により第１のモデルパラメータと第２のモデルパラメータを学習する場合について説明したが、これに限られず、例えば、バッチ学習やミニバッチ学習等により第１のモデルパラメータと第２のモデルパラメータが学習されてもよい。

【0061】

なお、入力部１０１は特許請求の範囲に記載の入力手段の一例である。第１の判定部１０２は特許請求の範囲に記載の第１の判定手段の一例である。色差分抽出部１０３は特許請求の範囲に記載の第２の作成手段の一例である。未検出物体特定部１０４は特許請求の範囲に記載の特定手段の一例である。画像切出部１０５は特許請求の範囲に記載の第３の作成手段の一例である。第２の判定部１０６は特許請求の範囲に記載の第２の判定手段の一例である。学習用画像作成部１０８は特許請求の範囲に記載の第１の作成手段及び第４の作成手段の一例である。学習部１０９は特許請求の範囲に記載の第１の学習手段及び第２の学習手段の一例である。

【0062】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【符号の説明】

【0063】

１０ 発芽判定装置
１０１ 入力部
１０２ 第１の判定部
１０３ 色差分抽出部
１０４ 未検出物体特定部
１０５ 画像切出部
１０６ 第２の判定部
１０７ 発芽率算出部
１０８ 学習用画像作成部
１０９ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】