(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-16
(45)【発行日】2025-01-24
(54)【発明の名称】鑑別装置、情報処理装置、鑑別処理プログラム、教師データの生成方法、鑑別方法および生成方法。
(51)【国際特許分類】
G06T 7/00 20170101AFI20250117BHJP
【FI】
G06T7/00 350B
(21)【出願番号】P 2020171338
(22)【出願日】2020-10-09
【審査請求日】2023-07-03
(73)【特許権者】
【識別番号】591079487
【氏名又は名称】広島県
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】時安 美奈
(72)【発明者】
【氏名】小林 賢吾
(72)【発明者】
【氏名】武氏 大輔
(72)【発明者】
【氏名】ザレンバ カイ
(72)【発明者】
【氏名】リリコ スティーヴン
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2019-170266(JP,A)
【文献】特開2019-071802(JP,A)
【文献】国際公開第2020/075793(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別装置であって、
前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、(iii)前記八重咲き苗か否かを表す正解データと、を含む教師データを用いた機械学習により学習済みモデルが生成されており、
前記複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する順位決定部と、
特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定する判定部と、を備え、
前記教師データに含まれる前記学習用光情報は、下記(1)または(2)を含む、鑑別装置;
(1)人工光が前記学習用ストックの苗で反射された第1反射光の第1学習用光情報、
(2)前記第1学習用光情報、および、自然光が前記学習用ストックの苗で反射された第2反射光の第2学習用光情報。
【請求項2】
前記教師データに含まれる前記学習用順位は、(i)子葉の学習用色相角度を前記複数の学習用ストックの苗の中で順位付けして決定した第1学習用順位と、(ii)子葉の学習用彩度を前記複数の学習用ストックの苗の中で順位付けして決定した第2学習用順位と、(iii)子葉の学習用葉面積を前記複数の学習用ストックの苗の中で順位付けして決定した第3学習用順位と、を含み、
前記順位決定部は、前記複数の対象ストックの苗のそれぞれについて、
前記対象光情報から、前記対象属性値として、子葉における対象色相角度と対象彩度と対象葉面積とを取得し、
(α)前記対象色相角度を前記複数の対象ストックの苗の中で順位付けして第1対象順位を決定し、かつ、(β)前記対象彩度を前記複数の対象ストックの苗の中で順位付けして第2対象順位を決定し、かつ、(γ)前記対象葉面積を前記複数の対象ストックの苗の中で順位付けして第3対象順位を決定し、
前記判定部は、特定の前記対象ストックの苗における前記対象光情報と前記第1対象順位と前記第2対象順位と前記第3対象順位とを前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定する、請求項1に記載の鑑別装置。
【請求項3】
前記教師データに含まれる前記学習用光情報は、前記第1学習用光情報と、前記第2学習用光情報と、を含む、請求項1または2に記載の鑑別装置。
【請求項4】
前記複数の対象ストックの苗を表す対象画像を表示画面に表示する表示装置を制御する表示制御部をさらに備え、
前記表示制御部は、前記表示画面に表示された前記対象画像のうち、前記判定部によって前記八重咲き苗であると判定された前記対象ストックの苗を表す第1画像部分、または、前記判定部によって一重咲き苗であると判定された前記対象ストックの苗を表す第2画像部分のいずれか一方をハイライト表示させる、請求項1から3のいずれか1項に記載の鑑別装置。
【請求項5】
前記第1反射光が、暗室または前記暗室以外の屋内にて照射された前記人工光が前記学習用ストックの苗で反射されたものであり、
前記第2反射光が、屋外にて照射された前記自然光が前記学習用ストックの苗で反射されたものである、請求項3に記載の鑑別装置。
【請求項6】
請求項1から5のいずれか1項に記載の鑑別装置を備える、情報処理装置。
【請求項7】
請求項1に記載の鑑別装置としてコンピュータを機能させるための鑑別処理プログラムであって、前記順位決定部および前記判定部としてコンピュータを機能させるための鑑別処理プログラム。
【請求項8】
八重咲き苗を鑑別する前の複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する順位決定部を備え、前記複数の対象ストックの苗から前記八重咲き苗を鑑別することを機械学習する鑑別装置に適用される、学習済みモデルを生成するための教師データ
の生成方法であって、
前記教師データの生成方法は、コンピュータによって実行され、
前記教師データの生成方法は、
前記教師データ
に、前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、
当該苗で反射された反射光の学習用光情報と、
子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、
前記八重咲き苗か否かを表す正解データと、を含
めるステップを含んでおり、
前記教師データは、特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを前記鑑別装置が判定する処理に用いられ、
前記教師データの生成方法は、
前記教師データに含まれる前記学習用光情報
に、下記(1)または(2)を含
めるステップを含んでいる、教師データ
の生成方法;
(1)人工光が前記学習用ストックの苗で反射された第1反射光の第1学習用光情報、
(2)前記第1学習用光情報、および、自然光が前記学習用ストックの苗で反射された第2反射光の第2学習用光情報。
【請求項9】
八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別方法であって、
前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、(iii)前記八重咲き苗か否かを表す正解データと、を含む教師データを用いた機械学習により学習済みモデルが生成されており、
前記複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する対象順位決定ステップと、
特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定する判定ステップと、を含み、
前記教師データに含まれる前記学習用光情報は、下記(1)または(2)を含む、鑑別方法;
(1)人工光が前記学習用ストックの苗で反射された第1反射光の第1学習用光情報、
(2)前記第1学習用光情報、および、自然光が前記学習用ストックの苗で反射された第2反射光の第2学習用光情報。
【請求項10】
八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別装置に用いられる学習済みモデルの生成方法であって、
前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値と、(iii)前記八重咲き苗か否かを表す正解データと、を取得するデータ取得ステップと、
前記複数の学習用ストックの苗のそれぞれについて、前記学習用属性値を前記複数の学習用ストックの苗の中で順位付けして学習用順位を決定する学習用順位決定ステップと、
前記学習用光情報と前記正解データと前記学習用順位とが含まれたデータセットを教師データとして学習モデルに入力し、当該学習モデルを機械学習させることにより前記学習済みモデルを生成する生成ステップと、を含み、
前記教師データに含まれる前記学習用光情報は、下記(1)または(2)を含む、生成方法;
(1)人工光が前記学習用ストックの苗で反射された第1反射光の第1学習用光情報、
(2)前記第1学習用光情報、および、自然光が前記学習用ストックの苗で反射された第2反射光の第2学習用光情報。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、鑑別装置、情報処理装置、鑑別処理プログラム、教師データ、鑑別方法および生成方法に関する。
【背景技術】
【0002】
切り花としてのストックは従来から盛んに栽培され、消費者に好まれている花の一つである。ストックは、10月から3月にかけて咲くアブラナ科の花で、約20cmから約80cmの高さまで成長する一年草である。このストックには一重咲きと八重咲きとがあるところ、八重咲きの方が一重咲きよりもボリューム感があり、商品価値が高い。そのため、ストックで高い収益を上げるためには、ストックが苗の状態のときに、一重咲き苗と八重咲き苗とを正確に見分けることが重要になる。以下、ストックの苗について、一重咲き苗と八重咲き苗とを見分けることを「八重鑑別」と称する。
【0003】
しかしながら、目視による八重鑑別の場合、作業者の感覚を頼りにして苗の子葉毎の微妙な違いを見分ける必要があり、熟練を要するとともに時間が掛かってしまう。そこで、初心者でも容易に八重鑑別できる技術の研究が従来から行われてきた。なお、八重鑑別の「初心者」としては、八重鑑別を全く経験したことのない者、経験年数36ヶ月未満の八重鑑別の作業者などを挙げることができる。
【0004】
例えば非特許文献1には、発芽したストックの苗の撮像画像から画像処理によって子葉の特徴量を取得し、この特徴量を用いて八重咲き苗と一重咲き苗との境界値を最適化することにより八重鑑別する方法が開示されている。
【先行技術文献】
【非特許文献】
【0005】
【文献】崔源煥、土肥誠、石束宣明、「花卉・野菜苗精密管理ロボットの開発(第1報)-画像処理によるストック苗の鑑別-」、農業機械学会誌66(2)、p.68-75、2004
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献1に開示された方法では、特徴量として形態的特徴量と色特徴量とを取得する。形態的特徴量は、子葉の形態(単葉または双葉)毎に複数の項目に細分化されて取得される。また前記の方法では、鑑別基準となる八重咲き苗と一重咲き苗との境界値を決定するために、特徴量毎に平均値と標準偏差を算出して当該特徴量を相対値化する。つまり前記の方法では、特徴量毎および項目毎に、平均値および標準偏差を算出した上でさらに相対値化の処理を行わなければならない。そのため、八重鑑別するまでの前処理の段階で、既に手間が掛かる。
【0007】
また非特許文献1に開示された方法では、形態的特徴量の項目毎に第1段階目の八重鑑別を行った後、各項目の第1段階目の鑑別結果と色特徴量とを総合評価することで、第2段階目の八重鑑別(最終の八重鑑別)を行う。そのため、八重鑑別自体も煩雑になる。これらのことから、前記の方法を用いて八重鑑別する場合に、初心者でも容易に八重鑑別できるとは必ずしも言えなかった。
【0008】
本発明の一態様は、前記の問題点に鑑みてなされたものであり、その目的は、初心者でも容易に八重鑑別できるようにすることにある。
【課題を解決するための手段】
【0009】
前記の課題を解決するために、本発明の一態様に係る鑑別装置は、八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別装置であって、前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、(iii)前記八重咲き苗か否かを表す正解データと、を含む教師データを用いた機械学習により学習済みモデルが生成されており、前記複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する順位決定部と、特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定する判定部と、を備える。
【0010】
前記構成によれば、対象光情報および対象順位を学習済みモデルに入力するだけで、判定部が、特定の対象ストックの苗が八重咲き苗か否かの判定結果を、学習済みモデルからの出力結果として取得できる。また対象光情報は、対象ストックの苗で反射された反射光から取得でき、対象順位は、複数の対象光情報の各々から取得した対象属性値を順位付けすることで取得できる。
【0011】
ここで、対象光情報等の学習済みモデルへの入力自体、対象光情報の取得自体および対象属性値の順位付け自体は、それぞれ初心者でも容易に行うことができる。例えば、デジタルカメラなどの一般的な撮像装置で撮像された撮像画像を対象光情報として用いてもよい。デジタルカメラなどの一般的な撮像装置は初心者でも簡単に操作できることから、対象光情報としての撮像画像も簡単に取得できる。これらのことから、初心者でも容易に八重鑑別することができる。
【0012】
次に、対象属性値は、同じ対象ストックの苗から取得した対象光情報に基づくデータであったとしても、当該対象ストックの苗がどの場所に配置されているかによって値が変動する。その点、前記構成によれば、学習済みモデルに対象属性値でなく対象順位を入力する。対象順位は、複数の対象ストックの苗各々の対象属性値を相対値化したデータであることから、対象順位を用いることで、複数の対象ストックの苗の配置場所が対象属性値に及ぼす影響を排除できる。よって、鑑別装置の鑑別精度が複数の対象ストックの苗の配置場所によって変動する程度を低減することができる。
【0013】
本発明の一態様に係る鑑別装置において、前記教師データに含まれる前記学習用順位は、(i)子葉の学習用色相角度を前記複数の学習用ストックの苗の中で順位付けして決定した第1学習用順位と、(ii)子葉の学習用彩度を前記複数の学習用ストックの苗の中で順位付けして決定した第2学習用順位と、(iii)子葉の学習用葉面積を前記複数の学習用ストックの苗の中で順位付けして決定した第3学習用順位と、を含み、前記順位決定部は、前記複数の対象ストックの苗のそれぞれについて、前記対象光情報から、前記対象属性値として、子葉における対象色相角度と対象彩度と対象葉面積とを取得し、(α)前記対象色相角度を前記複数の対象ストックの苗の中で順位付けして第1対象順位を決定し、かつ、(β)前記対象彩度を前記複数の対象ストックの苗の中で順位付けして第2対象順位を決定し、かつ、(γ)前記対象葉面積を前記複数の対象ストックの苗の中で順位付けして第3対象順位を決定し、前記判定部は、特定の前記対象ストックの苗における前記対象光情報と前記第1対象順位と前記第2対象順位と前記第3対象順位とを前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定してもよい。
【0014】
前記構成によれば、学習済みモデルへの入力データが、対象光情報および第1~第3対象順位のいずれか1つの場合、ならびに、対象光情報および第1~第3対象順位のいずれか2つの場合と比較して、八重鑑別の鑑別精度を向上させることができる。
【0015】
本発明の一態様に係る鑑別装置において、前記教師データに含まれる前記学習用光情報は、人工光が前記学習用ストックの苗で反射された第1反射光の第1学習用光情報と、自然光が前記学習用ストックの苗で反射された第2反射光の第2学習用光情報と、を含んでもよい。
【0016】
前記構成によれば、教師データに第1・第2学習光情報が含まれている。したがって、学習済みモデルは、対象光情報および対象順位の取得元となる複数の対象ストックの苗が人工光および自然光のいずれを照射された場合でも、一定レベルの精度で八重咲き苗か否かを正解することができる。ここで、人工光は、電球、蛍光灯およびLEDなどの人工的な光源が発する光である。また、自然光は、太陽光、月光および雲の反射光などの自然に由来する光の他、人工的な光源から放射される光以外のすべての光である。よって、複数の対象ストックの苗が人工光および自然光のいずれを照射された場合でも、鑑別精度を一定レベルに維持しつつ、初心者でも容易に八重鑑別することができる。
【0017】
本発明の一態様に係る鑑別装置において、前記複数の対象ストックの苗を表す対象画像を表示画面に表示する表示装置を制御する表示制御部をさらに備え、前記表示制御部は、前記表示画面に表示された前記対象画像のうち、前記判定部によって前記八重咲き苗であると判定された前記対象ストックの苗を表す第1画像部分、または、前記判定部によって一重咲き苗であると判定された前記対象ストックの苗を表す第2画像部分のいずれか一方をハイライト表示させてもよい。
【0018】
前記構成によれば、表示装置の表示画面を見るだけで、判定部の判定結果を把握することができる。よって、鑑別装置を用いた八重鑑別の利便性を高めることができる。
【0019】
前記の課題を解決するために、本発明の一態様に係る情報処理装置は、前記のいずれかの態様に係る鑑別装置を備える。前記構成によれば、本発明の一態様に係る鑑別装置と同様の効果を奏する。
【0020】
前記の課題を解決するために、本発明の一態様に係る教師データは、八重咲き苗を鑑別する前の複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する順位決定部を備え、前記複数の対象ストックの苗から前記八重咲き苗を鑑別することを機械学習する鑑別装置に適用される、学習済みモデルを生成するための教師データであって、前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、当該苗で反射された反射光の学習用光情報と、子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、前記八重咲き苗か否かを表す正解データと、を含み、特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを前記鑑別装置が判定する処理に用いられる。前記構成によれば、本発明の一態様に係る鑑別装置と同様の効果を奏する。
【0021】
前記の課題を解決するために、本発明の一態様に係る鑑別方法は、八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別方法であって、前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値を前記複数の学習用ストックの苗の中で順位付けして決定した学習用順位と、(iii)前記八重咲き苗か否かを表す正解データと、を含む教師データを用いた機械学習により学習済みモデルが生成されており、前記複数の対象ストックの苗のそれぞれについて、当該苗で反射された反射光の対象光情報から子葉の対象属性値を取得し、当該対象属性値を前記複数の対象ストックの苗の中で順位付けして対象順位を決定する対象順位決定ステップと、特定の前記対象ストックの苗における前記対象光情報および前記対象順位を前記学習済みモデルに入力することにより、特定の前記対象ストックの苗が前記八重咲き苗か否かを判定する判定ステップと、を含む。前記構成によれば、本発明の一態様に係る鑑別装置と同様の効果を奏する。
【0022】
前記の課題を解決するために、本発明の一態様に係る生成方法は、八重咲き苗を鑑別する前の複数の対象ストックの苗から前記八重咲き苗を鑑別するための鑑別装置に用いられる学習済みモデルの生成方法であって、前記八重咲き苗か否かが判明した後の複数の学習用ストックの苗における、(i)当該苗で反射された反射光の学習用光情報と、(ii)子葉の学習用属性値と、(iii)前記八重咲き苗か否かを表す正解データと、を取得するデータ取得ステップと、前記複数の学習用ストックの苗のそれぞれについて、前記学習用属性値を前記複数の学習用ストックの苗の中で順位付けして学習用順位を決定する学習用順位決定ステップと、前記学習用光情報と前記正解データと前記学習用順位とが含まれたデータセットを教師データとして学習モデルに入力し、当該学習モデルを機械学習させることにより前記学習済みモデルを生成する生成ステップと、を含む。前記構成によれば、本発明の一態様に係る鑑別装置と同様の効果を奏する。
【0023】
本発明の各態様に係る鑑別装置は、コンピュータによって実現してもよい。この場合、コンピュータを鑑別装置が備える各部(ソフトウェア要素)として動作させることにより鑑別装置をコンピュータにて実現させる鑑別装置の鑑別処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【0024】
本発明の一態様によれば、初心者でも容易に八重鑑別することができる。
【図面の簡単な説明】
【0025】
【
図1】本発明の一実施形態に係る情報処理装置およびセルトレーの外観図である。
【
図2】本発明の一実施形態および当該実施形態の変形例に係る情報処理装置の機能的構成、ならびに、本発明の一実施形態に係るモデル生成装置の機能的構成を示すブロック図である。
【
図3】本発明の一実施形態に係る情報処理装置による、鑑別処理の流れの一例を示すフローチャートである。
【
図4】前記情報処理装置による八重鑑別の対象となるストックの苗の外観図である。
【
図5】前記情報処理装置における、八重鑑別の結果の表示態様の一例を示す外観図である。
【
図6】前記モデル生成装置による、モデル生成処理の流れの一例を示すフローチャートである。
【
図7】本発明の一実施例における、暗室にて撮像された対象苗のTIF形式の撮像画像を示す写真である。
【
図8】前記実施例における、屋外にて撮像された対象苗のJPEG形式の撮像画像を示す写真である。
【発明を実施するための形態】
【0026】
以下、
図1~
図6を用いて、本発明の一実施形態を説明する。なお説明の便宜上、本実施形態にて説明した部材と同じ機能を有する部材については、後掲の変形例および実施例では、同じ符号を付記してその説明を繰り返さない。
【0027】
〔情報処理装置100およびセルトレー500の概要〕
まず、
図1を用いて、本発明の一実施形態に係る情報処理装置100およびセルトレー500の概要を説明する。
図1に示す情報処理装置100は、各種情報を処理するとともに八重鑑別が可能な装置である。情報処理装置100は例えば、スマートフォン、タブレット端末など可搬型の情報処理装置であってもよいし、デスクトップPC(Personal Computer)など据え置き型の情報処理装置であってもよい。あるいは、情報処理装置100は苗選別ロボットであってもよい。本実施形態では、情報処理装置100がスマートフォンであるものとする。
【0028】
情報処理装置100による八重鑑別の対象となるストックについて、その種類は限定されない。前記のストックとしては、アイアンマリン、アイアンホワイト、アイアンチェリーなどを例示することができる。以下、情報処理装置100による八重鑑別の対象となるストックを「対象ストック」と称する。
【0029】
情報処理装置100は、
図1に示すように、固定具110によって、セルトレー500の鉛直上側に配置されるように位置固定される。セルトレー500は、複数の対象ストックの種(不図示)を播種して複数の対象ストックを栽培するためのトレーである。セルトレー500には、対象ストックの種が播種されるセル501が合計200個、10行×20列のマトリックス状に形成されている。本明細書では、紙面向かって上下方向が「列」方向となり、紙面向かって左右方向が「行」方向となる。なお、セルトレー500におけるセル501の個数および配列は前記の態様に限定されず、様々な個数および配列のセル501が形成されたセルトレー500を用いることができる。
【0030】
セルトレー500には、200個すべてのセル501に対象ストックの種が1粒ずつ播種されている。そしてすべての種が、子葉503(
図4参照)が展開した状態の苗502にまで成長した段階で、情報処理装置100を用いてこれらの苗502を八重鑑別する。以下、子葉503が展開した状態の苗502を「対象苗502」と称する。対象苗502は、言い換えれば、情報処理装置100が八重咲き苗を鑑別する前の未選別の苗である。以下の説明では、単なる「セルトレー500」は、全200株の対象苗502が存在する状態のセルトレー500を指すものとする。
【0031】
例えば、子葉503が展開して本葉が出始めた頃の状態の苗(夏期であれば、播種後10日経過頃)を対象苗502としてもよいし、本葉がほぼ出終わった状態の苗(夏期であれば、播種後16日経過頃)を対象苗502としてもよい。一般的に、子葉が展開して本葉が出始めた頃の状態の苗が、八重鑑別に最も適している。
【0032】
また情報処理装置100は、八重鑑別する際、全200株の対象苗502すべてが情報処理装置100の表示画面101に表示されるようにセルトレー500に対して配置される。情報処理装置100の表示画面101とは、具体的には、情報処理装置100に備えられた表示部1(
図2参照)の表示画面101を指す。以下、表示画面101に表示された画像のうち、全200株の対象苗502すべてを表す画像部分を「対象画像」と称する。
【0033】
固定具110は、市販のものでもよいし、情報処理装置100による八重鑑別のために作製されたものでもよく、任意の固定具を用いることができる。本実施形態では、固定具110がセルトレー500に取り付け可能な構造になっており、情報処理装置100を取り付けて固定した状態の固定具110をセルトレー500に取り付けることにより、情報処理装置100をセルトレー500に対して固定する。なお、固定具110は、例えばセルトレー500が載置されている面と同じ面に載置する構造のものであってもよい。
【0034】
対象ストックは、セルトレー500で栽培されなくてもよい。対象ストックの種を、例えばポットに播種してもよいし、圃場に直接播種してもよい。また、情報処理装置100に関する上述の各説明は、後掲の変形例に係る情報処理装置200にも当てはまる。
【0035】
〔情報処理装置100の機能的構成〕
次に、
図2を用いて、情報処理装置100の機能的構成を説明する。情報処理装置100は、
図2に示すように、表示部1、操作入力部2、記憶部3、撮像部4および制御部5を備えている。
【0036】
表示部1は、後述の鑑別装置10による鑑別結果、および情報処理装置100に装備された各種機能の実行に起因する画像を、表示画面101(
図1および
図5参照)に表示する。表示部1は、本発明に係る表示装置の一例である。操作入力部2は、入力されたユーザ操作を受け付け、入力内容を制御部5に出力する。以下、本明細書において「ユーザ」とは、情報処理装置100による八重鑑別の作業者を指すものとする。本実施形態および後掲の変形例では、表示部1と操作入力部2とが一体化したタッチパネルが、情報処理装置100および200に備わっている。勿論、表示部1と操作入力部2とが別体になっていても構わない。
【0037】
記憶部3には、情報処理装置100が動作するのに必要な各種のプログラムおよびデータが記憶されている。また、ユーザは、記憶部3に各種のデータ等を記憶させることができる。撮像部4は、セルトレー500で栽培された全200株の対象苗502すべてを撮像して撮像画像を生成する撮像装置である。撮像画像には、静止画像および動画像の両方が含まれる。本実施形態では、撮像部4は、情報処理装置100としてのスマートフォンに内蔵されたカメラであるものとする。但し、情報処理装置100は撮像部4を備えていなくてもよく、例えば情報処理装置100と別体のデジタルカメラを撮像装置として用いてもよい。
【0038】
制御部5は、情報処理装置100に備えられた各装置および各部を統括的に制御する。制御部5は、鑑別装置10を有している。鑑別装置10は、全200株の対象苗502の中から八重咲き苗を鑑別するための装置であり、
図2に示すように順位決定部11、判定部12および表示制御部13を有している。順位決定部11、判定部12および表示制御部13の詳細については後述する。
【0039】
制御部5は、情報処理装置100に取り付けられた外部装置であってもよいし、情報処理装置100の通信部(不図示)を介して利用されるネットワークサーバであってもよい。あるいは、鑑別装置10が、情報処理装置100に取り付けられた外部装置であってもよい。
【0040】
〔モデル生成装置50の機能的構成〕
次に、
図2を用いて、本発明の一実施形態に係るモデル生成装置50の機能的構成を説明する。モデル生成装置50は、判定部12が実行する判定処理に用いられる学習済みモデルを生成する装置である。判定処理とは、判定部12が所定のデータを学習済みモデルに入力することにより、特定の対象苗502が八重咲き苗か否かを判定する処理である。判定処理の詳細については後述する。
【0041】
モデル生成装置50は例えば、タブレット端末など可搬型の情報処理装置であってもよいし、デスクトップPCなど据え置き型の情報処理装置であってもよい。また例えば、モデル生成装置50は、クラウド等のサーバであってもよい。本実施形態では、モデル生成装置50は、情報処理装置100との間で通信部(不図示)を介して無線通信することによりデータの送受信を行うものとする。
図2に示すように、データ取得部51、学習用順位決定部52およびモデル生成部53を備えている。
【0042】
データ取得部51は、八重鑑別DB60から、複数の学習用苗(不図示)の撮像画像と、当該複数の学習用苗の撮像画像のそれぞれに対応する正解データとを取得する。学習用苗の撮像画像はRAW形式であり、以下、「学習用RAW画像」と称する。学習用RAW画像は静止画像である。八重鑑別DB60は、学習用RAW画像および正解データが格納されているデータベースである。
【0043】
学習用苗は、八重咲き苗または一重咲き苗のいずれであるかが判明した後のストック(不図示)の苗である。以下、苗の画像が八重鑑別DB60の格納対象となっている、八重咲き苗または一重咲き苗のいずれであるかが判明した後のストックを「学習用ストック」と称する。正解データは、特定の学習用苗が八重咲き苗または一重咲き苗のいずれであるかを表すデータである。
【0044】
本実施形態では、主に熟練者によって八重鑑別が行われたストックの苗、および開花まで栽培された結果八重咲き苗または一重咲き苗のいずれであるかが判明したストックの苗を、学習用苗とする。本明細書において、「熟練者」とは、八重鑑別の正答率を平均80%以上にすることができる作業者を指す。ここで、「正答率」の「正答」とは、作業者(初心者および熟練者の双方を含む)が八重咲き苗であると鑑別した対象苗502が、実際に八重咲き苗であったことを指す。また「平均80%以上」とは、作業者が、自らの熟練度が明らかになる程度の回数(以下、基準回数)の八重鑑別を行った場合において、各回の正答率の合計値を基準回数で除した値が80%以上であることを指す。
【0045】
但し、学習用苗は上述の例に限定されない。例えば、情報処理装置100以外の情報処理装置を用いた画像解析による八重鑑別が行われたストックの苗を、学習用苗としてもよい。「画像解析による八重鑑別」としては、画像解析によって相対的に色が薄いストックの苗を選別する方法などが想定される。また、学習用ストックの種の栽培形態に特段の限定はない。
【0046】
学習用順位決定部52は、データ取得部51から取得した複数の学習用RAW画像を、それぞれTIF形式に現像する。以下、学習用RAW画像がTIF形式に現像されたものを「学習用TIF画像」と称する。そして学習用順位決定部52は、複数の学習用TIF画像を用いて、複数の学習用苗のそれぞれについて、子葉(不図示)の学習用色相角度h-1と学習用彩度C*-1と学習用葉面積s-1とを算出する。そして学習用順位決定部52は、複数の学習用苗のそれぞれについて、学習用色相角度h-1の第1学習用順位と学習用彩度C*-1の第2学習用順位と学習用葉面積s-1の第3学習用順位とを決定する。
【0047】
学習用色相角度h-1は、学習用苗の子葉の色相角度である。学習用彩度C*-1は、学習用苗の子葉の彩度である。学習用葉面積s-1は、学習用苗の子葉の葉面積である。また、学習用色相角度h-1、学習用彩度C*-1および学習用葉面積s-1は、本発明に係る学習用属性値の一例である。学習用TIF画像の詳細および第1~第3学習用順位の決定方法の詳細については、後述する。
【0048】
学習用順位決定部52は、複数の学習用苗のそれぞれにおける、学習用TIF画像と第1~第3学習用順位とのデータセットの集合を教師データとして、当該教師データをモデル生成部53に出力する。モデル生成部53は、学習用順位決定部52から取得した教師データを用いて学習モデルに機械学習させることにより、学習済みモデルを生成する。
【0049】
本実施形態では、モデル生成装置50は、情報処理装置100の外部から無線通信を行うことによって情報処理装置100との間でデータを送受信する構成となっている。しかしながら、この構成に限定されず、例えばモデル生成装置50が制御部5または鑑別装置10に内蔵されていてもよい。
【0050】
〔情報処理装置100による鑑別処理の流れ〕
次に、
図3~
図5を用いて、情報処理装置100による鑑別処理の流れの一例を説明する。鑑別処理とは、撮像部4が全200株の対象苗502すべてを撮像して撮像画像を生成する処理から、表示制御部13が表示部1に対して表示画面101の特定の画像部分をハイライト表示させる処理までの一連の処理を指す。
【0051】
はじめに、撮像部4は、操作入力部2が「撮像開始」のユーザ操作を受け付けることにより、全200株の対象苗502すべてを撮像してRAW形式の撮像画像(以下、「対象RAW画像」)を生成する。撮像部4は、対象RAW画像として静止画像を生成する。このとき情報処理装置100は、撮像部4が全200株の対象苗502すべてを同一視野で撮像できるように、セルトレー500に対して固定される(
図1および
図5参照)。但し、情報処理装置100をセルトレー500に対して固定することなく、撮像部4が、全200株の対象苗502のそれぞれを1株ずつ個別に撮像できるようにしてもよい。
【0052】
本実施形態では、セルトレー500を暗室内に載置して撮像するものとする。但し、セルトレー500を暗室以外の屋内に載置して撮像してもよいし、屋外に載置して撮像してもよい。本明細書において、「暗室」は、建物内における周囲照度が約500ルクス以上約1,000ルクス未満の空間を指す。また、「暗室以外の屋内」は、建物内における周囲照度が約100ルクス以上約2,000ルクス未満の空間を指す。さらに、「屋外」は、建物の外部における周囲照度が約2,000ルクス以上約100,000ルクス未満の空間を指す。
【0053】
また、「暗室」および「暗室以外の屋内」は、セルトレー500で栽培された全200株の対象苗502に対して人工光を照射する場所の一例である。「」さらに、「屋外」は、前記の全200株の対象苗502に対して自然光を照射する場所の一例である。但し、「暗室以外の屋内」については、前記の全200株の対象苗502に対して人工光および自然光の両方を照射する場所として、建物内の空間も含まれる。
【0054】
そして撮像部4は、対象RAW画像を生成した後、記憶部3から画像編集ソフトウェアを呼び出し、当該ソフトウェアを用いて対象RAW画像をTIF形式に現像する(
図3のS11)。以下、対象RAW画像がTIF形式に現像されたものを「対象TIF画像」と称する。対象TIF画像は、対象苗502で反射された反射光の対象光情報の一例であり、RGB色空間で表現される。撮像部4は、現像した対象TIF画像を鑑別装置10の順位決定部11に出力する。なお撮像部4は、対象RAW画像を、TIF形式ではなく例えばJPEG形式またはGIF形式に現像してもよい。
【0055】
次に、順位決定部11は、取得した対象TIF画像に二値化処理を施して二値化画像を生成する。順位決定部11は、二値化処理の際、対象TIF画像における対象苗502と背景との境界について、当該境界における色相の閾値と彩度の閾値と明度の閾値とを算出する。また順位決定部11は、二値化処理の際、全200株の対象苗502すべてについて、子葉503の対象葉面積sを算出する(
図3のS12)。
【0056】
対象葉面積sは、子葉503の表面積のことであり、本発明に係る対象属性値の一例である。
図4に示すように、1株の対象苗502につき子葉503が2つあることから、対象葉面積sは、一方の子葉503の外縁で取り囲まれた領域の面積と、他方の子葉503の外縁で取り囲まれた領域の面積とを合計した値になる。
【0057】
次に、順位決定部11は、二値化画像の色空間をRGB色空間からCIELAB色空間に変換する。CIELAB色空間は、国際照明委員会(CIE)が策定した略完全な色空間である。人間の目で見ることができるすべての色を表すことができ、画像処理に係る機器固有モデルの基準として利用することができる。
【0058】
CIELAB色空間は、L*、a*およびb*の3つの座標で構成される。L*は色の明度を表し、L*=0が黒、L*=100が白の拡散色となる。白の反射色は、L*=100よりもさらに値が高くなる。a*は、赤色/マゼンタ色と緑色との間の位置を表し、負の値が緑色寄りとなり、正の値が赤色/マゼンタ色寄りとなる。b*は、黄色と青色との間の位置を表し、負の値が青色寄りとなり、正の値が黄色寄りとなる。
【0059】
次に順位決定部11は、算出した3つの指標(色相、彩度、明度)の閾値を用いて、CIELAB色空間の二値化画像をL
*、a
*およびb
*の3つの画像(以下、「L
*画像、a
*画像、b
*画像」)に分割する(
図3のS13)。なお順位決定部11は、例えば前記3つの指標の閾値のうち、1つの指標の閾値を用いて二値化画像を分割してもよい。また例えば、順位決定部11は、前記3つの指標の閾値と異なる閾値を用いて二値化画像を分割してもよい。
【0060】
次に順位決定部11は、a
*画像およびb
*画像を用いて、全200株の対象苗502のそれぞれについて、子葉503のa
*値およびb
*値を算出する(
図3のS14)。子葉503のa
*値は、a
*画像を構成する各画素のうち、子葉503の画像領域を構成する複数の画素のa
*値を平均した値である。子葉503のb
*値は、b
*画像を構成する各画素のうち、子葉503の画像領域を構成する複数の画素のb
*値を平均した値である。
【0061】
次に順位決定部11は、全200株の対象苗502のそれぞれについて、a
*値およびb
*値を用いて子葉503の対象色相角度hおよび対象彩度C
*を算出する(
図3のS15)。対象色相角度hは、子葉503の色相角度のことである。順位決定部11は、下記の式(1)を用いて対象色相角度hを算出する。対象彩度C
*は、子葉503の彩度のことである。順位決定部11は、下記の式(2)を用いて対象彩度C
*を算出する。対象色相角度hおよび対象彩度C
*は、本発明に係る対象属性値の一例である。
【0062】
h=tan-1(b*/ a*)・・・(1)
C*=〔(a*)2+(b*)2〕1/2・・・(2)
なお順位決定部11は、二値化画像の色空間を、CIELAB色空間ではなく例えばCIELCh色空間に変換してもよい。この場合、順位決定部11は、CIELCh色空間の二値化画像を分割して得られたC*画像およびh*画像から、子葉503の対象色相角度hおよび対象彩度C*を直接算出することができる。
【0063】
次に順位決定部11は、全200株の対象苗502のそれぞれについて、対象色相角度hを全200株の対象苗502の中で順位付けして第1対象順位を決定する。また順位決定部11は、全200株の対象苗502のそれぞれについて、対象彩度C
*を全200株の対象苗502の中で順位付けして第2対象順位を決定する。さらに順位決定部11は、全200株の対象苗502のそれぞれについて、対象葉面積sを全200株の対象苗502の中で順位付けして第3対象順位を決定する(以上、
図3のS16:対象順位決定ステップ)。
【0064】
順位決定部11は、第1~第3対象順位のいずれについても順位を数値で規定し、順位が高くなるほど数値を小さく規定する。例えば特定の対象苗502について、第1対象順位が最も高い場合、順位決定部11は、当該特定の対象苗502の第1対象順位を数値「1」で規定する。また順位決定部11は、第1~第3対象順位の順位を規定する数値を「1」ずつ増減することで、順位付けする。例えば特定の対象苗502について、第1対象順位が最も低い場合、順位決定部11は、当該特定の対象苗502の第1対象順位を数値「200」で規定する。この順位付けの場合、順位が最も高い第1対象順位を数値「1」で規定することが前提となる。
【0065】
なお、この順位付けの方法はあくまで一例であり、順位決定部11は、様々な方法で第1~第3対象順位の順位付けを行うことができる。例えば、順位決定部11は、第1~第3対象順位のいずれについても順位が高くなるほど数値が大きくなるように規定してもよい。また例えば、順位決定部11は、第1~第3対象順位の順位を規定する数値を「2(つまり、「1」以外の自然数)」ずつ増減することで、順位付けしてもよい。
【0066】
順位付けを終えた順位決定部11は、対象TIF画像、および全200株の対象苗502すべての第1~第3対象順位を判定部12に出力する。
【0067】
次に、判定部12は、モデル生成装置50(
図2および
図6参照)から学習済みモデルを呼び出す。そして判定部12は、対象TIF画像、および全200株の対象苗502すべての第1~第3対象順位を学習済みモデルに入力することにより、全200株の対象苗502のそれぞれについて、八重咲き苗か否かを判定する(
図3のS17:判定ステップ)。なお、学習済みモデルは、例えば判定部12のメモリ(不図示)または記憶部3に予め記憶されていてもよい。
【0068】
具体的には判定部12は、全200株の対象苗502のそれぞれについて、八重咲き苗か否かの判定結果を、学習済みモデルからの出力結果として取得する。学習済みモデルからは、特定の対象苗502が八重咲き苗である旨の第1判定結果と、特定の対象苗502が一重咲き苗である旨の第2判定結果とが出力される。モデル生成装置50による学習済みモデルの生成については後述する。
【0069】
全200株の対象苗502のそれぞれについて、学習済みモデルから第1判定結果または第2判定結果のいずれかを取得した判定部12は、これらの判定結果を表示制御部13に出力する。なお、順位決定部11は、対象TIF画像および第1~第3対象順位を例えば記憶部3に一旦記憶させてもよい。また、判定部12は、判定結果を例えば記憶部3に一旦記憶させてもよい。
【0070】
次に表示制御部13は、判定部12から取得した判定結果に基づいて、表示部1に対して、表示画面101に表示された特定の画像部分をハイライト表示させる(
図3のS18)。表示制御部13は、このハイライト表示の他、表示部1による表示画面101の表示を制御する。
【0071】
具体的には表示部1は、
図5に示すように、表示画面101に表示された対象画像のうち、判定部12が一重咲き苗であると判定した(第2出力結果を出力した)対象苗502を表す第2画像部分104の周囲を取り囲むように、環状のマーク102を表示する。このマーク102の表示は、前記判定結果に基づく表示制御部13の表示制御によって行われる。このようなハイライト表示がなされることにより、ユーザは表示画面101を見ながら確実に苗を間引くことができ、間引き作業を簡便かつ迅速・確実に行うことができる。
【0072】
表示制御部13は、表示部1に対してマーク102の大きさ・色を調整させることができる。但し、情報処理装置100による八重鑑別後、ユーザが表示画面を見ながら特定の対象ストックの苗を間引くことから(
図1および
図5参照)、マーク102の大きさ・色の調整は、ユーザの間引き作業に支障を来さない範囲内で行われるのが好ましい。
【0073】
例えばマーク102の大きさを小さくする場合には、ユーザが間引こうとする苗が見え難くならないように、マーク102と第2画像部分104とが重なる領域をなるべく少なくするのが好ましい。また例えば、マークの色を調整する場合には、ユーザが間引こうとする苗が見え難くならないようにすべく、過度の蛍光色を避けるのが好ましい。一方、ユーザが第2画像部分104を認識し易くなるようにすべく、暗い色も避けるのが好ましい。
【0074】
なお、表示制御部13の表示制御による表示画面101のハイライト表示は、上述の表示態様に限定されない。例えば表示部1は、表示画面101に表示された対象画像のうち、判定部12が八重咲き苗であると判定した(第1出力結果を出力した)対象苗502を表す第1画像部分103の周囲を取り囲むように、マーク102を表示してもよい。また例えば、マーク102を、第1画像部分103または第2画像部分104の周囲を取り囲む程度の大きさの中空三角形状、中空四角形状としてもよい。さらには、マーク102の表示の替わりに、第1画像部分103または第2画像部分104を発光させてもよい。この場合、ユーザが間引こうとする苗が見え難くならない程度に発光させるのが好ましい。
【0075】
〔モデル生成装置50によるモデル生成処理の流れ〕
次に、
図6を用いて、モデル生成装置50によるモデル生成処理の流れの一例を説明する。モデル生成処理とは、データ取得部51が八重鑑別DB60から学習用RAW画像および正解データを取得する処理から、モデル生成部53が学習済みモデルを生成する処理までの一連の処理を指す。
【0076】
はじめにデータ取得部51は、八重鑑別DB60から、1株の学習用苗についての学習用RAW画像と正解データとのデータセット(以下、「基本データセット」)を複数セット取得する。このとき、データ取得部51は、八重鑑別DB60から基本データセットを任意の数だけ取得することができる。
【0077】
基本データセットの取得数は、学習済みモデルを用いた八重鑑別の鑑別精度を向上させる観点に基づいて、例えばユーザがモデル生成装置50を操作することで任意に設定してもよい。本実施形態では、データ取得部51が、八重鑑別DB60に格納されているすべての基本データセットを取得するものとする。データ取得部51は、取得した基本データセットを学習用順位決定部52に出力する。
【0078】
次に、学習用順位決定部52は、モデル生成装置50の記憶部(不図示)から画像編集ソフトウェアを呼び出し、当該ソフトウェアを用いて学習用RAW画像をTIF形式に現像して学習用TIF画像を生成する(S21:データ取得ステップ)。学習用TIF画像は、学習用苗で反射された反射光の学習用光情報の一例であり、RGB色空間で表現される。
【0079】
次に、学習用順位決定部52は、取得したTIF画像に二値化処理を施して二値化画像を生成する。また学習用順位決定部52は、二値化処理の際、複数の学習用苗すべてについて、子葉の学習用葉面積s-1を算出する(S22:データ取得ステップ)。学習用葉面積s-1の算出方法は、対象葉面積sの算出方法と同様である(
図4参照)。
【0080】
次に、学習用順位決定部52は、二値化画像の色空間をRGB色空間からCIELAB色空間に変換し、3つの指標(色相、彩度、明度)の閾値を用いて、CIELAB色空間の二値化画像をL*画像、a*画像、b*画像に分割する(S23)。次に順位決定部11は、a*画像およびb*画像を用いて、複数の学習用苗のそれぞれについて、子葉のa*値およびb*値を算出する(S24)。学習用苗の子葉のa*値およびb*値は、対象苗502の子葉503のa*値およびb*値と同様に定義される。
【0081】
次に学習用順位決定部52は、複数の対象苗502のそれぞれについて、a*値およびb*値を用いて子葉の学習用色相角度h-1および学習用彩度C*-1を算出する(S25:データ取得ステップ)。学習用色相角度h-1は、対象色相角度hと同様に、前記の式(1)を用いて算出される。また学習用彩度C*は、対象彩度C*と同様に、前記の式(2)を用いて算出される。
【0082】
次に学習用順位決定部52は、複数の学習用苗のそれぞれについて、学習用色相角度h-1を複数の学習用苗の中で順位付けして第1学習用順位を決定する。また学習用順位決定部52は、複数の学習用苗のそれぞれについて、学習用彩度C*-1を複数の学習用苗の中で順位付けして第2学習用順位を決定する。さらに学習用順位決定部52は、複数の学習用苗のそれぞれについて、学習用葉面積s-1を複数の学習用苗の中で順位付けして第3学習用順位を決定する(以上、S26:学習用順位決定ステップ)。
【0083】
第1~第3学習用順位の順位付けの方法は、第1~第3対象順位の順位付けの方法と同様である。順位付けを終えた学習用順位決定部52は、複数の学習用苗すべての学習用TIF画像および第1~第3学習用順位で構成されるデータセットを、教師データとしてモデル生成部53に出力する。
【0084】
次にモデル生成部53は、学習用順位決定部52から取得した教師データを学習モデルに入力することにより、当該学習モデルに機械学習させて学習済みモデルを生成する(S27:生成ステップ)。学習モデルは、例えばモデル生成部53のメモリ(不図示)に記憶されていてもよいし、モデル生成装置50の記憶部に記憶されていてもよい。
【0085】
学習モデルとしては、例えばCNN(Convolutional Neutal Natwork)を用いることができる。また例えば、CNNとRNN(Recurrent Neutal Natwork)とを組み合わせた、あるいはCNNとLSTM(Long Short-Term Memory)とを組み合わせた学習モデルを用いることもできる。
【0086】
学習済みモデルの生成には、多項ロジスティック回帰分析等の公知の機械学習アルゴリズムが使用されてよい。あるいは、公知のニューラルネットワーク技術(例:公知のディープラーニング技術)を用いて学習済みモデルを生成してもよい。生成された学習済みモデルは、例えばモデル生成部53のメモリに一旦記憶されてもよいし、モデル生成装置50の記憶部に一旦記憶されてもよい。
【0087】
次にモデル生成部53は、情報処理装置100から学習済みモデルの出力の指令を受信することにより、情報処理装置100の判定部12に学習済みモデルを出力する(S28)。情報処理装置100からの前記指令の送信は、例えば、情報処理装置100の操作入力部2が「撮像開始」のユーザ操作を受け付けたことをトリガとして行われる。
【0088】
モデル生成装置50は、八重鑑別DB60への新たな基本データセットの格納、教師データのデータ構成の変更などをトリガとして、適宜、
図6のフローチャートにおけるS21~S27の各処理を実行する。
【0089】
〔変形例〕
<情報処理装置100の変形例>
(対象順位の個数および種類)
上述した情報処理装置100の構成および処理はあくまで一例であり、複数の異なる構成および処理を採用することができる。まず例えば、情報処理装置100の判定部12は、第1~第3対象順位のうち、いずれか1つまたはいずれか2つの対象順位を学習済みモデルに入力して、特定の対象苗502が八重咲き苗か否かを決定してもよい。このように学習済みモデルへの入力データの数を減らすことにより、八重鑑別の前処理を簡略化することができる。この場合、教師データに含まれる第1~第3学習用順位も、学習済みモデルへの入力データに対応させていずれか1つまたはいずれか2つの学習用順位とする。
【0090】
また例えば、情報処理装置100の判定部12は、第1~第3対象順位に加えて別の対象順位を1つ以上学習済みモデルに入力してもよい。このように学習済みモデルへの入力データの数を増やすことにより、判定部12の判定精度を向上させることができる。別の対象順位としては、例えば子葉503の色差を順位付けして決定した対象順位を想定することができる。この別の対象順位は、第1~第3対象順位のすべての替わりに用いられてもよいし、第1~第3対象順位のいずれか1つと入れ替えて用いられてもよい。教師データに含まれる第1~第3学習用順位の数の増減については、上述した通りである。
【0091】
(カラーセンサの使用)
また、情報処理装置100の変形例として、例えば
図2に示す情報処理装置200を想定することができる。情報処理装置200は、撮像部4に替えてカラーセンサ6を備えている。つまり情報処理装置200は、対象苗502からの反射光の対象光情報が、TIF画像ではなくカラーセンサ6によって検出される検出情報となっている。カラーセンサ6を用いることにより、対象光情報が対象TIF画像の場合と比較してa
*値およびb
*値の取得処理が簡単になり、処理コストを低減させることができる。
【0092】
カラーセンサ6は、光源および受光部(ともに不図示)を有しており、光源から出射した光が対象苗502に当たって反射した反射光を、受光部で検出する構成になっている。カラーセンサ6は、RGB値を出力するものであってもよく、a*値およびb*値を直接出力するものであってもよい。カラーセンサ600がRGB値を出力する場合、順位決定部11は、取得したRGB値に基づいてa*値およびb*値を算出する。
【0093】
a*値およびb*値を直接出力するカラーセンサ6の具体例としては、色彩色差計(コニカミノルタ社製;CR-200)を例示することができる。この色彩色差計によるa*値およびb*値の取得方法は、以下の通りである。色彩色差計の光源をCまたはD65のいずれかに設定する。測定開始前には白色校正板によって白色校正を行う。すべての対象苗502の測定は同一の設定および校正条件で行う。対象苗502を白色校正板に置き、設定・校正済みの色彩色差計を用いて、対象苗502毎にa*値およびb*値を測定する。
【0094】
(判定結果の表示方法)
また情報処理装置100は、表示制御部13が、判定部12の判定結果を表示画面101にハイライト表示させなくてもよい。例えば表示制御部13は、判定部12の判定処理が終了した後、操作入力部2が「鑑別結果表示」のユーザ操作を受け付けることにより、表示部1に対して、表示画面101に鑑別結果を文字表示(例えば、「10番の苗:八重咲き苗」)させてもよい。なお、この文字表示は、情報処理装置100以外の情報処理装置の表示画面に表示されてもよい。この場合、表示制御部13は、情報処理装置100以外の情報処理装置の表示部に対して、前記の文字表示を指示する。
【0095】
<モデル生成装置50の変形例>
上述したモデル生成装置50の構成および処理はあくまで一例であり、複数の異なる構成および処理を採用することができる。例えばモデル生成装置50は、学習用順位決定部52が、教師データを構成する学習用TIF画像として第1学習用TIF画像と第2学習用TIF画像とを現像してもよい。第1学習用TIF画像は、暗室にて照射された人工光が学習用苗で反射された、第1反射光の第1学習用光情報の一例である。また第2学習用TIF画像は、屋外にて照射された自然光が学習用苗で反射された第2反射光の第2学習用光情報の一例である。
【0096】
このような2種類の学習用TIF画像を教師データに含めることにより、八重鑑別の対象となる対象苗502が暗室および屋外のいずれに配置されていた場合でも、学習済みモデルは一定レベルの精度で八重咲き苗か否かを正解することができる。なお、学習用順位決定部52が第1学習用TIF画像と第2学習用TIF画像とを現像する場合、八重鑑別DB60には、暗室で撮像された学習用RAW画像と、屋外で撮像された学習用RAW画像とが格納されていることが前提となる。
【0097】
〔ソフトウェアによる実現例〕
鑑別装置10の制御ブロック(特に順位決定部11および判定部12)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
【0098】
後者の場合、鑑別装置10は、各機能を実現するソフトウェアであるプログラム(鑑別処理プログラム)の命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、前記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、前記コンピュータにおいて、前記プロセッサが前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。
【0099】
前記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。前記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して前記コンピュータに供給されてもよい。なお、本発明の一態様は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【0100】
〔実施例〕
次に、
図7および
図8を用いて、本発明の実施例1~3を説明する。実施例1~3および比較例1~3では、
図7および
図8に示すように、セルトレー500に形成された200個すべてのセル501に対象ストック(アイアンマリン)の種を1粒ずつ播種してミスト散水下で育苗することにより、対象苗502を栽培した。さらに、情報処理装置100としてPC(型番;NG-im620GA1、マウスコンピューター社製)を用い、撮像部4の代わりに撮像装置として「iPhone6s(登録商標;アップル社製)」を用いた。
【0101】
<撮像方法>
実施例1~3および比較例1~3では、子葉503が展開して本葉が出始めた状態になった時点で、全200株の対象苗502すべてをセルトレー500の鉛直上側から撮像し、対象苗502の撮像画像および学習用苗の撮像画像を生成した。また、同一のセルトレー500につき、暗室および屋外の2箇所で撮像した。暗室の周囲照度は約500ルクスであった。また、屋外の周囲照度は約20,000~約100,000ルクスであった。
【0102】
暗室で撮像した前記の対象苗502の撮像画像は、RAW形式とした。同様に、暗室で撮像した前記の学習用苗の撮像画像についても、RAW形式とした(以下、「学習用RAW画像」)。屋外で撮像した前記の対象苗502の撮像画像は、RAW形式ではなくJPEG形式とした。同様に、屋外で撮像した前記の学習用苗の撮像画像についても、RAW形式ではなくJPEG形式とした(以下、「学習用JPEG画像」)。
【0103】
暗室では、情報処理装置100のカメラを用いず、替わりにデジタルカメラ(ニコンD3200;ニコン社製)を用いて撮像した。撮像する際、デジタルカメラのレンズ表面とセルトレー500の上面(セル501が形成されている側の面)とが略平行になるように、デジタルカメラをセルトレー500に対して位置固定した。位置固定には、デジタルカメラ専用の固定具(不図示)を使用した。また、セルトレー500を照らす光源としてレフランプ(PRF-500WB/D、色温度500K;パナソニック社製)を用いた。
図7に示す写真は、暗室で撮像された対象苗502のRAW形式の撮像画像をTIF形式に現像した画像の一例である。
【0104】
一方、屋外では、情報処理装置100のカメラを用いず、iPhone6s(登録商標;アップル社製)のカメラを用いて撮像した。iPhone6s(登録商標;アップル社製)を固定具110等で位置固定することなく、ユーザがiPhone6s(登録商標;アップル社製)を把持して撮像した。撮像する際、カメラのレンズ表面とセルトレー500の上面とが略平行になるようにした。また、前記のレフランプのような人工光源を用いることなく、自然光下で撮像を行った。
図8に示す写真は、屋外で撮像された対象苗502のJPEG形式の撮像画像の一例である。
【0105】
<学習済みモデルの生成方法>
実施例1~3では、学習用JPEG画像、当該学習用JPEG画像に基づいて決定された第1~第3学習用順位および正解データを1組のデータセットとした複数のデータセットで構成される教師データを用いて、学習済みモデルを生成した。実施例1~3の学習用JPEG画像には、アイアンマリンの苗を学習用苗とした学習用RAW画像をTIF形式に現像した後JPEG形式に変換した画像、およびJPEG画像を用いた。
【0106】
学習モデルとしてCNNを用い、前記の教師データをCNNに入力して当該CNNを機械学習させた。機械学習には、オープンソフトウェアライブラリである「TensorFlow(登録商標;グーグル社製)」を用いた。また、機械学習および学習済みモデルの生成は、モデル生成装置50でもあるPC(型番;NG-im620GA1、マウスコンピューター社製)にTensorFlowをインストールして行った。
【0107】
一方比較例3では、1組のデータセットが、学習用JPEG画像と、子葉の学習用色相角度h-1、学習用彩度C*-1および学習用葉面積s-1の各絶対値と、正解データとで構成される教師データを用いて、学習済みモデルを生成した。その他については、実施例1~3と同様である。
【0108】
<八重鑑別および鑑別結果>
(実施例の八重鑑別)
まず、実施例1として、暗室で撮像された学習用JPEG画像23枚を用いて教師データを生成した。次に、モデル生成装置50において、この教師データを用いてCNNに機械学習させることにより学習済みモデルを生成した。次に、情報処理装置100において、暗室で撮像された対象苗502の対象JPEG画像14枚および対応する第1~第3対象順位を学習済みモデルに入力することにより、対象JPEG画像14枚のそれぞれについて判定結果(鑑別結果)を得た。なお、上述した通り、PC(型番;NG-im620GA1、マウスコンピューター社製)を、モデル生成装置50として用いるとともに情報処理装置100としても用いた。
【0109】
また、実施例2として、暗室および屋外で撮像された学習用JPEG画像32枚を用いて教師データを生成した。学習用JPEG画像全32枚のうち、暗室で撮像された学習用JPEG画像は20枚であり、屋外で撮像された学習用JPEG画像は12枚であった。
【0110】
次に、モデル生成装置50において、この教師データを用いてCNNに機械学習させることにより学習済みモデルを生成した。次に、情報処理装置100において、暗室および屋外で撮像された対象苗502の対象JPEG画像23枚、ならびに対応する第1~第3対象順位を学習済みモデルに入力することにより、対象JPEG画像23枚のそれぞれについて判定結果(鑑別結果)を得た。対象JPEG画像全23枚のうち、暗室で撮像された対象JPEG画像は5枚であり、屋外で撮像された対象JPEG画像は18枚であった。
【0111】
さらに、実施例3として、暗室および屋外で撮像された学習用JPEG画像142枚を用いて教師データを生成した。学習用JPEG画像全142枚のうち、暗室で撮像された学習用JPEG画像は65枚であり、屋外で撮像された学習用JPEG画像は77枚であった。
【0112】
次に、モデル生成装置50において、この教師データを用いてCNNに機械学習させることにより学習済みモデルを生成した。次に、情報処理装置100において、暗室および屋外で撮像された対象苗502の対象JPEG画像54枚、ならびに対応する第1~第3対象順位を学習済みモデルに入力することにより、対象JPEG画像54枚のそれぞれについて判定結果(鑑別結果)を得た。対象JPEG画像全54枚のうち、暗室で撮像された対象JPEG画像は21枚であり、屋外で撮像された対象JPEG画像は33枚であった。
【0113】
(比較例の八重鑑別)
まず比較例1として、暗室で撮像された対象TIF画像2枚のそれぞれについて、当該対象TIF画像を用いて全200株の対象苗502すべての子葉の彩度を算出した。この彩度の算出には、前記の式(2)を用いた。次に、算出した彩度のそれぞれについて、対象苗502全200株の中で順位付けし、上位50%に含まれる対象苗502を八重咲き苗と判定(鑑別)し、下位50%に含まれる対象苗502を一重咲き苗と判定(鑑別)した。
【0114】
また比較例2として、屋外で撮像された対象JPEG画像2枚のそれぞれについて、当該対象JPEG画像を用いて全200株の対象苗502すべての子葉の彩度を算出した。彩度の算出には、比較例1と同様に前記の式(2)を用いた。次に、算出した彩度のそれぞれについて、対象苗502全200株の中で順位付けし、上位50%に含まれる対象苗502を八重咲き苗と判定(鑑別)し、下位50%に含まれる対象苗502を一重咲き苗と判定(鑑別)した。なお、比較例1および2では、情報処理装置100であるPC(型番;NG-im620GA1、マウスコンピューター社製)と異なるPCを用いて、上述の一連の処理を行った。
【0115】
さらに、比較例3として、暗室で撮像された学習用JPEG画像12枚を用いて教師データを生成した。次に、モデル生成装置50において、この教師データを用いてCNNに機械学習させることにより学習済みモデルを生成した。次に、情報処理装置100において、暗室で撮像された対象苗502の対象JPEG画像5枚と、対応する対象色相角度h、対象彩度C*および対象葉面積sの各絶対値とを学習済みモデルに入力することにより、JPEG画像5枚のそれぞれについて判定結果(鑑別結果)を得た。
【0116】
(鑑別結果)
実施例1~3については、下記の表1に示すように、実施例1の鑑別結果の最終正答率は83%となった。また、実施例2の鑑別結果の最終正答率は76%となった。さらに、実施例3の鑑別結果の最終正答率は84%となった。比較例1~3については、下記の表2に示すように、比較例1の鑑別結果の最終正答率は71%となった。また、比較例2の鑑別結果の最終正答率は68%となった。さらに、比較例3の鑑別結果の最終正答率は74%となった。
【0117】
各実施例および各比較例の最終正答率は、下記の式(3)~(5)を用いて算出した。なお、表1中および表2中の「学習用画像枚数」が学習用JPEG画像の枚数に相当する。また、同表中の「テスト用画像枚数」が対象TIF画像またはJPEG画像の枚数に相当する。さらに、同表中の「正答率」が最終正答率に相当する。
【0118】
【0119】
【0120】
八重咲き苗の正答率=(八重咲き苗と判定され、かつ、実際に八重咲き苗であった対象苗502の数)/((八重咲き苗と判定された対象苗502の数)-(八重咲き苗と判定され、かつ、枯死した対象苗502)の数)×100[%]・・・(3)
一重咲き苗の正答率=(一重咲き苗と判定され、かつ、実際に一重咲き苗であった対象苗502の数)/((一重咲き苗と判定された対象苗502の数)-(一重咲き苗と判定され、かつ、枯死した対象苗502)の数)×100[%]・・・(4)
最終正答率=((八重咲き苗の正答率)-(一重咲き苗の正答率))/2[%]・・・(5)
(考察)
一般的に、暗室で撮像したストックの苗の撮像画像を用いて八重鑑別する方が、屋外で撮像したストックの苗の撮像画像を用いて八重鑑別するよりも鑑別精度が向上する。なぜなら屋外で撮像された撮像画像は、例え被写体が同じであっても、天候、撮影場所等の違いによって撮像画像に映し出される苗の色が大きく変化するためである。しかしながら前記の鑑別結果にて示された通り、屋外で撮像された対象JPEG画像18枚を含む、最終正答率が最も低い実施例2(最終正答率:76%)でも、最終正答率が最も高い比較例3(最終正答率:74%)より最終正答率が高くなった。
【0121】
このことから、本発明の一態様に係る情報処理装置は、屋外で撮像された対象JPEG画像を鑑別対象に含めて八重鑑別しても、暗室で撮像された対象JPEG画像を鑑別対象とした従来の八重鑑別と同等以上の鑑別精度で八重鑑別できることが判明した。また、教師データを構成するパラメータおよび学習済みモデルへの入力データとして、色相角度、彩度および葉面積の各絶対値を用いるよりも、各絶対値を所定のグループ内で順位付けして相対値化した方が、鑑別精度が向上することが判明した。
【0122】
さらに、学習用JPEG画像の枚数を実施例2(32枚)より増やした以外(142枚)、学習済みモデルの生成条件(学習条件)が実施例2と略同じである実施例3の方が、実施例2より最終正答率が高くなった(最終正答率:84%)。また、実施例3の最終正答率は、暗室で撮像された学習用JPEG画像および対象JPEG画像のみ用いた実施例1(最終正答率:83%)と略同一の最終正答率となった。これらのことから、学習用JPEG画像の枚数を増やすことにより、屋外で撮像された学習用JPEG画像および対象JPEG画像を含めても、本発明の一態様に係る情報処理装置の鑑別精度を従来の八重鑑別と同等以上にできることが判明した。
【0123】
〔付記事項〕
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態および変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0124】
1 表示部(表示装置)
10 鑑別装置
11 順位決定部
12 判定部
13 表示制御部
100、200 情報処理装置
103 第1画像部分
104 第2画像部分
502 対象苗(対象ストックの苗)
503 子葉