(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-12-06
(45)【発行日】2022-12-14
(54)【発明の名称】情報処理システムおよび分光計測器
(51)【国際特許分類】
A01G 7/00 20060101AFI20221207BHJP
【FI】
A01G7/00 601C
A01G7/00 603
(21)【出願番号】P 2022017173
(22)【出願日】2022-02-07
【審査請求日】2022-07-19
【早期審査対象出願】
(73)【特許権者】
【識別番号】504173471
【氏名又は名称】国立大学法人北海道大学
(73)【特許権者】
【識別番号】504177284
【氏名又は名称】国立大学法人滋賀医科大学
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】高橋 幸弘
(72)【発明者】
【氏名】大野 辰遼
(72)【発明者】
【氏名】成瀬 延康
(72)【発明者】
【氏名】石田 百合乃
【審査官】田辺 義拓
(56)【参考文献】
【文献】国際公開第2016/181743(WO,A1)
【文献】特開2003-009664(JP,A)
【文献】国際公開第2018/038052(WO,A1)
【文献】特開2021-012432(JP,A)
【文献】特開2020-122681(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G01N 21/27
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
光源からの光に関するスペクトルデータおよび前記光の測定時の測定条件データと、植物の生長に関連する植物状態データおよび/または収穫結果データとを予め対応付けたデータベースを格納する記憶装置と、
前記植物について、ユーザによる測定時に適用されるユーザ測定条件であって、測定時の角度に関するデータ、および予測したい植物状態および/または収穫結果に関するデータを含むユーザ測定条件の入力を受け付けるインタフェース装置と、
前記ユーザ測定条件に基づいて前記データベースを参照することにより、前記ユーザ測定条件の下で測定すべき、前記光源からの光に含まれる少なくとも2つの波長を決定する演算回路と
を備える、情報処理システム。
【請求項2】
前記演算回路は、少なくとも2つの波長帯域であって、各々が前記少なくとも2つの波長を一つずつ含む波長帯域を決定する、請求項1に記載の情報処理システム。
【請求項3】
前記光源は太陽であり、
前記演算回路は、前記太陽の光に含まれる波長帯域から、前記少なくとも2つの波長の各々を含む、30ナノメートル未満の幅、および、スペクトル半値幅の一方、を有する波長帯域を決定する、
請求項2に記載の情報処理システム。
【請求項4】
前記演算回路は、決定した前記少なくとも2つの波長の値を含む情報を出力する、請求項1から3のいずれかに記載の情報処理システム。
【請求項5】
前記データベースにおいて、
前記スペクトルデータは、
前記光源からの光に含まれる複数の波長、
各波長の強度、および
前記植物において反射された前記各波長の光の反射強度
のデータを含み、
前記測定条件データは、前記光を計測器で測定した時点における、
前記計測器から見た前記光源の仰角、
前記計測器の仰角、および
前記計測器と前記光源との方位角差
のデータを含み、
前記植物状態データが含まれる場合には、前記植物状態データは、
前記植物の生育状態、
前記植物に発生した病害虫の状態、
前記植物の成分、および
前記植物が生育した土壌の状態
のうちの少なくとも1つを示すデータを含み、
前記収穫結果データが含まれる場合には、前記収穫結果データは、
前記植物の収穫量、および
前記植物の収穫時期
のうちの少なくとも1つを示すデータを含む、請求項1から4のいずれかに記載の情報処理システム。
【請求項6】
前記演算回路は、前記ユーザ測定条件に含まれる前記角度に関するデータが、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差、と一致する、または所定範囲内に入る場合に、前記測定条件データに対応付けられた前記スペクトルデータを用いて、前記少なくとも2つの波長を決定する、請求項5に記載の情報処理システム。
【請求項7】
前記演算回路は、前記ユーザ測定条件に含まれる前記角度に関するデータと一致するよう、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差に基づいて内挿補間または外挿補間を行い、同じ内挿補間または外挿補間を行ったスペクトルデータを用いて、前記少なくとも2つの波長を決定する、請求項5に記載の情報処理システム。
【請求項8】
前記演算回路は、
前記複数の波長から、互いに異なる2つの波長の組を選択し、
複数の場所の各々における前記2つの波長の組の指標値を算出し、
前記複数の場所の各々における植物状態および/または収穫結果を取得し、
前記指標値と前記植物状態および/または収穫結果との相関の程度を示す相関係数を算出し、
前記相関係数が0.7以上を示す前記2つの波長の組を、前記少なくとも2つの波長として決定する、請求項1から7のいずれかに記載の情報処理システム。
【請求項9】
前記演算回路は、前記相関係数が0.9以上を示す前記2つの波長の組を、前記少なくとも2つの波長として決定する、請求項8に記載の情報処理システム。
【請求項10】
前記演算回路は、前記複数の場所における各測定条件下で計測された前記2つの波長の各々の強度、および、各波長の前記植物における反射強度から、前記各波長の反射率を算出し、前記2つの波長の組の指標値として、前記各波長の反射率を用いて前記2つの波長の正規化分光指数を算出する、請求項8または9に記載の情報処理システム。
【請求項11】
請求項8から10のいずれかに記載の情報処理システム
の前記演算回路を用いて、前記少なくとも2つの波長を決定し、
決定された前記少なくとも2つの波長の光をそれぞれ通過させる光学フィルタ
をセットし、
前記光学フィルタを透過した、前記少なくとも2つの波長の光を検出するイメージセンサ
を実装する、
分光計測器
の製造方法。
【請求項12】
光源からの光に関するスペクトルデータおよび前記光の測定時の測定条件データと、植物の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する記憶装置と、
請求項11に記載の分光計測器を用いた前記植物の撮影時の撮影条件であって、撮影時の前記少なくとも2つの波長の光の強度、前記植物からの反射光の強度、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータを含む撮影条件の入力を受け付けるインタフェース装置と、
前記撮影条件、および、前記少なくとも2つの波長の各値に基づいて前記データベースを参照することにより、将来の前記植物の状態および/または収穫結果を予測する演算回路と
を備える、情報処理システム。
【請求項13】
前記データベースにおいて、
前記スペクトルデータは、
前記光源からの光に含まれる複数の波長、
各波長の強度、および
前記植物において反射された前記各波長の光の反射強度
のデータを含み、
前記測定条件データは、前記光を計測器で測定した時点における、
前記計測器から見た前記光源の仰角、
前記計測器の仰角、および
前記計測器と前記光源との方位角差
のデータを含み、
前記植物状態データが含まれる場合 には、前記植物状態データは、
前記植物の生育状態、
前記植物に発生した病害虫の状態、
前記植物の成分、および
前記植物が生育した土壌の状態
のうちの少なくとも1つを示すデータを含み、
前記収穫結果データが含まれる場合には、前記収穫結果データは、
前記植物の収穫量、および
前記植物の収穫時期
のうちの少なくとも1つを示すデータを含む、請求項12に記載の情報処理システム。
【請求項14】
前記演算回路は、前記撮影条件に含まれる、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータが、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差、と一致する、または所定範囲内に入る場合に、前記測定条件データに対応付けられた前記植物状態データおよび/または 収穫結果データを用いて、将来の前記植物の状態および/または収穫結果を予測する、請求項13に記載の情報処理システム。
【請求項15】
前記演算回路は、前記撮影条件に含まれる、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータと一致するよう、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差に基づいて内挿補間または外挿補間を行い、同じ内挿補間または外挿補間を行った前記植物状態データおよび/または 収穫結果データを用いて、将来の前記植物の状態および/または収穫結果を予測する、請求項13に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システムおよび分光計測器に関する。
【背景技術】
【0002】
特許文献1は、測定対象に光を当てて測定対象を撮像し、測定対象そのものの種類や特徴等の情報を求める技術を開示する。より具体的には、特許文献1の情報システムは、特定すべき測定対象を含む物品の分光情報を示すデータベースを有している。データベースはさらに、測定対象を特定することができる特定の波長領域、または特定波長に関する情報も含んでいる。情報システムは、測定対象からの反射光を受け、特定の波長領域の光を撮像して分光情報(分光画像)を取得する。情報システムは、得られた分光画像とデータベースとを用いて撮像された測定対象の特定を行い、測定対象の種類や特徴、撮像領域における存在の有無等の情報を求める。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、測定対象を特定することができる特定波長を求めておき、その特定波長の光を検出することで測定対象を特定する。特定波長は測定対象ごとに予め決定されており、撮影条件にかかわらず固定されている。また、特許文献1の技術は、現在の測定対象の特徴等を求めることは可能であるが、その測定対象が将来どのような特徴を備えるのかを判断することはできない。
【0005】
本開示の目的の一つは、将来の植物の状態および/または収穫に関する情報を取得するために必要な波長を、測定条件を考慮して決定することである。また本開示の他の目的は、そのようにして決定した波長から、その植物の将来の状態および/または収穫に関する情報を予測することである。
【課題を解決するための手段】
【0006】
本開示の一態様にかかる情報処理システムは、記憶装置と、インタフェース装置と、演算回路とを備える。記憶装置は光源からの光に関するスペクトルデータおよび光の測定時の測定条件データと、植物の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する。インタフェース装置は、植物について、ユーザによる測定時に適用されるユーザ測定条件であって、測定時の角度に関するデータ 、および予測したい植物状態および/または収穫結果に関するデータを含むユーザ測定条件の入力を受け付ける。演算回路は、ユーザ測定条件に基づいてデータベースを参照することにより、ユーザ測定条件の下で測定すべき、光源からの光に含まれる少なくとも2つの波長を決定する。
【0007】
本開示の一態様にかかる情報処理システムにおいて、演算回路は、複数の波長から、互いに異なる2つの波長の組を選択し、複数の場所の各々における前記2つの波長の組の指標値を算出し、複数の場所の各々における植物状態および/または収穫結果を取得し、指標値と植物状態および/または収穫結果との相関の程度を示す相関係数を算出し、相関係数が0.7以上 を示す2つの波長の組を、少なくとも2つの波長として決定する。
【0008】
本開示の一態様にかかる分光計測器は、上述した情報処理システムによって決定された少なくとも2つの波長の光をそれぞれ通過させる光学フィルタと、光学フィルタを透過した、少なくとも2つの波長の光を検出するイメージセンサとを備えている。
【0009】
本開示の他の一態様にかかる情報処理システムは、記憶装置と、インタフェース装置と、演算回路とを備える。記憶装置は、光源からの光に関するスペクトルデータおよび光の測定時の測定条件データと、植物の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する。インタフェース装置は、上述の分光計測器を用いた植物の撮影時の撮影条件であって、撮影時の少なくとも2つの波長の光の強度、植物からの反射光の強度、光源と分光計測器との方位角差、分光計測器の仰角、および、光源の仰角のデータを含む撮影条件の入力を受け付ける。演算回路は、撮影条件、および、少なくとも2つの波長の各値に基づいてデータベースを参照することにより、植物の将来の状態および/または収穫結果を予測する。
【発明の効果】
【0010】
本開示のある態様によれば、植物の将来の状態および/または収穫に関する情報を取得するために必要な波長を、測定条件を考慮して決定することが可能である。
また本開示の他の態様によれば、そのようにして決定した波長から、その植物の将来の植物の状態および/または収穫に関する情報を予測することが可能である。
【図面の簡単な説明】
【0011】
【
図1】例示的な実施の形態にかかる分光計測器1の使用例の概略図
【
図2】例示的な実施の形態によるデータベースDB1のデータ構造の一例を示す図
【
図3】分光計測器1による光源12に対する対象物11からの反射スペクトルの測定の説明図
【
図4】健康時及び水不足時のカイワレ大根の波長-分光反射率特性を表すグラフ
【
図5】対象物11であるカイワレ大根に対する光源12の取り得る角度(θ2)と、反射光を測定する分光計測器1であるLCTFカメラの取り得る角度(θ1)の例を示す図
【
図6A】カイワレ大根についての角度に応じた分光反射率の違いを示す三次元グラフ
【
図6B】豆苗についての角度に応じた分光反射率の違いを示す三次元グラフ
【
図7】分光計測器1と対象物11である稲との角度を示す図
【
図8A】伏角が5°の場合における、分光計測器1によって取得される稲の画像を示す図
【
図8B】伏角が15°の場合における、分光計測器1によって取得される稲の画像を示す図
【
図8C】伏角が28°の場合における、分光計測器1によって取得される稲の画像を示す図
【
図8D】伏角が37°の場合における、分光計測器1によって取得される稲の画像を示す図
【
図8E】伏角が48°の場合における、分光計測器1によって取得される稲の画像を示す図
【
図9】伏角に応じて分光反射率が変化することを示すグラフ
【
図10】測定時期に応じて分光反射率が異なることを示すグラフ
【
図11】例示的な実施の形態にかかる情報処理システム100の構成図
【
図12】情報処理システム100を利用した波長の選出処理に利用されるハードウェア構成図
【
図13】稲の将来の収穫量に強い相関を持つ複数の波長を選出するための、情報処理システム100の処理の手順を示すフローチャート
【
図14】
図13のステップS12の処理の詳細を示すフローチャート
【
図15】正規化分光指数NDSI(i,j)と収穫量との相関係数のヒートマップを示す図
【
図16】情報処理システム100を利用した、将来の植物に関する推定処理に利用されるハードウェア構成図
【
図17】稲の将来の収穫量を予測するための、情報処理システム100の処理の手順を示すフローチャート
【
図18】複数の品種について、ある年の7月の正規化分光指数NDSIと、9月の収穫量との関係を示す図
【
図19】正規化分光指数NDSIと、大豆の収穫量との関係を示す図
【
図20A】オイルパームの栽培地域上空から撮影した画像を示す図
【
図20B】病害虫の発生の程度について将来の予測結果を示す図
【
図21A】てん菜の褐斑病の進行の様子を示す空撮写真の一例を示す図
【
図21B】病害虫の発生の程度について将来の予測結果を示す図
【
図22】撮影方法に関する変形例を説明するための図
【発明を実施するための形態】
【0012】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0013】
上下左右等の位置関係は、特に断らない限り、図面に示す位置関係に基づくものとする。以下の実施の形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、各要素の寸法比率は図面に図示された比率に限られるものではない。
【0014】
[1.実施の形態]
[1.1 構成]
[1.1.1 全体構成]
図1は、本実施の形態にかかる分光計測器1の使用例の概略図である。分光計測器1は、光源12に対する対象物11の反射スペクトルの測定を行う。
【0015】
本実施の形態において、対象物11は、稲である。対象物11は、稲以外の農作物であってよい。対象物11は、農作物以外の植物であってもよい。対象物11は、個体ではなく、群体であってよい。例えば、対象物11は、一本の木ではなく、測定範囲内に存在する複数本の木、または森林であってよい。また、対象物11は、牧草であってもよい。
【0016】
本実施の形態において、光源12は、太陽である。光源12は、太陽に限定されず、ハロゲンランプ、LEDランプ、紫外線ランプ、赤外線ランプ等の種々の光源から選択され得る。光源12は、対象物11から所望の波長範囲の反射スペクトルが得られるように選択されてよい。
【0017】
分光計測器1による測定の結果は、情報処理システム100での処理に利用される。分光計測器1は、情報処理システム100での処理の対象になる情報を提供する。
【0018】
情報処理システム100は、対象物11に関する種々の情報処理を実行する。
図1の情報処理システム100は、データベース装置110と、サーバ装置120とを含む。
【0019】
データベース装置110は、1以上のコンピュータシステムにより構築され得る。データベース装置110は、データベースDB1を格納する。データベースDB1は、サーバ装置120で実行され得る情報処理に利用され得る。データベースDB1は、サーバ装置120で利用する情報の集合であり、ここでは、データベースDB1をライブラリDB1という場合がある。
【0020】
図2は、本実施の形態によるデータベースDB1のデータ構造の一例を示している。
データベースDB1は、対象物11である植物に関する複数のレコード(エントリ)を含む。複数のレコードの各々は、スペクトルデータ、測定条件データ、植物状態データ、及び、収穫結果データを含む。
【0021】
スペクトルデータは、対象物11の反射スペクトルのデータ、及び、光源12のスペクトルのデータを含む。対象物11の反射スペクトルのデータは、所定の波長範囲において、所定の波長間隔の、光源12からの光のうち対象物11で反射された光の強度(反射強度:O(・))を示す。光源12のスペクトルのデータは、所定の波長範囲において、所定の波長間隔の、光源12からの光の強度(S(・))を示す。所定の波長範囲は、例えば約420nm~約840nmであり、所定の波長間隔は、例えば約4nmである。
図2では、波長λ1~λ100が、所定の波長範囲内に入り、かつ、所定の波長間隔ごとの波長を表している。波長λ(λ=λ1,λ2,・・・,λ100)について、対象物である植物の反射強度(O(λ))および光源としての太陽の光の強度S(λ)が取得され、記述されている。本実施の形態において、スペクトルデータは、画像に関するデータを含み得る。画像の例としては、対象物11に関連する画像と光源12に関連する画像とが挙げられる。
図2では、1つのエントリに複数の波長が記述され、そのそれぞれについて、反射強度O(λ)およびS(λ)が記述されている。これは、分光計測器1を用いて1回の測定で取得された波長がλ1からλ100にわたる波長帯域であることを示している。
【0022】
測定条件データは、スペクトルデータを得るための測定に関する条件を示す。分光計測器1で測定される光源12に対する対象物11の反射スペクトルは、光源12と分光計測器1との位置関係の影響を受け得る。つまり、光源12と分光計測器1との位置関係が異なれば、同じ対象物11であっても、分光計測器1で測定される反射スペクトルは異なり得る。光源12に対する対象物11の反射スペクトルを正しく評価するためには、この反射スペクトルの測定時の光源12と分光計測器1との位置関係の情報を用いることが好ましい。
【0023】
図3は、分光計測器1による光源12に対する対象物11からの反射スペクトルの測定の説明図である。光源12と分光計測器1との位置関係は、対象物11に対する分光計測器1の角度、対象物11に対する光源12の角度、及び、光源12と分光計測器1との方位角差により特定され得る。対象物11に対する分光計測器1の角度は、例えば、垂直方向Vに対する分光計測器1の角度θ1[°]又は水平面に対する分光計測器1の角度(90°-θ1)で表され得る。対象物11に対する光源12の角度は、例えば、垂直方向Vに対する光源12の角度θ2[°]又は水平面に対する光源12の角度(90°-θ2)で表され得る。光源12と分光計測器1との方位角差は、例えば、分光計測器1と対象物11とを含んで水平面に直交する垂直面P1と、光源12と対象物11とを含んで水平面に直交する垂直面P2との間の角度Az[°]で表され得る。
図3において、Azは反時計周りに増加するとして定義されている。
【0024】
本実施の形態において、測定条件データは、例えば、光源12と分光計測器1との方位角差(Az)、対象物11に対する分光計測器1の角度(θ1)、及び、対象物11に対する光源12の角度(θ2)を含む。
【0025】
さらに、測定条件データは、測定時の光源12の条件又は状態に関する。例えば、測定条件データは、光源12の広がりの評価値を含む。光源12の広がりの評価値は、対象物11の周囲環境による光源12からの光の散乱の度合いを示す。対象物11の周囲環境による光源12からの光の散乱の度合いは、大気の透明度、天候(例えば、雲の多さ)、大気中のエアロゾルの多さ等の影響を受ける。一例として、光源12の広がりの評価値は、光源12から対象物11に直接的に届く光(直達光成分)の量に対する、対象物11の周囲環境による散乱された光(散乱光成分)の割合で表され得る。光源12から対象物11にどのように光が当たるのかは、対象物11の周囲環境の影響を受ける。例えば、晴天時と曇天時とで、光源12からの光の対象物11への当たり方は変化する。晴天時は、光源12から対象物11には一方向に光が当たると考えてよいが、曇天時には雲によって光源12からの光が散乱され、光源12から対象物11には場合によっては全方向から光が当たると考えられる。晴天時と曇天時とで比較すれば、反射スペクトルには、晴天時のほうが、曇天時よりも、光源12と分光計測器1との位置関係による影響が表れやすい。よって、光源12に対する対象物11の反射スペクトルを正しく評価するために、測定条件データは、光源12の広がりの評価値を含むことが好ましい。光源12の広がりの評価値によって、晴天時と曇天時の曇り加減の定量化又は判別が可能になる。なお、晴天時と曇天時の曇りの程度に応じて、反射スペクトルの取得の仕方を変えてもよい。例えば、反射光を取得する際の推奨角度を、晴天時には基準より狭くし、曇天時には基準より広くしてもよい。
【0026】
図2に示すように、データベースDB1には、同一の対象物11(植物)に関して、少なくとも、例えば、光源12(太陽)と分光計測器1との方位角差(Az)、対象物11(植物)に対する分光計測器1の角度(仰角:θ1)、及び、対象物11(植物)に対する光源12(太陽)の角度(仰角:θ2)の組み合わせが異なる複数のレコードがあることが好ましい。例えば、Az、θ1及びθ2は、それぞれ、20°毎、好ましくは10°毎、より好ましくは5°毎に異なるように、複数のレコードが存在するとよい。
【0027】
状態データは、対象物11に関する状態を示す。本実施の形態において、対象物11は稲であり、状態データは、時間で変化し得る稲に関する状態に関する。状態データの例としては、生育状態に関する評価値、病害虫に関する評価値、含有成分に関する評価値、及び土壌状態に関する評価値が挙げられる。状態データは、スペクトルデータを得るための測定の時期に検査等を実施することで得られ得る。
【0028】
結果データは、対象物11に関する結果を示す。対象物11に関する結果は、例えば、対象物11の状態の終着点に関連する。本実施の形態において、対象物11は稲であり、結果データは、稲の生育状態の終着点である、収穫に関するデータを含み得る。結果データの例としては、収穫量、及び、収穫時期を含む。結果データは、スペクトルデータを得るための測定の時期ではなく、実際に稲が収穫された際に生成され得る。収穫量は、実際に稲を収穫して計測され、収穫時期は、実際に稲を収穫した日にちに基づいて決定され得る。
【0029】
サーバ装置120(
図1)は、1以上のコンピュータシステムにより構築され得る。サーバ装置120は、有線又は無線ネットワークを通じて、データベース装置110と通信可能に接続され得る。サーバ装置120は、後述のコンピュータ可読媒体40が取り外し可能に接続されるストレージインターフェースを備える。
【0030】
サーバ装置120は、データベースDB1の管理、データベースDB1とユーザ測定条件を利用した2以上の波長の決定、取得した2以上の波長の各データとデータベースDB1とを利用した推論、データベースDB1を利用した学習済みモデルの生成を実行し得る。
【0031】
データベースDB1の管理は、データベースDB1のレコード(エントリ)の追加、削除、及び編集を含み得る。本実施の形態において、サーバ装置120は、分光計測器1から得られる情報を利用して、レコードの追加を行うことができる。
【0032】
データベースDB1とユーザ測定条件を利用した2以上の波長の決定とは、ユーザが栽培し、育成する植物を光学的に測定する際の、測定すべき2以上の波長を選定することである。選定された2以上の波長は、その波長を透過させる光学フィルタを決定するために利用される。そのような光学フィルタを装着した分光計測器または撮像装置を利用してその植物を撮影することにより、その植物において反射された光から、所望の波長のスペクトルデータが得られ、次に説明する推論が行われる。本処理の詳細は後述する。
【0033】
データベースDB1を利用した推論は、与えられたスペクトルデータの一部又は全部及び測定条件データの一部又は全部に基づいて、状態データの一部又は全部又は結果データの一部又は全部を求める処理である。データベースDB1から、スペクトルデータと測定条件データとの組み合わせに対して、状態データ又は結果データが関連付けられている。そのため、データベースDB1に存在しないスペクトルデータ及び測定条件データの組から、当該組に対応する状態データ又は結果データの予測が可能である。
【0034】
データベースDB1を利用した学習済みモデルの生成は、データベースDB1を利用した推論を実行する学習済みモデルの生成を含み得る。サーバ装置120は、例えば、データベースDB1から、スペクトルデータ及び測定条件データを説明変数、状態データ又は結果データを目的変数として、学習用データセットを生成する。サーバ装置120は、学習用データセットを用いて、学習済みパラメータを生成し、学習済みパラメータを推論プログラムに組み込むことで、学習済みモデルを生成し得る。
【0035】
[1.1.2 本発明者らの知見に基づくデータベース]
本発明者らは、種々の研究を行い、光源11からの光を植物に当ててその反射光を観測することにより、対象物11としての植物の生育状態を検出できることが分かった。ただし、その際には種々の条件に応じた場合分けが必要であるとの結論に達した。条件とは、植物の品種、光源12から対象物11である植物に光を当てる角度、植物からの反射光を分光計測器1で計測する角度、計測する時期等である。以下、具体的に説明する。
【0036】
図4は、健康時及び水不足時のカイワレ大根の波長-分光反射率特性を表すグラフである。グラフの横軸は波長、縦軸は分光反射率を表している。分光反射率は、460nmから780nmの波長帯域についてそれぞれ求められている。実線Aは健康なカイワレ大根の分光反射率特性を示しており、破線Bは水不足によるカイワレ大根の分光反射率特性を示している。「B」、「G」および「R」はそれぞれ青、緑および赤のおおよその波長域を示している。分光計測器1として、液晶波長可変フィルタ(LCTF)カメラを採用した。光源12としてハロゲンランプを採用した。
【0037】
健康時及び水不足時のカイワレ大根のスペクトルは、赤の波長域よりも長波長域である赤外域において顕著に相違していることが理解される。よって、カイワレ大根が現在健康かどうかは、赤外域の波長における分光反射率を利用すればよいことが理解される。
【0038】
分光反射率は、(反射光の強度/光源からの光の強度)によって求められる。反射光の強度および光源からの光の強度は、光源の光をどのような角度でカイワレ大根に当てるか、および、反射光をどの位置で測定するか、に応じて変動する。
【0039】
図5は、対象物11であるカイワレ大根に対するハロゲン光源12の取り得る角度(θ2)と、反射光を測定する分光計測器1であるLCTFカメラの取り得る角度(θ1)の例を示している。このうち、
図4のグラフは、θ1=10°、θ2=0°の測定条件下で測定された場合の例である。なお、これらの角度は、
図3に示された角度θ1およびθ2を意味する。
【0040】
本発明者らは、分光反射率が光源12から光を照射する角度に依存する照射方位角依存性も検証した。
【0041】
図6Aは、カイワレ大根についての角度に応じた分光反射率の違いを示す三次元グラフである。また
図6Bは、豆苗についての角度に応じた分光反射率の違いを示す三次元グラフである。三次元グラフは、460nmから780nmまでの波長を示す軸と、0°から360°までの角度を示す軸と、0から0.7までの分光反射率を示す軸とで張られている。図から、光源12の角度を0°から360°まで変化させると、同じ波長であっても分光反射率が変化することが理解される。なお
、分光計測器1
の角度(θ1)は45°に固定されている。なお、測定環境は屋内の実験室である。
【0042】
また、
図6Aおよび
図6Bを対比すると、カイワレ大根と豆苗との間では、光源12の角度の違いによって分光状態も変化することが示されている。つまり、同じ測定条件であっても、植物の種類に応じて計測される分光反射率は異なると言える。
【0043】
さらに、本発明者らは稲についても角度依存性を検証した。
図3に示す模式図では、対象物11は1本または複数本の稲であり、光源12は太陽である。稲を栽培する同じ圃場(田圃)のある時刻においてθ2は固定値である。つまり対象物11である稲と分光計測器1との角度が変化し得る。
【0044】
図7は、分光計測器1と対象物11である稲との角度を示している。
図3の例では、対象物11に対する分光計測器1の角度は、垂直方向Vに対する分光計測器1の角度θ1[°]として定義されていたが、
図7では、水平面Hに対する分光計測器1の角度θ3(=90°-θ1)で表され得る。θ3は「伏角」とも呼ばれ得る。説明の便宜上、以下の
図8A~
図8E、および
図9については「伏角」を用いて説明するが、上述のとおり仰角としての角度θ1を用いてもよい。
【0045】
図8A~
図8Eは、伏角が異なる場合における、分光計測器1によって取得される稲の画像の違いを表している。
図8Aは伏角5°で取得された画像を示し、
図8Bは伏角15°で取得された画像を示し、
図8Cは伏角28°で取得された画像を示し、
図8Dは伏角37°で取得された画像を示し、
図8Eは伏角48°で取得された画像を示す。なお、
図8A~8Eおよび
図9の測定については、同じ圃場ではなく、2つの圃場において測定した結果である。
【0046】
そして
図9は、伏角に応じて分光反射率が変化することを示すグラフである。伏角28°の場合は、波長に応じた分光反射率の変化を捉えにくい。一方、伏角5°、15°、37°および48°は、波長680nm以上の波長帯域の分光反射率と波長680nm未満の分光反射率とが大きく相違している。
【0047】
ところで、伏角が大きくなると、稲だけではなく水や土等の稲以外の被写体が分光計測器1の視野に入り得る。そのため、本来の稲のみを測定できるよう、伏角が小さいことが適切である。
【0048】
これらを考慮し、本発明者らは、稲の分光反射率を取得する際は伏角15°以下が適正であると判断した。このように、分光反射率が波長に応じて変化していることだけでなく、さらに他の測定条件も考慮して、適正な伏角を決定することができる。
【0049】
図10は、測定時期に応じて分光反射率が異なることを示すグラフである。細破線は、ある年の7月10日の稲の測定結果に基づく分光反射率を示し、太破線は同8月1日、実線は8月16日の分光反射率を示している。同一の稲であっても、測定した時期または季節によって分光反射率が異なることが確認された。
【0050】
上述の検証結果を踏まえ、本発明者らは、
図2に示すデータベースDB1には、エントリ毎に、スペクトルデータ、測定条件データ、植物状態データ、および収穫結果データを持たせておくこと、および、それぞれのデータは下記の詳細を含むことが好ましいと判断した。
【0051】
・スペクトルデータ:
光源からの光に含まれる複数の波長、各波長の強度、および植物において反射された各波長の光の反射強度。植物において反射された光は、植物表面で生じた鏡面反射による光の成分および植物内部に入射し、内部で散乱され、再度表面から出射した光の成分の両方を含む。
・測定条件データ:光を計測器で測定した時点における、計測器から見た光源の仰角、計測器の仰角、および計測器と光源との方位角差
・植物状態データ:植物の生育状態、植物に発生した病害虫の状態、植物の成分、および植物が生育した土壌の状態のうちの少なくとも1つ。
・収穫結果データ:植物の収穫量、および植物の収穫時期
【0052】
なお、エントリ番号とは別に各エントリの日時、経度・緯度、標高等のデータを含めてもよいし、エントリ番号自体に、そのエントリのスペクトルデータが測定された日付を含めてもよい。また、植物状態データおよび収穫結果データは、両方含めてもよいし、いずれか一方を含めてもよい。これらは後述する推定処理との関係で決定すればよい。すなわち、現在の植物のスペクトルデータおよび測定条件データから植物状態を推定したいのか、あるいは、収穫結果を推定したいのかに応じて、いずれか一方を設けてもよい。
【0053】
なお、本実施の形態では稲を例示して説明するため、
図2に示すデータベースDB1には、例示される植物状態データおよび/または収穫結果データを含めている。しかしながら、稲以外の植物の場合には他の種類のデータがデータベースDB1に含まれ得る。
【0054】
このようなデータベースDB1を予め構築しておくことにより、本発明者らは、以下に説明する情報処理システムを実現した。以下、本実施の形態にかかる情報処理システムの構成を説明する。
【0055】
[1.1.3 情報処理システムの構成]
図11は、本実施の形態にかかる情報処理システム100の構成を示している。情報処理システム100は、例えば1台の情報処理装置として実現され、典型的にはサーバコンピュータである。
【0056】
情報処理システム100は、演算を行うCPU21と、他の機器と通信を行うためのインタフェース装置(I/F)22と、データベースDB1及びコンピュータプログラム26を記憶する記憶装置23とを備える。なお、
図1では、データベースDB1はデータベース装置110に格納されていると説明したが、
図11の例ではデータベース装置110の実体は記憶装置23である。以下では、コンピュータプログラム26を「プログラム26」と略記する。
【0057】
CPU21は、本実施形態における情報処理システム100の演算回路の一例である。CPU21は、記憶装置23に格納されたプログラム26の実行により、後述する処理を実現する。なお、本実施形態でCPU21として構成される演算回路は、MPUまたはGPU等の種々のプロセッサで実現されてもよく、1つまたは複数のプロセッサで構成されてもよい。
【0058】
I/F22は、例えばUSB端子、IEEE802.11、4G、または5G等の規格に準拠して通信を行う通信回路である。I/F22は、インターネット等の通信ネットワークに接続可能であってもよい。また、情報処理システム100は、I/F22を介して他の機器と直接通信を行ってもよく、アクセスポイント経由で通信を行ってもよい。本実施の形態では、I/F22は、植物を栽培するユーザからの、その植物に関するデータの入力を受け付けるために利用される。
【0059】
記憶装置23は、情報処理システム100の機能を実現するために必要なデータを記憶する記憶媒体であり、CPU21で実行されるプログラム26、データベースDB1等の各種のデータを格納している。記憶装置23は、例えばハードディスクドライブ(HDD)または半導体記憶装置であるソリッド・ステート・ドライブ(SSD)で構成される。記憶装置23は、例えばDRAMまたはSRAM等のRAMにより構成される一時的な記憶素子を備えてもよく、CPU21の作業領域として機能してもよい。なお、データベースDB1は、
図2を参照しながら説明した通りであり、スペクトルデータ、測定条件データ、植物状態データ、及び、収穫結果データを含んでいる。
【0060】
なお、データベースDB1は、特定の1種類の植物、または1品種の植物に関するデータを含んでもよいし、多種または多品種の植物のそれぞれに関するデータを含んでもよい。例えば、データベースDB1は、稲の1品種である「ななつぼし」に特化されていてもよいし、複数の品種の「稲」に特化されていてもよい。
【0061】
[1.2 情報処理システムによる処理]
以下、項目[1.2.1]および[1.2.2]において、情報処理システム100を利用した処理を説明する。項目[1.2.1]では情報処理システム100を利用した波長の選出処理を説明する。項目[1.2.2]では、情報処理システム100を利用した将来の植物に関する推定処理を説明する。以下では、項目[1.2.1]および[1.2.2]の各処理は、同じ情報処理システム100の処理として説明される。しかしながら、両項目の処理は、必ずしも共通の情報処理システム100を利用する必要はない。それぞれの処理において、情報処理システム100と同じ構成を有する別個の情報処理システムが利用され得る。
【0062】
本実施の形態において、項目[1.2.1]および[1.2.2]の各処理は、稲作農家であるユーザが現在栽培中の稲のデータから、将来の稲の状態および/または収穫結果(収穫量および/または収穫時期)を予測するために実行される。言うまでも無く、高い正確度の予測結果を得られることが好ましい。また、ユーザの負担が小さくなるよう、そのような予測結果を得るために必要なデータを簡易に取得できることが好ましい。以下に説明する各項目の処理によれば、これらを実現することが可能である。
【0063】
本実施の形態では、ユーザは「ユーザ測定条件」を、情報処理システム100の運営者に提供する。「ユーザ測定条件」は、ユーザによる測定時に適用される条件である。より具体的には、「ユーザ測定条件」は、(1)測定時の角度に関するデータ 、および、(2)予測したい植物状態および/または収穫結果に関するデータを含む。(1)のデータは、
図2における「測定条件データ」に対応する。また(2)のデータは、
図2における「植物状態データ」および/または「収穫結果データ」のいずれを予測したいかを特定するデータである。
【0064】
情報処理システム100は項目[1.2.1]の処理によって、その「ユーザ測定条件」の下で測定したときの、稲の将来の収穫量および/または収穫時期に強い相関を持つ複数の波長を選出する。複数の波長が選出されると、情報処理システム100の運営者等は、当該複数の波長をそれぞれ透過する1または複数の光学フィルタを撮像装置にセットして、その撮像装置をユーザに郵送する。このような撮像装置は分光計測器の一態様である。ユーザは、その撮像装置を用いて、当初提供した「ユーザ測定条件」に合致する測定条件下で稲を単に撮影すればよい。撮像装置は、実装されたイメージセンサを用いて当該複数の波長を主として含む光を検出し、記憶装置またはメモリカードに画像情報を保存する。つまり、そのような光学フィルタがセットされた撮像装置は、入射光から光学フィルタの透過波長の光を選別する分光計測器1として機能する。
【0065】
ユーザは、撮影した「画像」を、情報処理システム100の運営者に提供する。提供方法は任意である。例えば、ユーザが撮像装置を、取得されたデータとともに情報処理システム100の運営者に返送することによって提供されてもよい。または、ユーザが、撮像装置の記憶装置から画像情報を抽出し、通信回線を介して情報処理システム100に送信することによって実現されてもよい。
【0066】
情報処理システム100は、当該複数の波長を主として含む画像情報を抽出し、項目[1.2.2]の処理によって、その稲の将来の収穫量および/または収穫時期を予測する。情報処理システム100は、ユーザにその予測結果を数値、グラフ等の方法で提示する。ユーザはその予測結果を踏まえ、現在の栽培方法を修正したり、販売計画を作成したりすることができる。
以下では、説明の便宜のため、稲の収穫量を予測する例を説明する。
【0067】
[1.2.1 情報処理システムを利用した波長の選出処理]
図12は、情報処理システム100を利用した波長の選出処理に利用されるハードウェア構成図である。情報処理システム100は、ユーザ端末200からユーザ測定条件Uのデータを受け取る。ユーザ端末200はPCであってもよい、スマートフォン、タブレット端末等であり得る。
【0068】
また、
図13は、稲の将来の収穫量に強い相関を持つ複数の波長を選出するための、情報処理システム100の処理の手順を示すフローチャートである。
【0069】
ステップS10において、情報処理システム100のCPU21は、ユーザ端末200から、I/F22を介してユーザ測定条件Uの入力を受け付ける。ユーザ測定条件Uの一例は、ユーザが稲を撮影する予定の年月日、時刻、太陽と撮像装置との方位角差(Az)、撮像装置の仰角(θ1)、太陽の仰角(θ2)、圃場の緯度および軽度、配置、場所、稲の品種等である。I/F22は、例えば通信回路である。
【0070】
ステップS12において、CPU21は、記憶装置23に格納されたデータベースDB1を参照して、ユーザ測定条件Uから収穫量予測に利用する波長λk(k=1,・・・,N;N=2以上の整数)の組み合わせを決定する。
【0071】
ステップS14において、CPU21は決定した波長の情報を、I/F22を介して出力する。I/F22は、例えば通信回路、または情報処理システム100の運営者のモニタ出力端子である。
【0072】
なお、波長の具体的な値が出力される必要はない。例えば波長λkを含む所定幅、例えばスペクトル半値幅、の波長帯域Bkを出力してもよい。「スペクトル半値幅」とは、光出力のスペクトル分布において、相対放射強度が、ピーク値の50%になる波長の幅をいう。所定幅は、例えば30nm未満の幅を有していればよく、典型的には20nmである。後述する正規化分光指数NDSIを利用する場合、より小さい値であることがより好ましく、例えば所定幅は10nmである。または、波長λkまたは波長帯域Bkに1対1に対応する、予め定められた番号kを出力してもよい。番号kは、例えばその波長λkまたは波長帯域Bkを透過する光学フィルタに対応付けておくことで、番号kから容易に光学フィルタを決定できる。光学フィルタは項目[1.2.2]において使用される。
【0073】
ここで、
図14を参照しながら、ステップS12の詳細を説明する。ステップS12は、ユーザ測定条件Uの下で植物を測定したときの、稲の将来の収穫量および/または収穫時期に強い相関を持つ複数の波長を決定する処理である。
【0074】
図14は、ステップS12の処理の詳細を示すフローチャートである。
ステップS122において、CPU21は、データベースDB1を参照してユーザ測定条件Uによく合致するエントリを決定する。例えば、データベースDB1が複数の品種の稲に関するエントリを含む場合、ユーザ測定条件Uに含まれる稲の品種の情報により、データベースDB1の参照範囲を同じ品種の稲のエントリに設定する。その上でCPU21は、データベースDB1の参照範囲の中から、ユーザ測定条件Uと一致するエントリ、または近いエントリを決定する。合致に関する比較は、例えばユーザが稲を撮影する予定の年月日、時刻、太陽と撮像装置との方位角差(Az)、撮像装置の仰角(θ1)、太陽の仰角(θ2)について行われる。CPU21は、ユーザ測定条件UとデータベースDB1内のエントリとが、予め定められた許容範囲内、例えば5%以下、に入っている場合には「近いエントリ」であると判定してもよい。なお、水田の場所は比較しなくてもよい。その稲について、収穫量と相関が強い波長の組み合わせを求めようとしているためである。
【0075】
ステップS124において、CPU21は、データベースDB1を参照して、エントリごとに、2つの波長の全ての組み合わせの各々から正規化分光指数NDSIを求める。正規化分光指数NDSI(NDSI;Normalized Difference Spectral Index)は、2つの波長の組の指標値である。いま、
図2に示す各エントリに記述される波長λ1,λ2,・・・,λ100のうちの波長λ1およびλ2についての正規化分光指数NDSIを説明する。正規化分光指数NDSIは、波長λ1およびλ2を用いて下記の式で求めることができる。
【数1】
数1では、I(λ)は波長λに関する反射率を表している。反射率I(λ)は、
図2に示す太陽光の強度S(λ)および植物の反射強度O(λ)を用いて以下の式によって定義される。
【数2】
【0076】
数2によれば、波長λ1およびλ2の各々について反射率I(λ1)およびI(λ2)が定まり、その結果、数1により波長λ1およびλ2についての正規化分光指数NDSI(λ1,λ2)が求められる。
【0077】
同様の手順で、CPU21は、正規化分光指数NDSI(λ1,λ3),NDSI(λ1,λ4),・・・,NDSI(λ1,λ100),NDSI(λ2,λ1),・・・,NDSI(λ2,λ100),・・・,NDSI(λ100,λ99)に対して全通りのNDSIを求める。なお、同じ波長の組み合わせNDSI(λ,λ)は除外した。
【0078】
次に、ステップS126において、CPU21は、収穫量との相関が強い正規化分光指数NDSIを与える2つの波長の組み合わせを決定する。相関係数Rを求めるための式は以下の通りである。
【数3】
各文字の意味は以下の通りである。
S
xy:xとyの共分散
S
x:xの標準偏差
S
y:yの標準偏差
n:2変数データの(x,y)の総数
x
i,y
i:xおよびyの個々の数値
xとその上の「-」,yとその上の「-」:xおよびyの各平均値
【0079】
本実施の形態においては、xは正規化分光指数であり、yは収穫量である。より具体的には、xiおよびyiは、ユーザ測定条件で指定された年月日および時刻において、種々の場所iで測定した波長λp,λqから求めた正規化分光指数NDSI(λp,λq)の値、および、場所iごとの収穫量の値である。場所iは、異なる圃場であってもよいし、同じ圃場内の異なる位置であってもよい。ただし、場所iごとに収穫量のデータが記録されている必要がある。収穫量の値は、月ごとの収穫量であってもよいし、通年の収穫量であってもよい。収穫量の値の細かさ(解像度)は、そのユーザの稲の収穫量を予測する際の予測単位になり得る。次に、CPU21は、(λp,λq)とは異なる2つの波長の組み合わせに基づいて正規化分光指数NDSIを求めて収穫量との相関係数を求める。このように、異なる2つの波長の組み合わせについて正規化分光指数NDSIを求めて収穫量との相関係数を計算し、全ての波長の組について正規化分光指数NDSIと収穫量との相関係数を求めることができる。そしてCPU21は、求めた相関係数の中から、強い相関を与える波長の組み合わせを決定する。2つの波長を決定する場合には、最も強い相関を与える波長を決定すればよい。4つの波長を決定する場合には、最も強い相関を与える上位2組の波長を決定すればよい。
【0080】
本実施の形態において、正規化分光指数NDSIと収穫量との相関が強いとは、相関係数が0.7以上を示していることを言う。より強い相関を求める場合は、例えば相関係数が0.9以上を示していることを言う。
【0081】
上述の例では、本発明者は指標値として正規化分光指数NDSIを採用した。その理由は、予測結果である収穫量と実際の収穫量との間の差が小さい、すなわち予測結果の精度が高いからである。例えば、この正規化分光指数NDSIに代えて、植生指数(NDVI)を用いることが考えられる。植生指数(NDVI)は以下のように定義され得る。
【数4】
ここで、NIRは赤外付近波長域の平均値を表す。Rは赤領域の平均値を意味する。
【0082】
植生指数NDVIは、植物活性などの種々の条件を反映する値として知られている。そのため植物の生長を評価する際にも有用と考えられてきた。しかしながら本発明者らが植生指数NDVIと収穫量との相関関係を調べてみたところ、相関係数Rは約0.5であり、極めて弱い相関がある、または相関がある、という程度に過ぎないことが判明した。
【0083】
また、植生指数NDVIでは、波長の幅は50~100nm程度あり比較的広いため、強い相関を特定しにくいと考えられる。本実施の形態では、各波長を含む所定幅の波長帯域が10nmであるから、収穫量と強い相関関係がある波長または波長帯域を特定可能である。
【0084】
図15は、正規化分光指数NDSI(i,j)と収穫量との相関係数のヒートマップを示している。横軸は波長i(nm)、縦軸は波長j(nm)を表している。相関係数の値は、色の濃さで表現されている。
【0085】
図15では、説明の便宜のため、相関係数の数値範囲に境界を設けて示している。具体的には、領域120は、相関係数が0.3未満の値を含む。領域122は相関係数が0.3以上、0.6未満の値を含む。領域124および126は、相関係数が0.6以上の領域を含む。
【0086】
上述の方法によって求めた正規化分光指数NDSIは、i=690(nm)、j=766(nm)であり、相関係数は0.9以上であり、領域126に属している。
【0087】
一方、植生指数NDVIと収穫量との相関関係は、約0.5~0.6の範囲内であり、領域122に属している。なお、植生指数NDVIを求めるための波長帯域は、正規化分光指数NDSIのそれよりも大きい。
図15上の正規化分光指数NDSIおよび植生指数NDVIのそれぞれの範囲は、波長帯域の広さが反映されている。
【0088】
本実施の形態では、2つの波長を選定し、それらの波長を利用して撮影した現在の稲の画像から稲の将来の収穫量を予測する。本発明者らによる検証では、正規化分光指数NDSIを用いて2つの波長を選定したときの予測精度は、植生指数NDVIを用いて2つの波長を選定したときの予測精度よりも、高くなることが確認された。以下、推定処理の詳細を説明する。
【0089】
[1.2.2 情報処理システムを利用した将来の植物に関する推定処理]
図16は、情報処理システム100を利用した、将来の植物に関する推定処理に利用されるハードウェア構成図である。分光計測器1によって稲が撮影されると、それによって取得された画像情報等に基づいて、情報処理システム100はその稲の将来的な収穫量を推定する。以下、より詳しく説明する。
【0090】
情報処理システム100は、分光計測器1から、稲の画像情報を取得した際に適用されていた撮影条件を受け付ける。情報処理システム100は撮影条件を受け付けて、撮影条件に基づいて稲の収穫量を予測する。
図16には、情報処理システム100の出力として、横軸が時期であり、縦軸が予測された収穫量である収穫量曲線Cが模式的に示されている。以下、撮影条件を詳しく説明する。
【0091】
まず、分光計測器1は、複数の波長の光を透過させる1または複数の光学フィルタ130と、入射した光の強さに応じた信号を出力する1または複数のイメージセンサ132を有している。1または複数の光学フィルタ130は、上述した項目[1.2.1]において強い相関があるとして決定された複数の波長の光をそれぞれ透過させるよう構成されている。つまり、上述した項目[1.2.1]の処理の結果、決定された複数の波長に基づいて、各波長を透過させる1または複数の光学フィルタ130が選択され、分光計測器1にセットされている。また分光計測器1は、太陽光を、所定の波長ごとに分光し、その波長毎に光の強さを測定することもできる。
【0092】
分光計測器1の1または複数のイメージセンサ132は、1または複数の光学フィルタ130を透過してきた各光を検出して、その光の強さに応じた信号を出力する。これにより、1または複数の光学フィルタ130の透過波長に対応する光に基づく画像情報が生成される。各透過波長に対応する画像情報は、植物からの反射光の強度を表している。
【0093】
また1または複数のイメージセンサ132は、所定の波長ごとに分光した太陽光の波長毎の強さを測定し、画像情報を生成する。各波長に対応する画像情報は、植物からの波長毎の反射光の強度を表している。このうちの1または複数の光学フィルタ130の各透過波長の強度は、波長毎に得られた植物の反射強度を表している。
【0094】
また、分光計測器1による計測時には、
図8A~
図8Eおよび
図9を参照しながら説明したように、分光計測器1を稲の場合は伏角15°以下にして撮影が行われる。伏角は仰角と一意に対応しており、伏角に基づいて得られる仰角(θ1)は、上述の撮影条件の一部を構成する。さらに、光源12である太陽と分光計測器1との方位角差(Az)、および太陽の仰角(θ2)もまた分光計測器1の撮影時に決定される。
【0095】
以上から、撮影条件は、撮影時の複数の波長の光の強度、植物からの反射光の強度、光源と分光計測器との方位角差、分光計測器の仰角、および、光源の仰角のデータを含む。
【0096】
図17は、稲の将来の収穫量を予測するための、情報処理システム100の処理の手順を示すフローチャートである。
【0097】
ステップS20において、CPU21は、I/F22を介して分光計測器1から撮影条件Vを取得する。
【0098】
ステップS22において、CPU21は、撮影条件Vに含まれる、1または複数の光学フィルタ130の透過波長に対応する光に基づく画像情報の中から、ノイズが許容範囲内の画像情報を選定する。例えばユーザが想定よりも大きい伏角で分光計測器1を用いた撮影を行った場合、画像情報には、地面や水面などの稲以外の被写体が含まれてしまうことがある。稲の本来の色である緑よりも黒に近い色成分(ノイズ成分)が多く含まれるため、稲からの反射光の強度が正確に取得できていないと考えられる。そのような場合に備え、ノイズ成分であると認定するための閾値を設定しておくことが考えられる。これによれば、その閾値よりも黒に近い画素数が所定以上の割合または絶対数を占める場合には、CPU21は、ノイズ成分を多く含む画像であるとして予測の基礎として使用しない。
【0099】
ステップS24において、CPU21は、選定した撮影条件Vに基づいてデータベースを参照し、稲の収穫量を予測する。この処理もまた、CPU21が、データベースDB1を参照して撮影条件Vによく合致するエントリを決定する。この「よく合致するエントリ」の決定方法は、
図13のステップS122の処理と同じである。よく合致するエントリには、収穫量の値が記述されている。CPU21は、その値を予測結果として抽出する。
【0100】
ステップS26において、CPU21はI/F22を介して、予測結果を出力する。出力方法は、例えば
図12に示すユーザ端末200に、その予測情報を表示するための画像データまたは文字データを送信する。
【0101】
以上の処理により、情報処理システム100は、分光計測器1を用いて取得した、所定の複数の波長のそれぞれについて画像情報を含む撮影条件Vに基づいて、収穫量を予測することができる。当該複数の波長と収穫量との間には強い相関が存在するため、予測の精度は十分高い。
【0102】
本発明者らは、ある1品種の稲だけではなく他の複数の品種についても、正規化分光指数NDSIを利用して複数の波長を選択し、当該波長の画像情報を取得することで収穫量の予測を行った。すると、90%以上の正確さで収穫量を予測できることを確認した。
図18は、複数の品種について、ある年の7月の正規化分光指数NDSIと、9月の収穫量との関係を示している。横軸が特定の2波長についての正規化分光指数NDSIを示し、縦軸が収穫量(g/m
2)を示している。品種の違いは色の違いによって表現されている。
図18には、近似直線が破線で示されている。品種にかかわらず、各点は近似直線に沿って分布していることが理解される。つまり、特定の2波長に基づく正規化分光指数NDSIを用いると、品種の違いの影響を大きく受けることなく、収穫量の予測を行うことが可能であると言える。
【0103】
上述の説明では、稲の将来の収穫量に強い相関を持つ複数の波長を決定する際、ユーザ測定条件Uによく合致する、データベースDB1内のエントリを決定した(
図14)。データベースDB1内の各エントリは実測値であるため、あらゆる測定条件を網羅することが困難な場合もあり得る。そこで、内挿補間または外挿補間を行うことにより、既存の複数のエントリから新たなエントリを生成してもよい。具体的には、CPU21は、データベースDB1の測定条件データにおける太陽の仰角、分光計測器1の仰角、および分光計測器1と太陽との方位角差に基づいて内挿補間または外挿補間を行う。内挿補間または外挿補間後のデータを、ユーザ測定条件に含まれる角度に関するデータに一致させる。そして、スペクトルデータにも同じ内挿補間または外挿補間を行い、それにより得られた新たなスペクトルデータを用いて、複数の波長を決定することができる。
【0104】
なお、新たに生成したエントリはデータベースDB1に組み込まれてもよいし、組み込まれなくてもよい。CPU21は、
図14の処理等にあたって仮想のエントリとして一時的に生成して利用するだけでもよい。
【0105】
同様に、将来の植物の状態および/または収穫結果を予測する際にも、内挿補間または外挿補間を行ってもよい。具体的には、CPU21は、データベースDB1の測定条件データにおける太陽の仰角、分光計測器1の仰角、および分光計測器1と太陽との方位角差に基づいて内挿補間または外挿補間を行う。内挿補間または外挿補間により、撮影条件Vに含まれる、光源12である太陽と分光計測器1との方位角差、分光計測器1の仰角、および、太陽の仰角のデータと一致させることができる。そして、CPU21は、同じ内挿補間または外挿補間を植物状態データおよび/または収穫結果データにも行うことで、そのデータを用いて、植物の将来の状態および/または収穫結果を予測すればよい。
【0106】
[2.変形例]
本開示の実施の形態は、上記実施の形態に限定されない。上記実施の形態は、本開示の課題を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施の形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
【0107】
これまでは主として稲を例示して説明した。本開示にかかる技術は、稲以外の他の植物にも適用可能であり、また収穫量以外の予測にも利用可能である。本発明者らが確認した例を以下に示す。
【0108】
まず、他の植物の例として大豆を挙げる。本発明者は、上述の手法を大豆に適用することを考えた。
図19は、正規化分光指数NDSIと、大豆の収穫量との関係を示す図である。横軸は収穫量を表している。単位は、10アール当たりのキログラム数である。図示されるように、収穫量が異なると、正規化分光指数NDSIも異なる。本発明者らは、大豆について、「特定の2波長」の正規化分光指数NDSIと、収穫量との相関係数が0.94もの非常に強い相関にあることを見出した。「特定の2波長」は、上述した実施の形態の手法によって決定することが可能である。そのような2波長の正規化分光指数NDSIを用いて収穫量を予測することにより、本発明者らは、90%以上の正確度で収穫量を予測できることを確認した。
【0109】
仮に、特定の2波長の正規化分光指数NDSIを用いて予測した収穫量が予想よりも低い場合、大豆農家はより収穫量に寄与するよう、栽培計画を練り直すことができる。例えば、施肥を行うことにより、一定期間経過後に再度予測を行って、収穫量が改善されるかどうかを判断することができる。
【0110】
次に、更に他の植物について病害虫の発生予測を行う例を説明する。
図20Aは、オイルパームの栽培地域上空から撮影した画像を示している。一部のオイルパーム140には病害虫が発生していることが分かっている。
【0111】
本発明者らは、まず、オイルパームについてのデータベースDB1を構築しておいた。そのデータベースDB1では、エントリ毎に、植物状態データの病害虫の項目に病害虫が発生している程度を示すデータが記述されている。病害虫が発生している程度を示すデータは、例えば0から3の4段階に分けられている。相関係数を求める際は、正規化分光指数NDSIと、病害虫が発生している程度とを用いる。
【0112】
本発明者らは、スペクトルデータおよび計測条件データを利用して、上述と同様の手法により相関係数が0.9以上になる正規化分光指数NDSIを決定し、その正規化分光指数NDSIを与える複数の波長を決定した。その波長を透過する光学フィルタを用いて分光計測器1でオイルパームの栽培地域を撮影して、病害虫の発生を予測した。
【0113】
図20Bは、病害虫の発生の程度について将来の予測結果を示している。病害虫が発生している可能性が高い木ほど、色が濃く表示されている。
図20Aにおけるオイルパーム140の植生地域142の色が濃く表示されていることが理解される。本手法によれば、病害虫が発生している木を87%以上の正確度で判別することができた。
【0114】
図21Aは、てん菜の褐斑病の進行の様子を示す空撮写真の一例である。写真はモノクロ化されている。撮影日は、(a)は7月15日、(b)は8月4日、(c)は8月26日である。
【0115】
本発明者らは、(a)の撮影時より前に取得された撮影条件に基づいて、褐斑病と非常に相関が高い正規化分光指数NDSIを与える複数の波長を求め、(a)の時期の褐斑病の診断を試みた。また、(a)の撮影時に取得された撮影条件に基づいて複数の波長を求め直し、(b)の時期における褐斑病の診断を試みた。同様に、(b)の撮影時に取得された撮影条件に基づいて複数の波長を求め直し(c)の時期における褐斑病の診断を試みた。
【0116】
図21Bは、病害虫の発生の程度について将来の予測結果を示している。(a)~(c)は、
図21Aの(a)~(c)と同じ時期の予測結果を示している。モノクロ化された
図21Aと、
図21Bとの対比からでは、診断結果が一見して対応していることが明らかとは言えない。しかしながら本発明者らは、これまでよりも高い正確度で褐斑病の予測が可能となることを確認した。月ごとに正規化分光指数NDSIに基づく複数の波長を算出し直し、得られた波長に応じて光学フィルタを決定することが、より正確な予測に寄与していると推測される。これにより、病害虫が発生していると予測された地域のてん菜に病害虫駆除の対策を採ることができる。
【0117】
図22は、撮影方法に関する変形例を説明するための図である。植物の種類によっては、分光計測器1によって牧草の画像情報を取得する際の伏角は変化し得る。稲の場合には、好適には、伏角は約15°以下であると説明した。例えば牧草の場合、好適には、水平線Hを基準とした伏角θ3は、土や水が映らない、対象の牧草のみが視野に入る角度である。これにより、牧草のみの画像情報を取得することができる。本発明者らは、上述の伏角の範囲であれば、牧草の生育予測だけではなく、牧草と牧草に混在して生育する雑草の種類、生育の程度を予測できることも確認している。
【0118】
[3.態様]
上記実施の形態及び変形例から明らかなように、本開示は、下記の態様を含む。以下では、実施の形態との対応関係を明示するためだけに、符号を括弧付きで付している。なお、文章の見やすさを考慮して2回目以降の括弧付きの符号の記載を省略する場合がある。
【0119】
第1の態様は、情報処理システム(100)であって、光源(12)からの光に関するスペクトルデータおよび前記光の測定時の測定条件データと、植物(11)の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する記憶装置(23)と、前記植物について、ユーザによる測定時に適用されるユーザ測定条件であって、測定時の角度に関するデータ 、および予測したい植物状態および/または収穫結果に関するデータを含むユーザ測定条件の入力を受け付けるインタフェース装置(22)と、前記ユーザ測定条件に基づいて前記データベースを参照することにより、前記ユーザ測定条件の下で測定すべき、前記光源からの光に含まれる少なくとも2つの波長を決定する演算回路(21)とを備えている。
【0120】
第2の態様は、第1の態様に基づく情報処理システム(100)である。第2の態様において、前記演算回路は、少なくとも2つの波長帯域であって、各々が前記少なくとも2つの波長を一つずつ含む波長帯域を決定する。
【0121】
第3の態様は、第2の態様に基づく情報処理システム(100)である。第3の態様において前記光源は太陽であり、前記演算回路(21)は、前記太陽の光に含まれる波長帯域から、前記少なくとも2つの波長の各々を含む、30ナノメートル未満の幅、および、スペクトル半値幅の一方、を有する波長帯域を決定する。
【0122】
第4の態様は、第1から第3の態様のいずれかに基づく情報処理システム(100)である。第4の態様において、演算回路(21)は、決定した前記少なくとも2つの波長の値を含む情報を出力する。
【0123】
第5の態様は、第1から第4の態様のいずれかに基づく情報処理システム(100)である。前記データベースにおいて、前記スペクトルデータは、前記光源からの光に含まれる複数の波長、各波長の強度、および前記植物において反射された前記各波長の光の反射強度のデータを含む。前記測定条件データは、前記光を計測器で測定した時点における、前記計測器から見た前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差のデータを含む。前記植物状態データが含まれる場合には、前記植物状態データは、前記植物の生育状態、前記植物に発生した病害虫の状態、前記植物の成分、および 前記植物が生育した土壌の状態のうちの少なくとも1つを示すデータを含む。前記収穫結果データが含まれる場合には、前記収穫結果データは、前記植物の収穫量、および前記植物の収穫時期のうちの少なくとも1つを示すデータを含む。
【0124】
第6の態様は、第5の態様に基づく情報処理システム(100)である。第6の態様において、前記演算回路(21)は、前記ユーザ測定条件に含まれる前記角度に関するデータが、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差、と一致する、または所定範囲内に入る場合に、前記測定条件データに対応付けられた前記スペクトルデータを用いて、前記少なくとも2つの波長を決定する。
【0125】
第7の態様は、第5の態様に基づく情報処理システム(100)である。第7の態様において、前記演算回路は、前記ユーザ測定条件に含まれる前記角度に関するデータと一致するよう、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差に基づいて内挿補間または外挿補間を行い、同じ内挿補間または外挿補間を行ったスペクトルデータを用いて、前記少なくとも2つの波長を決定する。
【0126】
第8の態様は、第1から第7の態様のいずれかに基づく情報処理システム(100)である。第8の態様において、前記演算回路(21)は、前記複数の波長から、互いに異なる2つの波長の組を選択し、複数の場所の各々における前記2つの波長の組の指標値を算出し、複数の場所の各々における植物状態および/または収穫結果を取得し、指標値と植物状態および/または収穫結果との相関の程度を示す相関係数を算出し、前記相関係数が0.7以上 を示す前記2つの波長の組を、前記少なくとも2つの波長として決定する。
【0127】
第9の態様は、第8の態様に基づく情報処理システム(100)である。第9の態様において、前記演算回路(21)は、前記相関係数が0.9以上を示す前記2つの波長の組を、前記少なくとも2つの波長として決定する。
【0128】
第10の態様は、第8または第9の態様に基づく情報処理システム(100)である。第10の態様において、前記演算回路(21)は、前記複数の場所における各測定条件下で計測された前記2つの波長の各々の強度、および、各波長の前記植物における反射強度から、前記各波長の反射率を算出し、前記2つの波長の組の指標値として、前記各波長の反射率を用いて前記2つの波長の正規化分光指数を算出する。
【0129】
第11の態様は、分光計測器(1)であって、第8から第10の態様のいずれかに基づく情報処理システム(100)によって決定された前記少なくとも2つの波長の光をそれぞれ通過させる光学フィルタ(130)と、前記光学フィルタ(130)を透過した、前記少なくとも2つの波長の光を検出するイメージセンサ(132)とを備えている。
【0130】
第12の態様は、情報処理システム(100)であって、光源(12)からの光に関するスペクトルデータおよび前記光の測定時の測定条件データと、植物(11)の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する記憶装置(23)と、第11の態様に基づく分光計測器(1)を用いた前記植物の撮影時の撮影条件であって、撮影時の前記少なくとも2つの波長の光の強度、前記植物からの反射光の強度、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータを含む撮影条件の入力を受け付けるインタフェース装置(22)と、前記撮影条件、および、前記少なくとも2つの波長の各値に基づいて前記データベースを参照することにより、将来の前記植物の状態および/または収穫結果を予測する演算回路(21)とを備えている。
【0131】
第13の態様は、第12の態様に基づく情報処理システム(100)である。前記データベースにおいて、前記スペクトルデータは、前記光源からの光に含まれる複数の波長、各波長の強度、および前記植物において反射された前記各波長の光の反射強度のデータを含む。前記測定条件データは、前記光を計測器で測定した時点における、前記計測器から見た前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差のデータを含む。前記植物状態データが含まれる場合には、前記植物状態データは、前記植物の生育状態、前記植物に発生した病害虫の状態、前記植物の成分、および前記植物が生育した土壌の状態のうちの少なくとも1つを示すデータを含む。前記収穫結果データが含まれる場合には、前記収穫結果データは、前記植物の収穫量、および前記植物の収穫時期のうちの少なくとも1つを示すデータを含む。
【0132】
第14の態様は、第13の態様に基づく情報処理システム(100)である。第14の態様において、前記演算回路(21)は、前記撮影条件に含まれる、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータが、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差、と一致する、または所定範囲内に入る場合に、前記測定条件データに対応付けられた前記植物状態データおよび/または 収穫結果データを用いて、将来の前記植物の状態および/または収穫結果を予測する。
【0133】
第15の態様は、第13の態様に基づく情報処理システム(100)である。第15の態様において、前記演算回路(21)は、前記撮影条件に含まれる、前記光源と前記分光計測器との方位角差、前記分光計測器の仰角、および、前記光源の仰角のデータと一致するよう、前記データベースの前記測定条件データにおける前記光源の仰角、前記計測器の仰角、および前記計測器と前記光源との方位角差に基づいて内挿補間または外挿補間を行い、同じ内挿補間または外挿補間を行った前記植物状態データおよび/または 収穫結果データを用いて、将来の前記植物の状態および/または収穫結果を予測する。
【産業上の利用可能性】
【0134】
本開示は、植物の将来の植物の状態および/または収穫に関する情報を予測する情報処理システムに適用可能である。
【符号の説明】
【0135】
1 分光計測器
11 対象物
12 光源
21 CPU
22 インタフェース装置
23 記憶装置
100 情報処理システム
130 光学フィルタ
132 イメージセンサ
【要約】
【課題】将来の植物の状態および/または収穫に関する情報を取得するために必要な波長を、測定条件を考慮して決定する技術を提供する。
【解決手段】情報処理システムは、記憶装置と、インタフェース装置と、演算回路とを備えている。記憶装置は、光源からの光に関するスペクトルデータおよび光の測定時の測定条件データと、植物の生長に関連する植物状態データおよび/または 収穫結果データとを予め対応付けたデータベースを格納する。インタフェース装置は、植物について、ユーザによる測定時に適用されるユーザ測定条件であって、測定時の角度に関するデータ 、および予測したい植物状態および/または収穫結果に関するデータを含むユーザ測定条件の入力を受け付ける。演算回路は、ユーザ測定条件に基づいてデータベースを参照することにより、ユーザ測定条件の下で測定すべき、光源からの光に含まれる少なくとも2つの波長を決定する。
【選択図】
図13