ホーム > 特許ランキング > エア・ウォーター株式会社
▶ エア・ウォーター株式会社の特許一覧 ▶ 国立大学法人室蘭工業大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022118484
(43)【公開日】2022-08-15
(54)【発明の名称】情報処理装置、情報処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220805BHJP
G06Q 50/02 20120101ALI20220805BHJP
G06Q 10/04 20120101ALI20220805BHJP
A01G 7/00 20060101ALI20220805BHJP
【ＦＩ】
G06T7/00 350B
G06Q50/02
G06Q10/04
A01G7/00 603
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2021015052
(22)【出願日】2021-02-02
【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度国立研究開発法人情報通信研究機構「高度通信・放送研究開発委託研究／データ連携・利活用による地域課題解決のための実証型研究開発（第３回）ＡＩ・ＩｏＴを活用した北海道における次世代施設栽培の確立」、産業技術力強化法第１７条の適用を受ける特許出願
(71)【出願人】
【識別番号】000126115
【氏名又は名称】エア・ウォーター株式会社
(71)【出願人】
【識別番号】504193837
【氏名又は名称】国立大学法人室蘭工業大学
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】堀江 達郎
(72)【発明者】
【氏名】小林 洋介
(72)【発明者】
【氏名】渡邉 真也
(72)【発明者】
【氏名】岸上 順一
(72)【発明者】
【氏名】須藤 秀紹
(72)【発明者】
【氏名】佐藤 和彦
【テーマコード（参考）】
5L049
5L096
【Ｆターム（参考）】
5L049AA04
5L049CC01
5L096AA06
5L096BA08
5L096BA18
5L096CA04
5L096DA01
5L096DA02
5L096EA07
5L096EA35
5L096FA16
5L096FA53
5L096HA11
5L096KA04
(57)【要約】
【課題】準備に要する労力を抑えつつ農作物の実の個数を予測するための技術を提供すること。
【解決手段】情報処理装置は、学習用画像のラベルから当該学習用画像に対応する範囲の農作物の実の個数の実測値を取得し（ステップＳ２０４）、当該学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する（ステップＳ２０６）。そして、情報処理装置は、上記実測値を利用して、認識された領域の数から、学習用画像に対応する範囲の農作物の実の個数の推定値を導出し（ステップＳ２０８）、上記実測値および上記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する（ステップＳ２１０）。そして、情報処理装置は、予測用画像から認識された農作物の実の個数ごとの領域の数を上記予測モデルに適用することによって、当該予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する。
【選択図】図５
【解決手段】情報処理装置は、学習用画像のラベルから当該学習用画像に対応する範囲の農作物の実の個数の実測値を取得し（ステップＳ２０４）、当該学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する（ステップＳ２０６）。そして、情報処理装置は、上記実測値を利用して、認識された領域の数から、学習用画像に対応する範囲の農作物の実の個数の推定値を導出し（ステップＳ２０８）、上記実測値および上記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する（ステップＳ２１０）。そして、情報処理装置は、予測用画像から認識された農作物の実の個数ごとの領域の数を上記予測モデルに適用することによって、当該予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する。
【選択図】図５
【特許請求の範囲】
【請求項1】
学習用画像に対応する範囲の農作物の実の個数の実測値を取得する取得手段と、
前記学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する認識手段と、
前記実測値、および、前記認識手段が認識した領域の数を用いて導出される農作物の実の個数の推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する学習手段と、
予測用画像から前記認識手段によって認識された農作物の実の個数ごとの領域の数を前記予測モデルに適用することによって、前記予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する予測手段と、を備える情報処理装置。
前記学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する認識手段と、
前記実測値、および、前記認識手段が認識した領域の数を用いて導出される農作物の実の個数の推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する学習手段と、
予測用画像から前記認識手段によって認識された農作物の実の個数ごとの領域の数を前記予測モデルに適用することによって、前記予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する予測手段と、を備える情報処理装置。
【請求項2】
前記学習手段は、前記予測モデルの機械学習に、農作物の圃場の環境に関する値をさらに利用し、
前記予測手段は、農作物の圃場の環境に関する値をさらに前記予測モデルに適用して、前記予測値を導出する、請求項１に記載の情報処理装置。
前記予測手段は、農作物の圃場の環境に関する値をさらに前記予測モデルに適用して、前記予測値を導出する、請求項１に記載の情報処理装置。
【請求項3】
前記環境に関する値は、農作物の圃場の日射量に関する値を含む、請求項２に記載の情報処理装置。
【請求項4】
前記機械学習では、前記学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用される、請求項１～請求項３のいずれか１項に記載の情報処理装置。
【請求項5】
前記予測用画像から認識した、農作物の実の個数ごとに実を囲む領域を表示する表示手段をさらに備えている、請求項１～請求項４のいずれか１項に記載の情報処理装置。
【請求項6】
前記学習用画像から、農作物の実を１個ずつ囲む領域を認識する第２の認識手段をさらに備え、
前記学習手段は、前記予測モデルの機械学習に、前記第２の認識手段が認識した領域の数から導出される、農作物の実の個数の第２の推定値をさらに利用し、
前記予測手段は、前記予測用画像から前記第２の認識手段によって認識された、農作物の実を１個ずつ囲む領域の数を前記予測モデルにさらに適用することによって、前記予測値を導出する、請求項１～請求項５のいずれか１項に記載の情報処理装置。
前記学習手段は、前記予測モデルの機械学習に、前記第２の認識手段が認識した領域の数から導出される、農作物の実の個数の第２の推定値をさらに利用し、
前記予測手段は、前記予測用画像から前記第２の認識手段によって認識された、農作物の実を１個ずつ囲む領域の数を前記予測モデルにさらに適用することによって、前記予測値を導出する、請求項１～請求項５のいずれか１項に記載の情報処理装置。
【請求項7】
コンピュータによって実行される方法であって、
学習用画像に対応する範囲の農作物の実の個数の実測値を取得するステップと、
前記学習用画像から、農作物の実の個数ごとに実を囲む領域を認識するステップと、
前記認識するステップにおいて認識された領域の数から、前記学習用画像に対応する範囲の農作物の実の個数の推定値を導出するステップと、
前記実測値および前記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行するステップと、
予測用画像から認識された農作物の実の個数ごとの領域の数を前記予測モデルに適用することによって、前記予測用画像に対応する範囲内の農作物の実の個数の予測値を導出するステップと、を備える情報処理方法。
学習用画像に対応する範囲の農作物の実の個数の実測値を取得するステップと、
前記学習用画像から、農作物の実の個数ごとに実を囲む領域を認識するステップと、
前記認識するステップにおいて認識された領域の数から、前記学習用画像に対応する範囲の農作物の実の個数の推定値を導出するステップと、
前記実測値および前記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行するステップと、
予測用画像から認識された農作物の実の個数ごとの領域の数を前記予測モデルに適用することによって、前記予測用画像に対応する範囲内の農作物の実の個数の予測値を導出するステップと、を備える情報処理方法。
【請求項8】
前記機械学習を実行するステップは、前記予測モデルの機械学習に、農作物の圃場の環境に関する値をさらに利用し、
前記予測値を導出するステップは、農作物の圃場の環境に関する値をさらに前記予測モデルに適用して、前記予測値を導出する、請求項７に記載の情報処理方法。
前記予測値を導出するステップは、農作物の圃場の環境に関する値をさらに前記予測モデルに適用して、前記予測値を導出する、請求項７に記載の情報処理方法。
【請求項9】
前記環境に関する値は、農作物の圃場の日射量に関する値を含む、請求項８に記載の情報処理方法。
【請求項10】
前記機械学習では、前記学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用される、請求項７～請求項９のいずれか１項に記載の情報処理方法。
【請求項11】
前記予測用画像から認識された、農作物の実の個数ごとに実を囲む領域を表示するステップをさらに備える、請求項７～請求項１０のいずれか１項に記載の情報処理方法。
【請求項12】
前記学習用画像から、農作物の実を１個ずつ囲む領域を認識するステップをさらに備え、
前記機械学習を実行するステップは、
前記学習用画像から認識された農作物の実を１個ずつ囲む領域の数を用いて、農作物の実の個数の第２の推定値を導出することを含み、
前記予測モデルの機械学習に、前記第２の推定値をさらに利用し、
前記予測値を導出するステップは、前記予測用画像から認識された農作物の実を１個ずつ囲む領域の数を前記予測モデルにさらに適用することによって、前記予測値を導出する、請求項７～請求項１１のいずれか１項に記載の情報処理方法。
前記機械学習を実行するステップは、
前記学習用画像から認識された農作物の実を１個ずつ囲む領域の数を用いて、農作物の実の個数の第２の推定値を導出することを含み、
前記予測モデルの機械学習に、前記第２の推定値をさらに利用し、
前記予測値を導出するステップは、前記予測用画像から認識された農作物の実を１個ずつ囲む領域の数を前記予測モデルにさらに適用することによって、前記予測値を導出する、請求項７～請求項１１のいずれか１項に記載の情報処理方法。
【請求項13】
コンピュータによって実行されることにより、前記コンピュータに、請求項７～請求項１２のいずれか１項に記載の情報処理方法を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、圃場の画像を利用した、農作物の実の個数の予測に関する。
【背景技術】
【0002】
従来、圃場において栽培される農作物の収穫量の予測について種々の技術が提案されている。たとえば、特許第６６７３４４２号公報（特許文献１）は、複数の栽培ベッドの間を作業移動車が走行しながらカメラで植物の果実を撮影し、果実判別装置により成熟した果実の総数をカウントし、成熟果実を収穫する複数の作業者それぞれの作業能力に合わせた仮収穫個数を演算し、当該仮収穫個数に基づいて、栽培室内における各作業者の作業領域を設定する、収穫システムを開示している。
【0003】
また、特開２０２０－２４６７２号公報（特許文献２）は、圃場において撮影された画像から収穫されるぶどうの房の推定値を導出する学習済みモデルの学習を実行し、当該学習済みモデルを利用して圃場の画像から収穫されるぶどうの房の数の推定値を導出し、導出された房の数の推定値から重量の推定値を導出する情報処理装置を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６６７３４４２号公報
【特許文献2】特開２０２０－２４６７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載されたように、画像から果実の総数をカウントするには、作業者の多大な能力を必要とする。特許文献２に記載された技術は、機械学習モデルを利用するという点ではカウント動作の軽減が期待される。しかしながら、農作物の中には、収穫量として重量より実の個数が重要であるものがある一方で、特許文献２に開示された技術は、推定値として房の数と重量を導出するものであって、実の個数を導出するものではない。仮に、特許文献１に記載された技術を機械学習モデルを利用する技術を組合せようとした場合、学習用のデータの準備において、アノテーションとして、学習用画像に実の１個ずつの領域をタグ付けするという多大な労力を必要とされる。
【0006】
本開示は、係る実情に鑑み考え出されたものであり、その目的は、準備に要する労力を抑えつつ農作物の実の個数を予測するための技術を提供することである。
【課題を解決するための手段】
【0007】
本開示のある局面に従うと、学習用画像に対応する範囲の農作物の実の個数の実測値を取得する取得手段と、学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する認識手段と、実測値、および、認識手段が認識した領域の数を用いて導出される農作物の実の個数の推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する学習手段と、予測用画像から認識手段によって認識された農作物の実の個数ごとの領域の数を予測モデルに適用することによって、予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する予測手段と、を備える情報処理装置が提供される。
【0008】
学習手段は、予測モデルの機械学習に、農作物の圃場の環境に関する値をさらに利用してもよい。予測手段は、農作物の圃場の環境に関する値をさらに予測モデルに適用して、予測値を導出してもよい。
【0009】
環境に関する値は、農作物の圃場の日射量に関する値を含んでいてもよい。
機械学習では、学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用されてもよい。
機械学習では、学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用されてもよい。
【0010】
情報処理装置は、予測用画像から認識した、農作物の実の個数ごとに実を囲む領域を表示する表示手段を備えていても良い。
【0011】
情報処理装置は、学習用画像から、農作物の実を１個ずつ囲む領域を認識する第２の認識手段をさらに備えていてもよい。学習手段は、予測モデルの機械学習に、第２の認識手段が認識した領域の数から導出される、農作物の実の個数の第２の推定値をさらに利用してもよい。予測手段は、予測用画像から第２の認識手段によって認識された、農作物の実を１個ずつ囲む領域の数を予測モデルにさらに適用することによって、予測値を導出してもよい。
【0012】
本開示の他の局面に従うと、コンピュータによって実行される方法であって、学習用画像に対応する範囲の農作物の実の個数の実測値を取得するステップと、学習用画像から、農作物の実の個数ごとに実を囲む領域を認識するステップと、認識するステップにおいて認識された領域の数から、学習用画像に対応する範囲の農作物の実の個数の推定値を導出するステップと、実測値および推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行するステップと、予測用画像から認識された農作物の実の個数ごとの領域の数を予測モデルに適用することによって、予測用画像に対応する範囲内の農作物の実の個数の予測値を導出するステップと、を備える情報処理方法が提供される。
【0013】
機械学習を実行するステップは、予測モデルの機械学習に、農作物の圃場の環境に関する値をさらに利用してもよい。予測値を導出するステップは、農作物の圃場の環境に関する値をさらに予測モデルに適用して、予測値を導出してもよい。
【0014】
環境に関する値は、農作物の圃場の日射量に関する値を含んでいてもよい。
機械学習では、学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用されてもよい。
機械学習では、学習用画像に付与された農作物の実の個数ごとの領域を表す情報が利用されてもよい。
【0015】
予測用画像から認識された、農作物の実の個数ごとに実を囲む領域を表示するステップをさらに備える。
【0016】
情報処理方法は、学習用画像から、農作物の実を１個ずつ囲む領域を認識するステップをさらに備えていてもよい。機械学習を実行するステップは、学習用画像から認識された農作物の実を１個ずつ囲む領域の数を用いて、農作物の実の個数の第２の推定値を導出することを含んでいてもよく、予測モデルの機械学習に、第２の推定値をさらに利用してもよい。予測値を導出するステップは、予測用画像から認識された農作物の実を１個ずつ囲む領域の数を予測モデルにさらに適用することによって、予測値を導出してもよい。
【0017】
本開示のさらに他の局面に従うと、コンピュータによって実行されることにより、コンピュータに、上記の情報処理方法を実行させる、プログラムが提供される。
【発明の効果】
【0018】
本開示のある局面によれば、画像を利用した農作物の実の個数の予測において、農作物の実の個数ごとに付された領域の情報が利用される。これにより、アノテーションでは、２個以上の実が１つの領域としてまとまって扱われながら、予測値として、農作物の実の個数が導出される。したがって、アノテーション作業に必要とされる労力を軽減しつつ、農作物の実の個数の予測が可能になる。
【図面の簡単な説明】
【0019】
【図1】情報処理装置１００のハードウェア構成の一例を示す模式図である。
【図2】情報処理装置１００の機能ブロックを示す図である。
【図3】認識部２０５による認識結果を表示する画面の一例を示す図である。
【図4】情報処理装置１００によって実行されるメインルーチンの一例を示すフローチャートである。
【図7】情報処理装置１００による予測について、その精度を説明するための図である。
【図8】情報処理装置１００の機能ブロックの１つ目の変形例を示す図である。
【図9】変形例（１）における学習処理のサブルーチンのフローチャートである。
【図10】変形例（１）における予測処理のサブルーチンのフローチャートである。
【図11】情報処理装置１００による予測について、その精度を説明するための図である。
【図12】情報処理装置１００の機能ブロックの２つ目の変形例を示す図である。
【図13】第１認識部２０５１による認識結果を表示する画面の一例を示す図である。
【図14】変形例（２）における学習処理のサブルーチンのフローチャートである。
【図15】変形例（２）における予測処理のサブルーチンのフローチャートである。
【図16】情報処理装置１００による予測について、その精度を説明するための図である。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ、本発明に従う実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
【0021】
［情報処理装置のハードウェア構成］
図１は、情報処理装置１００のハードウェア構成の一例を示す模式図である。情報処理装置１００は、圃場において撮影された画像から、トマトなどの農作物の実の房に相当する領域を認識する。情報処理装置１００は、各房に相当する領域を、房を構成すると考えられる実の個数ごとに認識する。そして、情報処理装置１００は、領域の認識結果を利用して、上記画像に対応する範囲の実の個数の予測結果を導出する。
図１は、情報処理装置１００のハードウェア構成の一例を示す模式図である。情報処理装置１００は、圃場において撮影された画像から、トマトなどの農作物の実の房に相当する領域を認識する。情報処理装置１００は、各房に相当する領域を、房を構成すると考えられる実の個数ごとに認識する。そして、情報処理装置１００は、領域の認識結果を利用して、上記画像に対応する範囲の実の個数の予測結果を導出する。
【0022】
情報処理装置１００が予測の対象とする農作物は、トマトに限定されず、リンゴまたはみかんなどの、その実を１個ずつ扱われる農作物であればいかなる農作物であってもよい。
【0023】
図１を参照して、情報処理装置１００は、制御装置１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、通信インターフェイス１０４と、表示インターフェイス１０５と、入力インターフェイス１０７と、記憶装置１２０とを含む。これらのコンポーネントは、バス１１０に接続される。
【0024】
制御装置１０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ（Central Processing Unit）、少なくとも１つのＧＰＵ（Graphics Processing Unit）、少なくとも１つのＡＳＩＣ（Application Specific Integrated Circuit）、少なくとも１つのＦＰＧＡ（Field Programmable Gate Array）、またはそれらの組み合わせなどによって構成され得る。
【0025】
制御装置１０１は、学習用プログラム１２２、および、予測用プログラム１２４などの、各種プログラムを実行することで情報処理装置１００の動作を制御する。一実現例では、これらのプログラムは記憶装置１２０に格納されている。これらのプログラムの少なくとも一つは、外部のサーバに格納されていてもよく、制御装置１０１は、ＡＰＩ（Application Programming Interface）を利用してこれらのプログラムを実行してもよい。
【0026】
通信インターフェイス１０４には、ＬＡＮ（Local Area Network）やアンテナなどが接続される。情報処理装置１００は、通信インターフェイス１０４を介して、外部機器との間でデータをやり取りする。情報処理装置１００は、通信インターフェイス１０４を介してサーバから各種のプログラムをダウンロードできるように構成されていてもよい。
【0027】
表示インターフェイス１０５には、ディスプレイ１０６が接続される。表示インターフェイス１０５は、制御装置１０１などからの指令に従って、ディスプレイ１０６に対して、画像を表示するための画像信号を送出する。ディスプレイ１０６は、たとえば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、またはその他の表示機器である。ディスプレイ１０６は、情報処理装置１００と一体的に構成されてもよいし、情報処理装置１００とは別に構成されてもよい。
【0028】
入力インターフェイス１０７には、入力デバイス１０８が接続される。入力デバイス１０８は、たとえば、マウス、キーボード、タッチパネル、またはユーザの操作を受け付けることが可能なその他の装置である。入力デバイス１０８は、情報処理装置１００と一体的に構成されてもよいし、情報処理装置１００とは別に構成されてもよい。
【0029】
記憶装置１２０は、たとえば、ハードディスクやフラッシュメモリなどの記憶媒体である。記憶装置１２０は、各種のプログラムおよび当該プログラムの実行に利用されるデータを格納する。これらのプログラムおよび／またはデータの格納場所は、記憶装置１２０に限定されず、制御装置１０１の記憶領域（たとえば、キャッシュメモリなど）、ＲＯＭ１０２、ＲＡＭ１０３、外部機器（たとえば、サーバ）であってもよい。
【0030】
［機能ブロック］
図２は、情報処理装置１００の機能ブロックを示す図である。図２に示されるように、情報処理装置１００は、情報取得部２０１、学習部２０２、パラメータ格納部２０３、予測部２０４、および、出力部２０７として機能する。予測部２０４は、認識部２０５と個数導出部２０６とを含む。
図２は、情報処理装置１００の機能ブロックを示す図である。図２に示されるように、情報処理装置１００は、情報取得部２０１、学習部２０２、パラメータ格納部２０３、予測部２０４、および、出力部２０７として機能する。予測部２０４は、認識部２０５と個数導出部２０６とを含む。
【0031】
情報処理装置１００は、予測モデルを含み、学習用データ２１０を利用して当該予測モデルの機械学習を実行する。情報処理装置１００は、また、当該予測モデルを利用して、予測対象の動画２２０を入力されると、当該予測対象の動画２２０に対応する範囲における、当該動画の撮影時から２週間後に収穫されるトマトの個数の予測値を出力する。
【0032】
学習用データ２１０に含まれる動画は、たとえば、移動車両に搭載されたカメラで撮影された圃場の動画（以下、「元の動画」とも称する）に基づいて生成される。一例では、元の動画はavi形式で生成され、当該元の動画に対し調整が実施される。調整は、MP4形式への形式変換、圃場を撮影した時間部分の切り出し、ひずみ補正、および、農作物以外の部分（移動車両の車体など）を除くトリミングを含む。学習用データ２１０に含まれる動画は、調整後の動画に対し、当該動画の各フレームに上述のラベル（領域の位置、各領域に囲まれる実の個数、等）が付与されることによって生成される。
【0033】
予測対象の動画２２０も、学習用データ２１０に含まれる動画と同様に、上記カメラで撮影された圃場の動画に対して、上記調整が実施されることによって生成される。
【0034】
情報取得部２０１は、学習用データ２１０のラベルからトマトの個数の実測値を抽出して、学習部２０２へと出力する。実測値は、学習用データ２１０に含まれる動画が対応する範囲の、当該動画の撮影時から２週間後に実際に収穫されたトマトの個数である。
【0035】
学習部２０２は、たとえば、予測モデルの機械学習を実行する。パラメータ格納部２０３は、学習部２０２による機械学習において設定される、予測モデルのパラメータを格納する。
【0036】
予測部２０４は、画像の入力を受け付け、そして、入力された画像から、当該画像に対応する範囲において当該画像の撮影時から２週間後に収穫されるトマトの実の個数の、推定値または予測値を導出する。予測部２０４は、予測モデルを含む。本明細書では、形式的に、予測モデルの学習段階において予測部２０４が導出するトマトの実の個数を「推定値」と呼び、予測モデルの利用段階において予測部２０４が導出するトマトの実の個数を「予測値」と呼ぶ。
【0037】
予測部２０４において、認識部２０５は、入力された画像から、トマトを囲む領域を、囲まれるトマトの個数ごとに認識する。認識部２０５は、たとえばYOLO（You Only Look Once）等の物体認識のアルゴリズムに従って、入力された画像において上記領域を認識する。認識部２０５は、領域の認識結果を個数導出部２０６へ出力する。認識部２０５の認識結果は、画像から認識された１以上のそれぞれの領域を表す情報と、各領域に囲まれるトマトの個数を表す情報とを含む。個数導出部２０６は、認識部２０５から出力された認識結果を予測モデルに適用することによって、上記の推定値または予測値を算出する。
【0038】
予測モデルは、次の式（１）で表されるような線形回帰モデルであってもよい。
ｆ（ｘ）＝αｘ …（１）
式（１）において、αは、機械学習において更新される係数である。機械学習において更新された値αは、パラメータ格納部２０３に格納される。式（１）において、ｘは目的変数ｆ（ｘ）の説明変数であり、次の式（２）で表される。
ｆ（ｘ）＝αｘ …（１）
式（１）において、αは、機械学習において更新される係数である。機械学習において更新された値αは、パラメータ格納部２０３に格納される。式（１）において、ｘは目的変数ｆ（ｘ）の説明変数であり、次の式（２）で表される。
【0039】
ｘ＝ｐＡ＋ｑＢ＋ｒＣ＋… …（２）
式（２）において、Ａ，Ｂ，Ｃのそれぞれは、認識された領域の数を表す。Ａ，Ｂ，Ｃのそれぞれが対応する領域は、囲うトマトの個数が互いに異なる。たとえば、Ａは１個のトマトの実を囲う領域の数であり、Ｂは２個のトマトの実を囲う領域の数であり、Ｃは３個のトマトの実を囲う領域の数である。ｐ，ｑ，ｒのそれぞれは、Ａ，Ｂ，Ｃのそれぞれの係数である。ｐ，ｑ，ｒのそれぞれは、予め定められた値であってもよいし、機械学習において更新される値であってもよい。機械学習において更新される場合、機械学習における更新後のｐ，ｑ，ｒは、パラメータ格納部２０３に格納される。
式（２）において、Ａ，Ｂ，Ｃのそれぞれは、認識された領域の数を表す。Ａ，Ｂ，Ｃのそれぞれが対応する領域は、囲うトマトの個数が互いに異なる。たとえば、Ａは１個のトマトの実を囲う領域の数であり、Ｂは２個のトマトの実を囲う領域の数であり、Ｃは３個のトマトの実を囲う領域の数である。ｐ，ｑ，ｒのそれぞれは、Ａ，Ｂ，Ｃのそれぞれの係数である。ｐ，ｑ，ｒのそれぞれは、予め定められた値であってもよいし、機械学習において更新される値であってもよい。機械学習において更新される場合、機械学習における更新後のｐ，ｑ，ｒは、パラメータ格納部２０３に格納される。
【0040】
式（２）の右辺の項の数は、予測モデルが認識対象とする領域の種類（種類ごとに領域によって囲まれるトマトの個数が異なる）の数を表す。たとえば、予測モデルの認識対象が、実が１個の領域、実が２個の領域、および、実が３個の領域である場合、式（２）の右辺の項の数は、次の式（２Ｘ）で示されるように「３」である。式（２Ｘ）において、Ａは、実が１個の領域の数を表す。また、Ｂは実が２個の領域の数を、Ｃは実が３個の領域の数を、それぞれ表す。
【0041】
ｘ＝ｐＡ＋ｑＢ＋ｒＣ …（２Ｘ）
出力部２０７は、予測部２０４が導出した予測値をディスプレイ１０６に表示することなどによって出力する。
出力部２０７は、予測部２０４が導出した予測値をディスプレイ１０６に表示することなどによって出力する。
【0042】
情報取得部２０１、学習部２０２、予測部２０４、および出力部２０７のそれぞれは、制御装置１０１が所与のプログラムを実行することによって実現されてもよい。より具体的には、予測部２０４として、制御装置１０１は、YOLO等の物体認識用のプログラムを実行することによって認識部２０５として機能してもよく、予測用プログラム１２４を実行することによって個数導出部２０６として機能してもよい。また、制御装置１０１は、学習用プログラム１２２を実行することによって、学習部２０２として機能してもよい。学習用プログラム１２２と予測用プログラム１２４とが、モデルの学習から利用までの処理を一貫して制御する、１つのアプリケーションプログラムとして構成されてもよい。
【0043】
［領域の認識］
図３は、認識部２０５による認識結果を表示する画面の一例を示す図である。図３に示された画面３００では、圃場において撮影された画像に、認識された領域を表す枠が重畳されている。画面３００は、複数の枠を含み、当該複数の枠のそれぞれには、当該枠のサイズを表す数値（たとえば、「２０．７６」「３０．４５」等）が付記されている。枠に囲まれるトマトの実の個数は、１個の場合もあれば、２個の場合もあれば、３個の場合もある。すなわち、認識部２０５は、１個の実を囲う領域、２個の実を囲う領域、および、３個の実を囲う領域のそれぞれを互いに区別して認識し得る。認識部２０５が認識する領域の種類は、これらの３種類に限定されない。認識される領域の種類は、２種類以下であってもよいし、４種類以上であってもよい。また、認識部２０５は、認識される領域に含まれる実の個数は、１個～３個に限定されず、４個以上であってもよい。
図３は、認識部２０５による認識結果を表示する画面の一例を示す図である。図３に示された画面３００では、圃場において撮影された画像に、認識された領域を表す枠が重畳されている。画面３００は、複数の枠を含み、当該複数の枠のそれぞれには、当該枠のサイズを表す数値（たとえば、「２０．７６」「３０．４５」等）が付記されている。枠に囲まれるトマトの実の個数は、１個の場合もあれば、２個の場合もあれば、３個の場合もある。すなわち、認識部２０５は、１個の実を囲う領域、２個の実を囲う領域、および、３個の実を囲う領域のそれぞれを互いに区別して認識し得る。認識部２０５が認識する領域の種類は、これらの３種類に限定されない。認識される領域の種類は、２種類以下であってもよいし、４種類以上であってもよい。また、認識部２０５は、認識される領域に含まれる実の個数は、１個～３個に限定されず、４個以上であってもよい。
【0044】
［情報処理装置の流れ］
＜メインルーチン＞
図４は、情報処理装置１００によって実行されるメインルーチンの一例を示すフローチャートである。情報処理装置１００では、制御装置１０１が所与のプログラムを実行することによって図４に示される処理を実施してもよい。
＜メインルーチン＞
図４は、情報処理装置１００によって実行されるメインルーチンの一例を示すフローチャートである。情報処理装置１００では、制御装置１０１が所与のプログラムを実行することによって図４に示される処理を実施してもよい。
【0045】
図４を参照して、ステップＳ１００にて、情報処理装置１００は、予測モデルの学習の指示を入力されたか否かを判断する。ユーザは、たとえば入力デバイス１０８を操作することによって、情報処理装置１００に学習の指示を入力できる。
【0046】
情報処理装置１００は、予測モデルの学習の指示を入力されたと判断すると（ステップＳ１００にてＹＥＳ）、ステップＳ２００へ制御を進め、そうでなければ（ステップＳ１００にてＮＯ）、ステップＳ３００へ制御を進める。
【0047】
ステップＳ２００にて、情報処理装置１００は、予測モデルの学習を実行する。ステップＳ２００の処理内容については、図５を参照して後述する。その後、情報処理装置１００は、ステップＳ３００へ制御を進める。
【0048】
ステップＳ３００にて、情報処理装置１００は、（トマトの収穫量の）予測の指示を入力されたか否かを判断する。ユーザは、たとえば入力デバイス１０８を操作することによって、情報処理装置１００に予測の指示を入力できる。
【0049】
情報処理装置１００は、予測の指示を入力されたと判断すると（ステップＳ３００にてＹＥＳ）、ステップＳ４００へ制御を進め、そうでなければ（ステップＳ３００にてＮＯ）、ステップＳ１００へ制御を戻す。
【0050】
ステップＳ４００にて、情報処理装置１００は、予測モデルを利用した予測を実行する。ステップＳ４００の処理内容については、図６を参照して後述する。その後、情報処理装置１００は、ステップＳ１００へ制御を戻す。
【0051】
【0052】
図５を参照して、ステップＳ２０２にて、情報処理装置１００は、学習用データ２１０を読み込む。
【0053】
ステップＳ２０４にて、情報処理装置１００は、学習用データ２１０から実測値を抽出する。ステップＳ２０４の制御は、情報取得部２０１の機能として実現されてもよい。
【0054】
ステップＳ２０６にて、情報処理装置１００は、学習用データ２１０に含まれる画像（動画を構成する１以上のフレーム画像のそれぞれ）に対して画像認識を実行する。当該画像認識では、実の個数ごとに、トマトを囲む領域が認識される。ステップＳ２０６の制御は、認識部２０５の機能として実現されてもよい。
【0055】
ステップＳ２０８にて、情報処理装置１００は、ステップＳ２０６における認識結果を式（２）に適用し、さらに、式（２）に従って導出された値ｘを式（１）に適用することによって、トマトの収穫量について上記した推定値を導出する。
【0056】
ステップＳ２１０にて、情報処理装置１００は、ステップＳ２０４で取得された実測値とステップＳ２０８で取得された推定値とを用いて予測モデルの機械学習を実行し、当該機械学習の結果として、予測モデルにおけるパラメータ（たとえば、式（１）のα）を更新し、更新後のパラメータをパラメータ格納部２０３に格納する。その後、情報処理装置１００は、機械学習について予め定められた学習回数の学習が完了するまでステップＳ２０２へ制御を戻す。上記学習回数の学習が完了すると、情報処理装置１００は、制御を図４のステップＳ３００へ進める。
【0057】
【0058】
【0059】
図６を参照して、ステップＳ４０２にて、情報処理装置１００は、予測対象の動画２２０を読み込む。
【0060】
ステップＳ４０４にて、情報処理装置１００は、ステップＳ４０２において読み込まれた動画を構成する１以上のフレーム画像に対して画像認識を実行する。ステップＳ４０４における画像認識では、ステップＳ２０６における画像認識と同様に、実の個数ごとに、トマトを囲む領域が認識される。ステップＳ４０４の制御は、認識部２０５の機能として実現されてもよい。
【0061】
ステップＳ４０６にて、情報処理装置１００は、ステップＳ４０４における認識結果を式（２）に適用し、さらに、式（２）に従って導出された値ｘを式（１）に適用することによって、トマトの収穫量について上記した予測値を導出する。
【0062】
ステップＳ４０８にて、情報処理装置１００は、導出された予測値を、たとえばディスプレイ１０６に表示することによって、出力する。その後、情報処理装置１００は、制御を図４のステップＳ１００に戻す。
【0063】
情報処理装置１００は、ステップＳ４０８にて、さらに、予測対象の動画２２０をステップＳ４０４における認識結果とともに再生するためのボタンを、ディスプレイ１０６に表示してもよい。当該ボタンに対してクリック等の操作がなされることにより、情報処理装置１００は、予測対象の動画２２０を上記認識結果とともに再生してもよい。認識結果は、図３を参照して説明されたような、画像に重畳された枠であってもよく、枠のサイズを表す数値を伴っていてもよい。さらに、表示される枠は、各枠が囲う実の個数に従って異なる態様で表示されてもよい。たとえば、１個の実を囲う枠はピンク色で、２個の実を囲う枠はオレンジ色で、３個の実を囲う枠は黄緑色で、それぞれ表示されてもよい。
【0064】
＜まとめ＞
以上説明された本実施の形態において、情報処理装置１００は、学習用画像のラベルから当該学習用画像に対応する範囲の農作物の実の個数の実測値を取得する（ステップＳ２０４）。一方、情報処理装置１００は、当該学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する（ステップＳ２０６）。そして、情報処理装置１００は、上記実測値を利用して、認識された領域の数（上述のＡ，Ｂ，Ｃ等）から、学習用画像に対応する範囲の農作物の実の個数の推定値を導出する（ステップＳ２０８）。情報処理装置１００は、上記実測値および上記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する（ステップＳ２１０）。
以上説明された本実施の形態において、情報処理装置１００は、学習用画像のラベルから当該学習用画像に対応する範囲の農作物の実の個数の実測値を取得する（ステップＳ２０４）。一方、情報処理装置１００は、当該学習用画像から、農作物の実の個数ごとに実を囲む領域を認識する（ステップＳ２０６）。そして、情報処理装置１００は、上記実測値を利用して、認識された領域の数（上述のＡ，Ｂ，Ｃ等）から、学習用画像に対応する範囲の農作物の実の個数の推定値を導出する（ステップＳ２０８）。情報処理装置１００は、上記実測値および上記推定値を用いて、農作物の実の個数を予測するための予測モデルの機械学習を実行する（ステップＳ２１０）。
【0065】
そして、情報処理装置１００は、予測用画像（予測対象の動画２２０）から認識された農作物の実の個数ごとの領域の数を上記予測モデルに適用することによって、当該予測用画像に対応する範囲内の農作物の実の個数の予測値を導出する（ステップＳ４０６）。情報処理装置１００は、導出された予測値を、ディスプレイ１０６に表示する等によって出力する（ステップＳ４０８）。
【0066】
図７は、情報処理装置１００による予測について、その精度を説明するための図である。図７のグラフＧ１０は、ある圃場について、２０２０年４月（「２０２０－０４」）から同年１０月（「２０２０－１０」）までの間、７日ごとに算出された収穫量の予測値および実測値を示す。予測値は実線（線Ｌ１１）で示され、実測値は一点鎖線（Ｌ１２）で示されている。なお、図７に示された予測値および実測値のそれぞれは、情報処理装置１００が導出した予測値の個数および情報処理装置１００が取得した実測値の個数のそれぞれが単位個数当たりの重量を利用して変換された重量で示されている。
【0067】
図７から理解されるように、予測値は、２０２０年４月の第２週および同年８月の第２週で実測値を比較的大きく上回り、また、２０２０年８月の第１週で実測値を比較的大きく下回ったものの、全体としての誤差は、ＭＡＰＥ（平均絶対誤差率）＝３８．２７程度という好適な結果を示した。
【0068】
［変形例（１）］
上述の実施の形態に対する１つ目の変形例について説明する。
上述の実施の形態に対する１つ目の変形例について説明する。
【0069】
＜機能ブロック＞
図８は、情報処理装置１００の機能ブロックの１つ目の変形例を示す図である。図８の例では、図２の例と比較して、情報処理装置１００はさらに環境データ格納部２０８として機能する。環境データ格納部２０８は、圃場の環境データが格納される。
図８は、情報処理装置１００の機能ブロックの１つ目の変形例を示す図である。図８の例では、図２の例と比較して、情報処理装置１００はさらに環境データ格納部２０８として機能する。環境データ格納部２０８は、圃場の環境データが格納される。
【0070】
環境データの一例は、日射量に関する値であり、たとえば全天日射量である。情報処理装置１００は、学習用データ２１０および予測対象の動画２２０のそれぞれに対応する日および場所（都道府県、市区町村、等）の全天日射量を、たとえば気象庁のホームページにアクセスすることによって取得し得る。環境データは、全天日射量の代わりに、または、全天日射量に加えて、気温、風速、飽差、および／または、二酸化炭素濃度を表す指標であってもよい。また、農作物が水耕栽培で栽培されるものである場合、環境データは、水耕栽培に関わる「給・排液量」を表す指標を含んでもよいし、植物観察結果である「葉長や茎の太さ」を表す指標を含んでもよい。
【0071】
環境データの他の例は、気温であってもよいし、最高気温であってもよいし、最低気温であってもよいし、最高気温と最低気温の差であってもよいし、平均湿度であてもよい。
【0072】
本変形例に利用される予測モデルの一例を、以下に式（１－１）として示す。
ｆ（ｘ）＝α１ｘ１＋α２ｘ２＋α３ｘ３＋… …（１－１）
式（１－１）のｘ１は、上述の説明において式（２）として示されたｘと同様に、２以上の種類の領域のそれぞれが認識された数（Ａ，Ｂ，Ｃ等）の関数であり、より具体的には、以下の式（２－１）で表される。
ｆ（ｘ）＝α１ｘ１＋α２ｘ２＋α３ｘ３＋… …（１－１）
式（１－１）のｘ１は、上述の説明において式（２）として示されたｘと同様に、２以上の種類の領域のそれぞれが認識された数（Ａ，Ｂ，Ｃ等）の関数であり、より具体的には、以下の式（２－１）で表される。
【0073】
ｘ１＝ｐＡ＋ｑＢ＋ｒＣ …（２－１）
式（１－１）の右辺の２項目以降の各項は、環境データを表す変数（ｘ２、ｘ３、等）と、当該変数に付された係数（たとえば、α２、α３、等）との積によって構成される。係数は、機械学習において更新され得る。更新後の係数（パラメータ）は、パラメータ格納部２０３に格納される。
式（１－１）の右辺の２項目以降の各項は、環境データを表す変数（ｘ２、ｘ３、等）と、当該変数に付された係数（たとえば、α２、α３、等）との積によって構成される。係数は、機械学習において更新され得る。更新後の係数（パラメータ）は、パラメータ格納部２０３に格納される。
【0074】
式（１－１）で表される予測モデルにおいて、２項目以降の項の数は、利用される環境データの種類の数によって規定される。たとえば、環境データとして１種類の変数が利用される場合には、予測モデルは次の式（１－１－１）で表され、右辺は２つの項を含み、２項目以降の項の数は「１」である。
【0075】
ｆ（ｘ）＝α１ｘ１＋α２ｘ２ …（１－１－１）
また、環境データとして３種類の変数が利用される場合には、予測モデルは次の式（１－１－２）で表され、右辺は４つの項を含み、２項目以降の項の数は「３」である。
また、環境データとして３種類の変数が利用される場合には、予測モデルは次の式（１－１－２）で表され、右辺は４つの項を含み、２項目以降の項の数は「３」である。
【0076】
ｆ（ｘ）＝α１ｘ１＋α２ｘ２＋α３ｘ３＋α４ｘ４ …（１－１－２）
＜処理の流れ＞
変形例（１）では、メインルーチン（図４）には変更は無いが、学習処理（図５）および予測処理（図６）において変更が生じる。以下に、変形例（１）のそれぞれの処理について、変更点を中心に説明する。
＜処理の流れ＞
変形例（１）では、メインルーチン（図４）には変更は無いが、学習処理（図５）および予測処理（図６）において変更が生じる。以下に、変形例（１）のそれぞれの処理について、変更点を中心に説明する。
【0077】
＜処理の流れ：学習処理＞
図９は、変形例（１）における学習処理のサブルーチンのフローチャートである。図９の処理は、図５の処理と比較して、ステップＳ２０７の制御をさらに含む。ステップＳ２０７にて、情報処理装置１００は、学習用データ２１０に対応する場所の環境データを環境データ格納部２０８から取得する。
図９は、変形例（１）における学習処理のサブルーチンのフローチャートである。図９の処理は、図５の処理と比較して、ステップＳ２０７の制御をさらに含む。ステップＳ２０７にて、情報処理装置１００は、学習用データ２１０に対応する場所の環境データを環境データ格納部２０８から取得する。
【0078】
そして、ステップＳ２０８にて、情報処理装置１００は、式（１－１）等を参照して説明された予測モデルに、領域の認識結果（ステップＳ２０６）とともに、ステップＳ２０７にて取得した環境データを適用して、推定値を導出する。
【0079】
すなわち、図９の処理では、推定値の導出において、予測モデルの変数として、学習用データ２１０が対応する場所の環境データが利用される。
【0080】
＜処理の流れ：予測処理＞
図１０は、変形例（１）における予測処理のサブルーチンのフローチャートである。図１０の処理は、図６の処理と比較して、ステップＳ４０５の制御をさらに含む。ステップＳ４０５にて、情報処理装置１００は、予測対象の動画２２０に対応する場所の環境データを環境データ格納部２０８から取得する。予測対象の動画２２０に対応する場所と学習用データ２１０に対応する場所とは、同じであってもよいし、異なっていてもよい。
図１０は、変形例（１）における予測処理のサブルーチンのフローチャートである。図１０の処理は、図６の処理と比較して、ステップＳ４０５の制御をさらに含む。ステップＳ４０５にて、情報処理装置１００は、予測対象の動画２２０に対応する場所の環境データを環境データ格納部２０８から取得する。予測対象の動画２２０に対応する場所と学習用データ２１０に対応する場所とは、同じであってもよいし、異なっていてもよい。
【0081】
そして、ステップＳ４０６にて、情報処理装置１００は、式（１－１）等を参照して説明された予測モデルに、領域の認識結果（ステップＳ４０４）とともに、ステップＳ４０５にて取得した環境データを適用して、予測値を導出する。
【0082】
すなわち、図１０の処理では、予測値の導出において、予測モデルの変数として、学習用データ２１０が対応する場所の環境データが利用される。
【0083】
＜まとめ＞
以上説明された変形例（１）では、予測モデルが環境データに対応する項を含み、これにより、予測モデルの学習処理、および、予測モデルを利用した収穫量の予測に圃場の環境の影響が考慮され得る。
以上説明された変形例（１）では、予測モデルが環境データに対応する項を含み、これにより、予測モデルの学習処理、および、予測モデルを利用した収穫量の予測に圃場の環境の影響が考慮され得る。
【0084】
図１１は、情報処理装置１００による予測について、その精度を説明するための図である。図１１のグラフＧ２０は、予測モデルとして上述の式（１－１－１）が採用され、環境データの変数（ｘ２）として全天日射量が利用された場合の結果に対応する。
【0085】
グラフＧ２０は、図７のグラフＧ１０と同様に、２０２０年４月（「２０２０－０４」）から同年１０月（「２０２０－１０」）までの間、７日ごとに算出された収穫量の予測値および実測値を示す。予測値は実線（線Ｌ２１）で示され、実測値は一点鎖線（Ｌ２２）で示されている。予測値および実測値のそれぞれは、予測値および実測値のそれぞれの個数が単位個数当たりの重量を利用して変換された重量で示されている。
【0086】
図１１から理解されるように、予測値は、２０２０年９月の第２週において実測値を比較的大きく上回ったものの、全体としての誤差は、ＭＡＰＥ（平均絶対誤差率）＝１５．１７程度という好適な結果を示した。なお、図１１の例に関するＭＡＰＥの値は、図７の例に関して上述したＭＡＰＥの値（３８．２７程度）よりも低く、これにより、予測モデルに環境データの項を含めることにより、予測精度が向上し得るという知見が得られた。
【0087】
［変形例（２）］
上述の実施の形態に対する２つ目の変形例について説明する。
上述の実施の形態に対する２つ目の変形例について説明する。
【0088】
＜機能ブロック＞
図１２は、情報処理装置１００の機能ブロックの２つ目の変形例を示す図である。図１２の例では、図２の例と比較して、認識部２０５の代わりに、第１認識部２０５１と第２認識部２０５２とを含む。第１認識部２０５１は、画像において農作物の実を１個ずつ認識する。第２認識部２０５２は、認識部２０５と同様に、農作物の実を囲む領域を個数ごとに認識する。第１認識部２０５１および第２認識部２０５２のそれぞれは、制御装置１０１がYOLO等の物体認識用のアルゴリズムに従ったプログラムを実行することによって実現されてもよい。
図１２は、情報処理装置１００の機能ブロックの２つ目の変形例を示す図である。図１２の例では、図２の例と比較して、認識部２０５の代わりに、第１認識部２０５１と第２認識部２０５２とを含む。第１認識部２０５１は、画像において農作物の実を１個ずつ認識する。第２認識部２０５２は、認識部２０５と同様に、農作物の実を囲む領域を個数ごとに認識する。第１認識部２０５１および第２認識部２０５２のそれぞれは、制御装置１０１がYOLO等の物体認識用のアルゴリズムに従ったプログラムを実行することによって実現されてもよい。
【0089】
図１３は、第１認識部２０５１による認識結果を表示する画面の一例を示す図である。図１３に示された画面１３００では、圃場において撮影された画像に、認識された実を表す枠が重畳されている。画面１３００は、複数の枠を含み、当該複数の枠のそれぞれは、当該枠のサイズを表す数値（たとえば、「０．４８」「０．５１」など）が付記されている。
【0090】
図１２に戻って、個数導出部２０６が実の個数の推定値および予測値の導出に利用する予測モデルは、次の式（３）として表される。
【0091】
ｆ（ｘ）＝α１ｘone＋α２ｘmulti …（３）
式（３）において、ｘoneは、第１認識部２０５１の認識結果を利用した、農作物の実の個数として算出される変数である。たとえば、学習用データ２１０に含まれる動画が複数のフレーム画像を含む場合、ｘoneは、当該複数のフレーム画像のそれぞれにおいて認識された実の個数の合計値である。また、予測対象の動画２２０が複数のフレーム画像を含む場合、ｘoneは、当該複数のフレーム画像のそれぞれにおいて認識された実の個数の合計値である。
式（３）において、ｘoneは、第１認識部２０５１の認識結果を利用した、農作物の実の個数として算出される変数である。たとえば、学習用データ２１０に含まれる動画が複数のフレーム画像を含む場合、ｘoneは、当該複数のフレーム画像のそれぞれにおいて認識された実の個数の合計値である。また、予測対象の動画２２０が複数のフレーム画像を含む場合、ｘoneは、当該複数のフレーム画像のそれぞれにおいて認識された実の個数の合計値である。
【0092】
ｘmultiは、上述の式（２）に従ってｘが求められたのと同様に、次の式（２Ａ）に従って求められる。
【0093】
ｘmulti＝ｐＡ＋ｑＢ＋ｒＣ＋… …（２Ａ）
式（２Ａ）におけるＡ，Ｂ，Ｃ等の変数およびｐ，ｑ，ｒ等の定数は、それぞれ、式（２）について説明されたのと同様の変数および定数である。
式（２Ａ）におけるＡ，Ｂ，Ｃ等の変数およびｐ，ｑ，ｒ等の定数は、それぞれ、式（２）について説明されたのと同様の変数および定数である。
【0094】
図１２の例は、図２の例に対して、予測モデルに利用する変数として農作物の実を１個ずつ認識する認識結果を利用する点で相違するが、それ以外の点、すなわち、推定値および予測値は図２の例と同様に利用することができるため、重複する説明はここでは繰り返さない。
【0095】
＜処理の流れ＞
変形例（２）では、メインルーチン（図４）には変更は無いが、学習処理（図５）および予測処理（図６）において変更が生じる。以下に、変形例（２）のそれぞれの処理について、変更点を中心に説明する。
変形例（２）では、メインルーチン（図４）には変更は無いが、学習処理（図５）および予測処理（図６）において変更が生じる。以下に、変形例（２）のそれぞれの処理について、変更点を中心に説明する。
【0096】
＜処理の流れ：学習処理＞
図１４は、変形例（２）における学習処理のサブルーチンのフローチャートである。図１４の処理は、図５の処理と比較して、ステップＳ２０５の制御をさらに含む。ステップＳ２０５にて、情報処理装置１００は、学習用データ２１０に含まれる画像（動画を構成する１以上のフレーム画像のそれぞれ）に対して、第１認識部２０５１による画像認識を実行する。すなわち、第１認識部２０５１は、画像に対して１個の実を含む領域を検索する画像認識を実行し、その結果を個数導出部２０６へと出力する。
図１４は、変形例（２）における学習処理のサブルーチンのフローチャートである。図１４の処理は、図５の処理と比較して、ステップＳ２０５の制御をさらに含む。ステップＳ２０５にて、情報処理装置１００は、学習用データ２１０に含まれる画像（動画を構成する１以上のフレーム画像のそれぞれ）に対して、第１認識部２０５１による画像認識を実行する。すなわち、第１認識部２０５１は、画像に対して１個の実を含む領域を検索する画像認識を実行し、その結果を個数導出部２０６へと出力する。
【0097】
ステップＳ２０６にて、情報処理装置１００は、図２の認識部２０５が実の個数ごとに領域を認識するのと同様に、第２認識部２０５２による画像認識を実行する。第２認識部２０５２は、画像において、実の個数ごとに、実を囲う領域を検索することによって画像認識を実行し、その結果を個数導出部２０６へと出力する。
【0098】
ステップＳ２０８にて、情報処理装置１００は、第１認識部２０５１からの認識結果と第２認識部２０５２からの認識結果を予測モデル（式（３））に適用することによって、推定値を導出する。
【0099】
＜処理の流れ：予測処理＞
図１５は、変形例（２）における予測処理のサブルーチンのフローチャートである。図１５の処理は、図６の処理と比較して、ステップＳ４０３の制御をさらに含む。ステップＳ４０３にて、情報処理装置１００は、予測対象の動画２２０に含まれる画像（動画を構成する１以上のフレーム画像のそれぞれ）に対して、第１認識部２０５１による画像認識を実行する。すなわち、第１認識部２０５１は、画像に対して１個の実を含む領域を検索する画像認識を実行し、その結果を個数導出部２０６へと出力する。
図１５は、変形例（２）における予測処理のサブルーチンのフローチャートである。図１５の処理は、図６の処理と比較して、ステップＳ４０３の制御をさらに含む。ステップＳ４０３にて、情報処理装置１００は、予測対象の動画２２０に含まれる画像（動画を構成する１以上のフレーム画像のそれぞれ）に対して、第１認識部２０５１による画像認識を実行する。すなわち、第１認識部２０５１は、画像に対して１個の実を含む領域を検索する画像認識を実行し、その結果を個数導出部２０６へと出力する。
【0100】
ステップＳ４０４にて、情報処理装置１００は、図２の認識部２０５が実の個数ごとに領域を認識するのと同様に、第２認識部２０５２による画像認識を実行する。第２認識部２０５２は、画像において、実の個数ごとに、実を囲う領域を検索することによって画像認識を実行し、その結果を個数導出部２０６へと出力する。
【0101】
ステップＳ４０６にて、情報処理装置１００は、第１認識部２０５１からの認識結果と第２認識部２０５２からの認識結果を予測モデル（式（３））に適用することによって、予測値を導出する。
【0102】
＜まとめ＞
以上説明された変形例（２）では、予測モデルは、２種類の画像認識の結果を利用する。２種類の画像認識とは、実ごとに領域を認識する画像認識（第１認識部２０５１）、および、実の個数ごとに領域を認識する画像認識（第２認識部２０５２）である。
以上説明された変形例（２）では、予測モデルは、２種類の画像認識の結果を利用する。２種類の画像認識とは、実ごとに領域を認識する画像認識（第１認識部２０５１）、および、実の個数ごとに領域を認識する画像認識（第２認識部２０５２）である。
【0103】
【0104】
グラフＧ３０は、図７のグラフＧ１０と同様に、２０２０年４月（「２０２０－０４」）から同年１０月（「２０２０－１０」）までの間、７日ごとに算出された収穫量の予測値および実測値を示す。予測値は実線（線Ｌ３１）で示され、実測値は一点鎖線（Ｌ３２）で示されている。予測値および実測値のそれぞれは、予測値および実測値のそれぞれの個数が単位個数当たりの重量を利用して変換された重量で示されている。
【0105】
図１６の予測値の全体としての誤差は、ＭＡＰＥ（平均絶対誤差率）＝２６．７１程度という好適な結果を示した。なお、図１６の例に関するＭＡＰＥの値は、図７の例に関して上述したＭＡＰＥの値（３８．２７程度）よりも低く、これにより、予測モデルが上述の２種類の画像認識の結果を利用することにより、１種類の画像認識の結果のみを利用する場合（第２認識部２０５２のみ）よりも予測精度が向上し得るという知見が得られた。
【符号の説明】
【0106】
１００ 情報処理装置、１０１ 制御装置、１２２ 学習用プログラム、１２４ 予測用プログラム、２０１ 情報取得部、２０２ 学習部、２０３ パラメータ格納部、２０４ 予測部、２０５ 認識部、２０６ 個数導出部、２０７ 出力部、２０８ 環境データ格納部、３００，１３００ 画面、２０５１ 第１認識部、２０５２ 第２認識部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】