特許 7078771 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-05-23

(45)【発行日】2022-05-31

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   A01G 7/00 20060101AFI20220524BHJP

   G06T 7/00 20170101ALI20220524BHJP

   G06T 7/42 20170101ALI20220524BHJP

【ＦＩ】

A01G7/00

G06T7/00 300E

G06T7/42

【請求項の数】 12

(21)【出願番号】P 2021060118

(22)【出願日】2021-03-31

【審査請求日】2022-04-28

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人農業・食品産業技術総合研究機構、スマート農業技術の開発・実証プロジェクト及びスマート農業加速化実証プロジェクト委託事業、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】000191076

【氏名又は名称】日鉄ソリューションズ株式会社

(74)【代理人】

【識別番号】110000660

【氏名又は名称】Ｋｎｏｗｌｅｄｇｅ Ｐａｒｔｎｅｒｓ 特許業務法人

(72)【発明者】

【氏名】徳竹 眞人

【審査官】星野 浩一

(56)【参考文献】

【文献】特開２０２０－５４２８９（ＪＰ，Ａ）

【文献】ワインづくりはAIでどう変わっていくか？サントリー×NSSOLがぶどうの収穫量を予測，ＮＳＳＯＬ ＳＴＯＲＩＥＳ，日本，日鉄ソリューション株式会社，2021年02月03日，第１－８頁，https://www.nssol.nipponsteel.com/future/stories/ai-wine.html

【文献】スマート農業への挑戦 その1 世界のどこにもない醸造用ぶどうの 栽培法の確立を目指す，ダイヤモンド・オンライン，日本，週刊ダイヤモンド，2019年11月01日，第１－２頁， https://diamond.jp/articles/-/215297?page=2

【文献】洞井晋一 外３名，分光画像と機械学習を用いたトマトの収穫時期予測に関する研究 ，マルチメディア，分散協調とモバイルシンポジウム2017論文集，日本，2017年06月21日，第２０７－２１２頁

【文献】香田三厳 外２名，「ぶどう」の収量実測調査2～3の事例，日本作物学会北陸支部会報，1972 年 6 巻，日本，1972年03月25日，第２１－２４頁，https://www.jstage.jst.go.jp/article/jcshokuriku/6/0/6_KJ00002444521/_pdf/-char/ja

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｇ ７／００－７／０６

Ｇ０６Ｔ ７／４２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象物の生産量を予測する情報処理装置であって、
撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出部と、
距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正部と、
前記補正部による補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測部と
を備え、
前記領域抽出部は、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、
前記予測部は、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する、情報処理装置。

【請求項2】

前記領域抽出部は、前記生産量の予測の対象となる予測領域内の異なる撮影範囲に対応し、かつ前記予測領域内のすべての範囲が含まれる、複数の前記撮影画像それぞれを処理対象とし、前記処理対象の前記撮影画像において、前記対象物領域を抽出し、
前記予測部は、前記補正部による補正後の、複数の前記対象物領域それぞれの大きさに基づいて、前記予測領域における前記対象物の前記生産量を予測する、請求項１に記載の情報処理装置。

【請求項3】

前記複数の撮影画像は、撮影位置及び撮影方向の少なくとも一方が異なる条件で撮影された画像であり、
前記撮影装置により撮影された前記撮影画像それぞれの前記撮影位置及び前記撮影方向に基づいて、各撮影画像に対応した撮影範囲を特定し、前記撮影範囲に基づいて、前記処理対象の前記撮影画像を抽出する画像抽出部をさらに備える、請求項１又は２に記載の情報処理装置。

【請求項4】

前記領域抽出部は、前記対象物の推定モデルを利用して、前記撮影画像から前記対象物領域を抽出し、
前記推定モデルは、
前記対象物としてアノテーションされた領域を含む学習用の複数の撮影画像を学習データとし、
前記学習データを複数の学習モデルに適用し、
各学習モデルによる推定の結果と、前記アノテーションされた領域と、に基づいて、前記アノテーションされた領域が修正された前記学習データを用いて生成される、請求項１乃至３の何れか１項に記載の情報処理装置。

【請求項5】

前記画像抽出部は、前記予測領域の第１の境界面の外側から撮影された第１の撮影画像と、前記第１の境界面の裏側の第２の境界面の外側から撮影された第２の撮影画像と、を抽出し、
前記領域抽出部は、前記第１の撮影画像に含まれる対象物のうち、前記第１の境界面から前記第２の境界面に向かって第１の距離の範囲に存在する前記対象物領域を抽出し、さらに、前記第２の境界面から前記第１の境界面に向かって、第２の距離の範囲に存在する前記対象物領域を抽出し、
前記第１の距離と前記第２の距離の和は、前記第１の境界面と前記第２の境界面の距離である、請求項１に記載の情報処理装置。

【請求項6】

前記画像抽出部は、前記予測領域の第１の境界面の外側から撮影された第１の撮影画像と、前記第１の境界面の裏側の第２の境界面の外側から撮影された第２の撮影画像と、を抽出し、
前記予測部は、前記第１の撮影画像及び前記第２の撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する２つの前記対象物領域のうち大きい方の前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する、請求項１に記載の情報処理装置。

【請求項7】

前記予測部は、前記対象物の前記大きさと前記生産量のデータから得られた第１の回帰モデルを利用して、前記生産量を予測する、請求項１乃至６の何れか１項に記載の情報処理装置。

【請求項8】

前記第１の回帰モデルは、前記対象物の重心座標、前記対象物の傾き、前記撮影装置の位置、前記撮影装置の撮影方向の少なくとも１つと、前記生産量と、の関係を示し、
前記予測部は、さらに前記少なくとも１つと、前記第１の回帰モデルと、に基づいて、前記生産量を予測する、請求項７に記載の情報処理装置。

【請求項9】

前記予測部は、前記対象物領域の大きさと、距離画像から得られる前記対象物領域の３次元の位置と、に基づいて前記対象物領域の体積を求め、前記対象物の前記体積と、前記生産量のデータから得られた第２の回帰モデルを利用して、前記生産量を予測する、請求項１乃至６の何れか１項に記載の情報処理装置。

【請求項10】

前記複数の撮影画像は、前記所定の方向において、前記撮影範囲の半分以上の範囲が重複する、請求項１に記載の情報処理装置。

【請求項11】

対象物の生産量を予測する情報処理装置が実行する情報処理方法であって、
撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出ステップと、
距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正ステップと、
前記補正ステップによる補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測ステップと
を含み、
前記領域抽出ステップでは、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、
前記予測ステップでは、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する、情報処理方法。

【請求項12】

対象物の生産量を予測するコンピュータを、
撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出部、
距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正部、及び
前記補正部による補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測部
として機能させ、
前記領域抽出部は、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、
前記予測部は、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

農作物の収穫量を、収穫前に予め把握することが重要である。収穫前に収穫量を把握することで、収穫時に必要な作業人員、作業時間、資材、設備等を効率的に準備し、計画的に出荷することが可能となる。

【0003】

農作物の収穫量を予測する技術としては、特許文献１には、農作物の栽培計画に基づいて、農作物の第１予測収穫量を算出し、ニューラルネットワークを用いて補正値を求め、補正値に基づいて、予測期間における予測収穫量を算出する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－１３６２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記特許文献１の技術においては、予測精度は必ずしも高いものとはいえないという問題があった。

【0006】

本発明は、このような問題点に鑑みなされたもので、より高い精度で、対象物の生産量を予測する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の目的を達成するため、本発明は、対象物の生産量を予測する情報処理装置であって、撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出部と、距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正部と、前記補正部による補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測部とを備え、前記領域抽出部は、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、前記予測部は、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する。

【0008】

また、他の形態は、対象物の生産量を予測する情報処理装置が実行する情報処理方法であって、撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出ステップと、距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正ステップと、前記補正ステップによる補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測ステップとを含み、前記領域抽出ステップでは、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、前記予測ステップでは、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測する。

【0009】

また、他の形態は、対象物の生産量を予測するコンピュータを、撮影装置によって撮影された前記対象物の撮影画像において、前記対象物が存在する対象物領域を抽出する領域抽出部、距離センサにより検知された、前記撮影装置から前記対象物までの距離に基づいて、前記対象物領域の大きさを補正する補正部、及び前記補正部による補正後の前記対象物領域の大きさに基づいて、前記対象物の前記生産量を予測する予測部として機能させるためのプログラムで、前記領域抽出部は、所定の方向に移動する撮影装置によって撮影された、前記撮影範囲の少なくとも一部が重複する複数の前記撮影画像を前記処理対象とし、前記予測部は、前記処理対象の複数の前記撮影画像のうち少なくとも２つの前記撮影画像に同一の対象物の画像が含まれる場合に、前記同一の対象物に対応する複数の前記対象物領域のうち最も大きい前記対象物領域を前記同一の対象物の前記対象物領域として選択し、選択した前記対象物領域の大きさに基づいて、前記生産量を予測するプログラムである。

【発明の効果】

【0010】

本発明によれば、より高い精度で、対象物の生産量を予測することができる。

【図面の簡単な説明】

【0011】

【図1】情報処理システムの全体図である。

【図2】撮影ユニットによる処理を示す概略図である。

【図3】情報処理装置及び撮影ユニットのハードウェア構成図である。

【図4】撮影ユニットの撮影位置及び撮影方向の説明図である。

【図5】情報処理装置の機能構成図である。

【図6】画像テーブルのデータ構成例を示す図である。

【図7】予測処理を示すフローチャートである。

【図8】回帰モデルの説明図である。

【図9】推定モデルの説明図である。

【図10】推定モデルの説明図である。

【図11】第２の実施形態に係る予測処理を示すフローチャートである。

【図12】第２の実施形態に係る対象画像の説明図である。

【図13】第２の実施形態の第２の変形例の説明図である。

【発明を実施するための形態】

【0012】

（第１の実施形態）
図１は、第１の実施形態に係る情報処理システム１０の全体図である。情報処理システム１０は、情報処理装置１００と、撮影ユニット２００と、台車２１０と、を備えている。情報処理装置１００と撮影ユニット２００は、ネットワークを介して有線又は無線で通信を行うことができる。情報処理装置１００は、圃場において撮影されたブドウの撮影画像に基づいて、圃場全体におけるブドウの収穫量を予測する。ここで、圃場は、生産量の予測の対象となる予測領域の一例である。また、ブドウは、予測対象となる対象物の一例である。また、収穫量は、生産量の一例である。

【0013】

撮影ユニット２００は、台車２１０に搭載され、台車２１０の移動に従い、異なる位置からブドウの画像を撮影する。さらに、撮影ユニット２００は、ブドウの画像を撮影すると共に、撮影画像に対応した撮影範囲における距離画像と、撮影画像の撮影時の撮影ユニット２００の位置情報を取得する。そして、撮影ユニット２００は、これらの情報を情報処理装置１００に送信する。

【0014】

図２は、撮影ユニット２００による処理を示す概略図である。本実施形態においては、圃場Ａには、複数の畝Ｂが設けられているものとする。本実施形態においては、畝Ｂの長手方向をｘ軸、畝Ｂの長手方向に垂直な方向をｙ軸とする。また、鉛直方向（圃場Ａの高さ方向）をｚ軸とする。また、図２の紙面の右方向をｘ軸のプラス方向、図２の紙面の上方向をｙ軸のプラス方向、図２の紙面の手前方向をｚ軸のプラス方向とする。

【0015】

撮影ユニット２００は、畝Ｂの脇を移動しながら、ｙ軸のプラス方向に略平行な方向を撮影方向として、畝Ｂを撮影する。なお、１枚の撮影画像Ｃには、畝Ｂの一部のみが含まれ、撮影ユニット２００は、複数の撮影画像を撮影することで、圃場Ａの全体を撮影する。なお、台車２１０は、ユーザの操作に応じて、移動方向や移動速度が制御されるものとする。

【0016】

図３は、情報処理装置１００及び撮影ユニット２００のハードウェア構成図である。情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、操作部１０５と、表示部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１０４は、各種データや各種プログラム等を記憶する。操作部１０５は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。表示部１０６は、各種情報を表示する。通信部１０７は、ネットワークを介して撮影ユニット２００等の外部装置との通信を行う。

【0017】

撮影ユニット２００は、通信部２０１と、撮影部２０２と、距離センサ２０３と、位置センサ２０４と、を有している。通信部２０１は、ネットワークを介して情報処理装置１００等の外部装置との通信を行う。撮影部２０２は、画像を撮影する。詳しくは、撮影部２０２は、可視光により撮影画像（ＲＧＢ画像）を撮影する。距離センサ２０３は、光を投光する複数ＬＥＤと、複数の受光素子とを有し、距離センサ２０３と物体との距離を示す２次元の距離画像を取得する。距離センサ２０３としては、例えば、Time-of-flightカメラが挙げられる。位置センサ２０４は、加速度センサやジャイロセンサを備えたトラッキングカメラであり、所定の位置及び向きを基準とした、撮影ユニット２００の相対的な位置及び方向を検知する。なお、位置センサ２０４は、例えば、ステレオカメラ等V-SLAM（Visual-Simultaneous Localization and Mapping）を実現可能な他の機器を備えてもよい。

【0018】

撮影部２０２、距離センサ２０３及び位置センサ２０４は、同一タイミングで、それぞれ撮影画像、距離画像及び位置情報を取得する。なお、以降においては、このタイミングを撮影時と称する。ここで、位置情報は、相対的な位置及び方向を含む。撮影ユニット２００は、定期的に、撮影画像、距離画像及び位置情報を取得し、これらを取得する度に、通信部２０１を介して情報処理装置１００に送信する。なお、他の例としては、撮影ユニット２００は、圃場Ａ全体の撮影が終了した後で、複数の撮影画像等をまとめて情報処理装置１００に送信してもよい。

【0019】

図４は、撮影ユニット２００の撮影位置及び撮影方向の説明図である。前述の通り、撮影ユニット２００は、畝Ｂに沿って、すなわち、ｘ軸に沿って移動しながら、畝の撮影画像、距離画像及び位置情報を取得する。ただし、移動経路には、地面の凹凸や石等の障害物が存在することから、撮影ユニット２００は、実際には、ｙ軸のプラス又はマイナスの方向にずれながら、ｘ軸の方向に沿って移動することになる。このため、図４に示すように、基本的にはｙ軸方向が撮影方向となるが、撮影ユニット２００の移動方向や向きにより、撮影方向はｙ軸方向からずれる。本実施形態の位置センサ２０４は、ｘ軸とのなす角θ３として撮影方向を取得する。このように、位置情報には、撮影位置と撮影方向とが含まれるので、撮影画像及び距離画像の撮影範囲、距離画像における距離を正しく特定することができる。なお、撮影位置Ｐ１２における距離画像は、ｄ２に示すようにｙ軸に沿った距離を示し、撮影位置Ｐ１３における距離画像は、ｄ３に示すように、ｘ軸とのなす角θ３の方向における距離を示す。

【0020】

また、撮影ユニット２００は、撮影範囲の一部が重なるようなタイミングで複数の撮影を行うものとする。なお、このようなタイミングの制御は、台車２１０の移動速度や、撮影速度（フレームレート）を制御することで実現される。このように、撮影範囲の一部が重なるような頻度で撮影画像を得ることで、圃場Ａ、すなわち予測領域において撮影されない領域が残ってしまうのを防ぐことができる。

【0021】

なお、本実施形態においては、高さ方向、すなわちｚ軸方向においては、１枚の撮影画像の撮影範囲内に畝の高さ方向のすべての領域が収まるよう調整されているものとする。

【0022】

図５は、情報処理装置１００の機能構成図である。情報処理装置１００は、機能構成として、取得部１２１と、画像抽出部１２２と、領域抽出部１２３と、補正部１２４と、予測部１２５と、出力処理部１２６と、推定モデル学習部１２７と、を備えている。なおこれらの機能は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。すなわち、上記各部が実行するものとして記載する処理は、ＣＰＵ１０１が実行する処理である。また、他の例としては、ＣＰＵ１０１は、ＲＯＭ１０２等に替えて、ＳＤカード等の記録媒体に格納されているプログラムを読み出し、このプログラムを実行することで、上記機能や処理を実現してもよい。

【0023】

取得部１２１は、撮影ユニット２００から撮影画像、距離画像及び位置情報を取得し、これらの情報を対応付けて、記憶部１３０の画像テーブル１３１に格納する。記憶部１３０は、ＨＤＤ１０４等である。図６は、記憶部１３０の画像テーブル１３１のデータ構成例を示す図である。画像テーブル１３１には、同一のタイミングで得られた撮影画像、距離画像及び位置情報が１つのレコードとして対応付けて格納される。さらに、画像テーブル１３１には、撮影ユニット２００により撮影された複数の距離画像等に対応する複数のレコードが格納される。これにより、ＣＰＵ１０１は、撮影画像における奥行方向の距離と、撮影位置とを特定することができる。

【0024】

画像抽出部１２２は、記憶部１３０から処理対象の撮影画像を抽出する。以下、処理対象の撮影画像を対象画像と称する。領域抽出部１２３は、各対象画像において、対象物であるブドウの領域を抽出する。以降、ブドウの領域を対象物領域と称する。補正部１２４は、対象物領域のサイズを補正する。予測部１２５は、対象物領域の補正後のサイズに基づいて、圃場Ａの全体におけるブドウの収穫量、すなわち予測領域における対象物の生産量を予測する。出力処理部１２６は、各種情報を表示部１０６に表示させる。なお、上記各機能部による詳細な処理については、図６に示すフローチャートを参照しつつ後に詳述する。推定モデル学習部１２７は、領域抽出部１２３が対象物領域を抽出する際に参照する推定モデルを学習（生成）する。推定モデル学習部１２７の処理については、後に詳述する。

【0025】

図７は、情報処理装置１００による予測処理を示すフローチャートである。本処理は、撮影ユニット２００による圃場Ａ全体の撮影が完了し、記憶部１３０に複数の撮影画像が格納された後で実行される処理である。まず、ステップＳ１００において、画像抽出部１２２は、ｘ軸方向において、記憶部１３０から撮影範囲が重複せず、また圃場において撮影されていない領域がないように、複数の対象画像を抽出する。すなわち、画像抽出部１２２は、互いの撮影範囲の間に隙間がなく、かつ互いの撮影範囲に重複のない撮影画像を対象画像として抽出する。これにより、重複のない、圃場全体の画像が対象画像として抽出される。

【0026】

例えば、図４に示す例において、撮影位置Ｐ１１において撮影された、撮影範囲Ｒ１１に対応する撮影画像が１枚目の対象画像として抽出されたとする。この場合、撮影範囲Ｒ１１と接する撮影範囲Ｒ１２に対応する撮影画像が、次の対象画像として抽出される。なお、画像抽出部１２２は、撮影画像に対応付けられている位置情報に示される撮影位置及び撮影方向に基づいて、撮影範囲を特定する。同様に、次の対象画像としては撮影範囲Ｒ１２と接する撮影範囲Ｒ１３に対応する撮影画像が抽出される。撮影範囲Ｒ１２、Ｒ１３は、それぞれ撮影位置Ｐ１２、Ｐ１３と撮影方向とにより特定される。

【0027】

なお、画像抽出部１２２は、ｙ軸方向の撮影範囲についても、同様に、互いの撮影範囲に重複がなく、隙間がないような撮影画像を対象画像として抽出する。画像抽出部１２２は、ｙ軸方向の撮影範囲の重複の有無、隙間の有無の判断においては、位置情報だけでなく、距離画像を参照する。

【0028】

説明を図７に戻す。ステップＳ１００の処理の後、ステップＳ１０２において、領域抽出部１２３は、ステップＳ１００において抽出されたすべての対象画像から、対象物領域を抽出する。領域抽出部１２３は、対象物領域の抽出においては、対象物を推定するための推定モデルを利用する。推定モデルは、実際に撮影されたブドウの撮影画像を用いて学習されたディープラーニングモデルである。本実施形態においては、推定モデルは、予測処理の開始前において、推定モデル学習部１２７により学習され、記憶部１３０に格納されているものとする。

【0029】

次に、ステップＳ１０４において、補正部１２４は、ステップＳ１０２において得られた各対象物領域の大きさを補正する。同一の対象物であっても、撮影の奥行方向において、より奥に位置するほど対象物領域は小さくなる。補正部１２４は、このような奥行方向（撮影方向）の位置に起因した対象物の大きさの違いを補正する。補正部１２４は、例えば、畝Ｂのうち、撮影ユニット２００に最も近い位置を基準とする。そして、補正部１２４は、基準位置と、各対象物領域の撮影方向における位置との差に応じて、各対象物領域の大きさを、当該対象物領域が撮影ユニット２００に最も近い位置に存在する場合の大きさに補正する。なお、基準位置からの撮影方向における距離と、補正のための係数との関係を示す関係情報が予め記憶部１３０に格納されているものとする。補正部１２４は、この関係情報と、対象物領域の抽出元の撮影画像に対応付けられている位置情報に含まれる距離画像に示される対象物領域の距離と、に基づいて、対象物領域を補正する。

【0030】

次に、ステップＳ１０６において、予測部１２５は、ステップＳ１０４において補正された後のすべての対象物領域のサイズに基づいて、圃場Ａ、すなわち予測範囲における全体の収穫量を予測する。具体的には、予測部１２５は、まずステップＳ１０４において補正された後のすべての対象物領域の大きさから大きさの合計を求める。そして、予測部１２５は、回帰モデルを参照することで、大きさの合計を重量に換算する。ここで、得られた重量が収穫量の予測値となる。回帰モデルは、大きさと重さの関係を定める、関係式である。

【0031】

図８を参照しつつ回帰モデルについて説明する。図８に示すグラフの横軸は基準位置における対象物領域の大きさ、縦軸は対象物の実際の重量を示している。このように、対象物領域の大きさと重量（生産量）には相関がある。回帰モデルは、このような実測値に基づいて得られた関係式である。なお、図８からは、関係式Ｆが得られる。回帰モデルは、記憶部１３０に格納されているものとする。本実施形態の回帰モデルは、第１の回帰モデルの一例である。

【0032】

次に、ステップＳ１０８において、出力処理部１２６は、ステップＳ１０６において得られた収穫量を出力する。具体的には、出力処理部１２６は、収穫量を表示部１０６に表示させる。以上で、予測処理が完了する。

【0033】

次に、推定モデル学習部１２７による推定モデルを学習する処理について、図９及び図１０を参照しつつ説明する。推定モデルの学習の際には、対象物の撮影画像において、人の手によりアノテーションが行われる。この場合、ある人は、図９に示す点線の領域を対象物領域として指定するのに対し、他の人は、図９に示す実線の領域を対象物領域として指定する、というようにアノテーションされる領域は、人により異なってしまう。このようなばらつきにより学習モデルの精度の低下が懸念される。これに対し、本実施形態の推定モデル学習部１２７は、以下の処理により学習モデルを生成する。

【0034】

すなわち、推定モデル学習部１２７は、アノテーションされた撮影画像を例えば３つのテスト用の学習モデルに対し入力（適用）する。そして、この学習モデルによる推論の結果が下記条件１、条件２のいずれかを満たす場合には、推定モデル学習部１２７は、それぞれ修正１及び修正２で示すような自動修正を行う。

条件１「アノテーションされている領域 ＡＮＤ いずれの学習モデルでも対象物と推論されなかった領域」
修正１「アノテーションすべきでない領域として修正」

条件２「アノテーションされていない領域 ＡＮＤ いずれの学習モデルでも対象物と推論された領域」
修正２「アノテーションすべき領域として修正」

このように、単一のモデルではなく複数のモデルをアンサンブルすることで、自動修正が誤る確率を下げることができる。

【0035】

さらに、推定モデル学習部１２７は、上記処理により、アノテーションの領域が修正された撮影画像を、再び３つのテスト用の学習モデルに入力する、というように、修正量が一定値以下になるまで処理を繰り返す。これにより、同等の基準でアノテーションされた学習データを得ることができる。推定モデル学習部１２７は、こうして得られた学習データを用いて、推定モデルを学習する。これにより、推定精度のより高い推定モデルを得ることができる。

【0036】

さらに、本実施形態の推定モデルの学習には、Random Erasingが採用される。これにより、推定モデルにより、オクルージョン（隠面）を考慮した正しい形状を予測することができる。例えば、図１０に示すように支柱３０の陰に対象物の一部が隠れているような場合であっても、点線で示すように、実際のサイズよりも小さく見積もることなく、実線で示すようにオクルージョンを考慮した正しい形状が予測される。

【0037】

以上のように、本実施形態の情報処理装置１００は、重なりがなく、予測領域のすべての範囲が含まれる複数の撮影画像に基づいて、対象物領域を特定するため、重複なく対象物領域を特定することができる。さらに、情報処理装置１００は、対象物領域を距離画像に基づいて、対象物領域の大きさを補正するため、より正確な対象物領域の大きさを特定することができる。さらに、情報処理装置１００は、回帰モデルを用いることで、対象物領域の大きさを重量に変換することで、生産量を予測することができる。このように、情報処理装置１００は、従来に比べて、より高い精度で、対象物の収穫量（生産量）を予測することができる。

【0038】

第１の実施形態の第１の変形例としては、重複しない撮影画像の抽出は、撮影ユニット２００による撮影時に実行されてもよい。この場合、情報処理装置１００は、撮影ユニット２００の撮影の度に、撮影画像、距離画像及び位置情報を受信する。そして、画像抽出部１２２は、取得部１２１が撮影画像を取得する度に、取得した撮影画像が、直前に対象画像として選択した撮影画像と重ならず、かつ境界が一致する撮影画像か否かを判断する。画像抽出部１２２は、対象画像と重ならず、かつ境界が一致する場合には、当該撮影画像を対象画像として抽出する。対象画像と重なる場合には、当該撮影画像を記憶部１３０から削除する。このように、撮影時にリアルタイムで対象画像を抽出し、これ以外を記憶部１３０から削除することにより、記憶部１３０のメモリを有効に活用することができる。

【0039】

また、第２の変形例としては、第１の変形例において、撮影画像が対象画像と重ならず、かつ対象画像との間に隙間がある場合には、撮影位置が進み過ぎたと判断し、所定距離だけ戻った撮影範囲を撮影するような撮影指示を表示部１０６に表示してもよい。この場合、撮影者は、リモコン等で台車２２０をｘ軸のマイナス方向に移動させる、撮影方向を移動元に向ける等、撮影条件を変えた上で再度撮影を行うことで、対象画像と重ならず、かつ境界が一致する撮影画像を得ることができる。

【0040】

また、第３の変形例としては、台車２１０は、自立走行可能であり、かつ情報処理装置１００と通信可能な移動システムであってもよい。この場合、情報処理装置１００は、重複しない撮影画像の撮影位置を予測し、予測した撮影位置を台車２１０に指示することで、重複しない撮影画像を撮影させてもよい。

【0041】

（第２の実施形態）
次に、第２の実施形態に係る情報処理システム１０について、第１の実施形態に係る情報処理システム１０と異なる点を主に説明する。図１１は、第２の実施形態に係る情報処理装置１００による予測処理を示すフローチャートである。まず、ステップＳ２００において、画像抽出部１２２は、ｘ軸方向において、所定の長さ分、撮影範囲が重複する、複数の対象画像を抽出する。本実施形態においては、画像抽出部１２２は、撮影範囲のうちｘ軸方向に半分の長さ分、撮影範囲が重複する、複数の対象画像を抽出する。

【0042】

図１２は、第２の実施形態における対象画像の説明図である。図１２に示す例において、撮影範囲Ｒ２１に対応する撮影画像が１枚目の対象画像として抽出されたとする。この場合、撮影範囲Ｒ２１とｘ軸方向に半分の長さ分、撮影範囲が重複する撮影範囲Ｒ２２に対応する撮影画像が次の対象画像として抽出される。さらに、次の対象画像として撮影範囲Ｒ２２とｘ軸方向に半分の長さ分、撮影範囲が重複する撮影範囲Ｒ２３に対応する撮影画像が次の対象画像として抽出される。なお、撮影範囲Ｒ２２、Ｒ２３は、それぞれ撮影位置Ｐ２２、Ｐ２３と撮影方向とにより特定される。

【0043】

説明を図１１に戻す。ステップＳ２００の処理の後、ステップＳ２０２において、領域抽出部１２３は、ステップＳ２００において抽出されたすべての対象画像において対象物領域を抽出する。次に、ステップＳ２０４において、補正部１２４は、対象物領域の大きさを補正する。ステップＳ２０２及びステップＳ２０４の処理は、それぞれ図７を参照しつつ説明したステップＳ１０２及びステップＳ１０４の処理と同様である。

【0044】

次に、ステップＳ２０６において、予測部１２５は、ステップＳ２０２において抽出された複数の対象物領域の中に、同一の対象物に対応する複数の対象物領域が含まれるか否かを確認する。なお、本処理において、予測部１２５は、各対象物領域に対応付けられている位置情報（撮影位置及び撮影方向）に基づいて、対象物が同一か否かを判定する。同一の対象物に対応する複数の対象物領域が含まれる場合には（ステップＳ２０６でＹ）、予測部１２５は、処理をステップＳ２０８へ進める。複数の対象物領域の中に、同一の対象物に対応する複数の対象物が含まれない場合には（ステップＳ２０６でＮ）、予測部１２５は、処理をステップＳ２１０へ進める。

【0045】

ステップＳ２０８において、予測部１２５は、同一対象物に対応する複数の対象物領域のうち最も大きい対象物領域を、当該対象物に対応する対象物領域として選択する。なお、例えば、ある位置Ｘ１に存在する対象物Ｔ１に対応する対象物領域が複数存在し、また他の位置Ｘ２に存在する対象物Ｔ２に対応する対象物領域が複数存在するとする。この場合には、予測部１２５は、各対象物Ｔ１、Ｔ２それぞれに対し、最も大きい対象物領域を選択する。このように、予測部１２５は、同一の対象物が複数存在する場合には、各対象物に対し最も大きい対象物領域を選択する。例えば、撮影画像において、対象物の一部が葉や枝等により隠れている場合には実際の対象物の大きさよりも小さい範囲が対象物領域として抽出される。このため、同一の対象物に対する複数の対象物領域の大きさが異なる場合には、最も大きい対象物領域が最も隠れた部分が少なく、対象物の実物に近いと考えられるためである。

【0046】

次に、ステップＳ２１０において、予測部１２５は、回帰モデルを用いることで、補正後のすべての対象物領域のサイズを重量に換算することで圃場全体の収穫量を予測する。本処理は、ステップＳ１０６（図７）の処理と同様である。なお、複数の対象物領域が抽出されている対象物については、ステップＳ２０８において選択された対象物領域が採用される。次に、ステップＳ２１２において、出力処理部１２６は、収穫量を表示部１０６に表示させる。本処理は、ステップＳ１０８（図７）の処理と同様である。なお、第２の実施形態に係る情報処理システム１０のこれ以外の構成及び処理は、第１の実施形態に係る情報処理システム１０の構成及び処理と同様である。

【0047】

以上のように、第２の実施形態の情報処理装置１００は、撮影範囲が重複する異なる撮影画像において、同一対象物が含まれる場合に、対象物領域がより大きい方を利用して生産量を予測する。これにより、より高精度に生産量を予測することができる。

【0048】

第２の実施形態の第１の変形例について説明する。本実施形態においては、撮影範囲のうち半分が重なるような複数の撮影画像を抽出したが、重なりの程度は半分に限定されるものではない。他の例としては、情報処理装置１００は、ｘ軸方向に半分よりも長い撮影範囲が重複するような複数の撮影画像を抽出してもよい。これにより、３以上の撮影画像に同一の対象物が含まれる可能性が高くなる。情報処理装置１００は、複数の撮影画像のうち最も大きい対象物領域を選択することで、対象物の大きさをより高精度に見積もることができる。

【0049】

第２の変形例について説明する。撮影ユニット２００は、畝Ｂの同一の領域を、畝Ｂの第１の境界面の外側から第１の境界面方向に撮影した第１の撮影画像と、畝Ｂの第２の境界面の外側から第２の境界面方向に撮影した第２の撮影画像と、を取得することとしてもよい。例えば、撮影ユニット２００は、図１３に示す畝Ｂに対し、ｙ軸のプラス方向を撮影方向として、第１の境界面Ｓ１（主面とする）を撮影する。その後、撮影ユニット２００は、ｙ軸のマイナス方向を撮影方向として、畝Ｂのうち第１の境界面Ｓ１に対して裏面となる第２の境界面Ｓ２を撮影する。これにより、撮影ユニット２００は、上述の第１の撮影画像と第２の撮影画像とを得ることができる。情報処理装置１００は、ｘ軸方向において撮影範囲が重なる第１の撮影画像と第２の撮影画像を抽出する。そして、情報処理装置１００は、第１の撮影画像と第２の撮影画像において同一の対象物に対応する対象物領域が含まれる場合に、大きい方の対象物領域を選択する。これにより、よりオクルージョンの少ない対象物領域を用いて生産量の予測を行うことができる。

【0050】

第３の変形例について説明する。第２の変形例において説明したように、撮影ユニット２００は、第１の撮影画像と第２の撮影画像を取得する。そして、情報処理装置１００は、第１の撮影画像に含まれる畝Ｂの第１の境界面Ｓ１から奥行き方向、すなわちｙ軸の方向に畝Ｂの半分Ｈまでの第１の距離の範囲を処理対象として対象物領域を抽出する。同様に、情報処理装置１００は、第２の撮影画像に含まれる畝Ｂの第２の境界面Ｓ２から奥行き方向に畝Ｂの半分Ｈまでの第２の距離の範囲を処理対象として対象物領域を抽出する。これにより、情報処理装置１００は、よりオクルージョンの可能性の低い対象物領域を利用して、生産量を予測することができる。なお、第１の距離の範囲と第２の距離の範囲の和は、第１の境界面Ｓ１から第２の境界面Ｓ２までの距離となる。

【0051】

以上の実施形態は、本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、ある実施形態の変形例を他の実施形態に適用するなど、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【0052】

上記実施形態の第１の変形例としては、情報処理装置１００の機能の一部は、複数の装置によって実現されるシステムであってもよい。また、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。本実施形態においては、撮影ユニット２００は、撮影部２０２、距離センサ２０３及び位置センサ２０４は、１つの装置（撮影ユニット２００）に備えられているものとしたが、これらのうち少なくとも１つは、別の装置であってもよい。この場合、各装置が通信部を備え、各装置は、同期して得られた検知結果を、ネットワークを介して情報処理装置１００に送信するものとする。

【0053】

また、第２の変形例としては、予測領域は、予め設定された領域であればよく、ある圃場の全体に限定されるものではない。例えば、圃場において、複数の農作物が栽培されている場合に、ある１種類の農作物を対象物とし、当該農作物が栽培される領域を予測領域としてもよい。

【0054】

第３の変形例としては、対象物は、ブドウに限定されるものではない。果物や野菜等の他の農作物、森林の樹木等であってもよい。

【0055】

第４の変形例としては、本実施形態においては、撮影ユニット２００は、予測領域としての直線状に形成された畝Ｂに沿って、直線状に移動して、撮影を行った。ただし、予測領域の形状は実施形態に限定されるものではない。また、撮影ユニット２００の移動軌跡も実施形態に限定されるものではない。撮影ユニット２００は、予測領域の境界面に沿って移動しつつ、予測領域の撮影画像を撮影すればよい。

【0056】

第５の変形例としては、撮影ユニット２００の位置センサ２０４は、相対的な位置及び向きを検知することとしたが、位置については、相対位置に替えて、ＧＮＳＳ(global navigation satellite system)により測位された絶対的な位置を検知してもよい。

【0057】

第６の変形例としては、収穫量の出力形態は実施形態に限定されるものではない。他の例としては、ネットワークを介して外部装置に送信されてもよい。

【0058】

第７の変形例としては、情報処理装置１００は、推定モデル学習部１２７を備えなくてもよい。この場合、推定モデルは、他の装置において学習され、ネットワークを介して情報処理装置１００に送信され、記憶部１３０に格納されるものとする。

【0059】

第８の変形例としては、情報処理装置１００は、学習データを取得する際にも、図１１を参照しつつ説明した、ステップＳ２００における画像抽出のアルゴリズムを利用してもよい。これにより、多様な角度から撮影された対象物の撮影画像を学習データとして取得することができる。

【0060】

第９の変形例としては、回帰モデルにおいては、重量を導くための変数は、対象物領域の大きさに限定されるものではない。他の例としては、情報処理装置１００は、対象物領域の大きさに加えて、対象物領域の重心座標、対象物の傾き、撮影位置（撮影装置の位置）、撮影装置の撮影方向の４変数のうち少なくとも１つから重量を特定するような回帰モデルを利用してもよい。ここで、対象物領域の重心座標、対象物の傾きは、距離画像、位置情報及び撮影画像における画像認識により特定することができる。

【0061】

また、他の例としては、情報処理装置１００は、対象物領域から対象物の体積を求め、体積と重量の関係を示す回帰モデルを利用して生産量を予測してもよい。この場合、情報処理装置１００は、対象物（房）の表面の３次元の各ボクセル座標を算出し、３Ｄマップ上に各ボクセル座標をマッピングする。このとき、情報処理装置１００は、オクルージョンにより計測できず、欠損した房表面ボクセルについては、適宜補間することで、計測されたボクセル座標を滑らかに接続する。そして、情報処理装置１００は、房表面のボクセル座標で表現された３Ｄ図形の内部のボクセル数を体積として特定する。本例の回帰モデルは、第２の回帰モデルの一例である。

【0062】

第１０の変形例としては、本実施形態においては、１枚の撮影画像に予測領域の高さ方向のすべての範囲が撮影可能であることとした。ただし、高さ方向（ｚ軸方向）において、予測領域のすべての範囲を撮影できない場合には、撮影ユニット２００は、高さ方向においても、ｘ軸方向と同様に、すべての範囲を網羅するように撮影を行うこととする。そして、第１の実施形態の情報処理装置１００は、ｘ軸方向だけでなく、高さ方向において重ならないような撮影画像を抽出する。また、第２の実施形態の情報処理装置１００は、ｘ軸方向だけでなく高さ方向において重複する撮影画像を抽出する。このように、情報処理装置１００は、１次元だけでなく、２次元にずらして撮影した撮影画像を処理対処として上記処理を行ってもよい。

【0063】

第１１の変形例としては、情報処理装置１００は、１枚の撮影画像において、撮影画像に含まれる対象物の生産量を予測してもよい。

【0064】

さらに、以上のような装置、コンピュータにより実行されるプログラム、方法は、単独の装置として実現される場合もあれば、複数の装置で共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのプログラムの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

【符号の説明】

【0065】

１０…情報処理システム、１００…情報処理装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…ＨＤＤ、１０５…操作部、１０６…表示部、１０７…通信部、１２１…取得部、１２２…画像抽出部、１２３…領域抽出部、１２４…補正部、１２５…予測部、１２６…出力処理部、１２７…推定モデル学習部、１３０…記憶部、２００…撮影ユニット、２０１…通信部、２０２…撮影部、２０３…距離センサ、２０４…位置センサ、２１０…台車

【要約】

【課題】より高い精度で、対象物の生産量を予測する。
【解決手段】対象物の生産量を予測する情報処理装置であって、撮影装置によって撮影された対象物の撮影画像において、対象物が存在する対象物領域を抽出する領域抽出部と、距離センサにより検知された、撮影装置から対象物までの距離に基づいて、対象物領域の大きさを補正する補正部と、補正部による補正後の対象物領域の大きさに基づいて、対象物の生産量を予測する予測部とを備える。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】