特許 7090255 情報処理装置、システム、プログラム、及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-06-16

(45)【発行日】2022-06-24

(54)【発明の名称】情報処理装置、システム、プログラム、及び情報処理方法

(51)【国際特許分類】

   A01D 46/00 20060101AFI20220617BHJP

【ＦＩ】

A01D46/00 Z

【請求項の数】 34

(21)【出願番号】P 2022003201

(22)【出願日】2022-01-12

【審査請求日】2022-01-12

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度、国立研究開発法人農業・食品産業技術総合研究機構、「スマート農業技術の開発・実証プロジェクト」、産業技術力強化法第１７条の適用を受ける特許出願

【早期審査対象出願】

(73)【特許権者】

【識別番号】304023994

【氏名又は名称】国立大学法人山梨大学

(73)【特許権者】

【識別番号】507225595

【氏名又は名称】株式会社 ＹＳＫ ｅ－ｃｏｍ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】茅 暁陽

(72)【発明者】

【氏名】ブアヤイ プラウィット

(72)【発明者】

【氏名】横澤 浩樹

(72)【発明者】

【氏名】根本 陽平

【審査官】吉原 健太

(56)【参考文献】

【文献】特許第６９６４３１６（ＪＰ，Ｂ１）

【文献】特開２０２０－０６０５０５（ＪＰ，Ａ）

【文献】特開２０２１－１８９７１８（ＪＰ，Ａ）

【文献】特開２０２１－１３３４４５（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２８０２０９９（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ０１Ｄ ４６／００ － ４６／３０

(57)【特許請求の範囲】

【請求項1】

前処理部と、確率算出部と、を備え、
前記前処理部は、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記確率算出部は、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、
情報処理装置。

【請求項2】

前記前処理部は、前記複数の果実のうちの互いに異なる１つの果実に対応する領域を加工した前記部分加工画像を複数生成し、
前記確率算出部は、前記第１学習モデルを用いて、生成された複数の前記部分加工画像のそれぞれが摘果すべき果実に対応する領域を加工した画像である確率を算出する、
請求項１に記載の情報処理装置。

【請求項3】

前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する、
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域のマスク画像と、前記複数の果実のそれぞれに対応する領域を縮小したマスク画像の差分の領域を用いて、前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する、
請求項１～請求項３の何れか１項に記載の情報処理装置。

【請求項5】

前記前処理部は、第２学習モデルを用いて、前記入力画像に含まれる複数の果実のそれぞれに対応する領域を検出する、
請求項１～請求項４の何れか１項に記載の情報処理装置。

【請求項6】

前記前処理部は、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１に記載の情報処理装置。

【請求項7】

前記前処理部は、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１に記載の情報処理装置。

【請求項8】

前記前処理部は、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記確率算出部は、前記第１学習モデルを用いて、前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるかの確率を算出する、
請求項１に記載の情報処理装置。

【請求項9】

前処理部と、学習部と、を備え、
前記前処理部は、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記学習部は、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、
情報処理装置。

【請求項10】

前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する、
請求項９に記載の情報処理装置。

【請求項11】

前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域のマスク画像と、前記複数の果実のそれぞれに対応する領域を縮小したマスク画像の差分の領域を用いて、前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する、
請求項９又は請求項１０に記載の情報処理装置。

【請求項12】

前記前処理部は、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項９に記載の情報処理装置。

【請求項13】

前記前処理部は、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項９に記載の情報処理装置。

【請求項14】

前記前処理部は、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記学習部は、前記部分加工画像を入力とし前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって前記第１学習モデルの学習処理を実行する、
請求項９に記載の情報処理装置。

【請求項15】

撮影制御部と、前処理部と、確率算出部と、表示制御部と、を備え、
前記撮影制御部は、農作物の画像を撮影し、
前記前処理部は、撮影した前記農作物の画像を前記農作物の画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記確率算出部は、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出し、
前記表示制御部は、算出された確率に基づき摘果すべき果実を表示部において識別可能に表示する、
システム。

【請求項16】

前記前処理部は、前記前記農作物の画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記前記農作物の画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１５に記載のシステム。

【請求項17】

前記前処理部は、
前記農作物の画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記農作物の画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記農作物の画像及び前記輪郭画像をトリミングし、
トリミングされた前記農作物の画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１５に記載のシステム。

【請求項18】

前記前処理部は、
前記農作物の画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記農作物の画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記農作物の画像及び前記輪郭画像をトリミングし、
トリミングされた前記農作物の画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記確率算出部は、前記第１学習モデルを用いて、前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるかの確率を算出する、
請求項１５に記載のシステム。

【請求項19】

コンピュータに、前処理ステップと、確率算出ステップと、を実行させるプログラムであって、
前記前処理ステップでは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記確率算出ステップでは、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、
プログラム。

【請求項20】

前記前処理ステップでは、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１９に記載のプログラム。

【請求項21】

前記前処理ステップでは、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項１９に記載のプログラム。

【請求項22】

前記前処理ステップでは、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記確率算出ステップでは、前記第１学習モデルを用いて、前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるかの確率を算出する、
請求項１９に記載のプログラム。

【請求項23】

コンピュータが実行する情報処理方法であって、前処理ステップと、確率算出ステップと、を含み、
前記前処理ステップでは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記確率算出ステップでは、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、
情報処理方法。

【請求項24】

前記前処理ステップでは、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項２３に記載の情報処理方法。

【請求項25】

前記前処理ステップでは、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項２３に記載の情報処理方法。

【請求項26】

前記前処理ステップでは、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記確率算出ステップでは、前記第１学習モデルを用いて、前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるかの確率を算出する、
請求項２３に記載の情報処理方法。

【請求項27】

コンピュータに、前処理ステップと、学習ステップと、を実行させるプログラムであって、
前記前処理ステップは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記学習ステップは、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、
プログラム。

【請求項28】

前記前処理ステップでは、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項２７に記載のプログラム。

【請求項29】

前記前処理ステップでは、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項２７に記載のプログラム。

【請求項30】

前記前処理ステップでは、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記学習ステップでは、前記部分加工画像を入力とし前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって前記第１学習モデルの学習処理を実行する、
請求項２７に記載のプログラム。

【請求項31】

コンピュータが実行する情報処理方法であって、前処理ステップと、学習ステップと、を含み、
前記前処理ステップは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、
前記学習ステップは、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、
情報処理方法。

【請求項32】

前記前処理ステップでは、前記入力画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像をトリミングして中間画像を生成し、前記中間画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項３１に記載の情報処理方法。

【請求項33】

前記前処理ステップでは、
前記入力画像に含まれる複数の果実のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された果実の物体検出に基づく範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで中間画像を生成し、
前記中間画像に含まれる前記複数の果実のうちの１つの果実に対応する領域を加工した前記部分加工画像に変換する、
請求項３１に記載の情報処理方法。

【請求項34】

前記前処理ステップでは、
前記入力画像に含まれるぶどう房に含まれる複数のぶどう粒のそれぞれに対応する領域の輪郭を表した輪郭画像を生成し、
前記入力画像及び前記輪郭画像に対して第２学習モデルを用いて実行された物体検出より検出された前記ぶどう房に対応するバウンディングボックスの範囲の画像となるように前記入力画像及び前記輪郭画像をトリミングし、
トリミングされた前記入力画像及び前記輪郭画像を合成することで前記複数の果実のそれぞれに対応する領域に輪郭を付した中間画像を生成し、
前記中間画像に含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した前記部分加工画像に変換し、
前記学習ステップでは、前記部分加工画像を入力とし前記部分加工画像が摘果すべきぶどう粒に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって前記第１学習モデルの学習処理を実行する、
請求項３１に記載の情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、システム、プログラム、及び情報処理方法に関する。

【背景技術】

【0002】

農作物の生育状態の向上及び外観性の向上などを目的として、果実を間引く摘果作業が行われる。特許文献１には、このような摘果作業を補助するための技術として、ぶどう粒数を画像解析によって計数するぶどう粒計数装置等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開2021-189718

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、摘果作業においては果実の数だけではなく、出来上がりの状態を想像しながら枝や房において位置や大きさ等の種々の条件を考慮して摘果する必要がある。このような摘果作業には熟練が必要とされ、作業者が限られる要因となっている。

【0005】

本発明は、画像中の果実について摘果すべきかの情報を提供可能とする情報処理装置、システム、プログラム、及び情報処理方法を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報処理装置は、前処理部と、確率算出部と、を備え、前記前処理部は、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記確率算出部は、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、情報処理装置である。

【0007】

本発明の一態様によれば、画像中の果実について摘果すべきかの情報を提供可能とすることができる。

【0008】

以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
また、前記前処理部は、前記複数の果実のうちの互いに異なる１つの果実に対応する領域を加工した前記部分加工画像を複数生成し、前記確率算出部は、前記第１学習モデルを用いて、生成された複数の前記部分加工画像のそれぞれが摘果すべき果実に対応する領域を加工した画像である確率を算出する。
また、前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する。
また、前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域のマスク画像と、前記複数の果実のそれぞれに対応する領域を縮小したマスク画像の差分の領域を用いて、前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する。
また、前記前処理部は、第２学習モデルを用いて、前記入力画像に含まれる複数の果実のそれぞれに対応する領域を検出する。

【0009】

本発明の別の観点によれば、前処理部と、学習部と、を備え、前記前処理部は、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記学習部は、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、情報処理装置が提供される。
また、前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する。
また、前記前処理部は、前記入力画像に含まれる前記複数の果実のそれぞれに対応する領域のマスク画像と、前記複数の果実のそれぞれに対応する領域を縮小したマスク画像の差分の領域を用いて、前記複数の果実のそれぞれに対応する領域に輪郭を付した前記部分加工画像を生成する。

【0010】

本発明の別の観点によれば、撮影制御部と、前処理部と、確率算出部と、表示制御部と、を備え、前記撮影制御部は、農作物の画像を撮影し、前記前処理部は、撮影した前記農作物の画像を前記農作物の画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記確率算出部は、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出し、前記表示制御部は、算出された確率に基づき摘果すべき果実を表示部において識別可能に表示する、システムが提供される。

【0011】

本発明の別の観点によれば、コンピュータに、前処理ステップと、確率算出ステップと、を実行させるプログラムであって、前記前処理ステップでは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記確率算出ステップでは、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、プログラムが提供される。

【0012】

本発明の別の観点によれば、コンピュータが実行する情報処理方法であって、画像前処理ステップと、確率算出ステップと、を含み、前記前処理ステップでは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記確率算出ステップでは、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、情報処理方法が提供される。

【0013】

本発明の別の観点によれば、コンピュータに、前処理ステップと、学習ステップと、を実行させるプログラムであって、前記前処理ステップは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記学習ステップは、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、プログラムが提供される。

【0014】

本発明の別の観点によれば、コンピュータが実行する情報処理方法であって、前処理ステップと、学習ステップと、を含み、前記前処理ステップは、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記学習ステップは、前記部分加工画像を入力とし前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行する、情報処理方法が提供される。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係る摘果補助システム１の概要を示す図である。

【図2】第１実施形態に係る確率算出装置１０のハードウェア構成を示すブロック図である。

【図3】第１実施形態に係るユーザ端末２０のハードウェア構成を示すブロック図である。

【図4】第１実施形態に係る確率算出装置１０の機能構成を示すブロック図である。

【図5】第１実施形態に係るユーザ端末２０の機能構成を示すブロック図である。

【図6】第１実施形態に係る摘果補助システム１による処理の流れの一例である。

【図7】着色処理による加工について模式的に表した図である。

【図8】透過型の表示部２５における表示態様の一例について示す。

【図9】透過型の表示部２５における表示対応の別の一例について示す。

【図10】生成された複数の部分加工画像ＣＰを模式的に表した一例である

【図11】図１１Ａは、透過型の表示部２５における複数の果実を識別可能な表示態様の一例について示す。図１１Ｂは、透過型の表示部２５における複数の果実を識別可能な表示態様の別の一例について示す。

【図12】複数のぶどう粒のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを模式図である。

【図13】輪郭を得る処理の一例の概念図である。

【図14】トリミング処理の一例について示す模式図である。

【図15】第２実施形態に係る学習装置３０のハードウェア構成を示すブロック図である。

【図16】第２実施形態に係る学習装置３０の機能構成を示すブロック図である。

【図17】変形例２－１に係る学習装置３０の機能構成を示すブロック図である。

【図18】画像拡張の一例を示す概念図である。

【図19】拡張パラメータの一例を記載した表である。

【図20】第３実施形態に係る摘果補助システム２の概要を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を用いて本発明のいくつかの実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。

【0017】

＜１．第１実施形態＞
（１－１．摘果補助システム１）
本発明の一実施形態に係る情報処理装置は、図１に示すような摘果補助システム１の一部を構成するサーバ等の確率算出装置１０である。摘果補助システム１は、確率算出装置１０、及び作業者Ｗが使用可能なユーザ端末２０を備える。

【0018】

確率算出装置１０は、通信回線５を介してユーザ端末２０と通信可能に構成される。ユーザ端末２０は、果実を撮影した画像Ｐを撮影し確率算出装置１０へ送信する。確率算出装置１０は、ユーザ端末２０から受信した画像Ｐを解析し、摘果対象とすべき果実についての情報を確率によって提供し、ユーザ端末２０は摘果対象を作業者Ｗに提示する。以下、各構成について説明する。

【0019】

（１－２．摘果補助システム１のハードウェア構成）
図２を参照し、摘果補助システム１のハードウェア構成を説明する。

【0020】

（１ー２ー１．確率算出装置１０のハードウェア構成）
図２は、本実施形態に係る確率算出装置１０のハードウェア構成を示すブロック図である。確率算出装置１０は、制御部１１、記憶部１２、通信部１３を備える。また、確率算出装置１０は、キーボード及びマウス等で構成された各種操作の入力を受け付ける操作入力部１４、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ１５を備えていてもよい。

【0021】

制御部１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等であり、確率算出装置１０の全体の動作を制御する。

【0022】

記憶部１２の一部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、制御部１１による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。また、記憶部１２の一部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリ、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種データ及び制御部１１の処理に利用されるプログラム等を保存する。

【0023】

記憶部１２に記憶されるプログラムは、例えば、確率算出装置１０の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、各種機能を実現するためのプログラム等であって、本実施形態に係るコンピュータプログラムを含む。

【0024】

通信部１３は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、通信回線５に接続する機能を有する。なお、通信部１３は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。確率算出装置１０は、通信回線５を介してユーザ端末２０等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行うことができる。なお、通信回線５には、高速通信及び低遅延を可能にするため、例えば、ローカル５Ｇシステムが用いられる。ただし、パブリック５Ｇシステムを用いることや、他の通信システムを用いてもよい。

【0025】

これら制御部１１、記憶部１２、通信部１３、操作入力部１４、及びモニタ１５は、システムバス１６を介して相互に電気的に接続されている。従って、制御部１１は、記憶部１２へのアクセス、モニタ１５に対する画像の表示、ユーザによる操作入力部１４に対する操作状態の把握、及び通信部１３を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。

【0026】

（１－２－２．ユーザ端末２０のハードウェア構成）
図３は、本実施形態に係るユーザ端末２０のハードウェア構成を示すブロック図である。ユーザ端末２０は、例えば、ＡＲ（拡張現実）グラス、ＭＲ（複合現実）グラス、スマートグラス、スマートフォンやタブレット端末等の情報処理端末であり、制御部２１、記憶部２２、通信部２３、撮影部２４、表示部２５を備える。また、ユーザ端末２０は、音を出力するスピーカ２６、電源ボタンその他の操作ボタン等により構成される操作部（図示せず）等を備えていてもよい。以下、確率算出装置１０との相違点を中心に説明する。

【0027】

撮影部２４は、静止画、動画等を撮影できるカメラを備える。表示部２５は、ユーザ端末２０がＡＲ（拡張現実）グラス、ＭＲ（複合現実）グラス、スマートグラス等である場合には、眼鏡のレンズに相当する部位と投影等により当該レンズへの表示を可能とする機能を有する部位との組み合わせによるディスプレイを備えうる。また、ＡＲ（拡張現実）グラス、ＭＲ（複合現実）グラス、スマートグラス等は、網膜に直接映像を照射する部位を備えていてもよい。表示部２５は、ユーザ端末２０がスマートフォンやタブレット端末等である場合には、画像等を表示し操作を受け付け可能なタッチパネルディスプレイ等であってもよい。

【0028】

これら制御部２１、記憶部２２、通信部２３、撮影部２４、表示部２５、及びスピーカ２６は、システムバス２７を介して相互に電気的に接続されている。従って、制御部２１は、記憶部２２へのアクセス、撮影部２４に対する制御、表示部２５による画像の表示、作業者による操作状態の把握、スピーカ２６からの音の出力、及び通信部２３を介した各種通信網や他の情報処理装置へのアクセス等を行うことができる。

【0029】

（１－３．確率算出装置１０の機能構成）
図４に示すように、確率算出装置１０の制御部１１は、第１前処理部１１ａと、確率算出部１１ｂと、を有する。

【0030】

第１前処理部１１ａは、入力画像を当該入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換可能に構成される。確率算出部１１ｂは、第１学習モデルを用いて、部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出可能に構成される。このような構成とすることにより、摘果作業において摘果すべき果実の情報提供を、部分加工画像が摘果すべき果実に対応する領域を加工した画像である可能性に基づいて行うことができる。部分加工画像が摘果すべき果実に対応する領域を加工した画像である確率に基づく摘果対象の提案が可能となる。

【0031】

（１－４．ユーザ端末２０の機能構成）
図５に示すように、ユーザ端末２０の制御部２１は、撮影制御部２１ａと、表示制御部２１ｂと、を有する。

【0032】

撮影制御部２１ａは、農作物の画像を撮影可能に構成される。表示制御部２１ｂは、算出された確率に基づき摘果すべき果実を表示部において識別可能に表示可能に構成される。

【0033】

上述した機能構成は、確率算出装置１０又はユーザ端末２０に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部１１又は制御部２１がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。

【0034】

プログラムを実行することで実現される場合、当該プログラムは、確率算出装置１０又はユーザ端末２０が内蔵する記憶部１２又は記憶部２２に格納してもよく、コンピュータが読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶装置に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。もしくは、ハードウェアによって実現する場合、ＡＳＩＣ、ＳＯＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。また、確率算出装置１０の機能として説明した一部又は全ての機能構成は、ソフトウェア又はハードウェアによってユーザ端末２０等で処理されるようにしてもよい。すなわち、ユーザ端末２０が撮影制御部２１ａと、第１前処理部１１ａと、確率算出部１１ｂと、表示制御部２１ｂの機能を備えるように構成されてもよい。反対に、ユーザ端末２０の機能として説明した一部の機能構成は、ソフトウェア又はハードウェアによって確率算出装置１０等で処理されるようにしてもよい。

【0035】

また、摘果補助システム１は、これらの撮影制御部２１ａと、第１前処理部１１ａと、確率算出部１１ｂと、表示制御部２１ｂと、を１以上の情報処理装置の何れかが備えたシステムとして構成されてもよい。

【0036】

上記機能構成（後述の機能も含む）は、確率算出装置１０又はユーザ端末２０に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部１１又は制御部２１がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。

【0037】

（１－５．処理の流れ）
図６は、摘果補助システム１による処理の流れの一例である。以下、各ステップについて詳しく説明する。なお、

【0038】

まず、ステップＳ２００が実行される。ステップＳ２００では、撮影制御部２１ａは、農作物の画像Ｐを撮影する。撮影制御部２１ａは、撮影部２４のカメラを制御し、作業対象とする農作物の画像Ｐを撮影する。ここで、農作物とは、摘果作業による間引きを必要とする農作物であって、ぶどう、柿、或いはみかん等の果樹、トマト或いはいちご等野菜等の農作物である。なお、「複数の果実」等という場合の果実のカウントは、摘果作業において間引かれる単位・集合による区別に基づき行われる。例えば、ぶどうでは房についたぶどう粒のそれぞれを１つの果実としてカウントし、いちご等の集合果ではその集合を１つの果実としてカウントすることができる。

【0039】

摘果補助システム１は、農作物の画像には複数の果実が含まれるように制御可能に構成されうる。確率算出部１１ｂによる摘果対象である可能性の算出において、果実同士の相対位置も重要な情報となりえるため、複数の果実を含むような画像を取得する必要がある。そのような画像は、例えば、農作物がぶどうである場合には、複数の果実（粒）を有する少なくとも１つの房が含まれる画像である。以下、農作物をぶどうとし、果実を房が有するぶどう粒として説明する。

【0040】

撮影制御部２１ａ又は確率算出装置１０が備えていてもよい画像確認部（図示せず）等は、撮影された画像Ｐに複数のぶどう粒が含まれているかを、深層学習等によって学習済みのモデル等を利用して確認可能に構成されてもよい。画像Ｐに複数のぶどう粒が含まれていない場合には、撮影制御部２１ａは、撮影部２４のカメラのアングル又は倍率を制御し複数のぶどう粒（複数のぶどう粒を有する房の全体）が含まれるように制御してもよい。また、撮影制御部２１ａは、画像Ｐに複数のぶどう粒が含まれるように再撮影することをユーザに通知してもよい。そのような通知は表示制御部２１ｂが表示部２５上にメッセージや画像を表示することによって実現されうる。

【0041】

次に、ステップＳ２１０が実行される。ステップＳ２１０では、ユーザ端末２０は撮影された画像Ｐを確率算出装置１０へ送信する。

【0042】

次に、ステップＳ１００が実行される。ステップＳ１００では、第１前処理部１１ａは、受信した画像Ｐを入力画像として、画像Ｐに含まれる複数のぶどう粒のうちの１つのぶどう粒に対応する領域を加工した部分加工画像ＣＰに変換する。

【0043】

ここで、１つの果実（ぶどう粒）に対応する領域の加工は、対象領域について強調する処理である。言い換えれば、対象領域について他の部分と異なることなる特徴を付加する処理である。加工は、例えば、対象領域を塗りつぶす着色処理、対象領域にハッチングを施すハッチング処理、その他模様を付する処理等であってよい。

【0044】

図７は、着色処理による加工について模式的に表した図である。図７では、第１前処理部１１ａは、着色処理によって、画像Ｐに含まれる複数のぶどう粒のうち１つのぶどう粒Ｇ１に対応する領域を白く着色する着色処理による加工を行っている。なお、図７では、白に着色したことを示すにあたり図面として許される表現方法の都合上、仮にぶどうの房及び房が有するぶどう粒を黒、背景を灰色で示しているが、これらは実際の処理では元の画像の色又は他の色などに変換されていてもよい。

【0045】

第１前処理部１１ａは、第２学習モデルを用いて、画像Ｐに含まれる複数のぶどう粒のそれぞれに対応する領域を検出可能に構成されてもよい。すなわち、ステップＳ１００は、第１前処理、画像Ｐに含まれる複数のぶどう粒のそれぞれに対応する領域を検出する検出ステップＳ１０１、及び、検出した領域の１つを加工する加工処理ステップＳ１０２を含んでいてもよい。

【0046】

第２学習モデルとしては、物体検出及びその物体の領域を出力可能なモデルであれば、種々の学習モデルを用いることができるが、検出する物体のバウンディングボックスに加え、ピクセルマスクを得ることが可能なモデルを用いることが好ましい。このようなモデルとしては、例えば、再帰的特徴ピラミッド（Ｒｅｃｕｒｓｉｖｅ Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ）と切り替え可能なアトラスコンボリューション（Ａｔｒｏｕｓ Ｃｏｎｖｏｌｕｔｉｏｎ）を用いたインスタンス・セグメンテーション・ネットワーク・モデルである「ＤｅｔｅｃｔｏＲＳ」を用いることができる。「ＤｅｔｅｃｔｏＲＳ」は、マルチステージモデルアーキテクチャを採用し、出力を次の学習セットとして使用することで検出精度の向上を図ったモデルである。また、その他のインスタンス・セグメンテーション・ネットワーク・モデルとしては、Ｃａｓｃａｄｅ Ｍａｓｋ Ｒ－ＣＮＮ、又はＨｙｂｒｉｄ Ｔａｓｋ Ｃａｓｃａｄｅ等が挙げられる。

【0047】

次に、ステップＳ１１０が実行される。ステップＳ１１０では、確率算出部１１ｂは、第１学習モデルを用いて、部分加工画像ＣＰが摘果すべきぶどう粒に対応する領域を加工した画像であるかの確率を算出する。確率算出部１１ｂは、第１学習モデルに対して部分加工画像ＣＰを入力とし、確率を出力として得る。確率算出部１１ｂは、画像上のぶどう粒Ｇ１を摘果すべきかぶどう粒である確率を、ぶどう粒Ｇ１が加工された部分加工画像ＣＰが、摘果すべきぶどう粒に対応する領域を加工した画像である確率として算出することができる。

【0048】

ここで、第１学習モデルとしては、種々の深層学習モデルを利用することができる。このようなモデルとしては、例えば、画像認識タスクにおいて予測性能を有する畳み込みニューラルネットワーク（ＣＮＮ）を用いることができる。より具体的には、ＲｅｓＮｅｔ（ＲｅｓＮｅｔ１８、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１）、ＥｆｆｉｃｉｅｎｔＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧ（ＶＧＧ－１６、ＶＧＧ－１９等）、ＧｏｏｇＬｅＮｅｔ（Ｉｎｃｅｐｔｉｏｎ Ｖ１、Ｉｎｃｅｐｔｉｏｎ Ｖ３等）、ＭｏｂｉｌｅＮｅｔ等を用いることができる。また、第１学習モデルとしては、後述の第２実施形態において機械学習した学習済みのモデルを用いることができる。

【0049】

次に、ステップＳ２２０が実行される。ステップＳ２２０では、表示制御部２１ｂは、算出された確率に基づき摘果すべきぶどう粒を表示部において識別可能に表示し、摘果を補助する表示となるように制御する。表示制御部２１ｂは、算出された確率が閾値以上である場合に、対応するぶどう粒を摘果すべき果実として表示部２５上で示すように構成されうる。

【0050】

例えば、ユーザ端末がＡＲグラス等である場合には、表示制御部２１ｂは、透過型の表示部２５において、確率が閾値以上である部分加工画像ＣＰに対応する現実のぶどう粒に重なる表示となるように色、画像、枠や矢印などの装飾、文字等を表示してもよい。このようなユーザ端末２０で識別可能に表示するための画像等は、確率算出装置１０の制御部１１が有する識別化部（図示せず）等が生成可能に構成されてもよい。例えば、識別化部は確率を色にマッピングし可視化した画像をユーザ端末２０へ送信する事ができる。

【0051】

図８は、透過型の表示部２５における表示態様の一例について示す。図８では、画像上のぶどう粒Ｇ１を白に着色した部分加工画像ＣＰが摘果すべきぶどう粒を着色した画像である確率が閾値以上である場合、表示制御部２１ｂは、表示部２５において透過して見える現実のぶどうの房においてぶどう粒Ｇ１に対応するぶどう粒ＲＧ１の位置（領域）に透明な赤い円９０でマークするように表示している。

【0052】

例えば、ユーザ端末がＡＲグラス等である場合には、表示制御部２１ｂは、透過型の表示部２５において、確率が閾値以上である部分加工画像ＣＰにおいて加工されたぶどう粒が何れであるかを示した画像を所定位置に表示してもよい。

【0053】

図９は、透過型の表示部２５における表示対応の別の一例について示す。図９では、画像上のぶどう粒Ｇ１を白に着色した部分加工画像ＣＰが摘果すべきぶどう粒を着色した画像である確率が閾値以上である場合、表示制御部２１ｂは、表示部２５において透過して見える現実のぶどうの房の右下にぶどう粒Ｇ１に対応するぶどう粒の位置（領域）に透明な赤い円９１でマークした補助画像９５を表示している。

【0054】

（１－６．変形例）
以下、第１実施形態の変形例について説明する。

【0055】

（１－６－１．変形例１－１）
第１前処理部１１ａは、複数の果実のうちの互いに異なる１つの果実に対応する領域を加工した部分加工画像ＣＰを複数生成し、確率算出部１１ｂは、第１学習モデルを用いて、生成された複数の部分加工画像ＣＰのそれぞれが摘果すべき果実に対応する領域を加工した画像である確率を算出可能に構成されてもよい。このような構成とすることにより、複数の果実について摘果すべき果実であるかの確率を得ることができ、作業者へ一度に摘果すべき対象を示すことが可能となる。

【0056】

図１０は、生成された複数の部分加工画像ＣＰ（部分加工画像ＣＰ１～部分加工画像ＣＰ１２）を模式的に表した一例である。これらの部分加工画像ＣＰは、第１前処理部１１ａが農作物としてぶどうの房が含まれている入力画像の画像Ｐ１を加工することによって生成している。

【0057】

画像Ｐ１のぶどうの房はぶどう粒Ｇ１～ぶどう粒Ｇ１２を有している（これらのぶどう粒及びその領域が検出されている）。第１前処理部１１ａは、このような画像Ｐ１のぶどう粒Ｇ１～ぶどう粒Ｇ１２のそれぞれに対応する領域を白く着色した部分加工画像ＣＰ１～部分加工画像ＣＰ１２を生成することができる。

【0058】

そして、確率算出部１１ｂは、部分加工画像ＣＰ１～部分加工画像ＣＰ１２のそれぞれについて摘果すべきぶどう粒を着色した画像であるかの確率を算出する。また、確率算出部１１ｂは、各部分加工画像ＣＰに対する確率の計算を、並列処理するように構成されてもよい。並列処理されることにより適時に結果を表示し、迅速な摘果作業の補助が実現可能となる。バッチサイズは、ぶどう粒の数に基づき決定されうる。

【0059】

表示制御部２１ｂは、算出された各確率に基づき算出された確率に基づき摘果すべきぶどう粒を表示部２５において識別可能に表示することができる。例えば、表示制御部２１ｂは、摘果すべきぶどう粒を着色した画像である確率が閾値以上であった部分加工画像ＣＰに対応する全てのぶどう粒を識別可能に表示することができる。

【0060】

図１１Ａは、透過型の表示部２５における複数の果実を識別可能な表示態様の一例について示す。図１１Ａは、図１０の各部分加工画像ＣＰの摘果すべきぶどう粒を着色した画像であるかの確率のうち、部分加工画像ＣＰ１と部分加工画像ＣＰ９に対応する確率が閾値以上であり、その他の部分加工画像ＣＰに対応する確率が閾値未満であった場合の表示について表している。表示制御部２１ｂは、表示部２５において、透過して見える現実のぶどうの房のぶどう粒Ｇ１及びぶどう粒Ｇ９に対応するぶどう粒ＲＧ１及びぶどう粒ＲＧ９の位置（領域）に透明な赤い円９０でマークするように表示している。また、図９の補助画像９５のような表示やその他の態様により複数の部分加工画像ＣＰの解析結果を表示してもよい。

【0061】

表示制御部２１ｂは、確率に応じて色、透明度、画像、装飾、表示する文字等を変更してもよい。変更は、確率の範囲に応じて行われてもよい。例えば、確率が０～１で算出される場合において、表示制御部２１ｂは、０．１ずつ色を変化させてもよい。

【0062】

図１１Ｂは、透過型の表示部２５における複数の果実を識別可能な表示態様の別の一例について示す。図１１Ｂでは、表示制御部２１ｂは、表示部２５において透過して見える現実のぶどうの房の近く（右）に補助画像９７を示している。処理対象の房において検出された全てのぶどう粒に対応する領域のそれぞれに確率に応じた色を付している。例えば、各領域は、確率に応じて黄色～赤色で着色される。表示制御部２１ｂは、確率が高いぶどう粒に対応する領域９８は赤く着色し、確率が中程度のぶどう粒に対応する領域９９はオレンジ色に着色し、それ以外の確率が低いぶどう粒に対応する領域は黄色に着色することができる。

【0063】

また、表示制御部２１ｂは、摘果すべきぶどう粒を着色した画像である確率が最も高いぶどう粒のみを、摘果すべきぶどう粒を表示部２５において識別可能に表示することができる。摘果対象とすべき確率の高いもの１つずつ示すことで作業者の混乱を生じさせにくい。

【0064】

また、表示制御部２１ｂは、農作物の所定の範囲（ぶどうであれば房ごと）に残っているべき果実の数を未満とならないように表示を制御することができる。例えば、ぶどうの特定の品種において一房が３０個のぶどう粒を有していることが好ましい場合、表示制御部２１ｂは摘果すべきぶどう粒を示す表示を行わないように制御する。

【0065】

（１－６－２．変形例１－２）
第１前処理部１１ａは、画像Ｐに含まれる複数の果実のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを生成可能に構成されてもよい。例えば摘粒段階のぶどうは色についてあまり違いがないため、このような構成とすることにより、大きさ、形、位置などの幾何情報や粒の密度や相対位置などの全局的な文脈情報の情報を、確率算出のための学習モデルのネットワークでより捉えやすくなることが期待できる。

【0066】

第１前処理部１１ａは、輪郭を所定の色の線で表すことができる。図１２は、複数のぶどう粒のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを模式図である。図１２においては、背景とは異なる灰色の線で表されているが、線の色は実際の画像における果実や周辺の色及び学習モデルの特性に応じて適宜選択可能である。

【0067】

第１前処理部１１ａは、画像Ｐに含まれる複数の果実のそれぞれに対応する領域に輪郭を付し、輪郭が付された画像において複数の果実のうちの１つの果実に対応する領域を加工する処理を実行するように構成されてもよい。なお、対応する領域が加工された果実は、輪郭も含めて加工されて（例えば、輪郭も含め白で塗りつぶされて）いてもよい。

【0068】

（１－６－３．変形例１－３）
第１前処理部１１ａは、画像Ｐに含まれる複数の果実のそれぞれに対応する領域のマスク画像と、複数の果実のそれぞれに対応する領域を縮小したマスク画像の差分の領域を用いて、複数の果実のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを生成可能に構成されてもよい。

【0069】

図１３は、輪郭を得る処理の一例の概念図である。まず、ぶどうの画像Ｐに含まれる複数のぶどう粒のそれぞれに対応する領域のマスク画像Ｍを生成する。次に、マスク画像Ｍの各ぶどう粒に対応する領域を縮小された収縮マスク画像ＳＭを生成する。このような領域の縮小は、種々の方法を用いることができるが、例えば、モルフォロジー演算で領域を数画素分収縮させることによって行われてもよい。マスク画像Ｍと収縮マスク画像ＳＭとの差分によって個々のぶどう粒の輪郭画像ＯＬを得る。第１前処理部１１ａは、こうして得られた輪郭画像ＯＬを用いて複数のぶどう粒のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを生成することができる。

【0070】

一例においては、第１前処理部１１ａは、輪郭画像ＯＬと画像Ｐを合成することで中間画像ＩＰを生成し、中間画像ＩＰにおいて複数の果実のうちの１つの果実に対応する領域を加工する処理を実行し、部分加工画像ＣＰを生成するように構成されてもよい。

【0071】

（１－６－４．変形例１－４）
第１前処理部１１ａは、所定の範囲（物体検出等で定められる範囲）の画像となるようにトリミングされた部分加工画像ＣＰを生成するように構成されてもよい。

【0072】

農作物がぶどうである場合には、第１前処理部１１ａは、第２学習モデルを利用してぶどうの房（所定の範囲）を検出し、検出された房のバウンディングボックスに基づき入力画像の画像Ｐ及び輪郭画像ＯＬをトリミング可能に構成されてもよい。

【0073】

図１４は、トリミング処理の一例について示す模式図である。図１４では、輪郭画像ＯＬ及び画像Ｐのトリミング対象領域ＴＡをトリミングした画像が合成されている。ぶどう粒を含まない範囲が切り取られた中間画像ＩＰが生成され、そしてぶどう粒を含まない範囲が切り取られた部分加工画像ＣＰが生成される。
＜２．第２実施形態＞
（２－１．学習装置３０）
本発明の一実施形態に係る情報処理装置は、部分加工画像ＣＰが摘果すべき果実に対応する領域を加工した画像であるか否かを出力可能なる第１学習モデルの機械学習を実現する学習装置３０である。

【0074】

（２ー２．学習装置３０のハードウェア構成）
図１５は、本実施形態に係る学習装置３０のハードウェア構成を示すブロック図である。学習装置３０は、制御部３１、記憶部３２、通信部３３、システムバス３６を備える。また、学習装置３０は、キーボード及びマウス等で構成された各種操作の入力を受け付ける操作入力部３４、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ３５を備えていてもよい。これらのハードウェアは、確率算出装置１０の制御部１１、記憶部１２、通信部１３、操作入力部１４、モニタ１５、及びシステムバス１６と同様に構成されうる。

【0075】

（２－３．学習装置３０の機能構成）
図１６に示すように、学習装置３０の制御部３１は、第２前処理部３１ａと、学習部３１ｂと、を有する。

【0076】

第２前処理部３１ａは、入力画像を当該入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像ＣＰに変換可能に構成される。

【0077】

第２前処理部３１ａは、学習装置３０に入力された、撮影部を有するデジタルカメラ、ビデオ、スマートフォン、スマートグラス等の撮影装置によって撮影された農作物の画像Ｐを入力画像として処理することができる。また、第２前処理部３１ａは、画像Ｐに含まれる複数の果実のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを生成可能に構成されてもよい。また、第２前処理部３１ａは、画像Ｐに含まれる複数の果実のそれぞれに対応する領域のマスク画像Ｍと、複数の果実のそれぞれに対応する領域を縮小した収縮マスク画像ＳＭの差分の領域を用いて、複数の果実のそれぞれに対応する領域に輪郭を付した部分加工画像ＣＰを生成可能に構成されてもよい。

【0078】

第２前処理部３１ａは、部分加工画像ＣＰの生成において、第１実施形態の第１前処理部１１ａと同様に輪郭を付する処理、トリミング処理、果実に対応する領域の加工処理等を実行することができる。

【0079】

学習部３１ｂは、部分加工画像ＣＰを入力とし部分加工画像ＣＰが摘果すべき果実に対応する領域を加工した画像であるか否かを出力とした組の教師データに基づく機械学習によって第１学習モデルの学習処理を実行可能に構成される。「機械学習」は、多数の教師データ（既知の入力データと正解データの組）を用いて学習可能な種々の手法に基づき実行される。例えば、第１実施形態で挙げた画像認識タスクにおいて予測性能を有する畳み込みニューラルネットワーク（ＣＮＮ）に対して教師データを機械学習させる。

【0080】

第２前処理部３１ａによって生成された部分加工画像ＣＰのうち一部が学習用の教師データとして用いられ、残りを学習結果の検証用データとして用いられてよい。また、教師データ（及び検証用データ）は、所定の割合（例えば、正解：不正解＝１：８）で正解画像（摘果すべきぶどう粒が着色された画像）と不正解画像（摘果すべきでないぶどう粒が着色された画像）を含むデータセットである。

【0081】

処理の流れの一例においては、第２前処理部３１ａが輪郭を付する処理、トリミング処理、果実に対応する領域の加工処理を行う前処理ステップを実行し、その後学習部３１ｂが機械学習を実行する学習ステップが実行される。

【0082】

上記機能構成（後述の機能も含む）は、学習装置３０に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御部３１がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。

【0083】

（２－４．変形例２－１）
図１７に示すように、制御部３１は、画像拡張部３１ｃを有していてもよい。

【0084】

画像拡張部３１ｃは、農作物について異なる向きをシミュレートして教師データとなる部分加工画像ＣＰを新たに生成可能に構成される。例えば、図１８に示すように、画像拡張部３１ｃは、ぶどうの房の画像を入力とした画像Ｐから生成される部分加工画像ＣＰに基づき、様々な向き（反転等も含む）のぶどう房をシミュレートして複数の部分加工画像ＣＰを拡張生成する。図１８では、１つの部分加工画像ＣＰから１０パターンの部分加工画像ＣＰに拡張されている。一例においては、画像拡張部３１ｃは、図１９の表１に示すような拡張パラメータを用いて拡張処理を実行することができる。

【0085】

画像拡張部３１ｃは、第２前処理部３１ａによって生成された部分加工画像ＣＰのうちの一部である教師データを機械学習前に拡張し、学習に用いることができるデータを増やすことが可能である。

【0086】

＜３．第３実施形態＞
（３－１．摘果補助システム２）
本発明の一実施形態に係る摘果補助システム２は、図２０に示すように確率算出装置１０、ユーザ端末２０、及び学習装置３０を備えるシステムである。

【0087】

学習装置３０により第１学習モデルの機械学習を行い、確率算出装置１０はユーザ端末２０から送られてきた画像に含まれる果実が摘果すべき果実である確率を算出し、ユーザ端末２０は算出された確率に基づき摘果すべき果実を作業者が識別可能に表示する。確率算出装置１０と学習装置３０とは、同一の情報処理装置として実現されてもよい。また、確率算出装置１０と学習装置３０が備える第１前処理部１１ａと第２前処理部３１ａは同一の機能であってもよく、１つの機能構成として備えることもできる。

【0088】

＜４．その他の実施形態＞
以上、本発明における実施形態及びその変形例について説明したが、本開示の適用は上述の内容に限定されるものではない。

【0089】

一態様においては、映像の１フレームずつを入力画像として、上記システムによる推定（確率の算出及び表示処理等）が実行される。一方で、フレームが少し変化するだけで推定結果が変わってしまう場合がある。この問題を解決するために、一態様においては、前後フレームのぶどう等の農作物の領域のＳＳＩＭ（ｓｔｒｕｃｔｕｒａｌ ｓｉｍｉｌａｒｉｔｙ ｉｎｄｅｘ ｍｅａｓｕｒｅ）を計算し、ＳＳＩＭが事前に設定した閾値以上のときだけ、推定結果を更新（確率の算出及び表示処理等を再実行）するように上記システムは構成されてもよい。すなわち、農作物の領域のＳＳＩＭが所定の閾値以上の場合に、第１前処理部１１ａは画像Ｐを部分加工画像ＣＰに変換し、確率算出部１１ｂは、部分加工画像ＣＰが摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する。

【0090】

また、第２前処理部３１ａは、リスケール処理によって所定の解像度の部分加工画像ＣＰを生成可能に構成されてもよい。リスケール処理は、輪郭を付す処理の前、領域を加工する処理の前に行われても、それらの後に行われてもよい。

【0091】

また、上記実施形態では、確率算出装置１０等が備える機能について、その性質上許されるものであれば、一部の機能についてユーザ端末２０等が備える、又は確率算出装置１０等とユーザ端末２０等の両方が備える構成とすることができる。例えば、ユーザ端末２０は、上記確率算出装置１０が備えるものとして機能を有し、画像の撮影及び確率の算出（部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率の算出）、さらには算出した確率に基づいた表示部２５への表示の制御等を行えるように構成されてもよい。

【0092】

また、上記実施形態において確率算出装置１０等に実行させるものとして記載されていた各ステップについても、その性質上許されるものであれば、ユーザ端末２０等に行わせることができる。

【0093】

また、サーバ等としての確率算出装置１０は、物理的に１台で構成される装置だけでなく、複数台の装置が有線又は無線で通信可能に接続され、実質的に１つの情報処理装置として機能するものを含んでもよい。

【0094】

また、本発明は、上述のシステムを機能させるプログラムとして実現することもできる。

【0095】

また、本発明は、上述のプログラムを格納するコンピュータ読み取り可能な記録媒体非一時的な記録媒体又は上述のプログラムを記録したコンピュータの読み取りが可能な記録媒体として実現することもできる。

【0096】

以上、本発明に係る種々の実施形態を説明したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0097】

１，２：摘果補助システム、２：摘果補助システム、５：通信回線、１０：確率算出装置、１１：制御部、１１ａ：第１前処理部、１１ｂ：確率算出部、１２：記憶部、１３：通信部、１４：操作入力部、１５：モニタ、１６：システムバス、２０：ユーザ端末、２１：制御部、２１ａ：撮影制御部、２１ｂ：表示制御部、２２：記憶部、２３：通信部、２４：撮影部、２５：表示部、２６：スピーカ、２７：システムバス、３０：学習装置、３１：制御部、３１ａ：第２前処理部、３１ｂ：学習部、３１ｃ：画像拡張部、３２：記憶部、３３：通信部、３４：操作入力部、３５：モニタ、３６：システムバス、９０、９１：円、９５、９７：補助画像、９８、９９：領域、ＣＰ（ＣＰ１～ＣＰ１２）：部分加工画像、Ｇ１～Ｇ１２：（画像中の）ぶどう粒、ＩＰ：中間画像、Ｍ：マスク画像、ＯＬ：輪郭画像、Ｐ，Ｐ１：画像、ＲＧ１，ＲＧ９：（現実の）ぶどう粒、ＳＭ：収縮マスク画像、ＴＡ：トリミング対象領域、Ｗ：作業者

【要約】

【課題】画像中の果実について摘果すべきかの情報を提供可能とする。
【解決手段】本発明によれば、前処理部と、確率算出部と、を備え、前記前処理部は、入力画像を前記入力画像に含まれる複数の果実のうちの１つの果実に対応する領域を加工した部分加工画像に変換し、前記確率算出部は、第１学習モデルを用いて、前記部分加工画像が摘果すべき果実に対応する領域を加工した画像であるかの確率を算出する、情報処理装置が提供される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】