特開 2024-84274 摘粒支援装置、摘粒支援システム、摘粒支援方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024084274

(43)【公開日】2024-06-25

(54)【発明の名称】摘粒支援装置、摘粒支援システム、摘粒支援方法およびプログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240618BHJP

   G06M 11/00 20060101ALI20240618BHJP

【ＦＩ】

G06T7/60 110

G06M11/00 D

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022198448

(22)【出願日】2022-12-13

(71)【出願人】

【識別番号】522092516

【氏名又は名称】井上株式会社

(71)【出願人】

【識別番号】591097702

【氏名又は名称】京都府

(71)【出願人】

【識別番号】509349141

【氏名又は名称】京都府公立大学法人

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100174388

【弁理士】

【氏名又は名称】龍竹 史朗

(72)【発明者】

【氏名】笈田 幸治

(72)【発明者】

【氏名】廣瀬 太知

(72)【発明者】

【氏名】板井 章浩

(72)【発明者】

【氏名】乾 俊之

(72)【発明者】

【氏名】大槻 義範

(72)【発明者】

【氏名】丸橋 隆二

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096DA02

5L096FA52

5L096FA69

5L096GA34

5L096HA02

(57)【要約】

【課題】ぶどうの房の着粒数を精度良く計数できる摘粒支援装置、摘粒支援システム、摘粒支援方法およびプログラムを提供する。
【解決手段】摘粒支援装置は、撮像部２２をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部２１１と、時間的に隣り合う一対の静止画像データを選出していく画像選出部２１２と、一対の静止画像データそれぞれについて房画像を切り出す房画像切り出し部２１３と、切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する同一房画像特定部２１７と、同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出する粒数算出部２１８と、選出された一対の静止画像データ全てについて算出された粒数の平均値をぶどうの房の着粒数として決定する粒数決定部２１９と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像部と、
前記撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部と、
前記動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく画像選出部と、
時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す房画像切り出し部と、
切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する同一房画像特定部と、
切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出する粒数算出部と、
複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出された前記粒数の平均値をぶどうの房の着粒数として決定する粒数決定部と、を備える、
摘粒支援装置。

【請求項2】

決定された前記着粒数が予め設定された基準粒数以下であるか否かを判定する粒数判定部と、
決定された前記着粒数が基準粒数以下になった場合、作業者に音声または表示部に表示される報知用画像で報知する報知部と、を備える、
請求項１に記載の摘粒支援装置。

【請求項3】

前記報知部は、作業者に音声で報知し、前記着粒数が基準粒数に近づくに伴い音声の音量を変化させる、
請求項２に記載の摘粒支援装置。

【請求項4】

前記報知部は、作業者に前記表示部に表示される報知用画像で報知し、前記着粒数が基準粒数に近づくに伴い前記表示部に表示される前記報知用画像を変化させる、
請求項２に記載の摘粒支援装置。

【請求項5】

選出された一対の静止画像データから切り出された房画像について静止画像データが示す静止画像中におけるぶどうの粒の位置を推定する粒位置推定部と、
特定されたぶどうの粒の位置それぞれと静止画像の中心位置との間のユークリッド距離を算出する距離算出部と、
算出されたユークリッド距離の平均値が最も小さい房画像を、粒数を計数する対象のぶどうの房に対応する房画像として特定する計数対象特定部と、を更に備える、
請求項１から４のいずれか１項に記載の摘粒支援装置。

【請求項6】

撮像部と、
前記撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部と、
前記動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく画像選出部と、
時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す房画像切り出し部と、
切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する同一房画像特定部と、
切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出する粒数算出部と、
複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出された前記粒数の平均値をぶどうの房の着粒数として決定する粒数決定部と、
摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデルを生成するモデル生成部と、
前記摘粒位置推定モデルを用いて、摘粒前のぶどうの房の房画像で特定されるぶどうの粒の位置から摘粒すべきぶどうの粒の位置を推定する摘粒位置推定部と、を備える、
摘粒支援システム。

【請求項7】

撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得するステップと、
前記動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していくステップと、
時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出すステップと、
切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定するステップと、
切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出するステップと、
複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出された前記粒数の平均値をぶどうの房の着粒数として決定するステップと、を含む、
摘粒支援方法。

【請求項8】

コンピュータを、
撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部、
前記動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく画像選出部、
時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す房画像切り出し部、
切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する同一房画像特定部、
切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出する粒数算出部、
複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出された前記粒数の平均値をぶどうの房の着粒数として決定する粒数決定部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、摘粒支援装置、摘粒支援システム、摘粒支援方法およびプログラムに関する。

【背景技術】

【0002】

ぶどうの房を１２０度から１５０度くらい回す期間でぶどうの房を複数回撮像することにより得られる房の複数方向からの撮像画像を用いて、ぶどうの房に含まれるぶどうの粒の数を計数するとともに、画像解析により房内のぶどうの粒の密度が均等となるように房から間引きする粒をガイドする計測装置が提案されている（例えば特許文献１参照）。この計測装置は、複数の撮像画像について、順次、撮像画像内での計測対象物であるぶどうの房に対応する画素範囲の特定と、その画素範囲での粒数の計測と、を行う。そして、計測装置は、画像内での粒の移動量から房の回転角を把握し、最初に計測した粒が回転により別の場所に移動しても、この粒を再カウントしないようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－６０５０５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された計測装置の場合、１つの撮像画像に複数のぶどうの房の画像が含まれる場合、複数のぶどうの房の画像の中から計数対象となるぶどうの房の画像を選出することができない。このため、例えば複数のぶどうの房の画像を同一のぶどうの房の画像と認識してしまい誤った計数値を出力してしまう虞がある。

【0005】

本発明は上記事由に鑑みてなされたものであり、ぶどうの房の着粒数を精度良く計数できる摘粒支援装置、摘粒支援システム、摘粒支援方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る摘粒支援装置は、
撮像部と、
前記撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部と、
前記動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく画像選出部と、
時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す房画像切り出し部と、
切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する同一房画像特定部と、
切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒の粒数を算出する粒数算出部と、
複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出された前記粒数の平均値をぶどうの房の着粒数として決定する粒数決定部と、を備える。

【発明の効果】

【0007】

本発明によれば、同一房画像特定部が、切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定し、粒数算出部が、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒数を算出する。そして、粒数決定部が、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房の着粒数に決定する。これにより、動画像データを構成する静止画像データに複数の房画像が含まれていたとしても、その中から粒数の算出対象となる同一のぶどうの房に対応する房画像を特定してそのぶどうの房に含まれる粒の粒数を決定できるので、ぶどうの房の着粒数を精度良く計数できる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態１に係る摘粒支援装置の概略構成図である。

【図2】実施の形態１に係る摘粒支援装置のハードウェア構成を示すブロック図である。

【図3】実施の形態１に係る摘粒支援装置の機能構成を示すブロック図である。

【図4】実施の形態１に係る摘粒支援装置の動作説明図である。

【図5】実施の形態１に係る摘粒支援装置が実行する摘粒支援処理の流れの一例を示すフローチャートである。

【図6】本発明の実施の形態２に係る摘粒支援システムの概略構成図である。

【図7】実施の形態２に係る摘粒支援システムのハードウェア構成を示すブロック図である。

【図8】実施の形態２に係る摘粒支援装置の機能構成を示すブロック図である。

【図9】実施の形態２に係るクラウドサーバの機能構成を示すブロック図である。

【図10】実施の形態２に係る粒位置履歴記憶部が記憶する情報の一例を示す図である。

【図11】実施の形態２に係る摘粒位置推定部が用いる摘粒位置推定モデルの一例を示す図である。

【図12】実施の形態２に係る摘粒支援システムの動作を説明するためのシーケンス図である。

【図13】実施の形態２に係る摘粒支援装置が実行する摘粒支援処理の流れの一例を示すフローチャートである。

【図14】実施の形態２に係るクラウドサーバが実行する摘粒位置通知処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

（実施の形態１）
以下、本発明の実施の形態に係る摘粒支援装置について、図面を参照しながら説明する。本実施の形態に係る摘粒支援装置は、撮像部と、撮像部をぶどうの房の周囲で動かしながら撮影して得られる動画像データを取得する動画取得部と、画像選出部と、房画像切り出し部と、同一房画像特定部と、粒数算出部と、粒数決定部と、を備える。ここで、画像選出部は、動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく。房画像切り出し部は、時間的に隣り合う一対の静止画像データが選出される毎に、一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す。同一房画像特定部は、切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する。粒数算出部は、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像それぞれに含まれるぶどうの粒数を算出する。粒数決定部は、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房の着粒数に決定する。

【0010】

本実施の形態に係る摘粒支援装置２は、ぶどう農家等が使用するものであり、図１に示すように、グラスユニット２０と、グラスユニット２０とコード２４を介して接続された制御ユニット２５と、を備える。グラスユニット２０は、いわゆる眼鏡型の形状を有し、ぶどう農家が摘粒作業中に装着できる。制御ユニット２５は、例えば作業者が衣服のポケット等に収納できるような小型の筐体を有する。グラスユニット２０は、作業者の前方を撮影する撮像部２２と、オングラス表示部２３と、撮像部２２およびオングラス表示部２３を支持し作業者の頭部に装着されるフレーム２１と、を有する。オングラス表示部２３は、例えば透明または半透明の液晶パネル、有機ＥＬ（Electro-Luminescence）パネル等を有する。そして、作業者は、オングラス表示部２３を通して前方を確認しながらオングラス表示部２３に表示される情報を確認することができる。具体的には、作業者は、オングラス表示部２３を通して摘粒対象のぶどうを視認しながら、オングラス表示部２３に表示される摘粒対象のぶどうの粒数を確認することができる。

【0011】

撮像部２２は、摘粒対象であるぶどうを撮像するためのものである。撮像部２２は、例えば通常の可視光カメラを有する。なお、撮像部２２は、近赤外線カメラ、マルチスペクトルカメラ、特定波長撮像カメラ、熱画像カメラ等であってもよい。また、撮像部２２は、ＣＣＤ（Charge Coupled Device）センサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子を有する。撮像部２２は、撮像素子で受光した光を光電変換して得た電気信号をディジタルデータに変換して得られる画像情報を生成して制御ユニット２５へ転送する。

【0012】

制御ユニット２５は、図２に示すように、ＣＰＵ（Central Processing Unit）２０１と、主記憶部２０２と、補助記憶部２０３と、表示インタフェース（以下、「Ｉ／Ｆ」と称する。）２０４と、入力部２０５と、撮像Ｉ／Ｆ２０７と、音声Ｉ／Ｆ２０８と、これらを互いに接続するバス２０９と、を備える。主記憶部２０２は、ＲＡＭ（Random Access Memory）のような揮発性メモリを有し、ＣＰＵ２０１の作業領域として使用される。補助記憶部２０３は、半導体フラッシュメモリのような不揮発性メモリであり、ＣＰＵ２０１が各種処理を実行するためのプログラムを記憶する。表示Ｉ／Ｆ２０４は、バス２０９を介して転送されてくる画像情報をオングラス表示部２３に画像を表示させるための信号に変換してオングラス表示部２３へ出力するディスプレイ等の表示装置である。入力部２０５は、制御ユニット２５の筐体に配設されたキー、スイッチ、ダイヤル等のスイッチまたはタッチパッド等である。作業者が入力部２０５を操作することにより摘粒支援装置２へ電源のオンオフを行うことができる。入力部２０５は、作業者が入力部２０５に対して行った操作の内容に応じた操作情報をＣＰＵ２０１へ転送する。

【0013】

ＣＰＵ２０１は、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、図３に示すように、動画取得部２１１、画像選出部２１２、房画像切り出し部２１３、粒位置推定部２１４、距離算出部２１５、計数対象特定部２１６、同一房画像特定部２１７、粒数算出部２１８、粒数決定部２１９、表示制御部２２０、粒数判定部２２３および報知部２２４として機能する。また、図２に示す補助記憶部２０３は、図３に示すように、撮像部２２により撮像して得られた動画像データを記憶する動画像記憶部２３１と、モデル記憶部２３２と、推定されたぶどうの粒の位置を示す粒位置情報を記憶する粒位置記憶部２３３と、を有する。更に、図２に示す主記憶部２０２は、図３に示すように、動画像データを構成する複数の静止画像データの中から選出された一対の静止画像データを一時的に記憶する選出画像記憶部２２９を有する。選出画像記憶部２２９は、一対の静止画像データが新たに記憶されると、直前に記憶していた一対の静止画像データを消去する。

【0014】

モデル記憶部２３２は、ぶどうの房を構成する複数のぶどうの粒の位置を推定するために用いられる粒位置推定モデルを示す粒位置推定モデル情報を記憶する。ここで、粒位置推定モデルは、例えばＣＮＮ（Convolution Neural Network）であり、ぶどうの房画像を示す房画像情報が入力されると、その房画像情報から房画像における複数のぶどうの粒それぞれの中心位置の相対位置座標を出力する。ここで、房画像情報は、例えば房画像を構成する複数の画素それぞれの相対的な位置座標と、各位置座標における画素値と、を含む情報である。粒位置推定モデル情報は、学習済の粒位置推定モデルを示す。

【0015】

動画取得部２１１は、作業者が撮像部２２を摘粒対象のぶどうの房の周囲で動かしながら撮影して得られる動画像データを撮像部２２から取得する。動画取得部２１１は、取得した動画像データを動画像記憶部２３１に記憶させる。画像選出部２１２は、動画像記憶部２３１が記憶する動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを時間的に先頭の静止画像データから順次選出していく。画像選出部２１２は、選出した一対の静止画像データを順次選出画像記憶部２２９に記憶させる。

【0016】

房画像切り出し部２１３は、時間的に隣り合う一対の静止画像データが選出され選出画像記憶部２２９に記憶される毎に、その一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す。ここで、房画像切り出し部２１３は、例えば図４に示すように、動画像データに含まれる時間的に隣り合う一対のフレーム（ｋフレーム目、ｋ＋１フレーム目）に対応する静止画像データの中からぶどうの房に対応する房画像ＲＡ［ｋ］、ＲＡ［ｋ＋１］を特定する。房画像切り出し部２１３は、特定したぶどうの房に対応する房画像ＲＡ［ｋ］、ＲＡ［ｋ＋１］を示す房画像情報を粒位置推定部２１４に通知する。

【0017】

粒位置推定部２１４は、選出された一対の静止画像データから切り出された房画像について静止画像データが示す静止画像中におけるぶどうの粒の位置を推定する。具体的には、粒位置推定部２１４は、モデル記憶部２３２が記憶する粒位置推定モデル情報が示す粒位置推定モデルを用いて、房画像切り出し部２１３から通知される房画像情報から、房画像データにおける複数のぶどうの粒それぞれの相対位置座標およびぶどうの房の中心位置座標を推定し、推定した相対位置座情およびぶどうの房の中心位置座標を示す位置座標情報を生成する。粒位置推定部２１４は、生成した位置座標情報を距離算出部２１５および同一房画像特定部２１７に通知する。

【0018】

距離算出部２１５は、ぶどうの房の中心位置と画像中心位置との距離を推定それぞれと対応する房画像を含む静止画像の中心位置との間のユークリッド距離を算出する。距離算出部２１５は、粒位置推定部２１４から通知される位置座標情報が示すぶどうの房の中心位置の相対位置と静止画像の中心位置との間のユークリッド距離を算出する。ここで、距離算出部２１５は、静止画像に複数の房画像を含む場合、複数の房画像それぞれに対応するぶどうの房の中心位置の相対位置と静止画像の中心位置との間のユークリッド距離を算出する。そして、距離算出部２１５は、算出したユークリッド距離の平均値を算出し、算出した平均値を示す距離情報を計数対象特定部２１６に通知する。

【0019】

計数対象特定部２１６は、算出されたユークリッド距離の平均値が最も小さい房画像を、粒数を計数する対象のぶどうの房に対応する房画像として特定する。計数対象特定部２１６は、距離算出部２１５から複数の房画像それぞれに対応する距離情報が通知されると、通知された距離情報それぞれが示すユークリッド距離の平均値を比較して平均値が最も小さい房画像を計数対象のぶどうの房に対応する房画像として特定する。計数対象特定部２１６は、特定した房画像を示す房画像情報を同一房画像特定部２１７に通知する。

【0020】

同一房画像特定部２１７は、房画像切り出し部２１３により切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する。具体的には、同一房画像特定部２１７は、粒位置推定部２１４から通知される一対の静止画像データそれぞれに含まれる房画像に対応する位置座標情報が示すぶどうの粒の相対的な配置の一致度が予め設定された基準一致度以上である場合、同一のぶどうの房に対応する房画像として特定する。同一房画像特定部２１７は、例えば図４に示すように、時間的に隣り合う一対のフレーム（ｋフレーム目、ｋ＋１フレーム目）に対応する静止画像データに含まれる房画像ＲＡ［ｋ］、ＲＡ［ｋ＋１］の一致部分Ａｄのぶどうの粒の相対的な配置の一致度が、基準一致度以上である場合、同一のぶどうの房に対応する房画像と特定する。図３に戻って、そして、同一房画像特定部２１７は、特定した房画像に対応する位置座標情報を粒位置記憶部２３３に記憶させる。

【0021】

粒数算出部２１８は、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像に基づいて、ぶどうの房に含まれるぶどうの粒数を算出する。具体的には、粒数算出部２１８は、粒位置記憶部２３３が記憶する房画像に対応する位置座標情報が示す相対位置座標の数を計数し、計数した相対位置座標の数に基づいてぶどうの粒数を算出する。粒数算出部２１８は、算出した粒数を示す粒数情報を粒数決定部２１９に通知する。

【0022】

粒数決定部２１９は、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房に含まれるぶどうの粒数として決定する。粒数決定部２１９は、粒数算出部２１８から通知される複数対の静止画像データに含まれる同一のぶどうの房に対応する粒数情報が示す粒数の平均値を算出し、算出した平均値をぶどうの房の着粒数に決定する。粒数決定部２１９は、決定した粒数を示す粒数情報を表示制御部２２０および粒数判定部２２３に通知する。

【0023】

表示制御部２２０は、粒数決定部２１９から通知された粒数情報に基づいて、計数対象のぶどうの粒数を表す粒数通知画像を示す粒数通知画像情報を形成して表示Ｉ／Ｆ２０４に転送する。これにより、粒数通知画像が、オングラス表示部２３に表示される。

【0024】

粒数判定部２２３は、粒数決定部２１９により決定されたぶどうの粒数が予め設定された基準粒数以下であるか否かを判定する。粒数判定部２２３は、粒数決定部２１９から通知される粒数情報が示す粒数が前述の基準粒数以下であるか否かを判定する。そして、粒数判定部２２３は、粒数情報が示す粒数が前述の基準粒数以下であると判定すると、その旨を音声で作業者に報知するよう指令する報知指令情報を報知部２２４に通知する。報知部２２４は、報知指令情報が通知されると、予め設定された音声情報を生成して音声Ｉ／Ｆ２０８へ転送する。これにより、スピーカ２６は、音声情報に対応した報知音を出力する。

【0025】

次に、本実施の形態に係る摘粒支援装置２が実行する摘粒支援処理について図５を参照しながら説明する。この摘粒支援処理は、例えば摘粒支援装置２へ電源が投入されたことを契機として開始される。また、動画取得部２１１は、この摘粒支援処理と並行して、撮像部２２により撮像して得られる動画像データを取得して順次動画像記憶部２３１に記憶させる動作を実行しているものとする。まず、画像選出部２１２は、予め設定された粒数表示時期が到来したか否かを判定する（ステップＳ１０１）。この粒数表示時期は、例えば数ｍｓｅｃ周期で到来するように設定される。この場合、粒数通知画像が、数十ｍｓｅｃ周期で逐次更新されることになる。ここで、画像選出部２１２が、未だ前述の粒数表示時期が到来していないと判定する限り（ステップＳ１０１：Ｎｏ）、ステップＳ１０１の処理が繰り返し実行される。一方、画像選出部２１２は、前述の粒数表示時期が到来したと判定すると（ステップＳ１０１：Ｙｅｓ）、動画像記憶部２３１が記憶する動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを選出し、選出した一対の静止画像データを順次選出画像記憶部２２９に記憶させる（ステップＳ１０２）。

【0026】

次に、房画像切り出し部２１３は、時間的に隣り合う一対の静止画像データが選出され選出画像記憶部２２９に記憶されると、その一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す（ステップＳ１０３）。続いて、粒位置推定部２１４は、選出された一対の静止画像データから切り出された房画像について静止画像データが示す静止画像中におけるぶどうの粒の位置およびぶどうの房の中心位置を推定する（ステップＳ１０４）。

【0027】

その後、距離算出部２１５は、推定されたぶどうの房の中心位置と、対応する房画像を含む静止画像の中心位置と、の間のユークリッド距離を算出し、算出したユークリッド距離の平均値を算出する（ステップＳ１０５）。次に、計数対象特定部２１６は、算出されたユークリッド距離の平均値が最も小さい房画像を、粒数を計数する対象のぶどうの房に対応する房画像として特定する（ステップＳ１０６）。

【0028】

続いて、同一房画像特定部２１７は、房画像切り出し部２１３により切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する（ステップＳ１０７）。その後、粒数算出部２１８は、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像に基づいて、ぶどうの房に含まれるぶどうの粒数を算出する（ステップＳ１０８）。次に、粒数決定部２１９は、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房に含まれるぶどうの粒数として決定する（ステップＳ１０９）。続いて、表示制御部２２０は、粒数決定部２１９から通知された粒数情報に基づいて、計数対象のぶどうの粒数を表す粒数通知画像を示す粒数通知画像情報を形成してオングラス表示部２３に表示させる（ステップＳ１１０）。

【0029】

その後、粒数判定部２２３は、粒数決定部２１９により決定されたぶどうの粒数が予め設定された基準粒数以下であるか否かを判定する（ステップＳ１１１）。ここで、粒数判定部２２３が、粒数決定部２１９により決定された粒数が前述の基準粒数よりも多いと判定すると（ステップＳ１１１：Ｎｏ）、再びステップＳ１０１の処理が実行される。一方、粒数判定部２２３は、粒数決定部２１９により決定された粒数が前述の基準粒数以下であると判定すると（ステップＳ１１１：Ｙｅｓ）、その旨を音声で作業者に報知するよう指令する報知指令情報を報知部２２４に通知する。そして、報知部２２４は、報知指令情報が通知されると、予め設定された音声情報を生成し、生成した音声情報に対応した報知音をスピーカ２６から出力させる（ステップＳ１１２）。次に、再びステップＳ１０１の処理が実行される。

【0030】

以上説明したように、本実施の形態に係る摘粒支援装置２によれば、同一房画像特定部２１７が、切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する。また、粒数算出部２１８が、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像に基づいて、房画像に含まれるぶどうの粒数を算出する。そして、粒数決定部２１９が、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房の着粒数に決定する。これにより、動画像データを構成する静止画像データに複数の房画像が含まれていたとしても、その中から粒数の算出対象となる同一のぶどうの房に対応する房画像を特定してそのぶどうの房の着粒数を決定できるので、ぶどうの房の着粒数を精度良く計数できる。

【0031】

（実施の形態２）
本実施の形態に係る摘粒支援システムは、摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデルを生成し、生成した摘粒位置推定モデルを用いて、摘粒前のぶどうの房の房画像で特定されるぶどうの粒の位置から摘粒すべきぶどうの粒の位置を推定する機能を有する。本実施の形態に係る摘粒支援システムは、図６に示すように、摘粒支援装置２００２と、クラウドサーバ１と、を備える。なお、図６において、実施の形態１と同様の構成については図１と同一の符号を付している。また、ぶどう農家には、局所ネットワークＮＷ２が構築されており、局所ネットワークＮＷ２に接続され摘粒支援装置２００２と無線通信可能なアクセスポイント８２と、局所ネットワークＮＷ２に接続されクラウドサーバ１と広域ネットワークＮＷ１を介して通信可能なブロードバンドルータ（以下、「ＢＢＲ」と称する。）８１と、が設置されている。広域ネットワークＮＷ１は、例えばインターネットである。また、局所ネットワークＮＷ２は、例えば無線ＬＡＮ（Local Area Network）である。

【0032】

摘粒支援装置２００２は、実施の形態１で説明したグラスユニット２０と、グラスユニット２０とコード２４を介して接続された制御ユニット２０２５と、を備える。制御ユニット２０２５は、実施の形態１で説明した制御ユニット２５と同様に例えば作業者が衣服のポケット等に収納できるような小型の筐体を有する。そして、作業者は、オングラス表示部２３を通して摘粒対象のぶどうを視認しながら、オングラス表示部２３に表示される摘粒対象のぶどうの粒数のみならず、次に摘粒する候補となる粒の位置の情報を確認することができる。

【0033】

制御ユニット２０２５は、図７に示すように、ＣＰＵ２０１と、主記憶部２０２と、補助記憶部２０３と、表示Ｉ／Ｆ２０４と、入力部２０５と、無線モジュール２０６と、撮像Ｉ／Ｆ２０７と、音声Ｉ／Ｆ２０８と、これらを互いに接続するバス２０９と、を備える。なお、図７において、実施の形態１と同様の構成については図２と同一の符号を付している。無線モジュール２０６は、例えばＩＥＥＥ８０２．１１の無線通信規格に準拠した通信方式でアクセスポイント８２と通信し、バス２０９から転送されてくる情報をアクセスポイント８２へ送信したり、アクセスポイント８２から受信した情報をバス２０９へ送出したりする。

【0034】

ＣＰＵ２０１は、補助記憶部２０３が記憶するプログラムを主記憶部２０２に読み出して実行することにより、図８に示すように、動画取得部２１１、画像選出部２１２、房画像切り出し部２１３、粒位置推定部２１４、距離算出部２１５、計数対象特定部２１６、同一房画像特定部２２１７、粒数算出部２１８、粒数決定部２１９、表示制御部２２０、位置座標通知部２２２１、摘粒位置取得部２２２２、粒数判定部２２３および報知部２２４として機能する。なお、図８において、実施の形態１と同様の構成については図３と同一の符号を付している。

【0035】

同一房画像特定部２２１７は、特定した房画像に対応する位置座標情報を粒位置記憶部２３３に記憶させるとともに、特定した房画像に対応する位置座標情報を位置座標通知部２２２１に通知する。位置座標通知部２２２１は、同一房画像特定部２２１７から通知される位置座標情報を、局所ネットワークＮＷ２および広域ネットワークＮＷ１を介してクラウドサーバ１へ送信する。摘粒位置取得部２２２２は、クラウドサーバ１から送信されるぶどうの摘粒位置を示す摘粒位置情報を取得すると、取得した摘粒位置情報を表示制御部２２０に通知する。

【0036】

表示制御部２２０は、実施の形態１で説明したように、粒数決定部２１９から通知された粒数情報に基づいて、計数対象のぶどうの粒数を表す粒数通知画像を示す粒数通知画像情報を形成して表示Ｉ／Ｆ２０４に転送する。また、表示制御部２２０は、摘粒位置取得部２２２２から摘粒位置情報が通知されると、通知された粒数位置情報に基づいて、作業者に摘粒する候補となるぶどうの粒の位置を通知するための摘粒位置通知画像を示す摘粒位置通知画像情報を形成して表示Ｉ／Ｆ２０４に転送する。これにより、摘粒位置通知画像が、オングラス表示部２３に表示される。ここで、オングラス表示部２３には、粒数通知画像と摘粒位置通知画像との両方が同時に表示される。

【0037】

図７に戻って、クラウドサーバ１は、ＣＰＵ１０１と、主記憶部１０２と、補助記憶部１０３と、通信部１０６と、これらを相互に接続するバス１０９と、を備える。ＣＰＵ１０１は、例えばマルチコアプロセッサである。主記憶部１０２は、揮発性メモリから構成され、ＣＰＵ１０１の作業領域として用いられる。補助記憶部１０３は、大容量の不揮発性メモリから構成され、クラウドサーバ１の各種機能を実現するためのプログラムを記憶する。通信部１０６は、広域ネットワークＮＷ１に接続されている。

【0038】

ＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図９に示すように、粒位置取得部１１１、摘粒判定部１１２、摘粒位置推定部１１３、モデル生成部１１４および摘粒位置通知部１１５として機能する。また、補助記憶部１０３は、粒位置記憶部１３１と、モデル記憶部１３２と、を有する。粒位置記憶部１３１は、例えば図１０に示すように、ぶどうの房に含まれるぶどうの粒それぞれの房画像における相対位置座標を示す位置座標情報を、摘粒回数を示す摘粒回数情報に対応づけて記憶する。図１０に示す例では、ぶどうの粒の摘粒がｎ回行われた後において、相対位置座標（Ｘ［０］、Ｙ［０］）、（Ｘ［１］、Ｙ［１］）、・・・、（Ｘ［ｎ－１］、Ｙ［ｎ－１］）のぶどうの粒が摘粒により除去され、相対位置座標（Ｘ［ｎ］、Ｙ［ｎ］）、（Ｘ［ｎ＋１］、Ｙ［ｎ＋１］）、・・・、（Ｘ［Ｎ］、Ｙ［Ｎ］）のぶどうの粒が残っていることを示している。

【0039】

図９に戻って、モデル記憶部１３２は、摘粒前のぶどうの房におけるぶどうの粒の着粒位置と、摘粒したぶどうの粒の位置と、に基づいて、摘粒前のぶどうの房の房画像で特定されるぶどうの粒の位置から、摘粒すべきぶどうの粒の位置を推定するための摘粒位置推定モデルを示す摘粒位置推定モデル情報を記憶する。摘粒位置推定モデルは、例えば再帰型ニューラルネットワーク（Recurrent Neural Network）である。この場合、モデル記憶部１３２は、摘粒位置推定モデルの構造を示す情報と、摘粒位置推定モデルにおける重み係数を示す情報と、を記憶する。摘粒位置推定モデルの構造を示す情報には、ノード数、層数、各ノードに対応する重み係数および活性化関数それぞれを示す情報が含まれる。ここで、重み係数には、各ノードが属する層からの出力を入力へ帰還させる際の重み係数を含んでいる。この摘粒位置推定モデルは、図１１に示すように入力層Ｌ１０、隠れ層Ｌ２０および出力層Ｌ３０を有する。入力層Ｌ１０には、摘粒前のぶどうの房における各ぶどうの粒の相対位置座標が入力される。

【0040】

隠れ層Ｌ２０は、例えば予め設定された数Ｎ［ｊ］のノードｙ［ｊ，ｉ,t］（１≦ｉ≦Ｎ［ｊ］、Ｎ［ｊ］は正の整数）を含む３層から構成されている。ここで、入力層Ｌ１０直後のノードと出力層Ｌ３０直前のノードとを除く各ノードの出力ｙ［２，ｊ，ｔ］は、下記式（１）の関係式で表される。

【0041】

【数1】

・・・式（１）

【0042】

ここで、ｗ_ｉｎ［ｋ，ｉ］およびｗ_{ｆｅｅｄｂａｃｋ}［ｋ，ｊ］は、重み係数を示し、ｆ（＊）は、活性化関数を示す。また、ｔは、摘粒作業を行った回数である摘粒回数を示す。活性化関数としては、シグモイド関数、ランプ関数、ステップ関数等の非線形関数が用いられる。第１時点ｔにおける各ノードの出力は、ｔ回だけ摘粒作業を行った後における当該ノードが属する層の前の層に属する複数のノードそれぞれの出力に重み係数を乗じたものの総和と、直前のｔ－１回だけ摘粒作業を行った後における当該ノードと同じ層に属する複数のノードそれぞれの出力に重み係数を乗じたものの総和と、の和を引数とする活性化関数の出力となっている。出力層Ｌ３０は、隠れ層Ｌ２０の最終層に属するノードからの出力に基づいて、次に摘粒すべきぶどうの粒の相対位置座標それぞれに対する期待値を要素とする期待値ベクトルを出力する。ここで、出力層Ｌ３０は、例えばソフトマックス関数を用いた処理を実行する。また、モデル記憶部１３２は、摘粒作業の開始時において摘粒位置推定モデルを用いて摘粒すべきぶどうの粒の房画像における相対位置座標を推定する際に必要となる初期相対位置座標情報も記憶する。

【0043】

図９に戻って、粒位置取得部１１１は、摘粒支援装置２００２から送信される位置座標情報を取得すると、取得した位置座標情報を摘粒判定部１１２に通知する。摘粒判定部１１２は、粒位置取得部１１１から新たなぶどうの房に対応する粒の位置座標情報が通知されると、その位置座標情報を粒位置記憶部１３１に記憶させる。次に、摘粒判定部１１２は、粒位置取得部１１１から同一のぶどうの房に対応する位置座標情報が通知されると、通知された位置座標情報に基づいて、ぶどうについて摘粒作業が行われたか否かを判定する。そして、摘粒判定部１１２は、摘粒作業が行われたと判定すると、粒位置取得部１１１から通知された位置座標情報を粒位置記憶部１３１に記憶させる。

【0044】

摘粒位置推定部１１３は、粒位置記憶部１３１が記憶する位置座標情報の履歴から前述の摘粒位置推定モデル情報が示す摘粒位置推定モデルを用いて、摘粒すべきぶどうの粒の相対位置座標を推定する。具体的には、摘粒位置推定部１１３は、ぶどうの房の摘粒開始後から直近の摘粒後までの間における粒の相対位置座標の推移から、摘粒位置推定モデルを用いて、ぶどうの粒の相対位置座標それぞれの期待値を算出する。そして、摘粒位置推定部１１３は、算出した期待値が高いほうから予め設定された数だけ相対位置座標を特定する。次に、摘粒位置推定部１１３は、特定した相対位置座標を示す位置座標情報を摘粒位置通知部１１５に通知する。

【0045】

モデル生成部１１４は、粒位置記憶部１３１が記憶する摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデルを生成する。具体的には、モデル生成部１１４は、まず、モデル記憶部１３２が既に記憶する摘粒位置推定モデルを用いて、摘粒作業開始から直前の摘粒後よりも１回前の摘粒後までの間における摘粒すべきぶどうの粒の相対位置座標それぞれの期待値を算出する。次に、モデル生成部１１４は、粒位置記憶部１３１が記憶する直近のぶどうの粒の相対位置座標と１回前の摘粒後のぶどうの粒の相対位置座標とを比較して実際に摘粒されたぶどうの粒の相対位置座標の期待値が他の相対位置座標の期待値に比べて高くなるように期待値を設定する。例えば、モデル生成部１１４は、実際に摘粒されたぶどうの粒の相対位置座標の期待値を０よりも大きい数に設定し、他の相対位置座標の期待値を「０」に設定する。そして、モデル生成部１１４は、モデル記憶部１３２が既に記憶する摘粒位置推定モデルを用いて算出した期待値と、実際に摘粒されたぶどうの粒の相対位置座標およびその他のぶどうの粒の相対位置座標それぞれの期待値と、の誤差を算出する。そして、モデル生成部１１４は、算出された誤差に基づく前述のＢＰＴＴ（Back Propagation Through Time）法により摘粒位置推定モデルの重み係数を決定し、決定した重み係数を示す新たな摘粒位置推定モデル情報でモデル記憶部１３２が記憶する摘粒位置推定モデル情報を更新する。

【0046】

摘粒位置通知部１１５は、摘粒位置推定部１１３から通知される、摘粒すべきぶどうの粒の相対位置座標を示す位置座標情報を含む摘粒位置情報を生成して摘粒支援装置２００２へ送信する。

【0047】

次に、本実施の形態に係る摘粒支援システムの動作について図１２を参照しながら説明する。なお、摘粒支援装置２００２は、電源が投入されており、撮像部２２により撮像して得られる動画像データを取得して順次動画像記憶部２３１に記憶させているものとする。まず、予め設定された粒数表示時期が到来すると、摘粒支援装置２００２は、動画像記憶部２３１が記憶する動画像データを構成する複数フレームの静止画像データから時間的に隣り合う一対の静止画像データを選出し、選出した一対の静止画像データを順次選出画像記憶部２２９に記憶させる（ステップＳ１）。ここで、粒数表示時期は、実施の形態１で説明したように、例えば数ｍｓｅｃ周期で到来するように設定される。次に、摘粒支援装置２００２は、時間的に隣り合う一対の静止画像データが選出され選出画像記憶部２２９に記憶される毎に、その一対の静止画像データそれぞれについて少なくとも１つのぶどうの房が映った部分の房画像を切り出す（ステップＳ２）。

【0048】

続いて、摘粒支援装置２００２は、選出された一対の静止画像データから切り出された房画像について静止画像データが示す静止画像中におけるぶどうの粒の位置およびぶどうの房の中心位置を推定する（ステップＳ３）。その後、摘粒支援装置２００２は、推定されたぶどうの房の中心位置と対応する房画像を含む静止画像の中心位置との間のユークリッド距離を算出し、算出したユークリッド距離の平均値を算出する（ステップＳ４）。

【0049】

次に、摘粒支援装置２００２は、算出されたユークリッド距離の平均値が最も小さい房画像を、粒数を計数する計数対象のぶどうの房に対応する房画像として特定する（ステップＳ５）。続いて、摘粒支援装置２００２は、房画像切り出し部２１３により切り出された一対の静止画像データそれぞれに含まれる少なくとも１つの房画像の一致度に基づいて、同一のぶどうの房に対応する房画像を特定する（ステップＳ６）。その後、摘粒支援装置２００２が、特定した房画像に対応する位置座標情報を生成し（ステップＳ７）、生成された位置座標情報が、摘粒支援装置２００２からクラウドサーバ１へ送信される（ステップＳ８）。

【0050】

次に、摘粒支援装置２００２は、切り出された一対の静止画像データそれぞれに含まれる同一のぶどうの房に対応する房画像に基づいて、ぶどうの房に含まれるぶどうの粒数を算出する（ステップＳ９）。続いて、摘粒支援装置２００２は、複数フレームの静止画像データから順次選出された一対の静止画像データ全てについて算出されたぶどうの粒数の平均値をぶどうの房に含まれるぶどうの粒数として決定する（ステップＳ１０）。その後、摘粒支援装置２００２は、決定したぶどうの粒数を示す粒数情報に基づいて、計数対象のぶどうの房の粒数を表す粒数通知画像を示す粒数通知画像情報を形成してオングラス表示部２３に表示させる（ステップＳ１１）。

【0051】

また、クラウドサーバ１は、取得した同一のぶどうの房に対応する位置座標情報が通知されると、通知された位置座標情報に基づいて、ぶどうについて摘粒作業が行われたと判定したとする（ステップＳ１２）。この場合、クラウドサーバ１は、取得した位置座標情報を粒位置記憶部１３１に記憶させる（ステップＳ１３）。次に、クラウドサーバ１は、粒位置記憶部１３１が記憶する摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデルを示す摘粒位置推定モデル情報を生成し、生成した摘粒位置推定モデル情報でモデル記憶部１３２が記憶する摘粒位置推定モデル情報を更新する（ステップＳ１４）。続いて、クラウドサーバ１は、モデル記憶部１３２が記憶する摘粒位置推定モデル情報が示す摘粒位置推定モデルを用いて、粒位置記憶部１３１が記憶する位置座標情報の履歴から摘粒すべきぶどうの粒の相対位置座標を推定する（ステップＳ１５）。その後、クラウドサーバ１が、推定した摘粒すべきぶどうの粒の相対位置座標を示す位置座標情報を含む摘粒位置情報を生成し（ステップＳ１６）、生成された摘粒位置情報が、クラウドサーバ１から摘粒支援装置２００２へ送信される（ステップＳ１７）。

【0052】

一方、摘粒支援装置２００２は、摘粒位置情報を取得すると、取得した摘粒位置情報に基づいて、摘粒すべきぶどうの粒の位置を表す摘粒位置通知画像を形成してオングラス表示部２３に表示させる（ステップＳ１８）。

【0053】

また、前述のステップＳ９からＳ１１までの一連の処理が実行された後、摘粒支援装置２００２が、計数対象のぶどうの房に含まれる粒数が予め設定された基準粒数以下であると判定したとする（ステップＳ１９）。この場合、摘粒支援装置２００２は、粒数が基準粒数以下になったことを作業者に通知するための報知音を出力する（ステップＳ２０）。

【0054】

次に、本実施の形態に係る摘粒支援装置２００２が実行する摘粒支援処理について図１３を参照しながら説明する。なお、図１３において、実施の形態１と同様の処理については、図５と同一の符号を付している。まず、画像選出部２１２は、前述の粒数表示時期が到来したか否かを判定する（ステップＳ１０１）。ここで、画像選出部２１２が、前述の粒数表示時期が到来したと判定すると（ステップＳ１０１：Ｙｅｓ）、実施の形態１で説明したステップＳ１０２乃至Ｓ１０７の一連の処理が実行される。次に、位置座標通知部２２２１は、同一房画像特定部２２１７により特定された房画像に対応する位置座標情報を生成してクラウドサーバ１へ送信する（ステップＳ２１０１）。続いて、実施の形態１で説明したステップＳ１０８乃至Ｓ１１０の一連の処理が実行される。その後、粒数判定部２２３は、粒数決定部２１９により決定されたぶどうの粒数が予め設定された基準粒数以下であるか否かを判定する（ステップＳ１１１）。ここで、粒数判定部２２３が、粒数決定部２１９により決定された粒数が前述の基準粒数よりも多いと判定すると（ステップＳ１１１：Ｎｏ）、後述のステップＳ２１０２の処理が実行される。一方、粒数判定部２２３が、粒数決定部２１９により決定された粒数が前述の基準粒数以下であると判定すると（ステップＳ１１１：Ｙｅｓ）、報知部２２４が、前述の音声情報を生成し、生成した音声情報に対応した報知音をスピーカ２６から出力させる（ステップＳ１１２）。

【0055】

続いて、摘粒位置取得部２２２２は、クラウドサーバ１から送信されるぶどうの摘粒位置を示す摘粒位置情報を取得したか否かを判定する（ステップＳ２１０２）。ここで、摘粒位置取得部２２２２が、摘粒位置情報を取得していないと判定すると（ステップＳ２１０２：Ｎｏ）、再びステップＳ１０１の処理が実行される。一方、摘粒位置取得部２２２２は、摘粒位置情報を取得したと判定すると（ステップＳ２１０２：Ｙｅｓ）、取得した摘粒位置情報を表示制御部２２０に通知する。そして、表示制御部２２０は、摘粒位置取得部２２２２から摘粒位置情報が通知された粒数位置情報に基づいて、作業者に摘粒することを薦めるぶどうの位置を表す摘粒位置通知画像を示す摘粒位置通知画像情報を形成してオングラス表示部２３に表示させる（ステップＳ２１０３）。その後、再びステップＳ１０１の処理が実行される。

【0056】

次に、本実施の形態に係るクラウドサーバ１が実行する摘粒位置通知処理について図１４を参照しながら説明する。この摘粒位置通知処理は、例えばクラウドサーバ１において摘粒位置通知処理を実行するためのプログラムが起動したことを契機として開始される。まず、粒位置取得部１１１は、摘粒支援装置２００２から送信される位置座標情報を取得したか否かを判定する（ステップＳ２０１）。ここで、粒位置取得部１１１は、位置座標情報を取得していないと判定する限り（ステップＳ２０１：Ｎｏ）、ステップＳ２０１の処理を繰り返し実行する。一方、粒位置取得部１１１が、位置座標情報を取得したと判定すると（ステップＳ２０１：Ｙｅｓ）、取得した位置座標情報を摘粒判定部１１２に通知する。そして、摘粒判定部１１２は、通知された位置座標情報に基づいて、ぶどうについて摘粒作業が行われたか否かを判定する（ステップＳ２０２）。ここで、摘粒判定部１１２が、ぶどうについて摘粒作業が行われていないと判定すると（ステップＳ２０２：Ｎｏ）、後述のステップＳ２０５の処理が実行される。一方、摘粒判定部１１２は、摘粒作業が行われたと判定すると（ステップＳ２０２：Ｙｅｓ）、粒位置取得部１１１から通知された位置座標情報を粒位置記憶部１３１に記憶させる（ステップＳ２０３）。

【0057】

次に、モデル生成部１１４は、粒位置記憶部１３１が記憶する摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデル情報を生成する。そして、モデル生成部１１４は、生成した新たな摘粒位置推定モデル情報でモデル記憶部１３２が記憶する摘粒位置推定モデル情報を更新する（ステップＳ２０４）。

【0058】

続いて、摘粒位置推定部１１３は、粒位置記憶部１３１が記憶する位置座標情報の履歴から前述の摘粒位置推定モデル情報が示す摘粒位置推定モデルを用いて、摘粒すべきぶどうの粒の相対位置座標を推定する（ステップＳ２０５）。その後、摘粒位置通知部１１５は、摘粒位置推定部１１３により推定された、摘粒すべきぶどうの粒の相対位置座標を示す位置座標情報を含む摘粒位置情報を生成して摘粒支援装置２００２へ送信する（ステップＳ２０６）。

【0059】

以上説明したように、本実施の形態に係る摘粒支援システムによれば、モデル生成部１１４が、摘粒開始後から直近の摘粒後までのぶどうの粒の相対位置座標の履歴を用いて、摘粒位置推定モデルを生成する。そして、摘粒位置推定部１１３が、生成された摘粒位置推定モデルを用いて、摘粒前のぶどうの房の房画像で特定されるぶどうの粒の位置から摘粒すべきぶどうの粒の位置を推定する。これにより、摘粒作業を行う作業者は、推定された摘粒すべきぶどうの粒の位置の情報に基づいて摘粒を行うことにより適切な摘粒を行うことが可能となる。

【0060】

以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態によって限定されるものではない。例えば 報知部２２４が、ぶどうの着粒数と前述の基準粒数との差分数に応じて報知音の音量を変化させるものであってもよい。この場合、例えば粒数判定部２２３が、粒数決定部２１９により決定されたぶどうの房の着粒数と基準粒数との差分数と報知音の音量を示す音量情報とを対応づける音量テーブルを参照して、差分数に対応する音量情報を報知部２２４に通知するようにすればよい。そして、報知部２２４が、通知される音量情報が示す音量の報知音がスピーカ２６から出力されるように音声情報を生成するようにすればよい。

【0061】

本構成によれば、作業者がスピーカ２６から出力される報知音の大きさにより摘粒すべきぶどうの粒の数を把握することができる。

【0062】

実施の形態において、例えば 報知部２２４が、ぶどうの着粒数と前述の基準粒数との差分数に応じて、グラスユニット２０のオングラス表示部２３に表示される予め設定された報知用画像を変化させるものであってもよい。この場合、例えば粒数判定部２２３が、粒数決定部２１９により決定されたぶどうの房の着粒数と基準粒数との差分数と予め設定された報知用画像を示す報知用画像情報とを対応づける報知用画像テーブルを参照して、差分数に対応する報知用画像情報を報知部２２４に通知するようにすればよい。そして、報知部２２４が、通知される報知用画像が示す報知用画像をオングラス表示部２３に表示させるようにすればよい。

【0063】

実施の形態では、摘粒対象のぶどうの粒数が、グラスユニット２０のオングラス表示部２３に表示される例について説明した。但し、これに限らず、摘粒対象のぶどうの粒数を示す情報を、スマートフォン等の端末装置へ送信し、端末装置の表示部に表示させるものであってもよい。或いは、摘粒対象のぶどうの粒数の表示を行わず、前述のように、摘粒対象のぶどうの房の着粒数と基準粒数との差分数に応じて音量が変化する報知音のみを出力するものであってもよい。

【0064】

実施の形態では、報知部２２４が報知音を出力する例について説明したが、これに限定されるものではなく、例えば報知部２２４が、ぶどうの房の着粒数が基準粒数以下になると、制御ユニット２５の筐体を振動させるものであってもよい。

【0065】

また、本発明に係る摘粒支援装置２、クラウドサーバ１の各種機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現されてもよい。この場合、ソフトウェアまたはファームウェアは、プログラムとして記述され、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）およびＭＯ（Magneto-Optical Disc）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、前述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をＯＳ（Operating System）とアプリケーションとの分担、またはＯＳとアプリケーションとの協同により実現する場合等には、ＯＳ以外の部分のみを記録媒体に格納してもよい。

【0066】

更に、搬送波に各プログラムを重畳し、ネットワークを介して配信することも可能である。例えば、ネットワーク上の掲示板（BBS，Bulletin Board System）に当該プログラムを掲示し、ネットワークを介して当該プログラムを配信してもよい。そして、これらのプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前述の処理を実行できるように構成してもよい。

【産業上の利用可能性】

【0067】

本発明は、ぶどうの摘粒作業を支援するシステムとして好適である。

【符号の説明】

【0068】

１：クラウドサーバ、２，２００２：摘粒支援装置、２０：グラスユニット、２１：フレーム、２２：撮像部、２３：オングラス表示部、２４：コード、２５，２０２５：制御ユニット、２６：スピーカ、８１：ＢＢＲ、８２：アクセスポイント、１０１，２０１ ＣＰＵ、１０２，２０２ 主記憶部、１０３，２０３：補助記憶部、１０６：通信部、１０９，２０９：バス、１１１：摘粒位置取得部、１１２：摘粒判定部、１１３：摘粒位置推定部、１１４：モデル生成部、１１５：摘粒位置通知部、１３１，２３３：粒位置記憶部、１３２、２３２：モデル記憶部、２０４：表示Ｉ／Ｆ、２０５：入力部、２０６：無線モジュール、２０７：撮像Ｉ／Ｆ、２０８：音声Ｉ／Ｆ、２１１：動画取得部、２１２：画像選出部、２１３：房画像切り出し部、２１４：粒位置推定部、２１５：距離算出部、２１６：計数対象特定部、２１７，２２１７：同一房画像特定部、２１８：粒数算出部、２１９：粒数決定部、２２０：表示制御部、２２３：粒数判定部、２２４：報知部、２２９：選出画像記憶部、２３１：動画像記憶部、２２２１：位置座標通知部、２２２２：摘粒位置取得部、ＮＷ１ 広域ネットワーク、ＮＷ２ 局所ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】