特開 2024-85931 教師データ生成装置、教師データ生成方法及び農業用収穫装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024085931

(43)【公開日】2024-06-27

(54)【発明の名称】教師データ生成装置、教師データ生成方法及び農業用収穫装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240620BHJP

   A01D 43/00 20060101ALI20240620BHJP

   B25J 13/08 20060101ALI20240620BHJP

   G06N 20/00 20190101ALI20240620BHJP

【ＦＩ】

G06T7/00 350B

A01D43/00

B25J13/08 A

G06N20/00 130

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022200721

(22)【出願日】2022-12-15

(71)【出願人】

【識別番号】520470752

【氏名又は名称】ＡＧＲＩＳＴ株式会社

(74)【代理人】

【識別番号】100165331

【弁理士】

【氏名又は名称】森岡 智昭

(72)【発明者】

【氏名】清水 秀樹

(72)【発明者】

【氏名】増渕 武

【テーマコード（参考）】

2B075

3C707

5L096

【Ｆターム（参考）】

2B075AA10

2B075AB10

3C707AS22

3C707BS09

3C707CY13

3C707DS01

3C707FS01

3C707KT01

3C707KX05

3C707LS09

3C707LW12

3C707MT04

3C707NS01

3C707NS26

5L096CA25

(57)【要約】

【課題】本発明では、収穫ロボットの運用において、収穫が可能か否かを判断するための学習済みモデルを生成する際に用いられる教師データを効率よく生成することが可能な教師データ生成装置、教師データ生成方法、及び、これらの発明を実装した農業用収穫装置を提供することを目的とする。
【解決手段】収穫対象となる収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、収穫物を所定の位置に固定する固定部と、固定部による収穫物の固定状態を検出し、データ処理部に検出データを送信する検出装置とを備え、データ処理部は、検出データに基づいて、収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、画像データ及び収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する。
【選択図】図１

【特許請求の範囲】

【請求項1】

収穫対象となる収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、
前記収穫物を所定の位置に固定する固定部と、
前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、
前記データ処理部は、
前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、
当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、
ことを特徴とする教師データ生成装置。

【請求項2】

前記固定部は、負圧により前記収穫物を吸着して所定の位置に固定し、
前記検出データは、前記収穫物を吸着する吸着圧のデータである
ことを特徴とする請求項１に記載の教師データ生成装置。

【請求項3】

前記データ処理部は、
受信した前記検出データである吸着圧が所定値以下になった場合に、前記収穫物を収穫したと判断して収穫情報を生成する
ことを特徴とする請求項２に記載の教師データ生成装置。

【請求項4】

請求項１から３に記載に教師データ生成装置において、
前記画像データを作業者に提示し、作業者による収穫可否判断結果を取得する作業者判断取得部を備え、
前記データ処理部は、
前記作業者による収穫可否判断結果を、前記画像データに紐づけるとともに、
当該作業者による収穫可否判断結果を、機械学習用の教師データとして教師データ記憶部に記憶する、
ことを特徴とする教師データ生成装置。

【請求項5】

収穫対象となる収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、
前記収穫物を所定の位置に固定する固定部と、
前記固定部で固定した収穫物の果柄を切断する切断部と、
前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、
前記撮像装置は、
前記切断部で果柄を切断するとき以前の前記収穫物を撮像し、
前記データ処理部は、
少なくとも前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、
当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、
ことを特徴とする農業用収穫装置。

【請求項6】

前記固定部は、負圧により前記収穫物を吸着して所定の位置に固定し、
前記検出データは、前記収穫物を吸着する吸着圧のデータである
ことを特徴とする請求項５に記載の農業用収穫装置。

【請求項7】

前記データ処理部は、
受信した前記検出データである吸着圧が所定値以下になった場合に、前記収穫物を収穫したと判断して収穫情報を生成する
ことを特徴とする請求項６に記載の農業用収穫装置。

【請求項8】

請求項５から７に記載に農業用収穫装置において、
前記画像データを遠隔作業者に提示し、遠隔作業者による収穫可否判断結果を取得する作業者判断取得部を備え、
前記データ処理部は、
前記作業者による収穫可否判断結果を、前記画像データに紐づけるとともに、
当該作業者による収穫可否判断結果を、機械学習用の教師データとして教師データ記憶部に記憶する、
ことを特徴とする農業用収穫装置。

【請求項9】

収穫対象となる収穫物を撮像し、データ処理部に画像データを送信するステップと、
固定部により前記収穫物を所定の位置に固定するステップと、
前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信するステップと、を備え、
前記データ処理部は、
前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるステップと、
当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶するステップとを有する、
ことを特徴とする教師データ生成方法。

【請求項10】

請求項１から３に記載の教師データ生成装置により生成した教師データを用いて取得した学習済みモデルによって、収穫対象となる収穫物の収穫が可能か否かを判断し、
収穫が可能と判断した場合に前記収穫物を収穫する農業用収穫装置であって、
前記収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、
前記収穫物を所定の位置に固定する固定部と、
前記固定部で固定した収穫物の果柄を切断する切断部と、
前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、
前記撮像装置は、
前記切断部で果柄を切断するとき以前の前記収穫物を撮像し、
前記データ処理部は、
前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、
当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、
ことを特徴とする農業用収穫装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習に用いる教師データを生成する教師データ生成装置、教師データ生成方法、及び、これらの発明を実装した農業用収穫装置に関する。

【背景技術】

【0002】

近年、例えば農業の分野においては、深刻な人材不足や従事者の高齢化を背景に、効率的な事業運営の必要性が高まっている。効率化の一つの手段として、ロボットによる作業の補助が有効であり、このロボットを稼働させるために機械学習が多く用いられている。

【0003】

機械学習を用いてロボットを稼働させるためには、良質な教師データが欠かせない。非特許文献１には、機械学習に用いる教師データを生成ための試みが開示されており、深層学習を用いたデータクレンジングを利用することで、品質の高い教師データの構築を可能としている。非特許文献１においては、収穫対象を正確に認識することに主眼が置かれており、そのための教師データの構築を実現しているが、ロボットが行う作業内容が収穫作業であれば、「認識した収穫対象をロボットが収穫できるのか否か」という情報を紐づけて学習させることが必要となる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】源野広和，他１名，“深層学習を用いたデータクレンジングとリンゴ果実画像への応用”，農業情報研究，農業情報学会，２９（３），２０２０，ｐ．４７－６１

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、認識した収穫対象をロボットが収穫できるのか否かという情報は、容易に入手することが難しい。ロボットが認識した収穫対象の画像を見て、人が収穫可能か否かを判断し、当該画像と紐づけて教師データとする手法が考えられるが、人の判断が常に正しいとは限らず、実際にロボットが収穫できたのか否かという視点に欠けるため、この手法では良質の教師データを生成することは難しい。また、このような人手を介する教師データの生成は、多大な労力と時間が必要であり、スピーディな開発に支障をきたす結果となる。

【0006】

そこで、本発明では、収穫対象となる収穫物の収穫が可能か否かを判断するための学習済みモデルを生成する際に用いられる教師データを効率よく生成することが可能な教師データ生成装置、教師データ生成方法、及び、これらの発明を実装した農業用収穫装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明では、以下のような解決手段を提供する。

【0008】

（１） 収穫対象となる収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、前記収穫物を所定の位置に固定する固定部と、前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、前記データ処理部は、前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、ことを特徴とする教師データ生成装置。

【0009】

上記構成によれば、教師データ生成装置は、固定部による固定状態に基づいて、収穫対象となる収穫物を収穫したか否かを示す収穫情報を生成し、当該収穫物の画像データに紐付けることによって、機械学習用の教師データを生成する。

【0010】

これにより、教師データ生成装置は、実際に収穫できたか否かの正確な収穫情報を、人手を介することなく取得することが可能となり、この収穫情報を用いて効率的に教師データを生成することが可能となる。

【0011】

（２） 前記固定部は、負圧により前記収穫物を吸着して所定の位置に固定し、前記検出データは、前記収穫物を吸着する吸着圧のデータであることを特徴とする（１）に記載の教師データ生成装置。

【0012】

上記構成によれば、教師データ生成装置が備える固定部は、負圧を用いて収穫物を吸着して固定する構成を備える。また、固定部による固定状態を検出するデータとして、収穫物を吸着する吸着圧のデータを採用することができる。

【0013】

これにより、教師データ生成装置は、収穫物を確実に固定することが可能であり、固定状態の検出に吸着圧のデータを利用するため、簡易な構成で固定状態を確実に反映した収穫情報を取得することが可能となる。

【0014】

（３） 前記データ処理部は、受信した前記検出データである吸着圧が所定値以下になった場合に、前記収穫物を収穫したと判断して収穫情報を生成することを特徴とする（２）に記載の教師データ生成装置。

【0015】

上記構成によれば、吸着圧が所定値以下になった場合に、収穫物を収穫したと判断して収穫情報を生成する。

【0016】

これにより、確実に吸着した場合にのみ収穫したと判断することになるため、収穫したか否かの判断に誤認識がなくなり、より精度高い高品質な教師データを生成することが可能となる。

【0017】

（４） （１）から（３）に記載に教師データ生成装置において、前記画像データを作業者に提示し、作業者による収穫可否判断結果を取得する作業者判断取得部を備え、前記データ処理部は、前記作業者による収穫可否判断結果を、前記画像データに紐づけるとともに、当該作業者による収穫可否判断結果を、機械学習用の教師データとして教師データ記憶部に記憶する、ことを特徴とする教師データ生成装置。

【0018】

上記構成によれば、（１）から（３）に記載の構成に加えて、作業者が画像データを見て、収穫可否判断をし、その結果を当該画像データと紐づけて、機械学習用の教師データを生成する。

【0019】

これにより、（１）から（３）に記載した収穫情報のみでなく、同じ画像を見て作業者が収穫可否をどのように判断したかという収穫可否判断結果を加味した教師データとすることが可能となり、AIに頼りすぎない人の細やかな判断を考慮に入れることができるようになる。また、この教師データを用いた機械学習において収束するまでのスピードを上げることが可能となるのみでなく、収穫可否判断の情報を加味することで、教師データに過剰に最適化してしまい応用が効かなくなる、いわゆる過学習を防止することが可能となる。

【0020】

（５） 収穫対象となる収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、前記収穫物を所定の位置に固定する固定部と、前記固定部で固定した収穫物の果柄を切断する切断部と、前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、前記撮像装置は、前記切断部で果柄を切断するとき以前の前記収穫物を撮像し、前記データ処理部は、少なくとも前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、ことを特徴とする農業用収穫装置。

【0021】

上記構成によれば、農業用収穫装置は、固定部による固定状態に基づいて、収穫対象となる収穫物を収穫したか否かを示す収穫情報を生成し、当該収穫物の果柄を切断するとき以前の画像データに紐付けることによって、機械学習用の教師データを生成する。

【0022】

これにより、農業用収穫装置は、実際に収穫できたか否かの正確な収穫情報を、人手を介することなく取得することが可能となり、この収穫情報を用いて効率的に教師データを生成することが可能な農業用収穫装置を実現することができる。

【0023】

（６） 前記固定部は、負圧により前記収穫物を吸着して所定の位置に固定し、前記検出データは、前記収穫物を吸着する吸着圧のデータであることを特徴とする（５）に記載の農業用収穫装置。

【0024】

上記構成によれば、農業用収穫装置が備える固定部は、負圧を用いて収穫物を吸着して固定する構成を備える。また、固定部による固定状態を検出するデータとして、収穫物を吸着する吸着圧のデータを採用することができる。

【0025】

これにより、農業用収穫装置は、収穫物を確実に固定することが可能であり、固定状態の検出に吸着圧のデータを利用するため、簡易な構成で固定状態を確実に反映した収穫情報を取得することが可能な農業用収穫装置を実現することができる。

【0026】

（７） 前記データ処理部は、受信した前記検出データである吸着圧が所定値以下になった場合に、前記収穫物を収穫したと判断して収穫情報を生成することを特徴とする（６）に記載の農業用収穫装置。

【0027】

上記構成によれば、吸着圧が所定値以下になった場合に、収穫物を収穫したと判断して収穫情報を生成する。

【0028】

これにより、確実に吸着した場合にのみ収穫したと判断することになるため、収穫したか否かの判断に誤認識がなくなり、より精度高い高品質な教師データを生成することが可能な農業用収穫装置を実現することができる。

【0029】

（８） （５）から（７）に記載に農業用収穫装置において、前記画像データを遠隔作業者に提示し、遠隔作業者による収穫可否判断結果を取得する作業者判断取得部を備え、前記データ処理部は、前記作業者による収穫可否判断結果を、前記画像データに紐づけるとともに、当該作業者による収穫可否判断結果を、機械学習用の教師データとして教師データ記憶部に記憶する、ことを特徴とする農業用収穫装置。

【0030】

上記構成によれば、（５）から（７）に記載の構成に加えて、作業者が画像データを見て、収穫可否判断をし、その結果を当該画像データと紐づけて、機械学習用の教師データを生成する。

【0031】

これにより、（５）から（７）に記載した収穫情報のみでなく、同じ画像を見て作業者が収穫可否をどのように判断したかという収穫可否判断結果を加味した教師データとすることが可能となり、AIに頼りすぎない人の細やかな判断を考慮に入れることができるようになる。また、この教師データを用いた機械学習において収束するまでのスピードを上げることが可能となるのみでなく、収穫可否判断の情報を加味することで、教師データに過剰に最適化してしまい応用が効かなくなる、いわゆる過学習を防止することが可能な農業用収穫装置を実現することができる。

【0032】

（９） 収穫対象となる収穫物を撮像し、データ処理部に画像データを送信するステップと、固定部により前記収穫物を所定の位置に固定するステップと、前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信するステップと、を備え、前記データ処理部は、前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるステップと、当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶するステップとを有する、ことを特徴とする教師データ生成方法。

【0033】

上記構成によれば、教師データ生成方法は、固定部による固定状態に基づいて、収穫対象となる収穫物を収穫したか否かを示す収穫情報を生成し、当該収穫物の画像データに紐付けるステップを有することによって、機械学習用の教師データを生成する。

【0034】

これにより、教師データ生成方法は、実際に収穫できたか否かの正確な収穫情報を、人手を介することなく取得することが可能となり、この収穫情報を用いて効率的に教師データを生成することが可能となる。

【0035】

（１０） （１）から（３）に記載の教師データ生成装置により生成した教師データを用いて取得した学習済みモデルによって、収穫対象となる収穫物の収穫が可能か否かを判断し、収穫が可能と判断した場合に前記収穫物を収穫する農業用収穫装置であって、
前記収穫物を撮像し、データ処理部に画像データを送信する撮像装置と、前記収穫物を所定の位置に固定する固定部と、前記固定部で固定した収穫物の果柄を切断する切断部と、前記固定部による前記収穫物の固定状態を検出し、前記データ処理部に検出データを送信する検出装置と、を備え、前記撮像装置は、前記切断部で果柄を切断するとき以前の前記収穫物を撮像し、前記データ処理部は、前記検出データに基づいて、前記収穫物を収穫したか否かを示す収穫情報を生成して前記画像データに紐付けるとともに、当該画像データ及び当該収穫情報を、機械学習用の教師データとして教師データ記憶部に記憶する、ことを特徴とする農業用収穫装置。

【0036】

上記構成によれば、農業用収穫装置は、（１）から（３）に記載の教師データ生成装置により生成した教師データを用いて取得した学習済みモデルによって、収穫対象となる収穫物の収穫が可能か否かを判断し、収穫が可能と判断した場合に前記収穫物を収穫する。

【0037】

これにより、農業用収穫装置が収穫物の収穫作業を進める中で、機械学習用の教師データを生成し、これを用いて当該収穫作業をより精度の高い効率的なものに更新し続けることが可能となる。

【発明の効果】

【0038】

本発明によれば、収穫対象となる収穫物の収穫が可能か否かを判断するための学習済みモデルを生成する際に用いられる教師データを、効率よく生成することが可能となる。

【図面の簡単な説明】

【0039】

【図1】図１は、本発明の好適な実施形態に係る教師データ生成装置の概要を説明する図である。

【図2】図２は、負圧によって収穫物を吸着するシステムの構成図である。

【図3】図３は、収穫物を吸着する工程における吸着圧の変化を示す図である。

【図4】図４は、作業者による収穫可否判断の情報を加味した教師データ生成装置の概要を説明する図である。

【図5】図５は、本発明の好適な実施形態に係る農業用収穫装置の概要を説明する図である。

【図6】図６は、作業者による収穫可否判断の情報を加味した農業用収穫装置の概要を説明する図である。

【発明を実施するための形態】

【0040】

以下、図を参照しながら、本発明の実施形態の一例を説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
以下の実施形態の説明では、収穫対象となる収穫物として、キュウリを一例として説明するが、本発明はキュウリに限らず、様々な野菜や果物等の収穫に適用することができる。例えば、ピーマン、トマト、みかん、イチゴ、ナス、りんご等の野菜や果物の収穫において用いることが可能である。

【0041】

１．第１の実施形態
図１は、本発明の好適な実施形態に係る教師データ生成装置１０の概要を説明する図である。収穫物であるキュウリ１１の画像データを取得する撮像装置１２は、キュウリ１１を含む画像を撮影し、画像処理装置１３によりキュウリを認識して、収穫対象として特定する。ここで撮影した画像の中のキュウリを認識する画像処理技術は既存の機械学習を用いた手法を適用することが可能である。

【0042】

収穫対象として特定されたキュウリ１１は、固定部１４によって固定される。ここで、固定とは、キュウリ１１が揺れ動かないように固定する意味であり、キュウリ１１の収穫を容易にするだけでなく、後述するように果柄を切断する際の位置決め精度を高める目的を有している。

【0043】

固定部１４はさまざまな固定方法を採用し得るが、本実施形態では、負圧を利用した吸盤による吸着を用いる。負圧を利用した吸着以外の固定方法としては、グリッパにより把持する方法、ベルトにより巻き込む方法、帯状や紐状の樹脂製の輪を通した後で輪を締めて固定する方法などの手法を採用することも可能である。いずれの手法もメリットとデメリットがあるため、利用するシーンや収穫物の特性に応じた選択をすることが求められる。

【0044】

図２に負圧によって収穫物を吸着するシステムの構成図を示す。本実施形態では、固定部は吸盤１１４によって構成され、検出装置は圧力計１１５によって構成される。吸盤１１４には真空ポンプ１１８によって負圧が供給され、当該真空ポンプ１１８はコントローラ１１９によって制御される。吸盤１１４と真空ポンプ１１８との間には、ゴミなどの異物が吸引されて真空ポンプ１１８が故障するリスクを避けるためのフィルタ１１６が設けられている。また、吸盤１１４は１つで構成しても良いが、複数用いてより確実にキュウリ１１を固定することも可能である。なお、複数の吸盤を用いる際には、うち１つの吸盤がうまく吸着できなかった場合に、全体の吸引力が低下することになるため、サクションアシストバルブを用いて、全ての吸盤において適切な負圧を発生させることが望ましい。

【0045】

吸盤１１４で吸着したキュウリ１１の固定を解除し、キュウリ１１をリリースする際には、コントローラ１１９が真空ポンプ１１８を停止させる。しかしながら、真空ポンプ１１８を停止しただけでは、吸着圧は即座に大気圧には戻らず、暫くの間吸着状態が維持されてしまうため、タイミング良くキュウリをリリースすることが難しい。タイミング良く収穫物であるキュウリ１１をリリースするためには、コントローラ１１９が外気導入バルブ１１７を動作させて、吸盤１１４に通じる経路の負圧状態を強制的に大気圧に戻す必要がある。これにより、タイミング良くキュウリ１１を吸盤１１４からリリースすることが可能となる。

【0046】

図３に収穫物を吸着する工程における吸着圧の変化を示す。真空ポンプ１１８を作動させてキュウリ１１の固定を開始し（t０）、吸着を試みる期間（t０～t１）は、吸着圧は安定しないが、t１でキュウリ１１を確実に吸着すると、吸着圧は所定値P1以下に低下して安定する。また、キュウリ１１をリリースしたいタイミング（t２）でコントローラ１１９が真空ポンプ１１８を停止させ、外気導入バルブ１１７から外気を導入すると、吸着圧は大気圧Ｐ０に戻り、その結果キュウリ１１は吸盤からリリースされる。

【0047】

図１の検出装置１５（図２の圧力計１１５）は図３に示した吸着圧の信号を検出し、検出データとしてデータ処理部１６に送信する。なお、固定部１４に吸盤を用いない場合は、グリッパによる把持の方式であれば、グリッパの位置を検出するスイッチの信号やグリッパ自体に設けられた圧力センサの信号を用いることができ、その他として、照射した光の反射信号、静電容量式センサなどの検出信号などを用いることも可能である。

【0048】

撮像装置１２で撮影したキュウリ１１を含む画像データと検出装置１５から出力される検出データである吸着圧の情報は、データ処理部１６に集約される。データ処理部１６では、取得した吸着圧の情報に基づいて、キュウリ１１を収穫したか否かを示す収穫情報が生成される。収穫情報の生成は、図３に示したように検出データである吸着圧が所定値P1以下になったt1のタイミングで、収穫物を収穫したと判断する手法が好適であり、この手法によると収穫したか否かの判断を人手を介することなく正確に行うことができる。

【0049】

撮像装置１２で撮影したキュウリ１１を含む画像データは、画像処理部１３で処理された後、データ処理部１６に入力される構成とすることが好ましい。画像処理部１３は、別途準備された学習済みモデルを用いて、収穫物とその周辺の画像から、収穫物であるキュウリ１１の存在を認識し、さらにはキュウリ１１の３次元位置や凹凸、形状、状態、大きさ、湿り気などの表面状態などを認識して、画像データに付随する情報として、データ処理部１６に送信することができる。

【0050】

データ処理部１６では、画像処理部１３から取得した画像データに、検出データから生成した収穫情報を紐づけて教師データとし、教師データ記憶部１７に記憶する。このとき、画像処理部１３で生成された画像データに付随する情報も併せて教師データとすることで、より高度な機械学習を行うことが可能な教師データを生成することが可能となる。

【0051】

図４に示すように、本発明に係る教師データ生成装置２０は、作業者判断取得部２８を備えていてもよい。作業者判断取得部２８は、画像処理部から画像データを取得して作業者に画像を提示する。画像を見た作業者は、当該画像に表示されている収穫物２１が収穫可能か否かを判断し、作業者判断取得部２８に入力する。作業者判断取得部２８は作業者によって入力された情報を収穫可否判断結果としてデータ処理部２６に送信する。

【0052】

データ処理部２６は、画像データと収穫情報に加えて、作業者判断取得部２８で取得された収穫可否判断結果も教師データとして画像データに紐づけて教師データ記憶部２７に記憶することができる。作業者による収穫可否判断の情報を加味することで、AIに頼りすぎない人の細やかな判断を考慮に入れることができるようになり、また、この教師データを用いた機械学習において収束するまでのスピードを上げることが可能となる。さらに、収穫可否判断の情報を加味することで、教師データに過剰に最適化してしまい応用が効かなくなる、いわゆる過学習を防止することが可能となる。

【0053】

作業者判断取得部２８に入力される画像データには、画像処理部２３で生成される画像データに付随するさまざまな情報を含めることも可能である。例えば、作業者に提示する画像では、画像処理部２３で生成された付随情報に基づいて、収穫対象となる収穫物２１を強調表示することも可能である。

【0054】

作業者判断取得部２８が作業者から取得する情報は、収穫可否判断以外の情報を含んでも良い。例えば、作業者は、収穫物２１の収穫の難しさを表す収穫難易度を複数段階で評価して入力してもよいし、収穫物２１が収穫に適する程度に熟しているか否かに関する評価を入力してもよい。さらに、どの方向からアプローチすると収穫が容易になるかといった情報を入力することも可能である。これらの情報が増えるほどに、作業者の入力の難易度は高くなるが、それだけ生成される教師データも充実したものとなる。

【0055】

２．第２の実施形態
図５は、本発明の好適な実施形態に係る農業用収穫装置の概要を説明する図である。農業用収穫装置３０においては、収穫物３１の画像データを取得する撮像装置３２が、収穫物３１を含む画像を撮像し、当該画像に基づいて画像処理装置３３が収穫物を認識して、収穫対象として特定する。収穫対象として特定された収穫物３１は、固定部３４によって固定される。

【0056】

固定部３４によって固定された収穫物３１は、切断部３９によって当該収穫物３１の果柄の部分を切断される。切断部３９が切断する箇所は収穫物の種類に依存して適宜最適化することが可能であり、その切断位置は固定部３４が収穫物３１を固定するプロセスで決定される。

【0057】

切断部３９で切断された収穫物３１は、固定部３４によって固定された状態で、収穫物を収容するケースにまで運ばれて、そこで固定部３４が固定を解除することでリリースされ、ケースに収容されることで収穫作業が完了する。収穫物を固定した状態で運搬するためには、固定部や切断部、撮像装置がロボットアームの先端に取り付けられることが望ましく、また別の手段として、ロボット本体が移動して固定部や切断部を適切な場所に移動させることも可能である。

【0058】

本実施形態においても、固定部３４による収穫物３１の固定には、負圧を利用した吸盤による吸着を用いることができる。この場合、収穫物３１の吸着により吸着圧が所定値以下になったのち、切断部３９を稼働させて収穫物３１の果柄の部分を切断し、吸着圧が所定値以下のまま収容ケースにまで運ばれたことを検出して、収穫物を収穫したと判断して収穫情報を生成する構成とすることができる。これにより収穫したか否かの判断をより正確に行うことが可能となる。

【0059】

農業用収穫装置３０の上記収穫プロセスにおいては、事前に機械学習で取得した学習済みモデルを用いて、対象となる収穫物３１を収穫できるか否かを自動的に判断して上記収穫作業を行うことが可能である。これにより自動的に収穫作業を進める農業用収穫装置３０の収穫効率を向上させることが可能となる。

【0060】

農業用収穫装置３０は、収穫作業を行いながら実際に収穫できたか否かを示す収穫情報を生成し、画像データと共に教師データ記憶部に記憶することが可能である。教師データ生成のプロセスは第１の実施例で詳細を述べた通りである。ここで生成した教師データは、対象の収穫物３１を収穫できるか否かの判断を行うための学習済みモデルの改良や高度化に利用することが可能となる。

【0061】

図６に示すように、農業用収穫装置４０には、作業者判断取得部４８を設けることが可能である。作業者判断取得部の機能は第１の実施形態で詳細を説明した通りであるが、本実施形態においては、農業用収穫装置４０は収穫現場である圃場で自動的に収穫物を収穫しており、収穫可否判断を行う作業者は圃場とは別の遠隔地で作業を行うことが可能である。こうすることで、作業者が圃場まで移動する手間を省くことが可能となる。

【0062】

また、作業者判断取得部４８が作業者から取得する情報は作業者の作業スキルに合わせて適宜設定することも可能である。例えば、作業者の作業スキルが低い場合には、作業者判断取得部４８に対して収穫が「可能」又は「不可能」のみを入力する態様とすることで、複雑な操作を要しない簡易な構成にすることが可能である。一方、作業者のスキルが高い場合には、収穫物２１の収穫の難しさを表す収穫難易度を複数段階で評価して入力してもよいし、収穫物２１が収穫に適する程度に熟しているか否かに関する評価を入力してもよい。これらの情報が増えるほどに、作業者の入力の難易度は高くなるが、それだけ生成される教師データも充実したものとなる。

【0063】

以上、本発明の実施形態及び変形例について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態及び変形例に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態及び変形例に記載されたものに限定されるものではない。

【符号の説明】

【0064】

１０，２０ 教師データ生成装置
１１，２１，３１，４１ 収穫物
１２，２２，３２，４２ 撮像装置
１３，２３，３３，４３ 画像処理部
１４，２４，３４，４４ 固定部
１５，２５，３５，４５ 検出装置
１６，２６，３６，４６ データ処理部
１７，２７，３７，４７ 教師データ記憶部
２８，４８ 作業者判断取得部
３０，４０ 農業用収穫装置
３９，４９ 切断部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】