(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-23
(45)【発行日】2024-09-02
(54)【発明の名称】農業用ロボット
(51)【国際特許分類】
A01G 7/00 20060101AFI20240826BHJP
A01D 46/30 20060101ALI20240826BHJP
【FI】
A01G7/00 603
A01D46/30
(21)【出願番号】P 2020109078
(22)【出願日】2020-06-24
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】110003041
【氏名又は名称】安田岡本弁理士法人
(72)【発明者】
【氏名】江戸 俊介
(72)【発明者】
【氏名】坂野 倫祥
(72)【発明者】
【氏名】平岡 実
【審査官】吉田 英一
(56)【参考文献】
【文献】特開平09-274022(JP,A)
【文献】米国特許出願公開第2003/0208302(US,A1)
【文献】特開平11-242513(JP,A)
【文献】特開2019-175343(JP,A)
【文献】特開2004-283133(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01D 46/30
A01G 7/00
(57)【特許請求の範囲】
【請求項1】
作物の栽培位置に向けて移動可能な走行体と、
前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、
前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で
前記作物を打撃したときの音を集音するマイクとを含む打音センサと、
前記マイクで集音した音データを収集する収集装置と、
前記走行体の周囲を撮像可能な光学式センサと、を備え、
前記走行体が前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集し、当該音データの収集を完了後、
前記光学式センサによって得られたセンシングデータに音データを収集していない他の作物
が含まれている場合、前記センシングデータに含まれている前記他の作物の栽培位置に向けて前記走行体を移動させる農業用ロボット。
【請求項2】
作物の栽培位置に向けて移動可能な走行体と、
前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、
前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、
前記マイクで集音した音データを収集する収集装置と、
前記走行体の周囲を撮像可能な光学式センサと、を備え、
前記走行体
は、前記光学式センサによって得られたセンシングデータに作物が含まれているか否かを判断し、前記センシングデータに前記作物が含まれていると判断した場合、前記作物の栽培位置に向けて移動し、前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集
する農業用ロボット。
【請求項3】
前記収集装置は、前記音データに、前記作物の周囲の音である雑音が含まれている場合
は、前記音データに含まれる雑音を除去する請求項1
又は2に記載の農業用ロボット。
【請求項4】
前記収集装置は、前記作物に打撃を行っていない状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する請求項
3に記載の農業用ロボット。
【請求項5】
前記収集装置は、前記作物に打撃を行った状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する請求項
3に記載の農業用ロボット。
【請求項6】
前記センシングデータに含まれる前記作物の大きさと、予め定められた基準フレームの大きさとから相対距離を演算し、前記作物と前記走行体との距離が予め定められた基準距離になるように、前記作物の栽培位置に向けて前記走行体を移動させる制御装置を備えている請求項
1又は2に記載の農業用ロボット。
【請求項7】
前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている請求項1
又は2に記載の農業用ロボット。
【請求項8】
前記モデル生成部は、音データにおける振幅と、周波数と、波形の変化度合いと、前記作物の打撃を行ったときの打音時間と、に基づいて作物の生育状況を推定するモデルを生成する請求項7に記載の農業用ロボット。
【請求項9】
前記モデル生成部は、前記打音時間に基づいてグループ分けした音データにより、作物の生育状況として、栽培初期と、栽培中期と、収穫時期である栽培後期と、のいずれか1つであることを推定するモデルを生成する請求項8に記載の農業用ロボット。
【請求項10】
前記モデル生成部は、前記作物を収穫する際に前記作物に打撃を行って収集した前記音データの前記打音時間を収穫時期とし、前記打音時間が収穫時期である音データにより、作物の生育状況として、収穫時期であることを推定するモデルを生成する請求項8に記載の農業用ロボット。
【請求項11】
前記モデル生成部は、前記収集装置が前記音データを取得する毎に、強化学習を行う請求項7に記載の農業用ロボット。
【請求項12】
前記作物を把持することで収穫するロボットハンドと、
前記モデルと前記音データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、
を備え、
前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない請求項7~11のいずれかに記載の農業用ロボット。
【請求項13】
前記収集装置は、前記音データを記憶する記憶装置、又は、前記音データを外部端末に送信する通信装置である請求項1~12のいずれかに記載の農業用ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農業用ロボットに関する。
【背景技術】
【0002】
従来、特許文献1に開示された農業用ロボットが知られている。
特許文献1に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培(作付け)されるのが一般的である。ここで、施設内で作物の栽培を行ったときに、作物の生育状態などを把握することが必要である。
本発明は、作物の生育などの把握するためのデータを簡単に収集することができる農業用ロボット及び農業用ロボットの支援システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
農業用ロボットは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけるこ
とが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、前記マイクで集音した音データを収集する収集装置と、前記走行体の周囲を撮像可能な光学式センサと、を備え、前記走行体が前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集し、当該音データの収集を完了後、前記光学式センサによって得られたセンシングデータに音データを収集していない他の作物が含まれている場合、前記センシングデータに含まれている前記他の作物の栽培位置に向けて前記走行体を移動させる。
【0006】
農業用ロボットは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、前記マイクで集音した音データを収集する収集装置と、前記走行体の周囲を撮像可能な光学式センサと、を備え、前記走行体は、前記光学式センサによって得られたセンシングデータに作物が含まれているか否かを判断し、前記センシングデータに前記作物が含まれていると判断した場合、前記作物の栽培位置に向けて移動し、前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集する。
前記収集装置は、前記音データに、前記作物の周囲の音である雑音が含まれている場合は、前記音データに含まれる雑音を除去する。
前記収集装置は、前記作物に打撃を行っていない状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する。
前記収集装置は、前記作物に打撃を行った状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する。
【0007】
農業用ロボットは、前記センシングデータに含まれる前記作物の大きさと、予め定められた基準フレームの大きさとから相対距離を演算し、前記作物と前記走行体との距離が予め定められた基準距離になるように、前記作物の栽培位置に向けて前記走行体を移動させる制御装置を備えている。
【0008】
農業用ロボットは、前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている。
前記モデル生成部は、音データにおける振幅と、周波数と、波形の変化度合いと、前記作物の打撃を行ったときの打音時間と、に基づいて作物の生育状況を推定するモデルを生成する。
【0009】
前記モデル生成部は、前記打音時間に基づいてグループ分けした音データにより、作物の生育状況として、栽培初期と、栽培中期と、収穫時期である栽培後期と、のいずれか1つであることを推定するモデルを生成する。
前記モデル生成部は、前記作物を収穫する際に前記作物に打撃を行って収集した前記音データの前記打音時間を収穫時期とし、前記打音時間が収穫時期である音データにより、作物の生育状況として、収穫時期であることを推定するモデルを生成する。
前記モデル生成部は、前記収集装置が前記音データを取得する毎に、強化学習を行う。
【0010】
農業用ロボットは、前記作物を把持することで収穫するロボットハンドと、前記モデルと前記音データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、を備え、前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない。
前記収集装置は、前記音データを記憶する記憶装置、又は、前記音データを外部端末に送信する通信装置である。
【発明の効果】
【0011】
本発明によれば、作物の生育などの把握するためのデータを簡単に収集することができる。
【図面の簡単な説明】
【0012】
【
図2】作業姿勢の状態の農業用ロボットの側面図である。
【
図8】農業用ロボットの支援システムの全体図である。
【
図9】音データ(波形H10)の一例を示す図である。
【
図10】農業用ロボットにて作物に対して打撃を与える様子を示す図である。
【
図12A】識別情報及び音データを含む打音情報の一例を示す図である。
【
図12B】識別情報、音データ及び打音時間を含む打音情報の一例を示す図である。
【
図12C】収穫時の音データ、識別情報及び打音時間(収穫時間)の一例を示す図である。
【
図13】農業用ロボットを施設で走行させたルートを示す図である。
【
図14】農業用ロボットの支援システムの変形例を示す図である。
【
図17】作物の栽培初期の施設園芸の施設の内部の斜視図である。
【
図18】作物の栽培中期又は後期の施設園芸の施設の内部の斜視図である。
【
図19】撮像画像H1、作物の画像H2、基準フレームF10との関係を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図1、
図2は、農業用ロボット1を例示している。農業用ロボット1は、
図15~
図18に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物2に対して作業(農作業)を行うロボットである。農業用ロボット1は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物2である重量野菜、果実等に対して作業を行う。
【0014】
まず、施設園芸の施設(施設園芸施設)を例にとり、施設について説明する。
図15~
図18に示すように、施設100は、当該施設100を構成する構造物として、ハウス101と、ハウス101の内部に設置された機器102とを備えている。
ハウス101は、フレーム110と、被覆材111とを含んでいる。フレーム110は
、例えば、I形鋼、H形鋼、C形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設100の躯体を構成していて、複数の支柱部材110Aと、複数の連結部材110Bとを含んでいる。
図15~
図17に示すように、複数の支柱部材110Aは、地面等から起立した部材であって、横方向X1に所定の間隔で設置され且つ縦方向Y1に所定の間隔で設置されている。
【0015】
連結部材110Bは、横方向X1に離れた複数の支柱部材110Aの上端を互いに連結する。また、連結部材110Bは、縦方向Y1に離れた複数の支柱部材110Aを互いに連結する。
被覆材111は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材111は、例えば、フレーム110の外側から当該フレーム110の全体を覆っている。言い換えれば、被覆材111は、支柱部材110Aの外側、連結部材110Bの外側に配置されている。
【0016】
機器102は、作物2を栽培する際に使用する様々な機器であって、ハウス101内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器102は、換気扇102A、循環扇102B、熱交換装置102C等である。
図15、
図16に示すように、換気扇102Aは、ハウス101の出入口130側に設置され、外部の空気をハウス101内の空気を外部に排出したり、外部の空気をハウス101内に取り入れる。
【0017】
循環扇102Bは、ハウス101内に設置されていて、ハウス101内の空気を所定の方向に循環させる。熱交換装置102Cはハウス101の温度を変更可能な装置であり、例えば、ヒートポンプ構成されている。上述した機器102は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
農業用ロボット1は、施設100内において、栽培場所105で栽培された作物2に対して様々な農作業、例えば、作物2の収穫、肥料散布、農薬散布などの農作業を行う。農業用ロボット1は、自立型のロボットである。
【0018】
図1~
図8は、農業用ロボット1を示している。
図8は、農業用ロボットの支援システムを示している。
以下、農業用ロボット1及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、
図1、
図2に矢印A1で示す方向を前方、矢印A2で示す方向を後方、矢印A3で示す方向を前後方向として説明する。したがって、
図2に矢印B1で示す方向(
図1の手前側)が左方であり、
図2に矢印B2で示す方向(
図1の奥側)が右方である。また、前後方向A3に直交する水平方向を機体幅方向(
図2の矢印B3方向)として説明する。
【0019】
図1に示すように、農業用ロボット1は、自律走行する走行体3を有している。走行体3は、機体6と、機体6を走行可能に支持する走行装置7とを有している。
図3、
図4に示すように、機体6は、メインフレーム6Aと、原動機フレーム6Bとを有している。メインフレーム6Aは、機体幅方向B3で間隔をあけて配置された一対の第1フレーム6Aaと、各第1フレーム6Aaの下方に間隔をあけて配置された一対の第2フレーム6Abとを有している。第1フレーム6Aaと第2フレーム6Abとは、複数の縦フレーム6Acによって連結されている。縦フレーム6Acは、左の第1フレーム6Aaと左の第2フレーム6Abとの前部間、右の第1フレーム6Aaと右の第2フレーム6Abとの前部間、左の第1フレーム6Aaと左の第2フレーム6Abとの後部間、右の第1フレーム6Aaと右の第2フレーム6Abとの後部間に設けられている。
【0020】
左の第1フレーム6Aaと右の第1フレーム6Aaとは、第1フレーム6Aa間に配置された第1横フレーム6Ad~第5横フレーム6Ahによって連結されている。第1横フレーム6Ad~第5横フレーム6Ahは、第1フレーム6Aaの前端から後端にわたって前後方向A3で間隔をあけて並行状に配置されている。
第2フレーム6Abの前部同士は、第6横フレーム6Ajによって連結され、第2フレーム6Abの後部同士は、第7横フレーム6Akによって連結されている。
【0021】
原動機フレーム6Bは、メインフレーム6Aの下方側に配置されている。原動機フレー
ム6Bは、前フレーム6Baと、後フレーム6Bbと、複数の連結フレーム6Bcと、複数の取付フレーム6Bdとを有している。前フレーム6Baは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。後フレーム6Bbは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。複数の連結フレーム6Bcは、前フレーム6Baと後フレーム6Bbの下部間を連結している。複数の取付フレーム6Bdは、連結フレーム6Bcの前後方向A3中央部に固定されている。
【0022】
図4に示すように、取付フレーム6Bdには、原動機(エンジン)E1が取り付けられている。原動機E1には、油圧ポンプP1が取り付けられている。油圧ポンプP1は、原動機E1で駆動される。また、原動機フレーム6Bには、油圧ポンプP1から吐出する作動油を貯留する作動油タンク(図示省略)が搭載されている。
図5に示すように、メインフレーム6A(機体6)には、走行装置7を制御する複数のコントロールバルブ(第1コントロールバルブCV1~第4コントロールバルブCV4)が搭載されている。
【0023】
図1、
図2、
図5に示すように、走行装置7は、4輪の車輪8を有する車輪型(4輪型)の走行装置7で構成されている。詳しくは、走行装置7は、機体6前部の左側に配置された第1車輪8La(左前輪)と、機体6前部の右側に配置された第2車輪8Ra(右前輪)と、機体6後部の左側に配置された第3車輪8Lb(左後輪)と、機体6後部の右側に配置された第4車輪8Rb(右後輪)とを備えている。なお、走行装置7は、少なくとも3輪の車輪8を有する車輪型走行装置で構成されていてもよい。また、走行装置7は、クローラ型の走行装置であってもよい。
【0024】
走行装置7は、車輪8を支持する車輪支持体9を有している。車輪支持体9は、車輪8に対応する数設けられている。つまり、走行装置7は、第1車輪8Laを支持する第1車輪支持体9La、第2車輪8Raを支持する第2車輪支持体9Ra、第3車輪8Lbを支持する第3車輪支持体9Lb及び第4車輪8Rbを支持する第4車輪支持体9Rbを有している。
【0025】
図5、
図6に示すように、車輪支持体9は、走行フレーム10と、操向シリンダC1と、第1昇降シリンダC2と、第2昇降シリンダC3と、走行モータM1とを有している。
走行フレーム10は、主支持体10Aと、揺動フレーム10Bと、車輪フレーム10Cとを有している。主支持体10Aは、機体6に縦軸(上下方向に延伸する軸心)回りに可能に支持されている。詳しくは、主支持体10Aは機体6に固定された支持ブラケット11に上下方向に延伸する軸心を有する第1支軸12Aを介して回動可能に支持されている。
【0026】
図5に示すように、第1車輪支持体9Laを枢支する支持ブラケット11は機体6の前部左側に設けられ、第2車輪支持体9Raを枢支する支持ブラケット11は機体6の前部右側に設けられ、第3車輪支持体9Lbを枢支する支持ブラケット11は機体6の後部左側に設けられ、第4車輪支持体9Rbを枢支する支持ブラケット11は機体6の後部右側に設けられている。
【0027】
揺動フレーム10Bは、主支持体10Aに上下揺動可能に支持されている。詳しくは、揺動フレーム10Bは、上部が主支持体10Aに第2支軸12Bを介して横軸(機体幅方向B3に延伸する軸心)回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの揺動フレーム10Bは前上部が主支持体10Aに枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの揺動フレーム10Bは後上部が主支持体10Aに枢支されている。
【0028】
車輪フレーム10Cは、揺動フレーム10Bに上下揺動可能に支持されている。詳しくは、車輪フレーム10Cは、揺動フレーム10Bに第3支軸12Cを介して横軸回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの車輪フレーム10Cは後部が揺動フレーム10Bの後部に枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの車輪フレーム10Cは前部が揺動フレーム10Bの前部に枢支されている。
【0029】
操向シリンダC1、第1昇降シリンダC2及び第2昇降シリンダC3は、油圧シリンダ
によって構成されている。
操向シリンダC1は、機体6と主支持体10Aとの間に設けられている。詳しくは、操向シリンダC1の一端は、第1フレーム6Aaの前後方向A3中央部に固定されたシリンダブラケット14Aに枢支され、操向シリンダC1の他端は、主支持体10Aに固定されたシリンダブラケット14Bに枢支されている。操向シリンダC1を伸縮することにより走行フレーム10が第1支軸12A回りに揺動し、車輪8(第1車輪8La~第4車輪8Rb)の向きを変更する(操向する)ことができる。本実施形態の走行装置7にあっては、各車輪8を独立して操向可能である。
【0030】
第1昇降シリンダC2は、一端が揺動フレーム10Bに枢支され、他端が第1リンク機構15Aに枢支されている。第1リンク機構15Aは、第1リンク15aと第2リンク15bとを有している。第1リンク15aの一端は、主支持体10Aに枢支され、第2リンク15bの一端は揺動フレーム10Bに枢支されている。第1リンク15aと第2リンク15bとの他端は、第1昇降シリンダC2の他端に枢支されている。第1昇降シリンダC2を伸縮することにより揺動フレーム10Bが第2支軸12B回りに上下揺動する。
【0031】
第2昇降シリンダC3は、一端が揺動フレーム10Bの前部に枢支され、他端が第2リンク機構15Bに枢支されている。第2リンク機構15Bは、第1リンク15cと第2リンク15dとを有している。第1リンク15cの一端は、揺動フレーム10Bに枢支され、第2リンク15dの一端は車輪フレーム10Cに枢支されている。第1リンク15cと第2リンク15dとの他端は、第2昇降シリンダC3の他端に枢支されている。第2昇降シリンダC3を伸縮することにより車輪フレーム10Cが第3支軸12C回りに上下揺動する。
【0032】
第1昇降シリンダC2による揺動フレーム10Bの上下揺動と、第2昇降シリンダC3による車輪フレーム10Cの上下揺動とを組み合わせることによって車輪8を平行状に昇降させることができる。
走行モータM1は、油圧モータによって形成されている。走行モータM1は、各車輪8に対応して設けられている。即ち、走行装置7は、第1車輪8Laを駆動する走行モータM1と、第2車輪8Raを駆動する走行モータM1と、第3車輪8Lbを駆動する走行モータM1と、第4車輪8Rbを駆動する走行モータM1とを有している。走行モータM1は、車輪8の機体幅方向B3の内方に配置され、車輪フレーム10Cに取り付けられている。走行モータM1は、油圧ポンプP1から吐出される作動油によって駆動され、正逆転可能である。走行モータM1を正逆転させることにより、車輪8の回転を正転方向と逆転方向とに切り換えることができる。
【0033】
第2車輪支持体9Ra、第3車輪支持体9Lb及び第4車輪支持体9Rbは、第1車輪支持体9Laを構成する構成部品と同様の構成部品を有している。第2車輪支持体9Raは、第1車輪支持体9Laと左右対称に構成されている。第3車輪支持体9Lbは、第2車輪支持体9Raを機体6の中心を通る上下方向のセンタ軸心回りに180°回転させた形態を呈している。第4車輪支持体9Rbは、第1車輪支持体9Laをセンタ軸心回りに180°回転させた形態を呈している。
【0034】
第1車輪支持体9Laに装備された油圧アクチュエータは、第1コントロールバルブCV1によって制御される。第2車輪支持体9Raに装備された油圧アクチュエータは、第2コントロールバルブCV2によって制御される。第3車輪支持体9Lbに装備された油圧アクチュエータは、第3コントロールバルブCV3によって制御される。第4車輪支持体9Rbに装備された油圧アクチュエータは、第4コントロールバルブCV4によって制御される。
【0035】
したがって、第1車輪8La~第4車輪8Rbは、それぞれ独立的に操向可能である。また、第1車輪8La~第4車輪8Rbは、それぞれ独立的に昇降可能である。
上記走行装置7にあっては、第1車輪8La~第4車輪8Rbを操向操作することで走行体3を操向することができる。第1車輪8La~第4車輪8Rbを正転させることで走行体3を前進させることができ、逆転させることにより走行体3を後進させることができる。第1車輪8La~第4車輪8Rbを昇降することにより走行体3を昇降することがで
きる。第1車輪8La及び第2車輪8Raを第3車輪8Lb及び第4車輪8Rbに対して昇降することにより、或いは、第3車輪8Lb及び第4車輪8Rbを第1車輪8La及び第2車輪8Raに対して昇降することにより、機体6を前傾または後傾させることができる。第1車輪8La及び第3車輪8Lbを第2車輪8Ra及び第4車輪8Rbに対して昇降することにより、或いは、第2車輪8Ra及び第4車輪8Rbを第1車輪8La及び第3車輪8Lbに対して昇降することにより、機体6を、機体幅方向B3の一側が他側よりも高い傾斜状にすることができる。
【0036】
農業用ロボット1は、走行体3に装着されたマニピュレータ(作業部)4を備えている。マニピュレータ(作業部)4は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物2の収穫を行うことが可能な装置である。
図3、
図4に示すように、マニピュレータ4は、走行体3(機体6)に着脱可能に装着された装着体16と、装着体16に取り付けられたアーム17と、アーム17に設けられていて作物(対象物)2を把持可能なロボットハンド18とを備えている。
【0037】
図1に示すように、装着体16は、本実施形態では、走行体3の後部に設けられている。なお、装着体16は、走行体3の前部に設けられていてもよい。つまり、走行体3における前後方向A3の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット1は、走行体3を前方に進行させて収穫作業を行うので、装着体16は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体16は、箱型に形成されていて走行体3に対して着脱可能である。
【0038】
装着体16には、回動フレーム21が立設されている。回動フレーム21は、装着体16の内部に設けられた回動モータM2によって回動軸心J1の周囲を回動可能である。回動フレーム21を回動させることにより、ロボットハンド18を回動軸心J1を中心とする円周方向に移動(位置変更)させることができる。
図3、
図4に示すように、アーム17は、回動フレーム21に上下揺動可能に支持されると共に長手方向の中途部で屈伸可能である。アーム17は、メインアーム29とサブアーム30とを有している。
【0039】
メインアーム29は、回動フレーム21に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム29は、回動フレーム21に上下揺動可能に枢支された第1アーム部31と、第1アーム部31に揺動可能に枢支された第2アーム部32とを有し、第1アーム部31に対して第2アーム部32が揺動することで屈伸可能とされている。
第1アーム部31は、基部側31aがアームブラケット26に枢支されている。第1アーム部31は、
図3に示すように、第1アームフレーム31L及び第2アームフレーム31Rを有している。第1アームフレーム31L及び第2アームフレーム31Rは、機体幅方向B3で並べて配置され且つ連結パイプ31A等で相互に連結されている。第1アームフレーム31Lと第2アームフレーム31Rとの基部側31a間にアームブラケット26の上部が挿入され、機体幅方向B3に延伸する軸心を有するアーム枢軸33A(第1アーム枢軸という)を介して第1アームフレーム31L及び第2アームフレーム31Rの基部側31aがアームブラケット26に第1アーム枢軸33Aの軸心回りに回動可能に支持されている。
【0040】
第1アームフレーム31L及び第2アームフレーム31Rは中空部材で形成されている。第1アーム部31の長さは、走行体3(機体6)の前後方向A3の長さよりも短く形成されている。
図4に示すように、第1アーム部31は、基部側31aであって且つ第1アーム枢軸33Aよりも先端側31c寄りに、シリンダ取付部31bを有している。このシリンダ取付部31bとシリンダブラケット27のシリンダ取付部27aとにわたって第1アームシリンダ(第1油圧シリンダ)C4が設けられている。第1アームシリンダC4は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第1アームシリンダC4を伸縮させることで第1アーム部31が上下揺動する。第1アーム部31(アーム17)を上下揺動させることにより、ロボットハンド18を昇降させることができる。第1アームシリンダC4には、第1アームシリンダC4のストロークを検出する第1ストロークセンサが設けられている。
【0041】
図4に示すように、第1アーム部31の先端側31cには、枢支部材31Bが固定されている。詳しくは、枢支部材31Bは、基部31Baが第1アームフレーム31Lと第2アームフレーム31Rとの間に挿入されて第1アームフレーム31L及び第2アームフレーム31Rに固定されている。枢支部材31Bの基部31Baの下面側には、シリンダステー34が取り付けられている。枢支部材31Bの先端側31Bbは、第1アームフレーム31L及び第2アームフレーム31Rから前方に突出している。
【0042】
図3に示すように、第2アーム部32の長さは、第1アーム部31の長さよりも長く形成されている。第2アーム部32は、基部側32aが枢支部材31Bの先端側31Bbに枢支されている。第2アーム部32は、第3アームフレーム32L及び第4アームフレーム32Rを有している。第3アームフレーム32L及び第4アームフレーム32Rは、機体幅方向B3で並べて配置され且つ複数の連結プレート35によって相互に連結されている。第3アームフレーム32L及び第4アームフレーム32Rは中空部材で形成されている。第3アームフレーム32Lと第4アームフレーム32Rとの基部側32a間に枢支部材31Bの先端側31Bbが挿入されている。第3アームフレーム32L及び第4アームフレーム32R(第2アーム部32)は、機体幅方向B3に延伸する軸心を有するアーム枢軸(第2アーム枢軸という)33Bによって枢支部材31Bに枢支されている。
【0043】
第2アーム部32の基部側32aであって第2アーム枢軸33Bよりも先端側32b寄りには、シリンダ取付部32cが設けられている。このシリンダ取付部32cとシリンダステー34とにわたって第2アームシリンダ(第2油圧シリンダ)C5が設けられている。第2アームシリンダC5は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第2アームシリンダC5を伸縮させることで第1アーム部31に対して第2アーム部32が揺動し、メインアーム29(アーム17)が屈伸(曲げたり伸ばしたりすること)する。なお、本実施形態では、メインアーム29は、最も伸びた状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。
【0044】
また、第2アームシリンダC5を伸縮させることで走行体3に対してロボットハンド18を遠近方向に移動させることができる。詳しくは、第2アームシリンダC5を伸長させることでロボットハンド18を走行体3から遠ざける方向に移動させることができ、第2アームシリンダC5を収縮させることでロボットハンド18を走行体3に近づける方向に移動させることができる。
【0045】
図4に示すように、第2アームシリンダC5には、第2アームシリンダC5のストロークを検出する第2ストロークセンサが設けられている。
サブアーム30は、第2アーム部32に突出及び後退可能に設けられている。したがって、サブアーム30を突出及び後退させることにより、アーム17の長さが伸縮可能である。サブアーム30は、角パイプによって直線状に形成されている。サブアーム30は、第3アームフレーム32Lと第4アームフレーム32Rとの先端側(前部)間に長手方向移動可能に支持されている。また、サブアーム30は、対向する連結プレート35の間に配置されていて連結プレート35にボルト等の固定具によって固定可能とされている。サブアーム30の一側面には、第3アームフレーム32Lに当接する突起30aが設けられ、他側面には、第4アームフレーム32Rに当接する突起30aが設けられている。突起30aによってサブアーム30のがたつきを抑制することができる。
【0046】
サブアーム30は、最も後退させた位置(最後退位置)では、第3アームフレーム32Lと第4アームフレーム32Rとの間に没入する。なお、サブアーム30は、最後退位置で第2アーム部32から若干突出していてもよい。
図4に示すように、サブアーム30の先端側には、吊りプレート37が固定されている。吊りプレート37にロボットハンド18が枢支され、吊り下げられる(
図1参照)。つまり、ロボットハンド18は、サブアーム30の先端側に揺動可能に取り付けられる。第2アーム部32の先端側には、サブアーム30の第2アーム部32からの突出量を測定(検出)する第3ストロークセンサが設けられている。
【0047】
図1、
図2に示すように、ロボットハンド18は、ベース部材18Aと、複数の把持ツ
メ18Bとを有している。ベース部材18Aの上面側には連結片63が設けられている。連結片63は吊りプレート37に枢支されている。つまり、ロボットハンド18はアーム17に吊り下げられている。複数の把持ツメ18Bは、ベース部材18Aの下面側に揺動可能に取り付けられている。ロボットハンド18は、複数の把持ツメ18Bが揺動することにより、把持ツメ18Bと把持ツメ18Bとの間で作物2を把持することが可能(
図2参照)であると共に、把持した作物2を解放することが可能である。
【0048】
図1、
図2に示すように、農業用ロボット1は、光学式センサ5A、5Bを備えている。光学式センサ5A、5Bは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラ、赤外線カメラである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。光学式センサ5A、5Bは、レーザセンサ、即ち、ライダー(LiDAR: Light Detection And Ranging)であってもよい。レーザセンサ(ライダー)は、1秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体3周辺の3Dマップを構築することができるセンサである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。
【0049】
光学式センサ5Aは、回動フレーム21に取り付けられている。詳しくは、アームブラケット26の上部に支柱40を介して取り付けられている。これに限定されることはなく、光学式センサ5Aは、走行体3等に取り付けてもよい。また、光学式センサ5Aは複数箇所に設けられていてもよい。つまり、農業用ロボット1は、光学式センサ5Aを複数有していてもよい。光学式センサ5Aは、走行体3の周囲を撮影可能であって、走行体3の周囲の情報を撮影によって取得する。
【0050】
光学式センサ5Bは、第2アーム部32の先端側に取り付けられている。光学式センサ5Bは、作物2を撮像することによって、例えば、作物2の大きさ、形、色、模様(スイカにあっては縞模様)、傷などの品質情報を取得することができる。
図1、
図2に示すように、農業用ロボット1は、打音センサ50Cを備えている。打音センサ50Cは、作物2に打撃を与えた(作物2を叩いた)ときの打音を取得するセンサである。
図7に示すように、打音センサ50Cは、ロボットハンド18(ベース部材18A)に設けられている。
【0051】
打音センサ50Cは、打撃機構51と、録音機構52とを有している。打撃機構51は、把持ツメ18Bで把持された作物2に対して進退可能な打撃部材51Aを有している。打撃部材51Aは、当該打撃部材51Aを軸方向に移動させるアクチュエータ51Bに連結されている。アクチュエータ51Bは、例えば、電動であって、制御信号に応じて打撃部材51Aを軸方向に移動させることで、作物2に打撃を与えて打音を発生させる。録音機構52は、マイク(高指向性マイク)を有し、打撃部材51Aで作物2を打撃することによって発生した打音を録音(記録)する。
【0052】
図8に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
【0053】
第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である
。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
【0054】
制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定位置に切り換わる。
【0055】
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
【0056】
また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0057】
走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
【0058】
また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
【0059】
以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自律走行することができる。
農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
【0060】
以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動
させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
【0061】
作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
図8に示すように、農業用ロボット1は、収集装置43を備えている。収集装置43は、打撃部材51Aによって作物2に対して打撃を与えたときにマイクで集音した音のデータ(音データ)を収集する。収集装置43は、不揮発性のメモリ等で構成されて音データを記憶する記憶装置を含んでいる。
【0062】
図9に示すように、収集装置43は、音データとして、作物2に対して打撃を与えた時のマイクで集音した波形H10を収集する。ここで、収集装置43は、作物2に対して打撃を与える打撃前又は打撃後に、打撃対象である作物2の周囲の音(雑音)をマイクにて取得し、取得した雑音を解析する。収集装置43は、解析結果を用いて、波形H10に、雑音に対応する波形(雑音波形)が含まれているか否かを判断し、雑音が含まれている場合は、波形H10から雑音波形を除去した波形を、打撃時の波形H10として収集する。即ち、収集装置43は、作物2を打撃したときのノイズ(雑音)を除去する処理を行う。
【0063】
雑音波形であるか否かの判断(推定)は、雑音推定モデル(第1モデル)を用いる。雑音推定モデルは、波形の振幅、周波数、波形の変化によって雑音であるかを推定するモデルである。雑音除去モデルは、作物2に対して打撃を行っていない状況下において、施設100内の音を集音し、当該集音した音を、コンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築したモデルである。
【0064】
上述した実施形態では、作物2の打撃前、打撃後の周囲の音を予め集音しておき、雑音推定モデル(第1モデル)を用いて、周囲の音から雑音の波形を解析、推定することによって、ノイズを除去していたが、これに代えて、打撃前、打撃後の波形から雑音を判断するのではなく、打撃を行ったときの波形H10の中に雑音波形が含まれているか否かを判断する雑音推定モデル(第2モデル)を用いる。雑音推定モデル(第2モデル)は、打音を行ったときの波形H10をコンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築する。雑音推定モデル(第2モデル)でも、波形H10の振幅、周波数、波形の変化に基づいて、波形H10中の雑音波形を推定する。雑音推定モデル(第2モデル)による雑音波形の推定後は、上述したように、推定結果を用いて、収集装置43が波形H10の中から雑音波形を除去する。
【0065】
図10に示すように、農業用ロボット1(走行体3)は、走行制御部41Aの制御によって施設100内を
自律走行する。
自律走行時において、作業制御部41Bによって、作物2を打撃部材51Aにて打撃を与え、収集装置43は、作物2に打撃が与えられたときの波形H10を作物2毎に収集(保存)する。
例えば、制御装置41(走行制御部41A)の制御によって、農業用ロボット1を作物2aの周囲に近づける。農業用ロボット1が作物2aに近づくと、作業制御部41Bの打撃制御等によって作物2aに打撃が与えられ、当該作物2aの打撃時の音データを収集装置43が収集する。
【0066】
次に、作物2aの音データを収集すると、制御装置41(走行制御部41A)は、音データを収集していない他の作物2bに向けて走行体3を移動させる制御を行い、農業用ロボット1を作物2bの周囲に近づける。農業用ロボット1が作物2bに近づくと、作業制御部41Bの打撃制御等によって作物2bに打撃が与えられ、当該作物2bの打撃時の音データを収集装置43が収集する。
【0067】
つまり、制御装置41(走行制御部41A)は、音データを収集装置43が収集後、音データを収集していない他の作物2b、2c・・・の栽培位置Dn(n=1,2,3・・・)に向けて走行体3を移動させる制御を、施設100内において、音データを収集していない作物2が無くなるまで繰り返し行う。
さて、制御装置41は、光学式センサ5Aによって得られたセンシングデータに基づいて、栽培位置Dnに向けて農業用ロボット1(走行体3)を移動させる。光学式センサ5Aが撮像装置である場合、センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Aがレーザセンサ(ライダー)である場合、センシングデータは、光学式センサ5Aからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
【0068】
図11に示すように、制御装置41は、センシングデータ(撮像画像H1)を参照し、当該センシングデータ(撮像画像H1)の特徴点のマッチング等により、撮像画像H1内に作物2が含まれているか否かを判断する。
センシングデータ
H1に作物2が含まれていると判断した場合、作物2と農業用ロボット1(走行体3)との相対距離L10を演算する(
図10参照)。制御装置41は、撮像画像H1に作物2が含まれていると判断した場合、
図19に示すように、例えば、撮像画像H1に含まれる被写体である作物2の画像(縦ピクセル、横ピクセル)H2の大きさと、予め設定された基準フレーム(縦ピクセル、横ピクセル)F10の大きさとを比較する。作物2の画像H2が、基準フレームF10のよりも小さい場合、制御装置41は、相対距離L10は、基準フレームF10に対応して定められた基準距離L11よりも長いと判断する。即ち、制御装置11は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも遠い所にあると推定する。一方、作物2の画像H2が、基準フレームF10よりも大きい場合、制御装置41は、相対距離L10は、基準距離L11よりも短いと判断する。即ち、制御装置41は、作物2は、農業用ロボット1(走行体3)から基準距離L11までの位置よりも近い所にあると推定する。
【0069】
つまり、制御装置41は、作物2の画像H2の大きさと基準フレームF10との大きさを比較し、作物2の画像H2の大きさと基準フレームF10との大きさとの比率と基準距離L11に基づいて、現在の農業用ロボット1と作物2との相対距離L10を求める。即ち、制御装置41は、現在の農業用ロボット1の位置において、相対距離L10が基準距離L11に一致する距離(移動距離)を演算し、走行制御部41Aは、移動距離だけ農業用ロボット1(走行体3)を前進又は後進させる。なお、基準距離L11は、マニピュレータ(作業部)4の先端側(ロボットハンド18)を、走行体3から最も離した状態において、当該ロボットハンド18と走行体3までの距離よりも短く設定されている。即ち、マニピュレータ(作業部)4において、走行体3からロボットハンド18の先端側までのストローク(稼働範囲)よりも、基準距離L11が短くなるように設定されている。
【0070】
まとめると、作物2の画像H2と基準フレームF10とが一致したときの作物2と農業用ロボット1(走行体3)との相対距離L10が一定となるように、走行制御部41Aは、作物の栽培位置Dnに向けて移動する。なお、上述した方法では、イメージセンサに対するレンズの位置は変更しない(ピント合わせは行わない)。
上述した実施形態では、撮像画像H1を用いて、作物2と農業用ロボット1(走行体3)との相対距離L10が一定となる位置に、農業用ロボット1(走行体3)を作物2の栽培位置Dnに向けて移動していたが、光学式センサ5Aがレーザセンサ(ライダー)である場合、制御装置41(走行制御部41A)は、スキャンデータを用いて、現在の農業用ロボット1(走行体3)と作物2との距離(相対距離L10)を演算して、演算した相対距離L10が基準距離L11と一致するように、農業用ロボット1(走行体3)を前進又は後進させる。
【0071】
作業制御部41Bは、農業用ロボット1(走行体3)と作物2との相対距離L10が基準距離L11に達したとき、即ち、農業用ロボット1が所定の作物2の栽培位置Dnの周囲に到達したとき、マニピュレータ(作業部)4の先端側(ロボットハンド18)を所定の作物に近づけ、打撃制御を行う。収集装置43は、所定の作物2に打撃が与えられたときの音データを保存する。
【0072】
図12Aに示すように、収集装置43が、音データを保存する場合、作物2(作物2a、2b、2c・・・)を識別する識別情報と、音データとを対応づけて打音情報として記憶する。例えば、作物2に対応づけて、当該作物2の近傍に二次元バーコード、マーカ等の識別情報を認識するための識別部材を設置しておき、打音時に識別部材(二次元バーコード、マーカ)を撮像装置にて撮像することにより得ることができる。
【0073】
或いは、
図12Bに示すように、収集装置43は、識別情報、音データ及び打音時間(月、日、時刻)を対応付けて打音情報として記憶してもよい。例えば、農業用ロボット1に時間を計時する計時装置(タイマー)を設けておき、計時装置によって打音時の時間(打音時間)を計時し、計時した打音時間と、識別情報、音データを対応付けて打音情報として記憶する。
【0074】
或いは、収集装置43は、ロボットハンド18で収穫する際に、作業制御部41Bによって打撃制御を行い、
図12Cに示すように、打撃制御によって作物2を打音したときの音データ(収穫時の音データ)と、識別情報と、打音時間とを対応づけて打音情報として記憶してもよい。
図12Cの場合は、打音を行ったときと、収穫を行ったときとが同じであるため、打音時間は、収穫時期(収穫時間)とみなすことができる。
【0075】
スイカ、メロン等において、収穫時の音データに着目した場合、当該収穫時の音データで得られる波形H10の周波数が低く、低い音になる傾向がある。収集装置43は、波形H10の周波数が予め定められた周波数よりも低い場合には、収穫時期の音データとして記憶してもよい。
農業用ロボット1は、
図8に示すように、モデル生成部41Eを有していてもよい。モデル生成部41Eは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0076】
モデル生成部41Eは、収集装置43が収集した複数の音データに基づいて、作物の生育状況を推定するモデルを生成する。モデル生成部41Eは、
図12Aの打音情報(音データ、識別情報)を取得する。この場合、モデル生成部41Eは、複数の音データ(波形W10)において、打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)について、人工知能による深層学習を行い、生育状況を推定する学習済みモデル(第1生育モデル)を構築する。
【0077】
或いは、モデル生成部41Eは、生育モデルを構築するにあたって、複数の音データ(波形W10)だけでなく、
図12Bに示した音データに対応付けられた打音時間も取得し、打音時間に基づいて、複数の音データ(波形W10)を栽培の初期、中期、後期にグループ分けを行う。モデル生成部41Eは、各グループ(初期、中期、後期)のそれぞれに属する複数の音データについて深層学習を行って、生育状況を推定する学習済みの生育モデル(第2生育モデル)を構築してもよい。
【0078】
或いは、モデル生成部41Eは、
図12Cに示すように、打音情報として、音データ、識別情報、収穫時間を取得し、収穫時間に対応する音データにおける深層学習を行い、生育状況として収穫時間を推定する学習済みモデル(第3生育モデル)を構築する。
上述した実施形態では、施設100内において、農業用ロボット1(走行体3)を走行させながら、打音したときの音データを収集していたが、作物2に対して音データの収集は繰り返し行ってもよい。
【0079】
この場合、モデル生成部41Eは、農業用ロボット1(走行体3)を走行させて打音を行ったとき(収集装置43が音データを取得する毎)に、強化学習を行ってもよい。
農業用ロボット1は、
図8に示すように、時期判断部41Fを有していてもよい。時期判断部41Fは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0080】
時期判断部41Fは、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)と、作業時(打撃時)の音データとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する。
図13に示すように、施設100内において、農業用ロボット1を栽培場所105の間の通路106に走行させる。作業時において、制御装置41(走行制御部41A、作業制御部41B)は、光学式センサ5Aから得られたセンシングデータ(撮像画像H1、スキャンデータ)を参照し、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させる。
【0081】
図10に示すように、制御装置41(走行制御部41A、作業制御部41B)は、センシングデータを解析して、農業用ロボット1が作物2の栽培位置Dnの周囲に近づいたと判断した場合、走行制御部41Aは、一旦走行を停止する。作業制御部41Bは、マニピュレータ4を制御して、ロボットハンド18を作物2に近づける。作業制御部41Bは、ロボットハンド18を作物2に近づけた状態で打撃制御を行い、作物2に打撃を与える。収集装置43は、打撃時の音データを取得して保存する一方、時期判断部41Fは、打撃時の音データを少なくとも第1生育モデル、第2生育モデル、第3生育モデルのいずれかに適用する。
【0082】
例えば、打撃時の音データを第1生育モデルに適用し、第1生育モデルが、生育状況として、収穫時期と同じ時期である結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。一方、第1生育モデルが、生育状況として、収穫時期と異なる時期である結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
【0083】
或いは、打撃時の音データを第2生育モデルに適用し、第2生育モデルが、生育状況として、作物2が栽培の後期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。第2生育モデルが、生育状況として、作物2が栽培の初期、中期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
【0084】
或いは、打撃時の音データを第3生育モデルに適用し、第3生育モデルが、生育状況として、収穫時期であると結果を出力した場合、時期判断部41Fは、作物2の収穫時期であると判断し、作業制御部41Bの制御によって、ロボットハンド18で作物2を収穫する。一方、第3生育モデルが、生育状況として、収穫時期ではないと結果を出力した場合、時期判断部41Fは、作物2の収穫時期でないと判断し、作業制御部41Bの制御によって、ロボットハンド18を、打撃を行った作物2から遠ざけることで、作物2を収穫しない。
【0085】
以上によれば、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105に沿って走行させ、途中で打撃を行った作物2の音データを学習済みモデルに適用して収穫時期であるか否かを判断し、学習済みモデルが収穫時期であると判断した作物2のみ収穫を行う。
上述した実施形態では、時期判断部41Fは、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)と、作業時(打撃時)の音データとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断していたが、学習済みモデルを用いずに、収穫時期であるか否かを判断してもよい。
【0086】
時期判断部41Fは、収集装置43において、収穫時期に相当する時期の音データをまとめたデータベース(過去の収穫実績情報)を参照し、収穫時期の音データの打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)の平均などの基準値を演算する。また、時期判断部41Fは、農業用ロボット1を作業開始点P11から作業終了点P12まで走行させながら打撃作業を行った音データにおいて、打音の音の大きさ(波形の振幅)、打音の音の高さ(周波数)、打音の波形の変化度合い(音色)のそれぞれが基準(平均)から所定範囲内であるか否かを判断し、所定範囲以内であれば、収穫時期と判断し、所定範囲外であれば、収穫時期でないと判断する。
【0087】
以上の変形例によれば、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105に沿って走行させ、途中で打撃を行った作物2の音データを、過去の収穫実績情報と比較し、当該音データが過去の収穫実績情報の基準(平均)よりも所定範囲内である場合は、作物2の収穫を行う。
なお、上述した変形例では、過去の収穫実績情報の平均を求めた例について説明したが
、基準は平均以外であってもよく、標準偏差などのバラツキを基準にしてもよく、基準については限定されない。
【0088】
図14は、農業用ロボット1及び農業用ロボットの支援システムの変形例を示している。
図14に示すように、収集装置43は、サーバ、携帯端末、パーソナルコンピュータなどの外部機器70に、音データを送信可能な通信装置であってもよい。この場合、通信装置である収集装置43は、作物2に打撃が与えられたときの音データ(波形H10)を外部機器70に送信する。外部機器70は、モデル生成部41Eを有していて、農業用ロボット1(通信装置)から送信された音データに基づいて、生育状況を推定する学習済みモデルを構築する。なお、学習済みモデルの構築方法は、上述した実施形態と同じである。
【0089】
モデル生成部41Eが学習済みモデルを構築すると、外部機器70は、構築した学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)を、農業用ロボット1(通信装置)に送信する。農業用ロボット1(通信装置)が、学習済みモデル(第1生育モデル、第2生育モデル、第3生育モデル)を受信すると、制御装置41は、学習済みモデルを保存する。時期判断部41Fは、上述した実施形態と同様に、制御装置41が有する学習済みモデルと、打撃時に得られた音データに基づいて、打撃を行った作物2が収穫時期か否かを判断する。作業制御部41Bは、打撃を行った作物2が収穫時期であると判断された場合に収穫の制御を実行する一方、打撃を行った作物2が収穫時期でないと判断された場合は収穫を行わない制御を実行する。
【0090】
農業用ロボット1は、作物2の栽培位置Dnに向けて移動可能な走行体3と、走行体3に設けられ、且つ、当該走行体3が栽培位置Dnの周囲に到達したときに先端側を作物2に近づけることが可能なマニピュレータ4と、マニピュレータ4の先端側に設けられ且つ作物2に打撃を与える打撃機構51と、打撃機構51で作物2を打撃したときの音を集音するマイクとを含む打音センサ50Cと、マイクで集音した音のデータを収集する収集装置63と、を備えている。
【0091】
これによれば、音のデータを用いて作物2の生育などを把握したい場合に、走行体3を作物2の栽培位置Dnに近づけるだけで、当該作物2を打撃したときの音のデータを簡単に収集することができ、作物2の生育を把握するための支援を行うことができる。特に、作物2の栽培場所(作付け場所)が施設100内である場合には、雑音が少ない中で効率よく、作物2を打音したときの音のデータを収集することができる。
【0092】
農業用ロボット1は、少なくとも収集装置63がデータを収集後、当該データを収集していない他の作物2の栽培位置Dnに向けて走行体3を移動させる制御を行う制御装置41を備えている。これによれば、制御装置41によって、複数の作物2がある場合に、効率よく音のデータを収集することができる。
農業用ロボット1は、走行体3に設けられた光学式センサ5A、5Bを備え、制御装置41は、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2と走行体3との距離が予め定められた基準距離になるように、作物2の栽培位置Dnに向けて走行体3を移動させる。これによれば、農業用ロボット1(走行体3)を栽培位置Dnの周囲へと走行させることができ、マニピュレータ4の先端側をより素早く正確に作物2に近づけることができる。
【0093】
農業用ロボット1は、収集装置63が収集した複数のデータに基づいて、作物2の生育状況を推定するモデルを生成するモデル生成部41Eを備えている。これによれば、収集した複数の音のデータから、作物2の生育状況を推定することができるモデルを簡単に生成することができる。
モデル生成部41Eは、収集装置63がデータを取得する毎に、強化学習を行う。これによれば、農業用ロボット1(走行体3)によって作物2に対して作業を行う状況など、収集装置63がデータを取得する毎に強化学習を行うことができ、より精度の高いモデルを構築することができる。
【0094】
農業用ロボット1は、作物2を把持することで収穫するロボットハンド18と、モデルとデータとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する時期判断部41Fと、を備え、ロボットハンド18は、時期判断部41Fが収穫時期と判断した場
合に打撃を与えた作物2を収穫し、収穫時期と判断しなかった場合に打撃を与えた作物2を収穫しない。
【0095】
これによれば、作物2を収穫する収穫作業時に、作物2が収穫時期であるかを簡単に把握することができ、収穫時期である作物2のみを、効率よく収穫することができる。
収集装置63は、データを記憶する記憶装置、又は、データを外部端末に送信する通信装置である。これによれば、作物2に打撃を与えたときの音のデータを記憶して収集したり、外部端末へ収集した音のデータを送信することができる。
【0096】
農業用ロボット1の支援システムは、作物2の栽培位置Dnに向けて移動可能な走行体3と、走行体3に設けられ、且つ、当該走行体3が栽培位置Dnの周囲に到達したときに先端側を作物2に近づけることが可能なマニピュレータ4と、マニピュレータ4の先端側に設けられ且つ作物2に打撃を与える打撃機構51と、打撃機構51で作物2を打撃したときの音を集音するマイクとを含む打音センサ50Cとを備えた農業用ロボット1の支援システムであって、マイクで集音した音のデータを収集する収集装置63を備えている。
【0097】
これによれば、音のデータを用いて作物2の生育などを把握したい場合に、走行体3を作物2の栽培位置Dnに近づけるだけで、当該作物2を打撃したときの音のデータを簡単に収集することができ、作物2の生育を把握するための支援を行うことができる。特に、作物2の栽培場所(作付け場所)が施設100内である場合には、雑音が少ない中で効率よく、作物2を打音したときの音のデータを収集することができる。
【0098】
農業用ロボット1の支援システムは、少なくとも収集装置63がデータを収集後、当該データを収集していない他の作物2の栽培位置Dnに向けて走行体3を移動させる制御を行う制御装置41を備えている。これによれば、制御装置41によって、複数の作物2がある場合に、効率よく音のデータを収集することができる。
農業用ロボット1の支援システムは、走行体3に設けられた光学式センサ5A、5Bを備え、制御装置41は、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2と走行体3との距離が予め定められた基準距離になるように、作物2の栽培位置Dnに向けて走行体3を移動させる。これによれば、農業用ロボット1(走行体3)を栽培位置Dnの周囲へと走行させることができ、マニピュレータ4の先端側をより素早く正確に作物2に近づけることができる。
【0099】
農業用ロボット1の支援システムは、収集装置63が収集した複数のデータに基づいて、作物2の生育状況を推定するモデルを生成するモデル生成部41Eを備えている。これによれば、収集した複数の音のデータから、作物2の生育状況を推定することができるモデルを簡単に生成することができる。
農業用ロボット1の支援システムは、作物2を把持することで収穫可能なロボットハンド18を制御する作業制御部と、モデルとデータとに基づいて、打撃を与えた作物2が収穫時期であるか否かを判断する時期判断部41Fと、を備え、作業制御部は、ロボットハンド18に対して時期判断部41Fが収穫時期と判断した場合に打撃を与えた作物2を収穫する制御を行い、収穫時期と判断しなかった場合に打撃を与えた作物2を収穫しない制御を行う。
【0100】
これによれば、作物2を収穫する収穫作業時に、作物2が収穫時期であるかを簡単に把握することができ、収穫時期である作物2のみを、効率よく収穫することができる。
以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0101】
1 :農業用ロボット
2 :作物
2a :作物
2b :作物
2c :作物
3 :走行体
4 :マニピュレータ
5A :光学式センサ
5B :光学式センサ
18 :ロボットハンド
23 :収集装置
41 :制御装置
41B :作業制御部
41E :モデル生成部
41F :時期判断部
43 :収集装置
50C :打音センサ
51 :打撃機構
63 :収集装置
Dn :栽培位置
L11 :基準距離