(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】農業用ロボット
(51)【国際特許分類】
A01D 46/30 20060101AFI20231225BHJP
G06T 7/00 20170101ALI20231225BHJP
【FI】
A01D46/30
G06T7/00 350B
(21)【出願番号】P 2020109081
(22)【出願日】2020-06-24
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】110003041
【氏名又は名称】安田岡本弁理士法人
(72)【発明者】
【氏名】江戸 俊介
(72)【発明者】
【氏名】坂野 倫祥
(72)【発明者】
【氏名】宮本 惇平
【審査官】吉田 英一
(56)【参考文献】
【文献】国際公開第2018/211621(WO,A1)
【文献】国際公開第00/057129(WO,A1)
【文献】Yang-Yang Zheng, Jianlei Kong, Xue-bo Jin, Tingli Su, Ming-Jun Nie, and Yuting Bai,Real-Time Vegetables Recognition System based on Deep Learning Network for Agricultural Robots,2018 Chinese Automation Congress (CAC),2018年11月30日,pp. 2223 - 2228
【文献】佐藤治、高橋伸弥、横道政裕、福嶋浩紀,機械学習を用いたスイカ果実検出,第38回計測自動制御学会九州支部学術講演会予稿集,日本,公益社団法人計測自動制御学会九州支部,2019年11月30日,pp. 17 - 20
【文献】Inkyu Sa, Zongyuan Ge, Feras Dayoub, Ben Upcroft, Tristan Perez and Chris McCool,DeepFruits: A Fruit Detection System Using Deep Neural Networks,Sensors,2016年08月03日,Vol. 16, No. 8,1222
(58)【調査した分野】(Int.Cl.,DB名)
A01D 46/30
G06T 7/00
IEEE Xplore
JSTPlus(JDreamIII)
JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
走行体と、
前記走行体に設けられ、作物に関する作業を行う作業部と、
前記走行体に設けられた光学式センサと、
前記光学式センサで得られたセンシングデータに基づいて、前記作物を推定する作物推定部と、
を備え、
前記作物推定部は、前記センシングデータから得られた作物の表面状態
である当該作物の模様を構成する線の間隔、線の角度、線の繋がり、線の形状、線の配列パターンのいずれかから作物を推定し、前記推定した作物の前記模様として表れた線から、前記作物の姿勢を推定する農業用ロボット。
【請求項2】
前記作物推定部は、前記センシングデータで示された作物に関し、前記作物の特徴部分と前記作物の
模様の線とに基づいて、前記作物の姿勢を推定する請求項1に記載の農業用ロボット。
【請求項3】
前記作物推定部は、前記センシングデータで示された前記作物
の模様の
線の向きに基づいて、前記姿勢を推定する請求項1又は2に記載の農業用ロボット。
【請求項4】
前記作物推定部は、前記センシングデータで示された前記作物
の模様の
線の長さに基づいて、前記姿勢を推定する請求項1~3のいずれかに記載の農業用ロボット。
【請求項5】
前記作物推定部は、前記作物の特徴部分と前記模様との位置関係に基づいて、前記姿勢を推定する請求項1~4のいずれかに記載の農業用ロボット。
【請求項6】
前記作物推定部は、前記センシングデータに基づいて作物の輪郭と、前記作物の周囲に関して前記推定した作物の表面を隠す障害物とを推定する請求項1~5のいずれかに記載の農業用ロボット。
【請求項7】
前記作業部は、前記作物推定部で推定した前記障害物を、前記作物から遠ざける作業を行う請求項6に記載の農業用ロボット。
【請求項8】
前記作物と前記作物の表面状態との関係を、深層学習すること
で表面状態モデルを生成するモデル生成部を備えている請求項1~7のいずれかに記載の農業用ロボット。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農業用ロボットに関する。
【背景技術】
【0002】
従来、特許文献1に開示された農業用ロボットが知られている。
特許文献1に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培(作付け)されるのが一般的である。農業用ロボットで作業を行うにあたって、適正に作物の姿勢を把握することが難しいのが実情である。
本発明は、作物の姿勢を簡単に把握することができる農業用ロボットを提供することを目的とする。
【課題を解決するための手段】
【0005】
農業用ロボットは、走行体と、前記走行体に設けられ、作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサと、前記光学式センサで得られたセンシングデータに基づいて、前記作物を推定する作物推定部と、を備え、前記作物推定部は、前記センシングデータから得られた作物の表面状態である当該作物の模様を構成する線の間隔、線の角度、線の繋がり、線の形状、線の配列パターンのいずれかから作物を推定し、前記推定した作物の前記模様として表れた線から、前記作物の姿勢を推定する。
前記作物推定部は、前記センシングデータで示された作物に関し、前記作物の特徴部分と前記作物の模様の線とに基づいて、前記作物の姿勢を推定する。
【0006】
前記作物推定部は、前記センシングデータで示された前記作物の模様の線の向きに基づいて、前記姿勢を推定する。
前記作物推定部は、前記センシングデータで示された前記作物の模様の線の長さに基づいて、前記姿勢を推定する。
前記作物推定部は、前記作物の特徴部分と前記模様との位置関係に基づいて、前記姿勢を推定する。
【0007】
前記作物推定部は、前記センシングデータに基づいて作物の輪郭と、前記作物の周囲に関して前記推定した作物の表面を隠す障害物とを推定する。
前記作業部は、前記作物推定部で推定した前記障害物を、前記作物から遠ざける作業を行う。
前記作物と前記作物の表面状態との関係を、深層学習することで表面状態モデルを生成するモデル生成部を備えている。
【発明の効果】
【0008】
本発明によれば、作物の姿勢を簡単に把握することができる。
【図面の簡単な説明】
【0009】
【
図2】作業姿勢の状態の農業用ロボットの側面図である。
【
図8】農業用ロボットの支援システムの全体図である。
【
図9】農業用ロボットを施設で走行させたルートを示す図である。
【
図10】農業用ロボットにて作物に対して作業を行う様子を示す図である。
【
図11】センシングデータH11と部分データH13との関係を示す図である。
【
図13】表面状態モデルとデータとの関係を示す図である。
【
図14A】特徴部分として、へたを抽出した状態を示す図である。
【
図14B】特徴部分として、へそを抽出した状態を示す図である。
【
図14C】特徴部分として、へた及びへそを抽出した状態を示す図である。
【
図16A】作物の模様を示す線が上下方向(垂直方向)に延びている状態を示す図である。
【
図16B】作物の模様を示す線が左右方向(水平方向)に延びている状態を示す図である。
【
図17A】作物の模様が標準的な長さ以下である場合を示す図である。
【
図17B】作物の模様が標準的な長さを超えている場合を示す図である。
【
図18A】作物のへたを中心として、複数の線の長さの手前側が長く、奥側が短い場合を示す図である。
【
図18B】作物のへたを中心として、複数の線の長さの手前側が短く、奥側が長い場合を示す図である。
【
図19A】部分画像H16において作物の輪郭の一部が見えている状態を示す図である。
【
図19B】部分画像H16において作物の輪郭の一部が見えている状態を示す図であって、
図19Aとは異なる図である。
【
図19C】部分画像H16において作物の輪郭が見えていない状態を示す図である。
【
図20】障害物を作物から遠ざける作業を説明する説明図である。
【
図23】作物の栽培初期の施設園芸の施設の内部の斜視図である。
【
図24】作物の栽培中期又は後期の施設園芸の施設の内部の斜視図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図1、
図2は、農業用ロボット1を例示している。農業用ロボット1は、
図21~
図24に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物2に対して作業(農作業)を行うロボットである。農業用ロボット1は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物2である重量野菜、果実等に対して作業を行う。
【0011】
まず、施設園芸の施設(施設園芸施設)を例にとり、施設について説明する。
図21~
図24に示すように、施設100は、当該施設100を構成する構造物として、ハウス101と、ハウス101の内部に設置された機器102とを備えている。
ハウス101は、フレーム110と、被覆材111とを含んでいる。フレーム110は、例えば、I形鋼、H形鋼、C形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設100の躯体を構成していて、複数の支柱部材110Aと、複数の連結部材110Bとを含んでいる。
図21~
図23に示すように、複数の支柱部材110Aは、地面等から起立した部材であって、横方向X1に所定の間隔で設置され且つ縦方向Y1に所定の間隔で設置されている。
【0012】
連結部材110Bは、横方向X1に離れた複数の支柱部材110Aの上端を互いに連結する。また、連結部材110Bは、縦方向Y1に離れた複数の支柱部材110Aを互いに連結する。
被覆材111は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材111は、例えば、フレーム110の外側か
ら当該フレーム110の全体を覆っている。言い換えれば、被覆材111は、支柱部材110Aの外側、連結部材110Bの外側に配置されている。
【0013】
機器102は、作物2を栽培する際に使用する様々な機器であって、ハウス101内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器102は、換気扇102A、循環扇102B、熱交換装置102C等である。
図21、
図22に示すように、換気扇102Aは、ハウス101の出入口130側に設置され、外部の空気をハウス101内の空気を外部に排出したり、外部の空気をハウス101内に取り入れる。
循環扇102Bは、ハウス101内に設置されていて、ハウス101内の空気を所定の方向に循環させる。熱交換装置102Cはハウス101の温度を変更可能な装置であり、例えば、ヒートポンプ構成されている。上述した機器102は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
【0014】
農業用ロボット1は、施設100内において、栽培場所105で栽培された作物2に対して様々な農作業、例えば、作物2の収穫、肥料散布、農薬散布などの農作業を行う。農業用ロボット1は、自立型のロボットである。
図1~
図8は、農業用ロボット1を示している。
図8は、農業用ロボットの支援システムを示している。
【0015】
以下、農業用ロボット1及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、
図1、
図2に矢印A1で示す方向を前方、矢印A2で示す方向を後方、矢印A3で示す方向を前後方向として説明する。したがって、
図2に矢印B1で示す方向(
図1の手前側)が左方であり、
図2に矢印B2で示す方向(
図1の奥側)が右方である。また、前後方向A3に直交する水平方向を機体幅方向(
図2の矢印B3方向)として説明する。
【0016】
図1に示すように、農業用ロボット1は、自律走行する走行体3を有している。走行体3は、機体6と、機体6を走行可能に支持する走行装置7とを有している。
図3、
図4に示すように、機体6は、メインフレーム6Aと、原動機フレーム6Bとを有している。メインフレーム6Aは、機体幅方向B3で間隔をあけて配置された一対の第1フレーム6Aaと、各第1フレーム6Aaの下方に間隔をあけて配置された一対の第2フレーム6Abとを有している。第1フレーム6Aaと第2フレーム6Abとは、複数の縦フレーム6Acによって連結されている。縦フレーム6Acは、左の第1フレーム6Aaと左の第2フレーム6Abとの前部間、右の第1フレーム6Aaと右の第2フレーム6Abとの前部間、左の第1フレーム6Aaと左の第2フレーム6Abとの後部間、右の第1フレーム6Aaと右の第2フレーム6Abとの後部間に設けられている。
【0017】
左の第1フレーム6Aaと右の第1フレーム6Aaとは、第1フレーム6Aa間に配置された第1横フレーム6Ad~第5横フレーム6Ahによって連結されている。第1横フレーム6Ad~第5横フレーム6Ahは、第1フレーム6Aaの前端から後端にわたって前後方向A3で間隔をあけて並行状に配置されている。
第2フレーム6Abの前部同士は、第6横フレーム6Ajによって連結され、第2フレーム6Abの後部同士は、第7横フレーム6Akによって連結されている。
【0018】
原動機フレーム6Bは、メインフレーム6Aの下方側に配置されている。原動機フレーム6Bは、前フレーム6Baと、後フレーム6Bbと、複数の連結フレーム6Bcと、複数の取付フレーム6Bdとを有している。前フレーム6Baは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。後フレーム6Bbは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。複数の連結フレーム6Bcは、前フレーム6Baと後フレーム6Bbの下部間を連結している。複数の取付フレーム6Bdは、連結フレーム6Bcの前後方向A3中央部に固定されている。
【0019】
図4に示すように、取付フレーム6Bdには、原動機(エンジン)E1が取り付けられている。原動機E1には、油圧ポンプP1が取り付けられている。油圧ポンプP1は、原動機E1で駆動される。また、原動機フレーム6Bには、油圧ポンプP1から吐出する作動油を貯留する作動油タンク(図示省略)が搭載されている。
図5に示すように、メインフレーム6A(機体6)には、走行装置7を制御する複数のコントロールバルブ(第1コントロールバルブCV1~第4コントロールバルブCV4)が搭載されている。
【0020】
図1、
図2、
図5に示すように、走行装置7は、4輪の車輪8を有する車輪型(4輪型)の走行装置7で構成されている。詳しくは、走行装置7は、機体6前部の左側に配置された第1車輪8La(左前輪)と、機体6前部の右側に配置された第2車輪8Ra(右前輪)と、機体6後部の左側に配置された第3車輪8Lb(左後輪)と、機体6後部の右側に配置された第4車輪8Rb(右後輪)とを備えている。なお、走行装置7は、少なくとも3輪の車輪8を有する車輪型走行装置で構成されていてもよい。また、走行装置7は、クローラ型の走行装置であってもよい。
【0021】
走行装置7は、車輪8を支持する車輪支持体9を有している。車輪支持体9は、車輪8に対応する数設けられている。つまり、走行装置7は、第1車輪8Laを支持する第1車輪支持体9La、第2車輪8Raを支持する第2車輪支持体9Ra、第3車輪8Lbを支持する第3車輪支持体9Lb及び第4車輪8Rbを支持する第4車輪支持体9Rbを有している。
【0022】
図5、
図6に示すように、車輪支持体9は、走行フレーム10と、操向シリンダC1と、第1昇降シリンダC2と、第2昇降シリンダC3と、走行モータM1とを有している。
走行フレーム10は、主支持体10Aと、揺動フレーム10Bと、車輪フレーム10Cとを有している。主支持体10Aは、機体6に縦軸(上下方向に延伸する軸心)回りに可能に支持されている。詳しくは、主支持体10Aは機体6に固定された支持ブラケット11に上下方向に延伸する軸心を有する第1支軸12Aを介して回動可能に支持されている。
【0023】
図5に示すように、第1車輪支持体9Laを枢支する支持ブラケット11は機体6の前部左側に設けられ、第2車輪支持体9Raを枢支する支持ブラケット11は機体6の前部右側に設けられ、第3車輪支持体9Lbを枢支する支持ブラケット11は機体6の後部左側に設けられ、第4車輪支持体9Rbを枢支する支持ブラケット11は機体6の後部右側に設けられている。
【0024】
揺動フレーム10Bは、主支持体10Aに上下揺動可能に支持されている。詳しくは、揺動フレーム10Bは、上部が主支持体10Aに第2支軸12Bを介して横軸(機体幅方向B3に延伸する軸心)回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの揺動フレーム10Bは前上部が主支持体10Aに枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの揺動フレーム10Bは後上部が主支持体10Aに枢支されている。
【0025】
車輪フレーム10Cは、揺動フレーム10Bに上下揺動可能に支持されている。詳しくは、車輪フレーム10Cは、揺動フレーム10Bに第3支軸12Cを介して横軸回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの車輪フレーム10Cは後部が揺動フレーム10Bの後部に枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの車輪フレーム10Cは前部が揺動フレーム10Bの前部に枢支されている。
【0026】
操向シリンダC1、第1昇降シリンダC2及び第2昇降シリンダC3は、油圧シリンダによって構成されている。
操向シリンダC1は、機体6と主支持体10Aとの間に設けられている。詳しくは、操向シリンダC1の一端は、第1フレーム6Aaの前後方向A3中央部に固定されたシリンダブラケット14Aに枢支され、操向シリンダC1の他端は、主支持体10Aに固定されたシリンダブラケット14Bに枢支されている。操向シリンダC1を伸縮することにより走行フレーム10が第1支軸12A回りに揺動し、車輪8(第1車輪8La~第4車輪8Rb)の向きを変更する(操向する)ことができる。本実施形態の走行装置7にあっては、各車輪8を独立して操向可能である。
【0027】
第1昇降シリンダC2は、一端が揺動フレーム10Bに枢支され、他端が第1リンク機構15Aに枢支されている。第1リンク機構15Aは、第1リンク15aと第2リンク1
5bとを有している。第1リンク15aの一端は、主支持体10Aに枢支され、第2リンク15bの一端は揺動フレーム10Bに枢支されている。第1リンク15aと第2リンク15bとの他端は、第1昇降シリンダC2の他端に枢支されている。第1昇降シリンダC2を伸縮することにより揺動フレーム10Bが第2支軸12B回りに上下揺動する。
【0028】
第2昇降シリンダC3は、一端が揺動フレーム10Bの前部に枢支され、他端が第2リンク機構15Bに枢支されている。第2リンク機構15Bは、第1リンク15cと第2リンク15dとを有している。第1リンク15cの一端は、揺動フレーム10Bに枢支され、第2リンク15dの一端は車輪フレーム10Cに枢支されている。第1リンク15cと第2リンク15dとの他端は、第2昇降シリンダC3の他端に枢支されている。第2昇降シリンダC3を伸縮することにより車輪フレーム10Cが第3支軸12C回りに上下揺動する。
【0029】
第1昇降シリンダC2による揺動フレーム10Bの上下揺動と、第2昇降シリンダC3による車輪フレーム10Cの上下揺動とを組み合わせることによって車輪8を平行状に昇降させることができる。
走行モータM1は、油圧モータによって形成されている。走行モータM1は、各車輪8に対応して設けられている。即ち、走行装置7は、第1車輪8Laを駆動する走行モータM1と、第2車輪8Raを駆動する走行モータM1と、第3車輪8Lbを駆動する走行モータM1と、第4車輪8Rbを駆動する走行モータM1とを有している。走行モータM1は、車輪8の機体幅方向B3の内方に配置され、車輪フレーム10Cに取り付けられている。走行モータM1は、油圧ポンプP1から吐出される作動油によって駆動され、正逆転可能である。走行モータM1を正逆転させることにより、車輪8の回転を正転方向と逆転方向とに切り換えることができる。
【0030】
第2車輪支持体9Ra、第3車輪支持体9Lb及び第4車輪支持体9Rbは、第1車輪支持体9Laを構成する構成部品と同様の構成部品を有している。第2車輪支持体9Raは、第1車輪支持体9Laと左右対称に構成されている。第3車輪支持体9Lbは、第2車輪支持体9Raを機体6の中心を通る上下方向のセンタ軸心回りに180°回転させた形態を呈している。第4車輪支持体9Rbは、第1車輪支持体9Laをセンタ軸心回りに180°回転させた形態を呈している。
【0031】
第1車輪支持体9Laに装備された油圧アクチュエータは、第1コントロールバルブCV1によって制御される。第2車輪支持体9Raに装備された油圧アクチュエータは、第2コントロールバルブCV2によって制御される。第3車輪支持体9Lbに装備された油圧アクチュエータは、第3コントロールバルブCV3によって制御される。第4車輪支持体9Rbに装備された油圧アクチュエータは、第4コントロールバルブCV4によって制御される。
【0032】
したがって、第1車輪8La~第4車輪8Rbは、それぞれ独立的に操向可能である。また、第1車輪8La~第4車輪8Rbは、それぞれ独立的に昇降可能である。
上記走行装置7にあっては、第1車輪8La~第4車輪8Rbを操向操作することで走行体3を操向することができる。第1車輪8La~第4車輪8Rbを正転させることで走行体3を前進させることができ、逆転させることにより走行体3を後進させることができる。第1車輪8La~第4車輪8Rbを昇降することにより走行体3を昇降することができる。第1車輪8La及び第2車輪8Raを第3車輪8Lb及び第4車輪8Rbに対して昇降することにより、或いは、第3車輪8Lb及び第4車輪8Rbを第1車輪8La及び第2車輪8Raに対して昇降することにより、機体6を前傾または後傾させることができる。第1車輪8La及び第3車輪8Lbを第2車輪8Ra及び第4車輪8Rbに対して昇降することにより、或いは、第2車輪8Ra及び第4車輪8Rbを第1車輪8La及び第3車輪8Lbに対して昇降することにより、機体6を、機体幅方向B3の一側が他側よりも高い傾斜状にすることができる。
【0033】
農業用ロボット1は、走行体3に装着されたマニピュレータ(作業部)4を備えている。マニピュレータ(作業部)4は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物2の収穫を行うことが可能な装置である。
図3、
図4に示すように、マニピュレータ4は、走行体3(機体6)に着脱可能に装着された装着体16と、装着体16に取り付けられたアーム17と、アーム17に設けられていて作物(対象物)2を把持可能なロボットハンド18とを備えている。
【0034】
図1に示すように、装着体16は、本実施形態では、走行体3の後部に設けられている。なお、装着体16は、走行体3の前部に設けられていてもよい。つまり、走行体3における前後方向A3の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット1は、走行体3を前方に進行させて収穫作業を行うので、装着体16は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体16は、箱型に形成されていて走行体3に対して着脱可能である。
【0035】
装着体16には、回動フレーム21が立設されている。回動フレーム21は、装着体16の内部に設けられた回動モータM2によって回動軸心J1の周囲を回動可能である。回動フレーム21を回動させることにより、ロボットハンド18を回動軸心J1を中心とする円周方向に移動(位置変更)させることができる。
図3、
図4に示すように、アーム17は、回動フレーム21に上下揺動可能に支持されると共に長手方向の中途部で屈伸可能である。アーム17は、メインアーム29とサブアーム30とを有している。
【0036】
メインアーム29は、回動フレーム21に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム29は、回動フレーム21に上下揺動可能に枢支された第1アーム部31と、第1アーム部31に揺動可能に枢支された第2アーム部32とを有し、第1アーム部31に対して第2アーム部32が揺動することで屈伸可能とされている。
第1アーム部31は、基部側31aがアームブラケット26に枢支されている。第1アーム部31は、
図3に示すように、第1アームフレーム31L及び第2アームフレーム31Rを有している。第1アームフレーム31L及び第2アームフレーム31Rは、機体幅方向B3で並べて配置され且つ連結パイプ31A等で相互に連結されている。第1アームフレーム31Lと第2アームフレーム31Rとの基部側31a間にアームブラケット26の上部が挿入され、機体幅方向B3に延伸する軸心を有するアーム枢軸33A(第1アーム枢軸という)を介して第1アームフレーム31L及び第2アームフレーム31Rの基部側31aがアームブラケット26に第1アーム枢軸33Aの軸心回りに回動可能に支持されている。
【0037】
第1アームフレーム31L及び第2アームフレーム31Rは中空部材で形成されている。第1アーム部31の長さは、走行体3(機体6)の前後方向A3の長さよりも短く形成されている。
図4に示すように、第1アーム部31は、基部側31aであって且つ第1アーム枢軸33Aよりも先端側31c寄りに、シリンダ取付部31bを有している。このシリンダ取付部31bとシリンダブラケット27のシリンダ取付部27aとにわたって第1アームシリンダ(第1油圧シリンダ)C4が設けられている。第1アームシリンダC4は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第1アームシリンダC4を伸縮させることで第1アーム部31が上下揺動する。第1アーム部31(アーム17)を上下揺動させることにより、ロボットハンド18を昇降させることができる。第1アームシリンダC4には、第1アームシリンダC4のストロークを検出する第1ストロークセンサが設けられている。
【0038】
図4に示すように、第1アーム部31の先端側31cには、枢支部材31Bが固定されている。詳しくは、枢支部材31Bは、基部31Baが第1アームフレーム31Lと第2アームフレーム31Rとの間に挿入されて第1アームフレーム31L及び第2アームフレーム31Rに固定されている。枢支部材31Bの基部31Baの下面側には、シリンダステー34が取り付けられている。枢支部材31Bの先端側31Bbは、第1アームフレーム31L及び第2アームフレーム31Rから前方に突出している。
【0039】
図3に示すように、第2アーム部32の長さは、第1アーム部31の長さよりも長く形成されている。第2アーム部32は、基部側32aが枢支部材31Bの先端側31Bbに枢支されている。第2アーム部32は、第3アームフレーム32L及び第4アームフレー
ム32Rを有している。第3アームフレーム32L及び第4アームフレーム32Rは、機体幅方向B3で並べて配置され且つ複数の連結プレート35によって相互に連結されている。第3アームフレーム32L及び第4アームフレーム32Rは中空部材で形成されている。第3アームフレーム32Lと第4アームフレーム32Rとの基部側32a間に枢支部材31Bの先端側31Bbが挿入されている。第3アームフレーム32L及び第4アームフレーム32R(第2アーム部32)は、機体幅方向B3に延伸する軸心を有するアーム枢軸(第2アーム枢軸という)33Bによって枢支部材31Bに枢支されている。
【0040】
第2アーム部32の基部側32aであって第2アーム枢軸33Bよりも先端側32b寄りには、シリンダ取付部32cが設けられている。このシリンダ取付部32cとシリンダステー34とにわたって第2アームシリンダ(第2油圧シリンダ)C5が設けられている。第2アームシリンダC5は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第2アームシリンダC5を伸縮させることで第1アーム部31に対して第2アーム部32が揺動し、メインアーム29(アーム17)が屈伸(曲げたり伸ばしたりすること)する。なお、本実施形態では、メインアーム29は、最も伸びた状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。
【0041】
また、第2アームシリンダC5を伸縮させることで走行体3に対してロボットハンド18を遠近方向に移動させることができる。詳しくは、第2アームシリンダC5を伸長させることでロボットハンド18を走行体3から遠ざける方向に移動させることができ、第2アームシリンダC5を収縮させることでロボットハンド18を走行体3に近づける方向に移動させることができる。
【0042】
図4に示すように、第2アームシリンダC5には、第2アームシリンダC5のストロークを検出する第2ストロークセンサが設けられている。
サブアーム30は、第2アーム部32に突出及び後退可能に設けられている。したがって、サブアーム30を突出及び後退させることにより、アーム17の長さが伸縮可能である。サブアーム30は、角パイプによって直線状に形成されている。サブアーム30は、第3アームフレーム32Lと第4アームフレーム32Rとの先端側(前部)間に長手方向移動可能に支持されている。また、サブアーム30は、対向する連結プレート35の間に配置されていて連結プレート35にボルト等の固定具によって固定可能とされている。サブアーム30の一側面には、第3アームフレーム32Lに当接する突起30aが設けられ、他側面には、第4アームフレーム32Rに当接する突起30aが設けられている。突起30aによってサブアーム30のがたつきを抑制することができる。
【0043】
サブアーム30は、最も後退させた位置(最後退位置)では、第3アームフレーム32Lと第4アームフレーム32Rとの間に没入する。なお、サブアーム30は、最後退位置で第2アーム部32から若干突出していてもよい。
図4に示すように、サブアーム30の先端側には、吊りプレート37が固定されている。吊りプレート37にロボットハンド18が枢支され、吊り下げられる(
図1参照)。つまり、ロボットハンド18は、サブアーム30の先端側に揺動可能に取り付けられる。第2アーム部32の先端側には、サブアーム30の第2アーム部32からの突出量を測定(検出)する第3ストロークセンサが設けられている。
【0044】
図1、
図2に示すように、ロボットハンド18は、ベース部材18Aと、複数の把持ツメ18Bとを有している。ベース部材18Aの上面側には連結片63が設けられている。連結片63は吊りプレート37に枢支されている。つまり、ロボットハンド18はアーム17に吊り下げられている。複数の把持ツメ18Bは、ベース部材18Aの下面側に揺動可能に取り付けられている。ロボットハンド18は、複数の把持ツメ18Bが揺動することにより、把持ツメ18Bと把持ツメ18Bとの間で作物2を把持することが可能(
図2参照)であると共に、把持した作物2を解放することが可能である。
【0045】
図1、
図2に示すように、農業用ロボット1は、光学式センサ5A、5Bを備えている。光学式センサ5A、5Bは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラ、赤外線カメラ
である。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。光学式センサ5A、5Bは、レーザセンサ、即ち、ライダー(LiDAR: Light Detection And Ranging)であってもよい。レーザセンサ(ライダー)は、1秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体3周辺の3Dマップを構築することができるセンサである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。
【0046】
光学式センサ5Aは、回動フレーム21に取り付けられている。詳しくは、アームブラケット26の上部に支柱40を介して取り付けられている。これに限定されることはなく、光学式センサ5Aは、走行体3等に取り付けてもよい。また、光学式センサ5Aは複数箇所に設けられていてもよい。つまり、農業用ロボット1は、光学式センサ5Aを複数有していてもよい。光学式センサ5Aは、走行体3の周囲を撮影可能であって、走行体3の周囲の情報を撮影によって取得する。
【0047】
光学式センサ5Bは、第2アーム部32の先端側に取り付けられている。光学式センサ5Bは、作物2を撮像することによって、例えば、作物2の大きさ、形、色、模様(スイカにあっては縞模様)、傷などの品質情報を取得することができる。
図1、
図2に示すように、農業用ロボット1は、打音センサ50Cを備えている。打音センサ50Cは、作物2に打撃を与えた(作物2を叩いた)ときの打音を取得するセンサである。
図7に示すように、打音センサ50Cは、ロボットハンド18(ベース部材18A)に設けられている。
【0048】
打音センサ50Cは、打撃機構51と、録音機構52とを有している。打撃機構51は、把持ツメ18Bで把持された作物2に対して進退可能な打撃部材51Aを有している。打撃部材51Aは、当該打撃部材51Aを軸方向に移動させるアクチュエータ51Bに連結されている。アクチュエータ51Bは、例えば、電動であって、制御信号に応じて打撃部材51Aを軸方向に移動させることで、作物2に打撃を与えて打音を発生させる。録音機構52は、マイク(高指向性マイク)を有し、打撃部材51Aで作物2を打撃することによって発生した打音を録音(記録)する。
【0049】
図8に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable
Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
【0050】
第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
【0051】
制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定
位置に切り換わる。
【0052】
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
【0053】
また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0054】
走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
【0055】
また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
【0056】
以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自立走行することができる。
農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
【0057】
以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
【0058】
作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
農業用ロボット1は、作物推定部141Iを備えている。作物推定部141Iは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0059】
作物推定部141Iは、光学式センサ5A又は光学式センサ5Bで得られたセンシングデータに基づいて、少なくとも作物2の姿勢を推定する。光学式センサ5A又は光学式センサ5Bが撮像装置である場合、センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5A又は光学式センサ5Bがレーザセンサ(ライダー)である場合、センシングデータは、光学式センサ5A又は光学式センサ5Bからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
【0060】
さて、
図9に示すように、農業用ロボット1によって収穫などの作業を行う場合、施設100内において、農業用ロボット1を栽培場所105の間の通路106を走行させる。例えば、作業時において、農業用ロボット1を作業開始点P11から作業終了点P12まで栽培場所105(通路106)に沿って農業用ロボット1を走行させる。
農業用ロボット1を走行させる際、作物推定部141Iは、光学式センサ5A又は光学式センサ5Bで得られたセンシングデータ(撮像画像、スキャンデータ)H11を参照して、少なくとも作物2の姿勢を推定する。
【0061】
以下、作物推定部141Iについて詳しく説明する。
作物推定部141Iは、データ抽出部185と、推定部186とを有している。データ抽出部185は、
図11に示すようなセンシングデータ(撮像画像、スキャンデータ)H11に基づいて推定する作物2を特定し且つセンシングデータ(撮像画像、スキャンデータ)H11のうち特定した作物2の周囲のデータを部分データH13として抽出する。
【0062】
図10に示すように、栽培場所105で栽培している作物2に対して作業を行うために、農業用ロボット1を進行方向に向けて自立走行をさせると、データ抽出部185は、センシングデータH11を参照し、推定する作物2の特定を行う。
図11に示すように、データ抽出部185は、参照したセンシングデータH11に作物2の一部が含まれているか否かを判断する。具体的には、センシングデータH11が撮像画像である場合、撮像画像の特徴量のマッチング、パターンマッチング等により、撮像画像内において、推定する作物2を特定する。
【0063】
例えば、データ抽出部185は、撮像画像の所定範囲内の特徴量と予め用意された作物の画像における特徴量とを比較し、両者の特徴量が一致した場合、撮像画像の所定範囲内に作物2があると判断し、両者の特徴量が一致しない場合は、撮像画像の所定範囲内に作物2があると判断しない。
或いは、データ抽出部185は、予め用意された作物2の表面の模様、凸凹などを示す基準プロファイリングと、撮像画像の所定範囲内の画像プロファイリングとを比較し、基準プロファイリングと画像プロファイリングとが一致した場合は、撮像画像の所定範囲内に作物2等が含まれている判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、撮像画像の所定範囲内に作物2が含まれていないと判断する。
【0064】
なお、センシングデータH11がスキャンデータである場合、データ抽出部185は、スキャンデータで描写した描写体が、作物2であるか否かを判断する。この場合、データ抽出部185は、描写体の所定範囲内のデータプロファイリングと、基準プロファイリングとを比較し、基準プロファイリングとデータプロファイリングとが一致した場合は、スキャンデータ内に作物2が含まれていると判断し、基準プロファイリングとデータプロファイリングとが一致しなかった場合は、スキャンデータ内に作物2が含まれていないと判断する。
【0065】
つまり、データ抽出部185は、撮像画像の特徴量のマッチング、パターンマッチング、描写体のパターンマッチングなどによって、センシングデータH11に作物2が存在するか否かを判断し、作物2が存在すると判断した場合に、存在すると判断した作物2を特定する。
図12に示すように、データ抽出部185は、センシングデータH11のうち特定した作物2(特定作物2a)の周囲を、部分データH13として抽出する。言い換えれば、センシング画像において、特定した作物2(特定作物2a)の周囲に対応する部分(部分画像)H16を抽出する。
【0066】
推定部186は、データ抽出部185によって抽出した部分データH13(部分画像H
16)から得られた特定作物2aの表面状態W10から特定作物2aの種類などを推定する。
図13に示すように、推定部186は、作物2の種類と、作物2の表面状態W10とを学習したモデル(表面状態モデル)を用いて、部分データH13の特定作物2の種類を推定する。表面状態モデルは、数多くの作物2の表面状態W10と作物2の種類とが関連付けられた作物表面情報を、コンピュータに入力し、当該コンピュータにおいて、人工知能(AI)による深層学習を実行し、学習済みモデルを構築したものである。
【0067】
具体的には、表面状態モデルでは、特定作物2aの表面状態W10として、部分データH13(部分画像H16)から得られた特定作物2aの模様から作物2の種類を推定する。例えば、
図12に示すように、表面状態モデルは、特定作物2aの表面において、模様(図柄)を構成する線W11の間隔、線W11の角度、線W11の繋がり、線W11の形状、線W11の配列パターンから、特定作物2の種類を推定する。
【0068】
また、推定部186は、表面状態モデルによって特定した作物2の部分データH13(部分画像H16)を参照し、
図14A~
図14Cに示すように、作物2の特徴部分W25と、作物2の表面状態(模様を構成する線W11)とに基づいて、作物2の姿勢を推定する。例えば、
図14A、
図14B、
図14Cに示すように、推定部186は、部分画像H16から作物2のへたW25a、へそW25bの部分を特徴部分W25として抽出する。
【0069】
図14Aに示すように、推定部186は、特徴部分W25として、例えば、へたW25aが抽出され、且つ、複数の線W11の端部のそれぞれがへたW25aに近接している場合、
図15Aに示すように、作物2は、へそW25bを栽培場所105の地面側で且つ、へたW25aを上向きにしている姿勢(第1姿勢)Z1であると推定する。
図14Bに示すように、推定部186は、特徴部分W25として、例えば、へそW25bが抽出され、且つ、複数の線W11の端部のそれぞれがへそW25bに近接している場合、
図15Bに示すように、作物2は、へそW25bを農業用ロボット1に向け、へたW25aを農業用ロボット1から離れる方向に向けた姿勢(第1姿勢)Z1であると推定する。即ち、作物2は、へたW25aを基準にすると、農業用ロボット1に対して奥に向けて倒れている第2姿勢Z2の状態である。
【0070】
図14Cに示すように、推定部186は、特徴部分W25として、例えば、へたW25a及びへそW25bが抽出され、少なくとも1つの線W11がへたW25aとへそW25bとに向けて伸びている場合、
図15Cに示すように、作物2は、農業用ロボット1に沿っている姿勢(第2姿勢)Z2であると推定する。即ち、作物2は、へたW25aを基準にすると、農業用ロボット1に対して真横に倒れている第3姿勢Z3の状態である。
【0071】
なお、作物推定部141I(推定部186)は、作物2の表面の模様の向きに基づいて、姿勢を推定してもよい。
図16Aに示すように、作物推定部141I(推定部186)は、部分画像H16において、表面の模様を構成する線W11の延びる方向(連続的に延びる長手方向)が、上下方向(垂直方向)である場合、作物2が第1姿勢Z1であると推定する。
図16Bに示すように、作物推定部141I(推定部186)は、部分画像H16において、線W11の延びる方向が、左右方向(水平方向)である場合、作物2が第3姿勢Z3であると推定する。
【0072】
また、作物推定部141I(推定部186)は、作物の表面の模様の長さに基づいて、姿勢を推定してもよい。
図17Aに示すように、作物推定部141I(推定部186)は、部分画像H16において、線W11の長さL51が略同じ(所定範囲内)であって且つ標準的な作物2の長さ(基準)以下である場合、第1姿勢Z1又は第2姿勢Z2であると推定する。ここで、作物推定部141I(推定部186)は、光学式センサ5A、5Bにおいて、作物2を上方から撮像した場合、第1姿勢Z1であると推定し、作物2を側方(通路106側)から撮像した場合、第2姿勢Z2であると推定する。
【0073】
図17Bに示すように、作物推定部141I(推定部186)は、部分画像H16において、複数の線W11のうち、最大の線の長さL52が標準的な作物2の長さ(基準)を超えている場合、第2姿勢Z2又は第3姿勢Z3であると推定する。ここで、作物推定部141I(推定部186)は、光学式センサ5A、5Bにおいて、作物2を上方から撮像
した場合、第2姿勢Z2であると推定し、作物2を側方(通路106側)から撮像した場合、第3姿勢Z3であると推定する。
【0074】
作物推定部141I(推定部186)は、作物2の特徴部分W25と模様との位置関係に基づいて、姿勢を推定してもよい。
図18Aに示すように、作物推定部141I(推定部186)は、部分画像H16において、へたW25aを中心として、複数の線W11の長さL53の手前側が長く、複数の線W11の長さL53の奥側が短い場合、第1姿勢Z1であってやや奥側に斜めになっていると推定する。
図18Bに示すように、作物推定部141I(推定部186)は、部分画像H16において、へたW25aを中心として、複数の線W11の長さL53の手前側が短く、複数の線W11の長さL53の手前側が短い場合、第1姿勢Z1であってやや手前側に斜めになっていると推定する。
【0075】
また、推定部186は、特定作物2の種類を推定した推定結果に基づいて、部分データH13(部分画像H16)に含まれる特定作物2の輪郭R10を演算する。例えば、特定作物2の推定結果(例えば、作物2の種類)から、推定部186は、作物2の輪郭R10の基本形状(円形、四角、楕円形)、基準サイズL10を参照する。また、
図19Aに示すように、推定部186は、例えば、部分データH13(部分画像H16)において、特定作物2の模様を構成する線W11のうち、直線状の線W11aを抽出する。ここで、推定部186は、線W11aの両端部W11bを部分データH13(部分画像H16)から得ることができた場合、線W11aの両端部W11bを通る円形状又は楕円形状の線を、特定作物2の輪郭R10とする。
【0076】
図19Bに示すように、推定部186は、線W11aの一方の端部W11bを抽出した場合、一方の端部W11bから基準サイズの1/2の位置を、特定作物2の中心O10とし、中心O10から基準サイズの1/2を特定作物2の半径R1として、一方の端部W11aを通り且つ半径R1の円形状の線を、特定作物2の輪郭R10とする。
図19Cに示すように、推定部186は、線W11の端部W11aが部分データH13(部分画像H16)で構成する抽出画像枠に達している場合、抽出画像枠の特定作物2の模様から特定作物2の中心O10を推定し、半径R1の円形状の線を、特定作物2の輪郭R10とする。
【0077】
なお、
図19A~
図19Cは一例であり、表面状態モデルが作物2の模様等から作物の種類だけでなく、作物の大きさを推定してもよい。
さらに、
図19A~
図19Cに示すように、推定部186は、部分データH13(部分画像H16)で得られた作物2の周囲に関して推定した作物2の表面を隠す障害物W20を推定してもよい。
図19A~
図19Cに示すように、例えば、推定部186は、作物2の表面において表面状態モデルが作物2の表面の模様と判断した以外の部分W21を抽出し、部分W21において、特定作物2の輪郭R10と重複する部分が、障害物W20の一部であると判断し、障害物W20の全体の輪郭W22を画像処理等により抽出する。
【0078】
上述したように、推定部186が障害物W20の全体の輪郭W22を抽出、即ち、障害物W20を推定した場合、農業用ロボット1は、作物2の収穫時などに、障害物W20を作物2から遠ざける作業を行う。
図20に示すように、作業制御部41Bは、マニピュレータ(作業部)4(ロボットハンド18)の収穫時の制御において、ロボットハンド18の先端を障害物W20に近づけ、ロボットハンド18の一部を障害物W20に当接し、先端部を当接させた状態でロボットハンド18を、障害物W20が作物2の表面から遠ざかる方向に移動させる。つまり、ロボットハンド18は、作物2の収穫時に、障害物W20を遠ざける動作する。
【0079】
上述した実施形態では、農業用ロボット1が学習済みモデル(表面状態モデル)を有していることについて説明したが、農業用ロボット1は、表面状態モデルを生成するモデル生成部81Iを備えていてもよい。モデル生成部81Iは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0080】
まず、農業用ロボット1が作物2の収穫を行う際、制御装置41は、光学式センサ5A
又は光学式センサ5Bにて、作物2の表面をセンシングしたセンシングデータ(作物2の表面のデータ)を取得する。制御装置41は、作物2の収穫を行う毎に、作物2の表面のデータを取得し、データベース化して記憶する。モデル生成部81Iは、制御装置41が取得した数多くの作物2の表面のデータを、深層学習することによって、表面状態モデルを構築する。なお、モデル生成部81Iは、表面状態モデルの構築後も作物2の収穫を行う毎に、制御装置41から作物2の表面のデータを取得して、強化学習を続ける。
【0081】
農業用ロボット1は、走行体3と、走行体3に設けられ、作物2に関する作業を行う作業部と、走行体3に設けられた光学式センサ5A、5Bと、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2を推定する作物推定部141Iと、を備え、作物推定部141Iは、センシングデータから得られた作物2の表面状態に基づいて、作物2の姿勢を推定する。これによれば、栽培されている状態の作物2の姿勢がどのようであるかを簡単に把握することができる。ここで、作物2の姿勢に応じて、作物2に対するマニピュレータ(作業部)4の向きを変更することができ、作業性を向上させることができる。
【0082】
作物推定部141Iは、センシングデータで示された作物2に関し、作物2の特徴部分と作物2の表面状態とに基づいて、作物2の姿勢を推定する。これによれば、特徴部分と作物2の表面状態との関係で作物2の姿勢を推定することができる。例えば、作物2のへたW25a、作物2のへそW25bを特徴部分とした場合において、へたW25a、へそW25bの向いている方向と作物2の表面形状との関係により、作物2が上を向いたり、作物2が横を向いたりしているなどの姿勢を把握することができる。
【0083】
作物推定部141Iは、センシングデータで示された作物2の表面の模様の向きに基づいて、姿勢を推定する。これによれば、作物2の表面の模様が上に向いているか、下を向いているか等によって、作物2の姿勢を簡単に把握することができる。
作物推定部141Iは、センシングデータで示された作物2の表面の模様の長さに基づいて、姿勢を推定する。これによれば、作物2をセンシングしたときの所定の表面の模様の長さが、長い又は短いなどといった長さにより作物2の姿勢を簡単に把握することができる。
【0084】
作物推定部141Iは、作物2の特徴部分と模様との位置関係に基づいて、姿勢を推定する。これによれば、例えば、作物2のへたW25a、作物2のへそW25bを特徴部分とした場合において、へたW25a、へそW25bと、模様との位置によって簡単に作物2の姿勢を把握することができる。
作物推定部141Iは、センシングデータに基づいて作物2の輪郭と、作物2の周囲に関して推定した作物2の表面を隠す障害物W20とを推定する。これによれば、簡単に障害物W20の輪郭を推定することができ、どれくらいの大きさの障害物W20によって作物2の表面が覆われていたかを把握することができる。
【0085】
作業部4は、作物推定部141Iで推定した障害物W20を、作物2から遠ざける作業を行う。これによれば、農業用ロボット1によって作物2に対して作業を行う場合に、作業に邪魔な障害物W20を作物2から遠ざけることができ、作業を効率よく行うことができる。例えば、作業が収穫である場合には、障害物W20を除いたうえで、作業部4によって収穫を行うことができる。また、作業が作物2に打撃を加える場合、打撃時の音を収集する場合なども、障害物W20を除いたうえで、作物2に打撃を加える等の作業を行うことができる。
【0086】
作物2と作物2の表面状態との関係を、深層学習することで表面状態モデルを生成するモデル生成部81Iを備えている。これによれば、作物2と作物2の表面状態との関係を推定するモデルを簡単に作成することができる。
以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0087】
1 :農業用ロボット
2 :作物
3 :走行体
4 :作業部
5A :光学式センサ
5B :光学式センサ
81I :モデル生成部
141I :作物推定部
186 :推定部
H11 :センシングデータ
R10 :輪郭
W10 :表面状態
W20 :障害物
W21 :部分
W22 :輪郭
W25 :特徴部分