IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社クボタの特許一覧

特許7404169農業用ロボット及び農業用ロボットの支援システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-15
(45)【発行日】2023-12-25
(54)【発明の名称】農業用ロボット及び農業用ロボットの支援システム
(51)【国際特許分類】
   A01D 46/30 20060101AFI20231218BHJP
【FI】
A01D46/30
【請求項の数】 14
(21)【出願番号】P 2020109077
(22)【出願日】2020-06-24
(65)【公開番号】P2022006696
(43)【公開日】2022-01-13
【審査請求日】2022-06-22
(73)【特許権者】
【識別番号】000001052
【氏名又は名称】株式会社クボタ
(74)【代理人】
【識別番号】110003041
【氏名又は名称】安田岡本弁理士法人
(72)【発明者】
【氏名】江戸 俊介
(72)【発明者】
【氏名】石川 淳一
(72)【発明者】
【氏名】平岡 実
【審査官】吉田 英一
(56)【参考文献】
【文献】特開2004-283133(JP,A)
【文献】国際公開第2019/187816(WO,A1)
【文献】特開2017-049694(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A01D 46/30
A01C 15/00
A01G 7/00
A01G 9/14
G06Q 50/02
A01B 69/00-69/08
G05D 1/00- 1/12
G01N 33/00-33/46
G01N 33/48-33/98
G01N 29/00-29/52
(57)【特許請求の範囲】
【請求項1】
走行体と、
前記走行体に設けられ、作物に関する作業を行う作業部と、
前記走行体に設けられた光学式センサと、
前記光学式センサで得られたセンシングデータに前記作物を栽培する施設を構成する構造物が含まれ且つ前記構造物が前記施設内から見た第1プロファイリングである場合に、記施設内に前記走行体が位置すると判断する場所管理部と、
を備え、
前記作業部は、前記場所管理部によって前記走行体が前記施設内に位置すると判断した場合に、前記作業部に基づいて作物の作業を行う農業用ロボット。
【請求項2】
前記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する請求項に記載の農業用ロボット。
【請求項3】
前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている請求項に記載の農業用ロボット。
【請求項4】
前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている請求項2又は3に記載の農業用ロボット。
【請求項5】
前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する請求項1~4のいずれかに記載の農業用ロボット。
【請求項6】
前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う請求項記載の農業用ロボット。
【請求項7】
前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータが、前記フレームを前記施設内からみた前記第1プロファイリングである場合に、前記施設内に前記走行体が位置すると判断する請求項1~6のいずれかに記載の農業用ロボット。
【請求項8】
走行体と、前記走行体に設けられ作物に関する作業を行う作業部と、光学式センサとを備え、前記走行体が前記作物を栽培する施設内に位置する場合に前記作業部に基づいて作物の作業を行う農業用ロボットの支援システムであって、
前記光学式センサで得られたセンシングデータに前記施設を構成する構造物が含まれ且つ前記構造物が前記施設内から見た第1プロファイリングである場合に、記施設内に前記走行体が位置すると判断する場所管理部を備えている農業用ロボットの支援システム。
【請求項9】
前記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する請求項に記載の農業用ロボットの支援システム。
【請求項10】
前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている請求項に記載の農業用ロボットの支援システム。
【請求項11】
前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている請求項9又は10に記載の農業用ロボットの支援システム。
【請求項12】
前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する請求項8~11のいずれかに記載の農業用ロボットの支援システム。
【請求項13】
前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う請求項12に記載の農業用ロボットの支援システム。
【請求項14】
前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータが、前記フレームを前記施設内からみた前記第1プロファイリングである場合に、前記施設内に前記走行体が位置すると判断する請求項8~13のいずれかに記載の農業用ロボットの支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農業用ロボット及び農業用ロボットの支援システムに関する。
【背景技術】
【0002】
従来、特許文献1に開示された農業用ロボットが知られている。
特許文献1に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2011-229406号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培(作付け)されるのが一般的である。ここで、施設内で作物の栽培を行ったときにも、農業用ロボットが適正に作物の作業を行うことが求められている。
本発明は、作物の収穫時に、施設内における農業用ロボットの作業を効率的に行うことができる農業用ロボット及び農業用ロボットの支援システムを提供することを目的とする。
【課題を解決するための手段】
【0005】
農業用ロボットは、走行体と、前記走行体に設けられ、作物に関する作業を行う作業部と、前記走行体に設けられた光学式センサと、前記光学式センサで得られたセンシングデータに前記作物を栽培する施設を構成する構造物が含まれ且つ前記構造物が前記施設内から見た第1プロファイリングである場合に、記施設内に前記走行体が位置すると判断する場所管理部と、を備え、前記作業部は、前記場所管理部によって前記走行体が前記施設内に位置すると判断した場合に、前記作業部に基づいて作物の作業を行う。
【0006】
記場所管理部は、前記センシングデータに、前記第1プロファイリングに加えて前記作物の栽培場所の第2プロファイリングが含まれる場合に、前記走行体が施設内であると判断する。
【0007】
農業用ロボットは、前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている。
農業用ロボットは、前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている。
前記場所管理部は、学習済みのモデルと、前記センシングデータとに基づいて、前記第1プロファイリングであるかを判断する。
【0008】
前記場所管理部は、前記走行体が前記施設内を走行したときの前記センシングデータを取得することで、強化学習を行う。
前記場所管理部は、前記構造物として施設を構成するフレームのセンシングデータが、前記フレームを前記施設内からみた前記第1プロファイリングである場合に、前記施設内に前記走行体が位置すると判断する
農業用ロボットの支援システムは、走行体と、前記走行体に設けられ作物に関する作業を行う作業部と、光学式センサとを備え、前記走行体が前記作物を栽培する施設内に位置する場合に前記作業部に基づいて作物の作業を行う農業用ロボットの支援システムであって、前記光学式センサで得られたセンシングデータに前記施設を構成する構造物が含まれ且つ前記構造物が前記施設内から見た第1プロファイリングである場合に、記施設内に前記走行体が位置すると判断する場所管理部を備えている。
【0009】
農業用ロボットの支援システムは、前記第1プロファイリングと前記第2プロファイリングとに基づいて、前記走行体の走行を制御する走行制御部を備えている。
農業用ロボットの支援システムは、前記第1プロファイリングと、前記第2プロファイリングに含まれる作物に基づいて、前記施設内のマップを生成するマップ生成部を備えている。
【発明の効果】
【0010】
本発明によれば、施設内における農業用ロボットの作業を効率的に行うことができる。
【図面の簡単な説明】
【0011】
図1】農業用ロボットの側面図である。
図2】作業姿勢の状態の農業用ロボットの側面図である。
図3】機体及びマニピュレータの斜視図である。
図4】機体及びマニピュレータの側面図である。
図5】走行装置の平面図である。
図6】走行装置の側面図である。
図7】ロボットハンドの一部拡大図である。
図8】農業用ロボットの支援システムの全体図である。
図9】農業用ロボットを施設で走行させたルートを示す図である。
図10A】センシングデータ(撮像画像)と学習済みモデルとの関係を示す図である。
図10B】センシングデータ(撮像画像)と、図10Aとは異なる学習済みモデルとの関係を示した図である。
図11】マップF1の一例を示す図である。
図12】施設園芸の施設の内部の概略図である。
図13】施設園芸の施設の平面の概略図である。
図14】作物の栽培初期の施設園芸の施設の内部の斜視図である。
図15】作物の栽培中期又は後期の施設園芸の施設の内部の斜視図である。
図16A】撮像画像H1の一例を示す図である。
図16B図16Aとは異なる撮像画像H1の一例を示す図である。
図17】農業用ロボットの一連の動作のフローを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図1図2は、農業用ロボット1を例示している。農業用ロボット1は、図12図15に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物2に対して作業(農作業)を行うロボットである。農業用ロボット1は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物2である重量野菜、果実等に対して作業を行う。
【0013】
まず、施設園芸の施設(施設園芸施設)を例にとり、施設について説明する。
図12図15に示すように、施設100は、当該施設100を構成する構造物として、ハウス101と、ハウス101の内部に設置された機器102とを備えている。
ハウス101は、フレーム110と、被覆材111とを含んでいる。フレーム110は、例えば、I形鋼、H形鋼、C形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設100の躯体を構成していて、複数の支柱部材110Aと、複数の連結部材110Bとを含んでいる。図12図14に示すように、複数の支柱部材110Aは、地面等から起立した部材であって、横方向X1に所定の間隔で設置され且つ縦方向Y1に所定の間隔で設置されている。
【0014】
連結部材110Bは、横方向X1に離れた複数の支柱部材110Aの上端を互いに連結する。また、連結部材110Bは、縦方向Y1に離れた複数の支柱部材110Aを互いに連結する。
被覆材111は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材111は、例えば、フレーム110の外側から当該フレーム110の全体を覆っている。言い換えれば、被覆材111は、支柱部材110Aの外側、連結部材110Bの外側に配置されている。
【0015】
機器102は、作物2を栽培する際に使用する様々な機器であって、ハウス101内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器102は、換気扇102A、循環扇102B、熱交換装置102C等である。図12図13に示すように、換気扇102Aは、ハウス101の出入口130側に設置され、外部の空気をハウス101内の空気を外部に排出したり、外部の空気をハウス101内に取り入れる。
【0016】
循環扇102Bは、ハウス101内に設置されていて、ハウス101内の空気を所定の方向に循環させる。熱交換装置102Cはハウス101の温度を変更可能な装置であり、例えば、ヒートポンプ構成されている。上述した機器102は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
農業用ロボット1は、施設100内において、栽培場所105で栽培された作物2に対して様々な農作業、例えば、作物2の収穫、肥料散布、農薬散布などの農作業を行う。農業用ロボット1は、自立型のロボットである。
【0017】
図1図8は、農業用ロボット1を示している。図8は、農業用ロボットの支援システムを示している。
以下、農業用ロボット1及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、図1図2に矢印A1で示す方向を前方、矢印A2で示す方向を後方、矢印A3で示す方向を前後方向として説明する。したがって、図2に矢印B1で示す方向(図1の手前側)が左方であり、図2に矢印B2で示す方向(図1の奥側)が右方である。また、前後方向A3に直交する水平方向を機体幅方向(図2の矢印B3方向)として説明する。
【0018】
図1に示すように、農業用ロボット1は、自律走行する走行体3を有している。走行体3は、機体6と、機体6を走行可能に支持する走行装置7とを有している。
図3図4に示すように、機体6は、メインフレーム6Aと、原動機フレーム6Bとを有している。メインフレーム6Aは、機体幅方向B3で間隔をあけて配置された一対の第1フレーム6Aaと、各第1フレーム6Aaの下方に間隔をあけて配置された一対の第2フレーム6Abとを有している。第1フレーム6Aaと第2フレーム6Abとは、複数の縦フレーム6Acによって連結されている。縦フレーム6Acは、左の第1フレーム6Aaと左の第2フレーム6Abとの前部間、右の第1フレーム6Aaと右の第2フレーム6Abとの前部間、左の第1フレーム6Aaと左の第2フレーム6Abとの後部間、右の第1フレーム6Aaと右の第2フレーム6Abとの後部間に設けられている。
【0019】
左の第1フレーム6Aaと右の第1フレーム6Aaとは、第1フレーム6Aa間に配置された第1横フレーム6Ad~第5横フレーム6Ahによって連結されている。第1横フレーム6Ad~第5横フレーム6Ahは、第1フレーム6Aaの前端から後端にわたって前後方向A3で間隔をあけて並行状に配置されている。
第2フレーム6Abの前部同士は、第6横フレーム6Ajによって連結され、第2フレーム6Abの後部同士は、第7横フレーム6Akによって連結されている。
【0020】
原動機フレーム6Bは、メインフレーム6Aの下方側に配置されている。原動機フレーム6Bは、前フレーム6Baと、後フレーム6Bbと、複数の連結フレーム6Bcと、複数の取付フレーム6Bdとを有している。前フレーム6Baは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。後フレーム6Bbは、上部が、左及び右の第2フレーム6Abの前部に取り付けられている。複数の連結フレーム6Bcは、前フレーム6Baと後フレーム6Bbの下部間を連結している。複数の取付フレーム6Bdは、連結フレーム6Bcの前後方向A3中央部に固定されている。
【0021】
図4に示すように、取付フレーム6Bdには、原動機(エンジン)E1が取り付けられている。原動機E1には、油圧ポンプP1が取り付けられている。油圧ポンプP1は、原動機E1で駆動される。また、原動機フレーム6Bには、油圧ポンプP1から吐出する作動油を貯留する作動油タンク(図示省略)が搭載されている。
図5に示すように、メインフレーム6A(機体6)には、走行装置7を制御する複数のコントロールバルブ(第1コントロールバルブCV1~第4コントロールバルブCV4)が搭載されている。
【0022】
図1図2図5に示すように、走行装置7は、4輪の車輪8を有する車輪型(4輪型)の走行装置7で構成されている。詳しくは、走行装置7は、機体6前部の左側に配置された第1車輪8La(左前輪)と、機体6前部の右側に配置された第2車輪8Ra(右前輪)と、機体6後部の左側に配置された第3車輪8Lb(左後輪)と、機体6後部の右側に配置された第4車輪8Rb(右後輪)とを備えている。なお、走行装置7は、少なくとも3輪の車輪8を有する車輪型走行装置で構成されていてもよい。また、走行装置7は、クローラ型の走行装置であってもよい。
【0023】
走行装置7は、車輪8を支持する車輪支持体9を有している。車輪支持体9は、車輪8に対応する数設けられている。つまり、走行装置7は、第1車輪8Laを支持する第1車輪支持体9La、第2車輪8Raを支持する第2車輪支持体9Ra、第3車輪8Lbを支持する第3車輪支持体9Lb及び第4車輪8Rbを支持する第4車輪支持体9Rbを有している。
【0024】
図5図6に示すように、車輪支持体9は、走行フレーム10と、操向シリンダC1と、第1昇降シリンダC2と、第2昇降シリンダC3と、走行モータM1とを有している。
走行フレーム10は、主支持体10Aと、揺動フレーム10Bと、車輪フレーム10Cとを有している。主支持体10Aは、機体6に縦軸(上下方向に延伸する軸心)回りに可能に支持されている。詳しくは、主支持体10Aは機体6に固定された支持ブラケット11に上下方向に延伸する軸心を有する第1支軸12Aを介して回動可能に支持されている。
【0025】
図5に示すように、第1車輪支持体9Laを枢支する支持ブラケット11は機体6の前部左側に設けられ、第2車輪支持体9Raを枢支する支持ブラケット11は機体6の前部右側に設けられ、第3車輪支持体9Lbを枢支する支持ブラケット11は機体6の後部左側に設けられ、第4車輪支持体9Rbを枢支する支持ブラケット11は機体6の後部右側に設けられている。
【0026】
揺動フレーム10Bは、主支持体10Aに上下揺動可能に支持されている。詳しくは、揺動フレーム10Bは、上部が主支持体10Aに第2支軸12Bを介して横軸(機体幅方向B3に延伸する軸心)回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの揺動フレーム10Bは前上部が主支持体10Aに枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの揺動フレーム10Bは後上部が主支持体10Aに枢支されている。
【0027】
車輪フレーム10Cは、揺動フレーム10Bに上下揺動可能に支持されている。詳しくは、車輪フレーム10Cは、揺動フレーム10Bに第3支軸12Cを介して横軸回りに回動可能に支持されている。
第1車輪支持体9La及び第2車輪支持体9Raの車輪フレーム10Cは後部が揺動フレーム10Bの後部に枢支され、第3車輪支持体9Lb及び第4車輪支持体9Rbの車輪フレーム10Cは前部が揺動フレーム10Bの前部に枢支されている。
【0028】
操向シリンダC1、第1昇降シリンダC2及び第2昇降シリンダC3は、油圧シリンダによって構成されている。
操向シリンダC1は、機体6と主支持体10Aとの間に設けられている。詳しくは、操向シリンダC1の一端は、第1フレーム6Aaの前後方向A3中央部に固定されたシリンダブラケット14Aに枢支され、操向シリンダC1の他端は、主支持体10Aに固定されたシリンダブラケット14Bに枢支されている。操向シリンダC1を伸縮することにより走行フレーム10が第1支軸12A回りに揺動し、車輪8(第1車輪8La~第4車輪8Rb)の向きを変更する(操向する)ことができる。本実施形態の走行装置7にあっては、各車輪8を独立して操向可能である。
【0029】
第1昇降シリンダC2は、一端が揺動フレーム10Bに枢支され、他端が第1リンク機構15Aに枢支されている。第1リンク機構15Aは、第1リンク15aと第2リンク15bとを有している。第1リンク15aの一端は、主支持体10Aに枢支され、第2リンク15bの一端は揺動フレーム10Bに枢支されている。第1リンク15aと第2リンク15bとの他端は、第1昇降シリンダC2の他端に枢支されている。第1昇降シリンダC2を伸縮することにより揺動フレーム10Bが第2支軸12B回りに上下揺動する。
【0030】
第2昇降シリンダC3は、一端が揺動フレーム10Bの前部に枢支され、他端が第2リンク機構15Bに枢支されている。第2リンク機構15Bは、第1リンク15cと第2リンク15dとを有している。第1リンク15cの一端は、揺動フレーム10Bに枢支され、第2リンク15dの一端は車輪フレーム10Cに枢支されている。第1リンク15cと第2リンク15dとの他端は、第2昇降シリンダC3の他端に枢支されている。第2昇降シリンダC3を伸縮することにより車輪フレーム10Cが第3支軸12C回りに上下揺動する。
【0031】
第1昇降シリンダC2による揺動フレーム10Bの上下揺動と、第2昇降シリンダC3による車輪フレーム10Cの上下揺動とを組み合わせることによって車輪8を平行状に昇降させることができる。
走行モータM1は、油圧モータによって形成されている。走行モータM1は、各車輪8に対応して設けられている。即ち、走行装置7は、第1車輪8Laを駆動する走行モータM1と、第2車輪8Raを駆動する走行モータM1と、第3車輪8Lbを駆動する走行モータM1と、第4車輪8Rbを駆動する走行モータM1とを有している。走行モータM1は、車輪8の機体幅方向B3の内方に配置され、車輪フレーム10Cに取り付けられている。走行モータM1は、油圧ポンプP1から吐出される作動油によって駆動され、正逆転可能である。走行モータM1を正逆転させることにより、車輪8の回転を正転方向と逆転方向とに切り換えることができる。
【0032】
第2車輪支持体9Ra、第3車輪支持体9Lb及び第4車輪支持体9Rbは、第1車輪支持体9Laを構成する構成部品と同様の構成部品を有している。第2車輪支持体9Raは、第1車輪支持体9Laと左右対称に構成されている。第3車輪支持体9Lbは、第2車輪支持体9Raを機体6の中心を通る上下方向のセンタ軸心回りに180°回転させた形態を呈している。第4車輪支持体9Rbは、第1車輪支持体9Laをセンタ軸心回りに180°回転させた形態を呈している。
【0033】
第1車輪支持体9Laに装備された油圧アクチュエータは、第1コントロールバルブCV1によって制御される。第2車輪支持体9Raに装備された油圧アクチュエータは、第2コントロールバルブCV2によって制御される。第3車輪支持体9Lbに装備された油圧アクチュエータは、第3コントロールバルブCV3によって制御される。第4車輪支持体9Rbに装備された油圧アクチュエータは、第4コントロールバルブCV4によって制御される。
【0034】
したがって、第1車輪8La~第4車輪8Rbは、それぞれ独立的に操向可能である。また、第1車輪8La~第4車輪8Rbは、それぞれ独立的に昇降可能である。
上記走行装置7にあっては、第1車輪8La~第4車輪8Rbを操向操作することで走行体3を操向することができる。第1車輪8La~第4車輪8Rbを正転させることで走行体3を前進させることができ、逆転させることにより走行体3を後進させることができる。第1車輪8La~第4車輪8Rbを昇降することにより走行体3を昇降することができる。第1車輪8La及び第2車輪8Raを第3車輪8Lb及び第4車輪8Rbに対して昇降することにより、或いは、第3車輪8Lb及び第4車輪8Rbを第1車輪8La及び第2車輪8Raに対して昇降することにより、機体6を前傾または後傾させることができる。第1車輪8La及び第3車輪8Lbを第2車輪8Ra及び第4車輪8Rbに対して昇降することにより、或いは、第2車輪8Ra及び第4車輪8Rbを第1車輪8La及び第3車輪8Lbに対して昇降することにより、機体6を、機体幅方向B3の一側が他側よりも高い傾斜状にすることができる。
【0035】
農業用ロボット1は、走行体3に装着されたマニピュレータ(作業部)4を備えている。マニピュレータ(作業部)4は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物2の収穫を行うことが可能な装置である。
図3図4に示すように、マニピュレータ4は、走行体3(機体6)に着脱可能に装着された装着体16と、装着体16に取り付けられたアーム17と、アーム17に設けられていて作物(対象物)2を把持可能なロボットハンド18とを備えている。
【0036】
図1に示すように、装着体16は、本実施形態では、走行体3の後部に設けられている。なお、装着体16は、走行体3の前部に設けられていてもよい。つまり、走行体3における前後方向A3の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット1は、走行体3を前方に進行させて収穫作業を行うので、装着体16は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体16は、箱型に形成されていて走行体3に対して着脱可能である。
【0037】
装着体16には、回動フレーム21が立設されている。回動フレーム21は、装着体16の内部に設けられた回動モータM2によって回動軸心J1の周囲を回動可能である。回動フレーム21を回動させることにより、ロボットハンド18を回動軸心J1を中心とする円周方向に移動(位置変更)させることができる。
図3図4に示すように、アーム17は、回動フレーム21に上下揺動可能に支持されると共に長手方向の中途部で屈伸可能である。アーム17は、メインアーム29とサブアーム30とを有している。
【0038】
メインアーム29は、回動フレーム21に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム29は、回動フレーム21に上下揺動可能に枢支された第1アーム部31と、第1アーム部31に揺動可能に枢支された第2アーム部32とを有し、第1アーム部31に対して第2アーム部32が揺動することで屈伸可能とされている。
第1アーム部31は、基部側31aがアームブラケット26に枢支されている。第1アーム部31は、図3に示すように、第1アームフレーム31L及び第2アームフレーム31Rを有している。第1アームフレーム31L及び第2アームフレーム31Rは、機体幅方向B3で並べて配置され且つ連結パイプ31A等で相互に連結されている。第1アームフレーム31Lと第2アームフレーム31Rとの基部側31a間にアームブラケット26の上部が挿入され、機体幅方向B3に延伸する軸心を有するアーム枢軸33A(第1アーム枢軸という)を介して第1アームフレーム31L及び第2アームフレーム31Rの基部側31aがアームブラケット26に第1アーム枢軸33Aの軸心回りに回動可能に支持されている。
【0039】
第1アームフレーム31L及び第2アームフレーム31Rは中空部材で形成されている。第1アーム部31の長さは、走行体3(機体6)の前後方向A3の長さよりも短く形成されている。
図4に示すように、第1アーム部31は、基部側31aであって且つ第1アーム枢軸33Aよりも先端側31c寄りに、シリンダ取付部31bを有している。このシリンダ取付部31bとシリンダブラケット27のシリンダ取付部27aとにわたって第1アームシリンダ(第1油圧シリンダ)C4が設けられている。第1アームシリンダC4は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第1アームシリンダC4を伸縮させることで第1アーム部31が上下揺動する。第1アーム部31(アーム17)を上下揺動させることにより、ロボットハンド18を昇降させることができる。第1アームシリンダC4には、第1アームシリンダC4のストロークを検出する第1ストロークセンサが設けられている。
【0040】
図4に示すように、第1アーム部31の先端側31cには、枢支部材31Bが固定されている。詳しくは、枢支部材31Bは、基部31Baが第1アームフレーム31Lと第2アームフレーム31Rとの間に挿入されて第1アームフレーム31L及び第2アームフレーム31Rに固定されている。枢支部材31Bの基部31Baの下面側には、シリンダステー34が取り付けられている。枢支部材31Bの先端側31Bbは、第1アームフレーム31L及び第2アームフレーム31Rから前方に突出している。
【0041】
図3に示すように、第2アーム部32の長さは、第1アーム部31の長さよりも長く形成されている。第2アーム部32は、基部側32aが枢支部材31Bの先端側31Bbに枢支されている。第2アーム部32は、第3アームフレーム32L及び第4アームフレーム32Rを有している。第3アームフレーム32L及び第4アームフレーム32Rは、機体幅方向B3で並べて配置され且つ複数の連結プレート35によって相互に連結されている。第3アームフレーム32L及び第4アームフレーム32Rは中空部材で形成されている。第3アームフレーム32Lと第4アームフレーム32Rとの基部側32a間に枢支部材31Bの先端側31Bbが挿入されている。第3アームフレーム32L及び第4アームフレーム32R(第2アーム部32)は、機体幅方向B3に延伸する軸心を有するアーム枢軸(第2アーム枢軸という)33Bによって枢支部材31Bに枢支されている。
【0042】
第2アーム部32の基部側32aであって第2アーム枢軸33Bよりも先端側32b寄りには、シリンダ取付部32cが設けられている。このシリンダ取付部32cとシリンダステー34とにわたって第2アームシリンダ(第2油圧シリンダ)C5が設けられている。第2アームシリンダC5は、走行体3に設けた油圧ポンプP1から吐出される作動油によって駆動されて伸縮する。第2アームシリンダC5を伸縮させることで第1アーム部31に対して第2アーム部32が揺動し、メインアーム29(アーム17)が屈伸(曲げたり伸ばしたりすること)する。なお、本実施形態では、メインアーム29は、最も伸びた状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。
【0043】
また、第2アームシリンダC5を伸縮させることで走行体3に対してロボットハンド18を遠近方向に移動させることができる。詳しくは、第2アームシリンダC5を伸長させることでロボットハンド18を走行体3から遠ざける方向に移動させることができ、第2アームシリンダC5を収縮させることでロボットハンド18を走行体3に近づける方向に移動させることができる。
【0044】
図4に示すように、第2アームシリンダC5には、第2アームシリンダC5のストロークを検出する第2ストロークセンサが設けられている。
サブアーム30は、第2アーム部32に突出及び後退可能に設けられている。したがって、サブアーム30を突出及び後退させることにより、アーム17の長さが伸縮可能である。サブアーム30は、角パイプによって直線状に形成されている。サブアーム30は、第3アームフレーム32Lと第4アームフレーム32Rとの先端側(前部)間に長手方向移動可能に支持されている。また、サブアーム30は、対向する連結プレート35の間に配置されていて連結プレート35にボルト等の固定具によって固定可能とされている。サブアーム30の一側面には、第3アームフレーム32Lに当接する突起30aが設けられ、他側面には、第4アームフレーム32Rに当接する突起30aが設けられている。突起30aによってサブアーム30のがたつきを抑制することができる。
【0045】
サブアーム30は、最も後退させた位置(最後退位置)では、第3アームフレーム32Lと第4アームフレーム32Rとの間に没入する。なお、サブアーム30は、最後退位置で第2アーム部32から若干突出していてもよい。
図4に示すように、サブアーム30の先端側には、吊りプレート37が固定されている。吊りプレート37にロボットハンド18が枢支され、吊り下げられる(図1参照)。つまり、ロボットハンド18は、サブアーム30の先端側に揺動可能に取り付けられる。第2アーム部32の先端側には、サブアーム30の第2アーム部32からの突出量を測定(検出)する第3ストロークセンサが設けられている。
【0046】
図1図2に示すように、ロボットハンド18は、ベース部材18Aと、複数の把持ツメ18Bとを有している。ベース部材18Aの上面側には連結片63が設けられている。連結片63は吊りプレート37に枢支されている。つまり、ロボットハンド18はアーム17に吊り下げられている。複数の把持ツメ18Bは、ベース部材18Aの下面側に揺動可能に取り付けられている。ロボットハンド18は、複数の把持ツメ18Bが揺動することにより、把持ツメ18Bと把持ツメ18Bとの間で作物2を把持することが可能(図2参照)であると共に、把持した作物2を解放することが可能である。
【0047】
図1図2に示すように、農業用ロボット1は、光学式センサ5A、5Bを備えている。光学式センサ5A、5Bは、CCD(Charge Coupled Devices:電荷結合素子)イメージセンサを搭載したCCDカメラ、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサを搭載したCMOSカメラ、赤外線カメラである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。光学式センサ5A、5Bは、レーザセンサ、即ち、ライダー(LiDAR: Light Detection And Ranging)であってもよい。レーザセンサ(ライダー)は、1秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体3周辺の3Dマップを構築することができるセンサである。この実施形態では、光学式センサ5A、5Bは、撮像装置(CCDカメラ、CMOSカメラ、赤外線カメラ)である。
【0048】
光学式センサ5Aは、回動フレーム21に取り付けられている。詳しくは、アームブラケット26の上部に支柱40を介して取り付けられている。これに限定されることはなく、光学式センサ5Aは、走行体3等に取り付けてもよい。また、光学式センサ5Aは複数箇所に設けられていてもよい。つまり、農業用ロボット1は、光学式センサ5Aを複数有していてもよい。光学式センサ5Aは、走行体3の周囲を撮影可能であって、走行体3の周囲の情報を撮影によって取得する。
【0049】
光学式センサ5Bは、第2アーム部32の先端側に取り付けられている。光学式センサ5Bは、作物2を撮像することによって、例えば、作物2の大きさ、形、色、模様(スイカにあっては縞模様)、傷などの品質情報を取得することができる。
図1図2に示すように、農業用ロボット1は、打音センサ50Cを備えている。打音センサ50Cは、作物2に打撃を与えた(作物2を叩いた)ときの打音を取得するセンサである。図7に示すように、打音センサ50Cは、ロボットハンド18(ベース部材18A)に設けられている。
【0050】
打音センサ50Cは、打撃機構51と、録音機構52とを有している。打撃機構51は、把持ツメ18Bで把持された作物2に対して進退可能な打撃部材51Aを有している。打撃部材51Aは、当該打撃部材51Aを軸方向に移動させるアクチュエータ51Bに連結されている。アクチュエータ51Bは、例えば、電動であって、制御信号に応じて打撃部材51Aを軸方向に移動させることで、作物2に打撃を与えて打音を発生させる。録音機構52は、マイク(高指向性マイク)を有し、打撃部材51Aで作物2を打撃することによって発生した打音を録音(記録)する。
【0051】
図8に示すように、農業用ロボット1は、制御装置41を有している。制御装置41は、例えば、CPU(Central Processing Unit)、EEPROM(Electrically Erasable Programmable Read-Only Memory)などを備えたマイクロコンピュータ等である。
制御装置41には、光学式センサ5A、5B、打音センサ50C、走行モータM1、回動モータM2が接続されている。また、制御装置41には、複数の制御弁42が接続されている。制御弁42は、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D、第5制御弁42Eを含んでいる。
【0052】
第1制御弁42Aは、操向シリンダC1を制御する弁、第2制御弁42Bは、第1昇降シリンダC2を制御する弁、第3制御弁42Cは、第2昇降シリンダC3を制御する弁、第4制御弁42Dは、第1アームシリンダC4を制御する弁、第5制御弁42Eは、第2アームシリンダC5を制御する弁である。
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、例えば、制御装置41からの制御信号に基づいて作動する電磁弁である。より詳しくは、第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eは、制御信号によって複数の位置に切り換わる電磁弁(3位置切換電磁弁)である。
【0053】
制御装置41が第1制御弁42Aに制御信号を出力すると、制御信号に応じて第1制御弁42Aが所定位置に切り換わる。制御装置41が第2制御弁42Bに制御信号を出力すると、制御信号に応じて第2制御弁42Bが所定位置に切り換わる。
また、制御装置41が第3制御弁42Cに制御信号を出力すると、制御信号に応じて第3制御弁42Cが所定位置に切り換わる。制御装置41が第4制御弁42Dに制御信号を出力すると、制御信号に応じて第4制御弁42Dが所定位置に切り換わる。制御装置41が第5制御弁42Eに制御信号を出力すると、制御信号に応じて第5制御弁42Eが所定位置に切り換わる。
【0054】
第1制御弁42A、第2制御弁42B、第3制御弁42C、第4制御弁42D及び第5制御弁42Eには、油路46が接続され、当該油路46には、作動油を吐出する油圧ポンプP1が接続されている。
以上によれば、第1制御弁42Aの切り換わりによって、操向シリンダC1のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダC1が伸縮する。第2制御弁42Bの切り換わりによって、第1昇降シリンダC2のボトム側又はロッド側への作動油の供給が切り換わり、第1昇降シリンダC2が伸縮する。第3制御弁42Cの切り換わりによって、第2昇降シリンダC3のボトム側又はロッド側への作動油の供給が切り換わり、第2昇降シリンダC3が伸縮する。
【0055】
また、第4制御弁42Dの切り換わりによって、第1アームシリンダC4のボトム側又はロッド側への作動油の供給が切り換わり、第1アームシリンダC4が伸縮する。第5制御弁42Eの切り換わりによって、第2アームシリンダC5のボトム側又はロッド側への作動油の供給が切り換わり、第2アームシリンダC5が伸縮する。
農業用ロボット1は、走行制御部41Aを有している。走行制御部41Aは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
【0056】
走行制御部41Aは、走行装置7を制御する。即ち、走行制御部41Aは、操向シリンダC1(第1制御弁42A)、走行モータM1を制御する。走行制御部41Aは、第1制御弁42Aに制御信号を出力して、操向シリンダC1を伸縮させることによって、走行装置7(機体6)の操舵方向の変更を行う。走行制御部41Aは、走行モータM1に制御信号を出力して、走行モータM1の回転数又は回転方向を変更することにより、走行装置7(機体6)の速度の変更、走行装置7(機体6)の進行方向の変更を行う。
【0057】
また、走行制御部41Aは、機体6の昇降、傾き等の制御を行ってもよい。例えば、走行制御部41Aは、第2制御弁42Bに制御信号を出力して、第1昇降シリンダC2を伸縮することによって、機体6の昇降、傾きの変更を行う。また、走行制御部41Aは、第3制御弁42Cに制御信号を出力して、第2昇降シリンダC3を伸縮することによって、機体6の昇降、傾きの変更を行う。
【0058】
以上のように、走行制御部41Aの制御によって、農業用ロボット1は、施設100など自立走行することができる。
農業用ロボット1は、作業制御部41Bを有している。作業制御部41Bは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
作業制御部41Bは、マニピュレータ(作業部)4を制御する。即ち、作業制御部41Bは、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御する。作業制御部41Bは、第4制御弁42Dに制御信号を出力して、第1アームシリンダC4を伸縮させることによって、第1アーム部31の揺動を行う。作業制御部41Bは、第5制御弁42Eに制御信号を出力して、第2アームシリンダC5を伸縮させることによって、第2アーム部32の揺動を行う。また、作業制御部41Bは、回動モータM2に制御信号を出力することによって、回動モータM2の回転方向を変更することにより、マニピュレータ(作業部)4の回動を行う。
【0059】
以上のように、作業制御部41Bは、ロボットハンド18を任意(所望)の位置に移動させることができる。詳しくは、回動フレーム21の回動による回動軸心J1を中心とする円周方向のロボットハンド18の移動、第1アーム部31の上下揺動によるロボットハンド18の昇降、第2アーム部32の揺動によるロボットハンド18の走行体3に対する遠近方向の移動によって、ロボットハンド18を目的の位置に移動させることができる。
【0060】
作業制御部41Bは、アクチュエータ51B(打撃部材51A)を制御する。例えば、アクチュエータ51Bに制御信号を出力することで、アクチュエータ51Bを作動させ、打撃部材51Aによって作物2に対して打撃を与える制御(打撃制御)を行う。
さて、農業用ロボット1は、光学式センサ5Aによって得られたセンシングデータに基づいて、走行体3(機体6)の位置を判断しながら走行、作業などを行ってもよい。
【0061】
図8に示すように、農業用ロボット1は、場所管理部41Cを有している。場所管理部41Cは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
場所管理部41Cは、光学式センサ5Aで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3(機体6)が位置するか否かを判断する。光学式センサ5Aが撮像装置である場合、センシングデータは、撮像した撮像画像(画像データ)である。光学式センサ5Aがレーザセンサ(ライダー)である場合、光学式センサ5Aからセンシングした対象物(物体)までの距離、方向を含むスキャンデータである。
【0062】
以下、場所管理部41Cにおける処理について詳しく説明する。
図16A図16Bに示すように、場所管理部41Cは、光学式センサ5Aによって得られた撮像画像H1を参照する。場所管理部41Cは、参照した撮像画像H1に施設100を構成する構造物が含まれているか判断する。
例えば、場所管理部41Cは、撮像画像H1に対して画像処理を実行することで、撮像画像H1に、施設100を構成する構造物が含まれているか否かの解析を行う。場所管理部41Cは、ハウス101のフレーム110(支柱部材110A、連結部材110B)、換気扇102A、循環扇102B、熱交換装置102C等の撮像画像H1が含まれているか否かの解析を行う。
【0063】
また、場所管理部41Cは、構造物(フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102C)が含まれている場合、撮像画像H1に示された構造物の形状が施設100内から見た形状(第1プロファイリング)R1と同じであるかを判断する。場所管理部41Cは、撮像画像H1の構造物において、当該構造物の輪郭、凹凸、表面の色(グラデーション)などのから得られる形状(プロファイリング)が、施設100内から見た第1プロファイリングR1と同じであるか否かを判断する。
【0064】
具体的には、場所管理部41Cは、学習済みのモデルと、撮像画像H1とに基づいて、撮像画像H1に示された構造物の形状が第1プロファイリングR1であるか否かを判断する。学習済みのモデルとは、複数のセンシングデータ(撮像画像H1)を用意して、人工知能(AI)による深層学習によって得られたモデルであり、所定の撮像画像H1から抽出された構造物の形状が、施設100内から見た構造物の形状であるかを判断することができるモデルである。
【0065】
学習済みモデルを構築するためには、図9に示すように、施設100内において、農業用ロボット1を栽培場所105の間の通路106に走行させながら、光学式センサ5Aで複数のセンシングデータ(撮像画像H1)を取得するデータ取得作業を行う。データ取得作業では、農業用ロボット1で実際に行う農作業を想定して、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させながら複数のセンシングデータ(撮像画像H1)を取得する。
【0066】
そして、複数のセンシングデータ(撮像画像H1)を、制御装置41に格納して、人工知能(AI)による深層学習を実行し、学習済みモデルを構築する(モデル構築作業)。
なお、上述した実施形態では、モデル構築作業において、農業用ロボット1が複数のセンシングデータ(撮像画像H1)を取得することによって、学習済みモデルを構築させているが、複数のセンシングデータ(撮像画像H1)を農業用ロボット1とは別のコンピュータに送信して、当該コンピュータによってモデルを構築し、構築した学習済みモデルを、制御装置41に格納してもよい。
【0067】
また、上述した実施形態では、実際に農業用ロボット1を、施設100内を走行させたときの撮像画像H1を用いて学習済みモデルを構築したが、構造物(フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102C)の撮像画像を、様々なデータベースから制御装置41又はコンピュータに取り込み、取り込んだデータベースの撮像画像を用いて学習済みモデルを構築してもよい。
【0068】
また、図10Aに示すように、学習済みモデルを構築するためのセンシングデータ(撮像画像H1)は、施設100で作物2を栽培する時期に分けて、グループ化しておき、グループ化されたセンシングデータ(撮像画像H1)毎に、学習済みモデルを構築してもよい。
例えば、図10Aに示すように、第1グループG1は、作物2を栽培する前の施設100内のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2の画像が含まれていない。第2グループG2は、作物2を栽培した初期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した初期の画像が含まれている。
【0069】
第3グループG3は、作物2を栽培した中期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した中期の画像が含まれている。第4グループG4は、作物2を栽培した後期のセンシングデータ(撮像画像H1)であり、当該センシングデータ(撮像画像H1)には、作物2が成長した後期の画像が含まれている。
【0070】
したがって、第1グループG1のセンシングデータで得られた学習済みモデル(第1モデル)は、作物2が施設100に存在しないときの構造物の形状を判断するモデルである。また、第2グループG2のセンシングデータで得られた学習済みモデル(第2モデル)は、作物2の栽培が初期であるときの構造物の形状を判断するモデルである。第3グループG3のセンシングデータで得られた学習済みモデル(第3モデル)は、作物2の栽培が中期であるときの構造物の形状を判断するモデルである。第4グループG4のセンシングデータで得られた学習済みモデル(第4モデル)は、作物2の栽培が後期であるときの構造物の形状を判断するモデルである。
【0071】
場所管理部41Cは、現在のセンシングデータ(撮像画像H1)を、学習済みのモデル(第1モデル~第4モデル)に適用して、当該現在のセンシングデータ(撮像画像H1)の構造物の形状が施設100内から見た形状(第1プロファイリングR1)と同じである(形状がほぼ同じである)と判断される場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していると判断し、センシングデータ(撮像画像H1)の構造物の形状が、第1プロファイリングR1の形状と異なる判断した場合、農業用ロボット1(走行体3)が施設100外に位置していると判断する。
【0072】
さて、上述した実施形態では、センシングデータ(撮像画像H1)が施設100の構造物の第1プロファイリングR1であるか否かに基づいて、農業用ロボット1が施設100内に位置しているか否かを判断していたが、これに加え、センシングデータ(撮像画像H1)に作物2の栽培場所105の第2プロファイリングが含まれる場合、走行体3(機体6)が施設100内であると判断してもよい。
【0073】
図8に記載の場所管理部41Cは、図16A図16Bに示すように、センシングデータ(撮像画像H1)に、第1プロファイリングR1に加えて作物2の栽培場所105の第2プロファイリングR2が含まれる場合、農業用ロボット1(走行体3)が施設100内であると判断する。第2プロファイリングR2は、作物2の形状、又は、作物2及び栽培場所105の形状である。
【0074】
上述したように、農業用ロボット1(走行体3)が施設100内であるか否かの判断において、第1プロファイリングR1及び第2プロファイリングR2を用いる場合、図10Bに示すように、例えば、構造物と作物2とが含まれる形状を判断する学習済みモデル(第5モデル)、構造物、作物2及び栽培場所105が含まれる形状を判断する学習済みモデル(第6モデル)を用いる。第5モデル及び第6モデルは、第2グループG2~第4グループG4のセンシングデータから構築すればよい。
【0075】
場所管理部41Cは、センシングデータ(撮像画像H1)を第5モデル又は第6モデルに適用し、当該センシングデータ(撮像画像H1)が、第1プロファイリングR1及び第2プロファイリングR2と一致する(形状が同じである)と判断される場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していると判断する。一方、場所管理部41Cは、走行又は作業開始後、センシングデータ(撮像画像H1)を第5モデル又は第6モデルに適用し、当該センシングデータ(撮像画像H1)が、第1プロファイリングR1及び第2プロファイリングR2と一致しない場合、場所管理部41Cは、農業用ロボット1(走行体3)が施設100内に位置していないと判断する。
【0076】
なお、図10Bに示すように、場所管理部41Cは、例えば、作物2の形状を判断する学習済みモデル(第7モデル)を有していてもよい。第7モデルは、少なくとも作物2が含まれている撮像画像H1を用いて構築することが可能である。例えば、第7モデルは、上述した第2グループG2~第4グループG4のセンシングデータから構築してもよいし、作物2の撮像画像を様々なデータベースから制御装置41又はコンピュータに取り込み、取り込んだデータベースの撮像画像を用いて構築してもよく、限定されない。
【0077】
さて、上述した実施形態では、図16A図16Bに示したように、光学式センサ5Aによって得られたセンシングデータ(撮像画像H1)によって、農業用ロボット1(走行体3)が施設100内に位置しているか否かを判断しているが、これに加えて、農業用ロボット1(走行体3)は、センシングデータ(撮像画像H1)に含まれる構造物の形状(第1プロファイリング)及び第2プロファイリング(作物2の形状、又は、作物2の形状及び栽培場所105の形状)に基づいて、自立走行を行っている。
【0078】
まず、走行制御部41Aは、農業用ロボット1(走行体3)が施設100内に位置していると判断された場合、走行モータM1に制御信号等を出力することで、当該農業用ロボット1(走行体3)の走行を開始する。
走行制御部41Aは、走行開始後、図16A図16Bに示したようなセンシングデータ(撮像画像H1)から通路106を抽出する。走行制御部41Aは、走行中(走行開始後)に抽出した通路106(栽培場所105)に沿って、農業用ロボット1(走行体3)が走行するように、操向シリンダC1(第1制御弁42A)を制御する。通路106の判断は、例えば、センシングデータ(撮像画像H1)において、隣接する栽培場所105の間であると判断してもよいし、作物2の間であると判断してもよく、限定されない。
【0079】
また、農業用ロボット1(走行体3)の走行中において、場所管理部41Cは、当該走行中に光学式センサ5Aによって得られたセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、走行中の撮像画像H1内に含まれる構造物が、フレーム110、支柱部材110A、連結部材110B、換気扇102A、循環扇102B、熱交換装置102Cのいずれであるかを判断し、農業用ロボット1(走行体3)と構造物との距離が短い場合、停止指令を走行制御部41Aに出力する。走行制御部41Aは、停止指令を取得した場合、自動的に農業用ロボット1(走行体3)の走行を停止する。
【0080】
或いは、場所管理部41Cは、走行中のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係を判断し、農業用ロボット1(走行体3)の前方又は後方に、障害物が無い場所(走行が可能な場所)を抽出して、農業用ロボット1(走行体3)の走行ルート(進行方向、速度など)を自動的に作成してもよい。この場合、走行制御部41Aは、場所管理部41Cで作成された走行ルートに沿って移動するように、走行の制御を行う。
【0081】
或いは、場所管理部41Cは、走行中のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係から、施設100内における農業用ロボット1(走行体3)の位置(走行体位置)を推定してもよい。
なお、走行制御部41Aによって、農業用ロボット1(走行体3)を施設100内にて自立走行させた場合、制御装置41は、走行中の光学式センサ5Aによって得られた撮像画像H1を取得し、取得した撮像画像H1を用いて、学習済みモデル(第1モデル~第6モデル)の強化学習を行ってもよい。
【0082】
農業用ロボット1は、図8に示すように、マップ生成部41Dを有していてもよい。マップ生成部41Dは、制御装置41に設けられた電気電子回路、当該制御装置41に格納されたプログラム等である。
マップ生成部41Dは、撮像画像H1から得られた第1プロファイリング(構造物の形状)と、第2プロファイリング(作物2の形状、又は、作物2の形状及び栽培場所105の形状)とに基づいて、施設100内のマップを生成する。マップ生成部41Dは、例えば、図9に示したように、作業開始点P11から作業終了点P12まで栽培場所105に沿って農業用ロボット1を走行させたときの複数のセンシングデータ(撮像画像H1)を取得する。マップ生成部41Dは、複数のセンシングデータ(撮像画像H1)から上述した学習済みモデルを用いて、所定位置における構造物、作物、通路の位置関係を推定する。具体的には、マップ生成部41Dは、作業開始点P11から作業終了点P12までの複数の撮像画像H1n(n=1,2,3・・・・n)をそれぞれ参照し、複数の撮像画像H1nに含まれる被写体(構造物、作物2、通路106)をそれぞれ抽出する一方、抽出した被写体(構造物、作物2、通路106)のそれぞれの形状に基づいて、撮像画像H1nが撮像された撮像位置Qn(X座標:Qnx、Y座標:Qny)を推定する。また、マップ生成部41Dは、推定した撮像位置Qnと、撮像画像H1nに描写された被写体(構造物、作物2、通路106)との距離(水平距離)Lnを推定し、図11に示すように、構造物としてハウス101の平面輪郭、作物2の位置及び形状、通路106の位置及び形状が含まれるマップF1を成する。マップ生成部41Dが作成したマップF1は、制御装置41に記憶(保存)される。マップF1は、農業用ロボット1に設けた通信装置を用いて、外部機器(携帯端末、パーソナルコンピュータ、サーバ)等に送信してもよいし、マップF1は、走行制御部41Aに出力したり、作業制御部41Bに出力することによって、走行、作業に用いてもよい。
【0083】
例えば、走行開始後、場所管理部41Cは、走行の開始後のセンシングデータ(撮像画像H1)を、少なくとも第1モデル~第6モデルのいずれかに適用して、撮像画像H1において、構造物、作物2、栽培場所105、通路106のそれぞれの位置関係から、施設100内における農業用ロボット1(走行体3)の位置(走行体位置)を推定し、走行制御部41Aは、走行車体位置とマップF1とを比較して、農業用ロボット1(走行体3)が通路106に沿って移動するように制御する。
【0084】
作業制御部41Bは、農業用ロボット1(走行体3)の自立走行において、光学式センサ5Aのセンシングデータ(撮像画像H1)を参照する。作業制御部41Bは、センシングデータ(撮像画像H1)を第7モデルに適用して、作物2が農業用ロボット1(走行体3)の周囲に存在するか否かを判断する。即ち、作業制御部41Bは、センシングデータ(撮像画像H1)に作物2のプロファイリング(第3プロファイリング)が含まれている場合、農業用ロボット1(走行体3)の周囲に存在すると判断し、第3プロファイリングが含まれていない場合、農業用ロボット1(走行体3)の周囲に存在しないと判断する。
【0085】
作業制御部41Bは、センシングデータ(撮像画像H1)に作物2が映っている場合(第3プロファイリングが含まれる場合)、当該作物2に向けて、第1アームシリンダC4、第2アームシリンダC5、回動モータM2を制御することにより、ロボットハンド18を移動させる。
作業制御部41Bは、例えば、ロボットハンド18で作物2を把持して、当該把持した作物2を通路106側へ移動させることにより、作物2の収穫を行う。或いは、作業制御部41Bは、ロボットハンド18を作物2に近づけた状態(把持した状態)で、図7に示すように、アクチュエータ51Bに制御信号を出力することで、打撃部材51Aによって作物2に対して打撃を与える。
【0086】
図17は、農業用ロボットの一連の動作のフローを示している。
図17に示すように、農業用ロボット1を施設100内において、通路106に沿って走行させ、走行時に光学式センサ5Aが検出したセンシングデータ(撮像画像H1)を取得する(S1)。即ち、農業用ロボット1を施設100内にて走行させることでデータ取得作業を行う(S1)。データ取得作業後は、制御装置41を用いてモデル構築作業を行い学習済みモデル(第1モデル~第7モデル)の構築を行う(S2)。なお、農業用ロボット1において、データ取得作業S1を繰り返し行って、多くのセンシングデータ(撮像画像H1)を取得しておくと、モデルの精度を向上させることができる。
【0087】
学習済みモデルの構築後(S2)、農業用ロボット1にて作業を行う際に、当該農業用ロボット1を自立走行させ(S3)、自立走行時に光学式センサ5Aが検出したセンシングデータ(撮像画像H1)を取得する(S4)。自立走行時の撮像画像H1を取得後、場所管理部41Cは、第1モデル~第7モデルに撮像画像H1を適用して、農業用ロボット1(走行体3)が施設100内に位置しているか否かを判断する(S5)。場所管理部41Cが施設100内に位置していると判断した場合(S5、Yes)、農業用ロボット1は、光学式センサ5Aによってセンシングした撮像画像H1に基づいて施設100内を自立走行する(S6:自立走行)。
【0088】
自立走行S6において、場所管理部41Cは、光学式センサ5Aが検出したセンシングデータ(撮像画像H1)に基づいて走行ルートを作成し、走行制御部41Aは、場所管理部41Cが作成した走行ルートに応じて走行の制御(自立走行の制御)を行う。
或いは、自立走行S6において、場所管理部41Cは、センシングデータ(撮像画像H1)に基づいて、農業用ロボット1(走行体3)の位置(走行体位置)を推定し、走行制御部41Aは、走行車体位置とマップF1とを比較して、農業用ロボット1(走行体3)が通路106に沿って移動するように自立走行の制御を行う。
【0089】
或いは、自立走行S6において、走行制御部41Aは、光学式センサ5Aが検出したセンシングデータ(撮像画像H1)から画像処理により通路106を抽出して、農業用ロボット1(走行体3)が通路106に沿って移動するように自立走行の制御を行う。
また、農業用ロボット1が自立走行S6を行っているとき、作業制御部41Bは、センシングデータ(撮像画像H1)を参照して、作物2が農業用ロボット1の周囲に存在しているときは、ロボットハンド18を制御し、収穫、打音などの作業を行う(S7)。なお、自立走行時に制御装置41に保存されたマップF1を参照して、マップF1から作物の位置を判断してもよい。なお、作業を行っているときは、走行制御部41Aは、自立走行S6を停止する。
【0090】
上述した実施形態では、センシングデータとして、撮像画像H1を例にあげ説明したが、センシングデータは、撮像画像H1に限定されず、レーザセンサ(ライダー)でセンシングすることにより得られたスキャンデータであってもよい。スキャンデータを用いる場合は、上述した実施形態における撮像画像H1を「スキャンデータ」に読み替えれば、スキャンデータを用いた実施形態の説明になるため、スキャンデータの説明は省略する。
【0091】
農業用ロボット1は、走行体3と、走行体3に設けられ、作物に関する作業を行う作業部4と、走行体3に設けられた光学式センサ5A、5Bと、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3が位置するか否かを判断する場所管理部41Cと、を備え、作業部4は、場所管理部41Cによって走行体3が施設100内に位置すると判断した場合に、作業部4に基づいて作物2の作業を行う。
【0092】
農業用ロボット1の支援システムは、走行体3と、走行体3に設けられ作物2に関する作業を行う作業部4と、走行体3に設けられた光学式センサ5A、5Bとを備え、走行体3が施設100内に位置する場合に作業部4に基づいて作物2の作業を行う農業用ロボット1の支援システムであって、光学式センサ5A、5Bで得られたセンシングデータに基づいて、作物2を栽培する施設100内に走行体3が位置するか否かを判断する場所管理部41Cを備えている。
【0093】
これによれば、光学式センサ5A、5Bから得られたセンシングデータによって、走行体3が施設100に位置しているか否かを簡単に把握することができ、農業用ロボット1が簡単に施設100内で作物2の作業を行うことができる。即ち、センシングデータによって、農業用ロボット1が施設100内の状況を簡単に把握することができ、施設100内における農業用ロボットの作業を効率的に行うことができる。
【0094】
場所管理部41Cは、センシングデータに施設100を構成する構造物が含まれ且つ構造物が施設100内から見た第1プロファイリングである場合に、走行体3が施設100内であると判断する。これによれば、施設100内から見た構造物の第1プロファイリングによって簡単に、走行体3が施設100に位置しているか否かを簡単に把握することができる。
【0095】
場所管理部41Cは、センシングデータに、第1プロファイリングに加えて作物2の栽培場所105の第2プロファイリングが含まれる場合に、走行体3が施設100内であると判断する。これによれば、栽培場所105の状態、即ち、栽培場所105で栽培している作物2が生育によって変化しても、簡単に施設100内であるかを判断することができる。
【0096】
農業用ロボット1又は農業用ロボット1の支援システムは、第1プロファイリングと第2プロファイリングとに基づいて、走行体3の走行を制御する走行制御部41Aを備えている。これによれば、走行制御部41Aは、施設100内の構造物及び栽培場所105をセンシングしたときのプロファイリング(第1プロファイリングと第2プロファイリング)を参照しながら、走行体3を施設100内で適正に走行させることができる。
【0097】
農業用ロボット1又は農業用ロボット1の支援システムは、第1プロファイリングと、第2プロファイリングに含まれる作物2に基づいて、施設100内のマップを生成するマップ生成部41Dを備えている。これによれば、施設100内を簡単にマップ(地図)にすることができ、作物2の位置、構造物の位置などを把握することができる。
場所管理部41Cは、学習済みのモデルと、センシングデータとに基づいて、第1プロファイリングであるかを判断する。これによれば、簡単に構造物の形状を把握することができる。
【0098】
場所管理部41Cは、走行体3が施設100内を走行したときのセンシングデータを取得することで、強化学習を行う。これによれば、走行体3によって施設100を走行させるだけで、学習済みモデルの強化学習を行うことができ、学習済みモデルをより精度よりモデルへと構築することができる。
場所管理部41Cは、構造物として施設100を構成するフレーム100のセンシングデータを基づいて走行体3が施設100内に位置しているか否かを判断する。これによれば、フレーム100のセンシングデータによって簡単に、走行体3が施設100内であるかを把握することができる。
【0099】
以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0100】
1 :農業用ロボット
2 :作物
3 :走行体
4 :作業部(マニピュレータ)
5A :光学式センサ
5B :光学式センサ
41A :走行制御部
41C :場所管理部
41D :マップ生成部
100 :施設
105 :栽培場所
F1 :マップ
R1 :第1プロファイリング
R2 :第2プロファイリング
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10A
図10B
図11
図12
図13
図14
図15
図16A
図16B
図17