▶ 日立オムロンターミナルソリューションズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119267
(43)【公開日】2022-08-17
(54)【発明の名称】農業支援システム、移動体、及び農業支援方法
(51)【国際特許分類】
G06Q 50/02 20120101AFI20220809BHJP
G06Q 50/10 20120101ALI20220809BHJP
【ＦＩ】
G06Q50/02
G06Q50/10
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021016256
(22)【出願日】2021-02-04
(71)【出願人】
【識別番号】504373093
【氏名又は名称】日立チャネルソリューションズ株式会社
(74)【代理人】
【識別番号】110002365
【氏名又は名称】特許業務法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】松永 卓也
(72)【発明者】
【氏名】前田 雄希
(72)【発明者】
【氏名】今枝 立至
(72)【発明者】
【氏名】忠政 明博
(72)【発明者】
【氏名】林 晃久
(72)【発明者】
【氏名】西澤 直晃
(72)【発明者】
【氏名】今井 和英
(72)【発明者】
【氏名】岡戸 信二
(72)【発明者】
【氏名】富岡 拓夢
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC01
5L049CC12
(57)【要約】
【課題】農作業者の負担を軽減しつつ、農場や農作物に関する多様なデータを取得する。
【解決手段】農業支援システムは、ネットワークを介して通信可能に接続された、農場内を自律移動する移動体と、サーバと、ユーザの端末とを含んで構成される。移動体は、農場内の通路に沿った移動体の自律移動を制御する制御装置と、移動体の周囲の情報を取得する情報取得装置と、情報取得装置によって取得された移動体の周囲の情報をサーバへ送信する通信部と、を有する。サーバは、移動体から受信した情報に基づいて農場で生育される農作物の状況又は農場の状況を解析する解析部と、農作物の状況又は農場の状況を端末へ送信する通信部と、を有する。端末は、サーバから受信した農作物の状況又は農場の状況を出力する。
【選択図】図１
【解決手段】農業支援システムは、ネットワークを介して通信可能に接続された、農場内を自律移動する移動体と、サーバと、ユーザの端末とを含んで構成される。移動体は、農場内の通路に沿った移動体の自律移動を制御する制御装置と、移動体の周囲の情報を取得する情報取得装置と、情報取得装置によって取得された移動体の周囲の情報をサーバへ送信する通信部と、を有する。サーバは、移動体から受信した情報に基づいて農場で生育される農作物の状況又は農場の状況を解析する解析部と、農作物の状況又は農場の状況を端末へ送信する通信部と、を有する。端末は、サーバから受信した農作物の状況又は農場の状況を出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
ネットワークを介して通信可能に接続された、農場内を自律移動する移動体と、サーバと、ユーザの端末とを含んで構成される農業支援システムであって、
前記移動体は、
前記農場内の通路に沿った前記移動体の自律移動を制御する制御装置と、
前記移動体の周囲の情報を取得する情報取得装置と、
前記情報取得装置によって取得された前記移動体の周囲の情報を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記移動体から受信した前記情報に基づいて前記農場で生育される農作物の状況又は前記農場の状況を解析する解析部と、
前記農作物の状況又は前記農場の状況を前記端末へ送信する通信部と、を有し、
前記端末は、
前記サーバから受信した前記農作物の状況又は前記農場の状況を出力する
ことを特徴とする農業支援システム。
前記移動体は、
前記農場内の通路に沿った前記移動体の自律移動を制御する制御装置と、
前記移動体の周囲の情報を取得する情報取得装置と、
前記情報取得装置によって取得された前記移動体の周囲の情報を前記サーバへ送信する通信部と、を有し、
前記サーバは、
前記移動体から受信した前記情報に基づいて前記農場で生育される農作物の状況又は前記農場の状況を解析する解析部と、
前記農作物の状況又は前記農場の状況を前記端末へ送信する通信部と、を有し、
前記端末は、
前記サーバから受信した前記農作物の状況又は前記農場の状況を出力する
ことを特徴とする農業支援システム。
【請求項2】
請求項１に記載の農業支援システムであって、
前記農場は、前記農作物の間に前記通路が整備されており、または、畝と畝間に前記通路が整備されており、
前記移動体において、
前記制御装置は、前記情報に基づく前記農作物の認識または前記畝間の認識と、自己位置推定機能による自己位置推定結果とに基づいて、前記通路に沿った前記移動体の自律移動を制御する
ことを特徴とする農業支援システム。
前記農場は、前記農作物の間に前記通路が整備されており、または、畝と畝間に前記通路が整備されており、
前記移動体において、
前記制御装置は、前記情報に基づく前記農作物の認識または前記畝間の認識と、自己位置推定機能による自己位置推定結果とに基づいて、前記通路に沿った前記移動体の自律移動を制御する
ことを特徴とする農業支援システム。
【請求項3】
請求項１に記載の農業支援システムであって、
前記移動体において、
前記制御装置は、前記情報をエッジ処理して前記サーバへ送信する
ことを特徴とする農業支援システム。
前記移動体において、
前記制御装置は、前記情報をエッジ処理して前記サーバへ送信する
ことを特徴とする農業支援システム。
【請求項4】
請求項１に記載の農業支援システムであって、
前記移動体において、
前記制御装置は、前記情報に基づいて前記通路上の障害物を認識し、前記移動体の自律移動の際、認識した障害物のうち、所定の障害物を回避するように前記移動体を制御する一方で、特定の障害物を回避しないように前記移動体を制御する
ことを特徴とする農業支援システム。
前記移動体において、
前記制御装置は、前記情報に基づいて前記通路上の障害物を認識し、前記移動体の自律移動の際、認識した障害物のうち、所定の障害物を回避するように前記移動体を制御する一方で、特定の障害物を回避しないように前記移動体を制御する
ことを特徴とする農業支援システム。
【請求項5】
請求項１に記載の農業支援システムであって、
前記サーバにおいて、
前記解析部は、前記農作物の状況又は前記農場の状況を前記農場の地図上に表示するための表示データを生成し、
前記通信部は、前記表示データを前記端末へ送信し、
前記端末は、
前記サーバから受信した前記表示データに基づいて前記農場の地図上に前記農作物の状況又は前記農場の状況を表示する
ことを特徴とする農業支援システム。
前記サーバにおいて、
前記解析部は、前記農作物の状況又は前記農場の状況を前記農場の地図上に表示するための表示データを生成し、
前記通信部は、前記表示データを前記端末へ送信し、
前記端末は、
前記サーバから受信した前記表示データに基づいて前記農場の地図上に前記農作物の状況又は前記農場の状況を表示する
ことを特徴とする農業支援システム。
【請求項6】
請求項５に記載の農業支援システムであって、
前記サーバにおいて、
前記解析部は、前記農作物の状況及び前記農場の状況を、前記農場の地図上にカラースケール表示するための前記表示データを生成する
ことを特徴とする農業支援システム。
前記サーバにおいて、
前記解析部は、前記農作物の状況及び前記農場の状況を、前記農場の地図上にカラースケール表示するための前記表示データを生成する
ことを特徴とする農業支援システム。
【請求項7】
請求項５に記載の農業支援システムであって、
前記農作物の状況は、収穫時期、生育状況、収穫可能数量、又は病害虫被害状況であり、
前記農場の状況は、土中水分量、設備損傷、又は前記農場内における他の前記移動体の位置情報である
ことを特徴とする農業支援システム。
前記農作物の状況は、収穫時期、生育状況、収穫可能数量、又は病害虫被害状況であり、
前記農場の状況は、土中水分量、設備損傷、又は前記農場内における他の前記移動体の位置情報である
ことを特徴とする農業支援システム。
【請求項8】
請求項５に記載の農業支援システムであって、
前記サーバにおいて、
前記解析部は、前記農作物の状況及び前記農場の状況における対象の死角を補完する補完情報を付加して前記表示データを生成する
ことを特徴とする農業支援システム。
前記サーバにおいて、
前記解析部は、前記農作物の状況及び前記農場の状況における対象の死角を補完する補完情報を付加して前記表示データを生成する
ことを特徴とする農業支援システム。
【請求項9】
請求項５に記載の農業支援システムであって、
前記サーバにおいて、
前記解析部は、前記移動体から受信した前記情報と、外部から取得した外部情報とを連携させて将来の前記農作物の生育状況又は前記農場の状況を予測し、予測結果を表示するための前記表示データを生成する
ことを特徴とする農業支援システム。
前記サーバにおいて、
前記解析部は、前記移動体から受信した前記情報と、外部から取得した外部情報とを連携させて将来の前記農作物の生育状況又は前記農場の状況を予測し、予測結果を表示するための前記表示データを生成する
ことを特徴とする農業支援システム。
【請求項10】
請求項５に記載の農業支援システムであって、
前記端末は、
前記ユーザによって入力された前記農作物の状況又は前記農場の状況の詳細情報の要求を受け付け、
前記要求を前記サーバへ送信し、
前記サーバは、
前記端末から前記要求を受信すると、該要求に該当する詳細情報を前記端末へ送信し、
前記端末は、
前記サーバから受信した詳細情報を表示する
ことを特徴とする農業支援システム。
前記端末は、
前記ユーザによって入力された前記農作物の状況又は前記農場の状況の詳細情報の要求を受け付け、
前記要求を前記サーバへ送信し、
前記サーバは、
前記端末から前記要求を受信すると、該要求に該当する詳細情報を前記端末へ送信し、
前記端末は、
前記サーバから受信した詳細情報を表示する
ことを特徴とする農業支援システム。
【請求項11】
請求項１０に記載の農業支援システムであって、
前記サーバは、
前記要求に該当する詳細情報を保持していない場合には、前記移動体を制御し、前記農場内を自律移動させて該詳細情報を取得させて前記サーバへ送信させ、
前記移動体から受信した詳細情報を前記端末へ送信する
ことを特徴とする農業支援システム。
前記サーバは、
前記要求に該当する詳細情報を保持していない場合には、前記移動体を制御し、前記農場内を自律移動させて該詳細情報を取得させて前記サーバへ送信させ、
前記移動体から受信した詳細情報を前記端末へ送信する
ことを特徴とする農業支援システム。
【請求項12】
請求項１に記載の農業支援システムであって、
前記サーバは、
前記ユーザによって前記端末から入力された操作指示、又は、予め定められたスケジュールに従って前記移動体を制御する移動体制御部を有する
ことを特徴とする農業支援システム。
前記サーバは、
前記ユーザによって前記端末から入力された操作指示、又は、予め定められたスケジュールに従って前記移動体を制御する移動体制御部を有する
ことを特徴とする農業支援システム。
【請求項13】
請求項１２に記載の農業支援システムであって、
前記端末は、
前記ユーザによる前記スケジュールの入力を受け付け、入力された該スケジュールを前記サーバへ送信する
ことを特徴とする農業支援システム。
前記端末は、
前記ユーザによる前記スケジュールの入力を受け付け、入力された該スケジュールを前記サーバへ送信する
ことを特徴とする農業支援システム。
【請求項14】
ネットワークを介してサーバと通信可能に接続され、農場内を自律移動する移動体であって、
前記移動体の周囲の情報を取得する情報取得装置と、
前記情報に基づく前記農場内の通路の認識と自己位置推定機能による自己位置推定結果とに基づいて、前記通路に沿った前記移動体の自律移動を制御する制御装置と、
前記情報取得装置によって取得された前記移動体の周囲における前記農場の情報及び前記農場内で生育されている農作物の情報を前記サーバへ送信する通信部と
を有することを特徴とする移動体。
前記移動体の周囲の情報を取得する情報取得装置と、
前記情報に基づく前記農場内の通路の認識と自己位置推定機能による自己位置推定結果とに基づいて、前記通路に沿った前記移動体の自律移動を制御する制御装置と、
前記情報取得装置によって取得された前記移動体の周囲における前記農場の情報及び前記農場内で生育されている農作物の情報を前記サーバへ送信する通信部と
を有することを特徴とする移動体。
【請求項15】
ネットワークを介して通信可能に接続された、農場内を自律移動する移動体と、サーバと、ユーザの端末とを含んで構成される農業支援システムが行う農業支援方法あって、
前記移動体が、
前記農場内の通路に沿った前記移動体の自律移動を制御し、
前記移動体の周囲の情報を取得し、
取得した前記移動体の周囲の情報を前記サーバへ送信し、
前記サーバが、
前記移動体から受信した前記情報に基づいて前記農場で生育される農作物の状況又は前記農場の状況を解析し、
前記農作物の状況又は前記農場の状況を前記端末へ送信し、
前記端末が、
前記サーバから受信した前記農作物の状況又は前記農場の状況を出力する
各処理を有することを特徴とする農業支援方法。
前記移動体が、
前記農場内の通路に沿った前記移動体の自律移動を制御し、
前記移動体の周囲の情報を取得し、
取得した前記移動体の周囲の情報を前記サーバへ送信し、
前記サーバが、
前記移動体から受信した前記情報に基づいて前記農場で生育される農作物の状況又は前記農場の状況を解析し、
前記農作物の状況又は前記農場の状況を前記端末へ送信し、
前記端末が、
前記サーバから受信した前記農作物の状況又は前記農場の状況を出力する
各処理を有することを特徴とする農業支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、農業支援システム、移動体、及び農業支援方法に関する。
【背景技術】
【0002】
近年、農作業の省力化や効率化を図り、既存の農業従事者の作業負荷を軽減すると共に、新規就農者の参入を促して農業技術の継承につなげる試みとして、スマート農業の導入が進められている。スマート農業では、ロボット技術や情報通信技術を活用して、農作業の省力化や効率化等を実現する。
【0003】
例えば特許文献１には、農場や農作業ロボット等に配置されたカメラやセンサによって取得されたデータをサーバで解析し、農作業者及び農作業ロボットの作業を支援するための情報を出力するシステムが開示されている。特許文献１によれば、農場内を移動する農作業ロボットによって取得された農場や農作物に関する様々なデータに基づいて、農作業者及び農作業ロボットによる農作業を支援できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１９－８２７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら上記従来技術では、農作業ロボットは、農場における農作業者の作業状況をカメラによって撮影することを目的とすることから、農作業者の後方等に位置して農作業者と共に移動する。このため、農作業ロボットが農場や農作物に関するデータを取得する際には、農作業者が農場で作業していることが前提であり、農作業者が作業していない間はデータを取得することができず、農作業者の負担を軽減できないという問題がある。
【0006】
本発明は、上記を考慮してなされたものであり、農作業者の負担を軽減しつつ、農場や農作物に関する多様なデータを取得できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明では、ネットワークを介して通信可能に接続された、農場内を自律移動する移動体と、サーバと、ユーザの端末とを含んで構成される農業支援システムであって、前記移動体は、前記農場内の通路に沿った前記移動体の自律移動を制御する制御装置と、前記移動体の周囲の情報を取得する情報取得装置と、前記情報取得装置によって取得された前記移動体の周囲の情報を前記サーバへ送信する通信部と、を有し、前記サーバは、前記移動体から受信した前記情報に基づいて前記農場で生育される農作物の状況又は前記農場の状況を解析する解析部と、前記農作物の状況又は前記農場の状況を前記端末へ送信する通信部と、を有し、前記端末は、前記サーバから受信した前記農作物の状況又は前記農場の状況を出力することを特徴とする。
【発明の効果】
【0008】
本発明によれば、農作業者の負担を軽減しつつ、農場や農作物に関する多様なデータを取得できる。
【図面の簡単な説明】
【0009】
【図1】農業支援システムの構成図。
【図2】ロボットの機能ブロック図。
【図3】ロボットの外観図。
【図4】ロボットが走行する農場の平面図。
【図5】ロボットが農場の畝間を走行する様子を示す図。
【図6】ロボットが農場の畝間を走行する際の農作物の認識を示す図。
【図7A】ロボットの監視装置によって取得される取得情報を説明するための図。
【図7B】ロボットの監視装置によって取得される取得情報のデータフォーマットを示す図。
【図8A】ロボットの外部センサ及び内部センサによって取得される取得情報を説明するための図。
【図8B】ロボットの外部センサ及び内部センサによって取得される取得情報のデータフォーマットを示す図。
【図9】サーバの機能ブロック図。
【図10】端末の機能ブロック図。
【図11】ロボットの農場巡回を中心とする処理を示すシーケンス図。
【図12】ロボットの自律走行処理を示すフローチャート。
【図13】ロボットのバッテリーチェック処理を示すフローチャート。
【図14】ロボットの業務遂行処理を中心とする処理を示すシーケンス図。
【図15】端末の待ち受け画面を示す図。
【図16】端末の生育状況表示画面を示す図。
【図17A】端末の収穫可能数表示画面を示す図。
【図17B】端末の収穫可能数表示画面の詳細表示を示す図。
【図18A】端末の病害虫被害状況表示画面を示す図。
【図18B】端末の病害虫被害状況表示画面の詳細表示を示す図。
【図19】端末の土中水分量表示画面を示す図。
【図20】端末のマルチシート剥がれ状況表示画面を示す図。
【図21】端末のロボット位置一覧表示画面を示す図。
【図22】端末のスケジュール表示画面を示す図。
【発明を実施するための形態】
【0010】
以下、図面に基づいて本発明の実施形態を説明する。以下の実施形態の説明及び各図は一例に過ぎず、本発明を限定するものではない。図示の各要素の数は一例であり、単数として示す要素が複数であっても、複数として示す要素が単数であってもよい。以下の実施形態の各図において、同一符号は、同一あるいは類似の機能を備えた要素又は処理を示し、後出の説明が省略される。また、各実施形態及び各変形例は、本発明の技術思想の範囲内で整合するように一部又は全部を組合せることができる。
【0011】
以下の実施形態では、農場は、田、畑、果樹園、牧草地といった農作物を植栽し、畝及び畝間等の通路や、農作物間の通路が整備されている。農場は、付帯設備（温室やビニルハウス等）を含んでもよい。また、農場は、家畜の放牧地や畜舎といった畜産物を生育する設備や場所も含んでもよい。
【0012】
（農業支援システムＳのシステム構成）
図１は、農業支援システムＳの構成図である。農業支援システムＳは、ネットワークＮを介して接続されているロボット１、サーバ２、及び端末３を含んで構成される。サーバ２は、クラウド上のサーバでも、オンプレミスのサーバでも何れでもよい。充電ステーション４は、充電ステーション４で待機中、及び／又は、農場５（図４）内を走行中のロボット１に対して、有線又は無線で電力を供給する。
図１は、農業支援システムＳの構成図である。農業支援システムＳは、ネットワークＮを介して接続されているロボット１、サーバ２、及び端末３を含んで構成される。サーバ２は、クラウド上のサーバでも、オンプレミスのサーバでも何れでもよい。充電ステーション４は、充電ステーション４で待機中、及び／又は、農場５（図４）内を走行中のロボット１に対して、有線又は無線で電力を供給する。
【0013】
（ロボット１の構成）
図２は、ロボット１の機能ブロック図である。図３は、ロボット１の外観図である。ロボット１は、サーバ２及び端末３と連携して、農場５の監視作業を行う移動体であり、農業支援ロボットである。ロボット１は、制御装置１１、監視装置１２、外部センサ１２ａ、内部センサ１２ｂ、通信部１３、アンテナ１３ａ、ＧＮＳＳ（Global Navigation Satellite System）部１４、モータ１５、駆動軸１５ａ、駆動輪１５ｂ、電源部１６、及びバッテリ１６ａを含んで構成される。監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂを、情報取得装置と総称する。
図２は、ロボット１の機能ブロック図である。図３は、ロボット１の外観図である。ロボット１は、サーバ２及び端末３と連携して、農場５の監視作業を行う移動体であり、農業支援ロボットである。ロボット１は、制御装置１１、監視装置１２、外部センサ１２ａ、内部センサ１２ｂ、通信部１３、アンテナ１３ａ、ＧＮＳＳ（Global Navigation Satellite System）部１４、モータ１５、駆動軸１５ａ、駆動輪１５ｂ、電源部１６、及びバッテリ１６ａを含んで構成される。監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂを、情報取得装置と総称する。
【0014】
ロボット１は、図３に例示するように、監視装置１２、及び、一対の駆動軸１５ａのそれぞれの回転が伝達される一対の駆動輪１５ｂを有する。ロボット１は、一対の駆動輪１５ｂを独立に同方向及び逆方向に適切に回転制御されることで、前進、後退、ターン、カーブ走行、進行方向調整、障害物回避、停止等を行う。ロボット１は、各種センサでのセンサ情報取得といった農場及び農作物の監視を行うと共に、駆動輪１５ｂでの踏みつけによる防草を行う。ロボット１は、この例に限らず、複数対の駆動輪や、クローラーを用いてもよい。
【0015】
図２の説明に戻る。制御装置１１は、マイクロプロセッサ等の演算処理装置であり、ロボット１の全体制御を行う。制御装置１１は、外部センサ１２ａによって取得された外部センサデータ、又は、内部センサ１２ｂによって取得された内部センサデータに基づいてモータ１５を制御し、駆動軸１５ａを駆動する。
【0016】
制御装置１１は、監視装置１２によって取得された監視データ、外部センサ１２ａによって取得された外部センサデータ、及び、内部センサ１２ｂによって取得された内部センサデータを、必要に応じてエッジ処理してもよい。エッジ処理は、解析、データ圧縮、又はデータ削減である。例えば、制御装置１１は、農作物の生育状況、病害虫被害、鳥獣被害、盗難被害等に該当する画像を画像認識により選別し、選別した画像のみをサーバ２へ送信する。制御装置１１は、選別しなかった画像を破棄してもよい。
【0017】
また、制御装置１１は、監視装置１２によって取得された監視データ（監視画像）を、畝間５２の認識に用い、畝間５２（図４）の自律走行の際の補助情報としてもよい。
【0018】
また、制御装置１１は、時刻、時間の計測や、割り込み処理を実行するためのタイマ１１１を含む。
【0019】
監視装置１２は、ロボット１の周辺の監視画像（監視データ）を取得するカメラ等である。監視装置１２の取得情報の詳細については、図７Ａを参照して後述する。
【0020】
外部センサ１２ａは、ロボット１の外部の情報（外部センサデータ）を取得するセンサであり、深度センサ（ＬｉＤＡＲ（Light Detection And Ranging）センサ、ＬＡＤＡＲ（Laser Detection And Ranging）センサ、ＴｏＦ（Time of Flight）、ステレオカメラ等)、超音波センサ、近接センサ（赤外線センサ、磁気センサ等）、熱センサ（遠赤外線センサ等）、温度センサ、湿度センサ、ＣＯ２濃度等の気体センサ、及び、照度センサ、を含む。外部センサ１２ａの取得情報の詳細については、図８Ａを参照して後述する。
【0021】
内部センサ１２ｂは、ロボット１の自律移動の制御に用いる情報（内部センサデータ）を取得するセンサであり、ジャイロセンサ、加速度センサ、磁気センサ、温度センサ、電源電圧センサ、バッテリ残量センサ等を含む。内部センサ１２ｂの取得情報の詳細については、図８Ａを参照して後述する。
【0022】
通信部１３は、アンテナ１３ａを介して、外部のコンピュータ（サーバ２等）と無線通信したり、ＧＮＳＳ部１４が自己位置情報を推定するために他のロボットや基地局と通信を行ったりするための通信インターフェースである。
【0023】
ＧＮＳＳ部１４は、測位衛星からロボット１の自己位置情報を取得する。ＧＮＳＳ部１４は、自己位置推定機能の一例である。自己位置推定機能は、測位衛星から取得した自己位置情報と、監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂの取得情報のうちの少なくとも何れかに基づく畝間認識や、ロボット１の機体傾き等の情報とを併用し、また、他のロボットや基地局の情報があれば併用して、ロボット１の現在位置を推定する。
【0024】
モータ１５は、制御装置１１の司令に従って駆動軸１５ａを駆動して駆動輪１５ｂを回転させる。
【0025】
電源部１６は、ロボット１を動作させるために、ロボット１の制御装置１１及び各部に対して、バッテリ１６ａに蓄電された電力を供給する。バッテリ１６ａは、有線又は無線によって充電ステーション４から供給された電力を蓄電する。
【0026】
図４は、ロボット１が走行する農場５の平面図である。本実施形態では、１つの農場５に対して１台のロボット１が監視を担当するとする。しかし、これに限らず、１つの農場５に対して、複数台のロボット１がエリアを分割して監視を担当してもよい。あるいは、１つの農場５に対して、収集データ又は機能が異なる複数台のロボット１が監視を担当してもよい。
【0027】
農場５は、ロボット１のホームポジションとなる充電ステーション４、農作物が植栽される畝５１、及び畝間５２を有する。果樹園などの様に畝５１が無く農作物の間に通路がある場合もある。畝５１は、土壌が剥き出しの場合や、農作物や土壌の保護等のためのマルチシートや不織布、刈り取った植物などで覆われている場合がある。
【0028】
畝５１及び畝間５２は、トラクタ等を使って整備され、畝間５２をロボット１が走行可能である。本実施形態では、隣接する畝５１の間を畝間５２とする。ロボット１は、１回の巡回走行において、図４に矢印で順路を示すように、充電ステーション４を出発し、農作物に乗り上げないように農作物の間や、畝５１に乗り上げないように畝間５２を通路としてデータ収集しながら走行する。ロボット１は、畝５１の端部を検出するとターンして隣の畝５１へ移って畝間５２をデータ収集しながら走行することを繰り返し、最後に充電ステーション４に戻る。
【0029】
図５は、ロボット１が農場５の畝間５２を走行する様子を示す図である。図６は、ロボット１が農場５の畝間５２を走行する際の農作物の認識を示す図である。ロボット１は、畝５１に植栽されている農作物を、例えば図６に示す矩形領域のように画像認識する。サーバ２は、ロボット１で認識された画像の解析により、農場の状況監視（農作物の生育状況や病害虫被害、鳥獣被害、盗難被害等）を検知し、端末３のユーザへ任意の時間に、またはリアルタイムで通知される。
【0030】
（ロボット１によって取得される取得情報）
図７Ａ及び図７Ｂを参照して、ロボット１の監視装置１２によって取得される取得情報を説明する。図７Ａは、ロボット１の監視装置１２によって取得される取得情報を説明するための図である。図７Ｂは、ロボット１の監視装置１２によって取得される取得情報のデータフォーマットを示す図である。
図７Ａ及び図７Ｂを参照して、ロボット１の監視装置１２によって取得される取得情報を説明する。図７Ａは、ロボット１の監視装置１２によって取得される取得情報を説明するための図である。図７Ｂは、ロボット１の監視装置１２によって取得される取得情報のデータフォーマットを示す図である。
【0031】
監視装置１２は、１又は複数のスチルカメラ及び／又はビデオカメラを含んで構成される。監視装置１２によって取得されるロボット１の周辺の監視画像には、畝５１に植栽されている農作物、畝間５２を走行するロボット１の走行を妨害する障害物、及び、畝５１の各画像（静止画像及び／又は動画像）が含まれる。
【0032】
農作物の画像に基づく取得情報は、農作物の種類、大きさ（生育状況）、茎や葉の色、病害虫の有無や種類等である。障害物の画像に基づく取得情報は、畝間５２に存在する雑草や石等の情報である。雑草は、踏み潰しによる防草対象として認識される。石は、衝突回避対象として認識される。農作物の茎や枝葉も認識される。畝５１の画像に基づく取得情報は、畝５１の形状、及び、畝５１に張られているマルチシートや不織布の状態である。
【0033】
農作物の画像、障害物の画像、及び畝５１の画像に対するリンク情報（対応付けられる情報）は、取得時の位置情報、時刻、ロボット１の方向、ロボット１の傾き、及び取得した高さの情報である。ロボット１の位置情報は、グローバルな位置情報でも、農場５の識別情報と共に示すローカルな位置情報でもよい。
【0034】
農作物の画像、障害物の画像、及び畝５１の画像は、静止画像である場合には図７Ｂ（ａ）に例示するような監視データ１２０１として、ロボット１からサーバ２へ送信される。また、農作物の画像、障害物の画像、及び畝５１の画像は、動画像である場合には図７Ｂ（ｂ）に例示するような監視データ１２０２として、ロボット１からサーバ２へ送信される。サーバ２は、画像データに基づいて、農場５の農作物の生育状態や畝間５２の障害物や畝５１上のマルチシートや不織布の状態等を解析する。
【0035】
農作物の画像の連携情報は、天気予報や外部センサ１２ａの取得情報である。農作物の画像の利用例として、農作物の画像から種類を判別し、生育状況を解析し、端末３を介して生育状況解析結果をユーザに通知したり、リンク情報や連携情報を用いて端末３の農場マップ上で生育状況を可視化したりする例がある。生育状況の解析は、サーバ２によって行われるが、ロボット１の制御装置１１のエッジ処理によって行われてもよい。
【0036】
障害物の画像の連携情報は、外部センサ１２ａの取得情報である。障害物の画像の利用例として、障害物の画像の取得情報から障害物の種類を判別し、障害物回避の制御が行われたり、対処不可の場合に端末３を介してユーザに通知したりする例がある。障害物の種類の判別は、サーバ２によって行われるが、ロボット１の制御装置１１のエッジ処理によって行われてもよい。
【0037】
畝５１の画像の連携情報は、気象予報などである。畝５１の画像の利用例として、畝５１の画像の取得情報から、畝５１の崩れやマルチシートや不織布の破れや剥がれを検出し、端末３を介してユーザに通知する例がある。さらに、予報される気温の低下等と共に端末３を介してユーザに通知する例がある。畝５１の崩れやマルチシートや不織布の破れや剥がれの画像認識は、サーバ２によって行われるが、ロボット１の制御装置１１のエッジ処理によって行われてもよい。
【0038】
図８Ａ及び図８Ｂを参照して、ロボット１の外部センサ１２ａ及び内部センサ１２ｂによって取得される取得情報を説明する。図８Ａは、ロボット１の外部センサ１２ａ及び内部センサ１２ｂによって取得される取得情報を説明するための図である。図８Ｂは、ロボット１の外部センサ１２ａ及び内部センサ１２ｂによって取得される取得情報のデータフォーマットを示す図である。
【0039】
外部センサ１２ａは、深度センサ、超音波センサ、近接センサ、熱センサ、温度センサ、湿度センサ、気温センサ、及び照度センサを含む。深度センサ、超音波センサ、及び近接センサの取得情報は距離情報であり、例えば畝５１との距離や、障害物との距離である。
【0040】
距離情報に対するリンク情報は、取得時の位置情報、時刻、ロボット１の方向、ロボット１の傾き、及び取得した高さの情報である。
【0041】
距離情報の連携情報（連携対象）は、モータ１５である。距離情報の利用例として、距離情報をモータ１５の制御にフィードバックし、畝５１や障害物にぶつからないよう畝間５２を走行し、雑草を踏み潰すよう走行するようにロボット１を制御する例がある。
【0042】
熱センサは、ロボット１の近傍の発熱体を検知する。温度センサは、農場５の気温を検知する。湿度センサは、農場５の湿度を検知する。気体センサは、農場５の気体（農作物の生育に関係する例えばＣＯ２等）の濃度を検知する。照度センサは、農場５の照度を検知する。
【0043】
例えば、気温、湿度、及び照度は、図８Ｂ（ａ）に例示するような外部センサデータ１２１１として、ロボット１からサーバ２へ送信される。外部センサデータ１２１１に含まれる発熱体、気温、湿度、気体の濃度、照度といった環境情報は、適宜選択される。サーバ２は、外部センサデータ１２１１に基づいて、農場５の環境状態を解析する。
【0044】
近傍の発熱体に対するリンク情報は、取得時の位置情報及び時刻である。近傍の発熱体の連携情報（連携対象）は、監視装置１２及びモータ１５である。近傍の発熱体の利用例として、監視装置１２で、熱センサにより検知された発熱体を詳細に確認したり、熱センサにより検知された人や動物等の障害物を検出し回避しながら走行したりする例がある。
【0045】
農場５の気温、農場５の湿度、農場５の気体の濃度、及び農場５の照度に対するリンク情報は、取得時の位置情報及び時刻である。農場５の気温、農場５の湿度、農場５の気体の濃度、及び農場５の照度の利用例として、生育状況の解析結果と連動し、生育状況と共に端末３を介してユーザに通知される例がある。
【0046】
内部センサ１２ｂは、ジャイロセンサ、加速度センサ、磁気センサ、内部温度センサ、及びその他センサを含む。ジャイロセンサの取得情報は、ロボット１の傾きである。加速度センサの取得情報は、ロボット１の速度や移動方向である。磁気センサの取得情報は、地磁気やロボット１の方向である。内部温度センサの取得情報は、ロボット１の内部温度である。その他センサの取得情報は、ロボット１の電源電圧やバッテリ１６ａの残量等である。
【0047】
ロボット１の傾き、ロボット１の移動方向や速度、及び地磁気やロボット１の方向に対するリンク情報は、取得時の位置情報である。ロボット１の内部温度及びロボット１の電源電圧やバッテリ１６ａの残量等に対するリンク情報は、取得時刻である。これらの取得情報の連携情報は、モータ１５である。
【0048】
ロボット１の傾き、ロボット１の移動方向や速度、及び地磁気やロボット１の方向の利用例としては、農作物や障害物や畝５１の側面への乗り上げを検知し、モータ１５の制御へフィードバックし乗り上げを解消し、また、畝５１に完全に乗り上げることを防ぐ例がある。ロボット１の内部温度の利用例としては、異常な温度の場合にロボット１を停止させる例がある。ロボット１の電源電圧やバッテリ１６ａの残量等の利用例としては、電源状況の監視を行い、バッテリ１６ａの残量が少なくなった場合に充電ステーション４に戻る例がある。
【0049】
さらに、例えば、ロボット１の内部温度、電源電圧、及びバッテリ残量は、図８Ｂ（ｂ）に例示するような内部センサデータ１２２１として、ロボット１からサーバ２へ送信される。サーバ２は、内部センサデータ１２２１に基づいて、ロボット１の停止等の遠隔制御を行うこともできる。
【0050】
（サーバ２の構成）
図９は、サーバ２の機能ブロック図である。サーバ２は、管理対象の農場５の全てのロボット１及び端末３と連携して、監視データ１２０１、１２０２（図７Ｂ）に基づいて農場５の農作物の生育状況を解析する。また、サーバ２は、外部センサデータ１２１１（図８Ｂ（ａ））に基づいて農場５の環境を管理する。また、サーバ２は、内部センサデータ１２２１（図８Ｂ（ｂ））に基づいてロボット１の状態を管理する。
図９は、サーバ２の機能ブロック図である。サーバ２は、管理対象の農場５の全てのロボット１及び端末３と連携して、監視データ１２０１、１２０２（図７Ｂ）に基づいて農場５の農作物の生育状況を解析する。また、サーバ２は、外部センサデータ１２１１（図８Ｂ（ａ））に基づいて農場５の環境を管理する。また、サーバ２は、内部センサデータ１２２１（図８Ｂ（ｂ））に基づいてロボット１の状態を管理する。
【0051】
サーバ２は、プロセッサ２１、ストレージ２２、メモリ２３、入出力部２４、及び通信部２５を含んで構成される。プロセッサ２１は、ＣＰＵ（Central Processing Unit）等の演算処理装置である。サーバ２は、ロボット１及び端末３と連携し、ロボット１を制御し、ロボット１が取得した各種データの解析結果をユーザの端末３に提供するための農業支援プログラムを、プロセッサ２１とメモリ２３の協働により実行する。
【0052】
プロセッサ２１は、ロボット制御部２１１、データ取得部２１２、及び解析部２１３を有する。ロボット制御部２１１は、予め定められたスケジュール又は端末３を介したユーザ指示に応じて、ロボット１を起動し、データ収集等を行うべく農場５を自律走行させる制御を行う。自律走行に限らず、自律歩行等の移動方法であってもよい。予め定められたスケジュールは、ストレージ２２に格納されている、又は、外部から入力される。ロボット制御部２１１は、ロボット１が走行した経路及び時刻を記録する。
【0053】
データ取得部２１２は、ロボット１から送信された監視データ１２０１、１２０２、外部センサデータ１２１１、及び内部センサデータ１２２１を受信し、蓄積データ２２２としてストレージ２２に格納する。解析部２１３は、データ取得部２１２によって取得された監視データ１２０１、１２０２、及び外部センサデータ１２１１に基づいて、農場５の農作物の生育状態や、農場５の環境状況を解析する。解析部２１３は、解析結果を、解析データ２２３としてストレージ２２に格納する。また、解析部２１３は、農作物の状況及び農場の状況を端末３の入出力部３４の表示画面に表示するための表示データを生成する。この表示データは、通信部２５を介して端末３へ送信される。
【0054】
ストレージ２２は、補助記憶装置であり、農場マップ２２１、蓄積データ２２２、及び解析データ２２３を格納する。農場マップ２２１は、ロボット１が走行する農場５毎の地図情報（図４）である。農場５の地図情報は、人的作業により予め作成されたデータであってもよいし、航空写真から作成されたデータであってもよいし、ロボット１が農場５を初期走行した際の収集データ（農場５、畝５１及び畝間５２の距離情報等）に基づいて自動作成されたデータであってもよい。
【0055】
蓄積データ２２２は、データ取得部２１２によって取得された監視データ１２０１、１２０２及び外部センサデータ１２１１を農場５毎の時系列で蓄積したデータである。解析データ２２３は、データ取得部２１２によって取得された監視データ１２０１、１２０２、及び外部センサデータ１２１１を解析した解析結果の時系列データである。
【0056】
入出力部２４は、キーボード等の入力装置及びディスプレイ等の出力装置を含む。通信部２５は、サーバ２がネットワークＮに有線又は無線で接続し、ロボット１及び端末３と通信を行うためのインターフェースである。
【0057】
（端末３の構成）
図１０は、端末３の機能ブロック図である。端末３は、農業支援システムＳを利用して農場５での農業を行うユーザの端末であり、例えばタッチパネルを備えたタブレット端末、スマートフォン、あるいはパーソナルコンピュータ等である。ユーザは、端末３がネットワークＮに接続できる限り、場所を問わず、農業支援システムＳを利用できる。
図１０は、端末３の機能ブロック図である。端末３は、農業支援システムＳを利用して農場５での農業を行うユーザの端末であり、例えばタッチパネルを備えたタブレット端末、スマートフォン、あるいはパーソナルコンピュータ等である。ユーザは、端末３がネットワークＮに接続できる限り、場所を問わず、農業支援システムＳを利用できる。
【0058】
端末３は、プロセッサ３１、ストレージ３２、メモリ３３、入出力部３４、及び通信部３５を含んで構成される。端末３は、ロボット１及びサーバ２と連携して農業支援サービスをユーザに提供するための農業支援アプリケーションを、プロセッサ３１とメモリ３３の協働により実行する。
【0059】
プロセッサ３１は、取得部３１１、データ要求部３１２、及びロボット操作受付部３１３を有する。取得部３１１は、サーバ２からプッシュ通知で送信された、端末３のユーザが管理する農場５毎の農作物の生育状況や農場５の環境状況を取得し、解析結果３２１として入出力部３４の表示画面に画面表示すると共に、ストレージ３２に格納する。
【0060】
データ要求部３１２は、解析結果３２１を閲覧したユーザの要求に応じて、サーバ２に対して解析結果３２１の詳細情報（農作物、農場設備等）の要求を送信する。例えばユーザは、端末３の表示画面に表示された農場５の農作物の生育状況や農場５の環境状況に関する詳細情報の要求を端末３へ入力する。データ要求部３１２は、詳細情報の要求を、サーバ２へ送信する。サーバ２は、要求された詳細情報を端末３へ応答する。サーバ２は、要求された詳細情報を保持しない場合は、目的の詳細情報を取得するようにロボット１を制御して移動させて必要情報を収集させ、収集情報を解析することで、詳細情報を端末３へ応答する。
【0061】
ロボット操作受付部３１３は、予め定められたスケジュール外にロボット１を動作させて農場５の農作物や農場設備等の状況を確認するべく端末３へ入力されたユーザ要求をサーバ２へ送信する。つまり、ユーザは、端末３及びサーバ２を介して、任意のタイミングでロボット１を動作させて、目的業務を遂行させることができる。
【0062】
ストレージ３２は、補助記憶装置であり、解析結果３２１を格納する。入出力部３４は、キーボード等の入力装置及びディスプレイ等の出力装置を含む。通信部３５は、端末３がネットワークＮに無線又は有線で接続し、ロボット１及びサーバ２と通信を行うためのインターフェースである。
【0063】
（ロボット１の農場５内の農場巡回処理）
図１１は、ロボット１の農場巡回を中心とする処理を示すシーケンス図である。農場巡回処理は、定期的又は端末３を操作するユーザの指示に応じて実行される。
図１１は、ロボット１の農場巡回を中心とする処理を示すシーケンス図である。農場巡回処理は、定期的又は端末３を操作するユーザの指示に応じて実行される。
【0064】
先ずＳ２０１では、サーバ２（ロボット制御部２１１）は、ロボット１に対して起動指示を送信する。Ｓ１０１では、充電ステーション４で待機中のロボット１（制御装置１１）は、Ｓ２０１の起動指示に応じて起動する。
【0065】
次にＳ１０２では、ロボット１（制御装置１１）は、ロボット１の動作チェックを行う。次にＳ１０３では、ロボット１（制御装置１１）は、ロボット１の動作チェック結果を、サーバ２へ送信する。
【0066】
Ｓ２０２では、サーバ２（ロボット制御部２１１）は、動作チェック結果を受信する。次にＳ２０３では、サーバ２（ロボット制御部２１１）は、Ｓ２０２で動作異常検出を受信した場合（Ｓ２０３Ｙｅｓ）に動作異常を端末３へ送信する。Ｓ３０１では、端末３（取得部３１１）は、動作異常を受信し、入出力部３４の表示画面に表示する。Ｓ２０４が終了すると、サーバ２（ロボット制御部２１１）は、Ｓ２１１へ処理を移す。
【0067】
一方、サーバ２（ロボット制御部２１１）は、Ｓ２０２で動作正常を受信した場合（Ｓ２０３Ｎｏ）にＳ２０５へ処理を移す。Ｓ２０５では、サーバ２（ロボット制御部２１１）は、農場マップ２２１を読み出し、予め定められたスケジュール（不図示）及び目的に従って、ロボット１が農場５内を定期巡回するルートを探索し、決定する。Ｓ２０６では、サーバ２（ロボット制御部２１１）は、Ｓ２０５で決定したルートデータをロボット１へ送信する。
【0068】
Ｓ１０４では、ロボット１（制御装置１１）は、サーバ２からルートデータを受信する。次にＳ１０５では、ロボット１（制御装置１１）は、ルートデータに従って農場５内を自律走行し、監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂを使ってデータ収集する。監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂを使ったデータ収集の際に、端末３からのユーザ操作の割り込みを受け付けて、予め定められた動作以外の動作を行ってもよい。例えば、農作物の画像を取得する際に、予め定められた撮影方向の他、ユーザ操作の割り込みで指定された撮影方向からも農作物の画像を取得する等である。
【0069】
そして、ロボット１（制御装置１１）は、必要に応じてエッジ処理（収集したデータのデータ圧縮及び削減、あるいはロボット１側での解析処理）を行い、処理後のデータをサーバ２へ送信する。データ圧縮及び削減により、ロボット１からサーバ２への送信データ量を削減する。なお、農場５内で複数のロボット１が稼働する場合、複数のロボット１がエッジ側での解析処理を分散協調処理してもよい。
【0070】
Ｓ２０７では、サーバ２（データ取得部２１２）は、Ｓ１０５で送信されたデータをロボット１から受信し、蓄積データ２２２としてストレージ２２に蓄積する。そして、サーバ２（解析部２１３）は、受信したデータを解析し、解析データ２２３をストレージ２２に蓄積する。
【0071】
次にＳ２０８では、サーバ２（解析部２１３）は、Ｓ２０７で解析した解析データ２２３から農場５の異常（農作物や、農場設備、農場環境のトラブル）を検出したか否かを判定する。サーバ２（解析部２１３）は、農場５の異常を検出した場合（Ｓ２０８Ｙｅｓ）に農場異常報告を端末３へ送信する（Ｓ２０９）。ステップＳ３０２では、端末３（取得部３１１）は、動作異常報告を受信し、入出力部３４の表示画面に表示する。S３０２の表示例は、図１５～図２０を参照して後述する。Ｓ２０９が終了すると、サーバ２（解析部２１３）は、Ｓ２１０へ処理を移す。
【0072】
Ｓ２１０では、サーバ２（ロボット制御部２１１）は、ロボット１が農場５の終点（充電ステーション４）へ到着したか否かを判定する。サーバ２（ロボット制御部２１１）は、ロボット１が農場５の終点に到着した場合（Ｓ２１０Ｙｅｓ）に、終了指示をロボット１へ送信する（Ｓ２１１）。Ｓ１０６では、ロボット１（制御装置１１）は、ロボット１の動作を終了する。一方、サーバ２（ロボット制御部２１１）は、ロボット１が農場５の終点に到着していない場合（Ｓ２１０Ｎｏ）に、ステップＳ２０７へ処理を移す。
【0073】
（ロボット１の自律走行処理）
図１２は、ロボット１の自律走行処理を示すフローチャートである。図１２は、Ｓ１０５（図１１）の自律走行の詳細処理である。ロボット１の自律走行には、データ収集及び防草を行う場合や、データ収集を行わず防草のみを行う場合がある。Ｓ１１１では、ロボット１（制御装置１１）は、自律走行の際の機体制御に用いる自律走行用データを取得する。自律走行用データは、ＧＮＳＳ部１４によって取得された自己位置情報、監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂ等によって取得された各種の取得情報である。
図１２は、ロボット１の自律走行処理を示すフローチャートである。図１２は、Ｓ１０５（図１１）の自律走行の詳細処理である。ロボット１の自律走行には、データ収集及び防草を行う場合や、データ収集を行わず防草のみを行う場合がある。Ｓ１１１では、ロボット１（制御装置１１）は、自律走行の際の機体制御に用いる自律走行用データを取得する。自律走行用データは、ＧＮＳＳ部１４によって取得された自己位置情報、監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂ等によって取得された各種の取得情報である。
【0074】
次にＳ１１２では、ロボット１（制御装置１１）は、ＧＮＳＳ部１４によって取得された自己位置情報、監視装置１２、外部センサ１２ａ、及び内部センサ１２ｂによる各種の取得情報を使って自己位置推定及びロボット１の周辺認識を実行する。次にＳ１１３では、ロボット１（制御装置１１）は、Ｓ１１２で推定した自己位置、及び、認識した周辺環境に基づいて、ルートデータ上を走行する進路を計画する。次にＳ１１４では、ロボット１（制御装置１１）は、ロボット１がＳ１１３で計画した進路を走行するようにモータ１５を制御する。
【0075】
（ロボット１のバッテリーチェック処理）
図１３は、ロボット１のバッテリーチェック処理を示すフローチャートである。バッテリーチェック処理は、ロボット１の制御装置１１のタイマ１１１によって定期的に割り込み実行される。
図１３は、ロボット１のバッテリーチェック処理を示すフローチャートである。バッテリーチェック処理は、ロボット１の制御装置１１のタイマ１１１によって定期的に割り込み実行される。
【0076】
先ずＳ１２１では、制御装置１１（タイマ１１１）は、バッテリ１６ａの残量が所定量以上の十分な量があるか否かを判定する。制御装置１１（タイマ１１１）は、バッテリ１６ａの残量が十分でない場合（Ｓ１２１Ｎｏ）に、ロボット１は充電ステーション４に戻り（Ｓ１２２）、充電ステーション４からワイヤレス（あるいは有線でもよい）で電力の供給を受け、バッテリ１６ａを充電する（Ｓ１２３）。バッテリーチェック処理により、バッテリ１６ａが自動充電される。
【0077】
（ロボット１の業務遂行処理）
図１４は、ロボット１の業務遂行処理を中心とする処理を示すシーケンス図である。業務遂行処理は、端末３を操作するユーザによる、農場内で実施する業務の指定を含む指示に応じて実行される。なお、業務遂行処理においても、自律走行処理時と同様に、最初に、Ｓ１０１～Ｓ１０３、Ｓ２０１～Ｓ２０４、Ｓ３０１の一連の動作チェックが行われるが、ここでは説明を省略する。
図１４は、ロボット１の業務遂行処理を中心とする処理を示すシーケンス図である。業務遂行処理は、端末３を操作するユーザによる、農場内で実施する業務の指定を含む指示に応じて実行される。なお、業務遂行処理においても、自律走行処理時と同様に、最初に、Ｓ１０１～Ｓ１０３、Ｓ２０１～Ｓ２０４、Ｓ３０１の一連の動作チェックが行われるが、ここでは説明を省略する。
【0078】
業務遂行処理は、ユーザが、端末３に表示された農場５の農作物や設備の状況等を見て詳細を確認したい場合、あるいは、スケジュール外で農場５の農作物や設備の状況等を確認したい場合に、業務指示に応じて実行される。この業務指示には、農場５全体の巡回及びセンサ情報取得といった一般業務に限らず、農場５の特定箇所の農作物の詳細画像の取得、特定箇所の土中水分量の検知といった特定業務がある。
【0079】
先ずＳ３３１では、端末３（ロボット操作受付部３１３）は、端末３へ入力されたユーザによる業務指示をサーバ２へ送信する。Ｓ２３１では、サーバ２（ロボット制御部２１１）は、Ｓ３３１で送信された業務指示を受信する。
【0080】
次にＳ２３２では、サーバ２（ロボット制御部２１１）は、Ｓ２３１で受信した業務内容に応じたルート探索及び決定を、Ｓ２０５（図１１）と同様に実行する。次にＳ２３３では、サーバ２（ロボット制御部２１１）は、ロボット１の業務指示及びＳ２３２で決定した農場５の移動のルートデータを、ロボット１へ送信する。
【0081】
Ｓ１３１では、ロボット１（制御装置１１）は、サーバ２から業務指示及びルートデータを受信する。次にＳ１３２は、ロボット１（制御装置１１）は、Ｓ１０５（図１１）と同様に、Ｓ１３１で受信した業務指示に従って自律走行、データ収集、データ解析、及び解析結果の送信を実行する。
【0082】
Ｓ２３４では、サーバ２（データ取得部２１２）は、Ｓ１３２で送信されたデータをロボット１から受信し、蓄積データ２２２としてストレージ２２に蓄積する。そして、サーバ２（解析部２１３）は、受信したデータを解析し、解析データ２２３をストレージ２２に蓄積する。
【0083】
次にＳ２３５では、サーバ２（解析部２１３）は、Ｓ２３４で解析した解析結果を端末３へ送信する。ステップＳ３３２では、端末３（取得部３１１）は、解析結果を受信し、入出力部３４の表示画面に表示する。次にＳ３３３では、端末３（取得部３１１）は、業務終了か否かを判定し、業務終了の場合（Ｓ３３３Ｙｅｓ）にＳ３３４へ処理を移し、業務終了でない場合（Ｓ３３３Ｎｏ）にＳ３３１へ処理を移す。Ｓ３３４では、端末３（ロボット操作受付部３１３）は、端末３へ終了指示を送信する。
【0084】
Ｓ２３６では、サーバ２（ロボット制御部２１１）は、終了指示を受信し、ロボット１へ転送する。
【0085】
Ｓ１３３では、ロボット１（制御装置１１）は、終了指示を受信し、ロボット１の動作を終了する（Ｓ１３４）。
【0086】
なお、上記のロボット１の業務遂行処理の他、ユーザは、端末３を介して、ロボット１の監視装置１２の取得画像を見ながらロボット１を直接操作できる。
【0087】
（端末３の表示画面に表示される各画面）
以下、図１５～図２２を参照して、端末３で実行される農業アプリケーションが、ロボット１及びサーバ２と連携して表示する各画面について説明する。図１５～図２２に示す各図面は、生育不良の農作物や不織布及びマルチシート破れ等の異常を、検知時刻及び農場５内の発生位置情報をと共に記録しておき、端末３を介してユーザに可視化するためのものである。
以下、図１５～図２２を参照して、端末３で実行される農業アプリケーションが、ロボット１及びサーバ２と連携して表示する各画面について説明する。図１５～図２２に示す各図面は、生育不良の農作物や不織布及びマルチシート破れ等の異常を、検知時刻及び農場５内の発生位置情報をと共に記録しておき、端末３を介してユーザに可視化するためのものである。
【0088】
（端末３の待ち受け画面３４Ｄ１）
図１５は、端末３の入出力部３４の表示画面に表示される待ち受け画面３４Ｄ１を示す図である。待ち受け画面３４Ｄ１は、ホーム画面でもある。待ち受け画面３４Ｄ１は、プルダウンメニュー３４Ｄ１１を備え、遷移先画面として「生育状況」、「収穫可能数」、「病害虫被害状況」、「土中水分量」、「マルチシート剥がれ状況」、「ロボット位置一覧」、「スケジュール」、「ホーム画面」等を選択できる。「ホーム画面」が選択されると、何れの画面からも待ち受け画面３４Ｄ１へ画面遷移する。
図１５は、端末３の入出力部３４の表示画面に表示される待ち受け画面３４Ｄ１を示す図である。待ち受け画面３４Ｄ１は、ホーム画面でもある。待ち受け画面３４Ｄ１は、プルダウンメニュー３４Ｄ１１を備え、遷移先画面として「生育状況」、「収穫可能数」、「病害虫被害状況」、「土中水分量」、「マルチシート剥がれ状況」、「ロボット位置一覧」、「スケジュール」、「ホーム画面」等を選択できる。「ホーム画面」が選択されると、何れの画面からも待ち受け画面３４Ｄ１へ画面遷移する。
【0089】
待ち受け画面３４Ｄ１は、日時表示と共に、取得データや解析結果に基づくプッシュ通知３４Ｄ１２を表示する。図１５では、プッシュ通知３４Ｄ１２は、サーバ２で農場５の農作物の生育状況を解析した結果に基づいて、果実の収穫時期となり、約５０個の果実が収穫可能となったことを、通知時刻と共に表示する。
【0090】
（端末３の生育状況表示画面３４Ｄ２）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「生育状況」を選択すると、図１６に示すように端末３の表示画面に生育状況表示画面３４Ｄ２が表示される。生育状況表示画面３４Ｄ２では、農場５のマップ上に、農場５の方位表示と共に、農作物の生育状況の良否の解析結果を、カラースケール表示する。カラースケール表示とは、解析結果の各値を２色（例えば白及び黒）又は３色（例えば赤、緑、及び青）の基本色からなる画素値に変換し、農場５のマップ上におけるデータ分布を表現する表示方法である。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「生育状況」を選択すると、図１６に示すように端末３の表示画面に生育状況表示画面３４Ｄ２が表示される。生育状況表示画面３４Ｄ２では、農場５のマップ上に、農場５の方位表示と共に、農作物の生育状況の良否の解析結果を、カラースケール表示する。カラースケール表示とは、解析結果の各値を２色（例えば白及び黒）又は３色（例えば赤、緑、及び青）の基本色からなる画素値に変換し、農場５のマップ上におけるデータ分布を表現する表示方法である。
【0091】
生育状況表示画面３４Ｄ２は、拡大表示及び縮小表示が可能である。生育状況表示画面３４Ｄ２から、農場５の農作物の生育状況の良否を、場所毎に認識できる。農作物の生育状況は、農作物の高さや、画像から判断できる農作物の繁茂状況を指標としてもよい。
【0092】
（端末３の収穫可能数表示画面３４Ｄ３１）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「収穫可能数」を選択すると、図１７Ａに示すように端末３の表示画面に収穫可能数表示画面３４Ｄ３１が表示される。収穫可能数表示画面３４Ｄ３１では、農場５のマップ上に、例えば農作物の植栽位置毎に果実の収穫可能数の解析結果をカラースケール表示する。収穫可能数表示画面３４Ｄ３１は、拡大表示及び縮小表示が可能である。収穫可能数表示画面３４Ｄ３１から、農場５の農作物の果実の収穫可能数を、場所毎に認識できる。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「収穫可能数」を選択すると、図１７Ａに示すように端末３の表示画面に収穫可能数表示画面３４Ｄ３１が表示される。収穫可能数表示画面３４Ｄ３１では、農場５のマップ上に、例えば農作物の植栽位置毎に果実の収穫可能数の解析結果をカラースケール表示する。収穫可能数表示画面３４Ｄ３１は、拡大表示及び縮小表示が可能である。収穫可能数表示画面３４Ｄ３１から、農場５の農作物の果実の収穫可能数を、場所毎に認識できる。
【0093】
ユーザが、収穫可能数表示画面３４Ｄ３１のうち詳細情報を参照したい箇所をタップすると、図１７Ｂに示すように端末３の表示画面に収穫可能数表示画面３４Ｄ３１の詳細表示３４Ｄ３２が表示される。詳細表示３４Ｄ３２は、収穫可能な果実が識別可能なカラー画像を、「収穫最適数：３つ」という解説と共に表示する。詳細表示３４Ｄ３２は、死角となって見えない部分も補完して識別可能に表示する。図１７Ｂでは、詳細表示３４Ｄ３２は、死角となって見えない果実も枠付き表示している。すなわち、サーバ２の解析部２１３は、農作物の状況及び農場５の状況における対象（図１７Ｂの例では果実）の死角を補完する補完情報（図１７Ｂの例では果実の枠線）を付加して、端末３の入出力部３４の表示画面に表示するための表示データを生成する。補完情報は、例えば、複数アングルでの画像取得や、推論による画像認識によって作成できる。
【0094】
（端末３の病害虫被害状況表示画面３４Ｄ４１）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「病害虫害被害状況」を選択すると、図１８Ａに示すように端末３の表示画面に病害虫被害状況表示画面３４Ｄ４１が表示される。病害虫被害状況表示画面３４Ｄ４１では、農場５のマップ上に、農作物の病害虫被害状況の解析結果をカラースケール表示する。病害虫被害状況表示画面３４Ｄ４１では、特に病害虫被害が深刻な箇所を丸囲み等で識別表示する。病害虫被害状況表示画面３４Ｄ４１は、拡大表示及び縮小表示が可能である。病害虫被害状況表示画面３４Ｄ４１から、農場５の農作物の病害虫の被害状況を、場所毎に認識できる。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「病害虫害被害状況」を選択すると、図１８Ａに示すように端末３の表示画面に病害虫被害状況表示画面３４Ｄ４１が表示される。病害虫被害状況表示画面３４Ｄ４１では、農場５のマップ上に、農作物の病害虫被害状況の解析結果をカラースケール表示する。病害虫被害状況表示画面３４Ｄ４１では、特に病害虫被害が深刻な箇所を丸囲み等で識別表示する。病害虫被害状況表示画面３４Ｄ４１は、拡大表示及び縮小表示が可能である。病害虫被害状況表示画面３４Ｄ４１から、農場５の農作物の病害虫の被害状況を、場所毎に認識できる。
【0095】
ユーザが、病害虫被害状況表示画面３４Ｄ４１のうち詳細情報を参照したい箇所をタップすると、図１８Ｂに示すように端末３の表示画面に病害虫被害状況表示画面３４Ｄ４１の詳細表示３４Ｄ４２が表示される。詳細表示３４Ｄ４２は、タップされた箇所において発生していると解析された病害虫の解説、及び、該当の病害虫の被害を被っている農作物の実際の画像を表示する。詳細表示３４Ｄ４２は、該当の病害虫の被害を軽減する農薬、肥料、農作物の品種等を紹介し、それらの購入サイトへのリンクボタンを表示する。このように、ユーザは、詳細表示３４Ｄ４２を見ながら、農場５に赴かなくても病害虫への対処を準備することができる。
【0096】
（端末３の土中水分量表示画面３４Ｄ５１）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「土中水分量」を選択すると、図１９に示すように端末３の表示画面に土中水分量表示画面３４Ｄ５１が表示される。土中水分量表示画面３４Ｄ５１では、農場５のマップ上に、畝５１の土中水分量の解析結果をカラースケール表示する。土中水分量表示画面３４Ｄ５１は、拡大表示及び縮小表示が可能である。土中水分量表示画面３４Ｄ５１から、農場５の農作物の土中水分量を、場所毎に認識できる。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「土中水分量」を選択すると、図１９に示すように端末３の表示画面に土中水分量表示画面３４Ｄ５１が表示される。土中水分量表示画面３４Ｄ５１では、農場５のマップ上に、畝５１の土中水分量の解析結果をカラースケール表示する。土中水分量表示画面３４Ｄ５１は、拡大表示及び縮小表示が可能である。土中水分量表示画面３４Ｄ５１から、農場５の農作物の土中水分量を、場所毎に認識できる。
【0097】
さらに図１９に示すように、土中水分量表示画面３４Ｄ５１は、土中水分量が少ない箇所を識別表示し、「すぐに水やりをして下さい」という警告３４Ｄ５２を表示する。土中水分量表示画面３４Ｄ５１は、“土中水分量が少ない”という現状表示に限らない。例えば“土中水分量が少ない状況が２日続いている”という現状と、３日後までは降雨無しといった外部の気象予測とを連動させて、近い時間内に降雨が期待できず土中水分量が規定量を下回ることが予測され、警告３４Ｄ５２を表示する。逆に、土中水分量表示画面３４Ｄ５１は、現状の土中水分量は少ないが、天気予報から近い時間内に降雨が期待でき土中水分量が規定量を下回ることがないと予測される場合には、警告３４Ｄ５２を表示しない。
【0098】
このように、サーバ２の解析部２１３は、農場５の農作物の生育状況や農場５の状況と、外部から取得される気象予報等の情報とを連携させて、将来の農場５の農作物の生育状況や農場５の状況を予測する。気象予報に基づき予測される将来の状況は、ある時間が経過後の農作物の生育状況、将来の収穫可能数量、将来の病害中被害、土中水分量、収穫時期、マルチシートや不織布の剥がれ（マルチシートや不織布が剥がれかけている上に強風が予測される場合）等である。
【0099】
（端末３のマルチシート剥がれ状況表示画面３４Ｄ６１）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「マルチシート剥がれ状況」を選択すると、図２０に示すように端末３の表示画面にマルチシート剥がれ状況表示画面３４Ｄ６１が表示される。マルチシート剥がれ状況表示画面３４Ｄ６１では、農場５のマップ上に、畝５１のマルチシート剥がれ状況の解析結果をカラースケール表示する。マルチシート剥がれ状況表示画面３４Ｄ６１は、拡大表示及び縮小表示が可能である。マルチシート剥がれ状況表示画面３４Ｄ６１から、農場５のマルチシートの剥がれの異変の有無及び程度を、場所毎に認識できる。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「マルチシート剥がれ状況」を選択すると、図２０に示すように端末３の表示画面にマルチシート剥がれ状況表示画面３４Ｄ６１が表示される。マルチシート剥がれ状況表示画面３４Ｄ６１では、農場５のマップ上に、畝５１のマルチシート剥がれ状況の解析結果をカラースケール表示する。マルチシート剥がれ状況表示画面３４Ｄ６１は、拡大表示及び縮小表示が可能である。マルチシート剥がれ状況表示画面３４Ｄ６１から、農場５のマルチシートの剥がれの異変の有無及び程度を、場所毎に認識できる。
【0100】
さらに図２０に示すように、マルチシート剥がれ状況表示画面３４Ｄ６１は、マルチシートの剥がれが著しい箇所を識別表示し、実際の状況を示す画像３４Ｄ６２を表示する。畝５１に張られる不織布も同様である。マルチシート及び不織布は、農場５の設備の一例であり、マルチシート及び不織布の剥がれは、設備損傷の一例である。
【0101】
（端末３のロボット位置一覧表示画面３４Ｄ７１）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「ロボット位置一覧」を選択すると、図２１に示すように端末３の表示画面にロボット位置一覧表示画面３４Ｄ７１が表示される。ロボット位置一覧表示画面３４Ｄ７１では、農場５のマップ上に、端末３を所持しているユーザの農場内の現在位置表示３４Ｄ７２、農場５内を走行する複数のロボット１の現在位置表示３４Ｄ７３、３４Ｄ７４、３４Ｄ７５を表示する。現在位置表示３４Ｄ７３、３４Ｄ７４は該当のロボット１が正常動作していることを示し、現在位置表示３４Ｄ７５は該当のロボット１が故障していることを示す。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「ロボット位置一覧」を選択すると、図２１に示すように端末３の表示画面にロボット位置一覧表示画面３４Ｄ７１が表示される。ロボット位置一覧表示画面３４Ｄ７１では、農場５のマップ上に、端末３を所持しているユーザの農場内の現在位置表示３４Ｄ７２、農場５内を走行する複数のロボット１の現在位置表示３４Ｄ７３、３４Ｄ７４、３４Ｄ７５を表示する。現在位置表示３４Ｄ７３、３４Ｄ７４は該当のロボット１が正常動作していることを示し、現在位置表示３４Ｄ７５は該当のロボット１が故障していることを示す。
【0102】
また、ロボット１の現在位置表示３４Ｄ７３、３４Ｄ７４、３４Ｄ７５と共に、各ロボット１の進路表示３４Ｄ７６、３４Ｄ７７、３４Ｄ７８を表示する。現在位置表示３４Ｄ７３、３４Ｄ７４、３４Ｄ７５、進路表示３４Ｄ７６、３４Ｄ７７、３４Ｄ７８は、リアルタイム更新される。ロボット位置一覧表示画面３４Ｄ７１は、拡大表示及び縮小表示が可能である。なお、ロボット位置一覧表示画面３４Ｄ７１は、生育状況表示画面３４Ｄ２、収穫可能数表示画面３４Ｄ３１、病害虫被害状況表示画面３４Ｄ４１、土中水分量表示画面３４Ｄ５１、マルチシート剥がれ状況表示画面３４Ｄ６１といった農場５のマップを表示する画面にオーバーレイ表示してもよい。
【0103】
（端末３のスケジュール編集画面３４Ｄ８）
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「スケジュール」を選択すると、図２２に示すように端末３の表示画面にスケジュール編集画面３４Ｄ８が表示される。スケジュール編集画面３４Ｄ８では、ロボット１毎に稼働日及び走行ルートの管理及び設定を行うことができる。例えば図２２中の「予約」表示は、走行ルートが設定され稼動が予約されていることを示す。また、図２２中の「完了」表示は、「予約」された稼働日及び走行ルートで実際にロボット１が稼働し完了した場合に、「予約」表示から更新されて表示される。スケジュール編集画面３４Ｄ８における各日の天気予報が表示されることから、端末３のユーザは、例えば雨の予報日を避けて晴れの予報日にロボット１の稼働日を設定することができる。また、このような天気予報と連動した稼働日の設定は、農業支援アプリケーションが自動で行ってもよい。
待ち受け画面３４Ｄ１のプルダウンメニュー３４Ｄ１１から「スケジュール」を選択すると、図２２に示すように端末３の表示画面にスケジュール編集画面３４Ｄ８が表示される。スケジュール編集画面３４Ｄ８では、ロボット１毎に稼働日及び走行ルートの管理及び設定を行うことができる。例えば図２２中の「予約」表示は、走行ルートが設定され稼動が予約されていることを示す。また、図２２中の「完了」表示は、「予約」された稼働日及び走行ルートで実際にロボット１が稼働し完了した場合に、「予約」表示から更新されて表示される。スケジュール編集画面３４Ｄ８における各日の天気予報が表示されることから、端末３のユーザは、例えば雨の予報日を避けて晴れの予報日にロボット１の稼働日を設定することができる。また、このような天気予報と連動した稼働日の設定は、農業支援アプリケーションが自動で行ってもよい。
【0104】
本実施形態では、ロボット１で収集したデータをサーバ２で解析して農場５の農作物の状況や農場の状況を端末３に表示する。よって、ユーザは、農場５に固定のセンサ類を設置しなくても、端末３を操作し、ロボット１を自律走行させるだけで、センサ情報に基づく農場管理を行うスマート農業を容易に実現できる。
【0105】
また、本実施形態では、農場５は畝５１及び畝間５２が整備された農場、または農作物の間に通路が整備された農場であり、ロボット１は農作物の認識または畝間５２の認識と自己位置推定とを併用して自律走行する。よって、農園５において畝５１及び畝間５２を整備するだけで、ロボット１を自律走行させ、センサ情報を収集することができ、スマート農業を容易に実現できる。
【0106】
また、本実施形態では、ロボット１が収集したセンサ情報を、サーバ２へ送信する前に、ロボット１側で解析したりデータ圧縮又は削減したりするエッジ処理を行う。よって、サーバ２へ送信するデータを削減してトラフィックの負荷を軽減し、また、サーバ２側での解析処理の負荷を軽減できる。
【0107】
また、本実施形態では、ロボット１は、自律走行の際、石等を障害物として認識して回避する一方で、雑草を回避不要な障害物と認識し回避しないので、雑草を踏み潰す防草を実施できる。また、畝５１で生育されている農作物が生い茂って畝間５２や通路へ溢出している枝葉や茎を農作物と認識し回避要否をサーバ２へ問い合わせることで、走行を継続できる。
【0108】
また、本実施形態では、農作物の状況又は農場の状況を農場５の地図上に表示する。よって、農作物の状況や農場の状況が、農場５内における場所と共に一目瞭然となる。
【0109】
また、本実施形態では、農作物の状況又は農場の状況を農場５の地図上にカラースケール表示する。よって、農作物の状況又は農場の状況のレベルを直感的に容易に把握できる。
【0110】
また、本実施形態では、農作物の状況は、収穫時期、生育状況、収穫可能数量、又は病害虫被害状況であり、農場の状況は、土中水分量、設備損傷、又は農場内における自ロボット１とは異なる他のロボット１の位置情報である。よって、ユーザは、端末３の画面上で、これらの情報を容易に把握できる。
【0111】
また、本実施形態では、農作物の状況及び農場の状況における対象の死角を補完する補完情報を付加して表示する。よって、農作物の状況及び農場の状況を示す画像のなかで死角になって見えづらい個所を分かりやすく表示できる。
【0112】
また、本実施形態では、将来の農作物の生育状況又は農場の状況の予測結果を端末表示する。よって、ユーザに、将来発生する状況に対する事前準備を促すことができる。
【0113】
また、本実施形態では、農作物の状況又は農場の状況の詳細情報を端末３に表示する。よって、端末３に表示される概要表示から、ユーザは、知りたい情報について詳細を把握することができる。
【0114】
また、本実施形態では、サーバ２は、産物の状況又は農場の状況の詳細情報を保持していない場合に、ロボット１に農場５内を自律移動させて詳細情報を取得させて端末３に送信し、表示させる。よって、ユーザが知りたい情報を、オンデマンドで取得することができる。
【0115】
また、本実施形態では、ザーバ２は、ユーザによって入力された操作指示、又は、予め定められた運行スケジュールに従ってロボット１を制御する。よって、ユーザは、スケジュール外でも、ロボット１を操作することができる。
【0116】
また、本実施形態では、端末３でロボット１の運行スケジュールが編集可能である。よって、端末３のユーザは、天気予報や過去の稼働日等の情報を考慮してロボット１の稼働を自由に設定することができる。
【0117】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散又は統合することも可能である。
【符号の説明】
【0118】
Ｓ：農業支援システム、１：ロボット、２：サーバ、３：端末、５：農場
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
【図20】
【図21】
【図22】