(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024129546
(43)【公開日】2024-09-27
(54)【発明の名称】処理装置、処理方法及びプログラム
(51)【国際特許分類】
A01M 1/00 20060101AFI20240919BHJP
G01V 8/10 20060101ALI20240919BHJP
【FI】
A01M1/00 Q
G01V8/10 S
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023038835
(22)【出願日】2023-03-13
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】王 瑩
【テーマコード(参考)】
2B121
2G105
【Fターム(参考)】
2B121AA11
2B121DA63
2B121EA26
2B121FA04
2G105AA01
2G105BB17
2G105EE06
2G105GG03
2G105HH05
2G105KK06
(57)【要約】
【課題】植物に対する作業中における病害虫の検出の見逃しを抑止する。
【解決手段】処理装置は、作業者が植物に対して作業を行っている間の植物を撮像して植物の画像を生成する撮像部と、植物の画像を解析して植物の病害虫の有無の検出を行い、検出結果を出力する検出部と、植物の病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出部と、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像部と、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出部と、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出部と、
を備える処理装置。
【請求項2】
前記算出部は、前記植物が撮像された位置を示す撮像位置情報及び前記作業の種類を示す作業種類情報を取得し、前記撮像位置情報に基づいて、前記平面位置を決定し、かつ、前記作業種類情報に基づいて、前記高さ位置を決定する、
請求項1に記載の処理装置。
【請求項3】
前記撮像部は、前記作業者が前記植物に対して前記作業を行っている間の前記植物及びオブジェクトを撮像し、
前記算出部は、前記植物及び前記オブジェクトの前記画像から前記オブジェクトを検出し、前記オブジェクトに基づいて、前記高さ位置を決定する、
請求項1に記載の処理装置。
【請求項4】
前記検出結果と前記3次元位置情報とが紐づけて記憶された記憶部を備え、
前記検出部は、前記記憶部に記憶された現在時刻よりも前の時間内又は期間内における前記検出結果と前記時間内又は前記期間内における前記検出結果に紐づけられた前記3次元位置情報とに基づいて、前記植物の前記病害虫の有無の検出を行うか否かを決定する、
請求項1に記載の処理装置。
【請求項5】
前記撮像部は、前記作業者に装着するウェアラブルカメラである、
請求項1から4の何れか一項に記載の処理装置。
【請求項6】
処理装置が実行する処理方法であって、
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像ステップと、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出ステップと、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出ステップと、
を有する処理方法。
【請求項7】
コンピュータに、
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像ステップと、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出ステップと、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、処理方法及びプログラムに関する。
【背景技術】
【0002】
従来の病害虫を検出するシステムでは、作業者が携帯端末のカメラや固定カメラを使用して対象となる植物(農作物)を定期的に観察している。そのため、一定の作業時間及び作業者を確保する必要がある。このような病害虫の検出作業の負担を減らして、作業の効率を上げるために、ウェアラブル装置を活用して、通常の栽培管理(例えば、誘引や摘芽など)と共に、病害虫を検出可能なシステムが提案されている。例えば、特許文献1には、ウェアラブル端末を用いて、農作物の病害虫の状態の検知や対処支援を行う技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、植物の病害虫の有無の検出結果は、2次元地図上に記録されている。また、作業効率を上げるために、ウェアラブルカメラなどを用いて、作業者の視線で摘葉などの栽培作業中に病害虫の検出を行うことがなされているが、多くの栽培作業では各植物の全体を見ないために、植物の一部を撮像することが行われている。そのため、例えば、植物の低い部分で栽培作業が行われ、植物の低い部分の画像から病害虫が検出されなかった場合には、その植物には病害虫の発生が無いと判断され、その植物の高い部分の撮像は行われていない。しかしながら、植物の低い部分の画像から病害虫が検出されなくとも、植物の高い部分に病害虫が発生する可能性があり、植物の全体を見ていないために、病害虫の検出の見逃しが発生する恐れがある。
【0005】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、植物に対する作業中における病害虫の検出の見逃しを抑止する技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一観点に係る処理装置は、作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像部と、前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出部と、前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出部と、を備える処理装置である。
【0007】
処理装置によれば、植物の病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する。例えば、植物の低い部分の画像から病害虫が検出されなかった場合であっても、植物の高い部分の画像を解析して植物の病害虫の有無の検出を行うことができるため、植物に対する作業中における病害虫の検出の見逃しを抑止することが可能となる。
【0008】
上記処理装置において、前記算出部は、前記植物が撮像された位置を示す撮像位置情報及び前記作業の種類を示す作業種類情報を取得し、前記撮像位置情報に基づいて、前記平面位置を決定し、かつ、前記作業種類情報に基づいて、前記高さ位置を決定してもよい。
【0009】
上記処理装置において、前記撮像部は、前記作業者が前記植物に対して前記作業を行っている間の前記植物及びオブジェクトを撮像し、前記算出部は、前記植物及び前記オブジェクトの前記画像から前記オブジェクトを検出し、前記オブジェクトに基づいて、前記高さ位置を決定してもよい。
【0010】
上記処理装置において、前記検出結果と前記3次元位置情報とが紐づけて記憶された記憶部を備え、前記検出部は、前記記憶部に記憶された現在時刻よりも前の時間内又は期間内における前記検出結果と前記時間内又は前記期間内における前記検出結果に紐づけられた前記3次元位置情報とに基づいて、前記植物の前記病害虫の有無の検出を行うか否かを決定してもよい。上記処理装置において、前記撮像部は、前記作業者に装着するウェアラブルカメラであってもよい。
【0011】
なお、本発明は、上記処理の少なくとも一部を含む処理方法や、上記処理の少なくとも一部をコンピュータに実行させるためのプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【0012】
本発明によれば、植物に対する作業中における病害虫の検出の見逃しを抑止する技術を提供することができる。
【図面の簡単な説明】
【0013】
【
図1】
図1は、処理システムの全体構成を示す図である。
【
図2】
図2は、端末装置及びサーバの概略構成を示す図である。
【
図3】
図3は、作業判定処理の第1実施例を示すフローチャートである。
【
図4】
図4は、作業履歴情報の一例を示す図である。
【
図8】
図8は、作業判定処理の第2実施例を示すフローチャートである。
【
図9】
図9は、作業履歴情報の一例を示す図である。
【
図11】
図11は、処理システムに関する機能の構成を示すブロック図である。
【発明を実施するための形態】
【0014】
以下、適用例及び実施形態について図を参照しながら説明する。以下に示す適用例及び実施形態は、本願の一態様であり、本願の権利範囲を限定するものではない。
【0015】
<適用例>
図1は、本発明が適用される処理システム1の全体構成を示す図である。実施態に係る処理システム1は、端末装置(作業者端末)10と、サーバ100とを有する。作業者は、可搬型情報機器である端末装置10を使用する。端末装置10は、サーバ100と通信可能な装置であり、スマートフォンやタブレット端末などの携帯端末11と、ウェアラブル端末12とから構成されている。携帯端末11は、液晶ディスプレイ又は有機発光ダイオードディスプレイなどの画面13を有する。ウェアラブル端末12は、例えば、首掛け型の端末である。ウェアラブル端末12は、作業者の首に装着可能な装着具14と、カメラ(ウェアラブルカメラ)15とを有する。
図1に示すウェアラブル端末12は、首掛け型のウェアラブル端末であるが、この例に限らず、眼鏡型のウェアラブル端末であっても
よい。サーバ100は、例えば、サーバコンピュータにより構成され、クラウド上に配置される。サーバ100は、複数のサーバコンピュータにより構成されてもよい。例えば、サーバ100は、ネットワーク上の互いに異なる場所の複数のサーバコンピュータが協動することで実現されてもよい。
【0016】
作業者は、農業等の作業場の一例である圃場で、植物(農作物)に対する作業を行う。植物に対する作業の種類として、例えば、摘葉、摘花、摘芽、誘引、葉欠き、芽欠き、摘芯、潅水、追肥、農薬散布、収穫などが挙げられるが、これらに限定されない。作業者は、植物に対する作業を行う際に、端末装置10を使用する。具体的には、作業者は、植物に対する作業を行う前に携帯端末11及びウェアラブル端末12を起動し、植物に対する作業を行っている間、携帯端末11及びウェアラブル端末12を携帯する。ウェアラブル端末12のカメラ15が植物を撮像可能となるように、作業者は、ウェアラブル端末12のカメラ15を前方に向けた状態でウェアラブル端末12を装着する。
【0017】
端末装置10は、サーバ100からの指示に応じて、ウェアラブル端末12のカメラ(ウェアラブルカメラ)15を用いて植物に対する作業中の植物を撮像する。ウェアラブル端末12のカメラ15によって撮像された植物の画像は、画像データとしてサーバ100に送られる。画像は、動画であってもよいし、静止画であってもよい。サーバ100は、植物の画像データをデータベース(DB)などの記憶部に保存する。サーバ100は、(AI検出機能によって)、植物の画像データを解析することで植物の病害虫の有無を検出して、検出結果を端末装置10に応答する。
【0018】
植物の低い位置に病害虫が発生する場合や、植物の高い位置に病害虫が発生する場合がある。そのため、植物の病害虫の位置は、平面方向(XY方向)における位置(平面位置)と、高さ方向(Z方向)における位置(高さ位置)とを把握する必要がある。本実施形態の処理システム1は、作業者が植物に対して作業を行っている間の植物を撮像して植物の画像を生成し、植物の画像を解析して植物の病害虫の有無の検出を行い、検出結果を出力し、植物の病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する。平面位置は、XY平面のXY座標、斜面を上から視た場合(Z軸方向から平面視した場合)のXY平面のXY座標等であってもよい。また、平面位置は、圃場における区画(例えば、畝区画、畑区画等)の位置であってもよい。高さ位置は、地面からの高さ方向の位置、空間を高さ方向に複数の区分に分けた場合の各区分(例えば、上区分、下区分等)の位置等であってもよい。従来、病害虫の検出の有無は2次元の地図上に示すのみであったが、本実施形態によれば、3次元のマップ等に対応することが可能となる。例えば、植物の低い部分の画像から病害虫が検出されなかった場合であっても、植物の高い部分の画像を解析して植物の病害虫の有無の検出を行うことができるため、植物に対する作業中における病害虫の検出の見逃しを抑止することが可能となる。この結果、病害虫の検出が効率よく行われると共に、病害虫の早期の検出が可能となる。また、作業者は、最小限の作業をしながら、植物の病害虫の有無の検出を行うことが可能であるため、病害虫の検出の見逃しを抑止するための人員や時間を確保する必要がなくなり、作業者の負担が軽減される。
【0019】
(実施形態の説明)
図1に示す端末装置10及びサーバ100は、CPU(Central Processing Unit)等
の演算部、プログラム等の各種のデータを記憶するための記憶部と、通信の際に利用される通信インターフェース等を備える。記憶部は、例えば、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等のメモリ(揮発性記憶装置
)、HDD(Hard Disk Drive)やSSD(Solid State Drive)等のストレージ(不揮発性記憶装置)である。通信インターフェースは、例えばネットワークカード等の通信部によって実現される。そして、端末装置10及びサーバ100の演算部は、例えば記憶部に
格納されたプログラムを実行することによって、各種の動作が実現される。端末装置10及びサーバ100の各メモリは、着脱可能な記憶媒体によって実現される場合も有り得る。
【0020】
図2は、端末装置10及びサーバ100の概略構成を示す図である。端末装置10は、対象圃場選択部21と、判定部22と、撮像部23と、病害虫検出部24と、情報処理部25とを有する。サーバ100は、記憶部101と、作業判定部102と、AI検出部103と、生産管理部104とを有する。対象圃場選択部21は、サーバ100の記憶部101から圃場情報を参照することで、対象圃場を選択する。対象圃場選択部21は、選択した対象圃場に関する圃場データを判定部22に送る。撮像部23は、植物を撮像して植物の画像を生成する。
【0021】
(作業判定処理の第1実施例)
判定部22は、対象圃場選択部21によって対象圃場が選択された場合、サーバ100の作業判定部102を用いて、作業判定処理を行う。
図3は、判定部22によって行われる作業判定処理の第1実施例を示すフローチャートである。ステップS201において、判定部22は、植物に対する作業を示す作業コードを取得する。作業者が、端末装置10を操作して、端末装置10に作業コードを入力し、作業判定部102は端末装置10から作業コードを取得してもよい。例えば、植物に対する作業がスケジュール情報によって管理されており、記憶部101にスケジュール情報及び作業コードが記録されている場合、判定部22は、作業判定部102を介して、記憶部101から作業コードを取得してもよい。
【0022】
ステップS202において、判定部22は、端末装置10のGPS(Global Positioning System)情報を取得する。端末装置10は、複数のGPS衛星から送信されるGPS
信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、端末装置10のGPS情報を取得する。携帯端末11又はウェアラブル端末12が、GPS情報を取得してもよい。
【0023】
ステップS203において、判定部22は、記憶部101に記憶された作業履歴情報を参照して、現在時刻から所定時間前又は所定期間前までの間における植物に対する作業についての作業コード及びGPS情報を取得する。すなわち、判定部22は、植物に対する過去の作業についての作業コード及びGPS情報を取得する。判定部22は、作業判定部102を介して、記憶部101から作業履歴情報を取得する。ユーザは、例えば、24時間(1日)、48時間(2日)等の所定時間を予め設定することができる。
図4は、作業履歴情報の一例を示す図である。作業履歴情報は、「作業コード」、「作業」、「GPS情報」、「作業者」、「作業日」及び「病害虫検出処理」を含む。
図4の「作業」は、作業者が植物に対して行う作業の種類を示す。植物の病害虫の検出処理が行われた場合、
図4の「病害虫検出処理」のフィールドに「有り」が記録され、植物の病害虫の検出処理が行われていない場合に、
図4の「病害虫検出処理」のフィールドに「無し」が記録される。例えば、
図4では、作業コード(001)、作業(誘引)、GPS情報(p,l)、作業者(作業者A)、作業日(2023/1/10)及び病害虫検出処理(有り)が紐づけられている。作業履歴情報に対して、対象圃場、病害虫の有無や種類、植物の画像内における病害虫の位置等の情報を記録してもよい。
【0024】
例えば、所定時間が24時間(1日)である場合、判定部22は、
図5Aの点線A1で示す枠内における作業コード及びGPS情報を取得する。例えば、所定時間が48時間(2日)である場合、判定部22は、
図5Bの点線B1で示す枠内における作業コード及びGPS情報を取得する。なお、
図5Bに示す例では、1行目の誘引作業と3行目の誘引作業とが重複しているため、判定部22は、1行目の作業コード及びGPS情報を取得しな
い。
【0025】
ステップS204において、判定部22は、ステップS202で取得したGPS情報とステップS203で取得したGPS情報とが一致するか否かを判定する。ステップS202で取得したGPS情報とステップS203で取得したGPS情報とが一致する場合(S204:YES)、処理がステップS205に進む。ステップS202で取得したGPS情報とステップS203で取得したGPS情報とが一致しない場合(S204:NO)、処理がステップS208に進む。判定部22は、ステップS203で複数のGPS情報を取得した場合、ステップS202で取得したGPS情報がステップS203で取得した各GPS情報と一致するか否かを判定する。ステップS202で取得したGPS情報がステップS203で取得した複数のGPS情報のうちの少なくとも一つと一致する場合(S204:YES)、処理がステップS205に進む。ステップS202で取得したGPS情報がステップS203で取得した各GPS情報と一致しない場合(S204:NO)、処理がステップS208に進む。
【0026】
ステップS205において、判定部22は、記憶部101に記憶された作業判定表から、ステップS203で取得した作業コードに対応する後作業コードを取得する。判定部22は、作業判定部102を介して、記憶部101から作業判定表を取得する。
図6は、作業判定表の一例を示す図である。作業判定表は、「作業の種類」、「作業箇所」、「作業コード」及び「後作業コード」を含む。
図6の「作業」は、作業者が植物に対して行う作業の種類を示す。
図6の「作業箇所」は、高さ方向における作業者の作業箇所であり、作業者が植物に対して作業を行った主な箇所を示す。
図6の「作業箇所」のフィールドにおける「上部分」は、作業者が植物の上部分に対して作業を行ったことを示している。
図6の「作業箇所」のフィールドにおける「下部分」は、作業者が植物の下部分に対して作業を行ったことを示している。例えば、判定部22が、ステップS203で
図5Aの点線A1で示す枠内の作業コード(001、002)を取得した場合、
図7Aの点線A2で示す枠内の後作業コード(004)を取得する。例えば、判定部22が、ステップS203で
図5Bの点線B1で示す枠内の作業コード(001、002、004)を取得した場合、
図7Bの点線B2及びB3で示す枠内の後作業コード(001、002、003、004)を取得する。
【0027】
ステップS206において、判定部22は、ステップS201で取得した作業コードとステップS205で取得した後作業コードとが一致するか否かを判定する。ステップS201で取得した作業コードとステップS205で取得した後作業コードとが一致する場合(ステップS206:YES)、処理がステップS208に進む。ステップS201で取得した作業コードとステップS205で取得した後作業コードとが一致しない場合(ステップS206:NO)、処理がステップS207に進む。
【0028】
ステップS206の処理の一例を説明する。例えば、ステップS201で作業コード(004)が取得され、ステップS205で
図7Aの点線A2で示す枠内の後作業コード(004)が取得された場合、作業コード(004)と後作業コード(004)とが一致する。この場合、処理がステップS208に進む。例えば、ステップS201で作業コード(003)が取得され、ステップS205で
図7Aの点線A2で示す枠内の後作業コード(004)が取得された場合、作業コード(003)と後作業コード(004)とが一致しない。この場合、処理がステップS207に進む。
【0029】
ステップS206の処理の他の一例を説明する。例えば、ステップS201で作業コード(004)が取得され、
図7Bの点線B2及びB3で示す枠内の後作業コード(001、002、003、004)が取得された場合、作業コード(004)と後作業コード(004)とが一致する。しかし、ステップS201で取得された作業コード(004)は
、
図5Bの点線B1で示す枠内の作業コード(004)と一致しており、作業履歴情報に含まれている。この場合、処理がステップS209に進む。
【0030】
ステップS207において、判定部22は、作業履歴情報に病害虫の検出処理が行われたことを示す情報が含まれているか否かを判定する。作業履歴情報に病害虫の検出処理が行われたことを示す情報が含まれている場合(S207:YES)、処理がステップS209に進む。作業履歴情報に病害虫の検出処理が行われたことを示す情報が含まれていない場合(S207:NO)、処理がステップS208に進む。例えば、判定部22が、ステップS203で
図5Aの点線A1で示す枠内の作業コード(001、002)を取得した場合、作業コード(001、002)に対応する作業履歴情報には病害虫の検出処理が行われたことを示す情報が含まれていない。この場合、処理がS208に進む。
【0031】
ステップS208において、判定部22は、病害虫の検出処理を行うことを決定する。ステップS209において、判定部22は、作業判定結果を出力する。作業判定結果は、病害虫の検出処理を行うこと、又は、病害虫の検出処理を行わないこと、を示す情報を含む。
【0032】
撮像部23は、判定部22から出力された作業判定結果に基づいて、植物の撮像を開始することで、作業者が植物に対して作業を行っている間の植物の画像を生成する。
【0033】
病害虫検出部24は、判定部22から出力された作業判定結果に基づいて、サーバ100のAI検出部103を用いて、植物の病害虫の有無の検出を行い、植物の病害虫の有無の検出結果(以下、単に「検出結果」とも称する。)を出力する。病害虫検出部24は、植物の画像をAI検出部103に送る。AI検出部103は、植物の画像を記憶部101に記憶する。AI検出部103は、植物の画像を解析して植物の病害虫の有無の検出を行い、検出結果を病害虫検出部24に送る。病害虫検出部24は、AI検出部103から受け取った検出結果を出力する。AI検出部103は、植物の画像から植物の病害虫の有無や種類等の状態を把握し、植物の病害虫の有無の検出結果を病害虫検出部24に送る。検出結果は、日時、対象圃場、病害虫の有無や種類、植物の病害虫の有無の検出が行われた検出位置、植物の画像内における病害虫の位置等の情報を含む。AI検出部103は、植物の病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する。
【0034】
情報処理部25は、病害虫検出部24から出力された検出結果に基づいて、種々の処理を実行する。情報処理部25は、GPS情報、作業コード、作業箇所、検出結果等を含む送信情報を作成し、送信情報をサーバ100の生産管理部104に送る。生産管理部104は、送信情報に基づいて、記憶部101に記憶された作業履歴情報を更新する。また、情報処理部25は、作業箇所、検出結果等を作業者に通知又は報知してもよい。携帯端末11の画面13に作業箇所、検出結果等を表示してもよいし、作業箇所、検出結果等を携帯端末11の音声で出力してもよい。これにより、作業者は、作業箇所、検出結果等を確認することが可能となる。
【0035】
生産管理部104は、情報処理部25からの送信情報に基づいて、指示情報を作成して情報処理部25に送る。指示情報は、病害虫の状態に対処するための対処指示情報を含んでもよい。対処指示情報は、農薬散布、施肥、除去等の指示を含んでもよいし、対象圃場内の農薬散布を行う位置又は領域等の農薬散布箇所を指定する情報、農薬の種類及び散布量を含んでもよい。
【0036】
指示情報は、次に行うべき作業を指示するための作業指示情報を含んでもよい。作業指示情報は、次に行うべき作業についての作業コード、作業場所(平面位置)、作業タイミ
ング等を含んでもよい。生産管理部104は、情報処理部25からの送信情報及び記憶部101に記憶された作業履歴情報に基づいて、現在時刻から所定時間前までに植物の病害虫の有無の検出が行われていない3次元位置を特定してもよい。生産管理部104は、特定した3次元位置に基づいて、次に行うべき作業についての作業コード及び作業場所(平面位置)を決定してもよい。端末装置10が、次に行うべき作業についての作業場所(平面位置)を作業者に知らせることで、作業者は、次に行うべき作業を認識することができる。例えば、様々なセンサから取り込んだ情報に基づいて、AIを活用して最適な作業を作業者に提示するシステムにおいては、次に行うべき作業を作業リコメンドとして作業者に提供することが可能となる。また、
図3のフローチャートのステップS201においては、判定部22は、作業指示情報に含まれる作業コードを取得する。これにより、現在時刻から所定時間前までに植物の病害虫の有無の検出が行われていない3次元位置における植物に対して作業者が作業を行うと共に、植物の病害虫の有無の検出を行うことが可能となる。
【0037】
(作業判定処理の第2実施例)
図8は、判定部22によって行われる作業判定処理の第2実施例を示すフローチャートである。
図8に示すフローチャートが開始する前に、撮像部23は、撮像を開始することで、作業者が植物に対して作業を行っている間の植物及びオブジェクトを撮像して植物及びオブジェクトの画像を生成する。判定部22は、植物及びオブジェクトの画像をAI検出部103に送る。AI検出部103は、植物及びオブジェクトの画像からオブジェクトを検出し、検出したオブジェクトの高さに基づいて、高さ方向における作業者の作業箇所を決定する。オブジェクトは、高さの目印として用いられる。オブジェクトは、地面に設置されたポール、パイロン等の設置物であってもよい。オブジェクトは、オブジェクトが配置された周囲の植物の色とは異なる色を有してもよい。オブジェクトは、地面に設置されたポール、パイロン等の設置物に付されたマーカであってもよい。例えば、地面からの所定の高さにオブジェクトを配置しておき、AI検出部103は、オブジェクトよりも高い位置で作業者が作業を行っているか、又はオブジェクトよりも低い位置で作業者が作業を行っているか、を特定することで、高さ方向における作業者の作業箇所を決定してもよい。また、オブジェクトに高さに関する情報を付加してもよい。AI検出部103は、オブジェクトに付加された高さに関する情報を読み取ることで、地面からのオブジェクトの高さを把握してもよい。
【0038】
ステップS301において、判定部22は、AI検出部103から作業箇所情報を取得する。作業箇所情報は、高さ方向における作業者の作業箇所を含む。ステップS302において、判定部22は、端末装置10のGPS情報を取得する。
【0039】
ステップS303において、判定部22は、記憶部101に記憶された作業履歴情報を参照して、現在時刻から所定時間前又は所定期間前までの間における植物に対する作業についての作業箇所及びGPS情報を取得する。すなわち、判定部22は、植物に対する過去の作業についての作業箇所及びGPS情報を取得する。判定部22は、作業判定部102を介して、記憶部101から作業履歴情報を取得する。ユーザは、例えば、24時間(1日)、48時間(2日)等の所定時間を予め設定することができる。
図9は、作業履歴情報の一例を示す図である。作業履歴情報は、「作業箇所」、「作業」、「GPS情報」、「作業者」、「作業日」及び「病害虫検出処理」を含む。AI検出部103が、植物の画像から高さ方向における作業者の作業箇所を上部分と決定した場合、
図9の「作業箇所」のフィールドに「上部分」が記録される。AI検出部103が、植物の画像から高さ方向における作業者の作業箇所を下部分と決定した場合、
図9の「作業箇所」のフィールドに「下部分」が記録される。
【0040】
ステップS304の処理は、ステップS204の処理と同様であるので、その説明を省
略する。ステップS305において、判定部22は、記憶部101に記憶された作業判定表から、ステップS303で取得した作業箇所に対応する後作業箇所を取得する。判定部22は、作業判定部102を介して、記憶部101から作業判定表を取得する。
図10は、作業判定表の一例を示す図である。作業判定表は、「作業箇所」及び「後作業箇所」を含む。
【0041】
ステップS306において、判定部22は、ステップS301で取得した作業箇所情報に含まれる作業箇所とステップS305で取得した後作業箇所とが一致するか否かを判定する。ステップS301で取得した作業箇所情報に含まれる作業箇所とステップS305で取得した後作業箇所とが一致する場合(ステップS306:YES)、処理がステップS308に進む。ステップS301で取得した作業箇所情報に含まれる作業箇所とステップS305で取得した後作業箇所とが一致しない場合(ステップS306:NO)、処理がステップS307に進む。ステップS307~S309の処理は、ステップS207~209の処理と同様であるので、その説明を省略する。
【0042】
図11は、処理システム1に関する機能の構成を示すブロック図である。
図11に示す処理システム1は、撮像部401と、検出部402と、算出部403と、記憶部404とを有する。
図11に示す処理システム1に関する機能は、端末装置10及びサーバ100が協働して動作することにより提供されてもよい。また、
図11に示す処理システム1に関する機能は、端末装置10が単独で動作することにより提供されてもよい。
図11に示す処理システム1に関する機能は、処理装置が動作することにより提供されてもよい。
図11に示す処理システム1の構成要素の全てが必須というわけではなく、適宜、処理システム1の構成要素の追加又は削除がなされてもよい。また、処理システム1の少なくとも一部の機能が、クラウド上のコンピュータによって実現されてもよい。
【0043】
撮像部401は、作業者が植物に対して作業を行っている間の植物の画像を撮像する。検出部402は、撮像部401によって撮像された植物の画像を解析して植物の病害虫の有無の検出を行い、植物の病害虫の有無の検出結果を出力する。算出部403は、検出部402による植物の病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する。記憶部404には、検出部402の検出結果と算出部403によって算出された3次元位置情報とが紐づけて記憶されている。算出部403は、3次元位置情報を算出する毎に、検出部402の検出結果と3次元位置情報とを紐づけて記憶部404に記憶する。
【0044】
算出部403は、植物が撮像された位置を示す撮像位置情報及び作業者が植物に対して行う作業の種類を示す作業種類情報を取得する。撮像位置情報は、端末装置10のGPS情報であってもよいし、端末装置10のGPS情報に基づいて算出された位置情報であってもよい。算出部403は、撮像位置情報に基づいて、3次元位置情報における平面位置を決定する。算出部403は、作業種類情報に基づいて、3次元位置情報における高さ位置を決定する。処理システム1によれば、作業者が植物に対して行う作業の種類を示す作業種類情報に基づいて、3次元位置情報における高さ位置を決定することが可能であるため、3次元位置情報における高さ位置を簡易に決定することができる。
【0045】
撮像部401は、作業者が植物に対して作業を行っている間の植物及びオブジェクトを撮像して植物及びオブジェクトの画像を生成する。算出部403は、植物及びオブジェクトの画像からオブジェクトを検出し、オブジェクトの高さに基づいて、高さ方向における作業者の作業箇所を決定する。算出部403は、植物が撮像された位置を示す撮像位置情報及び高さ方向における作業者の作業箇所を示す作業箇所情報を取得する。算出部403は、撮像位置情報に基づいて、3次元位置情報における平面位置を決定する。算出部403は、作業箇所情報に基づいて、3次元位置情報における高さ位置を決定する。このよう
に、撮像部401は、作業者が植物に対して作業を行っている間の植物及びオブジェクトを撮像し、算出部403は、植物及びオブジェクトの画像からオブジェクトを検出し、オブジェクトに基づいて、高さ位置を決定する。処理システム1によれば、高さ方向における作業者の作業箇所を示す作業箇所情報に基づいて、3次元位置情報における高さ位置を決定することが可能となるため、3次元位置情報における高さ位置を簡易に決定することができる。
【0046】
検出部402は、記憶部404に記憶された過去の検出結果と過去の検出結果に紐づけられた3次元位置情報とに基づいて、植物の病害虫の有無の検出を行うか否かを決定する。過去の検出結果とは、現在時刻よりも前の時間内又は期間内おける検出結果である。例えば、検出部402は、検出結果及び3次元位置情報と、過去の検出結果及び過去の検出結果に紐づけられた3次元位置情報とが重複する場合、植物の病害虫の有無の検出を行わないようにしてもよい。これにより、植物の病害虫の有無の検出の処理負荷を軽減することができる。
【0047】
《コンピュータが読み取り可能な記録媒体》
情報処理装置その他の機械、装置(以下、コンピュータ等)に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0048】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、ブルーレイディスク、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやROM等がある。
【0049】
<付記1>
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像部(23、401)と、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出部(103、402)と、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出部(103、403)と、
を備える処理装置(1、10)。
【0050】
<付記2>
前記算出部(103、403)は、前記植物が撮像された位置を示す撮像位置情報及び前記作業の種類を示す作業種類情報を取得し、前記撮像位置情報に基づいて、前記平面位置を決定し、かつ、前記作業種類情報に基づいて、前記高さ位置を決定する、
付記1に記載の処理装置(1、10)。
【0051】
<付記3>
前記撮像部(23、401)は、前記作業者が前記植物に対して前記作業を行っている間の前記植物及びオブジェクトを撮像し、
前記算出部(103、403)は、前記植物及び前記オブジェクトの前記画像から前記オブジェクトを検出し、前記オブジェクトに基づいて、前記高さ位置を決定する、
付記1に記載の処理装置(1、10)。
【0052】
<付記4>
前記検出結果と前記3次元位置情報とが紐づけて記憶された記憶部(101、404)を備え、
前記検出部(103、402)は、前記記憶部に記憶された現在時刻よりも前の時間内又は期間内における前記検出結果と前記時間内又は前記期間内における前記検出結果に紐づけられた前記3次元位置情報とに基づいて、前記植物の前記病害虫の有無の検出を行うか否かを決定する、
付記1から3の何れか一つに記載の処理装置(1、10)。
【0053】
<付記5>
前記撮像部(23、401)は、前記作業者に装着するウェアラブルカメラである、
付記1から4の何れか一つに記載の処理装置(1、10)。
【0054】
<付記6>
処理装置(1、10)が実行する処理方法であって、
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像ステップと、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出ステップと、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出ステップと、
を有する処理方法。
【0055】
<付記7>
コンピュータに、
作業者が植物に対して作業を行っている間の前記植物を撮像して前記植物の画像を生成する撮像ステップと、
前記植物の前記画像を解析して前記植物の病害虫の有無の検出を行い、検出結果を出力する検出ステップと、
前記植物の前記病害虫の有無の検出が行われた検出位置を平面位置及び高さ位置を含む3次元位置情報として算出する算出ステップと、
を実行させるためのプログラム。
【符号の説明】
【0056】
1:処理システム
10:端末装置
11:携帯端末
12:ウェアラブル端末
15:カメラ
21:対象圃場選択部
22:判定部
23:撮像部
24:病害虫検出部
25:情報処理部
100:サーバ
101:記憶部
102:作業判定部
103:AI検出部
104:生産管理部
401:撮像部
402:検出部
403:算出部
404:記憶部