特開 2022-187146 情報処理装置、情報処理装置の制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187146

(43)【公開日】2022-12-19

(54)【発明の名称】情報処理装置、情報処理装置の制御方法及びプログラム

(51)【国際特許分類】

   G06Q 50/02 20120101AFI20221212BHJP

【ＦＩ】

G06Q50/02

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2021094999

(22)【出願日】2021-06-07

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】岩渕 康平

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC01

(57)【要約】      （修正有）

【課題】画像認識で被害を検出・認識し、圃場内で発生する被害について優先度に応じた対応すべき作業を提示することを可能とする情報処理装置、情報処理装置の制御方法及びプログラムを提供する。
【解決手段】情報処理装置において、利用者から画像の入力を受け付ける画像入力部２０１、画像入力部２０１で受け付けた画像に対して、画像認識を行い、各画像に含まれる農作物や設備の被害を認識する被害認識部２０２、被害情報に基づいて作業情報を取得する作業決定部２０３、作業情報の表示順を決定するための情報（優先情報）を決定する優先情報決定部２０４及び作業情報を優先情報に基づいて表示部に表示させる作業提示部２０５を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

圃場における撮影により得られた画像に対する画像処理に基づいて、農作物又は設備の被害を認識する認識手段と、
前記認識手段により認識された被害に対して必要な作業を決定する決定手段と、
前記決定手段により決定された複数の作業の優先度に基づいて、前記複数の作業を提示する提示手段と、
を有することを特徴とする情報処理装置。

【請求項2】

前記認識手段は、被害の種別を示す被害種別と被害の程度を示す被害度合を認識し、
前記認識手段により認識された前記被害種別と、前記被害度合とに基づいて、前記決定手段により決定された作業の優先度を決定する優先度決定手段を更に有し、
前記提示手段は、前記優先度決定手段により決定された前記複数の作業の優先度に基づいて、前記複数の作業を提示することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記認識手段は、前記被害種別として、被害の原因となった病害虫を認識し、
前記優先度決定手段は、前記認識手段により認識された病害虫の伝染力に基づいて、前記決定手段により決定された作業の優先度を決定することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記優先度決定手段は、前記認識手段により認識された前記被害種別により示される被害が農作物の生育に及ぼす影響に応じて、前記決定手段により決定された作業の優先度を決定することを特徴とする請求項２または３に記載の情報処理装置。

【請求項5】

前記優先度決定手段は、前記認識手段により認識された被害を受けた農作物の種別に応じて、前記決定手段により決定された作業の優先度を決定することを特徴とする請求項２から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記認識手段は、入力される画像に含まれる農作物または設備の被害を特定するように学習された学習済モデルを用いて、前記圃場における撮影により得られた画像に含まれる農作物又は設備の被害を認識することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。

【請求項7】

前記提示手段は、前記複数の作業の優先度が高い順に、前記複数の作業を提示することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。

【請求項8】

前記提示手段により提示された前記複数の作業のうちの何れかの作業をユーザ操作に基づいて選択する選択手段と、
前記選択手段により選択された作業の詳細を表示させる表示制御手段とを更に有することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。

【請求項9】

前記表示制御手段は、前記選択手段により選択された作業が必要な場所を特定するための情報を表示させることを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記表示制御手段は、前記選択手段により選択された作業が必要な場所を特定するための情報を表示させることを特徴とする請求項８または９に記載の情報処理装置。

【請求項11】

前記表示制御手段は、前記選択手段により選択された作業に係る、器具、薬剤、薬剤の量及び手順を示す情報のうちのいずれか一つ以上の情報を表示させることを特徴とする請求項８から１０のいずれか１項に記載の情報処理装置。

【請求項12】

前記優先度決定手段は、作業実施時の気象条件に基づいて、前記決定手段により決定された作業の優先度を決定することを特徴とする請求項２から５のいずれか１項に記載の情報処理装置。

【請求項13】

前記提示手段は、前記複数の作業の実施に掛かるコストを提示することを特徴とする請求項１から１２のいずれか１項に記載の情報処理装置。

【請求項14】

作業の実施の予算を取得する取得手段を更に有し、
前記提示手段は、前記予算内で実施可能な前記複数の作業を提示することを特徴とする請求項１３に記載の情報処理装置。

【請求項15】

前記提示手段は、利用者の属性に応じて、当該属性に基づき提示が認めらえる被害に対する前記複数の作業を提示することを特徴とする請求項１から１４のいずれか１項に記載の情報処理装置。

【請求項16】

前記利用者の属性は、料金に対応するランクであることを特徴とする請求項１５に記載の情報処理装置。

【請求項17】

圃場における撮影により得られた画像に対する画像処理に基づいて、農作物又は設備の被害を認識し、
認識された被害に対して必要な作業を決定し、
決定された複数の作業の優先度に基づいて、前記複数の作業を提示することを特徴とする情報処理方法。

【請求項18】

請求項１から１６のいずれか１項に記載の情報処理装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理装置の制御方法及びプログラムに関し、特に、圃場内で発生する作物や設備の被害に対する作業を優先度に従って提示する技術に関する。

【背景技術】

【0002】

農業分野では、圃場内で作物や設備に被害が発見された場合、被害の種類や程度に応じて適切な対応を実施する必要がある。しかし、被害に対応するための予算は限られているため、限られた予算の中で効率よく圃場の被害に対応できるよう、対応する被害を適切に選択しなければならない。

【0003】

特許文献１では、建造物に発生した被害をユーザが目視によって判定し、その判定された被害の度合いに基づいて修繕工事の優先度を求める技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５－５４５１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

農業分野においては、広大な圃場において発生する作物や設備の被害状況を把握し、それらに対する補修や対策のための作業を限られた予算内に効率的に実施する必要がある。しかしながら、特許文献１に記載の従来技術では、優先度を求めるにあたり、ユーザによる目視によって判断した被害の度合いを必要とする。広大な圃場において人手によって作物や設備の被害状況を把握することは現実的には困難であり、従来技術を農業分野における作業の推奨に適用するに際しては改善の余地がある。

【0006】

本発明は上述した問題を解決するためになされたものであり、画像認識で被害を検出・認識し、圃場内で発生する被害について優先度に応じた対応すべき作業を提示することを可能とする情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するための一手段として、本発明の情報処理装置は以下の構成を備える。すなわち、
圃場における撮影により得られた画像に対する画像処理に基づいて、農作物又は設備の被害を認識する認識手段と、
前記認識手段により認識された被害に対して必要な作業を決定する決定手段と、
前記決定手段により決定された複数の作業の優先度に基づいて、前記複数の作業を提示する提示手段と、
を有することを特徴とする。

【発明の効果】

【0008】

以上の構成からなる本発明によれば、画像認識で被害を検出・認識し、優先度を求める手間を削減することで、圃場内で発生する被害について優先度に応じた対応すべき作業を提示することができる。

【図面の簡単な説明】

【0009】

【図1】情報処理装置のハードウェア構成例を示す図である。

【図2】情報処理装置の機能構成例を示すブロック図である。

【図3】実施形態１の画面構成を示す図である。

【図4】区画情報を格納するテーブルを示す図である。

【図5】被害種別情報を格納するテーブルを示す図である。

【図6】被害情報を格納するテーブルを示す図である。

【図7】作業定義情報を格納するテーブルを示す図である。

【図8】被害情報と作業定義情報の対応付けを格納するテーブルを示す図である。

【図9】作業情報を格納するテーブルを示す図である。

【図10】作業の基本優先度を格納するテーブルを示す図である。

【図11】被害に対する作業を優先度順に提示する処理を示すフローチャートである。

【図12】変形例１の画面構成を示す図である。

【図13】優先度補正係数β情報を格納するテーブルを示す図である。

【図14】変形例２の画面構成を示す図である。

【図15】作業定義情報を格納するテーブルを示す図である。

【図16】被害に対する作業を優先度順に提示する処理を示すフローチャートである。

【図17】変形例３の画面構成を示す図である。

【図18】利用者情報を格納するテーブルを示す図である。

【図19】ランクと利用可能な被害種別の対応付けを格納するテーブルを示す図である。

【発明を実施するための形態】

【0010】

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0011】

＜実施形態１＞
本実施形態では、圃場で撮影された画像に含まれる農作物や設備の被害に対応する作業を優先度順に表示させる情報処理装置による情報処理方法の例について説明する。

【0012】

図１は、本実施形態に係る情報処理装置１００のハードウェア構成図である。図１に示すように、情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断等を行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。尚、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。ＣＰＵ１０１は、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に読み込んで実行することで、後述する各フローチャートに従った処理を実現する。ＣＰＵ１０１は、各処理の実行結果をＲＡＭ１０３に書き込む。

【0013】

ＨＤＤ１０４は、本実施形態に係る電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。なお、後述する各テーブルの実体はＲＡＭ１０３またはＨＤＤ１０４に格納される。表示部１０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を出力するデバイスである。なお表示部１０５は、情報処理装置１００と有線あるいは無線で接続された外部デバイスでも構わない。操作部１０６は、キーボードやマウスを有し、利用者による各種操作を受け付ける。通信部１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

【0014】

図２は、情報処理装置１００の機能構成を示すブロック図の一例である。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、プログラムに従った後述する処理を実行することで実現される。また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。以下、各要素について説明する。

【0015】

画像入力部２０１は、利用者から画像の入力を受け付け、入力された画像をＨＤＤ１０４に格納する。画像には、画像が撮影された地点の座標情報が紐づけられている。

【0016】

被害認識部２０２は、画像入力部２０１で受け付けた画像に対して、画像認識を行い、各画像に含まれる農作物や設備の被害を認識する。認識された被害情報はＨＤＤ１０４に格納される。画像認識処理では、機械学習された学習済みモデルを用いた画像処理に基づいて、入力画像の被写体の被害を認識する。この場合、例えば、入力データと出力データとの組み合わせを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えば、ニューラルネットワークモデルで構成可能である。このように本実施形態では、入力される画像に含まれる農作物や設備の被害を特定するように学習された学習済モデルを用いて被害の認識を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新してもよい。被害情報は、被害の種類を表す被害種別、被害の程度を表す被害度合、画像認識によって認識された被害の確からしさを表す確信度、対応する画像が撮影された地点の座標から構成されるものとする。なお、被害情報の構成要素は、一例であり、これらのうち少なくとも一つ以上により構成されてもよいし、他の情報を含んでもよい。

【0017】

作業決定部２０３は、ＣＰＵ１０１によってＨＤＤ１０４に格納されている被害情報に基づいて作業情報を取得し、ＲＡＭ１０３に保持する。優先情報決定部２０４は、ＣＰＵ１０１によってＲＡＭ１０３に保持されている作業情報の表示順を決定するための情報（優先情報）を決定し、ＲＡＭ１０３に保持する。優先情報には、例えば、作業の優先度や作業の実施にかかるコストがある。優先情報決定部２０４は、作業の優先度決定を行う。

【0018】

作業提示部２０５は、ＲＡＭ１０３に保持されている作業情報を優先情報に基づいて表示部１０５に表示させる表示制御を行う。

【0019】

図３は、本実施形態の情報処理装置置１００が表示させる、作業の推奨するための画面構成の一例を説明する図である。図３において、画像読み込みボタン３０１は、画像の読み込みの指示を受け付けるボタンである。本ボタンが押下されると、画像の選択を受け付けるためのダイアログが表示される。利用者にダイアログ上で画像を選択させ、情報処理装置置１００は、選択された画像の読み込み指示を受付ける。

【0020】

作業一覧表示領域３０２は、画像読み込みボタン３０１によって読み込まれた画像群のすべての被害に対する作業を優先情報に基づいて一覧表示する領域である。ここでは、例えば、作業の優先度が高いほど上に表示されるようにさせ、視認性が高い領域に優先度が高い作業を表示させる。情報処理装置置１００は、作業一覧から特定の作業の選択操作を、操作部１０６を介して利用者から受付ける。情報処理装置置１００は、ユーザ操作に基づいて選択された作業が選択状態であることを表すため、例えば、作業一覧表示領域３０２において選択された作業の背景色を変化させる。作業が選択されると、選択された作業の詳細が後述する作業詳細表示領域３０３に表示される。

【0021】

作業詳細表示領域３０３は、作業一覧表示領域３０２において選択された作業の詳細を表示する領域である。作業一覧表示領域３０２は、例えば、後述する地図表示領域３０４、被害情報表示領域３０８、作業内容表示領域３０９から構成される。

【0022】

地図表示領域３０４は、地図上に後述する区画アウトライン３０５や被害情報アイコン３０６を可視化する領域である。操作部１０６による本領域上でのスクロール操作やズーム操作によって、地図の任意の範囲を本領域上に表示される。

【0023】

区画アウトライン３０５は、圃場を区分けした区画のアウトラインを表すポリゴンである。区画アウトライン３０５は、対応する区画情報の座標で表される地図上の位置に表示される。

【0024】

被害情報アイコン３０６は、被害情報を表すアイコンである。即ち、被害情報アイコン３０６により被害が発生している位置（作業が必要な位置）を地図上に示すことができる。対応する被害情報が、座標で表される位置に表示される。作業一覧表示領域３０２において選択された作業に対応する被害情報は、選択した作業が必要な場所を特定可能に例えば黒い円により地図上で表される。利用者は操作部１０６によって被害情報アイコンを選択できる。被害情報アイコンが選択されると、情報処理装置置１００は、後述する被害情報選択インジケータ３０７が選択された被害情報アイコン近傍に表示させ、選択された被害情報アイコンに対応する被害情報を後述する被害情報表示領域３０８に表示させる。なお、選択可能な被害情報アイコンを作業一覧表示領域３０２において選択された作業に対応する被害情報アイコンのみに限定するため、黒い円で表される被害情報アイコンのみを選択できるように制御してもよい。

【0025】

被害情報選択インジケータ３０７は、被害情報アイコン３０６が利用者によって選択されたことを表すインジケータである。図３に示す例では、被害情報選択インジケータ３０７は、所定のアイコンであって、選択された被害情報アイコン３０６を特定可能に表示される。

【0026】

被害情報表示領域３０８は、利用者によって選択された被害情報アイコン３０６に対応する被害情報の詳細な内容を表示する領域である。図３に示す例では、被害情報表示領域３０８において、被害情報の詳細として、被害種別、被害度合、確信度が一例として表示される。被害情報表示領域３０８に表示される被害情報の詳細は、これらのうち何れかの情報であってもよいし、他の情報を含んでもよい。

【0027】

作業内容表示領域３０９は、作業一覧表示領域３０２において選択された作業の内容を表示する領域である。図３に示す例では、作業内容表示領域３０９において、作業種別、作業内容が一例として表示される。作業内容としては、作業に必要な器具、薬剤、薬剤の量及び作業の手順を示す情報が含まれる。なお、作業内容としては、作業に必要な器具、薬剤、薬剤の量及び作業の手順を示す情報のうちいずれか一つ以上の情報であってもよし、他の情報が含まれてもよい。また、作業内容表示領域３０９に表示される情報は、これらのうち何れかの情報であってもよいし、他の情報を含んでもよい。

【0028】

続いて、情報処理装置１００が図３に示す作業の推奨画面を表示させるために用いる情報について図４から図１０を用いて説明する。なお、図４から図１０に示す情報の構成は一例であり、各図に示した要素のうち何れかの情報であってもよいし、他の情報を含んでもよい。

【0029】

図４は、圃場の区画情報を管理するために用いる区画情報テーブル４００を例示した図である。図４に示される区画情報テーブル４００は、利用者からの入力に基づいて予め作成しておくものとする。

【0030】

区画情報テーブル４００の各行は、図３の３０５に示したような１つの区画の区画情報を表す。区画情報ＩＤ４０１には、区画情報テーブル４００に格納された区画情報を一意に識別するためのＩＤが記述される。座標４０２には、区画のアウトラインを表す座標の配列が記述される。

【0031】

図５は、被害種別を管理するために用いる被害種別テーブル５００を例示した図である。被害種別テーブル５００の各行は、圃場内で発生する作物や設備の被害の種類を表す。被害種別テーブル５００で管理される被害は、圃場で発生しうる作業が必要となり得る農作物や施設、設備に対する被害である。図５に示される被害種別テーブル５００は、利用者からの入力に基づいて予め作成しておくものとする。

【0032】

被害種別ＩＤ５０１には、被害種別テーブル５００に格納された被害種別を一意に識別するためのＩＤが記述される。ここで、本実施形態における被害の一例は、灰色かび病、うどんこ病、べと病、葉巻病などの病気や病害虫による被害である。また、果樹などが果実などの実を生産しなくなった枯れ枝の領域である非生産領域を被害としてもよい。また、農作物だけでなく圃場の設備の破損を被害としてもよい。被害種別テーブル５００において、被害種別名５０２には、被害種別の表示用文字列である被害種別名が記述される。

【0033】

図６は、被害情報を管理するために用いる被害情報テーブル６００を例示した図である。被害情報テーブル６００は、圃場における農作物や設備などを撮影した画像に対する画像認識処理によって取得される圃場における農作物や設備に対する被害の情報を管理するテーブルである。図６に示される被害情報テーブル６００は、画像の入力に応じて、情報処理装置１００の画像認識処理に基づいて作成される。

【0034】

被害情報テーブル６００において、被害情報ＩＤ６０１には、被害情報テーブル６００に格納された被害情報を一意に識別するためのＩＤが記述される。被害情報テーブル６００の各行は、圃場内で発生した作物や設備の被害に関する被害情報を表す。被害種別ＩＤ６０２には、画像認識処理によって認識された画像に含まれる農作物や設備の被害を識別するための識別子が格納される。具体的には、被害種別ＩＤ６０２には、被害種別テーブル５００に格納された被害種別ＩＤが記述される。被害度合６０３には、認識された被害の程度を示す被害度合が記述される。確信度６０４には、画像認識によって認識された被害情報の確からしさを表す確信度が記述される。座標６０５には、被害情報に対応する画像が撮影された地点の座標が記述される。

【0035】

図７は、作業定義情報を管理するために用いる作業定義情報テーブル７００を例示した図である。作業定義情報テーブル７００の各行は、圃場内で発生した被害に対する作業の定義情報を表す。作業定義情報ＩＤ７０１には、作業定義情報テーブル７００に格納された作業定義情報を一意に識別するためのＩＤが記述される。作業名７０２には、作業定義情報の表示用文字列である作業名が記述される。作業内容７０３には、作業の詳細や内容が記述される。図７に示される作業定義情報テーブル７００は、利用者からの入力に基づいて予め作成しておくものとする。

【0036】

図８は、被害情報と作業定義情報の対応付けを管理するために用いる被害情報・作業定義情報対応テーブル８００を例示した図である。被害情報・作業定義情報対応テーブル８００の各行は、被害に対する作業を特定するために用いられる対応付け情報を表す。

【0037】

図８において、被害種別ＩＤ８０１には、被害情報が持つ被害種別ＩＤ６０２で本テーブルを検索するための被害種別ＩＤが記述される。被害度合８０２には、被害情報が持つ被害度合６０３で本テーブルを検索するための被害度合の範囲が記述される。作業定義情報ＩＤ８０３には、作業定義情報テーブル７００に格納された作業定義情報を参照するためのＩＤが記述される。

【0038】

図８に示す被害情報・作業定義情報対応テーブル８００において、例えば、１行目では、灰色カビ病で被害台が、１から２の場合、薬剤の塗布作業が必要であることを定義している。図８に示される被害情報・作業定義情報対応テーブル８００は、利用者からの入力に基づいて予め作成しておくものとする。

【0039】

図９は、作業情報を管理するために用いる作業情報テーブル９００を例示した図である。作業情報テーブル９００の各行は、圃場内で発生した作物や設備の被害に対する作業の作業情報を表す。

【0040】

図９において、作業情報ＩＤ９０１には、作業情報テーブル９００に格納された作業情報を一意に識別するためのＩＤが記述される。区画情報ＩＤ９０２には、区画情報テーブル４００の特定の区画情報を示す区画情報ＩＤが記述される。作業定義情報ＩＤ９０３には、作業定義情報テーブル７００の特定の作業定義情報を示す作業定義情報ＩＤが記述される。被害情報ＩＤ９０４には、被害情報テーブル６００の特定の被害情報を示す被害情報ＩＤの配列が記述される。図９に示される作業情報テーブル９００は、入力画像に対する画像認識処理により取得される図６に示される被害情報テーブル６００に基づいて、図４～８に示す各情報の対応付けを判定し、判定結果に基づき情報処理装置１００により構成される。

【0041】

図１０は、作業の優先度の基本値を示す基本優先度を管理するために用いる基本優先度テーブル１０００を例示した図である。情報処理装置１００は、基本優先度を基に、後述する処理により各作業の優先度を決定する。

【0042】

図１０において、基本優先度テーブル１０００の各行は、区画ごとの被害種別に応じて割り当てる、作業の優先度を算出する際に参照される基本優先度を表す。被害種別ＩＤ１００１には、後述する区画情報ＩＤ１００２と合わせて基本優先度テーブル１０００に格納された基本優先度情報を一意に識別するためのＩＤが記述される。区画情報ＩＤ１００２には、被害種別ＩＤ１００１と合わせて基本優先度テーブル１０００に格納された基本優先度情報を一意に識別するためのＩＤが記述される。

【0043】

基本優先度１００３には、作業の優先度を決定する際の因子の１つである値が記述される。基本優先度は、被害の性質に基づいて定められる。被害の性質は、例えば、被害の原因である病害虫の伝染力であり、伝染力が高いほど基本優先度を高く設定する。あるいは、被害が作物の生育や圃場内で発生する栽培業務の実施に影響を及ぼす度合いであり、被害によって作物の生育や圃場内で発生する栽培業務の実施に及ぼす影響が大きいほど基本優先度を高く設定する。例えば、灌漑設備の故障は作物の生育に及ぼす影響が大きいため基本優先度を高くする。杭の破損は作物の生育や栽培業務の実施に及ぼす影響が小さいため基本優先度を低くする。杭の倒壊は農作業用車両の通行が妨げられるなど栽培業務の実施に及ぼす影響が大きいため基本優先度を高くする。あるいは、被害が発生した区画で栽培されている作物の格付けであり、作物の格付けが高いほど基本優先度を高く設定する。図１０に示される基本優先度テーブル１０００は、利用者からの入力に基づいて予め作成しておくものとする。即ち、本実施形態では、被害を受けた農作物の種別に応じて、優先度を決定する。

【0044】

以上説明した構成を有する情報処理装置１００による、図４から図１０にした情報を参照して表示画面を生成する際の処理について詳細に説明する。

【0045】

図１１は、本実施形態における被害に対する作業を優先度順に提示する処理の流れを説明するフローチャートである。図１１に示すフローチャートの示す処理は、利用者からの圃場における作業の推奨指示を受付けた場合に開始される。

【0046】

Ｓ１１０１において、画像入力部２０１は、利用者から画像の入力を受け付ける。Ｓ１１０２において、被害認識部２０２は、Ｓ１１０１において入力を受けつけた各画像に対して画像認識によって被害種別、被害程度及び確信度を特定する。被害認識部２０２は、特定した被害種別被害程度及び確信度を画像の撮影地点の座標と合わせて被害情報テーブル６００に格納する。

【0047】

Ｓ１１０３において、情報処理装置１００は、被害情報テーブル６００に格納されているすべての被害情報について後述するＳ１１０４の処理が実施されたか否かを判定する。情報処理装置１００は、被害情報テーブル６００に格納されているすべての被害情報についてＳ１１０４の処理が終了していない場合、未処理の被害情報の何れかを処理対象として特定する。他方、情報処理装置１００は、被害情報テーブル６００に格納されているすべての被害情報についてＳ１１０５に処理を進める。以下では、Ｓ１１０４の処理の対象とする被害情報を参照被害情報と記す。

【0048】

Ｓ１１０４において、作業情報決定部２０３は、参照被害情報に対する作業情報を決定する。具体的には、作業情報決定部２０３は、参照被害情報の被害種別ＩＤと被害度合をキーとして、被害情報・作業定義情報対応テーブル８００を検索する。作業情報決定部２０３は、参照被害情報の被害種別ＩＤが被害種別ＩＤ８０１に一致し、かつ、参照被害情報の被害度合が被害度合８０２の値の範囲に含まれる行の作業定義情報ＩＤ８０３を取得する。

【0049】

また、作業情報決定部２０３は、区画情報テーブル４００から、座標４０２で表される区画のアウトラインの内部に参照被害情報の座標が含まれる行を取得し、取得した行の区画情報ＩＤ４０１を取得する。そして、作業情報決定部２０３は、取得した作業定義情報ＩＤと区画情報ＩＤに対応する作業情報を作業情報テーブル９００から検索し、検出できたら該当作業情報の被害情報ＩＤ９０４に参照被害情報の被害情報ＩＤを追加する。作業情報決定部２０３は、取得した作業定義情報ＩＤと区画情報ＩＤに対応する作業情報を検出できなければ、取得した作業定義情報ＩＤ、区画情報ＩＤ、参照被害情報の被害情報ＩＤを新たな作業情報として作業情報テーブル９００に追加する。

【0050】

Ｓ１１０５において、情報処理装置１００は、作業情報テーブル９００に格納されているすべての作業情報について後述するＳ１１０６の処理が実施されたか否かを判定する。情報処理装置１００は、作業情報テーブル９００に格納されているすべての作業情報についてＳ１１０６の処理が終了していない場合、未処理の作業情報の何れかを処理対象として特定する。他方、情報処理装置１００は、作業情報テーブル９００に格納されているすべての作業情報ついてＳ１１０６の処理が終了している場合、Ｓ１１０７に処理を進める。以下では、Ｓ１１０６の処理の対象とする作業情報を参照作業情報と記す。

【0051】

Ｓ１１０６において、優先情報決定部２０４は、参照作業情報の優先度を決定する。優先度は以下の式で求められる。
優先度＝基本優先度＊確信度＊優先度補正係数α 式１
ここで、基本優先度は、参照作業情報の区画情報ＩＤと被害情報ＩＤで基本優先度テーブル１０００を検索して取得される。具体的には、まず、優先情報決定部２０４は、被害情報テーブル６００から参照作業情報の被害情報ＩＤに対応する被害情報を取得し、取得した被害情報から被害種別ＩＤを取得する。そして、優先情報決定部２０４は、取得した被害種別ＩＤと参照作業情報の区画情報ＩＤで、基本優先度テーブル１０００を検索して、基本優先度を取得する。なお、参照作業情報の被害情報ＩＤに複数の被害情報ＩＤが含まれている場合、被害情報ＩＤごとに基本優先度を取得し、最も大きな値を持つ基本優先度を使用するものとする。

【0052】

確信度は、被害情報テーブル６００から参照作業情報の被害情報ＩＤに対応する被害情報から取得される。なお、参照作業情報の被害情報ＩＤに複数の被害情報ＩＤが含まれている場合、被害情報ＩＤごとに確信度を取得し、取得した複数の確信度の平均を使用する。

【0053】

優先度補正係数αは、被害の分布に基づいて作業の優先度を補正するための係数であり、以下の式で求められる。
優先度補正係数α＝被害の数／被害の範囲 式２
ここで、被害の数は、参照作業情報の被害情報ＩＤの要素数である。
また、被害の範囲は、参照作業情報の被害情報ＩＤの各要素が参照する被害情報から求めた凸包の面積である。凸包を求める際には、被害情報の座標６０５が参照される。

【0054】

Ｓ１１０７において、作業情報提示部２０５は、Ｓ１１０５～Ｓ１１０６で決定した作業情報の優先度に基づいて作業情報をソートし、優先度が高い順に作業情報を提示する。Ｓ１１０７において、例えば、上述した図３の画面により作業情報が提示される。

【0055】

情報表示領域３０８に表示する情報のうち、被害度合と確信度は、利用者に選択された被害情報アイコン３０６に対応する被害情報の被害情報ＩＤで被害情報テーブル６００を検索して得られる被害情報から取得される。被害種別を表す文字列は、先に取得した被害情報の被害種別ＩＤで被害種別テーブル５００を検索して得られる被害種別情報から取得される。

【0056】

作業内容表示領域３０９に表示する情報は、Ｓ１１０５～Ｓ１１０６で決定した作業情報の作業定義情報ＩＤで作業定義情報テーブル７００を検索して得られる作業定義情報から取得する。

【0057】

以上説明したように、本実施形態では、まず、圃場内でインターバル撮影した画像に対して画像認識によって被害情報を認識する。次に、被害情報から対応する作業情報が決定される。次に、被害の性質に基づいて作業情報の優先度を求め、優先度に従って作業情報を提示する。これにより、圃場内で発生する被害に対する作業を優先度順に提示することができる。

【0058】

［変形例１］
上述の実施形態の変形例１について説明する。上述した各処理のうち、Ｓ１１０６については、以下で説明する処理に置き換えてもよい。これにより、作業実施時の条件を考慮に入れて作業の優先度を計算できるようになる。なお、作業実施時の条件は、気象条件の他、作物の生育状況や作業の履歴でもよい。

【0059】

図１２は、変形例１の画面構成の一例を説明する図である。３０１～３０９は、図３と同様であるため説明を割愛する。

【0060】

図１２において、作業実施日入力１２０１は、作業を実施する日付の入力を受け付ける。なお、情報処理装置１００は、作業実施日入力１２０１において入力された作業実施日をＲＡＭ１０３に格納する。

【0061】

作業実施区画入力１２０２は、作業を実施する区画の入力を受け付ける。なお、情報処理装置１００は、作業実施区画入力１２０２において入力された作業実施区画をＲＡＭ１０３に格納する。

【0062】

図１３は、優先度補正係数βを管理するために用いる優先度補正係数βテーブル１３００を例示した図である。優先度補正係数βテーブル１３００の各行は、作業の優先度を算出する際に参照される優先度補正係数βを表す。

【0063】

作業定義情報ＩＤ１３０１には、優先度補正係数βテーブル１３００に格納された優先度補正係数βを一意に識別するためのＩＤが記述される。

【0064】

気象条件１３０２には、作業実施時の気象条件が記載される。優先度補正係数β１３０３には、作業情報の優先度の決定時に用いる優先度補正係数βが記述される。

【0065】

以下、変形例１におけるＳ１１０６の処理について説明する。変形例１におけるＳ１１０６において、優先情報決定部２０４は、Ｓ１１０４において決定された作業情報の優先度を決定する。優先度は以下の式で求める。
優先度＝基本優先度＊確信度＊優先度補正係数α＊優先度補正係数β 式３
ここで、基本優先度、確信度、優先度補正係数αはＳ１１０６と同様であるため説明を割愛する。優先度補正係数βは、Ｓ１１０４において決定された作業情報の作業定義情報ＩＤと作業実施時の気象条件によって決定される。具体的には、まず、情報処理装置１００は、任意の気象サービスを利用して、作業実施日と作業実施区画における気象条件を取得する。そして、情報処理装置１００は、作業情報の作業定義情報ＩＤと先に取得した気象条件が、優先度補正係数βテーブルの作業定義情報ＩＤ１３０１と気象条件１３０２にそれぞれ一致する行の優先度補正係数β１３０３を取得する。なお、複数の行が一致する場合、各行の優先度補正係数β同士を掛けて優先度補正係数βを求める。なお、一致する行が見つからない場合、優先度補正係数βを１とする。

【0066】

［変形例２］
上述の実施形態の変形例２について説明する。変形例２では、上述した図１１のフローチャートにおいて、後述するＳ１６０１の処理を追加して、作業の実行にかかるコストを算出し、利用者に提示するようにする。これにより、利用者は作業の実行にかかるコストを確認できるようになり、コストを考慮に入れて実施する作業を選択できるようになる。

【0067】

図１４は、変形例２の画面構成の一例を説明する図である。３０１～３０８は、図３と同様であるため説明を割愛する。

【0068】

図１４において、作業内容表示領域１４０１は、作業一覧表示領域３０２において選択された作業の内容を表示する領域である。作業種別、作業内容に加え、図１６を用いて後述する処理で求めるコストを表示する。

【0069】

図１５は、作業情報を管理するために用いる作業定義情報テーブル１５００を例示した図である。作業定義情報テーブル１５００の各行は、圃場内で発生した被害に対する作業の定義情報を表す。７０１～７０３は、図７と同様であるため説明を割愛する。コスト１５０１は、作業を実施する際に発生するコストまたはコストの計算式が記述される。

【0070】

図１６は、変形例２における被害に対する作業を優先情報に基づいて提示する処理の流れを説明するフローチャートである。Ｓ１１０１～Ｓ１１０７は、図１１と同一であるため説明を割愛する。

【0071】

Ｓ１６０１において、優先情報決定部２０４は、Ｓ１１０４において決定された作業情報について実施にかかるコストを算出する。まず、作業定義情報テーブル１５００からＳ１１０４において決定された作業情報の作業情報ＩＤが作業情報ＩＤ７０１に一致する行を特定し、コスト１５０１を取得する。取得したコストの内容が数値である場合、それをコストとする。なお、コスト１５０１は、作業を実施する際に掛かる費用として説明を行うが、時間や工数をコストとしてもよいし、費用と時間とを含めた概念をコストとしてもよい。

【0072】

取得したコストの内容が計算式である場合、計算式に含まれる変数（波括弧に囲まれている文字列）の値を求め、計算式内に代入してコストを求める。

【0073】

変数が区画の面積である場合、その値を次のように求める。区画情報テーブル４００から、区画情報ＩＤ４０１がＳ１１０４において決定された作業情報の区画情報ＩＤに一致する行を取得し、座標４０２で表される区画のアウトラインの面積を算出する。

【0074】

変数が被害個所数である場合、Ｓ１１０４において決定された作業情報の被害情報ＩＤの要素数を取得する。

【0075】

なお、Ｓ１１０７において、作業情報提示部２０５は、Ｓ１６０１において求めた作業の実施にかかるコストに基づいて作業情報をソートし、コストが高い順または低い順に作業情報を提示してもよい。

【0076】

［変形例３］
上述の実施形態の変形例３について説明する。変形例３において、変形例２において上述した各処理のうち、Ｓ１１０７について、以下で説明する処理に置き換える。これにより、予算内で実施可能な作業の一覧を容易に確認できるようになる。

【0077】

図１７は、変形例３の画面構成の一例を説明する図である。３０１～３０８、１４０１は、図１４と同様であるため説明を割愛する。予算入力１７０１は、作業に割り当てられた予算の入力を受け付ける。情報処理装置１００は、入力された予算をＲＡＭ１０３に格納する。

【0078】

以下、変形例３におけるＳ１１０７の処理について説明する。変形例３におけるＳ１１０７の処理において、作業情報提示部２０５は、すべての作業情報から予算入力１７０１によって入力された予算に収まるように作業情報を絞り込む。具体的には、まず、作業情報提示部２０５は、すべての作業情報を優先度でソートする。そして、作業情報提示部２０５は、すべての作業情報について優先度の高さ順にその作業情報を選択するかを判定する。作業情報提示部２０５は、優先度の高さ順にその作業情報を選択すると判定された作業情報は、作業一覧表示領域３０２に表示させる。

【0079】

変形例３におけるＳ１１０７の判定処理と作業情報の選択処理は具体的には次のように行う。作業情報提示部２０５は、それまでに選択された作業情報のコストと未判定の作業情報の中で最も優先度が高い作業情報のコストの合計が予算内である場合、未判定の作業情報の中で最も優先度が高い作業情報を選択する。予算を超える場合、作業情報の選択を終了する。

【0080】

［変形例４］
上述の実施形態の変形例４について説明する。変形例４において、上述したＳ１１０２については、以下で説明する処理に置き換える。これにより、利用者の属性に応じて利用可能な被害種別を制限できるようになる。なお、本変形例においては、利用者の属性として利用者の支払う利用料金に応じたランクを例に説明するが、利用者の属性は利用者が支払う利用料金に応じたランクに限定されない。利用者の属性には、例えば、継続使用期間に応じたランク、ユーザが本装置を利用する地域、ユーザが栽培している作物の種類などがある。

【0081】

本変形例において、情報処理装置１００は、利用者を識別する必要がある。利用者はあらかじめサインアップを行う。ここでサインアップとは、利用者の識別子と本人のみが知る情報（パスワードなど）を合わせて登録する行為である（以下、利用者の識別子と本人のみが知る情報を合わせて認証情報と記す）。本変形例において、サインアップ時に利用者の表示用文字列である利用者名と本人のみが知る情報であるパスワードとランクの入力を受け付ける。そして、一意な利用者ＩＤが生成され、該利用者ＩＤ、入力された利用者名、パスワード及びランクが後述する利用者情報テーブルに格納される。なお、パスワードはハッシュ化した上で格納するのが望ましい。

【0082】

サインアップが済んでいる利用者は、登録した認証情報に基づいて認証を行うサインインを行う。情報処理装置１００は、サインインした利用者の利用者ＩＤを参照可能であるとする。ここでサインインとは、本装置に対して認証情報を提供し、サインアップ済みの利用者の中から認証情報を提供した利用者を特定する行為である。

【0083】

図１８は、利用者情報を管理するために用いる利用者情報テーブル１８００を例示した図である。利用者情報テーブル１８００の各行は、本装置にサインアップした利用者の利用者情報を表す。

【0084】

図１８において、利用者ＩＤ１８０１には、利用者情報テーブル１８００に格納された利用者情報を一意に識別するためのＩＤが記述される。

【0085】

利用者名１８０２には、利用者の表示用文字列である利用者名が記述される。

【0086】

パスワード１８０３には、ハッシュ化されたパスワードが記述される。ランク１８０４には、利用者のランクを示す情報が記述される。利用者のランクに応じて、利用者が利用可能な被害の種類を特定される。なお、利用者のランクに応じて、利用者の使用料が異なるように構成されてもよい。

【0087】

図１９は、ランクごとに利用可能な被害種別を管理するために用いる利用可能被害種別テーブル１９００を例示した図である。図１９において、ランク１９０１には、利用可能被害種別テーブル１９００に格納された利用可能被害種別情報を一意に識別するための情報が記述される。被害種別ＩＤ１９０２には、利用者のランクがランク１９０１と一致する場合に利用者が利用可能な被害情報の一覧を表す被害種別ＩＤの配列が記述される。

【0088】

以下、Ｓ１１０２を置き換える処理について説明する。変形例４のＳ１１０２において、情報処理装置１００は、情報処理装置１００を利用している利用者の利用者ＩＤを取得する。次に、情報処理装置１００利用者情報テーブル１８００から、先に取得した利用者ＩＤと利用者ＩＤ１８０１が一致する行を取得し、取得した行のランク１８０４を取得する。次に、情報処理装置１００利用可能被害種別テーブル１９００から、先に取得したランクとランク１９０１が一致する行を取得し、取得した行の被害種別ＩＤ１９０２を取得する。次に、情報処理装置１００は、各画像に対して画像認識によって被害種別と被害程度、確信度を求め、画像の撮影地点の座標と合わせて被害情報テーブル６００に格納する。このとき、先に取得した被害種別ＩＤが表す被害種別のみを画像認識処理で認識する対象とする。

【0089】

このようにすることで、利用者の使用料などに応じて利用できる機能を制限することが可能となる。

【0090】

以上説明した上述の実施形態によれば、広大な圃場における農作物や設備を撮影したことにより得られる画像から画像認識で被害を検出・認識し、これらの被害について優先度順に対応すべき作業を提示することができる。

【0091】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムによっても実現可能である。

【0092】

また、上述の実施形態において、情報処理装置１００は単一の装置である情報処理システムとして説明を行った。これに限らず、上述した処理を複数の装置により構成される情報処理システムが実施する構成としてもよい。例えば、複数の装置による分散処理により上述の処理を実施してもよいし、図１１に示したフローチャートの一又は複数のステップをそれぞれ異なる装置により実施する構成としてもよい。

【0093】

また、上述の実施形態をＳａａＳ （Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）として構成してもよい。即ち、図１１に示したフローチャートにおいて、例えば、Ｓ１１０１～Ｓ１１０６に説明した処理及びＳ１１０７における表示画面の作成をクラウド・コンピューティングにより実施する。そして、クラウド・コンピューティングにより作成した画面を端末装置が表示することによりＳ１１０７における提示処理を行う構成としてもよい。また、上述の処理の分担は一例であり、クラウド・コンピューティング及び端末装置で任意に上述の処理を分担する構成としてもよい。

【符号の説明】

【0094】

３０１ 画像読み込みボタン
３０２ 作業一覧表示領域
３０３ 作業詳細表示領域
３０４ 地図表示領域
３０５ 区画アウトライン
３０６ 被害情報アイコン
３０７ 被害情報選択インジケータ
３０８ 被害情報表示領域
３０９ 作業内容表示領域
１２０１ 作業実施日入力
１２０２ 作業実施区画入力
１４０１ 作業内容表示領域
１７０１ 予算入力

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】