IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ポーラスター・スペースの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023176173
(43)【公開日】2023-12-13
(54)【発明の名称】方法、プログラム及び情報処理装置
(51)【国際特許分類】
   G06Q 50/02 20120101AFI20231206BHJP
   G06T 7/00 20170101ALI20231206BHJP
   G01N 21/27 20060101ALI20231206BHJP
   H04N 7/18 20060101ALI20231206BHJP
【FI】
G06Q50/02
G06T7/00 350B
G06T7/00 640
G01N21/27 A
H04N7/18 K
【審査請求】有
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022088324
(22)【出願日】2022-05-31
(71)【出願人】
【識別番号】522215850
【氏名又は名称】株式会社ポーラスター・スペース
(74)【代理人】
【識別番号】110002815
【氏名又は名称】IPTech弁理士法人
(72)【発明者】
【氏名】中村 隆洋
【テーマコード(参考)】
2G059
5C054
5L049
5L096
【Fターム(参考)】
2G059AA03
2G059AA05
2G059BB20
2G059FF01
2G059JJ01
2G059KK04
5C054CA04
5C054CA05
5C054CF08
5C054FC12
5C054FE13
5C054HA11
5L049CC01
5L096CA18
5L096DA02
5L096KA04
(57)【要約】
【課題】収穫をする事業を行う事業者にとって、より適切に育成状況を管理する。
【解決手段】プロセッサに、マルチスペクトルカメラにより撮影されるスペクトル画像127と比較するための、観測対象である作物が特定の状態であることを検知するための学習モデル126をメモリに記憶させる第1ステップと、観測対象の地域において、作物が特定の状態であることを検知するための波長によりマルチスペクトルカメラで撮影させることでスペクトル画像127を生成する第2ステップと、撮影した結果であるスペクトル画像127と、作物が特定の状態であることを検知するための学習モデル126とに基づいて、観測対象の地域において特定の状態にある作物がある地域を特定する第3ステップと、特定した地域の情報を出力する第4ステップとを実行させる。
【選択図】図12
【特許請求の範囲】
【請求項1】
コンピュータを動作させるための方法であって、前記コンピュータのプロセッサに、
マルチスペクトルカメラにより撮影されるスペクトル画像と比較するための、観測対象である作物が特定の状態であることを検知するための情報をメモリに記憶させる第1ステップと、
観測対象の前記地域において、前記作物が特定の状態であることを検知するための波長により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する第2ステップと、
前記撮影した結果である前記スペクトル画像と、前記作物が特定の状態であることを検知するための情報とに基づいて、観測対象の前記地域において特定の状態にある前記作物がある前記地域を特定する第3ステップと、
前記特定した地域の情報を出力する第4ステップと、
を実行させる、方法。
【請求項2】
前記第2ステップにおいて、前記マルチスペクトルカメラを搭載した飛行体を、運行計画に従って、観測対象の前記地域において飛行させ、前記作物が特定の状態であることを検知するための波長により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する、
請求項1に記載の方法。
【請求項3】
前記第1ステップにおいて、前記検知するための情報として、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための波長の情報と、
当該地域において前記作物を撮影する際の太陽の角度の情報と、
が関連付けられたデータベースを教師データとして機械学習を行うことにより生成される学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記撮影した結果である前記スペクトル画像と、前記学習済みモデルとに基づいて、前記特定の状態にある前記作物がある前記地域を特定する、
請求項1に記載の方法。
【請求項4】
前記第1ステップにおいて、前記検知するための情報として、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報が関連付けられたデータベースを前記教師データとして前記機械学習を行うことにより生成される前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、さらに、前記マルチスペクトルカメラで前記観測対象の地域を撮像したときの前記観測対象の地域の温度に基づいて、前記特定の状態にある前記作物がある前記地域を特定する、
請求項3に記載の方法。
【請求項5】
前記第1ステップにおいて、前記教師データである前記データベースとして、さらに、前記特定の状態の種類の情報が関連付けられており、当該特定の状態の種類の情報を含む前記データベースにより生成された前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記学習済みモデルに基づき、前記特定の状態にある前記作物がある前記地域と、前記特定の状態の種類とを特定する、
請求項3に記載の方法。
【請求項6】
前記第2ステップにおいて、前記運行計画として、複数機の前記飛行体により、それぞれ異なる前記地域を飛行させ、各前記飛行体により撮影された前記スペクトル画像を、撮影された前記地域に基づき重ね合わせて前記スペクトル画像を生成する、
請求項2に記載の方法。
【請求項7】
前記第2ステップにおいて、前記運行計画として、観測対象の前記作物に応じて、観測対象の前記地域ごとに前記マルチスペクトルカメラの前記波長を指定し、前記波長の指定に従って、各地域で前記波長を切り替えて、前記飛行体の前記マルチスペクトルカメラにより前記スペクトル画像を生成する、
請求項2に記載の方法。
【請求項8】
前記第2ステップにおいて、前記運行計画として、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域を優先して、前記飛行体の前記マルチスペクトルカメラにより撮影させることで前記スペクトル画像を生成する、
請求項2に記載の方法。
【請求項9】
前記第4ステップにおいて、前記作物が特定の状態になっている地理範囲と、そうでない地理範囲とを区別し、さらに、前記スペクトル画像を撮影した地点に基づき、地図画像と重ね合わせて、前記作物が特定の状態になっている範囲を表示する、
請求項1に記載の方法。
【請求項10】
前記第4ステップにおいて、撮影時点の指定をユーザから受け付けており、指定された時点において撮影された前記スペクトル画像に基づき、前記作物が特定の状態になっている地理範囲を表示する、
請求項1に記載の方法。
【請求項11】
前記第4ステップにおいて、前記作物が特定の状態であることを検知した結果に基づき、特定の状態になっている前記作物の情報と、前記作物が特定の状態であることに対処するための費用の情報とを表示する、
請求項1に記載の方法。
【請求項12】
前記第1ステップにおいて、
前記マルチスペクトルカメラを搭載した前記飛行体を飛行させて地表を撮影させ、得られた前記スペクトル画像に基づいて、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための波長の情報と、
を関連付けて前記メモリに記憶させ、
さらに、前記コンピュータの前記プロセッサに、
前記記憶された前記スペクトル画像をユーザに閲覧させることにより、当該スペクトル画像と関連付けて、前記作物が特定の状態であることの指定を前記ユーザから受け付ける第5ステップと、
前記ユーザの指定に応じて、前記作物が前記特定の状態であることを検知するためのデータベースを前記メモリに記憶させる第6ステップと、
を実行させる、請求項2に記載の方法。
【請求項13】
前記データベースを作成するための前記スペクトル画像は複数の波長からなる第1の波長群について同一の地域を撮像したものであり、
前記第2ステップにおける前記スペクトル画像は複数の波長からなる第2の波長群について同一の観測対象の前記地域を撮像したものであり、
前記第1の波長群の波長数は前記第2の波長群の波長数より多い
請求項12に記載の方法。
【請求項14】
前記第1ステップにおいて、前記地域を示す情報と、前記スペクトル画像及びその撮影のための前記波長の情報と関連付けて、さらに、前記特定の状態の種類の情報を前記メモリに蓄積させる、
請求項12に記載の方法。
【請求項15】
前記第5ステップにおいて前記ユーザから受け付けた前記指定に基づいて、作物が前記特定の状態であることを前記スペクトル画像により検知するための波長を特定する、請求項12に記載の方法。
【請求項16】
前記第1ステップにおいて、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報を関連付けて前記メモリに記憶させる、
請求項12に記載の方法。
【請求項17】
前記メモリに蓄積されている情報のうち、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項12に記載の方法。
【請求項18】
前記ユーザから、前記地域に関する情報の入力を受け付けることに応答して、当該入力にかかる前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項12に記載の方法。
【請求項19】
請求項1に記載の方法をコンピュータに実行させるためのプログラム。
【請求項20】
請求項1に記載の方法を実行する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、方法、プログラム及び情報処理装置に関する。
【背景技術】
【0002】
農作物(以下、本明細書において概括的に「作物」と称する)の生育や病害虫・土壌の状態を把握する等の目的で、作物が生育されている土地をスペクトルカメラを用いて撮像して、この土地のスペクトル画像を取得する技術が知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第2017/179378号
【発明の概要】
【発明が解決しようとする課題】
【0004】
農業事業者にとっては、作物を育成し、収穫をするにあたっては、どこに作物を植えたかは育成者は把握していると考えられる。一方、作物を収穫して出荷するにあたり、単に植生が濃いかどうかだけでは、作物の育成状況が良好であるかどうか判断できないこともあり得る。
【0005】
従って、作物を育成し、収穫をする事業を行う事業者にとって、より適切に育成状況を管理することが可能な技術が必要とされている。
【0006】
そこで、本開示は、上記課題を解決すべくなされたものであって、その目的は、収穫をする事業を行う事業者にとって、より適切に育成状況を管理することを可能とする方法、プログラム及び情報処理装置を提供することである。
【課題を解決するための手段】
【0007】
一実施形態によると、コンピュータを動作させるための方法が提供される。この方法は、コンピュータのプロセッサに、マルチスペクトルカメラにより撮影されるスペクトル画像と比較するための、観測対象である作物が特定の状態であることを検知するための情報をメモリに記憶させる第1ステップと、観測対象の地域において、作物が特定の状態であることを検知するための波長によりマルチスペクトルカメラで撮影させることでスペクトル画像を生成する第2ステップと、撮影した結果であるスペクトル画像と、作物が特定の状態であることを検知するための情報とに基づいて、観測対象の地域において特定の状態にある作物がある地域を特定する第3ステップと、特定した地域の情報を出力する第4ステップと、を実行させる。
【発明の効果】
【0008】
本開示によれば、収穫をする事業を行う事業者にとって、より適切に育成状況を管理することが可能となる。
【図面の簡単な説明】
【0009】
図1】実施形態に係るシステムの概要を示す図である。
図2】実施形態に係るシステムの構成を示すブロック図である。
図3】実施形態に係るドローンを示す正面図である。
図4】実施形態に係るドローンを示す平面図である。
図5】実施形態に係るドローンのハードウェア構成を示すブロック図である。
図6】実施形態に係るドローンの機能的な構成を示すブロック図である。
図7】実施形態に係るドローンによる土地の撮像状態を示す概念図である。
図8】実施形態に係る衛星のハードウェア構成を示すブロック図である。
図9】実施形態に係る衛星の機能的な構成を示すブロック図である。
図10】実施形態に係る衛星による土地の撮像状態を示す概念図である。
図11】実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
図12】実施形態に係る情報処理装置の機能的な構成を示す図である。
図13】実施形態に係る衛星に格納された第1撮像条件DBのデータ構造を示す図である。
図14】実施形態に係る衛星に格納された画像DBのデータ構造を示す図である。
図15】実施形態に係るドローンに格納された第2撮像終了時刻DBのデータ構造を示す図である。
図16】実施形態に係るドローンに格納された飛行計画DBのデータ構造を示す図である。
図17】実施形態に係る情報処理装置に格納された広域画像DBのデータ構造を示す図である。
図18】実施形態に係る衛星の動作の一例を説明するためのフローチャートである。
図19】実施形態に係る情報処理装置の動作の一例を説明するためのフローチャートである。
図20】実施形態に係るドローンの動作の一例を説明するためのフローチャートである。
図21】実施形態に係る情報処理装置の動作の他の例を説明するためのフローチャートである。
図22】実施形態に係る情報処理装置における広域画像生成の動作の一例を示す図である。
図23】スペクトル画像により作物が特定の状態にあることを判定する手順を示す概念図である。
図24】実施形態に係る情報処理装置に表示される画面の一例を示す図である。
図25】実施形態に係る情報処理装置に表示される画面の他の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施形態について図面を参照して説明する。実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0011】
また、以下の説明において、「プロセッサ」は、1以上のプロセッサである。少なくとも1つのプロセッサは、典型的には、CPU(Central Processing Unit)のようなマイクロプロセッサであるが、GPU(Graphics Processing Unit)のような他種のプロセッサでもよい。少なくとも1つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
【0012】
また、少なくとも1つのプロセッサは、処理の一部又は全部を行うハードウェア回路(例えばFPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit))といった広義のプロセッサでもよい。
【0013】
また、以下の説明において、「xxxテーブル」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「xxxテーブル」を「xxx情報」と言うことができる。
【0014】
また、以下の説明において、各テーブルの構成は一例であり、1つのテーブルは、2以上のテーブルに分割されてもよいし、2以上のテーブルの全部又は一部が1つのテーブルであってもよい。
【0015】
また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び/又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ(或いは、そのプロセッサを有するコントローラのようなデバイス)とされてもよい。
【0016】
プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な(例えば非一時的な)記録媒体にあってもよい。また、以下の説明において、2以上のプログラムが1つのプログラムとして実現されてもよいし、1つのプログラムが2以上のプログラムとして実現されてもよい。
【0017】
また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報(例えば、英字や符号を含んだ識別子)が採用されてもよい。
【0018】
また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号(又は、参照符号のうちの共通符号)を使用し、同種の要素を区別して説明する場合は、要素の識別番号(又は参照符号)を使用することがある。
【0019】
また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【0020】
本明細書において、「スペクトル画像」とは、物体からの反射光のうち特定の波長帯域(含む特定の波長)の反射光のみからなる画像を意味する。スペクトル画像は、一例として、後述する実施形態に示すように、物体(作物)からの反射光を、特定の波長帯域のみ通過させるフィルタ(好ましくは透過波長帯域が可変の)を通過させることで、特定の波長帯域の反射光のみをイメージセンサに結像させ、このイメージセンサから出力される撮像信号に基づいて生成される。あるいは、フィルタを介さずに物体からの反射光をイメージセンサに結像させ、このイメージセンサから出力される撮像信号を信号処理により特定の波長帯域のみの撮像信号に変換する(フィルタリングする)ことでも生成される。なお、同一の物体について特定の波長帯域の反射光のみからなるスペクトル画像を複数まとめた画像もスペクトル画像と称することがある。
【0021】
また、本明細書において、「飛行体」とは、空中を飛行し、搭乗員なしに操縦しうる移動体(例えば、遠隔から無線で操縦し得るか、または自律的に操縦し得る航空機、ドローン、衛星、飛行船)を指す意味で用いる。
【0022】
さらに、本明細書において、作物が「特定の状態」にあるとは、次の内容を包含するものである。
・作物が病気になっているかどうか、及び、どの病気になっているかどうか、どの病気になりそうか
・作物の生育状態(生育状態には収穫可能かどうかも含まれる)
・対象領域が森林であれば植生の状態、植生の分布
【0023】
そして、作物には農作物のみならず草木も含まれる。従って、作物が特定の状態にあるとは、農作物を生育している草木の状態(例えば、農作物が林檎であればこの林檎を生育している木の葉の状態など)も含まれる。
【0024】
<実施形態>
<実施形態の概要>
実施形態に係るシステムでは、作物が栽培されている領域を含む地表面を第1のマルチスペクトルカメラにより撮像し、撮像して得られたスペクトル画像をオペレータが確認し、ある領域における特定の波長帯域におけるスペクトル画像の見え方の違い(これは、同一物体に対する特定の波長帯域における反射光とそれ以外の波長帯域における反射光との強弱に相当する)と、その領域における作物の特定の状態とをオペレータが関連付ける。この関連付けをライブラリとして保管しておく。次いで、観測対象の地域について同様に第2のマルチスペクトルカメラにより撮像してスペクトル画像を得る。そして、観測対象の地域を撮像したスペクトル画像を上述のライブラリに従って解析し、この地域において作物が特定の状態にある領域を特定する。
【0025】
第1のマルチスペクトルカメラ及び第2のマルチスペクトルカメラは、好ましくは移動体に搭載され、この移動体を地表面及び観測対象の地域を移動させることでスペクトル画像を取得する。移動体の例としては、飛行体であるドローン、衛星が好適な例として挙げられるが、第1及び第2のマルチスペクトルカメラを移動させてスペクトル画像を取得できる移動体であれば特段の限定はない。さらには、移動体が飛行体である必要はなく、第1、第2のスペクトルカメラが搭載された移動体が地表面を移動してもよい。例えば、第1、第2のスペクトルカメラを保持したオペレータが地表面を徒歩で移動する、第1、第2のスペクトルカメラを搭載した自動車が地表面を走行する等の手段によりスペクトル画像を取得してもよい。一例として、特許6342594号に開示された分光端末装置をスマートフォンにより実現したマルチスペクトルカメラを用いたような態様が挙げられる。
【0026】
第1のマルチスペクトルカメラが搭載された移動体と第2のマルチスペクトルカメラが搭載された移動体とが同一である必要はない。後述する実施形態では、第1のマルチスペクトルカメラは衛星に搭載され、第2のマルチスペクトルカメラはドローンに搭載されているが、第1のマルチスペクトルカメラがドローンに搭載され、第2のマルチスペクトルカメラは衛星に搭載されていてもよい。さらには、第1、第2のマルチスペクトルカメラがいずれも衛星に搭載され、あるいは、第1、第2のマルチスペクトルカメラがいずれもドローンに搭載されていてもよい。さらには、上述したように、第1のマルチスペクトルカメラ及び第2のマルチスペクトルカメラの少なくとも一方が、地表面を移動する移動体に搭載されていてもよい。
【0027】
第1のマルチスペクトルカメラ及び第2のマルチスペクトルカメラは、いずれも複数の波長帯域における地表面からの反射光を受光し、この反射光に基づいてスペクトル画像を生成するものである。好ましくは、第1のマルチスペクトルカメラは、液晶波長可変フィルタのような、撮像する波長を切替可能な部材を有し、第2のマルチスペクトルカメラよりも多数の波長についてのスペクトル画像を生成することができる。一方、第2のマルチスペクトルカメラは、特定の波長についてのスペクトル画像を生成することができる。このとき、特定の波長は、第2のマルチスペクトルカメラによる観測対象の地域を撮像している間は切替ができないことが好ましい。つまり、特定の波長は予め定めた波長である。当然、第1のマルチスペクトルカメラにより撮像可能なスペクトル画像の波長帯域の数と第2のマルチスペクトルカメラにより撮像可能なスペクトル画像の波長帯域の数の大小関係に特段の制限はない。
【0028】
本明細書における「ライブラリ」とは、汎用性の高いデータセット及び/またはプログラムを指す。好ましくは、ライブラリは人工知能技術における教師データとして実現される。さらに好ましくは、本実施形態のシステムでは、教師データを用いて学習モデルを生成し、この学習モデルに基づいて作物が特定の状態にある領域を特定する。従って、以下の説明において、「ライブラリ」は主に教師データを指すものとして用いるが、教師データと学習モデルとを特段区別せずに「ライブラリ」と称することがある。なお、以下の説明において、学習モデルは既に学習されたモデル、つまり学習済みモデルも含むものとする。
【0029】
詳細は後述するが、ライブラリ作成時に、スペクトル画像が撮像された際の太陽高度を考慮する必要がある。これは、作物(特に作物の葉)に太陽が当たる角度により、作物からの反射光の波長分布が異なるので、太陽高度(太陽角度)がライブラリに与える影響を考慮する必要があるからである。しかし、第1のマルチスペクトルカメラで撮像されたスペクトル画像に基づいてライブラリを作成するに当たり、システムの運用当初は第1のマルチスペクトルカメラで撮像されたスペクトル画像のバリエーション(特に異なる太陽角度に基づくスペクトル画像のバリエーション)が不足し、ライブラリ作成の際に太陽角度を考慮したライブラリが作成しづらい可能性がある。
【0030】
そこで、第1のマルチスペクトルカメラで撮像されたスペクトル画像を一定の太陽角度のものとし(一例として南中高度時のスペクトル画像)、一定の太陽角度のスペクトル画像に基づいてライブラリを作成する。次いで、第2のマルチスペクトルカメラでスペクトル画像を取得する際に、第1のマルチスペクトルカメラによるスペクトル画像を取得した際の太陽角度と同じ太陽角度でスペクトル画像を取得し、太陽角度の影響をできるだけ排除して作物が特定の状態にある領域を特定する作業を行うことができる。
【0031】
この後、第1及び第2のマルチスペクトルカメラで取得したスペクトル画像のバリエーションを増加させ、つまり、様々な太陽角度におけるスペクトル画像を取得し、太陽角度がライブラリに与える影響を定式化することができる。
【0032】
ライブラリ作成時、さらには作物が特定の状態にある領域を特定する作業において、広範囲の観測対象の領域についてライブラリを作成し、また、領域特定作業をするニーズが存在する。一方で、第1、第2のマルチスペクトルカメラにより撮像されるスペクトル画像は、それぞれのマルチスペクトルカメラの画角、及び、マルチスペクトルカメラを搭載した移動体と地表面からの高度によりその撮像範囲は所定のものになる。この場合、複数のスペクトル画像をつないで広範囲のスペクトル画像を生成することが好ましい。スペクトル画像をつなぐ手法は周知であり、一例として、スペクトル画像からオルソ画像を生成し、このオルソ画像をつなぐ手法が挙げられる。スペクトル画像をつなぐ手法は、第1のマルチスペクトルカメラ、第2のマルチスペクトルカメラのいずれから取得されたスペクトル画像に適用してもよい。
【0033】
図1を参照して、実施形態である方法が適用されたシステムの概要について説明する。本実施形態のシステムでは、第1のマルチスペクトルカメラを衛星に搭載し、第2のマルチスペクトルカメラをドローンに搭載した例を中心に説明するが、第1及び第2のマルチスペクトルカメラが搭載される移動体及び第1及び第2のマルチスペクトルカメラの移動方法については実施形態の開示に制限されない。さらに、第1及び第2のマルチスペクトルカメラの構成(特に取得できるスペクトル画像の波長帯域の数)についても実施形態の開示に限定されない。
【0034】
実施形態に係るシステム1では、ライブラリ作成のためのスペクトル画像を飛行体の一例である衛星2に搭載した第1のマルチスペクトルカメラにより生成し、観測対象の地域を飛行体の一例であるドローン3に搭載した第2のマルチスペクトルカメラにより撮像して、得られたスペクトル画像を作物が特定の状態にある領域を特定するために用いている。
【0035】
しかしながら、ライブラリ作成のためのスペクトル画像を撮像するための飛行体と領域特定のためのスペクトル画像を撮像するための飛行体とは同一であってもよいし、その種類には制限はない。但し、ライブラリ作成のためのスペクトル画像を衛星2により撮像することで、より広範囲の地表面からのスペクトル画像を能率良く入手できるメリットがある。一方、領域特定のためのスペクトル画像をドローン3により撮像することで、状態特定をすべき地域に絞ってドローン3を飛行させて簡便にスペクトル画像を入手でき、さらに、同一地域を多数回撮像する際のコストを低廉化できるメリットがある。
【0036】
また、詳細については後述するが、衛星2には、液晶波長可変フィルタ(LCTF:Liquid Crystal Tunable Filter)を用いた第1のマルチスペクトルカメラを搭載し、一方、ドローン3には、ライブラリ作成において作物が特定の状態にあることを明確に特定しうる複数の波長帯域の組合せによるスペクトル画像を撮像可能な第2のマルチスペクトルカメラ(好ましくは、特定の波長帯域の反射光のみを撮像可能なカメラを複数台搭載したマルチスペクトルカメラ)を搭載している。当然、複数の波長帯域における反射光に基づいて撮像可能なマルチスペクトルカメラであればその構成に限定はない。また、ドローン3にLTCFを用いた第1のマルチスペクトルカメラを搭載し、衛星2に複数の波長帯域の組合せによるスペクトル画像を撮像可能な第2のマルチスペクトルカメラを搭載してもよい。
【0037】
衛星2に搭載した第1のマルチスペクトルカメラは、液晶波長可変フィルタの作用により、可視域から近赤外域までの広い波長帯域における反射光のうち、特定の波長帯域における反射光を撮像可能である。地表面からの反射光を撮像するにあたって、本実施例のシステム1では、広い波長帯域を走査して、同一領域に対して多数の波長帯域における反射光に基づくスペクトル画像を撮像する。
【0038】
衛星2に搭載した第1のマルチスペクトルカメラにより撮像されたスペクトル画像は情報処理装置4に送信される。情報処理装置4のオペレータは、衛星2に搭載した第1のマルチスペクトルカメラにより同一領域を撮像したたスペクトル画像のうち、複数(好ましくは3波長帯域以上)のスペクトル画像を対比し、それぞれのスペクトル画像における濃淡のパターンから、作物が特定の状態にあることを示す濃淡のパターンを特定し、この濃淡のパターンと特定の状態を示す情報とを関連付ける。従って、情報処理装置4のオペレータは、上述した同一領域における地表面の作物の生育状態を把握し、この生育状態に基づいて、どの領域の作物がどのような特定の状態にあるかを事前に把握していることが前提となる。上述した関連付けはライブラリとして情報処理装置4のメモリ内に格納される。好ましくは、このライブラリは、人工知能技術における教師データとして実現される。さらに好ましくは、ライブラリ作成時に、衛星2により地表面を撮像した時刻から地表面に対する太陽の角度を取得または算出し、この太陽の角度も関連付けてライブラリを作成する。但し、既に説明したように、太陽角度の依存性についてはシステム1の運用当初を含めて必須ではない。
【0039】
次いで、作物が特定の状態にあるか否かの判定対象となる観測対象の地域を、予め定めた飛行計画に基づいてドローン3を飛行させ、このドローン3に搭載された第2のマルチスペクトルカメラにより撮像する。上述したように、ドローン3に搭載された第2のマルチスペクトルカメラによる撮像範囲は比較的狭いので、好ましくは、同時に複数台のドローン3を飛行させて並列的に第2のマルチスペクトルカメラにより撮像することが好ましい。
【0040】
飛行計画は、情報処理装置4のオペレータが事前に作成することが好ましい。この際、オペレータは、観測対象の地域の地形を事前に把握し、作物が特定の状態にあることが予想される地域を重点的にドローン3により飛行させる飛行計画を作成することが好ましい。この際、情報処理装置4が、作物が特定の状態にあることが予想される地域を推奨する態様も可能である。作物が特定の状態にあることが予想される地域は、例えば、作物が湿度に影響される場合は川沿いの地域、霧が長時間発生することが予想される地域、さらには特定の高度の幅において作物が特定の状態にあることが予想される場合、この高度幅の地域などがある。
【0041】
本実施例のシステム1では、特定の状態であるか否かを顕著に把握可能な複数の波長帯域を事前に選択し、これら波長帯域のそれぞれの反射光を撮像可能なカメラを複数台(好ましくは3台以上、より好ましくは4台)用意し、これら複数台のカメラによりマルチスペクトルカメラを構成している。
【0042】
このような第2のマルチスペクトルカメラにより観測対象の地域を撮像して得られたスペクトル画像を情報処理装置4に入力し、ライブラリと対比して、作物が特定の状態にある領域を特定する。図1においては、ハッチングで示された領域が、作物が特定の状態にある領域であるとして特定されている。この際、情報処理装置4は、ドローン3に搭載した第2のマルチスペクトルカメラにより撮像された個々のスペクトル画像をつなぎ合わせて1枚のスペクトル画像を生成し、このスペクトル画像を用いて作物が特定の状態にある領域を特定することが好ましい。これは、ドローン3は衛星2に比較して低空を飛行するため、観測対象となる地域が広範囲にわたる場合、1枚のスペクトル画像では観測対象の地域の全てを特定対象とすることが難しいからである。スペクトル画像をつなぎ合わせる意味は衛星2に搭載した第1のマルチスペクトルカメラから得られるスペクトル画像についても同様に当てはまるので、既に説明したように、第1のマルチスペクトルカメラから得られるスペクトル画像についても適宜つなぎ合わせることが好ましい。好ましくは、作物が特定の状態にある領域を特定する際に、スペクトル画像撮像時の地域の太陽の角度を取得、算出し、この太陽の角度を考慮して、作物が特定の状態にある領域を特定する。
【0043】
<システム1の基本構成>
図2を参照して、実施形態である方法が適用されたシステム1の基本構成について説明する。
【0044】
本実施形態のシステム1は、ネットワークNを介して接続された情報処理装置10及びドローン20、衛星30を有する。情報処理装置10のハードウェア構成を図11に、ドローン20のハードウェア構成を図5に、衛星30のハードウェア構成を図8に示す。これらドローン20及び衛星30は情報処理装置を搭載している。
【0045】
情報処理装置は演算装置と記憶装置とを備えたコンピュータにより構成されている。コンピュータの基本ハードウェア構成および、当該ハードウェア構成により実現されるコンピュータの基本機能構成は後述する。
【0046】
ネットワークNは、インターネット、LAN、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、3G、4G、5G移動通信システム、LTE(Long Term Evolution)、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク(例えばWi-Fi(登録商標))等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Z-Wave(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)等が含まれる。有線で接続する場合は、ネットワークには、USB(Universal Serial Bus)ケーブル等により直接接続するものも含む。
【0047】
情報処理装置10は、衛星30が撮像したスペクトル画像を受け入れ、このスペクトル画像に基づいてライブラリを作成する。そして、情報処理装置10は、ドローン20が撮像したスペクトル画像を受け入れ、このスペクトル画像及びライブラリに基づいて、観測対象の地域において作物が特定の状態にある領域を特定する。
【0048】
以下、各装置の構成およびその動作を説明する。
【0049】
<ドローン20のハードウェア構成>
本実施形態のドローン20は、静止飛行可能に構成されており、図3及び図4に示すように、スペクトルカメラ制御装置21と、このスペクトルカメラ制御装置21により制御されるスペクトルカメラ22とを有するスペクトルカメラ制御システム23を搭載している。以下、各構成について詳細に説明する。
【0050】
ドローン20は、空中で静止飛行する機能、いわゆるホバリング機能を有する飛行体であり、本実施形態では、複数枚の回転翼を有するマルチコプタ型のドローンである。また、本実施形態のドローン20は、予め指定された飛行経路を自律飛行する機能および通信装置等からの遠隔操作によって飛行する機能を有している。さらに、ドローン20は、図3及び図4において図示しないが、飛行中の自機の位置(緯度・経度)および高度を検出するためのGPS(Global Positioning System)受信機と、飛行中の自機の姿勢を検出する姿勢センサとを有している。
【0051】
ドローン20は、図5に示すように、スペクトルカメラ制御装置21と、このスペクトルカメラ制御装置21により制御される第2のマルチスペクトルカメラであるスペクトルカメラ22とを有するスペクトルカメラ制御システム23を搭載している。
【0052】
スペクトルカメラ制御システム23は、図5に示すように、主として、スペクトルカメラ22と、このスペクトルカメラ22の姿勢および位置の情報を検出する姿勢位置検出器24と、スペクトルカメラ22を制御するスペクトルカメラ制御装置21と、これら各機器に電力を供給するバッテリ25とを有する。
【0053】
スペクトルカメラ22は、図5に示すように、ドローン20が静止飛行中に、地表面が撮像対象となるように鉛直下方に向けてドローン20に搭載されている。
【0054】
本実施形態のドローン20に搭載されているスペクトルカメラ22は、後述するライブラリ生成の結果、作物が特定の状態にあることを検出することが可能な複数の波長帯域の組合せのそれぞれに対応した波長帯域の反射光が検出可能なイメージセンサを有する。詳しくは、スペクトルカメラ22は、イメージセンサと複数の波長帯域の光のみ通過可能な複数のフィルタを有し、スペクトルカメラ22による地表面撮像時に、複数のフィルタを適宜切り替えて(差し替えて)、個々の波長帯域の反射光のみイメージセンサに到達させ、フィルタの切替を連続的に行うことで、複数の波長帯域の組合せのそれぞれに対応した波長帯域の反射光に基づく撮像結果を得る。
【0055】
この際、ドローン20による観測対象の地域を撮像するに先立って、作物がどの特定の状態にあるかを検出するかを予め決定し、決定結果に基づいて定められたフィルタの組合せからなるスペクトルカメラ22がドローン20に搭載される。但し、単一の波長帯域の光のみ撮像可能なカメラを複数台搭載し、これら複数台のカメラによりスペクトルカメラ22を構成してもよい。このように、スペクトルカメラ22は、予め定めた特定の波長帯域の反射光に基づくスペクトル画像2104を生成するものであり、ドローン20による観測対象の地域を撮像している間において波長帯域の切替を行わない構成である。なお、上述の記載は、スペクトルカメラ22が、衛星30に搭載されるスペクトルカメラ32と同様に、複数の波長帯域を任意に切替可能な構成であることを排除する趣旨ではない。
【0056】
イメージセンサは、スナップショット方式でスペクトル画像を撮像するものである。本実施形態において、イメージセンサ222は、CMOSイメージセンサやCCDイメージセンサ等の視野内を同じタイミングで撮像可能な二次元イメージセンサからなる。また、イメージセンサ222は、スペクトルカメラ制御装置21から送信される撮像指令信号に基づいて撮像を実行するようになっている。
【0057】
姿勢位置検出器24は、スペクトルカメラ22の姿勢および位置の状態を検出する機器である。本実施形態における姿勢位置検出器24は、スペクトルカメラ22の位置情報および高度情報を検出するGPS受信機240と、前記スペクトルカメラ22の姿勢情報を検出する姿勢センサ241とを有する。
【0058】
GPS受信機240は、複数の人工衛星の位置を捕捉することで現在の位置情報および高度情報を取得するものである。本実施形態におけるGPS受信機240は、位置情報として経度情報および緯度情報を取得するとともに、高度情報として標高の情報を取得するようになっている。なお、位置情報および高度情報は、GPS受信機240により取得するものに限定されるものではなく、他の方法により取得してもよい。例えば、基準点を定めレーザー光や音響の反射を用いた距離計測器等によって前記基準点からの距離や高度情報として取得してもよい。
【0059】
姿勢センサ241は、スペクトルカメラ22の傾斜角度、角速度および加速度の姿勢情報を検出するものである。本実施形態における姿勢センサ241は、図示しないが、ジャイロ特性を利用したジャイロセンサと加速度センサとから構成され、姿勢情報として傾斜角度、角速度および3軸方向の加速度を取得するようになっている。
【0060】
なお、本実施形態では、スペクトルカメラ制御システム23として備えられている姿勢位置検出器24から位置情報および姿勢情報を取得しているが、この構成に限定されるものではない。例えば、ドローン20が既に備えているGPS受信機および姿勢センサから位置情報および姿勢情報を取得するようにしてもよい。
【0061】
<スペクトルカメラ制御装置21の機能構成>
ドローン20のスペクトルカメラ制御装置21が実現する機能構成を図6に示す。スペクトルカメラ制御装置21は、記憶部210、制御部211、通信部212を備える。通信部212はスペクトルカメラ制御装置21が有する図略の通信IFにより構成され、記憶部210はスペクトルカメラ制御装置21の図略の主記憶装置及び補助記憶装置により構成され、制御部211は主にスペクトルカメラ制御装置21の図略のプロセッサにより構成される。
【0062】
通信部212は、図略のネットワークNを介して情報処理装置10等との間での通信を行う。
【0063】
<スペクトルカメラ制御装置21の記憶部210の構成>
スペクトルカメラ制御装置21の記憶部210は、飛行計画DB(DataBase)2101、第2撮像条件DB2102、画像DB2103及びスペクトル画像2104を有する。
【0064】
これら飛行計画DB2101等のうち、スペクトル画像2104を除くものは全てデータベースである。ここに言うデータベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。
【0065】
通常、各テーブルにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部211は、各種プログラムに従ってプロセッサに、記憶部210に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。
【0066】
飛行計画DB2101は、ドローン20を空中で飛行させる際に、所定経路に従ってこのドローン20を飛行させるための飛行計画が格納されたデータベースであり、第2撮像条件DB2102は、ドローン20に搭載したスペクトルカメラ22により観測対象の地域を撮像する際の条件に関するデータベースであり、画像DB2103は、第2撮像条件DB2102に従ってスペクトルカメラ22が撮像した結果得られたスペクトル画像2104を管理するためのデータベースであり、スペクトル画像2104は、第2撮像条件DB2102に従ってスペクトルカメラ22が撮像した結果得られたスペクトル画像である。飛行計画DB2101、第2撮像条件DB2102及び画像DB2103の詳細については後述する。
<スペクトルカメラ制御装置21の制御部211の構成>
【0067】
スペクトルカメラ制御装置21の制御部211は、受信制御部2110、送信制御部2111、飛行制御部2112、姿勢位置情報取得部2113、及び撮像制御部2114を備える。制御部211は、記憶部210に記憶されたアプリケーションプログラム2100を実行することにより、これら受信制御部2110等の機能ユニットが実現される。
【0068】
受信制御部2110は、スペクトルカメラ制御装置21が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0069】
送信制御部2111は、スペクトルカメラ制御装置21が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0070】
飛行制御部2112は、飛行計画DB2101により指定された目標地点の地理的情報及び姿勢位置情報取得部2113が取得した姿勢位置情報に基づいて、この飛行計画DB2101により指定された目標地点に向けてドローン20の飛行を制御する。
【0071】
姿勢位置情報取得部2113は、姿勢位置検出器24が検出したドローン20の位置情報、高度情報及び姿勢情報を取得し、取得結果を飛行制御部2112や撮像制御部2114に提供する。
【0072】
撮像制御部2114は、第2撮像条件DB2102を参照し、第2撮像条件DB2102により指定された撮像位置においてスペクトルカメラ22により観測対象の地域を撮像し、撮像されたスペクトル画像2104を記憶部210に格納するとともに、スペクトル画像2104を撮像した際の条件等を画像DB2103に格納する。
【0073】
図7に、本実施形態のドローン20により観測対象の地域を撮像してスペクトル画像を取得する状態を概念的に示す。スペクトルカメラ22による一度の撮像領域は、一例として一辺が150m程度の矩形(正方形)領域であり、この時のドローン20の高度は150m程度である。
【0074】
<衛星30のハードウェア構成>
本実施形態の衛星30は、地球の上空に設けられた周回軌道上を略一定の速度で周回する。衛星30は、図8に示すように、スペクトルカメラ制御装置31と、このスペクトルカメラ制御装置31により制御される第1のマルチスペクトルカメラであるスペクトルカメラ32とを有するスペクトルカメラ制御システム33を搭載している。これらスペクトルカメラ制御装置31、スペクトルカメラ32及びスペクトルカメラ制御システム33の構成はドローン20のスペクトルカメラ制御装置21、スペクトルカメラ22及びスペクトルカメラ制御システム23と類似している。従って、略同一の構成については説明を省略し、主な相違点に絞って説明を行う。
【0075】
スペクトルカメラ制御システム33は、主として、液晶波長可変フィルタ34を備えたスペクトルカメラ32と、このスペクトルカメラ32の姿勢および位置の情報を検出する姿勢位置検出器35と、前記スペクトルカメラ32の液晶波長可変フィルタ34を制御する液晶波長可変フィルタ制御回路36と、前記スペクトルカメラ32を制御するスペクトルカメラ制御装置31と、これら各機器に電力を供給するバッテリ37とを有する。
【0076】
スペクトルカメラ32は、スナップショット方式でスペクトル画像を撮像するためのものであり、主に、レンズ群320と、偏光を非偏光にするための偏光解消板321と、透過波長を任意に選択できる液晶波長可変フィルタ34と、二次元のスペクトル画像を撮像するイメージセンサ322とを有している。
【0077】
レンズ群320は、光の屈折を利用して撮像対象からの光を液晶波長可変フィルタ34に透過させるとともに、透過後の光をイメージセンサ322に集光させるものである。本実施形態におけるレンズ群320は、撮像対象の光を集光して液晶波長可変フィルタ34に入光させる入光レンズ320aと、前記液晶波長可変フィルタ34を透過後の透過波長のみの光をイメージセンサ322に集光する集光レンズ320bとによって構成されている。なお、各レンズの種類や枚数は特に限定されるものではなく、スペクトルカメラ32の性能等に応じて適宜選択してよい。
【0078】
偏光解消板321は、偏光を解消して非偏光にするためのものである。本実施形態において、偏光解消板321は、液晶波長可変フィルタ34の入光側に設けられ、液晶波長可変フィルタ34を透過する前の光の偏光を解消し、偏光特性を軽減するようになっている。
【0079】
液晶波長可変フィルタ34は、予め定めた波長範囲内から透過波長を任意に選択できる光学フィルタである。液晶波長可変フィルタ34は、図示しないが、板状の液晶素子と板状の偏光素子とを交互に複数枚重ね合わせた構成を有している。各液晶素子は、液晶波長可変フィルタ制御回路36から供給される印加電圧によって配向状態が独立に制御される。このため、液晶波長可変フィルタ34は、前記液晶素子の配向状態と前記偏光素子との組み合わせにより、任意の波長の光を透過させられるようになっている。
【0080】
なお、本実施形態において、液晶波長可変フィルタ34の透過波長の幅は、約20nm以下であり、透過中心波長を1nmごとに設定でき、波長切り換え時間は10ms~数100ms程度である。
【0081】
イメージセンサ322は、スナップショット方式でスペクトル画像を撮像するものである。本実施形態において、イメージセンサ322は、CMOSイメージセンサやCCDイメージセンサ等の視野内を同じタイミングで撮像可能な二次元イメージセンサからなる。また、イメージセンサ322は、スペクトルカメラ制御装置31から送信される撮像指令信号に基づいて撮像を実行するようになっている。
【0082】
液晶波長可変フィルタ制御回路36は、液晶波長可変フィルタ34を制御するものである。本実施形態において、液晶波長可変フィルタ制御回路36は、スペクトルカメラ制御装置31から送信される波長特定信号を受信すると、当該波長特定信号に応じた印加電圧を液晶波長可変フィルタ34の液晶素子に供給するようになっている。また、波長特定信号には、液晶波長可変フィルタ34により透過させる透過波長の情報が含まれており、液晶波長可変フィルタ制御回路36では、前記透過波長の情報に基づいてどの液晶素子に印加電圧を供給するかを判別し、特定された液晶素子に印加電圧を供給するようになっている。
【0083】
なお、本実施形態における液晶波長可変フィルタ制御回路36は、スペクトルカメラ制御装置31等の他の構成から独立して構成されているが、これに限定されるものではなく、例えば、スペクトルカメラ制御装置31またはスペクトルカメラ32が備えていてもよい。
【0084】
<スペクトルカメラ制御装置31の機能構成>
衛星30のスペクトルカメラ制御装置31が実現する機能構成を図9に示す。スペクトルカメラ制御装置31は、記憶部310、制御部311、通信部312を備える。通信部312はスペクトルカメラ制御装置31が有する図略の通信IFにより構成され、記憶部310はスペクトルカメラ制御装置31の図略の主記憶装置及び補助記憶装置により構成され、制御部311は主にスペクトルカメラ制御装置31の図略のプロセッサにより構成される。
【0085】
通信部312は、図略のネットワークNを介して情報処理装置10等との間での通信を行う。
【0086】
<スペクトルカメラ制御装置31の記憶部310の構成>
スペクトルカメラ制御装置31の記憶部310は、第1撮像条件DB(DataBase)3101、画像DB3102及びスペクトル画像3103を有する。
【0087】
これら第1撮像条件DB3101等のうち、スペクトル画像3103を除くものは全てデータベースである。ここに言うデータベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。
【0088】
通常、各テーブルにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部311は、各種プログラムに従ってプロセッサに、記憶部310に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。
【0089】
第1撮像条件DB3101は、衛星30に搭載したスペクトルカメラ32により地表面を撮像する際の条件に関するデータベースであり、画像DB3102は、第1撮像条件DB3101に従ってスペクトルカメラ32が撮像した結果得られたスペクトル画像を管理するためのデータベースであり、スペクトル画像3103は、第1撮像条件DB3101に従ってスペクトルカメラ32が撮像した結果得られたスペクトル画像である。第1撮像条件DB3101及び画像DB3102の詳細については後述する。
<スペクトルカメラ制御装置31の制御部311の構成>
【0090】
スペクトルカメラ制御装置31の制御部311は、受信制御部3110、送信制御部3111、撮像判定部3112、姿勢位置情報取得部3113、撮像制御部3114及び波長設定部3115を備える。制御部311は、記憶部310に記憶されたアプリケーションプログラム3100を実行することにより、これら受信制御部3110等の機能ユニットが実現される。
【0091】
受信制御部3110は、スペクトルカメラ制御装置31が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0092】
送信制御部3111は、スペクトルカメラ制御装置31が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0093】
撮像判定部3112は、第1撮像条件DB3101に格納された撮像開始時刻、撮像終了時刻に基づいて、衛星30に搭載されたスペクトルカメラ32により地表面を撮像するか否かの判定を行い、判定結果を撮像制御部3114に送出する。
【0094】
姿勢位置情報取得部3113は、姿勢位置検出器35が検出した衛星30の位置情報、高度情報及び姿勢情報を取得し、取得結果を撮像制御部3114に提供する。
【0095】
撮像制御部3114は、撮像判定部3112からの判定結果を受け取り、この判定結果が撮像を行うものであった場合、スペクトルカメラ32により地表面を撮像し、撮像されたスペクトル画像3103を記憶部310に格納するとともに、スペクトル画像3103を撮像した際の条件等を画像DB3102に格納する。
【0096】
図10に、本実施形態の衛星30により観測対象の地域を撮像してスペクトル画像を取得する状態を概念的に示す。スペクトルカメラ32による一度の撮像領域は、一例として一辺が2~10km程度の矩形(正方形)領域であり、この時の衛星30の高度は500km程度である。
【0097】
<情報処理装置10のハードウェア構成>
図11は、情報処理装置10の基本的なハードウェア構成を示すブロック図である。情報処理装置10は、プロセッサ101、主記憶装置102、補助記憶装置103、通信IF(Interface)104、入力IF105、出力IF106を少なくとも有する。これらは通信バス107により相互に電気的に接続される。また、情報処理装置10には、入力IF105を介して入力装置110が、出力IF106を介して出力装置111がそれぞれ接続されている。
【0098】
プロセッサ101とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ101は、演算装置、レジスタ、周辺回路等から構成される。
【0099】
主記憶装置102とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、DRAM(Dynamic Random Access Memory)等の揮発性のメモリである。
【0100】
補助記憶装置103とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、SSD(Solid State Drive)、HDD(Hard Disc Drive)、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等である。
【0101】
通信IF104とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。
【0102】
入力IF105は、情報処理装置10の操作者(オペレータ)からの入力操作を受け付けるための入力装置110とのインタフェースとして機能する。出力IF106は、オペレータに対し情報を提示するための出力装置111とのインタフェースとして機能する。入力装置110は、オペレータからの入力操作を受け付けるための入力装置(例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等)である。出力装置111は、オペレータに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)である。
【0103】
なお、各ハードウェア構成の全部または一部を複数のコンピュータに分散して設け、ネットワークを介して相互に接続することにより情報処理装置10を仮想的に実現することができる。このように、情報処理装置10は、単一の筐体、ケースに収納されたコンピュータだけでなく、仮想化されたコンピュータシステムも含む概念である。
【0104】
<情報処理装置10の機能構成>
情報処理装置10のハードウェア構成が実現する機能構成を図12に示す。情報処理装置10は、記憶部120、制御部130、通信部140を備える。通信部140は通信IF104により構成され、記憶部120は情報処理装置10の主記憶装置102及び補助記憶装置103により構成され、制御部130は主に情報処理装置10のプロセッサ101により構成される。
【0105】
通信部140は、ネットワークNを介してドローン20等との間での通信を行う。
【0106】
<情報処理装置10の記憶部120の構成>
情報処理装置10の記憶部120は、飛行計画DB(DataBase)122、画像DB123、広域画像DB124、教師データ125、学習モデル126、スペクトル画像127、及び広域スペクトル画像128を有する。
【0107】
これら飛行計画DB122等のうち、飛行計画DB122、画像DB123及び広域画像DB124はデータベースである。ここに言うデータベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブルと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル同士の関係を設定し、関連づけることができる。
【0108】
通常、各テーブルにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部130は、各種プログラムに従ってプロセッサ101に、記憶部120に記憶された特定のテーブルにレコードを追加、削除、更新を実行させることができる。
【0109】
飛行計画DB122は、ドローン20の記憶部210に格納されている飛行計画DB2101と同様のものである。画像DB123は、ドローン20の記憶部210に格納されている画像DB2103、及び、衛星30の記憶部310に格納されている画像DB3102と同様のものである。本実施形態の情報処理装置10には、画像DB2103及び画像DB3102を合体させた画像DB123が記憶部120に格納されている。広域画像DB124は、制御部130の画像合成部136が、スペクトル画像127に基づいて生成した広域スペクトル画像128を管理するためのデータベースである。
<情報処理装置10の制御部130の構成>
【0110】
情報処理装置10の制御部130は、受信制御部131、送信制御部132、学習モデル生成部133、飛行計画作成部134、飛行体制御部135、画像合成部136、領域特定部137及び種類特定部138を備える。制御部130は、記憶部120に記憶されたアプリケーションプログラム121を実行することにより、これら受信制御部131等の機能ユニットが実現される。
【0111】
受信制御部131は、情報処理装置10が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0112】
送信制御部132は、情報処理装置10が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0113】
学習モデル生成部133は、衛星30に搭載されたスペクトルカメラ32が撮影したスペクトル画像127及び衛星30から送出された画像DB123、また、ドローン20に搭載されたスペクトルカメラ22及びドローン20から送出された画像DB123に基づいて教師データ125を生成し、この教師データ125に基づいて学習モデル126を生成する。
【0114】
衛星30に搭載されたスペクトルカメラ32が撮影したスペクトル画像127を用いた場合の学習モデル生成部133の動作の詳細について説明する。なお、ドローン20に搭載されたスペクトルカメラ22が撮影したスペクトル画像127を用いた場合の動作も同様である。
【0115】
衛星30に搭載されたスペクトルカメラ32は、広範囲の波長帯域についてこの波長帯域を細分化した波長帯域毎に同一地表面の地域を撮像し、同一地域について波長帯域が異なる多数のスペクトル画像3103(スペクトル画像127)を取得している。学習モデル生成部133は、同一地域について波長帯域が異なる複数のスペクトル画像127を情報処理装置10のオペレータに提示し、この地域において作物が特定の状態にある領域を明確に分別可能な波長帯域のスペクトル画像127をオペレータに特定させる。次いで、学習モデル生成部133は、特定された波長帯域のスペクトル画像127について、この波長帯域により特定可能な作物の特定の状態をオペレータに特定させ、特定された波長帯域のスペクトル画像127と特定された作物の特定の状態とを関連付ける。そして、学習モデル生成部133は、特定された波長帯域、特定された波長帯域のスペクトル画像127、特定された作物の特定の状態、及びこれらの関連性を教師データ125として記憶部120に格納させる。
【0116】
例えば、図23に示すように、同一地表面の地域を撮像した原画像(本実施形態では同一地域について複数のスペクトル画像127が取得可能であるが、説明の簡略化のために1つの画像のみ示している)について、複数の波長帯域(図23では波長α、β、γの3種類としているが、波長帯域の数に制限はない)のスペクトル画像127を取得できる。これらスペクトル画像127のうち、ある波長(図23では波長β)について他の波長α、γと異なる濃淡分布が生じることがある。なお、特定の波長帯域についてのスペクトル画像127であるので、ディスプレイ等に表示する際には白黒の濃淡のパターン(つまりグレースケール表示)で表示されることを前提としている。情報処理装置10のオペレータは、同一地表面の地域について作物がどのような特定の状態にあるかを事前に把握しており(例えば現地調査などにより)、波長βにおいて他の波長α、γでは見られない特有の濃淡分布(図23にではハッチングにより示している)を見て、この濃淡分布と作物の特定の状態との関連付けを入力する。
【0117】
この際、学習モデル生成部133は画像DB123を参照し、特定された波長帯域のスペクトル画像が撮像された際の地表面と太陽とがなす角度を算出する。これは、太陽の角度により作物からの反射光のスペクトルが異なるからである。そして、学習モデル生成部133は、太陽の角度についても同様に教師データ125として記憶部120に格納させる。あるいは、学習モデル生成部133は、算出した太陽の角度に基づき、スペクトル画像を所定時刻における太陽の角度で撮像されたスペクトルのスペクトル画像に補正するための補正式(あるいは補正値)を算出し、この補正式等により補正したスペクトル画像を用いた教師データ125を生成して記憶部120に格納させる。この際、補正式そのものも後述する学習モデル126に格納させてもよいし、補正式は別途記憶部120に格納させてもよい。但し、太陽角度に基づく補正は必須ではない。
【0118】
次いで、学習モデル生成部133は、上述の手順により生成された教師データ125に基づいて、人工知能技術における学習モデル126を生成する。学習モデル126の生成手法及び学習モデル126の種類については公知のものが好適に適用可能であるので、ここではこれ以上の説明を省略する。
【0119】
そして、学習モデル生成部133は、上述した教師データ125生成手順を繰り返し行って教師データ125を更新し、教師データ125を更新したら、あるいは所定時間間隔毎に学習モデル126の再学習を行う。これにより、後述する種類特定部138による作物が特定の状態にあるとの特定の精度が向上する。
【0120】
上述した学習モデル生成部133による教師データ125の更新、及び、学習モデル126の再学習については、特に、システム1の運用当初は限定的な太陽角度におけるスペクトル画像127を取得し、このスペクトル画像127に基づいて教師データ125及び学習モデル126を生成した場合には好ましい動作である。つまり、当初は限定的な太陽角度におけるスペクトル画像127に基づいて教師データ125及び学習モデル126を生成し、その後、衛星30に搭載したスペクトルカメラ32から得られるスペクトル画像、及び/またはドローン20に搭載したスペクトルカメラ22から得られるスペクトル画像を、様々な太陽角度において取得し、太陽角度の影響を含めた教師データ125を生成して、この教師データ125に基づいて学習モデル126の再学習を行ってもよい。これにより、システム1の運用開始時期を早めることができるとともに、種類特定部138による特定結果の精度を累進的に向上させることができる。加えて、後述する種類特定部138による特定結果と実際の作物の特定の状態とを対比し、実際の作物の特定状態をフィードバックして教師データ125を作成/修正し、学習モデル126の再学習を行ってもよい。これによっても、種類特定部138による特定結果の精度を累進的に向上させることができる。
【0121】
この際、学習モデル生成部133は、衛星30のスペクトルカメラ32及び/またはドローン20のスペクトルカメラ22により撮像された地表面の地形データを取得し、この地形データに基づいて、作物が特定の状態にあることが推測される地域を特定し、この地域をスペクトルカメラ22、32により撮像して得られたスペクトル画像127を抽出してオペレータに提示することが好ましい。作物が特定の状態にあるか否かは、地形に依存する場合が多い。一例として、作物が育成されている場所の湿度が高い場合、作物が病気に罹りやすくなることが知られている。そこで、学習モデル生成部133は、地表面の地形データを取得し、この地形データに基づいて作物の育成場所の環境(日照、湿度、風向きなど)を推定し、この環境が特定のものである場所を撮像して得られたスペクトル画像127をオペレータに提示する。地形データは情報処理装置10の記憶部120に事前に格納してもよいし、外部サービスから取得してもよい。
【0122】
なお、学習モデル生成部133、教師データ125及び学習モデル126を用いることなく、特定された波長帯域、特定された波長帯域のスペクトル画像127、特定された作物の特定の状態、スペクトル画像127が撮像された時の太陽の角度、及びこれらの関連性のみに基づいて、作物が特定の状態にあるか否かの特定を行うこともできる。
【0123】
飛行計画作成部134は、ドローン20により観測対象の地域を飛行させ、ドローン20に搭載されたスペクトルカメラ22により観測対象の地域を撮像するための飛行計画を作成して飛行計画DB122として記憶部120に格納する。そして、飛行計画作成部134は、作成した飛行計画DB122をドローン20に送信する。なお、後述する飛行体制御部135によりドローン20の飛行を制御する(ドローン20を操縦する)場合、飛行計画作成部134及び飛行計画DB122を設けなくともよい。
【0124】
この際、飛行計画作成部134は、同時に複数のドローン20を観測対象の地域を飛行させ、これら複数のドローン20に搭載されたスペクトルカメラ22により観測対象の地域を並列的に撮像させる飛行計画を作成することが好ましい。
【0125】
また、飛行計画作成部134は、観測対象の地域の地形データを取得し、この地形データに基づいて飛行計画を作成することが好ましい。上述したように、作物が特定の状態にあるか否かは、地形に依存する場合が多い。一例として、作物が育成されている場所の湿度が高い場合、作物が病気に罹りやすくなることが知られている。そこで、飛行計画作成部134は、観測対象の地域の地形データを取得し、この地形データに基づいて作物の育成場所の環境(日照、湿度、風向きなど)を推定し、この環境が特定のものである場所を重点的にドローン20を飛行させ、スペクトルカメラ22によりスペクトル画像を取得する。地形データは情報処理装置10の記憶部120に事前に格納してもよいし、外部サービスから取得してもよい。
【0126】
飛行計画作成部134による飛行計画作成は、情報処理装置10のオペレータがドローン20の飛行目標位置を個別に指定することにより行ってよいし、オペレータが観測対象の地域のみを特定し、飛行計画作成部134が、ドローン20の飛行速度及びスペクトルカメラ22によるスペクトル画像取得速度に基づいて飛行目標位置を生成することにより行ってもよい。
【0127】
飛行体制御部135は、飛行計画DB122に基づいてドローン20の飛行を制御する。但し、ドローン20が、自身の記憶部210に格納された飛行計画DB2101に基づいて自律的に飛行可能であるならば、飛行体制御部135を設けなくともよい。あるいは、情報処理装置10によりドローン20を操縦するならば、飛行体制御部135は、情報処理装置10に設けられた入力装置110の一例であるリモコンを通じてオペレータが入力した操縦信号に基づいてドローン20を操縦する。
【0128】
画像合成部136は、ドローン20のスペクトルカメラ22により撮像されたスペクトル画像2104、127をつなぎ合わせて、好ましくは観測対象の地域全体を撮像した広域スペクトル画像128を生成する。これは、ドローン20のスペクトルカメラ22による撮像範囲は、作物が特定の状態にあるか否かを特定すべき観測対象の地域より狭いことが多いので、一括して作物が特定の状態の特定を行うために、広い範囲の広域スペクトル画像128を生成することが好ましいからである。そして、画像合成部136は、生成した広域スペクトル画像128を記憶部120に格納するとともに、広域画像DB124を更新する。また、画像合成部136は、衛星30のスペクトルカメラ32により撮像されたスペクトル画像3103、127をつなぎ合わせて、好ましくは地表面を広範囲にわたって撮像した広域スペクトル画像128を生成する。
【0129】
この際、画像合成部136は、オルソ画像を生成する既知の手法に基づいて広域スペクトル画像128を生成することが好ましい。オルソ画像は、写真上の像の位置ズレをなくし空中写真を地図と同じく、真上から見たような傾きのない、正しい大きさと位置に表示される画像に変換(以下、「正射変換」という)したものである。空中写真を正射変換するには、空中写真上の位置と地上の水平位置を対応させる必要がある。この正射変換には、地表の三次元形状を表した数値標高モデル(標高データ)を用いて行う。オルソ画像の生成手法は既知であるので、ここではこれ以上の説明を省略する。
【0130】
図22は、画像合成部136によるスペクトル画像2104、127の画像合成の一例を示す図である。1台のドローン20により領域2200(図では正方形であるが、これに限られない)を撮像して得られたスペクトル画像127を所定の重なり領域を持ちながら図中水平方向に並べ、これらスペクトル画像127を合成して広域スペクトル画像128を生成する。この作業を、他のドローン20により領域2201を撮像して得られたスペクトル画像127についても行い、観測対象の地域を包含する広域スペクトル画像128を得る。
【0131】
領域特定部137は、画像合成部136により作成された広域スペクトル画像128を参照して、作物が特定の状態にあるか否かを種類特定部138が特定するための領域の特定を、情報処理装置10のオペレータから受ける。
【0132】
種類特定部138は、領域特定部137により特定された領域について、作物が特定の状態にあるか否か、あるとしたらどの状態にあるかを、広域スペクトル画像128、及び学習モデル126に基づいて特定する。この際、種類特定部138は、情報処理装置10のオペレータからの指示入力に基づいて、特定すべき作物の特定の状態の入力を受け入れ、領域特定部137により特定された領域について、作物が具体的な特定の状態にあるか否かを特定してもよい。この際、種類特定部138は、広域スペクトル画像128の元となるスペクトル画像127が撮像された際の地表面と太陽とがなす角度を算出し、学習モデル126または記憶部120に格納された太陽角度補正式を用いて、所定時刻において撮像された広域スペクトル画像128となるように、そのスペクトルを補正する。
【0133】
次いで、種類特定部138は、特定結果を、出力装置111の一例であるディスプレイに表示する。種類特定部138による表示態様に特段の制限はないが、一例として、地図データベースを参照して観測対象の地域の地図データを表示するとともに、この地図データに、作物が特定の状態にある領域を重畳表示するような態様が挙げられる。
【0134】
加えて、種類特定部138は、情報処理装置10のオペレータから時間軸の指定入力を受け入れて、時間軸での作物が特定の状態にある領域での広がりを表示してもよい。さらに、種類特定部138は、作物が特定の状態にあることと、この作物と、この特定の状態を回復する(例えば特定の状態にある作物の伐採、農薬散布など)ために必要となる費用の試算結果とをディスプレイに表示させ、想定される被害額を算出してディスプレイに表示してもよい。
<データ構造>
図13は、衛星30の記憶部310に格納されている第1撮像条件DB3101のデータ構造を示す図である。
【0135】
第1撮像条件DB3101は、衛星30のスペクトルカメラ32による撮像条件を特定するための撮像条件IDをキーとして、撮像開始時刻、撮像終了時刻及び波長条件のカラムを有するテーブルである。
【0136】
「撮像条件ID」は、衛星30のスペクトルカメラ32による撮像条件を特定するための情報である。「撮像開始時刻」は、衛星30のスペクトルカメラ32による撮像を開始する時刻に関する情報である。「撮像終了時刻」は、衛星30のスペクトルカメラ32による撮像を終了する時刻に関する情報である。「波長条件」は、衛星30のスペクトルカメラ32による撮像をするときの波長条件に関する情報である。衛星30に搭載されたスペクトルカメラ32は、複数の波長帯域について撮像が可能であり(従って複数の波長帯域についてのスペクトル画像が生成可能であり)、図13に示す例では、波長条件として、波長帯域の範囲及び波長帯域を変化させる波長幅についての情報が格納されている。
【0137】
第1撮像条件DB3101における各々のカラムは、情報処理装置10を含む情報処理装置が生成し、衛星30に送出することで記憶部310に格納される。
【0138】
図14は、ドローン20の記憶部210、衛星30の記憶部310及び情報処理装置10の記憶部120にそれぞれ格納されている画像DB2103、3102、123のデータ構造を示す図である。
【0139】
画像DB2103、3102、123は、ドローン20及び衛星30のスペクトルカメラ22、32により撮像されたスペクトル画像を特定するための画像IDをキーとして、画像ファイル名、撮像時刻、位置情報、高度情報、市政情報及び波長のカラムを有するテーブルである。
【0140】
「画像ID」は、ドローン20及び衛星30のスペクトルカメラ22、32により撮像されたスペクトル画像を特定するための情報である。「画像ファイル名」は、画像IDにより特定され、ドローン20の記憶部210、衛星30の記憶部310及び情報処理装置10の記憶部120に格納されているスペクトル画像2104、3103、127のファイル名を示す情報である。「撮像時刻」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された時刻を示す情報である。「位置情報」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された際のドローン20、衛星30の位置情報である。「高度情報」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された際のドローン20、衛星30の高度情報である。「姿勢情報」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された際のドローン20、衛星30の姿勢情報である。「波長」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された際のドローン20及び衛星30のスペクトルカメラ22、32に設定された波長帯域を示す情報である。
【0141】
画像DB2103、3102、123における各々のカラムは、ドローン20及び衛星30のスペクトルカメラ22、32によりスペクトル画像2104、3103が生成される際にドローン20及び衛星30のスペクトルカメラ制御装置21、31が生成する。
【0142】
図15は、ドローン20の記憶部210に格納されている第2撮像条件DB2102のデータ構造を示す図である。
【0143】
第2撮像条件DB2102は、ドローン20のスペクトルカメラ22による撮像条件を特定するための撮像条件IDをキーとして、撮像位置、撮像高度及び撮像姿勢のカラムを有するテーブルである。
【0144】
「撮像条件ID」は、ドローン20のスペクトルカメラ22による撮像条件を特定するための情報である。「撮像位置」は、ドローン20の位置情報である。「撮像高度」は、ドローン20の高度情報である。「撮像姿勢」は、ドローン20の姿勢情報である。
【0145】
第2撮像条件DB2102における各々のカラムは、情報処理装置10を含む情報処理装置が生成し、ドローン20に送出することで記憶部210に格納される。
【0146】
図16は、情報処理装置10の記憶部120及びドローン20の記憶部210に格納されている飛行計画DB122、2101のデータ構造を示す図である。
【0147】
飛行計画DB122、2101は、ドローン20の飛行計画を特定するための飛行計画IDをキーとして、経過時間、飛行位置及び飛行姿勢のカラムを有するテーブルである。
【0148】
「飛行計画ID」は、ドローン20の飛行計画、より詳細には、ドローン20の到達目標を特定するための情報である。「経過時間」は、飛行計画IDにより特定されるドローン20の到達目標にドローン20が到達すべき、ドローン20の飛行開始からの経過時間を示す情報である。「飛行位置」は、飛行計画IDにより特定されるドローン20の到達目標においてドローン20が到達すべき目標位置情報である。「飛行高度」は、飛行計画IDにより特定されるドローン20の到達目標においてドローン20が到達すべき目標高度情報である。「飛行姿勢」は、飛行計画IDにより特定されるドローン20の到達目標においてドローン20が到達すべき目標姿勢情報である。
【0149】
飛行計画DB122、2101における各々のカラムは、情報処理装置10の制御部130の飛行計画作成部134が生成し、記憶部120に格納するとともにドローン20に送出する。ドローン20のスペクトルカメラ制御装置21は、送出された飛行計画DB122,2101を記憶部に格納する。
【0150】
図17は、情報処理装置10の記憶部120に格納されている広域画像DB124のデータ構造を示す図である。
【0151】
広域画像DB124は、情報処理装置10の記憶部120に格納されている広域スペクトル画像128を特定するための広域画像IDをキーとして、広域画像ファイル名、撮像時刻、地域情報、太陽角度、位置情報、高度情報、姿勢情報、波長、及び画像IDのカラムを有するテーブルである。
【0152】
「広域画像ID」は、情報処理装置10の記憶部120に格納されている広域スペクトル画像128を特定するための情報である。「広域画像ファイル名」は、広域画像IDにより特定され、情報処理装置10の記憶部120に格納されている広域スペクトル画像128のファイル名を示す情報である。
【0153】
「撮像時刻」は、広域画像IDにより特定される広域スペクトル画像128が撮像された時刻を示す情報である。ここで、広域スペクトル画像128は複数のスペクトル画像127を合成してなるものであり、個々のスペクトル画像127の撮像時刻は厳密には異なる。そこで、画像合成部136は、複数のスペクトル画像127を合成して広域スペクトル画像128を生成する際に、合成元となった複数のスペクトル画像127のうち、いずれかのスペクトル画像127の撮像時刻を、広域スペクトル画像128の撮像時刻として代表して用いる。この作業は、「太陽角度」、「位置情報」、「高度情報」、「姿勢情報」についても行われる。
【0154】
「地域情報」は、広域画像IDにより特定され、情報処理装置10の記憶部120に格納されている広域スペクトル画像128が撮像された地域を示す情報である。「太陽角度」は、広域画像IDにより特定される広域スペクトル画像128が撮像された際の太陽の角度を示す情報である。システム1の運用開始当初等において「太陽角度」のフィールドの値が空欄であることがあり得る。「位置情報」は、画像IDにより特定されるスペクトル画像2104、3103、127が撮像された際のドローン20、衛星30の位置情報である。「高度情報」は、広域画像IDにより特定される広域スペクトル画像128が撮像された際のドローン20の高度情報である。「姿勢情報」は、広域画像IDにより特定される広域スペクトル画像128が撮像された際のドローン20の姿勢情報である。「波長」は、広域画像IDにより特定される広域スペクトル画像128が撮像された波長帯域を示す情報である。「画像ID」は、広域画像IDにより特定される広域スペクトル画像128の合成元となった複数のスペクトル画像127を特定するための情報であり、画像DB2103の画像IDと共通である。
【0155】
広域画像DB124における各々のカラムは、情報処理装置10の制御部130の画像合成部136が生成し、記憶部120に格納する。
【0156】
<システム1の動作>
以下、図18図21のフローチャートを参照しながら、システム1の処理について説明する。
【0157】
図18は、衛星30のスペクトルカメラ制御装置31による、スペクトル画像撮像処理を示すフローチャートである。
【0158】
まず、スペクトルカメラ制御装置31は、第1撮像条件DB3101を参照し、第1撮像条件DB3101に記述されている撮像開始時刻に至るのを待つ(S1800)。そして、撮像開始時刻に至ると(S1800においてYES)、スペクトルカメラ制御装置31は、第1撮像条件DB3101を参照し、スペクトルカメラ32による撮像の波長帯域を設定し(S1801)、設定した波長帯域でスペクトルカメラ32により地表面を撮像させ、スペクトル画像3103を取得して記憶部310に格納するとともに、撮像時の条件を記憶部310の画像DB3102に格納する(S1802)。
【0159】
次いで、スペクトルカメラ制御装置31は、第1撮像条件DB3101を参照し、全ての波長帯域でS1802による撮像動作が終了したか否かを判定する(S1803)。そして、全ての波長帯域での撮像動作が終了したと判定したら(S1803においてYES)S1804に進み、まだ撮像動作を行っていない波長帯域があると判定したら(S1803においてNO)、S1801に戻って次の波長帯域を設定し、以降の処理を行う。
【0160】
S1804では、スペクトルカメラ制御装置31は、第1撮像条件DB3101を参照し、撮像終了時刻に至ったか否かを判定する。そして、撮像終了時刻に至ったと判定したら(S1804においてYES)S1805に進み、まだ撮像終了時刻に至っていないと判定したら(S1804においてNO)、S1800に戻って次の撮像開始時刻を待つ。
【0161】
S1805では、スペクトルカメラ制御装置31は、第1撮像条件DB3101に格納されている全ての撮像条件について撮像動作を終了したか否かを判定する。そして、全ての撮像条件について撮像動作を終了したと判定したら(S1805においてYES)、記憶部310に格納されているスペクトル画像3103及び画像DB3102を情報処理装置10に送信し(S1806)、まだ撮像動作を終了していない撮像条件があると判定したら(S1805においてNO)、S1800に戻って次の撮像開始時刻を待つ。
【0162】
次に、図19は、情報処理装置10の制御部130の学習モデル生成部133による学習モデル生成処理を示すフローチャートである。
【0163】
まず、学習モデル生成部133は、記憶部120の画像DB123を参照して、学習モデルを生成する元となるスペクトル画像127が撮像された位置(地域、領域)を指定・選択する(S1900)。次いで、学習モデル生成部133は、記憶部120に格納されているスペクトル画像127のうち、学習モデルを生成する元となるスペクトル画像127を特定するための、スペクトル画像127が撮像された波長帯域を指定・選択する(S1901)。
【0164】
次いで、学習モデル生成部133は、S1900及びS1901により指定・選択された条件に合致するスペクトル画像127を記憶部120から抽出し、抽出したスペクトル画像127を出力装置111の一例であるディスプレイに表示する(S1902)。
【0165】
さらに、学習モデル生成部133は、画像DB123を参照して、S1902において抽出したスペクトル画像127が撮像された時刻を項目「撮像時刻」から取得し、この撮像時刻から、スペクトル画像127が撮像された際の地表面と太陽とがなす角度(太陽角度)を算出する。次いで、学習モデル生成部133は、このスペクトル画像127が特定の時刻(例えば昼間12時)に撮像されたとしたときのスペクトルの補正式(補正値でもよい)を算出し、この補正式を用いてスペクトル画像127のスペクトルを補正する(S1903)。この補正式等は学習モデル126として格納される。
【0166】
この後、学習モデル生成部133は、入力装置110の一例であるマウス等のポインティングデバイスにより、ディスプレイに表示されているスペクトル画像127のうち、学習の対象となる領域の選択入力を、情報処理装置10のオペレータから受ける(S1904)。そして、学習モデル生成部133は、S1903により指定された領域について作物がどの特定の状態にあるかの指定入力を、入力装置110の一例であるマウス等のポインティングデバイスにより、情報処理装置10のオペレータから受ける(S1905)。
【0167】
そして、学習モデル生成部133は、情報処理装置10のオペレータから、S1900~S1905までの入力指定を受け、学習モデル生成のための各種入力を終了した旨の指示を受けるのを待ち(S1906)、指示を受けると(S1906においてYES)、S1900~S1905までの入力指定、及び、対象となるスペクトル画像127の画像データ等に基づいて、教師データ125を生成する(S1907)。そして、学習モデル生成部133は、S1907で生成した教師データ125に基づいて学習モデル126を生成する(S1908)。学習モデル生成部133は、S1907及びS1908で生成した教師データ125及び学習モデル126を記憶部120に格納する。
【0168】
次に、図20は、ドローン20のスペクトルカメラ制御装置21による、スペクトル画像撮像処理を示すフローチャートである。
【0169】
まず、スペクトルカメラ制御装置21は、記憶部210に格納されている飛行計画DB2101に従ってドローン20を目標位置に順次到達するようにこのドローン20を飛行させる(S2000)。
【0170】
次いで、スペクトルカメラ制御装置21は、記憶部210に格納されている第2撮像条件DB2102を参照し、ドローン20が第2撮像条件DB2102に記述されている撮像位置に到達するのを待つ(S2001)。そして、ドローン20が撮像位置に到達したら(S2001においてYES)、スペクトルカメラ制御装置21は、スペクトルカメラ22により観測対象の地域を撮像させ、撮像して得られたスペクトル画像2104を記憶部210に格納するとともに、撮像時の条件を記憶部210の画像DB2103に格納する(S2002)。
【0171】
そして、スペクトルカメラ制御装置21は、第2撮像条件DB2102に格納されている全ての撮像位置について撮像動作を終了したか否かを判定する(S2003)。そして、全ての撮像条件について撮像動作を終了したと判定したら(S2003においてYES)、記憶部210に格納されているスペクトル画像2104及び画像DB2103を情報処理装置10に送信し(S2004)、まだ撮像動作を終了していない撮像位置があると判定したら(S2003においてNO)、S2001に戻って次の撮像位置に到達するを待つ。
【0172】
この後、スペクトルカメラ制御装置21はドローン20の飛行を終了する(S2005)。
【0173】
そして、図21は、情報処理装置10の制御部130の領域特定部137及び種類特定部138による、作物が特定の状態にある領域を特定する処理を示すフローチャートである。
【0174】
まず、領域特定部137は、記憶部120の画像DB123を参照して、作物が特定の状態にある領域を特定する元となるスペクトル画像127が撮像された位置(地域、領域)を指定・選択する(S2100)。
【0175】
次いで、種類特定部138は、S2100により指定・選択された条件に合致するスペクトル画像127を記憶部120から抽出し、抽出したスペクトル画像127を出力装置111の一例であるディスプレイに表示する(S2101)。
【0176】
次いで、画像合成部136は、S2101により抽出されたスペクトル画像127に基づいて広域スペクトル画像128を生成し(S2102)、生成した広域スペクトル画像128をディスプレイ等に表示する(S2103)。なお、画像合成部136による広域スペクトル画像128の生成動作は、図21に示す処理に先立って行ってもよい。
【0177】
次いで、種類特定部138は、画像DB123を参照して、広域スペクトル画像128の元となるスペクトル画像127が撮像された時刻を項目「撮像時刻」から取得し、この撮像時刻から、スペクトル画像127が撮像された際の地表面と太陽とがなす角度(太陽角度)を算出する。そして、種類特定部138は、学習モデル126または記憶部120に格納されている補正式等に基づいて、このスペクトル画像127が特定の時刻(例えば昼間12時)に撮像されたとしたときのスペクトルとなるように、スペクトル画像127のスペクトルを補正し、全体として広域スペクトル画像128のスペクトルを補正する(S2104)。
【0178】
そして、種類特定部138は、記憶部120に格納されている学習モデル126を用いて、広域スペクトル画像128が撮像された観測対象の地域において、作物が特定の状態にあるか否か、あるとすればどの領域であるかの推定処理(推論動作)を行い(S2105)、推論結果をディスプレイ等に表示させる(S2106)。
【0179】
<画面例>
図24は、図19のフローチャートにより示される学習モデル生成部133の学習モデル生成処理において、情報処理装置10の出力装置111の一例であるディスプレイに表示される画面の一例を示す図である。
【0180】
画面2400には、学習モデル生成の元となるスペクトル画像127を指定するためのボタン2401が表示されており、情報処理装置10のオペレータがこのボタンを入力装置110の一例であるポインティングデバイス等を用いてスペクトル画像2402~2404を指定する。指定されたスペクトル画像2402~2404は、波長帯域毎に画面2400に表示される。
【0181】
情報処理装置10のオペレータは、これらスペクトル画像2402~2404を閲覧し、事前に取得している、この地域における作物の特定の状態及び作物が特定の状態にある領域の情報に基づいて、作物が特定の状態にあることを最もよく示すスペクトル画像2402~2404(図24に示す例では波長βのスペクトル画像2403)について、作物が特定の状態にある領域2405を、入力装置110の一例であるポインティングデバイス等を用いて指定する。次いで、情報処理装置10のオペレータは、プルダウンメニュー2406を用いて、領域2405における作物の具体的な特定の状態を指定する。そして、領域2405の指定及びプルダウンメニュー2406による作物の具体的な特定の状態の指定が終了したら、情報処理装置10のオペレータはOKボタン2407をポインティングデバイス等によりクリックして、指定動作の終了入力を行う。
【0182】
次に、図25は、図21のフローチャートにより示される、領域特定部137及び種類特定部138による、作物が特定の状態にある領域を特定する処理において、情報処理装置10の出力装置111の一例であるディスプレイに表示される画面の一例を示す図である。
【0183】
画面2500にはスペクトル画像2501が表示され、また、このスペクトル画像2501の撮像日時及び撮像領域を示す情報が表示される領域2502が設けられている。また、スペクトル画像2501が撮像された領域に対応する地図データ2503が表示されている。情報処理装置10のオペレータが、プルダウンメニュー2504により、特定を希望する作物の特定の状態を指定すると、スペクトル画像2501には、指定された具体的な特定の状態にあると推測される領域2505が表示される。この領域2505はスペクトル画像2501の濃淡分布でもある。
【0184】
<実施形態の効果>
以上詳細に説明したように、本実施形態のシステム1によれば、収穫をする事業を行う事業者にとって、より適切に育成状況を管理することが可能となる。
【0185】
<変形例>
なお、上記した実施形態は本開示を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成に追加、削除、置換することが可能である。
【0186】
一例として、上述した実施形態のシステム1では、衛星30に搭載したスペクトルカメラ32により地表面を撮像してスペクトル画像3103を取得し、また、ドローン20に搭載したスペクトルカメラ22により観測対象の地域を撮像してスペクトル画像2104を取得していたが、スペクトル画像を取得するスペクトルカメラが搭載される移動体は衛星30、ドローン20に限定されず、空中から地表面を撮像しうる移動体であれば限定はない。さらに、スペクトルカメラが搭載された移動体が地表面を移動するような手法、例えばスペクトルカメラを保持したオペレータが地表面を徒歩で移動する、スペクトルカメラを搭載した自動車が地表面を走行する等の手法であってもよい。一例として、特許6342594号に開示された分光端末装置をスマートフォンにより実現したマルチスペクトルカメラを用いたような態様が挙げられる。
【0187】
このように、ライブラリ作成のためのスペクトル画像3103を取得する手法、観測対象の地域を撮像してスペクトル画像2104を取得する手法には種々の組合せ、バリエーションが存在しうる。以下、このバリエーションの変形例について詳述する。
【0188】
衛星30に搭載したスペクトルカメラ32であるLTCFカメラは、このスペクトルカメラ32一台で数多くの(一例として数百の)波長帯域の反射光を受光してスペクトル画像3103を取得することができる。一方、ドローン20に搭載したスペクトルカメラ22は、ライブラリに基づいて、観測対象の地域における作物が特定の状態にあることを検知可能な(複数の)波長帯域に限定して、これら複数の波長帯域の反射光からスペクトル画像2104を取得している。
【0189】
このようなスペクトルカメラ22、32の構成の差異は、スペクトルカメラ22、32の重量及び価格にも反映される。つまり、スペクトルカメラ32はスペクトルカメラ22と比較して高価でありかつ重量が嵩む。スペクトルカメラ22、32の重量の差は、スペクトルカメラ22、32を搭載する飛行体の構成にも影響する。つまり、スペクトルカメラ32をドローン20に搭載する場合、ドローン20の構成が大型化せざるを得ず、さらに、一度に飛行できる時間も短時間に制限されてしまう可能性がある。
【0190】
一方、衛星30にスペクトルカメラ32を搭載すれば、スペクトルカメラ32の重量による制限はやや緩和されるものの、観測対象の地域のスペクトル画像3103を取得できる頻度は低くならざるを得ない。つまり、衛星30が観測対象の地域の上空を通過するのは数ヶ月に一回程度になることがあり、従って、スペクトル画像3103を取得できる頻度も数ヶ月に一回程度になることがある。
【0191】
このため、システム1の運用開始当初などにおいて、スペクトルカメラ32により観測対象の地域のスペクトル画像3103を取得する回数を一定に制限して、しかも、スペクトルカメラ32により観測対象の地域を撮像する時刻も固定して(例えば昼間12時)、その地域のその時刻の南中高度を太陽角度としてライブラリを作成することが考えられる。この場合、ライブラリ作成時には太陽角度の補正は行わない。
【0192】
次に、スペクトルカメラ22により観測対象の地域を撮像する時刻を、スペクトルカメラ32により観測対象の地域を撮像した時刻(上述の例では昼間12時)に合わせてスペクトルカメラ22により観測対象の地域を撮像すれば、太陽高度の補正を行わずとも観測対象の地域の作物が特定の状態にあるかどうかを検知することができる。この後、スペクトルカメラ22により観測対象の地域を撮像する時刻を変えてドローン20等を繰り返し飛行させて、複数の時刻における観測対象の地域のスペクトル画像2104を取得し、このスペクトル画像2104に対して太陽角度の補正を行って、観測対象の地域の作物が特定の状態にあるかどうかの検出を行えばよい。太陽角度の補正値は教師データ125に格納して学習モデル126を再学習すればよいことは上述の通りである。
【0193】
LTCFカメラであるスペクトルカメラ32によりライブラリ作成のためのスペクトル画像3103を取得するメリットは、上述した多数の波長帯域の反射光によるスペクトル画像3103を数少ない(極端には一度の)撮影で取得できることにある。そして、多数の波長帯域の反射光によるスペクトル画像3103を取得することにより、観測対象の地域の作物が特定の状態にあるか否かを検出するために好適な波長帯域を精度良く選定することができる。これにより、観測対象の地域において作物が特定の状態にあるか否かの検出精度を下げることなく、スペクトルカメラ22が検出する波長帯域の数を削減することができる。これは、スペクトルカメラ22の軽量化にもつながり、スペクトルカメラ22を搭載するドローン20等の飛行体として汎用性の高い飛行体を利用できることにつながり、さらに、ドローン20等を長時間かつ高頻度で飛行させることにもつながる。ドローン20等を長時間飛行させることができれば、スペクトル画像2104取得のためのコスト低減になり、また、ドローン20等を高頻度で飛行させることができれば、観測対象の地域における作物が特定の状態にあるか否かの検出をいち早く行うことにもつながる。
【0194】
また、当初のライブラリ作成の際に太陽角度の補正を行わずに、スペクトル画像2104の取得時刻をスペクトル画像3103の取得時刻に合わせることにより、システム1立ち上げの際の手間を省くことができ、システム1導入までの日時の削減ができる。そして、システム1運用に伴って複数の時刻におけるスペクトル画像2104、3103を取得することで、作物が特定の状態にあるか否かの検出精度を向上させることができる。
【0195】
また、作物が特定の状態にある領域を特定するために、上述した実施形態のシステム1ではスペクトル画像を用いていたが、スペクトル画像に加えて、当該地域の温度分布を用いてもよい。このためには、ライブラリ作成の元となるスペクトル画像を取得する際に、この地域の温度をセンサ等により取得するとともに、観測対象の地域のスペクトル画像を取得する際にも、この地域の温度をセンサ等により取得すれば良い。この際、温度分布は2次元的な広がりを有するように、温度測定点を複数設けることが好ましい。この場合、ライブラリには当該地域の温度分布データも含まれる。
【0196】
さらに、上述した実施形態のシステム1では、学習モデル126を用いて観測対象の地域のうち作物が特定の状態にある領域を特定していたが、いわゆる画像解析技術を用いて作物が特定の状態にある領域を特定してもよい。
【0197】
さらに、本開示に係るシステム1において、次のような構成も可能である。
【0198】
マルチスペクトルカメラにより撮影されるスペクトル画像と比較するための、観測対象である作物が特定の状態であることを検知するための情報をメモリに記憶させる際に、第1のマルチスペクトルカメラを搭載した飛行体を飛行させて地表を撮影させてスペクトル画像を生成する。
【0199】
次に、第1のマルチスペクトルカメラと異なる第2のマルチスペクトルカメラを搭載した飛行体を、運行計画に従って、観測対象の地域において飛行させ、作物が特定の状態であることを検知するための波長により第2のマルチスペクトルカメラで撮影させることでスペクトル画像を生成する。好ましくは、第1のマルチスペクトルカメラを搭載した飛行体と第2のマルチスペクトルカメラを搭載した飛行体とは異なる飛行体である。
【0200】
第1のマルチスペクトルカメラは、液晶波長可変フィルタ34のような、撮像する波長を切替可能な部材を有し、多数の波長についてのスペクトル画像を生成することができる。一方、第2のマルチスペクトルカメラは、特定の波長についてのスペクトル画像を生成することができる。特定の波長は、第2のマルチスペクトルカメラによる観測対象の地域を撮像している間は切替ができない。つまり、特定の波長は予め定めた波長である。
【0201】
第2のマルチスペクトルカメラは、第1のマルチスペクトルカメラと比べて、スペクトル画像を撮影するための特定の部材を有さないものであるとしてもよい。例えば、第2のマルチスペクトルカメラは、波長を切替可能な部材を有する第1のマルチスペクトルカメラとは異なり、波長を切り替え可能な部材を有さず特定の波長についてのスペクトル画像を生成するものであるとしてもよい。第2のマルチスペクトルカメラを搭載する第2の飛行体は、第1のマルチスペクトルカメラを搭載する第1の飛行体と異なり、積載可能な重量が低いものであるとしてもよい。これにより第1の飛行体と第2の飛行体とが重量が異なることとしてもよいし(第2の飛行体のほうが第1の飛行体よりも機体重量が少ない)、これら重量の違いに基づいて、第1の飛行体と第2の飛行体とで飛行可能な空域(緯度経度により定まる地理範囲、および、高度)が異なることとしてもよい。第2の飛行体は、複数の(例えば4つ程度の)第2のマルチスペクトルカメラを搭載し、それぞれの第2のマルチスペクトルカメラがそれぞれ異なる波長についてのスペクトル画像を生成するものであるとしてもよい。
【0202】
液晶波長可変フィルタ34を搭載したマルチスペクトルカメラ32のように、多数の波長帯域についてスペクトル画像が取得可能な第1のマルチスペクトルカメラ32は高価でありかつ重量が嵩む傾向にある。一方、特定の波長についてのスペクトル画像のみ生成可能な第2のマルチスペクトルカメラ22は安価でありかつ軽量に構成することができる。
【0203】
第1のマルチスペクトルカメラ32はライブラリ作成のためのスペクトル画像を生成するものであるから、多数の波長帯域の反射光に基づいてスペクトル画像を生成することが好ましい。一方、第2のマルチスペクトルカメラ22は、観測対象の地域において作物が特定の状態にある領域を特定するためのものであり、ドローン20のような飛行体によって高頻度に撮影することが好ましい。従って、第2のマルチスペクトルカメラ22は、第1のマルチスペクトルカメラ32よりも軽量でかつ安価に構成するメリットは大きい。
【0204】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD-ROM、DVD-ROM、ハードディスク、SSD、光ディスク、光磁気ディスク、CD-R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
【0205】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
【0206】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はCD-RW、CD-R等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【0207】
<付記>
以上の各実施形態で説明した事項を以下に付記する。
【0208】
(付記1)
コンピュータ(10)を動作させるための方法であって、コンピュータ(10)のプロセッサ(101)に、マルチスペクトルカメラ(22)により撮影されるスペクトル画像(127)と比較するための、観測対象である作物が特定の状態であることを検知するための情報(126)をメモリ(120)に記憶させる第1ステップ(S1908)と、観測対象の地域において、作物が特定の状態であることを検知するための波長によりマルチスペクトルカメラ(22)で撮影させることでスペクトル画像(127)を生成する第2ステップ(S2002)と、撮影した結果であるスペクトル画像(127)と、作物が特定の状態であることを検知するための情報(126)とに基づいて、観測対象の地域において特定の状態にある作物がある地域を特定する第3ステップ(S2105)と、特定した地域の情報を出力する第4ステップ(S2106)と、
を実行させる、方法。
(付記2)
第2ステップにおいて、マルチスペクトルカメラ(22)を搭載した飛行体(20)を、運行計画に従って、観測対象の地域において飛行させ、作物が特定の状態であることを検知するための波長によりマルチスペクトルカメラ(22)で撮影させることでスペクトル画像(127)を生成する、付記1に記載の方法。
(付記3)
第1ステップ(S1908)において、検知するための情報として、観測対象の作物が育成されている地域を示す情報と、当該地域をマルチスペクトルカメラ(22)で撮影することで得られるスペクトル画像(127)及びその撮影のための波長の情報と、当該地域において作物を撮影する際の太陽の角度の情報と、が関連付けられたデータベースを教師データとして機械学習を行うことにより生成される学習済みモデル(126)をメモリ(120)に記憶させており、第3ステップ(S2105)において、撮影した結果であるスペクトル画像(127)と、学習済みモデル(126)とに基づいて、特定の状態にある作物がある地域を特定する、付記1に記載の方法。
(付記4)
第1ステップ(S1908)において、検知するための情報として、さらに、マルチスペクトルカメラ(22)で地域を撮像したときの地域の温度の情報が関連付けられたデータベースを教師データ(125)として機械学習を行うことにより生成される学習済みモデル(126)をメモリ(120)に記憶させており、第3ステップにおいて、さらに、マルチスペクトルカメラ(22)で観測対象の地域を撮像したときの観測対象の地域の温度に基づいて、特定の状態にある作物がある地域を特定する、付記3に記載の方法。
(付記5)
第1ステップ(S1908)において、教師データ(125)であるデータベースとして、さらに、特定の状態の種類の情報が関連付けられており、当該特定の状態の種類の情報を含むデータベースにより生成された学習済みモデル(126)をメモリ(120)に記憶させており、第3ステップ(S2105)において、学習済みモデル(126)に基づき、特定の状態にある作物がある地域と、特定の状態の種類とを特定する、付記3に記載の方法。
(付記6)
第2ステップ(S2002)において、運行計画として、複数機の飛行体(20)により、それぞれ異なる地域を飛行させ、各飛行体により撮影されたスペクトル画像(127)を、撮影された地域に基づき重ね合わせてスペクトル画像(128)を生成する、付記2に記載の方法。
(付記7)
第2ステップ(S2002)において、運行計画として、観測対象の作物に応じて、観測対象の地域ごとにマルチスペクトルカメラ(22)の波長を指定し、波長の指定に従って、各地域で波長を切り替えて、飛行体のマルチスペクトルカメラ(22)によりスペクトル画像(127)を生成する、付記2に記載の方法。
(付記8)
第2ステップ(S2002)において、運行計画として、作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす地域を優先して、飛行体のマルチスペクトルカメラ(22)により撮影させることでスペクトル画像(127)を生成する、付記2に記載の方法。
(付記9)
第3ステップ(S2105)において、作物が特定の状態になっている地理範囲と、そうでない地理範囲とを区別し、さらに、スペクトル画像(127)を撮影した地点に基づき、地図画像と重ね合わせて、作物が特定の状態になっている範囲を表示する、付記1~8のいずれかに記載の方法。
(付記10)
第3ステップ(S2105)において、撮影時点の指定をユーザから受け付けており、指定された時点において撮影されたスペクトル画像(127)に基づき、作物が特定の状態になっている地理範囲を表示する、付記1~9のいずれかに記載の方法。
(付記11)
第3ステップ(S2105)において、作物が特定の状態であることを検知した結果に基づき、特定の状態になっている作物の情報と、作物が特定の状態であることに対処するための費用の情報とを表示する、付記1~10のいずれかに記載の方法。
(付記12)
第1ステップ(S1908)において、マルチスペクトルカメラ(32)を搭載した飛行体(30)を飛行させて地表を撮影させ、得られたスペクトル画像(127)に基づいて、観測対象の作物が育成されている地域を示す情報と、当該地域をマルチスペクトルカメラ(32)で撮影することで得られるスペクトル画像(127)及びその撮影のための波長の情報とを関連付けてメモリ(120)に記憶させ、さらに、コンピュータ(10)のプロセッサ(101)に、記憶されたスペクトル画像(127)をユーザに閲覧させることにより、当該スペクトル画像(127)と関連付けて、作物が特定の状態であることの指定をユーザから受け付ける第5ステップ(S1904)と、ユーザの指定に応じて、作物が特定の状態であることを検知するためのデータベース(125)をメモリ(120)に記憶させる第6ステップ(S1906)と、を実行させる、付記1~11のいずれかに記載の方法。
(付記13)
データベースを作成するためのスペクトル画像は複数の波長からなる第1の波長群について同一の地域を撮像したものであり、第2ステップにおけるスペクトル画像は複数の波長からなる第2の波長群について同一の観測対象の地域を撮像したものであり、第1の波長群の波長数は第2の波長群の波長数より多い、付記12に記載の方法。
(付記14)
第1ステップ(S1908)において、地域を示す情報と、スペクトル画像(127)及びその撮影のための波長の情報と関連付けて、さらに、特定の状態の種類の情報をメモリ(120)に蓄積させる、付記12または13に記載の方法。
(付記15)
第5ステップ(S1904)においてユーザから受け付けた指定に基づいて、作物が特定の状態であることをスペクトル画像(127)により検知するための波長を特定する、付記12~14のいずれかに記載の方法。
(付記16)
第1ステップ(S1908)において、さらにマルチスペクトルカメラ(23)で地域を撮像したときの地域の温度の情報を関連付けてメモリに記憶させる、付記12~15のいずれかに記載の方法。
(付記17)
メモリ(120)に蓄積されている情報のうち、作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす地域のスペクトル画像(127)を抽出し、抽出したスペクトル画像(127)を指定可能にユーザに提示する、付記12~16のいずれかに記載の方法。
(付記18)
ユーザから、地域に関する情報の入力を受け付けることに応答して、当該入力にかかる地域のスペクトル画像(127)を抽出し、抽出したスペクトル画像(127)を指定可能にユーザに提示する、付記12~17のいずれかに記載の方法。
(付記19)
付記1~18のいずれかに記載の方法をコンピュータ(10)に実行させるためのプログラム。
(付記20)
付記1~18のいずれかに記載の方法を実行する情報処理装置。
【符号の説明】
【0209】
1…システム 2、30…衛星 3、20…ドローン 4、10…情報処理装置 101…プロセッサ 102…主記憶装置 103…補助記憶装置 120、210、310…記憶部 121、2100、3100…アプリケーションプログラム 122…飛行計画DB 123、2103、3102…画像DB 124…広域画像DB 125…教師データ 126…学習モデル 127、2104、3103…スペクトル画像 128…広域スペクトル画像 130、211、311…制御部 133…学習モデル生成部 134…飛行計画作成部 135…飛行体制御部 136…画像合成部 137…領域特定部 138…種類特定部 21、31…スペクトルカメラ制御装置 22、32…スペクトルカメラ N…ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
【手続補正書】
【提出日】2023-02-17
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを動作させるための方法であって、前記コンピュータのプロセッサに、
マルチスペクトルカメラにより撮影されるスペクトル画像と比較するための、観測対象である作物の生育状態を検知するための情報をメモリに記憶させる第1ステップと、
観測対象の地域において、前記作物の生育状態を検知するために予め定めた波長により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する第2ステップと、
前記撮影した結果である前記スペクトル画像と、前記作物の生育状態を検知するための情報とに基づいて、観測対象の前記地域において特定の前記生育状態にある前記作物がある前記地域を特定する第3ステップと、
前記特定した地域の情報を出力する第4ステップと、
を実行させ
前記第2ステップにおいて、前記マルチスペクトルカメラを搭載した飛行体を、運行計画に従って、観測対象の前記地域において飛行させ、前記作物が前記特定の生育状態であることを検知するための前記波長により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する、方法。
【請求項2】
前記第1ステップにおいて、前記検知するための情報として、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための波長の情報と、
当該地域において前記作物を撮影する際の太陽の角度の情報と、
が関連付けられたデータベースを教師データとして機械学習を行うことにより生成される学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記撮影した結果である前記スペクトル画像と、前記学習済みモデルとに基づいて、前記特定の生育状態にある前記作物がある前記地域を特定する、
請求項1に記載の方法。
【請求項3】
前記第1ステップにおいて、前記検知するための情報として、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報が関連付けられたデータベースを教師データとして前記機械学習を行うことにより生成される前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、さらに、前記マルチスペクトルカメラで前記観測対象の地域を撮像したときの前記観測対象の地域の温度に基づいて、前記特定の生育状態にある前記作物がある前記地域を特定する、
請求項に記載の方法。
【請求項4】
前記第1ステップにおいて、前記教師データである前記データベースとして、さらに、前記特定の生育状態の種類の情報が関連付けられており、当該特定の生育状態の種類の情報を含む前記データベースにより生成された前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記学習済みモデルに基づき、前記特定の生育状態にある前記作物がある前記地域と、前記特定の生育状態の種類とを特定する、
請求項に記載の方法。
【請求項5】
前記第2ステップにおいて、前記運行計画として、複数機の前記飛行体により、それぞれ異なる前記地域を飛行させ、各前記飛行体により撮影された前記スペクトル画像を、撮影された前記地域に基づき重ね合わせて前記スペクトル画像を生成する、
請求項に記載の方法。
【請求項6】
前記第2ステップにおいて、前記運行計画として、観測対象の前記作物に応じて、観測対象の前記地域ごとに前記マルチスペクトルカメラの前記波長を指定し、前記波長の指定に従って、各地域で前記波長を切り替えて、前記飛行体の前記マルチスペクトルカメラにより前記スペクトル画像を生成する、
請求項に記載の方法。
【請求項7】
前記第2ステップにおいて、前記運行計画として、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域を優先して、前記飛行体の前記マルチスペクトルカメラにより撮影させることで前記スペクトル画像を生成する、
請求項に記載の方法。
【請求項8】
前記第4ステップにおいて、前記作物が前記特定の生育状態になっている地理範囲と、そうでない地理範囲とを区別し、さらに、前記スペクトル画像を撮影した地点に基づき、地図画像と重ね合わせて、前記作物が前記特定の生育状態になっている範囲を表示する、
請求項1に記載の方法。
【請求項9】
前記第4ステップにおいて、撮影時点の指定をユーザから受け付けており、指定された時点において撮影された前記スペクトル画像に基づき、前記作物が前記特定の生育状態になっている地理範囲を表示する、
請求項1に記載の方法。
【請求項10】
前記第4ステップにおいて、前記作物が前記特定の生育状態であることを検知した結果に基づき、前記特定の生育状態になっている前記作物の情報と、前記作物が前記特定の生育状態であることに対処するための費用の情報とを表示する、
請求項1に記載の方法。
【請求項11】
前記第1ステップにおいて、
前記マルチスペクトルカメラを搭載した前記飛行体を飛行させて地表を撮影させ、得られた前記スペクトル画像に基づいて、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための前記波長の情報と、
を関連付けて前記メモリに記憶させ、
さらに、前記コンピュータの前記プロセッサに、
前記記憶された前記スペクトル画像をユーザに閲覧させることにより、当該スペクトル画像と関連付けて、前記作物が前記特定の生育状態であることの指定を前記ユーザから受け付ける第5ステップと、
前記ユーザの指定に応じて、前記作物が前記特定の生育状態であることを検知するためのデータベースを前記メモリに記憶させる第6ステップと、
を実行させる、請求項に記載の方法。
【請求項12】
前記データベースを作成するための前記スペクトル画像は複数の波長からなる第1の波長群について同一の地域を撮像したものであり、
前記第2ステップにおける前記スペクトル画像は複数の波長からなる第2の波長群について同一の観測対象の前記地域を撮像したものであり、
前記第1の波長群の波長数は前記第2の波長群の波長数より多い
請求項11に記載の方法。
【請求項13】
前記第1ステップにおいて、前記地域を示す情報と、前記スペクトル画像及びその撮影のための前記波長の情報と関連付けて、さらに、前記特定の生育状態の種類の情報を前記メモリに蓄積させる、
請求項11に記載の方法。
【請求項14】
前記第5ステップにおいて前記ユーザから受け付けた前記指定に基づいて、前記作物が前記特定の生育状態であることを前記スペクトル画像により検知するための波長を特定する、請求項11に記載の方法。
【請求項15】
前記第1ステップにおいて、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報を関連付けて前記メモリに記憶させる、
請求項11に記載の方法。
【請求項16】
前記メモリに蓄積されている情報のうち、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項11に記載の方法。
【請求項17】
前記ユーザから、前記地域に関する情報の入力を受け付けることに応答して、当該入力にかかる前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項11に記載の方法。
【請求項18】
請求項1に記載の方法をコンピュータに実行させるためのプログラム。
【請求項19】
請求項1に記載の方法を実行する情報処理装置。
【手続補正書】
【提出日】2023-06-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータを動作させるための方法であって、前記コンピュータのプロセッサに、
マルチスペクトルカメラにより撮影されるスペクトル画像と比較するための、観測対象である作物の生育状態を検知するための情報をメモリに予め記憶させる第1ステップと、
観測対象の地域において、前記作物の生育状態を検知するために予め定めた複数の波長帯域により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する第2ステップと、
前記撮影した結果である前記スペクトル画像と、前記作物の生育状態を検知するための情報とに基づいて、観測対象の前記地域において特定の前記生育状態にある前記作物がある前記地域を特定する第3ステップと、
前記特定した地域の情報を出力する第4ステップと、
を実行させ、
前記第1ステップにおいて、前記複数の波長帯域による前記スペクトル画像と、前記作物との生育状態とを関連付けることで、特定の前記波長帯域における前記スペクトル画像と前記作物の特定の前記生育状態とを関連付けた情報を前記メモリに予め記憶させ、
前記第2ステップにおいて、前記マルチスペクトルカメラを搭載した飛行体を、運行計画に従って、観測対象の前記地域において飛行させ、前記作物が前記特定の生育状態であることを検知するための前記波長帯域により前記マルチスペクトルカメラで撮影させることで前記スペクトル画像を生成する、方法。
【請求項2】
前記第1ステップにおいて、前記検知するための情報として、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための波長帯域の情報と、
当該地域において前記作物を撮影する際の太陽の角度の情報と、
が関連付けられたデータベースを教師データとして機械学習を行うことにより生成される学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記撮影した結果である前記スペクトル画像と、前記学習済みモデルとに基づいて、前記特定の生育状態にある前記作物がある前記地域を特定する、
請求項1に記載の方法。
【請求項3】
前記第1ステップにおいて、前記検知するための情報として、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報が関連付けられたデータベースを教師データとして前記機械学習を行うことにより生成される前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、さらに、前記マルチスペクトルカメラで前記観測対象の地域を撮像したときの前記観測対象の地域の温度に基づいて、前記特定の生育状態にある前記作物がある前記地域を特定する、
請求項2に記載の方法。
【請求項4】
前記第1ステップにおいて、前記教師データである前記データベースとして、さらに、前記特定の生育状態の種類の情報が関連付けられており、当該特定の生育状態の種類の情報を含む前記データベースにより生成された前記学習済みモデルを前記メモリに記憶させており、
前記第3ステップにおいて、前記学習済みモデルに基づき、前記特定の生育状態にある前記作物がある前記地域と、前記特定の生育状態の種類とを特定する、
請求項2に記載の方法。
【請求項5】
前記第2ステップにおいて、前記運行計画として、複数機の前記飛行体により、それぞれ異なる前記地域を飛行させ、各前記飛行体により撮影された前記スペクトル画像を、撮影された前記地域に基づき重ね合わせて前記スペクトル画像を生成する、
請求項1に記載の方法。
【請求項6】
前記第2ステップにおいて、前記運行計画として、観測対象の前記作物に応じて、観測対象の前記地域ごとに前記マルチスペクトルカメラの前記波長帯域を指定し、前記波長帯域の指定に従って、各地域で前記波長帯域を切り替えて、前記飛行体の前記マルチスペクトルカメラにより前記スペクトル画像を生成する、
請求項1に記載の方法。
【請求項7】
前記第2ステップにおいて、前記運行計画として、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域を優先して、前記飛行体の前記マルチスペクトルカメラにより撮影させることで前記スペクトル画像を生成する、
請求項1に記載の方法。
【請求項8】
前記第4ステップにおいて、前記作物が前記特定の生育状態になっている地理範囲と、そうでない地理範囲とを区別し、さらに、前記スペクトル画像を撮影した地点に基づき、地図画像と重ね合わせて、前記作物が前記特定の生育状態になっている範囲を表示する、
請求項1に記載の方法。
【請求項9】
前記第4ステップにおいて、撮影時点の指定をユーザから受け付けており、指定された時点において撮影された前記スペクトル画像に基づき、前記作物が前記特定の生育状態になっている地理範囲を表示する、
請求項1に記載の方法。
【請求項10】
前記第4ステップにおいて、前記作物が前記特定の生育状態であることを検知した結果に基づき、前記特定の生育状態になっている前記作物の情報と、前記作物が前記特定の生育状態であることに対処するための費用の情報とを表示する、
請求項1に記載の方法。
【請求項11】
前記第1ステップにおいて、
前記マルチスペクトルカメラを搭載した前記飛行体を飛行させて地表を撮影させ、得られた前記スペクトル画像に基づいて、
観測対象の前記作物が育成されている前記地域を示す情報と、
当該地域を前記マルチスペクトルカメラで撮影することで得られる前記スペクトル画像及びその撮影のための前記波長帯域の情報と、
を関連付けて前記メモリに記憶させ、
さらに、前記コンピュータの前記プロセッサに、
前記記憶された前記スペクトル画像をユーザに閲覧させることにより、当該スペクトル画像と関連付けて、前記作物が前記特定の生育状態であることの指定を前記ユーザから受け付ける第5ステップと、
前記ユーザの指定に応じて、前記作物が前記特定の生育状態であることを検知するためのデータベースを前記メモリに記憶させる第6ステップと、
を実行させる、請求項1に記載の方法。
【請求項12】
前記データベースを作成するための前記スペクトル画像は複数の波長帯域からなる第1の波長群について同一の地域を撮像したものであり、
前記第2ステップにおける前記スペクトル画像は複数の波長帯域からなる第2の波長群について同一の観測対象の前記地域を撮像したものであり、
前記第1の波長群の前記波長帯域の数は前記第2の波長群の前記波長帯域の数より多い
請求項11に記載の方法。
【請求項13】
前記第1ステップにおいて、前記地域を示す情報と、前記スペクトル画像及びその撮影のための前記波長帯域の情報と関連付けて、さらに、前記特定の生育状態の種類の情報を前記メモリに蓄積させる、
請求項11に記載の方法。
【請求項14】
前記第5ステップにおいて前記ユーザから受け付けた前記指定に基づいて、前記作物が前記特定の生育状態であることを前記スペクトル画像により検知するための波長帯域を特定する、請求項11に記載の方法。
【請求項15】
前記第1ステップにおいて、さらに
前記マルチスペクトルカメラで前記地域を撮像したときの前記地域の温度の情報を関連付けて前記メモリに記憶させる、
請求項11に記載の方法。
【請求項16】
前記メモリに蓄積されている情報のうち、前記作物の育成場所の周囲の地形が所定の条件を満たす場合に、当該所定の条件を満たす前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項11に記載の方法。
【請求項17】
前記ユーザから、前記地域に関する情報の入力を受け付けることに応答して、当該入力にかかる前記地域の前記スペクトル画像を抽出し、抽出した前記スペクトル画像を指定可能に前記ユーザに提示する、
請求項11に記載の方法。
【請求項18】
請求項1に記載の方法をコンピュータに実行させるためのプログラム。
【請求項19】
請求項1に記載の方法を実行する情報処理装置。