(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-03
(45)【発行日】2024-07-11
(54)【発明の名称】作物の生育管理装置及び生育管理方法
(51)【国際特許分類】
A01G 7/00 20060101AFI20240704BHJP
G06Q 50/02 20240101ALI20240704BHJP
【FI】
A01G7/00 603
G06Q50/02
(21)【出願番号】P 2022531241
(86)(22)【出願日】2020-06-19
(86)【国際出願番号】 JP2020024247
(87)【国際公開番号】W WO2021255941
(87)【国際公開日】2021-12-23
【審査請求日】2022-12-09
(73)【特許権者】
【識別番号】515019537
【氏名又は名称】株式会社ナイルワークス
(74)【代理人】
【識別番号】110003476
【氏名又は名称】弁理士法人瑛彩知的財産事務所
(72)【発明者】
【氏名】宮崎忠喜
(72)【発明者】
【氏名】西片丈晴
(72)【発明者】
【氏名】和氣千大
(72)【発明者】
【氏名】加藤宏記
【審査官】坂田 誠
(56)【参考文献】
【文献】特開2020-74141(JP,A)
【文献】特許第4012554(JP,B2)
【文献】登録実用新案第3081654(JP,U)
【文献】特許第5499523(JP,B2)
【文献】米国特許出願公開第2020/0034616(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A01G 7/00
G06Q 50/02
(57)【特許請求の範囲】
【請求項1】
作物の生育管理装置であって、
カメラにより撮影された画像情報を取得する取得部と、
取得した画像情報に基づいて作物の生育状態を判定する判定部と、
情報を出力する出力部と、
を有し、
前記出力部は、前記作物の生育状態を判定するための撮影条件
であって、前記カメラの撮影状況が、所定の撮影位置、所定の撮影方位、所定の撮影角度、所定の撮影距離、所定の作物の撮影対象の部分、所定の作物の各部分を撮影する順番、又は所定の撮影時期のうちの少なくとも1つに一致することを示す撮影条件を出力
し、
前記撮影条件の少なくとも一部が満たされた場合に、前記カメラが撮影を実行することを特徴とする生育管理装置。
【請求項2】
前記
撮影位置は、過去の撮影により得られた前記作物の生育状態、地形情報、土壌状態、の少なくともいずれかに基づいて算出された一つ又は複数の
地図上の位置である請求項1に記載の生育管理装置。
【請求項3】
同一の撮影位置の過去の複数回の撮影により得られた前記作物の生育状態の変化が所定の値以下の場合には、前記同一の撮影位置に関する情報を前記撮影条件として出力しない請求項2に記載の生育管理装置。
【請求項4】
前記
撮影方位は、過去の撮影の撮影方位、前記作物の条、撮影時の太陽光の向き、の少なくともいずれかに基づいて算出された撮影の方位である請求項1~3のいずれか1項に記載の生育管理装置。
【請求項5】
前記
撮影角度は、過去の撮影の角度、又は撮影する前記作物に対して予め定められた所定の角度、の少なくともいずれかに基づいて算出された撮影の角度である請求項1~4のいずれか1項に記載の生育管理装置。
【請求項6】
前記撮影
距離は、
前記カメラの、撮影する前記作物に対する距離、又は地表からの距離、の少なくともいずれかである請求項1~
5のいずれか1項に記載の生育管理装置。
【請求項7】
前記作物の撮影対象の部分は、前記作物の過去の生育履歴情報、又は日時に基づいて判定される請求項
1に記載の生育管理装置。
【請求項8】
前記作物の撮影対象の部分は、前記作物の生育時期に基づいて判定され、前記作物の前記生育時期は、前記作物に対する病気が流行する時期、前記作物が出穂する時期、の少なくともいずれかである請求項
1に記載の生育管理装置。
【請求項9】
前記撮影
時期は、前記作物の生育フェーズ、前記作物に対する病気が流行する時期、過去の撮影により得られた前記作物の生育状態の変化傾向、の少なくともいずれかに基づいて算出された撮影時期である請求項1~
8のいずれか1項に記載の生育管理装置。
【請求項10】
前記撮影条件の少なくとも一部が満たされ
た場合に、撮影を促す表示を出力する請求項1~
9のいずれか1項に記載の生育管理装置。
【請求項11】
前記撮影条件が満たされない場合に、
前記撮影条件に応じた撮影を促す表示を出力する請求項1~
10のいずれか1項に記載の生育管理装置。
【請求項12】
前記出力部は、前記撮影条件の少なくとも一部が満たされ
た場合に撮影を実行する自動撮影ボタンと、前記撮影条件の少なくとも一部が満たされたか否かにかかわらず撮影を実行する撮影ボタンと、を出力する請求項1~
11のいずれか1項に記載の生育管理装置。
【請求項13】
前記出力部は、過去の撮影により得られた前記作物の生育状態が病気の兆候を示していると判定された場合に、作業指示情報を出力する請求項1~
12のいずれか1項に記載の生育管理装置。
【請求項14】
前記生育管理装置はクラウド上に配置されたサーバであり、前記撮影条件に関する情報の出力先はネットワークにより接続されたモバイル端末である請求項1~
13のいずれか1項に記載の生育管理装置。
【請求項15】
前記生育管理装置はモバイル端末であり、前記撮影条件に関する情報の出力先は前記モバイル端末に備えられた表示部である請求項1~
14のいずれか1項に記載の生育管理装置。
【請求項16】
コンピュータを請求項1~
15のいずれか1項に記載の
生育管理装置が有する取得部、判定部、及び出力部として機能させるための作物の生育管理プログラム。
【請求項17】
コンピュータにより実行される作物の生育管理方法であって、
カメラにより撮影された画像情報を取得し、
取得した画像情報に基づいて作物の生育状態を判定し、
前記作物の生育状態を判定するための撮影条件
であって、前記カメラの撮影状況が、所定の撮影位置、所定の撮影方位、所定の撮影角度、所定の撮影距離、所定の作物の撮影対象の部分、所定の作物の各部分を撮影する順番、又は所定の撮影時期のうちの少なくとも1つに一致することを示す撮影条件を出力
し、
前記撮影条件の少なくとも一部が満たされた場合に、前記カメラによる撮影を実行させることを特徴とす
る作物の生育管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作物の生育管理装置及び生育管理方法に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特開2007-124932号公報(特許文献1)がある。この公報には、「コンピュータ3は、通信部と、画像に基づいて生育情報を生成する生育情報生成部と、識別情報に対応する携帯型通信端末装置に、生育情報生成部が生成した生育情報を通信部を介して送信して、携帯型通信端末装置2の表示部に生育情報を表示させる情報提供部を有する。携帯型通信端末装置2は、表示部25と、通信部と、フィルタと、被計測対象の植物の反射光をフィルタを介して撮影して画像を取得する撮影部21と、分光画像、識別情報を関連付けて通信部を介してコンピュータ3に送信し、コンピュータ3から受信した被計測対象の植物P1の生育情報や生育診断情報を表示部25に表
示させる制御回路とを有する」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
前記特許文献1には、携帯型通信端末装置で撮影した画像に基づいて、生育診断を行うシステムが記載されている。しかしながら、本特許文献1は携帯型通信端末装置から送信された画像情報をコンピュータで解析するのみで、作物の生育状態を判定するために適した撮影条件については考慮がされていなかった。
そこで、本発明は、作物の生育状態を判定するためにより適した画像を取得するための仕組みを提供する。
【課題を解決するための手段】
【0005】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、カメラにより撮影された画像情報を取得する取得部と、取得した画像情報に基づいて作物の生育状態を判定する判定部と、情報を出力する出力部と、を有する作物の生育管理装置であって、前記出力部は、前記作物の生育状態を判定するための撮影条件に関する情報を出力することを特徴とする。
【発明の効果】
【0006】
本発明によれば、作物の生育状態を判定するためにより適した画像を取得するための仕組みを提供することができる。
上で説明した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0007】
【
図1】作物の生育管理システム100全体の接続構成図の例である。
【
図2】モバイル端末102のハードウェア構成の例である。
【
図3】モバイル端末102の別のハードウェア構成の例である。
【
図4】管理サーバ103のハードウェア構成の例である。
【
図10】生育状態判定処理フロー1000の例である。
【
図11】撮影条件算出処理フロー1100の例である。
【
図12】撮影条件表示及び撮影処理フロー1200の例である。
【
図13】モバイル端末102に表示される撮影スケジュール情報表示画面1300の例である。
【
図14】モバイル端末102に表示される撮影位置一覧表示画面1400の例である。
【
図15】モバイル端末102に表示される撮影位置詳細表示画面1500の例である。
【
図16】モバイル端末102による撮影時画面1600の例である。
【発明を実施するための形態】
【0008】
以下、実施例を図面を用いて説明する。
カメラ装置やスマートフォンやタブレット端末などのモバイル端末を用いて植物などの作物を撮影し、撮影した画像を解析して、作物の生育診断を行うことを想定する。
図1は、作物の生育管理システム100全体の接続構成図の例である。
生育管理システム100は、ドローン101、モバイル端末102、基地局110を備え、それぞれがネットワークを介して管理サーバ103に接続されている。なお、ネットワークは有線、無線を問わず、それぞれの端末はネットワークを介して情報を送受信することができる。
【0009】
ネットワークは1つの通信規格により通信するネットワークでもよいし、複数の通信規格網が組み合わされたネットワークであってもよい。例えば、ドローン101とモバイル端末102はそれぞれ基地局110が提供するWi-Fi(登録商標)によりネットワーク接続されてもよいし、ドローン101とモバイル端末102はそれぞれLTE等の携帯通信網によりネットワーク接続されてもよい。また、ドローン101が基地局110により提供されるWi-Fiにより接続され、基地局110とモバイル端末102は携帯通信網により接続される構成としてもよい。
【0010】
モバイル端末102は例えばカメラを有するタブレット端末やスマートフォン等の携帯情報機器や、通信機能を有するカメラ装置によって実現される。
モバイル端末102により撮影された作物の画像もしくは当該画像がモバイル端末で処理された処理データがネットワークを介して管理サーバ103に送信され、管理サーバ103により作物の生育診断を実行する。
ドローン101は管理サーバ103からの指示若しくはモバイル端末102により自律飛行を行なうが、モバイル端末102によりマニュアル操作を行うことができる。モバイル端末102は、基地局110と接続されており、基地局110を介して、若しくは直接管理サーバ103と通信を行うことができる。
【0011】
管理サーバ103は、例えばクラウド上に配置されたサーバであり、モバイル端末102やドローン101に搭載されたカメラや各種センサから送信された画像やセンサ情報を解析することで圃場や作物の状態等の様々な分析を行うことができる。
基地局110は、圃場120に設置され、Wi-Fi通信の親機機能等を提供する装置であり、RTK-GPS基地局としても機能し、ドローン101の正確な位置を提供できるようになっている(Wi-Fi通信の親機機能とRTK-GPS基地局が独立した装置であってもよい)。また、基地局110は、3G、4G、およびLTE等の携帯通信網を用いて、管理サーバ103と通信可能である。
【0012】
作物の生育管理システム100のそれぞれの端末や管理サーバ103は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、メガネ型や腕時計型、着衣型などのウェアラブル端末でもよい。また、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
【0013】
生育管理システム100のそれぞれの端末や管理サーバ103は、それぞれオペレーティングシステムやアプリケーション、プログラムなどを実行するプロセッサ(制御部)と、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ、SSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール、モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力、カメラ部の撮像による動き検知による入力などの入力装置と、モニタやディスプレイ等の出力装置とを備える。なお、出力装置は、外部のモニタやディスプレイ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。
【0014】
主記憶装置には、各種プログラムやアプリケーションなど(モジュール)が記憶されており、これらのプログラムやアプリケーションをプロセッサが実行することで全体システムの各機能要素が実現される。なお、これらの各モジュールは集積化する等によりハードウェアで実装してもよい。また、各モジュールはそれぞれ独立したプログラムやアプリケーションでもよいが、1つの統合プログラムやアプリケーションの中の一部のサブプログラムや関数などの形で実装されていてもよい。
【0015】
本明細書では、各モジュールが、処理を行う主体(主語)として記載をしているが、実際には各種プログラムやアプリケーションなど(モジュール)を処理するプロセッサが処理を実行する。
補助記憶装置には、各種データベース(DB)が記憶されている。「データベース」とは、プロセッサまたは外部のコンピュータからの任意のデータ操作(例えば、抽出、追加、削除、上書きなど)に対応できるようにデータ集合を記憶する機能要素(記憶部)である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、表計算ソフトウェアでもよいし、XML、JSONなどのテキストファイルでもよい。
本実施例における生育管理の仕組みは、生育管理システム100において管理サーバ103がモバイル端末102と連携して実施することもできるし、モバイル端末102単体で実施することもできる。従って管理サーバ103を生育管理装置と呼ぶこともあるし、モバイル端末102を生育管理装置と呼ぶこともある。
【0016】
図2は、モバイル端末102のハードウェア構成の例である。
モバイル端末102は、例えばタブレットやスマートフォン、ヘッドマウントディスプレイ、カメラ等の端末である。
主記憶装置201には、撮影情報管理モジュール211、生育状態管理モジュール212、撮影管理モジュール213等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ203が実行することでモバイル端末102の各機能要素が実現される。
撮影情報管理モジュール211は、カメラ部206により撮影された画像情報や各種センサ等の入力装置204により取得された圃場や作物に関する情報を管理し、撮影情報管理情報700に記憶する。またこれらの記憶された情報を管理サーバ103に送信する。
【0017】
生育状態管理モジュール212は、管理サーバ103から受信した作物の生育診断情報等の生育状態管理情報800をモニタやパネルなどの出力装置205に表示する。
また、モバイル端末102単体で画像を分析し生育診断する構成の場合には、生育状態管理モジュール212が画像を分析し、作物の生育状態を判定し、生育診断情報等の生育状態管理情報800を算出する。
撮影管理モジュール213は、管理サーバ103から送信された撮影条件管理情報600に記載された撮影条件を表示し、条件に一致する写真画像を撮影する。
補助記憶装置202は、画面に表示する地図の情報が記憶されている地図情報400、圃場管理情報500、撮影条件管理情報600、撮影情報管理情報700、生育状態管理情報800等の各種情報を記憶する。
【0018】
図3は、モバイル端末102の別のハードウェア構成の例である。
例えば、モバイル端末102は、一眼レフカメラやコンパクトカメラなどの通信機能を備えたカメラ装置20である。カメラ装置20は、レンズと撮像部を備えるカメラ部21を有する。
また、カメラ装置20は、カメラ部21の全体的な制御を行うカメラコントローラー(カメラ制御部)22を有し、カメラ部21に対して撮影の指示などを行うカメラキャプチャ23などを有する。
また、カメラ装置20は、カメラ部の撮影した画像を前処理する画像処理部(イメージ・プロセッサ)24を有する。
また、カメラ装置20は、SSD等の記憶装置25を有し、撮影した画像または前処理後の画像のデータなどを記憶することができる。
【0019】
カメラ装置20は、さらに、伝送装置26を有し、撮影した画像の生データまたは前処理後の画像のデータ等を外部の管理サーバ103などに伝送することができる。
例えば、遠隔地間のファイルやディレクトリの同期を行うアプリケーションソフトウェア27などを利用して、管理サーバ103等のクラウド装置28などに接続することができる。
さらに、カメラ装置20は、ドローン101に搭載することも可能であり、ドローン101と接続する接続部を備えることもできる。カメラ装置20は、ドローン101の製造時に搭載されてもよく、ドローン101に対して後付けで搭載されてもよい。
【0020】
カメラ装置20をドローン101に搭載した場合には、フライトコントローラー501と接続し、撮影した画像などのデータをフライトコントローラー501に伝送することができる。また、フライトコントローラー501と連携し、ドローン101の飛行中に撮影を行うこともできる。
カメラ装置20は、ドローン101の位置、速度、姿勢、時間、飛行状況(ミッション状況)、対地高度などの情報をフライトコントローラー501から受信することができる。また、フライトコントローラー501からの指示に応じてカメラ部により撮影処理を実行することができる。
なお、カメラ部は通常の可視光カメラの他、赤外光カメラ、紫外光カメラ、複数波長を取得可能なマルチスペクトルカメラであってもよい。
【0021】
図4は、管理サーバ103のハードウェア構成の例である。
管理サーバ103は、例えばクラウド上に配置されたサーバで構成される。
主記憶装置401には、撮影情報管理モジュール411、生育状態管理モジュール412、撮影条件管理モジュール413等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ403が実行することで管理サーバ103の各機能要素が実現される。
撮影情報管理モジュール411は、モバイル端末102のカメラ部206により撮影された画像情報や、各種センサ等の入力装置204により取得された圃場や作物に関する情報、をモバイル端末102から受信し、撮影情報管理情報700に記憶し管理する。
【0022】
生育状態管理モジュール412は、モバイル端末102から受信した圃場や作物に関する画像や情報を分析し、作物の生育状態を判定する。生育状態管理モジュール412は、生育状態の判定結果を生育状態管理情報800として補助記憶装置402に記憶し、また画像等の情報を送付してきたモバイル端末102に送付する。
撮影条件管理モジュール413は、生育状態を判定するために使用する画像の撮影条件を算出し、管理する。
補助記憶装置402は、地図情報400、圃場管理情報500、撮影条件管理情報600、撮影情報管理情報700、生育状態管理情報800等の各種情報を記憶する。
【0023】
なお、モバイル端末102と管理サーバ103で同じ情報が記憶されているが、これはそれぞれの情報が同期されてもよいし、単に一方の情報を他方がコピーする構成でも構わない。また一部または全ての情報を管理サーバ103上に記憶しておき、モバイル端末102からは必要に応じて管理サーバ103から情報をダウンロードする構成であっても構わない。
【0024】
また、カメラ装置20とスマートフォンなどの機器が連携することで1体としてモバイル端末102を形成する構成であってもよい。この場合、カメラ装置20自体が携帯電話データ通信網による通信機能を有していない場合であっても、カメラ装置20から画像等の情報をスマートフォンに転送し、スマートフォンの通信機能を介して管理サーバ103に画像等の撮影情報を送信することが可能となる。
また、逆にカメラ装置20が位置情報や方位情報等を取得するセンサを有していない場合であっても、スマートフォンが有するGPS機能や電子コンパスによる方位計測機能により取得された情報を活用し、カメラ装置20が、これらの情報と関連付けて画像を記憶・送信することができる。
【0025】
例えば、以下のような処理が実行される。
カメラ装置20は、撮影した画像を画像処理部24で処理し、処理後の画像情報を無線または有線ネットワークによりスマートフォンに送信する。
スマートフォンは、受信した処理後画像を表示すると共に、画像情報とスマートフォンで取得した位置情報等(GPS位置情報、撮影の向き、対象物からの距離等)を対応つけて、管理サーバ103に送信する。
管理サーバ103は、受信した画像情報と位置情報に基づいて作物の生育状態を分析・診断し、生育状態の判定結果(生育診断結果)をスマートフォンに送信する。
スマートフォンは、管理サーバ103から受信した生育診断結果を表示する。
【0026】
別の連携方法としては、例えば、スマートフォンがGPS機能により取得された位置情報をカメラ装置20に送信し、カメラ装置20が処理画像と位置情報とを管理サーバ103に送信する。受信した画像情報と位置情報に基づいて作物の生育状態を分析・診断し、生育状態の判定結果(生育診断結果)をスマートフォン又はカメラ装置20に送信する。
別の連携方法としては、例えば、カメラ装置20が処理画像を管理サーバ103に送信し、スマートフォンが位置情報を管理サーバ103にし、管理サーバ103側でこれらの情報を対応付けた後、受信した画像情報と位置情報に基づいて作物の生育状態を分析・診断し、生育状態の判定結果(生育診断結果)をスマートフォン又はカメラ装置20に送信する。
【0027】
図5は、圃場管理情報500の例である。
圃場管理情報500は、作物の生育状態判定を行う作物が育てられている圃場に関する各種情報を記憶しており、圃場ID、圃場名、圃場位置511、圃場周囲座標512、圃場面積513、地形情報514、土壌情報515、作付作物516等の情報を記憶する。圃場管理情報500を単に圃場情報と呼ぶこともある。
圃場IDは、圃場を一意に特定する識別情報である。
圃場位置511は、圃場の位置座標を示し、例えば圃場の中心の緯度・経度の情報を有する。
圃場周囲座標512は、圃場の周囲の座標を示し、例えば4角形の圃場であれば角の4点の位置座標である。サンプル値のGC007は、位置座標が連続してカンマ区切りなどで記憶された情報へのリンクを示す。
【0028】
圃場面積513は、圃場IDに対応する圃場の総面積である。
地形情報514は、例えば水門の位置や特定の日時における日向・日陰の位置等の圃場の地形に関する情報である。これらの情報は、地図情報400及び圃場管理情報500の圃場位置511や圃場周囲座標512に基づいて算出することが可能であり、また予め測量等により確認された情報が記憶されている。
土壌情報515は、圃場の土壌に関する情報へのリンクを示す。土壌に関する情報とは、例えば土壌成分の検出情報等である。
作付作物516は、圃場に作付けされている作物等を特定する情報を示す。また、作物の作付の情報、例えば作物の条の向きや一般的な生育の過程などに関する情報も記憶されている。
【0029】
図6は、撮影条件管理情報600の例である。
撮影条件管理情報600は、作物や圃場の撮影を行う場合の条件を記憶しており、条件ID611、条件名612、撮影位置613、撮影の方位614、撮影の角度615、撮影手順616、撮影距離617、撮影箇所618、撮影時期619、撮影設定621等の情報を記憶する。
条件ID611は、条件を一意に特定する識別情報である。
条件名612は、条件を表示する際に分かり易いように名称を記憶する。
撮影位置613は、撮影を行う位置座標、例えば圃場IDで特定される圃場についての位置情報、緯度、経度、地表からの高さ情報等を記憶する。撮影位置613に記載された例「farm007-360613.58926, 1400516.27816-80cm」は、圃場IDがfarm007の圃場について、緯度36度06分13.58926秒、経度140度05分16.27816秒、地表からの高さ80cmの位置であることを示す。
撮影の方位614は、撮影を行う方位を記憶する。撮影の方位614に記載された例「270」は北から時計回りに270度、すなわち真西向きであることを示す。
【0030】
撮影の角度615は、撮影を行う角度を記憶する。例えば水平方向を0として上向きに正、下向きに負の角度を使用し、撮影の角度615に記載された例「-30」は水平方向から下向きに30度の方向であることを示す。
撮影手順616は、撮影を行う際の手順が記憶されている。この撮影手順をモバイル端末102に表示することで、この手順に従った撮影を撮影者に促すことが可能となる。撮影手順の例としては、天空光を撮影してから作物を撮影することや、株元、全体、穂先の順に撮影すること、が挙げられる。
撮影距離617は、撮影を行う際の作物や地表からの距離を示す。
撮影箇所618は、撮影を行う被写体の場所(撮影個所)を示す。例えば株元や穂先等が指定できる。
撮影時期619は、撮影を行う日にちや時間を記憶する。撮影時期619に記載された例「0810-0820」は8月10日から8月20日の間に撮影を行うことを示している。期間ではなく特定の日時を設定することもできる。
撮影設定621は、撮影を行う際の画像取得の設定情報を記憶する。例えばシャッタースピードや絞り値等の露出設定、画素数、ヒストグラム調整等が記憶される。
【0031】
図7は、撮影情報管理情報700の例である。
撮影情報管理情報700は、撮影された画像や撮影された際の条件についての情報を記憶しており、撮影情報ID711、撮影情報名712、撮影位置713、撮影の方位714、撮影の角度715、撮影手順716、撮影距離717、撮影箇所718、撮影日時719、撮影設定721、撮影時輝度722、画像723、撮影条件724、撮影条件判定725等の情報を記憶する。ここで、人が手に持って撮影を行うため、撮影位置、撮影方位、撮影角度、撮影距離などは、撮影中(センサー露光中)に変動することが考えられるため、これら情報については変動量も併せて記憶することが望ましく、更に変動する場合には平均値を記憶することが望ましい。
【0032】
撮影情報ID711は、撮影された画像等を一意に特定する識別情報である。
撮影情報名712は、撮影情報を表示する際に分かり易いように名称を記憶する。
撮影位置713は、撮影を行った位置座標、例えば圃場IDで特定される圃場についての位置情報、緯度、経度、地表からの高さ情報等を記憶する。
撮影の方位714は、撮影を行った方位を記憶する。
撮影の角度715は、撮影を行った角度を記憶する。
撮影手順716は、撮影を行った際の手順が記憶されている。
撮影距離717は、撮影を行った際の作物や地表からの距離を示す。
撮影箇所718は、撮影を行った被写体の場所(撮影個所)を示す。例えば株元や穂先等が指定できる。
【0033】
撮影日時719は、撮影を行った日時を記憶する。
撮影設定721は、撮影時の露出設定や画素数、ヒストグラム調整値等の画像取得設定情報を記憶する。
撮影時輝度722は、撮影を行った際の輝度の情報を記憶する。
画像723は、撮影された画像情報や、撮影後にモバイル端末102で前処理された画像情報に対するリンクを示す。
撮影条件724は、撮影された画像に対応する撮影条件管理情報600を記憶し、撮影条件管理情報600の条件ID611が参照される。
撮影条件判定725は、撮影の際に、撮影条件が満たされたかどうかを記憶する情報である。
図16の撮影時判定1630の情報が記憶される。
【0034】
図8は、生育状態管理情報800の例である。
生育状態管理情報800は、撮影情報管理情報700を分析することにより求められる作物の生育状態を記憶しており、生育状態ID811、撮影情報ID812、生育状態813等の情報を記憶する。
生育状態ID811は、生育状態を一意に特定する情報である。
撮影情報ID812は、生育状態の判定のために用いられた元データを示し、撮影情報管理情報700の撮影情報ID711の値が記憶される。
生育状態813は、分析された生育状態の判定結果に関する情報を記憶する。
【0035】
図9は、撮影情報取得処理フロー900の例である。
撮影情報取得処理フロー900は、管理サーバ103の撮影情報管理モジュール411がモバイル端末102から作物の画像を含む撮影情報を受信し記憶する処理である。
撮影情報管理モジュール411は、モバイル端末102から画像情報を含む撮影情報を受信する(ステップ910)。
撮影情報管理モジュール411は、受信した撮影情報を撮影情報管理情報700に記憶する(ステップ920)。
【0036】
モバイル端末102から受信する撮影情報には、画像情報の他、撮影情報管理情報700に記憶されるような撮影された際の条件についての情報である、撮影位置、撮影の方位、撮影の角度、撮影手順、撮影距離、撮影箇所、撮影日時、撮影設定、撮影時輝度等の情報が含まれる。これらの条件についての情報はモバイル端末102が備える各種センサにより取得される。
また、前述のように、モバイル端末102がカメラ装置20とスマートフォン等の機器の組み合わせの場合には、撮影された際の条件についての情報はカメラ装置20とスマートフォン等の機器のいずれかが取得し、まとめられて、若しくはそれぞれ別に管理サーバ103に送信される。
撮影情報管理モジュール411は、画像と、撮影された際の条件についての情報を別々に受信した場合には、それらを関連付けて撮影情報管理情報700に記憶する。
【0037】
図10は、生育状態判定処理フロー1000の例である。
生育状態判定処理フロー1000は、管理サーバ103の生育状態管理モジュール412が画像等の撮影情報管理情報700を分析して、作物の生育状態を判定する処理である。
生育状態管理モジュール412は、モバイル端末102から受信し、補助記憶装置402に記憶されている撮影情報管理情報700を読み出し、取得する(ステップ1010)。なお、補助記憶装置402に記憶せず、直接モバイル端末102から受信した情報を取得してもよい。
【0038】
生育状態管理モジュール412は、取得した撮影情報管理情報700の中の各種撮影情報を分析し、作物の生育状態を判定する(ステップ1020)。
生育状態管理モジュール412は、判定した生育状態と分析した撮影情報とを関連付けて生育状態管理情報800に記憶する(ステップ1030)。生育状態管理情報800には撮影情報ID812により撮影情報管理情報700が関連付けられており、撮影情報管理情報700の中で撮影時に参照した撮影条件管理情報600を示す撮影条件724やその撮影条件を満たしたかどうかの撮影条件判定725が記憶されている。
生育状態の分析としては、例えば撮影された画像情報の葉や茎や穂等の色や長さなどに基づいて作物が順調に成長しているかの判定や、病気の症状(例えば初期病斑)が出ていないかの判定が考えられる。また、葉の可視光域赤色光と近赤外光との比率に基づいて正規化差植生指数を算出することで作物の生育度合いを算出することにより、生育状態を判定してもよい。
【0039】
図11は、撮影条件算出処理フロー1100の例である。
撮影条件算出処理フロー1100は、管理サーバ103の撮影条件管理モジュール413が、生育状態の判定に使用する画像の撮影条件を算出する処理である。
撮影条件管理モジュール413は、生育状態管理情報800及び/又は関連する情報を取得する(ステップ1110)。
撮影条件管理モジュール413は、取得した情報に基づいて撮影条件を算出する(ステップ1120)。
撮影条件管理モジュール413は、算出した撮影条件を撮影条件管理情報600に記憶する(ステップ1130)。
撮影条件管理モジュール413は、撮影条件管理情報600をモバイル端末102に送信する(ステップ1140)。
【0040】
算出する撮影条件としては、例えば撮影を行う位置座標、例えば特定の圃場についての緯度、経度、地表からの高さの情報を算出する。撮影を行う複数の位置の位置座標や数は、過去の撮影により得られた生育状態の判定結果、地形情報、土壌情報の少なくともいずれかに基づいて算出される。
地形情報は、例えば水門の位置や特定の日時における日向・日陰の位置等の圃場の地形に関する情報である。これらの情報は、地図情報400及び圃場管理情報500の圃場位置511や圃場周囲座標512に基づいて算出することが可能であり、また予め測量等により確認することが可能である。これらの地形情報は圃場管理情報500の地形情報514に記憶されており、撮影条件管理モジュール413はこの地形情報を取得して撮影条件の算出に用いる。
【0041】
例えば、水門の開門により流れ込んだ水の影響で生育状態が変わる可能性があるため、水門の場所から一定の間隔で撮影位置を設けることができる。
また、日向と日陰で撮影環境が変わるため、例えば撮影する際に必ず日向になる位置や必ず日陰になる位置を特定して撮影位置を設けることができる。
土壌情報は、例えば土壌成分の検出情報等である。これらの情報は例えば圃場の土壌成分の検出に基づいて取得され、圃場管理情報500の土壌情報515に記憶されている。撮影条件管理モジュール413は、この土壌情報を取得して撮影条件の算出に用いる。
【0042】
また、過去の撮影に基づく生育状態の変化に基づいて撮影の回数を増減させることが可能である。
例えば、最初に撮影位置を決める際には、地形情報や土壌状態等の外部情報からその数を決定し、多めの撮影位置数を設定する。
2回目の決め方は、外部情報に加え、前回の撮影画像による生育状態の判定結果に基づき、撮影位置と数を決定する。
【0043】
N回目の決め方は、外部情報に加え、以前の撮影画像による生育状態の判定結果に基づいて決定するが、撮影回数を経る毎に撮影位置数を減らして省力化する。例えば、判定結果や外部情報の傾向が同じ若しくは類似した傾向のある撮影位置は、次回撮影時には撮影位置を削減する。複数の圃場が対象の場合には、撮影を行う対象の圃場の数を減らすこともできる。すなわち同一の撮影位置の過去の複数回の撮影により得られた作物の生育状態の変化が所定の値以下の場合には、同一の撮影位置に関する情報を撮影条件として出力しない。
逆に、作物の病気の症状が現れた時、例えば病斑発生時、には撮影位置数を増加させたり、生育の変化が起こるタイミング、例えば出穂等の重要局面、には撮影位置数を増加させる。
【0044】
その他の撮影条件としては、例えば作物の条、撮影時の太陽光の向き、過去の撮影の撮影方位の少なくともいずれかに基づき、撮影の方位が算出される。
作物の条の方向は、圃場管理情報500の作付作物516に記憶されており、太陽光の向き(順光又は逆光の方向)は地図情報400や圃場管理情報500から算出することが可能であり、過去の撮影の方位は撮影情報管理情報700に記憶されており、撮影条件管理モジュール413はこれらの情報を取得して撮影条件の算出に用いる。
例えば、撮影条件として、作物の条に沿った方向で、順光になる方向で、過去の同一位置の撮影と近い方位の撮影方位が算出され設定される。
【0045】
その他の撮影条件としては、例えば過去の撮影の角度や、所定の角度5度(±2度)に基づいて、撮影の角度が算出される。例えば、前回の撮影と同一の撮影の角度が設定される。
その他の撮影条件としては、例えば過去の撮影情報や生育状態の判定結果に基づいて、撮影手順が算出される。例えば、前回の撮影で病気の症状が見つかった場合には、株元、茎、葉、穂先の順に撮影する撮影手順が算出される。
【0046】
その他の撮影条件としては、過去の撮影情報や生育状態の判定結果に基づいて、作物との間の距離(作物に対する距離)や地表からの距離等の、被写体までの距離や被写体に関連する距離が算出される。
その他の撮影条件としては、過去の撮影情報や生育状態の判定結果や撮影時期、作物の生育時期に基づいて、撮影を行う被写体の場所を示す撮影箇所が算出される。例えば、撮影時期に基づいて、病気が流行する時期には葉の箇所を、出穂する時期には穂先の箇所を、撮影箇所として設定することができる。
また、その他、撮影する前記作物に対する撮影箇所(撮影個所)は、作物の過去の生育履歴情報、又は日時に基づいて判定又は算出される。
【0047】
その他の撮影条件としては、過去の撮影情報や生育状態の判定結果や作物の生育フェーズに基づいて撮影時期が算出される。例えば、病気が流行する時期や過去の生育状態の変化傾向に基づいて撮影の時期が設定される。
その他の撮影条件としては、過去の撮影情報や生育状態の判定結果や日照条件等に基づいて撮影設定を算出することとができる。例えば、前回の撮影設定と同じシャッタースピードや絞り値、画素数の撮影設定を算出する。
以上説明した様々な撮影条件は全てを設定する必要はなく、これらを適宜組み合わせたものが撮影条件として設定される。
【0048】
図12は、撮影条件表示及び撮影処理フロー1200の例である。
撮影条件表示及び撮影処理フロー1200は、管理サーバ103から送信された撮影条件管理情報600を、モバイル端末102の表示部などに表示し、撮影を行う処理である。
モバイル端末102の撮影管理モジュール213は、撮影条件管理情報600を取得する(ステップ1210)。すなわち、撮影管理モジュール213は、管理サーバ103から撮影条件管理情報600を受信する、若しくは、受信後に補助記憶装置202に記憶されていた撮影条件管理情報600を読み出す。
撮影管理モジュール213は、タッチパネルなどの出力装置205に取得した撮影条件を表示する(ステップ1220)。
【0049】
ここで、
図13~
図15を用いて、表示される撮影条件の例を説明する。
図13は、モバイル端末102に表示される撮影スケジュール情報表示画面1300の例である。
撮影スケジュール情報表示画面1300には、撮影スケジュール一覧1310が表示されており、撮影条件管理情報600に記載された複数の撮影位置613に対応する圃場名と撮影時期619の情報に基づいて、各日程1311における撮影する圃場名一覧1312が表示される。
【0050】
地図情報1301には複数の圃場1302、1303、1304が表示されており、この例では5月10日当日の撮影条件として、圃場A1302がハイライトされている。
各圃場にはアンカー1305が記載され、圃場の緯度経度等の位置情報が関連付けられている。
撮影スケジュール情報表示画面1300は、その他、方位を示すコンパス1361、圃場全体を広域表示するボタン1362、現在地ボタン1363、スケジュール表示ボタン1370を有する。地図情報を閲覧している状態で、スケジュール表示ボタン1370がタップされると、撮影スケジュール一覧1310が表示される。
【0051】
図14は、モバイル端末102に表示される撮影位置一覧表示画面1400の例である。
撮影位置一覧表示画面1400には、条件タイトル1421と撮影位置一覧情報1422が表示されており、撮影位置一覧情報1422のそれぞれの撮影位置に対応する座標位置に撮影位置を示すアイコン1431が表示されている。
撮影位置一覧情報1422には、撮影する位置の座標情報と共に、推奨される撮影順序が表示されている。
また、表示位置座標1442には、画面の中心部分の緯度経度である位置座標が表示され、現在地ボタン1441がタップされると、現在位置が画面の中心に来るように地図情報が更新される。
【0052】
図15は、モバイル端末102に表示される撮影位置詳細表示画面1500の例である。
撮影位置詳細表示画面1500は、条件タイトル1521に示された圃場A1510について
図14と同様の圃場A1510の撮影箇所一覧を表示した後、この5番の位置座標1531が選択された場合の表示例である。撮影位置詳細表示画面1500には、5番の位置座標における撮影の際の撮影条件一覧1522が表示されている。
以上説明したように、モバイル端末102の撮影管理モジュール213は、取得した撮影条件管理情報600に記憶されている各種情報に基づいて、
図13~
図15の表示画面を生成する。
【0053】
再び
図12の撮影条件表示及び撮影処理フロー1200に戻ると、撮影管理モジュール213は、撮影のために撮影条件の選択を受け付ける(ステップ1230)。
自動撮影モードの場合には、撮影条件と撮影時の撮影状況が一致した場合(ステップ1240がYes)に、撮影管理モジュール213が撮影を実行する(ステップ1260)。ここで、撮影条件と撮影時の撮影状況が一致した場合にモバイル端末に撮影を行うよう撮影指示を表示もしくはアナウンスを行い、撮影ボタンが選択されたことを検知した場合に、撮影を実行するようにしてもよい。
なお、自動撮影モードでない場合には、ステップ1240は実行されず次のステップ1250に移行する。
また撮影条件が一致しない場合であっても、撮影ボタン1611がタップされた場合(ステップ1250がYes)には、撮影管理モジュール213が撮影を実行する(ステップ1260)。
撮影の際には、撮影条件、及び撮影時の実際の撮影状況を画像と関連付けて撮影情報管理情報700に記憶する(ステップ1260)。
【0054】
なお、自動撮影には、以下のような様々なバリエーションが考えられる。例えば、
・撮影条件の少なくとも一部が満たされたことを判定した場合に、カメラが自動的に撮影を実行する。
・撮影条件の少なくとも一部が満たされたことを判定した場合に、撮影者に撮影を促すボタンや撮影条件等の表示を出力する。
・撮影条件の少なくとも一部が満たされたことを判定した場合に、カメラが自動的に撮影を実行し、撮影条件が満たされない場合に、撮影者に撮影を促すボタンや撮影条件等の表示を出力する。
【0055】
撮影を実行した後に、実際の撮影状況と撮影条件とが一致しているかを判定し、一致している場合には撮影終了指示を受け付けたものとして処理を終了する(ステップ1270)。人がモバイル端末を手に持って撮影を行う場合、撮影位置、撮影方位、撮影角度、撮影距離などは、撮影中(センサー露光中)に変動することが考えられるため、実際の撮影状況におけるこれら情報の平均値が撮影条件と一致しているかを判断する。更に撮影条件として許容できる変動量(ばらつき)も併せて設定しておくことで、撮影する際に手振れなどが発生した場合に、撮影条件を満たさないと判断することができる。手振れなどにより撮影状況が撮影条件を満たさないと判断した場合には、ステップ1240に戻って、再撮影を行う。
【0056】
なお、ステップ1240において、撮影状況と撮影条件が一致していることにより(ステップ1240がYes)、撮影管理モジュール213が撮影を実行した場合には(ステップ1260)、ステップ1270において撮影状況と撮影条件とが一致しているかの判定は行わなくてもよい。
また、ステップ1270において、撮影者がカメラのスイッチをオフにするなど、個別に撮影終了指示を受け付けた場合には、撮影状況と撮影条件とが一致しているかを判定することなく、処理を終了することとしてもよい。
【0057】
図16は、モバイル端末102による撮影時画面1600の例である。
撮影管理モジュール213は、撮影条件の選択を受け付けると表示を撮影時画面1600に切り替える。この例では、撮影者が圃場A1302の5番の撮影位置座標1531の近くに来た際に、この位置の撮影条件が選択された状態を示す。
なお、モバイル端末102のGPS機能等により、撮影位置のそばに近づいた場合に、自動的のその位置の撮影条件が選択され、撮影時画面1600が表示される構成としてもよい。
【0058】
撮影時画面1600には、モバイル端末102のカメラ部206により撮像された被写体の作物1610が表示されており、その前面に条件タイトル1621及び撮影条件一覧1622が表示されている。
撮影条件一覧1622には判定欄1630があり、モバイル端末102のカメラ部206や各種センサ等の入力装置204からの入力情報が、各種条件を満たしているかどうかを撮影管理モジュール213が判定し、その結果を表示する。圃場管理者はこの判定欄を見ることで、どれくらい条件を満たしているかを確認しながら写真の撮影を行うことができる。
【0059】
撮影ボタン1611が選択されると、撮影が行われ画像が取得される。この際、撮影条件一覧1622及び判定欄1630の判定結果並びに撮影時の実際の撮影設定を画像と関連付けて記憶する。つまり、撮影ボタン1611は、撮影条件の少なくとも一部が満たされたか否かにかかわらず撮影を実行する表示である。なお、ボタンに限らず、撮影の指示を受け付けるあらゆる表示であって構わない。
自動撮影ボタン1612が選択されると、判定欄1630の判定結果が全て丸になった場合、すなわちすべての撮影条件が撮影状況と一致した時に、自動的に撮影が行われ画像が取得される。
なお、条件の全てが満たされた場合にのみ画像が保存されるのではなく、例えば8割など、一定の割合が満たされた場合に画像が取得される設定にしてもよいし、いくつかの特定の項目のみが丸となった場合に画像が取得される設定にしてもよい。
【0060】
また、条件が満たされた場合に画像を取得し記憶するのではなく、動画または一定時間間隔のコマ送り画像としてすべての画像を取得及び記憶しておき、条件が一致した画像に、条件が満たされた旨のフラグ付けを行い、後の処理で区別して使用できるようにする構成でもよい。または、撮影条件一覧1622の各条件を満たしているかどうかの判定欄1630の情報を、動画中の各画像と関連付けて記憶し、後の処理で条件を満たした画像を抽出する構成でもよい。
このように、管理サーバ103で算出された撮影条件が撮影時に満たされているかどうかを、モバイル端末102で判定し、撮影条件が満たされた画像を取得することができるため、管理サーバ103で実行される作物の生育状態判定のためにより適した画像の撮影及び取得が可能となる。
【0061】
なお、撮影条件一覧1622には、撮影手順として一連の作業手順を表示することができ、この手順に従った撮影を撮影者に促すことが可能となる。撮影手順の例としては、天空光を撮影してから作物を撮影することや、株元、全体、穂先の順に撮影すること、が挙げられる。
例えば、撮影画像を管理サーバ103で生育状態判定した結果、初期病斑が検出された場合には、これに対する作業手順を撮影条件として表示し、この作業手順が順次実施されたことを確認する動画や写真を撮影することで、作業確認を行うことができる。
さらに、撮影に限られない作業指示情報を表示することとしてもよい。例えば、過去の撮影により得られた作物の生育状態が病気の兆候を示していると判定された場合に、病気を治療するための作業指示情報を表示することもできる。
【0062】
なお、上述の実施例では、管理サーバ103の生育状態管理情報800がモバイル端末102から受信した画像等の撮影情報を分析して生育状態の判定を行い、この生育状態の判定結果に基づいて撮影条件管理モジュール413が撮影条件管理情報600を算出する構成を説明したが、生育状態の判定と撮影条件の算出はモバイル端末102で実施する構成にしてもよい。この場合、モバイル端末102の生育状態管理モジュール212が生育状態の判定を行い、モバイル端末102に撮影条件を算出する撮影条件管理モジュールを設ければよい。
【0063】
本実施例における作物の生育状態判定を行う装置を生育管理装置と呼ぶこともある。生育管理装置がクラウド上に配置された管理サーバ103である場合には、撮影条件に関する情報の出力先はネットワークにより接続されたモバイル端末102であり、生育管理装置がモバイル端末102である場合には、撮影条件に関する情報の出力先は前記モバイル端末に備えられた表示部である。
【0064】
また、上述の実施例では、
図14の撮影位置一覧情報1422のように圃場の複数の撮影位置を地図上に表示してその撮影順序を示し、圃場管理者がその場所に向かってモバイル端末102により写真を取得する。この際、モバイル端末102の撮影管理モジュール213は、撮影位置へ圃場管理者を誘導するナビゲーション機能を提供してもよい。また、上述したナビゲーション機能に換えて、またはこの機能に加えて、撮影が完了した撮影位置を未撮影位置とは異なる色で表示するなど、撮影完了した位置と撮影未完了の位置とを区別して表示するようにしても良い。当該機能により撮影者は次にどの撮影位置に行けば良いかを容易に把握できるようになる。
他の実施形態としては、管理サーバ103の飛行経路管理モジュールが、撮影条件管理モジュール413により算出された撮影位置と撮影時期に基づいて、ドローン101の飛行経路を算出し、ドローン101のフライトコントローラー501が算出された飛行経路に基づいてドローンを飛行させながら撮影を行う構成でもよい。
【0065】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0066】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0067】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、上述の実施例は少なくとも特許請求の範囲に記載の構成を開示している。
【符号の説明】
【0068】
101…ドローン、102…モバイル端末、103…管理サーバ、110…基地局、211…撮影情報管理モジュール、212…生育状態管理モジュール、213…撮影管理モジュール、411…撮影情報管理モジュール、412…生育状態管理モジュール、413…撮影条件管理モジュール、400…地図情報、500…圃場管理情報、600…撮影条件管理情報、700…撮影情報管理情報、800…生育状態管理情報