ホーム > 特許ランキング > 学校法人東京工芸大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022087038
(43)【公開日】2022-06-09
(54)【発明の名称】植生状態検出方法
(51)【国際特許分類】
G01N 21/27 20060101AFI20220602BHJP
A01G 7/00 20060101ALI20220602BHJP
【ＦＩ】
G01N21/27 A
A01G7/00 603
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021185666
(22)【出願日】2021-11-15
(31)【優先権主張番号】P 2020198844
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】597040902
【氏名又は名称】学校法人東京工芸大学
(74)【代理人】
【識別番号】100205730
【弁理士】
【氏名又は名称】丸山 重輝
(74)【代理人】
【識別番号】100213551
【弁理士】
【氏名又は名称】丸山 智貴
(72)【発明者】
【氏名】内田 孝幸
(72)【発明者】
【氏名】高橋 章浩
(72)【発明者】
【氏名】宮▲崎▼ 桂一
(72)【発明者】
【氏名】小路丸 未来
【テーマコード（参考）】
2G059
【Ｆターム（参考）】
2G059AA05
2G059FF01
2G059HH01
2G059HH02
2G059KK03
2G059KK04
2G059MM01
(57)【要約】
【課題】防護網又は防災網の上方より、光学的手段によって、防護網又は防災網の下の植生状態を検出できる植生状態検出方法を提供すること。
【解決手段】ＵＡＶ（無人航空機）１に搭載したマルチスペクトルカメラ２により、防護網又は防災網１０１に覆われた農場、圃場、果樹又は山野１０２の上空から、赤外及び赤の複数帯域の画像を撮影し、撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を画像上にマッピングすることを特徴とする植生状態検出方法。
【選択図】図１
【解決手段】ＵＡＶ（無人航空機）１に搭載したマルチスペクトルカメラ２により、防護網又は防災網１０１に覆われた農場、圃場、果樹又は山野１０２の上空から、赤外及び赤の複数帯域の画像を撮影し、撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を画像上にマッピングすることを特徴とする植生状態検出方法。
【選択図】図１
【特許請求の範囲】
【請求項1】
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
前記撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
【請求項2】
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
前記撮影した画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
【請求項3】
前記防護網又は前記防災網は、太さが１ｍｍ乃至５ｍｍの合成樹脂繊維撚り線からなる網であって、網のピッチが２ｍｍ乃至５０ｍｍである
ことを特徴とする請求項１又は２記載の植生状態検出方法。
ことを特徴とする請求項１又は２記載の植生状態検出方法。
【請求項4】
前記ＵＡＶは、ＧＮＳＳ位置測位により自身の位置を検出し、自身の位置と予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項１、２又は３に記載の植生状態検出方法。
ことを特徴とする請求項１、２又は３に記載の植生状態検出方法。
【請求項5】
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
【請求項6】
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
【請求項7】
前記ＵＡＶは、果樹等の形状を深層学習したＡＩを用いた画像処理により果樹等を回避すべく航路を制御され、予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項５又は６に記載の植生状態検出方法。
ことを特徴とする請求項５又は６に記載の植生状態検出方法。
【請求項8】
前記ＮＤＶＩ又は前記ＨＢ－ＮＤＶＩの数値に応じて色分けした画像を提示する
ことを特徴とする請求項１～７の何れかに記載の植生状態検出方法。
ことを特徴とする請求項１～７の何れかに記載の植生状態検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、防護網又は防災網の上方より、光学的手段によって、防護網又は防災網の下の植生状態を検出できる植生状態検出方法に関する。
【背景技術】
【0002】
従来、光学的手段（カメラ）及びリモートセンシングによる植生状態検出方法が提案されている（特許文献１）。また、近年、測量や地形把握などの分野では、ＵＡＶ（Unmanned Aerial Vehicle：無人航空機）による空撮写真群から三次元点群データを得る自動作成手法が提案されている。
【0003】
このようなＵＡＶの技術の進展により、大面積の農場、圃場を適切にモニタできるようになり、植生状態を検出することにより、収穫や、農薬散布なども適材適所で対応することができるようになっている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】再表２０１９－０１７０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の植生状態検出方法においては、農場、圃場に防護網（ネット）又は防災網（ネット）をかけた場合には、植生状態を十分な精度で検出することができなかった。これは、単に、網の格子部分が遮蔽物（影）となって見えず、開口した部分のみが見えるということではなく、網における光の反射や散乱が透過光の情報の割合を減らすことにあると考えられる。
【0006】
本発明は、このような従来事情に鑑みてなされたものであり、防護網又は防災網の上方より、光学的手段によって、防護網又は防災網の下の植生状態を検出できる植生状態検出方法を提供することを課題とする。
【0007】
本発明の他の課題は、以下の記載によって明らかになる。
【課題を解決するための手段】
【0008】
上記課題は以下の発明によって解決される。
【0009】
（請求項１）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項２）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項３）
前記防護網又は前記防災網は、太さが１ｍｍ乃至５ｍｍの合成樹脂繊維撚り線からなる網であって、網のピッチが２ｍｍ乃至５０ｍｍである
ことを特徴とする請求項１又は２記載の植生状態検出方法。
（請求項４）
前記ＵＡＶは、ＧＮＳＳ位置測位により自身の位置を検出し、自身の位置と予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項１、２又は３に記載の植生状態検出方法。
（請求項５）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項６）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項７）
前記ＵＡＶは、果樹等の形状を深層学習したＡＩを用いた画像処理により果樹等を回避すべく航路を制御され、予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項５又は６に記載の植生状態検出方法。
（請求項８）
前記ＮＤＶＩ又は前記ＨＢ－ＮＤＶＩの数値に応じて色分けした画像を提示する
ことを特徴とする請求項１～７の何れかに記載の植生状態検出方法。
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項２）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の上空から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項３）
前記防護網又は前記防災網は、太さが１ｍｍ乃至５ｍｍの合成樹脂繊維撚り線からなる網であって、網のピッチが２ｍｍ乃至５０ｍｍである
ことを特徴とする請求項１又は２記載の植生状態検出方法。
（請求項４）
前記ＵＡＶは、ＧＮＳＳ位置測位により自身の位置を検出し、自身の位置と予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項１、２又は３に記載の植生状態検出方法。
（請求項５）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び赤の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＮＤＶＩ（正規化植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項６）
ＵＡＶ（無人航空機）に搭載したマルチスペクトルカメラにより、防護網又は防災網に覆われた農場、圃場、果樹又は山野の側方から、赤外及び青の複数帯域の画像を撮影し、
前記撮影した画像群から３Ｄ形状を構築するとともに、前記画像群を統合し、ＨＢ－ＮＤＶＩ（青の植生指数）を前記画像上にマッピングする
ことを特徴とする植生状態検出方法。
（請求項７）
前記ＵＡＶは、果樹等の形状を深層学習したＡＩを用いた画像処理により果樹等を回避すべく航路を制御され、予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行する
ことを特徴とする請求項５又は６に記載の植生状態検出方法。
（請求項８）
前記ＮＤＶＩ又は前記ＨＢ－ＮＤＶＩの数値に応じて色分けした画像を提示する
ことを特徴とする請求項１～７の何れかに記載の植生状態検出方法。
【発明の効果】
【0010】
本発明は、防護網又は防災網の上方より、光学的手段によって、防護網又は防災網の下の植生状態を検出できる植生状態検出方法を提供できる。
【図面の簡単な説明】
【0011】
【図1】本発明の第１の実施形態に係る植生状態検出方法を示す側面図
【図2】防護網又は防災網を示す正面図
【図3】白化した防護網又は防災網を示す正面図
【図4】本発明の第１の実施形態に用いるマルチスペクトルカメラを示す正面図
【図5】本発明の第２の実施形態に係る植生状態検出方法を示す側面図
【図6】本発明の第２の実施形態において構築された上方より見た３Ｄ（立体）形状
【図7】本発明の第２の実施形態において構築された側方より見た３Ｄ（立体）形状
【図8】撮影箇所を示す可視光画像（左）と撮影された画像をオルソ化してＮＤＶＩ処理した画像（右）
【図9】防護網を張った圃場のオルソ画像（左）とそのＮＤＶＩ画像（右）
【図10】クロロフィルの吸収スペクトルを示すグラフ
【図11】レイリー散乱及びミー散乱を説明する図
【図12】レイリー散乱及びミー散乱が起こる波長及び粒子半径を示すグラフ
【図13】網による太陽光の反射を示す平面図（ａ）及び縦断面図（ｂ）
【図14】網による太陽光の散乱を示す平面図（ａ）及び縦断面図（ｂ）
【発明を実施するための形態】
【0012】
以下に図面を参照して本発明の実施例について詳細に説明する。
【0013】
〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る植生状態検出方法を示す側面図である。
図１は、本発明の第１の実施形態に係る植生状態検出方法を示す側面図である。
【0014】
本発明の実施形態に係る植生状態検出方法は、図１に示すように、ＵＡＶ（無人航空機、例えばドローン(drone)）１に搭載したマルチスペクトルカメラ２により、防護網又は防災網１０１に覆われた農場、圃場、果樹又は山野１０２の上空から撮影する。撮影は、できる限り低空（約１０ｍ）から行うことが好ましい。
【0015】
撮影は、赤外及び赤の複数帯域の高精細画像を撮影し、撮影した高精細画像群を統合（オルソ化）する。次に、ＮＤＶＩ（正規化植生指数）をマッピングする画像技術によって、目的とした重み付け（着色）をした画像として提示する。ここで画像の提示とは、画像データの生成及び出力、又は送信、出力した画像データのディスプレイによる再生（画像の表示）、出力した画像データに基づく画像の印刷の何れをも含む。
【0016】
または、赤外及び青の複数帯域の高精細画像を撮影し、撮影した高精細画像群を統合（オルソ化）する。次に、ＨＢ－ＮＤＶＩ（青の植生指数）をマッピングする画像技術によって、目的とした重み付け（着色）をした画像として提示する。
【0017】
従来、防護網又は防災網の下の農場、圃場、果樹又は山野の状態は、可視画像では観察できなかったが、本発明では、ＮＩＲ（近赤外：～８４０ｎｍ）情報を用いたＮＤＶＩ画像処理又はＨＢ－ＮＤＶＩ画像処理を使用することにより、網の下の農場、圃場等の状態を観察できる。これにより、例えば、適材、適所の農業が可能となり、いわゆるスマート農業を実現する。
【0018】
防護網又は防災網の下の植生状態検出では、網による光の反射や散乱により透過光の情報の割合が減ると考えられ、光の物体散乱は、その波長に強く依存し、短波長のものは散乱されやすく、長波長のものは散乱されにくいため、赤外を用いた解析が有効である。
【0019】
〔植生指数について〕
この実施形態では、指標化には、ＮＤＶＩ（Normalized Difference Vegetation Index（正規化植生指数））又はＨＢ－ＮＤＶＩ（Half Blue Normalized Difference Vegetation Index（青の植生指数））を用いる。
この実施形態では、指標化には、ＮＤＶＩ（Normalized Difference Vegetation Index（正規化植生指数））又はＨＢ－ＮＤＶＩ（Half Blue Normalized Difference Vegetation Index（青の植生指数））を用いる。
【0020】
ＮＤＶＩは、一般的な植物の生育度や栄養素の判別に用いられるもので、以下の式１に示すように、近赤外線帯域及び赤の反射率値の合計に対する、近赤外線帯域及び赤の反射率値の差の比率である。これは、植生のクロロフィル含有量について一般的に使用される指標であり、植生の成長と栄養素に関する情報を提供する。この指標は、植生の成長状況と植生のカバレッジ(coverage：網羅率)を監視するために使用できる。
〔式１〕ＮＤＶＩ＝（ＮＩＲ－Red（赤：６５０ｎｍ））／（ＮＩＲ＋Red）
〔式１〕ＮＤＶＩ＝（ＮＩＲ－Red（赤：６５０ｎｍ））／（ＮＩＲ＋Red）
【0021】
また、本発明では、以下の式２に示すように、近赤外線帯域及び青の反射率値の合計に対する、近赤外線帯域及び青の反射率値の差の比率であるＨＢ－ＮＤＶＩを用いることができる。この指標も、植生の成長状況と植生のカバレッジ(coverage：網羅率)を監視するために使用できる。
〔式２〕ＨＢ－ＮＤＶＩ＝（ＮＩＲ－０．５×Blue（青：４５０ｎｍ））／（ＮＩＲ＋０．５×Blue）
〔式２〕ＨＢ－ＮＤＶＩ＝（ＮＩＲ－０．５×Blue（青：４５０ｎｍ））／（ＮＩＲ＋０．５×Blue）
【0022】
ＮＤＶＩは、反射の高いＮＩＲ（～８４０ｎｍ）と反射の低い（吸収の高い）Ｒｅｄ（６５０ｎｍ）の対称的な箇所（帯域）を使う。植物の吸収は、図１０に示すように、４５０ｎｍと６５０ｎｍに２箇所の帯域に吸収があるので、この観点に立てば、反射の低い（吸収の高い）Ｒｅｄ（６５０ｎｍ）を青（４５０ｎｍ）に入れ替えてても同じ評価ができる。この場合、すでにある指標は、以下の式３に示すＢＮＤＶＩであり、ＮＤＶＩと同じ傾向を示す。
〔式３〕ＢＮＤＶＩ＝（ＮＩＲ－Blue（青：４５０ｎｍ））／（ＮＩＲ＋Blue）
青の吸収ピークは、赤の吸収のピークに対して、１．５倍から３倍程度あるので、本発明では、ＢＮＤＶＩのBlueの値を半分にして、上記の式２に示すＨＢ－ＮＤＶＩを用いる。
〔式３〕ＢＮＤＶＩ＝（ＮＩＲ－Blue（青：４５０ｎｍ））／（ＮＩＲ＋Blue）
青の吸収ピークは、赤の吸収のピークに対して、１．５倍から３倍程度あるので、本発明では、ＢＮＤＶＩのBlueの値を半分にして、上記の式２に示すＨＢ－ＮＤＶＩを用いる。
【0023】
【0024】
防護網又は防災網１０１は、図２及び図３に示すように、典型的には、太さが１ｍｍ乃至５ｍｍの合成樹脂繊維（例えば、ポリアミド樹脂）撚り線からなる網であって、網のピッチが２ｍｍ乃至５０ｍｍであるが、これらに限定されるものではない。
【0025】
網は、図３に示すように、経年劣化や細かい藻の付着により白化し、緑に近い色になる。
【0026】
〔ＵＡＶ（無人航空機）について〕
ＵＡＶは、ＧＮＳＳ位置測位（例えば、ＧＰＳ）により、自身の位置を検出する。位置検出は、ＲＴＫ（Real Time Kinematic）位置補正技術（地上に設置した「基準局」からの位置情報データによって高い精度の測位を実現する技術）などにより、測位精度が向上され、ｃｍ（センチメートル）オーダの精度を有している。
ＵＡＶは、ＧＮＳＳ位置測位（例えば、ＧＰＳ）により、自身の位置を検出する。位置検出は、ＲＴＫ（Real Time Kinematic）位置補正技術（地上に設置した「基準局」からの位置情報データによって高い精度の測位を実現する技術）などにより、測位精度が向上され、ｃｍ（センチメートル）オーダの精度を有している。
【0027】
ＵＡＶは、自身の位置と、予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行することができる。すなわち、ＵＡＶは、自動的に、予定された飛行区域内を、予定された航空路を経ながら、予定された箇所の撮影を行って戻ることができる。
【0028】
〔第２の実施形態〕
上述したＵＡＶ１では、防護網又は防災網１０１下の領域を飛行させると、果樹等１０２の枝に衝突する虞がある。ＵＡＶ１が果樹等１０２の枝に衝突すると、全体の果樹等１０２の立体形状を構築できるだけの画像を撮影することができなくなる。
上述したＵＡＶ１では、防護網又は防災網１０１下の領域を飛行させると、果樹等１０２の枝に衝突する虞がある。ＵＡＶ１が果樹等１０２の枝に衝突すると、全体の果樹等１０２の立体形状を構築できるだけの画像を撮影することができなくなる。
【0029】
この実施形態で用いるＵＡＶは、ＧＮＳＳ位置測位（例えば、ＧＰＳ）を用いずに、ＡＩ（Artificial Intelligence:人工知能）を用いた画像処理により障害物を回避するように構成されたものである。ＡＩは、果樹等の形状を深層学習（ディープラーニング:Deep learning）しており、この学習結果に基づいて、飛行中に撮影される果樹等の像を判定し、それが果樹等であることを判断するとともに、その果樹等に対する接近速度及び接近方向を算出する。さらに、ＡＩは、接近する果樹等を回避する航路を算定し、ＵＡＶの航路を果樹等を回避すべく制御する。
【0030】
ＵＡＶは、果樹等の障害物を回避しつつ、予め用意されたマップ情報、予定飛行区域及び予定撮影位置とに基づいて、自動飛行及び自動撮影を実行することができる。すなわち、ＵＡＶは、自動的に、果樹等の障害物に衝突することなく、予定された飛行区域内を、予定された航空路を経ながら、予定された箇所の撮影を行って戻ることができる。
【0031】
図５は、本発明の第２の実施形態に係る植生状態検出方法を示す側面図である。
【0032】
この実施形態においては、図５に示すように、ＡＩにより航路を制御されるＵＡＶを用いて、防護網又は防災網１０１の下の果樹等１０２を側方から撮影する。
【0033】
【0034】
ＵＡＶにより撮影された画像に基づいて、図６に示すように、上方より見た３Ｄ（立体）形状を構築することができる。また、図７に示すように、側方より見た３Ｄ形状を構築することができる。３Ｄ形状の構築は、例えば、ＳｆＭソフト（「MetaShape」など）によって行うことができる。構築された３Ｄ形状によって、防護網又は防災網１０１の下側からの情報が構築できる。
【0035】
撮影は、前述した第１の実施形態と同様に、赤外及び赤の複数帯域の高精細画像を撮影し、撮影した高精細画像群を統合（オルソ化）する。次に、ＮＤＶＩ（正規化植生指数）をマッピングする画像技術によって、目的とした重み付け（着色）をした画像として提示する。ここで画像の提示とは、画像データの生成及び出力、又は送信、出力した画像データのディスプレイによる再生（画像の表示）、出力した画像データに基づく画像の印刷の何れをも含む。
【0036】
または、赤外及び青の複数帯域の高精細画像を撮影し、撮影した高精細画像群を統合（オルソ化）する。次に、ＨＢ－ＮＤＶＩ（青の植生指数）をマッピングする画像技術によって、目的とした重み付け（着色）をした画像として提示する。
【0037】
構築された３Ｄ形状データにおいて上述の統合（オルソ化）を行い、高精度位置測位の技術（例えば、ＲＴＫ技術）を併用すれば、果樹等１０２における果実の位置座標を特定することができる。
【0038】
〔第３の実施形態〕
上述した第１の実施形態のように、防護網又は防災網の上空からの樹木等を撮影するとともに、上述した第２の実施形態のように、樹木等を側方から撮影し、これら撮影により取得される情報を重畳することにより、障害物が多く立体化が困難であった樹木等の３Ｄ情報（果実を含む）を、高精度、かつ、高精細に得ることができる。
上述した第１の実施形態のように、防護網又は防災網の上空からの樹木等を撮影するとともに、上述した第２の実施形態のように、樹木等を側方から撮影し、これら撮影により取得される情報を重畳することにより、障害物が多く立体化が困難であった樹木等の３Ｄ情報（果実を含む）を、高精度、かつ、高精細に得ることができる。
【0039】
この３Ｄ情報（果実を含む）に基づいて、圃場における果実の育成予測（収穫量予測）及び育成管理を行うことができる。また、３Ｄ情報（果実を含む）を、他の収穫ロボットや自動収穫機に与えることにより、自動収穫を行うことができる。
【0040】
〔実施例１〕
以下、本発明の実施例について説明する。
図１は、本発明の第１の実施形態に係る植生状態検出方法を示す側面図である。
図４は、本発明の第１の実施形態に用いるマルチスペクトルカメラを示す正面図である。
以下、本発明の実施例について説明する。
図１は、本発明の第１の実施形態に係る植生状態検出方法を示す側面図である。
図４は、本発明の第１の実施形態に用いるマルチスペクトルカメラを示す正面図である。
【0041】
この実施例では、図１に示すように、マルチスペクトルカメラ２を搭載したＵＡＶ１を用いた。マルチスペクトルカメラ２は、図４に示すように、可視光（Ｖｉｓ－ＲＧＢ）、青（Ｂ－４５０ｎｍ）、緑（Ｇ－５６０ｎｍ）、赤（Ｒ－６５０ｎｍ）、赤外端（ＲＥ－７３０ｎｍ）、近赤外（ＮＩＲ－８４０ｎｍ）に感度帯域を有する６つのカメラを有している。ＵＡＶ１は、DJI JAPAN 株式会社製「Phantom 4 Multispectral（商品名）」を用いた。このＵＡＶ１は、ＧＰＳによる位置検出及びＲＴＫの位置補正信号を利用することが可能である。
【0042】
ＵＡＶ１での撮影は、予め指定した区域を、できる限り低空（約１０ｍ）で自動で飛行し撮影するミッション飛行として、目的の解像度とオーバラップ率を得られるように設定し、自動撮影として行った。得られた画像群（それぞれの撮影点で６枚）に基づいて、ＮＤＶＩ（正規化植生指数）のマッピングを行った。
【0043】
図８は、撮影箇所を示す可視光画像（左）と撮影された画像をオルソ化してＮＤＶＩ処理した画像（右）である。
【0044】
【0045】
図９は、防護網を張った圃場のオルソ画像（左）とそのＮＤＶＩ画像（右）である。
【0046】
果実園などの樹木では、着果から収穫までの間、防虫、防鳥、防雹、防風を目的として、図９の左図に示すように、網１０１をかける場合が多い。この場合、可視の画像では、網１０１に邪魔されて下の果樹等１０２の育成を観察することは困難である。これに対して、近赤外成分と赤成分を利用したＮＤＶＩをマッピングすることにより、図９の右図に示すように、明確に果樹等１０２の育成状況が判別できた。
【0047】
ここで、防護網又は防災網の下の植生が、可視光の画像では検出が困難である理由を検討する。
【0048】
【0049】
【0050】
【0051】
図１３及び図１４に示すように、防護網又は防災網１０１に太陽光が照射している場合に、網を構成する撚り線（遮蔽部）による光の散乱は、波長に依存する。長波長光（赤～赤外）は、図１３に示すように、散乱は弱いが、短波長光（青）は、図１４に示すように、散乱が強くなる。
【0052】
防護網又は防災網１０１の下の農場、圃場等を上から撮影したとき、可視光では植生が検出困難であるのは、このような散乱光の影響と考えられる。ただし、網の開口部では、いずれの波長の光も通過する。したがって、ＮＤＶＩ画像又はＨＢ－ＮＤＶＩ画像では、植生が検出できた。
また、インデックスマッピング（指標化）は、正規化した植生指数であり、各画素の成分を、利用した画素成分の和で除したものである。すなわち、各画素で、正規化処理により、光量補正が行われていることになる。このことは、原理上、影が出にくいことを意味している。
例えば、ＮＤＶＩであれば、使うバンドは、ＮＩＲとRedであり、この差分（ＮＩＲ－Red）を使った反射光量の和（ＮＩＲ＋Red）で除して、規格化している。後述するその他の指数であるＧＮＤＶＩ、ＬＣＩ、ＯＳＡＶＩも、ほぼ同様に考えることができる。すなわち、各画素の成分を、利用した画素成分の和で除したものである。
結果として、網の部分の影について、これらの式が内包する正規化処理による光量補正によって、影はほぼ消え、通常の照明を反射した画像に近いものに補正される。
以上の通り、本実施例により本発明の効果を例証することができた。
また、インデックスマッピング（指標化）は、正規化した植生指数であり、各画素の成分を、利用した画素成分の和で除したものである。すなわち、各画素で、正規化処理により、光量補正が行われていることになる。このことは、原理上、影が出にくいことを意味している。
例えば、ＮＤＶＩであれば、使うバンドは、ＮＩＲとRedであり、この差分（ＮＩＲ－Red）を使った反射光量の和（ＮＩＲ＋Red）で除して、規格化している。後述するその他の指数であるＧＮＤＶＩ、ＬＣＩ、ＯＳＡＶＩも、ほぼ同様に考えることができる。すなわち、各画素の成分を、利用した画素成分の和で除したものである。
結果として、網の部分の影について、これらの式が内包する正規化処理による光量補正によって、影はほぼ消え、通常の照明を反射した画像に近いものに補正される。
以上の通り、本実施例により本発明の効果を例証することができた。
【0053】
〔実施例２〕
この実施例では、マルチスペクトルカメラを搭載し、果樹等の形状を深層学習したＡＩを搭載したＵＡＶを用いた。マルチスペクトルカメラは、前述した実施例１におけるものと同様である。ＡＩは、学習結果に基づいて、飛行中に撮影される果樹等の像を判定し、それが果樹等であることを判断し、その果樹等に対する接近速度及び接近方向を算出するとともに、接近する果樹等を回避する航路を算定し、ＵＡＶの航路を果樹等を回避すべく制御する。
この実施例では、マルチスペクトルカメラを搭載し、果樹等の形状を深層学習したＡＩを搭載したＵＡＶを用いた。マルチスペクトルカメラは、前述した実施例１におけるものと同様である。ＡＩは、学習結果に基づいて、飛行中に撮影される果樹等の像を判定し、それが果樹等であることを判断し、その果樹等に対する接近速度及び接近方向を算出するとともに、接近する果樹等を回避する航路を算定し、ＵＡＶの航路を果樹等を回避すべく制御する。
【0054】
ＵＡＶでの撮影は、予め指定した区域を、果樹等の障害物を回避しつつ、自動で飛行して側方から撮影するミッション飛行として、目的の解像度とオーバラップ率を得られるように設定し、自動撮影として行った。得られた画像群（それぞれの撮影点で６枚）に基づいて、ＮＤＶＩ（正規化植生指数）のマッピングを行った。
【0055】
図６は、実施例２において構築された上方より見た３Ｄ（立体）形状である。
【0056】
果実園などの樹木では、着果から収穫までの間、防虫、防鳥、防雹、防風を目的として、網をかける場合が多い。この場合、可視の画像では、網に邪魔されて下の果樹等１０２の育成を観察することは困難である。これに対して、近赤外成分と赤成分を利用したＮＤＶＩをマッピングすることにより、図６に示すように、明確に果樹等１０２の育成状況が判別できた。
【0057】
図７は、実施例２において構築された側方より見た３Ｄ（立体）形状である。
【0058】
このＮＤＶＩでは、側方から撮影しているので、図７に示すように、網に邪魔されることなく、明確に果樹等１０２の育成状況が判別できる。図７では、育成が良好な状況を赤色、不良な場合または土壌や無機物をグレーでマッピングしている。なお、図７では、モノクロ表示である。
【0059】
〔本発明の効果等〕
これまで農場、圃場付近の地上から、人が経験や勘に頼って行われていた育成、管理及び収穫の選択を、本発明によれば、数十分の飛行（撮影）及び数十分の画像処理によって、定量的かつ継続的に、分析及び管理が可能である。
これまで農場、圃場付近の地上から、人が経験や勘に頼って行われていた育成、管理及び収穫の選択を、本発明によれば、数十分の飛行（撮影）及び数十分の画像処理によって、定量的かつ継続的に、分析及び管理が可能である。
【0060】
本発明は、果実など防護（防災）網を農場、圃場にかけた事例全般、スマート農業関連における効果が主たる効果であるが、海岸、漁業などの事例を排除するものではない。また、上述の実施形態中に示した種々の特定は、例示であって、何ら本発明を限定するものではない。本発明は、これらには限定されないものとして解釈されるものである。
【0061】
なお、上述の実施形態では、リモートセンシング（衛星画像での画像処理）の植生への適用で有名なＮＤＶＩ（正規化植生指数）を用いているが、対象物によって異なる指標を用いれば、例えば、海岸や海上での浮遊したビニール、プラスチックなども適切な画像処理によって、その散乱や劣化状態を検出できる可能性がある。異なる指標としては、以下のようなものがある。
【0062】
ＧＮＤＶＩ：Green Normalized Difference Vegetation Index（緑正規化植生指数）
赤色を使用しないＮＤＶＩであり、葉緑素を判別するものである。ＧＮＤＶＩは、ＮＤＶＩで使用される赤のバンドの代わりに緑のバンドを使用する。この緑色の帯は、表面のＧＮＤＶＩを表しています。これは、緑色の植物キャノピーの被覆率の指標である。ＧＮＤＶＩは、植生に水分が不足しているか、栄養素が不足しているか、または成熟後のブロマス不況に苦しんでいるかを示す。
〔式４〕ＧＮＤＶＩ＝（ＮＩＲ－Green（緑））／（ＮＩＲ＋Green）
赤色を使用しないＮＤＶＩであり、葉緑素を判別するものである。ＧＮＤＶＩは、ＮＤＶＩで使用される赤のバンドの代わりに緑のバンドを使用する。この緑色の帯は、表面のＧＮＤＶＩを表しています。これは、緑色の植物キャノピーの被覆率の指標である。ＧＮＤＶＩは、植生に水分が不足しているか、栄養素が不足しているか、または成熟後のブロマス不況に苦しんでいるかを示す。
〔式４〕ＧＮＤＶＩ＝（ＮＩＲ－Green（緑））／（ＮＩＲ＋Green）
【0063】
ＮＤＲＥ：Normalized Difference Red Edge正規化レッドエッジ指数
ＮＤＲＥは、ＮＤＶＩで使用されている赤いエッジバンドに代えて、赤いエッジバンドを使用する。この赤のエッジバンドは、赤のスペクトルから近赤外スペクトルへの遷移ゾーンのスペクトル領域である。
ＮＤＲＥは、クロロフィルや糖分などの変数に基づいて植生を管理するために使用できる。
〔式５〕ＮＤＲＥ＝（ＮＩＲ－Red Edge）／（ＮＩＲ＋Red Edge）
ＮＤＲＥは、ＮＤＶＩで使用されている赤いエッジバンドに代えて、赤いエッジバンドを使用する。この赤のエッジバンドは、赤のスペクトルから近赤外スペクトルへの遷移ゾーンのスペクトル領域である。
ＮＤＲＥは、クロロフィルや糖分などの変数に基づいて植生を管理するために使用できる。
〔式５〕ＮＤＲＥ＝（ＮＩＲ－Red Edge）／（ＮＩＲ＋Red Edge）
【0064】
ＬＣＩ：Leaf Chlorophyll Index（葉クロロフィル（葉緑素）指数）
植物のクロロフィル（葉緑素）の含有量に特化した指数である。葉のクロロフィル含有量は、植生の成長と収量を評価するための重要な指標となる。また、植物の栄養ストレス、病気、成長及び老化を評価する指標にもなる。
〔数６〕ＬＣＩ＝（ＮＩＲ－Red Edge）／（ＮＩＲ＋Red）
植物のクロロフィル（葉緑素）の含有量に特化した指数である。葉のクロロフィル含有量は、植生の成長と収量を評価するための重要な指標となる。また、植物の栄養ストレス、病気、成長及び老化を評価する指標にもなる。
〔数６〕ＬＣＩ＝（ＮＩＲ－Red Edge）／（ＮＩＲ＋Red）
【0065】
ＯＳＡＶＩ：Optimized Soil-adjusted Vegetation Index（肥料含有植生指数）
植物に吸収されている肥料の含有量を判定する指数である。なお、土壌調整植生指数は、ＮＤＶＩおよび関連する観測データに基づいている。この指標は、植生に対する土壌条件の影響を取り除くために使用される。
〔式７〕ＯＳＡＶＩ＝（Ｌ＋０．１６）＊（ＮＩＲ－Red（赤））／（ＮＩＲ＋Red＋０．１６）
但し、Ｌは、植生被覆密度であり、０～１．０の値をとる。
植物に吸収されている肥料の含有量を判定する指数である。なお、土壌調整植生指数は、ＮＤＶＩおよび関連する観測データに基づいている。この指標は、植生に対する土壌条件の影響を取り除くために使用される。
〔式７〕ＯＳＡＶＩ＝（Ｌ＋０．１６）＊（ＮＩＲ－Red（赤））／（ＮＩＲ＋Red＋０．１６）
但し、Ｌは、植生被覆密度であり、０～１．０の値をとる。
【符号の説明】
【0066】
１ ＵＡＶ（無人航空機）
２ マルチスペクトルカメラ
１０１ 防護網又は防災網
１０２ 農場、圃場、果樹又は山野（果樹等）
２ マルチスペクトルカメラ
１０１ 防護網又は防災網
１０２ 農場、圃場、果樹又は山野（果樹等）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
