(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105672
(43)【公開日】2023-07-31
(54)【発明の名称】森林被害木自動検出装置、森林被害木自動検出方法およびプログラム
(51)【国際特許分類】
A01G 23/00 20060101AFI20230724BHJP
G06T 7/00 20170101ALI20230724BHJP
G06Q 50/02 20120101ALI20230724BHJP
A01G 7/00 20060101ALI20230724BHJP
【FI】
A01G23/00 551Z
G06T7/00 350B
G06T7/00 640
G06Q50/02
A01G7/00 603
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2022006647
(22)【出願日】2022-01-19
(71)【出願人】
【識別番号】504180239
【氏名又は名称】国立大学法人信州大学
(71)【出願人】
【識別番号】517220036
【氏名又は名称】精密林業計測株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】加藤 正人
(72)【発明者】
【氏名】藤平 光希
(72)【発明者】
【氏名】中川 太人
(72)【発明者】
【氏名】トウ ソウキュウ
(72)【発明者】
【氏名】竹中 悠輝
【テーマコード(参考)】
5L049
5L096
【Fターム(参考)】
5L049CC01
5L096BA08
5L096BA18
5L096DA02
5L096EA35
5L096FA18
5L096FA69
5L096GA34
5L096GA51
5L096HA08
5L096KA04
(57)【要約】
【課題】調査対象森林域に存在する被害木の位置を簡便な手法によって把握する。
【解決手段】森林被害木自動検出装置は、空撮画像データと空撮画像に含まれる被害木の検出範囲を指定する情報との入力を受け付け、指定された範囲内にグリッドを生成して空撮画像から複数の矩形画像を切り出し、矩形画像に含まれる被害木を検出する。被害木の検出では、矩形画像に被害木が含まれるか否かが判定され、被害木の位置情報が計算される。訓練データを用いた物体検出モデルの教師あり学習が行われ、学習後の物体検出モデルを用いて矩形画像に被害木が含まれるか否かが判定される。訓練データには、被害木を含む訓練データ用空撮画像と被害木に外接する矩形に施されたラベリングとが含まれる。切り出された矩形画像に被害木が含まれると判定された場合に、物体検出モデルは、被害木に外接する矩形を出力し、その矩形に基づいて検出された被害木の位置情報が計算される。
【選択図】
図1
【特許請求の範囲】
【請求項1】
調査対象森林域における被害木を自動検出する森林被害木自動検出装置であって、
前記調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理部と、
前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理部と、
前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理部とを備え、
前記被害木検出処理部は、
前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理部と、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に被害木の位置情報を計算する被害木位置計算処理部とを備え、
前記被害木探索処理部は、
訓練データを用いた物体検出モデルの教師あり学習を行い、
教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定し、
前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に、
前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、
前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理部によって検出された被害木の位置情報を計算する、
森林被害木自動検出装置。
【請求項2】
前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象被害木外接矩形の上下方向および左右方向の中心位置を、前記被害木検出処理部によって検出された被害木の位置として計算する、
請求項1に記載の森林被害木自動検出装置。
【請求項3】
前記画像切り出し処理部は、
上下方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複し、かつ、左右方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複するように、前記空撮画像から複数の矩形画像を切り出す、
請求項2に記載の森林被害木自動検出装置。
【請求項4】
前記被害木検出処理部は、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に前記被害木位置計算処理部によって計算された被害木の位置情報に基づいて被害木の照合を行う照合処理部を備え、
前記照合処理部は、
上下方向に隣接する2つの矩形画像の一方に含まれる被害木の位置と、上下方向に隣接する2つの矩形画像の他方に含まれる被害木の位置との距離が第1閾値以内である場合に、上下方向に隣接する2つの矩形画像の一方に含まれる被害木と上下方向に隣接する2つの矩形画像の他方に含まれる被害木とが同一の被害木であるとみなし、
左右方向に隣接する2つの矩形画像の一方に含まれる被害木の位置と、左右方向に隣接する2つの矩形画像の他方に含まれる被害木の位置との距離が前記第1閾値以内である場合に、左右方向に隣接する2つの矩形画像の一方に含まれる被害木と左右方向に隣接する2つの矩形画像の他方に含まれる被害木とが同一の被害木であるとみなす、
請求項3に記載の森林被害木自動検出装置。
【請求項5】
上下方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である上下方向重複幅は前記第1閾値より大きく、左右方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である左右方向重複幅は前記第1閾値より大きい、
請求項4に記載の森林被害木自動検出装置。
【請求項6】
前記被害木探索処理部は、教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、
前記被害木検出処理部は、ノイズ削除処理部を備え、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合であって、前記被害木探索処理部によって算出された信頼度が第2閾値以下である場合に、前記ノイズ削除処理部は、前記第2閾値以下の信頼度を有する被害木をノイズとして削除する、
請求項5に記載の森林被害木自動検出装置。
【請求項7】
前記データ入力処理部が入力を受け付ける前記空撮画像のデータが、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像のデータであり、
前記被害木探索処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行し、
前記被害木位置計算処理部は、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木が含まれると前記被害木探索処理部によって判定された場合に枯死木の位置情報を計算し、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯損木が含まれると前記被害木探索処理部によって判定された場合に枯損木の位置情報を計算し、
前記物体検出モデルの教師あり学習に用いられる訓練データには、枯死木および枯損木を含む前記訓練データ用空撮画像、または、枯死木を含む前記訓練データ用空撮画像および枯損木を含む前記訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる枯死木に外接する矩形である訓練データ用枯死木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯損木に外接する矩形である訓練データ用枯損木外接矩形に施されたラベリングとが含まれ、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木および/または枯損木が含まれると前記被害木探索処理部によって判定された場合に、
前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる枯死木に外接する矩形である検出対象枯死木外接矩形および/または枯損木に外接する矩形である検出対象枯損木外接矩形を出力し、
前記被害木位置計算処理部は、
前記物体検出モデルによって出力された検出対象枯死木外接矩形に基づいて前記被害木検出処理部によって検出された枯死木の位置情報を計算し、
前記物体検出モデルによって出力された検出対象枯損木外接矩形に基づいて前記被害木検出処理部によって検出された枯損木の位置情報を計算し、
前記被害木検出処理部による枯死木および/または枯損木の検出結果が誤検出であるか否かを判定する地上高フィルタ処理部を備え、
前記地上高フィルタ処理部は、
前記調査対象森林域の数値標高モデルデータと前記調査対象森林域の数値表層モデルデータとを取得し、
前記被害木検出処理部による枯死木および/または枯損木の検出結果と、前記数値標高モデルデータと、前記数値表層モデルデータとに基づいて、前記被害木検出処理部が地表面を枯死木および/または枯損木と誤検出したか否かを判定する、
請求項6に記載の森林被害木自動検出装置。
【請求項8】
前記データ入力処理部が入力を受け付ける前記空撮画像のデータが、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像のデータであり、
前記被害木探索処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに感染木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行し、
前記被害木位置計算処理部は、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに感染木が含まれると前記被害木探索処理部によって判定された場合に感染木の位置情報を計算し、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木が含まれると前記被害木探索処理部によって判定された場合に枯死木の位置情報を計算し、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯損木が含まれると前記被害木探索処理部によって判定された場合に枯損木の位置情報を計算し、
前記物体検出モデルの教師あり学習に用いられる訓練データには、感染木、枯死木および枯損木を含む前記訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる感染木に外接する矩形である訓練データ用感染木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯死木に外接する矩形である訓練データ用枯死木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯損木に外接する矩形である訓練データ用枯損木外接矩形に施されたラベリングとが含まれ、
前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに感染木、枯死木および/または枯損木が含まれると前記被害木探索処理部によって判定された場合に、
前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる感染木に外接する矩形である検出対象感染木外接矩形、枯死木に外接する矩形である検出対象枯死木外接矩形および/または枯損木に外接する矩形である検出対象枯損木外接矩形を出力し、
前記被害木位置計算処理部は、
前記物体検出モデルによって出力された検出対象感染木外接矩形に基づいて前記被害木検出処理部によって検出された感染木の位置情報を計算し、
前記物体検出モデルによって出力された検出対象枯死木外接矩形に基づいて前記被害木検出処理部によって検出された枯死木の位置情報を計算し、
前記物体検出モデルによって出力された検出対象枯損木外接矩形に基づいて前記被害木検出処理部によって検出された枯損木の位置情報を計算する、
請求項6に記載の森林被害木自動検出装置。
【請求項9】
前記データ入力処理部は、前記空撮画像のデータとして、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像である可視光域オルソ画像のデータと、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像であるマルチスペクトルオルソ画像のデータとの入力を受け付け、
前記画像切り出し処理部は、前記可視光域オルソ画像から複数の矩形画像を切り出すと共に、前記マルチスペクトルオルソ画像から複数の矩形画像を切り出し、
前記被害木探索処理部は、
前記可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定すると共に、前記可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、
前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定すると共に、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、
前記被害木位置計算処理部は、
前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれると前記被害木探索処理部によって判定された被害木の位置情報と、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれると前記被害木探索処理部によって判定された被害木の位置情報とを計算し、
前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置と前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置との距離が前記第1閾値以内である場合に、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木と前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木とが同一の被害木であるとみなし、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置情報と、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置情報との一方であって、前記被害木探索処理部によって算出された信頼度が高い方を採用する、
請求項5に記載の森林被害木自動検出装置。
【請求項10】
調査対象森林域における被害木を自動検出する森林被害木自動検出方法であって、
前記調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理ステップと、
前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理ステップと、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理ステップとを備え、
前記被害木検出処理ステップには、
前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理ステップと、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に被害木の位置情報を計算する被害木位置計算処理ステップとが含まれ、
前記被害木探索処理ステップでは、
訓練データを用いた物体検出モデルの教師あり学習が行われ、
教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かが判定され、
前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に、
前記物体検出モデルは、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、
前記被害木位置計算処理ステップでは、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理ステップにおいて検出された被害木の位置情報が計算される、
森林被害木自動検出方法。
【請求項11】
コンピュータに、
調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理ステップと、
前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理ステップと、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理ステップとを実行させるためのプログラムであって、
前記被害木検出処理ステップには、
前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理ステップと、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に被害木の位置情報を計算する被害木位置計算処理ステップとが含まれ、
前記被害木探索処理ステップでは、
訓練データを用いた物体検出モデルの教師あり学習が行われ、
教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かが判定され、
前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、
前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に、
前記物体検出モデルは、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、
前記被害木位置計算処理ステップでは、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理ステップにおいて検出された被害木の位置情報が計算される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、森林被害木自動検出装置、森林被害木自動検出方法およびプログラムに関する。
【背景技術】
【0002】
近年、地球温暖化の影響もあり、マツノマダラカミキリによるマツ枯れ被害、カシノナガキクイムシによるナラ枯れ被害が全国で拡大している。高標高・高緯度にある長野県や東北地方において、被害が深刻化している。被害拡大防止のためには被害木の早期発見と早期対処が必要である。防除には被害分布を把握すること、最前線の感染木を的確に防除することが被害蔓延防止に有効である。
例えば、我が国最大の森林病虫害であるマツ枯れ被害においては、現在、マツ枯れの被害把握の多くが担当者による現地踏査と目視によって行われており、時間と労力がかかるが正確性に乏しい。
このような課題を解決するために、ドローンや人工衛星等を用いたリモートセンシングによるマツ枯れ被害解析について近年研究が行われている。
【0003】
例えば特許文献1に記載された技術では、調査対象となるアカマツ林を含む地域を上空から撮影して得られた撮影画像データに含まれる樹種の分光反射特性に基づいて作成されたアカマツ林画像データが用いられ、アカマツ林に含まれるアカマツの本数が被害区分別に算定される。
【0004】
一方、特許文献1に記載された技術のような、リモートセンシングによって被害木の解析を行う事例は少なく、簡便さと普及性を兼ね備えた手法は確立されていない。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した問題点に鑑み、本発明は、調査対象森林域に被害木が存在するか否かおよび調査対象森林域に存在する被害木の位置を簡便な手法によって把握することができる森林被害木自動検出装置、森林被害木自動検出方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様は、調査対象森林域における被害木を自動検出する森林被害木自動検出装置であって、前記調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理部と、前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理部と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理部とを備え、前記被害木検出処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理部と、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に被害木の位置情報を計算する被害木位置計算処理部とを備え、前記被害木探索処理部は、訓練データを用いた物体検出モデルの教師あり学習を行い、教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定し、前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に、前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理部によって検出された被害木の位置情報を計算する、森林被害木自動検出装置である。
【0008】
本発明の一態様の森林被害木自動検出装置では、前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象被害木外接矩形の上下方向および左右方向の中心位置を、前記被害木検出処理部によって検出された被害木の位置として計算してもよい。
【0009】
本発明の一態様の森林被害木自動検出装置では、前記画像切り出し処理部は、上下方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複し、かつ、左右方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複するように、前記空撮画像から複数の矩形画像を切り出してもよい。
【0010】
本発明の一態様の森林被害木自動検出装置では、前記被害木検出処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合に前記被害木位置計算処理部によって計算された被害木の位置情報に基づいて被害木の照合を行う照合処理部を備え、前記照合処理部は、上下方向に隣接する2つの矩形画像の一方に含まれる被害木の位置と、上下方向に隣接する2つの矩形画像の他方に含まれる被害木の位置との距離が第1閾値以内である場合に、上下方向に隣接する2つの矩形画像の一方に含まれる被害木と上下方向に隣接する2つの矩形画像の他方に含まれる被害木とが同一の被害木であるとみなし、左右方向に隣接する2つの矩形画像の一方に含まれる被害木の位置と、左右方向に隣接する2つの矩形画像の他方に含まれる被害木の位置との距離が前記第1閾値以内である場合に、左右方向に隣接する2つの矩形画像の一方に含まれる被害木と左右方向に隣接する2つの矩形画像の他方に含まれる被害木とが同一の被害木であるとみなしてもよい。
【0011】
本発明の一態様の森林被害木自動検出装置では、上下方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である上下方向重複幅は前記第1閾値より大きく、左右方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である左右方向重複幅は前記第1閾値より大きくてもよい。
【0012】
本発明の一態様の森林被害木自動検出装置では、前記被害木探索処理部は、教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、前記被害木検出処理部は、ノイズ削除処理部を備え、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理部によって判定された場合であって、前記被害木探索処理部によって算出された信頼度が第2閾値以下である場合に、前記ノイズ削除処理部は、前記第2閾値以下の信頼度を有する被害木をノイズとして削除してもよい。
【0013】
本発明の一態様の森林被害木自動検出装置では、前記データ入力処理部が入力を受け付ける前記空撮画像のデータが、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像のデータであり、前記被害木探索処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行し、前記被害木位置計算処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木が含まれると前記被害木探索処理部によって判定された場合に枯死木の位置情報を計算し、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯損木が含まれると前記被害木探索処理部によって判定された場合に枯損木の位置情報を計算し、前記物体検出モデルの教師あり学習に用いられる訓練データには、枯死木および枯損木を含む前記訓練データ用空撮画像、または、枯死木を含む前記訓練データ用空撮画像および枯損木を含む前記訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる枯死木に外接する矩形である訓練データ用枯死木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯損木に外接する矩形である訓練データ用枯損木外接矩形に施されたラベリングとが含まれ、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木および/または枯損木が含まれると前記被害木探索処理部によって判定された場合に、前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる枯死木に外接する矩形である検出対象枯死木外接矩形および/または枯損木に外接する矩形である検出対象枯損木外接矩形を出力し、前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象枯死木外接矩形に基づいて前記被害木検出処理部によって検出された枯死木の位置情報を計算し、前記物体検出モデルによって出力された検出対象枯損木外接矩形に基づいて前記被害木検出処理部によって検出された枯損木の位置情報を計算し、前記被害木検出処理部による枯死木および/または枯損木の検出結果が誤検出であるか否かを判定する地上高フィルタ処理部を備え、前記地上高フィルタ処理部は、前記調査対象森林域の数値標高モデルデータと前記調査対象森林域の数値表層モデルデータとを取得し、前記被害木検出処理部による枯死木および/または枯損木の検出結果と、前記数値標高モデルデータと、前記数値表層モデルデータとに基づいて、前記被害木検出処理部が地表面を枯死木および/または枯損木と誤検出したか否かを判定してもよい。
【0014】
本発明の一態様の森林被害木自動検出装置では、前記データ入力処理部が入力を受け付ける前記空撮画像のデータが、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像のデータであり、前記被害木探索処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに感染木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行し、前記被害木位置計算処理部は、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに感染木が含まれると前記被害木探索処理部によって判定された場合に感染木の位置情報を計算し、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯死木が含まれると前記被害木探索処理部によって判定された場合に枯死木の位置情報を計算し、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに枯損木が含まれると前記被害木探索処理部によって判定された場合に枯損木の位置情報を計算し、前記物体検出モデルの教師あり学習に用いられる訓練データには、感染木、枯死木および枯損木を含む前記訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる感染木に外接する矩形である訓練データ用感染木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯死木に外接する矩形である訓練データ用枯死木外接矩形に施されたラベリングと、前記訓練データ用空撮画像に含まれる枯損木に外接する矩形である訓練データ用枯損木外接矩形に施されたラベリングとが含まれ、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに感染木、枯死木および/または枯損木が含まれると前記被害木探索処理部によって判定された場合に、前記物体検出モデルは、前記画像切り出し処理部によって切り出された複数の矩形画像のいずれかに含まれる感染木に外接する矩形である検出対象感染木外接矩形、枯死木に外接する矩形である検出対象枯死木外接矩形および/または枯損木に外接する矩形である検出対象枯損木外接矩形を出力し、前記被害木位置計算処理部は、前記物体検出モデルによって出力された検出対象感染木外接矩形に基づいて前記被害木検出処理部によって検出された感染木の位置情報を計算し、前記物体検出モデルによって出力された検出対象枯死木外接矩形に基づいて前記被害木検出処理部によって検出された枯死木の位置情報を計算し、前記物体検出モデルによって出力された検出対象枯損木外接矩形に基づいて前記被害木検出処理部によって検出された枯損木の位置情報を計算してもよい。
【0015】
本発明の一態様の森林被害木自動検出装置では、前記データ入力処理部は、前記空撮画像のデータとして、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像である可視光域オルソ画像のデータと、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像であるマルチスペクトルオルソ画像のデータとの入力を受け付け、前記画像切り出し処理部は、前記可視光域オルソ画像から複数の矩形画像を切り出すと共に、前記マルチスペクトルオルソ画像から複数の矩形画像を切り出し、前記被害木探索処理部は、前記可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定すると共に、前記可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定すると共に、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに被害木が含まれる信頼度を算出し、前記被害木位置計算処理部は、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれると前記被害木探索処理部によって判定された被害木の位置情報と、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれると前記被害木探索処理部によって判定された被害木の位置情報とを計算し、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置と前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置との距離が前記第1閾値以内である場合に、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木と前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木とが同一の被害木であるとみなし、前記可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置情報と、前記マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木の位置情報との一方であって、前記被害木探索処理部によって算出された信頼度が高い方を採用してもよい。
【0016】
本発明の一態様は、調査対象森林域における被害木を自動検出する森林被害木自動検出方法であって、前記調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理ステップと、前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理ステップと、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理ステップとを備え、前記被害木検出処理ステップには、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理ステップと、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に被害木の位置情報を計算する被害木位置計算処理ステップとが含まれ、前記被害木探索処理ステップでは、訓練データを用いた物体検出モデルの教師あり学習が行われ、教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かが判定され、前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に、前記物体検出モデルは、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、前記被害木位置計算処理ステップでは、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理ステップにおいて検出された被害木の位置情報が計算される、森林被害木自動検出方法である。
【0017】
本発明の一態様は、コンピュータに、調査対象森林域の空撮画像のデータと、前記空撮画像に含まれる被害木の検出が行われる範囲を指定する情報である検出範囲指定情報との入力を受け付けるデータ入力処理ステップと、前記検出範囲指定情報によって指定された被害木の検出が行われる範囲内にグリッドを生成することによって、前記空撮画像から複数の矩形画像を切り出す画像切り出し処理ステップと、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに含まれる被害木を検出する被害木検出処理ステップとを実行させるためのプログラムであって、前記被害木検出処理ステップには、前記画像切り出し処理部によって切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かを判定する被害木探索処理ステップと、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に被害木の位置情報を計算する被害木位置計算処理ステップとが含まれ、前記被害木探索処理ステップでは、訓練データを用いた物体検出モデルの教師あり学習が行われ、教師あり学習が行われた後の前記物体検出モデルを用いることにより、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のそれぞれに被害木が含まれるか否かが判定され、前記物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像と、前記訓練データ用空撮画像に含まれる被害木に外接する矩形である訓練データ用被害木外接矩形に施されたラベリングとが含まれ、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに被害木が含まれると前記被害木探索処理ステップにおいて判定された場合に、前記物体検出モデルは、前記画像切り出し処理ステップにおいて切り出された複数の矩形画像のいずれかに含まれる被害木に外接する矩形である検出対象被害木外接矩形を出力し、前記被害木位置計算処理ステップでは、前記物体検出モデルによって出力された検出対象被害木外接矩形に基づいて、前記被害木検出処理ステップにおいて検出された被害木の位置情報が計算される、プログラムである。
【発明の効果】
【0018】
本発明によれば、調査対象森林域に被害木が存在するか否かおよび調査対象森林域に存在する被害木の位置を簡便な手法によって把握することができる森林被害木自動検出装置、森林被害木自動検出方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0019】
【
図1】第1実施形態の森林被害木自動検出装置1の一例を示す図である。
【
図2】データ入力処理部11が入力を受け付ける空撮画像(オルソ画像)AMと「被害木の検出が行われる範囲AR」との関係の一例を示す図である。
【
図3】画像切り出し処理部12による処理の一例を説明するための図である。
【
図4】画像切り出し処理部12によって切り出される複数の矩形画像RM1、RM2、RM3、RM4の相互間の重複の一例を説明するための図である。
【
図5】画像切り出し処理部12によって
図4に示すような矩形画像RMi(i=1~N)の切り出しが行われる理由を説明するための図である。
【
図6】物体検出モデルの教師あり学習に用いられる訓練データ用空撮画像TM、訓練データ用被害木外接矩形TERおよびラベリングの一例を説明するための図である。
【
図7】物体検出モデルによって出力される矩形画像RMpに含まれる被害木DTに外接する検出対象被害木外接矩形DERの一例を示す図である。
【
図8】被害木位置計算処理部13Bによって行われる被害木DTの位置の計算の一例を説明するための図である。
【
図9】解析結果出力処理部14によって出力される解析結果の一例を示す図である。
【
図10】地上高フィルタ処理部15による処理の一例を説明するための図である。
【
図11】第1実施形態の森林被害木自動検出装置1によって出力される調査対象森林域における被害木DT(枯死木DTA、枯損木DTB)の検出結果の一例を示す図である。
【
図12】第1実施形態の森林被害木自動検出装置1において実行される処理の一例を説明するためのフローチャートである。
【
図13】
図12のステップS13において実行される処理の一例を詳細に説明するためのフローチャートである。
【
図14】第2実施形態の森林被害木自動検出装置1の一例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の森林被害木自動検出装置、森林被害木自動検出方法およびプログラムの実施形態について説明する。
【0021】
<第1実施形態>
図1は第1実施形態の森林被害木自動検出装置1の一例を示す図である。
図1に示す例では、第1実施形態の森林被害木自動検出装置1が、調査対象森林域における被害木を自動検出する。詳細には、第1実施形態の森林被害木自動検出装置1は、被害木として、例えば葉が赤茶色になって枯れた松などの枯死木と、枯死から数年経過し、落葉して太枝と幹のみになって白骨化している枯損木とを区分(識別)して検出する。枯死木は、感染拡大の対応を急ぐ必要がある被害木であり、枯損木は、落枝・倒木の危険性が高い被害木である。
森林被害木自動検出装置1は、データ入力処理部11と、画像切り出し処理部12と、被害木検出処理部13と、解析結果出力処理部14と、地上高フィルタ処理部15とを備えている。
データ入力処理部11は、調査対象森林域の空撮画像AMのデータの入力を受け付ける。調査対象森林域の空撮画像AMは、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像である。
また、データ入力処理部11は、その空撮画像AMに含まれる「被害木の検出が行われる範囲AR」を指定する情報である検出範囲指定情報の入力を受け付ける。
【0022】
図2はデータ入力処理部11が入力を受け付ける空撮画像(オルソ画像)AMと「被害木の検出が行われる範囲AR」との関係の一例を示す図である。詳細には、
図2(A)は空撮画像(オルソ画像)AMを示しており、
図2(B)は「被害木の検出が行われる範囲AR」に対応するポリゴン(多角形)を示している。
図2に示す例では、「被害木の検出が行われる範囲AR」がポリゴンによって指定される。つまり、データ入力処理部11は、空撮画像AMに含まれる「被害木の検出が行われる範囲AR」を指定する検出範囲指定情報として、ポリゴンファイルの入力を受け付ける。
【0023】
図1に示す例では、画像切り出し処理部12が、検出範囲指定情報(ポリゴンファイル)によって指定された「被害木の検出が行われる範囲AR」内にグリッドを生成することによって、空撮画像AMから複数の矩形画像RMi(i=1~N)を切り出す。
【0024】
図3は画像切り出し処理部12による処理の一例を説明するための図である。
図2および
図3に示すように、画像切り出し処理部12は、
図2(A)に示す空撮画像(オルソ画像)AMのうちの
図2(B)に示すポリゴンによって指定された「被害木の検出が行われる範囲AR」内にグリッドを生成し、複数の矩形画像RMi(i=1~N)を切り出す。
詳細には、画像切り出し処理部12は、上下方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複し、かつ、左右方向に隣接する2つの矩形画像の一方の一部と他方の一部とが互いに重複するように、空撮画像から複数の矩形画像を切り出す。
【0025】
図4は画像切り出し処理部12によって切り出される複数の矩形画像RM1、RM2、RM3、RM4の相互間の重複の一例を説明するための図である。詳細には、
図4(A)は
図2(A)に示す空撮画像AMのうちの
図2(B)に示す「被害木の検出が行われる範囲AR」内の一部を拡大して示しており、
図4(B)は
図4(A)に示す空撮画像AMから画像切り出し処理部12によって切り出される複数の矩形画像RM1、RM2、RM3、RM4を示している。
図4において、DTは被害木(詳細には、枯損木)を示している。
図4に示す例では、矩形画像RM1と矩形画像RM3とが上下方向に隣接している。また、矩形画像RM2と矩形画像RM4とが上下方向に隣接している。更に、矩形画像RM1と矩形画像RM2とが左右方向に隣接している。また、矩形画像RM3と矩形画像RM4とが左右方向に隣接している。
矩形画像RM1の下側(
図4(B)の下側)の50%と、矩形画像RM3の上側(
図4(B)の上側)の50%とが重複している。また、矩形画像RM2の下側(
図4(B)の下側)の50%と、矩形画像RM4の上側(
図4(B)の上側)の50%とが重複している。更に、矩形画像RM1の右側(
図4(B)の右側)の50%と、矩形画像RM2の左側(
図4(B)の左側)の50%とが重複している。また、矩形画像RM3の右側(
図4(B)の右側)の50%と、矩形画像RM4の左側(
図4(B)の左側)の50%とが重複している。
【0026】
つまり、
図4に示す例では、画像切り出し処理部12は、上下方向に隣接する2つの矩形画像RM1、RM3のうちの一方の矩形画像RM1の一部(
図4(B)の下側部分)と他方の矩形画像RM3の一部(
図4(B)の上側部分)とが互いに重複し、かつ、上下方向に隣接する2つの矩形画像RM2、RM4のうちの一方の矩形画像RM2の一部(
図4(B)の下側部分)と他方の矩形画像RM4の一部(
図4(B)の上側部分)とが互いに重複し、かつ、左右方向に隣接する2つの矩形画像RM1、RM2のうちの一方の矩形画像RM1の一部(
図4(B)の右側部分)と他方の矩形画像RM2の一部(
図4(B)の左側部分)とが互いに重複し、かつ、左右方向に隣接する2つの矩形画像RM3、RM4のうちの一方の矩形画像RM3の一部(
図4(B)の右側部分)と他方の矩形画像RM4の一部(
図4(B)の左側部分)とが互いに重複するように、空撮画像AMから複数の矩形画像RM1、RM2、RM3、RM4を切り出す。
【0027】
図4に示す例では、画像切り出し処理部12が、空撮画像AMから例えば10m×10mの正方形の矩形画像RM1、RM2、RM3、RM4を切り出す。
他の例では、画像切り出し処理部12が、一辺の長さが10m以外の値である正方形の矩形画像RM1、RM2、RM3、RM4を空撮画像AMから切り出したり、画像切り出し処理部12が、長方形の矩形画像RM1、RM2、RM3、RM4を空撮画像AMから切り出したりしてもよい。
【0028】
図4に示す例では、上下方向に隣接する2つの矩形画像RM1、RM3のうちの一方の矩形画像RM1の一部と他方の矩形画像RM3の一部との重複幅である上下方向重複幅が5m(=10m×50%)であり、左右方向に隣接する2つの矩形画像RM1、RM2のうちの一方の矩形画像RM1の一部と他方の矩形画像RM2の一部との重複幅である左右方向重複幅が5m(=10m×50%)である。
他の例では、上下方向重複幅および左右方向重複幅が5m以外の値であってもよい。
【0029】
図4に示す例では、画像切り出し処理部12が空撮画像AMから矩形画像RM1を切り出す時に、矩形画像RM1の原点(例えば
図4(B)に示す矩形画像RM1の左上隅など)の絶対座標値(X1,Y1)(例えば、緯経度など)を示す情報が、矩形画像RM1のデータに含められる。また、画像切り出し処理部12が空撮画像AMから矩形画像RM2を切り出す時に、矩形画像RM2の原点の絶対座標値(X2,Y2)を示す情報が、矩形画像RM2のデータに含められる。同様に、画像切り出し処理部12が空撮画像AMから矩形画像RM3を切り出す時に、矩形画像RM3の原点の絶対座標値(X3,Y3)を示す情報が矩形画像RM3のデータに含められ、画像切り出し処理部12が空撮画像AMから矩形画像RM4を切り出す時に、矩形画像RM4の原点の絶対座標値(X4,Y4)を示す情報が矩形画像RM4のデータに含められる。
つまり、矩形画像RMi(i=1~N)は、絶対座標値と対応付けられて空撮画像AMから切り出される。
【0030】
図5は画像切り出し処理部12によって
図4に示すような矩形画像RMi(i=1~N)の切り出しが行われる理由を説明するための図である。
図5(A)および
図5(B)に示すように、左右方向に隣接する2つの矩形画像RMA、RMBのうちの一方の矩形画像RMAの一部と他方の矩形画像RMBの一部とが重複しない場合には、矩形画像RMAと矩形画像RMBとの境界線上に位置する被害木DT(の樹冠)が、2つの矩形画像RMA、RMBに分断されるため、被害木DTが正常に検出されないおそれがある。
一方、
図5(C)および
図5(D)に示すように、左右方向に隣接する2つの矩形画像RMA、RMBのうちの一方の矩形画像RMAの一部と他方の矩形画像RMBの一部とが重複し、かつ、左右方向に隣接する2つの矩形画像RMB、RMCのうちの一方の矩形画像RMBの一部と他方の矩形画像RMCの一部とが重複する場合には、被害木DT(の樹冠)の全体が1つの矩形画像RMBに含まれるため、森林被害木自動検出装置1は、矩形画像RMB(
図5(D)参照)を用いることによって、被害木DTを確実に検出することができる。
つまり、第1実施形態の森林被害木自動検出装置1では、
図4に示すように上下方向重複幅および左右方向重複幅が設けられている。その結果、第1実施形態の森林被害木自動検出装置1では、
図5(A)および
図5(B)に示す例のように左右方向に隣接する2つの矩形画像が互いに重複していないために左右方向に隣接する2つの矩形画像の境界線上に位置する被害木DTが正常に検出されないおそれを抑制することができ、上下方向に隣接する2つの矩形画像が互いに重複していないために上下方向に隣接する2つの矩形画像の境界線上に位置する被害木DTが正常に検出されないおそれを抑制することができる。
【0031】
図1に示す例では、被害木検出処理部13が、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに含まれる被害木DTを検出する。被害木検出処理部13は、被害木探索処理部13Aと、被害木位置計算処理部13Bと、照合処理部13Cと、ノイズ削除処理部13Dとを備えている。
被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに被害木DTが含まれるか否かを判定する。
詳細には、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに被害木DTが含まれるか否かを判定する前に、訓練データを用いた物体検出モデルの教師あり学習を行う。更に、被害木探索処理部13Aは、教師あり学習が行われた後の物体検出モデルを用いることにより、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに被害木DTが含まれるか否かを判定する。
すなわち、被害木探索処理部13Aは、物体検出法による被害木DTの検出を行う。物体検出法とは、AI(人工知能)の一種(詳細には、ディープラーニングの一種)であり、物体検出モデルに訓練データを与えて事前に学習させることで、物体検出モデルに入力された矩形画像RMi(i=1~N)の自動解析を行うことが可能になる。
物体検出モデルの教師あり学習に用いられる訓練データには、被害木を含む訓練データ用空撮画像TM(
図6参照)と、訓練データ用空撮画像TMに含まれる被害木DT(
図6参照)に外接する矩形である訓練データ用被害木外接矩形TER(
図6参照)に施されたラベリングとが含まれる。
【0032】
図6は物体検出モデルの教師あり学習に用いられる訓練データ用空撮画像TM、訓練データ用被害木外接矩形TERおよびラベリングの一例を説明するための図である。詳細には、
図6(A)は物体検出モデルの教師あり学習に用いられる訓練データ用空撮画像TMを示しており、
図6(B)は
図6(A)に示す訓練データ用空撮画像TMに含まれる2本の被害木DT(枯死木DTA、枯損木DTB)のそれぞれに外接する2つの訓練データ用被害木外接矩形TERとそれらに施されたラベリングとを示している。
図6に示す例では、例えば
図2に示す「被害木の検出が行われる範囲AR」とは異なる森林域においてドローン等を用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像が、
図6に示す訓練データ用空撮画像TMとして用いられる。
図6に示す訓練データ用空撮画像TMのサイズおよび形状は、
図4(B)に示す矩形画像RM1、RM2、RM3、RM4のサイズおよび形状と同様に、10m×10mの正方形に設定される。
図6に示す訓練データ用空撮画像TMに含まれる2本の被害木DTは、枯死木DTAおよび枯損木DTBである。
【0033】
図6に示す例では、物体検出モデルの教師あり学習に用いられる訓練データを作成するために、一般的に「アノテーション」等と称される作業が行われる。具体的には、その作業では、
図6(B)に示すように、訓練データ用空撮画像TMに含まれる枯死木DTAに外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形TER)が作成されると共に、その訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形TER)に「枯死木」のラベリングが施される。また、訓練データ用空撮画像TMに含まれる枯損木DTBに外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形TER)が作成されると共に、その訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形TER)に「枯損木」のラベリングが施される。
図6に示す例では、物体検出モデルの教師あり学習に用いられる訓練データに、枯死木DTAおよび枯損木DTBを含む訓練データ用空撮画像TMと、訓練データ用空撮画像TMに含まれる枯死木DTAに外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形TER)に施されたラベリング「枯死木」と、訓練データ用空撮画像TMに含まれる枯損木DTBに外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形TER)に施されたラベリング「枯損木」とが含まれるが、他の例では、物体検出モデルの教師あり学習に用いられる訓練データに、枯死木DTAのみを含む訓練データ用空撮画像(図示せず)と、その訓練データ用空撮画像に含まれる枯死木DTAに外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形TER)に施されたラベリング「枯死木」と、枯損木DTBのみを含む訓練データ用空撮画像(図示せず)と、その訓練データ用空撮画像に含まれる枯損木DTBに外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形TER)に施されたラベリング「枯損木」とが含まれていてもよい(つまり、1つの訓練データ用空撮画像TMに枯死木DTAおよび枯損木DTBの一方のみが含まれていてもよい)。
【0034】
図1に示す例では、訓練データとして、複数の例えば
図6(B)に示すようなラベル付きの訓練データ用空撮画像TMを用いることによって、物体検出モデルの教師あり学習が行われる。更に、教師あり学習が行われた後の物体検出モデルを用いることによって、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに被害木DT(枯死木DTA、枯損木DTB)が含まれるか否かが判定される。
詳細には、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに枯死木DTAが含まれるか否かの判定と、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)…のそれぞれに枯損木DTBが含まれるか否かの判定とを実行する。
【0035】
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DT(枯死木DTA、枯損木DTB)が含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる被害木DTに外接する矩形である検出対象被害木外接矩形DER(
図7参照)を出力する。
詳細には、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯死木DTAが含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる枯死木DTAに外接する矩形である検出対象枯死木外接矩形(検出対象被害木外接矩形DER)を出力する。つまり、物体検出モデルは、枯死木DTAが存在する領域を特定する。
また、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯損木DTBが含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる枯損木DTBに外接する矩形である検出対象枯損木外接矩形(検出対象被害木外接矩形DER)を出力する。つまり、物体検出モデルは、枯損木DTBが存在する領域を特定する。
【0036】
図7は物体検出モデルによって出力される矩形画像RMpに含まれる被害木DTに外接する検出対象被害木外接矩形DERの一例を示す図である。
図7に示すように、物体検出モデルは、検出された被害木DTが写っている領域を検出対象被害木外接矩形DERとして出力する。
【0037】
図1に示す例では、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DT(枯死木DTA、枯損木DTB)が含まれると判定した場合に、教師あり学習が行われた後の物体検出モデルを用いることによって、各矩形画像RMi(i=1~N)に被害木DT(枯死木DTA、枯損木DTB)が含まれる信頼度を算出する。
被害木位置計算処理部13Bは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DT(枯死木DTA、枯損木DTB)が含まれると被害木探索処理部13Aによって判定された場合に、被害木DT(枯死木DTA、枯損木DTB)の位置情報を計算する。詳細には、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象被害木外接矩形DER(
図7参照)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された被害木DTの位置として計算する。
【0038】
図8は被害木位置計算処理部13Bによって行われる被害木DTの位置の計算の一例を説明するための図である。
図8に示す例では、被害木位置計算処理部13Bが、画像切り出し処理部12によって切り出された矩形画像RMqに含まれる被害木DTの位置を、物体検出モデルによって出力された検出対象被害木外接矩形DERに基づいて計算する。
上述したように、画像切り出し処理部12が矩形画像RMqを切り出す時に、矩形画像RMqの原点(例えば
図8に示す矩形画像RMqの左上隅など)の絶対座標値(X,Y)(例えば、緯経度など)を示す情報が、矩形画像RMqのデータに含められる。
また、物体検出モデルが検出対象被害木外接矩形DERを出力する時に、矩形画像RMqの原点(絶対座標値(X,Y))に対する検出対象被害木外接矩形DERの例えば左上隅の相対座標値(x
1,y
1)および右下隅の相対座標値(x
2,y
2)を示す情報が、矩形画像RMqのデータに含められる。
被害木位置計算処理部13Bは、矩形画像RMqの原点(絶対座標値(X,Y))と検出対象被害木外接矩形DERの相対座標値(x
1,y
1)および相対座標値(x
2,y
2)とに基づいて、被害木DTの位置(X+(x
1+x
2)/2,Y+(y
1+y
2)/2)を計算する。
【0039】
詳細には、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯死木DTAが含まれると被害木探索処理部13Aによって判定された場合に、被害木位置計算処理部13Bは枯死木DTAの位置情報を計算する。被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯死木外接矩形(検出対象被害木外接矩形DER)に基づいて枯死木DTAの位置情報を計算する。具体的には、被害木位置計算処理部13Bが、物体検出モデルによって出力された検出対象枯死木外接矩形(検出対象被害木外接矩形DER)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された枯死木DTAの位置として計算する。
また、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯損木DTBが含まれると被害木探索処理部13Aによって判定された場合に、被害木位置計算処理部13Bは枯損木DTBの位置情報を計算する。被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯損木外接矩形(検出対象被害木外接矩形DER)に基づいて枯損木DTBの位置情報を計算する。具体的には、被害木位置計算処理部13Bが、物体検出モデルによって出力された検出対象枯損木外接矩形(検出対象被害木外接矩形DER)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された枯損木DTBの位置として計算する。
【0040】
図1に示す例では、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DTが含まれると被害木探索処理部13Aによって判定された場合に、照合処理部13Cは、被害木位置計算処理部13Bによって計算された被害木DTの位置情報に基づいて被害木DTの照合を行う。
図4(B)に示す例では、画像切り出し処理部12によって切り出された矩形画像RM1に被害木DTが含まれると被害木探索処理部13Aによって判定され、画像切り出し処理部12によって切り出された矩形画像RM2に被害木DTが含まれると被害木探索処理部13Aによって判定され、画像切り出し処理部12によって切り出された矩形画像RM3に被害木DTが含まれると被害木探索処理部13Aによって判定され、画像切り出し処理部12によって切り出された矩形画像RM4に被害木DTが含まれると被害木探索処理部13Aによって判定されるおそれがある、すなわち、被害木探索処理部13Aが1本の被害木DTを複数本(
図4(B)に示す例では、4本)の被害木DTと誤ってカウントしてしまうおそれがあるからである。
【0041】
その点に鑑み、
図1に示す例では、照合処理部13Cが、上下方向に隣接する2つの矩形画像の一方に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)と、上下方向に隣接する2つの矩形画像の他方に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)との距離が第1閾値(例えば、3m)以内である場合に、上下方向に隣接する2つの矩形画像の一方に含まれる被害木DTと上下方向に隣接する2つの矩形画像の他方に含まれる被害木DTとが同一の被害木であるとみなす。上下方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である上下方向重複幅(5m)は、第1閾値(3m)より大きい。
また、照合処理部13Cは、左右方向に隣接する2つの矩形画像の一方に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)と、左右方向に隣接する2つの矩形画像の他方に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)との距離が第1閾値(3m)以内である場合に、左右方向に隣接する2つの矩形画像の一方に含まれる被害木DTと左右方向に隣接する2つの矩形画像の他方に含まれる被害木DTとが同一の被害木であるとみなす。左右方向に隣接する2つの矩形画像の一方の一部と他方の一部との重複幅である左右方向重複幅(5m)は、第1閾値(3m)より大きい。
【0042】
具体的には、
図4(B)に示す例では、上下方向に隣接する2つの矩形画像RM1、RM3の一方の矩形画像RM1に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)と、上下方向に隣接する2つの矩形画像RM1、RM3の他方の矩形画像RM3に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)との距離が第1閾値(3m)以内になる。そのため、照合処理部13Cは、上下方向に隣接する2つの矩形画像RM1、RM3の一方の矩形画像RM1に含まれる被害木DTと上下方向に隣接する2つの矩形画像RM1、RM3の他方の矩形画像RM3に含まれる被害木DTとが同一の被害木であるとみなし、矩形画像RM1に含まれる被害木DTの位置情報を破棄する(つまり、矩形画像RM1に含まれる被害木DTが存在しないとみなす)。
また、
図4(B)に示す例では、左右方向に隣接する2つの矩形画像RM3、RM4の一方の矩形画像RM3に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)と、左右方向に隣接する2つの矩形画像RM3、RM4の他方の矩形画像RM4に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)との距離が第1閾値(3m)以内になる。そのため、照合処理部13Cは、左右方向に隣接する2つの矩形画像RM3、RM4の一方の矩形画像RM3に含まれる被害木DTと左右方向に隣接する2つの矩形画像RM3、RM4の他方の矩形画像RM4に含まれる被害木DTとが同一の被害木であるとみなし、矩形画像RM3に含まれる被害木DTの位置情報を破棄する(つまり、矩形画像RM3に含まれる被害木DTが存在しないとみなす)。
【0043】
更に、
図4(B)に示す例では、上下方向に隣接する2つの矩形画像RM2、RM4の一方の矩形画像RM2に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)と、上下方向に隣接する2つの矩形画像RM2、RM4の他方の矩形画像RM4に含まれる被害木DTの位置(被害木位置計算処理部13Bによって計算された被害木DTの位置)との距離が第1閾値(3m)以内になる。そのため、照合処理部13Cは、上下方向に隣接する2つの矩形画像RM2、RM4の一方の矩形画像RM2に含まれる被害木DTと上下方向に隣接する2つの矩形画像RM2、RM4の他方の矩形画像RM4に含まれる被害木DTとが同一の被害木であるとみなし、矩形画像RM4に含まれる被害木DTの位置情報を破棄する(つまり、矩形画像RM4に含まれる被害木DTが存在しないとみなす)。
図4(B)に示す例では、矩形画像RM1に含まれる被害木DTの位置情報が破棄され、矩形画像RM3に含まれる被害木DTの位置情報が破棄され、矩形画像RM4に含まれる被害木DTの位置情報が破棄されるため、矩形画像RM2に含まれる被害木DTの位置情報のみが残され、4つの矩形画像RM1、RM2、RM3、RM4に1本の被害木DTが含まれると照合処理部13Cによって判断される。
【0044】
図1に示す例では、上述したように、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DTが含まれると判定した場合に、教師あり学習が行われた後の物体検出モデルを用いることによって、各矩形画像RMi(i=1~N)に被害木DTが含まれる信頼度を算出する。
ノイズ削除処理部13Dは、被害木探索処理部13Aによって算出された信頼度に基づいて、被害木DTをノイズとして削除する処理を行う。
具体的には、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木DTが含まれると被害木探索処理部13Aによって判定された場合であって、教師あり学習が行われた後の物体検出モデルを用いることにより被害木探索処理部13Aによって算出された信頼度が第2閾値(例えば、「0.5」)以下である場合に、ノイズ削除処理部13Dは、第2閾値(「0.5」)以下の信頼度を有する被害木DTをノイズとして削除する。
解析結果出力処理部14は、被害木検出処理部13による解析結果(例えば
図2に示す「被害木の検出が行われる範囲AR」内における被害木DTの位置、および、被害木DTが枯死木DTAであるか、あるいは、枯損木DTBであるかの識別結果)を出力する。
【0045】
図9は解析結果出力処理部14によって出力される解析結果の一例を示す図である。詳細には、
図9(A)は被害木情報リストを示しており、
図9(B)は被害木情報が追加された空撮画像(オルソ画像)の一部を拡大して示している。
図9に示す例では、解析結果出力処理部14が、被害木検出処理部13による解析結果(
図9(A)に「被害木情報リスト」で示す情報)をシェープファイル化して出力する。シェープファイルとは、一般に、「図形情報と属性情報をもった地図データファイル」が集まったファイルと言われている。
図9(A)に示す「被害木情報リスト」において、座標(x1,y1)に位置する被害木DTは枯死木DTAと識別されており、座標(x2,y2)に位置する被害木DTは枯損木DTBと識別されており、座標(x3,y3)に位置する被害木DTは枯死木DTAと識別されている。
解析結果出力処理部14は、
図9(B)に示す空撮画像(オルソ画像)上の座標(x1,y1)に対応する位置に、枯死木DTAを示す記号「●」を配置する。また、解析結果出力処理部14は、座標(x2,y2)に対応する位置に枯損木DTBを示す記号「○」を配置し、座標(x3,y3)に対応する位置に枯死木DTAを示す記号「●」を配置する。
【0046】
図9に示す例では、解析結果出力処理部14が、枯死木DTAを示す記号「●」と枯損木DTBを示す記号「○」とを1つの空撮画像(オルソ画像)上に配置するが、他の例では、解析結果出力処理部14が、枯死木DTAを示す記号「●」が配置された空撮画像(オルソ画像)と枯損木DTBを示す記号「○」が配置された空撮画像(オルソ画像)とを別個に生成して出力してもよい。
【0047】
図1に示す例では、地上高フィルタ処理部15は、被害木検出処理部13による枯死木DTAの検出結果が誤検出であるか否かを判定する。また、地上高フィルタ処理部15は、被害木検出処理部13による枯損木DTBの検出結果が誤検出であるか否かを判定する。
詳細には、地上高フィルタ処理部15が、例えば下記のURLが示すwebサイト等から調査対象森林域の数値標高モデル(DEM:Digital Elevation Model)データを取得する。
https://fgd.gsi.go.jp/download/menu.php
また、地上高フィルタ処理部15は、例えば下記のURLが示すwebサイト等から調査対象森林域の数値表層モデル(DSM:Digital Surface Model)データを取得する。
https://www.geospatial.jp/ckan/dataset/aw3d-alljapan
【0048】
地上高フィルタ処理部15は、被害木検出処理部13による枯死木DTAの検出結果と、数値標高モデル(DEM)データと、数値表層モデル(DSM)データとに基づいて、被害木検出処理部13が地表面を枯死木DTAと誤検出したか否かを判定する。例えば、被害木検出処理部13によって枯死木DTAが検出された位置におけるDEMの値とDSMの値とが等しい場合に、地上高フィルタ処理部15は、被害木検出処理部13が赤茶色の地表面を枯死木DTAと誤検出したと判定する。
地上高フィルタ処理部15は、被害木検出処理部13による枯損木DTBの検出結果と、数値標高モデル(DEM)データと、数値表層モデル(DSM)データとに基づいて、被害木検出処理部13が地表面を枯損木DTBと誤検出したか否かを判定する。例えば、被害木検出処理部13によって枯損木DTBが検出された位置におけるDEMの値とDSMの値とが等しい場合に、地上高フィルタ処理部15は、被害木検出処理部13が白色の地表面を枯損木DTBと誤検出したと判定する。
【0049】
図10は地上高フィルタ処理部15による処理の一例を説明するための図である。詳細には、
図10(A)は地上高フィルタ処理部15による処理が行われる前の状態(解析結果出力処理部14によって解析結果が出力された状態)を示しており、
図10(B)は地上高フィルタ処理部15による処理が行われた後の状態を示している。
図10に示す例では、解析結果出力処理部14によって出力された解析結果(空撮画像)のうちの
図10(A)の丸印で囲まれた部分に、3本の枯損木DTBを示す記号「○」が位置する。つまり、被害木検出処理部13が、白色の地表面を3本の枯損木DTBと誤検出してしまっている。
地上高フィルタ処理部15は、被害木検出処理部13による枯損木DTBの検出結果(
図10(A)の丸印で囲まれた部分に3本の枯損木DTBが存在する旨の検出結果)と、数値標高モデルデータと、数値表層モデルデータとに基づいて、被害木検出処理部13が地表面を枯損木DTBと誤検出したか否かを判定し、被害木検出処理部13が、
図10(A)の丸印で囲まれた部分の白色の地表面を3本の枯損木DTBと誤検出した旨の判定結果を出力する。その結果、
図10(B)に示すように、誤検出された3本の枯損木DTBを示す記号「○」が削除される。
【0050】
図1に示す例では、被害木検出処理部13が地表面を被害木DT(枯死木DTA、枯損木DTB)と誤検出してしまうおそれを抑制するために、訓練データ用空撮画像TMの訓練データ用被害木外接矩形TER(
図6参照)として、被害木DT(枯死木DTA、枯損木DTB)の周りに地表面が存在するものではなく、被害木DT(枯死木DTA、枯損木DTB)の周りに健全木が存在するものが用いられる。
【0051】
図11は第1実施形態の森林被害木自動検出装置1によって出力される調査対象森林域における被害木DT(枯死木DTA、枯損木DTB)の検出結果の一例を示す図である。
図11に示す例では、森林被害木自動検出装置1が、調査対象森林域における被害木DT(枯死木DTA、枯損木DTB)の検出結果として、データ入力処理部11が入力を受け付けた調査対象森林域の空撮画像AM(
図2(A)参照)に、森林被害木自動検出装置1によって検出された枯死木DTAを示す記号「●」と枯損木DTBを示す記号「○」とが配置されたものを出力する。
【0052】
図12は第1実施形態の森林被害木自動検出装置1において実行される処理の一例を説明するためのフローチャートである。
図13は
図12のステップS13において実行される処理の一例を詳細に説明するためのフローチャートである。
図12および
図13に示す例では、ステップS11において、データ入力処理部11は、調査対象森林域の空撮画像AMのデータと、空撮画像AMに含まれる「被害木の検出が行われる範囲AR」を指定する検出範囲指定情報(ポリゴンファイル)との入力を受け付ける。
次いで、ステップS12では、画像切り出し処理部12が、検出範囲指定情報によって指定された「被害木の検出が行われる範囲AR」内にグリッドを生成することによって、空撮画像AMから複数(N個)の矩形画像RMi(i=1~N)を切り出す。
次いで、ステップS13では、被害木検出処理部13が、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに含まれる被害木DT(枯死木DTA、枯損木DTB)を検出する。
【0053】
詳細には、ステップS13が開始されると、まず、ステップS13-1において、被害木検出処理部13が、被害木DT(枯死木DTA、枯損木DTB)の検出対象の矩形画像RMiの番号iを1に設定する(i=1)。
次いで、ステップS13-2において、被害木検出処理部13は、被害木DT(枯死木DTA、枯損木DTB)の検出対象の矩形画像RMiの番号iがN以下であるか否かを判定する。被害木DT(枯死木DTA、枯損木DTB)の検出対象の矩形画像RMiの番号iがN以下である場合(つまり、被害木DT(枯死木DTA、枯損木DTB)の検出処理が済んでいない矩形画像RMiが存在する場合)には、ステップS13-3に進む。一方、被害木DT(枯死木DTA、枯損木DTB)の検出対象の矩形画像RMiの番号iがNより大きい場合(つまり、被害木DT(枯死木DTA、枯損木DTB)の検出処理が済んでいない矩形画像RMiが存在しない場合)には、ステップS14に進む。
【0054】
ステップS13-3では、被害木探索処理部13Aが、画像切り出し処理部12によって切り出された複数の矩形画像RM1~RMNのうちのi番目の矩形画像RMiを読み込む。
次いで、ステップS13Aにおいて、被害木探索処理部13Aは、教師あり学習が行われた後の物体検出モデルを用いることによって、i番目の矩形画像RMiに被害木DT(枯死木DTA、枯損木DTB)が含まれるか否かを判定する。つまり、被害木探索処理部13Aが、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)を探索する。
次いで、ステップS13-4において、被害木検出処理部13は、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)があるか否かを判定する。i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)がある場合には、ステップS13Bに進む。一方、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)がない場合には、ステップS13-6に進む。
【0055】
ステップS13Bでは、被害木位置計算処理部13Bが、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)の位置情報を計算する。
次いで、ステップS13Cでは、照合処理部13Cが、ステップS13Bにおいて計算された被害木DT(枯死木DTA、枯損木DTB)の位置情報に基づいて被害木DT(枯死木DTA、枯損木DTB)の照合を行う。詳細には、照合処理部13Cは、ステップS13Bにおいて位置情報が計算された被害木DT(枯死木DTA、枯損木DTB)と同一の被害木DT(枯死木DTA、枯損木DTB)が、被害木情報リスト(
図9(A)参照)に既に存在するか否かを判定する。ステップS13Bにおいて位置情報が計算された被害木DT(枯死木DTA、枯損木DTB)と同一の被害木DT(枯死木DTA、枯損木DTB)が、被害木情報リスト(
図9(A)参照)にまだ存在しない場合には、ステップS13Dに進む。一方、ステップS13Bにおいて位置情報が計算された被害木DT(枯死木DTA、枯損木DTB)と同一の被害木DT(枯死木DTA、枯損木DTB)が、被害木情報リスト(
図9(A)参照)に既に存在する場合には、ステップS13-6に進む。
【0056】
ステップS13Dでは、ノイズ削除処理部13Dが、ノイズ削除処理を行う。詳細には、ノイズ削除処理部13Dは、被害木DT(枯死木DTA、枯損木DTB)がi番目の矩形画像RMiに含まれる信頼度が第2閾値(「0.5」)以下であるか否かを判定する。被害木DT(枯死木DTA、枯損木DTB)がi番目の矩形画像RMiに含まれる信頼度が第2閾値(「0.5」)以下である場合に、ノイズ削除処理部13Dは、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)がノイズであると判断し、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)を削除してステップS13-6に進む。一方、被害木DT(枯死木DTA、枯損木DTB)がi番目の矩形画像RMiに含まれる信頼度が第2閾値(「0.5」)より大きい場合に、ノイズ削除処理部13Dは、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)がノイズではなく、実在すると判断し、ステップS13-5に進む。
【0057】
ステップS13-5では、被害木検出処理部13が、i番目の矩形画像RMiに含まれる被害木DT(枯死木DTA、枯損木DTB)を被害木情報リスト(
図9(A)参照)に追加する被害木情報リストの更新処理を行う。次いで、ステップS13-6に進む。
【0058】
ステップS13-6では、被害木検出処理部13が、被害木DT(枯死木DTA、枯損木DTB)の検出対象の矩形画像RMiの番号iをインクリメントする(i=i+1)。
【0059】
ステップS14では、解析結果出力処理部14が、被害木検出処理部13による解析結果(例えば
図2に示す「被害木の検出が行われる範囲AR」内における被害木DTの位置、および、被害木DTが枯死木DTAであるか、あるいは、枯損木DTBであるかの識別結果)を示す被害木情報リスト(
図9(A)参照)等を出力する。
次いで、ステップS15では、地上高フィルタ処理部15が地上高フィルタ処理を行う。詳細には、地上高フィルタ処理部15は、被害木検出処理部13によって検出された被害木DT(枯死木DTA、枯損木DTB)が地表面の誤検出であるか否かの判定を行い、誤検出された被害木DT(枯死木DTA、枯損木DTB)を被害木情報リストから削除する処理を行う。
【0060】
上述したように、第1実施形態の森林被害木自動検出装置1は、一連の解析処理をアプリケーション化したものであり、例えば自治体、林業事業体などは、利便性の高いドローンを用いて撮影した可視光域のRGBカラー画像から生成されたオルソ画像(空撮画像AM)と、空撮画像AMに含まれる「被害木の検出が行われる範囲AR」を指定する検出範囲指定情報とを森林被害木自動検出装置1に入力することによって、上述した解析結果を得ることができる。
つまり、第1実施形態の森林被害木自動検出装置1によれば、調査対象森林域に被害木DT(枯死木DTA、枯損木DTB)が存在するか否かおよび調査対象森林域に存在する被害木DT(枯死木DTA、枯損木DTB)の位置を簡便な手法によって把握することができる。
例えば、訓練データ用空撮画像TMに、被害木DTとしてマツ枯れ被害木を含めることによって、マツ枯れ被害木を短時間かつ簡単な操作で把握することができる。また、物体検出モデルの教師あり学習に用いられる訓練データを増やすことによって、教師あり学習後の物体検出モデルによる被害木DTの推定精度を向上させることができる。
また、訓練データ用空撮画像TMに、被害木DTとしてナラ枯れ被害木を含めることによって、ナラ枯れ被害木を短時間かつ簡単な操作で把握することもできる。
同様に、訓練データ用空撮画像TMに、被害木DTとしてクマ剥ぎ被害木など(つまり、マツ枯れ被害木、ナラ枯れ被害木以外の被害木)を含めることによって、クマ剥ぎ被害木など(マツ枯れ被害木、ナラ枯れ被害木以外の被害木)を短時間かつ簡単な操作で把握することもできる。
第1実施形態の森林被害木自動検出装置1から出力される解析結果と、現地における立木のサンプル調査とを組み合わせることによって、被害木の材積を推定することも可能である。
第1実施形態の森林被害木自動検出装置1を構成するコンピュータによって実行されるプログラムは、webアプリケーションサービスとして提供されてもよい。
すなわち、第1実施形態の森林被害木自動検出装置1は、低コストで汎用性が高く、普及しやすい技術であると言える。
【0061】
<第2実施形態>
以下、本発明の森林被害木自動検出装置、森林被害木自動検出方法およびプログラムの第2実施形態について説明する。
第2実施形態の森林被害木自動検出装置1は、後述する点を除き、上述した第1実施形態の森林被害木自動検出装置1と同様に構成されている。従って、第2実施形態の森林被害木自動検出装置1によれば、後述する点を除き、上述した第1実施形態の森林被害木自動検出装置1と同様の効果を奏することができる。
【0062】
図14は第2実施形態の森林被害木自動検出装置1の一例を示す図である。
図14に示す例では、第2実施形態の森林被害木自動検出装置1が、調査対象森林域における被害木を自動検出する。詳細には、第2実施形態の森林被害木自動検出装置1は、被害木として、感染木と枯死木と枯損木とを区分(識別)して検出する。
森林被害木自動検出装置1は、データ入力処理部11と、画像切り出し処理部12と、被害木検出処理部13と、解析結果出力処理部14とを備えている。
データ入力処理部11は、調査対象森林域の空撮画像AMのデータの入力を受け付ける。調査対象森林域の空撮画像AMは、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像である。
また、データ入力処理部11は、その空撮画像AMに含まれる「被害木の検出が行われる範囲AR」を指定する情報である検出範囲指定情報の入力を受け付ける。
画像切り出し処理部12は、検出範囲指定情報(ポリゴンファイル)によって指定された「被害木の検出が行われる範囲AR」内にグリッドを生成することによって、空撮画像AM(マルチスペクトル画像から生成されたオルソ画像)から複数の矩形画像RMi(i=1~N)を切り出す。
【0063】
被害木検出処理部13は、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに含まれる被害木DT(感染木、枯死木、枯損木)を検出する。被害木検出処理部13は、被害木探索処理部13Aと、被害木位置計算処理部13Bと、照合処理部13Cと、ノイズ削除処理部13Dとを備えている。
被害木探索処理部13Aは、訓練データを用いた物体検出モデルの教師あり学習を行い、次いで、教師あり学習が行われた後の物体検出モデルを用いることにより、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに被害木DT(感染木、枯死木、枯損木)が含まれるか否かを判定する。
【0064】
図14に示す例では、物体検出モデルの教師あり学習に用いられる訓練データに、感染木、枯死木および枯損木を含む訓練データ用空撮画像と、訓練データ用空撮画像に含まれる感染木に外接する訓練データ用感染木外接矩形(訓練データ用感染木外接矩形)に施されたラベリング「感染木」と、訓練データ用空撮画像に含まれる枯死木に外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯死木」と、訓練データ用空撮画像に含まれる枯損木に外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯損木」とが含まれる。
他の例では、物体検出モデルの教師あり学習に用いられる訓練データに、感染木のみを含む訓練データ用空撮画像と、その訓練データ用空撮画像に含まれる感染木に外接する訓練データ用感染木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「感染木」と、枯死木のみを含む訓練データ用空撮画像と、その訓練データ用空撮画像に含まれる枯死木に外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯死木」と、枯損木のみを含む訓練データ用空撮画像と、その訓練データ用空撮画像に含まれる枯損木に外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯損木」とが含まれていてもよい(つまり、1つの訓練データ用空撮画像に感染木、枯死木および枯損木のいずれかのみが含まれていてもよい)。
【0065】
図14に示す例では、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに感染木が含まれるか否かの判定と、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに枯死木が含まれるか否かの判定と、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のそれぞれに枯損木が含まれるか否かの判定とを実行する。
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに感染木が含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる感染木に外接する矩形である検出対象感染木外接矩形(検出対象被害木外接矩形)を出力する。
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯死木が含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる枯死木に外接する矩形である検出対象枯死木外接矩形(検出対象被害木外接矩形)を出力する。
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯損木が含まれると被害木探索処理部13Aによって判定された場合に、物体検出モデルは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに含まれる枯損木に外接する矩形である検出対象枯損木外接矩形(検出対象被害木外接矩形)を出力する。
【0066】
図14に示す例では、被害木探索処理部13Aは、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木(感染木、枯死木、枯損木)が含まれると判定した場合に、教師あり学習が行われた後の物体検出モデルを用いることによって、各矩形画像RMi(i=1~N)に被害木(感染木、枯死木、枯損木)が含まれる信頼度を算出する。
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに感染木が含まれると被害木探索処理部13Aによって判定された場合に、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象感染木外接矩形(検出対象被害木外接矩形)に基づいて、被害木検出処理部13によって検出された感染木の位置情報を計算する。詳細には、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象感染木外接矩形(検出対象被害木外接矩形)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された感染木の位置として計算する。
【0067】
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯死木が含まれると被害木探索処理部13Aによって判定された場合に、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯死木外接矩形(検出対象被害木外接矩形)に基づいて、被害木検出処理部13によって検出された枯死木の位置情報を計算する。詳細には、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯死木外接矩形(検出対象被害木外接矩形)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された枯死木の位置として計算する。
画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに枯損木が含まれると被害木探索処理部13Aによって判定された場合に、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯損木外接矩形(検出対象被害木外接矩形)に基づいて、被害木検出処理部13によって検出された枯損木の位置情報を計算する。詳細には、被害木位置計算処理部13Bは、物体検出モデルによって出力された検出対象枯損木外接矩形(検出対象被害木外接矩形)の上下方向および左右方向の中心位置を、被害木検出処理部13によって検出された枯損木の位置として計算する。
【0068】
図14に示す例では、画像切り出し処理部12によって切り出された複数の矩形画像RMi(i=1~N)のいずれかに被害木(感染木、枯死木、枯損木)が含まれると被害木探索処理部13Aによって判定された場合に、照合処理部13Cは、被害木位置計算処理部13Bによって計算された被害木(感染木、枯死木、枯損木)の位置情報に基づいて被害木(感染木、枯死木、枯損木)の照合を行う。
ノイズ削除処理部13Dは、被害木探索処理部13Aによって算出された信頼度に基づいて、被害木(感染木、枯死木、枯損木)をノイズとして削除する処理を行う。
解析結果出力処理部14は、被害木検出処理部13による解析結果(例えば
図2に示す「被害木の検出が行われる範囲AR」内における被害木の位置、および、被害木が感染木であるか、被害木が枯死木であるか、あるいは、枯損木であるかの識別結果)を出力する。
【0069】
人工衛星または航空機によって撮影されたマルチスペクトル画像は、植物の活性により差が出る反射スペクトル特性を表すため、被害木検出処理部13が地表面を感染木と誤検出するおそれ、被害木検出処理部13が地表面を枯死木と誤検出するおそれ、および、被害木検出処理部13が地表面を枯損木と誤検出するおそれは殆ど無い。
その点に鑑み、
図14に示す例では、第2実施形態の森林被害木自動検出装置1に、
図1に示す地上高フィルタ処理部15に相当する機能が備えられていない。
第2実施形態の森林被害木自動検出装置1によれば、人工衛星または航空機によって撮影されたマルチスペクトル画像を活用することによって、調査対象森林域に被害木(感染木、枯死木、枯損木)が存在するか否かおよび調査対象森林域に存在する被害木(感染木、枯死木、枯損木)の位置を把握することができる。
【0070】
<第3実施形態>
以下、本発明の森林被害木自動検出装置、森林被害木自動検出方法およびプログラムの第3実施形態について説明する。
第3実施形態の森林被害木自動検出装置1は、後述する点を除き、上述した第1実施形態の森林被害木自動検出装置1と同様に構成されている。従って、第3実施形態の森林被害木自動検出装置1によれば、後述する点を除き、上述した第1実施形態の森林被害木自動検出装置1と同様の効果を奏することができる。
【0071】
第3実施形態の森林被害木自動検出装置1は、
図14に示す第2実施形態の森林被害木自動検出装置1と同様に構成されている。
第3実施形態の森林被害木自動検出装置1は、調査対象森林域における被害木を自動検出する。詳細には、第3実施形態の森林被害木自動検出装置1は、第1実施形態の森林被害木自動検出装置1と同様に、被害木として、枯死木と枯損木とを区分(識別)して検出する。
第3実施形態の森林被害木自動検出装置1(
図14参照)は、データ入力処理部11と、画像切り出し処理部12と、被害木検出処理部13と、解析結果出力処理部14とを備えている。
データ入力処理部11は、空撮画像のデータとして、ドローンを用いて撮影された可視光域のRGBカラー画像から生成されたオルソ画像である可視光域オルソ画像のデータと、人工衛星または航空機によって撮影されたマルチスペクトル画像から生成されたオルソ画像であるマルチスペクトルオルソ画像のデータとの入力を受け付ける。
また、データ入力処理部11は、可視光域オルソ画像およびマルチスペクトルオルソ画像に含まれる「被害木の検出が行われる範囲AR」を指定する情報である検出範囲指定情報の入力を受け付ける。
画像切り出し処理部12は、可視光域オルソ画像から複数の矩形画像を切り出すと共に、マルチスペクトルオルソ画像から複数の矩形画像を切り出す。
【0072】
被害木検出処理部13は、可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに含まれる被害木(枯死木、枯損木)を検出すると共に、マルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに含まれる被害木(枯死木、枯損木)を検出する。被害木検出処理部13は、被害木探索処理部13Aと、被害木位置計算処理部13Bと、照合処理部13Cと、ノイズ削除処理部13Dとを備えている。
被害木探索処理部13Aは、可視光域オルソ画像の訓練データを用いた第1物体検出モデルの教師あり学習を行い、次いで、教師あり学習が行われた後の第1物体検出モデルを用いることにより、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに被害木(枯死木、枯損木)が含まれるか否かを判定する。
また、被害木探索処理部13Aは、マルチスペクトルオルソ画像の訓練データを用いた第2物体検出モデルの教師あり学習を行い、次いで、教師あり学習が行われた後の第2物体検出モデルを用いることにより、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに被害木(枯死木、枯損木)が含まれるか否かを判定する。
【0073】
第3実施形態の森林被害木自動検出装置1の一例では、第1物体検出モデルの教師あり学習に用いられる訓練データに、枯死木および枯損木を含む訓練データ用可視光域オルソ画像と、訓練データ用可視光域オルソ画像に含まれる枯死木に外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯死木」と、訓練データ用可視光域オルソ画像に含まれる枯損木に外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯損木」とが含まれる。
第2物体検出モデルの教師あり学習に用いられる訓練データには、枯死木および枯損木を含む訓練データ用マルチスペクトルオルソ画像と、訓練データ用マルチスペクトルオルソ画像に含まれる枯死木に外接する訓練データ用枯死木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯死木」と、訓練データ用可視光域オルソ画像に含まれる枯損木に外接する訓練データ用枯損木外接矩形(訓練データ用被害木外接矩形)に施されたラベリング「枯損木」とが含まれる。
【0074】
被害木探索処理部13Aは、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行する。
また、被害木探索処理部13Aは、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに枯死木が含まれるか否かの判定と、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のそれぞれに枯損木が含まれるか否かの判定とを実行する。
画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに枯死木が含まれると被害木探索処理部13Aによって判定された場合に、第1物体検出モデルは、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる枯死木に外接する矩形である検出対象枯死木外接矩形(検出対象被害木外接矩形)を出力する。
画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに枯損木が含まれると被害木探索処理部13Aによって判定された場合に、第1物体検出モデルは、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる枯損木に外接する矩形である検出対象枯損木外接矩形(検出対象被害木外接矩形)を出力する。
画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに枯死木が含まれると被害木探索処理部13Aによって判定された場合に、第2物体検出モデルは、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる枯死木に外接する矩形である検出対象枯死木外接矩形(検出対象被害木外接矩形)を出力する。
画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに枯損木が含まれると被害木探索処理部13Aによって判定された場合に、第2物体検出モデルは、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる枯損木に外接する矩形である検出対象枯損木外接矩形(検出対象被害木外接矩形)を出力する。
【0075】
被害木探索処理部13Aは、画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに被害木(枯死木、枯損木)が含まれると判定した場合に、教師あり学習が行われた後の第1物体検出モデルを用いることによって、各矩形画像に被害木(枯死木、枯損木)が含まれる信頼度を算出する。
また、被害木探索処理部13Aは、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに被害木(枯死木、枯損木)が含まれると判定した場合に、教師あり学習が行われた後の第2物体検出モデルを用いることによって、各矩形画像に被害木(枯死木、枯損木)が含まれる信頼度を算出する。
被害木位置計算処理部13Bは、可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれると被害木探索処理部13Aによって判定された被害木(枯死木、枯損木)の位置情報と、マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれると被害木探索処理部13Aによって判定された被害木(枯死木、枯損木)の位置情報とを計算する。
【0076】
可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置とマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置との距離が第1閾値(例えば、3m)以内である場合に、被害木位置計算処理部13Bは、可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)とマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)とが同一の被害木(枯死木、枯損木)であるとみなす。
また、被害木位置計算処理部13Bは、可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置情報と、マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置情報との一方であって、被害木探索処理部13Aによって算出された信頼度が高い方を採用する。
ノイズ削除処理部13Dは、可視光域オルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置情報、および、マルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに含まれる被害木(枯死木、枯損木)の位置情報のうちの、被害木探索処理部13Aによって算出された信頼度が低い方をノイズとして削除する処理を行う。
【0077】
画像切り出し処理部12によって可視光域オルソ画像から切り出された複数の矩形画像のいずれかに被害木(枯死木、枯損木)が含まれると被害木探索処理部13Aによって判定された場合に、照合処理部13Cは、被害木位置計算処理部13Bによって計算された被害木(枯死木、枯損木)の位置情報に基づいて被害木(枯死木、枯損木)の照合を行う。
また、画像切り出し処理部12によってマルチスペクトルオルソ画像から切り出された複数の矩形画像のいずれかに被害木(枯死木、枯損木)が含まれると被害木探索処理部13Aによって判定された場合に、照合処理部13Cは、被害木位置計算処理部13Bによって計算された被害木(枯死木、枯損木)の位置情報に基づいて被害木(枯死木、枯損木)の照合を行う。
解析結果出力処理部14は、被害木検出処理部13による解析結果(例えば
図2に示す「被害木の検出が行われる範囲AR」内における被害木の位置、および、被害木が枯死木であるか、あるいは、枯損木であるかの識別結果)を出力する。
【0078】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
【0079】
なお、上述した実施形態における森林被害木自動検出装置1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【0080】
1…森林被害木自動検出装置、11…データ入力処理部、12…画像切り出し処理部、13…被害木検出処理部、13A…被害木探索処理部、13B…被害木位置計算処理部、13C…照合処理部、13D…ノイズ削除処理部、14…解析結果出力処理部、15…地上高フィルタ処理部、AM…空撮画像、AR…被害木の検出が行われる範囲、DT…被害木、DTA…枯死木、DTB…枯損木、DER…検出対象被害木外接矩形、TM…訓練データ用空撮画像、TER…訓練データ用被害木外接矩形