IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ発動機株式会社の特許一覧

特許7374977樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム
<>
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図1
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図2
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図3
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図4
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図5
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図6
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図7
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図8
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図9
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図10
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図11
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図12
  • 特許-樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-27
(45)【発行日】2023-11-07
(54)【発明の名称】樹木情報推定システム、樹木情報推定方法およびコンピュータプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20231030BHJP
   B64C 39/02 20060101ALI20231030BHJP
   A01G 7/00 20060101ALI20231030BHJP
   G01S 17/89 20200101ALI20231030BHJP
【FI】
G06T7/00 350B
B64C39/02
A01G7/00 603
G01S17/89
【請求項の数】 15
(21)【出願番号】P 2021204980
(22)【出願日】2021-12-17
(65)【公開番号】P2023090165
(43)【公開日】2023-06-29
【審査請求日】2022-09-14
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100139930
【弁理士】
【氏名又は名称】山下 亮司
(74)【代理人】
【識別番号】100180529
【弁理士】
【氏名又は名称】梶谷 美道
(72)【発明者】
【氏名】ザン ペイイー
(72)【発明者】
【氏名】矢嶋 準
(72)【発明者】
【氏名】原田 丈也
(72)【発明者】
【氏名】加藤 薫
【審査官】真木 健彦
(56)【参考文献】
【文献】特開2003-344048(JP,A)
【文献】特開2010-096752(JP,A)
【文献】特開2012-098247(JP,A)
【文献】特開2019-185449(JP,A)
【文献】特許第6828211(JP,B1)
【文献】特許第6931501(JP,B1)
【文献】国際公開第2019/181025(WO,A1)
【文献】国際公開第2021/020569(WO,A1)
【文献】米国特許第06792684(US,B1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
G06T 1/00
G01B 11/00
G01C 7/04
G01C 15/00
A01G 7/00
B64C 39/02
G01S 17/89
(57)【特許請求の範囲】
【請求項1】
森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得するデータ取得部と、
前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成するデータ生成部と、
前記投影2次元データにおける各樹木の樹冠領域を推定する推定部と、
を備えた、樹木情報推定システム。
【請求項2】
前記所定の平面は、高さ方向に略平行である、請求項1に記載の樹木情報推定システム。
【請求項3】
前記データ生成部は、前記投影2次元データとして、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を前記所定の平面に投影して得られる2次元画像データを生成する、請求項1または2に記載の樹木情報推定システム。
【請求項4】
前記投影2次元データが示す樹木と、推定した前記樹冠領域との関係に基づいて前記樹木の状態を演算する演算部をさらに備える、請求項1から3のいずれかに記載の樹木情報推定システム。
【請求項5】
前記投影2次元データが示す樹木の樹高を演算し、推定した前記樹冠領域に基づいて樹冠長を演算し、前記樹高と前記樹冠長とから樹冠長率を演算する演算部をさらに備える、請求項1から4のいずれかに記載の樹木情報推定システム。
【請求項6】
前記データ生成部は、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点の一部を間引いて前記所定の平面に投影して前記投影2次元データを生成する、請求項1から5のいずれかに記載の樹木情報推定システム。
【請求項7】
前記データ取得部は、前記森林の3次元点群データから、単木の3次元点群データを取得し、
前記データ生成部は、前記単木の3次元点群データに含まれる複数の点を前記所定の平面に投影して前記投影2次元データを生成し、
前記推定部は、前記投影2次元データにおける単木の樹冠領域を推定する、請求項1から6のいずれかに記載の樹木情報推定システム。
【請求項8】
予め樹冠領域が指定された樹木の投影2次元データを複数個記憶する記憶部と、
前記記憶部に記憶された複数の前記投影2次元データを教師データとして用い、樹木を示す投影2次元データを入力とし、樹冠領域を出力とする推定モデルを機械学習により生成するモデル生成部と、
をさらに備え、
前記推定部は、前記推定モデルを用いて、前記データ生成部が生成した前記投影2次元データにおける樹冠領域を推定する、請求項1から7のいずれかに記載の樹木情報推定システム。
【請求項9】
前記推定部は、前記投影2次元データに含まれる複数の点の高さ方向における分布に基づいて前記樹冠領域を推定する、請求項1から7のいずれかに記載の樹木情報推定システム。
【請求項10】
前記森林の3次元点群データは、LiDARセンサが取り付けられた無人航空機を飛行させて行う森林計測により得られた3次元点群データである、請求項1から9のいずれかに記載の樹木情報推定システム。
【請求項11】
前記LiDARセンサの回転軸は、前記無人航空機の高さ方向に垂直な平面に対して傾いている、請求項10に記載の樹木情報推定システム。
【請求項12】
前記森林の3次元点群データに含まれる複数の点それぞれを水平面に投影したときの前記水平面における前記複数の点の個数密度が100個/m以上である、請求項1から11のいずれかに記載の樹木情報推定システム。
【請求項13】
森林計測により得られた森林の3次元点群データを用いて樹木の情報を推定する樹木情報推定システムであって、
プロセッサと、
前記プロセッサの動作を制御するコンピュータプログラムを記憶する記憶装置と、
を備え、
前記プロセッサは、前記コンピュータプログラムに従って、
森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、
前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、
前記投影2次元データにおける各樹木の樹冠領域を推定すること、
を実行する、樹木情報推定システム。
【請求項14】
コンピュータが実行する、森林計測により得られた森林の3次元点群データを用いて樹木の情報を推定する方法であって、
森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、
前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、
前記投影2次元データにおける各樹木の樹冠領域を推定すること、
コンピュータが実行する、方法。
【請求項15】
森林計測により得られた森林の3次元点群データを用いた樹木の情報の推定をコンピュータに実行させるコンピュータプログラムであって、
前記コンピュータプログラムは、
森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、
前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、
前記投影2次元データにおける各樹木の樹冠領域を推定すること、
を前記コンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、樹木情報推定システム、樹木情報推定方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
森林資源の管理および利用を行うために森林計測が行われている。森林計測は、様々な方法により行うことができる。例えば特許文献1は、上空からカメラで森林を撮影し、得られた画像から画像処理によって樹冠円を抽出する方法を開示する。特許文献2は、上空から波長の異なるレーダ波をそれぞれ森林に照射して、樹木の最上部からの反射波および地面からの反射波から算出されるそれぞれの高さの差分から樹木の高さを求める方法を開示する。特許文献3は、航空機にレーザ測距装置を搭載し、レーザ測距装置を用いて、樹木等を含めた地上の三次元データを取得する方法を開示する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2007-66050号公報
【文献】特開平9-184880号公報
【文献】特開2016-70708号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
レーザ測距装置を用いて森林計測を行うことで、森林の3次元点群データが得られる。この森林の3次元点群データを用いて、森林の状態を分析することができる。しかし、森林計測で得られた3次元点群データを用いて、人間が森林の状態を分析するのには非常に時間と労力が掛かる。コンピュータで分析を行う場合、演算負荷は小さい方が望ましい。
【0005】
森林資源の管理および利用を行うために、森林内の樹木の状態を簡便に把握することが求められている。
【課題を解決するための手段】
【0006】
本発明のある実施形態に係る樹木情報推定システムは、森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得するデータ取得部と、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成するデータ生成部と、前記投影2次元データにおける各樹木の樹冠領域を推定する推定部と、を備える。
【0007】
樹木の3次元点群データではなく投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。
【0008】
例えば機械学習を用いて樹冠領域を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0009】
ある実施形態において、前記所定の平面は、高さ方向に略平行であってもよい。
【0010】
樹木を横方向から見た投影2次元データを用いることで、樹冠の上端部および下端部を検出したり、樹高を演算したりすることを容易に行うことができる。
【0011】
ある実施形態において、前記データ生成部は、前記投影2次元データとして、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を前記所定の平面に投影して得られる2次元画像データを生成してもよい。
【0012】
2次元画像データを用いることで樹冠領域の推定を容易に行うことができる。例えば機械学習を用いて樹冠領域を推定する場合は、既存の2次元画像の機械学習手法を用いることができるため、推定モデルの生成、および生成した推定モデルを用いた樹冠領域の推定を容易に行うことができる。
【0013】
ある実施形態において、前記樹木情報推定システムは、前記投影2次元データが示す樹木と、推定した前記樹冠領域との関係に基づいて前記樹木の状態を演算する演算部をさらに備えてもよい。
【0014】
演算した樹木の状態を用いて森林管理を行うことができる。例えば、演算した樹木の状態を用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0015】
ある実施形態において、前記樹木情報推定システムは、前記投影2次元データが示す樹木の樹高を演算し、推定した前記樹冠領域に基づいて樹冠長を演算し、前記樹高と前記樹冠長とから樹冠長率を演算する演算部をさらに備えてもよい。
【0016】
演算した樹冠長率を用いて森林管理を行うことができる。例えば、演算した樹冠長率を用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0017】
ある実施形態において、前記データ生成部は、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点の一部を間引いて前記所定の平面に投影して前記投影2次元データを生成してもよい。
【0018】
3次元点群データに含まれる複数の点の一部を間引くことで、処理の負荷を軽減させることができる。
【0019】
ある実施形態において、前記データ取得部は、前記森林の3次元点群データから、単木の3次元点群データを取得し、前記データ生成部は、前記単木の3次元点群データに含まれる複数の点を前記所定の平面に投影して前記投影2次元データを生成し、前記推定部は、前記投影2次元データにおける単木の樹冠領域を推定してもよい。
【0020】
単木の投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。
【0021】
ある実施形態において、前記樹木情報推定システムは、予め樹冠領域が指定された樹木の投影2次元データを複数個記憶する記憶部と、前記記憶部に記憶された複数の前記投影2次元データを教師データとして用い、樹木を示す投影2次元データを入力とし、樹冠領域を出力とする推定モデルを機械学習により生成するモデル生成部と、をさらに備え、前記推定部は、前記推定モデルを用いて、前記データ生成部が生成した前記投影2次元データにおける樹冠領域を推定してもよい。
【0022】
機械学習により生成した推定モデルを用いることで、樹木の投影2次元データのパターンに潜む特徴量と樹木の状態との間にある相関関係等を利用することが可能になる。
【0023】
ある実施形態において、前記推定部は、前記投影2次元データに含まれる複数の点の高さ方向における分布に基づいて前記樹冠領域を推定してもよい。
【0024】
樹木の部位に応じて点の個数が異なり得ることから、高さ方向における点の分布から樹冠領域を推定することができる。
【0025】
ある実施形態において、前記森林の3次元点群データは、LiDARセンサが取り付けられた無人航空機を飛行させて行う森林計測により得られた3次元点群データであってもよい。
【0026】
LiDARセンサを搭載した無人航空機を比較的低い高度(例えば絶対高度150m以下、好ましくは絶対高度80m以下)で飛行させることにより、LiDARセンサから出射されたレーザパルスは、樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0027】
ある実施形態において、前記LiDARセンサの回転軸は、前記無人航空機の高さ方向に垂直な平面に対して傾いていてもよい。
【0028】
レーザパルスの多くを樹木の葉と葉の間を通り抜けやすい角度で出射することができる。レーザパルスは樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を豊富に含む3次元点群データを得ることができる。
【0029】
ある実施形態において、前記森林の3次元点群データに含まれる複数の点それぞれを水平面に投影したときの前記水平面における前記複数の点の個数密度が100個/m以上であってもよい。
【0030】
点群の密度を高めることにより、樹冠よりも低い位置から取得できる情報量を増加させることができ、樹木の状態をより詳細に把握することができる。
【0031】
本発明のある実施形態に係る樹木情報推定システムは、森林計測により得られた森林の3次元点群データを用いて樹木の情報を推定する樹木情報推定システムであって、プロセッサと、前記プロセッサの動作を制御するコンピュータプログラムを記憶する記憶装置と、を備え、前記プロセッサは、前記コンピュータプログラムに従って、森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、前記投影2次元データにおける各樹木の樹冠領域を推定すること、を実行する。
【0032】
樹木の3次元点群データではなく投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。例えば機械学習を用いて樹冠領域を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0033】
本発明のある実施形態に係る樹木情報推定方法は、森林計測により得られた森林の3次元点群データを用いて樹木の情報を推定する方法であって、森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、前記投影2次元データにおける各樹木の樹冠領域を推定すること、を実行する。
【0034】
樹木の3次元点群データではなく投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。例えば機械学習を用いて樹冠領域を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0035】
本発明のある実施形態に係るコンピュータプログラムは、森林計測により得られた森林の3次元点群データを用いた樹木の情報の推定をコンピュータに実行させるコンピュータプログラムであって、前記コンピュータプログラムは、森林計測により得られた森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを取得すること、前記少なくとも一本の樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成すること、前記投影2次元データにおける各樹木の樹冠領域を推定すること、を前記コンピュータに実行させる。
【0036】
樹木の3次元点群データではなく投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。例えば機械学習を用いて樹冠領域を推定する場合は、少ない演算量で推定モデルを生成することができる。
【発明の効果】
【0037】
樹木の3次元点群データではなく投影2次元データを用いて樹冠領域を推定することにより、少ない演算量で樹冠領域を精度良く推定することができる。
【0038】
例えば機械学習を用いて樹冠領域を推定する場合は、少ない演算量で推定モデルを生成することができる。
【図面の簡単な説明】
【0039】
図1】本発明の実施形態に係る森林計測を行う無人ヘリコプター1を示す図である。
図2】本発明の実施形態に係るLiDARセンサ20が設けられた無人ヘリコプター1の外観側面図である。
図3】本発明の実施形態に係る無人ヘリコプター1の正面図である。
図4】本発明の実施形態に係る飛行制御ボックス15のハードウェア構成例を示す図である。
図5】本発明の実施形態に係る森林計測を行う無人ヘリコプター1を示す図である。
図6】本発明の実施形態に係る樹木情報推定システム100を機能ブロック単位で示す機能ブロック図である。
図7】本発明の実施形態に係る樹木情報推定システム100のハードウェア構成例を示すブロック図である。
図8】本発明の実施形態に係る樹冠領域を推定して樹冠長率を演算する処理の例を示す図である。
図9】本発明の実施形態に係る樹冠領域を推定して樹冠長率を演算する処理の例を示すフローチャートである。
図10】本発明の実施形態に係る機械学習により推定モデルを生成する処理の例を示す図である。
図11】本発明の実施形態に係る複数の点の高さ方向における分布に基づいて樹冠領域を推定する処理を説明する図である。
図12】本発明の実施形態に係る樹木情報推定システム100のハードウェア構成の他の例を示す図である。
図13】本発明の実施形態に係るLiDARセンサ20の回転軸21が臨む方向を説明する図である。
【発明を実施するための形態】
【0040】
森林資源の管理および利用を行うためには、いわゆる「森林計測」を行うことが重要である。この「森林計測」には、森林の構造の調査、森林の材積の推定、一定期間における森林の変化量の把握等が含まれ得る。従来の森林計測のような、林木の一本一本を計測し、得られたデータから様々な集計・分析を行っていくことは非常に人手と時間がかかる。そこで、無人航空機にレーザ測距装置(LiDARセンサ)を搭載し、LiDARセンサを用いて空中から森林計測を行うことが進められている。
【0041】
本願発明者らは、LiDARセンサを搭載した無人航空機を比較的低い高度(例えば絶対高度150m以下、好ましくは絶対高度80m以下)で飛行させて森林計測を行うことにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データが得られることを見出した。ここで、樹冠点群は樹木の樹冠に対応する点群であり、幹点群は樹木の幹に対応する点群であり、下層植生点群は下層植生に対応する点群であり、地表面点群は地表面に対応する点群である。LiDARセンサから出射されたレーザパルスは、樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達して反射され、これにより、樹冠点群、幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0042】
これら樹冠点群、幹点群、下層植生点群および地表面点群を含む3次元点群データを用いて、森林の状態を推定したり、各樹木の状態を推定したりすることが考えられる。
【0043】
3次元点群データに含まれる複数の点それぞれを水平面に投影したときの水平面における複数の点の個数密度は、100個/m以上であり得る。点群の密度を高めることにより、樹冠よりも低い位置から取得できる情報量を増加させることができ、森林の状態をより詳細に推定することができる。
【0044】
本明細書では、LiDARセンサを用いて上空から森林をスキャンし、スキャンデータを取得すること自体を「森林計測」に含む。スキャンデータは、典型的には、スキャンごとに取得される点群(point cloud)を構成する各点の位置座標によって表現され得る。スキャンごとに取得される点の位置座標は、無人航空機とともに移動するローカル座標系によって規定される。このようなローカル座標系は、移動体座標系またはセンサ座標系と呼ばれ得る。一般的には、「森林計測」は、ローカル座標系で表現された各反射点の位置を地理座標系に変換することを含む。「森林計測」はさらに、地理座標系への変換後に、森林の構造を解析すること、森林および樹木の形を視覚的に表示すること、森林内の樹木の種類ごとの存在比率を求めること、森林の容積密度を求めること等を含み得る。
【0045】
「無人航空機」(UAV;Unmanned aerial vehicle)は、操縦者としての人が搭乗しない航空機であり、ドローンと呼ばれることもある。航空機は回転翼機および固定翼機を含み得る。回転翼を有する無人航空機の一例は、無人ヘリコプターまたは無人マルチコプターである。回転翼はエンジン(内燃機関)によって回転してもよいし、電動モータによって回転してもよい。無人航空機の飛行は、コンピュータプログラムによる自律飛行、一部を自動化する半自律飛行、無線を用いた人による遠隔操作による飛行のいずれであってもよい。無人航空機は、GNSS(Global Navigation Satellite System)を援用して、現在位置を三次元的に測定し、その位置を修正しながら飛行することが可能である。以下に説明する例示的な実施形態においては、「無人航空機」は「無人ヘリコプター」である。「無人」の用語は、航空機の操縦のために人が搭乗する必要がないことを意味しており、無人航空機が操縦者でない人を運搬することは除外しない。
【0046】
以下、添付の図面を参照しながら、本発明の実施形態を詳細に説明する。ただし、本発明を必要以上に細かく説明をすることは避ける。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、以下の実施形態は例示であり、本発明は以下の実施形態に限定されない。
【0047】
(計測対象エリアの計測)
まず、計測対象エリアの計測の実施形態を説明する。
【0048】
図1は、計測対象エリア50の計測を行う無人ヘリコプター1を示している。例示的な実施形態において、計測対象エリア50を山の斜面52に広がる森林54とし、無人ヘリコプター1を用いて森林計測を行う。森林54では地表面から複数の樹木が立ち上がっている。計測対象エリア50としての森林54は、斜面の森林(斜面林)に限定されず、平坦地の森林であってもよい。
【0049】
図2は、LiDARセンサ(ライダーセンサ)20が設けられた無人ヘリコプター1の外観側面図である。図3は、無人ヘリコプター1の正面図である。
【0050】
LiDARセンサ20はレーザビームのパルス(以下「レーザパルス」と略記する。)22を、出射方向を変えながら次々と出射し、出射時刻と各レーザパルスの反射パルスを取得した時刻との時間差から各反射点の位置までの距離を計測することができる。「反射点」は、森林54を構成する各樹木の樹冠および幹、斜面および平坦地等の地表面であり得る。
【0051】
LiDARセンサ20は、任意の方法により、飛行体から森林までの距離を計測し得る。LiDARセンサ20の計測方法としては、例えば機械回転方式、MEMS方式、フェーズドアレイ方式がある。これらの測定方法は、それぞれレーザパルスを出射する方法(スキャンの方法)が異なっている。例えば、機械回転方式のLiDARセンサは、レーザパルスの出射およびレーザパルスの反射光の検出を行う筒状のヘッドを回転させて、回転軸の周囲360度全方位の計測対象物をスキャンする。MEMS方式のLiDARセンサは、MEMSミラーを用いてレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンする。フェーズドアレイ方式のLiDARセンサは、光の位相を制御して光の出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンする。
【0052】
無人ヘリコプター1は、メインボディ2およびテールボディ3を有する機体4を備えている。機体4の下部には、ブラケット25を介してLiDARセンサ20が取り付けられている。メインボディ2の上部にはメインロータ5が設けられ、テールボディ3の後部にテールロータ6が設けられている。メインボディ2の前部にはラジエータ7が設けられている。メインボディ2の後部には飛行制御ボックス15が設けられている。メインボディ2内には、内燃機関であるエンジン8および発電装置9が設けられている。また、メインボディ2内には、いずれも図示しない吸気系、メインロータ軸、燃料タンクが収容されている。エンジン8が発生させた回転はメインロータ5およびテールロータ6に伝達され、メインロータ5およびテールロータ6が回転することにより無人ヘリコプター1は飛行する。
【0053】
メインボディ2の後部上側にはコントロールパネル10が設けられ、後部下側に表示灯11が設けられる。コントロールパネル10は、飛行前のチェックポイントやセルフチェック結果等を表示する。コントロールパネル10の表示は地上局でも確認できる。表示灯11は、GNSS制御の状態や機体の異常警告等の表示を行う。メインボディ2の中央部下側には、着陸時に機体4を支える脚であるスキッド12が設けられている。
【0054】
図4は、飛行制御ボックス(制御装置)15のハードウェア構成例を示している。飛行制御ボックス15は、測位モジュール15a、加速度センサ15b、気圧センサ15c、地磁気センサ15d、超音波センサ15e、通信回路15f、信号処理回路15g、記憶装置15jを収容する。記憶装置15jは、ROM(Read Only Memory)15h、RAM(Random Access Memory)15i等を含む。各構成要素は、例えば配線または内部バス15kを介して相互にデータを送受信し得る。なお、測位モジュール15aを初めとする各種のセンサを設ける位置は、常に飛行制御ボックス15内である必要はない。例えばGNSS衛星からの信号を取得しやすくするため、測位モジュール15aをテールボディ3上部に設けてもよい。
【0055】
測位モジュール15aは、GNSS衛星から送信されるGNSS信号を受信し、GNSS信号に基づいて測位を行う。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System、例えばみちびき)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。測位方法として、必要な精度の位置情報が得られる任意の測位方法が採用され得る。測位方法として、例えば、干渉測位法または相対測位法が採用されてもよい。測位モジュール15aの数は1個であってもよいし、複数(例えば2個)であってもよい。
【0056】
加速度センサ15bは、X軸、Y軸およびZ軸の各方向の加速度を検出する三軸加速度センサである。加速度センサ15bが六軸加速度センサであれば、さらに無人ヘリコプター1のロール加速度、ピッチ角速度およびヨー加速度を検出可能である。なお、加速度センサ15bは、一軸加速度センサまたは二軸加速度センサを複数有し、これら一軸加速度センサまたは二軸加速度センサにより座標系XYZの各方向を検出する構成であってもよい。気圧センサ15cは気圧を検出する。検出された気圧から現在の標高を知ることができる。なお気圧と標高との関係式は公知であるから、本明細書では説明は省略する。地磁気センサ15dは無人ヘリコプター1の現在の方位を検出する。超音波センサ15eは、低空飛行時の絶対高度の検出に用いられる。加速度センサ15bおよび地磁気センサ15dの各々から出力されるデータ(機体データ)を利用することにより、無人ヘリコプター1の現在の姿勢を判断することができる。飛行データおよび機体データは、信号処理回路15gに提供される。
【0057】
通信回路15fは、Bluetooth(登録商標)および/またはWi-Fi(登録商標)規格に準拠した無線通信を行う通信回路を有する。通信回路15fはさらに、携帯電話回線または人工衛星を経由する回線を利用した無線通信を行ってもよい。通信回路15fは、飛行前においては飛行経路のデータを受信し、飛行時には無線によって地上と必要な通信を行う。飛行経路のデータは、無人ヘリコプター1が飛行すべき経路の座標および絶対高度の各データを含む。
【0058】
記憶装置15jは、信号処理回路15gの動作を制御するコンピュータプログラムを記憶している。記憶装置15jは、無人ヘリコプター1の飛行の制御および森林計測の制御を信号処理回路15gに実行させるためのコンピュータプログラムを記憶し得る。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して無人ヘリコプター1に提供され得る。コンピュータプログラムは、無線通信により無人ヘリコプター1に提供されてもよい。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0059】
信号処理回路15gは、記憶装置15jに記憶された制御プログラムを実行して無人ヘリコプター1を飛行させる。より具体的には信号処理回路15gは、上述した飛行データ、機体データ、エンジン回転数やスロットル開度などの運転状態データ等を監視しながら、予め用意された飛行経路に沿って無人ヘリコプター1を飛行させる。
【0060】
図4に示す例では、飛行制御ボックス15は、LiDARセンサ20と接続されている。LiDARセンサ20は、スキャン結果(時刻データ、方角データおよび距離データ等の組)を飛行制御ボックス15に出力する。測位モジュール15aから出力される無人ヘリコプター1の飛行位置を示す位置データと、LiDARセンサ20から出力されるスキャン結果とを用いて、例えば地理座標系で表現された計測対象物の位置を算出することができる。
【0061】
なお、LiDARセンサ20は、飛行制御ボックス15と接続されていなくてもよい。この場合、LiDARセンサ20のスキャン結果は、LiDARセンサ20内の記憶装置に記憶され得る。LiDARセンサ20のスキャン結果は、無線通信によりLiDARセンサ20から外部に出力されてもよい。飛行制御ボックス15とLiDARセンサ20とで電源が共有されてもよい。
【0062】
また、測位モジュール15aが飛行制御ボックス15とは独立して無人ヘリコプター1に設けられ、その測位モジュール15aから飛行制御ボックス15およびLiDARセンサ20のそれぞれに位置データが出力されてもよい。この場合、LiDARセンサ20のスキャン結果は、LiDARセンサ20内の記憶装置に記憶され得る。また、測位モジュール15aが出力した位置データと、LiDARセンサ20のスキャン結果とを用いた計測対象物の位置の算出を、LiDARセンサ20内のプロセッサが行う場合は、その算出結果をLiDARセンサ20内の記憶装置に記憶してもよい。
【0063】
無人ヘリコプター1の飛行および運用を管理するオペレータは、飛行状態を目視しながら、予め用意した飛行経路に沿って無人ヘリコプター1を飛行させてもよい。テールボディ3(図2)の後端部には、リモコン操縦機からの指令信号を受信するリモコン受信アンテナ13が設けられている。
【0064】
図2および図3を参照して、LiDARセンサ20は、例えば近赤外線のレーザパルス22を出射(放射)し、当該レーザパルス22の反射光を検出することにより、反射点までの距離を測定する光学機器である。
【0065】
例示的な実施形態ではLiDARセンサ20は機械回転方式であり、レーザパルス22の出射およびレーザパルス22の反射光の検出を行うヘッド23は、回転軸21を中心として回転する。ヘッド23が回転することで、360度全方位をスキャンすることができる。本実施形態では、LiDARセンサ20のスキャン可能範囲のうち無人ヘリコプター1の機体4等に遮られる範囲は計測結果に反映しない。記載の便宜上、図3では360度全方位に放射されるレーザパルス22のうちの一部のみを示している。本明細書では、LiDARセンサ20のヘッド23の回転を“LiDARセンサ20の回転”と表現する場合がある。
【0066】
LiDARセンサ20のヘッド23は、回転することにより出射口の方向を変化させ、所定角度ピッチα(rad)ごとに同時に複数個のレーザパルス22を出射する。図2では、一例として、LiDARセンサ20の回転軸21が通るある平面に沿って同時に出射されるN個のレーザパルス22を示している。記載の便宜上、パルス状ではなくビーム状でレーザパルス22を記載している。なお、「同時」は厳密に同じ時刻である必要はなく、概ね同じ時刻であることも含む。Nの値は任意であり、例えば、12、16、32または64であるが、Nはこれらの値に限定されない。LiDARセンサ20のヘッド23には、例えばN個のレーザ光源が並べられており、N個のレーザパルス22の出射口からレーザパルス22が出射される。レーザ光源は例えばレーザダイオードであるがこれに限定されない。
【0067】
図3を参照しながら、ある1つの出射口から出射されるレーザパルス22を説明する。LiDARセンサ20のヘッド23は、回転することにより出射口の方向を変化させ、所定角度ピッチα(rad)ごとにレーザパルス22を出射し、森林で反射した各レーザパルス22の反射光を検出する。これにより、当該所定角度ピッチαごとの方向における反射点までの距離のデータを得ることができる。所定角度ピッチαは固定値であってもよいし、可変値であってもよい。
【0068】
LiDARセンサ20としては、上述したようなレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンするLiDARセンサが用いられてもよい。本明細書では、LiDARセンサ20の“回転”および“回転軸”は、このような“揺動”および“揺動軸”も含むとする。レーザパルスの出射方向を揺動させる場合の回転角度範囲は例えば180度以下であるが、それに限定されない。
【0069】
本実施形態では、LiDARセンサ20は、その回転軸21が無人ヘリコプター1の機体の前後方向を向くように搭載されている。回転軸21が臨む方向は任意であり、例えば、LiDARセンサ20は、回転軸21が無人ヘリコプター1の機体4の左右方向を向くように搭載されていてもよい。また、後述するように、LiDARセンサ20の回転軸は、無人ヘリコプター1の高さ方向に垂直な平面に対して傾いていてもよい。
【0070】
図5は、森林計測を行う無人ヘリコプター1を示す図である。図5に示す例では、森林54は斜面52に広がっている。斜面52に広がる森林54に対して、斜め上方向からだけではなく、横方向からレーザパルス22を照射したり、斜め下方向からレーザパルス22を照射したりすることができる。横方向からのレーザパルス22の照射では、基本的に日光を受けるために水平に生えている葉の間をレーザパルス22が通りやすくなる。レーザパルス22は樹木56の樹冠56aだけでなく、樹木56の幹56b、下層植生58および地表面59等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0071】
(樹木情報推定システム)
次に、本実施形態に係る樹木情報推定システム100を説明する。図6は、樹木情報推定システム100を機能ブロック単位で示す機能ブロック図である。樹木情報推定システム100は、データ取得部101、データ生成部102、推定部103、演算部104、記憶部105およびモデル生成部106を備える。
【0072】
データ取得部101は、森林計測により得られた森林の3次元点群データを外部装置から取得する。外部装置は、例えばLiDARセンサ20を搭載した無人ヘリコプター1、または無人ヘリコプター1から取得したデータを格納する任意の装置である。3次元点群データは、例えば、LiDARセンサ20を搭載した無人ヘリコプター1を飛行させて行う森林計測により得られる。森林の3次元点群データは、樹冠点群、幹点群、下層植生点群および地表面点群を含む。データ取得部101は、森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを抽出する。
【0073】
データ生成部102は、その樹木の3次元点群データに含まれる複数の点を所定の平面に投影して得られる投影2次元データを生成する。投影2次元データは、2次元画像データまたは2次元点群データであり得る。所定の平面は、高さ方向に略平行な平面であり、樹木を横方向から見た投影2次元データが得られる。
【0074】
推定部103は、投影2次元データにおける樹木の樹冠領域を推定する。演算部104は、投影2次元データが示す樹木と、推定した樹冠領域との関係に基づいて樹木の状態を演算する。例えば、演算部104は、樹木の樹高および樹冠長を演算し、樹高と樹冠長とから樹冠長率を演算する。ユーザは、得られた樹冠長率を用いて森林管理を行うことができる。例えば、得られた樹冠長率を用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0075】
記憶部105は、森林の3次元点群データ、樹木の3次元点群データ、投影2次元データ、樹冠領域に関するデータ、樹冠長率に関するデータ等を記憶する。記憶部105は、機械学習に用いる教師データ、教師データに基づいて生成された推定モデルをさらに記憶する。
【0076】
データ取得部101は、予め樹冠領域が指定された樹木の投影2次元データを外部装置から複数個取得し、記憶部105に記憶させる。予め樹冠領域が指定された樹木の投影2次元データは、後述するように樹木情報推定システム100で生成してもよい。
【0077】
モデル生成部106は、その予め樹冠領域が指定された樹木の投影2次元データを教師データとして用い、樹木を示す投影2次元データを入力とし、樹冠領域を出力とする推定モデルを機械学習により生成する。推定モデルを生成する手法としては、公知の教師あり学習の手法(分類等)を用いることができる。モデル生成部106は、生成した推定モデルを記憶部105に記憶させる。推定部103は、例えばその推定モデルを用いて、投影2次元データにおける樹木の樹冠領域を推定することができる。
【0078】
推定部103は、機械学習により生成した推定モデルを用いる方法以外の方法で樹冠領域を推定してもよい。例えば、人間が予め設定した判定基準に基づいて、樹冠領域を推定してもよい。例えば、このような判定基準の情報は記憶部105に予め記憶されており、推定部103は、記憶部105から読み出した判定基準に基づいて、樹冠領域を推定してもよい。例えば、後述するように、投影2次元点群データに含まれる複数の点の高さ方向における分布に基づいて樹冠領域を推定してもよい。
【0079】
記憶部105は、上記のデータ以外にも、樹木情報推定システム100による処理に必要な情報を記憶し得る。
【0080】
樹木情報推定システム100は、例えば、ユーザ端末装置またはサーバコンピュータ(以下、「サーバ」と表記する)であり得る。ユーザ端末装置は、例えばパーソナルコンピュータ(PC)、タブレットコンピュータ、スマートフォン、またはPDA(Personal digital assistant)である。サーバは、例えばクラウドサーバまたはエッジサーバである。樹木情報推定システム100は、森林計測を支援する支援ツールとして機能する専用の装置であってもよい。
【0081】
図7は、樹木情報推定システム100のハードウェア構成例を示すブロック図である。樹木情報推定システム100は、入力装置110、表示装置120、通信装置130、記憶装置140、プロセッサ150、ROM160およびRAM170を備える。これらの構成要素は、バス180を介して相互に通信可能に接続される。
【0082】
入力装置110は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置110は、例えば、キーボード、マウス、タッチパネル、マイクまたはそれらの組み合わせである。表示装置120は、例えば、液晶ディスプレイまたはOLED(Organic Light-Emitting Diode)ディスプレイである。表示装置120は、森林および樹木の状態等を表示し得る。
【0083】
通信装置130は、樹木情報推定システム100と外部との間でデータ通信を行うための通信モジュールである。通信装置130は、有線通信および/または無線通信を行うことができる。通信装置130は、例えば、USB、IEEE1394(登録商標)、またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信装置130は、例えば、Bluetooth(登録商標)規格および/またはWi-Fi(登録商標)規格に準拠した無線通信を行うことができる。通信装置130は、BLE(Bluetooth Low Energy)またはLPWA(Low Power Wide Area)の通信方式に準拠した無線通信を行うことが可能な通信モジュールであってもよい。BLEまたはLPWAなどの通信方式を利用することにより、低消費電力で長距離かつ広範囲の通信を実現することができる。通信装置130は、携帯電話回線または人工衛星を経由する回線を利用した無線通信を行ってもよい。
【0084】
記憶装置140は、主としてデータベースのストレージとして機能する。記憶装置140は、例えば磁気記憶装置、光学記憶装置、半導体記憶装置またはそれらの組み合わせである。光学記憶装置の例は、光ディスクドライブまたは光磁気ディスク(MD)ドライブなどである。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。記憶装置140はクラウドストレージであってもよい。
【0085】
プロセッサ150は、半導体集積回路であり、例えば中央演算処理装置(CPU)を含む。プロセッサ150は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。プロセッサ150は、各種処理を実行するための命令群を記述した、ROM160に格納されるコンピュータプログラムを逐次実行し、所望の処理を実現する。
【0086】
プロセッサ150は、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される二つ以上の回路の組み合わせであってもよい。
【0087】
ROM160は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM160は、プロセッサ150の動作を制御するコンピュータプログラムを記憶している。ROM160は、単一の記録媒体である必要はなく、複数の記録媒体の集合体であってもよい。複数の記録媒体の集合体の一部は取り外し可能なメモリであってもよい。
【0088】
RAM170は、ROM160に格納されたコンピュータプログラムをブート時に一旦展開するための作業領域を提供する。RAM170は、単一の記録媒体である必要はなく、複数の記録媒体の集合であってもよい。
【0089】
図6に示す各機能ブロックの処理は、ソフトウェアのモジュール単位でコンピュータプログラムに記述される。ただし、FPGAなどを用いる場合、これらの機能ブロックの全部または一部は、ハードウェア・アクセラレータとして実装され得る。
【0090】
プロセッサ150は、上述したデータ取得部101、データ生成部102、推定部103、演算部104、およびモデル生成部106が行う処理を実行することができる。記憶装置140は、上述した記憶部105が記憶するデータを記憶することができる。
【0091】
樹木情報推定システム100が行う処理を記述した命令群を含むコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して樹木情報推定システム100に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0092】
(樹冠領域の推定および樹冠長率の演算)
図8は、樹冠領域を推定し、樹冠長率を演算する処理の例を示す図である。図9は、樹冠領域を推定し、樹冠長率を演算する処理の例を示すフローチャートである。図8および図9に示す処理では、既に生成された推定モデルを用いて、樹冠領域を推定する。
【0093】
樹木情報推定システム100の通信装置130は、森林計測により得られた森林の3次元点群データを外部装置から受信する(ステップS11)。プロセッサ150は、通信装置130が受信した森林の3次元点群データを例えば記憶装置140に記憶させる。
【0094】
プロセッサ150は、記憶装置140から森林の3次元点群データを読み出し、3次元点群データに含まれる複数の点それぞれの高度を決定する。高度は、例えば絶対高度であり、樹木の根元の地表面からの高さである。例えば、プロセッサ150は、3次元点群データからDTM(Digital Terrain Model:数値標高モデル)を生成し、3次元点群データからDTMを減算したデータを用いて、複数の点それぞれの絶対高度を決定する。なお、3次元点群データからDSM(Digital Surface Model:数値表層モデル)およびDTMを生成し、DSMからDTMを減算したデータを用いて、複数の点それぞれの絶対高度を決定してもよい。DSMからDTMを減算したデータは、DCHM(Digital Canopy Height Model)と称される。
【0095】
図8は、森林の3次元点群データ210の一例を示している。森林が広がる地表面は、一般に斜面を含む。3次元点群データからDTMを減算することで、地表面を平坦化した3次元点群データが得られる。
【0096】
既存の地図データまたはDTMを利用するのではなく、最新の3次元点群データから決定したDTMを利用することにより、複数の点それぞれの絶対高度の高精度な値を得ることができる。
【0097】
このような地表面を平坦化した森林の3次元点群データは、外部装置で生成され、樹木情報推定システム100に提供されてもよい。
【0098】
プロセッサ150は、森林の3次元点群データから、少なくとも一本の樹木の3次元点群データを抽出する(ステップS12)。ここでは、単木(一本の樹木)の3次元点群データを抽出する。単木の抽出は、例えば市販のソフトウェアを用いて行うことができる。ソフトウェアとして例えばLiDAR360又はオープンソースのlidR packageを用いて単木の抽出を行うことができるが、ソフトウェアはこれらに限定されない。
【0099】
プロセッサ150は、抽出した単木の3次元点群データ211に含まれる複数の点を、平面230に投影して得られる投影2次元画像データ220を生成する(ステップS13)。点の一つ一つに所定の面積を付与することで、平面230に投影した点群データを描画した画像を生成することができる。3次元点群データ211に含まれる複数の点は、平面230に垂直な方向から平行投影され得るが、他の投影法が用いられてもよい。平面230は、高さ方向Dに略平行な平面であり、単木を横方向から見た投影2次元画像データ220が得られる。高さ方向Dは、鉛直方向に概ね沿った方向であり得るが、ユーザが設定してもよい。
【0100】
記憶装置140には、予め生成された推定モデルが記憶されている。プロセッサ150は、記憶装置140から読み出した推定モデルを用いて、投影2次元画像データ220における単木の樹冠領域240を推定する(ステップS14)。樹冠領域240は、例えば矩形などの所定形状の枠で囲う形で推定され得る。枠は樹冠の形状に沿った形状であってもよい。
【0101】
本実施形態では、単木の3次元点群データ211ではなく投影2次元画像データ220を用いて樹冠領域240を推定する。これにより、少ない演算量で樹冠領域240を精度良く推定することができる。
【0102】
次に、プロセッサ150は、投影2次元画像データ220が示す単木の樹高Hおよび樹冠長L1を演算する。樹高Hは樹冠の上端部と幹の下端部との間の長さである。投影2次元画像データ220は、例えば、点群に対応する部分とそうでない部分とが区別された二値画像であり得、樹冠の上端部および幹の下端部の特定は容易である。投影2次元画像データ220が高さおよび/または座標に関する属性情報を含む場合、プロセッサ150は、その属性情報に基づいて樹高Hを演算することができる。
【0103】
樹冠長L1は、樹冠の上端部と下端部との間の長さである。推定した樹冠領域240の上端部と下端部との間の長さを樹冠長L1とすることができる。投影2次元画像データ220が高さおよび/または座標に関する属性情報を含む場合、プロセッサ150は、その属性情報に基づいて樹冠長L1を演算することができる。プロセッサ150は、画像の高さ方向のピクセル数をカウントすることで、樹高Hおよび樹冠長L1を演算してもよい。
【0104】
プロセッサ150は、樹高Hと樹冠長L1とから樹冠長率Rを演算する(ステップS15)。樹冠長率Rは以下の式(1)から求めることができる。
= L1 / H ・・・(1)
【0105】
プロセッサ150は、演算した樹冠長率Rを記憶装置140に記憶させる。プロセッサ150は、複数の樹木それぞれに対して上記の処理を行い、演算した樹冠長率Rを記憶装置140に記憶させる。ユーザは、得られた樹冠長率のデータを用いて森林管理を行うことができる。例えば、得られた樹冠長率のデータを用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0106】
(推定モデルの生成)
図10は、機械学習により推定モデルを生成する処理の例を示す図である。
【0107】
まず、教師データを生成する。プロセッサ150は、図8および図9を用いて上述した方法で、単木の投影2次元画像データを生成する。生成した単木の投影2次元画像データに対して、人間が樹冠領域を指定する処理を行う。例えば、表示装置120に投影2次元画像データの単木251を表示する。人間は、入力装置110を用いて、単木251の画像の樹冠領域にバウンディングボックス等を割り当てることで、樹冠領域252を指定する。プロセッサ150は、単木251の画像データと、その単木251の指定された樹冠領域252を示すデータとを組み合わせたデータセット250を生成し、記憶装置140に記憶させる。
【0108】
複数の樹木に対して上記の処理を繰り返し、複数のデータセット250を記憶装置140に記憶させる。
【0109】
プロセッサ150は、記憶部105に記憶された複数のデータセット250を教師データとして用い、単木を示す投影2次元画像データを入力とし、樹冠領域を出力とする推定モデルを機械学習により生成する。推定モデルを生成する手法としては、公知の教師あり学習の手法(分類等)を用いることができる。プロセッサ150は、生成した推定モデルを記憶部105に記憶させる。
【0110】
機械学習により生成した推定モデルを用いることで、樹木の投影2次元画像データ220のパターンに潜む特徴量と樹木の状態との間にある相関関係等を利用することが可能になる。
【0111】
本実施形態では、単木の3次元点群データではなく、投影2次元画像データを用いて推定モデルを生成する。既存の2次元画像の機械学習手法を用いることができるため、推定モデルの生成、および生成した推定モデルを用いた樹冠領域の推定を容易に行うことができる。
【0112】
(複数の点の高さ方向の分布に基づいた樹冠領域の推定)
次に、投影2次元データに含まれる複数の点の高さ方向における分布に基づいて樹冠領域を推定する処理を説明する。図11は、複数の点の高さ方向における分布に基づいて樹冠領域を推定する処理を説明する図である。
【0113】
プロセッサ150は、投影2次元データ220として、単木の3次元点群データ211に含まれる複数の点を、平面230に投影して得られる2次元点群データを生成する。3次元点群データ211は複数の点それぞれの絶対高度の情報を含んでいる。その3次元点群データ211から生成した2次元点群データ220も複数の点それぞれの絶対高度の情報を含んでいる。
【0114】
プロセッサ150は、2次元点群データ220に含まれる複数の点を所定の高度の刻み幅で分ける。高度の刻み幅は任意であり、例えば0.2m-1.0mであるがそれに限定されない。プロセッサ150は、高度を階級とする度数分布を生成する。図11は、高度を階級とするヒストグラムの例を示している。高度ヒストグラムの縦軸は高度、横軸は点の個数である。図11に示す例では階級幅は0.4mである。
【0115】
図11に示すように、高度の階級毎の点の個数は、樹木の部位に応じて異なり得る。このことから、複数の点の高さ方向における分布に基づいて樹冠領域を推定することができる。
【0116】
例えば、分布の上端から下方向に向かって点の個数をカウントしていき、2次元点群データ220の点の総数に対する所定の比率の個数をカウントしたときの高さを、樹冠領域の下端の高さと推定する。所定の比率は、例えば85-95%であるが、それに限定されない。分布の上端部が樹冠領域の上端部に該当する。樹冠領域の下端の位置が推定できれば、樹冠領域を推定することができる。
【0117】
上述した投影2次元データ220を生成する処理において、プロセッサ150は、単木の3次元点群データ211に含まれる複数の点の一部を間引いて平面230に投影し、投影2次元データ220を生成してもよい。
【0118】
例えば、点群密度が所定の密度よりも高い部分は、所定の密度以下となるように一部の点を間引いてもよい。また、単木を表す点群の一部のみを切り出し、その切り出した点群を平面230に投影して投影2次元データ220を生成してもよい。3次元点群データに含まれる点の一部を間引くことで、処理の負荷を軽減させることができる。
【0119】
上述の実施形態の説明では、森林の3次元点群データ210から単木の3次元点群データ211を取得していたが、森林の3次元点群データ210から二本以上の樹木の3次元点群データを取得してもよい。この場合、二本以上の樹木を示す投影2次元データ220が生成される。そのような二本以上の樹木を示す投影2次元データ220を用いて、各樹木の樹冠領域240を推定する処理を行ってもよい。
【0120】
次に、樹木情報推定システム100のハードウェア構成の他の例を説明する。
【0121】
図12は、樹木情報推定システム100のハードウェア構成の他の例を示す図である。図12に示す例において、樹木情報推定システム100は、クラウドサーバ301および一つ以上のユーザ端末装置302を備える。クラウドサーバ301およびユーザ端末装置302のそれぞれは、例えば図7に示したハードウェア構成を有する。複数のユーザ端末装置302がローカルエリアネットワーク(LAN)を介して接続されていてもよい。クラウドサーバ301と個々のユーザ端末装置302とは、ネットワーク310を介して互いに通信可能に接続され得る。ネットワーク310は例えばインターネットであるが、それに限定されない。
【0122】
上述した処理は、クラウドサーバ301とユーザ端末装置302とが協働して行ってもよい。また、これらの処理は、複数のユーザ端末装置302が協働して行ってもよい。
【0123】
次に、無人ヘリコプター1の機体に対してLiDARセンサ20の回転軸21が傾いている実施形態を説明する。
【0124】
図13は、LiDARセンサ20の回転軸21が臨む方向を説明する図である。
【0125】
図13は、所定角度ピッチαごとに1個のレーザパルス22を出射する、スキャンラインが一本のLiDARセンサ20を例示している。所定角度ピッチαごとに複数個のレーザパルス22を同時に出射するLiDARセンサではなく、所定角度ピッチαごとに1個のレーザパルス22を出射するLiDARセンサ20を用いることで、レーザパルス22の1個当たりの出力を大きくでき、測定可能距離を長くすることができる。
【0126】
同時に複数のレーザパルス22を出射しないことで、あるレーザパルス22の反射光が他のレーザパルス22の反射光の検出におけるノイズになることがないため、高精度な点群データを得ることができる。同時に複数のレーザパルス22を出射する場合はそれら複数のレーザパルス22の間で強度のばらつき等が発生し得る。本実施形態では、同時に複数のレーザパルス22を出射しないことで、そのようなばらつきが検出結果に影響しないため、高精度な点群データを得ることができる。
【0127】
図13に示す例では、LiDARセンサ20の回転軸21は、無人ヘリコプター1の機体に対して傾いている。無人ヘリコプター1の高さ方向36を、無人ヘリコプター1が水平な地面に静止しているときの鉛直方向に平行な方向とする。その高さ方向36に垂直な平面37を点線で示している。本実施形態のLiDARセンサ20の回転軸21は、その平面37に対して傾いている。回転軸21の角度の基準となる平面37は、水平な地面(水平面)に平行である。
【0128】
平面37と回転軸21とがなす角度θは、例えば20度から60度であり、回転軸21は平面37に対して20度以上60度以下の角度傾いている。また別の例として、角度θは例えば25度から50度であり、回転軸21は平面37に対して25度以上50度以下の角度傾いている。
【0129】
LiDARセンサ20の回転軸21が平面37に対して傾いていることにより、森林計測を行うときに、レーザパルス22の多くを樹木の葉と葉の間を通り抜けやすい角度で出射することができる。その結果、樹木の樹冠内部にレーザパルス22を入射させることができる。更に、レーザパルス22は樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達し、反射される。これにより、樹冠点群、幹点群、下層植生点群および地表面点群を豊富に含む3次元点群データを得ることができる。
【0130】
スキャンラインが1本のLiDARセンサ20を用いる場合、LiDARセンサ20の回転軸21が平面37に平行であると、幹の表面に形成されるレーザスポットの軌跡は、幹が延びる方向(上下方向)に概ね沿って延びることになる。これにより、レーザスポットの軌跡が幹を横切り難くなり、得られた点群データから幹の直径を精度良く推定することが困難になる。一方、本実施形態のLiDARセンサ20の回転軸21は平面37に対して傾いている。これにより、レーザスポットの軌跡が、幹を横切り易くなり、得られた点群データから幹の直径を精度良く推定することが容易になる。
【0131】
図13に示す例では、無人ヘリコプター1よりも前方に広がるエリアに多くのレーザパルス22が照射される角度でLiDARセンサ20が設けられていたが、無人ヘリコプター1よりも後方に広がるエリアに多くのレーザパルス22が照射される角度でLiDARセンサ20が設けられていてもよい。
【0132】
図13に示す例では、所定角度ピッチαごとに1個のレーザパルス22を出射するLiDARセンサ20を用いていたが、所定角度ピッチαごとに複数個のレーザパルス22を同時に出射するLiDARセンサが用いられてもよい。
【0133】
以上、本発明の例示的な実施形態を説明した。
【0134】
本発明のある実施形態に係る樹木情報推定システム100は、森林計測により得られた森林の3次元点群データ210から、少なくとも一本の樹木の3次元点群データ211を取得するデータ取得部101と、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して得られる投影2次元データ220を生成するデータ生成部102と、投影2次元データ220における各樹木の樹冠領域240を推定する推定部103と、を備える。
【0135】
樹木の3次元点群データ211ではなく投影2次元データ220を用いて樹冠領域240を推定することにより、少ない演算量で樹冠領域240を精度良く推定することができる。
【0136】
例えば機械学習を用いて樹冠領域240を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0137】
ある実施形態において、所定の平面230は、高さ方向Dに略平行であってもよい。
【0138】
樹木を横方向から見た投影2次元データ220を用いることで、樹冠の上端部および下端部を検出したり、樹高Hを演算したりすることを容易に行うことができる。
【0139】
ある実施形態において、データ生成部102は、投影2次元データ220として、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して得られる2次元画像データ220を生成してもよい。
【0140】
2次元画像データ220を用いることで樹冠領域240の推定を容易に行うことができる。例えば機械学習を用いて樹冠領域240を推定する場合は、既存の2次元画像の機械学習手法を用いることができるため、推定モデルの生成、および生成した推定モデルを用いた樹冠領域240の推定を容易に行うことができる。
【0141】
ある実施形態において、樹木情報推定システム100は、投影2次元データ220が示す樹木と、推定した樹冠領域240との関係に基づいて樹木の状態を演算する演算部104をさらに備えてもよい。
【0142】
演算した樹木の状態を用いて森林管理を行うことができる。例えば、演算した樹木の状態を用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0143】
ある実施形態において、樹木情報推定システム100は、投影2次元データ220が示す樹木の樹高Hを演算し、推定した樹冠領域240に基づいて樹冠長L1を演算し、樹高Hと樹冠長L1とから樹冠長率を演算する演算部104をさらに備えてもよい。
【0144】
演算した樹冠長率を用いて森林管理を行うことができる。例えば、演算した樹冠長率を用いて、森林の手入れの優先度の判断および伐採対象の選定等を行うことができる。
【0145】
ある実施形態において、データ生成部102は、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点の一部を間引いて所定の平面230に投影して投影2次元データ220を生成してもよい。
【0146】
3次元点群データに含まれる複数の点の一部を間引くことで、処理の負荷を軽減させることができる。
【0147】
ある実施形態において、データ取得部101は、森林の3次元点群データ210から、単木の3次元点群データ211を取得し、データ生成部102は、単木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して投影2次元データ220を生成し、推定部103は、投影2次元データ220における単木の樹冠領域240を推定してもよい。
【0148】
単木の投影2次元データ220を用いて樹冠領域240を推定することにより、少ない演算量で樹冠領域240を精度良く推定することができる。
【0149】
ある実施形態において、樹木情報推定システム100は、予め樹冠領域252が指定された樹木の投影2次元データ250を複数個記憶する記憶部105と、記憶部105に記憶された複数の投影2次元データ250を教師データとして用い、樹木を示す投影2次元データを入力とし、樹冠領域を出力とする推定モデルを機械学習により生成するモデル生成部106と、をさらに備え、推定部103は、推定モデルを用いて、データ生成部102が生成した投影2次元データ220における樹冠領域240を推定してもよい。
【0150】
機械学習により生成した推定モデルを用いることで、樹木の投影2次元データ220のパターンに潜む特徴量と樹木の状態との間にある相関関係等を利用することが可能になる。
【0151】
ある実施形態において、推定部103は、投影2次元データ220に含まれる複数の点の高さ方向Dにおける分布に基づいて樹冠領域240を推定してもよい。
【0152】
樹木の部位に応じて点の個数が異なり得ることから、高さ方向Dにおける点の分布から樹冠領域240を推定することができる。
【0153】
ある実施形態において、森林の3次元点群データ210は、LiDARセンサ20が取り付けられた無人航空機1を飛行させて行う森林計測により得られた3次元点群データであってもよい。
【0154】
LiDARセンサ20を搭載した無人航空機1を比較的低い高度(例えば絶対高度150m以下、好ましくは絶対高度80m以下)で飛行させることにより、LiDARセンサ20から出射されたレーザパルスは、樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0155】
ある実施形態において、LiDARセンサ20の回転軸は、無人航空機1の高さ方向に垂直な平面に対して傾いていてもよい。
【0156】
レーザパルスの多くを樹木の葉と葉の間を通り抜けやすい角度で出射することができる。レーザパルスは樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を豊富に含む3次元点群データを得ることができる。
【0157】
ある実施形態において、森林の3次元点群データ210に含まれる複数の点それぞれを水平面に投影したときの水平面における複数の点の個数密度が100個/m以上であってもよい。
【0158】
点群の密度を高めることにより、樹冠よりも低い位置から取得できる情報量を増加させることができ、樹木の状態をより詳細に把握することができる。
【0159】
本発明のある実施形態に係る樹木情報推定システム100は、森林計測により得られた森林の3次元点群データ210を用いて樹木の情報を推定する樹木情報推定システム100であって、プロセッサ150と、プロセッサ150の動作を制御するコンピュータプログラムを記憶する記憶装置140と、を備え、プロセッサ150は、コンピュータプログラムに従って、森林計測により得られた森林の3次元点群データ210から、少なくとも一本の樹木の3次元点群データ211を取得すること、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して得られる投影2次元データ220を生成すること、投影2次元データ220における各樹木の樹冠領域240を推定すること、を実行する。
【0160】
樹木の3次元点群データ211ではなく投影2次元データ220を用いて樹冠領域240を推定することにより、少ない演算量で樹冠領域240を精度良く推定することができる。例えば機械学習を用いて樹冠領域240を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0161】
本発明のある実施形態に係る樹木情報推定方法は、森林計測により得られた森林の3次元点群データ210を用いて樹木の情報を推定する方法であって、森林計測により得られた森林の3次元点群データ210から、少なくとも一本の樹木の3次元点群データ211を取得すること、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して得られる投影2次元データ220を生成すること、投影2次元データ220における各樹木の樹冠領域240を推定すること、を実行する。
【0162】
樹木の3次元点群データ211ではなく投影2次元データ220を用いて樹冠領域240を推定することにより、少ない演算量で樹冠領域240を精度良く推定することができる。例えば機械学習を用いて樹冠領域240を推定する場合は、少ない演算量で推定モデルを生成することができる。
【0163】
本発明のある実施形態に係るコンピュータプログラムは、森林計測により得られた森林の3次元点群データ210を用いた樹木の情報の推定をコンピュータに実行させるコンピュータプログラムであって、コンピュータプログラムは、森林計測により得られた森林の3次元点群データ210から、少なくとも一本の樹木の3次元点群データ211を取得すること、少なくとも一本の樹木の3次元点群データ211に含まれる複数の点を所定の平面230に投影して得られる投影2次元データ220を生成すること、投影2次元データ220における各樹木の樹冠領域240を推定すること、をコンピュータに実行させる。
【0164】
樹木の3次元点群データ211ではなく投影2次元データ220を用いて樹冠領域240を推定することにより、少ない演算量で樹冠領域240を精度良く推定することができる。例えば機械学習を用いて樹冠領域240を推定する場合は、少ない演算量で推定モデルを生成することができる。
【産業上の利用可能性】
【0165】
本発明の実施形態によれば、樹木の状態を簡便に把握することが可能な技術が提供される。
【符号の説明】
【0166】
1:無人航空機(無人ヘリコプター)、 2:メインボディ、 3:テールボディ、 4:機体、 5:メインロータ、 6:テールロータ、 7:ラジエータ、 8:エンジン、 9:発電装置、 10:コントロールパネル、 11:表示灯、 12:スキッド、 13:リモコン受信アンテナ、 15:飛行制御ボックス、 15a:測位モジュール、 15b:加速度センサ、 15c:気圧センサ、 15d:地磁気センサ、 15e:超音波センサ、 15f:通信回路、 15g:信号処理回路、 15j:記憶装置、 15k:内部バス、 20:LiDARセンサ、 21:回転軸、 22:レーザパルス、 23:ヘッド、 25:ブラケット、 50:計測対象エリア、 52:斜面、 54:森林、 56:樹木、 56a:樹冠、 56b:幹、 58:下層植生、 59:地表面、 100:樹木情報推定システム、 101:データ取得部、 102:データ生成部、 103:推定部、 104:演算部、 105:記憶部、 106:モデル生成部、 110:入力装置、 120:表示装置、 130:通信IF、 140:記憶装置、 150:プロセッサ、 160:ROM、 170:RAM、 180:バス、 210:森林の3次元点群データ、 211:単木の3次元点群データ、 220:投影2次元データ、 230:平面、 240:樹冠領域、 250:データセット、 251:単木、 252:樹冠領域、 301:クラウドサーバ、 302:ユーザ端末装置、 310:ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13