(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024029577
(43)【公開日】2024-03-06
(54)【発明の名称】画像生成システム、画像生成方法およびコンピュータプログラム
(51)【国際特許分類】
G06T 3/06 20240101AFI20240228BHJP
G01C 15/00 20060101ALI20240228BHJP
G01C 7/04 20060101ALN20240228BHJP
【FI】
G06T3/00 720
G01C15/00 103Z
G01C7/04
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2022131911
(22)【出願日】2022-08-22
(71)【出願人】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100139930
【弁理士】
【氏名又は名称】山下 亮司
(72)【発明者】
【氏名】原田 丈也
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057AA14
5B057CA13
5B057CB12
5B057CD14
5B057DB03
5B057DC30
(57)【要約】
【課題】森林等の複数の樹木が存在する環境の状態を簡便に把握する。
【解決手段】実施形態に係る画像生成システムは、複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、所定環境の複数の断面を示す画像データを生成する。画像生成システムは、ユーザが指定した所定環境内のコースを示す情報を取得し、コースに沿った互いに異なる位置でコースと交差する複数の断面を示す画像データを、3次元点群データから生成する処理部を備える。
【選択図】
図9
【特許請求の範囲】
【請求項1】
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成する画像生成システムであって、
ユーザが指定した前記所定環境内のコースを示す情報を取得し、前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成する処理部を備える、画像生成システム。
【請求項2】
前記処理部は、前記画像データが示す複数の断面の画像が、前記コースに沿った順番で自動的に連続して切り替わる表示を表示装置に行わせる、請求項1に記載の画像生成システム。
【請求項3】
前記画像データが示す複数の断面は、前記コース上の所定間隔で並んだ複数の位置で前記コースと交差する、請求項1または2に記載の画像生成システム。
【請求項4】
表示装置に表示させる断面の画像の範囲の上端に対応する標高および下端に対応する標高は、前記画像データが示す複数の断面の画像の間で共通である、請求項1または2に記載の画像生成システム。
【請求項5】
前記処理部は、
前記複数の断面を示す画像データの生成に用いる前記3次元点群データの複数の点の中から、標高が最も高い点および標高が最も低い点を抽出し、
前記標高が最も高い点に基づいて、前記上端に対応する標高を決定し、
前記標高が最も低い点に基づいて、前記下端に対応する標高を決定する、請求項4に記載の画像生成システム。
【請求項6】
表示装置に表示させる断面の画像の範囲の中心部に対応する標高は、前記画像データが示す複数の断面の画像の間で共通である、請求項1または2に記載の画像生成システム。
【請求項7】
一つの断面を示す画像データを生成するために前記3次元点群データから複数の点を抽出する範囲として、前記ユーザは、前記コースと交差する方向の第1幅の大きさおよび前記コースに沿った方向の第2幅の大きさを指定し、
前記処理部は、前記ユーザが指定した前記第1幅および前記第2幅に基づいて、前記3次元点群データから複数の点を抽出する、請求項1または2に記載の画像生成システム。
【請求項8】
前記処理部は、一つの断面を示す画像データを生成するために前記3次元点群データから抽出した複数の点を所定の平面に投影して得られる2次元データを前記一つの断面を示す画像データとして生成する、請求項7に記載の画像生成システム。
【請求項9】
前記ユーザは、表示装置に表示された前記所定環境の地図に2個以上の点をプロットし、
前記処理部は、前記ユーザがプロットした2個以上の点を繋いたラインを前記コースとして設定する、請求項1に記載の画像生成システム。
【請求項10】
前記処理部は、一つの断面を示す画像データを生成するために前記3次元点群データから複数の点を抽出する抽出範囲を、前記コースに沿って複数個設定し、
複数の前記抽出範囲のそれぞれは、前記コースと交差する方向の第1幅および前記コースに沿った方向の第2幅を有し、
複数の前記抽出範囲は、前記コースに沿って連続して設けられている、請求項1、2および9のいずれかに記載の画像生成システム。
【請求項11】
前記ユーザは、表示装置に表示された前記所定環境の地図中の前記コース上の位置を指定し、
前記処理部は、前記ユーザが指定した前記位置に対応する断面の画像を前記表示装置に表示させる、請求項1または2に記載の画像生成システム。
【請求項12】
前記処理部は、
生成した前記複数の断面を示す画像データを記憶装置に記憶させ、
前記ユーザからの要求に応じて、前記複数の断面を示す画像データを前記記憶装置から読み出し、読み出した前記画像データが示す複数の断面の画像を表示装置に表示させる、請求項1または2に記載の画像生成システム。
【請求項13】
前記画像データが示す複数の断面は、前記コースに沿った互いに異なる位置で前記コースと直交している、請求項1または2に記載の画像生成システム。
【請求項14】
前記所定環境は森林である、請求項1または2に記載の画像生成システム。
【請求項15】
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成する画像生成方法であって、
ユーザが指定した前記所定環境内のコースを示す情報を取得すること、
前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成すること、
を実行する、画像生成方法。
【請求項16】
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成することをコンピュータに実行させるコンピュータプログラムであって、
前記コンピュータプログラムは、
ユーザが指定した前記所定環境内のコースを示す情報を取得すること、
前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成すること、
を前記コンピュータに実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成システム、画像生成方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
森林資源の管理および利用を行うために森林計測が行われている。森林計測は、様々な方法により行うことができる。例えば特許文献1は、上空からカメラで森林を撮影し、得られた画像から画像処理によって樹冠円を抽出する方法を開示する。特許文献2は、上空から波長の異なるレーダ波をそれぞれ森林に照射して、樹木の最上部からの反射波および地面からの反射波から算出されるそれぞれの高さの差分から樹木の高さを求める方法を開示する。特許文献3は、航空機にレーザ測距装置を搭載し、レーザ測距装置を用いて、樹木等を含めた地上の3次元データを取得する方法を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-66050号公報
【特許文献2】特開平9-184880号公報
【特許文献3】特開2016-70708号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
レーザ測距装置を用いて森林計測を行うことで、森林の3次元点群データが得られる。この森林の3次元点群データを用いて、森林の状態を分析することができる。しかし、森林計測で得られた3次元点群データを用いて、森林の状態を分析するのには非常に時間と労力が掛かる。
【0005】
森林等の複数の樹木が存在する環境の状態を簡便に把握することが求められている。
【課題を解決するための手段】
【0006】
本明細書は、以下の項目に記載の画像生成システム、画像生成方法およびコンピュータプログラムを開示している。
【0007】
[項目1]
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成する画像生成システムであって、
ユーザが指定した前記所定環境内のコースを示す情報を取得し、前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成する処理部を備える、画像生成システム。
【0008】
本発明のある実施形態によれば、3次元点群データを用いて、ユーザが指定したコース上の互いに異なる位置でコースと交差する複数の断面を示す画像データを生成する。ユーザは、互いに異なる位置の複数の断面の画像を連続的に切り替えて見ることができ、所定環境内の指定したコースおよびその周辺の状態を直感的に理解することができる。
【0009】
[項目2]
前記処理部は、前記画像データが示す複数の断面の画像が、前記コースに沿った順番で自動的に連続して切り替わる表示を表示装置に行わせる、項目1に記載の画像生成システム。
【0010】
ユーザは、コースに沿った順番で自動的に連続して切り替わる断面の画像を見ることで、実際に現場を歩いているような臨場感とともに、指定したコースおよびその周辺の状態を理解することができる。
【0011】
[項目3]
前記画像データが示す複数の断面は、前記コース上の所定間隔で並んだ複数の位置で前記コースと交差する、項目1または2に記載の画像生成システム。
【0012】
これにより、ユーザは、一定の間隔毎の断面を順番に見ることができる。
【0013】
[項目4]
表示装置に表示させる断面の画像の範囲の上端に対応する標高および下端に対応する標高は、前記画像データが示す複数の断面の画像の間で共通である、項目1から3のいずれかに記載の画像生成システム。
【0014】
実際の地表面の標高の変化に応じて、表示装置に表示される地表面の位置が上下に変化することで、ユーザは、指定したコースの地表面の標高の変化を直感的に理解することができる。
【0015】
[項目5]
前記処理部は、
前記複数の断面を示す画像データの生成に用いる前記3次元点群データの複数の点の中から、標高が最も高い点および標高が最も低い点を抽出し、
前記標高が最も高い点に基づいて、前記上端に対応する標高を決定し、
前記標高が最も低い点に基づいて、前記下端に対応する標高を決定する、項目4に記載の画像生成システム。
【0016】
複数の断面のそれぞれを表示可能な画像の範囲の上端および下端を決定することができる。
【0017】
[項目6]
表示装置に表示させる断面の画像の範囲の中心部に対応する標高は、前記画像データが示す複数の断面の画像の間で共通である、項目1から5のいずれかに記載の画像生成システム。
【0018】
実際の地表面の標高の変化に応じて、表示装置に表示される地表面の位置が上下に変化することで、ユーザは、指定したコースの地表面の標高の変化を直感的に理解することができる。
【0019】
[項目7]
一つの断面を示す画像データを生成するために前記3次元点群データから複数の点を抽出する範囲として、前記ユーザは、前記コースと交差する方向の第1幅の大きさおよび前記コースに沿った方向の第2幅の大きさを指定し、
前記処理部は、前記ユーザが指定した前記第1幅および前記第2幅に基づいて、前記3次元点群データから複数の点を抽出する、項目1から6のいずれかに記載の画像生成システム。
【0020】
これにより、ユーザが希望する範囲の断面を示す画像データを生成することができる。
【0021】
[項目8]
前記処理部は、一つの断面を示す画像データを生成するために前記3次元点群データから抽出した複数の点を所定の平面に投影して得られる2次元データを前記一つの断面を示す画像データとして生成する、項目7に記載の画像生成システム。
【0022】
抽出した複数の点を反映させた断面を示す画像データを生成することができる。
【0023】
[項目9]
前記ユーザは、表示装置に表示された前記所定環境の地図に2個以上の点をプロットし、
前記処理部は、前記ユーザがプロットした2個以上の点を繋いたラインを前記コースとして設定する、項目1から8のいずれかに記載の画像生成システム。
【0024】
ユーザは、2個以上の点をプロットするだけでコースを設定することができる。
【0025】
[項目10]
前記処理部は、一つの断面を示す画像データを生成するために前記3次元点群データから複数の点を抽出する抽出範囲を、前記コースに沿って複数個設定し、
複数の前記抽出範囲のそれぞれは、前記コースと交差する方向の第1幅および前記コースに沿った方向の第2幅を有し、
複数の前記抽出範囲は、前記コースに沿って連続して設けられている、項目1から9のいずれかに記載の画像生成システム。
【0026】
これにより、コースに沿った範囲に属する3次元点群データの複数の点を反映させた連続的な複数の断面を示す画像データを得ることができる。
【0027】
ユーザが表示装置に表示された地図に点をプロットする実施形態においては、ユーザが適当な間隔で2個以上の点をプロットするだけで、プロットした点と点の間の範囲に属する3次元点群データの複数の点を反映させた連続的な複数の断面を示す画像データを得ることができる。
【0028】
ユーザは、簡単な操作で臨場感が大きい画像データを得ることができる。
【0029】
[項目11]
前記ユーザは、表示装置に表示された前記所定環境の地図中の前記コース上の位置を指定し、
前記処理部は、前記ユーザが指定した前記位置に対応する断面の画像を前記表示装置に表示させる、項目1から10のいずれかに記載の画像生成システム。
【0030】
ユーザは、見たい位置の断面の画像を見ることができる。
【0031】
[項目12]
前記処理部は、
生成した前記複数の断面を示す画像データを記憶装置に記憶させ、
前記ユーザからの要求に応じて、前記複数の断面を示す画像データを前記記憶装置から読み出し、読み出した前記画像データが示す複数の断面の画像を表示装置に表示させる、項目1から11のいずれかに記載の画像生成システム。
【0032】
これにより、ユーザは、希望するタイミングで断面の画像を何度でも見ることができる。
【0033】
[項目13]
前記画像データが示す複数の断面は、前記コースに沿った互いに異なる位置で前記コースと直交している、項目1から12のいずれかに記載の画像生成システム。
【0034】
これにより、直感的に理解しやすい断面の画像をユーザに提供することができる。
【0035】
[項目14]
前記所定環境は森林である、項目1から13のいずれかに記載の画像生成システム。
【0036】
これにより、ユーザは、森林の指定したコースおよびその周辺の状態を直感的に理解することができる。
【0037】
[項目15]
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成する画像生成方法であって、
ユーザが指定した前記所定環境内のコースを示す情報を取得すること、
前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成すること、
を実行する、画像生成方法。
【0038】
本発明のある実施形態によれば、3次元点群データを用いて、ユーザが指定したコース上の互いに異なる位置でコースと交差する複数の断面を示す画像データを生成する。ユーザは、互いに異なる位置の複数の断面の画像を連続的に切り替えて見ることができ、所定環境内の指定したコースおよびその周辺の状態を直感的に理解することができる。
【0039】
[項目16]
複数の樹木が存在する所定環境をセンシングして得られた3次元点群データを用いて、前記所定環境の複数の断面を示す画像データを生成することをコンピュータに実行させるコンピュータプログラムであって、
前記コンピュータプログラムは、
ユーザが指定した前記所定環境内のコースを示す情報を取得すること、
前記コースに沿った互いに異なる位置で前記コースと交差する複数の断面を示す画像データを、前記3次元点群データから生成すること、
を前記コンピュータに実行させる、コンピュータプログラム。
【0040】
本発明のある実施形態によれば、3次元点群データを用いて、ユーザが指定したコース上の互いに異なる位置でコースと交差する複数の断面を示す画像データを生成する。ユーザは、互いに異なる位置の複数の断面の画像を連続的に切り替えて見ることができ、所定環境内の指定したコースおよびその周辺の状態を直感的に理解することができる。
【発明の効果】
【0041】
本発明のある実施形態によれば、3次元点群データを用いて、ユーザが指定したコース上の互いに異なる位置でコースと交差する複数の断面を示す画像データを生成する。ユーザは、互いに異なる位置の複数の断面の画像を連続的に切り替えて見ることができ、所定環境内の指定したコースおよびその周辺の状態を直感的に理解することができる。
【図面の簡単な説明】
【0042】
【
図1】本発明の実施形態で用いる3次元点群データを取得する対象である計測対象エリア50の計測の様子を示す図である。
【
図2】本発明の実施形態で用いる無人ヘリコプター1の側面図である。
【
図3】本発明の実施形態で用いる無人ヘリコプター1の正面図である。
【
図4】本発明の実施形態で用いる無人ヘリコプター1の飛行制御ボックス15のハードウェア構成例を示す図である。
【
図5】本発明の実施形態で用いる3次元点群データを取得する森林計測の様子を示す図である。
【
図6】本発明の実施形態に係る3次元点群データを管理する管理システム100を示す図である。
【
図7】本発明の実施形態に係るサーバコンピュータ110のハードウェア構成例を示すブロック図である。
【
図8】本発明の実施形態に係る端末装置120のハードウェア構成例を示すブロック図である。
【
図9】本発明の実施形態に係る3次元点群データを用いて複数の断面を示す画像データを生成する処理を示すフローチャートである。
【
図10】本発明の実施形態に係る表示装置127に表示された森林54の地
図151の例を示す図である。
【
図11】本発明の実施形態に係る複数の断面を示す画像データ170を生成する森林54のコース162の例を示す図である。
【
図12】本発明の実施形態に係る表示装置127に表示された入力欄157の例を示す図である。
【
図13】本発明の実施形態に係るコース162に沿って順に連続して配置された複数の抽出範囲163の例を示す図である。
【
図14】本発明の実施形態に係るコース162に沿って順に連続して配置された複数の抽出範囲163の別の例を示す図である。
【
図15】本発明の実施形態に係る断面の画像の範囲166の上端167に対応する標高および下端168に対応する標高の設定方法を説明する図である。
【
図16】本発明の実施形態に係る複数の断面画像171の例を示す図である。
【
図17】本発明の実施形態に係るユーザの要求に応じた断面画像171の表示の例を示す図である。
【発明を実施するための形態】
【0043】
森林資源の管理および利用を行うためには、いわゆる「森林計測」を行うことが重要である。この「森林計測」には、森林の構造の調査、森林の材積の推定、一定期間における森林の変化量の把握等が含まれ得る。従来の森林計測のような、林木の一本一本を計測し、得られたデータから様々な集計・分析を行っていくことは非常に人手と時間がかかる。そこで、無人航空機にレーザ測距装置(LiDARセンサ)を搭載し、LiDARセンサを用いて空中から森林計測を行うことが進められている。
【0044】
本願発明者らは、LiDARセンサを搭載した無人航空機を比較的低い高度(例えば絶対高度150m以下、好ましくは絶対高度80m以下)で飛行させて森林計測を行うことにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データが得られることを見出した。ここで、樹冠点群は樹木の樹冠に対応する点群であり、幹点群は樹木の幹に対応する点群であり、下層植生点群は下層植生に対応する点群であり、地表面点群は地表面に対応する点群である。LiDARセンサから出射されたレーザパルスは、樹木の樹冠だけでなく、樹木の幹、下層植生および地表面等にも到達して反射され、これにより、樹冠点群、幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0045】
これら樹冠点群、幹点群、下層植生点群および地表面点群を含む3次元点群データを用いて、森林の状態を推定したり、各樹木の状態を推定したりすることが考えられる。
【0046】
3次元点群データに含まれる複数の点それぞれを水平面に投影したときの水平面における複数の点の個数密度は、100個/m2以上であり得る。点群の密度を高めることにより、樹冠よりも低い位置から取得できる情報量を増加させることができ、森林の状態をより詳細に推定することができる。
【0047】
本明細書では、LiDARセンサを用いて上空から森林をスキャンし、スキャンデータを取得すること自体を「森林計測」に含む。スキャンデータは、典型的には、スキャンごとに取得される点群(point cloud)を構成する各点の位置座標によって表現され得る。スキャンごとに取得される点の位置座標は、無人航空機とともに移動するローカル座標系によって規定される。このようなローカル座標系は、移動体座標系またはセンサ座標系と呼ばれ得る。一般的には、「森林計測」は、ローカル座標系で表現された各反射点の位置を地理座標系に変換することを含む。「森林計測」はさらに、地理座標系への変換後に、森林の構造を解析すること、森林および樹木の形を視覚的に表示すること、森林内の樹木の種類ごとの存在比率を求めること、森林の容積密度を求めること等を含み得る。
【0048】
「無人航空機」(UAV;Unmanned aerial vehicle)は、操縦者としての人が搭乗しない航空機であり、ドローンと呼ばれることもある。航空機は回転翼機および固定翼機を含み得る。回転翼を有する無人航空機の一例は、無人ヘリコプターまたは無人マルチコプターである。回転翼はエンジン(内燃機関)によって回転してもよいし、電動モータによって回転してもよい。無人航空機の飛行は、コンピュータプログラムによる自律飛行、一部を自動化する半自律飛行、無線を用いた人による遠隔操作による飛行のいずれであってもよい。無人航空機は、GNSS(Global Navigation Satellite System)を援用して、現在位置を三次元的に測定し、その位置を修正しながら飛行することが可能である。以下に説明する例示的な実施形態においては、「無人航空機」は「無人ヘリコプター」である。「無人」の用語は、航空機の操縦のために人が搭乗する必要がないことを意味しており、無人航空機が操縦者でない人を運搬することは除外しない。
【0049】
以下、添付の図面を参照しながら、本発明の実施形態を詳細に説明する。ただし、本発明を必要以上に細かく説明をすることは避ける。例えば、既によく知られた事項の詳細説明および実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。また、以下の実施形態は例示であり、本発明は以下の実施形態に限定されない。
【0050】
(計測対象エリアの計測)
まず、計測対象エリアの計測の例を説明する。
【0051】
図1は、3次元点群データを取得する対象である計測対象エリア50の計測の様子を示す図である。例示的な実施形態において、計測対象エリア50を山の斜面52に広がる森林54とし、無人ヘリコプター1を用いて森林計測を行う。森林54では地表面から複数の樹木が立ち上がっている。計測対象エリア50としての森林54は、斜面の森林(斜面林)に限定されず、平坦地の森林であってもよい。
【0052】
図2は、LiDARセンサ(ライダーセンサ)20が設けられた無人ヘリコプター1の側面図である。
図3は、無人ヘリコプター1の正面図である。
【0053】
LiDARセンサ20はレーザビームのパルス(以下「レーザパルス」と略記する。)22を、出射方向を変えながら次々と出射し、出射時刻と各レーザパルスの反射パルスを取得した時刻との時間差から各反射点の位置までの距離を計測することができる。「反射点」は、森林54を構成する各樹木の樹冠および幹、斜面および平坦地等の地表面であり得る。
【0054】
LiDARセンサ20は、任意の方法により、飛行体から森林までの距離を計測し得る。LiDARセンサ20の計測方法としては、例えば機械回転方式、MEMS方式、フェーズドアレイ方式がある。これらの測定方法は、それぞれレーザパルスを出射する方法(スキャンの方法)が異なっている。例えば、機械回転方式のLiDARセンサは、レーザパルスの出射およびレーザパルスの反射光の検出を行う筒状のヘッドを回転させて、回転軸の周囲360度全方位の計測対象物をスキャンする。MEMS方式のLiDARセンサは、MEMSミラーを用いてレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンする。フェーズドアレイ方式のLiDARセンサは、光の位相を制御して光の出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンする。
【0055】
無人ヘリコプター1は、メインボディ2およびテールボディ3を有する機体4を備えている。機体4の下部には、ブラケット25を介してLiDARセンサ20が取り付けられている。メインボディ2の上部にはメインロータ5が設けられ、テールボディ3の後部にテールロータ6が設けられている。メインボディ2の前部にはラジエータ7が設けられている。メインボディ2の後部には飛行制御ボックス15が設けられている。メインボディ2内には、内燃機関であるエンジン8および発電装置9が設けられている。また、メインボディ2内には、いずれも図示しない吸気系、メインロータ軸、燃料タンクが収容されている。エンジン8が発生させた回転はメインロータ5およびテールロータ6に伝達され、メインロータ5およびテールロータ6が回転することにより無人ヘリコプター1は飛行する。
【0056】
メインボディ2の後部上側にはコントロールパネル10が設けられ、後部下側に表示灯11が設けられる。コントロールパネル10は、飛行前のチェックポイントやセルフチェック結果等を表示する。コントロールパネル10の表示は地上局でも確認できる。表示灯11は、GNSS制御の状態や機体の異常警告等の表示を行う。メインボディ2の中央部下側には、着陸時に機体4を支える脚であるスキッド12が設けられている。
【0057】
図4は、飛行制御ボックス(制御装置)15のハードウェア構成例を示している。飛行制御ボックス15は、測位モジュール15a、加速度センサ15b、気圧センサ15c、地磁気センサ15d、超音波センサ15e、通信装置15f、処理装置15g、記憶装置15jを収容する。記憶装置15jは、ROM(Read Only Memory)15h、RAM(Random Access Memory)15i等を含む。各構成要素は、例えば配線または内部バス15kを介して相互にデータを送受信し得る。なお、測位モジュール15aを初めとする各種のセンサを設ける位置は、常に飛行制御ボックス15内である必要はない。例えばGNSS衛星からの信号を取得しやすくするため、測位モジュール15aをテールボディ3上部に設けてもよい。
【0058】
測位モジュール15aは、GNSS衛星から送信されるGNSS信号を受信し、GNSS信号に基づいて測位を行う。測位モジュール15aは、無人ヘリコプター1の現在位置の地理座標を示す位置データを出力する。GNSSは、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System、例えばみちびき)、GLONASS、Galileo、およびBeiDouなどの衛星測位システムの総称である。測位方法として、必要な精度の位置情報が得られる任意の測位方法が採用され得る。測位方法として、例えば、干渉測位法または相対測位法が採用されてもよい。測位モジュール15aの数は1個であってもよいし、複数(例えば2個)であってもよい。
【0059】
加速度センサ15bは、X軸、Y軸およびZ軸の各方向の加速度を検出する三軸加速度センサである。加速度センサ15bが六軸加速度センサであれば、さらに無人ヘリコプター1のロール加速度、ピッチ角速度およびヨー加速度を検出可能である。なお、加速度センサ15bは、一軸加速度センサまたは二軸加速度センサを複数有し、これら一軸加速度センサまたは二軸加速度センサによりXYZの各方向の加速度を検出する構成であってもよい。気圧センサ15cは気圧を検出する。検出された気圧から現在の標高を知ることができる。なお気圧と標高との関係式は公知であるから、本明細書では説明は省略する。地磁気センサ15dは無人ヘリコプター1の現在の方位を検出する。超音波センサ15eは、低空飛行時の絶対高度の検出に用いられる。加速度センサ15bおよび地磁気センサ15dの各々から出力されるデータ(機体データ)を利用することにより、無人ヘリコプター1の現在の姿勢を判断することができる。飛行データおよび機体データは、処理装置15gに提供される。
【0060】
通信装置15fは、Bluetooth(登録商標)および/またはWi-Fi(登録商標)規格に準拠した無線通信を行う通信回路を有する。通信装置15fはさらに、携帯電話回線または人工衛星を経由する回線を利用した無線通信を行ってもよい。通信装置15fは、飛行前においては飛行経路のデータを受信し、飛行時には無線によって地上と必要な通信を行う。飛行経路のデータは、無人ヘリコプター1が飛行すべき経路の座標および絶対高度の各データを含む。
【0061】
記憶装置15jは、処理装置15gの動作を制御するコンピュータプログラムを記憶している。記憶装置15jは、無人ヘリコプター1の飛行の制御および森林計測の制御を処理装置15gに実行させるためのコンピュータプログラムを記憶し得る。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介して無人ヘリコプター1に提供され得る。コンピュータプログラムは、無線通信により無人ヘリコプター1に提供されてもよい。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0062】
処理装置15gは、記憶装置15jに記憶された制御プログラムを実行して無人ヘリコプター1を飛行させる。より具体的には処理装置15gは、上述した飛行データ、機体データ、エンジン回転数やスロットル開度などの運転状態データ等を監視しながら、予め用意された飛行経路に沿って無人ヘリコプター1を飛行させる。
【0063】
図4に示す例では、飛行制御ボックス15は、LiDARセンサ20と接続されている。LiDARセンサ20は、スキャン結果(時刻データ、方角データおよび距離データ等の組)を飛行制御ボックス15に出力する。測位モジュール15aから出力される無人ヘリコプター1の飛行位置を示す地理座標のデータと、LiDARセンサ20から出力されるスキャン結果とを用いて、例えば地理座標系で表現された計測対象物の位置を算出することができる。
【0064】
なお、LiDARセンサ20は、飛行制御ボックス15と接続されていなくてもよい。この場合、LiDARセンサ20のスキャン結果は、LiDARセンサ20内の記憶装置に記憶され得る。LiDARセンサ20のスキャン結果は、無線通信によりLiDARセンサ20から外部に出力されてもよい。飛行制御ボックス15とLiDARセンサ20とで電源が共有されてもよい。
【0065】
また、測位モジュール15aが飛行制御ボックス15とは独立して無人ヘリコプター1に設けられ、その測位モジュール15aから飛行制御ボックス15およびLiDARセンサ20のそれぞれに位置データが出力されてもよい。この場合、LiDARセンサ20のスキャン結果は、LiDARセンサ20内の記憶装置に記憶され得る。また、測位モジュール15aが出力した位置データと、LiDARセンサ20のスキャン結果とを用いた計測対象物の位置の算出を、LiDARセンサ20内のプロセッサが行う場合は、その算出結果をLiDARセンサ20内の記憶装置に記憶してもよい。
【0066】
無人ヘリコプター1の飛行および運用を管理するオペレータは、飛行状態を目視しながら、予め用意した飛行経路に沿って無人ヘリコプター1を飛行させてもよい。テールボディ3(
図2)の後端部には、リモコン操縦機からの指令信号を受信するリモコン受信アンテナ13が設けられている。
【0067】
図2および
図3を参照して、LiDARセンサ20は、例えば近赤外線のレーザパルス22を出射(放射)し、当該レーザパルス22の反射光を検出することにより、反射点までの距離を測定する光学機器である。
【0068】
例示的な実施形態ではLiDARセンサ20は機械回転方式であり、レーザパルス22の出射およびレーザパルス22の反射光の検出を行うヘッド23は、回転軸21を中心として回転する。ヘッド23が回転することで、360度全方位をスキャンすることができる。本実施形態では、LiDARセンサ20のスキャン可能範囲のうち無人ヘリコプター1の機体4等に遮られる範囲は計測結果に反映しない。記載の便宜上、
図3では360度全方位に放射されるレーザパルス22のうちの一部のみを示している。本明細書では、LiDARセンサ20のヘッド23の回転を“LiDARセンサ20の回転”と表現する場合がある。
【0069】
LiDARセンサ20のヘッド23は、回転することにより出射口の方向を変化させ、所定角度ピッチα(rad)ごとに同時に複数個のレーザパルス22を出射する。
図2では、一例として、LiDARセンサ20の回転軸21が通るある平面に沿って同時に出射されるN個のレーザパルス22を示している。記載の便宜上、パルス状ではなくビーム状でレーザパルス22を記載している。なお、「同時」は厳密に同じ時刻である必要はなく、概ね同じ時刻であることも含む。Nの値は任意であり、例えば、12、16、32または64であるが、Nはこれらの値に限定されない。LiDARセンサ20のヘッド23には、例えばN個のレーザ光源が並べられており、N個のレーザパルス22の出射口からレーザパルス22が出射される。レーザ光源は例えばレーザダイオードであるがこれに限定されない。
【0070】
図3を参照しながら、ある1つの出射口から出射されるレーザパルス22を説明する。LiDARセンサ20のヘッド23は、回転することにより出射口の方向を変化させ、所定角度ピッチα(rad)ごとにレーザパルス22を出射し、森林で反射した各レーザパルス22の反射光を検出する。これにより、当該所定角度ピッチαごとの方向における反射点までの距離のデータを得ることができる。所定角度ピッチαは固定値であってもよいし、可変値であってもよい。
【0071】
LiDARセンサ20としては、上述したようなレーザパルスの出射方向を揺動させ、揺動軸を中心とした所定の角度範囲内の計測対象物をスキャンするLiDARセンサが用いられてもよい。本明細書では、LiDARセンサ20の“回転”および“回転軸”は、このような“揺動”および“揺動軸”も含むとする。レーザパルスの出射方向を揺動させる場合の回転角度範囲は例えば180度以下であるが、それに限定されない。
【0072】
図2に示す例では、LiDARセンサ20は、その回転軸21が無人ヘリコプター1の機体の前後方向を向くように搭載されている。回転軸21が臨む方向は任意であり、例えば、LiDARセンサ20は、回転軸21が無人ヘリコプター1の機体4の左右方向を向くように搭載されていてもよい。また、LiDARセンサ20の回転軸は、無人ヘリコプター1の高さ方向に垂直な平面に対して傾いていてもよい。
【0073】
図5は、3次元点群データを取得する森林計測の様子を示す図である。
図5に示す例では、森林54は斜面52に広がっている。斜面52に広がる森林54に対して、斜め上方向からだけではなく、横方向からレーザパルス22を照射したり、斜め下方向からレーザパルス22を照射したりすることができる。横方向からのレーザパルス22の照射では、基本的に日光を受けるために水平に生えている葉の間をレーザパルス22が通りやすくなる。レーザパルス22は樹木56の樹冠56aだけでなく、樹木56の幹56b、下層植生58および地表面59等にも到達し、反射される。これにより、樹冠点群だけでなく幹点群、下層植生点群および地表面点群を含む3次元点群データを得ることができる。
【0074】
(画像生成システム)
次に、森林54等の複数の樹木56が存在する所定環境をセンシングして得られた3次元点群データを用いて、その所定環境の複数の断面を示す画像データを生成する画像生成システムを説明する。
【0075】
まず、3次元点群データを管理する管理システムを説明する。
図6は、3次元点群データを管理する管理システム100を示す図である。管理システム100では、無人ヘリコプター1、サーバコンピュータ110、端末装置120は、通信ネットワーク130を介して互いに通信することができる。
【0076】
サーバコンピュータ110は、3次元点群データおよび3次元点群データを用いて生成した画像データを格納し、それらのデータを管理するコンピュータである。サーバコンピュータ110は、例えばクラウドサーバまたはエッジサーバなどの、無人ヘリコプター1および端末装置120の位置から離れた場所に設置されたコンピュータであり得る。無人ヘリコプター1が取得した3次元点群データは、通信ネットワーク130を介してサーバコンピュータ110に送信される。サーバコンピュータ110は、受け取った3次元点群データを格納する。
【0077】
端末装置120は、ユーザが使用するコンピュータである。端末装置120は、スマートフォンまたはタブレットコンピュータなどのモバイル端末またはラップトップコンピュータである。端末装置120は、デスクトップPC(Personal Computer)などの据え置き型のコンピュータであってもよい。端末装置120は、断面画像を生成するために必要な情報をユーザが入力するための設定画面をディスプレイに表示する。ユーザが設定画面上で必要な情報を入力し送信の操作を行うと、端末装置120は、入力された情報をサーバコンピュータ110に送信する。サーバコンピュータ110は、その情報に基づいて断面画像を生成する。
【0078】
通信ネットワーク130は、例えばインターネットであるが、それに限定されない。無人ヘリコプター1、サーバコンピュータ110、端末装置120は、携帯電話回線または人工衛星を経由する回線を利用した無線通信により、相互に通信を行ってもよい。
【0079】
図7は、サーバコンピュータ110のハードウェア構成例を示すブロック図である。
図7に例示するサーバコンピュータ110は、処理装置(処理部)111、記憶装置115、通信装置116を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。処理装置111は、プロセッサ112、ROM(Read Only Memory)113、RAM(Random Access Memory)114を備える。
【0080】
プロセッサ112は、例えば中央演算処理装置(CPU)を含む半導体集積回路であり得る。プロセッサ112は、マイクロプロセッサまたはマイクロコントローラによって実現され得る。あるいは、プロセッサ112は、CPUを搭載したFPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、ASSP(Application Specific Standard Product)、または、これら回路の中から選択される二つ以上の回路の組み合わせによっても実現され得る。プロセッサ112は、ROM113に格納された、一つ以上の処理を実行するための命令群を記述したコンピュータプログラムを逐次実行し、所望の処理を実現する。
【0081】
ROM113は、例えば、書き込み可能なメモリ(例えばPROM)、書き換え可能なメモリ(例えばフラッシュメモリ)、または読み出し専用のメモリである。ROM113は、プロセッサ112の動作を制御するプログラムを記憶する。RAM114は、ROM113に格納された制御プログラムをブート時に一旦展開するための作業領域を提供する。
【0082】
記憶装置115は、フラッシュメモリまたは磁気ディスクなどの一つ以上の記憶媒体を含む。
【0083】
記憶装置115は、例えば磁気記憶装置、光学記憶装置、半導体記憶装置またはそれらの組み合わせである。磁気記憶装置の例は、ハードディスクドライブ(HDD)である。光学記憶装置の例は、光ディスクドライブまたは光磁気ディスク(MD)ドライブなどである。半導体記憶装置の例は、ソリッドステートドライブ(SSD)である。記憶装置115は、3次元点群データ140および3次元点群データ140を用いて生成した画像データ170等の各種のデータを記憶する。記憶装置115が記憶するデータには、LiDARセンサ20を搭載する無人ヘリコプター1を用いて計測を行った所定環境の地図データが含まれ得る。
【0084】
記憶装置115は、プロセッサ112に各種の動作を実行させるコンピュータプログラムを記憶してもよい。そのようなコンピュータプログラムは、記憶媒体(例えば半導体メモリまたは光ディスク等)または電気通信回線(例えばインターネット)を介してサーバコンピュータ110に提供され得る。そのようなコンピュータプログラムが、商用ソフトウェアとして販売されてもよい。
【0085】
通信装置116は、無人ヘリコプター1および端末装置120とデータ通信を行うための通信モジュールである。通信装置116は、有線通信および/または無線通信を行うことができる。通信装置116は、例えば、USB、IEEE1394(登録商標)、またはイーサネット(登録商標)などの通信規格に準拠した有線通信を行うことができる。通信装置116は、例えば、Bluetooth(登録商標)規格および/またはWi-Fi(登録商標)規格に準拠した無線通信を行うことができる。通信装置116は、BLE(Bluetooth Low Energy)またはLPWA(Low Power Wide Area)の通信方式に準拠した無線通信を行うことが可能な通信モジュールであってもよい。BLEまたはLPWAなどの通信方式を利用することにより、低消費電力で長距離かつ広範囲の通信を実現することができる。通信装置116は、携帯電話回線または人工衛星を経由する回線を利用した無線通信を行ってもよい。
【0086】
図8は、端末装置120のハードウェア構成例を示すブロック図である。
【0087】
端末装置120は、処理装置(処理部)121、記憶装置125、通信装置126、表示装置127、入力装置128を備える。これらの構成要素は、バスを介して相互に通信可能に接続される。処理装置121は、プロセッサ122、ROM123、RAM124を備える。
【0088】
入力装置128は、ユーザからの指示をデータに変換してコンピュータに入力するための装置である。入力装置128は、例えば、キーボード、マウス、タッチパネル、マイクまたはそれらの組み合わせであり得る。表示装置127は、例えば、液晶ディスプレイまたはOLED(Organic Light-Emitting Diode)ディスプレイであり得る。表示装置127は、森林54等の所定環境の地図およびその所定環境の断面の画像等を表示し得る。プロセッサ122、ROM123、RAM124、記憶装置125、および通信装置126のそれぞれに関する説明は、サーバコンピュータ110のハードウェア構成例において記載したとおりであり、それらの説明を省略する。
【0089】
本実施形態では、サーバコンピュータ110は、3次元点群データを用いて複数の断面を示す画像データを生成する画像生成システムとして動作する。端末装置120がそのような画像生成システムとして動作してもよいし、サーバコンピュータ110と端末装置120とが協働して画像生成システムとして動作してもよい。以下では、サーバコンピュータ110が画像生成システムとして動作する例を主に説明する。
【0090】
画像生成システムとして動作するサーバコンピュータ110は、所定環境の地図およびその所定環境の断面の画像等を表示する表示装置を備えていてもよいし、備えていなくてもよい。3次元点群データ140は、サーバコンピュータ110の外部の記憶装置に格納されていてもよく、そのような記憶装置から3次元点群データ140を読み出してもよい。
【0091】
また、以下では、LiDARセンサ20を搭載した無人ヘリコプター1を飛行させて取得した3次元点群データを用いて複数の断面を示す画像データを生成する実施形態を説明する。画像データの生成に用いる3次元点群データは、無人ヘリコプター1等の航空機を飛行させて取得した3次元点群データに限定されない。例えば、LiDARセンサを搭載した車両等が所定環境の地表面を走行して取得した3次元点群データを用いてもよいし、LiDARセンサを所持する人間が所定環境の地表面を歩行して取得した3次元点群データを用いてもよい。また、そのような航空機、車両、人間等の複数種類の手段により取得された3次元点群データを組合わせて用いてもよい。
【0092】
図9は、3次元点群データ140を用いて複数の断面を示す画像データを生成する処理の例を示すフローチャートである。
【0093】
ユーザが使用する端末装置120には、サーバコンピュータ110と通信を行うためのアプリケーションおよび/またはブラウザが予めインストールされている。サーバコンピュータ110と端末装置120との間のデータ通信は、サーバコンピュータ110の通信装置116、端末装置120の通信装置126、通信ネットワーク130を用いて行われる。
【0094】
まず、ユーザは、端末装置120の入力装置128を操作してサーバコンピュータ110にアクセスし、断面画像を生成したい所定環境を選択する。例えば、ユーザからのアクセスを受け付けたサーバコンピュータ110のプロセッサ112は、断面画像を生成可能な所定環境の一覧を示す情報を端末装置120に送信する処理を行う。断面画像を生成可能な所定環境は、3次元点群データ140を生成済みの環境である。端末装置120のプロセッサ122は、受け取った情報に基づいて、所定環境の一覧を表示装置127に表示させる。ユーザは入力装置128を操作して、表示された一覧の中から希望する所定環境を選択することができる。
【0095】
プロセッサ112は、ユーザが選択した所定環境の地図データを記憶装置115から読み出し、端末装置120に送信する処理を行う。プロセッサ122は、受け取った地図データに基づいて、所定環境の地図を表示装置127に表示させる。
【0096】
図10は、表示装置127に表示される地
図151の例を示す図である。この例では、所定環境は森林54である。破線152は等高線を表している。所定環境は、複数の樹木が存在する環境であり得、森林に限定されない。例えば、所定環境は、公園であってもよいし、道路およびその道路周辺を含む領域であってもよい。
【0097】
ユーザは、森林54のうちの断面を示す画像データを生成するコースを指定するために、入力装置128を操作して、地
図151に2個以上の点161をプロットする。例えば、点161をプロットしたい位置にポインタ156を移動させて所定のボタンをクリックすることで、点161をプロットすることができる。プロセッサ112は、ユーザがプロットした2個以上の点161を繋いたラインを生成する。プロセッサ112は、生成したラインを、複数の断面を示す画像データを生成する森林54のコースとして設定する(
図9のステップS11)。
【0098】
図11は、複数の断面を示す画像データを生成する森林54のコースの例を示す図である。
図11に示す例では、4個の点161がプロットされており、プロセッサ112は、それら4個の点161を繋ぐライン162を生成する。ここでは、複数の線分で構成されたライン162を例示している。ライン162は、少なくとも1つの線分および/または少なくとも1つの曲線を含むポリラインやスプライン曲線等であり得る。プロセッサ112は、ライン162をコースとして設定する。
【0099】
地図データは、地図が示す所定環境の地理座標の情報を含んでいる。上述したLiDARセンサ20が出力する3次元点群データは、複数の点の位置に関する情報および光検出器の受信強度などの情報(属性情報)を含んでいる。複数の点の位置に関する情報は、例えば、点に対応するレーザパルスの出射方向と、LiDARセンサと点との間の距離の情報である。また例えば、複数の点の位置に関する情報は、ローカル座標系における点の座標の情報である。ローカル座標系は、無人ヘリコプター1とともに移動する座標系である。点に対応するレーザパルスの出射方向と、LiDARセンサと点との間の距離とから、ローカル座標系における各点の座標を演算することができる。LiDARセンサ20がレーザパルスの反射パルスを取得したときの無人ヘリコプター1の飛行位置の地理座標および標高、無人ヘリコプター1の向きに基づいて、ローカル座標系における点の座標からその点の地理座標および標高を演算することができる。サーバコンピュータ110の記憶装置115に格納された3次元点群データ140は、各点の地理座標および標高の情報を含んでいる。
【0100】
コース162が設定されると、次に、一つの断面を示す画像データを生成するために3次元点群データ140から複数の点を抽出する抽出範囲の大きさの設定を行う(ステップS12)。本実施形態では、3次元点群データから抽出した複数の点のそれぞれに所定の大きさの面積を付与し、それら複数の点を所定の平面に投影して得られる2次元データを一つの断面を示す画像データとして生成する。
【0101】
図12は、表示装置127に表示される抽出範囲163および入力欄157の例を示す図である。プロセッサ112からの指令に基づき、抽出範囲163の大きさをユーザが指定するための入力欄157が表示装置127に表示される。ユーザは入力装置128を操作して、抽出範囲163の左右幅Wおよび奥行きDの値を入力欄157に入力する。左右幅(第1幅)Wは、コース162と交差する方向の抽出範囲163の大きさである。奥行き(第2幅)Dは、コース162に沿った方向の抽出範囲163の大きさである。左右幅Wは、例えばコース162と直交する方向の抽出範囲163の大きさであるが、それに限定されない。奥行きDは、例えばコース162と平行な方向の抽出範囲163の大きさであるが、それに限定されない。
図12に示す例では、左右幅Wの値として30.0mが入力され、奥行きDの値として3.0mが入力されている。左右幅Wおよび奥行きDの値は任意であり、それに限定されない。
【0102】
左右幅Wの値および奥行きDの値の少なくとも一方についてデフォルト値が予め設定されていてもよい。デフォルト値が予め設定されていることにより、ユーザが行う操作をより簡単にすることができる。
【0103】
抽出範囲163の大きさが決定すると、プロセッサ112は、コース162に沿って順に配置される複数の抽出範囲163を生成する。
図13は、コース162に沿って順に連続して配置された複数の抽出範囲163の例を示す図である。
図13に示す例では、22個の抽出範囲163a-163vがコース162に沿って配置されている。生成する抽出範囲163の個数は任意である。例えば、抽出範囲163の個数は、コースの大きさと抽出範囲163の大きさとの関係に基づいて変化する。プロセッサ112は、一つの抽出範囲163に対して一つの断面画像を生成する。抽出範囲163の個数が22個の場合は、22個の断面画像が生成される。
【0104】
コース162の曲がっている部分では、互いに隣接する抽出範囲163同士が一部重複してもよい。複数の抽出範囲163a-163vは、コース162に沿って隙間無く連続して設けられ得る。これにより、コース162に沿った範囲に属する3次元点群データ140の複数の点を漏れなく反映させた連続的な複数の断面を示す画像データを生成することができる。
【0105】
本実施形態では、コース162に沿って順に配置された複数の抽出範囲163から複数の断面画像を生成する。これにより、コース162に沿った互いに異なる位置でコース162と交差する複数の断面を示す画像データが得られる。画像データ170が示す複数の断面は、コース162上の所定間隔で並んだ複数の位置でコース162と交差し得る。
【0106】
図14は、コース162に沿って順に連続して配置された複数の抽出範囲163の別の例を示す図である。
図14に示す例では、コース162のカーブ部分の外側の領域において、互いに隣接する抽出範囲163の間に隙間が生じている。互いに隣接する抽出範囲163同士を重複させる程度、および/またはコース162の曲がり具合によっては、このような隙間が生じる場合がある。このような場合でも、複数の抽出範囲163を通る中心線となるコース162の近傍およびカーブ部分の内側の領域においては、互いに隣接する抽出範囲163同士は一部が重複している。これにより、コース162に沿った範囲に属する3次元点群データ140の複数の点の概ね全てを反映させた連続的な複数の断面を示す画像データを生成することができる。
図14に示す例では、21個の抽出範囲163a-163uがコース162に沿って配置されている。以下の説明では、主に
図13に示す複数の抽出範囲163a-163vを採用して複数の断面画像を生成する処理を説明するが、
図14に示す複数の抽出範囲163a-163uを採用して複数の断面画像を生成してもよい。
【0107】
プロセッサ112は、3次元点群データ140から、複数の抽出範囲163a-163v内の地理座標と一致する複数の点を抽出する(ステップS13)。それら抽出した複数の点は、複数の断面画像の生成に用いる点である。
【0108】
プロセッサ112は、表示装置127に表示させる断面の画像の範囲の上端および下端のそれぞれに対応する標高を設定する(ステップS14)。
図15は、断面の画像の範囲166の上端167に対応する標高および下端168に対応する標高の設定方法を説明する図である。
【0109】
上述したように、3次元点群データ140は、各点の地理座標および標高の情報を含んでいる。プロセッサ112は、ステップS13で3次元点群データ140から抽出した複数の点の中から、標高が最も高い点および標高が最も低い点をさらに抽出する。
【0110】
プロセッサ112は、表示装置127に表示させる断面の画像の範囲166の上端167に対応する標高を、標高が最も高い点の標高に設定する。プロセッサ112は、断面の画像の範囲166の下端168に対応する標高を、標高が最も低い点の標高に設定する。
【0111】
プロセッサ112は、上端167に対応する標高および下端168に対応する標高を、複数の断面の画像の間で共通にする。上端167および下端168に対応する標高を複数の断面の画像の間で共通にすることにより、断面の画像の範囲166の中心部169に対応する標高は、複数の断面の画像の間で共通となる。これにより、表示装置127に複数の断面の画像を連続して表示するときに、実際の地表面の標高の変化に応じて、表示装置127の画面上の地表面の位置が上下に移動することになり、ユーザは、指定したコース162の地表面の標高の変化を直感的に理解することができる。
【0112】
プロセッサ112は、一つの抽出範囲163に対して一つの断面の画像を生成する。プロセッサ112は、3次元点群データ140から、一つの抽出範囲163に属する複数の点を抽出する。プロセッサ112は、抽出した複数の点のそれぞれに所定の大きさの面積を付与し、それら複数の点を所定の平面に投影して得られる2次元データを一つの断面を示す画像データとして生成する。所定の平面は、例えばコース162と直交する平面であるが、それに限定されない。
【0113】
プロセッサ112は、22個の抽出範囲163a-163vそれぞれに対して上記の2次元データを生成し、これにより22個の断面画像171a-171vの画像データ170が得られる(ステップS15)。
【0114】
図16は、複数の断面画像の例を示す図である。
図16では、22個の断面画像171a-171vのうちの一部である6個の断面画像171a、171e、171i、171n、171r、171vを示している。6個の断面画像171a、171e、171i、171n、171r、171vは、抽出範囲163a、163e、163i、163n、163r、163vに対応する断面画像である。
【0115】
プロセッサ112は、22個の断面画像171a-171vの画像データ170を記憶装置115に格納するとともに端末装置120に送信する処理を行う。プロセッサ122は、受け取った画像データ170に基づいて、22個の断面画像171a-171vを表示装置127に表示させる(ステップS16)。
【0116】
例えば、プロセッサ112は、22個の断面画像171a-171vを、コース162に沿った順番で自動的に連続して切り替わる表示を行わせる指令を端末装置120に送信する。プロセッサ122は、受け取った指令に基づいて、断面画像171a-171vがコース162に沿った順番で自動的に連続して切り替わるように表示装置127に表示させる。端末装置120にインストールされたアプリケーションが、複数の断面画像を連続して表示させる機能を有しており、ユーザがその機能を選択したときに複数の断面画像を連続して表示させてもよい。
【0117】
ユーザは、コース162上の互いに異なる位置の複数の断面の画像171を連続的に切り替えて見ることができ、所定環境54内の指定したコース162およびその周辺の状態を直感的に理解することができる。
【0118】
複数の断面の画像171は、所定の時間間隔で切り替わるように表示される。所定の時間間隔は例えば0.5-1.0秒であるが、それに限定されない。所定の時間間隔の値はユーザが指定してもよい。複数の断面の画像171を所定の時間間隔で連続的に切り替えることで、ユーザは、残像効果により得られる実際に現場を歩いているような臨場感とともに、指定したコース162およびその周辺の状態を理解することができる。
【0119】
上述したように、複数の抽出範囲163がコース162に沿って連続して設けられることより、コース162に沿った範囲に属する3次元点群データ140の複数の点を反映させた連続的な複数の断面を示す画像データが生成される。ユーザは、コース162に沿った順番で自動的に連続して切り替わる断面画像171を見ることで、実際に現場を歩いているような臨場感とともに、指定したコース162およびその周辺の状態を理解することができる。
【0120】
また、上述したように、表示装置127に表示させる断面の画像の範囲166(
図15)の上端167に対応する標高および下端168に対応する標高は、複数の断面画像171の間で共通である。これにより、表示装置127に複数の断面画像171を連続して表示するときに、実際の地表面の標高の変化に応じて、表示装置127の画面上の地表面の位置が上下に移動することになり、ユーザは、指定したコース162の地表面の標高の変化を直感的に理解することができる。
【0121】
本実施形態では、ユーザは、2個以上の点161(
図11)をプロットするだけでコース162を設定することができる。ユーザが適当な間隔で2個以上の点161をプロットするだけで、プロットした点161と点161の間の範囲に属する3次元点群データ140の複数の点を反映させた連続的な複数の断面を示す画像データ170を得ることができる。ユーザは、簡単な操作で臨場感が大きい画像データ170を得ることができる。
【0122】
一般に3次元点群データのデータ量は大きく、3次元点群データの取り扱いは容易でないとともに、3次元点群データから断面画像を生成する処理の負荷は大きい。本実施形態では、3次元点群データ140はサーバコンピュータ110の記憶装置115に格納されるとともに、断面画像のデータの生成はサーバコンピュータ110のプロセッサ112が行う。ユーザは、端末装置120に大きな負荷を掛けることなく簡単な操作のみで所望の断面画像を見ることができる。
【0123】
上述したように、プロセッサ112は、生成した画像データ170を記憶装置115に格納させる。プロセッサ112は、ユーザからの要求に応じて記憶装置115から画像データ170を読み出し、端末装置120に送信することで、読み出した画像データ170が示す複数の断面画像171を表示装置127に表示させることができる。これにより、ユーザは、希望するタイミングで断面画像171を何度でも見ることができる。
【0124】
図17は、ユーザの要求に応じた断面画像の表示の例を示す図である。表示装置127には、ユーザが断面画像を見たい所定環境を選択するための選択欄158が表示される。例えばユーザが入力装置128を操作して“No.1”の欄のアイコン“表示”をクリックすると、対応する所定環境の地
図151が表示装置127に表示される。地
図151中には、断面画像を生成済みのコース162が示されている。ユーザは入力装置128を操作してポインタ156をコース162の所望の位置に合わせると、その位置に対応する断面画像171が表示装置127に表示される。これにより、ユーザは、見たい位置の断面画像171を見ることができる。ユーザが選択欄158中のアイコン“連続表示”をクリックすると、ユーザは、コース162に沿った順番で自動的に連続して切り替わる複数の断面画像171を見ることができる。
【0125】
以上、本発明の例示的な実施形態を説明した。本明細書は、以下の項目に記載の画像生成システム、画像生成方法およびコンピュータプログラムを開示している。
【0126】
[項目1]
複数の樹木56が存在する所定環境54をセンシングして得られた3次元点群データ140を用いて、所定環境54の複数の断面を示す画像データ170を生成する画像生成システム110であって、
ユーザが指定した所定環境54内のコース162を示す情報を取得し、コース162に沿った互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を、3次元点群データ140から生成する処理装置111、121を備える、画像生成システム110。
【0127】
本発明のある実施形態によれば、3次元点群データ140を用いて、ユーザが指定したコース162上の互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を生成する。ユーザは、互いに異なる位置の複数の断面の画像171を連続的に切り替えて見ることができ、所定環境54内の指定したコース162およびその周辺の状態を直感的に理解することができる。
【0128】
[項目2]
処理装置111、121は、画像データ170が示す複数の断面の画像171が、コース162に沿った順番で自動的に連続して切り替わる表示を表示装置127に行わせる、項目1に記載の画像生成システム110。
【0129】
これにより、ユーザは、コース162に沿った順番で自動的に連続して切り替わる断面の画像171を見ることで、実際に現場を歩いているような臨場感とともに、指定したコース162およびその周辺の状態を理解することができる。
【0130】
[項目3]
画像データ170が示す複数の断面は、コース162上の所定間隔で並んだ複数の位置でコース162と交差する、項目1または2に記載の画像生成システム110。
【0131】
これにより、ユーザは、一定の間隔毎の断面を順番に見ることができる。
【0132】
[項目4]
表示装置127に表示させる断面の画像の範囲166の上端167に対応する標高および下端168に対応する標高は、画像データ170が示す複数の断面の画像171の間で共通である、項目1から3のいずれかに記載の画像生成システム110。
【0133】
実際の地表面の標高の変化に応じて、表示装置127に表示される地表面の位置が上下に変化することで、ユーザは、指定したコース162の地表面の標高の変化を直感的に理解することができる。
【0134】
[項目5]
処理装置111、121は、
複数の断面を示す画像データ170の生成に用いる3次元点群データ140の複数の点の中から、標高が最も高い点および標高が最も低い点を抽出し、
標高が最も高い点に基づいて、上端167に対応する標高を決定し、
標高が最も低い点に基づいて、下端168に対応する標高を決定する、項目4に記載の画像生成システム110。
【0135】
これにより、複数の断面のそれぞれを表示可能な画像の範囲166の上端167および下端168を決定することができる。
【0136】
[項目6]
表示装置127に表示させる断面の画像の範囲166の中心部169に対応する標高は、画像データ170が示す複数の断面の画像171の間で共通である、項目1から5のいずれかに記載の画像生成システム110。
【0137】
実際の地表面の標高の変化に応じて、表示装置127に表示される地表面の位置が上下に変化することで、ユーザは、指定したコース162の地表面の標高の変化を直感的に理解することができる。
【0138】
[項目7]
一つの断面を示す画像データ170を生成するために3次元点群データ140から複数の点を抽出する範囲163として、ユーザは、コース162と交差する方向の第1幅Wの大きさおよびコース162に沿った方向の第2幅Dの大きさを指定し、
処理装置111、121は、ユーザが指定した第1幅Wおよび第2幅Dに基づいて、3次元点群データ140から複数の点を抽出する、項目1から6のいずれかに記載の画像生成システム110。
【0139】
これにより、ユーザが希望する範囲の断面を示す画像データ170を生成することができる。
【0140】
[項目8]
処理装置111、121は、一つの断面を示す画像データ170を生成するために3次元点群データ140から抽出した複数の点を所定の平面に投影して得られる2次元データを一つの断面を示す画像データ170として生成する、項目7に記載の画像生成システム110。
【0141】
これにより、抽出した複数の点を反映させた断面を示す画像データ170を生成することができる。
【0142】
[項目9]
ユーザは、表示装置127に表示された所定環境54の地図に2個以上の点161をプロットし、
処理装置111、121は、ユーザがプロットした2個以上の点161を繋いたラインをコース162として設定する、項目1から8のいずれかに記載の画像生成システム110。
【0143】
ユーザは、2個以上の点161をプロットするだけでコース162を設定することができる。
【0144】
[項目10]
処理装置111、121は、一つの断面を示す画像データ170を生成するために3次元点群データ140から複数の点を抽出する抽出範囲163を、コース162に沿って複数個設定し、
複数の抽出範囲163のそれぞれは、コース162と交差する方向の第1幅Wおよびコース162に沿った方向の第2幅Dを有し、
複数の抽出範囲163は、コース162に沿って連続して設けられている、項目1から9のいずれかに記載の画像生成システム110。
【0145】
これにより、コース162に沿った範囲に属する3次元点群データ140の複数の点を反映させた連続的な複数の断面を示す画像データ170を得ることができる。
【0146】
ユーザが表示装置127に表示された地図に点をプロットする実施形態においては、ユーザが適当な間隔で2個以上の点161をプロットするだけで、プロットした点と点の間の範囲に属する3次元点群データ140の複数の点を反映させた連続的な複数の断面を示す画像データ170を得ることができる。
【0147】
ユーザは、簡単な操作で臨場感が大きい画像データ170を得ることができる。
【0148】
[項目11]
ユーザは、表示装置127に表示された所定環境54の地図中のコース162上の位置を指定し、
処理装置111、121は、ユーザが指定した位置に対応する断面の画像171を表示装置127に表示させる、項目1から10のいずれかに記載の画像生成システム110。
【0149】
これにより、ユーザは、見たい位置の断面の画像171を見ることができる。
【0150】
[項目12]
処理装置111、121は、
生成した複数の断面を示す画像データ170を記憶装置115に記憶させ、
ユーザからの要求に応じて、複数の断面を示す画像データ170を記憶装置115から読み出し、読み出した画像データ170が示す複数の断面の画像171を表示装置127に表示させる、項目1から11のいずれかに記載の画像生成システム110。
【0151】
これにより、ユーザは、希望するタイミングで断面の画像171を何度でも見ることができる。
【0152】
[項目13]
画像データ170が示す複数の断面は、コース162に沿った互いに異なる位置でコース162と直交している、項目1から12のいずれかに記載の画像生成システム110。
【0153】
これにより、直感的に理解しやすい断面の画像171をユーザに提供することができる。
【0154】
[項目14]
所定環境54は森林地帯54である、項目1から13のいずれかに記載の画像生成システム110。
【0155】
ユーザは、森林地帯54の指定したコース162およびその周辺の状態を直感的に理解することができる。
【0156】
[項目15]
複数の樹木56が存在する所定環境54をセンシングして得られた3次元点群データ140を用いて、所定環境54の複数の断面を示す画像データ170を生成する画像生成方法であって、
ユーザが指定した所定環境54内のコース162を示す情報を取得すること、
コース162に沿った互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を、3次元点群データ140から生成すること、
を実行する、画像生成方法。
【0157】
本発明のある実施形態によれば、3次元点群データ140を用いて、ユーザが指定したコース162上の互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を生成する。ユーザは、互いに異なる位置の複数の断面の画像171を連続的に切り替えて見ることができ、所定環境54内の指定したコース162およびその周辺の状態を直感的に理解することができる。
【0158】
[項目16]
複数の樹木56が存在する所定環境54をセンシングして得られた3次元点群データ140を用いて、所定環境54の複数の断面を示す画像データ170を生成することをコンピュータに実行させるコンピュータプログラムであって、
コンピュータプログラムは、
ユーザが指定した所定環境54内のコース162を示す情報を取得すること、
コース162に沿った互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を、3次元点群データ140から生成すること、
をコンピュータに実行させる、コンピュータプログラム。
【0159】
本発明のある実施形態によれば、3次元点群データ140を用いて、ユーザが指定したコース162上の互いに異なる位置でコース162と交差する複数の断面を示す画像データ170を生成する。ユーザは、互いに異なる位置の複数の断面の画像171を連続的に切り替えて見ることができ、所定環境54内の指定したコース162およびその周辺の状態を直感的に理解することができる。
【産業上の利用可能性】
【0160】
本発明の実施形態によれば、森林等の複数の樹木が存在する環境の状態を簡便に把握することが可能な技術が提供される。
【符号の説明】
【0161】
1:無人航空機(無人ヘリコプター)、 2:メインボディ、 3:テールボディ、 4:機体、 5:メインロータ、 6:テールロータ、 7:ラジエータ、 8:エンジン、 9:発電装置、 10:コントロールパネル、 11:表示灯、 12:スキッド、 13:リモコン受信アンテナ、 15:飛行制御ボックス、 15a:測位モジュール、 15b:加速度センサ、 15c:気圧センサ、 15d:地磁気センサ、 15e:超音波センサ、 15f:通信装置、 15g:処理装置、 15j:記憶装置、 15k:内部バス、 20:LiDARセンサ、 21:回転軸、 22:レーザパルス、 23:ヘッド、 25:ブラケット、 50:計測対象エリア、 52:斜面、 54:森林、 56:樹木、 56a:樹冠、 56b:幹、 58:下層植生、 59:地表面、 100:管理システム、 110:サーバコンピュータ(画像生成システム)、 111:処理装置(処理部)、 112:プロセッサ、 113:ROM、 114:RAM、 115:記憶装置、 116:通信装置、 120:端末装置(画像生成システム)、 121:処理装置(処理部)、 122:プロセッサ、 123:ROM、 124:RAM、 125:記憶装置、 126:通信装置、 127:表示装置、 128:入力装置、 130:ネットワーク、 140:3次元点群データ、 151:地図、 152:等高線、 156:ポインタ、 157:入力欄、 158:選択欄、 161:点、 162:ライン(コース)、 163:抽出範囲、 166:画像の表示範囲、 167:上端、 168:下端、 168:中心部、 170:画像データ、 171:断面画像