特許 7457971 物量算出装置、および、物量算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-21

(45)【発行日】2024-03-29

(54)【発明の名称】物量算出装置、および、物量算出方法

(51)【国際特許分類】

   G01B 11/16 20060101AFI20240322BHJP

   G01B 11/24 20060101ALI20240322BHJP

【ＦＩ】

G01B11/16 Z

G01B11/24 A

【請求項の数】 17

(21)【出願番号】P 2021503526

(86)(22)【出願日】2020-02-19

(86)【国際出願番号】 JP2020006390

(87)【国際公開番号】W WO2020179438

(87)【国際公開日】2020-09-10

【審査請求日】2022-12-06

(31)【優先権主張番号】62/813,351

(32)【優先日】2019-03-04

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】福田 将貴

(72)【発明者】

【氏名】杉尾 敏康

(72)【発明者】

【氏名】松延 徹

(72)【発明者】

【氏名】吉川 哲史

(72)【発明者】

【氏名】寺西 研翔

【審査官】仲野 一秀

(56)【参考文献】

【文献】特開２０１６－１０３２６３（ＪＰ，Ａ）

【文献】特開２００３－７７０１１（ＪＰ，Ａ）

【文献】特開２００４－５４３０８（ＪＰ，Ａ）

【文献】特開２００５－１１４７４４（ＪＰ，Ａ）

【文献】特開２００２－３９７４７（ＪＰ，Ａ）

【文献】特開平９－３０４８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｃ ３／００－３／３２

Ｇ０１Ｃ １／００－１／１４

５／００－１５／１４

Ｇ０１Ｆ ２３／００

２３／１４－２３／２９６５

２３／８０

Ｇ０６Ｔ ７／００－７／９０

(57)【特許請求の範囲】

【請求項1】

それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、
前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、
前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分を算出し、前記差分が互いに異なる複数の属性情報を有する場合、前記複数の属性情報のうちの一部である２以上の属性情報に対応する前記差分の量と、前記２以上の属性情報と、を出力する算出部と、を備える
物量算出装置。

【請求項2】

前記一部である２以上の属性情報は、前記一部である２以上の属性情報に対応する前記差分が混合物であることを示す
請求項１に記載の物量算出装置。

【請求項3】

前記一部である２以上の属性情報は、前記一部である２以上の属性情報に対応する前記差分が自然物又は人工物であることを示す
請求項１に記載の物量算出装置。

【請求項4】

さらに、前記所定の空間を示す複数の画像から前記第１三次元モデルおよび前記第２三次元モデルのうち少なくとも一方を生成する生成部を備える
請求項１～３のいずれか１項に記載の物量算出装置。

【請求項5】

前記算出部は、前記差分が前記複数の属性情報を有する場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる
請求項１～４のいずれか１項に記載の物量算出装置。

【請求項6】

前記算出部は、前記種別ごとに前記差分の量を算出する
請求項５に記載の物量算出装置。

【請求項7】

前記差分の量は、前記差分の体積および重量の少なくとも一方である
請求項１～６のいずれか１項に記載の物量算出装置。

【請求項8】

前記位置合わせ部は、前記第１三次元モデルと前記第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第１三次元モデルと前記第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第１三次元モデルと前記第２三次元モデルとを移動させることで、前記第１三次元モデルと前記第２三次元モデルとを位置合わせする
請求項１～７のいずれか１項に記載の物量算出装置。

【請求項9】

前記位置合わせ部は、前記所定の空間のうちの一部である部分領域における前記第１三次元モデルが有する第１部分属性情報と、前記部分領域における前記第２三次元モデルが有する第２部分属性情報であって、前記第１部分属性情報と同じ第２部分属性情報と、に基づいて、前記部分領域における前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う
請求項１～７のいずれか１項に記載の物量算出装置。

【請求項10】

前記位置合わせ部は、前記部分領域における前記第１三次元モデルと前記第２三次元モデルとの位置合わせによる前記第１三次元モデル及び前記第２三次元モデルの少なくとも一方の移動に合わせて、前記部分領域以外の前記所定の空間の前記第１三次元モデル及び前記第２三次元モデルの少なくとも一方を移動させる
請求項９に記載の物量算出装置。

【請求項11】

前記位置合わせ部は、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが少なくとも２つの属性情報を有する場合、前記少なくとも２つの属性情報のうち、予め定められた属性情報であって、前記第１三次元モデルおよび前記第２三次元モデルがそれぞれ有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う
請求項１～１０のいずれか１項に記載の物量算出装置。

【請求項12】

前記少なくとも２つの属性情報のうち他の属性情報よりも前記予め定められた属性情報を優先する操作を受け付けるユーザーインターフェースをさらに備える
請求項１１に記載の物量算出装置。

【請求項13】

前記位置合わせ部によって前記第１三次元モデルと前記第２三次元モデルとの位置合わせが行われていない状態で、前記第１三次元モデルが有する属性情報、および、前記第２三次元モデルが有する属性情報を抽出する属性情報抽出部を備え、
前記位置合わせ部は、前記属性情報抽出部が抽出した前記第１三次元モデルが有する属性情報、および、前記第２三次元モデルが有する属性情報を用いて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う
請求項１～１２のいずれか１項に記載の物量算出装置。

【請求項14】

それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、
前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、
前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分を算出し、前記差分が互いに異なる複数の属性情報を有する場合、前記複数の属性情報のうちの一部である２以上の属性情報に対応する前記差分の量と、前記２以上の属性情報と、を出力する算出ステップと、を含む
物量算出方法。

【請求項15】

前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第１三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第２三次元モデルと、を取得し、
前記算出ステップでは、前記差分の量として前記土砂の量を算出する
請求項１４に記載の物量算出方法。

【請求項16】

前記位置合わせステップで前記第１三次元モデルと前記第２三次元モデルとの位置合わせが行われていない状態で、前記第１三次元モデルが有する属性情報、および、前記第２三次元モデルが有する属性情報を抽出する属性情報抽出ステップを含み、
前記位置合わせステップでは、前記属性情報抽出ステップで抽出した前記第１三次元モデルが有する属性情報、および、前記第２三次元モデルが有する属性情報を用いて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う
請求項１４又は１５に記載の物量算出方法。

【請求項17】

請求項１４～１６のいずれか１項に記載の物量算出方法をコンピュータが実行するための
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物量算出装置、および、物量算出方法に関する。

【背景技術】

【0002】

所定の空間に位置する物体に関する体積または重量等の量を測定する技術がある（例えば、特許文献１参照）。

【0003】

特許文献１に開示されている技術では、崩落現場における崩落発生前後の画像を比較して当該画像の位置合わせをし、位置合わせをした当該画像を用いて三次元モデルを生成し、生成した三次元モデルに基づいて崩落現場の被災量を算出する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００２－３２８０２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記被災量等の所定の空間に位置する物体の量を算出する処理には、処理時間が短いことが望まれている。

【0006】

本開示は、物体の量を算出する処理時間を短縮できる物量算出装置等を提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。

【0008】

また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。

【0009】

なお、本開示は、上記物量算出方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。また、本開示は、そのプログラムを記録したコンピュータによって読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体として実現されてもよい。また、本開示は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。

【発明の効果】

【0010】

本開示によれば、物体の量を算出する処理時間を短縮できる物量算出装置等を提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係る土砂量計測システムの概要を説明するための図である。

【図2】図２は、実施の形態に係る土砂量計測システムが実行する、属性情報を抽出する処理の概要を説明するための図である。

【図3】図３は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理の概要を説明するための図である。

【図4】図４は、実施の形態に係る土砂量計測システムの構成を示すブロック図である。

【図5】図５は、実施の形態に係る土砂量計測システムが備える撮像装置の構成を示すブロック図である。

【図6】図６は、実施の形態に係る土砂量計測システムが備える制御装置の構成を示すブロック図である。

【図7】図７は、実施の形態に係る土砂量計測システムが備える土砂量算出装置の構成を示すブロック図である。

【図8】図８は、実施の形態に係る土砂量計測システムが実行する、三次元モデルの位置合わせの処理を示すフローチャートである。

【図9】図９は、位置合わせ部が実行する２つの三次元モデルの位置合わせを説明するための図である。

【図10】図１０は、実施の形態に係る土砂量計測システムの処理を示すシーケンス図である。

【図11】図１１は、実施の形態に係る土砂量計測システムが実行する、土砂量の算出処理を示すフローチャートである。

【図12】図１２は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが２つの三次元モデルを位置合わせする際に提示する画像の一例を示す図である。

【図13】図１３は、実施の形態に係る土砂量計測システムが備えるユーザーインタフェースが提示する差異情報の一例を示す図である。

【発明を実施するための形態】

【0012】

（本開示の概要）
本開示の一態様に係る物量算出装置は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部と、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせ部と、前記位置合わせ部によって位置合わせされた前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出部と、を備える。

【0013】

従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を計測（算出）する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル（第１三次元モデル）と、当該物体が存在する状態での当該所定の空間を示す三次元モデル（第２三次元モデル）とを比較する。これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。

【0014】

また、例えば、本開示の一態様に係る物量算出装置は、さらに、それぞれが前記所定の空間を示す複数の画像から前記第１三次元モデルおよび前記第２三次元モデルのうち少なくとも一方を生成する生成部を備える。

【0015】

これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。

【0016】

また、例えば、前記算出部は、前記差分が互いに異なる複数の属性情報を含む場合、前記複数の属性情報を種別ごとに分類して出力することで、前記種別ごとに前記複数の属性情報をまとめて表示装置に表示させる。

【0017】

これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。

【0018】

また、例えば、前記算出部は、前記種別ごとに前記差分に含まれる量を算出する。

【0019】

これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。

【0020】

また、例えば、前記差分の量は、前記差分の体積および重量の少なくとも一方である。

【0021】

これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。

【0022】

また、例えば、前記位置合わせ部は、前記第１三次元モデルと前記第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、前記第１三次元モデルと前記第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの前記部分モデルの対応する位置の座標が一致するように、それぞれの前記部分モデルを移動させることで位置合わせした後で、それぞれの前記部分モデルの移動に合わせて前記第１三次元モデルと前記第２三次元モデルとを移動させることで、前記第１三次元モデルと前記第２三次元モデルとを位置合わせする。

【0023】

これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第１三次元モデルと第２三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。

【0024】

また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、前記第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップと、前記第１三次元モデルおよび前記第２三次元モデルのそれぞれが有する属性情報に基づいて、前記第１三次元モデルと前記第２三次元モデルとの位置合わせを行う位置合わせステップと、前記位置合わせステップで位置合わせした前記第１三次元モデルと前記第２三次元モデルとの差分の量を算出し、前記差分が有する属性情報と前記差分の量とを出力する算出ステップと、を含む。

【0025】

これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。

【0026】

また、例えば、前記取得ステップでは、土砂が流入される前の前記所定の空間を示す前記第１三次元モデルと、前記土砂が流入された後の前記所定の空間を示す前記第２三次元モデルと、を取得し、前記算出ステップでは、前記差分の量として前記土砂の量を算出する。

【0027】

これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。

【0028】

以下では、本開示の各実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する各実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の各実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。

【0029】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略または簡略化する場合がある。

【0030】

（実施の形態）
［概要］
図１は、実施の形態に係る土砂量計測システムの概要を説明するための図である。

【0031】

実施の形態に係る土砂量計測システム１０００（例えば、図４参照）は、所定の三次元空間Ａ１（以下、単に空間Ａ１ともいう）内を撮像（以下、撮影ともいう）するためのカメラ１００を複数台備える。具体例を挙げると、空間Ａ１は、土砂２１が堆積した道路２０上の空間である。別の具体例を挙げると、空間Ａ１は、土砂２１または流木等が堆積した河川上の空間である。土砂量計測システム１０００は、本開示に係る物量算出装置の一例である。

【0032】

複数台のカメラ１００のそれぞれは、互いに異なる位置に配置されており、それぞれが共通する三次元空間（例えば、空間Ａ１）を撮像する。このため、空間Ａ１内における複数台のカメラ１００の撮像対象の領域は、少なくとも一部に重複する領域を有する。例えば、複数台のカメラ１００は、道路２０上の土砂２１を含む空間Ａ１を一部囲むように、互いに異なる位置に設置される。また、複数台のカメラ１００は、それぞれ互いに異なる姿勢をとる。そして、複数台のカメラ１００の撮像対象の領域では、少なくとも一部が重複する。撮像対象の領域において少なくとも一部が重複することは、撮像により得られた映像データに基づいて空間Ａ１の三次元モデル（例えば、点群データ）を生成（再構成）するためである。

【0033】

なお、撮像の対象となる領域は、複数台のカメラ１００のうちの一部のカメラ１００で重複していてもよいし、複数台のカメラ１００の全てで重複していてもよい。

【0034】

また、複数台のカメラ１００は、同一カメラによって別々の時刻に撮像する、すなわち移動カメラであってもよい。このため、カメラ１００が移動カメラであれば、カメラ１００は１つ以上あればよく、個数は限定されない。

【0035】

三次元再構成で行う処理（空間Ａ１の三次元モデルを生成する処理）では、このように複数台のカメラ１００からそれぞれ得られた複数の映像（以下、映像は、画像ともいう）を用いて空間Ａ１を示す三次元モデル２２を算出（生成）する。三次元再構成で行う処理は、例えば、複数台のカメラ１００からそれぞれ得られた複数の画像間で対応付けを行い、得られた対応関係から幾何学的な計算を行うことで三次元モデル２２を算出する。

【0036】

ここで、三次元モデルとは、所定の三次元空間（本実施の形態では、空間Ａ１）の幾何学的な形状が表現されたデータのことである。三次元形状を表現するためのモデルは、例えば、複数の三次元点からなる点群である。また、三次元モデルは、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。

【0037】

なお、これら三次元モデルの表現は一例であり、三次元モデルの表現方法を限定するものではない。

【0038】

また、三次元モデルを生成するための元となるデータは、画像でなくてもよく、特に限定されない。例えば、三次元モデルを生成するための元となるデータは、ＬｉＤＡＲ等の計測器から取得されるデータでもよい。

【0039】

ＬｉＤＡＲは、物体との距離を測定するためのセンサである。所定の領域についてＬｉＤＡＲを走査（移動および測定）させることで、当該所定の領域に位置する物体の位置を算出できる。

【0040】

ＬｉＤＡＲ等のこの種の計測器は、電磁波を発し、且つ、発した電磁波が計測対象で反射された反射波を取得することで、三次元モデルを生成する。具体的には、計測器は、電磁波を発してから計測対象で反射して計測器に当該電磁波が戻るまでにかかった時間を計測し、計測した時間と電磁波の波長とを用いて、計測器と計測対象の表面上の点との間の距離を算出する。

【0041】

例えば、計測器は、当該計測器の基準点から予め定められた放射状の複数の方向へ電磁波を発する。例えば、計測器は、水平方向周りに第１の角度間隔で電磁波を発し、垂直方向周りに第２の角度間隔で電磁波を発する。このため、計測器は、当該計測器の周りの複数の方向それぞれにおける計測対象との間の距離を算出することで、計測対象上の複数の点の三次元座標を算出することができる。

【0042】

計測器は、例えば、電磁波としてのレーザ光を照射する。あるいは、計測器は、例えば、電磁波としてミリ波を出射することで計測対象との間の距離を計測する。

【0043】

図２は、実施の形態に係る土砂量計測システム１０００が実行する、属性情報を抽出する処理の概要を説明するための図である。具体的には、図２の（ａ）は、空間Ａ１を撮像することで生成された画像の一例を示す図である。図２の（ｂ）は、空間Ａ１を示す三次元モデルを示す図である。図２の（ｃ）は、図２の（ａ）に示す画像における「木」の属性情報を有する画素を拡大して示す図である。

【0044】

土砂量計測システム１０００は、空間Ａ１を複数台のカメラ１００により撮像した複数の画像データ、または空間Ａ１を再構成した三次元モデルを用いて、属性情報の抽出を行う。

【0045】

ここで、属性情報とは、画像または三次元モデルにおける特定の領域がどのような意味を持つかを認識した結果を示す情報である。属性情報は、例えば、画像における任意の領域に含まれる物体が「木」であるといった属性を示す情報である。また、別の例としては、属性情報は、点群で表現された三次元モデルにおける任意の部分点群が「木」であるといった属性を示す情報である。つまり、「木」、「流木」、「土砂」、「家」等は、それぞれ属性情報の一例である。このように、例えば、三次元モデルは、領域ごとに属性情報を有する。当該領域は、三次元モデルにおける予め定められた範囲でもよいし、三次元モデルを構成する三次元点ごとでもよく、特に限定されない。また、当該領域は、後述する部分モデルごとでもよい。つまり、三次元モデルは、後述する部分モデルごとに、属性情報を有してもよい。

【0046】

属性情報を抽出する処理は、例えば、セマンティックセグメンテーションを行うことで実現される。セマンティックセグメンテーションとは、画素、または三次元モデルの最小構成単位に対し、当該画素、または三次元モデルの最小構成単位の周辺の情報を用いて意味のあるラベル付けを行う処理である。

【0047】

具体的に例えば、セマンティックセグメンテーションとは、図２の（ｃ）に示すように、所定の三次元空間に存在する「木」が撮像された各画素に「木」というラベルがつけられる処理である。周辺画素の情報を参照することで、各画素のラベル付けを行うことが可能になる。周辺画素の情報は、Ｒ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）の値でもよいし、輝度値でもよいし、画素値の分布でもよいし、勾配でもよい。これによれば、例えば、「木」の属性情報が付与された点群の集合である部分モデルを「木」の属性情報を有する部分モデルとすることができる。

【0048】

属性情報の抽出は、例えば、予め定められた「木」等を示すデータからパターン認識等により行われる。ユーザーが後述するユーザーインタフェース４００（図４参照）を操作することにより、属性情報と画像または三次元モデルに含まれる物体との対応付けをしてもよい。

【0049】

図３は、実施の形態に係る土砂量計測システム１０００が実行する、土砂量の算出処理の概要を説明するための図である。具体的には、図３の（ａ）は、災害前の空間Ａ１を示す三次元モデルを示す図である。また、図３の（ｂ）は、災害後の空間Ａ１を示す三次元モデルを示す図である。また、図３の（ｃ）は、土砂量計測システム１０００が実行する差異情報を算出する処理を示す図である。図３の（ｄ）は、土砂量計測システム１０００が出力する差異情報の一例を示す図である。

【0050】

土砂量計測システム１０００は、空間Ａ１を再構成した、災害前の三次元モデル（以下、第１三次元モデルともいう）と、災害後の三次元モデル（以下、第２三次元モデルともいう）とを用いて差異を算出することで土砂２１の情報（差異情報）を抽出する。

【0051】

土砂量計測システム１０００は、２つの三次元モデルにおいて、災害前と災害後とで変化がより顕著な部分を抽出する。差異の算出結果は、差異情報としてユーザーに提示される。

【0052】

ここで、差異情報とは、例えば、三次元メッシュモデルにおいて、災害前の三次元モデルと災害後の三次元モデルとで面が重ならない、または交差しない三次元部分領域の体積である。このように算出される差異の量は、例えば、災害後に所定の三次元空間に堆積された土砂の量となる。

【0053】

また、差異情報は、２つの三次元モデルにおいて災害前と災害後とで変化がより顕著な部分における、属性情報の抽出によって得られた属性情報、例えば、土砂２１の中に含まれる流木またはがれき等の割合といった、互いに異なる複数の属性情報を含む混合物の情報を含んでもよい。

【0054】

混合物は、例えば、互いに異なる属性情報を有する複数の部分モデルの集合である。上記の例では、混合物は、土砂である。また、混合物（つまり、土砂）は、「流木」を示す属性情報を有する部分モデル（第１部分モデル）と、「がれき」を示す属性情報を有する部分モデル（第２部分モデル）とから構成される三次元モデルである。差異情報は、例えば、混合物に含まれる１以上の属性情報を含み、当該混合物の体積を差異の量として含み、かつ、当該混合物の体積における第１部分モデルが占める割合と第２部分モデルが占める割合とを示す情報を含む。

【0055】

また、属性情報の種別ごとに混合物が複数に分類されてもよい。例えば、混合物が「流木」を示す属性情報を有する部分モデル（第１部分モデル）と、「がれき」を示す属性情報を有する部分モデル（第２部分モデル）と、「標識」を示す属性情報を有する部分モデル（第３部分モデル）と、「信号機」を示す属性情報を有する部分モデル（第４部分モデル）とから構成されるとする。この場合、混合物は、自然物からなる第１部分モデルおよび第２部分モデルからなる混合物（第１混合物）と、人工物からなる第３部分モデルおよび第４部分モデルからなる混合物（第２混合物）と、に分類されてもよい。また、この場合、差異情報は、混合物の体積における第１混合物が占める割合と第２混合物が占める割合とを示す情報を含んでもよい。

【0056】

上記したように、差異情報は、例えば、２つの三次元モデルの差分の量を示す差分情報と、当該差分が有する属性情報と、を含む。差分の量は、例えば、当該差分の体積および重量の少なくとも一方である。

【0057】

なお、上記は、差異情報の一例であり、差異情報を限定するものではない。

【0058】

また、三次元モデルのスケールは、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、空間Ａ１のスケールに調整されていてもよい。また、２つの三次元モデルのうちの災害前、および災害後のどちらか一方の三次元モデルは、土砂量計測システム１０００の外部から与えられたスケールの情報からスケールが調整されてもよい。三次元モデルのスケールが同じになるように調整されることで、災害前の三次元モデルと災害後の三次元モデルとを同じスケールで差異を算出できる。これにより、空間Ａ１のスケールで土砂量を算出することができる。

【0059】

なお、土砂量計測システム１０００は、本開示に係る物量算出装置の一例である。上記した差異情報を算出する方法は、土砂以外の対象、例えば、倉庫の在庫量の算出に用いられてもよいし、施工作業時の作業箇所における施工部材等の算出に用いられてもよい。

【0060】

［構成］
＜土砂量計測システム＞
続いて、土砂量計測システム１０００の構成について詳細に説明する。

【0061】

図４は、実施の形態に係る土砂量計測システム１０００の構成を示すブロック図である。

【0062】

土砂量計測システム１０００は、複数の撮像装置１０ａ～１０ｎ（例えば、撮像装置１０ａ、撮像装置１０ｂ、～、撮像装置１０ｎまでのｎ（２以上の整数）台）、制御装置２００、土砂量算出装置３００、およびユーザーインタフェース４００を備える。撮像装置１０ａ～１０ｎは、制御装置２００と通信可能に接続されている。また、土砂量算出装置３００、およびユーザーインタフェース４００は、制御装置２００と通信可能に接続されている。

【0063】

なお、撮像装置１０ａ～１０ｎは、制御装置２００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。また、土砂量算出装置３００、およびユーザーインタフェース４００は、制御装置２００と有線通信可能に接続されていてもよいし、無線通信可能に接続されていてもよい。

【0064】

ユーザーインタフェース４００は、ユーザーからの操作を受け付けるための受付機器である。ユーザーインタフェース４００は、例えば、制御装置２００に接続される表示装置、タッチスクリーン、トラックパッド、キーボード、マウス、その他のコントローラ類、またはこれらの組み合わせによって実現される。また、ユーザーインタフェース４００は、本開示に係る物量算出装置が算出した属性情報および差分情報を表示するための表示装置の一例である。

【0065】

＜撮像装置＞
図５は、実施の形態に係る土砂量計測システム１０００が備える撮像装置１０ａの構成を示すブロック図である。なお、以降では、図４に示す撮像装置１０ａ～１０ｎの構成は、本実施の形態では互いに同じであるため、土砂量計測システム１０００が備える複数の撮像装置１０ａ～１０ｎのうちの１台の撮像装置について説明する場合には、撮像装置１０ａについて説明する。つまり、以降において撮像装置１０ａについて説明している箇所は、他の撮像装置１０ｂ～１０ｎについても同様のことがいえる。

【0066】

複数の撮像装置１０ａ～１０ｎは、それぞれが空間Ａ１を撮像するための図１に示すカメラ１００に相当するカメラを備える装置である。複数の撮像装置１０ａ～１０ｎのそれぞれが取り得る構成は、例えば、互いに共通である。

【0067】

なお、ここでいう空間Ａ１とは、複数台のカメラ１００それぞれの撮像領域の和集合である。

【0068】

撮像装置１０ａ～１０ｎのそれぞれは、カメラ１００を有し、架台１１０を備えてもよい。

【0069】

カメラ１００は、記憶部１０１、制御部１０２、光学系１０３、およびイメージセンサ１０４を備える。

【0070】

記憶部１０１には、制御部１０２が読み出して実行するプログラムが記憶されている。また、記憶部１０１には、イメージセンサ１０４を用いて撮影された撮像領域の映像データ、この映像データに付されるタイムスタンプ等のメタ情報、カメラ１００のカメラパラメータ、および、適用中のフレームレートまたは解像度等の撮影設定が一時的に記憶される。

【0071】

このような記憶部１０１は、例えばフラッシュメモリ等の書き換え可能な不揮発性の半導体メモリを用いて実現される。また、保存されるデータの書き換えの要否もしくは必要な保存期間等に応じて書き換え不可能なＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、または、揮発性のＲａＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ Ｍｅｍｏｒｙ）も記憶部１０１として用いられ得る。

【0072】

なお、土砂量計測システム１０００が備える撮像装置の個数は、特に限定されない。例えば、土砂量計測システム１０００が備える撮像装置の個数は、複数でもよい。また、土砂量計測システム１０００が備える各撮像装置１０ａ～１０ｎの特性は、共通でなくてもよい。また、各撮像装置１０ａ～１０ｎのそれぞれが備えるカメラ１００は、モノラルカメラに限定されず、ステレオカメラでもよい。

【0073】

また、土砂量計測システム１０００が備える撮像装置の個数は、当該撮像装置が位置および姿勢を変更することで複数の視点から空間Ａ１を撮像することができれば、１つでもよい。

【0074】

制御部１０２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いて実現され、記憶部１０１に記憶されるプログラムを読み出して実行することで、カメラ１００が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる。

【0075】

なお、制御部１０２は、カメラ１００が備える各構成要素を制御して撮像機能およびその他の機能を発揮させる専用回路により実現されてもよい。つまり、制御部１０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。

【0076】

光学系１０３は、撮像領域からの光をイメージセンサ１０４上に結像させる構成要素であり、レンズを含む光学素子を用いて実現される。また、光学系１０３は、焦点距離および画角が変更可能な構成であってもよい。また、光学系１０３には、広角レンズ、または魚眼レンズのような超広角レンズが用いられてもよい。例えば、本開示に係る物量算出装置が備えるカメラが撮影する映像が監視システムに用いられる場合、広範な撮像領域を得るために広角レンズが用いられることがある。

【0077】

イメージセンサ１０４は、光学系１０３によって集められた光を受光面で受け、この受けた光を、画像を示す電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、またはＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子で実現される。

【0078】

架台１１０は、土砂量の算出に用いられる映像を撮像によって生成中のカメラ１００を、所定の位置で固定し支えるための構成要素であり、例えば三脚で実現される。

【0079】

なお、この撮像の準備としてカメラ１００の固定位置を調整するために、架台１１０の脚部分は、長さおよび角度が調整可能であってもよい。

【0080】

また、架台１１０には、カメラ１００をパンまたはチルトするために雲台を回転させる機構、および上下に移動させるためのエレベータ機構等が備えられてもよい。あるいは、架台１１０は、ドリー、またはクレーン等の、カメラ１００を支えかつ移動させる機構を含んでもよい。

【0081】

なお、撮像装置１０ａ～１０ｎは、必ずしも固定されていなくてもよい。このため、撮像装置１０ａ～１０ｎは、架台１１０を有しない構成であってもよい。

【0082】

なお、土砂量計測システム１０００が備える撮像装置１０ａは、複数の固定カメラ、１つ以上の移動カメラ、またはそれらの組み合わせであれば特に個数は限定されない。また、モノラルカメラに限定されず、ステレオカメラのような複眼カメラが含まれていてもよい。

【0083】

＜制御装置＞
図６は、実施の形態に係る土砂量計測システム１０００が備える制御装置２００の構成を示すブロック図である。

【0084】

制御装置２００は、記憶部２０１、制御部２０２、およびタイマー２０３を備える。

【0085】

制御装置２００は、撮像装置１０ａ～１０ｎの制御、およびユーザーインタフェース４００への入出力をする。また、制御装置２００は、土砂量算出装置３００に対して各撮像装置１０ａ～１０ｎから受け取ったデータにおける土砂量算出指令を行う。

【0086】

このような制御装置２００は、例えばコンピュータである。この場合、記憶部２０１はこのコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、制御部２０２は、このコンピュータのＣＰＵで実現される。

【0087】

タイマー２０３は、制御部２０２を実現するＣＰＵが参照する、制御装置２００に備えられるタイマーである。

【0088】

記憶部２０１には、制御部２０２が読み出して実行するプログラムが記憶されている。また、記憶部２０１には、撮像装置１０ａ～１０ｎから受け取ったデータであって、制御部２０２による処理の対象であるデータが記憶される。

【0089】

制御部２０２は、記憶部２０１に記憶されるプログラムを読み出して実行することで、上記の撮像装置１０ａ～１０ｎおよび土砂量算出装置３００の制御を行う。

【0090】

また、制御部２０２は、これらの制御および処理に関するユーザーからの指令に対する処理を実行する。これらの処理のひとつとして、撮像装置１０ａ～１０ｎがそれぞれ備える複数台のカメラ１００による同期映像の撮影の制御が挙げられる。また、これらの処理のひとつには、土砂量算出指令が含まれていてもよい。

【0091】

制御部２０２は、機能的には、撮像制御部２０２ａ、ユーザー指示取得部２０２ｂ、および土砂量算出指令部２０２ｃを含む。

【0092】

制御部２０２に含まれるユーザー指示取得部２０２ｂは、ユーザーからの指示を取得するためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。

【0093】

また、制御部２０２に含まれる土砂量算出指令部２０２ｃは、土砂量算出指令のためのプログラムを制御部２０２が実行することで実現される機能的な構成要素である。

【0094】

なお、制御部２０２の、撮像制御部２０２ａ、ユーザー指示取得部２０２ｂ、および土砂量算出指令部２０２ｃは、撮像制御、ユーザー指示取得、土砂量算出指令、および土砂量算出処理等を発揮させる専用回路により実現されてもよい。つまり、制御部２０２は、ソフトウェアで実現されてもよいし、ハードウェアで実現されてもよい。

【0095】

撮像制御部２０２ａは、複数の撮像装置１０ａ～１０ｎのそれぞれに、撮像領域である空間Ａ１を異なる複数のタイミングで撮像させる。撮像制御部２０２ａは、複数の撮像装置１０ａ～１０ｎのそれぞれが、予め定められた位置にあり、かつ、予め定められた方向を向いた姿勢にある状態で、複数の撮像装置１０ａ～１０ｎに撮像領域を撮像させる。

【0096】

ユーザー指示取得部２０２ｂは、撮像装置１０ａ～１０ｎから提供された撮像状況情報をユーザーインタフェース４００へ送り、ユーザーからの入力を取得する。ユーザーからの入力とは、土砂量の算出を行う対象のデータの選択結果、土砂量算出処理の可否、またはそれらの組み合わせである。ユーザー指示取得部２０２ｂは、ユーザーからの入力が土砂量算出処理の可否である場合、土砂量算出処理の可否を、例えば土砂量算出指令部２０２ｃに出力する。

【0097】

土砂量算出指令部２０２ｃは、ユーザー指示取得部２０２ｂから受け取った土砂量算出処理の可否等に基づいて、土砂量算出装置３００に土砂量算出処理を実行させる。また、土砂量算出指令部２０２ｃは、土砂量の算出を行う対象のデータの選択結果に基づいて、土砂量算出装置３００に土砂量算出処理を実行させてもよい。土砂量算出指令部２０２ｃによる処理については具体例を後述する。

【0098】

＜土砂量算出装置＞
図７は、実施の形態に係る土砂量計測システム１０００が備える土砂量算出装置３００の構成を示すブロック図である。

【0099】

土砂量算出装置３００は、記憶部３０１および処理部３０２を備える。

【0100】

土砂量算出装置３００は、制御装置２００を介して受け取ったデータを処理する。具体的には、土砂量算出装置３００は、各撮像装置１０ａ～１０ｎが備えるカメラ１００が撮像した空間Ａ１内に存在する土砂２１に対して土砂量算出処理を実行する。

【0101】

土砂量算出装置３００が土砂量算出処理を実行する対象は、例えば、災害後の空間Ａ１である。これにより、災害前の空間Ａ１の三次元モデルとの差異を算出することで、空間Ａ１に堆積した土砂２１の量（土砂量）を求めることができる。

【0102】

また、土砂量算出装置３００が土砂量算出処理を実行する対象は、災害直後の空間Ａ１でなくてもよく、例えば、土砂撤去作業中の空間Ａ１でもよい。これにより、土砂量算出装置３００は、土砂量を逐次算出することで土砂撤去作業の進捗具合を算出することができる。

【0103】

なお、土砂量算出装置３００が土砂量算出処理を実行する対象は、災害前後の空間Ａ１でなくてもよく、特に限定されない。

【0104】

このような土砂量算出装置３００は、例えばコンピュータである。この場合、記憶部３０１は、このコンピュータの記憶装置であり、ハードディスクドライブもしくは各種の半導体メモリ、またはこれらの組み合わせで実現される。また、処理部３０２は、このコンピュータのＣＰＵで実現される。なお、土砂量算出装置３００は、制御装置２００と同じコンピュータにより実現されてもよい。

【0105】

記憶部３０１には、処理部３０２が読み出して実行するプログラムが記憶されている。また、記憶部３０１には、制御装置２００を介して撮像装置１０ａ～１０ｎから受け取ったデータ、および外部の装置から取得した三次元モデルのデータであって、処理部３０２による処理の対象であるデータが記憶される。つまり、記憶部３０１には、三次元再構成結果が記憶されていてもよいし、属性情報抽出結果が記憶されていてもよい。また、三次元再構成結果としては、災害前の三次元モデルが記憶されていてもよいし、災害後の三次元モデルが記憶されていてもよい。

【0106】

処理部３０２は、記憶部３０１に記憶されるプログラムを読み出して実行することで、撮像装置１０ａ～１０ｎから受け取ったデータの処理を行う。この処理のひとつとして、空間Ａ１の三次元再構成が挙げられる。

【0107】

処理部３０２は、画像取得部３０２ａ、三次元再構成部３０２ｂ、属性情報抽出部３０２ｃ、モデル取得部３０２ｄ、位置合わせ部３０２ｅ、および差異算出部３０２ｆを有する。

【0108】

画像取得部３０２ａは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得する。画像取得部３０２ａは、さらに、複数の画像と共に、当該複数の画像のそれぞれに対応しており、当該複数の画像のそれぞれが撮像されたカメラ１００を示すカメララベルを取得する。画像取得部３０２ａは、例えば、カメララベルが付与された画像を取得することで、複数の画像とカメララベルとを取得してもよい。複数の画像のそれぞれは、静止画像であってもよいし、動画像であってもよい。

【0109】

なお、校正処理（三次元再構成処理）に利用される複数の画像は、それぞれ、ある対応する１タイミングにおいて（つまり、同時刻において）複数の撮像装置１０ａ～１０ｎにより撮像されることで得られた画像であることが好ましい。画像取得部３０２ａにより取得された複数の画像は、記憶部３０１に記憶される。また、画像取得部３０２ａは制御装置２００から土砂量算出指令を受け取る前に、事前に画像およびカメララベルを記憶部３０１に記憶していてもよい。これにより、土砂量算出装置３００は、土砂量算出が必要と判断された際に、土砂量算出処理を開始できる。

【0110】

三次元再構成部３０２ｂは、それぞれが空間Ａ１を示す複数の画像から第１三次元モデルおよび第２三次元モデルのうち少なくとも一方を生成する。より具体的には、三次元再構成部３０２ｂは、空間Ａ１に対し、複数の撮像装置１０ａ～１０ｎにより撮影された複数の画像を用いて、空間Ａ１の三次元形状を算出する。例えば、三次元再構成部３０２ｂは、第１時刻の画像群を用いて当該第１時刻の空間Ａ１の三次元モデルを生成する。また、三次元再構成部３０２ｂは、当該第１時刻とは異なる時刻の画像群を用いて空間Ａ１の三次元モデルを生成する。このように、三次元再構成部３０２ｂは、同一領域の三次元モデルであって、互いに時刻の異なる第１三次元モデルと第２三次元モデルとを生成する。

【0111】

三次元再構成部３０２ｂは、例えば、複数の撮像装置１０ａ～１０ｎにより撮影された複数の画像間の対応付けを行い、対応関係から幾何学的な計算により空間Ａ１の三次元形状を算出する。三次元形状を表現するためのモデルは、点群で表現されてもよいし、ボクセルで表現されてもよいし、メッシュで表現されていてもよい。

【0112】

なお、これら三次元モデルの表現は、一例である。三次元モデルの表現方法は、上記に特に限定されない。

【0113】

属性情報抽出部３０２ｃは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像、三次元再構成部３０２ｂによって再構成された三次元モデル、または後述のモデル取得部３０２ｄで取得した三次元モデルに対し、属性情報の抽出を行う。属性情報抽出部３０２ｃは、例えば、三次元点群に対し、周囲の点の情報をもとに各点の属性を推定し、推定した属性を属性情報として算出する。また、属性情報抽出部３０２ｃは、例えば、画像データに対し、周囲の画素の情報をもとに各画像で撮像された物体の属性情報を推定し、推定した属性情報を再構成した三次元モデルの各最小構成単位と紐付ける。

【0114】

また、属性情報抽出部３０２ｃは、三次元再構成部３０２ｂによって再構成された三次元モデルを取得してもよいし、記憶部３０１から複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得してもよいし、記憶部３０１から取得した三次元モデルを取得してもよいし、後述のモデル取得部３０２ｄから三次元モデルを取得してもよい。

【0115】

モデル取得部３０２ｄは、三次元再構成部３０２ｂ、および記憶部３０１から三次元モデルを取得する。モデル取得部３０２ｄは、例えば、災害前の空間Ａ１を再構成したモデルを記憶部３０１から取得し、かつ、災害後の空間Ａ１を再構成したモデルを三次元再構成部３０２ｂから取得する。

【0116】

なお、モデル取得部３０２ｄは、記憶部３０１から２つ以上の三次元モデルを取得してもよい。例えば、モデル取得部３０２ｄは、空間Ａ１を示す第１三次元モデルと、空間Ａ１を示し、当該第１三次元モデルとは異なる第２三次元モデルと、を取得する。具体的には、モデル取得部３０２ｄは、第１時刻における空間Ａ１を示す第１三次元モデルと、当該第１時刻とが異なる第２時刻における空間Ａ１を示す第２三次元モデルと、を取得する。本実施の形態では、モデル取得部３０２ｄは、記憶部３０１から空間Ａ１における災害前後の２つの三次元モデル（つまり、災害前（第１時刻）における空間Ａ１を示す第１三次元モデル、および、災害後（第２時刻）における空間Ａ１を示す第２三次元モデル）を取得する。これにより、三次元再構成部３０２ｂにおいて三次元再構成処理を行わずとも、モデル間の差異を算出することが可能である。

【0117】

モデル取得部３０２ｄが取得する三次元モデルは、土砂量計測システム１０００の外部で画像データから算出されたモデルでもよいし、土砂量計測システム１０００の外部でレーザー計測から算出されたモデルでもよい。

【0118】

なお、取得する三次元モデルの表現方法は、ボクセルデータでもよいし、メッシュデータでもよいし、点群データでもよい。

【0119】

位置合わせ部３０２ｅは、モデル取得部３０２ｄにより取得した２つ以上の三次元モデルと、属性情報抽出部３０２ｃにより算出された属性情報と、を用いて三次元モデル間の座標系を統一する処理、つまり、三次元モデル同士の位置合わせをする処理を行う。つまり、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。具体的には、位置合わせ部３０２ｅは、属性情報をもとに、同じ属性情報を有する三次元モデルを含む空間Ａ１の一部の領域である部分領域を比較することにより、効率的にモデルの比較を行うことができる。

【0120】

位置合わせ部３０２ｅは、同じ属性情報を有する部分モデル内で組み合わせを変えながら部分モデル同士を対応付ける。

【0121】

次に、位置合わせ部３０２ｅは、少なくとも一つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点の比較を行う。

【0122】

ここで、部分モデルとは、三次元モデルの一部または全部の領域を示す最小構成単位の集合である。

【0123】

位置合わせ部３０２ｅは、部分モデル間で互いに最近傍の点を探索し対応付け、各点の位置の差が小さくなるように座標系の位置姿勢を調整する。位置合わせ部３０２ｅは、上記した部分モデルの対応付け、および点の対応付けを変更しながら繰り返し計算することにより、最も差が小さくなる座標系を算出し、算出したその座標系に座標変換した三次元モデルを算出する。

【0124】

上記のように、位置合わせ部３０２ｅは、属性情報に基づいて位置合わせ（座標変換およびサイズ合わせ）を行う。例えば、位置合わせ部３０２ｅは、複数の三次元モデルにおいて、同じ属性情報を有する三次元モデル（部分モデル）を複数の三次元モデルそれぞれで抽出する。位置合わせ部３０２ｅは、抽出した三次元モデルを比較して位置合わせをする。さらに、位置合わせ部３０２ｅは、位置合わせで変化させた部分モデルに合わせて三次元モデル全体を変化させる。つまり、位置合わせ部３０２ｅは、第１三次元モデルと第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第１三次元モデルと第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第１三次元モデルと第２三次元モデルとを移動させることで、第１三次元モデルと第２三次元モデルとを位置合わせする。

【0125】

これにより、位置合わせ部３０２ｅは、三次元モデル全体を一斉に位置合わせさせるよりも効率的に三次元モデルの位置合わせを行うことができる。

【0126】

変換後のモデルは、記憶部３０１に記憶されてもよい。

【0127】

部分モデルの対応付け、および最小構成単位の対応付けは、ランダムでもよいし、特徴量をもとにした選び方でもよい。また、部分モデルの対応付け、および最小構成単位の対応付けは、上記の方法に限定されない。なお、色付きモデル同士の位置合わせでは、色の差分の情報が位置合わせに用いられてもよい。

【0128】

また、三次元モデルのスケールは、災害前および災害後どちらか一方の三次元モデルが所望のスケールに調整されてもよい。例えば、空間Ａ１のスケールに調整されていてもよい。また、土砂量計測システム１０００の外部から与えられたスケールの情報から三次元モデルのスケールが調整されてもよい。三次元モデルのスケールを調整することで、災害前の三次元モデルと災害後の三次元モデルと同じスケールで差異を算出できる。これにより、空間Ａ１のスケールで土砂量を算出することができる。

【0129】

差異算出部３０２ｆは、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する。具体的には、差異算出部３０２ｆは、位置合わせ部３０２ｅにより座標系が統一された２つ以上の三次元モデル間の差異情報を算出する。差異算出部３０２ｆは、例えば、同じ座標系のメッシュモデルにおいて面が重ならない、または交差しない、面で被覆された三次元領域の体積を算出する。

【0130】

差異算出部３０２ｆが算出する差異情報には、差異が顕著な領域における属性情報、例えば、土砂に含まれる混合物の情報が含まれていてもよい。なお、上記の差異情報は、一例であり、本開示を限定する主旨ではない。

【0131】

差異算出部３０２ｆは、例えば、算出した差異情報をユーザーインタフェース４００に出力する。これにより、ユーザーは、ユーザーインタフェース４００を操作することで、差異情報（つまり、差分の量である土砂２１の量および属性）を確認できる。

【0132】

また、例えば、差異算出部３０２ｆは、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置（例えば、ユーザーインタフェース４００）に表示させる。この場合、例えば、差異算出部３０２ｆは、種別ごとに差分に含まれる量を算出する。

【0133】

［処理手順］
＜位置合わせ処理＞
図８は、実施の形態に係る土砂量計測システム１０００が実行する、三次元モデルの位置合わせの処理を示すフローチャートである。図９は、位置合わせ部３０２ｅが実行する２つの三次元モデルの位置合わせを説明するための図である。

【0134】

本実施の形態における土砂量算出装置３００が備える位置合わせ部３０２ｅは、まず、少なくとも２つ以上の三次元モデルに対し、同じ属性情報を有する部分モデル同士、例えば、「家」とラベル付けされた部分モデル同士を対応付ける（Ｓ３１）。つまり、この場合、例えば、２つの三次元モデルは、いずれも「家」を示す属性情報を有する部分モデルを含む。

【0135】

例えば、図９の（ａ）に示すように、第１三次元モデル５００と第２三次元モデル５１０との差分を算出するとする。この場合、位置合わせ部３０２ｅは、まず。第１三次元モデル５００と第２三次元モデル５１０とのいずれにも含まれる属性情報を有する部分モデルを抽出する。ここでは、位置合わせ部３０２ｅは、第１三次元モデル５００に含まれ、「家」の属性情報を有する第１部分モデル５０１と、第２三次元モデル５１０に含まれ、「家」の属性情報を有する第２部分モデル５１１と、を抽出したとする。次に、図９の（ｂ）に示すように、位置合わせ部３０２ｅは、第１部分モデル５０１と第２部分モデル５１１とを対応付ける。具体的には、位置合わせ部３０２ｅは、第１部分モデル５０１に含まれる１つ以上の特徴点と第２部分モデル５１１に含まれる１つ以上の特徴点とを抽出し、抽出した第１部分モデル５０１の特徴点と抽出した第２部分モデル５１１の特徴点とを対応付ける。ここで抽出する特徴点は、任意でよい。例えば、特徴点は、部分モデルにおける角部である。位置合わせ部３０２ｅは、第１部分モデル５０１の特徴点と抽出した第２部分モデル５１１の特徴点とで同じ特徴点同士を対応付ける。例えば、位置合わせ部３０２ｅは、第１部分モデル５０１の特徴点５２０と抽出した第２部分モデル５１１の特徴点５２１とを対応付ける。

【0136】

再び図８を参照し、ステップＳ３１の次に、位置合わせ部３０２ｅは、少なくとも１つ以上の同じ属性情報を有する部分モデル間で最小構成単位、例えば、点群で表現された三次元モデルであれば三次元点を比較し、部分モデル間の各点において互いに最近傍の点を探索し対応付けを行う（Ｓ３２）。

【0137】

次に、位置合わせ部３０２ｅは、ステップＳ３２で対応付けた各点の位置の差が小さくなるように、部分モデルの座標系の位置および姿勢を調整する（Ｓ３３）。例えば、図９の（ｃ）に示すように、位置合わせ部３０２ｅは、対応付けられた特徴点同士が同じ座標に位置するように、第１部分モデル５０１および第２部分モデル５１１の少なくとも一方を変化させる。例えば、位置合わせ部３０２ｅは、対応付けられた特徴点同士である特徴点５２０と特徴点５２１とがそれぞれ同じ座標に位置するように、第１部分モデル５０１および第２部分モデル５１１の少なくとも一方を移動させる。また、位置合わせ部３０２ｅは、部分モデルの変更にあわせて、三次元モデル全体を変更する。これにより、位置合わせ部３０２ｅは、第１三次元モデル５００と第２三次元モデル５１０とにおいて同じ物体を示すモデルが同じ位置および姿勢で位置するように変更する。

【0138】

なお、位置合わせ部３０２ｅは、位置および姿勢の調整時に三次元モデルのスケールを調整してもよい。また、スケールは、２つの三次元モデルのどちらか一方に合わせてもよいし、外部から得たスケールの情報をもとに２つの三次元モデルの両方のスケールを調整してもよい。

【0139】

再び図８を参照し、ステップＳ３３の次に、位置合わせ部３０２ｅは、ステップＳ３３で実行した部分モデル（例えば、図９に示す第１部分モデル５０１および第２部分モデル５１１の少なくとも一方）の位置および姿勢の変化が少ないか否かを判定する（Ｓ３４）。位置および姿勢を調整時の変化が大きければステップＳ３２へ、変化が小さければステップＳ３５に進む。

【0140】

ここで基準とする変化量は、予め任意に定められてよい。例えば、位置合わせ部３０２ｅは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が予め任意に定められた基準変化量以上である場合、次にステップＳ３２を実行する。一方、例えば、位置合わせ部３０２ｅは、部分モデルの位置および姿勢を調整した際の調整前後の変化量が上記基準変化量未満である場合、次にステップＳ３５を実行する。変化量とは、例えば、各点の移動量である。部分モデル全体をある基準点に対して回転させる場合、変化量は、当該回転による回転角度でもよい。

【0141】

次に、位置合わせ部３０２ｅは、位置および調整の結果から三次元モデルの全体を比較し、全体の差が大きいか否かを判定する（Ｓ３５）。全体の差が大きければ、ステップＳ３６へ、差が小さければステップＳ３７に進む。

【0142】

ここで基準とする全体の差は、予め任意に定められてよい。例えば、位置合わせ部３０２ｅは、三次元モデル全体の位置および姿勢を調整した際の調整前後の差が予め任意に定められた基準差以上である場合、次にステップＳ３６を実行する。一方、例えば、位置合わせ部３０２ｅは、三次元モデル全体の位置および姿勢を調整した際の調整前後の変化の差が上記基準差未満である場合、次にステップＳ３７を実行する。ここでの差とは、例えば、２つの三次元モデルにおける各三次元点で座標が一致しない点の量である。

【0143】

次に、位置合わせ部３０２ｅは、ステップＳ３１、およびステップＳ３２で取りうる全ての組み合わせが比較されたかを判定する（Ｓ３６）。全組み合わせが終了していればステップＳ３７に進み、終了していなければステップＳ３１に進む。ここで、例えば、ステップＳ３１に進んだ場合、位置合わせ部３０２ｅは、例えば、第１三次元モデル５００と第２三次元モデル５１０とで未だ比較していない部分モデルを抽出して対応付けを行う。

【0144】

なお、図８に示すステップおよびステップの順序はあくまで一例であって、特に限定されない。例えば、ステップＳ３３を終了した後、ステップＳ３６に進む構成であってもよい。また、ステップＳ３４、およびステップＳ３５を含まない構成であってもよい。

【0145】

最後に、位置合わせ部３０２ｅは、全体の差が最も小さくなる座標系、および座標変換後の三次元モデルを出力する（Ｓ３７）。

【0146】

＜シーケンス図＞
図１０は、実施の形態に係る土砂量計測システム１０００の処理を示すシーケンス図である。

【0147】

土砂量計測システム１０００は、ユーザーの処理指示があったときに、土砂量算出処理を開始する。

【0148】

制御装置２００は、撮像装置１０ａ～１０ｎ（図１０には、撮像装置１０ａのみを示す）に撮像指示を送り、撮像装置１０ａ～１０ｎから受け取った撮像映像を撮像情報としてユーザーインタフェース４００に送り、ユーザーに撮像情報を提示する（Ｓ４１）。撮像情報は、例えば、空間Ａ１の画像である。

【0149】

ユーザーは、ユーザーインタフェース４００を操作することで、撮像情報を確認し、撮像装置１０ａ～１０ｎが所望の空間を適切に撮像できているか、および処理を開始するのに十分な撮像情報であるか等を判断し、処理の指示を行う（Ｓ４２）。具体的には、ユーザーは、ユーザーインタフェース４００を操作することで、上記処理の指示を示す情報をユーザーインタフェース４００に制御装置２００へ送信させる。

【0150】

ユーザーインタフェース４００を介して送信されるユーザー処理指示は、土砂量算出処理を開始するか、撮像装置１０ａ～１０ｎが撮像を継続するかを示す情報または信号である。なお、ユーザー処理指示に、どの撮像情報を土砂量算出処理に用いるかを特定する情報、または出力したい結果を指定する情報が含まれていてもよい。

【0151】

次に、制御装置２００は、ユーザーインタフェース４００から受信したユーザーの処理指示を示す情報をもとに、土砂量算出処理を実行するか撮像装置１０ａ～１０ｎが撮像を継続するかを判定する（Ｓ４３）。制御装置２００は、土砂量算出処理を開始すると判定した場合（Ｓ４３でＹｅｓ）、土砂量算出指令、および撮像映像を土砂量算出装置３００に送信する。

【0152】

一方、制御装置２００は、撮像装置１０ａ～１０ｎが撮像を継続すると判定した場合（Ｓ４３でＮｏ）、撮像装置１０ａ～１０ｎに撮像を継続する指示を示す情報を送信し、撮像装置１０ａ～１０ｎに撮像を継続させる。

【0153】

次に、土砂量算出装置３００は、制御装置２００から受信した土砂量算出指令を示す情報を受信した場合、当該情報をもとに、撮像映像を用いて土砂量算出処理を実行する（Ｓ４４）。ステップＳ４４は、例えば、図９に示すステップＳ３１～ステップＳ３７の処理である。土砂量算出装置３００は、土砂量算出処理を完了した後、処理結果を示す情報を制御装置２００に送信する。

【0154】

次に、制御装置２００は、土砂量算出装置３００から受け取った処理結果をユーザー処理指示に基づいて整理し、ユーザーインタフェース４００に差異情報を出力（送信）する（Ｓ４５）。

【0155】

ユーザーインタフェース４００は、制御装置２００から受信した差異情報をユーザーに提示する（Ｓ４６）。ユーザーに提示される差異情報の具体例については、後述する。

【0156】

＜処理手順まとめ＞
図１１は、実施の形態に係る土砂量計測システム１０００が実行する、土砂量の算出処理を示すフローチャートである。

【0157】

本実施の形態における土砂量算出装置３００における土砂量の算出処理では、まず、画像取得部３０２ａは、複数の撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像を取得する（Ｓ５１）。

【0158】

次に、三次元再構成部３０２ｂは、複数の画像を用いて三次元再構成処理を実行する（Ｓ５２）。例えば、三次元再構成部３０２ｂは、空間Ａ１を示し、且つ、領域ごとに属性情報を有する第１三次元モデルと、空間Ａ１を示し、且つ、領域ごとに属性情報を有する第２三次元モデルであって、第１三次元モデルとは異なる（例えば、時刻が異なる）第２三次元モデルと、を生成する。

【0159】

次に、モデル取得部３０２ｄは、三次元再構成部３０２ｂ、または記憶部３０１から２つ以上の三次元モデルを取得する（Ｓ５３）。なお、三次元再構成部３０２ｂから一つ以上、記憶部３０１から一つ以上取得してもよいし、記憶部３０１から２つ以上取得してもよい。

【0160】

次に、属性情報抽出部３０２ｃは、撮像装置１０ａ～１０ｎによりそれぞれ撮像された複数の画像、または三次元モデルから属性情報を抽出する（Ｓ５４）。なお、ステップＳ５４は、ステップＳ５３の前に行われてもよいし、ステップＳ５３の後に行われてもよいし、またはその両方で行われてもよい。

【0161】

次に、位置合わせ部３０２ｅは、２つ以上の三次元モデルと属性情報とから座標を統一する処理を行う（Ｓ５５）。具体的には、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。例えば、位置合わせ部３０２ｅは、第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとで同一の点となる対応点を検出し、検出した対応点を用いて、第１三次元モデルと第２三次元モデルとの位置合わせを行う。位置合わせ部３０２ｅは、三次元モデルにおいて同じ属性情報を有する領域同士（つまり、互いに同じ属性情報を有する部分モデル同士）を比較することで、効率的に、かつ精度よく位置合わせを行うことができる。

【0162】

次に、差異算出部３０２ｆは、位置合わせ部３０２ｅにより座標系が統一された（つまり、位置合わせ部３０２ｅにより位置合わせされた）２つ以上のモデル間の差異情報を算出する（Ｓ５６）。差異情報には、例えば、差分の量を示す差分情報と、差分が有する属性情報とが含まれる。また、差異算出部３０２ｆは、例えば、算出した差異情報をユーザーインタフェース４００（より具体的には、制御装置２００を介してユーザーインタフェース４００）に出力する。ユーザーインタフェース４００は、取得した差異情報をユーザーに提示（より具体的には、表示）する。

【0163】

［出力例］
図１２は、実施の形態に係る土砂量計測システム１０００が備えるユーザーインタフェース４００が２つの三次元モデルを位置合わせする際に提示する画像６００の一例を示す図である。

【0164】

ユーザーインタフェース４００は、例えば、タッチパネルディスプレイ等を表示装置および入力装置を有するスマートフォン、タブレット端末等のモバイル端末を用いて実現される。

【0165】

なお、図１２に示すようなタブレット型のモバイル端末を用いて、位置合わせに用いる属性をユーザーが任意に選択してもよい。

【0166】

例えば、画像６００は、三次元画像６０１と、対象選択部６０２と、決定部６０３とを含む。

【0167】

三次元画像６０１は、災害後の三次元モデルを示す画像である。

【0168】

対象選択部６０２は、位置合わせ部３０２ｅが優先して対応付ける属性情報を有する部分モデルの選択を受け付けるための画像である。ユーザーは、例えば、三次元画像６０１または対象選択部６０２のうち、位置合わせ部３０２ｅに優先して対応付けさせたい属性情報または当該属性情報を有する部分モデルをタッチする。ユーザーインタフェース４００は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、例えば、図１０に示すステップＳ４２の後にユーザー処理指示を示す情報とあわせて制御装置２００に送信する。制御装置２００は、例えば、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報を、土砂量算出指令および撮像情報とともに土砂量算出装置３００に送信する。位置合わせ部３０２ｅは、例えば、ステップＳ３１では、まず、ユーザーにタッチされた属性情報または当該属性情報を有する部分モデルを示す情報に基づいて部分モデルを選択して対応付けをする。

【0169】

図１３は、実施の形態に係る土砂量計測システム１０００が備えるユーザーインタフェース４００が提示する差異情報の一例を示す図である。

【0170】

ユーザーインタフェース４００は、図１３に示すようなタブレット型のモバイル端末を用いて、算出した差分の量の一例である土砂量の結果を表示する。ユーザーインタフェース４００は、土砂量の体積以外に推定重量を算出結果として表示してもよい。

【0171】

また、ユーザーインタフェース４００は、属性情報抽出部３０２ｃで得た属性情報を用いて土砂に該当する部分の混合物を表示してもよい。これにより、土砂および混合物の撤去に必要な情報を効率的に取得できる。また、混合物の表示方法は文字に限定されず、３次元モデルまたは画像上の該当部分の色付けを行うことで実現してもよい。

【0172】

例えば、ユーザーインタフェース４００は、画像６１０を表示することで、ユーザーに差異情報を提示する。例えば、画像６１０は、三次元画像６１１と、強調線６１２と、差分量情報画像６１３と、属性情報画像６１４と、を含む。

【0173】

三次元画像６１１は、災害後の三次元モデルを示す画像である。

【0174】

強調線６１２は、三次元画像６１１において、災害前の三次元モデルとの差分の位置、領域等を示すための線である。図１３においては、強調線６１２を説明のために破線の円で示しているが、強調線６１２は、実線、破線、太線、他部とは異なる色が付されたカラー線、矩形、多角形等、任意でよい。

【0175】

差分量情報画像６１３は、ユーザーに差分量を提示するための画像である。差分量情報画像６１３には、例えば、差分の体積および土砂の推定重量を示す情報が含まれる。

【0176】

属性情報画像６１４は、ユーザーに差分に含まれる部分モデルが有する属性情報を提示するための画像である。例えば、属性情報画像６１４には、差分に含まれる部分モデルの属性情報として、「土砂」、「流木」、「標識」、「信号機」等を示す情報が含まれる。また、本例では、属性情報画像６１４には、差分全体における、属性情報に示される部分の体積または重量の割合が含まれる。このように、差分の量は、属性ごとに表示されてもよい。

【0177】

また、本例では、属性情報画像６１４は、第１種別画像６１５と、第２種別画像６１６と、を含む。

【0178】

第１種別画像６１５は、差分に含まれる複数の属性のうち、第１条件を満たす属性をまとめて提示するための画像である。

【0179】

第２種別画像６１６は、差分に含まれる複数の属性のうち、第２条件を満たす属性をまとめて提示するための画像である。

【0180】

これらのように、ユーザーインタフェースは、属性の種別ごとにまとめて属性情報および当該属性情報を有する部分モデルの量を表示してもよい。

【0181】

なお、本例では、第１条件は、自然物であり、第２条件は、人工物である。これらの条件は、予め任意に定められてよく、特に限定されない。

【0182】

［効果等］
以上説明したように、本開示の一態様に係る物量算出装置（例えば、土砂量計測システム１０００、より具体的には、土砂量算出装置３００）は、それぞれが同一の所定の空間（例えば、空間Ａ１）を示し、且つ、領域ごと（例えば、部分モデルごとまたは三次元モデルを構成する三次元点ごと）に属性情報を有する三次元モデルであって、第１三次元モデルと、当該第１三次元モデルとは異なる第２三次元モデルと、を取得する取得部（例えば、モデル取得部３０２ｄ）と、前記位置合わせ部によって位置合わせされた第１三次元モデルおよび第２三次元モデルのそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせ部３０２ｅと、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量とを出力する算出部（例えば、差異算出部３０２ｆ）と、を備える。

【0183】

従来、例えば、土砂災害現場等で崩落等の影響で所定の空間に流入した土砂量を算出する方法がある。レーザー計測による土砂量の算出では、高精度に量を算出できるが、算出に時間およびコストがかかる問題がある。そこで、本開示に係る物量算出装置では、例えば、所定の空間における、土砂等の量を算出したい物体が存在しない状態での当該所定の空間を示す三次元モデル（第１三次元モデル）と、当該物体が存在する状態での当該所定の空間を示す三次元モデル（第２三次元モデル）とを比較する。これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出装置によれば、物体の量を算出する処理時間を短縮できる。

【0184】

また、例えば、本開示に係る物量算出装置は、さらに、それぞれが所定の空間を示す複数の画像から第１三次元モデルおよび第２三次元モデルのうち少なくとも一方を生成する生成部（例えば、三次元再構成部３０２ｂ）を備える。

【0185】

これによれば、画像を生成するためのカメラ等の簡便な構成で、差分の量を算出できる。

【0186】

また、例えば、算出部は、差分が互いに異なる複数の属性情報を含む場合、当該複数の属性情報を種別ごとに分類して出力することで、種別ごとに複数の属性情報をまとめて表示装置（例えば、ユーザーインタフェース４００）に表示させる。

【0187】

これによれば、差分に含まれる物体の種別が分類されて表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別を理解させやすくできる。

【0188】

また、例えば、算出部は、種別ごとに差分に含まれる量を算出する。

【0189】

これによれば、差分に含まれる物体の種別ごとの量が表示装置に表示されるため、当該表示装置を確認するユーザーに差分に含まれる種別ごとの量を理解させやすくできる。

【0190】

また、例えば、差分の量は、差分の体積および重量の少なくとも一方である。

【0191】

これによれば、本開示に係る物量算出装置は、差分の量および体積の少なくとも一方を算出できる。

【0192】

また、例えば、位置合わせ部は、第１三次元モデルと第２三次元モデルとのそれぞれで共通する属性情報を有する部分モデルを、第１三次元モデルと第２三次元モデルとのそれぞれから抽出し、抽出したそれぞれの部分モデルの対応する位置の座標が一致するように、それぞれの部分モデルを移動させることで位置合わせした後で、それぞれの部分モデルの移動に合わせて第１三次元モデルと第２三次元モデルとを移動させることで、第１三次元モデルと第２三次元モデルとを位置合わせする。

【0193】

これによれば、本開示に係る物量算出装置は、三次元モデルの形状を比較することによる位置合わせ等の処理時間がかかる処理をせずに第１三次元モデルと第２三次元モデルとの位置合わせをできる。そのため、これによれば、本開示に係る物量算出装置の処理時間がさらに短縮され得る。

【0194】

また、本開示の一態様に係る物量算出方法は、それぞれが同一の所定の空間を示し、且つ、領域ごとに属性情報を有する三次元モデルであって、第１三次元モデルと、第１三次元モデルとは異なる第２三次元モデルと、を取得する取得ステップ（例えば、ステップＳ５３）と、第１三次元モデルおよび第２三次元モデルそれぞれが有する属性情報に基づいて、第１三次元モデルと第２三次元モデルとの位置合わせを行う位置合わせステップ（例えば、ステップＳ５５）と、第１三次元モデルと第２三次元モデルとの差分の量を算出し、差分が有する属性情報と差分の量を示す差分情報とを出力する算出ステップ（例えば、ステップＳ５６）と、を含む。

【0195】

これによれば、第１三次元モデルと第２三次元モデルとを適切に位置合わせをすることで、簡便に第１三次元モデルと第２三次元モデルとの差分を算出できる。そのため、本開示に係る物量算出方法によれば、物体の量を算出する処理時間を短縮できる。

【0196】

また、例えば、上記取得ステップでは、土砂が流入される前の所定の空間を示す第１三次元モデルと、当該土砂が流入された後の所定の空間を示す第２三次元モデルと、を取得し、上記算出ステップでは、前記差分の量として前記土砂の量を算出する。

【0197】

これによれば、所定の空間に土砂が流入されるような災害前後の当該所定の空間を示す三次元モデルを適切に位置合わせをすることで、簡便に差分となる土砂の量を算出できる。そのため、本開示に係る物量算出方法によれば、土砂の量を算出する処理時間を短縮できる。

【0198】

（その他の実施の形態）
以上、本開示に係る物量算出装置等について、上記実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。

【0199】

例えば、上記実施の形態では、物量算出装置等が備える処理部は、ＣＰＵと制御プログラムとによって実現されると説明した。例えば、当該処理部の構成要素は、それぞれ１つまたは複数の電子回路で構成されてもよい。１つまたは複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。１つまたは複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、または、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣまたはＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣまたはＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、または、ＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）も同じ目的で使うことができる。

【0200】

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、または、コンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）もしくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【0201】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェアまたはソフトウェアが並列又は時分割に処理してもよい。

【0202】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0203】

その他、上記実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【産業上の利用可能性】

【0204】

本開示は、三次元モデルから差分を算出する物量算出装置に適用でき、例えば、物体の量を算出する装置等に適用できる。

【符号の説明】

【0205】

１０ａ、１０ｂ、１０ｎ 撮像装置
２０ 道路
２１ 土砂
２２ 三次元モデル
１００ カメラ
１０１、２０１、３０１ 記憶部
１０２、２０２ 制御部
１０３ 光学系
１０４ イメージセンサ
１１０ 架台
２００ 制御装置
２０２ａ 撮像制御部
２０２ｂ ユーザー指示取得部
２０２ｃ 土砂量算出指令部
２０３ タイマー
３００ 土砂量算出装置
３０２ 処理部
３０２ａ 画像取得部
３０２ｂ 三次元再構成部
３０２ｃ 属性情報抽出部
３０２ｄ モデル取得部
３０２ｅ 位置合わせ部
３０２ｆ 差異算出部
４００ ユーザーインタフェース
５００ 第１三次元モデル
５０１ 第１部分モデル
５１０ 第２三次元モデル
５１１ 第２部分モデル
５２０、５２１ 特徴点
６００、６１０ 画像
６０１、６１１ 三次元画像
６０２ 対象選択部
６０３ 決定部
６１２ 強調線
６１３ 差分量情報画像
６１４ 属性情報画像
６１５ 第１種別画像
６１６ 第２種別画像
１０００ 土砂量計測システム
Ａ１ 三次元空間（空間）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】