特許 7118490 情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-08-05

(45)【発行日】2022-08-16

(54)【発明の名称】情報処理システム、情報処理方法、プログラム、移動体、管理サーバ

(51)【国際特許分類】

   G01B 21/20 20060101AFI20220808BHJP

   G01C 7/04 20060101ALI20220808BHJP

【ＦＩ】

G01B21/20 101

G01C7/04

【請求項の数】 12

(21)【出願番号】P 2022525057

(86)(22)【出願日】2021-12-13

(86)【国際出願番号】 JP2021045773

【審査請求日】2022-04-27

【早期審査対象出願】

(73)【特許権者】

【識別番号】518156358

【氏名又は名称】株式会社センシンロボティクス

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ特許業務法人

(72)【発明者】

【氏名】菅井 駿

【審査官】山▲崎▼ 和子

(56)【参考文献】

【文献】特開２０２０－０８６７５１（ＪＰ，Ａ）

【文献】特開２０１２－２５５６７４（ＪＰ，Ａ）

【文献】特開２００２－０９２０４４（ＪＰ，Ａ）

【文献】国際公開第２０１７／１１０８０１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ １／００－１５／１４

Ｇ０１Ｂ ２１／００－２１／３２

Ｇ０１Ｓ ７／４８－７／５１

１７／００－１７／９５

(57)【特許請求の範囲】

【請求項1】

少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備え、
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成されたものである、
ことを特徴とする情報処理システム。

【請求項2】

前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ間の差分情報を含む、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部をさらに備える、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータにおける前記構成物を示す構成物情報の変更のための前記更新データを生成する、
ことを特徴とする請求項３に記載の情報処理システム。

【請求項5】

前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項7】

前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得された撮影画像である、
ことを特徴とする請求項５または６のいずれかに記載の情報処理システム。

【請求項8】

前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づき推定される前記三次元点群モデルデータにおける自己位置推定情報を含む、
ことを特徴とする請求項１ないし７のいずれかに記載の情報処理システム。

【請求項9】

比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、を含み、
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成されたものである、
ことを特徴とするコンピュータによる情報処理方法。

【請求項10】

比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
をコンピュータに実行させ、
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成されたものである、
ことを特徴とするプログラム。

【請求項11】

少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備え、
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成されたものである、
ことを特徴とする移動体。

【請求項12】

少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新データを生成するデータ更新部、を備え、
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成されたものである、
ことを特徴とする管理サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、プログラム、移動体、管理サーバに関する。

【背景技術】

【0002】

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）や無人地上車両（ＵＧＶ：Ｕｎｍａｎｎｅｄ Ｇｒｏｕｎｄ Ｖｅｈｉｃｌｅ）などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献１には、ＬＩＤＡＲにより周辺環境のポイントクラウド（点群）を取得して屋内を飛行するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１３１９３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１では、飛行体が取得した点群データはオペレータ端末（ユーザ端末）に転送される旨が開示されているものの、点群データの有効利用については記載されていない。

【0005】

本発明はこのような背景を鑑みてなされたものであり、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。

【発明の効果】

【0007】

本発明によれば、特に、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態にかかる情報処理システムの構成を示す図である。

【図2】図１の管理サーバのハードウェア構成を示すブロック図である。

【図3】図１のユーザ端末のハードウェア構成を示すブロック図である。

【図4】図１の移動体のハードウェア構成を示すブロック図である。

【図5】図１の管理サーバの機能を示すブロック図である。

【図6】図１の移動体の機能を示すブロック図である。

【図7】本発明の実施の形態にかかる情報処理方法のフローチャートである。

【図8】本発明の実施の形態にかかる三次元モデルデータの表示例である。

【図9】本発明の実施の形態にかかる三次元点群モデルデータの表示例である。

【図10】本発明の実施の形態にかかる三次元点群センシングデータの表示例である。

【図11】本発明の実施の形態にかかる三次元データ同士をフィッティングした際の表示例である。

【図12】本発明の実施の形態にかかる比較データの表示例である。

【発明を実施するための形態】

【0009】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
［項目１］
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサを移動させて点群データを取得することで点群化して生成される、
ことを特徴とする請求項１に記載の情報処理システム。
［項目３］
前記比較データは、前記三次元点群モデルデータ及び前記三次元点群センシングデータ間の差分情報を含む、
ことを特徴とする請求項１または２のいずれかに記載の情報処理システム。
［項目４］
前記差分情報に基づき、前記三次元モデルデータの更新データを生成するデータ更新部をさらに備える、
ことを特徴とする請求項３に記載の情報処理システム。
［項目５］
前記データ更新部は、前記差分情報に応じて構成物を推定し、前記三次元モデルデータにおける前記構成物を示す構成物情報の変更のための前記更新データを生成する、
ことを特徴とする請求項４に記載の情報処理システム。
［項目６］
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、推定ができなかったことを示す不明モデルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項５に記載の情報処理システム。
［項目７］
前記データ更新部により所定の構成物が存在することは推定可能であるが前記構成物の構成物情報の推定ができない場合には、前記差分情報に基づき推定される形状の不明モデルデータを前記三次元モデルデータ上に配置する、
ことを特徴とする請求項５に記載の情報処理システム。
［項目８］
前記不明モデルデータのテクスチャは、前記センサによりセンシングした際に取得された撮影画像である、
ことを特徴とする請求項６または７のいずれかに記載の情報処理システム。
［項目９］
前記比較データは、前記三次元点群センシングデータにおける自己位置推定情報に基づき推定される前記三次元点群モデルデータにおける自己位置推定情報である、
ことを特徴とする請求項１ないし８のいずれかに記載の情報処理システム。
［項目１０］
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、を含む、
ことを特徴とするコンピュータによる情報処理方法。
［項目１１］
比較部により、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成するステップと、
結果データ生成部により、前記比較データに基づく結果データを生成するステップと、
をコンピュータに実行させることを特徴とするプログラム。
［項目１２］
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、
前記比較データに基づく結果データを生成する結果データ生成部と、を備える、
ことを特徴とする移動体。
［項目１３］
少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データに基づき、前記三次元モデルデータの更新データを生成するデータ更新部、を備える、
ことを特徴とする管理サーバ。

【0010】

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システム、情報処理方法、プログラム、移動体、管理サーバについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0011】

＜構成＞
図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の移動体４（例えば、飛行体や走行体など）と、一以上の移動体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、移動体４と、移動体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。

【0012】

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0013】

図示されるように、管理サーバ１は、ユーザ端末２と、移動体４、移動体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0014】

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

【0015】

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

【0016】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0017】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

【0018】

送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

【0019】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0020】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0021】

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

【0022】

＜移動体４＞
移動体４は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体４の具体的な例として、走行体４を例示して以下で説明する。図４は、走行体４のハードウェア構成を示すブロック図である。コントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

【0023】

また、コントローラ４１は、移動体４全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。コントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにコントローラ４１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、コントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

【0024】

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ類４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、移動体格納装置５のいずれかに１つに記録されてもよい。カメラ４２は走行体４にジンバルを介して設置されていてもよい。

【0025】

コントローラ４１は、走行体４の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、走行体の空間的配置、速度、および／または加速度を調整するために、走行体の走行部（モータ４５や車輪４６等）を制御する。バッテリー４８から給電されるモータ４５により車輪４６が回転することで走行体の推進力を生じさせる。制御モジュールは、カメラ／センサ類４２の状態のうちの１つ以上を制御することができる。そして、後述の移動経路情報記憶部４８０に格納された移動経路情報に基づき、自律移動制御を行うように構成することも可能である。なお、図４の例示においては、モータ４５が車輪４６ごとに設けられているが、これに代えて前後各２つの車輪で共通としたり（すなわち、モータ４５が前後で２つ）、前後４つの車輪で共通としたり（すなわち、モータ４５が１つ）してもよく、これらは限定されない。

【0026】

コントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、管理サーバ１、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0027】

例えば、送受信部４７は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0028】

送受信部４７は、カメラ／センサ類４２で取得したデータ、コントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0029】

本実施の形態によるカメラ／センサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0030】

図５及び図６は、管理サーバ１及び移動体４に実装される機能をそれぞれ例示したブロック図である。本発明の実施の形態においては、例えば、構造物（例えばビルなどの建物）内の構成物（例えば、壁、柱、階段、設備など）の構成物情報及び構成物の配置情報を含む三次元モデルデータ（例えば、ＢＩＭデータやＣＡＤデータなど）を点群化した三次元点群モデルデータと、構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータ（例えば、ＳＬＡＭデータなど）と、を互いに比較した比較結果情報を生成し、当該比較結果情報に応じた結果データを生成するために各種機能部を有している。

【0031】

本実施の形態においては、管理サーバ１は、通信部１１０、三次元点群モデルデータ生成部１２０、データ更新部１３０、情報出力部１４０、三次元モデルデータ記憶部１５０、取得データ記憶部１６０を備えている。さらに、移動体４は、通信部４１０、三次元点群センシングデータ取得部４２０、比較部４３０、比較結果データ送信部４４０、自己位置推定部４５０、三次元データ記憶部４６０、生成データ記憶部４７０、移動経路情報記憶部４８０を備えている。なお、各種機能部は、管理サーバ１のプロセッサ１０または移動体４のコントローラ４１の能力等に合わせて、プロセッサ１０またはコントローラ４１のうちのいずれの構成において実現されていてもよい。

【0032】

通信部１１０は、ユーザ端末２や、移動体４、移動体格納装置５と通信を行う。通信部１１０は、ユーザ端末２等からの各種要求やデータ等を受け付ける受付部としても機能する。

【0033】

三次元点群モデルデータ生成部１２０は、構造物内の構成物に関する構成物情報（寸法情報も含む）及び構成物の配置に関する配置情報を含む三次元モデルデータから、構造物内の構成物に関する三次元点群モデルデータを生成する。三次元モデルデータ、三次元点群モデルデータは、それぞれ設定された任意の点を原点（基準点）とした三次元の直交座標系により表現されるデータであって、三次元データ記憶部１５０に記憶されて管理される。

【0034】

三次元モデルデータは、ＣＡＤ（Ｃｏｍｐｕｔｅｒ―Ａｉｄｅｄ Ｄｅｓｉｇｎ）設計ソフトウェアなどで作成されたデータを基にして作成された、構造物内の構成物の配置を示し、寸法情報を有する三次元モデルデータであればどのようなデータであってもよく、例えば、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＡＤデータ、Ｃｉｔｙ―ＧＭＬ等のＧＭＬデータ、ＢＩＭデータ等から再構築された三次元モデルデータ（例えば、ＢＩＭデータに付与されている材質情報等を除き表面の位置情報等を抽出して三次元モデル化したデータ等）、複数種類の三次元モデルデータ（例えば、ＢＩＭデータとＣｉｔｙ―ＧＭＬデータなど）を組み合わせて再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよい。

【0035】

三次元点群モデルデータの生成方法は、三次元モデルデータから構造物内の構成物に関する三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例えば、三次元モデルデータの構造物内を仮想のセンサ（例えば、仮想のＬｉＤＡＲ）を搭載した仮想の移動体４を移動させることにより構造物内の構成物に関する三次元点群モデルデータを生成してもよい。これにより、理論上、構造物内を移動体４のセンサで実測した場合の点群センシングデータに近い点群データを生成することができる。また、他の三次元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化してもよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点群化してもよいし、既知の点群化技術（点群データへの変換技術）を用いて点群化してもよい。

【0036】

ここで、本実施の形態における処理の流れを鑑み、移動体４の機能部について一旦説明する。

【0037】

通信部４１０は、管理サーバ１や、ユーザ端末２、移動体格納装置５と通信を行う。通信部４１０は、ユーザ端末２等からの各種要求やデータ等を受け付ける受付部としても機能する。

【0038】

三次元点群センシングデータ取得部４２０は、三次元モデルデータの対象となっている構造物内を移動体４に搭載したセンサ（例えば、ＬｉＤＡＲ）により実測することで生成された三次元点群センシングデータを取得する。三次元点群センシングデータは、設定された任意の点を原点（基準点）とした三次元の直交座標系により表現されるデータであって、三次元データ記憶部４６０に記憶されて管理される。

【0039】

比較部４３０は、例えば三次元点群モデルデータ生成部１２０により生成された三次元点群モデルデータと、三次元点群センシングデータを比較し、比較データを生成する。三次元モデルデータは、例えば事前に管理サーバ１から三次元データ記憶部４６０に記憶されて管理され、比較データは、例えば生成データ記憶部４７０に記憶されて管理される。

【0040】

比較方法は、点群同士を比較して比較データが生成可能であればどのような方法であってもよく、点群間比較の既存技術であってもよいが、本実施の形態においては両三次元点群データのフィッティング（両三次元点群データの縮尺が異なる場合には縮尺合わせも含む）を行って、例えば三次元点群モデルデータの点をベースに三次元点群センシングデータを比較して所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データを生成する方法であってもよく、より具体的な例としては、例えば八分木を用いて所定値の大きさのボクセルで空間を区切り、三次元点群モデルデータで点がなかったボクセル内に、三次元スキャン点群データの点が存在する、または、存在しない場合に差分の点として判定するようにしてもよい。すなわち、比較データは、このように両者の差が所定以上の点群データである差分点群データであってもよい。なお、上述のとおり、両点群データの縮尺が異なる場合については縮尺を一致させるようにフィッティングを行うが、若干の縮尺違い（すなわち、略一致）などの状況においては、ボクセルによる空間分解能に応じて、点のズレがあったとしても点の有無の変化がないと判定することが可能であるので、縮尺一致のためのフィッティングは行わなくとも縮尺違いによる誤差は軽減される。

【0041】

また、比較部４３０による点群データの比較は、所定の移動経路を移動後の三次元点群センシングデータと三次元点群モデルデータとの比較であってもよいが、移動経路を移動中に取得した部分的な三次元点群センシングデータと三次元点群モデルデータとの比較であってもよい。そして、後者の比較の場合においては、比較データとして、三次元点群センシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータにおける自己位置推定情報を含んでいてもよい。

【0042】

結果データ送信部４４０は、通信部４１０を介して、比較部４３０により生成された比較データに基づく結果データを生成し、外部（特に管理サーバ１やユーザ端末２）へ送信する。結果データは、例えば比較データをそのまま用いたものであってもよいし、比較データから不要な情報（例えばズレ幅が所定値よりも小さい情報など）を削除したりなど比較データを編集したデータであってもよい。

【0043】

ここで、本実施の形態における処理の流れを鑑み、管理サーバ１の機能部について再度説明する。

【0044】

データ更新部１３０は、移動体４から受信した結果データに基づき、三次元モデルデータの更新のための更新データを生成し、当該更新データに応じて三次元モデルデータを更新する。結果データは、取得データ記憶部１６０にて記憶され管理されてもよい。データ更新部１３０は、より具体的には、例えば、点群の形状から三次元モデルデータにおける構成物情報を推定するための学習モデルを用いたり、または、三次元モデルデータにおける構成物の形状を点群化した構成物点群形状情報データベースを参照及び比較して推定するなどして、結果データの点群データ（特に差分点群データ）に基づき、変化があった構成物の構成物情報（特に、構成物識別情報や構成物の種別情報など構成物が何かを特定する情報）を推定するとともに、三次元モデルデータと比較していずれの構成物がどのように変化しているか（数の増減または場所の移動があるか）を判定する。そして、データ更新部１３０は、この判定結果に基づいて、三次元モデルデータの構成物情報を変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を変更したりなどと更新する。これにより、移動体４によるセンシング時の構造物内の構成物の状態を反映した三次元モデルデータに更新が可能となる。

【0045】

なお、データ更新部１３０は、上述のとおり結果データに基づき構成物（構成物情報）を推定する際に、構成物情報（特に構成物識別情報や構成物の種別情報など構成物がどのような種類のものかを特定する情報）が推定できないが何らかの構成物が存在することは推定される場合には、例えば、推定できなかったことを示す所定形状の不明モデルデータ（例えば、円柱や四角柱などの図形的な立体形状）を三次元モデルデータ上に配置するようにしてもよいし、結果データの点群データ（特に差分点群データ）に基づき推定される不明な構成物の形状（近似した形状を含む）の不明モデルデータを三次元モデルデータ上に配置してもよいし、三次元モデルデータ上に差分点群データ（特に、比較の結果増えた点群データ）を、例えば推定できなかった点群であることを示す色付けなどして重ね合わせて配置してもよい。さらに、上述の不明モデルデータのテクスチャを他の構成物とは異なるテクスチャ（例えば、単色の目立つ色のテクスチャや、？マークなどの記号や「不明」というテキストなどが記載されているテクスチャなど）としてもよいし、例えばセンサによりセンシングして点群データを取得する際などに取得された不明な構成物の位置の撮影画像を不明モデルデータのテクスチャとしてもよい。これにより、三次元モデルデータを確認する際に、現場で確かめる必要がある場所が明らかになる。

【0046】

情報出力部１４０は、三次元データ記憶部１５０に記憶される三次元モデルデータや三次元点群モデルデータ、三次元点群センシングデータ、取得データ記憶部１６０に記憶される結果データや撮影データ（静止画や動画）、移動関連情報記憶部１７０に記憶される移動経路情報や自己位置情報、などに基づいてユーザ端末２や移動体４に送信するための出力情報を生成する。本実施の形態においては、例えば、ユーザ端末２において三次元モデルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データ（例えば、三次元モデルデータや三次元点群データ）を閲覧可能にするための出力情報を生成してもよい。そして、ユーザ端末２において、当該リンクをユーザ端末２上で選択する操作入力を受け付けることで、対応する取得情報が表示されるようにしてもよい。この時、三次元データとして、ＢＩＭデータに関連する三次元データを用いた場合、ＢＩＭデータに関連付けて三次元データを構成する構成物ごとの情報を持つことが可能なので、構成物単位で紐づけ（例えばリンク生成）が可能となる。

【0047】

図７を参照して、本実施形態にかかる情報処理方法（特に、三次元モデルデータの更新方法）について説明する。図７には、本実施形態にかかる情報処理のフローチャートが例示されている。図８－１１には、各三次元データを例示している。

【0048】

まず、管理サーバ１は、三次元点群モデルデータ生成部により、構造体の構造物に関する三次元モデルデータ（図８参照。例えば、ＢＩＭデータから生成された三次元モデルデータ）を点群化した三次元点群モデルデータ（図９参照）を生成する（Ｓ１０１）。そして、生成した三次元点群モデルデータは、通信部１０１を介して移動体４へ送信される（Ｓ１０２）。移動体４により受信された三次元点群モデルデータは、例えば三次元データ記憶部４６０に記憶されてもよい。なお、このＳ１０２は、移動体４において比較処理が行われるまでに実行されるのであれば、任意のタイミングで実行されてよい。

【0049】

次に、移動体４は、構造体内をセンサにより実測するために、移動関連情報記憶部１７０に記憶される移動経路情報及びコントローラ４１の制御に基づき、自律的な移動を開始する（Ｓ１０３）。そして、移動体４は、三次元点群センシングデータ取得部４２０により、移動中にセンサ（例えば、ＬｉＤＡＲ）により生成された三次元点群センシングデータ（図１０に例示されるように、センサを中心にセンシングして取得される三次元点群センシングデータ）を取得する（Ｓ１０４）。なお、移動経路情報は、例えばユーザ端末２によりユーザが生成した移動経路に関する情報であってもよいし、移動体４をプロポ等の外部コントローラで移動させた移動経路を記憶した情報であってもよい。また、移動体４の移動は、上述の自律的な移動に限らず、ユーザ端末２や外部コントローラの入力操作にしたがって移動するようにしてもよい。

【0050】

次に、移動体４は、比較部４３０により、移動中または移動終了後の少なくとも何れかにおいて、取得した三次元点群センシングデータと三次元点群モデルデータとを比較して比較データを生成する（Ｓ１０５）。比較データは、移動中においては、取得する部分的な三次元点群センシングデータと三次元点群モデルデータとの比較を行い、三次元点群センシングデータにおける自己位置推定情報に基づき推定される三次元点群モデルデータにおける自己位置推定情報を含んでいてもよい。また、比較データの生成は、移動終了後においては、例えば両三次元点群データの比較（図１１の例示では両三次元点群データを重ね合わせている）を行って、例えば両者間で所定のズレ幅がある点や、そもそも点の有無が異なる点に関する比較データ、すなわち、両者の差が所定以上の点群データ（例えば、同じボクセル内に存在しない、または、新たに存在する点データの群）である差分点群データ６００（図１２参照）を生成してもよい。さらに、比較データは、図１２に例示されるように、三次元点群モデルデータまたは三次元点群センシングデータの少なくともいずれかに重ね合わせて表示されてもよい。

【0051】

次に、移動体４は、結果データ送信部４４０により、通信部４１０を介して、比較部４３０により生成された比較データに基づく結果データを生成し、外部（特に管理サーバ１やユーザ端末２）へ送信する（Ｓ１０７）。結果データは、上述のとおり、例えば比較データをそのまま用いたものであってもよいし、比較データから不要な情報（例えばズレ幅が所定値よりも小さい情報など）を削除したりなど比較データを編集したデータであってもよい。結果データは、所定位置からセンシングした三次元点群センシングデータに対応する単一の比較データに基づくデータに限らず、移動体４が移動しながらセンシングした複数位置における複数の比較データをまとめたデータ（例えば、複数位置における複数の三次元点群センシングデータに対応する複数の差分点群データ６００を重ね合わせた差分点群データ）であってもよい。なお、このようなまとめ処理は、移動体４においてステップＳ１０７内で行われてもよいし、後述するステップＳ１０８内で管理サーバ１において行われてもよい。

【0052】

次に、管理サーバ１は、更新部１３０により、受信した結果データに基づき、三次元モデルデータを更新する（Ｓ１０８）。更新は、結果データに基づき変化があった構成物の構成物情報を推定するとともに、三次元モデルデータの構成物情報を結果データから判定される変化に合わせて、例えば変化が判定された構成物のモデルデータを追加したり、削除したり、位置を変更したりなどと変更する。

【0053】

次に、管理サーバ１は、情報出力部１４０により、ユーザ端末２において所定の情報を少なくとも表示するために送信する出力情報（例えば、上述のとおり、三次元モデルデータや移動経路情報を可視化する表示のための出力情報や、現在の自己位置情報に基づく現在位置の表示のための出力情報、取得情報の位置情報に対応付けられた位置に対応する取得情報を閲覧するためのリンクとなる記号などの印が付された三次元データを閲覧可能にするための出力情報）を生成する（Ｓ１０９）。そして、生成された出力情報は、ユーザ端末２や移動体４へ送信されてもよい。

【0054】

このように、本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供することができる。

【0055】

なお、上述の実施例では移動体４による構造物内のセンシングを具体例としたが、構造物内をセンサでセンシングできればどのような構成でもよいため、例えばユーザ等の作業者がセンサデバイスを持ち歩くことで三次元点群センシングデータを生成してもよく、その他の機能部（通信部４１０、三次元点群センシングデータ取得部４２０、比較部４３０、比較結果データ送信部４４０、自己位置推定部４５０、三次元データ記憶部４６０、生成データ記憶部４７０、移動経路情報記憶部４８０など）については、センサデバイスが直接または通信可能に接続される端末（ユーザ端末２を含む）や当該端末を介して接続される管理サーバ１のプロセッサやメモリにおいて実現される構成であってもよい。その場合、Ｓ１０３の移動開始ステップは、センサを起動させて作業者が移動するステップであり得る。

【0056】

また、上述の実施例では移動体４による構造物内の情報取得を具体例としたが、例えば構造物外の点検であってもよく、ＣＩＭデータやＣｉｔｙ―ＧＭＬ等の構造物の表面を構成するデータを含む三次元モデルデータを用い、このような三次元モデルデータを点群化した三次元点群モデルデータと、三次元点群センシングデータとを比較することで、構造物内同様の結果データを生成し、自己位置推定情報を取得したり、更新部１３０による構造物外の構成（例えば、看板やアンテナ、増築した構成など）の更新などを行うことが可能となる。さらに、構造物内外の両方に対する処理を組み合わせてもよい。

【0057】

また、移動体４は、構造物の内壁および／または外壁の所定の事象の有無を点検するために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等）や、打鍵装置等、探知装置（金属探知機）、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置（宇宙線、放射線、電磁波等を検出するための装置）等の点検対象構造物の状態を知るために必要な装置は全て採用され得る。

【0058】

また、実施例は例えば構造物内の警備や監視の際に実行されてもよく、警備や監視のために利用される装置、機器等をさらに備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等）や、センサ装置（モーションセンサ、赤外線センサ等）等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。

【0059】

本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。

【0060】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0061】

１ 管理サーバ
２ ユーザ端末
４ 移動体
５ 移動体格納装置

【要約】

【課題】本発明は、少なくとも構造物内の構成物を示す三次元点群モデルデータと移動体により取得される三次元点群センシングデータとの比較データに応じた結果データを生成可能な情報処理システム等を提供すること。【解決手段】本発明の情報処理システム等は、少なくとも構造物内の構成物に関する三次元モデルデータを点群化した三次元点群モデルデータと、前記構造物内をセンサによりセンシングした結果を示す三次元点群センシングデータと、を互いに比較した比較データを生成する比較部と、前記比較データに基づく結果データを生成する結果データ生成部と、を備える。前記三次元点群モデルデータは、前記三次元モデルデータ内で仮想センサ を移動させて点群データを取得することで点群化して生成される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】