特開 2023-157826 情報処理システム及び移動体、情報処理方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157826

(43)【公開日】2023-10-26

(54)【発明の名称】情報処理システム及び移動体、情報処理方法、プログラム

(51)【国際特許分類】

   G08G 9/00 20060101AFI20231019BHJP

   G05D 1/02 20200101ALI20231019BHJP

   G01C 21/34 20060101ALI20231019BHJP

【ＦＩ】

G08G9/00 A

G05D1/02 P

G01C21/34

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022170271

(22)【出願日】2022-10-25

(62)【分割の表示】P 2022551364の分割

【原出願日】2022-04-14

(71)【出願人】

【識別番号】518156358

【氏名又は名称】株式会社センシンロボティクス

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】大畑 成史

【テーマコード（参考）】

2F129

5H181

5H301

【Ｆターム（参考）】

2F129AA03

2F129AA11

2F129BB03

2F129BB18

2F129BB22

2F129BB26

2F129FF02

5H181AA01

5H181AA26

5H181BB04

5H181CC03

5H181CC04

5H181CC12

5H181CC27

5H301AA01

5H301AA06

5H301BB14

5H301CC03

5H301CC04

5H301CC06

5H301CC07

5H301CC10

5H301DD06

5H301DD07

5H301DD17

5H301GG08

5H301GG09

5H301GG14

5H301GG17

5H301KK02

5H301KK08

5H301KK09

5H301KK18

(57)【要約】

【課題】本発明は、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供すること。
【解決手段】本発明の情報処理システムは、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする情報処理システム。

【請求項2】

前記三次元構造物内部点群データは、少なくとも構造物内部の構成物の配置を示す三次元構造物内モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項3】

前記三次元構造物内モデルデータは、ＢＩＭデータまたはＣＩＭデータである、
ことを特徴とする請求項２に記載の情報処理システム。

【請求項4】

前記三次元構造物外点群データは、少なくとも構造物外部の構成物の配置を示す三次元構造物外モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。

【請求項5】

前記三次元構造物外モデルデータは、ＣｉｔｙＧＭＬデータである、
ことを特徴とする請求項４に記載の情報処理システム。

【請求項6】

前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、事前に前記構造物内でセンサを移動させて取得された点群データである、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項7】

前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、対応する三次元構造物モデルデータ内で仮想センサを移動させて取得された点群データである、
ことを特徴とする請求項１に記載の情報処理システム。

【請求項8】

少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して生成された三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする移動体。

【請求項9】

三次元合成点群データ生成部により、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成するステップと、
移動経路生成部により、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成するステップと、
をコンピュータに実行させることを特徴とする情報処理方法。

【請求項10】

少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成機能と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成機能と、
をコンピュータに実現することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム及び移動体、情報処理方法、プログラムに関する。

【背景技術】

【0002】

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）や無人地上車両（ＵＧＶ：Ｕｎｍａｎｎｅｄ Ｇｒｏｕｎｄ Ｖｅｈｉｃｌｅ）などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－０８９１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１の開示技術は、屋外においてＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）を自己位置推定に使用し、緯度経度情報に基づいて移動体の移動経路を作成するものであり、屋内での移動体の移動経路においては同様の手法を用いることができない。

【0005】

また、屋内（例えば建物等の構造物内）での移動体の移動経路を生成する場合には、例えばＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いて、手動で移動制御される移動体に搭載されたセンサのセンサ情報に基づき、屋内の３次元情報を予め取得し、これに基づいてユーザが移動経路の設定作業を行う方法が考えられる。しかしながら、屋外の移動経路の作成手法と屋内の移動経路の作成手法は別個のものであり、構造物の内外で跨る飛行経路を作成したいという要望については、十分に検討されているとはいえない。

【0006】

本発明はこのような背景を鑑みてなされたものであり、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するための本発明の主たる発明は、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える。

【発明の効果】

【0008】

本発明によれば、特に、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態にかかる情報処理システムの構成を示す図である。

【図2】図１の管理サーバのハードウェア構成を示すブロック図である。

【図3】図１のユーザ端末のハードウェア構成を示すブロック図である。

【図4】図１の飛行体のハードウェア構成を示すブロック図である。

【図5】図１の各構成の機能を示すブロック図である。

【図6】本発明の実施の形態にかかる構成物外点群データ及び構成物内点群データの対応付けを説明する図である。

【図7】本発明の実施の形態にかかる移動経路生成方法のフローチャートである。

【発明を実施するための形態】

【0010】

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
［項目１］
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成部と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする情報処理システム。
［項目２］
前記三次元構造物内部点群データは、少なくとも構造物内部の構成物の配置を示す三次元構造物内モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記三次元構造物内モデルデータは、ＢＩＭデータまたはＣＩＭデータである、
ことを特徴とする項目２に記載の情報処理システム。
［項目４］
前記三次元構造物外点群データは、少なくとも構造物外部の構成物の配置を示す三次元構造物外モデルデータの少なくともモデル表面が点群化された点群データである、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目５］
前記三次元構造物外モデルデータは、ＣｉｔｙＧＭＬデータである、
ことを特徴とする項目４に記載の情報処理システム。
［項目６］
前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、事前に前記構造物内でセンサを移動させて取得された点群データである、
ことを特徴とする項目１に記載の情報処理システム。
［項目７］
前記三次元構造物内部点群データ及び前記三次元構造物外点群データの少なくともいずれかは、対応する三次元構造物モデルデータ内で仮想センサを移動させて取得された点群データである、
ことを特徴とする項目１に記載の情報処理システム。
［項目８］
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して生成された三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成部と、を備える、
ことを特徴とする移動体。
［項目９］
三次元合成点群データ生成部により、少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成するステップと、
移動経路生成部により、前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成するステップと、
をコンピュータに実行させることを特徴とする情報処理方法。
［項目１０］
少なくとも構造物の内部の構成物の配置を示す三次元構造物内部点群データと、少なくとも前記構造物の外部の構成物の配置を示す三次元構造物外部点群データと、を互いに合成して三次元合成点群データを生成する三次元合成点群データ生成機能と、
前記三次元合成点群データに基づき、移動体のための前記構造物の内外に跨る移動経路を示す移動経路情報を生成する移動経路生成機能と、
をコンピュータに実現することを特徴とするプログラム。

【0011】

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システム等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

【0012】

＜構成＞
図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の移動体４（例えば、飛行体や走行体など）と、一以上の移動体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、移動体４と、移動体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。

【0013】

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

【0014】

図示されるように、管理サーバ１は、ユーザ端末２と、移動体４、移動体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0015】

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

【0016】

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

【0017】

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

【0018】

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

【0019】

送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

【0020】

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

【0021】

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

【0022】

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

【0023】

ユーザ端末２は、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置であるが、スマートフォンや携帯電話、ＰＤＡ等により構成してもよい。特に、入出力部２４は、ユーザ端末２がパーソナルコンピュータで構成されている場合はディスプレイとキーボードやマウスにより構成され、ユーザ端末２がスマートフォンまたはタブレット端末で構成されている場合はタッチパネル等から構成される。

【0024】

＜移動体４＞
移動体４は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体４の具体的な例として、飛行体４を例示して以下で説明する。図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

【0025】

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

【0026】

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、移動体格納装置５のいずれか１つに記録されてもよい。カメラ４２は飛行体４にジンバル４３を介して設置されてもよい。

【0027】

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

【0028】

また、フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、管理サーバ１、ユーザ端末２、表示装置、または他の遠隔の制御器）へのデータの送信および／または外部のデバイスからのデータの受信が可能に構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

【0029】

さらに、フライトコントローラ４１は、上述の飛行体の状態の制御などの移動体状態制御機能のみならず、外部のデバイス（特にユーザ端末２）からの指示に応じてアプリケーション・プログラムを実行するなどして、データ処理に関する各種機能を実現するようにしてもよく、例えば後述する移動経路生成部４２０や移動指示部４３０に対応する機能を実行可能であってもよい。なお、フライトコントローラ４１にデータ処理に関する機能を実現して移動体状態制御機能とデータ処理機能とで兼用としてもよいが、これに代えて、データ処理機能専用のプロセッサ（制御部）を別途備えるようにしてもよい。

【0030】

送受信部４７は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

【0031】

送受信部４７は、カメラ／センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

【0032】

本実施の形態によるカメラ／センサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。

【0033】

＜ユーザ端末２の機能＞
図５は、ユーザ端末２に実装される機能を例示したブロック図である。本発明の実施の形態においては、少なくとも構造物（例えばビルなどの建物）内部の構成物（例えば、内壁、柱、天井、窓、ドア、階段、内部設備など）の配置を示す点群を含む三次元構造物内点群データ、及び、少なくとも構造物外部の構成物（例えば、外壁、屋根、窓、ドア、階段、外部設備、道路、線路、駅、街路灯、バス停、橋梁、トンネル、地形、植生、水域など）の配置を示す点群を含む三次元構造物外点群データと、を互いに合成して三次元合成点群データを生成するために各種機能部を有している。なお、各種機能部の一部または全部は、管理サーバ１または移動体４の少なくともいずれかに搭載される情報処理装置（プロセッサ、制御部）にて実現されてもよい。

【0034】

本実施の形態においては、ユーザ端末２は、通信部２１０、三次元構造物点群データ生成部２２０、三次元合成点群データ生成部２３０、記憶部２７０を備えている。また、記憶部２７０は、三次元データ記憶部２７１などの各種データベースを含む。

【0035】

通信部２１０は、管理サーバ１や、移動体４、移動体格納装置５と通信を行う。通信部２１０は、管理サーバ１や、移動体４、移動体格納装置５からの各種要求やデータ等を受け付ける受付部としても機能する。

【0036】

三次元構造物点群データ生成部２２０は、少なくとも構造物内部の構成物の配置を示す三次元構造物内モデルデータや、少なくとも構造物外部の構成物の配置を示す三次元構造物外モデルデータにおける、少なくともモデル表面（サーフェス）を点群化した三次元構造物内点群データや三次元構造物外点群データを生成する。各三次元モデルデータ（三次元構造物内モデルデータ、三次元構造物外モデルデータ等）、各三次元点群データ（三次元構造物内点群データ、三次元構造物外点群データ等）は、それぞれ三次元座標系で表現されるデータであって、管理サーバ１や移動体４から読み出されたり、ユーザ端末２上のアプリケーションで作成されたりなどして三次元データ記憶部２７１に記憶されて管理される。

【0037】

三次元構造物内モデルデータは、少なくとも構造物内の構成物の配置を示し寸法情報を有する三次元構造物内モデルデータであればどのようなデータであってもよいが、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ―Ａｉｄｅｄ Ｄｅｓｉｇｎ）設計ソフトウェアで作成されたデータを基にして作成されたモデルであって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データやＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＡＤデータ、ＢＩＭデータ等から再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよい。なお、三次元構造物内モデルデータは、上述のとおり、構造物内部の構成物の配置を示すものであるが、必ずしも構造物内部の構成物のみの配置を示すものでなくともよく、例えば、外壁等の構造物に係る構造物外部の構成物の配置を含んでいてもよい。また、三次元モデルデータの再構築等は、管理サーバ１やユーザ端末２のプロセッサにおいて実行されてもよいし、管理サーバ１やユーザ端末２の外部で実行されて内部へ取得されてもよい。三次元構造物内モデルデータは、設定された任意の点を原点（基準点）とした三次元の直交座標系により表現されるデータであり得るが、例えば水平方向が緯度経度座標であって、鉛直方向が高度座標である三次元座標系により表現されるデータであってもよいし、必ずしもそうでなくてもよい。

【0038】

三次元構造物外モデルデータは、少なくとも構造物外の構成物の配置を示し寸法情報を有する三次元構造物外モデルデータであればどのようなデータであってもよいが、特に地表及び地表上の構造物の少なくとも一部の表面形状を三次元の立体空間で仮想的に表現するモデルを含むものであることが好ましく、例えば、ＣｉｔｙＧＭＬ（Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＣｉｔｙＪｓｏｎ、ＧｅｏＴＩＦＦなどの三次元都市モデルデータや本システム外部の三次元都市モデルデータベースに格納される三次元都市モデルデータなどであってもよい。三次元構造物外モデルデータは、水平方向が緯度経度座標であって、鉛直方向が高度座標である三次元座標系により表現されるデータであり得る。

【0039】

三次元構造物点群データ生成部２２０による三次元点群モデルデータ（三次元構造物内点群データ、三次元構造物外点群データ等）の生成方法は、上述の三次元モデルデータから構造物内または構造物外の構成物に関するモデル表面（サーフェス）を点群化した三次元点群モデルデータが生成可能であればどのような方法であってもよいが、例えば、三次元モデルデータの構造物内または構造物外を仮想のセンサ（例えば、仮想のＬｉＤＡＲ）を搭載した仮想の移動体４を移動させることにより構造物内または構造物外の構成物に関する三次元点群モデルデータを生成してもよい。これにより、理論上、構造物内または構造物外を移動体４のセンサで実測した場合の点群センシングデータに近い点群データを生成することができる。また、他の三次元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化してもよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点群化してもよいし、既知の点群化技術（点群データへの変換技術）を用いて点群化してもよい。

【0040】

三次元合成点群データ生成部２３０は、三次元構造物内点群データ及び三次元構造物外点群データを合成して三次元合成点群データを生成してもよい。三次元構造物内点群データ及び三次元構造物外点群データは、上述のように三次元構造物点群データ生成部２２０により生成された三次元点群データであってもよいし、三次元構造物内点群データ及び三次元構造物外点群データの少なくともいずれかが事前にセンサ（例えば、ＬｉＤＡＲセンサ）を搭載した移動体４を移動させることにより取得した三次元点群データであってもよい。

【0041】

三次元合成点群データ生成部２３０による三次元点群データの生成方法（すなわち、合成方法）は、合成可能であればどのような方法であってもよく、例えば、ユーザ端末２上でユーザ操作に基づき両者の位置合わせ（及び縮尺合わせ）を行い、決定された位置で両者の三次元点群データを一体的な三次元合成点群データとして合成してもよいし、既知の点群合成技術を用いて三次元点群データ同士を互いに合成してもよい。しかしながら、本実施例における具体例としては、三次元構造物内点群データが三次元構造物外点群データと同様に緯度経度高さ座標系で表現されるかどうかによって合成方法が異なる。

【0042】

合成方法の具体例の一例は、三次元構造物内点群データ及び三次元構造物外点群データが共に緯度経度高さ座標系などの共通の三次元座標系で表現される場合について説明する。このような場合においては、両三次元点群データの各点データが緯度経度高さ座標で表現されているので、同一の仮想空間内に配置することで合成が実行されたこととなる。なお、両三次元点群データが共に緯度経度高さ座標で表現されているが、実際に移動体４が構造物内を移動する際には移動体４の位置情報は緯度経度高さ座標で取得することは困難であるので、三次元合成点群データは、予め仮想空間内の所定の基準点を原点とする三次元直交基準座標系に変換しておいてもよい。もしくは、管理サーバ１やユーザ端末２、移動体４のいずれかにおいて当該変換を行う座標変換部２４０を備えて、構造物内で取得した移動体４の位置情報を緯度経度高さ座標に変換するようにしてもよい。

【0043】

合成方法の具体例の他の例は、三次元構造物内点群データ及び三次元構造物外点群データが共通の三次元座標系ではない（たとえば、三次元構造物内点群データが緯度経度高さ座標系でなく、三次元構造物外点群データが緯度経度高さ座標系である場合など）場合について説明する。このような場合においては、例えば、図６のように同じ構造物に対して床面（例えば地上の床面）を対象に、三次元構造物内点群データ及び三次元構造物外点群データにおいて対応点を設定する（例えば図６では、三次元構造物外点群データにおいてはＰ１からＰ４と設定し、三次元構造物内点群データにおいてはＰ’１からＰ’４と設定している）。対応点は、例えば四角いビルなどの建物の１階部分（地上面）における四隅であってもよいし、その他の構造物の床面における特徴的な点であってもよい。なお、高さ情報が明確である対応点が設定可能であるならば、対応点は床面に限らず、いずれの特徴的な点であってもよい。対応点は、例えば、ユーザ端末２上でユーザ操作に基づき手動にて設定されてもよいし、既知の構造物モデルにおける形状解析技術や点群モデルにおける角部点検出技術などに基づき自動にて設定されてもよい。

【0044】

そして、構造物外点群データの対応点Ｐ１からＰ４を基準点Ｏを原点とした三次元直交座標系で表現する座標値に変換し、当該三次元直交座標系における仮想空間において両対応点同士の距離が最小となる位置関係情報（座標変換情報）を求め、構造物内点群データの対応点Ｐ’１からＰ’４を上述の三次元直交座標系で表現する座標値を求めることで両三次元点群データを合成する。なお、両三次元点群データの位置関係情報が得られるので、必要に応じて構造物外点群データの緯度経度高さ座標系に基づいて、構造物内点群データを緯度経度高さ座標系の座標を付与するようにしてもよい。また、対応点は、三次元モデルデータ上で設定し、点群化後に対応する点データを対応点として再度設定してもよい。

【0045】

ここで、上述のように同じ構造物に対して床面を対象に、三次元構造物内点群データ及び三次元構造物外点群データにおいて対応点を設定した場合、両対応点が必ずしも同一または近似した位置とならないこともあり得る。すなわち、三次元構造物内点群データにおいては内壁を基準とした対応点が設定され、三次元構造物外点群データにおいては外壁を基準としてた対応点が設定された場合、両対応点においてズレが生じ同一または近似した位置とならない。そこで、三次元構造物内点群データ及び三次元構造物外点群データにおいて複数の対応点を設定した後に重心点を算出し、重心点を対応点として設定して両三次元点群データを一致させて位置関係情報を求めてもよい。さらに、上述の床面等を対象とする対応点（以下、「第１対応点」という。）と重心点に対応する対応点（以下、「第２対応点」という。）とに基づき、両三次元点群データを一致させて位置関係情報を求めてもよく、特に第１対応点と第２対応点でどちらの一致度を優先するかを重みづけ係数により重みづけをして位置関係情報を求めてもよい。重み付けは、上述のズレが発生し得ることを鑑み、第２対応点に関する重み付けを第１対応点に関する重み付けよりも大きくしてもよい。

【0046】

このように、互いに異なる三次元構造物内部点群データ及び三次元構造物外部点群データを合成し、構造物内外の構成物の配置を示す三次元合成点群データを統一的な三次元座標系により表現することが可能となる。これにより、例えばユーザ端末２上に表示される三次元合成点群データをベースにウェイポイントを設定した場合において、移動経路が構造物の内部と外部で跨る場合であっても、統一的な三次元座標系に基づく移動経路生成などの位置指定が可能となる。

【0047】

＜移動体４の機能＞
図５は、さらに移動体４に実装される機能も例示したブロック図である。本発明の実施の形態においては、生成された三次元合成点群データに基づき、移動体のための構造物内外に跨る移動経路情報を生成し、移動体４に移動経路上の移動を指示するために各種機能部を有している。なお、各種機能部の一部または全部は、管理サーバ１やユーザ端末２の少なくともいずれかに搭載される情報処理装置（プロセッサ、制御部）にて実現されてもよい。

【0048】

本実施の形態においては、移動体４は、移動経路生成部４２０、移動指示部４３０、座標変換部４４０、記憶部４７０を備えている。また、記憶部４７０は、移動経路情報記憶部４７１、移動情報記憶部４７２の各種データベースを含む。

【0049】

移動経路生成部４２０は、例えばユーザ端末２上に表示される三次元合成点群データに対してユーザの選択操作により一以上のウェイポイント情報を始点から終点まで順次に、または、任意の点を任意の順で設定し、当該ウェイポイント情報に基づいて既知の方法により移動経路情報を生成し、移動経路情報記憶部４７１に記憶され、管理するようにしてもよいし、三次元合成点群データを解析し、例えば構造物内の特定の又は全ての構成物の情報を取得可能なウェイポイント情報を設定した移動経路を算出し、これを移動経路情報として移動経路情報記憶部４７１に記憶され、管理するようにしてもよい。

【0050】

なお、移動経路は、例えば、移動体格納装置５の位置を移動開始位置及び移動終了位置として、各ウェイポイントを通過する移動経路を生成するようにしてもよいし、逆に移動体格納装置５を有さずに、ユーザにより機体を持ち運びされた位置を移動開始位置としたり、移動終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ１やユーザ端末２、移動体４の記憶部において管理された移動体格納装置５の情報（例えば、位置情報や格納状態情報、格納機情報など）を基に、移動開始位置または移動終了位置として選択された移動体格納装置５の位置も含めた移動経路として生成される構成でもよい。

【0051】

移動指示部４３０は、移動経路情報記憶部４７１に記憶される移動経路情報を参照し、移動経路情報が示す座標に応じて移動体４の移動を指示する信号を移動体４へ送信する。また、移動指示部４３０は、座標変換部４４０（座標変換部２４０と同一機能であってもよい。）により、例えば、移動経路情報記憶部４７１に記憶される移動経路情報と上述の位置関係情報（座標変換情報）を参照し、移動経路情報が示す座標を移動体４の移動制御に用いられる三次元直交座標系（例えば、上述の三次元直交基準座標系など）に変換することで、移動体４の移動を指示するように構成されていてもよい。

【0052】

移動情報記憶部４７２は、移動経路生成部４２０により移動経路を生成する際や、移動指示部４３０により当該移動経路上において自律制御された移動体４の移動が指示される際などに用いられるパラメータ情報や移動経路上で取得した移動時取得情報等を格納している。具体的なパラメータの例としては、例えば、移動速度、飛行高度（移動体４が飛行体である場合）、撮像画像のオーバーラップ率、移動時取得情報（例えば、画像情報や映像情報等）などを含む。

【0053】

＜移動経路生成方法の一例＞
図７を参照して、本実施形態にかかる移動経路生成方法について、本実施の形態における情報処理システムの動作も含めて説明する。図７には、本実施形態にかかる移動経路生成方法のフローチャートが例示されている。このフローチャートでは、例示的にユーザ端末２上でアプリケーションを起動する構成を示しているが、これに限らず、例えば管理サーバ１や移動体４、移動体格納装置５がアプリケーションを起動可能なプロセッサと入出力装置を有し、各種設定等が可能な構成であってもよい。

【0054】

まず、ユーザは、例えばユーザ端末２において、三次元合成点群データ生成機能を含むアプリケーションを起動する（ＳＱ１０１）。このアプリケーションは、例えばユーザ端末２に記憶されていてもよいし、ネットワークを介して接続される管理サーバ１または他のサーバ（不図示）から提供されるソフトウェア（いわゆるＳａａＳ）であってもよい。必要に応じてログイン画面が表示され、例えばログインＩＤやパスワードを要求する構成にしてもよい。

【0055】

次に、ユーザは、新規の移動計画を作成する（ＳＱ１０２）。例えば、「プラン名」や「エリア名」、「住所」などを設定して、ユーザ端末２上に、対象となる構造物内の三次元合成点群データを取得して表示し、新規の移動計画の作成を開始する。

【0056】

次に、ユーザは、移動体４の移動のための移動経路を生成する（ＳＱ１０３）。例えば、ユーザ端末２上に表示される三次元合成点群データに対してユーザの選択操作により一以上のウェイポイント情報（例えば、ユーザ端末２上では緯度経度座標系で表現される）を設定する。そして、移動体４に三次元合成点群データ及びウェイポイント情報を送信し、移動体４にて三次元合成点群データ及びウェイポイント情報に基づいて既知の方法（例えば４つのウェイポイント間をそれぞれ直線にて結ぶ）により移動経路情報が生成される。

【0057】

次に、ユーザは、移動体４に移動の実行開始を指示する（ＳＱ１０４）。例えば、移動経路情報記憶部４７１及び移動情報記憶部４７２を参照して、点検、警備、建築進捗管理等を目的とする移動体４の移動を実行する。

【0058】

次に、ユーザは、ユーザ端末２へ取得情報の出力を指示する（ＳＱ１０５）。例えば、ユーザ端末２上に表示される三次元合成点群データに移動体４が実際に移動した経路情報を重畳して表示してもよい。そのほか、移動経路上にて移動体４により取得された取得情報（静止画像、動画像、音声その他の情報）を表示したり、当該取得情報の位置情報に対応付けられた位置（特にウェイポイントの位置情報）に対応する取得情報を閲覧するためのリンクとなる記号などの印が付されてもよい。そして、当該リンクをユーザ端末２上で選択することで、対応する取得情報が表示されるようにしてもよい。

【0059】

このように、本発明は、構造物内外に跨る移動経路を含む自律移動の移動体の移動経路を設定可能な情報処理システム等を提供することができる。なお、上記のようにＳＱ１０４の移動体４の自律的な移動の実行を伴う構成に代えて、単に最適な移動経路を作成してユーザ端末２上で確認可能に表示するように構成してもよく、これに基づき他のユーザがプロポ等で手動で移動体４を構造物内で移動させる際のお手本となる移動経路を他のユーザのユーザ端末２上に表示することが可能となる。

【0060】

また、上述の実施例では移動体４による構造物内外での情報取得を具体例としたが、例えば構造物の点検であってもよく、構造物の内壁および／または外壁の所定の事象の有無を点検するために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等）や、打鍵装置等、探知装置（金属探知機）、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置（宇宙線、放射線、電磁波等を検出するための装置）等の内壁や外壁を有する点検対象構造物の状態を知るために必要な装置は全て採用され得る。

【0061】

また、実施例は例えば構造物内の警備や監視であってもよく、警備や監視のために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等）や、センサ装置（モーションセンサ、赤外線センサ等）等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。

【0062】

本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。

【0063】

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

【符号の説明】

【0064】

１ 管理サーバ
２ ユーザ端末
４ 移動体
５ 移動体格納装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】