特許 7241546 三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-09

(45)【発行日】2023-03-17

(54)【発明の名称】三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20230310BHJP

   G06T 7/579 20170101ALI20230310BHJP

   H04N 23/695 20230101ALI20230310BHJP

【ＦＩ】

G01B11/00 Z

G06T7/579

H04N23/695

【請求項の数】 17

(21)【出願番号】P 2019004819

(22)【出願日】2019-01-16

(65)【公開番号】P2020112497

(43)【公開日】2020-07-27

【審査請求日】2021-06-23

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】304000836

【氏名又は名称】学校法人 名古屋電気学園

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100083840

【弁理士】

【氏名又は名称】前田 実

(72)【発明者】

【氏名】山▲崎▼ 賢人

(72)【発明者】

【氏名】岡原 浩平

(72)【発明者】

【氏名】皆川 純

(72)【発明者】

【氏名】水野 慎士

(72)【発明者】

【氏名】坂田 真太郎

(72)【発明者】

【氏名】榊原 拓実

【審査官】國田 正久

(56)【参考文献】

【文献】特開２０１５－２０４５１２（ＪＰ，Ａ）

【文献】特開平７－３０６０１２（ＪＰ，Ａ）

【文献】国際公開第２００５／０８０９１４（ＷＯ，Ａ１）

【文献】国際公開第２０１６／１１１０６６（ＷＯ，Ａ１）

【文献】特開２００８－１６８３７２（ＪＰ，Ａ）

【文献】国際公開第２０１９／２１１９７０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／０６

Ｇ０６Ｔ ７／２０ － ７／８０

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／９０

(57)【特許請求の範囲】

【請求項1】

予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラから、前記第１の三次元情報を取得し、前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラから、前記第２の三次元情報を取得する三次元情報取得部と、
前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、
前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、
を備えたことを特徴とする三次元再構成装置。

【請求項2】

前記三次元情報取得部は、前記第２のデプスカメラから前記第２の三次元情報を実時間で取得することを特徴とする請求項１に記載の三次元再構成装置。

【請求項3】

前記位置姿勢情報取得部は、前記第２のデプスカメラから前記第２の位置姿勢情報を実時間で取得することを特徴とする請求項１又は２に記載の三次元再構成装置。

【請求項4】

無線信号を受信する受信部をさらに備え、
前記三次元情報取得部は、前記受信部を介して、前記第２のデプスカメラから前記第２の三次元情報を実時間で取得し、
前記位置姿勢情報取得部は、前記受信部を介して、前記第２のデプスカメラから前記第２の位置姿勢情報を実時間で取得する
ことを特徴とする請求項１に記載の三次元再構成装置。

【請求項5】

前記位置姿勢情報取得部は、前記第２の三次元情報が示す前記注目箇所の移動情報に基づいて、前記第２のデプスカメラの位置及び姿勢を推定することを特徴とする請求項１から４のいずれか１項に記載の三次元再構成装置。

【請求項6】

前記三次元再構成部によって再構成された前記三次元情報を記憶する記憶部をさらに有することを特徴とする請求項１から５のいずれか１項に記載の三次元再構成装置。

【請求項7】

予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラと、
前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラと、
前記第１の三次元情報及び前記第２の三次元情報を取得する三次元情報取得部と、
前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、
前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、
前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、
を備えたことを特徴とする三次元再構成システム。

【請求項8】

前記移動装置は、前記第２の三次元情報に基づいて、前記注目箇所が前記第２のデプスカメラの検出範囲から外れないように前記第２のデプスカメラの位置及び姿勢を制御する
ことを特徴とする請求項７に記載の三次元再構成システム。

【請求項9】

前記移動装置は、前記第２のデプスカメラから前記第２の三次元情報を実時間で取得することを特徴とする請求項８に記載の三次元再構成システム。

【請求項10】

前記移動装置は、前記第２のデプスカメラから前記第２の位置姿勢情報を実時間で取得することを特徴とする請求項８又は９に記載の三次元再構成システム。

【請求項11】

前記移動装置は、前記第１のデプスカメラの位置を考慮して前記第２のデプスカメラの移動を制御することを特徴とする請求項８から１０のいずれか１項に記載の三次元再構成システム。

【請求項12】

前記移動装置は、前記注目箇所が前記第１のデプスカメラの検出範囲にある場合には、前記注目箇所が前記第２のデプスカメラの検出範囲から一時的に外れることを許容する制御を行うことを特徴とする請求項８から１１のいずれか１項に記載の三次元再構成システム。

【請求項13】

前記位置姿勢情報取得部は、前記第２の三次元情報における前記注目箇所の移動に基づいて、前記第２のデプスカメラの位置及び姿勢を推定することを特徴とする請求項７から１２のいずれか１項に記載の三次元再構成システム。

【請求項14】

前記三次元情報取得部は、複数の前記第１のデプスカメラから、複数の前記第１の三次元情報を取得し、
前記センサ情報取得部は、複数の前記第１のセンサ情報を取得し、
前記位置姿勢情報取得部は、複数の前記第１の位置姿勢情報を取得し、
前記三次元再構成部は、複数の前記第１のセンサ情報、前記第２のセンサ情報、複数の前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、複数の前記第１の三次元情報及び前記第２の三次元情報から、前記三次元情報を再構成する
ことを特徴とする請求項７から１３のいずれか１項に記載の三次元再構成システム。

【請求項15】

前記三次元再構成部によって再構成された前記三次元情報を記憶する記憶部をさらに有することを特徴とする請求項７から１４のいずれか１項に記載の三次元再構成システム。

【請求項16】

コンピュータによって実行される三次元再構成方法であって、
予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラから、前記第１の三次元情報を取得するステップと、
前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラから、前記第２の三次元情報を取得するステップと、
前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得するステップと、
前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得するステップと、
前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成するステップと、
を有することを特徴とする三次元再構成方法。

【請求項17】

予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラから、前記第１の三次元情報を取得する処理と、
前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラから、前記第２の三次元情報を取得する処理と、
前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得する処理と、
前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得する処理と、
前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する処理と、
をコンピュータに実行させることを特徴とする三次元再構成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラムに関する。

【背景技術】

【0002】

複数台のセンサによって取得された複数の現実空間情報を用いて、現実空間内に存在する対象物の三次元情報を再構成するシステムの提案がある（例えば、非特許文献１参照）。複数台のセンサは、例えば、複数台のキネクトである。キネクトは、マクロソフト社の登録商標である。キネクトは、モーションキャプチャの一例である。センサによって取得された現実空間情報は、例えば、センサから対象物までの距離を示す深度情報である。再構成された三次元情報は、センサによって取得された複数の現実空間情報を統合することによって生成された統合空間情報である。

【先行技術文献】

【非特許文献】

【0003】

【文献】Ｍａｒｅｋ Ｋｏｗａｌｓｋｉ、外２名、 “Ｌｉｖｅｓｃａｎ３Ｄ： Ａ Ｆａｓｔ ａｎｄ Ｉｎｅｘｐｅｎｓｉｖｅ ３Ｄ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｋｉｎｅｃｔ ｖ２ Ｓｅｎｓｏｒｓ”

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、現実空間内の状況を正確に把握するには、全体を大まかに、注目箇所を詳細に把握する必要がある。しかし注目箇所は移動する可能性もあるため、たとえ複数台のセンサを設置したとしても、注目箇所が検出可能範囲から外れて、もしくは分解能不足によって、把握に必要な情報が欠落するおそれがある。このような状況の発生を減らすために、注目箇所の移動経路に沿ってセンサを増設することが考えられるが、センサの増設によってシステムのコストが増加するという問題がある。

【0005】

本発明は、上記従来技術の課題を解決するためになされたものであり、注目箇所を示す三次元情報を低コストで再構成することができる三次元再構成装置及び三次元再構成システム、並びに、注目箇所を示す三次元情報を低コストで再構成するために使用される三次元再構成方法及び三次元再構成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る三次元再構成装置は、予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラから、前記第１の三次元情報を取得し、前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラから、前記第２の三次元情報を取得する三次元情報取得部と、前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得するセンサ情報取得部と、前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得する位置姿勢情報取得部と、前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成する三次元再構成部と、を備えたことを特徴とする。

【0007】

本発明の他の態様に係る三次元再構成方法は、コンピュータによって実行される方法であって、予め決められた位置に配置され、動く対象物までの距離を示す深度情報を検出することで前記対象物を示す第１の三次元情報を生成する第１のデプスカメラから、前記第１の三次元情報を取得するステップと、前記対象物における予め決められた大きさの範囲である注目箇所を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置によって移動可能に備えられ、前記注目箇所までの距離を示す深度情報を検出することで前記注目箇所を示す第２の三次元情報を生成する第２のデプスカメラから、前記第２の三次元情報を取得するステップと、前記第１のデプスカメラに固有の特性を示す第１のセンサ情報及び前記第２のデプスカメラに固有の特性を示す第２のセンサ情報を取得するステップと、前記第１のデプスカメラの位置及び姿勢を示す第１の位置姿勢情報を取得し、前記第２のデプスカメラの位置及び姿勢を示す第２の位置姿勢情報を取得するステップと、前記第１のセンサ情報、前記第２のセンサ情報、前記第１の位置姿勢情報、及び前記第２の位置姿勢情報を用いて、前記第１の三次元情報及び前記第２の三次元情報から、前記注目箇所を示す三次元情報を再構成するステップと、を有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、空間の状況把握に必要な三次元情報を低コストで再構成することができるという効果が得られる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の例を概略的に示す図である。

【図2】実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。

【図3】実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。

【図4】実施の形態１に係る三次元再構成装置に三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の他の例を概略的に示す図である。

【図5】実施の形態１に係る三次元再構成装置の構成を概略的に示す機能ブロック図である。

【図6】実施の形態１に係る三次元再構成装置のハードウェア構成の例を示す図である。

【図7】実施の形態１に係る三次元再構成装置の動作を示すフローチャートである。

【図8】図７における三次元情報の再構成の動作を示すフローチャートである。

【図9】本発明の実施の形態２に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサと現実空間内に存在する対象物との配置の例を概略的に示す図である。

【図10】無人移動装置の構成例を示す概略図である。

【図11】図１０に示される無人移動装置の構成を概略的に示す機能ブロック図である。

【図12】実施の形態２に係る三次元再構成装置の構成を概略的に示す機能ブロック図である。

【図13】実施の形態２に係る三次元再構成装置の動作を示すフローチャートである。

【図14】図１３における三次元情報の再構成の動作を示すフローチャートである。

【図15】無人移動装置の他の構成例を示す概略図である。

【図16】図１５に示される無人移動装置の構成を概略的に示す機能ブロック図である。

【発明を実施するための形態】

【0010】

以下に、本発明の実施の形態に係る三次元再構成装置、三次元再構成システム、三次元再構成方法、及び三次元再構成プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。また、以下の実施の形態の構成を適宜組み合わせることが可能である。

【0011】

実施の形態１．
図１は、実施の形態１に係る三次元再構成装置６０に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の例を概略的に示す図である。三次元再構成装置６０は、センサ１０，２０，３０，４０，５０によって取得された複数の現実空間情報を統合することによって統合空間情報を生成する。すなわち、三次元再構成装置６０は、センサ１０，２０，３０，４０，５０によって取得された複数の三次元情報を統合することによって統合された三次元情報を再構成する。また、三次元再構成装置６０とセンサ１０，２０，３０，４０，５０とは、三次元再構成システム１を構成する。

【0012】

センサ１０，２０，３０，４０，５０は、現実空間の情報を取得する装置である。センサ１０，２０，３０，４０，５０は、センサ１０，２０，３０，４０，５０から対象物Ａ０までの距離を示す深度情報を取得することができる。センサ１０，２０，３０，４０，５０は、例えば、デプスカメラである。センサ１０，２０，３０，４０，５０は、モーションキャプチャとも称される。センサ１０，２０，３０，４０，５０が使用する測定原理は、例えば、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式である。ただし、センサ１０，２０，３０，４０，５０が使用する測定原理は、現実空間情報を示す三次元情報を生成することができるものであれば、何であってもよい。

【0013】

センサ１０，２０，３０，４０は、予め決められた位置に配置されている。センサ１０，２０，３０，４０は、「第１のセンサ」とも称される。センサ１０，２０，３０，４０は、例えば、天井、壁、他の構造物、などに固定されたセンサである。センサ１０，２０，３０，４０は、検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０内にある物体の表面までの距離をそれぞれ計測する。センサ１０，２０，３０，４０は、例えば、対象物Ａ０を検出することで対象物Ａ０を示す現実空間情報である三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０を生成する。三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０は、「第１の三次元情報」とも称される。図１では、対象物Ａ０は、作業員である。ただし、対象物Ａ０は、動く機械、移動する製品、加工途中の物品、などであってもよい。また、予め決められた位置に配置されているセンサの台数は、４台に限定されず、４台以外の台数であってもよい。

【0014】

センサ５０は、移動可能に備えられている。センサ５０は、「第２のセンサ」とも称される。センサ５０は、自身の位置を変えることが可能なセンサ、自身の姿勢を変えることが可能なセンサ、又は自身の位置及び姿勢の両方を変えることが可能なセンサである。センサ５０の位置及び姿勢は、センサの取扱者がセンサ５０を保持し、センサ５０を動かすことによって変更することができる。センサ５０は、センサ５０の位置及び姿勢を変更可能に支持する支持装置に設置され、取扱者がセンサ５０の位置及び姿勢を変更してもよい。

【0015】

また、センサ５０の位置又は姿勢は、センサの取扱者ではなく、センサ５０の位置及び姿勢を変更する移動装置によって変更されてもよい。例えば、センサ５０は、注目箇所Ａ１を検出し続けるように、自身の位置及び姿勢を制御する自動トラッキング機能を備えた移動装置に搭載されてもよい。この移動装置は、例えば、無人走行車、「ドローン」と称される無人航空機、無人航行船舶、などであってもよい。自動トラッキング機能を備えた移動装置については、後述の実施の形態２及び３で説明される。

【0016】

センサ５０は、検出範囲Ｒ５０内にある物体の表面までの距離を計測する。センサ５０は、例えば、対象物Ａ０の注目箇所Ａ１を検出することで注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を生成する。三次元情報Ｄ５０は、「第２の三次元情報」とも称される。注目箇所Ａ１は、センサ５０によって検出され続けることが望まれている領域である。例えば、対象物Ａ０が作業員であるとき、注目箇所Ａ１は作業員の手によって組み立てられている製造中の物品である。図１では、注目箇所Ａ１は、対象物Ａ０である作業員の前方の胸付近の予め決められた大きさの範囲として描かれている。ただし、注目箇所Ａ１は、他の位置及び他の大きさの範囲であってもよい。

【0017】

図２は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図２において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０がセンサ１０，２０，３０，４０の中間位置付近に存在しているが、図２では、対象物Ａ０がセンサ３０に近付き、その結果、注目箇所Ａ１がセンサ３０に近付いている。このとき、センサ５０は、注目箇所Ａ１の移動に伴って移動して、注目箇所Ａ１の検出を継続している。注目箇所Ａ１の検出を継続するためには、センサ５０の検出範囲Ｒ５０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更される。

【0018】

図３は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図３において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０である作業員がセンサ４０に顔を向けているが、図３では、対象物Ａ０である作業員がセンサ３０に顔を向けている。その結果、図３では、注目箇所Ａ１がセンサ３０を向いた状態である。このとき、センサ５０は、注目箇所Ａ１の移動に伴って移動して、注目箇所Ａ１の検出を継続している。つまり、センサ５０の検出範囲Ｒ５０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更されている。

【0019】

図４は、実施の形態１に係る三次元再構成装置に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の他の例を概略的に示す図である。図４において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。図１では、対象物Ａ０の注目箇所Ａ１とセンサ５０との間に障害物は存在しないが、図４では、対象物Ａ０の注目箇所Ａ１とセンサ５０との間に障害物Ｂ０が入った状態を示している。このとき、センサ５０は、障害物Ｂ０の位置に応じて移動して、注目箇所Ａ１の検出を継続している。センサ５０の検出範囲Ｒ５０内に注目箇所Ａ１が存在し続けるように、センサ５０の位置、姿勢、又は位置及び姿勢の両方が変更されている。

【0020】

図５は、実施の形態１に係る三次元再構成装置６０の構成を概略的に示す機能ブロック図である。三次元再構成装置６０は、実施の形態１に係る三次元再構成方法を実施することができる装置である。三次元再構成装置６０は、例えば、コンピュータである。

【0021】

図５に示されるように、三次元再構成装置６０は、位置姿勢情報取得部６１と、センサ情報取得部６２と、三次元情報取得部６３と、三次元再構成部６４とを備えている。三次元再構成装置６０は、三次元情報を記憶する記憶装置である記憶部６５を備えてもよい。記憶部６５は、三次元再構成装置６０に接続された外部の記憶装置であってもよい。

【0022】

三次元情報取得部６３は、センサ１０，２０，３０，４０から、現実空間情報である三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０を取得する。また、三次元情報取得部６３は、センサ５０から、注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を取得する。三次元情報取得部６３は、注目箇所Ａ１を示す現実空間情報である三次元情報Ｄ５０を実時間で取得することが望ましい。実時間で取得するとは、三次元情報を一時的に保存する処理を行わずに、三次元情報を取得することである。

【0023】

センサ情報取得部６２は、センサ１０，２０，３０，４０の各々に固有の特性を示すセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０を取得する。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、「第１のセンサ情報」とも称される。センサ情報取得部６２は、センサ５０に固有の特性を示すセンサ情報Ｉ５０を取得する。センサ情報Ｉ５０は、「第２のセンサ情報」とも称される。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、事前に取得される。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、ユーザ操作などによって事前に入力される。ただし、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、センサ１０，２０，３０，４０から取得されてもよい。センサ情報Ｉ５０は、ユーザ操作などによって事前に入力される。ただし、センサ情報Ｉ５０は、センサ５０から取得されてもよい。

【0024】

センサ１０，２０，３０，４０，５０が、カメラである場合には、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０は、カメラの焦点距離などの内部パラメータを含むことができる。

【0025】

位置姿勢情報取得部６１は、センサ１０，２０，３０，４０の各々の位置及び姿勢を示す位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０を取得する。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、「第１の位置姿勢情報」とも称される。位置姿勢情報取得部６１は、センサ５０の位置及び姿勢を示す位置姿勢情報Ｅ５０を取得する。位置姿勢情報取得部６１は、センサ５０によって取得される三次元情報が示す注目箇所の移動情報（例えば、移動方向、移動量など）に基づいて、センサ５０の位置及び姿勢を推定してもよい。位置姿勢情報Ｅ５０は、「第２の位置姿勢情報」とも称される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０は、世界座標系で示される情報である。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、事前に取得される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、ユーザ操作などによって事前に入力される。ただし、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０は、センサ１０，２０，３０，４０から取得されてもよい。位置姿勢情報Ｅ５０は、センサ５０から取得される。位置姿勢情報取得部６１は、センサ５０の位置及び姿勢を示す位置姿勢情報Ｅ５０を実時間で取得することが望ましい。

【0026】

センサ１０，２０，３０，４０，５０の位置は世界座標系で表されることが望ましい。センサ１０，２０，３０，４０，５０の姿勢は、検出方向で表される。位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０とセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０とから、センサ１０，２０，３０，４０，５０の検出範囲（すなわち、検出レンジ）Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０，Ｒ５０が決定される。

【0027】

三次元再構成部６４は、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０、センサ情報Ｉ５０、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０、及び位置姿勢情報Ｅ５０を用いて、三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０及び三次元情報Ｄ５０から、注目箇所Ａ１を示す三次元情報を再構成する。記憶部６５は、三次元再構成部６４で再構成された三次元情報を記憶する。なお、再構成された三次元情報は、表示装置に出力されてもよい。

【0028】

図６は、実施の形態１に係る三次元再構成装置６０のハードウェア構成の例を示す図である。三次元再構成装置６０は、例えば、ソフトウェアとしてのプログラム、すなわち、実施の形態１に係る三次元再構成プログラムを格納する記憶装置としてのメモリ１０２と、メモリ１０２に格納されたプログラムを実行する情報処理部としてのプロセッサ１０１とを備える。三次元再構成装置６０は、汎用のコンピュータであってもよい。プロセッサ１０１は、演算装置である。演算装置は、ＣＰＵ（Ｃｅｎｔａｒａｌ Ｐｒｏｃｅｓｓｉｏｎｇ Ｕｎｉｔ）である。演算装置は、ＣＰＵに加えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。演算装置は、時刻情報を提供する時刻提供機能を備えてもよい。

【0029】

実施の形態１に係る三次元再構成プログラムは、情報を記憶する記憶媒体から媒体読取装置（図示せず）を介して又はインターネットなどに接続可能な通信インタフェース（図示せず）を介してメモリ１０２に格納される。また、三次元再構成装置６０は、データベースなどの各種情報を格納する記憶装置であるストレージ１０３を有してもよい。ストレージ１０３は、通信インタフェース（図示せず）を介して接続可能なクラウド上に存在する記憶装置であってもよい。また、三次元再構成装置６０には、マウス及びキーボードなどのようなユーザ操作部である入力装置１０４が接続されてもよい。さらに、三次元再構成装置６０には、画像を表示するディスプレイである表示装置１０５が接続されてもよい。入力装置１０４及び表示装置１０５は、三次元再構成装置６０の一部であってもよい。

【0030】

図６に示される位置姿勢情報取得部６１、センサ情報取得部６２、三次元情報取得部６３、及び三次元再構成部６４は、メモリ１０２に格納されているプログラムを実行するプロセッサ１０１によって実現されることができる。また、図５に示される記憶部６５は、ストレージ１０３の一部であってもよい。

【0031】

図７は、実施の形態１に係る三次元再構成装置６０の動作を示すフローチャートである。ただし、三次元再構成装置６０の動作は、図７の例に限定されず、種々の変更が可能である。

【0032】

ステップＳ１１において、センサ情報取得部６２は、センサ１０，２０，３０，４０のセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０を取得する。センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０は、例えば、三次元計測可能なセンサにおける内部パラメータである。

【0033】

ステップＳ１２において、位置姿勢情報取得部６１は、センサ１０，２０，３０，４０の位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０を取得する。このときのセンサ１０，２０，３０，４０の位置及び姿勢は、世界座標系によって表わされる。

【0034】

ステップＳ１３において、三次元情報取得部６３は、センサ１０，２０，３０，４０，５０から現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を取得する。

【0035】

ステップＳ１４において、三次元再構成部６４は、センサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０、センサ情報Ｉ５０、位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０、及び位置姿勢情報Ｅ５０を用いて、現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を統合することによって、三次元情報を再構成する。統合される三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０は、同時刻にサンプリングされたものであることが望ましい。

【0036】

ステップＳ１５において、再構成された三次元情報は、記憶部６５に記憶される。記憶部６５に記憶された、再構成された三次元情報には時刻を示す付加情報であるタイムスタンプが付与される。タイムスタンプが付与された三次元情報は、動画像又は静止画像として、図６に示される表示装置１０５に表示されることができる。

【0037】

ステップＳ１３からＳ１５の処理は、例えば、一定の時間間隔で、終了命令が入力されるまで繰り返される。

【0038】

図８は、図７における三次元情報の再構成の処理であるステップＳ１４の動作を示すフローチャートである。ただし、三次元情報の再構成の処理は、図８の例に限定されず、種々の変更が可能である。

【0039】

ステップＳ１４１において、位置姿勢情報取得部６１は、移動可能なセンサ５０の位置姿勢情報Ｅ５０を取得する。

【0040】

ステップＳ１４２において、センサ情報取得部６２は、移動可能なセンサ５０のセンサ情報Ｉ５０を取得する。

【0041】

ステップＳ１４３において、三次元再構成部６４は、センサ１０，２０，３０，４０，５０の時刻同期を行う。時刻同期により、センサ１０，２０，３０，４０，５０における時刻が、三次元再構成装置６０の時刻に同期する。

【0042】

ステップＳ１４４において、三次元再構成部６４は、センサ１０，２０，３０，４０，５０の各々の座標系における点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）で表された三次元情報を、共通の座標系である世界座標系における点群で表された三次元情報に変換するための座標変換を行う。

【0043】

ステップＳ１４５において、三次元再構成部６４は、座標変換された三次元情報を統合するための処理を行う。このときに、互いに重複する三次元情報の部分で、一方の三次元情報を削除するなどの処理が行われる。この三次元情報の削除は、公知の方法で行うことができる。公知の方法の一例は、ボクセルフィルタを用いる方法である。

【0044】

以上に説明したように、実施の形態１に係る三次元再構成装置６０、三次元再構成システム１、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報を欠落させることなく、三次元情報を再構成して、記憶部６５に格納することができる。また、注目箇所Ａ１が検出範囲内にある場合であっても、センサから注目箇所Ａ１までの距離が長い場合には、現実空間情報の情報量が低下する（例えば、解像度などが低下する）おそれがある。しかし、実施の形態１に係る三次元再構成装置６０、三次元再構成システム１、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報の欠落を生じさせないだけでなく、注目箇所Ａ１を詳細に示す三次元情報及び注目箇所Ａ１を含む広い空間を示す三次元情報を、継続して取得し続けることができる。

【0045】

また、実施の形態１では、対象物Ａ０の移動経路に沿って多数のセンサを追加する必要がないので、システムのコストの増加を抑制することができる。また、注目箇所Ａ１をより詳細に示す三次元情報、又は注目箇所Ａ１の全体を含む空間を示す三次元情報を低コストで再構成することができる。

【0046】

実施の形態２．
上記実施の形態１では、センサ１０，２０，３０，４０，５０が三次元再構成装置６０に直接接続されている例を説明した。しかし、センサ１０，２０，３０，４０，５０と三次元再構成装置とは、無線通信機能を有するセンサ制御装置を介して通信を行ってもよい。

【0047】

図９は、実施の形態２に係る三次元再構成装置７０に現実空間情報である三次元情報を提供する複数台のセンサ１０，２０，３０，４０，５０と現実空間内に存在する対象物Ａ０との配置の例を概略的に示す図である。図９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付されている。三次元再構成装置７０は、実施の形態２に係る三次元再構成方法を実施することができる装置である。実施の形態２においては、センサ１０，２０，３０，４０，５０は、それぞれセンサ制御装置１１，２１，３１，４１，５１を介して、三次元再構成装置７０と通信を行う。三次元再構成装置７０、センサ１０，２０，３０，４０，５０、及びセンサ制御装置１１，２１，３１，４１，５１は、三次元再構成システム２を構成する。

【0048】

センサ制御装置１１，２１，３１，４１，５１は、センサ１０，２０，３０，４０，５０によって検出された三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を三次元再構成装置７０に送信する。また、センサ制御装置１１，２１，３１，４１，５１は、センサ１０，２０，３０，４０，５０のセンサ情報Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０，Ｉ５０及び位置姿勢情報Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０，Ｅ５０を、三次元再構成装置７０に、送信してもよい。

【0049】

また、実施の形態２においては、センサ５０及びセンサ制御装置５１は、移動装置としての無人移動装置２００に搭載されている。無人移動装置２００は、例えば、無人走行車両、無人航空機、無人運転船、無人潜水船などを含むことができる。また、無人移動装置２００は、センサ５０の姿勢を変更する機構を備えてもよい。無人移動装置２００は、センサ５０による検出情報に基づいて、センサ５０が注目箇所Ａ１を検出し続けるように、センサ５０の位置及び姿勢を制御する自動トラッキング機能を備えてもよい。

【0050】

図１０は、無人移動装置２００の構成例を示す概略図である。図１１は、無人移動装置２００の構成を概略的に示す機能ブロック図である。無人移動装置２００は、センサ５０から現実空間の三次元情報Ｄ５０を取得する検出情報取得部２１０と、三次元情報Ｄ５０に基づいて、センサ５０の位置及び姿勢の変更指示情報を生成する位置姿勢変更指示部２２０と、駆動制御部２３０と、位置変更部２４０と、姿勢変更部２５０とを備えている。検出情報取得部２１０は、三次元情報Ｄ５０を実時間で取得することが望ましい。検出情報取得部２１０は、位置姿勢情報Ｅ５０を取得してもよい。この場合、検出情報取得部２１０は、位置姿勢情報Ｅ５０を実時間で取得することが望ましい。

【0051】

無人移動装置２００の位置変更部２４０は、床面を、互いに直行するｘ方向及びｙ方向に走行する走行機構であるｘ方向駆動部２４１及びｙ方向駆動部２４２を有している。ｘ方向駆動部２４１及びｙ方向駆動部２４２は、車輪、車輪を駆動するための駆動力を発生するモータ、モータで発生した駆動力を車輪に伝えるギヤなどの動力伝達機構、などを備える。

【0052】

また、位置変更部２４０は、センサ５０をｚ方向に上下移動させる昇降機構であるｚ方向駆動部２４３を有している。ｚ方向駆動部２４３は、センサ５０などを支持する支持台、支持台を上下移動させるための駆動力を発生するモータ、モータで発生した駆動力を支持台に伝えるギヤなどの動力伝達機構、などを備える。

【0053】

また、無人移動装置２００の姿勢変更部２５０は、センサ５０の方位角θａを変更する方位角変更機構を含むθａ方向駆動部２５１と、センサ５０の仰角θｅを変更する仰角変更機構を含むθｅ方向駆動部２５２とを有している。θａ方向駆動部２５１及びθｅ方向駆動部２５２は、センサ５０又はその支持台を水平軸線又は垂直軸線を中心にして回転動作させるための駆動力を発生するモータ、モータで発生した駆動力をセンサ５０又はその支持台に伝えるギヤなどの動力伝達機構、などを備える。

【0054】

例えば、位置姿勢変更指示部２２０は、三次元情報Ｄ５０における注目箇所Ａ１内の特徴点を抽出し、特徴点が予め決められた検出範囲から外れないようにセンサ５０の位置及び姿勢を制御するための、位置及び姿勢の変更指示情報を駆動制御部２３０に与える。ただし、位置姿勢変更指示部２２０は、センサ１０，２０，３０，４０の位置を考慮して、変更指示情報を生成してもよい。例えば、注目箇所Ａ１が、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０のいずれかの範囲内である場合には、位置姿勢変更指示部２２０は、センサ５０の検出範囲Ｒ５０から注目箇所Ａ１が一時的に外れることを許容してもよい。この場合には、無人移動装置２００は、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０に関する情報を、事前の入力操作で取得している。また、無人移動装置２００は、センサ１０，２０，３０，４０の検出範囲Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０に関する情報を取得するための、センサ１０，２０，３０，４０との間の通信を行う通信装置を備えてもよい。

【0055】

駆動制御部２３０は、受け取った変更指示情報にしたがって、位置変更部２４０及び姿勢変更部２５０を制御する。

【0056】

また、図１０及び図１１に示される構成は、実施の形態１にも適用可能である。また、図１１に示される無人移動装置２００の構成を、図６の構成と同様に、プログラムを記憶するメモリと、プログラムを実行するプロセッサとによって実現することが可能である。

【0057】

また、センサ５０の位置及び姿勢の制御は、インサイドアウト方式に限定されず、アウトサイドイン方式で行われてもよい。例えば、無人移動装置２００は、センサ５０の位置及び姿勢を検出する外部の検出器を備え、位置姿勢変更指示部２２０は、この外部の検出器の検出信号に基づいて位置姿勢変更指示を出力してもよい。

【0058】

図１２は、実施の形態２に係る三次元再構成装置７０の構成を概略的に示す機能ブロック図である。図１２において、図５に示される構成要素と同一又は対応する構成要素には、図５に示される符号と同じ符号が付される。三次元再構成装置７０は、受信部７１を備えている点において、実施の形態１に係る三次元再構成装置６０と異なる。受信部７１は、センサ制御装置１１，２１，３１，４１，５１を介してセンサ１０，２０，３０，４０，５０から送信された情報を受信する。

【0059】

センサ制御装置１１，２１，３１，４１，５１の各々は、センサによる検出情報を取得する検出情報取得部１２と、情報を受信部７１に無線で送信する送信部１３とを備えている。

【0060】

図１３は、実施の形態２に係る三次元再構成装置７０の動作を示すフローチャートである。ステップＳ２１，Ｓ２２，Ｓ２５における処理は、図７におけるステップＳ１１，Ｓ１２，Ｓ１５における処理と同じである。ステップＳ２３，Ｓ２４における処理は、図７におけるステップＳ１３，Ｓ１４における処理と同様である。ただし、実施の形態２では、三次元再構成装置７０は、受信部７１を介して各種の情報を取得する。

【0061】

ステップＳ２３においては、受信部７１は、センサ１０，２０，３０，４０，５０からセンサ制御装置１１，２１，３１，４１，５１を介して、現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を受信する。三次元情報取得部６３は、受信部７１から現実空間の三次元情報Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０，Ｄ５０を取得する。

【0062】

図１４は、図１３における三次元情報の再構成の処理であるステップＳ２４の動作を示すフローチャートである。ステップＳ２４１において、受信部７１は、移動可能なセンサ５０の位置姿勢情報Ｅ５０を受信し、位置姿勢情報取得部６１は、位置姿勢情報Ｅ５０を受信部７１から取得する。

【0063】

ステップＳ２４２において、受信部７１は、移動可能なセンサ５０のセンサ情報Ｉ５０を受信し、センサ情報取得部６２は、センサ情報Ｉ５０を受信部７１から取得する。

【0064】

ステップＳ２４３からＳ２４５の処理は、図８におけるステップＳ１４３からＳ１４５の処理と同じである。

【0065】

以上に説明したように、実施の形態２に係る三次元再構成装置７０、三次元再構成システム２、三次元再構成方法、又は三次元再構成プログラムを用いれば、注目箇所Ａ１の情報を欠落させることなく、三次元情報を再構成することができる。

【0066】

また、対象物Ａ０の移動経路に沿って多数のセンサを追加する必要がないので、システムのコストの増加を抑制することができる。

【0067】

上記以外の点について、実施の形態２は、実施の形態１と同じである。

【0068】

実施の形態２の変形例．
図１５は、無人移動装置３００の構成例を示す概略図である。図１６は、無人移動装置３００の構成を概略的に示す機能ブロック図である。無人移動装置３００は、センサ５０から現実空間の三次元情報Ｄ５０を実時間で取得する検出情報取得部３１０と、三次元情報Ｄ５０に基づいて、センサ５０の位置及び姿勢の変更指示情報を生成する位置姿勢変更指示部３２０と、駆動制御部３３０と、位置変更部３４０と、姿勢変更部３５０とを備えている。

【0069】

無人移動装置３００は、無人航空機を含む。無人移動装置３００の位置変更部３４０は、空中を、互いに直行するｘ方向、ｙ方向、ｚ方向に移動するため飛行駆動部３４１を有している。飛行駆動部３４１は、プロペラ、プロペラを回転させる駆動力を発生するモータ、などを備える。

【0070】

また、無人移動装置３００の姿勢変更部３５０は、センサ５０の方位角θａを変更する方位角変更機構を含むθａ方向駆動部３５１と、センサ５０の仰角θｅを変更する仰角変更機構を含むθｅ方向駆動部３５２とを有している。θａ方向駆動部３５１及びθｅ方向駆動部３５２は、センサ５０又はその支持台を水平軸線又は垂直軸線を中心にして回転動作させるための駆動力を発生するモータ、モータで発生した駆動力をセンサ５０又はその支持台に伝えるギヤなどの動力伝達機構、などを備える。

【0071】

例えば、位置姿勢変更指示部３２０は、三次元情報Ｄ５０における注目箇所Ａ１内の特徴点を抽出し、特徴点が予め決められた検出範囲から外れないようにセンサ５０の位置及び姿勢を制御するための、位置及び姿勢の変更指示情報を駆動制御部３３０に与える。駆動制御部３３０は、受け取った変更指示情報にしたがって、位置変更部３４０及び姿勢変更部３５０を制御する。

【0072】

また、図１５及び図１６に示される構成は、実施の形態１にも適用可能である。また、図１６に示される無人移動装置３００の構成を、プログラムを記憶するメモリと、プログラムを実行するプロセッサとによって実現することが可能である。上記以外に関し、図１５及び図１６の例は、図１０及び図１１の例と同じである。

【0073】

さらに、無人移動装置３００は、水上を移動する無人航行船、水中を移動する無人潜水船、予め敷設されたレール上を走行する無人走行車、などであってもよい。

【0074】

上記各実施の形態で説明した三次元再構成装置及び三次元再構成システムは、工場における作業員の作業の監視、製造途中の製品の監視、などに適用可能である。

【符号の説明】

【0075】

１，２ 三次元再構成システム、 １０，２０，３０，４０ センサ、 ５０ センサ、 １１，２１，３１，４１，５１ センサ制御装置、 １２ 検出情報取得部、 １３ 送信部、 ６０，７０ 三次元再構成装置、 ６１ 位置姿勢情報取得部、 ６２ センサ情報取得部、 ６３ 三次元情報取得部、 ６４ 三次元再構成部、 ６５ 記憶部、 ７１ 受信部、 ２００，３００ 無人移動装置、 ２１０，３１０ 検出情報取得部、 ２２０，３２０ 位置姿勢変更指示部、 ２３０，３３０ 駆動制御部、 ２４０，３４０ 位置変更部、 ２５０，３５０ 姿勢変更部、 Ａ０ 対象物、 Ａ１ 注目箇所、 Ｄ１０，Ｄ２０，Ｄ３０，Ｄ４０ 三次元情報、 Ｄ５０ 三次元情報、 Ｅ１０，Ｅ２０，Ｅ３０，Ｅ４０ 位置姿勢情報、 Ｅ５０ 位置姿勢情報、 Ｉ１０，Ｉ２０，Ｉ３０，Ｉ４０ センサ情報、 Ｉ５０ センサ情報、 Ｒ１０，Ｒ２０，Ｒ３０，Ｒ４０ 検出範囲、 Ｒ５０ 検出範囲。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】