IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ デープアップ ゲーエムベーハーの特許一覧

特表2022-553750地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置
<>
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図1
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図2
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図3
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図4
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図5
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図6
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図7
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図8
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図9a
  • 特表-地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置 図9b
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-26
(54)【発明の名称】地中線ネットワークのインフラストラクチャ要素を検出する方法およびその移動型検出装置
(51)【国際特許分類】
   G01B 11/00 20060101AFI20221219BHJP
   G01B 11/24 20060101ALI20221219BHJP
【FI】
G01B11/00 H
G01B11/24 A
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022524162
(86)(22)【出願日】2020-10-27
(85)【翻訳文提出日】2022-05-18
(86)【国際出願番号】 EP2020080210
(87)【国際公開番号】W WO2021083915
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】102019216548.6
(32)【優先日】2019-10-28
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
2.BLUETOOTH
(71)【出願人】
【識別番号】522165153
【氏名又は名称】デープアップ ゲーエムベーハー
(74)【代理人】
【識別番号】110002343
【氏名又は名称】弁理士法人 東和国際特許事務所
(72)【発明者】
【氏名】プッツ、 ミカエル
(72)【発明者】
【氏名】イズマイル、 シンカ
(72)【発明者】
【氏名】オプデンベルグ、 マルクス
(72)【発明者】
【氏名】アルノルド、 マルコ
(72)【発明者】
【氏名】リュクリヒ、 ペーター
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA04
2F065AA17
2F065BB12
2F065DD03
2F065FF04
2F065FF11
2F065FF67
2F065GG04
2F065HH04
2F065JJ01
2F065JJ03
2F065JJ05
2F065LL62
2F065MM06
2F065MM16
2F065MM26
2F065PP22
2F065QQ03
2F065QQ17
2F065QQ21
2F065QQ24
2F065QQ25
2F065QQ28
2F065QQ31
2F065RR09
2F065UU05
(57)【要約】
本発明は、開放掘削における地中線ネットワークの露出したインフラストラクチャ要素を、移動型検出装置(1)を用いて検出する、方法および装置に関する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
移動型検出装置(1)を用いて、地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を位置的に正しく検出する方法において:
‐前記移動型検出装置(1)の3次元再構成装置(4)を用いて、地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの、画像データおよび/または深度データが検出され、複数の点を有する3次元点群が前記画像データおよび/または前記深度データに基づいて生成され;
‐前記移動型検出装置(1)の1つまたは複数の受信機(2)を用いて、1つまたは複数の全地球航法衛星システムの信号が受信され、大域基準系における前記移動型検出装置(1)の位置の第1位置表示が決定され;
‐局所基準系における前記移動型検出装置(1)の位置の複数の第2位置表示、および、それぞれの前記局所基準系における前記移動型検出装置(1)の姿勢の複数の姿勢表示が決定され、
a.前記第2位置表示の1つおよび前記姿勢表示の1つが、前記移動型検出装置(1)の慣性計測装置(3)を用いて決定され、前記慣性計測装置(3)が、前記局所基準系の3つの互いに直交する主軸における前記移動型検出装置(1)の線形加速度と、前記主軸に関する前記移動型検出装置(1)の回転の角速度を検出し;
b.前記3次元再構成装置(4)が、1つまたは複数の2次元カメラを備え、前記1つまたは複数の2次元カメラを用いて、前記シーンの前記画像データおよび/または前記深度データが検出され、前記第2位置表示の1つおよび前記姿勢表示の1つが、前記画像データおよび/または前記深度データに基づく視覚オドメトリを用いて決定され;
c.前記3次元再構成装置(4)が、LIDAR計測装置を備え、前記LIDAR計測装置を用いて、前記シーンの前記深度データが検出され、前記第2位置表示の1つおよび前記姿勢表示の1つが、前記深度データに基づく視覚オドメトリを用いて決定され、
‐それぞれのジオリファレンスが、前記第1位置表示、複数の前記第2位置表示、また、複数の前記姿勢表示に基づいて、前記3次元点群の前記点に割り当てられ、
‐前記移動型検出装置(1)が、人による運搬が可能であり、前記移動型検出装置(1)が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジング(9)を有し、前記ハウジング(9)の最大エッジ長さが50cm未満であり、前記1つまたは複数の受信機(2)、前記慣性計測装置(3)および前記3次元再構成装置(4)が、前記ハウジング(9)に設けられている、方法。
【請求項2】
前記地中のインフラストラクチャ要素が、光ファイバケーブルまたは電力ケーブルまたは電気通信ケーブルであることを特徴とする、請求項1に記載の方法。
【請求項3】
前記地中のインフラストラクチャ要素が、配線ネットワークの一部、特に、光ファイバの、電力または電気通信のケーブルの配線ネットワークの一部であることを特徴とする、請求項1または請求項2に記載の方法。
【請求項4】
前記地中のインフラストラクチャ要素が、30cm未満、好ましくは、20cm未満、特に好ましくは、10cm未満、例えば5cm未満の直径を有することを特徴とする、請求項1~請求項3のいずれか1項に記載の方法。
【請求項5】
前記地中に配設されている複数の露出したインフラストラクチャ要素を含むシーンの複数のフレームの前記画像データおよび/または深度データが検出され、
複数の点を有する3次元点群が前記画像データおよび/または前記深度データに基づいて生成されることを特徴とする、請求項1~請求項4のいずれか1項に記載の方法。
【請求項6】
前記1つまたは複数の受信機(2)が、信号、特に、基準または補正の、信号を地上の基準局から受信するように追加的に構成されていることを特徴とする、請求項1~請求項5のいずれか1項に記載の方法。
【請求項7】
前記3次元再構成装置(4)の前記LIDAR計測装置が、ソリッドステート型のLIDARとして構成されていることを特徴とする、請求項1~請求項6のいずれか1項に記載の方法。
【請求項8】
それぞれの色またはグレースケールの値情報が、前記3次元点群の前記点に割り当てられ、
前記色またはグレースケールの値情報が、前記3次元再構成装置(4)の前記1つまたは複数の2次元カメラを用いて検出されることを特徴とする、請求項1~請求項7のいずれか1項に記載の方法。
【請求項9】
テクスチャ付きメッシュモデルが、前記3次元点群と、前記1つまたは複数の2次元カメラの前記画像データとに基づいて生成されることを特徴とする、請求項1~請求項8のいずれか1項に記載の方法。
【請求項10】
‐前記大域基準系における位置の前記第1位置表示、および/または前記位置表示に割り当てられている生データ;
‐前記1つまたは複数の第2位置表示;
‐前記1つまたは複数の第2姿勢表示;
‐前記検出された画像データおよび/または前記検出された深度データ、および/または前記局所基準系の3つの互いに直交する軸における前記移動型検出装置(1)の前記検出された線形加速度、および/また、前記軸に関する前記移動型検出装置(1)の回転の前記角速度が、
前記移動型検出装置(1)の格納ユニット(7)に、時間的に同期して、格納されることを特徴とする、請求項1~請求項9のいずれか1項に記載の方法。
【請求項11】
それぞれの前記局所基準系における前記1つまたは複数の第2位置表示が、剛体変換もしくはヘルマート変換または主軸変換を用いて、前記大域基準系に変換されることを特徴とする、請求項1~請求項10のいずれか1項に記載の方法。
【請求項12】
ジオリファレンスの、前記3次元点群の前記点への割り当てがセンサデータ融合により行われ、
グラフィカルモデルとしての因子グラフおよび/またはレーベンバーグ・マーカート法による応用推定方法が、最適化目的のために適用され、
前記大域基準系における位置の前記第1位置表示が用いられることを特徴とする、請求項1~請求項11のいずれか1項に記載の方法。
【請求項13】
前記センサデータ融合が、非線形方程式系に基づいており、
前記非線形方程式系に基づいて、前記移動型検出装置の、位置および姿勢の推定が行われることを特徴とする、請求項1~請求項12のいずれか1項に記載の方法。
【請求項14】
前記3次元再構成装置により検出された前記画像データおよび/または前記深度データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が、検出かつ分類され、
前記非線形方程式系に基づく前記移動型検出装置の位置および姿勢の推定が、前記インフラストラクチャ要素の検出および分類の結果に基づいて追加的に行われることを特徴とする、請求項13に記載の方法。
【請求項15】
前記移動型検出装置(1)の前記1つまたは複数の受信機(2)を用いて、前記全地球航法衛星システムの最大で3つの航法衛星からの信号が受信され、
それぞれのジオリファレンスが、前記3次元点群の前記点に、10cm未満、好ましくは、5cm未満、特に好ましくは、3cm未満の範囲の正確度で割り当てられることを特徴とする、請求項1~請求項14のいずれか1項に記載の方法。
【請求項16】
先行情報として、前記移動型検出装置の位置の前記第2位置表示および/または前記移動型検出装置の前記姿勢表示が、前記受信機が誤作動を報告するか、または、前記慣性計測装置を用いて短期間のみ、使用可能な第2位置表示および/または姿勢表示を決定する場合でも、インフラストラクチャ要素のジオリファレンス処理を行うために、搬送波位相の差分計測のアンビギュティの決定を支援することを特徴とする、請求項1~請求項15のいずれか1項に記載の方法。
【請求項17】
複数回または相異なる時点で記録されるインフラストラクチャ要素のセンサデータ融合領域を用いて、2つのシーン間のオーバーラップが、認識され、前記インフラストラクチャ要素の時間的に最も近くで検出された領域に還元されることを特徴とする、請求項1~請求項16のいずれか1項に記載の方法。
【請求項18】
前記大域基準系において、前記1つまたは複数の受信機(2)によって決定された前記1つまたは複数の第1位置表示の質を確保するために、前記全地球航法衛星システムの1つまたは複数の品質パラメータ、例えば、DOP(精度低下率)が、監視されることを特徴とする、請求項1~請求項17のいずれか1項に記載の方法。
【請求項19】
前記大域基準系における前記移動型検出装置(1)の位置の第1位置表示の時間的なシーケンスの妥当性が、前記第1位置表示の前記時間的なシーケンスに基づいて決定される第1速度表示と、前記検出された線形加速度および角速度に基づいて算出され、前記第1速度表示と比較される第2速度表示とにより決定されることを特徴とする、請求項1~請求項18のいずれか1項に記載の方法。
【請求項20】
前記3次元点群かつ/または前記画像データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が、検出かつ分類されることを特徴とする、請求項1~請求項19のいずれか1項に記載の方法。
【請求項21】
1つまたは複数の画像分割方法、例えば、閾値処理方法、特に、ヒストグラムに基づく方法、または、テクスチャに基づく方法、領域に基づく方法、または、画素に基づく方法、例えば、サポートベクターマシン、決定木およびニューラルネットワークが、インフラストラクチャ要素の検出、分類および/または分割のために用いられることを特徴とする、請求項20に記載の方法。
【請求項22】
前記3次元点群の複数の点の、色および/またはグレースケールの値情報、および/または彩度値情報、および/または、明度値情報の、および/または電磁波スペクトルの、少なくとも1つのヒストグラムが、検出、分類および/または分割のために生成されることを特徴とする、請求項20または請求項21に記載の方法。
【請求項23】
前記1つまたは複数のヒストグラムにおいて、極大値が検出され、前記極大値の中から、インフラストラクチャ要素の予め定義されている、色、彩度および明度の閾値に関して最小の乖離を有する極大値が検出されることを特徴とする、請求項22に記載の方法。
【請求項24】
前記検出された極大値からなる前記色情報に関して予め定義されている乖離閾値を超えない点の群が、前記群の点に関して定義されている幾何学的および色の乖離を超えないさらなる点により反復的に拡張され、これにより、同様の色情報を有するインフラストラクチャ要素の局所的に連続的な領域が形成されることを特徴とする、請求項23に記載の方法。
【請求項25】
前記インフラストラクチャ要素の検出、分類および/または分割のために、かつ/または距離計測の改善のために、かつ/または、絶対姿勢の初期化のために、前記移動型検出装置(1)のレーザポインタ(5)の光スポットが検出され、かつ/または前記表示装置(8)に表示されることを特徴とする、請求項20~請求項24のいずれか1項に記載の方法。
【請求項26】
前記インフラストラクチャ要素の検出、分類および/または分割のために、前記検出された画像データの、色またはグレースケールの値情報、特に、前記3次元点群の前記点の、色またはグレースケールの値情報、および/または前記検出された深度データとそれに関連するラベル情報が、訓練を目的として人工ニューラルネットワークに供給されることを特徴とする、請求項20~請求項25のいずれか1項に記載の方法。
【請求項27】
それぞれ検出されたインフラストラクチャ要素について関連する3次元物体が、前記3次元点群に基づいて生成されることを特徴とする、請求項1~請求項26のいずれか1項に記載の方法。
【請求項28】
2つの3次元物体間の光学的空隙が認識され、接続3次元物体、特に、3次元スプラインが生成され、前記光学的空隙を閉止することを特徴とする、請求項1~請求項27のいずれか1項に記載の方法。
【請求項29】
前記光学的空隙を認識するために、第1の3次元物体の第1端部の特徴、および、第2の3次元物体の第2端部の同様の特徴が決定され、
前記第1および第2特徴が互いに比較され、
前記第1および第2特徴が、直径または色または姿勢またはジオリファレンスであることを特徴とする、請求項28に記載の方法。
【請求項30】
前記移動型検出装置(1)が、光学的空隙モードに設定され、前記第1端部から前記第2端部へと移動することを特徴とする、請求項28に記載の方法。
【請求項31】
前記移動型検出装置(1)が、音声制御用装置を備えていることを特徴とする、請求項1~請求項30のいずれか1項に記載の方法。
【請求項32】
入力要求および/または情報、特に、フィードバックメッセージおよび/または警告の音響出力が、前記音声制御用装置により行われることを特徴とする、請求項31に記載の方法。
【請求項33】
聴覚情報が、前記音声制御用装置により認識され、
前記ジオリファレンスが、前記聴覚情報に追加的に基づいて前記3次元点群の前記点に割り当てられることを特徴とする、請求項31または請求項32に記載の方法。
【請求項34】
前記移動型検出装置(1)の表示装置(8)により、
‐前記3次元点群の表現および/または
‐前記3次元点群と、前記1つまたは複数の2次元カメラの前記画像データとに基づいて生成されたテクスチャ付きメッシュモデルおよび/または
‐インフラストラクチャ要素に対応する3次元物体および/または
‐2次元位置図および/または
‐インフラストラクチャ要素のパーツリストおよび/または
‐前記移動型検出装置の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせおよび/または
‐前記移動型検出装置の2次元カメラの画像データの、前記3次元点群の複数の点の投影との重ね合わせ
が表示されることを特徴とする、請求項1~請求項33のいずれか1項に記載の方法。
【請求項35】
地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を位置的に正しく検出する移動型検出装置(1)において:
‐地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの、画像データおよび/または深度データを検出し、複数の点を有する3次元点群を前記画像データおよび/または前記深度データに基づいて生成する3次元再構成装置(4)と;
‐1つまたは複数の全地球航法衛星システムの信号を受信し、大域基準系における前記移動型検出装置(1)の位置の第1位置表示を決定する、1つまたは複数の受信機(2)と;
‐局所基準系における前記移動型検出装置(1)の位置の第2位置表示と、前記局所基準系における前記移動型検出装置(1)の姿勢の姿勢表示とを決定する慣性計測装置(3)であって、前記慣性計測装置(3)が、前記局所基準系の3つの互いに直交する主軸における前記移動型検出装置(1)の線形加速度と、前記主軸に関する前記移動型検出装置(1)の回転の角速度とを検出するように構成される、慣性計測装置(3)とを備え;
前記3次元再構成装置(4)が1つまたは複数の2次元カメラを備え、前記1つまたは複数の2次元カメラを用いて、前記シーンの前記画像データが検出可能であり、前記局所基準系における前記移動型検出装置の位置の第2位置表示、および前記姿勢表示が、前記画像データに基づく視覚オドメトリを用いて決定可能であり;
前記3次元再構成装置(4)がLIDAR計測装置を備え、前記LIDAR計測装置を用いて、前記シーンの深度データが検出可能であり、前記局所基準系における前記移動型検出装置の位置の第2位置表示、および前記姿勢表示が、前記深度データに基づく視覚オドメトリを用いて実行され;
‐前記検出装置が、それぞれのジオリファレンスを、前記第1位置表示、複数の前記第2位置表示、さらには、複数の前記姿勢表示に基づいて、前記3次元点群の前記点に割り当てるように構成され;
‐前記移動型検出装置(1)が、人による運搬が可能であり、前記移動型検出装置(1)が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジング(9)を有し、前記ハウジング(9)の最大エッジ長さが50cm未満であり、前記1つまたは複数の受信機(2)、前記慣性計測装置(3)および前記3次元再構成装置(4)が、前記ハウジング(9)に設けられている、移動型検出装置。
【請求項36】
前記1つまたは複数の受信機(2)が、1つまたは複数の全地球航法衛星システムおよび/または地上の基準局の信号を参照サービスからの補正データとともに受信するように構成されていることを特徴とする、請求項35に記載の移動型検出装置。
【請求項37】
前記3次元再構成装置(4)が、飛行時間型カメラ、構造化照明型カメラ、ステレオカメラ、LIDAR計測装置、レーダ計測装置および/またはこれらの間の組み合わせ、特に、1つまたは複数の2次元カメラとの組み合わせを備えていることを特徴とする、請求項35または請求項36に記載の移動型検出装置。
【請求項38】
‐前記3次元点群の表現および/または
‐前記3次元点群と、前記1つまたは複数の2次元カメラの前記画像データとに基づいて生成されたテクスチャ付きメッシュモデルおよび/または
‐前記インフラストラクチャ要素に対応する3次元物体および/または
‐2次元位置図および/または
‐前記インフラストラクチャ要素のパーツリストおよび/または
‐前記移動型検出装置の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせおよび/または
‐前記移動型検出装置の2次元カメラの画像データの、前記3次元点群の複数の点の投影との重ね合わせ
を含む表示データを表示する表示装置(8)と、前記表示データを供給するように構成されるデータ処理装置(6)とを特徴とする、請求項35~請求項37のいずれか1項に記載の移動型検出装置。
【請求項39】
前記インフラストラクチャ要素を光学的にマーキングし、かつ/または、拡張的に距離計測し、かつ/または表示方向の向きを初期化するレーザポインタ(5)を特徴とする、請求項35~請求項38のいずれか1項に記載の移動型検出装置。
【請求項40】
観測データの質の向上および最適化のために、グレア、鏡面反射および反射を回避する偏光フィルタを特徴とする、請求項35~請求項39のいずれか1項に記載の移動型検出装置。
【請求項41】
前記インフラストラクチャ要素の検出、分類および/または分割を改善するための1つまたは複数の照明装置を特徴とする、請求項35~請求項40のいずれか1項に記載の移動型検出装置。
【請求項42】
前記移動型検出装置(1)が、音声制御用装置を備えていることを特徴とする、請求項35~請求項41のいずれか1項に記載の移動型検出装置。
【請求項43】
前記音声制御用装置が、入力要求および/または情報、特に、フィードバックメッセージおよび/または警告の音響出力を可能にするように構成されていることを特徴とする、請求項42に記載の移動型検出装置。
【請求項44】
前記3次元再構成装置(4)の前記LIDAR計測装置が、ソリッドステート型のLIDARとして構成されていることを特徴とする、請求項35~請求項43のいずれか1項に記載の移動型検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動型検出装置を用いて、地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を位置的に正しく検出する方法に関する。
また、本発明は、地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を位置的に正しく検出する移動型検出装置に関する。
ここで、露出したインフラストラクチャ要素は、配線ネットワークのインフラストラクチャ要素である。
【背景技術】
【0002】
地中のインフラストラクチャ要素は、通常の場合、線ネットワークに多数で位置している。
これらの線ネットワークは、そのネットワーク構造の点、および、それらが埋設されている仕方の点の両方において、また、それを規定する境界条件の点において、伝送ネットワークと配線ネットワークとして識別される。
伝送ネットワークは、国内および国際輸送用の直線的な形状を有する、上位の、大きな、個別の長距離線からなる一方で、複数のインフラストラクチャ要素が高度に組み合わされ、その構造が小さなパーツからなるか、高度に分岐している配線ネットワークは、末端消費者への地域的な再配送を行う。
伝送ネットワークのインフラストラクチャ要素は、配線ネットワークのインフラストラクチャ要素よりも、著しくさらに深く埋設されている。
【0003】
公共配線ネットワークの所有者および管理者の仕様と規則によると、地中に埋設される線ネットワークの文書化のために、現在、原則的に、複数の分野にまたがる2つの計測手法の間が区別されている。
線および接続要素が、電気タキメータ装置、GNSSシステム(Global Navigation Satellite System(全地球航法衛星システム)の略)を用いて較正されるか、従来の巻尺を用いて手動で較正されるかのいずれかである。
光ファイバケーブルを埋設する場合、その後の位置追跡を目的として、RFID(radio-frequency identificationの略)チップを有するいわゆる球状マーカも最近では用いられているのは、現行の従来の方法による較正では正確度が不十分だからである。
地中線ネットワークを較正するために、建設プロジェクトにおいて調査のために外部エンジニア会社への委託が行われるのが、一般的である。
この場合、顧客(ネットワーク管理者)、請負業者(建設会社)および、下位サービス供給者(調査を行うエンジニア)との間の調整に大きな時間コストがかかる。
同時に、その時点において、顧客は、例えば、ガイドラインへの準拠に関する品質調査のために、または、その後の線情報のために用いることができる、設置されているインフラストラクチャ要素の、ジオリファレンス処理された3次元モデルを未だに取得していない。
小規模の建設プロジェクト、例えば、個別の消費者を配線ネットワークに接続する場合、建設会社は、多くの場合、コストおよび時間的理由から、現場で巻尺を用いて大まかなスケッチを用意するだけである。
これらのスケッチは、誤差と不正確さを含む傾向が非常に大きい。
両方の計測手法において、インフラストラクチャ要素としての線は、横断線のシーケンスによって文書化図面に記載されている。
したがって、線の実際の幾何学的形状は、ここでは無視されている。
【0004】
これらの線ネットワークの保守管理と、配線ネットワークにおけるそのような線ネットワークの近傍における新規の土木エンジニアリングプロジェクトの計画策定の両方のためには、数センチメートルの絶対的な正確度でこれらの地中のインフラストラクチャ要素の正確な位置表示を有する、可能な限り精密な文書化が利用可能であることが絶対的に必要である。
位置と深度についてこれらのインフラストラクチャ要素に関する知識が不十分だと、これらのインフラストラクチャ要素の損傷、供給の中断、そして、最悪の場合、人に致命的な怪我を負わせてしまう場合がある。
【0005】
特許文献1には、建造物の壁または床要素に隠蔽されて配設されている線ネットワークのインフラストラクチャ要素を検出かつ視覚化する方法が記載されている。
インフラストラクチャ要素が露出して配設されている状態において、インフラストラクチャ要素は、レーザスキャナにより検出される。
座標が既知である制御点が、追加的に検出される。
レーザスキャナにより検出されたデータに基づいて、インフラストラクチャ要素の3次元モデルが作成され、その3次元モデルの座標が制御点に関して定義される。
インフラストラクチャ要素が隠蔽された後、マーカが視認可能な個所に設けられる。
その時点で隠蔽されているインフラストラクチャ要素を視覚化するために、このマーカは、移動型表示ユニットのカメラにより撮像され、インフラストラクチャ要素の3次元モデルは、表示ユニットにおいて、カメラ画像の上に重ね合わせて示される。
しかし、既知の方法の不利な点として判明しているのは、3次元モデルを生成するためにインフラストラクチャ要素を検出する間と、検出されたシーンにおけるカメラ画像に重ね合わされた3次元モデルを視覚化する間の両方において、それぞれの制御点またはマーカを設ける必要があることである。
その結果、比較的多くの数の作業ステップになり、また、破壊行為、例えば、マーカの望ましくない撤去または移動が発生しやすくなる。
【0006】
特許文献2には、規則が規定する被覆の最低深度をチェックすることを目的とする、伝送ネットワークにおける大きな国内長距離線(「パイプライン」)の露出したインフラストラクチャ要素を検出する方法が記載されている。
このために、掘削の外側の車両に搭載されているプラットフォームは、露出したパイプラインに沿って前方向に一定の速度で移動する。
局所点群は、機械的装置を介して移動型プラットフォームに接続されている従来のLIDAR計測装置を用いて生成される。
局所点群において、幾何学的特徴、例えば、パイプラインの長手軸は、エッジ認識アルゴリズムを用いて同定される。
さらなるステップにおいて、この幾何学的特徴は、全地球航法衛星システムを介して取得される絶対位置データと連結されてよい。
この全地球航法衛星システムは、田園地域において比較的長期間にわたって露出され、約1mの比較的大きな直径と、直線的で予測可能な形状を有するパイプラインの、規則に規定されている埋設深度をチェックするように構成されている。
しかし、この方法は、地中の配線ネットワークのインフラストラクチャ要素、例えば、特に、町/市の環境における、小さな断面と分岐形状を有する光ファイバケーブルを位置的に正確に検出するには不適である。
これは、道路に関する交通法規と、多くの場合、地表面下で利用可能な経路領域が限定されている点からすると、町/市および郊外の配線ネットワークにおける土木エンジニアリングプロジェクトの排水システムは、パイプライン建設におけるよりも小さいパーツを用いて延設され、掘削は、一般に、0.3m~2mの深度を有する。
そのような土木エンジニアリングプロジェクトの場合、数センチメートルの範囲の絶対的な正確度でインフラストラクチャ要素を検出する必要がある。
スケジュール通りに建設プロジェクトを完了させるという大きな納期圧力があることから、建設現場作業員は、較正中に、一般に、掘削の外側とその中の両方においてさらなる作業を行う。
また、多くの場合、例えば、木々、駐車中の自動車または建設現場の資材に起因して、掘削付近またはその上に接近できないことから、このことは、較正中に同時に掘削を横断する必要があることを意味する。
このように、絶え間なく変化する環境条件により、インフラストラクチャ要素の検出が明らかに予測不可能になる。
さらなる要因は、慣性計測装置(IMU)の相対的な正確度と、また、衛星の視認性が限定され、移動無線のカバレッジが不良である場合に全地球航法衛星システムの計測の絶対的な正確度とに大きな悪影響を及ぼす、センサに一般的な外乱の影響である。
また、慣性計測装置は、全地球航法衛星システム用受信機の誤作動を十分に正確に補償するようには構成されていない。
このことは、ある領域または地域においては、高い正確度を有する、衛星に基づく位置決定は、不可能であるか、または、部分的にしか可能ではないかのいずれかであることを意味する。
したがって、特許文献2から知られる、車両、ロボットまたは無人航空システムに搭載される移動型プラットフォームは、配線ネットワークにおける地中線ネットワークのインフラストラクチャ要素を検出するには不適であるか、建設現場作業員および/または近傍の通行者をさらなる危険に曝す可能性がある。
また、技術的観点からすると、この方法が、町/市の地域において不十分であるのは、LIDARのみを用いて局所点群を生成する場合、センサに一般的な望ましくないドリフトの影響と、それに起因する不正確さが生じるからである。
これらのドリフトの影響および不正確さにより、配線ネットワークにおける地中線ネットワークの露出したインフラストラクチャ要素の地図作成を行う際に必要とされる、1桁のセンチメートル範囲の絶対的な正確度で検出を行うことは不可能である。
【0007】
特許文献3には、露出したインフラストラクチャ要素を検出する方法において、インフラストラクチャ要素に手動で取り付けられたQRコードが、LIDARスキャナまたは1つまたは複数のカメラにより読み取られ、その属性が決定される方法が記載されている。
絶対的なジオリファレンス処理を用いつつ、露出したインフラストラクチャ要素を検出する方法は、記載されていない。
インフラストラクチャ要素を絶対的な位置と連結させるためには、座標がそれぞれの正式な座標系において予め既知である、環境に関連する物体は、目標のマーカが設けられ、1つまたは複数のカメラまたはLIDARにより検出される必要がある。
この場合、これらの環境に関連する物体は、その一方で、先行するステップにおいて、専門家により、追加で、従来の高価なGNSS調査装置またはタキメータ装置を用いて較正される必要がある。
この結果、全体として、多くの作業ステップにおいて誤差の影響を受けやすいだけでなく、ジオリファレンス処理分野の専門知識も前提とされ、数多くのセンサ固有のドリフトの影響と、それに起因する不正確さが認められるため、配線ネットワークにおける地中線ネットワークの露出したインフラストラクチャ要素の地図作成を行う際に必要とされる1桁のセンチメートル範囲の絶対的な正確度で検出を行うことは不可能である。
また、この方法は、QRコードの認識に依存しているため、深刻な不利な点を有する。
建設現場においては、通例である汚染を理由に、例えば、塵、泥または落下物の堆積の結果、QRコードを認識できない場合、この発明を用いることはできない。
特許文献3に記載の装置は、複数の別体の部材から構成され、この場合、データは、まず、装置、例えば、LIDARシステムまたは複数のカメラを有するカメラシステムにより検出され、次に、通信ネットワークを介してデータ処理システムに送信される。
別体のデータ処理装置は、「AutoCAD」ソフトウェアを用いて、データを3次元点群に変換し、その後、「Photo Soft」ソフトウェアと、また、QRコードと目標のマーカを認識するための追加のソフトウェアが用いられる。
その場合、このデータは、手動でプログラム間においてインポート/エクスポートされる必要がある。
絶対的なジオリファレンス処理が必要な場合、調査システムおよび目標のマーカが追加的に用いられる必要がある。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願公開第2014210856 A1
【特許文献2】国際公開第2018/213927 A1
【特許文献3】米国特許第9230453 B2
【発明の概要】
【発明が解決しようとする課題】
【0009】
この背景に対して、解決しようとする課題は、配線ネットワークにおける地中線ネットワークのインフラストラクチャ要素を、位置的に正確に数センチメートルの絶対的な正確度で、作業ステップの数を減らして、専門知識を必要とせず、実質的に全ての外乱の影響とセンサに一般的な測定の不確かさを補償して、検出することを可能とすることである。
【課題を解決するための手段】
【0010】
この課題を解決するために提案されるのは、移動型検出装置を用いて、開放掘削における、地中線ネットワークの露出したインフラストラクチャ要素を検出する方法において:
‐移動型検出装置の3次元再構成装置を用いて、地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの、画像データおよび/または深度データが検出され、複数の点を有する3次元点群が画像データおよび/または深度データに基づいて生成され;
‐移動型検出装置の1つまたは複数の受信機を用いて、1つまたは複数の全地球航法衛星システムの信号が受信され、大域基準系における移動型検出装置の位置の第1位置表示が決定され;
‐局所基準系における移動型検出装置の位置の複数の第2位置表示、および、それぞれの局所基準系における移動型検出装置の姿勢の複数の姿勢表示が決定され、
a.第2位置表示の1つおよび姿勢表示の1つが、移動型検出装置の慣性計測装置を用いて決定され、慣性計測装置が、局所基準系の3つの互いに直交する主軸における移動型検出装置の線形加速度と、これらの主軸に関する移動型検出装置の回転の角速度を検出し;
b.3次元再構成装置が1つまたは複数の2次元カメラを備え、1つまたは複数の2次元カメラを用いて、シーンの画像データおよび/または深度データが検出され、第2位置表示の1つおよび姿勢表示の1つが、画像データおよび/または深度データに基づく視覚オドメトリを用いて決定され;
c.3次元再構成装置がLIDAR計測装置を備え、LIDAR計測装置を用いて、シーンの深度データが検出され、第2位置表示の1つおよび姿勢表示の1つが、深度データに基づく視覚オドメトリを用いて決定され、
‐それぞれのジオリファレンスが、第1位置表示、複数の第2位置表示、また、複数の姿勢表示に基づいて、3次元点群の点に割り当てられ、
‐移動型検出装置が、人による運搬が可能であり、移動型検出装置が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジングを有し、ハウジングの最大エッジ長さが50cm未満であり、1つまたは複数の受信機、慣性計測装置および3次元再構成装置が、ハウジングに設けられている、方法である。
【0011】
また、本発明の主題は、地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を位置的に正しく検出する移動型検出装置において:
‐地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの、画像データおよび/または深度データを検出し、複数の点を有する3次元点群をこれらの画像データおよび/または深度データに基づいて生成する3次元再構成装置と;
‐1つまたは複数の全地球航法衛星システムの信号を受信し、大域基準系における移動型検出装置の位置の第1位置表示を決定する1つまたは複数の受信機と;
‐局所基準系における移動型検出装置の位置の第2位置表示と、局所基準系における移動型検出装置の姿勢の姿勢表示とを決定する慣性計測装置であって、慣性計測装置が、局所基準系の3つの互いに直交する主軸における移動型検出装置の線形加速度と、これらの主軸に関する移動型検出装置の回転の角速度とを検出するように構成される、慣性計測装置とを備え;
3次元再構成装置が1つまたは複数の2次元カメラを備え、1つまたは複数の2次元カメラを用いて、シーンの画像データが検出可能であり、局所基準系における移動型検出装置の位置の第2位置表示、および姿勢表示が、画像データに基づく視覚オドメトリを用いて決定可能であり;
3次元再構成装置が、LIDAR計測装置を備え、LIDAR計測装置を用いて、シーンの深度データが検出可能であり、局所基準系における移動型検出装置の位置の第2位置表示、および姿勢表示が、深度データに基づく視覚オドメトリを用いて実行され;
‐検出装置が、それぞれのジオリファレンスを、第1位置表示、複数の第2位置表示、さらには、複数の姿勢表示に基づいて、3次元点群の点に割り当てるように構成され;
‐移動型検出装置が、人による運搬が可能であり、移動型検出装置が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジングを有し、ハウジングの最大エッジ長さが50cm未満であり、1つまたは複数の受信機、慣性計測装置および3次元再構成装置が、ハウジングに設けられている、移動型検出装置である。
【0012】
本発明に係る方法において、露出したインフラストラクチャ要素は、移動型検出装置を用いて検出され、移動型検出装置は、1つまたは複数の全地球航法衛星システムの信号を受信する1つまたは複数の受信機と、また、3次元再構成装置と、慣性計測装置とを備える。
1つまたは複数の全地球航法衛星システムの信号用の1つまたは複数の受信機、3次元再構成装置および慣性計測装置により、測地基準系におけるインフラストラクチャ要素の位置および姿勢を高い正確度で簡単に検出することが可能になる。
所定の1つのインフラストラクチャ要素または所定の複数のインフラストラクチャ要素を含む、記録されたシーンの3次元点群がこの場合には生成される。
それぞれのジオリファレンスは、この3次元点群の点に割り当てられる。
このジオリファレンスは、測地基準系、好ましくは、正式な位置基準系、例えば、ETRS89/UTM(欧州陸上参照システム1989年/ユニバーサル横メルカトル図法)において、幾何学的および/または物理的な高度基準を用いて、3次元点群の点の位置表示を意味する。
【0013】
ジオリファレンスは、3次元点群の点に、第1位置表示に基づいて、つまり、大域基準系における移動型検出装置の決定された位置に基づいて、かつ、複数の第2位置表示に基づいて、つまり、局所基準系における移動型検出装置の推定された位置に基づいて、かつ、姿勢表示に基づいて、つまり、局所基準系における移動型検出装置の推定された姿勢の表示に基づいて、割り当てられる。
このようにして、画像データは、それぞれのインフラストラクチャ要素または掘削の領域における基準点に依存しない位置表示を有することができる。
その結果、ジオリファレンスをさらに高い正確度および信頼性で決定することができる。
本発明によると、例えば、特許文献1におけるような、制御点またはマーカを配置かつ検出することは、不要であるため、較正時の作業ステップを軽減することができる。
したがって、露出したインフラストラクチャ要素を、可能な限り高確度で位置的に正確に、作業ステップの数を減らして検出することができる。
【0014】
共通のハウジングにより、コンパクトで、頑強で、建設現場に好適な、露出したインフラストラクチャ要素を検出する移動型検出装置を提供することができる。
そして、この移動型検出装置は、開放掘削のそばで用いられてよく、また、移動型検出装置の使用を可能にするものであり、その場合、開放掘削に位置し、片方または両方の手で移動型検出装置を保持している人は、この移動型検出装置を用いて、露出した1つまたは複数のインフラストラクチャ要素を検出する。
したがって、町/市の環境において、配線ネットワークの、地中に配設されている露出したインフラストラクチャ要素を検出するために、本発明に係る方法および本発明に係る移動型検出装置を特に有利に用いることができる。
【0015】
本発明は、従属請求項の主題であり、同様に、インフラストラクチャ要素を検出する方法を、インフラストラクチャ要素を検出する移動型検出装置に関連付ける。
【0016】
本発明において、地中のインフラストラクチャ要素は、線、またはケーブル要素、例えば、光ファイバケーブル、ガス管、地域熱供給管、水道管、電力または電気通信ケーブル、また、関連する導管、ケーブルダクト、および、接続要素を意味する。
そして、この接続要素は、例えば、2つの線またはケーブル要素の接続部材として、3つ以上の線またはケーブル要素を接続する分配管として、または、増幅管として具現化されてよい。
検出対象である地中のインフラストラクチャ要素は、配線ネットワークの一部、特に、光ファイバの、電力または電気通信のケーブルの配線ネットワークの一部であるような、地中のインフラストラクチャ要素である。
【0017】
地中のインフラストラクチャ要素は、30cm未満、好ましくは、20cm未満、特に好ましくは、10cm未満、例えば、5cm未満の直径を有することが好ましい。
【0018】
本発明に係る方法において、地中に配設されている複数の露出したインフラストラクチャ要素を含むシーンの複数のフレームの、画像データおよび/または深度データが検出され、複数の点を有する3次元点群が画像データおよび/または深度データに基づいて生成される。
【0019】
受信機は、複数の全地球航法衛星システムの信号を受信かつ処理するように構成されている。
特に好ましくは、受信機は、複数の全地球航法衛星システムの信号、特に、様々な全地球航法衛星システムの衛星からの複数の周波数帯域の信号を同時に受信かつ処理するように構成されている。
全地球航法衛星システムは、例えば、GPS、GLONASS、ガリレオまたは北斗であってよい。
受信機は、信号、特に、基準または補正の信号を地上の基準局から受信するように代替的に、または追加的に構成されていてよい。
一例として、受信機は、地上送信局の信号を、移動無線ネットワークを介して受信するように構成されていてよい。
補正信号は、例えば、SAPOS補正信号(ドイツ衛星測位サービス)または大域HxGN SmartNetの信号であってよい。
好ましくは、検出装置の位置を決定するために、リアルタイム・キネマティック(RTKと称される)、精密単独測位(PPP)、後処理キネマティック(PPK)のうちの1つまたは複数の方式が用いられる。
これらの方式を用いることにより、移動型検出装置の位置を決定する際の正確度を10cm未満、好ましくは、5cm未満、特に好ましくは、3cm未満、例えば、2cm未満の範囲に収めることが可能になる。
大域基準系において決定された第1位置表示の質を確保するために、ジオリファレンス処理の品質調査を、ユーザには不可視の方法で行ってよい。
これは、全地球航法衛星システムの1つまたは複数の品質パラメータ、例えば、DOP(精度低下率)を監視することにより行われる。
【0020】
慣性計測装置(IMU)は、各場合において、3つの互いに直交する主軸において、例えば、x軸、y軸、z軸に沿う並進移動と、各場合において、これらの3つの空間方向に関して、例えば、x軸、y軸、z軸に関する回転運動を検出し、特に、時間間隔をおいて複数回、これらのデータ検出を繰り返すように構成されている。
一例として、慣性計測装置は、並進移動に関して3つの線形加速度値と、回転運動の回転速度に関して3つの角速度とを、観測変数として検出してよい。
これらの観測変数は、計測された電圧差の比率に基づいて導出されてよい。
さらなる方法、例えば、ストラップダウンアルゴリズム(SDA)を用いて、位置、速度および姿勢の変化を、計測した特定の力と回転速度とに基づいて推定してよい。
【0021】
3次元再構成装置は、飛行時間型カメラ、構造化照明型カメラ、ステレオカメラ、LIDAR計測装置、レーダ計測装置および/またはこれらの間の組み合わせ、特に、1つまたは複数の2次元カメラとの組み合わせを備えてよい。
【0022】
3次元再構成装置のLIDAR計測装置は、ソリッドステート型のLIDAR計測装置(ソリッドステート型のLIDARまたはフラッシュLIDARと称される)として構成されている。
そのようなソリッドステート型のLIDAR計測装置は、機械的部材なしで構成可能であるという有利な点を有する。
ソリッドステート型のLIDAR計測装置のさらなる有利な点は、複数の点の、画像および/または深度の情報を、同一の時点で検出できることであり、視野内の移動物体に起因する歪み効果が、ソリッドステート型のLIDAR計測装置の場合には生じることはない。
したがって、視野が回転する走査型のLIDAR計測装置の場合に生じるそのような歪みを補正するための計測を、不要とすることができる。
【0023】
本発明によると、移動型検出装置は、ハウジングを備え、受信機、慣性計測装置および3次元再構成装置が、ハウジングに設けられている。
移動型検出装置は、受信機、慣性計測装置および3次元再構成装置が露出して設けられる枠体を有さない。
共通のハウジングにより、コンパクトで、頑強で、建設現場に好適な、露出したインフラストラクチャ要素を検出する移動型検出装置を提供することができる。
【0024】
本発明は、人による運搬が可能である移動型検出装置を提供し、移動型検出装置は、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であるため、移動型検出装置は、ユーザにより開放掘削へと運搬可能であり、そこで、露出したインフラストラクチャ要素を検出するために使用可能である。
本発明の移動型検出装置は、ハウジングを有し、このハウジングは、50cm未満、好ましくは、40cm未満、特に好ましくは、30cm未満、例えば、20cm未満の最大エッジ長さを有する。
本発明は、無人航空機としては具現化されない移動型検出装置を提供する。
本発明は、地上機械または地上車両に対して、固定不能な、好ましくは、固定されない移動型検出装置を提供する。
【0025】
ジオリファレンスは、移動型検出装置を用いることによってのみ、例えば、1つまたは複数の全地球航法衛星システムの信号用の1つまたは複数の受信機と、慣性計測装置と、3次元再構成装置とを用いることによってのみ決定される。
3次元点群の、複数の点、特に、すべての点は、ジオリファレンス処理の結果、測地基準系の位置表示を備えている。
測地基準系は、大域基準系と同一であってよい。
【0026】
本方法によると、それぞれの色またはグレースケールの値情報が3次元点群の点に割り当てられ、色またはグレースケールの値情報が、3次元再構成装置の1つまたは複数の2次元カメラを用いて検出されるように、構成される。
色またはグレースケールの値情報は、例えば、RGB色空間のRGB色情報またはHSV色空間のHSV色情報として存在してよい。
【0027】
本方法によると、テクスチャ付きメッシュモデルが、3次元点群と、1つまたは複数の2次元カメラの画像データとに基づいて生成される。
テクスチャ付きメッシュモデルを用いることで、格納されるデータ量を低減することが可能になる。
【0028】
1つの有利な構成によると、
‐大域基準系における位置の第1位置表示、および/またはこの位置表示に割り当てられている生データ;
‐1つまたは複数の第2位置表示;
‐1つまたは複数の第2姿勢表示;
‐検出された画像データおよび/または検出された深度データ、および/または局所基準系の3つの互いに直交する主軸における移動型検出装置の検出された線形加速度、および、また、これらの主軸に関する移動型検出装置の回転の角速度が、
特に、移動型検出装置の格納ユニットに、時間的に同期して、格納されるように構成される。
同期化を目的として、この場合、共通のタイムスタンプおよび/または共通のフレーム指定が格納されるように構成されてよい。
好ましくは、移動型検出装置は、大域基準系における位置の第1位置表示、および/またはこの位置表示に割り当てられている生データと;1つまたは複数の第2位置表示と;1つまたは複数の第2姿勢表示と;検出された画像データおよび/または検出された深度データ、および/または局所基準系の3つの互いに直交する主軸における移動型検出装置の検出された線形加速度、および、また、これらの主軸に関する移動型検出装置の回転の角速度とを時間的に同期して格納する格納ユニットを備える。
【0029】
特に、ジオリファレンスを決定かつ/または割り当てるために、1つまたは複数の第2位置表示が、それぞれの局所基準系から、剛体変換もしくはヘルマート変換を用いて、または、主軸変換を用いて、大域基準系に変換されるように構成される。
大域基準系における第1位置表示、および、それぞれの局所基準系における1つまたは複数の第2位置表示は、さらなる基準系に変換されてよい。
【0030】
第2位置表示の1つおよび姿勢表示の1つが、画像データおよび/または深度データに基づく視覚オドメトリを用いて、かつ/または、慣性計測装置を用いて、同時自己位置推定および地図作成(SLAM)により決定されるように構成される。
1つまたは複数の第2位置表示および姿勢表示を決定すると、移動型検出装置の軌跡をより正確に決定することが可能となるため、3次元点群の点のジオリファレンス処理が改善される。
【0031】
ジオリファレンスの、3次元点群の点への割り当てがセンサデータ融合により行われ、グラフィカルモデルとしての因子グラフ、および/または、応用推定方法が最適化目的のために適用され、大域基準系における位置の第1位置表示が用いられる。
この点に関して、移動型検知装置の、ドリフトの影響、および、第2位置表示と大域基準系の第1位置表示との間の偏差は、認識かつ補正されてよい。
1つまたは複数の組み込み型の受信機により大域基準系の第1位置表示を検出することで、相対的なセンサシステムの、短期的な安定性を有する限定的因子を補償してよく、上位の座標系への変換を用いて、移動型検出装置のジオリファレンス処理に至ってよい。
【0032】
センサデータ融合が非線形方程式系に基づいており、非線形方程式系に基づいて、移動型検出装置の、位置および姿勢の推定が行われる。
移動型検出装置の軌跡の推定、つまり、移動型検出装置の位置の経時的プロファイルの推定、および、移動型検出装置の姿勢の経時的プロファイルの推定は、非線形方程式系に基づいて行われる。
位置および姿勢の推定、または姿勢の、軌跡およびプロファイルの推定により、第1に、ジオリファレンス処理を数センチメートルの範囲の高い絶対的な正確度で達成することが可能になり、第2に、例えば、衛星の視認性が限定されていることにより信頼性の高い第1位置表示が決定できない場合、センサの不定期の誤作動を補償することができるという有利な点を達成することが可能になる。
【0033】
3次元再構成装置により検出された画像データおよび/または深度データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が、検出かつ分類され、非線形方程式系に基づく移動型検出装置の位置および姿勢の推定が、インフラストラクチャ要素の検出および分類の結果に基づいて、色情報および/または線の直径および/または形状および/または曲げ半径および/またはジオリファレンスを含む、結果表示に基づいて追加的に行われる。
そのような構成の場合、インフラストラクチャ要素の、特に、頑強で精度の高いジオリファレンス処理を達成することができる。
【0034】
センサデータ融合のために、様々な変数と因子との間の複雑な関係を写像する因子グラフが用いられる。
この各フレームについて順次加算される動作情報(角速度、姿勢表示など)は、バンドル調整において、搬送波位相観測値(GNSS因子)と融合されてよい。
この場合、GNSS因子は、フレームのジオリファレンス処理された位置の直接的な観測値を示す一方で、相対的なポーズ因子は、フレーム間でのポーズの変化に関する情報を供給し、特徴点因子は、画像記録において検出された局所位置基準(例えば、認識可能な構造体および/または物体)を連結し、周囲に対する空間的基準を構成する。
また、インフラストラクチャ要素(色情報、幾何学的な用途特定特徴点、例えば、直径、形状、曲げ半径、移動型検出装置の第1および第2位置表示など)の検出、分類および/または分割は、これに付随して、上記センサデータ融合に影響を与える場合がある。
結果として生じるのは、シーンの記録されたフレームの、連続的であり、大域的に完全に、そして新規に位置合わせされた3次元点群であり、これに基づいて、すべてのインフラストラクチャ要素を、3次元で、ジオリファレンス処理した状態で、数センチメートルの絶対的な正確度で抽出することができる。
【0035】
移動型検出装置の1つまたは複数の受信機を用いて、全地球航法衛星システムの最大で3つの航法衛星からの信号が受信され、それぞれのジオリファレンスが、3次元点群の点に、10cm未満、好ましくは、5cm未満、特に好ましくは、3cm未満の範囲の正確度で割り当てられるように構成される。
複数のセンサデータソースを用いるため、衛星の視認性が限定され、かつ/または移動無線のカバレッジが不良である環境において、インフラストラクチャ要素の3次元の絶対地理座標を数センチメートルの範囲で決定することができる。
【0036】
先行情報として、移動型検出装置の位置の第2位置表示および/または移動型検出装置の姿勢表示が、受信機が誤作動を報告するか、または、慣性計測装置を用いて短期間のみ、使用可能な第2位置表示および/または姿勢表示を決定する場合でも、インフラストラクチャ要素のジオリファレンス処理を行うために、搬送波位相の差分計測のアンビギュティの決定を支援する。
【0037】
複数回または相異なる時点で記録されるインフラストラクチャ要素のセンサデータ融合領域を用いて、例えば、2つのシーン間のオーバーラップが、認識され、インフラストラクチャ要素の時間的に最も近くで検出された領域に還元される。
【0038】
大域基準系における移動型検出装置の位置の第1位置表示の時間的なシーケンスの妥当性が、第1位置表示の時間的なシーケンスに基づいて決定される第1速度表示と、検出された線形加速度および角速度に基づいて算出され、第1速度表示と比較される第2速度表示とにより決定されるように構成される。
この目的のため、線形加速度の時間積分との比較が行われてよい。
その結果、決定されたか、または、点に割り当てられたジオリファレンスの信頼性を向上させることができる。
このようにして、ジオリファレンスは、3次元点群の点に、1つまたは複数の第1位置表示と、1つまたは複数の第2位置表示と、1つまたは複数の姿勢表示と、局所基準系の3つの互いに直交する主軸における移動型検出装置の計測された線形加速度と、これらの主軸に関する移動型検出装置の回転の計測された角速度とに基づいて割り当てられる。
【0039】
3次元点群に基づいて、かつ/また、は画像データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が検出かつ/または分類かつ/または分割されるように構成される。
【0040】
この1つまたは複数の画像分割方法、例えば、閾値処理方法、特に、ヒストグラムに基づく方法、テクスチャに基づく方法、領域に基づく方法、または、画素に基づく方法、例えば、サポートベクターマシン、決定木およびニューラルネットワークが、インフラストラクチャ要素の検出、分類および/または分割のために用いられる。
一例として、インフラストラクチャ要素の検出、分類および/または分割のために、検出された画像データの色情報は、予め定義されている色情報と比較されてよい。
一般に、相異なる線ネットワークのインフラストラクチャ要素は、相異なる着色および/または相異なる幾何学的情報を有することから、検出された画像データの色情報および/または幾何学的情報は、例えば、データベースに格納され、予め定義されている、色情報および/または幾何学的情報と比較されてよい。
これにより、第1に、インフラストラクチャ要素を、シーンにおけるその周囲から識別し、第2に、インフラストラクチャ要素の種類、例えば、インフラストラクチャ要素が光ファイバケーブルまたは地域熱供給管であるか否かを認識する。
3次元点群の点の色情報は、3次元点群の点が、認識されたインフラストラクチャ要素に直接的に割り当てられることが可能であるように、予め定義されている色情報と比較される。
【0041】
3次元点群の複数の点の、色および/またはグレースケールの値情報、および/または彩度値情報、および/または明度値情報の、および/または電磁波スペクトルの、少なくとも1つのヒストグラムが、検出、分類および/または分割のために生成されるように構成される。
色またはグレースケールの値情報のヒストグラムを生成することにより、第1ステップにおいて、予め定義されている、色および/またはグレースケールの値情報、および/または彩度値情報、および/または、明度値情報の、および/または、電磁波スペクトルに最も類似する点群の点を割り当てることが可能になり、これにより、シーンにおけるインフラストラクチャ要素の認識を改善するための基礎となる。
画像データをHSV色空間へと先行変換した後に、HSV色空間の画像データの色またはグレースケールの値情報のヒストグラムが生成される。
特に、色値(色相と称される)のヒストグラムが生成され、これは、色角度とも称される。
【0042】
1つまたは複数のヒストグラムにおいて、極大値が検出され、極大値の中から、インフラストラクチャ要素の予め定義されている、色、彩度および明度の閾値に関して最小の乖離を有する極大値が決定または検出される。
【0043】
検出された極大値からなる色情報に関して予め定義されている乖離閾値を超えない点の群が、群の点に関して定義されている幾何学的および色の乖離を超えないさらなる点により反復的に拡張され、これにより、同様の色情報を有するインフラストラクチャ要素の局所的に連続的な領域が形成される場合、有利である。
このようにして、同様の色値を有するインフラストラクチャ要素の局所的に連続的な領域を検出することができる。
また、色値がインフラストラクチャ要素の幾何学的形状において漸進的に変化するインフラストラクチャ要素は、画像データにおいて連続的なインフラストラクチャ要素として認識されてよい。
好適な検出乖離閾値は、インフラストラクチャ要素を検出している間の移動型検出装置の、移動方向に対応する好適な空間方向に関して予め定義されていてよい。
好適な方向乖離閾値は、他の空間方向の乖離閾値よりも大きくてよいのは、開放掘削においてインフラストラクチャ要素を検出している間、ユーザはインフラストラクチャ要素の範囲の主要方向に対応する方向において移動型検出装置を移動させると考えることができるからである。
【0044】
本発明によると、インフラストラクチャ要素の検出、分類および/または分割のために、かつ/または距離計測の改善のために、かつ/または、絶対姿勢の初期化のために、移動型検出装置のレーザポインタの光スポットが検出され、かつ/または表示装置に表示されるように構成される。
この目的のために、移動型検出装置は、インフラストラクチャ要素を光学的にマーキングするレーザポインタを備え、このレーザポインタを用いて3次元再構成装置により検出されたシーンの方向のレーザビームを生成可能である。
レーザポインタを用いて、移動型検出装置のユーザは、インフラストラクチャ要素の一部を示す、検出されたシーンにおける点をマーキングすることができる。
レーザポインタを用いてマーキングされた点は、検出された画像データにおいて同定されてよく、マーキングされた点からの幾何学的な乖離を有する点は、インフラストラクチャ要素の同様の部分と推定可能な候補点を示してよい。
さらなるステップにおいて、候補点の色値は、例えば、1つまたは複数のヒストグラムを用いて互いに比較されてよい。
この1つまたは複数のヒストグラムから、インフラストラクチャ要素の予め定義されている、色相、彩度および明度の値に関して最小の乖離を有する極大値を検出することができる。
【0045】
本発明に係る方法によると、インフラストラクチャ要素の検出、分類および/または分割のために、検出された画像データの、色またはグレースケールの値情報、特に、3次元点群の点の、色またはグレースケールの値情報、および/または検出された深度データとそれに関連するラベル情報が、訓練を目的として人工ニューラルネットワークに供給されるように構成される。
人工ニューラルネットワークの訓練の文脈において、画像データは、人工ニューラルネットワークの訓練データとして用いられてよく、人工ニューラルネットワークを訓練するために、補正データが移動型検出装置のユーザにより追加的に供給される。
人工ニューラルネットワークは、移動型検出装置のデータ処理装置の一部として、ソフトウェアおよび/またはハードウェアとして具現化されてよい。
代替的に、人工ニューラルネットワークをサーバの一部として設けることができ、このサーバに移動型検出装置は、無線通信接続を介して接続される。
訓練されたニューラルネットワークを用いて、インフラストラクチャ要素の検出、分類および/または分割を、演算の複雑さを低減しつつ可能とすることができる。
【0046】
それぞれ検出されたインフラストラクチャ要素について、関連する3次元物体が、3次元点群に基づいて生成されるように構成される。
3次元物体の生成は、測地基準系の3次元点群に基づいて行われ、このようにしてジオリファレンス処理される。
3次元物体は、テクスチャを有してよい。
移動型検出装置は、検出されたインフラストラクチャ要素に対応する3次元物体を示すように構成される画像処理装置(GPU)を備えている。
【0047】
配線ネットワークのインフラストラクチャ要素を検出する際、様々な理由から、地中に配設されているインフラストラクチャ要素の一部が隠蔽に起因して移動型検出装置により光学的に検出不可能である状況が発生する場合がある。
このようにして、光学的空隙が、3次元点群、または、3次元物体により定義されるネットワークに生じる。
そのような状況は、例えば、インフラストラクチャ要素が掘削上に延在する板、例えば、掘削上の横断歩道を構成する鉄板により被覆される場合に生じることがある。
また、露出したインフラストラクチャ要素を、例えば、ドリルプレスを用いて、建設において閉止して埋設されていたさらなるインフラストラクチャ要素に接続することができる。
また、例えば、移動型検出装置のユーザが不注意な移動をすると、インフラストラクチャ要素またはそのパーツが砂または土により隠蔽されるか、または、葉が近傍の木々から落下する結果、隠蔽に至る場合がある。
移動型検出装置が光学的に検出できないそのようなインフラストラクチャ要素を追加的に検出することを可能にするために、後述する計測を行ってよい。
【0048】
本発明によると、2つの3次元物体間の光学的空隙が認識され、接続3次元物体、特に、3次元スプラインが生成され、光学的空隙を閉止する。
【0049】
光学的空隙を認識するために、第1の3次元物体の第1端部の特徴、および、第2の3次元物体の第2端部の同様の特徴が決定され、第1および第2特徴が互いに比較され、第1および第2特徴が直径または色または姿勢またはジオリファレンスである。
特に、光学的空隙を認識するために、第1の3次元物体の第1端部の複数の特徴、および、第2の3次元物体の第2端部の同様の特徴が決定され、第1および第2特徴が互いに比較され、第1および第2特徴が直径および/または色および/または姿勢および/またはジオリファレンスである。
【0050】
代替的に、移動型検出装置が、光学的空隙モードに設定され、第1端部から第2端部へと移動する。
光学的空隙モードは、移動型検出装置のオペレータ制御要素により作動可能であってよい。
【0051】
移動型検出装置が、音声制御用装置を備える。
命令および/または情報の聴覚入力は、音声制御用装置を介して行われてよい。
聴覚入力により、インフラストラクチャ要素の検出中に、オペレータ制御要素の作動に起因する望ましくないぶれを防止することが可能になり、このことは、検出結果の改善に寄与する。
また、入力要求および/または情報、特に、フィードバックメッセージおよび/または警告の、音響出力が音声制御用装置により行われてよい。
音声制御用装置は、1つまたは複数のマイクロフォンおよび/または1つまたは複数の拡声器を備えてよい。
【0052】
聴覚情報が音声制御用装置により認識され、ジオリファレンスが、聴覚情報に追加的に基づいて、3次元点群の点に割り当てられる。
特に、センサデータ融合中の聴覚情報は、移動型検出装置の位置および姿勢を推定するために用いられる。
代替的に、聴覚情報は、インフラストラクチャ要素の検出および分類のために用いられてよい。
一例として、認識対象のインフラストラクチャ要素の種類(「線は光ファイバケーブルである」)に関し、かつ/または、認識対象のインフラストラクチャ要素の数(「3つの線が埋設されている」)に関し、かつ/または、認識対象のインフラストラクチャ要素の配置(「左にガス管、右に光ファイバケーブルが存在する」)に関する、ユーザの聴覚情報は、音声制御用装置により認識されてよい。
3次元再構成装置により検出された画像データおよび/または深度データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素は、検出かつ分類され、非線形方程式系に基づく移動型検出装置の位置および姿勢の推定は、聴覚情報に基づいて追加的に行われる。
【0053】
移動型検出装置の表示装置により、3次元点群の表現、および/またはインフラストラクチャ要素に対応する3次元物体が表示されるように構成される。
このことは、例えば、開放掘削のインフラストラクチャ要素の検出直後に、移動型検出装置のユーザがインフラストラクチャ要素に対応する3次元点群および/または3次元物体をその場で見ることができ、任意でチェックできるという有利な点を有している。
【0054】
代替的にまたは追加的に、3次元点群と、1つまたは複数の2次元カメラの画像データとに基づいて生成されたテクスチャ付きメッシュモデルを表示装置により表示してよい。
【0055】
表示装置により、2次元位置図が表示されるように構成されている。
2次元位置図は、例えば、特に、ジオリファレンス処理された3次元点群に基づいて、移動型検出装置のデータ処理装置により生成されてよい。
2次元位置図は、ファイルに、例えば、.dxfファイル形式、または個別の属性を有するシェープファイル形式で保存されてよい。
そのような2次元位置図の構成は、インフラストラクチャ要素を、責任ある所有者のそれぞれの地理情報システムにデジタル方式で組み込むために役に立つ。
【0056】
移動型検出装置の表示装置により、インフラストラクチャ要素のパーツリスト、特に、線要素および接続要素のパーツリストを表示するように構成される。
パーツリストは、検出、分類かつ/または分割されたインフラストラクチャ要素に基づいて、移動型検出装置のデータ処理装置により生成されてよく、ユーザにより手動で適合されてよい。
パーツリストは、例えば、様々な線ネットワークのインフラストラクチャ要素を含んでよい。
パーツリストは、例えば、それぞれのインフラストラクチャ要素の数に関する情報、および/またはそれぞれのインフラストラクチャ要素の埋設されている長さユニットの数、および/または測地基準系におけるそれぞれのインフラストラクチャ要素の位置表示、および/または建設の進捗を含んでよい。
【0057】
移動型検出装置の表示装置により、移動型検出装置の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせを表示するように構成される。
インフラストラクチャ要素の3次元物体を掘削上に投影するために、まず、移動型検出装置のカメラ視線方向の向きを初期化する必要がある。
このために、ユーザは、移動型検出装置を、例えば、数メートルの範囲の場所に移動させるか、または、十分なセンサデータを用いて空間における移動型検出装置の姿勢を取得するために、特定の移動パターン/プロセスを実行する必要がある。
3次元再構成装置の一部として設けられている2次元カメラの画像データの、複数の、特に、相互接続されたインフラストラクチャ要素に対応する3次元物体の複数の投影との重ね合わせが表示される。
そのような表示は、「拡張現実」表現とも称されてよく、隠蔽されて配設されているインフラストラクチャ要素を、閉止状態におかれていても、現実的、または位置的に正確に表現することを可能にする。
このことは、移動型検出装置により、地中に埋設されているインフラストラクチャ要素の現実的な表現を、掘削が閉止された後であっても、ユーザに示すことができることを意味する。
ジオリファレンス処理された画像データのおかげで、ユーザは、形状を高い正確度で知覚することができるように、インフラストラクチャ要素を露出させる必要がない。
【0058】
移動型検出装置の表示装置により、移動型検出装置の、3次元再構成装置の一部として設けられている2次元カメラの画像データの、3次元点群の複数の点の投影との重ね合わせを表示するように構成される。
3次元点群の投影を表示装置に表示する場合、その結果、3次元物体の投影の表現と比較すると演算の複雑さが増大する。
しかし、この場合、3次元物体をそれ以前に生成する必要がなくて済む。
【0059】
移動型検出装置は、表示データを表示する表示装置と、表示データを供給するように構成されるデータ処理装置とを備え、データ表示は、
‐3次元点群の表現および/または
‐3次元点群と、1つまたは複数の2次元カメラの画像データとに基づいて生成されたテクスチャ付きメッシュモデルおよび/または
‐インフラストラクチャ要素に対応する3次元物体および/または
‐2次元位置図および/または
‐インフラストラクチャ要素のパーツリストおよび/または
‐移動型検出装置の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせおよび/または
‐移動型検出装置の2次元カメラの画像データの、3次元点群の複数の点の投影との重ね合わせを含む。
表示装置は、ユーザの入力を検出するために用いることができる表示およびオペレータ制御の組み合わせ装置として、例えば、タッチスクリーンとして具現化されてよい。
【0060】
移動型検出装置は、インフラストラクチャ要素を光学的にマーキングし、かつ/または拡張的に距離計測し、かつ/または表示方向の向きを初期化するレーザポインタを備えている。
【0061】
移動型検出装置は、観測データの質の向上および最適化のために、グレア、鏡面反射および反射を回避するための偏光フィルタを備えている。
【0062】
移動型検出装置は、インフラストラクチャ要素の検出、分類および/または分割を改善するための1つまたは複数の照明装置を備えている。
【0063】
移動型検出装置は、音声制御用装置を備えている。
【0064】
音声制御用装置が入力要求および/または情報、特に、フィードバックメッセージおよび/または警告の、音響出力を可能にするように構成されている。
【0065】
以下、本発明を、図面に基づいて説明する。
【図面の簡単な説明】
【0066】
図1】本発明の実施形態に係る移動型検出装置の概略的なブロック図。
図2】地中に位置する露出したインフラストラクチャ要素を検出する、本発明の実施形態を示すフロー図。
図3】3次元点群の投影を示す図。
図4】シーンの表現を示す図。
図5】本発明を用いることができる、建設プロジェクトの表現を示す図。
図6】本発明を用いることができる、建設プロジェクトの表現を示す図。
図7】ジオリファレンスを3次元点群の点に割り当てる場合のプロセスを説明するブロック図。
図8】複数のシーンの概略的な表現を示す図。
図9a】複数の、少なくとも部分的に光学的に隠蔽されているインフラストラクチャ要素を含む掘削の平面図。
図9b】認識かつ閉止された光学的空隙を含む図9aの掘削の平面図。
【発明を実施するための形態】
【0067】
図1は、地中、特に、開放掘削に配設されている、露出したインフラストラクチャ要素を検出するための、移動型検出装置1のブロック図を示す。
移動型検出装置1は、1つまたは複数の受信機2を備え、この受信機2は、1つまたは複数の全地球航法衛星システムの信号を受信かつ処理し、大域基準系における移動型検出装置の第1位置を衛星信号の飛行時間計測に基づいて決定する、受信設備からなる。
受信機2、特に、受信機2の受信設備は、1つまたは複数のアンテナに接続されてよく、このアンテナは、移動型検出装置1のハウジング9の外側に配置され、特に、ハウジング9の外側輪郭部に配置される。
代替的に、アンテナは、ハウジング9内に配置されてよい。
移動型検出装置1の第1位置は、基準局または、基準ネットワークのサービスを用いて改善されてよい。
また、移動型検出装置1は、シーン、特に、地中に位置する露出したインフラストラクチャ要素を含むシーンのフレームの、画像データおよび/または深度データを検出する3次元再構成装置4を含む。
また、移動型検出装置1は、主軸に沿う加速度と、移動型検出装置1の回転の角速度とを計測する慣性計測装置3を備えている。
また、移動型検出装置の位置の複数の第2位置表示は、画像データおよび/または深度データの視覚オドメトリを用いて、そして、慣性計測装置3を用いて、同時自己位置推定および地図作成により推定される。
特に、局所基準系における移動型検出装置1の位置の複数の第2位置表示と、それぞれの局所基準系における移動型検出装置1の姿勢の複数の姿勢表示とが決定され、
a.第2位置表示の1つおよび姿勢表示の1つが、移動型検出装置1の慣性計測装置3を用いて決定され、慣性計測装置3が、局所基準系の3つの互いに直交する主軸における移動型検出装置1の線形加速度と、これらの主軸に関する移動型検出装置1の回転の角速度を検出し、かつ/または、
b.3次元再構成装置4が1つまたは複数の2次元カメラを備え、1つまたは複数の2次元カメラを用いて、シーンの画像データおよび/または深度データが検出され、第2位置表示の1つおよび姿勢表示の1つが、画像データおよび/または深度データに基づく視覚オドメトリを用いて決定され、かつ/または、
c.3次元再構成装置4がLIDAR計測装置を備え、LIDAR計測装置を用いて、シーンの深度データが検出され、第2位置表示の1つおよび姿勢表示の1つが、深度データに基づく視覚オドメトリを用いて決定される。
【0068】
1つまたは複数の受信機2、慣性計測装置3および3次元再構成装置4は、共通のハウジング9に設けられている。
【0069】
ハウジング9は、移動型検出装置1が、ユーザにより両方の手を用いて、好ましくは、片方の手を用いて保持可能であるような寸法を有している。
ハウジング9は、50cm未満、好ましくは、40cm未満、特に好ましくは、30cm未満、例えば、20cm未満の最大エッジ長さを有している。
【0070】
ハウジング9に同様に設けられている、移動型検出装置1のさらなる部材は、レーザポインタ5、データ処理装置6、格納ユニット7、通信装置10および表示装置8である。
【0071】
レーザポインタ5は、インフラストラクチャ要素を光学的にマーキングするために、かつ/または追加的に距離を計測するために用いられてよく、3次元再構成装置4により検出されたシーンの方向、例えば、3次元再構成装置4により検出されたシーンの中心に方向付けられるレーザビームを、このレーザポインタにより生成可能であるように、ハウジングまたはフレーム9に設けられている。
【0072】
データ処理装置6は、個別の計測データおよび推定データそしてまた画像データがデータ処理装置6に供給可能であるように、1つまたは複数の受信機2、慣性計測装置3および3次元再構成装置4に接続されている。
また、レーザポインタ5、格納ユニット7および表示装置8は、データ処理装置6に接続されている。
【0073】
移動型検出装置1は、例えば、Bluetooth、WLANまたは移動無線を用いる無線通信用の通信装置として構成されている通信装置10を含む。
【0074】
表示装置8は、移動型検出装置1を用いて検出されたインフラストラクチャ要素を視覚化する役割を果たす。表示装置8は、表示およびオペレータ制御の組み合わせ装置として、例えば、接触感応画面(タッチスクリーンと称される)のように具現化される。
【0075】
図1に示される移動型検出装置1は、地中に位置する露出したインフラストラクチャ要素を検出する方法において用いられてよい。
そのような方法100の実施形態について、以下、図2の記載を参照して説明する。
【0076】
移動型検出装置1を用いて、開放掘削の地中線ネットワークのインフラストラクチャ要素を検出する方法100における、検出ステップ101において、移動型検出装置1の1つまたは複数の受信機2を用いて、1つまたは複数の全地球航法衛星システムの信号を受信かつ処理し、また、大域基準系における移動型検出装置1の位置の1つまたは複数の位置表示を決定する。
同時に、3次元再構成装置4の一部として設けられている、移動型検出装置1の2次元カメラを用いて、地中に位置する露出したインフラストラクチャ要素を含むシーンの画像データを検出する。
3次元再構成装置のLIDAR計測装置は、シーンの画像データおよび/または深度データを検出する。
また、移動型検出装置の位置の複数の第2位置表示は、画像データおよび/または深度データの視覚オドメトリを用いて、そして、慣性計測装置3を用いて、同時自己位置推定および地図作成により推定される。
慣性計測装置3は、局所基準系の3つの互いに直交する主軸における移動型検出装置1の線形加速度と、これらの主軸に関する移動型検出装置1の回転の角速度を検出するように構成されている。
【0077】
移動型検出装置1は、人により、好ましくは、人の両方の手により、特に好ましくは、人の片方の手により運搬される。
【0078】
局所系において推定された第2位置表示、局所基準系において推定された姿勢表示、大域基準系において計測された第1位置、主軸に沿って計測された加速度および主軸に関する移動型検出装置1の回転の計測された角速度、ならびに検出された画像データは、移動型検出装置1の格納ユニット7に同期して格納される。
ユーザは、検出ステップ101において、例えば、露出したインフラストラクチャ要素に沿って、移動型検出装置1とともに移動することができる。
これらのデータを同期して格納することにより、データが後続の方法ステップにおいて正しく処理可能であることが確実になる。
3次元再構成装置により検出された画像データは、これらの画像データが、複数の点を有する3次元点群と、これらの点に関する色情報とを生成するように、次の再構成ステップ102において条件付けられる。このことは、色付き3次元点群と、この場合には称される。
【0079】
ジオリファレンス処理ステップ103において、測地基準系、例えば、正式に認められている座標系における第1位置表示は、次に、局所基準系において推定された、3次元再構成装置4の第2位置表示、局所基準系において推定された、3次元再構成装置4の姿勢、大域基準系において計測された、移動型検出装置1の第1位置、主軸に沿って計測された、移動型検出装置1の加速度および移動型検出装置1の主軸に関する移動型検出装置1の回転の計測された角速度に基づいて、3次元点群の点に割り当てられる。
この場合、ジオリファレンス処理ステップ103の色付け後、ジオリファレンス処理された3次元点群は、算出かつ供給される。
【0080】
その後、認識ステップ104において、インフラストラクチャ要素は、データの色情報に基づいて検出される。
インフラストラクチャ要素の検出、分類および/または分割のために、検出された画像データの色情報は、予め定義されている色情報と比較される。
代替的にまたは追加的に、インフラストラクチャ要素のマーキングは、シーンを検出している間に、レーザポインタ5を用いてユーザにより行われていてよい。
レーザポインタ5によるマーキングは、画像データ内で検出されてよく、インフラストラクチャ要素を検出するために用いられてよい。
認識ステップ104の結果、画像データの複数の画像点、特に、色付きのジオリファレンス処理された3次元点群の複数の点は、各場合において、共通のインフラストラクチャ要素、例えば、線の要素または線の接続要素に割り当てられる。
図3の記載は、2次元投影における、認識されたインフラストラクチャ要素の1つの例示的な画像表現を示す。
【0081】
次のデータ条件付けステップ105において、各認識ステップの生成されたデータは、条件付けられ、そのインフラストラクチャ要素は、検出される。
条件付けは、データ処理装置6を用いて行われてよい。
この場合、様々な種類の条件付けが可能であり、代替的または累加的に行われてよい。
データ条件付けステップ105において、検出されたインフラストラクチャ要素に対応する3次元物体は、地中線ネットワークの3次元モデルが生成されるように、生成されてよい。
また、3次元点群の投影は、算出されてよい。
検出されたインフラストラクチャ要素が再現される、2次元位置図を生成することができる。
また、認識されたインフラストラクチャ要素のパーツリストを生成してよい。
【0082】
視覚化ステップ106において、移動型検出装置1の表示装置8を用いて、
‐3次元点群の表現および/または
‐2次元位置図および/または
‐インフラストラクチャ要素のパーツリストおよび/または
‐移動型検出装置の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせおよび/または
‐移動型検出装置の2次元カメラの画像データの、3次元点群の複数の点の投影との重ね合わせを、この場合、表示してよい。
【0083】
図4は、本発明に係る方法および本発明に係る装置の適用を視覚化している。
配線ネットワークの複数のインフラストラクチャ要素200,200’を含む、記録されたシーンの複数のフレームが示されている。
インフラストラクチャ要素200,200’は、いくつかの例において共通の掘削中に互いに間隔を置くことなく埋設されている、光ファイバケーブルおよび電気通信ケーブルである。
これらのインフラストラクチャ要素200,200’の直径は、30cm未満、いくつかの例において、20cm未満である。
いくつかのインフラストラクチャ要素200’は、10cm未満の直径を有する。
人201は、開放掘削において起立しており、本発明に係る方法にしたがって、露出したインフラストラクチャ要素200,200’を検出するために移動型検出装置1(図4においては不可視)を用いている。
【0084】
図5および図6は、町/市の環境において地中配線ネットワークのインフラストラクチャ要素を埋設するための一般的な建設現場を示す。
これらの建設現場は、町/市の道路領域に位置し、30cm~2mの深度を有する掘削により特徴付けられる。
掘削周辺では、利用可能な空間は限定され、掘削への接近は、駐車中の自動車および/または一定の道路交通により一部制限されている。
掘削の町/市の環境は、多くの場合、GNSS信号および移動無線受信のシェーディングにより特徴付けられる。
【0085】
図7は、3次元点群を生成し、ジオリファレンスを点群の点に割り当てるデータフローを示すブロック図を示す。
データソースまたはセンサとして、移動型検出装置1は、慣性計測装置3と、移動無線インタフェース302を含む、全地球航法衛星システムの信号の受信機2と、ここでは、ソリッドステート型のLIDAR計測装置として具現化されている、3次元再構成装置4のLIDAR計測装置303と、また、3次元再構成装置4の第1の2次元カメラ304と、任意で、3次元再構成装置4の第2の2次元カメラ305とを備えている。
【0086】
これらのデータソースまたはセンサにより供給されたデータは、移動型検出装置の格納ユニット7に同期して格納される(ステップ306)。
つまり、
‐大域基準系における位置の第1位置表示、および/またはこの位置表示に割り当てられている生データ;
‐1つまたは複数の第2位置表示;
‐1つまたは複数の第2姿勢表示;
‐検出された画像データおよび/または検出された深度データならびに局所基準系の3つの互いに直交する軸における移動型検出装置1の検出された線形加速度、および、また、これらの軸に関する移動型検出装置1の回転の角速度が、
移動型検出装置1の格納ユニット7に、時間的に同期して、格納される。
【0087】
LIDAR計測装置303を用いて、シーンの深度データは検出され、第2位置表示の1つおよび姿勢表示の1つは、深度データに基づく視覚オドメトリを用いて決定される。
LIDAR計測装置303により決定された、画像データおよび/または深度データに基づいて、複数の点を有する局所3次元点群は生成される。ブロック307参照。
【0088】
第1の2次元カメラ304と、任意で、第2の2次元カメラ305とを用いて、シーン350の、画像データおよび/または深度データは検出され、第2位置表示の1つおよび姿勢表示の1つは、各場合において、2次元カメラ304と、任意で、2次元カメラ305のそれぞれの、画像データおよび/または深度データに基づく視覚オドメトリを用いて、決定される。
この目的のために、特徴点は抽出される。ブロック308、任意で、ブロック309参照。
【0089】
また、3次元再構成装置4により検出された画像データおよび/または深度データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素は、検出かつ分類され、任意で、分割される。ブロック310参照。
この場合、情報の以下の項目、すなわち、インフラストラクチャ要素の色、インフラストラクチャ要素の直径、インフラストラクチャ要素の形状、インフラストラクチャ要素の曲げ半径、移動型検出装置の第1および第2位置表示のうちの1つまたは複数が得られる。
検出、分類、任意で、分割は、移動型検出装置のデータ処理装置の一部として、特に、ソフトウェアおよび/またはハードウェアとして構成されている人工ニューラルネットワークを用いて行われてよい。
【0090】
移動型検出装置は、任意で、音声制御用装置を備えてよい。
インフラストラクチャ要素を検出かつ分類し、かつ/またはジオリファレンスを3次元点群の点に割り当てるために用いられる聴覚情報は、音声制御用の装置を介して検出されてよい。
【0091】
ブロック307,308,309,310の局所2次元データとして存在する出力データは、まず、3次元データに、特に、誤差逆伝播法により変換される(ブロック311)。
【0092】
このようにして変換された、シーンの複数のフレーム350,351,352のデータは、次に、センサデータ融合312に供給され、センサデータ融合312は、非線形方程式系に基づいて、移動型検出装置1の位置および姿勢の推定を行う。
センサデータ融合312のために、様々な変数と因子との間の複雑な関係を示す因子グラフが用いられる。
この各フレームについて順次加算される動作情報(角速度、姿勢表示など)は、バンドル調整において、搬送波位相観測値(GNSS因子)と融合されてよい。
この場合、GNSS因子は、フレームのジオリファレンス処理された位置の直接的な観測値を示す一方で、相対的なポーズ因子は、フレーム間でのポーズの変化に関する情報を供給し、特徴点因子は、画像記録において検出された局所位置基準(例えば、認識可能な構造体および/または物体)を連結し、周囲に対する空間的基準を構成する。
また、インフラストラクチャ要素(色情報、幾何学的な用途特定特徴点、例えば、直径、形状、曲げ半径、移動型検出装置の第1および第2位置表示など)の検出、分類および/または分割は、これに付随して、上記センサデータ融合に影響を与える場合がある。
センサデータ融合312の結果として生じるのは、シーンのすべてのフレーム全体の、連続的であり、大域的に完全に、そして、新規に位置合わせされた3次元点群であり、これに基づいて、すべてのインフラストラクチャ要素を、3次元で、ジオリファレンス処理した状態で、数センチメートルの絶対的な正確度で抽出することができる。
【0093】
図8の記載は、本発明に係る方法および本発明に係る装置を用いて検出された複数のインフラストラクチャ要素200を有する配線ネットワークの一部の平面図を示す。
この場合、共通のシーンの一部として、つまり、複数のフレームの連続的なシーケンスの一部として検出された領域は、小ボックス360によりマーキングされている。
シーンは、時間的に連続して、例えば、配線ネットワークのそれぞれの部分が露出するたびに記録される。
オーバーラップの結果、いくつかのオーバーラップ領域361が2つの異なるシーンにおいて、つまり、二重に含まれている。
シーンの時間的なシーケンスは、多くの日数に及んでよい。
これらのシーンは、センサデータ融合の文脈において組み合わされ、その結果、二重に記録された領域を含まない、単一の、配線ネットワークの共通の3次元点群が生成される。
この場合、複数回または相異なる時点で記録されるインフラストラクチャ要素のセンサデータ融合領域を用いて、例えば、2つの記録間のオーバーラップが、認識され、インフラストラクチャ要素の時間的に最も近くで検出された領域に還元される。
【0094】
図9aは、例えば、ドリルプレスを用いている、建設において部分的に閉止して埋設されていた配線ネットワークの一部の平面図を示す。
配線ネットワークのこの部分を検出する間、地中に配設されているインフラストラクチャ要素200の一部は、隠蔽部分(隠蔽されている領域400参照)を理由に、移動型検出装置1により光学的に検出可能ではない。
合計4つの、そのような部分的に隠蔽されているインフラストラクチャ要素が図9aに示されている。
このようにして、光学的空隙は、3次元点群または3次元物体により定義されるネットワークに生じる。
本発明によると、第1インフラストラクチャ要素200に対応する、2つの3次元物体401,402間の光学的空隙が認識され、接続3次元物体403、特に、3次元スプラインが生成され、光学的空隙を閉止する(図9b参照)。
光学的空隙を認識するために、第1の3次元物体401の第1端部の1つまたは複数の特徴、および、第2の3次元物体402の第2端部の同様の1つまたは複数の特徴が決定される。
これらの2つの端部の特徴は、互いに比較される。
特徴は、例えば、直径および/または色および/または姿勢および/または位置表示であってよい。
代替的に、移動型検出装置のユーザが、例えば、移動型検出装置のオペレータ制御要素を作動させることにより、移動型検出装置を光学的空隙モードに設定するように構成されてよい。
光学的空隙モードにおいて、オペレータは、移動型検出装置を、隠蔽されているインフラストラクチャ要素の上方において、第1の3次元物体401の第1端部に対応する、インフラストラクチャ要素の端部を起点に、光学的空隙の軌跡に沿って、第2の3次元物体402の第2端部に対応する、インフラストラクチャ要素200の端部まで移動させてよい。
そして、移動型検出装置1は、第1の3次元物体401の第1端部を第2の3次元物体402の第2端部に接続する接続3次元物体403を生成してよく、この接続3次元物体は、図9bに示されている。
【符号の説明】
【0095】
1・・・移動型検出装置
2・・・1つまたは複数の受信機
3・・・慣性計測装置
4・・・3次元再構成装置
5・・・レーザポインタ
6・・・データ処理装置
7・・・格納ユニット
8・・・表示装置
9・・・ハウジング
10・・・通信装置
100・・・方法
101・・・データ検出ステップ
102・・・再構成ステップ
103・・・ジオリファレンス処理ステップ
104・・・認識ステップ
105・・・データ条件付けステップ
106・・・視覚化ステップ
200,200’,200’’・・・インフラストラクチャ要素
201・・・人
302・・・移動無線インタフェース
303・・・LIDAR計測装置
304・・・2次元カメラ
305・・・2次元カメラ
306・・・同期化
307・・・局所3次元点群の生成
308・・・特徴点の抽出
309・・・特徴点の抽出
310・・・検出および分類
311・・・逆投影
312・・・センサデータ融合
350,351,352・・・フレーム
360・・・シーン
361・・・オーバーラップ領域
400・・・光学的に隠蔽されている領域
401,402・・・3次元物体
403・・・接続3次元物体
図1
図2
図3
図4
図5
図6
図7
図8
図9a
図9b
【手続補正書】
【提出日】2022-06-23
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
移動型検出装置(1)を用いて、地中、特に、開放掘削に配設されている、30cm未満の直径を持つ露出したインフラストラクチャ要素を位置的に正しく検出する方法において:
‐前記移動型検出装置(1)の3次元再構成装置(4)を用いて、地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの画像データおよび深度データが検出され、複数の点を有する3次元点群が前記画像データおよび前記深度データに基づいて生成され;
‐前記移動型検出装置(1)の1つまたは複数の受信機(2)を用いて1つまたは複数の全地球航法衛星システムの信号が受信され、大域基準系における前記移動型検出装置(1)の位置の第1位置表示が決定され;
‐局所基準系における前記移動型検出装置(1)の位置の複数の第2位置表示、および、それぞれの前記局所基準系における前記移動型検出装置(1)の姿勢の複数の姿勢表示が決定され、
a.前記第2位置表示の1つおよび前記姿勢表示の1つが、前記移動型検出装置(1)の慣性計測装置(3)を用いて決定され、前記慣性計測装置(3)が、前記局所基準系の3つの互いに直交する主軸における前記移動型検出装置(1)の線形加速度と、前記主軸に関する前記移動型検出装置(1)の回転の角速度を検出し;
b.前記3次元再構成装置(4)が、1つ以上の2次元カメラを備え、前記1つまたは複数の2次元カメラを用いて、前記シーンの前記画像データおよび前記深度データが検出され、前記第2位置表示の1つおよび前記姿勢表示の1つが、前記画像データおよび前記深度データに基づく視覚オドメトリを用いて決定され;
c.前記3次元再構成装置(4)が、LIDAR計測装置を備え、前記LIDAR計測装置を用いて、前記シーンの前記深度データが検出され、前記第2位置表示の1つおよび前記姿勢表示の1つが、前記深度データに基づく視覚オドメトリを用いて決定され、
‐それぞれのジオリファレンスが、前記第1位置表示、複数の前記第2位置表示、また、複数の前記姿勢表示に基づいて前記3次元点群の前記点に割り当てられ、
‐前記移動型検出装置(1)が、人による運搬が可能であり、前記移動型検出装置(1)が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジング(9)を有し、前記ハウジング(9)の最大エッジ長さが50cm未満であり、前記1つまたは複数の受信機(2)、前記慣性計測装置(3)および前記3次元再構成装置(4)が、前記ハウジング(9)に設けられている、方法。
【請求項2】
前記地中に配設されている複数の露出したインフラストラクチャ要素を含むシーンの複数のフレームの前記画像データおよび前記深度データが、検出され、
複数の点を有する3次元点群が、前記画像データおよび前記深度データに基づいて生成されることを特徴とする、請求項1に記載の方法。
【請求項3】
前記1つまたは複数の受信機(2)が、信号、特に、基準または補正の、信号を地上の基準局から受信するように追加的に構成されていることを特徴とする、請求項1または請求項2に記載の方法。
【請求項4】
前記3次元再構成装置(4)の前記LIDAR計測装置が、ソリッドステート型のLIDARとして構成されていることを特徴とする、請求項1~請求項3のいずれか1項に記載の方法。
【請求項5】
‐前記大域基準系における位置の前記第1位置表示、および/または前記位置表示に割り当てられている生データ;
‐前記1つまたは複数の第2位置表示;
‐前記1つまたは複数の第2姿勢表示;
‐前記検出された画像データおよび深度データ、および/または前記局所基準系の3つの互いに直交する軸における前記移動型検出装置(1)の前記検出された線形加速度、および/また、前記軸に関する前記移動型検出装置(1)の回転の前記角速度が、前記移動型検出装置(1)の格納ユニット(7)に時間的に同期して格納されることを特徴とする、請求項1~請求項4のいずれか1項に記載の方法。
【請求項6】
前記ジオリファレンスの、前記3次元点群の前記点への割り当てがセンサデータ融合により行われ、
グラフィカルモデルとしての因子グラフが、最適化目的のために適用され、
前記センサデータ融合が、非線形方程式系に基づいており、
前記非線形方程式系に基づいて前記移動型検出装置(1)の位置および姿勢の推定が行われ、
前記3次元再構成装置(4)により検出された前記画像データおよび前記深度データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が、検出かつ分類され、
前記非線形方程式系に基づく前記移動型検出装置(1)の位置および姿勢の推定が、前記インフラストラクチャ要素の検出および分類の結果に基づいて追加的に行われることを特徴とする、請求項1~請求項5のいずれか1項に記載の方法。
【請求項7】
前記移動型検出装置(1)の前記1つまたは複数の受信機(2)を用いて、前記全地球航法衛星システムの最大で3つの航法衛星からの信号が受信され、
それぞれのジオリファレンスが、前記3次元点群の前記点に、10cm未満、好ましくは、5cm未満、特に好ましくは、3cm未満の範囲の正確度で割り当てられることを特徴とする、請求項1~請求項6のいずれか1項に記載の方法。
【請求項8】
先行情報として、前記移動型検出装置(1)の位置の前記第2位置表示および/または前記移動型検出装置(1)の前記姿勢表示が、前記受信機(2)が誤作動を報告するか、または、前記慣性計測装置(3)を用いて短期間のみ使用可能な第2位置表示および/または姿勢表示を決定する場合でも、インフラストラクチャ要素のジオリファレンス処理を行うために、搬送波位相の差分計測のアンビギュティの決定を支援することを特徴とする、請求項1~請求項7のいずれか1項に記載の方法。
【請求項9】
複数回または相異なる時点で記録されるインフラストラクチャ要素のセンサデータ融合領域を用いて、2つのシーン間のオーバラップが、認識され、前記インフラストラクチャ要素の時間的に最も近くで検出された領域に還元されることを特徴とする、請求項1~請求項8のいずれか1項に記載の方法。
【請求項10】
前記大域基準系における前記移動型検出装置(1)の位置の第1位置表示の時間的なシーケンスの妥当性が、前記第1位置表示の前記時間的なシーケンスに基づいて決定される第1速度表示と、前記検出された線形加速度および角速度に基づいて算出されて前記第1速度表示と比較される第2速度表示とにより決定されることを特徴とする、請求項1~請求項9のいずれか1項に記載の方法。
【請求項11】
前記3次元点群かつ/または前記画像データに基づいて、少なくとも1つのインフラストラクチャ要素、特に、線または接続要素が、検出かつ分類され、
前記3次元点群の複数の点の、色および/またはグレースケールの値情報、および/または彩度値情報、および/または、明度値情報の、および/または電磁波スペクトルの、少なくとも1つのヒストグラムが、検出、分類および/または分割のために生成されることを特徴とする、請求項1~請求項10のいずれか1項に記載の方法。
【請求項12】
前記1つまたは複数のヒストグラムにおいて、極大値が検出され、
前記極大値の中から、インフラストラクチャ要素の予め定義されている、色、彩度および明度の閾値に関して最小の乖離を有する極大値が検出されることを特徴とする、請求項11に記載の方法。
【請求項13】
前記検出された極大値からなる前記色情報に関して予め定義されている乖離閾値を超えない点の群が、前記群の点に関して定義されている幾何学的および色の乖離を超えないさらなる点により反復的に拡張され、これにより、同様の色情報を有するインフラストラクチャ要素の局所的に連続的な領域が形成されることを特徴とする、請求項12に記載の方法。
【請求項14】
前記インフラストラクチャ要素の検出、分類および/または分割のために、前記検出された画像データの、色またはグレースケールの値情報、特に、前記3次元点群の前記点の、色またはグレースケールの値情報、および/または前記検出された深度データとそれに関連するラベル情報が、訓練を目的として人工ニューラルネットワークに供給されることを特徴とする、請求項11~請求項13のいずれか1項に記載の方法。
【請求項15】
それぞれ検出されたインフラストラクチャ要素について関連する3次元物体が、前記3次元点群に基づいて生成されることを特徴とする、請求項1~請求項14のいずれか1項に記載の方法。
【請求項16】
2つの3次元物体間の光学的空隙が認識され、
接続3次元物体、特に、3次元スプラインが生成され、前記光学的空隙を閉止することを特徴とする、請求項1~請求項15のいずれか1項に記載の方法。
【請求項17】
前記光学的空隙を認識するために、第1の3次元物体の第1端部の特徴、および、第2の3次元物体の第2端部の同様の特徴が、決定され、
前記第1および第2特徴が、互いに比較され、
前記第1および第2特徴が、直径または色または姿勢またはジオリファレンスであることを特徴とする、請求項16に記載の方法。
【請求項18】
前記移動型検出装置(1)が、光学的空隙モードに設定され、前記第1端部から前記第2端部へと移動することを特徴とする、請求項16に記載の方法。
【請求項19】
前記移動型検出装置(1)の表示装置(8)により、
‐前記3次元点群の表現および/または
‐前記3次元点群と、前記1つ以上の2次元カメラの前記画像データとに基づいて生成されたテクスチャ付きメッシュモデルおよび/または
‐インフラストラクチャ要素に対応する3次元物体および/または
‐2次元位置図および/または
‐インフラストラクチャ要素のパーツリストおよび/または
‐前記移動型検出装置(1)の2次元カメラの画像データの、インフラストラクチャ要素に対応する1つまたは複数の3次元物体の投影との重ね合わせおよび/または
‐前記移動型検出装置(1)の2次元カメラの画像データの、前記3次元点群の複数の点の投影との重ね合わせ
が表示されることを特徴とする、請求項1~請求項18のいずれか1項に記載の方法。
【請求項20】
地中、特に、開放掘削に配設されている、30cm未満の直径を持つ露出したインフラストラクチャ要素を位置的に正しく検出する移動型検出装置(1)において:
‐地中に配設されている少なくとも1つの露出したインフラストラクチャ要素を含むシーンの、画像データおよび深度データを検出し、複数の点を有する3次元点群を前記画像データおよび前記深度データに基づいて生成する3次元再構成装置(4)と;
‐1つまたは複数の全地球航法衛星システムの信号を受信し、大域基準系における前記移動型検出装置(1)の位置の第1位置表示を決定する、1つまたは複数の受信機(2)と;
‐局所基準系における前記移動型検出装置(1)の位置の第2位置表示と、前記局所基準系における前記移動型検出装置(1)の姿勢の姿勢表示とを決定する慣性計測装置(3)であって、前記慣性計測装置(3)が、前記局所基準系の3つの互いに直交する主軸における前記移動型検出装置(1)の線形加速度と、前記主軸に関する前記移動型検出装置(1)の回転の角速度とを検出するように構成される、慣性計測装置(3)とを備え;
前記3次元再構成装置(4)が1つ以上の2次元カメラを備え、前記1つ以上の2次元カメラを用いて、前記シーンの前記画像データおよび前記深度データが検出可能であり、前記局所基準系における前記移動型検出装置(1)の位置の第2位置表示、および前記姿勢表示が、前記画像データおよび前記深度データに基づく視覚オドメトリを用いて決定可能であり;
前記3次元再構成装置(4)がLIDAR計測装置を備え、前記LIDAR計測装置を用いて、前記シーンの深度データが検出可能であり、前記局所基準系における前記移動型検出装置(1)の位置の第2位置表示、および前記姿勢表示が、前記深度データに基づく視覚オドメトリを用いて実行され;
‐前記移動型検出装置(1)が、それぞれのジオリファレンスを、前記第1位置表示、複数の前記第2位置表示、さらには、複数の前記姿勢表示に基づいて、前記3次元点群の前記点に割り当てるように構成され;
‐前記移動型検出装置(1)が、人による運搬が可能であり、前記移動型検出装置(1)が、人により両方の手を用いて、好ましくは、人により片方の手を用いて保持可能であり、ハウジング(9)を有し、前記ハウジング(9)の最大エッジ長さが50cm未満であり、前記1つまたは複数の受信機(2)、前記慣性計測装置(3)および前記3次元再構成装置(4)が、前記ハウジング(9)に設けられている、移動型検出装置(1)。
【国際調査報告】