▶ ナンヤン テクノロジカル ユニヴァーシティーの特許一覧 ▶ スルバナ ジュロン プライベート リミテッドの特許一覧
特表2024-542591配管システムについてのビルディング・インフォメーション・モデリング（ＢＩＭ）を再構築するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】配管システムについてのビルディング・インフォメーション・モデリング（ＢＩＭ）を再構築するための方法およびシステム
(51)【国際特許分類】
G06V 10/82 20220101AFI20241108BHJP
G06T 7/00 20170101ALI20241108BHJP
G06T 7/64 20170101ALI20241108BHJP
G06F 30/27 20200101ALI20241108BHJP
G06F 30/18 20200101ALI20241108BHJP
G06F 113/14 20200101ALN20241108BHJP
【ＦＩ】
G06V10/82
G06T7/00 610C
G06T7/00 350C
G06T7/64
G06F30/27
G06F30/18
G06F113:14
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024531422
(86)(22)【出願日】2022-11-21
(85)【翻訳文提出日】2024-06-20
(86)【国際出願番号】 SG2022050848
(87)【国際公開番号】W WO2023096579
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】10202113171Y
(32)【優先日】2021-11-26
(33)【優先権主張国・地域又は機関】SG
(81)【指定国・地域】
(71)【出願人】
【識別番号】506076891
【氏名又は名称】ナンヤン テクノロジカル ユニヴァーシティー
(71)【出願人】
【識別番号】524197596
【氏名又は名称】スルバナ ジュロン プライベート リミテッド
【氏名又は名称原語表記】ＳＵＲＢＡＮＡ ＪＵＲＯＮＧ ＰＴＥ ＬＴＤ
(74)【代理人】
【識別番号】100207837
【弁理士】
【氏名又は名称】小松原 寿美
(72)【発明者】
【氏名】シェ、ユアン
(72)【発明者】
【氏名】ツァイ、イユ
【テーマコード（参考）】
5B146
5L096
【Ｆターム（参考）】
5B146AA03
5B146DC03
5B146DL05
5B146EA02
5L096AA06
5L096AA09
5L096BA02
5L096FA08
5L096FA66
5L096FA67
5L096FA68
5L096FA69
5L096FA73
5L096FA78
5L096HA11
5L096KA04
(57)【要約】
配管システムについてのＢＩＭを再構築するための方法が提供される。本方法は、配管システムに関して取得された点群データから点群パッチについてのシード点に関する点群パッチを取得し、点群パッチはシード点とシード点に関する複数の第１の近傍点とを含むことと、複数の第１の近傍点の各々について、近傍点に関する近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを形成することと、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成し、複数の第２の近傍点の各々は、第１の機械学習モデルを使用してシード点と同じ配管セグメントに属すると判定（例えば、予測）されることと、第２の機械学習モデルを使用して点群サブパッチに基づいてシード点が配管点であるか否かを判定することと、点群サブパッチに基づいてかつシード点が配管点であると判定することに基づいて、シード点に関連する配管中心線点を判定することと、を含む。配管システムについてのＢＩＭ再を構築するための対応するシステムも提供される。
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを使用して配管システムについてのＢＩＭ（building information modeling）を再構築するための方法であって、前記配管システムに関して取得された点群データから、点群パッチについてのシード点に関する前記点群パッチを取得することと、ここで、前記点群パッチは、前記シード点と、前記シード点に関する複数の第１の近傍点とを含んでおり、
前記複数の第１の近傍点の各々について、当該近傍点に関する複数の近傍特徴を当該近傍点に埋め込んで近傍特徴埋め込み点群パッチを形成することと、
前記近傍特徴埋め込み点群パッチの前記複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成することと、ここで、前記複数の第２の近傍点の各々は、第１の機械学習モデルを使用して、前記シード点と同じ配管セグメントに属すると判定されており、
第２の機械学習モデルを使用して、前記点群サブパッチに基づいて、前記シード点が配管点であるか否かを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する配管中心線点を求めることと、を備える方法。
【請求項2】
前記近傍点に関する前記複数の近傍特徴は、前記近傍点の局所近傍に関して学習された潜在空間特徴である、請求項１に記載の方法。
【請求項3】
前記シード点に関連する前記配管中心線点を求めることは、第３の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する配管半径を求めることと、
第４の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する点法線を求めることと、
前記シード点、求めた前記配管半径、および求めた前記点法線に基づいて、前記シード点に関連する前記配管中心線点を求めることと、を含む、請求項１または２に記載の方法。
【請求項4】
第５の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する配管の流れ方向を求めることをさらに備える請求項３に記載の方法。
【請求項5】
前記第１の機械学習モデルは、前記複数の第１の近傍点の各々について、当該近傍点が前記シード点と同じ配管セグメントに属するか否かを判定するように訓練された第１の分類モデルであり、前記第２の機械学習モデルは、前記点群サブパッチに基づいて前記シード点が配管点であるか否かを判定するように訓練された第２の分類モデルであり、
前記第３の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記配管半径を求めるように訓練された第１の回帰モデルであり、
前記第４の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記点法線を求めるように訓練された第２の回帰モデルであり、
前記第５の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記配管の流れ方向を求めるように訓練された第３の回帰モデルである、請求項４に記載の方法。
【請求項6】
前記シード点に関する前記点群パッチを取得することは、ボールクエリ法またはｋ最近傍（ｋ－ＮＮ）法を使用して、前記点群データから前記シード点に関する前記複数の近傍点を抽出することを含む、請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記点群データからの複数の点群パッチの各々について、前記方法は、前記点群パッチについての前記シード点に関する前記点群パッチを取得することと、
前記複数の第１の近傍点の各々について、当該近傍点に関する前記複数の近傍特徴を当該近傍点に埋め込むことと、
前記点群サブパッチを生成することと、
前記シード点が配管点であるか否かを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する前記配管中心線点を求めることと、
前記シード点に関連する前記配管の流れ方向を求めることと、を実行し、
前記方法は、
配管点であると判定された前記シード点を含む前記複数の点群パッチの各々について、当該点群パッチについての前記シード点に関連する求めた前記配管中心線点と、当該点群パッチについての前記シード点に関連する求めた前記配管半径と、当該点群パッチについての前記シード点に関連する求めた前記配管の流れ方向と、を含む中心線パラメータセットを生成することをさらに備え、
前記点群パッチに基づいて求められた前記配管半径および求められた前記配管の流れ方向は、前記点群パッチに基づいて求められた配管中心線点に関連付けられる、請求項４～６のいずれか一項に記載の方法。
【請求項8】
前記中心線パラメータセットに基づいて一組の中心線候補を生成することと、前記一組の中心線候補を精緻化して、精緻化された前記一組の中心線候補を取得することと、
精緻化された前記一組の中心線候補に基づいて、前記配管システムについての配管システムモデルを生成することと、をさらに備える請求項７に記載の方法。
【請求項9】
前記一組の中心線候補を生成することは、前記中心線パラメータセット内の各中心線点について、当該中心線点および当該中心線点に関連する前記配管の流れ方向に基づいて、前記中心線パラメータセットを複数の中心線パラメータサブセットに分けること、
前記複数の中心線パラメータサブセットの各々について、当該中心線パラメータサブセットに線フィッティングを適用して、当該中心線パラメータサブセットに関連する中心線候補を生成して、前記一組の中心線候補を取得することと、を含む、請求項８に記載の方法。
【請求項10】
前記一組の中心線候補の各中心線候補は、２つの端点、方向ベクトル、半径、および一組のインライア中心線点に関連付けられる、請求項９に記載の方法。
【請求項11】
前記一組の中心線候補を精緻化することは、複数の共通中心線グループの各々について、前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における最長の中心線候補を、前記共通中心線グループに関連するシード中心線候補として設定し、前記最長の中心線候補を前記共通中心線グループに追加することと、
前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における各中心線候補について、当該中心線候補が前記中心線候補と前記シード中心線候補との間の共通中心線条件を満たすと判定したことに基づいて、当該中心線候補を前記共通中心線グループに追加し、追加された前記中心線候補を前記共通中心線グループに関連する新しいシード中心線候補として設定することと、
前記共通中心線グループにおける設定された各新しいシード中心線候補について、次に、前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における各中心線候補について、当該中心線候補が前記中心線候補と前記シード中心線候補との間の前記共通中心線条件を満たすと判定したことに基づいて、当該中心線候補を前記共通中心線グループに追加し、追加された前記中心線候補を前記共通中心線グループに関連する新しいシード中心線候補として設定することと、を含む、請求項１０に記載の方法。
【請求項12】
前記共通中心線条件は、前記中心線候補および前記シード中心線候補にそれぞれ関連する前記複数の方向ベクトルによって形成される角度に基づく第１のサブ条件と、前記中心線候補と前記シード中心線候補との間の距離に基づく第２のサブ条件と、前記中心線候補および前記シード中心線候補にそれぞれ関連する前記複数の半径の間の差に基づく第３のサブ条件と、を含む複数のサブ条件を含む、請求項１１に記載の方法。
【請求項13】
前記一組の中心線候補を精緻化することは、前記複数の共通中心線グループの各々について、当該共通中心線グループに線フィッティングを適用して、当該共通中心線グループに関連する精緻化された中心線候補を形成して、精緻化された前記一組の中心線候補を取得することを更に含む、請求項１１または１２に記載の方法。
【請求項14】
前記一組の中心線候補を精緻化することは、前記複数の共通中心線グループの各々について、前記精緻化された中心線候補の長さに対応する前記点群データの抽出されたセグメントに基づいて円フィッティングを適用することによって、当該共通中心線グループに関連する前記精緻化された中心線候補に関連する半径を求めることを更に含む、請求項１３に記載の方法。
【請求項15】
前記配管システムモデルを生成することは、精緻化された前記一組の中心線候補に基づいて、グラフに基づく中心線接続性再構築を実行することを含み、
前記グラフに基づく中心線接続性再構築を実行することは、
前記精緻化された一組の中心線候補を表す複数のノードを備えるグラフを構築することと、ここで、各ノードは、前記精緻化された一組の中心線候補の対応する精緻化された中心線候補を表し、前記複数のノードのうちの各対のノードは、当該対のノードに割り当てられたエッジ重みを有しており、
前記グラフに基づいて、複数の最小スパニングツリーを含む最小スパニングフォレストを生成することと、
前記最小スパニングフォレストに基づいて、前記精緻化された一組の中心線候補に対して複数の中心線接続を実行することと、を含む、請求項８～１４のいずれか一項に記載の方法。
【請求項16】
前記グラフに基づく中心線接続性再構築を実行することは、前記複数のノードのうちの各対のノードについて、当該対のノードに対応する前記精緻化された一組の中心線候補のうちの精緻化された対の中心線候補の間のユークリッド距離、前記精緻化された対の中心線候補の間の潜在的な接続領域におけるスキャンデータ密度、前記精緻化された対の中心線候補の間の方向角度差、および前記精緻化された対の中心線候補の間の半径差に基づいて、当該対のノードに割り当てられる前記エッジ重みを決定すること、をさらに含む、請求項１５に記載の方法。
【請求項17】
配管システムについてのＢＩＭ（ｂｕｉｌｄｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｍｏｄｅｌｉｎｇ）を再構築するシステムであって、少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続され、請求項１～１６のいずれか一項に記載のＢＩＭを再構築するための方法を実行するように構成された少なくとも１つのプロセッサと、を備えるシステム。
【請求項18】
請求項１～１６のいずれか一項に記載のＢＩＭを再構築するための方法を実行するために少なくとも１つのプロセッサによって実行可能な複数の命令を含む１つまたは複数の非一時的なコンピュータ可読記憶媒体に実装されるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０２１年１１月２６日に出願されたシンガポール特許出願第１０２０２１１３１７１Ｙ号に基づく優先権の利益を主張し、その内容は全ての目的のために当該出願の全体を参照することにより本明細書に組み込まれる。
本出願は、２０２１年１１月２６日に出願されたシンガポール特許出願第１０２０２１１３１７１Ｙ号に基づく優先権の利益を主張し、その内容は全ての目的のために当該出願の全体を参照することにより本明細書に組み込まれる。
【0002】
本発明は、概して、配管システムについてのＢＩＭ（building information modeling）を再構築するための方法およびそのシステムに関する。
【背景技術】
【0003】
全ての構成要素が２Ｄ概略図で表される場合、建物および設備の文書化は、過去においては長く退屈で面倒な作業であった。ＣＡＤ（computer-aided design）技術の発展に伴い、文書化はより高速になり、文書化の改訂および更新は、設計者、建設者、および他の利害関係者の間で追跡および共有することが容易となっている。ＣＡＤはさらに、ＢＩＭの基礎を築き、ＢＩＭは、ジオメトリだけでなく、他のメタデータまたは属性、例えば、材料およびエネルギー仕様、製造業者、ならびにコストなども記憶する。メタデータは、計画および建設、運用および保守（O&M : operation and maintenance）から解体までの施設ライフサイクルの異なる複数の段階を通して必要な情報を提供することができる。パラメトリック設計特性（parametric design characteristics）を活用して、構成要素のインスタンスに対する変更をＢＩＭ内で容易に更新することができる。したがって、統合された情報プラットフォームとして、ＢＩＭは、複数の専門分野にわたる複数の利害関係者間の通信、コラボレーション、および相互運用性のギャップを橋渡しする。
【0004】
建物ライフサイクルの全ての段階の中で、Ｏ＆Ｍは最も長く続き、コスト浪費の最大の原因であることが分かっている。機械、電気、および配管（MEP : Mechanical, electrical, and plumbing）は、全ての建物において必要なサービスを提供する重要かつ複雑なシステムとして、通常、最も定期的な保守を必要とする。ＭＥＰシステム保守のコストは、大規模な公共プロジェクトにおける総投資の最大５０％を占める可能性があることが報告されている。経年劣化したＭＥＰシステムの不十分な保守は、経営上、経済的に、さらには環境上の著しい影響を引き起こす可能性がある。ＢＩＭをＭＥＰ管理に適用することは、建設検査およびＯ＆Ｍにおいてますます注目を集めている。ＢＩＭ支援ＭＥＰ Ｏ＆Ｍは、保守費用の浪費を効果的に制御することができる。統合情報プラットフォームは、データクエリおよびデータ交換の効率を向上させる。３Ｄジオメトリおよび構造化メタデータは、時間内の正確な視覚化を提供し、管理者が包括的な意思決定を行うのを支援する。デジタルツイン（digital twin）は、動作最適化のための仮想シミュレーションおよび監視を可能にする。これらの利点は、ＩｏＴ（Internet of Things）と機械学習方法とを統合して、必要な保守を提供して設備のダウンタイムを最小限に抑え、設備の動作寿命を延ばす予測保守などの戦略化された保守フレームワークを達成することによって、さらに増幅されることができる。
【0005】
ＭＥＰシステムのＯ＆ＭについてＢＩＭを活用するために、適切に更新されたＢＩＭモデルが必要とされる。ＢＩＭは、徐々に提唱され、新しい建物および設備に対して実施されてきたが、建築家および技術者によって設計されたＢＩＭモデル、または設計完了時の（アズデザインド：as-designed）ＢＩＭモデルは、通常、建築誤差または現場条件への適応のために、実際の建築環境からのずれを含む。従来、プロジェクトの引き継ぎの間、典型的には、所有者は、設計完了時のＢＩＭモデルに対して建設された設備を検証するために検査員を派遣し、必要に応じてその誤差を修正し、構築された条件に従って設計完了時のＢＩＭモデルを更新するように構築者に要求する。したがって、更新されたＢＩＭモデルは、実際の建設された環境を反映する竣工（アズビルド：as-built）ＢＩＭと呼ばれる。竣工検証プロセスは、現在の業界慣行ではほとんど手動で実行され、時間がかかり、非効率的である。測量者は、現場に向かい、典型的にはＬｉＤＡＲ（Light Detection and Ranging）とも呼ばれる地上レーザースキャナを使用して現場をスキャンする。レーザーと物体表面との接触点からスキャナまでの相対位置と、時には表面色またはレーザー反射強度とでそれぞれ符号化された多数（例えば、数百万）の点を含む点群（ポイントクラウド：Point cloud）データが生成される。次いで、モデラー（modeler）は、点群をＲＥＶＩＴなどのＢＩＭオーサリングソフトウェア（authoring software）にインポートし、設計完了時のＢＩＭモデルに点群を重ね合わせ、それに応じてモデルを改訂する。このプロセスは、実施される保守および改装作業のために、古くなった竣工ＢＩＭモデルを有する既存の建物にも同様に適用される。ＢＩＭ文書化のない古い建物に関しては、モデラーは、点群を参照して、スクラッチ（scratch）からＢＩＭモデル全体を作成しなければならない。したがって、従来、いわゆるスキャン・ツー・ＢＩＭ処理（scan-to-BIM process）は、典型的には、エステートスケール（ｅstate scale）および複雑さに依存して数ヶ月かかり、そのうち、モデリング時間は９０％かかる場合がある。ＭＥＰシステムは、スラブ（slab）、壁およびドアなどの構造的および建築的構成要素と比較して、その小さいサイズ、様々な寸法、比較的自由に形成された形状、および隠されたかまたは自己閉塞された配置に起因して、手動モデリング処理においてより複雑であり、誤差を生じやすい可能性がある。
【0006】
ＭＥＰスキャン・ツー・ＢＩＭ処理を可能にするために、多くの研究が行われてきた。これらの研究の大部分は、ＭＥＰシステムにおいて最も頻度の高い要素である円筒配管に焦点を当てており、この問題を円筒抽出として定式化された。それらは、複数の円筒点を分類し、複数の円筒パラメータを計算するために、点法線または曲率などの手作業で作成された複数の幾何学的特徴に大きく依存していた。これらの特徴は、生データでは利用可能でないが、追加の前処理ステップによって取得され、これは、計算時間を費やすだけでなく、特にノイズの多いデータでは誤差を導入する可能性がある。さらに、これらの特徴の計算は、通常、パラメータ設定の重要なステップを必要とする。複雑なＭＥＰシステムを有する環境では、複数のパラメータの設定は簡単ではない場合があり、後続のパラメータ調整が実行される必要がある。また、いくつかの研究は、方法の一般化を制限する配管の方向および寸法に関する仮定を行っていた。さらに、結果として得られる配管システムの接続の完全性を最大限にしようと試みる研究はほとんどなく、したがって、複数の点群において一般的であり得る不完全なスキャンおよび重度のオクルージョン（occlusion）などの様々な関連する問題に対処していない。点群から平面および円筒などのいくつかの基本（プリミティブ：primitive）形状を抽出することによってモデリング処理を支援するために、いくつかのソフトウェアパッケージが市販されている。しかしながら、それを完全なＢＩＭモデルにするために、パラメータを設定し、オブジェクト接続関係を構築し、メタデータを割り当てるなどの大量の手作業が依然として必要とされ、手作業は、モデリング処理全体のボトルネックであると考えられる。さらに、ソフトウェアまたはツールは、通常、構造化された点群または独自のフォーマットなどの点群データに対する特定の要件を有する。
【0007】
配管の再構築
点群特徴抽出
法線ベクトルは、３Ｄジオメトリ処理（geometry processing）において最も使用される特徴である。例えば、平面または高次表面をフィッティングして（fit）表面法線を計算するか、または主成分分析（PCA: Principal Component Analysis）を実行して最小の固有値に対応する固有ベクトルを法線として割り当てる。これらの方法は、近傍サイズの選択の問題に直面することが多い。特に、入力点群はノイズが多い、混雑としている、または不完全である場合、近傍のサイズパラメータを設定することは重要であり、すなわち、大きすぎる近傍は信頼できない局所的な幾何学的特性につながり、小さすぎる近傍はノイズに大きく影響されることにつながる。近傍サイズの選択は、典型的には実験的に行われる。マルチスケール近傍サイズ（multi-scale neighborhood sizes）の特性を探索することによって最適な結果を識別するためのいくつかの方法が提案されている。例えば、予め設定された近傍サイズのリストを用いて複数の近傍を検査することによって法線の推定を改善する方法が開示されている。各近傍において、表面粗さ値を、最もフィッティングされた円への平均偏差距離（average deviation distance）として計算した。最小表面粗さを有する近傍スケールを使用して、最終的な法線を導出した。また、点群の八分木（オクトリー：octree）からトップダウンで探索し、ＲＡＮＳＡＣ平面フィッティングを適用して、シーンを最大の可能性のある複数の一貫性のある平面近傍（largest possible consistent planar neighborhoods）に分割する方法もあった。次いで、同じ近傍内のすべての点は、それらの法線として平面法線を備える。以前の研究では、複数の隣接点を選択した後にＰＣＡを行って法線を推定する決定論的ＭＭ推定手法（deterministic MM-estimator approach）も提示されている。
点群特徴抽出
法線ベクトルは、３Ｄジオメトリ処理（geometry processing）において最も使用される特徴である。例えば、平面または高次表面をフィッティングして（fit）表面法線を計算するか、または主成分分析（PCA: Principal Component Analysis）を実行して最小の固有値に対応する固有ベクトルを法線として割り当てる。これらの方法は、近傍サイズの選択の問題に直面することが多い。特に、入力点群はノイズが多い、混雑としている、または不完全である場合、近傍のサイズパラメータを設定することは重要であり、すなわち、大きすぎる近傍は信頼できない局所的な幾何学的特性につながり、小さすぎる近傍はノイズに大きく影響されることにつながる。近傍サイズの選択は、典型的には実験的に行われる。マルチスケール近傍サイズ（multi-scale neighborhood sizes）の特性を探索することによって最適な結果を識別するためのいくつかの方法が提案されている。例えば、予め設定された近傍サイズのリストを用いて複数の近傍を検査することによって法線の推定を改善する方法が開示されている。各近傍において、表面粗さ値を、最もフィッティングされた円への平均偏差距離（average deviation distance）として計算した。最小表面粗さを有する近傍スケールを使用して、最終的な法線を導出した。また、点群の八分木（オクトリー：octree）からトップダウンで探索し、ＲＡＮＳＡＣ平面フィッティングを適用して、シーンを最大の可能性のある複数の一貫性のある平面近傍（largest possible consistent planar neighborhoods）に分割する方法もあった。次いで、同じ近傍内のすべての点は、それらの法線として平面法線を備える。以前の研究では、複数の隣接点を選択した後にＰＣＡを行って法線を推定する決定論的ＭＭ推定手法（deterministic MM-estimator approach）も提示されている。
【0008】
点群解析に深層学習（ディープラーニング）を適用する方法が開示されている。例えば、純粋な深層学習の方法、および深層学習と複数の幾何学的特徴記述子または事前知識とを組み合わせる方法が、点法線の推定のために提案された。点法線を推定するためのＰＣＡと畳み込みニューラルネットワーク（CNN : Convolutional neural network）との組合せも開示されている。クエリ点は、その近傍とともに、ＰＣＡによって計算された法線によって定義される平面に投影され、高さマップを生成した。全ての高さマップは、複数のクエリ点をエッジ点または複数の非エッジ点として分類するためにＣＮＮを用いて学習され、それぞれ、エッジ点および非エッジ点に対する法線を予測するために、別の２つのＣＮＮを用いて学習された。また、グラフニューラルネットワークを使用して、複数の近傍点の重みを反復的に精緻化し、その後、重み付き最小二乗平面フィッティング（weighted least-square plane fitting）を行うことも開示されている。一般に、深層学習に基づく方法は、従来の方法よりも性能が優れており、ノイズに対してよりロバストであり得る。それにもかかわらず、二乗平均平方根（RMS : root mean square）角度誤差は、オブジェクト境界ボックスサイズの１０％よりも小さいノイズレベルで６～２３度の間で変化し得る。
【0009】
曲率は、別の一般的に使用される幾何学的特徴である。理想的には、円筒表面上の点では、その最大主曲率の値は、表面法線に沿った方向を有する円筒半径の逆数に等しく、また最小曲率の値は、ゼロに等しく、その方向は、円筒中心線軸に沿っている。異なる表面フィッティング方法が、ＮＵＲＢＳ（non-uniform rational basis spline）および二次曲面などの点曲率を推定するために使用された。３Ｄ曲率推定問題を、クエリ点と点法線の両方を含む投影面上での反復的な円フィッティングに帰着させるための方法も開示されている。最大半径および最小半径を有する複数の円を選択して、最終的な主曲率を決定した。
【0010】
配管検出
複数の点群からのオブジェクト検出は、複数のターゲットオブジェクトに対応する複数の点の抽出およびオブジェクト分類を含む。配管の場合、この問題は、円筒プリミティブ検出（cylinder primitive detection）として定式化され得る。一般的なインスタンスセグメンテーション方法（instance segmentation method）は、類似の点特徴、例えば、最もフィッティングした円に対する点法線および均一性を有する複数のシード点に近接する複数の点をクラスタ化する領域拡張（region growing)である。例えば、３Ｄ空間における投影面とｋ最近傍（ｋ－ＮＮ : k-nearest neighbors）グラフの両方において接続された複数の点クラスタを見つけることによって複数の配管セグメントを抽出し、次いで、精緻化された投影面における円検出によって複数のクラスタを分類する方法が開示されている。また、ガウス球を使用してシーン内の複数の配管の複数の共通方向を検出し、複数の投影面内の複数の円を検出することによって複数の配管インスタンスを抽出する方法も開示されている。複数のクラスタは、非円筒オブジェクトを除外するために再び調べられ、例えば、主方向に沿った投影における円検出、ＲＡＮＳＡＣ（RANdom SAmple Consensus）円筒フィッティング、固有ベクトルに基づく投影分析、曲率分析、または既存の部品カタログＰ＆ＩＤ（配管および計装図）に対する曲率、すなわち、円筒半径のチェックなどがある。いくつかの他の研究は、ターゲットオブジェクト抽出のために既存のＣＡＤまたはＢＩＭモデルを使用した。
複数の点群からのオブジェクト検出は、複数のターゲットオブジェクトに対応する複数の点の抽出およびオブジェクト分類を含む。配管の場合、この問題は、円筒プリミティブ検出（cylinder primitive detection）として定式化され得る。一般的なインスタンスセグメンテーション方法（instance segmentation method）は、類似の点特徴、例えば、最もフィッティングした円に対する点法線および均一性を有する複数のシード点に近接する複数の点をクラスタ化する領域拡張（region growing)である。例えば、３Ｄ空間における投影面とｋ最近傍（ｋ－ＮＮ : k-nearest neighbors）グラフの両方において接続された複数の点クラスタを見つけることによって複数の配管セグメントを抽出し、次いで、精緻化された投影面における円検出によって複数のクラスタを分類する方法が開示されている。また、ガウス球を使用してシーン内の複数の配管の複数の共通方向を検出し、複数の投影面内の複数の円を検出することによって複数の配管インスタンスを抽出する方法も開示されている。複数のクラスタは、非円筒オブジェクトを除外するために再び調べられ、例えば、主方向に沿った投影における円検出、ＲＡＮＳＡＣ（RANdom SAmple Consensus）円筒フィッティング、固有ベクトルに基づく投影分析、曲率分析、または既存の部品カタログＰ＆ＩＤ（配管および計装図）に対する曲率、すなわち、円筒半径のチェックなどがある。いくつかの他の研究は、ターゲットオブジェクト抽出のために既存のＣＡＤまたはＢＩＭモデルを使用した。
【0011】
複数の研究は、深層学習のニューラルネットワークを点群セグメンテーションに適用することを提案している。例えば、ランダムな複数のオブジェクトを複数の平面にセグメント化する深層学習と凸最適化（convex optimization）を組み合わせた手法が提案されている。そのような研究の目的は、同様のデータセットに対する訓練を通じて、点群を異なる構造的および建築的オブジェクト、例えば壁、スラブ、および備品にセグメント化することである。しかしながら、利用可能なオープンソースデータセットにおける複数のＭＥＰ構成要素の欠如に起因して、深層学習方法をＭＥＰ関連オブジェクト検出に適用することに関する文献はほとんど存在しない。例えば、産業用ＭＥＰ設備データセットを作成し、ＭＥＰオブジェクトセグメンテーションのためにカスタマイズされたＰｏｉｎｔＮｅｔ＋＋を訓練する方法が開示されている。しかしながら、そのデータセットは、公衆にアクセス可能にされなかった。設計完了時のＢＩＭモデルから合成された複数の点群に対してＰｏｉｎｔＮｅｔを訓練して、点群セマンティック分類（point cloud semantic classification）を行い、次いで、ユークリッドクラスタリング（Euclidean clustering）を使用して、各クラスの複数の点を複数のオブジェクトインスタンスにさらにセグメント化する方法も開示されている。ＰｏｉｎｔＣＮＮのバックボーンを有するＤｅｅｐＰｉｐｅニューラルネットワークを構築し、合成されたデータセットに対してそのニューラルネットワークを訓練して、点群内の複数のＭＥＰオブジェクトを意味論的に（semantically）分類し、各配管点について、その半径および点から中心線までのオフセットベクトルを予測する方法がさらに開示されている。半径予測は、所定の離散リストを使用して分類タスクとしてフォーマットされる。再帰型ニューラルネットワーク（RNN : recurrent neural network）が後に続くＣＮＮからなるセマンティック分類ネットワークを開発し、プライベートにスキャンされ且つ手動でラベル付けされたデータに対してそのネットワークを訓練する方法も開示されている。しかしながら、これらの研究の全ては、深層学習ネットワークをシーン全体の複数の点群に直接適用した。従来の計算能力の限られたメモリ容量に起因して、ほとんどの場合、複数の生の点群は、複数のデバイスに直接ロードすることができず、最初に前処理されなければならない。これに関して、複数の点群をより小さい複数の部分、例えば、各ブロックでサンプリングされた等しい数の点を有する１ｍ×１ｍのブロックに分割し、３ｃｍまたは４ｃｍのグリッド（ボクセル）サイズで複数の点群を直接ダウンサンプリングする方法が開示されている。したがって、これらの方法は、（たとえば、５ｃｍ未満の直径を有する）複数の小さい配管を有する比較的大きい複数のシーンには、それらの複数の小さい配管がダウンサンプリング処理においてフィルター処理される傾向があるので、本質的に適用可能ではない。複数の点群に深層学習ネットワークを適用する上述の方法の他に、手動でラベル付けされた２Ｄ ＭＥＰ画像に対して訓練されたＣＮＮネットワーク、ＤｅｅｐＬａｂｖ３＋を使用して、２Ｄ画像から複数のＭＥＰ構成要素を検出する方法も開示されている。次いで、複数の分類結果を点群に移し、ＤＢＳＣＡＮを適用して、各クラスの複数の点を複数のインスタンスにさらにセグメント化した。
【0012】
配管モデリング
配管モデリングで使用される一般的な方法は、ＲＡＮＳＡＣおよびハフ変換（HT : Hough transform）である。例えば、ランダムな２つのデータ点をこれらの法線ベクトルとともに用いるＲＡＮＳＡＣ円筒フィッティング法が提案されている。円筒中心線の方向は、それら法線ベクトルの外積によって求められ、半径は、それらデータ点のうちの１つから中心線までの距離であった。しかしながら、実際には、複数の配管を有する大規模シーンの点群にＲＡＮＳＡＣ方法を直接適用する場合、多くの偽陽性が生じる可能性がある。偽陽性を除去するために、いくつかの閾値、例えば、インライア点（inlier point）の数、長さ、半径、および角度点範囲を設定することができる。ＲＡＮＳＡＣ円筒フィッティングとは別に、ＲＡＮＳＡＣ平面または円フィッティングとガウス球（Gaussian sphere）とを組み合わせる方法も提案されている。この方法が、円筒からの複数の点の複数の法線ベクトルを有するガウス球が２Ｄ円形パターンを示すという特性を有するためである。ＲＡＮＳＡＣ平面フィッティングは、通常、円筒中心線方向を検出するためにガウス球に適用され、ＲＡＮＳＡＣ円フィッティングは、円筒半径を推定するために使用される。例えば、円筒方向がグランドプレーン（地表面）に対して垂直または平行であると仮定して、３Ｄ円筒検出問題を２Ｄ円検出に定式化する方法が開示されている。
配管モデリングで使用される一般的な方法は、ＲＡＮＳＡＣおよびハフ変換（HT : Hough transform）である。例えば、ランダムな２つのデータ点をこれらの法線ベクトルとともに用いるＲＡＮＳＡＣ円筒フィッティング法が提案されている。円筒中心線の方向は、それら法線ベクトルの外積によって求められ、半径は、それらデータ点のうちの１つから中心線までの距離であった。しかしながら、実際には、複数の配管を有する大規模シーンの点群にＲＡＮＳＡＣ方法を直接適用する場合、多くの偽陽性が生じる可能性がある。偽陽性を除去するために、いくつかの閾値、例えば、インライア点（inlier point）の数、長さ、半径、および角度点範囲を設定することができる。ＲＡＮＳＡＣ円筒フィッティングとは別に、ＲＡＮＳＡＣ平面または円フィッティングとガウス球（Gaussian sphere）とを組み合わせる方法も提案されている。この方法が、円筒からの複数の点の複数の法線ベクトルを有するガウス球が２Ｄ円形パターンを示すという特性を有するためである。ＲＡＮＳＡＣ平面フィッティングは、通常、円筒中心線方向を検出するためにガウス球に適用され、ＲＡＮＳＡＣ円フィッティングは、円筒半径を推定するために使用される。例えば、円筒方向がグランドプレーン（地表面）に対して垂直または平行であると仮定して、３Ｄ円筒検出問題を２Ｄ円検出に定式化する方法が開示されている。
【0013】
ＨＴ法は、パラメータ投票メカニズム（parameter voting mechanism）によって基本（プリミティブ）形状を検出する。５次元ハフアキュムレータ（5-dimensional Hough accumulator）によって必要とされる大きなメモリ空間は、特に数百万点を含み得る入力データを用いて、３Ｄ円筒検出のためにＨＴを直接適用することを禁止する。例えば、ハフ空間次元数を低減するための二段階シーケンシャル（2-step sequential）ＨＴが提案されている。円筒中心線方向は、最初に、３Ｄハフガウス球（Hough Gaussian sphere）を使用して推定され、次いで、半径および位置推定が、投影面上のＨＴ円検出問題として定式化される。マンハッタンワールド仮説（Manhattan-world assumption）は、いくつかの研究において適用されており、すなわち、複数の配管は、シーンの３つの直交方向に沿って設置されると仮定される。例えば、マンハッタンワールド仮説を利用し、所定の距離間隔で複数の直交スライス（orthogonal slices）の投影に対して２Ｄ ＨＴ円検出を適用する方法が開示されている。実際には、ハフアキュムレータは、特定の粒度で離散化される必要があり、その結果、より高い粒度は、計算時間を犠牲にしてより正確な推定を提供し、一方、より低い粒度は、計算速度を高め、より少ないメモリ空間を必要とするが、結果の精度が危うくなるというジレンマが生じる。この問題を解決する試みにおいて、シーケンシャルＨＴに対するいくつかの修正が提案されており、例えば、ハフ空間内の複数の関心領域における粒度を繰り返し増加させること、または入力シーンのユーザーの以前の知識に従って複数の円筒が沿って位置し得る複数の向きを優先してより密に複数のセルをサンプリングすることが提案されている。
【0014】
骨格に基づく方法の別のカテゴリがあり、これは、複数の直線の円筒セグメントと、エルボー（elbow）およびティー（tee）などのコネクタとを含む複数の配管を、中心線および半径によって定義される抽象骨格形式で表すことができるという原理に従っている。複数の骨格ノードは、曲率計算、ボロノイ図（Voronoi diagram）に基づく方法、およびＲＡＮＳＡＣ球面フィッティングによって推定されることが提案された。ボロノイ図法は、複数の配管の比較的大きな角度のスキャンカバレッジ（scan coverage）を暗黙的に必要とし、ＲＡＮＳＡＣ球フィッティング法は、候補生成のための近傍サイズを調整するために円筒直径範囲の事前知識を必要とした。大きな近傍は計算時間を増加させ、小さな近傍は、潜在的に複数の平面として誤って分類されるので、大きな半径を有する複数の配管を検出することができない。例えば、直交軸および他の既知の方向に沿って所定の間隔ステップで複数の断面スライスに円フィッティングを適用することによって複数の中心線ノードを推定し、次いでＤＢＳＣＡＮを使用して複数の中心線ノードをクラスタ化する方法が開示されている。
【0015】
円筒モデリングのための他の統計解析方法、例えば、中心線方向推定のためのＰＣＡおよび２Ｄ投影における円フィッティングも提案されている。ＰＣＡ方向推定は、複数の短い配管セグメントでは不正確である場合がある。また、実際のスキャンデータでは、２Ｄ投影上の円フィッティングは、長くて小さい複数の配管に対して不正確である場合があることが観察される。これは、それら配管が重力または設置誤差に起因して必ずしも完全に直線的に存在するとは限らないためである。ランダムな複数のスライス面と点群との複数の交点に複数の楕円をフィッティングし、複数の楕円と円筒との幾何学的関係に基づいて複数の円筒候補を生成する方法が提案されている。次いで、複数の円筒の間の複数の距離によって求められた全ての候補のペアワイズ類似度（pairwise similarities）を最大化することによって、複数の円筒候補をクラスタ化した。しかしながら、ランダムな複数のスライス平面自体を生成することは、複雑な配管システムを有する大きなシーンの方向付けられていない点群に対しては重要である。
【0016】
いくつかの研究は、配管モデリングの工程後に複数の配管接続性関係を再構築した。それらのほとんどは、与えられたいくつかの閾値未満の線距離（line distance）または端点距離を有する複数の配管を単に接続した。例えば、複数の中心線ノードの接続性パターンと、クエリノードおよびその２つの隣接ノードによって形成される複数の角度とを分析することによって問題にアプローチする方法が提案されている。これらの方法は、入力データが不完全である場合、または複雑な複数の配管システムがシーンを混雑させている場合、良好に機能しないことがある。複数のノードが検出された複数の配管セグメントおよびコネクタであり、複数のエッジ重みが複数のノードのペアワイズユークリッド距離（pairwise Euclidean distance）によって定義されたグラフに基づく方法も提案されている。この体系的な方法は、複雑な配管システムを扱うことができるが、そのグラフは、先行するＤｅｅｐＰｉｐｅニューラルネットワーク処理からの結果に純粋に基づいて構築され、入力データが不完全であった場合に配管システムの完全性を最大化するためのいかなる補間分析も伴わなかった。
【0017】
したがって、配管システムのＢＩＭ再構築に関して、既存または従来の方法は、以下を含むいくつかの問題を有することが分かっている：
・幾何学的点特徴、例えば点法線または曲率が必要とされ、したがって、入力点群の前処理が必要とされる。特徴計算の最初の工程は、誤差を生じやすく、後の工程に影響を及ぼす可能性がある。追加の処理は、計算時間も増加させる。
・幾何学的点特徴、例えば点法線または曲率が必要とされ、したがって、入力点群の前処理が必要とされる。特徴計算の最初の工程は、誤差を生じやすく、後の工程に影響を及ぼす可能性がある。追加の処理は、計算時間も増加させる。
【0018】
・パラメータ調整、例えば、ハフ空間の粒度、および特徴計算、オブジェクトセグメンテーション（object segmentation）およびプリミティブフィッティング（primitive fitting）のための近傍サイズが必要とされる。誤った複数のパラメータは、アルゴリズムの精度および実行時間の両方に影響を与える場合がある。さらに、これらのシーン依存パラメータを設定することは、経験の浅いユーザーにとって簡単ではない。
【0019】
・事前の仮定または知識、例えば、配管方向、配管半径範囲、および既存の３Ｄ図面またはアイテムリストに関するマンハッタンワールド仮説が適用される。しかしながら、多くの適用事例では、事前知識が利用可能ではなく、仮定が常に真であるとは限らず、例えば、建物内のいくつかの下水管は、流体移動性を確実にするために、意図的に緩やかな傾斜を伴って構成されている。
【0020】
したがって、配管システムについてのＢＩＭ再構築の従来の方法における１つまたは複数の欠陥を克服または少なくとも改善しようとする、より具体的には、配管システムの自動ＢＩＭ再構築などの、配管システムについてのＢＩＭ再構築における効率および有効性を改善しようとする配管システムについてのＢＩＭを再構築するための方法およびそのシステムを提供する必要性が存在する。この背景に対して、本発明が開発された。
【発明の概要】
【0021】
本発明の第１の態様によれば、少なくとも１つのプロセッサを使用する配管システムについてのＢＩＭを再構築するための方法が提供され、該方法は、
前記配管システムに関して取得された点群データから、点群パッチ（point cloud patch）についてのシード点（seed point）に関する前記点群パッチを取得することと、ここで、前記点群パッチは、前記シード点と、前記シード点に関する複数の第１の近傍点とを含んでおり、
前記複数の第１の近傍点の各々について、当該近傍点に関する複数の近傍特徴を当該近傍点に埋め込んで近傍特徴埋め込み点群パッチを形成することと、
前記近傍特徴埋め込み点群パッチの前記複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチ（point cloud sub-patch）を生成することと、ここで、前記複数の第２の近傍点の各々は、第１の機械学習モデルを使用して、前記シード点と同じ配管セグメントに属すると判定されており、
第２の機械学習モデルを使用して、前記点群サブパッチに基づいて、前記シード点が配管点（pipe point）であるかどうかを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する配管中心線点（pipe centerline point）を求めることと、を備える。
前記配管システムに関して取得された点群データから、点群パッチ（point cloud patch）についてのシード点（seed point）に関する前記点群パッチを取得することと、ここで、前記点群パッチは、前記シード点と、前記シード点に関する複数の第１の近傍点とを含んでおり、
前記複数の第１の近傍点の各々について、当該近傍点に関する複数の近傍特徴を当該近傍点に埋め込んで近傍特徴埋め込み点群パッチを形成することと、
前記近傍特徴埋め込み点群パッチの前記複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチ（point cloud sub-patch）を生成することと、ここで、前記複数の第２の近傍点の各々は、第１の機械学習モデルを使用して、前記シード点と同じ配管セグメントに属すると判定されており、
第２の機械学習モデルを使用して、前記点群サブパッチに基づいて、前記シード点が配管点（pipe point）であるかどうかを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する配管中心線点（pipe centerline point）を求めることと、を備える。
【0022】
本発明の第２の態様によれば、配管システムについてのＢＩＭを再構築するシステムが提供される。該システムは、
少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続され、本発明の上述した第１の態様によるＢＩＭを再構築するための方法を実行するように構成された少なくとも１つのプロセッサと、を備える。
少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続され、本発明の上述した第１の態様によるＢＩＭを再構築するための方法を実行するように構成された少なくとも１つのプロセッサと、を備える。
【0023】
本発明の第３の態様によれば、本発明の上述した第１の態様によるＢＩＭを再構築するための方法を実行するために少なくとも１つのプロセッサによって実行可能な複数の命令を含む１つまたは複数の非一時的なコンピュータ可読記憶媒体に実装されたコンピュータプログラム製品が提供される。
【図面の簡単な説明】
【0024】
本発明の複数の実施形態は、単なる例として、図面と併せて、以下に記載される説明から、当業者により良く理解され、容易に明らかになるであろう。
【図6】図６、本発明の様々な例示的な実施形態による、ＰｉｐｅＮｅｔのＬＰＥ（local point embedded）におけるＳＡ（set abstraction）層およびＦＰ（feature propagation）層を示す。
【図7A-7C】図７Ａ～図７Ｃは、本発明の様々な例示的な実施形態による、入力点群パッチから、ＰｉｐｅＮｅｔの動的スケールマネージャ（ＤＳＭ）によって出力される選択された点群サブパッチへの例示的な処理を示す。
【図18A-18B】図１８Ａ～図１８Ｂは、本発明の様々な例示的な実施形態による、異なるスキャンカバレッジ角度θならびに低ノイズレベルおよび高ノイズレベルでの合成データに対してＰｉｐｅＮｅｔによって予測される半径および中心線ノードの誤差のボックスプロットを示す。
【図18C-18D】図１８Ｃ～図１８Ｄは、本発明の様々な例示的な実施形態による、異なるスキャンカバレッジ角度θならびに低ノイズレベルおよび高ノイズレベルでの合成データに対してＰｉｐｅＮｅｔによって予測される半径および中心線ノードの誤差のボックスプロットを示す。
【図19A-19B】図１９Ａ～図１９Ｂは、本発明の様々な例示的な実施形態による、すべてのσおよびθ条件における最終的に再構築された複数の配管モデルの平均絶対半径誤差および平均相対半径誤差、最大中心線端点変位、ならびに中心線角度のプロットを示す。
【図19C-19D】図１９Ｃ～図１９Ｄは、本発明の様々な例示的な実施形態による、すべてのσおよびθ条件における最終的に再構築された複数の配管モデルの平均絶対半径誤差および平均相対半径誤差、最大中心線端点変位、ならびに中心線角度のプロットを示す。
【図21A-21D】図２１Ａ～図２１Ｄは、本発明の様々な例示的な実施形態による、研究室のシーンについての、点群、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測された潜在的な複数の配管点、再構築されたＩＦＣモデル、および可能性がある複数の配管点に重ね合わされたＩＦＣモデルをそれぞれ示す。
【図22A-22C】図２２Ａ～図２２Ｃは、本発明の様々な例示的な実施形態による、倉庫のシーンについての、点群、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測された可能性がある複数の配管点、および再構築されたＩＦＣモデルをそれぞれ示す。
【発明を実施するための形態】
【0025】
本発明の様々な実施形態は、配管システムについてのＢＩＭ（ビルディング・インフォメーション・モデリング：building information modeling）を再構築するための方法およびそのシステムを提供する。
【0026】
例えば、背景技術において説明したように、配管システムのＢＩＭ再構築に関して、既存のまたは従来の方法は、配管システムのＢＩＭ再構築における非効率性および非有効性をもたらすいくつかの問題を有することが分かっている。したがって、本発明の様々な実施形態は、配管システムについてのＢＩＭを再構築するための従来の方法における１つまたは複数の欠陥を克服または少なくとも改善しようとする、より具体的には、配管システムの自動ＢＩＭ再構築などの、配管システムについてのＢＩＭの再構築における効率および有効性を改善しようとする配管システムについてのＢＩＭを再構築するための方法およびそのシステムを提供する。
【0027】
図１は、本発明の様々な実施形態による、少なくとも１つのプロセッサを使用する配管システムについてのＢＩＭを再構築するための方法１００の概略フロー図を示す。方法１００は、配管システムに関する取得された点群データから点群パッチについてのシード点に関する点群パッチを（１０２において）取得することであって、点群パッチはシード点とシード点に関する複数の第１の近傍点とを含む、取得することと、複数の第１の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを（１０４において）形成することと、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを（１０６において）生成することであって、複数の第２の近傍点の各々は、第１の機械学習モデルを使用してシード点と同じ配管セグメントに属すると判定（例えば、予測）されている、生成することと、第２の機械学習モデルを使用して、点群サブパッチに基づいてシード点が配管点であるか否かを（１０８において）判定することと、点群サブパッチに基づいて、かつ（例えば、（１０８において）シード点が配管点であると判定された場合に）シード点が配管点であると（１０８において）判定したことに基づいて、シード点に関連する配管中心線点を（１１０において）求めることと、を含む。
【0028】
したがって、様々な実施形態では、上述した近傍特徴埋め込み点群パッチは、シード点と複数の第１の近傍点とを含み、各近傍点は、その近傍点に埋め込まれたその近傍点に関する複数の近傍特徴を有する。
【0029】
様々な実施形態では、同じ配管セグメントに属する複数の点（または複数の隣接点）は、配管の共通部、セクション、または部分に属する複数の点を指し得る。例えば、２つの点が隣接する２つの管にそれぞれ属する場合、これらの２つの点は、隣接する２つの配管が配管システムの異なる部分であるため、同じ配管セグメントに属さない。別の例として、９０度エルボーの形態を有する配管の異なる側の２つのセクション（または部分）にそれぞれ属する２つの点の場合、そのような２つの点は同じ配管に属し得るが、それらは同じ配管の異なるセクション（または部分）に属し、したがって、同じ配管セグメントに属さない。
【0030】
したがって、本発明の様々な実施形態による配管システムについてのＢＩＭを再構築するための方法１００は、配管システムの自動ＢＩＭ再構築などの、配管システムのＢＩＭ再構築における効率および有効性を有利に改善する。特に、複数の第１の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで近傍特徴埋め込み点群パッチを形成し、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成することによって、複数の第２の近傍点の各々は、第１の機械学習モデルを使用してシード点と同じ配管セグメントに属すると判定されており、それは、有利には、よりまたは真に関連する（例えば、シード点と同じ配管セグメントに属する）複数の近傍特徴を有する複数の近傍点を含む最適化された（例えば、最適な）点群サブパッチの生成を可能にし、容易にし、または促進し、換言すれば、関連しないかまたはあまり関連しない（例えば、シード点と同じ配管セグメントに属さない）複数の近傍特徴を有する近傍点を低減または最小化する。その結果、シード点が配管点であるか否かを判定すること、およびそのような点群サブパッチに基づいて様々な配管パラメータを求めることなどの後続の予測プロセスは、より正確なまたは関連するデータ（たとえば、最適化された点群サブパッチ）に基づいて有利に実行され、それによって、より正確な予測結果を可能にする。さらに、有利なことに、点群データから幾何学的特徴を抽出するための前処理は必要なく、配管の方向およびサイズについての仮定は行われず、既存のＢＩＭもしくはＣＡＤモデルまたは構成要素のカタログなどの事前知識は使用されない。したがって、方法１００は、有利なことに、非構造化点群データ（unstructured point cloud data）からの配管システムについてのＢＩＭを再構築するための完全に自動的な解決策を提供する。これらの利点または技術的効果、および／または他の利点または技術的効果は、配管システムについてのＢＩＭを再構築するための方法１００、ならびに配管システムについてのＢＩＭを再構築する対応するシステムが、本発明の様々な実施形態および例示的な実施形態に従ってより詳細に説明される場合、当業者にはより明らかになるであろう。
【0031】
様々な実施形態では、近傍点に関する複数の近傍特徴は、近傍点の局所近傍に関する学習された潜在空間特徴（latent space features）である。様々な実施形態では、クエリ点に対する複数の近傍点（クエリ点の局所近傍（例えば、クエリ近傍点）を構成または定義するそのような複数の近傍点）は、クエリ点に対してボールクエリ方法（ball query method）またはｋ最近傍（ｋ－ＮＮ : k-nearest neighbors）方法を使用することによって取得（または抽出）され得る。ボールクエリ法によれば、例えば、クエリ点までの距離が所定の距離よりも短いすべての点をグループ化して、クエリ点に対する局所近傍を形成または定義することができる。
【0032】
様々な実施形態では、シード点に関連する配管中心線点を（１１０において）上述のように求めることは、第３の機械学習モデルを使用して、点群サブパッチに基づいてシード点に関連する配管半径を求める（例えば、予測する）ことと、第４の機械学習モデルを使用して、点群サブパッチに基づいてシード点に関連する点法線を求める（例えば、予測する）ことと、シード点、求めた配管半径、および求めた点法線に基づいてシード点に関連する配管中心線点を求めることと、を含む。
【0033】
様々な実施形態では、方法１００は、第５の機械学習モデルを使用して、点群サブパッチに基づいてシード点に関連する配管の流れ方向を求める（例えば、予測する）ことを更に含む。
【0034】
様々な実施形態では、第１の機械学習モデルは、複数の第１の近傍点の各々について、近傍点がシード点と同じ配管セグメントに属するか否かを判定する（たとえば、予測する）ように訓練された第１の分類モデルである。様々な実施形態において、第２の機械学習モデルは、点群サブパッチに基づいて、シード点が配管点であるか否かを判定（例えば、予測）するように訓練された第２の分類モデルである。様々な実施形態では、第３の機械学習モデルは、点群サブパッチに基づいて、シード点に関連する配管半径を求める（例えば、予測する）ように訓練された第１の回帰モデルである。様々な実施形態では、第４の機械学習モデルは、点群サブパッチに基づいて、シード点に関連する点法線を求める（例えば、予測する）ように訓練された第２の回帰モデルである。様々な実施形態では、第５の機械学習モデルは、点群サブパッチに基づいて、シード点に関連する配管の流れ方向を求める（例えば、予測する）ように訓練された第３の回帰モデルである。
【0035】
様々な実施形態において、シード点に対する点群パッチを（１０２において）上述したように取得することは、ボールクエリ法またはｋ最近傍（k-nearest neighbors : k-NN）法を用いて、点群データからシード点に対する複数の近傍点を抽出することを含む。
【0036】
様々な実施形態において、点群データからの複数の点群パッチの各々について、方法１００は、点群パッチについてのシード点に関して点群パッチを（１０２において）上述したように取得することと、複数の第１の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に（１０４において）上述したように埋め込むことと、点群サブパッチを（１０６において）上述したように生成することと、シード点が配管点であるか否かを（１０８において）上述したように判定することと、点群サブパッチに基づいて、かつシード点が配管点であると（１０８において）判定したことに基づいて、シード点に関連する配管中心線点を（１１０において）上述したように求めることと、シード点に関連する配管の流れ方向を上述したように求めることと、を実行する。これに関して、方法１００は、配管点であると判定されたシード点を含む複数の点群パッチの各々について、点群パッチについてのシード点に関連する求められた配管中心線点と、点群パッチについてのシード点に関連する求められた配管半径と、点群パッチについてのシード点に関連する求められた配管の流れ方向とを含む中心線パラメータセットを生成することをさらに備える。これに関して、点群パッチに基づいて求められた配管半径および求められた配管の流れ方向は、点群パッチに基づいて求められた配管中心線点に関連付けられる。したがって、種々の実施形態では、１０８において複数の配管点であると判定（または予測）された複数のシード点と関連する配管パラメータのみが、中心線パラメータセットに含まれる。
【0037】
様々な実施形態では、方法１００は、中心線パラメータセットに基づいて一組の中心線候補を生成することと、一組の中心線候補を精緻化して（refining）、精緻化された一組の中心線候補を取得することと、精緻化された一組の中心線候補に基づいて配管システムについての配管システムモデルを生成することとをさらに含む。
【0038】
様々な実施形態では、一組の中心線候補を上述したように生成することは、中心線パラメータセットにおける各中心線点について、中心線点および中心線点に関連する配管の流れ方向に基づいて、中心線パラメータセットを複数の中心線パラメータサブセットに分けることと、複数の中心線パラメータサブセットの各々について、中心線パラメータサブセットに線フィッティングを適用して、中心線パラメータサブセットに関連する中心線候補を生成して、一組の中心線候補を取得することと、を含む。
【0039】
種々の実施形態では、一組の中心線候補の各中心線候補は、当該中心線候補と関連する２つの端点、方向ベクトル、半径、および一組のインライア中心線点（inlier centerline point）を有する。
【0040】
様々な実施形態では、一組の中心線候補を精緻化することは、複数の共通中心線グループの各々について、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補における最長中心線候補を、共通中心線グループに関連するシード中心線候補として設定し、最長中心線候補を共通中心線グループに追加することと、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補における各中心線候補について、中心線候補が中心線候補とシード中心線候補との間の共通中心線条件を満たすと判定したことに基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補として設定することと、共通中心線グループ内に設定された新しい各シード中心線候補について、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補における各中心線候補に対して、中心線候補が中心線候補とシード中心線候補（すなわち、新しいシード中心線候補）との間の共通中心線条件を満たすと判定したことに基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補（すなわち、さらなる新しいシード中心線候補）として設定することと、を含む。
【0041】
様々な実施形態では、共通中心線条件は、複数のサブ条件を含み、該複数のサブ条件は、中心線候補およびシード中心線候補とそれぞれ関連する複数の方向ベクトルによって形成される角度に基づく第１のサブ条件と、中心線候補とシード中心線候補との間の距離に基づく第２のサブ条件と、中心線候補およびシード中心線候補とそれぞれ関連する複数の半径間の差に基づく第３のサブ条件とを含む。
【0042】
様々な実施形態では、一組の中心線候補を上述したように精緻化することは、複数の共通中心線グループの各々について、共通中心線グループに線フィッティングを適用して、共通中心線グループと関連する精緻化された中心線候補を形成して、精緻化された一組の中心線候補を取得することをさらに含む。
【0043】
様々な実施形態では、一組の中心線候補を上述したように精緻化することは、複数の共通中心線グループの各々について、精緻化された中心線候補の長さに対応する点群データの抽出されたセグメントに基づいて円フィッティングを適用することによって、共通中心線グループに関連する精緻化された中心線候補に関連する半径を求めることを更に含む。
【0044】
様々な実施形態では、配管システムモデルを上述したように生成することは、精緻化された一組の中心線候補に基づいて、グラフに基づく中心線接続性再構築を実行することを含み、この中心線接続性再構築を実行することは、精緻化された一組の中心線候補を表す複数のノードを含むグラフを構築することであって、各ノードは、精緻化された一組の中心線候補のうちの対応する精緻化された中心線候補を表し、複数のノードのうちの各対のノードは、当該対のノードに割り当てられたエッジ重みを有する、構築することと、グラフに基づいて複数の最小スパニングツリー（minimum spanning tree）を含む最小スパニングフォレスト（minimum spanning forest）を生成することと、最小スパニングフォレストに基づいて、精緻化された一組の中心線候補に対して複数の中心線接続を実行することと、を含む。
【0045】
様々な実施形態では、グラフに基づく中心線接続性再構築を上述したように実行することは、複数のノードのうちの各対のノードについて、当該対のノードに対応する精緻化された一組の中心線候補のうちの精緻化された一対の中心線候補の間のユークリッド距離、精緻化された一対の中心線候補の間の可能性がある接続領域におけるスキャンデータ密度、精緻化された一対の中心線候補の間の方向角度差、および精緻化された一対の中心線候補の間の半径差に基づいて、当該対のノードに割り当てられたエッジ重みを求めることをさらに含む。
【0046】
図２は、本発明の様々な実施形態による、図１を参照して上述した配管システムについてのＢＩＭを再構築するための上述した方法１００に対応する、本発明の様々な実施形態による配管システムについてのＢＩＭを再構築するシステム２００の概略ブロック図を示す。システム２００は、少なくとも１つのメモリ２０２と、少なくとも１つのメモリ２０２に通信可能に接続され、本発明の様々な実施形態に従って上述したＢＩＭを再構築するための方法１００を実行するように構成された少なくとも１つのプロセッサ２０４と、を備える。したがって、少なくとも１つのプロセッサ２０４は、配管システムに関する取得された点群データから点群パッチについてのシード点に関する点群パッチを取得することであって、点群パッチは、シード点と、シード点に関する複数の第１の近傍点とを含む、取得することと、複数の第１の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを形成することと、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成することであって、複数の第２の近傍点の各々は、第１の機械学習モデルを使用してシード点と同じ配管セグメントに属すると判定（例えば、予測）されている、生成することと、第２の機械学習モデルを使用して点群サブパッチに基づいてシード点が配管点であるか否かを判定することと、点群サブパッチに基づいて、かつシード点が配管点であると判定したことに基づいて、シード点に関連する配管中心線点を求めることと、を実行するように構成されている。
【0047】
少なくとも１つのプロセッサ２０４が様々な機能または動作を実行するために少なくとも１つのプロセッサ２０４によって実行可能な一組または複数組の命令（例えば、ソフトウェアモジュール）を通じて様々な機能または動作を実行するように構成され得ることを当業者は理解されよう。したがって、図２に示すように、システム２００は、配管システムに関して取得された点群データから点群パッチについてのシード点に関する点群パッチを取得するように構成された点群パッチ取得モジュール（または点群パッチ取得回路）２１２であって、点群パッチは、シード点と、シード点に関する複数の第１の近傍点とを含む、点群パッチ取得モジュール（または点群パッチ取得回路）２１２と、複数の第１の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを形成するように構成された近傍特徴埋め込みモジュール（または近傍特徴埋め込み回路）２１４と、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成するように構成された点群サブパッチ生成モジュール（または点群サブパッチ生成回路）２１６であって、第２の複数の近傍点の各々は、第１の機械学習モデルを使用してシード点と同じ配管セグメントに属すると判定されている、点群サブパッチ生成モジュール（または点群サブパッチ生成回路）２１６と、第２の機械学習モデルを使用して、点群サブパッチに基づいてシード点が配管点であるか否かを判定するように構成された配管点判定モジュール（または配管点判定回路）２１８と、点群サブパッチに基づいて、およびシード点が配管点であると判定したことに基づいて、シード点に関連する配管中心線点を求めるように構成された配管中心線点決定モジュール（または配管中心線点決定回路）２２０とを含むことができる。
【0048】
上述した複数のモジュールは必ずしも別個のモジュールであるとは限らず、本発明の範囲から逸脱することなく、所望に応じてまたは適宜、２つ以上のモジュールが１つの機能モジュール（たとえば、回路またはソフトウェアプログラム）によって実現されてもよく、または１つの機能モジュールとして実装されてもよいことが当業者には理解されよう。例えば、点群パッチ取得モジュール２１２、近傍特徴埋め込みモジュール２１４、点群サブパッチ生成モジュール２１６、配管点判定モジュール２１８、および配管中心線点決定モジュール２２０などの２つ以上のモジュールは、１つの実行可能なソフトウェアプログラム（例えば、ソフトウェアアプリケーションまたは単に「アプリ」と呼ばれる）として実現（例えば、一緒にコンパイル）されてもよく、これは、例えば、少なくとも１つのメモリ２０２に記憶され、少なくとも１つのプロセッサ２０４によって実行可能であり、本発明の様々な実施形態による本明細書において記載される様々な機能／動作を実行することができる。
【0049】
様々な実施形態において、ＢＩＭを再構築するためのシステム２００は、様々な実施形態による図１を参照して上述したＢＩＭを再構築するための方法１００に対応し、すなわち、少なくとも１つのプロセッサ２０４によって実行されるように構成された様々な機能または動作は、様々な実施形態による上述したＢＩＭを再構築するための方法１００の様々なステップまたは動作に対応してもよく、したがって、明確さおよび簡潔さのためにＢＩＭを再構築するシステム２００に関して繰り返される必要はない。言い換えれば、これら方法の文脈において本明細書において記載される様々な実施形態は、対応するシステムに対して同様に有効であり、逆もまた同様である。
【0050】
例えば、様々な実施形態では、少なくとも１つのメモリ２０２は、点群パッチ取得モジュール２１２、近傍特徴埋め込みモジュール２１４、点群サブパッチ生成モジュール２１６、配管点判定モジュール２１８、および／または配管中心線点決定モジュール２２０を記憶していてもよく、これらはそれぞれ、様々な実施形態による本明細書において説明されるようなＢＩＭを再構築するための方法１００の様々な工程（または動作もしくは機能）に対応し、本明細書において説明されるような対応する機能または動作を実行するために少なくとも１つのプロセッサ２０４によって実行可能である。
【0051】
コンピューティングシステム、コントローラ、マイクロコントローラ、または処理能力を提供する任意の他のシステムが、本開示における種々の実施形態に従って提供されてもよい。そのようなシステムは、１つまたは複数のプロセッサおよび１つまたは複数のコンピュータ可読記憶媒体を含むものと解釈され得る。例えば、上述したＢＩＭを再構築するためのシステム２００は、少なくとも１つのプロセッサ（またはコントローラ）２０４および少なくとも１つのコンピュータ可読記憶媒体（またはメモリ）２０２を含んでもよく、これらは例えば、本明細書において記載されるように実行される様々な処理において使用される。様々な実施形態において使用されるメモリまたはコンピュータ可読記憶媒体は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、不揮発性メモリ、例えば、ＰＲＯＭ（Programmable Read Only Memory）、ＥＰＲＯＭ（Erasable PROM）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、フラッシュメモリ、例えば、フローティングゲートメモリ、電荷トラップメモリ（charge trapping memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、またはＰＣＲＡＭ（Phase Change Random Access Memory）とすることができる。
【0052】
様々な実施形態では、「回路」は、メモリに記憶されたソフトウェア、ファームウェア、またはそれらの任意の組合せを実行する専用回路またはプロセッサであり得る、任意の種類の論理実装エンティティとして理解され得る。したがって、一実施形態では、「回路」は、ハードワイヤード論理回路、またはプログラマブルプロセッサ、たとえば、マイクロプロセッサ（たとえば、ＣＩＳＣ（Complex Instruction Set Computer）プロセッサまたはＲＩＳＣ（Reduced Instruction Set Computer）プロセッサ）などのプログラマブル論理回路であり得る。「回路」はまた、ソフトウェア、例えば、任意の種類のコンピュータプログラム、例えば、仮想マシンコード、例えば、Ｊａｖａ（登録商標）を使用するコンピュータプログラムを実行するプロセッサであってもよい。それぞれの機能の任意の他の種類の実装形態も、様々な実施形態による「回路」として理解され得る。同様に、「モジュール」は、様々な実施形態によるシステムの一部であってもよく、上述した「回路」を包含してもよく、または任意の種類の論理実装エンティティであると理解されてもよい。
【0053】
本開示のいくつかの部分は、アルゴリズムおよびコンピュータメモリ内のデータに対する動作の機能的または記号的表現に関して明示的または暗示的に提示される。これらのアルゴリズム的記述および機能的または記号的表現は、データ処理技術の当業者によって、彼らの作業の内容を他の当業者に最も効果的に伝えるために使用される手段である。アルゴリズムは、本明細書では、概して、所望の結果をもたらす自己矛盾のない一連の工程であると考えられる。これらの工程は、記憶、転送、結合、比較、およびその他の操作が可能な電気信号、磁気信号、または光信号などの物理量の物理的操作を必要とするものである。
【0054】
特に明記しない限り、以下から明らかなように、本明細書全体を通して、「取得する」、「埋め込む」、「生成する」、「求める」、「抽出する」、「実行する」、「精緻化する」、「分ける」、「適用する」、「設定する」、「追加する」、「構築する」などの用語を利用する記述または説明は、コンピュータシステム内の物理量として表されるデータを操作し、コンピュータシステムまたは他の情報記憶、伝送、もしくは表示デバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子デバイスの動作および処理を指すことが理解されよう。
【0055】
本明細書はまた、本明細書において説明される様々な方法の様々な動作／機能を実行するための、ＢＩＭを再構築するためのシステム２００などの（例えば、デバイスまたは装置としても具現化され得る）システムを開示する。そのようなシステムは、必要とされる目的のために特別に構築されてもよく、またはコンピュータに記憶されたコンピュータプログラムによって選択的に起動または再構築される汎用コンピュータまたは他のデバイスを備えてもよい。本明細書において提示されるアルゴリズムは、いかなる特定のコンピュータまたは他の装置にも本質的に関連しない。様々な汎用マシンが、本明細書の教示によるコンピュータプログラムとともに使用され得る。代替的に、様々な方法ステップを実行するためのより特化された装置の構築が適切であり得る。
【0056】
加えて、本明細書はまた、本明細書において説明される様々な方法の個々の工程がコンピュータコードによって実施され得ることが当業者には明らかであるという点で、コンピュータプログラムまたはソフトウェア／機能モジュールを少なくとも暗示的に開示する。コンピュータプログラムは、任意の特定のプログラミング言語およびその実装に限定されることを意図していない。様々なプログラミング言語およびそのコーディングが、本明細書に含まれる本開示の教示を実装するために使用され得ることが理解されよう。さらに、コンピュータプログラムは、任意の特定の制御フローに限定されることを意図していない。本発明の範囲から逸脱することなく、異なる制御フローを使用することができるコンピュータプログラムの多くの他の変形形態が存在する。本明細書において説明される様々なモジュール（例えば、点群パッチ取得モジュール２１２、近傍特徴埋め込みモジュール２１４、点群サブパッチ生成モジュール２１６、配管点判定モジュール２１８、および／または配管中心線点決定モジュール２２０）は、必要な機能を実行するためにコンピュータプロセッサによって実行可能な１つまたは複数のコンピュータプログラムもしくは一組または複数組の命令によって実現される１つまたは複数のソフトウェアモジュールであってもよく、または必要な機能を実行するように設計された１つまたは複数の機能的ハードウェアユニットである１つまたは複数のハードウェアモジュールであってもよいことが当業者には理解されよう。ハードウェアモジュールとソフトウェアモジュールとの組合せが実装され得ることも諒解されよう。
【0057】
さらに、本明細書において説明されるコンピュータプログラム／モジュールまたは方法の複数のステップのうちの１つまたは複数は、順次ではなく並行して実行されてもよい。そのようなコンピュータプログラムは、任意のコンピュータ可読媒体に記憶され得る。コンピュータ可読媒体は、磁気ディスクもしくは光ディスク、メモリチップ、またはコンピュータとインタフェースするのに適した他の記憶デバイスなどの記憶デバイスを含むことができる。コンピュータプログラムは、そのようなコンピュータにロードされ実行されると、本明細書において記載された方法の様々なステップを実施するシステムまたは装置が効果的に実現される。
【0058】
様々な実施形態では、１つまたは複数のコンピュータ可読記憶媒体（非一時的なコンピュータ可読記憶媒体）に具現化されたコンピュータプログラム製品が提供され、そのコンピュータプログラム製品は、様々な実施形態による図１を参照して本明細書において説明されたＢＩＭを再構築するための方法１００を実行するために１つまたは複数のコンピュータプロセッサによって実行可能な複数の命令（例えば、点群パッチ取得モジュール２１２、近傍特徴埋め込みモジュール２１４、点群サブパッチ生成モジュール２１６、配管点判定モジュール２１８、および／または配管中心線点決定モジュール２２０）を含む。したがって、本明細書において説明される様々なコンピュータプログラムまたはモジュールは、様々な機能を実行するためにシステム２００の少なくとも１つのプロセッサ２０４によって実行するために、図２に示されるようなＢＩＭを再構築するためのシステム２００などのシステムによって受信可能であるコンピュータプログラム製品に記憶され得る。
【0059】
本明細書において記載されたソフトウェアまたは機能モジュールは、ハードウェアモジュールとして実装されてもよい。より具体的には、ハードウェアの意味において、モジュールは、他の構成要素またはモジュールと共に使用するために設計された機能的なハードウェアユニットである。例えば、モジュールは、個別の電子構成要素を使用して実装されてもよく、またはＡＳＩＣ（Application Specific Integrated Circuit）等の電子回路全体の一部を形成することができる。多数の他の可能性も存在する。当業者は、本明細書において説明されたソフトウェアまたは１つ以上の機能モジュールが、ハードウェアモジュールとソフトウェアモジュールとの組合せとしても実装され得ることを諒解されよう。
【0060】
様々な実施形態では、ＢＩＭを再構築するためのシステム２００は、少なくとも１つのプロセッサおよび少なくとも１つのメモリを含む任意のコンピュータシステム（例えば、デスクトップまたはポータブルコンピュータシステム）、例えば、限定ではなく単なる一例として図３に概略的に示されるような例示的なコンピュータシステム３００によって実現され得る。種々の方法／ステップまたは機能モジュールは、コンピュータシステム３００内で実行され、種々の実施形態による本明細書において説明されるような種々の機能または動作を行うようにコンピュータシステム３００（特に、その中の１つまたは複数のプロセッサ）に命令するコンピュータプログラム等のソフトウェアとして実装されてもよい。コンピュータシステム３００は、システムユニット３０２と、キーボードおよび／またはタッチスクリーン３０４およびマウス３０６などの入力デバイスと、ディスプレイ３０８などの複数の出力デバイスとを備えることができる。システムユニット３０２は、例えば、インターネット、またはＬＡＮ（Local Area Network）もしくはＷＡＮ（Wide Area Network）などの他のネットワークシステムへのアクセスを可能にするために、適切な送受信デバイス３１４を介してコンピュータネットワーク３１２に接続され得る。システムユニット３０２は、様々な命令を実行するためのプロセッサ３１８と、ＲＡＭ（Random Access Memory）３２０と、ＲＯＭ（Read Only Memory）３２２と、を含み得る。システムユニット３０２は、いくつかの入力／出力（Ｉ／Ｏ）インタフェース、例えば、ディスプレイデバイス３０８へのＩ／Ｏインタフェース３２４およびキーボード３０４へのＩ／Ｏインタフェース３２６をさらに含み得る。システムユニット３０２の複数の構成要素は、典型的には、相互接続されたバス３２８を介して、当業者に知られた方法で通信する。
【0061】
本明細書において使用される用語は、様々な実施形態を説明するためのものにすぎず、本発明を限定することを意図するものではないことが当業者には理解されよう。本明細書において使用されるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、および「その（ｔｈｅ）」は、文脈が明確に別様に示さない限り、複数形も含むことが意図される。用語「備える（comprises）」および／または「備えている（comprising）」は、本明細書において使用される場合、述べられた特徴、整数、ステップ、動作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【0062】
「第１の」、「第２の」などの指定を使用した、本明細書における要素または特徴へのいかなる言及も、別段に述べられていない限り、または文脈が別段に要求しない限り、そのような複数の要素または複数の特徴の量または順序を限定しない。たとえば、そのような指定は、本明細書では、２つ以上の要素または要素のインスタンスを区別する便利な方法として使用され得る。したがって、第１の要素および第２の要素への言及は、必ずしも、２つの要素のみが採用され得ること、または第１の要素が第２の要素に先行しなければならないことを意味しない。加えて、項目のリスト「のうちの少なくとも１つ」を指す句は、その中の任意の単一の項目、またはその中の２つ以上の項目の任意の組合せを指す。
【0063】
本発明が容易に理解され、実用的な効果を得ることができるように、本発明の様々な例示的な実施形態を、限定ではなく単なる例として以下に説明される。しかし、本発明は、以下で開示される複数の例示的な実施形態に限定されるものではなく、互いに異なる多様な形態に具現されることができる。むしろ、これらの例示的な実施形態は、本開示が徹底的かつ完全であり、本発明の範囲を当業者に十分に伝えるように提供される。
【0064】
ＢＩＭは、建設業界ならびに建築環境における新たな標準慣行として徐々に認識され、促進されている。ＭＥＰシステムは、定期的な保守を必要とするシステムとして、建物の運用および保守において重要な役割を果たし、それによって、その故障は、運用上、経済的に、さらには環境上の重大な影響を引き起こす可能性がある。竣工（As-built）ＢＩＭは、ＢＩＭが存在する前に、または古くなったＢＩＭを用いて建てられた建物の効率的なＢＩＭ対応施設管理に必要とされる。背景で説明したように、竣工ＢＩＭのモデリングは、従来、非常に手動で面倒な方法で実施され、熟練したモデラーであってもかなりの時間と労力を必要とする。配管システムの既存のＢＩＭ再構築に関連するこれらの問題に対処するために、本発明の様々な例示的な実施形態は、ＬｉＤＡＲスキャンされた点群データから複数の建物内の複数の配管システムの竣工ＢＩＭを自動的に再構築する技術的な解決策を提供する。様々な既存の研究と比較して、例えば、様々な例示的な実施形態による１つまたは複数の配管システムのＢＩＭを再構築するための方法（本明細書では単に本方法と呼ぶことがある）は、ＸＹＺフィールド（すなわち、ｘ軸、ｙ軸、およびｚ軸と呼ぶことがある３つの軸を有する直交座標系の３次元空間）を有する非構造化点群以外の追加のデータを必要とせず、データ前処理を必要とせず、配管の方向または寸法の事前知識を必要としない。様々な例示的実施形態によれば、本方法は２つの段階を含む。第１の段階では、入力データのサイズおよびターゲットシーンのスケールにかかわらず、複数の配管を検出し、他の配管パラメータとともに複数の配管中心線点を予測することが可能な深層学習ネットワーク（本明細書ではＰｉｐｅＮｅｔと呼ばれることがある）が提供される。様々な例示的な実施形態では、ＰｉｐｅＮｅｔは、生の点群（raw point cloud）を消費し、複数のセマンティックラベル（semantic labelｓ）および関連する複数の配管パラメータを出力するように構成されている。第２の段階では、配管システムモデルのコヒーレンスを最大化するドメイン知識によって制約された線フィッティング、精緻化、およびグラフに基づく接続性解析を通じて、配管システムモデル（単に配管モデルとも呼ばれ得る）が再構築される（すなわち、物理的配管システムの再構築である配管システムモデルを生成する）。様々な例示的な実施形態において、複数の配管中心線は、ネットワーク予測から抽出され精緻化され、それらの接続関係は、体系的なグラフに基づくアプローチを使用して再構築される。次いで、配管システムモデルは、ＢＩＭ業界において中立的に許容可能である業界基盤クラス（IFC : Industry Foundation Classes）フォーマット（例えば、ＢＩＭ ＩＦＣ ４．０）（すなわち、ＢＩＭ業界において使用されるプラットフォーム中立フォーマット）に変換され得る。すなわち、再構築された配管システムモデルをＩＦＣ形式で出力してもよい。本方法は、合成スキャンデータおよび実際のスキャンデータの両方に対して検証され、（以下で詳細に説明する）その結果は、そのロバスト性、高速、並びに高い認識率および精度を実証し、それにより、本発明の様々な実施形態および例示的な実施形態による配管システムのＢＩＭを再構築するための方法の改善された効率および有効性を実証する。
【0065】
したがって、様々な例示的な実施形態は、有利には、非構造化点群から複数の配管システムの竣工ＢＩＭを再構築するための完全に自動的な解決策を提供し、これは、データ前処理も、いかなる向きまたは寸法の仮定も必要としない。より良い理解のために、限定することなく、配管システムについてのＢＩＭを再構築するための方法が、本発明の様々な例示的な実施形態に従って、ここでさらに詳細に説明される。
【0066】
インテリジェントでかつ自動的な配管ＢＩＭの再構築
様々な例示的な実施形態によれば、非構造化点群データから配管システムの竣工ＢＩＭモデルを再構築するためのインテリジェントで自動的な解決策が提供される。本方法の一般化を最大化するために、有利には、入力データから幾何学的特徴を抽出するための前処理は必要とされず、配管の方向およびサイズについての仮定は行われず、既存のＢＩＭもしくはＣＡＤモデルまたは構成要素のカタログなどの事前知識は使用されない。様々な例示的な実施形態は、完全な配管ラインが、半径パラメータおよび接続関係を有する連続する複数の中心線セグメントによって定義され得ることに留意されたい。これに関して、様々な例示的な実施形態は、円筒配管再構築のための２段階ソリューションを提供する。図４は、本発明の様々な例示的な実施形態による、配管システムについてのＢＩＭを再構築するための方法４００の概略フロー図を示す。上述したように、第１の段階では、ｘｙｚフィールドを有する生の点群データを受信し、複数のセマンティックラベルおよび複数の中心線ノードの予測を他の配管パラメータ（例えば、配管半径）と共に出力するように構成されたＰｉｐｅＮｅｔ４０２が提供される。第２の段階では、完全な１つまたは複数の配管モデルが、中心線候補生成４０６、候補精緻化４１０、およびグラフに基づく接続性再構築４１４を含むいくつかのプロセスを通じて、ＰｉｐｅＮｅｔ予測から再構築される。最後に、生成された１つまたは複数の配管システムモデルは、ＩＦＣコンバータ４１８を用いてＢＩＭ ＩＦＣフォーマットに変換される。
様々な例示的な実施形態によれば、非構造化点群データから配管システムの竣工ＢＩＭモデルを再構築するためのインテリジェントで自動的な解決策が提供される。本方法の一般化を最大化するために、有利には、入力データから幾何学的特徴を抽出するための前処理は必要とされず、配管の方向およびサイズについての仮定は行われず、既存のＢＩＭもしくはＣＡＤモデルまたは構成要素のカタログなどの事前知識は使用されない。様々な例示的な実施形態は、完全な配管ラインが、半径パラメータおよび接続関係を有する連続する複数の中心線セグメントによって定義され得ることに留意されたい。これに関して、様々な例示的な実施形態は、円筒配管再構築のための２段階ソリューションを提供する。図４は、本発明の様々な例示的な実施形態による、配管システムについてのＢＩＭを再構築するための方法４００の概略フロー図を示す。上述したように、第１の段階では、ｘｙｚフィールドを有する生の点群データを受信し、複数のセマンティックラベルおよび複数の中心線ノードの予測を他の配管パラメータ（例えば、配管半径）と共に出力するように構成されたＰｉｐｅＮｅｔ４０２が提供される。第２の段階では、完全な１つまたは複数の配管モデルが、中心線候補生成４０６、候補精緻化４１０、およびグラフに基づく接続性再構築４１４を含むいくつかのプロセスを通じて、ＰｉｐｅＮｅｔ予測から再構築される。最後に、生成された１つまたは複数の配管システムモデルは、ＩＦＣコンバータ４１８を用いてＢＩＭ ＩＦＣフォーマットに変換される。
【0067】
ＸＹＺフィールド以外のＲＧＢ色および強度値は、ほとんどの現代のスキャナによって点群で生成され得るが、それらは、様々な例示的な実施形態がこれらの２つの情報フィールドにおける不確実性に言及するので、方法４００において使用されないことに留意されたい。例えば、排水管や下水管には白色、ガス管には黄色、火災用スプリンクラー管には赤色というように、特定の機能の配管システムに共通して使用される色コードがあるが、これらの色コードは強制的に採用されるものではなく、国ごとに異なる場合がある。さらに、全ての配管が実験室で黒色に塗装され、全ての火災用スプリンクラー管が倉庫で白色である（以下で説明される）本発明の様々な例示的な実施形態に従って行われる実際のスキャン試験における２つのシーン等、複数の配管は、それらの存在を視覚的に最小限にするように、天井または壁と同一色であるように意図的に塗装されてもよい。さらに、配管表面の色は、天候などの環境の影響に起因して経時的に減衰することがあり、点群内の配管の色は、使用されるスキャナおよびシーンの照明にも依存する。強度情報に関しては、使用されるスキャナ、スキャナまでの配管の距離、および配管の表面材料に応じて変更され得る。これらの不確実性のために、スキャナによって生成された点群データに元々埋め込まれた情報（またはメタデータ）の様々なフィールドの中で、様々な例示的な実施形態は、複数の配管を検出するために点群データからのＸＹＺ情報（ＸＹＺフィールド）のみを使用する。
【0068】
ＰｉｐｅＮｅｔ４０２
図５は、円筒配管検出のために構成され得る本発明の様々な例示的な実施形態によるＰｉｐｅＮｅｔ４０２の例示的なアーキテクチャの概略図を示す。図５に示すように、ＰｉｐｅＮｅｔ４０２は、２つの処理モジュール、すなわち、（例えば、本発明の様々な実施形態による上述したような近傍特徴埋め込みモジュール２１４に対応する）ローカルポイントエンベッダ（LPE: local point embedder）５０２および（例えば、本発明の様々な実施形態による上述したような点群サブパッチ生成モジュール２１６に対応する）動的スケールマネージャ（DSM : dynamic scale manager）５１２と、２つの出力モジュール、すなわち、（例えば、本発明の様々な実施形態による上述したような配管点判定モジュール２１８に対応する）セマンティック分類器（semantic classifier）５２２および（例えば、本発明の様々な実施形態による上述したような配管中心線点決定モジュール２２０に対応する）中心線ノードリグレッサー（centerline node regressor）５３２と、を備え、これらについては以下で更に詳細に説明する。図５において、各多層パーセプトロン（ＭＬＰ : multilayer perceptron）に関連付けられた括弧内の各数字は、各それぞれのＭＬＰ層の後の出力特徴の数を示し、各ＳＡ（set abstraction：抽象化設定）層および各ＦＰ（feature propagation：特徴伝搬）層に関連付けられた括弧内の数字は、それぞれ、サブサンプリングされた点の数および出力特徴の数を示し、複数のノード／点に関連付けられた括弧内の数字は、それらのノード／点のパッチアレイ（patch array）または行列の構成もしくは形状を示す（例えば、点パッチ（Ｎ，３）は、Ｎ×３（Ｎ行および３列）の構成または形状を有するパッチアレイを示し、ここで、Ｎは、ノード／点の数を示し、「３」は、特徴のチャネル（ＸＹＺ）の数を示し、配管方向（３，）は、長さ３の１Ｄアレイを示す）。ＰｉｐｅＮｅｔ４０２は、複数の点群パッチを入力として受信するように構成されている。様々な例示的な実施形態において、複数の点群パッチは、それぞれボールクエリを使用して、各シード点ｐｉの生の点群データからサンプリングされ得る。例えば、各点群パッチを取得するために、点群パッチについてのシード点ｐｉまでの距離が所定の半径よりも小さい複数の近傍点をグループ化して、シード点に対して球状の点群パッチを形成する。したがって、各点群パッチは、対応するシード点と、シード点に対する複数の近傍点とを含む。したがって、ＰｉｐｅＮｅｔ４０２は、複数の入力点群パッチの複数のシード点を提供するマルチタスクの分類ネットワーク（multi-tasking classification network）とみなすことができる。
図５は、円筒配管検出のために構成され得る本発明の様々な例示的な実施形態によるＰｉｐｅＮｅｔ４０２の例示的なアーキテクチャの概略図を示す。図５に示すように、ＰｉｐｅＮｅｔ４０２は、２つの処理モジュール、すなわち、（例えば、本発明の様々な実施形態による上述したような近傍特徴埋め込みモジュール２１４に対応する）ローカルポイントエンベッダ（LPE: local point embedder）５０２および（例えば、本発明の様々な実施形態による上述したような点群サブパッチ生成モジュール２１６に対応する）動的スケールマネージャ（DSM : dynamic scale manager）５１２と、２つの出力モジュール、すなわち、（例えば、本発明の様々な実施形態による上述したような配管点判定モジュール２１８に対応する）セマンティック分類器（semantic classifier）５２２および（例えば、本発明の様々な実施形態による上述したような配管中心線点決定モジュール２２０に対応する）中心線ノードリグレッサー（centerline node regressor）５３２と、を備え、これらについては以下で更に詳細に説明する。図５において、各多層パーセプトロン（ＭＬＰ : multilayer perceptron）に関連付けられた括弧内の各数字は、各それぞれのＭＬＰ層の後の出力特徴の数を示し、各ＳＡ（set abstraction：抽象化設定）層および各ＦＰ（feature propagation：特徴伝搬）層に関連付けられた括弧内の数字は、それぞれ、サブサンプリングされた点の数および出力特徴の数を示し、複数のノード／点に関連付けられた括弧内の数字は、それらのノード／点のパッチアレイ（patch array）または行列の構成もしくは形状を示す（例えば、点パッチ（Ｎ，３）は、Ｎ×３（Ｎ行および３列）の構成または形状を有するパッチアレイを示し、ここで、Ｎは、ノード／点の数を示し、「３」は、特徴のチャネル（ＸＹＺ）の数を示し、配管方向（３，）は、長さ３の１Ｄアレイを示す）。ＰｉｐｅＮｅｔ４０２は、複数の点群パッチを入力として受信するように構成されている。様々な例示的な実施形態において、複数の点群パッチは、それぞれボールクエリを使用して、各シード点ｐｉの生の点群データからサンプリングされ得る。例えば、各点群パッチを取得するために、点群パッチについてのシード点ｐｉまでの距離が所定の半径よりも小さい複数の近傍点をグループ化して、シード点に対して球状の点群パッチを形成する。したがって、各点群パッチは、対応するシード点と、シード点に対する複数の近傍点とを含む。したがって、ＰｉｐｅＮｅｔ４０２は、複数の入力点群パッチの複数のシード点を提供するマルチタスクの分類ネットワーク（multi-tasking classification network）とみなすことができる。
【0069】
様々な例示的な実施形態において、複数の配管のセグメント化は、点群全体からサンプリングされた複数の点群パッチの複数のバッチにＰｉｐｅＮｅｔ４０２を適用することによってボトムアップ方式（bottom-up manner）で実行されてもよい。例えば、ボトムアップ方式によれば、ＤＳＭ５１２によって生成された各点群サブパッチについて、点群サブパッチのシード点は、シード点が配管点であるか否かを判定（例えば、予測）するために、点群サブパッチに基づいてセマンティック分類器５２２によって分類され、複数の配管点であると判定された複数のシード点は、意味論的にセグメント化された複数の点クラスタを形成するためにグループ化されてもよい。これに対し、従来のトップダウンセグメンテーションでは、点群全体に対して分類を行い、点群の中から複数の点を抽出して複数の点群を生成する。様々な例示的実施形態では、シード点のサンプリングのための「粗い」から「細かい」（coarse-to-fine）の方策または技法が、以下の「実際のスキャン検証」の節で後に説明されるように、実装速度を増加させるために提供される。例えば、シーン全体またはそのシーンから切り抜かれた特定の複数のブロックのいずれかのダウンサンプリングされた複数の点群を消費する既存の複数のシーンセグメント化ネットワークと比較して、ＰｉｐｅＮｅｔ４０２は、有利には、複数の点群パッチ入力からより多くの詳細を消費することができ、したがって、複数のシーンのスケールおよび生の複数の点群のサイズにかかわらず、様々なサイズの配管を検出することができる。
【0070】
ローカルポイントエンベッダ（ＬＰＥ）５０２
様々な例示的な実施形態では、受信された複数の点群パッチの各点群パッチについて、点群パッチはまず、点群パッチ内の（シード点に対する）各近傍点の（複数の局所近傍特徴と呼ばれることがある）複数の近傍特徴を個々に抽出するＬＰＥ５０２を通過する。特に、ＬＰＥ５０２は、点群パッチの複数の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを形成するように構成されている。本発明、より具体的にはＰｉｐｅＮｅｔ４０２は、点特徴埋め込みネットワークが、点群パッチの複数の近傍点の各々について、近傍点に関する複数の近傍特徴を複数の近傍点に埋め込むために利用され得る限り、任意の点特徴埋め込みネットワークに制限または限定されないことが理解されるであろう。様々な例示的な実施形態では、限定ではなく例にすぎないが、C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space,” June 2017, doi: 10.1016/S0039-9140(96)02179-0に記載されているようなＰｏｉｎｔＮｅｔ＋＋が、通常の推定、オブジェクト検出、および大きいシーンのセグメント化などの様々なタスクに対して実証されたその単純性および成功のために使用され得る。これに関して、様々な例示的な実施形態は、図６に示されるように、ＰｏｉｎｔＮｅｔ＋＋において提案されるマルチスケールグループ化の方策を有する階層的特徴学習アーキテクチャ、すなわち、ＳＡ（set abstraction）層およびＦＰ（feature propagation）層を適用することができる。各ＳＡ層では、複数のクエリ点の一部分が、前の層からの複数のパッチ点または複数のクエリ点からランダムに選択される。次いで、各クエリ点について、点単位カーネル関数（point-wise kernel function）は、各近傍点からクエリ点への位置オフセットを、もしあれば前の層からの学習された複数の近傍点の特徴とともに取得し、それらを一連の１－Ｄ（１次元）畳み込み層に供給して、クエリ点の局所近傍の複数の潜在空間特徴を学習することができる。ＦＰ層は、ｋ－ＮＮ関係に基づく逆距離加重平均を使用して、複数のクエリ点の特徴を複数の入力パッチ点に戻すように伝搬する。例えば、図５は、ＬＰＥ５０２の例示的なデータ処理フローを示す。例えば、第１のＳＡ層、第２のＳＡ層、第１のＦＰ層、および第２のＦＰ層を含むＬＰＥ５０２の例示的なケースでは、データは、図５に示すように、第１のＳＡ層、第２のＳＡ層、第１のＦＰ層、および第２のＦＰ層を順に通って流れることができる。図示された破線矢印はスキップリンク（skip-link）を示す。たとえば、第１のＦＰ層は、第２のＳＡ層におけるサブサンプリングされた複数の点の特徴を第１のＳＡ層におけるそれらの点に伝搬し戻すために、第１のＦＰ層からの出力を参照し得る（すなわち、出力特徴を使用せず、サブサンプリングされた複数のクエリ点の位置のみを使用する）。したがって、これらＦＰ層の後、点群パッチ内の各近傍点は、それらのそれぞれの局所近傍の複数の近傍特徴を組み込まれる。その結果、ＬＰＥモジュール５０２は、各パッチ点（例えば、点群パッチの（または点群パッチについての）シード点に対する点群パッチ内の各近傍点）を、その元のＸＹＺフィールドに加えて豊富な局所近傍情報と共に埋め込み、これにより、有利には、ＤＳＭモジュール５１２が、もしあれば外れ値（outlier）をより良好に認識し、出力モジュール（セマンティック分類器５２２および中心線ノードリグレッサー５３２）が、本発明の様々な例示的実施形態に従ってより正確な予測を行うことが可能になる。したがって、点群パッチにおける各近傍点について、近傍点に関する上述した複数の近傍特徴は、近傍点の局所近傍に関して学習された複数の潜在空間特徴（latent space features）である。様々な実施形態例において、（クエリ点（例えば、クエリ近傍点）の局所近傍を構成する）クエリ点に対する複数の近傍点は、シード点に対する複数の近傍点が点群データから取得（または抽出）される方法と同じかまたは同様の方法など、クエリ点に関してボールクエリ法を使用することによって取得（または抽出）されてもよく、それによって、所定の距離よりも小さいクエリ点までの距離を有する全ての点は、クエリ点に関する局所近傍を形成するようにグループ化されてもよい。
様々な例示的な実施形態では、受信された複数の点群パッチの各点群パッチについて、点群パッチはまず、点群パッチ内の（シード点に対する）各近傍点の（複数の局所近傍特徴と呼ばれることがある）複数の近傍特徴を個々に抽出するＬＰＥ５０２を通過する。特に、ＬＰＥ５０２は、点群パッチの複数の近傍点の各々について、近傍点に関する複数の近傍特徴を近傍点に埋め込んで、近傍特徴埋め込み点群パッチを形成するように構成されている。本発明、より具体的にはＰｉｐｅＮｅｔ４０２は、点特徴埋め込みネットワークが、点群パッチの複数の近傍点の各々について、近傍点に関する複数の近傍特徴を複数の近傍点に埋め込むために利用され得る限り、任意の点特徴埋め込みネットワークに制限または限定されないことが理解されるであろう。様々な例示的な実施形態では、限定ではなく例にすぎないが、C. R. Qi, L. Yi, H. Su, and L. J. Guibas, “PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space,” June 2017, doi: 10.1016/S0039-9140(96)02179-0に記載されているようなＰｏｉｎｔＮｅｔ＋＋が、通常の推定、オブジェクト検出、および大きいシーンのセグメント化などの様々なタスクに対して実証されたその単純性および成功のために使用され得る。これに関して、様々な例示的な実施形態は、図６に示されるように、ＰｏｉｎｔＮｅｔ＋＋において提案されるマルチスケールグループ化の方策を有する階層的特徴学習アーキテクチャ、すなわち、ＳＡ（set abstraction）層およびＦＰ（feature propagation）層を適用することができる。各ＳＡ層では、複数のクエリ点の一部分が、前の層からの複数のパッチ点または複数のクエリ点からランダムに選択される。次いで、各クエリ点について、点単位カーネル関数（point-wise kernel function）は、各近傍点からクエリ点への位置オフセットを、もしあれば前の層からの学習された複数の近傍点の特徴とともに取得し、それらを一連の１－Ｄ（１次元）畳み込み層に供給して、クエリ点の局所近傍の複数の潜在空間特徴を学習することができる。ＦＰ層は、ｋ－ＮＮ関係に基づく逆距離加重平均を使用して、複数のクエリ点の特徴を複数の入力パッチ点に戻すように伝搬する。例えば、図５は、ＬＰＥ５０２の例示的なデータ処理フローを示す。例えば、第１のＳＡ層、第２のＳＡ層、第１のＦＰ層、および第２のＦＰ層を含むＬＰＥ５０２の例示的なケースでは、データは、図５に示すように、第１のＳＡ層、第２のＳＡ層、第１のＦＰ層、および第２のＦＰ層を順に通って流れることができる。図示された破線矢印はスキップリンク（skip-link）を示す。たとえば、第１のＦＰ層は、第２のＳＡ層におけるサブサンプリングされた複数の点の特徴を第１のＳＡ層におけるそれらの点に伝搬し戻すために、第１のＦＰ層からの出力を参照し得る（すなわち、出力特徴を使用せず、サブサンプリングされた複数のクエリ点の位置のみを使用する）。したがって、これらＦＰ層の後、点群パッチ内の各近傍点は、それらのそれぞれの局所近傍の複数の近傍特徴を組み込まれる。その結果、ＬＰＥモジュール５０２は、各パッチ点（例えば、点群パッチの（または点群パッチについての）シード点に対する点群パッチ内の各近傍点）を、その元のＸＹＺフィールドに加えて豊富な局所近傍情報と共に埋め込み、これにより、有利には、ＤＳＭモジュール５１２が、もしあれば外れ値（outlier）をより良好に認識し、出力モジュール（セマンティック分類器５２２および中心線ノードリグレッサー５３２）が、本発明の様々な例示的実施形態に従ってより正確な予測を行うことが可能になる。したがって、点群パッチにおける各近傍点について、近傍点に関する上述した複数の近傍特徴は、近傍点の局所近傍に関して学習された複数の潜在空間特徴（latent space features）である。様々な実施形態例において、（クエリ点（例えば、クエリ近傍点）の局所近傍を構成する）クエリ点に対する複数の近傍点は、シード点に対する複数の近傍点が点群データから取得（または抽出）される方法と同じかまたは同様の方法など、クエリ点に関してボールクエリ法を使用することによって取得（または抽出）されてもよく、それによって、所定の距離よりも小さいクエリ点までの距離を有する全ての点は、クエリ点に関する局所近傍を形成するようにグループ化されてもよい。
【0071】
動的スケールマネージャ（DSM : Dynamic scale manager）５１２
様々な例示的な実施形態において、ＤＳＭ５１２は、活性化関数として正規化線形ユニット（rectified linear unit）を用いる一連の多層パーセプトロン（MLP : multilayer perceptron）を含むことができる。これに関して、ＤＳＭ５１２は、入力点群パッチ内の各近傍点について、当該近傍点が入力点群パッチについてのシード点ｐｉと同じ配管セグメント（例えば、同じ配管部分）に属するか否かを（ポジティブ（陽性：positive）またはネガティブ（陰性：negative）の）予測するバイナリ分類器（binary classifier）として機能することができる。様々な例示的な実施形態において、ポジティブと予測された複数の近傍点は、シード点に対する真の複数の近傍点と見なされる。したがって、これらの真の近傍点は、シード点に対して最適化された（例えば、最適な）点群サブパッチを形成することができる。したがって、様々な例示的な実施形態では、ＤＳＭ５１２は、以下の「訓練の詳細」の節で後に詳細に説明するように、１つまたは複数の配管システムに関して具体的に訓練することができる。これに関して、入力点群パッチ内の各近傍点について、近傍点が入力点群パッチについてのシード点ｐｉと同じ配管セグメントに属して点群サブパッチ（すなわち、上述の最適化された点群サブパッチ）を形成するか否かを予測するように構成または訓練されたＤＳＭ５１２は、任意のシード点に関して（すなわち、シード点が配管点であるか否かにかかわらず）そのような点群サブパッチを依然として出力または生成し、単に１つまたは複数の配管システムに関して具体的に訓練されることが当業者によって理解されるであろう。言い換えると、生成されたそのような点群サブパッチは、複数の近傍点を含むと理解され、複数の近傍点の各々は、判定（または予測）が、上記で説明されるようにそうするように構成または訓練されるＤＳＭ５１２によって行われる限り、シード点と同じ配管セグメントに属すると判定（または予測）される。これに関して、様々な例示的な実施形態に従って以下で後述するように、セマンティック分類器モジュール５２２は、シード点ｐｉが配管上にあるか否か、すなわち、シード点ｐｉが配管点であるか否かの予測を出力するように構成されている。様々な例示的な実施形態では、図５に示すように、点群サブパッチを取得するためにスライシング操作（slicing operation）が実行されてもよく、それにより、ポジティブに予測された近傍点を抽出するために近傍マスク（neighbor mask）が近傍特徴埋め込み点群パッチと乗算される。様々な例示的な実施形態では、点群サブパッチからランダムなＮ１個の点が選択されてもよく、言い換えれば、最適な点群サブパッチは、選択された数の点を有するように修正または調整（またはトリミング（trimmed）されてもよい）。例えば、これは、ＧＰＵの制約によるものであり、それによって、並列処理のためにＧＰＵ上にネットワークを配置するためには、各層における点の数が同じでなければならない。様々な例示的な実施形態では、これらのサブパッチ点の特徴ベクトルの最初の３つのチャネル、すなわちＸＹＺフィールドは、後続の予測モジュール（例えば、セマンティック分類器５２２および中心線ノードリグレッサー５３２）に供給される前に、パッチシード点からのそれらの位置変位に変換される。例えば、図５に示すように、シード点に対する点群サブパッチのサブパッチ変換は、マイナス演算子に基づいて実行されてもよい。したがって、ＤＳＭ５１２は、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成するように構成され、複数の第２の近傍点の各々は、第１の機械学習モデル、例えば、点群パッチ（例えば、近傍特徴埋め込み点群パッチ）の複数の近傍点の各々について、近傍点が点群点のシード点と同じ配管セグメントに属するか否かを判定（または予測）するように訓練された分類モデルを使用して、シード点と同じ配管セグメント（または配管部分）に属すると判定（または予測）される。
様々な例示的な実施形態において、ＤＳＭ５１２は、活性化関数として正規化線形ユニット（rectified linear unit）を用いる一連の多層パーセプトロン（MLP : multilayer perceptron）を含むことができる。これに関して、ＤＳＭ５１２は、入力点群パッチ内の各近傍点について、当該近傍点が入力点群パッチについてのシード点ｐｉと同じ配管セグメント（例えば、同じ配管部分）に属するか否かを（ポジティブ（陽性：positive）またはネガティブ（陰性：negative）の）予測するバイナリ分類器（binary classifier）として機能することができる。様々な例示的な実施形態において、ポジティブと予測された複数の近傍点は、シード点に対する真の複数の近傍点と見なされる。したがって、これらの真の近傍点は、シード点に対して最適化された（例えば、最適な）点群サブパッチを形成することができる。したがって、様々な例示的な実施形態では、ＤＳＭ５１２は、以下の「訓練の詳細」の節で後に詳細に説明するように、１つまたは複数の配管システムに関して具体的に訓練することができる。これに関して、入力点群パッチ内の各近傍点について、近傍点が入力点群パッチについてのシード点ｐｉと同じ配管セグメントに属して点群サブパッチ（すなわち、上述の最適化された点群サブパッチ）を形成するか否かを予測するように構成または訓練されたＤＳＭ５１２は、任意のシード点に関して（すなわち、シード点が配管点であるか否かにかかわらず）そのような点群サブパッチを依然として出力または生成し、単に１つまたは複数の配管システムに関して具体的に訓練されることが当業者によって理解されるであろう。言い換えると、生成されたそのような点群サブパッチは、複数の近傍点を含むと理解され、複数の近傍点の各々は、判定（または予測）が、上記で説明されるようにそうするように構成または訓練されるＤＳＭ５１２によって行われる限り、シード点と同じ配管セグメントに属すると判定（または予測）される。これに関して、様々な例示的な実施形態に従って以下で後述するように、セマンティック分類器モジュール５２２は、シード点ｐｉが配管上にあるか否か、すなわち、シード点ｐｉが配管点であるか否かの予測を出力するように構成されている。様々な例示的な実施形態では、図５に示すように、点群サブパッチを取得するためにスライシング操作（slicing operation）が実行されてもよく、それにより、ポジティブに予測された近傍点を抽出するために近傍マスク（neighbor mask）が近傍特徴埋め込み点群パッチと乗算される。様々な例示的な実施形態では、点群サブパッチからランダムなＮ１個の点が選択されてもよく、言い換えれば、最適な点群サブパッチは、選択された数の点を有するように修正または調整（またはトリミング（trimmed）されてもよい）。例えば、これは、ＧＰＵの制約によるものであり、それによって、並列処理のためにＧＰＵ上にネットワークを配置するためには、各層における点の数が同じでなければならない。様々な例示的な実施形態では、これらのサブパッチ点の特徴ベクトルの最初の３つのチャネル、すなわちＸＹＺフィールドは、後続の予測モジュール（例えば、セマンティック分類器５２２および中心線ノードリグレッサー５３２）に供給される前に、パッチシード点からのそれらの位置変位に変換される。例えば、図５に示すように、シード点に対する点群サブパッチのサブパッチ変換は、マイナス演算子に基づいて実行されてもよい。したがって、ＤＳＭ５１２は、近傍特徴埋め込み点群パッチの複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成するように構成され、複数の第２の近傍点の各々は、第１の機械学習モデル、例えば、点群パッチ（例えば、近傍特徴埋め込み点群パッチ）の複数の近傍点の各々について、近傍点が点群点のシード点と同じ配管セグメントに属するか否かを判定（または予測）するように訓練された分類モデルを使用して、シード点と同じ配管セグメント（または配管部分）に属すると判定（または予測）される。
【0072】
したがって、ＤＳＭ５１２は、所定の形状およびサイズを有するカーネルを必要としないので、近傍点抽出プロセスにおいて有利である。加えて、ＤＳＭ５１２は、シード点と同じ配管セグメントに属すると判定された（例えば、予測された）複数の近傍点を含む点群サブパッチを生成するように構成されているので、有利には、よりまたは真に関連する複数の近傍特徴を有する複数の近傍点を含む最適化された（例えば、最適な）点群サブパッチの生成を可能にし、容易にし、または促進し、換言すれば、関連しないかまたはあまり関連しない複数の近傍特徴を有する近傍点を低減または最小化する。結果として、ＤＳＭ５１２によって出力された点群サブパッチは、有利には、後続の複数の予測モジュール（例えば、セマンティック分類器５２２および中心線ノードリグレッサー５３２）がより正確なまたは関連するデータに基づいて実行されることを可能にし、それにより、より良好な予測結果を生成する。
【0073】
限定ではなく例示のみを目的として、図７Ａ～図７Ｃは、入力点群パッチから、ＤＳＭ５１２によって出力される（例えば、上述の最適化された点群サブパッチに対応する）選択された点群サブパッチへの例示的なプロセスを示す。特に、図７Ａは、（異なる複数の配管セグメント（または部分）に属する）近接して平行な２つの配管の点群を示し、図７Ｂは、この近接して平行な２つの配管に属する複数の配管点を含む複数の近傍点７０２を含むＤＳＭ５１２への入力点群パッチを示し、それにより、点群パッチについてのシード点は、濃い黒色の点によって示される（シード点は、参照の明確さおよび容易さのみのために図７Ａ～図７Ｃにおいて拡大されて示され、シード点のサイズに関していかなる関連性も有さないことが当業者によって理解される）。図７Ｃは、入力点群パッチからＤＳＭ５１２（シード点を有するより明るいパッチ）によって生成された点群サブパッチ（最適化された点群サブパッチ）を示し、それにより、同じ配管セグメント（または部分）に属すると判定された入力点群パッチの近傍点７０４は、点群サブパッチに含まれ、同じ配管セグメント（または部分）に属さないと判定された入力点群パッチの近傍点７０６は、点群サブパッチ７０４から除外される。したがって、ＤＳＭ５１２は、有利には、よりまたは真に関連する複数の近傍特徴を有する近傍点７０４を含む最適化された（例えば、最適な）点群サブパッチの生成を可能にし、容易にし、または促進し、換言すれば、関連しないかまたはあまり関連しない複数の近傍特徴を有する近傍点７０６を低減または最小化することが分かる。
【0074】
例えば、シード点が、図７Ａに示される例のように複数の配管が近接して存在する混雑したエリアにあるとき、ｋ－ＮＮまたはボールクエリを使用して複数の近傍点を抽出することは、他のオブジェクト（例えば、他の複数の配管セグメントまたは部分）からの複数の点を必然的に含み得る。これに関して、様々な例示的な実施形態は、それらの外れ値がパラメータ予測または推定の精度に影響を及ぼし得ることに留意する。典型的にはｋ値またはボール半径を低減することによってｋ－ＮＮまたはボールクエリのパラメータを調整することは、場合によってはそれら関係のないもの（outsider）を除外し得るが、いくつかの真の配管近傍点も除外され、より信頼性の低い円筒パラメータ推定につながる場合がある。これに対し、本発明の様々な例示的な実施形態によるＤＳＭ５１２は、有利には、複数の真の近傍点を可能な限り維持するように動作しながら、ノイズおよび関係のないものを自動的にフィルタリングするように動作することによって、対象の配管に動的に適応する。さらに、ＤＳＭ５１２は、有利なことに、いかなる固定パラメータにも依存しないので、タスク依存のパラメータ調整は必要とされない。
【0075】
出力モジュール
様々な例示的な実施形態において、ＰｉｐｅＮｅｔ４０２の複数の最終出力は、セマンティック分類器モジュール５２２および中心線ノードリグレッサーモジュール５３２を使用して、ＤＳＭ５１２によって出力された選択された（上述の選択された数の点を有する上述の最適化された点群サブパッチに対応する）点群サブパッチに基づいて予測される。様々な例示的な実施形態では、上述したように、セマンティック分類器モジュール５２２は、シード点ｐｉが配管上にあるか否か、すなわち、シード点ｐｉが配管点であるか否かのバイナリ予測を出力するように構成され得る。様々な例示的な実施形態では、中心線ノードリグレッサー５３２は、（配管内部を指す、すなわち内向きの）方向付けられた（oriented）点法線ｎｉ、配管半径ｒｉ、および方向付けられていない（non-oriented）配管の流れ方向ｌｉを含む様々な配管パラメータを出力または予測するように構成されている。これに関して、様々な例示的な実施形態は、ＰｉｐｅＮｅｔ４０２の適用が固定された一組の配管サイズに制限されないように、配管半径予測を分類のタスクではなく回帰のタスクとして構成する。様々な例示的な実施形態では、シード点ｐｉに関連する中心線点ｃｉ（または中心線点パラメータ）は、次いで、以下の式（１）によって求められる。
様々な例示的な実施形態において、ＰｉｐｅＮｅｔ４０２の複数の最終出力は、セマンティック分類器モジュール５２２および中心線ノードリグレッサーモジュール５３２を使用して、ＤＳＭ５１２によって出力された選択された（上述の選択された数の点を有する上述の最適化された点群サブパッチに対応する）点群サブパッチに基づいて予測される。様々な例示的な実施形態では、上述したように、セマンティック分類器モジュール５２２は、シード点ｐｉが配管上にあるか否か、すなわち、シード点ｐｉが配管点であるか否かのバイナリ予測を出力するように構成され得る。様々な例示的な実施形態では、中心線ノードリグレッサー５３２は、（配管内部を指す、すなわち内向きの）方向付けられた（oriented）点法線ｎｉ、配管半径ｒｉ、および方向付けられていない（non-oriented）配管の流れ方向ｌｉを含む様々な配管パラメータを出力または予測するように構成されている。これに関して、様々な例示的な実施形態は、ＰｉｐｅＮｅｔ４０２の適用が固定された一組の配管サイズに制限されないように、配管半径予測を分類のタスクではなく回帰のタスクとして構成する。様々な例示的な実施形態では、シード点ｐｉに関連する中心線点ｃｉ（または中心線点パラメータ）は、次いで、以下の式（１）によって求められる。
【0076】
【数1】
【0077】
したがって、（例えば、様々な実施形態に従って上述したような第２の機械学習モデルに対応する）セマンティック分類器モジュール５２２は、ＤＳＭ５１２によって生成された点群サブパッチに基づいて、シード点ｐｉが配管点であるか否かを判定（または予測）するように訓練されることができる。加えて、中心線ノードリグレッサー５３２は、点群サブパッチに基づいてシード点ｐｉに関連する配管半径（または配管半径パラメータ）を求める（または予測）するように訓練された（例えば、様々な実施形態による上述した第３の機械学習モデルに対応する）配管半径回帰モデル５３４と、点群サブパッチに基づいてシード点ｐｉに関連する点法線（または点法線パラメータ）を求める（または予測）するように訓練された（例えば、様々な実施形態に従って上述した第４の機械学習モデルに対応する）点法線回帰モデル５３６と、点群サブパッチに基づいてシード点ｐｉに関連する配管の流れ方向（または配管の流れ方向パラメータ）を求める（または予測）するように訓練された（例えば、様々な実施形態に従って上述した第５の機械学習モデルに対応する）配管方向回帰モデル５３８と、を含むことができる。したがって、様々な例示的な実施形態では、シード点ｐｉに関連する配管中心線点ｃｉは、上述した式（１）などに従って、シード点ｐｉ、求めた配管半径ｒｉ、および求めた点法線ｎｉに基づいて求められる（または予測される）。
【0078】
したがって、点群データからの複数の点群パッチの各々について、点群パッチは、図５を参照して上述したように、ＰｉｐｅＮｅｔ４０２によって取得および処理されて、配管点であると判定されたシード点を含む複数の点群パッチの各々について（すなわち、セマンティック分類器５２２によってそのシード点が配管点であると判定された各点群パッチについて）、点群パッチについてのシード点に関連する求めた配管中心線点ｃｉ、点群パッチについてのシード点に関連する求めた配管半径ｒｉ、および点群パッチについてのシード点に関連する求めた配管の流れ方向ｌｉを含む中心線パラメータセット（例えば、本明細書では中心線ノードセットとも呼ばれ得るＣ：｛ｃｉ，ｒｉ，ｌｉ｝｝を生成し得る。したがって、中心線パラメータセットＣにおいて、求めた配管半径ｒｉおよび点群パッチに基づいて求めた配管の流れ方向ｌｉは、点群パッチに基づいて求めた配管中心線点ｃｉに関連付けられ、例えば、（点群パッチに関連する）同じインデックスｉに基づくかまたは同じインデックスｉによって結びつけられる。したがって、様々な例示的な実施形態では、セマンティック分類器モジュール５２２によって配管点であると判定された（または予測された）シード点に関連する配管パラメータのみが、中心線パラメータセットに含まれるかまたは保持される。
【0079】
損失関数
様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２は、以下の例示的な式（２）～（５）で定義されるマルチタスク損失（multi-task loss）を最小化するように訓練され得る。マルチタスク損失は、５つの損失項を含むことができ、各項は１つのタイプの出力の教師となる。以下の式（２）～（５）において、｛｛Ａｉ∈ｉ［０，５］｝｝は、経験的に設定された５つの損失項の各々に対する固定の重みである。ＬｉｎｓおよびＬｓｅｍは、それぞれ、ＤＳＭ５１２によるパッチ点の近傍マスク分類およびセマンティック分類器５２２によるｐｉの意味分類（セマンティック分類）の損失を示す。両方の項に対して古典的なクロスエントロピー損失（classical cross-entropy loss）が使用される。ｙおよび
様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２は、以下の例示的な式（２）～（５）で定義されるマルチタスク損失（multi-task loss）を最小化するように訓練され得る。マルチタスク損失は、５つの損失項を含むことができ、各項は１つのタイプの出力の教師となる。以下の式（２）～（５）において、｛｛Ａｉ∈ｉ［０，５］｝｝は、経験的に設定された５つの損失項の各々に対する固定の重みである。ＬｉｎｓおよびＬｓｅｍは、それぞれ、ＤＳＭ５１２によるパッチ点の近傍マスク分類およびセマンティック分類器５２２によるｐｉの意味分類（セマンティック分類）の損失を示す。両方の項に対して古典的なクロスエントロピー損失（classical cross-entropy loss）が使用される。ｙおよび
【0080】
【数2】
【0081】
は、それぞれ、グラウンドトゥルースラベル（ground truth label）および予測ラベルである。ｗは、各クラスの損失重みを示す。ｓ（ｘ）は、ｘが真であれば「１」を示し、そうでなければ「０」を示す。Ｎ、Ｎｓｉｍ、Ｎsim pipe、およびＮｐｏｓは、それぞれ、シード点の総数、シミュレートされたデータからの複数のシード点、シミュレートされた複数の配管からの複数のシード点、およびポジティブとして予測されたパッチ点の数を示す。
【0082】
様々な例示的な実施形態では、シミュレートされたデータのポジティブに予測されたパッチ点のみがＬｉｎｓにカウントされ、すなわち、ポジティブに予測されているネガティブでラベル付けされたパッチ点は罰則を科される（penalized）が、その逆はない。このソフト分類（soft classification）は、ＤＳＭ５１２が点群サブパッチとして真の近傍（例えば、同じ配管セグメント（または部品）からのパッチ点）のサブセットを選択することを可能にする。ＤＳＭ５１２は、他の全ての損失項が共同で教師となる（co-supervised）ので、点群サブパッチは、基本的に、セマンティック分類器５２２によるシード点分類および中心線ノードリグレッサー５３２による円筒パラメータ推定のための最適化された（例えば、最適な）近傍となるように訓練される。
【0083】
予測された法線ｎｉとグラウンドトゥルース
【0084】
【数3】
【0085】
との間のユークリッド距離差は、法線損失Ｌｎｏｒの教師となる。Ｌｒは、半径損失を表し、（１）絶対差および（２）相対差という２つの項を含む。小さい絶対差が小さい配管について大きい相対差を生じさせるが、小さい相対差が大きい配管について大きい絶対差を生じさせるため、様々な例示的な実施形態は、有利には、大きい配管と小さい配管の両方について配管半径回帰モデル５３４による半径回帰のより良好な教師となるのに役立つそのような２つの項を用いることを見出した。様々な例示的な実施形態では、Ａ５は、相対差損失の値を緩和するために適用され、そうでなければ、半径相対差は、損失の急増につながり得る初期トレーニング段階ですべての他の損失をはるかに上回ることが観察される。Ｌｄｉｒは、配管の流れ方向損失を示す。様々な例示的な実施形態によれば、予測された流れ方向は方向付けられていないので、配管の流れ方向損失を計算するために、予測Ｌｉとグラウンドトゥルース
【0086】
【数4】
【0087】
との間の最小ユークリッド距離差が使用される。さらに、全てのシミュレートされたデータは、この損失にカウントされる。
【0088】
【数5】
【0089】
訓練の詳細
様々な例示的な実施形態に従って実行される実験では、ＰｉｐｅＮｅｔ４０２は、シミュレートされたデータセットとオープンソースデータセットのScanNet（A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. Nieβner, “ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes,” 2017）およびS3DIS（(I. Armeni, S. Sax, A. R. Zamir, and S. Savarese, “Joint 2D-3D-Semantic Data for Indoor Scene Understanding,” ArXiv e-prints, February 2017）との両方で訓練される。シミュレートされたデータセットは、複数のオープンソースデータセットにおけるＭＥＰカテゴリの欠如に起因して作成される。さらに、ネットワークによって必要とされる訓練データセットは、セマンティックラベルおよび配管パラメータの両方を含むので、実際のスキャンされたデータを使用して配管を手動でラベル付けおよびモデル化することは実用的ではない。様々な例示的な実施形態によれば、点群データのシミュレーションは、理想的なワークアラウンド（workaround）であると識別される。
様々な例示的な実施形態に従って実行される実験では、ＰｉｐｅＮｅｔ４０２は、シミュレートされたデータセットとオープンソースデータセットのScanNet（A. Dai, A. X. Chang, M. Savva, M. Halber, T. Funkhouser, and M. Nieβner, “ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes,” 2017）およびS3DIS（(I. Armeni, S. Sax, A. R. Zamir, and S. Savarese, “Joint 2D-3D-Semantic Data for Indoor Scene Understanding,” ArXiv e-prints, February 2017）との両方で訓練される。シミュレートされたデータセットは、複数のオープンソースデータセットにおけるＭＥＰカテゴリの欠如に起因して作成される。さらに、ネットワークによって必要とされる訓練データセットは、セマンティックラベルおよび配管パラメータの両方を含むので、実際のスキャンされたデータを使用して配管を手動でラベル付けおよびモデル化することは実用的ではない。様々な例示的な実施形態によれば、点群データのシミュレーションは、理想的なワークアラウンド（workaround）であると識別される。
【0090】
種々の例示的な実施形態では、データセットシミュレーションは、配管モデルシミュレーションおよび点群合成という２つの工程を含む。両方の工程は、ＢＬＥＮＤＥＲソフトウェアで実施される。複数のＭＥＰモデルは、修正されたｐｉｐｅＭａｒｅアドオン（add-on）を使用してシミュレートされる。これに関して、追加される複数の特徴は、異なる曲率を有する丸いエルボー、近接して平行な配置の複数の配管、矩形断面形状を有するダクトを含む。各モデルは、５ｍ×５ｍの領域内で深さ軸（depth axis）に沿って２～４層で配置された複数の配管および／またはダクトを含む。半径範囲は１～２０ｃｍであり、住宅用および商業用建物における一般的な配管サイズをカバーする。シミュレートされた各配管は、全体を通して固定半径を有し、フランジおよび弁等のいかなる配管固定具も有していない。
【0091】
点群合成は、ＢｌｅｎＳｏｒアドオンを使用して実施される。５つのスキャナ位置が各モデルに対してランダムに追加される。これらスキャナの位置は、１～４ｍの距離で配管モデルの片側に制限される。これは、レーザースキャナが天井の下または壁の近くに設置された複数の配管をスキャンする実際のスキャンシナリオをシミュレートするためである。１～３回のランダムスキャンをランダムに選択することによって各モデルについて３つの点群データを生成して、密度およびスキャンカバレッジのデータ多様性を増大させる。グラウンドトゥルースは、０．１ｍｍ間隔で複数の中心線に沿って複数の点をサンプリングし、各スキャン点に、最も近い中心線点を、対応する半径、点法線、および配管方向パラメータとともに割り当てることによって生成される。点法線グラウンドトゥルースは、スキャン点から中心線点への正規化されたオフセットベクトルとして計算される。０．１ｍｍの中心線ノード間隔サイズは、点法線グラウンドトゥルースの角度誤差を１度以内に保つように選択される。例示のみを目的として、シミュレートされた訓練データのいくつかの例を図８に示す。図８では、左の列は、例示的なシミュレートされた配管およびダクトの斜視図であり、右の列は、例示的なシミュレートされた配管およびダクトの上面図である。さらに、図８では、例示的なシミュレートされた配管およびダクトを通るグラウンドトゥルース中心線点も示されている。
【0092】
ノイズ拡張（noise augmentation）が実施されるが、シミュレートされたデータのみに関して訓練されたＰｉｐｅＮｅｔ４０２は、特にデータにノイズがある場合、実際のスキャンに対して良好に機能しない場合があることが、実験を通して留意される。しかしながら、性能は、実際のスキャンデータセットのＳｃａｎＮｅｔおよびＳ３ＤＩＳを補完的な訓練データとして追加した後に、様々な例示的な実施形態に従って向上される。一例として、最初の１００個のデータがＳｃａｎＮｅｔにおいて使用され、複数の配管が存在する可能性がより高いＳ３ＤＩＳ内の１０個のトイレの点群が選択された。これらの２つのパブリックデータセットは、必要とされる配管関連のグラウンドトゥルースを含まないので、それらは、意味論的にネガティブなデータ（semantically negative data）として使用され、すなわち、それらは、ネガティブクラスとしてＬｓｅｍにのみカウントされる。合計で、１００３本の配管および６１６本のダクトを含む２７０個のシミュレーションモデルが作成された。図９は、シミュレートされた配管の半径分布を示す。８１０個の合成点群が作成される。点群の２０％をネットワーク訓練に使用し、残りを試験に使用した。一例として、ＰｉｐｅＮｅｔ４０２の訓練データセットの最終構成を図１０の表１に要約する。
【0093】
ＰｉｐｅＮｅｔ４０２は、Ａｄａｍオプティマイザーを使用して、２５６のバッチサイズで１００エポックについて訓練された。各エポックにおいて、１０２４個のパッチを各点群からランダムにサンプリングした。初期学習率は０．００１であり、４エポック毎に０．８の割合で減衰した。一例として、使用される損失項重みは、［Ａ０，Ａ１，Ａ２，Ａ３，Ａ４，Ａ５］＝［２，２．５，２，０．５，１，２０］である。この訓練は、ＮＶＩＤＩＡ ＲＴＸ Ａ６０００ ＧＰＵで行い、合計２２時間を要した。訓練データセット内の非配管および配管インスタンスの数が不均衡であるため、様々な例示的な実施形態は、Ｌｓｅｍ内の配管および非配管に対してそれぞれ「１」および「２」の損失重みｗを適用した。入力パッチ半径は０．１ｍに設定され、５１２個の点を含んでいた。８５個の点（パッチ点の数の１／６）が点群サブパッチから選択され、複数の出力モジュールで使用される。ゼロ平均および１～４ｍｍの標準偏差σで、進行中のデータにガウスノイズが加えられる。
【0094】
モデル再構築
竣工ＢＩＭモデルは、中心線候補生成４０６、候補精緻化４１０、および接続性再構築４１４を含む複数の処理を通じて、ＰｉｐｅＮｅｔ４０２によって予測される中心線ノードセットＣ：｛ｃｉ，ｒｉ，ｌｉ｝から再構築される。具体的には、様々な例示的な実施形態によれば、ＢＩＭ再構築の方法４００は、中心線ノードセットＣに基づいて一組の中心線候補ＣＣを生成することと、一組の中心線候補ＣＣを精緻化して、精緻化された一組の中心線候補を取得することと、精緻化された一組の中心線候補に基づいて配管システムについての配管システムモデルを生成することとを含む。
竣工ＢＩＭモデルは、中心線候補生成４０６、候補精緻化４１０、および接続性再構築４１４を含む複数の処理を通じて、ＰｉｐｅＮｅｔ４０２によって予測される中心線ノードセットＣ：｛ｃｉ，ｒｉ，ｌｉ｝から再構築される。具体的には、様々な例示的な実施形態によれば、ＢＩＭ再構築の方法４００は、中心線ノードセットＣに基づいて一組の中心線候補ＣＣを生成することと、一組の中心線候補ＣＣを精緻化して、精緻化された一組の中心線候補を取得することと、精緻化された一組の中心線候補に基づいて配管システムについての配管システムモデルを生成することとを含む。
【0095】
中心線候補生成４０６
様々な例示的な実施形態では、中心線ノードセットＣは、中心線ノードセット内の各中心線ノード（本明細書では中心線点と呼ばれることもある）について、中心線ノードおよび中心線ノードに関連する配管の流れ方向に基づいて、複数の中心線ノードサブセットに分割され得る。例えば、中心線ノードセットＣは、空間の類似度（similarity）および配管の流れ方向ｌｉの類似度の基準に基づいて領域拡張法（region growing method）を使用してセグメント化されることができる。結果として、中心線ノードセットＣは、複数の直線セグメントに対応し得る複数の中心線ノードサブセットに分割され得る。続いて、複数の中心線ノードサブセットの各々について、当該中心線ノードサブセットに線フィッティングを適用して、中心線ノードサブセットに関連する中心線候補ｃｌｉを生成して、中心線候補のセットＣＣを取得することができる。例えば、ＲＡＮＳＡＣ線フィッティングを各クラスタ（中心線ノードサブセット）に適用して、中心線候補セットＣＣを生成してもよい。様々な例示的な実施形態では、各中心線候補ｃｌｉは、２つの端点
様々な例示的な実施形態では、中心線ノードセットＣは、中心線ノードセット内の各中心線ノード（本明細書では中心線点と呼ばれることもある）について、中心線ノードおよび中心線ノードに関連する配管の流れ方向に基づいて、複数の中心線ノードサブセットに分割され得る。例えば、中心線ノードセットＣは、空間の類似度（similarity）および配管の流れ方向ｌｉの類似度の基準に基づいて領域拡張法（region growing method）を使用してセグメント化されることができる。結果として、中心線ノードセットＣは、複数の直線セグメントに対応し得る複数の中心線ノードサブセットに分割され得る。続いて、複数の中心線ノードサブセットの各々について、当該中心線ノードサブセットに線フィッティングを適用して、中心線ノードサブセットに関連する中心線候補ｃｌｉを生成して、中心線候補のセットＣＣを取得することができる。例えば、ＲＡＮＳＡＣ線フィッティングを各クラスタ（中心線ノードサブセット）に適用して、中心線候補セットＣＣを生成してもよい。様々な例示的な実施形態では、各中心線候補ｃｌｉは、２つの端点
【0096】
【数6】
【0097】
、単位方向（または方向ベクトル）Ｄｉｒｉ、半径Ｒｉ、および一組のインライア中心線ノードＣｉｎによって定義され得る。Ｒｉは、Ｃｉｎの半径の平均である。様々な例示的な実施形態は、複数の中心線候補を生成するためにＲＡＮＳＡＣ線フィッティングが中心線ノードセットＣに直接適用され得るが、その方法ではより多くの計算時間が必要とされ、より多くのノイズ候補が生成されることになり、配管システムの配管システムモデルを生成するための後続のプロセスにおいてより多くの作業負荷を生じさせることが分かっていることに留意されたい。
【0098】
中心線精緻化４１０
様々な例示的な実施形態によれば、複数の偽陽性候補が生成され、領域拡張法は配管を複数の候補に過剰にセグメント化することがあるので、候補精緻化が実施される。様々な例示的な実施形態では、中心線候補ＣＣのセットを精緻化することは、複数の共通中心線グループの各々について、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補ＣＣにおける最長中心線候補を、共通中心線グループに関連するシード中心線候補として設定し、最長中心線候補を共通中心線グループに追加することと、中心線候補が中心線候補とシード中心線候補との間の共通中心線条件を満たすと判定したことに基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補として設定することとを含む。さらに、共通中心線グループにおける設定された各新しいシード中心線候補について、次に、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補ＣＣにおける各中心線候補について、中心線候補が中心線候補とシード中心線候補（すなわち、新しいシード中心線候補）との間の共通中心線条件を満たすという判定に基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補（すなわち、さらなる新しいシード中心線候補）として設定する。様々な実施形態例において、共通中心線条件は、中心線候補およびシード中心線候補にそれぞれ関連する方向ベクトルによって形成される角度に基づく第１のサブ条件と、中心線候補とシード中心線候補との間の距離に基づく第２のサブ条件と、中心線候補およびシード中心線候補にそれぞれ関連する複数の半径間の差に基づく第３のサブ条件とを含む複数のサブ条件を含む。
様々な例示的な実施形態によれば、複数の偽陽性候補が生成され、領域拡張法は配管を複数の候補に過剰にセグメント化することがあるので、候補精緻化が実施される。様々な例示的な実施形態では、中心線候補ＣＣのセットを精緻化することは、複数の共通中心線グループの各々について、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補ＣＣにおける最長中心線候補を、共通中心線グループに関連するシード中心線候補として設定し、最長中心線候補を共通中心線グループに追加することと、中心線候補が中心線候補とシード中心線候補との間の共通中心線条件を満たすと判定したことに基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補として設定することとを含む。さらに、共通中心線グループにおける設定された各新しいシード中心線候補について、次に、複数の共通中心線グループのいずれにもまだ属していない一組の中心線候補ＣＣにおける各中心線候補について、中心線候補が中心線候補とシード中心線候補（すなわち、新しいシード中心線候補）との間の共通中心線条件を満たすという判定に基づいて、中心線候補を共通中心線グループに追加し、追加された中心線候補を共通中心線グループに関連する新しいシード中心線候補（すなわち、さらなる新しいシード中心線候補）として設定する。様々な実施形態例において、共通中心線条件は、中心線候補およびシード中心線候補にそれぞれ関連する方向ベクトルによって形成される角度に基づく第１のサブ条件と、中心線候補とシード中心線候補との間の距離に基づく第２のサブ条件と、中心線候補およびシード中心線候補にそれぞれ関連する複数の半径間の差に基づく第３のサブ条件とを含む複数のサブ条件を含む。
【0099】
言い換えれば、本発明の様々な例示的な実施形態による例示的な実装形態では、一組の中心線候補ＣＣにおける複数の中心線候補は、一組の中心線候補ＣＣにおける最も長い線候補がシード線
【0100】
【数7】
【0101】
として選択され得るように反復的にマージされる（merged）ことができる。（すなわち、この例示的な共通中心線条件を満たす）中心線候補のサブセット
【0102】
【数8】
【0103】
が、グループ（共通中心線グループと呼ばれ得る）に追加され、ここで、＜・＞は、２つのベクトルによって形成される角度を示し、Ｄ（・）は、一方の線上の最も近い端点から他方の線までの距離によって計算される２つの候補線間の距離を示す。α、β、およびγは、すべての閾値が候補半径に関するものであるように経験的に設定された固定のスカラーである。適応閾値は、大きな次元多様性を有する複数の配管のシーンにおけるアルゴリズムの一般化を向上させることができる。グループに追加された複数の中心線候補は、次に、新しい複数のシードとして選択され、共通中心線条件を満たす一組の中心線候補ＣＣ内のすべての中心線候補がグループ（共通中心線グループ）に追加されるまで、上記の工程が繰り返される。これにより、上述したように複数の中心線候補が追加された複数のグループ（共通中心線グループ）が形成される。
【0104】
様々な例示的な実施形態では、複数の共通中心線グループを取得した後、複数の共通中心線グループの各々について、当該共通中心線グループに線フィッティングを適用して、共通中心線グループに関連する精緻化された中心線候補を形成して、精緻化された一組の中心線候補を取得することができる。例えば、各共通中心線グループについて、精緻化された中心線は、グループ内の全ての中心線候補の全てのインライア・ノード（inlier node）にフィッティングされる。続いて、複数の共通中心線グループの各々について、当該共通中心線グループに関連する精緻化された中心線候補に関連する半径が、精緻化された中心線候補の長さに対応する点群データの抽出されたセグメントに基づいて円フィッティングを適用することによって求められ得る。例えば、最小二乗円フィッティングを適用して、これらインライア中心線ノードに対応するスキャンデータを使用して候補半径を精緻化することができる。様々な例示的な実施形態において、最良の完全性を有するスキャンデータから最大１ｍ長のセグメントが、円フィッティングのために抽出される。これに関して、様々な例示的な実施形態は、長さが長く且つ直径が小さい配管のスキャン全体に円フィッティング方法を直接適用することは信頼できない可能性があるため、そのようなセグメント抽出が有利であることを見出した。例えば、約４～５ｃｍの直径を有する火災スプリンクラー配管などの複数の配管は、完全に直線的には存在せず、重力または複数の吊り下げケーブルの位置もしくは長さの差のために、その長さに沿ってわずかに曲がる。説明のために、図１１Ａ～図１１Ｃは、シーンの実際のテストスキャンデータ内の小さい配管（関心のある配管）の一例を示す。特に、図１１Ａは、離れたシーンにおける関心のある配管の斜視図を示し、図１１Ｂは、関心のある配管（点線のボックス内に示される濃い黒の配管）の拡大図を示し、図１１Ｃは、ＰＣＡによって取得されたその第１の主方向に沿った関心のある配管の投影図を示す。突起が明確な円形パターンを示さないことが分かる。様々な例示的な実施形態では、ノイズを除去するために、ノイズ中心線は、通常、不十分なインライア・サポートまたは小さい長さ対半径比を有することが観察されるので、精緻化された複数の中心線は、長さ対半径の比および単位長さ当たりのインライア・ノードの数として定義されるインライア密度によってさらに検査される。
【0105】
接続性再構築４１４
様々な例示的な実施形態では、精緻化された一組の中心線候補を取得した後に、配管システムの配管システムモデルは生成されることができ、精緻化された一組の中心線候補に基づいて、グラフに基づく中心線接続性再構築を実行することを含む。様々な例示的な実施形態では、グラフに基づく中心線接続性再構築を実行することは、精緻化された一組の中心線候補を表すための複数のノードを含むグラフを構築することであって、各ノードは、精緻化された一組の中心線候補の対応する精緻化された中心線候補を表し、複数のノードのうちの各対のノードは、それに割り当てられたエッジ重みを有する、構築することと、グラフに基づいて、複数の最小スパニングツリーを含む最小スパニングフォレストを生成することと、最小スパニングフォレストに基づいて、精緻化された一組の中心線候補に対して複数の中心線接続を実行することと、を含む。したがって、中心線接続関係が再構築され、すなわち、同じ配管システム内の複数の中心線をグループ化する。様々な例示的な実施形態では、接続された複数の配管セグメントの複数の中心線が３Ｄ空間内で同一平面であることが保証されないため、複数の交点は、以下のように、かつ図１２に示されるように計算され、それによって、両方の線が延在され、一方の線上の他方の線に最も近い複数の点が見出される。最も近い点の２つの中間は、ねじれの位置にある線の交点（skew line intersection）として定義される。特に、図１２は、ねじれの位置にある線の距離および交点を示し、図１２の左側は側面図を示し、図１２の右側は上面図を示す。
様々な例示的な実施形態では、精緻化された一組の中心線候補を取得した後に、配管システムの配管システムモデルは生成されることができ、精緻化された一組の中心線候補に基づいて、グラフに基づく中心線接続性再構築を実行することを含む。様々な例示的な実施形態では、グラフに基づく中心線接続性再構築を実行することは、精緻化された一組の中心線候補を表すための複数のノードを含むグラフを構築することであって、各ノードは、精緻化された一組の中心線候補の対応する精緻化された中心線候補を表し、複数のノードのうちの各対のノードは、それに割り当てられたエッジ重みを有する、構築することと、グラフに基づいて、複数の最小スパニングツリーを含む最小スパニングフォレストを生成することと、最小スパニングフォレストに基づいて、精緻化された一組の中心線候補に対して複数の中心線接続を実行することと、を含む。したがって、中心線接続関係が再構築され、すなわち、同じ配管システム内の複数の中心線をグループ化する。様々な例示的な実施形態では、接続された複数の配管セグメントの複数の中心線が３Ｄ空間内で同一平面であることが保証されないため、複数の交点は、以下のように、かつ図１２に示されるように計算され、それによって、両方の線が延在され、一方の線上の他方の線に最も近い複数の点が見出される。最も近い点の２つの中間は、ねじれの位置にある線の交点（skew line intersection）として定義される。特に、図１２は、ねじれの位置にある線の距離および交点を示し、図１２の左側は側面図を示し、図１２の右側は上面図を示す。
【0106】
様々な例示的な実施形態では、上述したグラフを構築する際に、グラフＧ（Ｖ，Ｅ）は、（本明細書ではノードとも呼ばれ得る）各頂点Ｖが中心線候補（またはより詳細には、精緻化された中心線候補）に対応する精緻化された一組の中心線候補（本明細書では精緻化された中心線候補セットとも呼ばれ得る）を表すように構築され得る。様々な例示的な実施形態では、複数のノードのうちの各対のノードについて、当該対のノードに割り当てられたエッジ重みは、当該対のノードに対応する精緻化された一組の中心線候補のうちの精緻化された一対の中心線候補の間のユークリッド距離、精緻化された一対の中心線候補の間の潜在的な接続領域におけるスキャンデータ密度、精緻化された一対の中心線候補の間の方向角差、および精緻化された一対の中心線候補の間の半径差に基づいて決定される。例えば、複数の中心線間の複数のユークリッド距離のみに基づいてエッジ重みを計算することとは対照的に、様々な例示的な実施形態は、以下の式（８）～（１１）に示されるような、潜在的な接続領域におけるスキャンデータサポート、方向角差、および半径差を含む複数の追加の要因を考慮し、ここで、｛Ｂｉ│ｉ∈｛０，１，２｝｝は、各項の一定の重みであり、εおよびθは、経験的に設定された一定のパラメータであり、ＤＲ（Ｖｉ，Ｖｊ）は、それぞれ、線の端点と交点との間の距離のその半径に対する比の合計を表し、Ｎｃｏｎｎは、接続位置におけるスキャンデータの数を表す。したがって、一定のＤＲ（Ｖｉ，Ｖｊ）に対して、Ｎｃｏｎｎが大きいほど、Ｗｓｃａｎは小さくなり、ＤＲ（Ｖｉ，Ｖｊ）によって制限される。ＣＡは、４５度および９０度などの配管システムで使用される一般的な一組の接続角度を示す。様々な例示的な実施形態では、これらの３つの要因、すなわち、Ｗｓｃａｎ、Ｗｒ、およびＷａｎｇは、複雑な配管システムが存在する混雑とした領域内の真の接続を区別するように設計される。
【0107】
【数9】
【0108】
様々な例示的な実施形態では、各エッジは、半径上の総端点距離（total endpoint distance）および線距離に基づいて、直接接合（direct-joint）、拡張接合（extended-joint）、および補完接合（complement-joint）などの複数の接続タイプのうちの１つに従ってラベル付けされ得る。様々な例示的な実施形態では、２つの線の端点が十分に近く、それらの線距離が予め設定された閾値内にある場合、２つの端点は直接接合としてラベル付けされ得る。２つの端点は、端点距離がより大きい場合、拡張接合としてラベル付けされてもよく、それらの線距離がより大きい場合、補完接合としてラベル付けされてもよい。例えば、上述した所定の閾値は、データ品質およびシーンのスケールに応じてユーザーによって設定されてもよく、例えば、それが大規模なシーンであり、点群データが（例えば、オクルージョンに起因して）大量の欠落領域を有する場合、所定の閾値は、比較的大きく設定されてもよい。様々な例示的な実施形態において、所定の閾値は、例えば、２つの配管の間の長い方の配管の半径の乗数に対するものであってもよい。限定ではなく単なる例として、直接接合タイプの例示的な所定の閾値は、「２」であってもよく（例えば、配管半径×２より小さい距離が直接接合タイプとして割り当てられてもよい）、拡張接合閾値タイプの例示的な所定の閾値は、研究室の例では「１５」であってもよく（例えば、配管半径×２＜距離＜１５）、倉庫の例では「２５」であってもよく（例えば、配管半径×２＜距離＜２５）、相補接合閾値の例示的な所定の閾値は、「１」および「２０」であってもよい（例えば、配管半径×１＜線距離＜半径×２０）。複数の接続タイプについての複数の閾値は、上述した例示的な閾値に限定されず、所望に応じて、または意図された目的のために適切に設定され得ることが当業者によって理解されるであろう。例えば、補完接合タイプは、長さ対半径の小さい比または十分ではない中心線ノードサポートに起因する以前のプロセスにおけるノイズとしての誤分類に起因して時々フィルタリングされ得る短い複数の配管セグメントを回復することであり得る。説明のために、図１３は、上述の３つのタイプの接合を示す。様々な例示的な実施形態において、グラフに基づく中心線接続性再構築では、上述した３つのタイプの接合の中で、直接接合エッジが他の２つのタイプよりも優先される。様々な例示的な実施形態では、複数の最小スパニングツリー（MST : minimum spanning tree）を含む最小スパニングフォレストが、接合優先度に順次従って（すなわち、直接接合エッジ→拡張接合エッジ→補完接合エッジの（最高優先度から始まる）優先順位で）グラフから計算される。様々な例示的な実施形態では、完全性を最大化するために、配管システム設計のドメイン知識に基づく特定の制約がＭＳＴ計算に適用され、例えば、以下のi～ivを含む。
【0109】
i. 中心線の各端点は、最大で２つの他の中心線と接合されることができる。
ii. 同様の半径を有する近接して平行な２つの中心線は、それらが直接的に接合されていない場合、すなわち、それらが異なるツリーにおいて存在すべきである場合、相互に排他的である（限定ではなく単なる例として、０．１の閾値が半径の類似度に対して設定されてもよい（半径の差が、２つの配管の間のより長い配管の半径の０．１よりも小さいべきであることを意味する）、「６」の閾値が平行な２つの中心線の近さに対して設定されてもよい。半径の類似度および中心線の近接度の閾値は、上述した例示的な閾値に限定されず、所望に応じて、または意図される目的に対して適切に設定することができることが当業者によって理解されるであろう。）。
ii. 同様の半径を有する近接して平行な２つの中心線は、それらが直接的に接合されていない場合、すなわち、それらが異なるツリーにおいて存在すべきである場合、相互に排他的である（限定ではなく単なる例として、０．１の閾値が半径の類似度に対して設定されてもよい（半径の差が、２つの配管の間のより長い配管の半径の０．１よりも小さいべきであることを意味する）、「６」の閾値が平行な２つの中心線の近さに対して設定されてもよい。半径の類似度および中心線の近接度の閾値は、上述した例示的な閾値に限定されず、所望に応じて、または意図される目的に対して適切に設定することができることが当業者によって理解されるであろう。）。
【0110】
iii.接続された一対の中心線がそれぞれ相互に排他的な線（exclusive line）を有する場合、これらの２つの排他的な線は、それらの間にエッジが存在する場合、エッジの重みおよびタイプにかかわらず、同様に接続されるべきである。接続された二対の中心線は、互いに衝突してはならない。
【0111】
iv. 形成された各ツリーは、そのメンバーノードのすべての排他（exclusions）を継承し、すなわち、すべてのメンバノードの排他的な線をツリーに追加することはできない。
より良好な理解および例示のために、図１４は、本発明の様々な例示的な実施形態による最小スパニングフォレストの形成を示す。図１４に示すように、各中心線ｃｌｉは、（例えば、同じインデックスｉに関連付けられるか、または同じインデックスｉで示される）グラフ内のノードになる。エッジ重みＷ（Ｖｉ，Ｖｊ）は、上記の式（８）～（１１）に従って決定される。図１４に示されるエッジ重みは、例示のみのためであり、上記の式（８）～（１１）に従って決定された実際のエッジ重みではない場合があることに留意されたい。すなわち、説明を簡単にするために、エッジ重みは、各対の中心線の間の端点距離にほぼ対応して示されている。上述の制約（ｉｉ）に従って、ｃｌ１およびｃｌ２は、平行で近くに存在し、同様の半径を有するので、相互に排他的であり、ｃｌ３およびｃｌ４についても同様である。その後、優先順位付けされた複数の直接接合エッジが検査され、Ｅ２，３が選択される。そして、上記（ｉｉｉ）の制約に従って、ｃｌ２とｃｌ３の排他、すなわちｃｌ１とｃｌ４も、その間にエッジＥ１，４が存在するので接続される。次に、複数の拡張接合エッジは、複数の最小のエッジ重みを有するものから試験される。上記（ｉｖ）の制約による排他の継承のため、Ｅ１，３とＥ２，４は選択されない。その結果、図１４に示すように、最小スパニングフォレストを構成する２つの最小スパニングツリーが生成される。様々な例示的な実施形態では、各最小スパニングツリーは、平均して非常に多くの異常な接続角または非常に少ないインライア中心線ノードを有する場合、さらに検査され、フィルタリングされ得る。このグラフに基づく中心線接続性再構築を実行した後、生成された配管システムモデルをＩＦＣフォーマットに変換することができる。
より良好な理解および例示のために、図１４は、本発明の様々な例示的な実施形態による最小スパニングフォレストの形成を示す。図１４に示すように、各中心線ｃｌｉは、（例えば、同じインデックスｉに関連付けられるか、または同じインデックスｉで示される）グラフ内のノードになる。エッジ重みＷ（Ｖｉ，Ｖｊ）は、上記の式（８）～（１１）に従って決定される。図１４に示されるエッジ重みは、例示のみのためであり、上記の式（８）～（１１）に従って決定された実際のエッジ重みではない場合があることに留意されたい。すなわち、説明を簡単にするために、エッジ重みは、各対の中心線の間の端点距離にほぼ対応して示されている。上述の制約（ｉｉ）に従って、ｃｌ１およびｃｌ２は、平行で近くに存在し、同様の半径を有するので、相互に排他的であり、ｃｌ３およびｃｌ４についても同様である。その後、優先順位付けされた複数の直接接合エッジが検査され、Ｅ２，３が選択される。そして、上記（ｉｉｉ）の制約に従って、ｃｌ２とｃｌ３の排他、すなわちｃｌ１とｃｌ４も、その間にエッジＥ１，４が存在するので接続される。次に、複数の拡張接合エッジは、複数の最小のエッジ重みを有するものから試験される。上記（ｉｖ）の制約による排他の継承のため、Ｅ１，３とＥ２，４は選択されない。その結果、図１４に示すように、最小スパニングフォレストを構成する２つの最小スパニングツリーが生成される。様々な例示的な実施形態では、各最小スパニングツリーは、平均して非常に多くの異常な接続角または非常に少ないインライア中心線ノードを有する場合、さらに検査され、フィルタリングされ得る。このグラフに基づく中心線接続性再構築を実行した後、生成された配管システムモデルをＩＦＣフォーマットに変換することができる。
【0112】
実験および検証
次に、合成スキャンデータセットと実際のスキャンデータセットの両方に関する、様々な例示的な実施形態による１つまたは複数の配管システムのＢＩＭを再構築するための方法（本明細書では単に本方法と呼ぶことがある）の検証を提示し、説明する。合成データセットは、異なる制御された複数の条件下での実験および定量的結果の生成を可能にする。実験では、合成データには、スキャンカバレッジ角度変動およびノイズ付加の２つの拡張を施す。各配管の点群は、６０°のステップで６０°から１８０°に制限されたスキャンカバレッジ角度θを作るためにトリミングされる。ゼロ平均（zero mean）および配管半径の０．５％～２％に相当する標準偏差σを有するガウスノイズ（Gaussian noises）が加えられる。
次に、合成スキャンデータセットと実際のスキャンデータセットの両方に関する、様々な例示的な実施形態による１つまたは複数の配管システムのＢＩＭを再構築するための方法（本明細書では単に本方法と呼ぶことがある）の検証を提示し、説明する。合成データセットは、異なる制御された複数の条件下での実験および定量的結果の生成を可能にする。実験では、合成データには、スキャンカバレッジ角度変動およびノイズ付加の２つの拡張を施す。各配管の点群は、６０°のステップで６０°から１８０°に制限されたスキャンカバレッジ角度θを作るためにトリミングされる。ゼロ平均（zero mean）および配管半径の０．５％～２％に相当する標準偏差σを有するガウスノイズ（Gaussian noises）が加えられる。
【0113】
ＤＳＭ検証
図１５は、従来のｋ－ＮＮ法を使用して生成された近傍点選択結果と比較した、本発明の様々な例示的な実施形態によるＤＳＭ５１２によって生成された近傍選択結果の視覚化を示す。図１５に示される近傍点選択結果では、各シード点は、濃い黒色の点によって図示される（各シード点は、参照の明確性および容易性のみのために図１５で拡大されて示され、シード点のサイズに関していかなる関連性も有しないことが、当業者によって理解されるであろう）。図１５では、第１の列は、０．１ｍの半径を使用してボールクエリ方法によって取得された複数の入力点群パッチ（すなわち、ボールクエリ方法によって集められた選択された複数の近傍点）を示し、第２の列および第３の列は、それぞれ、従来のｋ－ＮＮ方法（ここで、ｋ＝８５であり、「訓練の詳細」の節で上述したＰｉｐｅＮｅｔ設定と同じである）およびＤＳＭ５１２を使用した近傍点選択結果（すなわち、選択された複数のサブパッチ点）を示し、近傍点選択結果（選択されるかまたは予測された真の近傍点）は、濃い黒色で示され、フィルタリングされた（除外された）点は、灰色で示される。したがって、ＤＳＭ５１２からの出力は、図１５に示されるように、ＤＳＭ５１２が異なる物体（すなわち、異なる配管セグメントまたは部分）から複数の隣接点を区別することを実際に学習するか否かを検証するために視覚化される。最初の２行は合成データの結果を示し、下の２行は実際のスキャンデータの結果を示す。図１５から、ＤＳＭ５１２は、最も真の近傍点（すなわち、シード点と同じ配管セグメントに属する近傍点）を維持しながら、異なるものからの点（すなわち、シード点と同じ配管セグメントに属さない近傍点）を除外する（フィルタリングする）のに有効であることが分かる。図１５には、９０度エルボーを含む例示的な入力パッチが示されており、ＤＳＭ５１２は、エルボーの他方の側（シード点に対して他方の側）の点を外れ値として判定または予測したが、それらは同じ配管システムからのものである。すなわち、ＤＳＭ５１２は、それらの点を同じ配管セグメント（または配管部分）に属さないものとして予測することを成功した。配管パラメータ推定は、シード点と同じ配管セグメントまたは円筒からの複数の点にのみ依存するので、これは予想と一致する。
図１５は、従来のｋ－ＮＮ法を使用して生成された近傍点選択結果と比較した、本発明の様々な例示的な実施形態によるＤＳＭ５１２によって生成された近傍選択結果の視覚化を示す。図１５に示される近傍点選択結果では、各シード点は、濃い黒色の点によって図示される（各シード点は、参照の明確性および容易性のみのために図１５で拡大されて示され、シード点のサイズに関していかなる関連性も有しないことが、当業者によって理解されるであろう）。図１５では、第１の列は、０．１ｍの半径を使用してボールクエリ方法によって取得された複数の入力点群パッチ（すなわち、ボールクエリ方法によって集められた選択された複数の近傍点）を示し、第２の列および第３の列は、それぞれ、従来のｋ－ＮＮ方法（ここで、ｋ＝８５であり、「訓練の詳細」の節で上述したＰｉｐｅＮｅｔ設定と同じである）およびＤＳＭ５１２を使用した近傍点選択結果（すなわち、選択された複数のサブパッチ点）を示し、近傍点選択結果（選択されるかまたは予測された真の近傍点）は、濃い黒色で示され、フィルタリングされた（除外された）点は、灰色で示される。したがって、ＤＳＭ５１２からの出力は、図１５に示されるように、ＤＳＭ５１２が異なる物体（すなわち、異なる配管セグメントまたは部分）から複数の隣接点を区別することを実際に学習するか否かを検証するために視覚化される。最初の２行は合成データの結果を示し、下の２行は実際のスキャンデータの結果を示す。図１５から、ＤＳＭ５１２は、最も真の近傍点（すなわち、シード点と同じ配管セグメントに属する近傍点）を維持しながら、異なるものからの点（すなわち、シード点と同じ配管セグメントに属さない近傍点）を除外する（フィルタリングする）のに有効であることが分かる。図１５には、９０度エルボーを含む例示的な入力パッチが示されており、ＤＳＭ５１２は、エルボーの他方の側（シード点に対して他方の側）の点を外れ値として判定または予測したが、それらは同じ配管システムからのものである。すなわち、ＤＳＭ５１２は、それらの点を同じ配管セグメント（または配管部分）に属さないものとして予測することを成功した。配管パラメータ推定は、シード点と同じ配管セグメントまたは円筒からの複数の点にのみ依存するので、これは予想と一致する。
【0114】
ＤＳＭ５１２は、アブレーションネットワーク（ablation networks)、すなわち、ベースラインネットワーク（baseline network）ＰｏｉｎｔＮｅｔ＋＋およびＮｅｓｔｉＮｅｔとの比較を通じてさらに評価される。２つのアブレーションネットワークは、ネットワーク構造およびパラメータの残りを同一に保ちながら、ＤＳＭ５１２をｋ－ＮＮおよびボールクエリ方法と置き換えることによって作成される。様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２への入力は、ボールクエリによって取得されたパッチ点群であるので、ボールクエリ近傍点選択は、基本的に、入力パッチ内のサブセットをランダムにサンプリングしている。ＰｏｉｎｔＮｅｔ＋＋マルチスケール分類ネットワークモデルが比較のために使用される。ＰｏｉｎｔＮｅｔ＋＋およびＮｅｓｔｉＮｅｔの両方は、現在のＰｉｐｅＮｅｔ４０２と同じ出力を生成するために複製された最終の完全に接続された複数の層を有する。検証に使用される合成データセットは、２ｃｍ～４０ｃｍの寸法を２ｃｍのステップで有する配管およびダクトの２０個のモデルを含む。各モデルにおいて、同じ寸法（配管に関しては直径、ダクトに関しては幅および高さ）の３つの配管および１つのダクトが、３ｃｍの間隔で平行に配置されている。配管およびダクトが壁または天井の近くに設置される実際の環境をシミュレートするために、配管およびダクトの背後にも平面が作成された。「訓練の詳細」の節で上述した手順に従って、各モデルについて３つのスキャンを合成する。図１６は、合成平行データセットに対するアブレーションおよび比較研究に関して、それぞれ４ｃｍおよび３８ｃｍの寸法を有する２つのモデルの定性的結果を示す。図１６では、配管点は濃い黒色であり、ダクト点は濃い灰色であり、平面点は薄い灰色であり、予測された配管中心線点は白色である。本発明の様々な例示的実施形態によるＰｉｐｅＮｅｔ４０２の中心線点予測は、示されている他の方法と比較して、より明瞭であり、外れていないことが分かる。図１７は、合成平行データセット試験の定量的結果を要約する表（表２）を示す。全てのノイズレベルの下で、本発明の様々な例示的な実施形態によるＰｉｐｅＮｅｔ４０２は、一貫してより正確な複数の中心線ノードおよび配管半径を予測することができ、平均して、中心線点予測については１５．５％～３７．６％の改善、半径予測については１５．７％～３２．４％の改善があることを示している。
【0115】
感度分析
スキャンカバレッジ角度およびノイズに対する本方法の感度が評価される。感度分析のために使用される合成データセットは、１ｃｍ～２０ｃｍの半径を１ｃｍのステップで有する独立した複数の直線配管のモデルからなる。点群合成手順は、「訓練の詳細」の節で上述したものと同じままである。実際の配管は、典型的には、壁または天井に隣接して、または限られた空間内に設置され、その結果、スキャンデータの一部が見えなくなることが避けられず、再構築結果に影響を与える可能性があるので、スキャンカバレッジ角度の変動に対するロバスト性が重要であり得る。
スキャンカバレッジ角度およびノイズに対する本方法の感度が評価される。感度分析のために使用される合成データセットは、１ｃｍ～２０ｃｍの半径を１ｃｍのステップで有する独立した複数の直線配管のモデルからなる。点群合成手順は、「訓練の詳細」の節で上述したものと同じままである。実際の配管は、典型的には、壁または天井に隣接して、または限られた空間内に設置され、その結果、スキャンデータの一部が見えなくなることが避けられず、再構築結果に影響を与える可能性があるので、スキャンカバレッジ角度の変動に対するロバスト性が重要であり得る。
【0116】
ＰｉｐｅＮｅｔ予測および再構築の両方の精度が試験される。図１８Ａ～図１８Ｄは、異なるスキャンカバレッジ角度θならびに低ノイズレベルおよび高ノイズレベルの下で合成データに対してＰｉｐｅＮｅｔ４０２によって予測された半径および中心線ノードの誤差のボックスプロットを示す。水平軸は、スキャンカバレッジ角度θを表す。図１８Ａおよび図１８Ｃは、低いσ＝０．５％のノイズレベルに対応し、図１８Ｂおよび図１８Ｄは、高いσ＝２％のノイズレベルに対応する。両方の誤差は、θが６０°から１２０°に増加するにつれて減少し、その後、以下のθの場合にかなり安定したままであることが観察され得る。予想されるように、誤差および誤差分布の両方は、高ノイズの場合に増加する。θが６０°から１２０°の場合、いくつかの外れ値が観察される。複数の外れ値は、θ＝６０°に対して２つの最小半径（１～２ｃｍ）を有する複数の配管、およびθ＝｛９０°，１２０°｝に対して１ｃｍの半径を有する複数の配管からのものである。図１９Ａ～図１９Ｄは、すべてのσおよびθ条件における最終的な再構築された複数の配管モデルの平均絶対半径誤差および平均相対半径誤差、最大中心線端点変位、ならびに中心線角度のプロットを示す。各曲線は、異なるノイズレベルσに対応し、水平軸は、スキャンカバレッジ角度θを表す。角度誤差の単位は度である。誤差は、概して、θが大きくなり、σが小さくなるにつれて小さくなり、θ≧１２０°の条件でかなり低いレベルのままであり、本方法のロバスト性を証明する。しかしながら、様々な例示的な実施形態による本方法は、θ≦１２０°で半径１ｃｍの配管、およびθ＝６０°で半径２ｃｍの配管を再構築することができない場合があることに留意されたい。これに対処するために、２ｃｍ以下の半径を有する小さい配管に対して、様々な例示的な実施形態は、１２０°よりも大きいスキャンカバレッジ角度でそれらをキャプチャして、検出および再構築の成功を確実にする。
【0117】
実際のスキャン検証
データおよび試験の詳細
本方法は、２つの実際のスキャンデータに対して試験される。第１のシーンは、ナンヤン テクノロジカル ユニヴァーシティーの研究所である。この研究所は、備品があり且つスタッフがあちこちで作業する完全に運用可能な研究室である。第２のシーンは、空の倉庫である。試験シーンおよびスキャンデータの基本的な統計情報は、図２０の表３に要約されている。これら試験は、１つのＮＶＩＤＩＡ ＲＴＸ Ａ６０００ ＧＰＵを用いて行われる。ＰｉｐｅＮｅｔ４０２の実装形態では、それぞれ粗いグリッドサイズおよび細かいグリッドサイズを有する２回のシード点サンプリングが採用される。粗いサンプリングの回（または第１のサンプリングの回）におけるグリッドサイズは０．１ｍである。配管として意味論的に予測される複数のシード点の複数のパッチ点のみが保持され、細かいサンプリングの回（または第２のサンプリングの回）において用いられる。すなわち、粗いサンプリングの回では、複数のシード点は、大きなシード点サンプリンググリッドサイズを有する入力された生の点群データからサンプリングされる。次いで、複数の配管点として予測された全てのシード点が、それらの点群パッチ点と共に取得され、細かいサンプリングの回に提供される（すなわち、上述したシード点サンプリングのための「粗い」から「細かい」への方策に対応する）。粗いサンプリングは、潜在的な複数の配管点を分離するための複数の入力点群の高速スクリーニングとして作用し、したがって、総実施時間を大幅に短縮する。細かいサンプリングの回では、０．０２ｍのより小さいグリッドサイズを使用して、潜在的な配管データを詳細に調べ、複数の最終配管点およびそれらの複数の中心線ノードを他の配管パラメータとともに予測する。様々な例示的実施形態において、上述した予測はまた、ＰｉｐｅＮｅｔ４０２を使用して実行される。したがって、様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２は、粗いサンプリングの回（ＰｉｐｅＮｅｔの粗いサンプリングの回と呼称されることがある）において実施され、次いで、その後、細かいサンプリングの回（ＰｉｐｅＮｅｔの細かいサンプリングの回）において実施され得る。細かいサンプリングの回からの結果は、後続のモデル再構築段階で使用される。
データおよび試験の詳細
本方法は、２つの実際のスキャンデータに対して試験される。第１のシーンは、ナンヤン テクノロジカル ユニヴァーシティーの研究所である。この研究所は、備品があり且つスタッフがあちこちで作業する完全に運用可能な研究室である。第２のシーンは、空の倉庫である。試験シーンおよびスキャンデータの基本的な統計情報は、図２０の表３に要約されている。これら試験は、１つのＮＶＩＤＩＡ ＲＴＸ Ａ６０００ ＧＰＵを用いて行われる。ＰｉｐｅＮｅｔ４０２の実装形態では、それぞれ粗いグリッドサイズおよび細かいグリッドサイズを有する２回のシード点サンプリングが採用される。粗いサンプリングの回（または第１のサンプリングの回）におけるグリッドサイズは０．１ｍである。配管として意味論的に予測される複数のシード点の複数のパッチ点のみが保持され、細かいサンプリングの回（または第２のサンプリングの回）において用いられる。すなわち、粗いサンプリングの回では、複数のシード点は、大きなシード点サンプリンググリッドサイズを有する入力された生の点群データからサンプリングされる。次いで、複数の配管点として予測された全てのシード点が、それらの点群パッチ点と共に取得され、細かいサンプリングの回に提供される（すなわち、上述したシード点サンプリングのための「粗い」から「細かい」への方策に対応する）。粗いサンプリングは、潜在的な複数の配管点を分離するための複数の入力点群の高速スクリーニングとして作用し、したがって、総実施時間を大幅に短縮する。細かいサンプリングの回では、０．０２ｍのより小さいグリッドサイズを使用して、潜在的な配管データを詳細に調べ、複数の最終配管点およびそれらの複数の中心線ノードを他の配管パラメータとともに予測する。様々な例示的実施形態において、上述した予測はまた、ＰｉｐｅＮｅｔ４０２を使用して実行される。したがって、様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２は、粗いサンプリングの回（ＰｉｐｅＮｅｔの粗いサンプリングの回と呼称されることがある）において実施され、次いで、その後、細かいサンプリングの回（ＰｉｐｅＮｅｔの細かいサンプリングの回）において実施され得る。細かいサンプリングの回からの結果は、後続のモデル再構築段階で使用される。
【0118】
結果
図２１Ａ～２１Ｄは、研究室についての、点群（内部がよりよく視覚化されるように天井は手動で除去されている）、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測される潜在的な複数の配管点、再構築されたＩＦＣモデル、および潜在的な複数の配管点に重ね合わされたＩＦＣモデルをそれぞれ示す。図２２Ａ～２２Ｃは、倉庫についての、点群（内部がよりよく視覚化されるように天井は手動で除去されている）、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測される潜在的な複数の配管点、および再構築されたＩＦＣモデルをそれぞれ示す。倉庫の面積が大きいので、時間を節約するために色なしでスキャンを行った。例えば、図２１Ａと図２１Ｂとを比較すると、ＰｉｐｅＮｅｔの粗いサンプリングは、複数の構造体オブジェクトおよび備品に属する複数のデータ点の大部分を効果的に除去することが分かる。
図２１Ａ～２１Ｄは、研究室についての、点群（内部がよりよく視覚化されるように天井は手動で除去されている）、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測される潜在的な複数の配管点、再構築されたＩＦＣモデル、および潜在的な複数の配管点に重ね合わされたＩＦＣモデルをそれぞれ示す。図２２Ａ～２２Ｃは、倉庫についての、点群（内部がよりよく視覚化されるように天井は手動で除去されている）、ＰｉｐｅＮｅｔの粗いサンプリング処理によって抽出された予測される潜在的な複数の配管点、および再構築されたＩＦＣモデルをそれぞれ示す。倉庫の面積が大きいので、時間を節約するために色なしでスキャンを行った。例えば、図２１Ａと図２１Ｂとを比較すると、ＰｉｐｅＮｅｔの粗いサンプリングは、複数の構造体オブジェクトおよび備品に属する複数のデータ点の大部分を効果的に除去することが分かる。
【0119】
ＰｉｐｅＮｅｔ４０２およびモデル再構築のそれぞれにかかる処理時間を図２３の表４に示す。様々な例示的な実施形態は、以下の式（１２）～（１４）で定義されるように、再現率、精度、およびＦ１スコアを使用して再構築結果を評価する。両方のシーンの結果を図２４の表５に要約する。研究室シーンでは、１９７個の配管のうちの１８７個が正常に再構築され、１１個の偽陽性が生成される。再現率、精度、およびＦ１スコアは、０．９５、０．９０、および０．９２として計算される。倉庫シーンでは、１７１本の配管のうちの１６０本が正常に再構築され、９個の偽陽性が作成される。再現率、精度、およびＦ１スコアは、０．９４、０．８９、および０．９１として計算される。したがって、本方法は、混雑した大規模なシーンであっても、複数の配管を効率的かつロバストに再構築できることが実証または検証される。例えば、図２５の表６に列挙される既存の研究と比較して、使用される試験データは異なるが、本方法は、３番目に良好な再現率ならびに最良の精度およびＦ１スコアを達成する。特に、表１は、以下の既存の研究を含む：
【0120】
【表1】
【0121】
報告された最良の再現率を有していた上述したＬｅｅらと比較して、本方法の処理時間は、点あたりでとても短縮されており、したがって、著しくより効率的である。
【0122】
【数10】
【0123】
研究室のシーンでは、点群データに重ね合わされた再構築された配管モデルの選択された複数の近接図が図２６Ａ～図２６Ｄに示されており、複数のボックスはエラーを強調表示している。特に、図２６Ａは、点群データに重ね合わせたＩＦＣモデルの拡大図を示し、図２６Ｂは、偽陽性の配管が照明ケーブルで生成されることを示し、図２６Ｃは、偽陽性の配管が電話ブースの湾曲部分で生成されることを示し、図２６Ｄは、欠落した配管を示す。偽陽性の原因には主に２つのタイプがある。第１は、図２６Ｂに示されるように、照明の複数の電気ケーブルがＰｉｐｅＮｅｔ４０２によって配管として誤って分類される場合である。第２のソースは、図１７Ｃに示されるソファーのヘッドレストおよびアームレスト、ならびにオフィスチェアの脚などの、円形に湾曲した形状の部分的な表面を有する家具（備品）である。この誤分類は、ＰｉｐｅＮｅｔ４０２が、制限された半径を有する複数の入力パッチからの複数の物体の限られた視野を有するためである。図２６Ｄは、１２ｃｍの長さの失敗した配管セグメントであって、小さい角度範囲のスキャンを有する失敗した配管セグメントを示し、失敗した配管セグメントは、誤って天井に変化している。このタイプの短い配管セグメントは、その少数の中心線ノードに起因して、中心線候補生成ステップにおいて失敗する傾向がより高くなる。それにもかかわらず、構造モデルが利用可能であれば、複数の構造構成要素をグラフ内の複数の追加ノードとして追加することによって、それを回復することができる。失敗した配管セグメントおよび天井は、補完接合と考えることができ、それらのエッジ重みは、「接続性再構築」の節で上述したのと同じ方法で計算されることができる。
【0124】
倉庫のシーンでは、図２７Ａ～図２７Ｄは、複数の配管点上に重ね合わされたＩＦＣモデルの選択された近接図を示し、複数のボックスはエラーを強調表示する。具体的には、図２７Ａは、潜在的な配管点上に重ね合わされたＩＦＣモデルの拡大図を示し、図２７Ｂおよび図２７Ｃは、失敗した配管セグメントの例を示し、図２７Ｄは、人の四肢上に生成された偽陽性の例を示す。図２７Ｂにおける欠落した配管は、約８ｃｍの短い長さによるものである。倉庫は、備品のない空の空間であるが、ほとんどの配管はサイズが小さく、約１０ｍの高さで天井近くに設置されるので、スキャンおよび再構築の両方について困難である。図２７Ｃに示すように、まばらなスキャン、小さい角度範囲のスキャン、および失敗（欠落）したスキャンが、特に壁付近の複数の配管で頻繁に観察されており、これは、地面に配置されたスキャナからこれらの配管までのレーザー入射角の範囲が限られているためである。偽陽性は、典型的には、図２７Ｄに示されるように、円形またはほぼ円形の断面形状の表面を有するオブジェクト、例えば、スキャンにおいてキャプチャされた階段の手すりおよび人々の四肢において生じる。これらのタイプの偽陽性は、構造モデルが利用可能である場合、生成された配管と構造構成要素との間の相対的位置を分析することによって、フィルタリングされ得る。
【0125】
したがって、本発明の様々な例示的な実施形態は、有利には、点群から複数の配管システムの竣工ＢＩＭモデルを自動的に再構築する方法を提供する。例えば、本方法は、ＸＹＺフィールドを有する点群以外の追加のデータを必要とせず、法線推定などの入力データに対する前処理、またはそれらの方向などの配管の事前知識を必要としない。様々な例示的な実施形態では、本方法は、２つの段階を含んでおり、（ＰｉｐｅＮｅｔ４０２に対応する）第１の段階では、深層学習ネットワークが、入力データから複数の配管点を抽出し、配管中心線点、ならびに各サンプリングされた点の半径および方向付けられていない流れ方向を含む他の配管パラメータを予測するために開発される。特に、ＤＳＭモジュール５１２は、シード点と同じ配管セグメントに属する最適な真の複数の近傍点を選択するように構成されることができ、したがって、複数の配管パラメータを良好に予測するのに役立つものである。第２の段階では、予測された複数の中心線ノードは、領域拡張法およびＲＡＮＳＡＣ線フィッティングを用いた中心線候補生成、反復した線のマージ（iterative line merging）および円フィッティングを用いた中心線精緻化、ならびに最後に、ドメイン知識によって制約されるグラフ理論に基づく接続性再構築を含む、複数のプロセスで、ＩＦＣモデルを出力するようにさらに処理される。
【0126】
上記で詳細に説明したように、本方法は、合成データと実際のスキャンの両方に対して検証される。ＤＳＭモジュール５１２は、配管が非配管オブジェクトとともに互いに近接して配置される合成データに対して、アブレーションモデル（ablation model）、ベースラインモデル（baseline model）、およびＳＯＴＡモデルと比較することによって検証される。結果は、ＤＳＭ５１２が外れ値をフィルタリングするのに有効であること、およびＰｉｐｅＮｅｔ４０２がすべてのノイズ条件において一貫して正確な複数の中心線ノードおよび配管半径を予測することができることを証明する。スキャン角度範囲およびノイズに対する本発明の方法の感度は、合成データについても評価される。結果は、２ｃｍ以下の半径を有する小さい配管を再構成するために、１２０°以上の角度範囲を有するスキャンが好ましいことを示すが、本方法は、概して両方の条件に対してロバスト性を示す。実際のスキャンテストでは、１つのシーンは、複雑な配管システムならびに備品および周囲の人々を有する完全に運用可能な研究室である。他のシーンは、高さ１１ｍの天井と、天井の直下に設置された防火配管システムとを有する空の倉庫である。本方法は、両方のシーンに対して機能することに成功し、合計で０．９４の再現率、０．８９の精度、および０．９２のＦ１スコアを達成し、これは、ほとんどの既存の研究よりも優れている。再構築にはそれぞれ９．５３分および２４．１４分かかり、これは手動モデリングよりも著しく効率的である。
【0127】
様々な例示的な実施形態では、ＰｉｐｅＮｅｔ４０２に入力されるパッチの設計のために、シード点に利用可能な近傍情報は制限される。この制限は、部分的な円形または円形に近い断面表面を有する非配管オブジェクトでの偽陽性の生成を引き起こす場合がある。これに対処するために、様々な例示的な実施形態は、点群データの全体またはより大きなサイズに対して点エンベッター（point embedder）を適用することができる。これは、次いで、各点がより大きい近傍の複数の特徴とともに埋め込まれることを可能にし、したがって、より豊富な情報を複数のシード点に提供するであろう。さらに、様々な例示的な実施形態では、複数の配管は、複数の直線セグメントが支配的であると仮定され得る。この仮定は、配管システムのほとんどに当てはまるが、下水システムにおいて一般的であり得るＵトラップ（trap）またはＳトラップなどのトラップ構成要素では失敗する可能性がある。これに対処するために、様々な例示的な実施形態は、ＢＩＭモデルを潜在的な領域における複数の点群と照合することによって、これらの種類の不規則な複数の構成要素の再構築を実行する。例えば、短い中心線候補は、通常、そのような構成要素の存在を暗示するそれらの構成要素において生成される。
【0128】
本発明の実施形態は、特定の実施形態を参照して具体的に示され、説明されてきたが、添付の特許請求の範囲によって定義される本発明の範囲から逸脱することなく、形態および詳細における様々な変更がその中で行われ得ることが当業者によって理解されるべきである。したがって、本発明の範囲は、添付の特許請求の範囲によって示され、したがって、特許請求の範囲の均等の意味および範囲内にあるすべての変更が包含されることが意図される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18A-18B】
【図18C-18D】
【図19A-19B】
【図19C-19D】
【図20】
【図21A】
【図21B】
【図21C】
【図21D】
【図22】
【図22A】
【図22B】
【図23】
【図24】
【図25】
【図26A】
【図26B】
【図26C】
【図26D】
【図27A】
【図27B】
【図27C】
【図27D】
【手続補正書】
【提出日】2024-07-31
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも１つのプロセッサを使用して配管システムについてのＢＩＭ（building information modeling）を再構築するための方法であって、前記配管システムに関して取得された点群データから、点群パッチについてのシード点に関する前記点群パッチを取得することと、ここで、前記点群パッチは、前記シード点と、前記シード点に関する複数の第１の近傍点とを含んでおり、
前記複数の第１の近傍点の各々について、当該近傍点に関する複数の近傍特徴を当該近傍点に埋め込んで近傍特徴埋め込み点群パッチを形成することと、
前記近傍特徴埋め込み点群パッチの前記複数の第１の近傍点から複数の第２の近傍点を含む点群サブパッチを生成することと、ここで、前記複数の第２の近傍点の各々は、第１の機械学習モデルを使用して、前記シード点と同じ配管セグメントに属すると判定されており、
第２の機械学習モデルを使用して、前記点群サブパッチに基づいて、前記シード点が配管点であるか否かを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する配管中心線点を求めることと、を備える方法。
【請求項2】
前記近傍点に関する前記複数の近傍特徴は、前記近傍点の局所近傍に関して学習された潜在空間特徴である、請求項１に記載の方法。
【請求項3】
前記シード点に関連する前記配管中心線点を求めることは、第３の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する配管半径を求めることと、
第４の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する点法線を求めることと、
前記シード点、求めた前記配管半径、および求めた前記点法線に基づいて、前記シード点に関連する前記配管中心線点を求めることと、を含む、請求項１に記載の方法。
【請求項4】
第５の機械学習モデルを使用して、前記点群サブパッチに基づいて前記シード点に関連する配管の流れ方向を求めることをさらに備える請求項３に記載の方法。
【請求項5】
前記第１の機械学習モデルは、前記複数の第１の近傍点の各々について、当該近傍点が前記シード点と同じ配管セグメントに属するか否かを判定するように訓練された第１の分類モデルであり、前記第２の機械学習モデルは、前記点群サブパッチに基づいて前記シード点が配管点であるか否かを判定するように訓練された第２の分類モデルであり、
前記第３の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記配管半径を求めるように訓練された第１の回帰モデルであり、
前記第４の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記点法線を求めるように訓練された第２の回帰モデルであり、
前記第５の機械学習モデルは、前記点群サブパッチに基づいて前記シード点に関連する前記配管の流れ方向を求めるように訓練された第３の回帰モデルである、請求項４に記載の方法。
【請求項6】
前記シード点に関する前記点群パッチを取得することは、ボールクエリ法またはｋ最近傍（ｋ－ＮＮ）法を使用して、前記点群データから前記シード点に関する前記複数の近傍点を抽出することを含む、請求項１に記載の方法。
【請求項7】
前記点群データからの複数の点群パッチの各々について、前記方法は、前記点群パッチについての前記シード点に関する前記点群パッチを取得することと、
前記複数の第１の近傍点の各々について、当該近傍点に関する前記複数の近傍特徴を当該近傍点に埋め込むことと、
前記点群サブパッチを生成することと、
前記シード点が配管点であるか否かを判定することと、
前記点群サブパッチに基づいて、かつ前記シード点が配管点であると判定したことに基づいて、前記シード点に関連する前記配管中心線点を求めることと、
前記シード点に関連する前記配管の流れ方向を求めることと、を実行し、
前記方法は、
配管点であると判定された前記シード点を含む前記複数の点群パッチの各々について、当該点群パッチについての前記シード点に関連する求めた前記配管中心線点と、当該点群パッチについての前記シード点に関連する求めた前記配管半径と、当該点群パッチについての前記シード点に関連する求めた前記配管の流れ方向と、を含む中心線パラメータセットを生成することをさらに備え、
前記点群パッチに基づいて求められた前記配管半径および求められた前記配管の流れ方向は、前記点群パッチに基づいて求められた配管中心線点に関連付けられる、請求項４に記載の方法。
【請求項8】
前記中心線パラメータセットに基づいて一組の中心線候補を生成することと、前記一組の中心線候補を精緻化して、精緻化された前記一組の中心線候補を取得することと、
精緻化された前記一組の中心線候補に基づいて、前記配管システムについての配管システムモデルを生成することと、をさらに備える請求項７に記載の方法。
【請求項9】
前記一組の中心線候補を生成することは、前記中心線パラメータセット内の各中心線点について、当該中心線点および当該中心線点に関連する前記配管の流れ方向に基づいて、前記中心線パラメータセットを複数の中心線パラメータサブセットに分けること、
前記複数の中心線パラメータサブセットの各々について、当該中心線パラメータサブセットに線フィッティングを適用して、当該中心線パラメータサブセットに関連する中心線候補を生成して、前記一組の中心線候補を取得することと、を含む、請求項８に記載の方法。
【請求項10】
前記一組の中心線候補の各中心線候補は、２つの端点、方向ベクトル、半径、および一組のインライア中心線点に関連付けられる、請求項９に記載の方法。
【請求項11】
前記一組の中心線候補を精緻化することは、複数の共通中心線グループの各々について、前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における最長の中心線候補を、前記共通中心線グループに関連するシード中心線候補として設定し、前記最長の中心線候補を前記共通中心線グループに追加することと、
前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における各中心線候補について、当該中心線候補が前記中心線候補と前記シード中心線候補との間の共通中心線条件を満たすと判定したことに基づいて、当該中心線候補を前記共通中心線グループに追加し、追加された前記中心線候補を前記共通中心線グループに関連する新しいシード中心線候補として設定することと、
前記共通中心線グループにおける設定された各新しいシード中心線候補について、次に、前記複数の共通中心線グループのいずれにもまだ属していない前記一組の中心線候補における各中心線候補について、当該中心線候補が前記中心線候補と前記シード中心線候補との間の前記共通中心線条件を満たすと判定したことに基づいて、当該中心線候補を前記共通中心線グループに追加し、追加された前記中心線候補を前記共通中心線グループに関連する新しいシード中心線候補として設定することと、を含む、請求項１０に記載の方法。
【請求項12】
前記共通中心線条件は、前記中心線候補および前記シード中心線候補にそれぞれ関連する前記複数の方向ベクトルによって形成される角度に基づく第１のサブ条件と、前記中心線候補と前記シード中心線候補との間の距離に基づく第２のサブ条件と、前記中心線候補および前記シード中心線候補にそれぞれ関連する前記複数の半径の間の差に基づく第３のサブ条件と、を含む複数のサブ条件を含む、請求項１１に記載の方法。
【請求項13】
前記一組の中心線候補を精緻化することは、前記複数の共通中心線グループの各々について、当該共通中心線グループに線フィッティングを適用して、当該共通中心線グループに関連する精緻化された中心線候補を形成して、精緻化された前記一組の中心線候補を取得することを更に含む、請求項１１に記載の方法。
【請求項14】
前記一組の中心線候補を精緻化することは、前記複数の共通中心線グループの各々について、前記精緻化された中心線候補の長さに対応する前記点群データの抽出されたセグメントに基づいて円フィッティングを適用することによって、当該共通中心線グループに関連する前記精緻化された中心線候補に関連する半径を求めることを更に含む、請求項１３に記載の方法。
【請求項15】
前記配管システムモデルを生成することは、精緻化された前記一組の中心線候補に基づいて、グラフに基づく中心線接続性再構築を実行することを含み、
前記グラフに基づく中心線接続性再構築を実行することは、
前記精緻化された一組の中心線候補を表す複数のノードを備えるグラフを構築することと、ここで、各ノードは、前記精緻化された一組の中心線候補の対応する精緻化された中心線候補を表し、前記複数のノードのうちの各対のノードは、当該対のノードに割り当てられたエッジ重みを有しており、
前記グラフに基づいて、複数の最小スパニングツリーを含む最小スパニングフォレストを生成することと、
前記最小スパニングフォレストに基づいて、前記精緻化された一組の中心線候補に対して複数の中心線接続を実行することと、を含む、請求項８に記載の方法。
【請求項16】
前記グラフに基づく中心線接続性再構築を実行することは、前記複数のノードのうちの各対のノードについて、当該対のノードに対応する前記精緻化された一組の中心線候補のうちの精緻化された対の中心線候補の間のユークリッド距離、前記精緻化された対の中心線候補の間の潜在的な接続領域におけるスキャンデータ密度、前記精緻化された対の中心線候補の間の方向角度差、および前記精緻化された対の中心線候補の間の半径差に基づいて、当該対のノードに割り当てられる前記エッジ重みを決定すること、をさらに含む、請求項１５に記載の方法。
【請求項17】
配管システムについてのＢＩＭ（ｂｕｉｌｄｉｎｇ ｉｎｆｏｒｍａｔｉｏｎ ｍｏｄｅｌｉｎｇ）を再構築するシステムであって、少なくとも１つのメモリと、
前記少なくとも１つのメモリに通信可能に接続され、請求項１～１６のいずれか一項に記載のＢＩＭを再構築するための方法を実行するように構成された少なくとも１つのプロセッサと、を備えるシステム。
【請求項18】
請求項１～１６のいずれか一項に記載のＢＩＭを再構築するための方法を実行するために少なくとも１つのプロセッサによって実行可能な複数の命令を含む１つまたは複数の非一時的なコンピュータ可読記憶媒体に実装されるコンピュータプログラム製品。
【国際調査報告】