特開 2022-182362 三次元モデル作成支援システム、プログラム及び記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022182362

(43)【公開日】2022-12-08

(54)【発明の名称】三次元モデル作成支援システム、プログラム及び記録媒体

(51)【国際特許分類】

   G06F 30/10 20200101AFI20221201BHJP

   G06F 30/18 20200101ALI20221201BHJP

   G06T 17/00 20060101ALI20221201BHJP

   G06F 113/14 20200101ALN20221201BHJP

【ＦＩ】

G06F30/10 200

G06F30/18

G06T17/00

G06F113:14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021089879

(22)【出願日】2021-05-28

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】堀 嘉成

(72)【発明者】

【氏名】高橋 志郎

(72)【発明者】

【氏名】小野 幸彦

【テーマコード（参考）】

5B080

5B146

【Ｆターム（参考）】

5B080AA00

5B080FA00

5B146AA03

5B146DL04

5B146DL08

5B146EA02

5B146EA03

5B146EC04

(57)【要約】

【課題】ユーザの作業を軽減し、属性付き三次元モデルを効率よく作成する。
【解決手段】アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する部分アセットＣＡＤモデル作成装置と、部分アセットＣＡＤモデルとアセットの三次元画像とのパターンマッチングにより部分アセットＣＡＤモデルの位置を特定し、部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する三次元パターンマッチング装置と、を含む三次元モデル作成支援システムを用いる。
【選択図】図１

【特許請求の範囲】

【請求項1】

アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する部分アセットＣＡＤモデル作成装置と、
前記部分アセットＣＡＤモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットＣＡＤモデルの位置を特定し、前記部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する三次元パターンマッチング装置と、を含む、三次元モデル作成支援システム。

【請求項2】

前記属性データと前記アセットの部位の管理番号とを有する属性データベースを更に含み、
前記部分アセットＣＡＤモデル作成装置は、前記斜視図に表示されている管理番号を取得し、前記属性データベースから前記部位の前記管理番号に関連付けられている前記属性データを取得し、前記部分アセットＣＡＤモデルに付加する、請求項１記載の三次元モデル作成支援システム。

【請求項3】

前記部分アセットＣＡＤモデル作成装置は、前記斜視図に表示されている寸法線から寸法を取得し、前記寸法に従い前記部分アセットＣＡＤモデルを作成する、請求項１記載の三次元モデル作成支援システム。

【請求項4】

前記三次元パターンマッチング装置は、前記部分アセットＣＡＤモデルの仮想外径を設定し、前記仮想外径を有する前記部分アセットＣＡＤモデルの内部に包含される点群の数が最大となる位置を特定し、特定された前記位置に前記部分アセットＣＡＤモデルを配置する、請求項１記載の三次元モデル作成支援システム。

【請求項5】

前記三次元パターンマッチング装置は、前記部分アセットＣＡＤモデルの所定の部位の仮想的な断面寸法を設定し、前記断面寸法を有する前記部分アセットＣＡＤモデルを領域分割し、領域分割された前記断面寸法を有する前記部分アセットＣＡＤモデルの内部に包含される点群の数が最大となる位置を特定し、特定された前記位置に前記部分アセットＣＡＤモデルを配置する、請求項１記載の三次元モデル作成支援システム。

【請求項6】

前記三次元パターンマッチング装置は、前記部分アセットＣＡＤモデルの所定の部位の仮想的な断面寸法を設定し、前記断面寸法を有する前記部分アセットＣＡＤモデルの断面の輪郭と点群との距離についての誤差が最小となる位置を特定し、特定された前記位置に前記部分アセットＣＡＤモデルを配置する、請求項１記載の三次元モデル作成支援システム。

【請求項7】

配管と、バルブ及び機器のうちの少なくともいずれか一つとを備えたアセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する部分アセットＣＡＤモデル作成装置と、
前記アセットの二次元画像又は三次元画像のデータから前記バルブ及び前記機器の位置情報を取得するバルブ／機器認識装置と、
前記部分アセットＣＡＤモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットＣＡＤモデルの位置を特定し、前記部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する三次元パターンマッチング装置と、を含み、
前記三次元パターンマッチング装置は、前記バルブ／機器認識装置により取得された前記バルブ及び前記機器の前記位置情報と、前記部分アセットＣＡＤモデルから取得された前記バルブ及び前記機器の相対位置情報から前記パターンマッチングの範囲を限定する、三次元モデル作成支援システム。

【請求項8】

コンピュータに、
アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する手順と、
前記部分アセットＣＡＤモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットＣＡＤモデルの位置を特定し、前記部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する手順と、を実行させるためのプログラム。

【請求項9】

コンピュータに、
アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する手順と、
前記部分アセットＣＡＤモデルと前記アセットの三次元画像とのパターンマッチングにより前記部分アセットＣＡＤモデルの位置を特定し、前記部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する手順と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元モデル作成支援システム、プログラム及び記録媒体に関する。

【背景技術】

【0002】

近年、発電プラントや化学プラントでは、３Ｄ－ＣＡＤ（Ｔｈｒｅｅ－Ｄｉｍｅｎｓｉｏｎ Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ Ｄｅｓｉｇｎ）を利用して資産を管理している。

【0003】

一方、これらのプラントには、建設時期が古く、３Ｄ－ＣＡＤモデルがなく、資産管理を紙のドキュメントで実施しているものもある。

【0004】

そこで、近年、レーザ計測により三次元の点群データを取得し、そのデータを用いてプラントの３Ｄモデルを作成するサービスが一般化してきた。なお、以下では、三次元を「３Ｄ」、二次元を「２Ｄ」と呼ぶ場合がある。

【0005】

現在のレーザ計測装置では、高精度な三次元点群データの取得が可能である。また、座標データの取得と同時に、カメラによる色情報の取得が可能な装置も開発されている。したがって、色付きの三次元点群データが表示可能である。このため、人間の目によって配管、機器などを容易に識別することができるようになっている。

【0006】

ただし、それらの点群データは、属性を持つ３Ｄモデルではない。このため、機器や配管のタグ情報を利用した資産管理に利用するためには、それらの点群データを属性付きの３Ｄモデルに変換する必要がある。

【0007】

このような３Ｄモデルへの変換作業は、点群データを画面に表示させながら、オペレータが手作業で３Ｄモデルに変換していく方法が一般的である。このため、変換には非常に多くの労力が必要である。

【0008】

一方、近年では、ソフトウェアにより点群データから配管などの形状を認識し、属性を持たない３Ｄモデルに変換する技術がある。また、属性を持たない３Ｄモデルに自動的に属性を付与する技術が開発されている。

【0009】

例えば、特許文献１には、プラント用機器間の論理的な接続関係である論理接続データの端点接続情報と、三次元空間上の図形形状情報である幾何形状データの端点接続情報とを比較して、端点接続情報が一致した論理接続データと幾何形状データとを対応付けた対応関係データで構成される論理接続・幾何形状対応テーブルを自動生成する、レイアウト設計支援装置が開示されている。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特許第４９４０２６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

点群データから３Ｄモデルに変換する従来技術においては、配管、鋼材などの比較的単純な形状のみが対象である。

【0012】

また、特許文献１においては、バルブなどの機器のすべてについて、３Ｄモデルへの変換の対象とすることは困難である。また、配管についても、全ての配管を正確に３Ｄモデルに変換することは難しく、作成された配管モデルの補正や、自動作成できなかった配管モデルの追加作成が必要である。

【0013】

本発明の目的は、ユーザの作業を軽減し、属性付き三次元モデルを効率よく作成することにある。

【課題を解決するための手段】

【0014】

本発明の三次元モデル作成支援システムは、アセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する部分アセットＣＡＤモデル作成装置と、部分アセットＣＡＤモデルとアセットの三次元画像とのパターンマッチングにより部分アセットＣＡＤモデルの位置を特定し、部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する三次元パターンマッチング装置と、を含む。

【発明の効果】

【0015】

本発明によれば、ユーザの作業を軽減し、属性付き三次元モデルを効率よく作成することができる。

【図面の簡単な説明】

【0016】

【図1】実施例１の三次元モデル作成支援システムの例を示す構成図である。

【図2】プラントの配管の例を示すアイソメ図である。

【図3】配管モデル及びバルブモデルの作成方法を示すフロー図である。

【図4】抽出された配管の線分の例を示す図である。

【図5】部分アセットＣＡＤモデルを示す斜視図である。

【図6】配管に関する属性データベースの一例を示す表である。

【図7】アセット全体の三次元の画像データの一例を示す図である。

【図8】３Ｄパターンマッチングの方法を示すフロー図である。

【図9】仮想外径を設定した部分配管モデルの一例を示す斜視図である。

【図10】属性付きアセットＣＡＤモデルの例を示す斜視図である。

【図11】実施例２の三次元モデル作成支援システムの例を示す構成図である。

【図12】複数の２Ｄ画像から３Ｄ画像を作成する例を示す図である。

【図13】バルブとして認識された３Ｄ画像を示す斜視図である。

【図14】バルブ及び機器を配置した結果を示す斜視図である。

【図15】配管の接続先の情報が付加された例を示すアイソメ図である。

【図16】配管モデルの断面形状に対応する点群を示す図である。

【発明を実施するための形態】

【0017】

本開示の望ましい実施形態について説明する。

【0018】

三次元モデル作成支援システムにおいては、属性データとアセットの部位の管理番号とを有する属性データベースを更に含むことが望ましい。そして、部分アセットＣＡＤモデル作成装置は、斜視図に表示されている管理番号を取得し、属性データベースから部位の管理番号に関連付けられている属性データを取得し、部分アセットＣＡＤモデルに付加することが望ましい。

【0019】

部分アセットＣＡＤモデル作成装置は、斜視図に表示されている寸法線から寸法を取得し、寸法に従い部分アセットＣＡＤモデルを作成することが望ましい。

【0020】

三次元パターンマッチング装置は、部分アセットＣＡＤモデルの仮想外径を設定し、仮想外径を有する部分アセットＣＡＤモデルの内部に包含される点群の数が最大となる位置を特定し、特定された位置に部分アセットＣＡＤモデルを配置することが望ましい。

【0021】

三次元パターンマッチング装置は、部分アセットＣＡＤモデルの所定の部位の仮想的な断面寸法を設定し、断面寸法を有する部分アセットＣＡＤモデルを領域分割し、領域分割された断面寸法を有する部分アセットＣＡＤモデルの内部に包含される点群の数が最大となる位置を特定し、特定された位置に部分アセットＣＡＤモデルを配置することが望ましい。

【0022】

三次元パターンマッチング装置は、部分アセットＣＡＤモデルの所定の部位の仮想的な断面寸法を設定し、断面寸法を有する部分アセットＣＡＤモデルの断面の輪郭と点群との距離についての誤差が最小となる位置を特定し、特定された位置に部分アセットＣＡＤモデルを配置することが望ましい。

【0023】

三次元モデル作成支援システムは、配管と、バルブ及び機器のうちの少なくともいずれか一つとを備えたアセットの一部を示す斜視図のデータを用いて属性データを有する部分アセットＣＡＤモデルを作成する部分アセットＣＡＤモデル作成装置と、アセットの二次元画像又は三次元画像のデータからバルブ及び機器の位置情報を取得するバルブ／機器認識装置と、部分アセットＣＡＤモデルとアセットの三次元画像とのパターンマッチングにより部分アセットＣＡＤモデルの位置を特定し、部分アセットＣＡＤモデルを三次元空間上に配置することにより、属性付きアセットＣＡＤモデルを作成する三次元パターンマッチング装置と、を含むものであってもよい。そして、三次元パターンマッチング装置は、バルブ／機器認識装置により取得されたバルブ及び機器の位置情報と、部分アセットＣＡＤモデルから取得されたバルブ及び機器の相対位置情報からパターンマッチングの範囲を限定する。

【0024】

以下、実施例について図面を用いて説明する。

【実施例0025】

図１は、実施例１の三次元モデル作成支援システムの例を示す構成図である。

【0026】

本図に示すように、三次元モデル作成支援システムは、部分アセットＣＡＤモデル作成装置２と、３Ｄアセットパターンマッチング装置６（三次元パターンマッチング装置）と、を含む。アセットアイソメ図データ１は、部分アセットＣＡＤモデル作成装置２で所定の処理に用いられる。部分アセットＣＡＤモデル３は、部分アセットＣＡＤモデル作成装置２で作成され、３Ｄアセットパターンマッチング装置６で所定の処理に用いられる。３Ｄアセットパターンマッチング装置６は、部分アセットＣＡＤモデル３及び３Ｄ画像データ５（三次元画像データ）を用いて、属性付きアセットＣＡＤモデル７を作成する。属性付きアセットＣＡＤモデル７は、属性データベース４と連携している。

【0027】

なお、以下では、画像データを単に「画像」と表記する場合がある。また、「認識」とは、二次元又は三次元の点、線、図形等の数値データを用いて、配管、バルブ、機器等を判別することをいう。

【0028】

三次元モデル作成支援システムを構成する上記の装置は、すべてが１台のコンピュータ装置に内蔵されていてもよいし、それぞれの装置が別々のコンピュータ装置に内蔵されていてもよい。上記のそれぞれの処理は、コンピュータ装置に内蔵されている１つ又は２つ以上のメモリ等の記録媒体に記録されたプログラムを、コンピュータ装置に内蔵されている１つ又は２つ以上の中央演算ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で演算処理することにより実施する。また、当該プログラムは、コンピュータ装置に着脱自在なメモリスティック等の記録媒体に記録されたものであってもよい。当該プログラムは、コンピュータ装置に所定の処理を実行させるためのものである。当該記録媒体は、当該プログラムを記録したコンピュータ読み取り可能なものである。

【0029】

アセットアイソメ図データ１は、コンピュータ装置に内蔵されている１つ又は２つ以上のメモリ等の記録媒体に入力され、記録される。アセットアイソメ図データ１から所定の処理によって作成される部分アセットＣＡＤモデル３、最終的に作成される属性付きアセットＣＡＤモデル７等は、コンピュータ装置に内蔵されている１つ又は２つ以上のメモリ等の記録媒体に記録される。なお、記録媒体への入力は、インターネット等の通信手段を介して行ってもよい。

【0030】

アセットアイソメ図データ１は、アセットのアイソメトリック図のデータであり、アセットを斜め上方から見て、三次元的に表現した図を表示可能なデータである。以下では、アイソメトリック図を「アイソメ図」と略称する。アイソメ図は、等角投影図であってもよい。また、アイソメ図は、「斜視図」と総称してもよい。

【0031】

部分アセットＣＡＤモデル作成装置２は、アセットアイソメ図データ１に含まれるアセットから３Ｄモデルを作成する。通常、配管モデルのようにアセットの一部のみが記録されているため、部分アセットのＣＡＤ化となる。ＣＡＤ化の詳細な方法については後述する。また、アセットアイソメ図データ１には、通常、対象部位の管理番号も含まれるため、ＣＡＤ化したモデルに管理番号を付与することができる。配管の例では、配管番号が管理番号として付与されている。

【0032】

部分アセットＣＡＤモデル３は、部分アセットＣＡＤモデル作成装置２で作成されたモデルである。配管の例では、ある配管番号を持つ一つながりの配管の３Ｄ－ＣＡＤモデルである。また、部分アセットＣＡＤモデル３には、属性データとして、配管番号が付与されている。

【0033】

属性データベース４には、アセットの各部位の属性データが部位の管理番号とともに記録されている。配管の場合は、管理番号として配管番号があり、配管番号に紐づいて配管の外径、肉厚、材質などの属性情報（属性データ）が記録されている。したがって、配管番号を有する３Ｄ－ＣＡＤモデルは、属性データベース４と連携することで、関連する全ての属性を取得することができる。

【0034】

３Ｄ画像データ５は、アセット全体の三次元の画像データである。例えば、ドローンから撮影した複数枚の画像から作成することができる。

【0035】

３Ｄアセットパターンマッチング装置６は、部分アセットＣＡＤモデル３と３Ｄ画像データ５とをマッチングさせ、３Ｄ画像データ５が描画さている三次元空間上に部分アセットＣＡＤモデル３を配置する。部分アセットＣＡＤモデル３の位置情報は、通常不明であるため、３Ｄ画像と形状が一致する場所に配置する。

【0036】

属性付きアセットＣＡＤモデル７は、全ての部分アセットＣＡＤモデル３が配置されることで作成される。部分アセットＣＡＤモデル３には、属性として部分アセットの管理番号が付与されているため、その集合体である属性付きアセットＣＡＤモデル７の全てにも管理番号が付与される。したがって、属性データベース４と連携することで、その他の属性データを含む属性付きアセットモデルとなる。

【0037】

以下に、プラントの例を本実施例の詳細について説明する。

【0038】

図２は、プラントの配管の例を示すアイソメ図である。

【0039】

本図においては、図１のアセットアイソメ図データ１から作成したものを示している。プラントのアイソメ図は、配管の施工に利用することが多いため、一般に、一つながりの配管を抽出して図面化されたものである。

【0040】

なお、説明のために図中に示すｘ軸、ｙ軸及びｚ軸により方向を定義する。アイソメ図の構成は、最も基本的な描画方法としている。すなわち、鉛直方向のｚ軸は、図中の上方に向かうものとし、ｘ軸、ｙ軸はそれぞれ、図中の水平方向を基準として３０度傾けた方向とし、両者のなす角は１２０度としている。

【0041】

配管の大半は、ｘ軸、ｙ軸またはｚ軸に沿って配置される。配管の曲げ部は、正確には曲げ管であるが、本実施例では、曲げ管部分を模式的に直角の配管で描画するものとしている。配管の途中にバルブがある場合は、アイソメ図にも表示される。また、直管部分の長さや、分岐配管までの長さ、端部からバルブまでの位置など、施工に必要な寸法は、寸法線で表示されている。寸法線の両端は矢印であり、寸法線の引き出し線は線分である。ただし、配管と区別ができるように線分の太さが配管とは異なる。また、配管には、配管番号が表示されている。

【0042】

図２においては、右端の配管に表示された「ＰＡＳ－０１－３００」が配管番号である。なお、アイソメ図は、近年では、ＣＡＤソフトウェアで作成されることが多いが、ここでは、紙で作成されるものを対象とした。

【0043】

部分アセットＣＡＤモデル作成装置２では、アイソメ図から三次元のＣＡＤモデルである部分アセットＣＡＤモデル３を作成する。

【0044】

本実施例では、モデルの対象が配管及びバルブであるため、以下のステップに従い、配管モデルを作成し、次にバルブモデルを作成した。

【0045】

図３は、配管モデル及びバルブモデルの作成方法を示すフロー図である。

【0046】

本図に示すように、図２に示すアイソメ図を画像認識によりデータ化し、線分の太さが配管と同じものだけを抽出する（ステップＳ２１）。

【0047】

図４は、ステップＳ２１の結果の一例であって、抽出された配管の線分のみを示したものである。

【0048】

次に、端点を１つ選択し（図４においては符号Ａ）、その座標を（０，０，０）とし、抽出された線分の図面上の傾き及び長さからその他の点（図４においては符号Ｂ、Ｃ、Ｄ、Ｅ及びＦで示されている。）の座標を決定する（ステップＳ２２）。

【0049】

例えば、線分ＡＢは、紙面の水平右向きを０度とした場合、点Ｂは、点Ａから２１０度の向きにあり、長さが５８ｍｍである。２１０度の向きは、三次元座標でｘ軸負方向であるため、Ｂの座標は（－５８，０，０）となる。

【0050】

次に、線分ＢＣは、紙面上で１５０度の傾きで、長さが３０ｍｍである。線分ＢＣは、三次元座標でｙ軸正方向であるため、点Ｃの座標は（－５８，３０，０）となる。同様にして、点Ｄ、Ｅ及びＦの座標を求めることができる。ただし、長さは紙面上の長さであり、実際の長さとは異なる。実際の長さと紙面上の長さとの比は一定であるため、座標を一定比率で変換すれば実際の長さとなる。本実施例では、実際の長さは紙面上の長さの１００倍であるため、実際の座標をＡ（０，０，０）とすると、Ｂ（－５８００，０，０）のようになる。

【0051】

次に、作成する配管の外径を求める（ステップＳ２３）。外径は、アイソメ図の配管に沿って表示されている配管番号をＯＣＲ技術により読み取り、対応する外径を求める。本実施例では、配管番号の末尾が外径を表す。図２の例では、配管番号「ＰＡＳ－０１－３００」の３００が外径を表す。ただし、これは、呼び径が３００Ａであるとの意味であるため、実際の外径は、３１８．５ｍｍである。

【0052】

次に、ステップＳ２２で求めた座標と、ステップＳ２３で求めた外径とから配管モデルを作成する（ステップＳ２４）。この情報を用いれば、一般的な３Ｄ－ＣＡＤシステムのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を使って配管の３Ｄ－ＣＡＤモデルを作成することができる。

【0053】

最後に、作成した配管モデルにバルブモデルを配置する（ステップＳ２５）。ステップＳ２２で配管の端点を求めた方法と同様にして、バルブの位置座標を特定することができる。バルブの位置が分かれば、ＣＡＤソフトウェアのＡＰＩを活用して、バルブモデルを配置することができる。

【0054】

なお、バルブモデルは、バルブの種類によって異なる。本実施例では、アイソメ図に表示されたバルブ番号の型式からバルブモデルを選択した。図２の例ではＶＧがゲートバルブを表すため、ゲートバルブのモデルを配置する。

【0055】

以上のように、図３に示す方法により図１の部分アセットＣＡＤモデル３を作成することができる。

【0056】

図５は、本実施例で作成した部分アセットＣＡＤモデルを示す斜視図である。

【0057】

なお、上記の例においては、配管の寸法が配管を表す線分の長さとしたが、アイソメ図によっては、見やすさを優先し、実際の寸法とは異なる長さの線分で描画し、寸法値に正しい寸法を表記する場合がある。したがって、各線分の長さを読み取るのではなく、ＯＣＲ機能により寸法値を読み取り、座標値に変換してもよい。

【0058】

次に、図１の属性データベース４について説明する。

【0059】

属性データベース４においては、アセットの各部位の属性データが部位の管理番号とともに記録されている。

【0060】

図６は、配管に関する属性データベース４の一例を示したものである。

【0061】

本図においては、配管番号をインデックスとして、配管の外径、肉厚、材質などの属性情報のデータが表にまとめて表示されている。

【0062】

３Ｄ画像データ５（図１）は、アセット全体の三次元の画像データである。本実施例では、ドローンで撮影した複数枚の画像から３Ｄ画像データ５を作成した。

【0063】

図７は、３Ｄ画像データ５の一例を示したものである。

【0064】

本図に示すように、配管１１の他、タンク１２ａ、ポンプ１２ｂ及びバルブ１３の点群データがある。

【0065】

３Ｄアセットパターンマッチング装置６においては、部分アセットＣＡＤモデル３と３Ｄ画像データ５とをマッチングさせ、３Ｄ画像データ５が描画されている三次元空間上に部分アセットＣＡＤモデル３を配置する。部分アセットＣＡＤモデル３の位置情報は、通常不明であるため、次の方法で３Ｄ画像と形状が一致する場所に配置する。

【0066】

図８は、３Ｄパターンマッチングの方法を示すフロー図である。

【0067】

作成した部分配管モデルの中心線に対して、外径の定数倍の仮想外径を設定する（ステップＳ６１）。

【0068】

図９は、仮想外径を設定した部分配管モデルの一例を示したものである。

【0069】

本図においては、外径の１．５倍の仮想外径を設定している。部分配管モデルは、直管中心線７１の周囲に、仮想外径を有する配管７５が配置されたものである。

【0070】

ここで、中心線とは、３Ｄ画像の配管の断面の中心を結んだ線をいう。中心線は、配管の途中に設置されているバルブで切断されず、配管の端点である機器から別の端点の機器までを結ぶ線分である。なお、複数の線分が接続されたものを「折れ線」という。

【0071】

仮想外径を有する配管モデルを図７の３Ｄ画像上に配置し、仮想外径に含まれる点群の数をカウントする（ステップＳ６２）。なお、外径を持った配管モデルの向きはアイソメ図を参考に、３Ｄ画像上の向きと合わせて配置する。

【0072】

仮想外径を有する配管モデルを平行移動し、仮想外径に含まれる点群の数をカウントする（ステップＳ６３）。

【0073】

対象となる空間を網羅的に探索し、点群の数が最も多い位置に配管モデルを配置する（ステップＳ６４）。

【0074】

点群の数が最も多くなる位置が複数個所ある場合、配管の仮想外径を所定の値ΔＤだけ小さくし、対象となった複数個所で点群の数を比較し、点群の数が最も多い位置を特定する（ステップＳ６５）。

【0075】

仮想外径が外径と等しくなるまでステップＳ６５を繰り返す（ステップＳ６６）。特定できなかった場合は、複数候補のいずれかに配置する。

【0076】

部分配管モデルが正しい位置にあれば、仮想外径のモデル内に点群化されたデータが全て入るため、点群の数が最大となる。

【0077】

なお、ここでは、仮想外径を持った円柱形の領域で点群をカウントしたが、断面を正方形とし、正方形の一辺の長さが配管の外径の定数倍となる直方体としてもよい。さらに、領域内の点群の数をカウントするのではなく、当該円柱または直方体を長手方向にＮ分割し、各分割した領域に点群があるかないかを判定する方法でもよい。言い換えると、部分配管モデル等の部分アセットＣＡＤモデルの所定の部位の仮想的な断面寸法（例えば、断面形状を正方形とした場合は、正方形の一辺の長さが配管の外径の定数倍となる直方体を仮定し、その一片の長さを仮想的な断面の代表寸法（すなわち仮想的な断面寸法）とする。）を設定し、断面寸法を有する部分アセットＣＡＤモデルを領域分割し、領域分割された断面寸法を有する部分アセットＣＡＤモデルの内部に包含される点群の数が最大となる位置を特定し、特定された当該位置に部分アセットＣＡＤモデルを配置する。

【0078】

以上のステップを全ての部分アセットモデルについて繰り返すことにより、属性付きアセットＣＡＤモデル７を作成することができる。

【0079】

図１０は、本実施例で作成した属性付きアセットＣＡＤモデル７の例を示す斜視図である。

【0080】

以上のように、本実施例では、アイソメ図を活用することで、属性付きアセットＣＡＤモデル７を作成できた。これは、配管を支える配管サポートなどの構造物を除いたプラントの主要なモデルであり、従来の手作業によるモデル作成に比べて、効率よく３Ｄモデルが作成できる。

【実施例0081】

実施例２は、対象アセットが配管、バルブ、機器等で構成されるプラント設備の場合である。

【0082】

図１１は、本実施例の三次元モデル作成支援システムの例を示す構成図である。

【0083】

本図においては、三次元モデル作成支援システムは、部分プラントＣＡＤモデル作成装置２２と、バルブ／機器認識装置２６と、３Ｄパターンマッチング装置２７と、を含む。

【0084】

配管アイソメ図データ２１（配管斜視図データ）は、部分プラントＣＡＤモデル作成装置２２で所定の処理に用いられる。部分プラントＣＡＤモデル２３は、部分プラントＣＡＤモデル作成装置２２で作成され、３Ｄパターンマッチング装置２７で所定の処理に用いられる。２Ｄ／３Ｄ画像データ２５（二次元／三次元画像データ）は、バルブ／機器認識装置２６で所定の処理に用いられる。３Ｄパターンマッチング装置２７は、部分プラントＣＡＤモデル２３と、２Ｄ／３Ｄ画像データ２５を用いてバルブ／機器認識装置２６で処理されたデータとを用いて、属性付きプラントＣＡＤモデル２８を作成する。属性付きプラントＣＡＤモデル２８は、属性データベース２４と連携している。

【0085】

なお、実施例１においても、プラント設備を例としているため、実施例２は、実施例１と共通する部分が多い。異なる点は、２Ｄ／３Ｄ画像データ２５、バルブ／機器認識装置２６及び３Ｄパターンマッチング装置２７である。以下では、これらについて更に説明する。

【0086】

２Ｄ／３Ｄ画像データ２５は、同じ部位を複数の角度から撮影した２Ｄ画像のデータと、それをもとに作成した３Ｄ画像のデータと、を含む。これらは、データベース等の記録媒体に保存されている。ここで、３Ｄ画像の各点のデータとともに、それらを作成する際に使用した２Ｄ画像のデータの対応関係も保存されている。なお、２Ｄ画像データは、画像ファイル名と、その画像ファイル上の二次元座標の形式とを含む。

【0087】

図１２は、複数の２Ｄ画像から３Ｄ画像を作成する例を示したものである。

【0088】

本図においては、Ｎ枚の２Ｄ画像から３Ｄ画像を作成している。

【0089】

バルブ／機器認識装置２６は、プラントの２Ｄ画像または３Ｄ画像からバルブ及び機器を認識し、認識したバルブ及び機器の位置情報を取得する。本実施例では、２Ｄ画像を用いてバルブを認識した。

【0090】

以下に、具体的な手順を示す。

【0091】

利用した２Ｄ画像からバルブ及び機器を認識する（ステップＳ２５１）。画像の物体を認識する方法には、広く利用されている深層学習を利用した。事前にバルブ及び機器の画像を学習させることで、全ての２Ｄ画像からバルブ及び機器の画像を特定することができる。

【0092】

２Ｄ／３Ｄ画像データ２５に保存されている３Ｄ画像と２Ｄ画像の対応関係を利用し、２Ｄ画像上で特定したバルブおよび機器の画像に対応する３Ｄ画像を特定する（ステップＳ２５２）。

【0093】

なお、あるバルブの３Ｄ画像に対応する２Ｄ画像は、複数の画像ファイルにまたがっている。そして、３Ｄ画像の点と２Ｄ画像の点が１対１に対応しているわけではない。したがって、ある２Ｄ画像データにおいて認識されたバルブ画像のうち、３Ｄ画像に対応している画素は、一部に限定される。しかしながら、３Ｄ画像の作成に利用したすべての２Ｄ画像でバルブおよび機器を認識し、対応する３Ｄ画像を特定することで、３Ｄ画像中のバルブの３Ｄ画像を特定できる。なお、対応する３Ｄ画像を見つける方法としては、全ての３Ｄ画像の点について、対応する２Ｄ画像がステップＳ２５１で特定された領域に入っているか否かを判定する方法でもよい。

【0094】

３Ｄ画像上で特定されたバルブおよび機器の座標データからバルブおよび機器の位置情報を求める（ステップＳ２５３）。

【0095】

図１３は、バルブとして認識された３Ｄ画像を示す斜視図である。

【0096】

本図においては、バルブを包含する部位を破線の直方体１１０で示している。機器についても同様に直方体で示すようにしてもよい。

【0097】

なお、３Ｄ画像には複数のバルブおよび機器が含まれるため、ステップＳ２５２で特定された３Ｄ画像を個別のバルブ及び機器に分離する必要がある。本実施例では、特定された点群の間隔が閾値以内で連続しているものを１つのバルブまたは機器として分離した。

【0098】

また、本処理により作成した直方体の体積があらかじめ定めた閾値よりも小さいものは、バルブおよび機器の位置情報からは除外した。この処理により、ステップＳ２５２でバルブまたは機器と誤認識したデータを削除することができる。

【0099】

以上の方法により、バルブ及び機器の三次元上での位置情報が取得できる。

【0100】

なお、本実施例では、２Ｄ画像を利用してバルブおよび機器を認識したが、３Ｄ画像のみを利用してこれらを認識してもよい。すなわち、３Ｄ画像を様々な位置を視点とした複数の２Ｄ画像を活用してステップＳ２５２の処理を実施してもよい。また、教師データとして、バルブ及び機器の３Ｄデータが十分にある場合は、三次元の形状認識によりバルブ及び機器を特定してもよい、
次に、３Ｄパターンマッチング装置２７について説明する。

【0101】

３Ｄパターンマッチング装置２７では、バルブ／機器認識装置２６で求めたバルブ及び機器の位置情報を用いて、部分プラントＣＡＤモデル２３が３Ｄ画像上のどの位置に対応するかを判定する。バルブ及び機器の位置情報を用いることで、探索範囲を大幅に短縮することができる。

【0102】

具体的な処理手順を以下に示す。なお、配管アイソメ図データ２１としては、図２を用い、部分プラントＣＡＤモデル２３としては、図５を用いる。

【0103】

まず、バルブ／機器認識装置２６により求めたバルブ及び機器の位置情報を３Ｄ画像上に配置する（ステップＳ２６１）。

【0104】

図１４は、バルブ及び機器を配置した結果を示す斜視図である。

【0105】

本図においては、タンク１２１、バルブ１２２、１２３、１２４、１２５及びポンプ１２６、１２７の位置情報が表示されている。

【0106】

次に、部分プラントＣＡＤモデル２３より取得可能なバルブ及び機器の相対位置を求める（ステップＳ２６２）。図２の例では、２つのバルブＶＧ－０１－５０及びＶＧ－０２－５０の配置位置（配管中心線上の点）について、ＶＧ－０１－５０を基準点（０，０，０）とした場合、ＶＧ－０２－５０は（０，２４００，０）となる。

【0107】

ここでは、ステップＳ２６１で求めたバルブ及び機器の位置情報と、ステップＳ２６２で求めたバルブ及び機器の相対位置情報とを用いて、部分プラントモデルのパターンマッチングの探索範囲を絞り込む（ステップＳ２６３）。言い換えると、パターンマッチングの範囲を限定する。

【0108】

本例では、図１４に示すように、バルブが配置される可能性がある領域は、バルブ１２２、１２３、１２４、１２５の領域である。また、ステップＳ２６２より、２つのバルブの相対位置がｙ軸方向に２４００ｍｍ離れている必要がある。したがって、Ｖ１の座標（Ｘ１，Ｙ１，Ｚ１）をバルブ１２２、１２３、１２４、１２５の全領域で変化させ、（Ｘ１，Ｙ１＋２４００，Ｚ）がバルブ１２２、１２３、１２４、１２５の領域に含まれる条件のみが探索の範囲となる。

【0109】

ステップＳ２６３で求めた探索範囲に限定し、実施例１で利用したマッチング方法と同様に、図９に示す仮想外径を設定し、仮想外径を有する配管７５の内部に包含される点群の数が最大となる位置を特定する（ステップＳ２６４）。

【0110】

なお、次の場合には、更に探索範囲を絞り込むことが可能である。

【0111】

図１５は、図２のアイソメ図に配管の接続先の情報が付加されている例を示したものである。

【0112】

図１５に示すように、配管の接続先に機器情報がある場合は、ステップＳ２６２でバルブ及び機器の相対位置情報も取得できるため、ステップＳ２６３で更に探索範囲を絞り込むことが可能である。

【0113】

なお、実施例１及び実施例２においては、パターンマッチングの方法として、図９に示す仮想外径を用いる方法を示しているが、これとは異なる方法もあり得る。

【0114】

図１６は、配管モデルの断面形状に対応する点群を示したものである。

【0115】

本図に示すように、配管モデルの断面の輪郭１４０と点群１４１との距離について統計的手法により誤差が最小となるようにマッチングしてもよい。統計的手法としては、最小二乗法等を用いることができる。

【0116】

なお、配管に保温材が巻かれている場合には、保温材を含む配管の外表面の形状を輪郭１４０としてマッチングしてもよい。

【0117】

以上の実施例で示したように、バルブ及び機器の位置情報を活用することにより、効率よく部分プラントモデルの位置を特定することができ、少ない工数で属性付きプラントＣＡＤモデル２８を作成することができる。