特開 2020-87418 配管および計装図からの情報抽出を自動化するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-87418(P2020-87418A)

(43)【公開日】2020年6月4日

(54)【発明の名称】配管および計装図からの情報抽出を自動化するためのシステムおよび方法

(51)【国際特許分類】

   G06F 30/18 20200101AFI20200508BHJP

   G06F 30/27 20200101ALI20200508BHJP

   G06F 30/12 20200101ALI20200508BHJP

【ＦＩ】

   G06F17/50 650C

   G06F17/50 604D

   G06F17/50 602H

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

【外国語出願】

【全頁数】24

(21)【出願番号】特願2019-88833(P2019-88833)

(22)【出願日】2019年5月9日

(31)【優先権主張番号】201821045399

(32)【優先日】2018年11月30日

(33)【優先権主張国】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(74)【代理人】

【識別番号】100185269

【弁理士】

【氏名又は名称】小菅 一弘

(72)【発明者】

【氏名】シャルマ モニカ

(72)【発明者】

【氏名】ラフル ロヒット

(72)【発明者】

【氏名】ヴィグ ラブケシュ

(72)【発明者】

【氏名】パリワル シュブハム

【テーマコード（参考）】

5B046

【Ｆターム（参考）】

5B046AA02

5B046EA06

5B046FA05

5B046FA07

5B046JA01

5B046KA08

(57)【要約】      （修正有）

【課題】配管、計装図からの情報抽出を自動化するためのシステム及び方法を提供する。
【解決手段】ハードウェア・プロセッサを介して、画像処理および深層学習技法を実装することによって配管および計装図から複数の構成要素を検出することと、関連付けモジュールを介して、ユークリッド距離技法を実装することによって検出された複数の構成要素の各々を関連付けることと、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成することとによって、配管および計装図からのエンドツーエンド情報の自動生成を与える。ここで、複数のツリー状のデータ構造の各々は、配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする。
【選択図】図３

【特許請求の範囲】

【請求項1】

配管および計装図からの情報抽出を自動化するためのプロセッサ方法であって、前記方法は、
１つまたは複数のハードウェア・プロセッサを介して、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出するステップであって、前記複数の構成要素が、パイプライン、パイプライン・コード、入口および出口、記号、ならびにテキストのうちの少なくとも１つを含む、検出するステップ（３０１）と、
関連付けモジュールを介して、ユークリッド距離技法を実装することによって前記検出された複数の構成要素の各々を関連付けるステップであって、前記関連付けるステップが、前記検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングするステップを含む、関連付けるステップ（３０２）と、
前記関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成するステップであって、前記複数のツリー状のデータ構造の各々が、前記１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成するステップ（３０３）と
を含む、プロセッサ方法。

【請求項2】

前記パイプライン・コードを検出する前記ステップの前に、前記１つまたは複数の配管および計装図から、コネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法を実装することによって、複数のフォールス・ポジティブ・パイプライン・コードを含む１つまたは複数のパイプライン・コードをフィルタ処理するステップが行われる、請求項１に記載の方法。

【請求項3】

前記記号を検出する前記ステップが、完全畳み込みニューラル・ネットワーク（ＦＣＮ）技法を実装することによって、前記記号からコンテキスト情報のセットを抽出するステップと、前記記号中の１つまたは複数の物体の空間ロケーションを学習するステップとを含む、請求項１に記載の方法。

【請求項4】

コンテキスト情報の前記セットを抽出する前記ステップが、
（ｉ） 前記ＦＣＮ技法を介して、前記記号のための複数のマスクの各々の１つまたは複数の輪郭を取得するために、前記複数のマスクを生成するステップと、
（ｉｉ） 前記生成された１つまたは複数の輪郭から、前記記号を検出するために前記記号の形状を表すステップと
を含む、請求項３に記載の方法。

【請求項5】

前記適切なパイプラインが、前記ユークリッド距離技法を介して前記１つまたは複数の配管および計装図から決定される、請求項１に記載の方法。

【請求項6】

前記複数のツリー状のデータ構造中の各ツリーが、パイプライン概略図の前記プロセス・フローをキャプチャするためのルート・ノードとリーフ・ノードと中間ノードとを備え、前記検出された出口が前記ルート・ノードとして扱われ、前記検出された入口が前記リーフ・ノードとして扱われ、前記検出されたパイプラインが前記中間ノードに対応する、請求項１に記載の方法。

【請求項7】

前記複数のツリー状のデータ構造中の各ツリーが、前記入口と前記出口との間の１対多関係を表す、請求項６に記載の方法。

【請求項8】

パイプライン概略図の前記プロセス・フローをキャプチャする前記ステップの前に、フィルタ処理技法を介して、前記１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために前記複数のツリー状のデータ構造の各々をプルーニングするステップが行われる、請求項１に記載の方法。

【請求項9】

フォールス・ポジティブ・パイプラインの前記セットをフィルタ処理する前記ステップが、前記フィルタ処理技法を介して、前記１つまたは複数の配管および計装図から１つまたは複数のパイプラインを削除するステップを含み、前記１つまたは複数のパイプラインが、リーフ・ノードとして前記複数のツリー状のデータ構造の各々において表される、請求項８に記載の方法。

【請求項10】

前記フィルタ処理技法が、ルート・ノードから開始する前記複数のツリー状のデータ構造の各々を横断することと、入口につながらないすべてのノードを削除することとを含む、請求項８に記載の方法。

【請求項11】

配管および計装図からの情報抽出を自動化するためのシステム（１００）であって、前記システム（１００）が、
命令を記憶するメモリ（１０２）と、
１つまたは複数の通信インターフェース（１０６）と、
前記１つまたは複数の通信インターフェース（１０６）を介して前記メモリ（１０２）に結合された１つまたは複数のハードウェア・プロセッサ（１０４）と
を備え、前記１つまたは複数のハードウェア・プロセッサ（１０４）は、
１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出することであって、前記複数の構成要素が、パイプライン、パイプライン・コード、入口および出口、記号、ならびにテキストのうちの少なくとも１つを含む、検出することと、
関連付けモジュール（２０３）を介して、ユークリッド距離技法を実装することによって前記検出された複数の構成要素の各々を関連付けることであって、前記関連付けることが、前記検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングすることを含む、関連付けることと、
前記関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成することであって、前記複数のツリー状のデータ構造の各々が、前記１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成することと
を行うように、前記命令によって構成された、システム（１００）。

【請求項12】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、前記１つまたは複数の配管および計装図から、コネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法を実装することによって、複数のフォールス・ポジティブ・パイプライン・コードを含む１つまたは複数のパイプライン・コードをフィルタ処理することによって、前記パイプライン・コードを検出するように構成された、請求項１１に記載のシステム（１００）。

【請求項13】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、完全畳み込みニューラル・ネットワーク（ＦＣＮ）技法を実装することによって、前記記号からコンテキスト情報のセットを抽出することと、前記記号中の１つまたは複数の物体の空間ロケーションを学習することとによって、前記記号を検出するように構成された、請求項１１に記載のシステム（１００）。

【請求項14】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、
（ｉ） 前記ＦＣＮ技法を介して、前記記号のための複数のマスクの各々の１つまたは複数の輪郭を取得するために、前記複数のマスクを生成することと、
（ｉｉ） 前記生成された１つまたは複数の輪郭から、前記記号を検出するために前記記号の形状を表すことと
を行うことによってコンテキスト情報の前記セットを抽出するように構成された、請求項１３に記載のシステム（１００）。

【請求項15】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、前記ユークリッド距離技法を介して前記１つまたは複数の配管および計装図から前記適切なパイプラインを決定するように構成された、請求項１１に記載のシステム（１００）。

【請求項16】

前記複数のツリー状のデータ構造中の各ツリーが、パイプライン概略図の前記プロセス・フローをキャプチャするためのルート・ノードとリーフ・ノードと中間ノードとを備え、前記検出された出口が前記ルート・ノードとして扱われ、前記検出された入口が前記リーフ・ノードとして扱われ、前記検出されたパイプラインが前記中間ノードに対応する、請求項１１に記載のシステム（１００）。

【請求項17】

前記複数のツリー状のデータ構造中の各ツリーが、前記入口と前記出口との間の１対多関係を表す、請求項１６に記載のシステム（１００）。

【請求項18】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、フィルタ処理技法を介して、前記１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために前記複数のツリー状のデータ構造の各々をプルーニングすることによって、パイプライン概略図の前記プロセス・フローをキャプチャするように構成された、請求項１１に記載のシステム（１００）。

【請求項19】

前記１つまたは複数のハードウェア・プロセッサ（１０４）が、前記フィルタ処理技法を介して、前記１つまたは複数の配管および計装図から１つまたは複数のパイプラインを削除することによってフォールス・ポジティブ・パイプラインの前記セットをフィルタ処理するように構成され、前記１つまたは複数のパイプラインが、リーフ・ノードとして前記複数のツリー状のデータ構造の各々において表される、請求項１８に記載のシステム（１００）。

【請求項20】

前記フィルタ処理技法が、ルート・ノードから開始する前記複数のツリー状のデータ構造の各々を横断することと、入口につながらないすべてのノードを削除することとを含む、請求項１９に記載のシステム（１００）。

【請求項21】

１つまたは複数のハードウェア・プロセッサによって実行されたとき、
１つまたは複数のハードウェア・プロセッサを介して、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出することであって、前記複数の構成要素が、パイプライン、パイプライン・コード、入口および出口、記号、ならびにテキストのうちの少なくとも１つを含む、検出すること（３０１）と、
関連付けモジュールを介して、ユークリッド距離技法を実装することによって前記検出された複数の構成要素の各々を関連付けることであって、前記関連付けることが、前記検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングすることを含む、関連付けること（３０２）と、
前記関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成することであって、前記複数のツリー状のデータ構造の各々が、前記１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成すること（３０３）と
を引き起こす１つまたは複数の命令を備える１つまたは複数の非一時的機械可読情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照および優先権
本特許出願は、２０１８年１１月３０日に出願された、インド特許出願第２０１８２１０４５３９９号の優先権を主張する。

【0002】

本明細書の開示は、一般に、エンジニアリング概略図に関し、より詳細には、配管および計装図（piping and instrumentation diagrams）らの情報抽出を自動化するためのシステムおよび方法に関する。

【背景技術】

【0003】

配管および計装図は、エンジニアリング概略図を表す最も一般的なモードのうちの１つを備える。そのような図は、相互接続されたプロセス機器とともにエンジニアリング・プロセス・フローのレイアウトを描写する。長年にわたって、配管および計装図は、画像ファイルとして手作業で生成、走査、および格納されてきた。これらのファイルは、インベントリ管理および更新、ならびに概略図の異なる構成要素への容易な参照の目的のためにデジタル化される必要がある。実世界の配管および計装図をデジタル化することに関連するいくつかの難しい視覚問題がある。たとえば、実世界の配管および計装図は、いくつかの異なる解像度で届き、しばしば、ノイズの多いテキスト情報を含んでいる。これらの図からの計装情報の抽出は、記号（symbol）の正確な検出 を伴い、それらの記号は、記号間の微小な視覚差をしばしば有する。画像中の異なる点において収束および発散し（converge and diverge）得るパイプラインの識別が、問題のさらなる原因である。

【0004】

配管および計装図は、パイプライン、容器、アクチュエータおよび制御弁を通るプロセス・フローの概略図を示す複雑なエンジニアリング・ワークフローを表すことが可能である。一般的な表現は、流体投入点（fluid input points）と、パイプラインとしての経路と、制御および測定計器を表す記号と、吸込み点（sink points）とを含む。たいていの産業関係者は、これらの複雑な配管および計装図をハードコピーまたは走査画像の形態で維持し、配管および計装の情報抽出および分析のための自動化された機構を有しない。したがって、プロセス改善のための将来の分析および審査は、必要とされる領域の専門知識を仮定すれば費用がかかる手作業の関与を伴う。したがって、手作業の技法を実装する旧来のシステムおよび方法は、配管および計装図からエンドツーエンド情報をデジタル化および抽出することができない。

【発明の概要】

【0005】

本開示の実施形態は、従来のシステムにおける発明者によって認識された上述の技術的問題のうちの１つまたは複数の解決策としての技術的改善を提示する。たとえば、一実施形態では、配管および計装図からの情報抽出を自動化するための方法であって、本方法は、１つまたは複数のハードウェア・プロセッサを介して、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出するステップであって、複数の構成要素が、パイプライン、パイプライン・コード、入口（inlet）および出口（outlet）、記号、ならびにテキストのうちの少なくとも１つを含む、検出するステップと、関連付けモジュールを介して、ユークリッド距離技法を実装することによって、検出された複数の構成要素の各々を関連付けるステップであって、関連付けるステップが、検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングするステップを含む、関連付けるステップと、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成するステップであって、複数のツリー状のデータ構造の各々が、１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成するステップと、１つまたは複数の配管および計装図から、コネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ：Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｘｔ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）技法を実装することによって、複数のフォールス・ポジティブ・パイプライン・コード（false positive pipeline codes）を含む１つまたは複数のパイプライン・コードをフィルタ処理するステップと、完全畳み込みニューラル・ネットワーク（ＦＣＮ：Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）技法を実装することによって、記号からコンテキスト情報（contextual information）のセットを抽出するステップと、記号中の１つまたは複数の物体（objects）の空間ロケーションを学習するステップと、フィルタ処理技法を介して、１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために複数のツリー状のデータ構造の各々をプルーニングする（pruning）ステップと、フィルタ処理技法を介して、１つまたは複数の配管および計装図から１つまたは複数のパイプラインを削除するステップであって、１つまたは複数のパイプラインが、リーフ・ノードとして複数のツリー状のデータ構造の各々において表される、削除するステップと、ルート・ノードから開始する複数のツリー状のデータ構造の各々を横断するステップと、入口につながらないすべてのノードを削除するステップとを含む、方法。

【0006】

別の態様では、配管および計装図からの情報抽出を自動化するためのシステムが提供され、本システムは、命令を記憶するメモリと、１つまたは複数の通信インターフェースと、１つまたは複数の通信インターフェースを介してメモリに結合された１つまたは複数のハードウェア・プロセッサとを備え、１つまたは複数のハードウェア・プロセッサは、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出することであって、複数の構成要素が、パイプライン、パイプライン・コード、入口および出口、記号、ならびにテキストのうちの少なくとも１つを含む、検出することと、関連付けモジュールを介して、ユークリッド距離技法を実装することによって、検出された複数の構成要素の各々を関連付けることであって、関連付けることが、検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングすることを含む、関連付けることと、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成することであって、複数のツリー状のデータ構造の各々が、１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成することと、１つまたは複数の配管および計装図から、コネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法を実装することによって、複数のフォールス・ポジティブ・パイプライン・コードを含む１つまたは複数のパイプライン・コードをフィルタ処理することによって、パイプライン・コードを検出することと、完全畳み込みニューラル・ネットワーク（ＦＣＮ）技法を実装することによって、記号からコンテキスト情報のセットを抽出することと、記号中の１つまたは複数の物体の空間ロケーションを学習することと、フィルタ処理技法を介して、１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために複数のツリー状のデータ構造の各々をプルーニングすることによって、パイプライン概略図のプロセス・フローをキャプチャすることと、フィルタ処理技法を実装することによって、１つまたは複数の配管および計装図から１つまたは複数のパイプラインを削除することであって、１つまたは複数のパイプラインが、リーフ・ノードとして複数のツリー状のデータ構造の各々において表される、削除することと、ルート・ノードから開始する複数のツリー状のデータ構造の各々を横断することと、入口につながらないすべてのノードを削除することとを行うように、命令によって構成される。

【0007】

また別の態様では、１つまたは複数のハードウェア・プロセッサによって実行されたとき、１つまたは複数のハードウェア・プロセッサに、配管および計装図からの情報抽出を自動化するための方法を実施させる１つまたは複数の命令を備える１つまたは複数の非一時的機械可読情報記憶媒体が提供され、本方法は、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出するステップであって、複数の構成要素が、パイプライン、パイプライン・コード、入口および出口、記号、ならびにテキストのうちの少なくとも１つを含む、検出するステップと、関連付けモジュールを介して、ユークリッド距離技法を実装することによって、検出された複数の構成要素の各々を関連付けるステップであって、関連付けるステップが、検出された複数の構成要素の各々を適切なパイプラインのうちの少なくとも１つとマッピングするステップを含む、関連付けるステップと、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成するステップであって、複数のツリー状のデータ構造の各々が、１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする、生成するステップと、１つまたは複数の配管および計装図から、コネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法を実装することによって、複数のフォールス・ポジティブ・パイプライン・コードを含む１つまたは複数のパイプライン・コードをフィルタ処理するステップと、完全畳み込みニューラル・ネットワーク（ＦＣＮ）技法を実装することによって、記号からコンテキスト情報のセットを抽出するステップと、記号中の１つまたは複数の物体の空間ロケーションを学習するステップと、フィルタ処理技法を介して、１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために複数のツリー状のデータ構造の各々をプルーニングするステップと、フィルタ処理技法を介して、１つまたは複数の配管および計装図から１つまたは複数のパイプラインを削除するステップであって、１つまたは複数のパイプラインが、リーフ・ノードとして複数のツリー状のデータ構造の各々において表される、削除するステップと、ルート・ノードから開始する複数のツリー状のデータ構造の各々を横断するステップと、入口につながらないすべてのノードを削除するステップとを含む。

【0008】

上記の概略的な説明と以下の詳細な説明の両方が、例示的および説明的なものにすぎず、請求される本発明を限定するものではでないことを理解されたい。

【0009】

本開示の一部に組み込まれ、それを構成する添付の図面は、例示的な実施形態を示し、その説明とともに、開示される原理について説明するのに役立つ。

【図面の簡単な説明】

【0010】

【図1】本開示のいくつかの実施形態による、配管および計装図からの情報抽出を自動化するためのシステムのブロック図である。

【図2】本開示のいくつかの実施形態による、配管および計装図からの情報抽出を自動化するためのシステムの構成要素およびフローを示すアーキテクチャ図である。

【図3】本開示のいくつかの実施形態による、配管および計装図からの情報抽出を自動化するプロセスに関与するステップを示す流れ図である。

【図4】本開示のいくつかの実施形態による、配管および計装図シートの一例を示す図である。

【図5】本開示のいくつかの実施形態による、配管および計装図シートからの入口または出口の一例を示す図である。

【図6】本開示のいくつかの実施形態による、配管および計装図シート中のパイプラインの一例を示す図である。

【図7】本開示のいくつかの実施形態による、配管および計装図シート中の記号の一例を示す図である。

【図8】本開示のいくつかの実施形態による、開示される方法を実装することによって、検出された記号の一例を示す図である。

【図9】本開示のいくつかの実施形態による、開示される方法を実装することによって実施されるタグ対パイプライン関連付けの一例を示す図である。

【図10】本開示のいくつかの実施形態による、開示される方法を実装することによって実施されるパイプライン・コード対パイプライン関連付けの一例を示す図である。

【図11】本開示のいくつかの実施形態による、開示される方法を実装することによって実施される記号対パイプライン関連付けの一例を示す図である。

【図12】本開示のいくつかの実施形態による、検出された配管および計装図構成要素を関連付けることによって生成されたツリー状のデータ構造の一例を示す図である。

【図13】本開示のいくつかの実施形態による、例示的な配管および計装図シートからのテキスト検出に対するコネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法の視覚的な出力の一例を示す図である。

【図14】本開示のいくつかの実施形態による、記号の検出のための完全畳み込みネットワーク（ＦＣＮ）の訓練中の訓練および検証セットについてのクロスエントロピー損失（cross-entropy loss）を表示するプロットを図式的に示す図である。

【発明を実施するための形態】

【0011】

添付の図面を参照しながら、例示的な実施形態が説明される。図では、参照番号の（１つまたは複数の）左端の桁は、参照番号が最初に現れる図を識別する。好都合な場合はいつでも、同じまたは類似の部分を指すために図面全体にわたって同じ参照番号が使用される。開示される原理の例および特徴が本明細書で説明されるが、開示される実施形態の趣旨および範囲から逸脱することなく、変更形態、適応形態、および他の実装形態が可能である。以下の詳細な説明は例示にすぎないと見なされ、真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【0012】

本開示の実施形態は、配管および計装図からの情報抽出を自動化するためのシステムおよび方法を提供する。配管および計装図のデジタル化プロセスは、パイプライン・コードと、パイプラインと、入口と、出口と、記号との識別および位置特定を含み、その後、パイプラインとの個々の構成要素のマッピングが続く。 配管および計装図は、パイプライン、容器、アクチュエータおよび制御弁を通るプロセス・フローの概略図を示す複雑なエンジニアリング・ワークフローを表す。

【0013】

旧来のシステムおよび技法のうちのいくつかは、テキスト要素とグラフィカル要素の両方からなる複雑なエンジニアリング・ドキュメント、たとえば、複雑な受取りシート、検査シート、およびエンジニアリング図のデジタル化に言及している。たとえば、旧来の技法のうちの１つは、図面交換フォーマット（ＤＸＦ：Drawing Exchange Format）ファイルをスケーラブル・ベクトル・グラフィックス（ＳＶＧ：Scalable Vector Graphics）フォーマットに変換し、生成されたＳＶＧファイルのマーキング・アルゴリズムを開発することによって自動コンピュータ支援設計（ＣＡＤ：Auto-Computer-Aided-Designing）ＤＸＦのアセスメントを自動化することに言及している。

【0014】

同様に、別の旧来の技法は、事例ベース手法を使用したエンジニアリング図面認識のためのフレームワークを提供し、ユーザは、エンジニアリング図面中のあるタイプのグラフィック・オブジェクトの一例を対話式に与え、次いで、システムは、その例からこのタイプのグラフィック・オブジェクトのグラフィカル知識を学習し、後でこの学習された知識を使用してエンジニアリング図面中の類似のグラフィック・オブジェクトを認識または探索することを試みる。しかしながら、旧来のシステムおよび方法のいずれも、配管および計装図からの自動エンドツーエンド・データ抽出を提供しない。

【0015】

開示される方法は、旧来のシステムおよび技法が直面する限界を克服することを試みる。たとえば、開示される方法は、深層学習技法を介して配管および計装図シートからの各構成要素のロバストな検出を提供し、検出された構成要素の各々を関連付け、それにより、エンドツーエンド・データ抽出、ならびに配管および計装図からの情報抽出の自動化を容易にする。

【0016】

次に、類似の参照符号が図全体にわたって一貫して対応する特徴を示す図面、より詳細には、図１から図１４を参照すると、好ましい実施形態が示されており、これらの実施形態は、以下の例示的なシステムおよび／または方法のコンテキストにおいて説明される。

【0017】

図１は、本開示の一実施形態による、配管および計装図からの情報抽出を自動化するためのシステム１００の例示的なブロック図を示す。一実施形態では、システム１００は、１つまたは複数のプロセッサ１０４と、（１つまたは複数の）通信インターフェース・デバイスまたは（１つまたは複数の）入出力（Ｉ／Ｏ）インターフェース１０６と、１つまたは複数のプロセッサ１０４に動作可能に結合された１つまたは複数のデータ記憶デバイスまたはメモリ１０２とを含む。ハードウェア・プロセッサである１つまたは複数のプロセッサ１０４は、１つまたは複数のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、状態機械、論理回路、および／または動作命令に基づいて信号を操作する任意のデバイスとして実装され得る。能力の中でも、（１つまたは複数の）プロセッサは、メモリ１０２に記憶されたコンピュータ可読命令をフェッチし、実行するように構成される。一実施形態では、システム１００は、ラップトップ・コンピュータ、ノートブック、ハンドヘルド・デバイス、ワークステーション、メインフレーム・コンピュータ、サーバ、ネットワーク・クラウドなど、様々なコンピューティング・システムにおいて実装され得る。

【0018】

（１つまたは複数の）Ｉ／Ｏインターフェース・デバイス１０６は、様々なソフトウェアおよびハードウェア・インターフェース、たとえば、ウェブ・インターフェース、グラフィカル・ユーザ・インターフェースなどを含むことができ、ワイヤード・ネットワーク、たとえば、ＬＡＮ、ケーブルなどと、ＷＬＡＮ、セルラー、または衛星など、ワイヤレス・ネットワークとを含む、多種多様なネットワークＮ／Ｗおよびプロトコル・タイプ内での複数の通信を容易にすることができる。一実施形態では、（１つまたは複数の）Ｉ／Ｏインターフェース・デバイスは、いくつかのデバイスを互いにまたは別のサーバに結合するための１つまたは複数のポートを含むことができる。

【0019】

メモリ１０２は、たとえば、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）およびダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）などの揮発性メモリ、ならびに／または、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブルＲＯＭ、フラッシュ・メモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で知られている任意のコンピュータ可読媒体を含み得る。一実施形態では、メモリ１０２は、配管および計装図からの情報抽出を自動化することに関連付けられたデータを記憶するように構成され得る。一実施形態では、配管および計装図からの構成要素の検出、関連付け、ツリーの生成などに関係する情報は、メモリ１０２に記憶される。さらに、配管および計装図からの情報抽出の自動化に関係するすべての情報（入力、出力など）はまた、参照目的のために、履歴データとしてデータベースに記憶され得る。

【0020】

本開示の一実施形態によれば、配管および計装図からの情報抽出を自動化するためのシステム１００のアーキテクチャおよびフローが、詳細に考慮され得る。図２を参照することによって、アーキテクチャは、配管および計装図シート２０１と、検出および認識エンジン２０２と、関連付けモジュール２０３とを備えることがわかり得る。配管および計装図シート２０１は、エンジニアリング概略図または配管および計装図を備え、そこから、提案された方法を実装することによってデータまたは情報が抽出されることになる。

【0021】

最初に、配管および計装図シート２０１は検出および認識エンジン２０２に供給され、検出および認識エンジン２０２は、画像処理モデルと深層学習モデルとの組合せを使用してパイプライン、パイプライン・コード、入口、出口および記号のような、プロセス・フローの異なる構成要素を識別および分離する。その後、抽出された構成要素は、適切なパイプラインとのマッピングのために関連付けモジュール２０３に送られる。最終的に、入口から出口までのフローを決定するために、ツリー様のデータ構造が作成される。

【0022】

図３は、図１および図２を参照しながら、本開示のいくつかの実施形態による、配管および計装図からの情報抽出を自動化するための方法の例示的な流れ図を示す。一実施形態では、システム１００は、１つまたは複数のハードウェア・プロセッサ１０４に動作可能に結合されたメモリ１０２の１つまたは複数のデータ記憶デバイスを備え、１つまたは複数のプロセッサ１０４による方法のステップの実行のための命令を記憶するように構成される。次に、図１に示されているシステム１００の構成要素、および流れ図を参照しながら、本開示の方法のステップが説明される。本開示の実施形態では、ハードウェア・プロセッサ１０４は、命令で構成されたとき、本明細書で説明される１つまたは複数の方法を実施する。

【0023】

本開示の一実施形態によれば、ステップ３０１において、１つまたは複数のハードウェア・プロセッサ１０４は、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出するように構成される。図４を参照することによって、テキスト・セグメントと非テキスト・セグメントとを備える配管および計装図シートのサンプル（または一例）が参照され得る。再び図４を参照することによって、配管および計装図シートが概してテキストからなり、テキストが、パイプライン・コード、１つまたは複数の追記などを表すことがわかり得る。このようにして、テキスト・セグメントは、概して複数のパイプライン・コードからなる。

【0024】

１つまたは複数の配管および計装図中の非テキスト・セグメントは、概して複数のパイプライン、複数の記号、複数の入口および出口などを備える。非テキスト・セグメントは、このようにして、概してグラフィック・オブジェクトである。１つまたは複数の配管および計装図中のテキスト・セグメント構成要素および非テキスト・セグメント構成要素の各々は、複数の構成要素と総称され得る。次に、１つまたは複数の配管および計装図から複数の構成要素の各々を検出するプロセスが詳細に考慮され得る。

【0025】

パイプライン・コードの検出− 一実施形態では、パイプライン・コードが各パイプラインを明確に特徴づけるので、最初に、複数の構成要素からパイプライン・コードが検出される。開示される方法は、パイプライン・コード検出のためにコネクショニスト・テキスト提案ネットワーク（ＣＴＰＮ）技法を実装する。（１つまたは複数の）パイプライン・コードを抽出するために、概して、接続された構成要素が従うしきい値処理が実装される、旧来のシステムおよび方法と比較して、ＣＴＰＮ技法は、１つまたは複数の配管および計装図からパイプライン・コードを検出するためのシーンテスト・データセットに対して事前トレーニングされたＣＴＰＮネットワークを利用する。ＣＴＰＮは、１つまたは複数の配管および計装図中のノイズおよび色に対してよりロバストである。

【0026】

一実施形態では、ＣＴＰＮ技法は、最初に任意のサイズの画像を受け付け、畳み込み特徴マップ中でウィンドウを密にスライドすることによって画像中のテキスト・ラインを検出し、テキスト提案のシーケンスを作り出す畳み込みネットワークを実装する。次いで、このシーケンスは、リカレント・ニューラル・ネットワークに通され、リカレント・ニューラル・ネットワークは、検出器がテキスト・ラインの有意味なコンテキスト情報を探査することを可能にし、したがって、極めて難しいテキストを確実に検出することを強力に行う。このようにして、ＣＴＰＮ技法は、１００パーセントの再現率（100 percent recall）をもつ潜在的パイプライン・コード構成要素のセットを生成するが、複数のフォールス・ポジティブ・パイプライン・コードをさらに備える。

【0027】

潜在的パイプライン・コード構成要素のセットを生成すると、前のステップにおいて検出された各パイプライン・コード構成要素を読み取るためにＴｅｓｓｅｒａｃｔ（登録商標）技法が実装され得る。パイプライン・コードが固定の長さおよび構造を有するので、正規表現を使用して複数のフォールス・ポジティブ・パイプライン・コードの各々を削除またはフィルタ処理するために、フィルタ処理が、配管および計装図中のパイプライン・コードの各々に対して実施され得る。

【0028】

例示的なシナリオを考慮して、パイプライン・コードは、フォーマットＮ”−ＡＡＮＮＮＮＮＮＮ−ＮＮＮＮＮＡ−ＡＡのものであり、ここで、Ｎは数字を示し、Ａはアルファベットを示す。このようにして、ＣＴＰＮ技法は、１つまたは複数の配管および計装図を備えるシート中に存在するパイプライン・コードを最終的に生成し、それにより、旧来のシステムおよび方法と比較してパイプライン・コードのロバストな検出を提供する。

【0029】

入口および出口の検出− 当技術分野で知られているように、入口または出口は、パイプラインの開始点または終了点をマークする。概して、ある形状特性、すなわち、５つの頂点を有する多角形を備える入口または出口を表す標準記号があり、バウンディング・ボックス（bounding box）の幅がそれの高さの少なくとも３倍である。旧来のシステムおよび方法と比較して、開示される方法は、ヒューリスティックス（heuristics）を介して入口および出口をロバストに検出するために形状特性を使用する。

【0030】

一実施形態では、入口および出口を検出するために、１つまたは複数のハードウェア・プロセッサ１０４は、最初に、さらなる処理のために２値化された入力画像から、パイプライン・コードとして検出されるテキスト・ブロブ（text blob）を減算する。１つまたは複数のハードウェア・プロセッサ１０４は、１つまたは複数の多角形を識別するために知られている相対エッジ長と組み合わせてＲａｍｅｒ−Ｄｏｕｇｌａｓアルゴリズムを実装する。当技術分野で知られているように、（「Ｒａｍｅｒ−Ｄｏｕｇｌａｓ−Ｐｅｕｃｋｅｒアルゴリズム」とも呼ばれる）Ｒａｍｅｒ−Ｄｏｕｇｌａｓアルゴリズムは、一連の点によって近似される曲線中の点の数を低減するためのアルゴリズムである。

【0031】

１つまたは複数の多角形の識別時に、１つまたは複数の多角形は、入口または出口のいずれかとして識別される。また再び図４を参照することによって、２つのタイプのタグ、すなわち、左向きおよび右向きのタグが１つまたは複数の配管および計装図中に存在するとき、多角形の可能な４つの事例があることがわかり得る。右向きタグまたは左向きタグの各々は、入口または出口のいずれかであり得る。

【0032】

１つまたは複数のハードウェア・プロセッサ１０４は、次いで、Ｒａｍｅｒ−Ｄｏｕｇｌａｓによって与えられる点からタグの配向を識別し、図５に示されているように、右向きタグまたは左向きタグにおいて一方の側に３つの点があり、もう一方の側に２つの点があるという事実を知り得る。候補が入口であるのか出口であるのかをさらに分類するために、１つまたは複数のハードウェア・プロセッサ１０４は、構成要素画像のいずれかの側の小さいカーネルＫを取得し、どちらのエッジが単一のラインによって横断される（crossed）かを見つけ出す。

【0033】

パイプラインの検出− 一実施形態では、最初に、検出されたテキストならびに入口および出口タグは、パイプラインを検出するために画像から削除され得る。１つまたは複数の配管および計装図中の各画像からのパイプラインは、次いで、画像の各々のスケルトン・バージョンに対して確率的ハフ変換技法（Probabilistic Hough Transform technique）を実装することによって、検出され、それにより、１つまたは複数の配管および計装図中のパイプラインに対応しないラインを含むすべてのラインのセットを生成する。当技術分野で知られているように、ハフ変換は、形状が数学的形式で表され得る場合、どんな形状でも検出する普及している技法である。ハフ変換は、形状がわずかに破壊されたかまたはひずませられた場合でも、形状を検出することができる。確率的ハフ変換技法が、すべての点を考慮するというわけではなく、代わりに、点のランダム・サブセットのみを考慮し、それがライン検出のために十分であるので、確率的ハフ変換技法は、旧来のハフ変換技法に対する最適化である。

【0034】

パイプライン交差の検出− 図６を参照することによって、確率的ハフ変換技法の実装形態からの出力は、（パイプラインを検出する一方）交差における（１つまたは複数の）間隙（gap）を考慮しないラインのセットを生じることがわかり得る。交差は、有効な交差または無効な交差であり得る。開示される方法は、連立一次方程式を解くことによって任意の２つのライン・セグメント間の交差の各々を決定することによって、有効な交差の各々を識別する。その式に対する解は、両方の有限パイプライン上にあるべき点である。この仮定は、解がフォアグラウンド（foreground）の一部であることを保証する。

【0035】

再び図６を参照することによって、交差に関与するラインのうちの１つ中の間隙は、それを無効な交差として示す。無効な交差は、ラインについての２つの一次方程式の解が交差を示すが画像中にそのような交差が存在しない交差である。無効な交差を廃棄するために、１つまたは複数のハードウェア・プロセッサ１０４は、交差に中心をもつサイズ２１の正方形カーネルを描画し、正方形のエッジと交差するラインについて検査する。

【0036】

パイプライン交差を検出することについて、２つの可能性があり得る。第１の可能性は、交差が正方形の対向するエッジ上にあり、正方形の他の２つのエッジ上に交差がない場合であり得る。第２の可能性は、正方形の３つのエッジの交差および／または正方形のすべての４つのエッジ上の交差の可能性であり得る。第２の可能性は有効な交差の場合であり、それにより、パイプライン交差の検出を生じる。

【0037】

記号の検出− 概して、配管および計装図シートは複数の記号からなり、複数の記号の各々は、パイプラインを通る石油の流れを制御することと、様々なタスクを実施することとを担当するいくつかの計器を表す。開示される方法は、１０個のクラスの記号、すなわち、ボール弁（ball_valve）、逆止め弁（check_valve）、化学シール（chemical_seal）、円形弁（circle_valve）、コンセントリック（concentric）、出水接続（flood_connection）、グローブ弁（globe_valve）、ゲート弁ｎｃ（gate_valve_nc）、絶縁（insulation）、およびグローブ弁ｎｃ（globe_valve_nc）を検出し、それらの検出を自動化することを容易にする。

【0038】

図７を参照することによって、記号が視覚的外観において極めて低いクラス間差（inter-class difference）を有するので、分類のための旧来の深層学習技法は、そのような記号のロバストな検出を提供しないことがわかり得る。開示される方法は、複数の記号の各々を検出するために完全畳み込みネットワーク（ＦＣＮ）技法を実装する。（１つまたは複数の）ＦＣＮは、最後の全結合層（fully connected layer）が大きい受容野（receptive field）をもつ畳み込み層に置き換えられる畳み込みネットワークである。

【0039】

ＦＣＮ技法の実装形態は、ＦＣＮが２つの経路からなるので、複数の記号のロバストな検出を容易にする。第１の経路は、畳み込み、最大プーリング操作から構成され、画像からコンテキスト情報のセットを抽出する、ダウンサンプリング経路を備え、第２の経路は、転置畳み込み、アンプーリング操作からなり、入力画像サイズと類似のサイズをもつ出力を作り出し、画像中の１つまたは複数の物体の正確な空間ロケーションを学習する、アップサンプリング経路である。図８を参照することによって、検出された記号、コンテキスト情報の抽出されたセット、および１つまたは複数の物体の学習された空間ロケーションの一例が参照され得る。

【0040】

一実施形態では、ＦＣＮ技法を使用して記号を検出するために、開示される方法は、石油会社からの現実世界の配管および計装図のデータセットにアノテーションを付けた（annotated）。元の配管および計装図シートが概して、最初に、非常に大きいサイズであるので、配管および計装図シートは、記号にアノテーションを付けるために、サイズ４００×４００の複数の小さいパッチに各々分割され得る。複数の小さいパッチの各々は、異なるクラスの記号を備え、異なるクラスの記号は、さらに、単一のパッチ中に存在する（複数の記号のうちの）１つまたは複数の記号からなり得る。

【0041】

一実施形態では、複数の記号の各々は、それらのピクセル値を完全にマスキングすること（それにより、各記号のための複数のマスクを生成すること）と、その後、ＦＣＮ技法を介して複数のマスクの各々の１つまたは複数の輪郭（または境界）を取得することとによってアノテーションを付けられ得る。１つまたは複数の輪郭から、次いで、記号を検出するために記号の形状が表され得る。開示される方法は、マスク形状を含んでいる領域に対してフィルタを適用すること、すなわち、ビット単位ＡＮＤ演算（bitwise AND operation）が使用されたことによって、（１つまたは複数の）記号マスクの１つまたは複数の輪郭を取得するプロセスを自動化することをさらに容易にする。

【0042】

さらに、１つまたは複数のハードウェア・プロセッサ１０４は、境界／輪郭を取得するために複数の小さいパッチの各々のしきい値処理と、次いで、サイズ３×３のフィルタを用いて拡張することとを実施する。トレーニング・データセットが制限されたので、開示される方法は、各画像に対して何らかの変換、たとえば、変換および／または回転を実施することによって、画像を増大させた。ＶＧＧ−１９（登録商標）ベースのＦＣＮが、記号検出器をトレーニングするために使用および実装され、サイズ４００×４００の入力画像がネットワークに供給され、それは、０．０００４の学習レートと８のバッチ・サイズとを伴うＡｄａｍオプティマイザを使用してトレーニングされる。

【0043】

本開示の一実施形態によれば、ステップ３０２において、１つまたは複数のハードウェア・プロセッサ１０４は、関連付けモジュール２０３を介して、ユークリッド距離技法を実装することによって、検出された複数の構成要素の各々を関連付けるように構成される。検出された複数の構成要素の各々の関連付けは、とりわけ、パイプライン概略図の構造を形成するために実施され得る。次に、複数の構成要素を（本明細書では最も近接したパイプラインとも呼ばれる）適切なパイプラインと関連付けることと、適切なパイプラインの決定とのプロセスが、詳細に考慮され得る。

【0044】

一実施形態では、関連付けは、検出された複数の構成要素の各々を関連付けモジュール２０３に通信し、受け渡すことによって、１つまたは複数のハードウェア・プロセッサ１０４によって実施され得る。次いで、関連付けモジュール２０３は、適切なパイプラインまたは最も近接したパイプラインとの複数の構成要素のマッピングを実施する。関連付けは、以下のように実装される。
（ｉ） タグ対パイプライン関連付け（Tags to Pipeline Association）− １つまたは複数のハードウェア・プロセッサ１０４は、検出された入口および出口の配向から出現するラインを識別し、次いで、関連付けモジュール２０３を介して、パイプラインの方向におけるライン出現点からの最も近接したパイプラインをタグに関連付ける。最も近接したパイプラインは、ユークリッド距離技法を実装することによって決定され得る。当技術分野で知られているように、ユークリッド距離技法は、物体のペアの座標間の平方根差分（root of square differences）を測定または検査する。例示的なシナリオを考慮して、図９を参照することによって、タグ対パイプライン関連付けの一例が参照され得、ユークリッド距離技法に基づいて、「タグ１」は「パイプライン６」に関連付けられ、「タグ２」は「パイプライン７」に関連付けられる。
（ｉｉ） パイプライン・コード対パイプライン関連付け− １つまたは複数のハードウェア・プロセッサ１０４は、最も近いもののバウンディング・ボックスの頂点からライン上の最も近い点までの最小ユークリッド距離技法に基づいて、検出されたパイプライン・コードの各々を、最も近いまたは最も近接したパイプラインに割り当てる。例示的なシナリオを考慮して、図１０を参照することによって、パイプライン・コード対パイプライン関連付けの一例が参照され得、検出されたパイプライン・コード「２”ＢＨ６２０９１０８−１１５００Ｘ−ＥＰ」は、それらの間の最小距離のために「パイプライン２」に関連付けられる。
（ｉ） 記号対パイプライン関連付け− 各検出された記号は、それが最も近接したパイプラインから分離されないという条件で、最小ユークリッド距離技法を使用して最も近接したパイプラインに関連付けられる。例示的なシナリオを考慮して、図１１を参照することによって、記号対パイプライン関連付けの一例が参照され得、破線矩形を用いてマークされる検出された記号「絶縁体」は、それらの間の最小距離に基づいて「パイプライン４」に関連付けられ、最小距離は、最小ユークリッド距離技法を使用して決定される。

【0045】

本開示の一実施形態によれば、ステップ３０３において、１つまたは複数のハードウェア・プロセッサ１０４は、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成するように構成され、複数のツリー状のデータ構造の各々が、１つまたは複数の配管および計装図に対応するパイプライン概略図のプロセス・フローをキャプチャする。このようにして、複数のツリー状のデータ構造からなるフォレストは、複数の検出された構成要素の各々を（１つまたは複数の）適切なパイプラインに関連付けることによって生成される。例示的なシナリオを考慮して、図１２を参照することによって、検出された複数の構成要素を関連付けることから生成されるツリー状のデータ構造の一例が参照され得る。

【0046】

再び図１２を参照することによって、複数のツリー状のデータ構造中の各ツリーは、パイプライン概略図のプロセス・フローをキャプチャするためにルート・ノードと、リーフ・ノードと、中間ノードとを備えることがわかり得る。さらに、検出された出口はルート・ノードとして扱われ、検出された入口はリーフ・ノードとして扱われ、検出されたパイプラインは中間ノードに対応する。また再び図１２を参照することによって、複数のツリー状のデータ構造中の各ツリーが、入口と出口との間の１対多関係を表すことがわかり得る。

【0047】

一実施形態では、各ツリーは、最小高さ２を有し、ルート・ノードは単一の子を有する。ツリーは共通ノードを有することができ、すなわち、それは共通パイプラインと入口タグとを有することができるが、ルート・ノードはフォレスト中で唯一である。いつでも、単一のフロー経路が、入口と出口との間の唯一の経路によって表される。このようにして、パイプライン概略図のプロセス・フローは、石油の流れが、複数のツリー状のデータ構造の各々からキャプチャされ得るように、生成されたツリー状のデータ構造の各々からキャプチャされ得る。このようにして、ステップ３０１〜３０３を実行することによって、配管および計装図からの情報抽出のプロセス全体が自動化され得る。

【0048】

一実施形態では、パイプライン概略図のプロセス・フローをキャプチャするステップの前に、フィルタ処理技法を介して、１つまたは複数の配管および計装図からフォールス・ポジティブ・パイプラインのセットをフィルタ処理するために複数のツリー状のデータ構造の各々をプルーニングするステップが行われる。フォールス・ポジティブ・パイプラインは、ツリー中でリーフ・ノードとして表され、入口のいずれにもリンクしないパイプラインである。フィルタ処理技法は、ルート・ノードから開始する（複数のツリー状のデータ構造のうちの）各ツリーをプルーニングまたは横断することと、入口につながらないすべてのノードを削除することとを含む。

【0049】

本開示の一実施形態によれば、開示される方法の性能が、詳細に、評価および説明され得る。開示される方法を実装するために、現実世界の配管および計装図シートのデータセットが定量評価のために使用され、データセットは４つのシートを備え、それはさらに６７２個の流れ図からなる。以下の表１を参照することによって、検出の精度（accuracy）と、複数の構成要素を関連付けることとが参照され得る。表１の行１を参照することによって、ＣＴＰＮ技法によるパイプライン・コード検出の精度の後に、標準コード形式のドメイン知識を使用するフォールス・ポジティブのフィルタ処理が続く。

【表1】

【0050】

再び表１を参照することによって、開示される方法を実装することによって、７１個のコードのうちの６４個のコードが、成功裡に検出され、検出プロセスにおいて９０．１％の精度を与えることがわかり得る。さらに、図１３を参照することによって、例示的な配管および計装図シート上のテキスト検出に関するＣＴＰＮ技法の視覚的な出力が参照され得る。また再び表１を参照することによって、パイプラインとともに、ライン・マーキングおよび重ねられた図など、何らかのランダム・ノイズの存在のために、パイプラインが６５．２％の精度で検出されることがわかり得る。

【0051】

表１の行３および行４を参照することによって、入口および出口の検出のための開示される方法を実装することによって、１００％の精度を生じたことがわかり得る。パイプライン・コードおよび出口を適切なパイプに関連付ける間、開示される方法は、（表１の行２に示されているように）時々少数のパイプラインが適切に検出されないか、またはパイプラインが出口と交差しないので、６４個のパイプライン・コードのうちの４１個と、２１個の出口のうちの１４個とのみを成功裡に関連付けることが可能であった。しかしながら、開示される方法を実装することによって、入口は、適切なパイプラインにかなり成功裡に関連付けられ、それにより、９６．８％の関連付け精度を生じ得る。

【0052】

本開示の一実施形態によれば、以下の表２（すなわち、混同行列）を参照することによって、開示される方法を実装することによって実施される、混同行列（confusion matrix）の形態の記号検出の結果が詳細に説明され得る。ＦＣＮは、約７４００回の反復にわたって訓練され、ネットワークは、７０００回の反復において、ネットワークが過剰適合する（overfitting）のを防ぐために訓練および検証セットのクロスエントロピー損失（cross-entropy loss）を観測することによってセーブされた。上記で述べられたように、１０個の異なるクラスの記号が、ＦＣＮ技法を使用して検出された。しかしながら、本明細書で「他」と呼ばれる、１つの余分のクラスの記号も、開示される方法の性能を評価するために使用された。図１４を参照することによって、記号の検出のためのＦＣＮの訓練中の訓練および検証セットについてのクロスエントロピー損失を表示するプロットが参照され得る。

【表2】

【0053】

再び表２を参照することによって、開示される方法は、ＦＣＮ技法を実装することによって、旧来のシステムおよび方法と比較してロバストな記号検出を生じることがわかり得る。再び図７を参照することによって、（検出されるべき）記号、ボール弁（ｂａｌｌ＿ｖａｌｕｅ）、グローブ弁ｎｃ、ゲート弁ｎｃなどの記号は、外観において極めて低いクラス間変動（inter-class variation）を有する。たとえば、７９個のボール弁のうちの５つはグローブ弁として認識されており、６８個のグローブ弁のうちの４つはボール弁として検出され、５７個のグローブ弁ｎｃのうちの３つはゲート弁ｎｃとして認識される。ゲート弁ｎｃおよびコンセントリックなどの記号は、開示される方法を実装することによって成功裡に検出される。

【0054】

上記で述べられたように、また再び図８を参照することによって、開示される方法を実装することによって検出された記号が参照され得る。最終的に、以下の表３で与えられるように、記号の各クラスについて、正確さ（precision）と再現率（recall）とＦ１スコアとを算出することによって、開示される方法は、外観において極めて低い視覚差の場合でも、クラスごとに０．８６超の値の目覚ましいＦ１スコアで記号を検出することが観測される。化学シール、円形バルブ、コンセントリック、絶縁およびグローブ弁ｎｃのような記号について、正確さは１００％である。

【表3】

【0055】

本開示の一実施形態によれば、開示される方法の技術的利点のうちのいくつかが詳細に考慮され得る。開示される方法は、配管および計装図からの自動およびエンドツーエンド・データ抽出を可能にする。旧来のシステムおよび方法のいずれも、配管および計装図からの完全な自動およびエンドツーエンド・データ抽出に言及しない。このようにして、開示される方法は、プラント構成要素の接続性と、（１つまたは複数の）プロセス機器間の相互接続のタイプと、冗長経路の存在とに関係する重要な問合せに対する回答の自動生成を提供する。最終的に、上記で説明されたように、複数の構成要素を検出するための開示される方法の実装によって達成される精度は、旧来のシステムおよび方法に対してはるかに高い。

【0056】

本明細書は、当業者が実施形態を製作および使用することを可能にするために、本明細書の主題について説明する。主題の実施形態の範囲は、特許請求の範囲によって定義され、当業者が思い付く他の変更形態を含み得る。そのような他の変更形態は、それらが特許請求の範囲の文字通りの文言と異ならない類似の要素を有する場合、または、それらが特許請求の範囲の文字通りの文言とのわずかな差をもつ等価要素を含む場合、特許請求の範囲内に入ることが意図される。

【0057】

本明細書の本開示の実施形態は、配管および計装図からの情報抽出を自動化することの未解決の問題に対処する。このようにして、実施形態は、１つまたは複数の画像処理および深層学習技法を実装することによって１つまたは複数の配管および計装図から複数の構成要素を検出することと、検出された複数の構成要素の各々を関連付けることと、関連付けられた複数の構成要素の各々に基づいて、構造化技法を実装することによって複数のツリー状のデータ構造を生成することとを提供する。その上、本明細書の実施形態は、配管および計装図からのエンドツーエンド・データ抽出をさらに提供する。

【0058】

保護の範囲は、そのようなプログラムに、および追加として、その中にメッセージを有するコンピュータ可読手段に拡張されることを理解されたい。そのようなコンピュータ可読記憶手段は、プログラムがサーバまたはモバイル・デバイスあるいは任意の好適なプログラマブル・デバイス上で動作するとき、方法の１つまたは複数のステップの実装のためのプログラムコード手段を含んでいる。ハードウェア・デバイスは、たとえば、サーバまたはパーソナル・コンピュータなど、あるいはそれらの任意の組合せのような任意の種類のコンピュータを含む、プログラムされ得る任意の種類のデバイスであり得る。デバイスは、たとえば、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなハードウェア手段、あるいは、ハードウェア手段とソフトウェア手段の組合せ、たとえばＡＳＩＣおよびＦＰＧＡ、またはソフトウェア・モジュールがその中にある少なくとも１つのマイクロプロセッサおよび少なくとも１つのメモリであり得る、手段をも含み得る。したがって、手段は、ハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明された方法実施形態は、ハードウェアおよびソフトウェアにおいて実装され得る。デバイスはソフトウェア手段をも含み得る。代替的に、実施形態は、たとえば複数のＣＰＵを使用して、異なるハードウェア・デバイス上で実装され得る。

【0059】

本明細書の実施形態は、ハードウェア要素とソフトウェア要素とを含み得る。ソフトウェアで実装される実施形態は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む。本明細書で説明された様々なモジュールによって実施される機能は、他のモジュールまたは他のモジュールの組合せにおいて実装され得る。この説明では、コンピュータ使用可能またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスによる使用のための、あるいはそれらに関するプログラムを含むか、記憶するか、通信するか、伝搬するか、トランスポートすることができる任意の装置であり得る。

【0060】

示されたステップは図示の例示的な実施形態について説明するために提示され、進行中の技術発展が、特定の機能が実施される様式を変更することが予期されるべきである。これらの例は、限定ではなく例示の目的で本明細書で提示される。さらに、機能的ビルディング・ブロックの境界は、説明の便宜のために、任意に、本明細書で定義された。指定された機能およびその関係が適宜に実施される限り、代替境界が定義され得る。（本明細書で説明されたものの等価物、拡張、変形、逸脱などを含む）代替は、本明細書に含まれている教示に基づいて当業者に明らかになろう。そのような代替は、開示された実施形態の範囲および趣旨内に入る。また、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および「含む（ｉｎｃｌｕｄｉｎｇ）」という単語、ならびに他の類似の形式は、意味において等価であり、これらの単語のいずれか１つの後にくる１つまたは複数の項目が、そのような１つまたは複数の項目の網羅的なリスティングであるように意図されていないか、または、１つまたは複数のリストされた項目のみに限定されるように意図されていないという点で、オープンエンドであることが意図される。本明細書でおよび添付の特許請求の範囲において使用される単数形「ａ」、「ａｎ」、および「ｔｈｅ」が、文脈が別段に明確に規定するのでなければ、複数形の言及を含むことにも留意されたい。

【0061】

さらに、１つまたは複数のコンピュータ可読記憶媒体が、本開示に従う実施形態を実装する際に利用され得る。コンピュータ可読記憶媒体は、プロセッサによって可読な情報またはデータが記憶され得る任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、（１つまたは複数の）プロセッサに本明細書で説明された実施形態に従うステップまたは段階を実施させるための命令を含む、１つまたは複数のプロセッサが実行するための命令を記憶し得る。「コンピュータ可読媒体」という用語は、有形の品物を含み、搬送波および過渡信号を除外し、すなわち、非一時的であることを理解されよう。例は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハード・ドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュ・ドライブ、ディスク、および任意の他の知られている物理的記憶媒体を含む。

【0062】

本開示および例は例示にすぎないと見なされ、開示された実施形態の真の範囲および趣旨は以下の特許請求の範囲によって示されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【外国語明細書】

2020087418000001.pdf