特許 7451373 図面構造化システムおよび図面構造化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-08

(45)【発行日】2024-03-18

(54)【発明の名称】図面構造化システムおよび図面構造化方法

(51)【国際特許分類】

   G06F 30/12 20200101AFI20240311BHJP

   G06F 30/27 20200101ALI20240311BHJP

【ＦＩ】

G06F30/12

G06F30/27

【請求項の数】 10

(21)【出願番号】P 2020171941

(22)【出願日】2020-10-12

(65)【公開番号】P2022063599

(43)【公開日】2022-04-22

【審査請求日】2023-02-27

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】110001380

【氏名又は名称】弁理士法人東京国際特許事務所

(72)【発明者】

【氏名】高倉 啓

(72)【発明者】

【氏名】西 優弥

(72)【発明者】

【氏名】芝 広樹

【審査官】松浦 功

(56)【参考文献】

【文献】特開２００５－２９３０４２（ＪＰ，Ａ）

【文献】特開２０１８－２０６２５０（ＪＰ，Ａ）

【文献】特開２０１９－１０１５１４（ＪＰ，Ａ）

【文献】特開平０９－１９８４１６（ＪＰ，Ａ）

【文献】特開平０７－１０５３５３（ＪＰ，Ａ）

【文献】米国特許第０５２５１２６８（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３０／３０ －３０／３９８

(57)【特許請求の範囲】

【請求項1】

シンボルの属性を示す属性情報および前記シンボルと線分との接続関係を定義するためのルールが記憶された構造化ルール定義データベースと、
ラスタ形式図面に描かれている前記シンボルを認識するシンボル認識機能部と、
前記ラスタ形式図面をベクタ形式図面に変換するベクタ変換機能部と、
前記シンボル認識機能部の認識結果に基づいて特定された前記シンボルを前記ベクタ形式図面に配置するとともに、前記構造化ルール定義データベースに記憶された前記属性情報と前記ルールを用いて、前記シンボルに対して前記属性情報を付与して前記ベクタ形式図面を構造化する構造化機能部と、
を備える、
図面構造化システム。

【請求項2】

前記構造化ルール定義データベースには、予め構造化された前記シンボルと前記ベクタ形式図面における前記シンボルの形状の特徴を示す特徴情報とが互いに対応付けられて記憶されており、
前記構造化機能部は、前記シンボル認識機能部の認識された前記シンボルが前記構造化ルール定義データベースに記憶された前記特徴情報を一致する場合に、前記構造化ルール定義データベースに予め記憶された前記シンボルを前記ベクタ形式図面に配置する、
請求項１に記載の図面構造化システム。

【請求項3】

前記シンボル認識機能部の前記認識結果に誤りがあるか否かを確認可能なシンボル確認情報を出力するとともに、誤りがある前記認識結果に対応する前記シンボルを修正する操作を受け付ける誤認識チェック機能部を備える、
請求項１または請求項２に記載の図面構造化システム。

【請求項4】

前記誤認識チェック機能部により修正された前記シンボルの前記認識結果とこれに対応して前記シンボル認識機能部にて用いられた認識設定値とを含む誤認識データを蓄積する誤認識データ蓄積部を備える、
請求項３に記載の図面構造化システム。

【請求項5】

前記誤認識データ蓄積部に蓄積された誤認識データに基づいて、前記シンボル認識機能部にて用いる前記認識設定値を調整する最適認識学習部を備える、
請求項４に記載の図面構造化システム。

【請求項6】

前記構造化機能部は、前記シンボルが認識された前記ラスタ形式図面の座標を特定し、前記ベクタ形式図面の前記座標に対応する位置に前記シンボルを配置する、
請求項１から請求項５のいずれか１項に記載の図面構造化システム。

【請求項7】

前記シンボル認識機能部は、
深層学習により前記シンボルの特徴量を学習した学習済モデルが記憶されたシンボル認識データベースと、
前記シンボル認識データベースに記憶された前記学習済モデルに基づいて前記シンボルを認識するシンボル認識器と、
を備える、
請求項１から請求項６のいずれか１項に記載の図面構造化システム。

【請求項8】

複数の前記シンボルが描かれたラスタ形式の１枚の図面を前記シンボルが描かれた部分以外の部分で区切って複数枚の学習用図面を生成する学習用図面生成部と、
前記学習用図面に基づいて前記学習済モデルを生成する学習済モデル生成部と、
を備える、
請求項７に記載の図面構造化システム。

【請求項9】

前記シンボル認識データベースが前記シンボルのテンプレート画像を記憶するとともに、前記シンボル認識器が前記シンボル認識データベースに記憶された前記テンプレート画像に基づいて前記シンボルを認識するものであり、
前記シンボル認識機能部は、前記学習済モデルに基づく前記認識結果と前記テンプレート画像に基づく前記認識結果のうち認識率が高い方を選択する認識結果選択部を備える、
請求項７または請求項８に記載の図面構造化システム。

【請求項10】

シンボルの属性を示す属性情報および前記シンボルと線分との接続関係を定義するためのルールを構造化ルール定義データベースに記憶するステップと、
シンボル認識機能部が、ラスタ形式図面に描かれている前記シンボルを認識するステップと、
ベクタ変換機能部が、前記ラスタ形式図面をベクタ形式図面に変換するステップと、
構造化機能部が、前記シンボル認識機能部の認識結果に基づいて特定された前記シンボルを前記ベクタ形式図面に配置するとともに、前記構造化ルール定義データベースに記憶された前記属性情報と前記ルールを用いて、前記シンボルに対して前記属性情報を付与して前記ベクタ形式図面を構造化するステップと、
を含む、
図面構造化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、図面構造化技術に関する。

【背景技術】

【0002】

プラントの系統図または回路図などの多数の機器または部品が描かれた図面がある。図面に描かれた機器または部品などの要素はシンボルと称される。このような図面はラスタ形式で大量に保存されている。従来、ラスタ形式図面をベクタ形式図面に変換することで、シンボル同士の繋がりを示す構造化データを作成する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－２０６２５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術では、ラスタ形式図面からベクタ形式図面に変換した後に、このベクタ形式図面に描かれているシンボルの認識（抽出）を行っている。そのため、ベクタ形式図面に変換したときに生じた誤差が、シンボルの認識の精度に上乗せされてしまい構造化の精度を低下させてしまうという課題がある。

【0005】

本発明の実施形態は、このような事情を考慮してなされたもので、図面に描かれたシンボルの認識の精度を向上させることができる図面構造化技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施形態に係る図面構造化システムは、シンボルの属性を示す属性情報および前記シンボルと線分との接続関係を定義するためのルールが記憶された構造化ルール定義データベースと、ラスタ形式図面に描かれている前記シンボルを認識するシンボル認識機能部と、前記ラスタ形式図面をベクタ形式図面に変換するベクタ変換機能部と、前記シンボル認識機能部の認識結果に基づいて特定された前記シンボルを前記ベクタ形式図面に配置するとともに、前記構造化ルール定義データベースに記憶された前記属性情報と前記ルールを用いて、前記シンボルに対して前記属性情報を付与して前記ベクタ形式図面を構造化する構造化機能部と、を備える。

【発明の効果】

【0007】

本発明の実施形態により、図面に描かれたシンボルの認識の精度を向上させることができる図面構造化技術が提供される。

【図面の簡単な説明】

【0008】

【図1】図面構造化システムを示すブロック図。

【図2】シンボル認識機能部を示すブロック図。

【図3】構造化機能部を示すブロック図。

【図4】ラスタ形式図面を示す説明図。

【図5】ラスタ形式図面に描かれたシンボルを示す説明図。

【図6】図面構造化システムが実行する処理を示すフローチャート。

【図7】図面構造化システムが実行する処理を示すフローチャート。

【図8】図面構造化システムが実行する処理を示すフローチャート。

【図9】図面構造化システムが実行する処理を示すフローチャート。

【図10】図面構造化システムが実行する処理を示すフローチャート。

【図11】図面構造化システムが実行する処理を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、図面構造化システムおよび図面構造化方法の実施形態について詳細に説明する。

【0010】

図１の符号１は、本実施形態の図面構造化システムである。この図面構造化システム１は、ラスタ形式図面２をベクタ形式図面に変換し、このベクタ形式図面に基づいて構造化図面３を自動的に生成するものである。なお、ラスタ形式図面２、ベクタ形式図面、構造化図面３は、いずれも電子化された電子ファイル（電子データ）であるものとして説明する。

【0011】

本実施形態で変換の対象となるラスタ形式図面２としては、例えば、プラントに関する図面がある。ここで、プラントに関する図面としては、プラントの建屋、配置図、Ｐ＆ＩＤ（配管計装線図）、ＥＣＷＤ（展開接続図）、ＩＢＤ（インターロックブロック図）、単結線図、ソフトロジック図などがある。

【0012】

これらの図面の多くは、紙、または紙をスキャナで読み取ってラスタ形式図面２として管理されている。このようなラスタ形式図面２では、図面に描かれている記号、配線、部品などの互いの関係性を示す情報が失われており、構造化された図面となっていない。これに対して、ＣＡＤソフトを用いて作成される構造化図面３は、記号、配線、部品などの互いの関係性を示す情報を付与しながら作成されるため、構造化された図面となっている。

【0013】

ラスタ形式図面２を、ＣＡＤソフトを用いて作成されたような構造化図面３に変換することができれば、構造化図面３を用いてプラントの回路または系統を探索し、その挙動を模擬するようなシミュレーションに適用することができる。例えば、プラントにおけるアイソレーション作業を計画するシステムの構築が可能になる。また、プラント以外においても、例えば、上下水道の配管に関するラスタ形式の図面を構造化すると、構造化した図面を用いて配管の破損による漏水影響、または予測を行うシミュレーションが可能となる。そこで、本実施形態の図面構造化システム１は、ラスタ形式図面２をベクタ形式図面に変換し、これを構造化図面３する処理を行う。このようにすれば、既存のラスタ形式図面２を有効に活用することができる。

【0014】

ラスタ形式図面２（ビットマップ画像）とは、図面に描かれている機器、弁、ポンプ、電子素子、回路、配管、配線、表、文字などが全てドット（ピクセル）の集合体である図面である。紙図面、または紙図面をスキャナで読み取ったＴＩＦ、ＰＤＦ、ＪＰＥＧなどの電子ファイル図面である。なお、以下の説明では、図面に描かれた機器、弁、ポンプ、電子素子、回路などの構成要素をシンボル４（図５）と称する。例えば、シンボル４が電子素子である場合には、コイル、スイッチ、ランプなどを含む。

【0015】

なお、シンボル４には、所定の記号、表、文字などが含まれる場合がある。また、配管、配線などのシンボル４に接続される構成要素を線分５（図５）と称する。なお、線分５は、直線でも良いし、曲線でも良いし、屈曲された線でも良い。

【0016】

ラスタ形式図面２では、描かれているぞれぞれのシンボル４に対し、シンボル４の属性を示す属性情報とシンボル４に接続される線分５を示す接続情報とが付与されていない。つまり、構造化されていない図面である。

【0017】

属性情報とは、シンボル４の種別（例えば、コイル、Ａ接点、ポンプなどの種類）、シンボル４の名称（例えば、機器の識別番号）、シンボル４の詳細スペックなどに関する情報のことである。また、線分の種別（例えば、配線、配管などの種類）、線分の名称（例えば、配管の識別番号）、線分の詳細スペックなどに関する情報のことである。なお、線分が配管の場合には内部を流れる流体の種類などに関する情報のことである。また、盤枠８の盤名称などに関する情報のことである。

【0018】

接続情報とは、例えば、配線同士が接続されているか、または、配管といずれのシンボルとが接続されているかといった接続先（接続関係）を示す情報のことである。この接続情報には、配線または配管などの線分５に関する情報が含まれている。なお、ベクタ形式図面（ベクタ画像）とは、線分５の始点および終点の座標と、線分５を表す関数などによって構成された図面である。

【0019】

また、構造化図面３とは、少なくとも文字および英数字以外のシンボル４と線分５などがベクタ形式で描かれている図面（ベクタ画像）である。構造化図面３では、描かれているぞれぞれのシンボル４と線分５に対し、属性情報と接続情報とが付与されている。また、シンボル４と線分５とを含む構造要素に、文字（英数字含む）情報が属性情報として関連付けられている。

【0020】

構造化図面３に描かれているシンボル４には、階層を示す階層情報が付与されている。そのため、構造化されたシンボルを含むデータを階層ごとに分類して記録媒体に記録することができる。

【0021】

図５は、展開接続図を示す。この展開接続図には、例えば、シンボル４に含まれるリレー６が描かれている。本実施形態の属性情報とは、例えば、シンボル４がリレー６であることと、このリレー６が「４９Ｘ」という機器名称（文字９）を有し、さらに配線７ａ，７ｂとの接続点である「６Ａ」と「６Ｂ」を有することを示す情報である。また、接続情報とは、例えば、リレー６の接続点「６Ａ」が配線７ａと接続されており、さらに配線７ａがリレー６とその接続点に接続されていることを示す情報である。展開接続図には、盤枠８なども記載されている。さらに、英数字を含む文字９なども記載されている。

【0022】

なお、シンボル４が弁またはポンプなどの機器の場合には、属性情報は、例えば、ポンプなどの機器の種類および名称などの情報である。また、配管の場合には、配管の種類、名称、流体の種類に関する情報である。接続情報は、弁またはポンプなどの機器と配管との接続関係を示した情報である。

【0023】

次に、図面構造化システム１のシステム構成を図１から図３に示すブロック図を参照して説明する。

【0024】

図１に示すように、図面構造化システム１は、事前処理部１０とベクタ変換機能部１１と文字認識機能部１２とシンボル認識機能部１３と誤認識チェック機能部１４と構造化機能部１５と誤認識データ蓄積部１６と最適認識学習部１７と構造化チェック機能部１８と誤構造化データ蓄積部１９と最適構造化学習部２０と学習用図面生成部２１と学習済モデル生成部２２とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

【0025】

さらに、図面構造化システム１は、構造化ルール定義データベース２３とデータ構造定義データベース２４とシンボル認識データベース２５とを備える。これらは、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

【0026】

構造化ルール定義データベース２３には、構造化ルール情報登録部２６と属性情報登録部２７と接続情報登録部２８と最適構造化学習データ登録部２９とが設けられている（図３）。データ構造定義データベース２４には、階層情報登録部３０が設けられている（図３）。シンボル認識データベース２５には、学習済モデル登録部３１とテンプレート画像登録部３２とが設けられている（図２）。

【0027】

本実施形態の図面構造化システム１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の図面構造化方法は、各種プログラムをコンピュータに実行させることで実現される。

【0028】

なお、図面構造化システム１は、パーソナルコンピュータに実装されても良いし、所定の施設の内部に設けたサーバに構築されても良いし、外部の施設に設けたサーバに構築されてもいし、ネットワーク上のクラウドサーバに構築されても良い。

【0029】

図面構造化システム１の各構成は、必ずしも１つのコンピュータに設ける必要はない。例えば、ネットワークで互いに接続された複数のコンピュータを用いて１つの図面構造化システム１を実現しても良い。

【0030】

なお、特に図示はしないが、図面構造化システム１は、これを使用するユーザの操作に応じて所定の情報が入力される情報入力部を備える。この情報入力部には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が図面構造化システム１に入力される。

【0031】

本実施形態の図面構造化システム１には、処理結果の出力を行うディスプレイなどの画像の表示を行う装置が含まれる。つまり、図面構造化システム１が行う情報の出力の制御には、ディスプレイに表示される画像の制御が含まれる。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。さらに、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を図面構造化システム１が行っても良い。

【0032】

なお、本実施形態では、画像の表示を行う装置としてディスプレイを例示するが、その他の態様であっても良い。例えば、プロジェクタを用いて情報の表示を行っても良い。さらに、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、情報の出力の制御の対象として、プロジェクタまたはプリンタが含まれても良い。

【0033】

図１に示すように、事前処理部１０は、ラスタ形式図面２に含まれる斑点、汚れ、歪み、欠けなどのノイズを除去して修正する処理を実行する。この処理は、図面構造化システム１に入力されたラスタ形式図面２が、ベクタ変換機能部１１と文字認識機能部１２とシンボル認識機能部１３に入力される前に実施される事前処理である。なお、ノイズの除去および修正は、予め設定された設定値に基づく画像処理により実施される。

【0034】

なお、紙をスキャナで読み取って生成されたラスタ形式図面２である場合には、読み取られた図が傾いていたり、倍率（縮尺）が異なっていたりする場合がある。そこで、事前処理部１０が、図の傾きまたは倍率を修正する処理を実行しても良い。また、同一の形状のシンボル４であっても、シンボル４が傾いて記載されていたり、倍率（縮尺）が異なって記載されていたりする場合がある。そこで、事前処理部１０が、シンボル４の傾きまたは倍率を修正する処理を実行しても良い。

【0035】

ベクタ変換機能部１１は、ラスタ形式図面２をベクタ形式図面に変換するベクタ変換処理を実行する。ここで、ラスタ形式図面２に含まれる文字９（英数字含む）およびシンボル４以外をベクタ変換したものが、本実施形態のベクタ形式図面である。

【0036】

ベクタ変換機能部１１は、ラスタ形式図面２をベクタ形式図面に変換する前に、文字９について事前に設定された条件に適合するラスタ形式図面２に含まれる画像を特定し、これらの画像をベクタ変換対象外に指定しても良い。そして、ベクタ変換機能部１１は、ラスタ形式図面２に含まれる文字９以外をベクタ変換しても良い。なお、事前に設定された条件としては、例えば、ラスタ形式図面２に含まれる１０ピクセル以内の画像を文字９とみなすものとする。

【0037】

また、ベクタ変換機能部１１は、ラスタ形式図面２をベクタ形式図面に変換する前に、シンボル４について事前に設定された条件に適合するラスタ形式図面２に含まれる画像を特定し、これらの画像をベクタ変換対象外に指定しても良い。そして、ベクタ変換機能部１１は、ラスタ形式図面２に含まれるシンボル４以外をベクタ変換しても良い。なお、事前に設定された条件としては、例えば、ラスタ形式図面２に含まれる所定の特徴量を有する形状を成す画像をシンボル４とみなすものとする。

【0038】

なお、ベクタ変換機能部１１では、ラスタ形式図面２に含まれる文字９も含めて、ラスタ形式図面２をベクタ形式図面に変換しても良い。また、ラスタ形式図面２に含まれるシンボル４も含めて、ラスタ形式図面２をベクタ形式図面に変換しても良い。そして、ベクタ変換機能部１１で変換された文字９またはシンボル４は、文字認識機能部１２またはシンボル認識機能部１３で認識された文字９またはシンボル４と置換されても良い。これらの置換の際には、認識率が高い方が選択されるようにしても良い。

【0039】

文字認識機能部１２は、ラスタ形式図面２から文字９（英数字を含む）を認識するものである。なお、ラスタ形式図面２からベクタ形式図面に変換された後に、このベクタ形式図面から文字９を認識するようしても良い。即ち、文字認識機能部１２は、ラスタ形式図面２に含まれる文字９を認識可能となっているとともに、ベクタ変換機能部１１により変換されたベクタ形式図面に含まれる文字９を認識可能となっている。

【0040】

図２に示すように、シンボル認識機能部１３は、ラスタ形式図面２に描かれているシンボル４を認識する。このシンボル認識機能部１３は、シンボル認識器３３と認識結果選択部３４と認識ルール設定部３５とを備える。さらに、シンボル認識器３３は、画像リサイズ処理部３６と座標認識部３７と深層学習画像認識部３８とテンプレート画像認識部３９とを備える。

【0041】

シンボル認識機能部１３は、ラスタ形式図面２が入力されたときに、ラスタ形式図面２に描かれているシンボル４の認識結果４０として、シンボル４の種類、シンボル４の座標、シンボル４の認識率を出力する。

【0042】

シンボル４の種類は、機器、弁、ポンプ、電子素子、回路要素などの構成要素の種類を示す。シンボル４の座標は、ラスタ形式図面２における所定の位置を原点として絶対座標を規定したときに、その座標におけるシンボル４の位置を示す。シンボル４の認識率は、シンボル認識データベース２５に予め登録されたシンボル４に関する情報とラスタ形式図面２のシンボル４から抽出されたシンボル４に関する情報との一致率（認識精度）を示す。

【0043】

なお、認識ルール設定部３５には、シンボル認識ルールとしてのシンボル４を認識するときの認識設定値として所定の閾値が設定されている。例えば、認識設定値が閾値以下の場合には、認識が失敗したと判定し、認識設定値が閾値を超える場合には、認識が成功したと判定する。また、認識設定値には、閾値以外の設定値が含まれていても良い。例えば、ベクタ変換のときに用いる変換設定値が含まれていても良い。

【0044】

シンボル認識器３３は、シンボル４を認識する処理を実行する。ここで、画像リサイズ処理部３６は、ラスタ形式図面２の画像のリサイズを実行する。画像の傾き、または倍率（縮尺）などを、シンボル４が認識し易いように調整する。

【0045】

座標認識部３７は、ラスタ形式図面２におけるシンボル４の座標の位置を認識する。この座標認識部３７が、シンボル４の座標の位置を認識することで、前述のベクタ変換機能部１１が変換したベクタ形式図面の同じ座標位置に、シンボル認識機能部１３が認識したシンボル４を配置することができる。なお、シンボルの座標位置の認識は、深層学習画像認識部３８またはテンプレート画像認識部３９で行っても良い。

【0046】

深層学習画像認識部３８は、シンボル認識データベース２５に記憶された学習済モデルに基づいて、ラスタ形式図面２のシンボル４を認識する。例えば、座標認識部３７で指定した位置にある画像を、深層学習画像認識部３８の学習済みモデルに入力する。そして、入力した画像中に含まれるシンボル４の認識を行うことが可能である。このようにすれば、深層学習に基づく画像認識技術を用いてラスタ形式図面２のシンボル４を認識させることができる。このシンボル４の認識には、どのような種別のシンボルなのかを分類することが含まれても良い。

【0047】

なお、深層学習画像認識部３８は、ラスタ形式図面２にあるシンボル４の座標の認識と、シンボル４の認識とを合わせて行っても良い。

【0048】

テンプレート画像認識部３９は、シンボル認識データベース２５に記憶されたテンプレート画像に基づいて、ラスタ形式図面２のシンボル４を認識する。例えば、テンプレート画像の特徴点を捉えることでシンボル４の認識を行うことが可能である。なお、テンプレート画像は、認識対象となっているシンボル４のひな型となる画像である。１種類のシンボル４に対して複数のテンプレート画像が登録されていても良い。

【0049】

なお、テンプレート画像認識部３９は、ラスタ形式図面２にあるシンボル４の座標の認識と、シンボル４の認識とを合わせて行っても良い。

【0050】

学習済モデルは、シンボル認識データベース２５の学習済モデル登録部３１に予め登録されている。これらの学習済モデルは、深層学習によりシンボル４の特徴量を学習させて生成されたものである。また、テンプレート画像は、シンボル認識データベース２５のテンプレート画像登録部３２に予め登録されている。つまり、シンボル認識データベース２５が、学習済モデルを記憶するとともに、シンボル４のテンプレート画像を記憶する。

【0051】

本実施形態のシンボル認識器３３は、深層学習画像認識部３８およびテンプレート画像認識部３９以外の認識部（認識器）を備えていても良い。また、深層学習画像認識部３８およびテンプレート画像認識部３９などの複数の認識部を組み合せてシンボル４の認識をしても良い。

【0052】

認識結果選択部３４は、学習済モデルに基づく認識結果とテンプレート画像に基づく認識結果のうち認識率が高い方を選択する。このようにすれば、認識率の高い方の認識結果に基づいてシンボル４を認識することができるため、シンボル４の認識の精度を向上させることができる。

【0053】

例えば、深層学習画像認識部３８（第１種の分類器）は、深層学習を用いた手法である。深層学習を用いた手法は教師データを準備して、その特徴を学習させる必要がある。そのため、学習が不充分であると検出精度が低いといったデメリットがある。一方、図面の変化またはノイズに対して比較的ロバストであるというメリットがある。

【0054】

テンプレート画像認識部３９（第２種の分類器）は、テンプレートマッチングと呼ばれる手法を用いる。テンプレートマッチングとは、認識対象の図面の中に、テンプレート画像として用意したシンボル４の画像が存在するかを探索する手法である。テンプレート画像は、定型形状のシンボル群で構成されているため、テンプレートマッチング有効である。テンプレートマッチングは、特徴点抽出処理または教師データの準備などが不要であるため、導入が容易といったメリットがある。一方、ノイズまたは歪みなどの影響、または図面の僅かな違いの影響を受け易いといったデメリットがある。

【0055】

本実施形態では、これら２種類の分類器を組み合わせることで、高精度にシンボル４を検出できるようにしている。また、後述する構造化を行う処理で、ベクタ変換の結果と、シンボル認識結果とを合成するために、ラスタ形式図面２の縮尺、基準点座標を取得するための処理も併せて行うようにしても良い。

【0056】

なお、シンボル認識データベース２５に登録されているシンボル４に関する情報は、構造化ルール定義データベース２３にも予め登録されている（図３）。そして、シンボル認識データベース２５に登録されている情報と、構造化ルール定義データベース２３に登録されている情報とでシンボル４の定義に関して連携がとられている。例えば、「ＳＡ１」という名称のシンボル４がシンボル認識データベース２５に登録されている場合には、構造化ルール定義データベース２３にも「ＳＡ１」の定義情報が登録されている。

【0057】

図１に示すように、誤認識チェック機能部１４は、ベクタ変換機能部１１にてベクタ変換されたベクタ形式図面に誤変換があるか否かを確認する。また、誤認識チェック機能部１４は、文字認識機能部１２にて認識された文字９に誤りがあるか否かを確認する。さらに、誤認識チェック機能部１４は、シンボル認識機能部１３にて認識されたシンボル４に誤りがあるか否かを確認する。誤認識（誤変換）の確認は、自動的に行っても良いし、人手により行っても良い。なお、誤認識（誤変換）がある場合には、その修正を行う。

【0058】

本実施形態の誤認識チェック機能部１４は、図面構造化システム１が備えるディスプレイに、ベクタ形式図面に誤変換があるか否かを確認可能な変換確認情報を出力する。また、誤認識チェック機能部１４は、認識された文字９に誤りがあるか否かを確認可能な文字確認情報をディスプレイに出力する。さらに、誤認識チェック機能部１４は、認識されたシンボル４に誤りがあるか否かを確認可能なシンボル確認情報をディスプレイに出力する。図面構造化システム１のユーザは、ディスプレイに出力されたそれぞれの確認情報を確認して誤認識（誤変換）があるか否かを判断する。なお、確認情報は、例えば、シンボル４または文字９の認識率などである。この認識率が所定の閾値以下（例えば、５０％以下）である場合に、確認情報として対応するシンボル４または文字９を出力する。

【0059】

誤認識の態様としては、例えば、ベクタ形式図面の配線が未接続になること、または、ベクタ形式図面のシンボル４が本来ならば円形状であるのに対して多角形状になることなどである。

【0060】

ユーザは、誤認識があると判断した場合に、その誤認識箇所（誤変換箇所）を修正する操作を行う。この操作を受け付けた誤認識チェック機能部１４は、誤認識箇所を修正する処理を実行する。例えば、誤認識チェック機能部１４が、誤りがある認識結果（変換結果）に対応するシンボル４を修正する操作を受け付けて、これを修正する処理を実行することができる。このようにすれば、誤った認識結果に基づいてベクタ形式図面に配置されたシンボル４を修正することができる。

【0061】

誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正されたベクタ形式図面とこれに対応してベクタ変換機能部１１にて用いられた変換設定値とを含む誤認識データを蓄積する。また、誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正された文字９とこれに対応して文字認識機能部１２にて用いられた認識設定値とを含む誤認識データを蓄積する。さらに、誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正されたシンボル４の認識結果とこれに対応してシンボル認識機能部１３にて用いられた認識設定値とを含む誤認識データを蓄積する。このようにすれば、過去の誤認識データを蓄積してその後の調整に利用することができる。

【0062】

最適認識学習部１７には、誤認識データ蓄積部１６に蓄積されたベクタ変換機能部１１の誤変換に関する情報（ベクタ変換前のラスタ形式図面２と、ベクタ変換機能部１１により誤変換された結果と、誤認識チェック機能部１４により修正された変換結果と、ベクタ変換機能部１１が誤変換した際の変換設定値）が入力される。

【0063】

そして、最適認識学習部１７は、誤認識データ蓄積部１６から入力されたベクタ変換機能部１１の誤変換に関する情報をもとに、ベクタ変換機能部１１による誤変換の発生率を低減させる最適な変換設定値を演算して学習する。なお、誤変換のデータが多数ある場合には、最適認識学習部１７は、多層のニューラルネットワークを用いた深層学習を使用しても良い。最適認識学習部１７は、さらに、演算した最適な変換設定値をベクタ変換機能部１１にフィードバックして、このベクタ変換機能部１１におけるベクタ変換の変換設定値を更新させる。

【0064】

また、最適認識学習部１７には、誤認識データ蓄積部１６に蓄積された文字認識機能部１２の誤認識に関する情報（誤認識前のラスタ形式図面２と、文字認識機能部１２により誤認識された結果と、誤認識チェック機能部１４により修正された認識結果と、文字認識機能部１２が誤認識した際の認識設定値）が入力される。

【0065】

そして、最適認識学習部１７は、誤認識データ蓄積部１６から入力された文字認識機能部１２の誤認識に関する情報をもとに、文字認識機能部１２による誤認識の発生率を低減させる最適な認識設定値を演算して学習する。なお、誤認識のデータが多数ある場合には、最適認識学習部１７は、多層のニューラルネットワークを用いた深層学習を使用しても良い。最適認識学習部１７は、さらに、演算した最適な認識設定値を文字認識機能部１２にフィードバックして、この文字認識機能部１２における文字９の認識設定値を更新させる。

【0066】

さらに、最適認識学習部１７には、誤認識データ蓄積部１６に蓄積されたシンボル認識機能部１３の誤認識に関する情報（誤認識前のラスタ形式図面２と、シンボル認識機能部１３により誤認識された結果と、誤認識チェック機能部１４により修正された認識結果と、シンボル認識機能部１３が誤認識した際の認識設定値）が入力される。

【0067】

そして、最適認識学習部１７は、誤認識データ蓄積部１６から入力されたシンボル認識機能部１３の誤認識に関する情報をもとに、シンボル認識機能部１３による誤認識の発生率を低減させる最適な認識設定値を演算して学習する。なお、誤認識のデータが多数ある場合には、最適認識学習部１７は、多層のニューラルネットワークを用いた深層学習を使用しても良い。最適認識学習部１７は、さらに、演算した最適な認識設定値をシンボル認識機能部１３にフィードバックして、このシンボル認識機能部１３におけるシンボル４の認識設定値を更新させる。

【0068】

つまり、最適認識学習部１７は、誤認識データ蓄積部１６に蓄積された誤認識データに基づいて、シンボル認識機能部１３にて用いる認識設定値を調整する。このようにすれば、過去に行われた誤認識の修正に基づいて、シンボル認識機能部１３のシンボル４の認識の精度を向上させることができる。

【0069】

図３に示すように、構造化ルール定義データベース２３は、ベクタ形式図面に描かれている構成要素（例えば、配線、図枠、盤枠、回路要素、表構造、操作スイッチ展開図、渡り線など）を構造化する際のルールを規定したデータベースである。

【0070】

構造化ルール情報登録部２６は、構造化ルール定義データベース２３の一部である。この構造化ルール情報登録部２６には、構成要素の特徴を規定する情報が登録されている。つまり、予め構造化されたシンボル４と、ベクタ形式図面におけるシンボル４または線分の形状の特徴を示す特徴情報とが互いに対応付けられて記憶されている。さらに、ベクタ形式図面におけるシンボル４の特徴（形状）を示す特徴情報が、シンボル４の種類を個々に識別可能な識別情報に対応付けて登録されている。シンボル４の識別情報とは、例えば、シンボル４の名称でも良いし、シンボルＩＤでも良い。

【0071】

例えば、ベクタ形式図面において、配線（図５の線分５）の特徴は、所定長さ以上の実線である。所定の回路要素（シンボル４）の特徴としては、例えば、回路要素がリレー６の場合は、図５に示すように、円および所定長さ未満の実線を組み合わせたものが特徴となる。また、線分については、例えば盤枠８の特徴は２点鎖線である。

【0072】

また、属性情報登録部２７には、シンボル４の識別情報に対応付けて、シンボル４の属性を示す属性情報（プロパティ）が登録されている。さらに、接続情報登録部２８には、シンボル４と線分（配線または配管）との接続関係を定義するためのルールを示す登録されている。

【0073】

データ構造定義データベース２４は、構造化された構造要素のデータを分類して記録する際に基準となるデータ構造の階層（レイヤー）を規定したデータベースである。例えば、データ構造定義データベース２４の階層情報登録部３０には、シンボル４の識別情報に対応付けて、データ構造の階層を示す階層情報が登録されている。

【0074】

なお、構造化された配線のデータおよびシンボル４のデータは、データ構造定義データベース２４に登録されたデータ構造の階層に基づいて、図示しない記録媒体に階層構造で分類して記録することができる。

【0075】

構造化機能部１５は、シンボル認識機能部１３の認識結果に基づいて特定されたシンボル４をベクタ形式図面に配置する処理を実行する。さらに、構造化機能部１５は、構造化ルール定義データベース２３に記憶された属性情報を参照するとともに、シンボル４と線分との接続関係を定義するためのルールに従って、シンボル４に属性情報と接続情報とを付与してベクタ形式図面を構造化する処理を実行する。

【0076】

例えば、構造化機能部１５は、構造化ルール定義データベース２３（構造化ルール情報登録部２６を含む）を参照し、シンボル認識機能部１３の認識されたシンボル４が構造化ルール定義データベース２３に記憶された特徴情報を一致するか否かを判定する。そして、特徴情報が一致する場合に、構造化ルール定義データベース２３に予め記憶されたシンボル４をベクタ形式図面に配置する。このようにすれば、予め構造化された精度の高いシンボル４をベクタ形式図面に配置することができる。

【0077】

また、構造化機能部１５は、シンボル４が認識されたラスタ形式図面２の座標と、ベクタ形式図面との対応関係を算出し、ラスタ形式図面２で特定された座標に対応するベクタ形式図面の座標位置にシンボル４を配置する処理を実行する。このようにすれば、ラスタ形式図面２とベクタ形式図面の互いの座標に基づいてシンボル４の配置ができるため、構造化の精度を向上させることができる。

【0078】

構造化されるときの属性情報について説明する。例えば、ラスタ形式図面２のシンボル４をシンボル認識器３３で認識する。ここで、シンボル４の名称を特定したとする。ここで、シンボル４の形状情報と名称とを、その対応関係を記憶した構造化ルール情報登録部２６を用いて照合する。

【0079】

また、属性情報登録部２７に登録されている属性情報の一部の値が空になっているとする。ここで、構造化情報付与部４４は、属性情報の一部の空になっている値に、ラスタ形式図面２から取得した文字情報を入れるようにする。例えば、シンボル変換機能部４３が、ベクタ形式図面で所定のシンボル４を構造化したものと置換したとする。ここで、構造化情報付与部４４は、ラスタ形式図面２で所定のシンボル４の付近の文字情報を属性情報として登録する。

【0080】

構造化されるときの接続情報について説明する。例えば、構造化情報付与部４４が、ベクタ化された線分を配線として定義するとともに、この線分の近くにある文字情報を配線の属性情報として定義したとする。ここで、構造化情報付与部４４は、配線とシンボル４との接続情報を定義する。例えば、接続情報は、所定の配線が第１器具に接続されるとともに、この配線が枝分かれして第２器具と第３器具に接続されるなどを示す情報である。

【0081】

シンボル４と線分とが、どのような場合に接続しているか、逆に接続していないかなどの定義に関するルールが、接続情報登録部２８に登録されている。例えば、接続情報登録部２８には、シンボル４の端点から近傍の線分までの距離が、１０ミリ以上離れている場合には、互いに接続されていないものと見なすなどのルールが登録される。

【0082】

また、構造化機能部１５は、ベクタ形式図面に配置されたシンボル４および線分５などの構造化のデータを、データ構造定義データベース２４に登録された階層情報に基づいて階層ごとに分類し、図示しない記録媒体に記録する。

【0083】

本実施形態の構造化機能部１５は、配線抽出機能部４１と図枠抽出機能部４２とシンボル変換機能部４３と構造化情報付与部４４と表構造抽出機能部４５と操作スイッチ展開図抽出機能部４６と図面描写機能部４７と図面名称付与機能部４８とを備える。

【0084】

構造化機能部１５の配線抽出機能部４１は、ベクタ形式図面に描かれている線分５である配線（図５）を抽出する。例えば、配線を抽出する場合において、配線抽出機能部４１は、まず、ベクタ形式図面において、所定長さ以上の実線を探索して抽出する。次に、配線抽出機能部４１は、この抽出した実線が構造化ルール定義データベース２３に登録された配線の特徴（実線）と一致するか否かを判定する。ここで、一致する場合に、この抽出した実線を構造化ルール定義データベース２３に登録した配線であると定義して構造化する。その後、配線抽出機能部４１は、その構造化した配線のデータを、データ構造定義データベース２４で定義されたデータ構造の階層に基づいて、記録媒体に分類して記録し、その配線に識別番号（線番号）を付する。

【0085】

図枠抽出機能部４２は、ベクタ形式図面に描かれている図枠または盤枠８（図５）などを抽出する。例えば、盤枠８を抽出する場合において、図枠抽出機能部４２は、まず、ベクタ形式図面において２点鎖線を探索して抽出する。次に、構造化機能部１５は、この抽出した２点鎖線が構造化ルール定義データベース２３に登録された盤枠の特徴（２点鎖線）と一致するか否かを判定する。ここで、一致する場合に、この抽出した２点鎖線を構造化ルール定義データベース２３に登録した盤枠８であると定義して構造化する。その後、構造化機能部１５は、その構造化した盤枠８のデータを、データ構造定義データベース２４で定義されたデータ構造の階層に基づいて、記録媒体に分類して記録する。さらに、必要な場合に、その盤枠に識別番号（線番号）を付する。なお、構造化機能部１５は、図枠についても盤枠８と同様に図枠を定義し、そのデータを記録する。さらに、図面名称付与機能部４８は、図面名称、図面作成者、系統などに関する情報を図枠に付与する。

【0086】

シンボル変換機能部４３は、ベクタ形式図面にシンボル４を配置して構造化する。例えば、シンボル変換機能部４３は、まず、シンボル認識機能部１３で認識したシンボル４と、構造化ルール定義データベース２３（構造化ルール情報登録部２６）に登録されているシンボル４の定義とが一致しているかを判定する。ここで、一致する場合に、構造化ルール定義データベース２３に登録されているシンボル４をベクタ形式図面に配置して構造化するものである。

【0087】

なお、一致とは、例えば、シンボル４の名称（シンボルＩＤ）が一致するものであれば良い。例えば、シンボル認識機能部１３により「ＳＡ１」というシンボル４として認識されたものに対して、構造化ルール定義データベース２３にも「ＳＡ１」という名称のシンボルが登録されていた場合は、両者が一致したとみなせる。

【0088】

その後、構造化情報付与部４４は、構造化されたシンボル４に対して、構造化ルール定義データベース２３に登録された属性情報および接続情報を含む構造化情報を付与する。さらに、構造化情報付与部４４は、構造化されたシンボル４に対して、データ構造定義データベース２４に登録された階層情報（構造化情報）を付与する。そして、データ構造定義データベース２４で定義されたデータ構造の階層に基づいて、シンボル４を含むデータを記録媒体に分類して記録し、それぞれのシンボル４に識別番号を付与する。

【0089】

なお、構造化機能部１５が備える表構造抽出機能部４５、操作スイッチ展開図抽出機能部４６、図面描写機能部４７、図面名称付与機能部４８についても、前述の配線抽出機能部４１などと同様の処理を実行する。例えば、表構造抽出機能部４５は、ベクタ形式図面において抽出した表構造などの特徴が構造化ルール定義データベース２３に登録された表構造などの特徴と一致するか否かを判定する。ここで、一致する場合に、ベクタ形式図面の表構造などを、構造化ルール定義データベース２３に登録された表構造などであると定義して構造化する。そして、構造化機能部１５は、この構造化した表構造などデータ構造定義データベース２４のデータ構造の階層を基準に分類して記録し、必要な場合に表構造などに識別番号を付する。また、操作スイッチ展開図抽出機能部４６は、展開接続図にあるカムスイッチなどの接点構成について書かれた操作スイッチ展開図を抽出する。また、図面描写機能部４７は、図面の描写を調整する。例えば、シンボルの配置の補正、斜めになった配線の補正、配管の図面上での描写位置の補正などを行う。なお、これらの補正は、接続関係を変更せずに、あくまでも見た目上の描写位置を変更し、図面の視認性を向上させるものである。また、図面名称付与機能部４８は、名称、図面作成者、系統などに関する情報を図面に付与する。

【0090】

構造化チェック機能部１８は、構造化機能部１５が構造化した構造化結果（即ち、構造化図面３）について、構造化ルール定義データベース２３に基づいて構造化されていない不適切な構造化結果であるか否かを確認する。構造化結果の確認は、自動的に行っても良いし、人手により行っても良い。そして、不適切な構造化結果がある場合には、その修正を行う。なお、この構造化チェック機能部１８において、不適切な構造化結果が無いと判定されたものは、図面構造化システム１から構造化図面３として出力される。

【0091】

ここで、不適切な構造化結果とは、例えば、線分５である配線（図５）が未結線である、属性情報が必要な構造要素に属性情報が付与されていない、配線（線分５）またはシンボル４などのように識別番号が必要な構造要素に識別番号が付与されていないことである。さらに、シンボル４の位置が適切な座標からずれていることも不適切な構造化結果に含まれる。

【0092】

本実施形態の構造化チェック機能部１８は、図面構造化システム１が備えるディスプレイに、不適切な構造化結果を確認可能な構造化確認情報を出力する。また、図面構造化システム１のユーザは、ディスプレイに出力された構造化確認情報を確認して不適切な構造化結果であるか否かを判断する。

【0093】

ユーザは、不適切な構造化結果であると判断した場合に、不適切な部分を修正する操作を行う。この操作を受け付けた構造化チェック機能部１８は、不適切な部分を修正する処理を実行する。

【0094】

誤構造化データ蓄積部１９は、構造化チェック機能部１８が構造化機能部１５による構造化結果について修正した事象に関して、構造化前のベクタ形式図面と、構造化機能部１５により出力された修正が必要な構造化結果と、構造化チェック機能部１８により修正された結果と、修正が必要な構造化結果を出力した際の構造化機能部１５の構造化設定値（構造化のルール）とを蓄積する。このようにすれば、過去の不適切な構造化データを蓄積してその後の調整に利用することができる。

【0095】

最適構造化学習部２０には、誤構造化データ蓄積部１９に蓄積された情報（構造化前のベクタ形式図面と、構造化機能部１５により出力された修正が必要な構造化結果と、構造化チェック機能部１８により修正された結果と、修正が必要な構造化結果を出力した際の構造化機能部１５の構造化設定値）が入力される。

【0096】

そして、最適構造化学習部２０は、誤構造化データ蓄積部１９から入力された情報をもとに、構造化機能部１５による修正が必要な構造化結果の発生数を低減させる最適な構造化設定値を演算して学習する。なお、不適切な構造化データが多数ある場合には、最適構造化学習部２０は、多層のニューラルネットワークを用いた深層学習を使用しても良い。さらに、最適構造化学習部２０は、演算した最適な構造化設定値を構造化ルール定義データベース２３（構造化ルール情報登録部２６を含む）にフィードバックして、この構造化ルール定義データベース２３の構造化設定値（構造化のルール）を更新させる。

【0097】

図１に示すように、学習用図面生成部２１は、複数のシンボル４が描かれたラスタ形式の１枚の図面をシンボル４が描かれた部分以外の部分で区切って複数枚の学習用図面４９を生成する。これらの学習用図面４９は、機械学習に用いられる。

【0098】

例えば、図４に１枚の図面を例示する。この図において正方形の破線（枠線）で囲まれた部分が学習用図面４９であるとする。１枚の図面から複数の学習用図面４９を生成する場合には、それぞれの学習用図面４９の縁辺（枠線）が、図面の余白部分または線分５を横断するように図面を区分けする。つまり、学習用図面４９の縁辺が、シンボル４を横断しないようにする。なお、複数の学習用図面４９は、互いに重複する範囲があっても良い。それぞれの学習用図面４９には、シンボル４の形状が維持された状態で描かれるようになる。そのため、シンボル４の形状に関するデータを漏れなく作成することができ、効率的に学習することができる。

【0099】

図１に示すように、学習済モデル生成部２２は、学習用図面４９に基づいて学習済モデルを生成する。このようにすれば、１枚の図面から複数枚の学習用図面４９を生成することができ、学習に必要な枚数の学習用図面４９を確保することができる。なお、学習済モデル生成部２２で生成された学習済モデルは、シンボル認識データベース２５の学習済モデル登録部３１（図２）に登録される。なお、ラスタ形式の１枚の図面を区切って複数枚の学習用図面４９に分割する作業は、自動的に行っても良いし、人手により行っても良い。

【0100】

なお、図面構造化システム１には、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータが含まれても良い。例えば、ベクタ変換機能部１１、文字認識機能部１２、シンボル認識機能部１３、構造化機能部１５、最適認識学習部１７、最適構造化学習部２０、学習済モデル生成部２２には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。

【0101】

本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

【0102】

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

【0103】

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

【0104】

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

【0105】

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

【0106】

例えば、シンボル認識器３３の深層学習画像認識部３８にＣＮＮを用いることで、ラスタ形式図面２に含まれるシンボルの種別を分類することができる。まず、シンボル形状などの特徴と、シンボルの種別（例えば、コイル、接点、ポンプなどの種別）との対応関係を学習させたＣＮＮの学習済みモデルを準備する。この学習済みモデルに対して、シンボルを含むラスタ形式の画像を入力すると、入力した画像に含まれるシンボルの種別を出力する。

【0107】

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

【0108】

また、画像内の物体のクラス分類と物体の位置検出とを行う物体検出手法を用いても良い。この物体検出手法は、座標認識部３７と深層学習画像認識部３８の役割に相当する。代表的な物体検出手法として、例えば、Ｒ－ＣＮＮ（Regional CNN）、ＳＳＤ（Single Shot MultiBox Detector）、ＹＯＬＯ(You only look once)などがある。また、物体検出手法の代わりに、画像中のピクセルが、どのクラスに所属するかを分類するセグメンテーション手法を用いることも可能である。

【0109】

次に、図面構造化システム１が実行する処理について図６から図１１のフローチャートを用いて説明する。なお、図１から図３に示すブロック図を適宜参照する。以下のステップは、図面構造化システム１が実行する少なくとも一部の処理であり、図面構造化システム１が実行する処理に他のステップが含まれても良い。

【0110】

なお、以下の処理を実行する前に、構造化ルール定義データベース２３とデータ構造定義データベース２４とシンボル認識データベース２５に各種情報が予め記憶される。例えば、構造化ルール定義データベース２３には、シンボル、配線、配管の属性を示す属性情報と、シンボルと線分（配線または配管）との接続関係を定義するためのルールが予め記憶される。

【0111】

図６に示すように、まず、ステップＳ１１において、図面構造化システム１には、ラスタ形式図面２が入力される。ここで、事前処理部１０は、この入力されたがラスタ形式図面２に斑点または汚れなどのノイズがあるか否かを判定する。ここで、ラスタ形式図面２にノイズがある場合には、事前処理部１０がノイズを除去するなどの所定の修正処理を実行する。さらに、事前処理部１０が図の傾きまたは倍率を修正する処理を実行しても良い。そして、ステップＳ１２、ステップＳ１５、ステップＳ１８に進む。なお、これらのステップは並列に実行される。

【0112】

ステップＳ１２において、ベクタ変換機能部１１は、ラスタ形式図面２をベクタ形式図面に変換する処理を実行する。

【0113】

次のステップＳ１３において、誤認識チェック機能部１４は、図面構造化システム１が備えるディスプレイに、ベクタ形式図面に誤変換があるか否かを確認可能な変換確認情報を出力する。

【0114】

次のステップＳ１４において、誤認識チェック機能部１４は、ベクタ形式図面の誤変換を修正する操作を受け付けたか否か、つまり、ベクタ形式図面に誤変換があるか否かを判定する。ここで、ベクタ形式図面に誤変換がない場合（ステップＳ１４にてＮＯの場合）は、ステップＳ２１に進む。一方、ベクタ形式図面に誤変換がある場合（ステップＳ１４にてＹＥＳの場合）は、ステップＳ３１に進む。

【0115】

図８に示すように、ステップＳ３１において、誤認識チェック機能部１４は、ベクタ形式図面の誤変換を修正する処理を実行する。そして、ステップＳ３２、ステップＳ３５に進む。なお、これらのステップは並列に実行される。

【0116】

ステップＳ３２において、誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正されたベクタ形式図面とこれに対応してベクタ変換機能部１１にて用いられた変換設定値とを含む誤認識データを蓄積する。

【0117】

次のステップＳ３３において、最適認識学習部１７には、誤認識データ蓄積部１６に蓄積されたベクタ変換機能部１１の誤変換に関する情報が入力される。ここで、最適認識学習部１７は、誤認識データ蓄積部１６から入力されたベクタ変換機能部１１の誤変換に関する情報をもとに、ベクタ変換機能部１１による誤変換の発生率を低減させる最適な変換設定値を演算して学習する。

【0118】

次のステップＳ３４において、最適認識学習部１７は、演算した最適な変換設定値をベクタ変換機能部１１にフィードバックして、このベクタ変換機能部１１におけるベクタ変換の変換設定値を更新させる。そして、ステップＳ２２に進む。

【0119】

ステップＳ３５において、誤認識チェック機能部１４は、修正結果である修正されたベクタ形式図面を構造化機能部１５に入力する。そして、ステップＳ２２に進む。

【0120】

図６に示すように、ステップＳ１５において、文字認識機能部１２は、ラスタ形式図面２に描かれている文字９を認識する処理を実行する。

【0121】

次のステップＳ１６において、誤認識チェック機能部１４は、図面構造化システム１が備えるディスプレイに、認識された文字９に誤りがあるか否かを確認可能な文字確認情報を出力する。

【0122】

次のステップＳ１７において、誤認識チェック機能部１４は、誤認識された文字９を修正する操作を受け付けたか否か、つまり、文字９の誤認識があるか否かを判定する。ここで、文字９の誤認識がない場合（ステップＳ１７にてＮＯの場合）は、ステップＳ２１に進む。一方、文字９の誤認識がある場合（ステップＳ１７にてＹＥＳの場合）は、ステップＳ４１に進む。

【0123】

図９に示すように、ステップＳ４１において、誤認識チェック機能部１４は、誤認識された文字９を修正する処理を実行する。そして、ステップＳ４２、ステップＳ４５に進む。なお、これらのステップは並列に実行される。

【0124】

ステップＳ４２において、誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正された文字９とこれに対応して文字認識機能部１２にて用いられた認識設定値とを含む誤認識データを蓄積する。

【0125】

次のステップＳ４３において、最適認識学習部１７には、誤認識データ蓄積部１６に蓄積された文字認識機能部１２の誤認識に関する情報が入力される。ここで、最適認識学習部１７は、誤認識データ蓄積部１６から入力された文字認識機能部１２の誤認識に関する情報をもとに、文字認識機能部１２による誤認識の発生率を低減させる最適な認識設定値を演算して学習する。

【0126】

次のステップＳ４４において、最適認識学習部１７は、演算した最適な認識設定値を文字認識機能部１２にフィードバックして、この文字認識機能部１２における文字９の認識設定値を更新させる。そして、ステップＳ２２に進む。

【0127】

ステップＳ４５において、誤認識チェック機能部１４は、修正結果である修正された文字９を構造化機能部１５に入力する。そして、ステップＳ２２に進む。

【0128】

図６に示すように、ステップＳ１８において、シンボル認識機能部１３は、ラスタ形式図面２に描かれているシンボル４を認識する処理を実行する。

【0129】

次のステップＳ１９において、誤認識チェック機能部１４は、図面構造化システム１が備えるディスプレイに、認識されたシンボル４に誤りがあるか否かを確認可能なシンボル確認情報を出力する。

【0130】

次のステップＳ２０において、誤認識チェック機能部１４は、誤認識されたシンボル４を修正する操作を受け付けたか否か、つまり、シンボル４の誤認識があるか否かを判定する。ここで、シンボル４の誤認識がない場合（ステップＳ２０にてＮＯの場合）は、ステップＳ２１に進む。一方、シンボル４の誤認識がある場合（ステップＳ２０にてＹＥＳの場合）は、ステップＳ５１に進む。

【0131】

図１０に示すように、ステップＳ５１において、誤認識チェック機能部１４は、誤認識されたシンボル４を修正する処理を実行する。そして、ステップＳ５２、ステップＳ５５に進む。なお、これらのステップは並列に実行される。

【0132】

ステップＳ５２において、誤認識データ蓄積部１６は、誤認識チェック機能部１４により修正されたシンボル４とこれに対応してシンボル認識機能部１３にて用いられた認識設定値とを含む誤認識データを蓄積する。

【0133】

次のステップＳ５３において、最適認識学習部１７には、誤認識データ蓄積部１６に蓄積されたシンボル認識機能部１３の誤認識に関する情報が入力される。ここで、最適認識学習部１７は、誤認識データ蓄積部１６から入力されたシンボル認識機能部１３の誤認識に関する情報をもとに、シンボル認識機能部１３による誤認識の発生率を低減させる最適な認識設定値を演算して学習する。

【0134】

次のステップＳ５４において、最適認識学習部１７は、演算した最適な認識設定値をシンボル認識機能部１３にフィードバックして、このシンボル認識機能部１３におけるシンボル４の認識設定値を更新させる。そして、ステップＳ２２に進む。

【0135】

ステップＳ５５において、誤認識チェック機能部１４は、修正結果である修正されたシンボル４を構造化機能部１５に入力する。そして、ステップＳ２２に進む。

【0136】

図７に示すように、ステップＳ２１において、ベクタ変換機能部１１は、変換結果である変換したベクタ形式図面を構造化機能部１５に入力する。また、文字認識機能部１２は、認識結果である認識したシンボル４を構造化機能部１５に入力する。また、シンボル認識機能部１３は、認識結果である認識したシンボル４を構造化機能部１５に入力する。

【0137】

次のステップＳ２２において、構造化機能部１５は、構造化対象のベクタ形式図面のデータ構造に関する情報をデータ構造定義データベース２４から取得する。例えば、データ構造定義データベース２４の階層情報登録部３０に登録された階層情報を取得する。

【0138】

次のステップＳ２３において、構造化機能部１５は、ベクタ形式図面を構造化するときのルールに関する情報を、構造化ルール定義データベース２３の構造化ルール情報登録部２６から取得する。

【0139】

次のステップＳ２４において、構造化機能部１５は、ベクタ形式図面に配置するシンボル４に関する情報を、構造化ルール定義データベース２３から取得する。例えば、構造化機能部１５は、シンボル４の属性情報を属性情報登録部２７から取得するとともに、シンボルと線分（配線または配管）との接続関係を定義するためのルールを接続情報登録部２８から取得する。

【0140】

次のステップＳ２５において、構造化機能部１５は、ベクタ変換機能部１１による変換結果（ベクタ形式図面）と、文字認識機能部１２による文字９の認識結果と、シンボル認識機能部１３によるシンボル４の認識結果とに基づいて、ベクタ形式図面の構造要素を構造化して、構造化図面３を生成する処理を実行する。例えば、構造化機能部１５は、シンボル認識機能部１３の認識結果に基づいて特定されたシンボル４をベクタ形式図面に配置するとともに、構造化ルール定義データベース２３に記憶された属性情報と接続情報とをシンボル４に付与してベクタ形式図面を構造化する。さらに、構造化機能部１５は、この構造化されたデータを、データ構造定義データベース２４のデータ構造の階層に基づいて分類して所定の記録媒体に記録する。

【0141】

次のステップＳ２６において、構造化チェック機能部１８は、図面構造化システム１が備えるディスプレイに、不適切な構造化結果を確認可能な構造化確認情報を出力する。

【0142】

次のステップＳ２７において、構造化チェック機能部１８は、不適切な部分を修正する操作を受け付けたか否か、つまり、構造化図面３を修正する必要があるか否かを判定する。ここで、構造化図面３を修正する必要がない場合（ステップＳ２７にてＮＯの場合）は、ステップＳ２８に進む。一方、構造化図面３を修正する必要がある場合（ステップＳ２８にてＹＥＳの場合）は、ステップＳ６１に進む。

【0143】

ステップＳ２８において、構造化チェック機能部１８は、構造化図面３を図面構造化システム１から出力する。そして、処理を終了する。

【0144】

図１１に示すように、ステップＳ６１において、構造化チェック機能部１８は、構造化図面３の不適切な部分を修正する処理を実行する。そして、ステップＳ６２、ステップＳ６５に進む。なお、これらのステップは並列に実行される。

【0145】

ステップＳ６２において、誤構造化データ蓄積部１９は、構造化前のベクタ形式図面と文字９とシンボル４と、修正が必要な構造化結果と、構造化チェック機能部１８により修正された結果と、修正が必要な構造化結果を出力したときの構造化機能部１５の構造化設定値（構造化ルール）とを、誤構造化データ蓄積部１９に蓄積する。

【0146】

次のステップＳ６３において、最適構造化学習部２０には、誤構造化データ蓄積部１９に蓄積された各種情報が入力される。ここで、最適構造化学習部２０は、誤構造化データ蓄積部１９から入力された構造化に関する各種情報をもとに、修正が必要な構造化図面３の発生率を低減させる最適な構造化設定値を演算して学習する。

【0147】

次のステップＳ６４において、最適構造化学習部２０は、演算した最適な構造化設定値を構造化ルール定義データベース２３にフィードバックして、この構造化ルール定義データベース２３における構造化設定値を更新させる。そして、処理を終了する。

【0148】

ステップＳ６５において、構造化チェック機能部１８は、修正結果である修正された構造化図面３を図面構造化システム１から出力する。そして、処理を終了する。

【0149】

なお、本実施形態において、基準値（閾値）を用いた任意の値（認識設定値、変換設定値、認識率、構造化設定値など）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

【0150】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0151】

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

【0152】

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

【0153】

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

【0154】

なお、本実施形態では、プラントに関連したラスタ形式図面２を構造化図面３に変換する形態を例示しているが、その他の態様であっても良い。例えば、車両、船舶、航空機などに関するラスタ形式図面２を構造化図面３に変換するものでも良い。

【0155】

なお、本実施形態の図面構造化システム１は、誤認識データ蓄積部１６と最適認識学習部１７と誤構造化データ蓄積部１９と最適構造化学習部２０とを備えていないものでも良い。また、図面構造化システム１は、学習用図面生成部２１と学習済モデル生成部２２とを備えていないものでも良い。

【0156】

以上説明した実施形態によれば、ラスタ形式図面に描かれているシンボルを認識するシンボル認識機能部を備えることにより、図面に描かれたシンボルの認識の精度を向上させることができる。

【0157】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0158】

１…図面構造化システム、２…ラスタ形式図面、３…構造化図面、４…シンボル、５…線分、６…リレー、７ａ，７ｂ…配線、８…盤枠、９…文字、１０…事前処理部、１１…ベクタ変換機能部、１２…文字認識機能部、１３…シンボル認識機能部、１４…誤認識チェック機能部、１５…構造化機能部、１６…誤認識データ蓄積部、１７…最適認識学習部、１８…構造化チェック機能部、１９…誤構造化データ蓄積部、２０…最適構造化学習部、２１…学習用図面生成部、２２…学習済モデル生成部、２３…構造化ルール定義データベース、２４…データ構造定義データベース、２５…シンボル認識データベース、２６…構造化ルール情報登録部、２７…属性情報登録部、２８…接続情報登録部、２９…最適構造化学習データ登録部、３０…階層情報登録部、３１…学習済モデル登録部、３２…テンプレート画像登録部、３３…シンボル認識器、３４…認識結果選択部、３５…認識ルール設定部、３６…画像リサイズ処理部、３７…座標認識部、３８…深層学習画像認識部、３９…テンプレート画像認識部、４０…認識結果、４１…配線抽出機能部、４２…図枠抽出機能部、４３…シンボル変換機能部、４４…構造化情報付与部、４５…表構造抽出機能部、４６…操作スイッチ展開図抽出機能部、４７…図面描写機能部、４８…図面名称付与機能部、４９…学習用図面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】