IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社四電工の特許一覧

<>
  • 特許-図面認識方法および図面認識装置 図1
  • 特許-図面認識方法および図面認識装置 図2
  • 特許-図面認識方法および図面認識装置 図3
  • 特許-図面認識方法および図面認識装置 図4
  • 特許-図面認識方法および図面認識装置 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-01-15
(45)【発行日】2025-01-23
(54)【発明の名称】図面認識方法および図面認識装置
(51)【国際特許分類】
   G06V 30/422 20220101AFI20250116BHJP
【FI】
G06V30/422
【請求項の数】 6
(21)【出願番号】P 2024179376
(22)【出願日】2024-10-11
【審査請求日】2024-10-11
【早期審査対象出願】
(73)【特許権者】
【識別番号】000180357
【氏名又は名称】株式会社四電工
(74)【代理人】
【識別番号】100134979
【弁理士】
【氏名又は名称】中井 博
(74)【代理人】
【識別番号】100167427
【弁理士】
【氏名又は名称】岡本 茂樹
(72)【発明者】
【氏名】水野 智文
(72)【発明者】
【氏名】白川 朗
【審査官】佐田 宏史
(56)【参考文献】
【文献】特開平02-069885(JP,A)
【文献】特開平02-027495(JP,A)
【文献】国際公開第2021/225108(WO,A1)
【文献】特開2004-259076(JP,A)
【文献】特開昭60-120480(JP,A)
【文献】米国特許出願公開第2017/0169290(US,A1)
【文献】瀬見井 加有、外3名,“Dempster-Shafer理論を用いた図面中の文字認識”,電子情報通信学会論文誌,日本,社団法人電子情報通信学会,1996年05月25日,Vol.J79-D-II, No.5,pp.996-999
(58)【調査した分野】(Int.Cl.,DB名)
G06V 30/422
(57)【特許請求の範囲】
【請求項1】
図面認識装置が、図面ファイルに含まれるシンボルおよび傍記を抽出する図面認識方法であって、
図面認識装置が、
前記図面ファイルから、シンボル抽出に使用するシンボル抽出用図面ファイルを形成する図面ファイル形成工程と、
該図面ファイル形成工程で形成された前記シンボル抽出用図面ファイルからシンボルを抽出するシンボル抽出工程と、
前記シンボル抽出工程において抽出された複数のシンボルについて各シンボルを中心とする傍記探索エリアをそれぞれ前記シンボル抽出用図面ファイルに設定する傍記探索エリア設定工程と、
前記傍記探索エリア設定工程で設定された前記傍記探索エリアで検出される図形から各シンボルに対応する傍記を抽出する傍記抽出工程と、を実施し、
前記傍記探索エリア設定工程および/または前記傍記抽出工程では、
前記シンボル抽出工程において抽出された代表となる複数のシンボルについて設定された前記傍記探索エリアにおいて、傍記テンプレートリストに登録されている傍記テンプレートの大きさを変更しながら該傍記テンプレートと前記代表となる複数のシンボルについて設定された傍記探索エリアで検出される図形とのマッチング処理を実施して類似度が最も高くなる傍記テンプレートの大きさである抽出用テンプレートサイズを決定し、
前記傍記抽出工程では、
決定された前記抽出用テンプレートサイズの傍記テンプレートを使用して、前記傍記探索エリアに含まれる傍記を抽出する
ことを特徴とする図面認識方法。
【請求項2】
前記傍記抽出工程では、
前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出し、
該複数の傍記候補のうち、前記シンボルとの距離が最も近い傍記候補をシンボルと紐づけする
ことを特徴とする請求項1記載の図面認識方法。
【請求項3】
前記傍記抽出工程では、
前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出し、
該抽出された複数の傍記候補について、シンボルと傍記との関連性が記憶されている管理リストに基づいて、前記傍記候補を抽出した傍記探索エリアを設定したシンボルと紐づけする傍記候補を決定する
ことを特徴とする請求項1記載の図面認識方法。
【請求項4】
図面ファイルに含まれるシンボルおよび傍記を抽出する図面認識装置であって、
該図面認識装置は、
前記図面ファイルから、シンボル抽出に使用するシンボル抽出用図面ファイルを形成する図面ファイル形成部と、
該図面ファイル形成部で形成された前記シンボル抽出用図面ファイルからシンボルを抽出するシンボル抽出部と、
前記シンボル抽出部で抽出された複数のシンボルについて各シンボルを中心とする傍記探索エリアをそれぞれ前記シンボル抽出用図面ファイルに設定する傍記探索エリア設定部と、
該傍記探索エリア設定部で設定された前記傍記探索エリアで検出される図形から各シンボルに対応する傍記を抽出する傍記抽出部と、を備えており、
前記傍記抽出部および/または前記傍記探索エリア設定部は、
前記シンボル抽出部において抽出された代表となる複数のシンボルについて設定された前記傍記探索エリアにおいて、傍記テンプレートリストに登録されている傍記テンプレートの大きさを変更しながら該傍記テンプレートと前記代表となる複数のシンボルについて設定された傍記探索エリアで検出される図形とのマッチング処理を実施して類似度が最も高くなる傍記テンプレートの大きさである抽出用テンプレートサイズを決定する機能を有しており、
前記傍記抽出部は、
決定された前記抽出用テンプレートサイズの傍記テンプレートを使用して、前記傍記探索エリアに含まれる傍記を抽出する機能を有している
ことを特徴とする図面認識装置。
【請求項5】
前記傍記抽出部は、
前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出する機能と、
該複数の傍記候補のうち、前記シンボルとの距離が最も近い傍記候補をシンボルと紐づけする機能と、を有している
ことを特徴とする請求項4記載の図面認識装置。
【請求項6】
前記傍記抽出部は、
前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出する機能を有しており、
該抽出された複数の傍記候補について、シンボルと傍記との関連性が記憶されている管理リストに基づいて、該傍記候補を抽出した前記傍記探索エリアを設定したシンボルと紐づけする傍記候補を決定する機能を有している
ことを特徴とする請求項4記載の図面認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、図面認識方法および図面認識装置に関する。さらに詳しくは、各種図面から各種記号や記号の近傍に記載され記号が表す設備や機器等の仕様を補足する文字等を関連付けて抽出する図面認識方法および図面認識装置に関する。
【背景技術】
【0002】
現在、様々な図面の作成において、CADソフトを使用した図面の作成が一般的になっている。CADソフトを使用して作成された図面が提供される場合には、CADデータではなく、PDF形式に変換されたデータや紙ベースの図面(以下単に紙ベース図面等という場合がある)で提供されることがあり、これらの図面に記載されている種々の情報を取得する必要が生じる場合がある。例えば、建築用の設計図面であれば、設備の記号(以下シンボルという場合がある)や記号に関連した文字や図形(以下単に傍記という場合がある)、配線などの情報が多数含まれており、シンボルや傍記を抽出することが必要になる場合がある。しかし、建築用の設計図面では、シンボルや傍記と配線等が重なり合った状態やシンボル同士が非常に近接した状態で設計図面に記載されているため、シンボルや傍記を精度よく抽出することは難しく、紙ベース図面等からシンボルや傍記を精度よく抽出するための技術が開発されている(特許文献1~5参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2004-259076号公報
【文献】特開2006-227824号公報
【文献】特許第7234719号公報
【文献】特開2001-92967号公報
【文献】特開平11-126216号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1~5の技術では、テンプレートマッチングによって図面中の図形や文字を抽出するものであるが、配線やシンボルなどが混在する図面では、適切なテンプレートマッチングを実施することが難しく、シンボルなどを精度よく抽出することが難しい。とくに、シンボルと傍記とが関連付けて記載されている場合に、両者を関連付けた状態で精度よくシンボルや傍記を抽出することは難しい。
【0005】
本発明は上記事情に鑑み、図面からシンボルと傍記を精度よく抽出し両者を関連付けてデータ化することができる図面認識方法および図面認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
<図面認識方法>
第1発明の図面認識方法は、図面認識装置が、図面ファイルに含まれるシンボルおよび傍記を抽出する図面認識方法であって、図面認識装置が、前記図面ファイルから、シンボル抽出に使用するシンボル抽出用図面ファイルを形成する図面ファイル形成工程と、該図面ファイル形成工程で形成された前記シンボル抽出用図面ファイルからシンボルを抽出するシンボル抽出工程と、前記シンボル抽出工程において抽出された複数のシンボルについて各シンボルを中心とする傍記探索エリアをそれぞれ前記シンボル抽出用図面ファイルに設定する傍記探索エリア設定工程と、前記傍記探索エリア設定工程で設定された前記傍記探索エリアで検出される図形から各シンボルに対応する傍記を抽出する傍記抽出工程と、を実施し、前記傍記探索エリア設定工程および/または前記傍記抽出工程では、前記シンボル抽出工程において抽出された代表となる複数のシンボルについて設定された前記傍記探索エリアにおいて、傍記テンプレートリストに登録されている傍記テンプレートの大きさを変更しながら該傍記テンプレートと前記代表となる複数のシンボルについて設定された傍記探索エリアで検出される図形とのマッチング処理を実施して類似度が最も高くなる傍記テンプレートの大きさである抽出用テンプレートサイズを決定し、前記傍記抽出工程では、決定された前記抽出用テンプレートサイズの傍記テンプレートを使用して、前記傍記探索エリアに含まれる傍記を抽出することを特徴とする。
第2発明の図面認識方法は、第1発明において、前記傍記抽出工程では、前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出し、該複数の傍記候補のうち、前記シンボルとの距離が最も近い傍記候補をシンボルと紐づけすることを特徴とする。
第3発明の図面認識方法は、第1発明において、前記傍記抽出工程では、前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出し、該抽出された複数の傍記候補について、シンボルと傍記との関連性が記憶されている管理リストに基づいて、前記傍記探索エリアを設定したシンボルと紐づけする傍記候補を決定することを特徴とする。
<図面認識装置>
第4発明の図面認識装置は、図面ファイルに含まれるシンボルおよび傍記を抽出する図面認識装置であって、該図面認識装置は、前記図面ファイルから、シンボル抽出に使用するシンボル抽出用図面ファイルを形成する図面ファイル形成部と、該図面ファイル形成部で形成された前記シンボル抽出用図面ファイルからシンボルを抽出するシンボル抽出部と、前記シンボル抽出部で抽出された複数のシンボルについて各シンボルを中心とする傍記探索エリアをそれぞれ前記シンボル抽出用図面ファイルに設定する傍記探索エリア設定部と、該傍記探索エリア設定部で設定された前記傍記探索エリアで検出される図形から各シンボルに対応する傍記を抽出する傍記抽出部と、を備えており、前記傍記抽出部および/または前記傍記探索エリア設定部は、前記シンボル抽出部において抽出された代表となる複数のシンボルについて設定された前記傍記探索エリアにおいて、傍記テンプレートリストに登録されている傍記テンプレートの大きさを変更しながら該傍記テンプレートと前記代表となる複数のシンボルについて設定された傍記探索エリアで検出される図形とのマッチング処理を実施して類似度が最も高くなる傍記テンプレートの大きさである抽出用テンプレートサイズを決定する機能を有しており、前記傍記抽出部は、決定された前記抽出用テンプレートサイズの傍記テンプレートを使用して、前記傍記探索エリアに含まれる傍記を抽出する機能を有していることを特徴とする。
第5発明の図面認識装置は、第4発明において、前記傍記抽出部では、前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出する機能と、該複数の傍記候補のうち、前記シンボルとの距離が最も近い傍記候補をシンボルと紐づけする機能と、を有していることを特徴とする。
第6発明の図面認識装置は、第4発明において、前記傍記抽出部では、前記傍記探索エリアに含まれる複数の図形を傍記候補として抽出する機能を有しており、シンボルと傍記との関連性が記憶されている管理リストに基づいて、該傍記候補を抽出した前記傍記探索エリアを設定したシンボルと紐づけする傍記候補を決定する機能を有していることを特徴とする。
【発明の効果】
【0007】
<図面認識方法>
第1発明によれば、傍記の抽出精度を高くできるとともに、関連するシンボルと傍記とを適切に紐づけして記憶することができる。
第2発明によれば、シンボルとこのシンボルと関連性の高い傍記とを容易に紐づけすることができる。
第3発明によれば、シンボルとこのシンボルと関連性の高い傍記とを紐づけする精度を高くすることができる。
<図面認識装置>
第4発明によれば、傍記の抽出精度を高くできるとともに、関連するシンボルと傍記とを適切に紐づけして記憶することができる。
第5発明によれば、シンボルとこのシンボルと関連性の高い傍記とを容易に紐づけすることができる。
第6発明によれば、シンボルとこのシンボルと関連性の高い傍記とを紐づけする精度を高くすることができる。
【図面の簡単な説明】
【0008】
図1】本実施形態の図面認識方法のフロー図である。
図2】本実施形態の図面認識装置1の概略ブロック図である。
図3】(A)は元図面ファイルS1の一例を示した図であり、(B)はシンボル抽出用図面ファイルS2の一例を示した図である。
図4】(A)シンボル抽出用図面ファイルS2に含まれる各シンボルについて傍記探索エリアSAを設定した状態の一例を示す図であり、(B)はシンボル抽出用図面ファイルS2に含まれる選択されたシンボルについて傍記探索エリアSAを設定した状態の一例を示した図である。
図5】(A)は抽出シンボルファイルS4の一例を示した図であり、(B)は傍記テンプレートリストTPの一例を示した図であり、(C)は管理リストCRの一例を示した図である。
【発明を実施するための形態】
【0009】
本実施形態の図面認識方法は、建設用図面などの図面ファイルからシンボルや傍記を抽出する方法であって、シンボルと傍記との関連性を維持しつつ精度よく傍記を抽出できるようにしたことに特徴を有している。
【0010】
本実施形態の図面認識方法によってシンボルなどが抽出される元となる図面ファイルはとくに限定されない。図面ファイルには、紙に印刷などされている図面をスキャンなどしてデータ化した図面ファイル(画像がピクセルデータで構成された図面ファイル)や、CADで描かれた図面を変換して作成された図面ファイル(データ中のシンボルなどが個々に情報を持っている図面ファイル)などを挙げることができる。例えば、前者のファイルとしてはラスターPDFファイルやPNGファイルなどのラスター形式の図面ファイルをあげることができ、後者のファイルとしてはベクターPDFファイルやSVGファイルなどのベクター形式の図面ファイルを挙げることができる。本実施形態の図面認識方法によってシンボルなどが抽出される元となる図面ファイルは、前述したラスター形式の図面ファイルとベクター形式の図面ファイルのいずれでもよい。なお、以下ではシンボルなどが抽出される元となる図面ファイルを単に元図面ファイルという。
【0011】
以下の説明では、シンボルなどが抽出される元となる図面が建設用図面である場合を代表として説明するが、本実施形態の図面認識方法によってシンボルなどを抽出する図面はとくに限定されない。また、以下の説明では、シンボルなどが抽出される元となる図面が建設用図面であるので、「シンボル」とは、建造物の設備などに使用される電気・機械部品機器を図式的に表す記号を意味するものになる。また、「傍記」とは、前述したシンボルで表される電気・機械部品機器の仕様を補足する文字や記号であってシンボルに隣接して記載されるものを意味するものになる。
【0012】
<本実施形態の図面認識装置1>
まず、本実施形態の図面認識方法を実施するおよび図面認識装置1を説明する。
なお、図2に示すように、図面認識装置1は後述する各部が形成する図面ファイルなどをディスプレイDSに表示する表示機能や、キーボードやマウスなどの入力機器ISを使用して必要な情報を入力したり必要な操作を指示したりする入力機能を有していてもよい。
【0013】
<データ入力部2>
図2に示すように、本実施形態の図面認識方法を実施する装置1(以下単に図面認識装置1という)は、元図面ファイルS1(図3(A)参照)を作成するデータ入力部2を有している。このデータ入力部2は、元図面ファイルS1を作成する元となる図面ファイルを入力する機能を有するものである。例えば、元となる図面ファイルがベクターPDFファイルなどのベクター形式の図面ファイルやラスターPDFファイルなどのラスター形式の図面ファイルであれば、図面データをUSBなどの記憶媒体から受け入れたりインターネットなどの回線を通じて受信したりする機能(データ受信機能)を有している。なお、元図面ファイルS1が図面ファイルとなっていれば、データ入力部2が受け入れた図面ファイルはそのまま元図面ファイルS1とすることができる。
また、データ入力部2は、元図面ファイルS1を作成する元となる図面が紙に印刷等された図面であれば、その図面をスキャン処理などによりデータ化してラスターPDFファイルなどのラスター形式の図面ファイルとして保存された元図面ファイルS1を作成する機能を有している。
なお、データ入力部2で受信または作成した元図面ファイルS1は記憶部10に送信され記憶される。
【0014】
<図面ファイル形成部3>
図2に示すように、図面認識装置1は、図面ファイル形成部3を有している。図面ファイル形成部3は、データ入力部2で受信または作成した元図面ファイルS1からシンボル抽出用図面ファイルS2を形成する機能を有するものである。そして、図面ファイル形成部3は、作成されたシンボル抽出用図面ファイルS2を記憶部10に送信する機能を有しており、記憶部10に送信されたシンボル抽出用図面ファイルS2は記憶部10に記憶される。
【0015】
図面ファイル形成部3が元図面ファイルS1からシンボル抽出用図面ファイルS2を形成する方法は、とくに限定されない。例えば、図面ファイル形成部3は、元図面ファイルS1から背景削除処理(画像処理によりしきい値を超えた細い線の消去や塗りつぶし領域の消去、あるいは人の手による特徴領域指定による背景処理)等を行うことによってPNGファイルであるシンボル抽出用図面ファイルS2を形成することができる。
【0016】
<シンボル抽出部4>
図2に示すように、図面認識装置1は、シンボル抽出部4を有している。シンボル抽出部4は、図面ファイル形成部3で作成されたシンボル抽出用図面ファイルS2からシンボルを抽出する機能を有するものである。シンボル抽出部4がシンボルを抽出する方法はとくに限定されないが、記憶部10に記憶されている抽出シンボルファイルS4(図5(A)参照)に基づいてパターンマッチングなどの公知の方法によってシンボルを抽出することができる。パターンマッチングは、AI(人工知能)を使用したパターンマッチングなどを利用して実施することができるが、パターンマッチングを実施する手段はとくに限定されない。また、シンボル抽出部4では、抽出したシンボルが含まれるエリアの画像を切り出したシンボルデータと、エリアの位置情報(つまりシンボル抽出用図面ファイルS2上のエリアの座標などに関する情報)と、が関連付けられた抽出シンボルファイルS4を、抽出された各シンボルについて形成する機能を有している。また、形成された各抽出シンボルファイルS4は記憶部10に送信され記憶される。
【0017】
なお、AI(人工知能)を使用したパターンマッチングでシンボル抽出を実施した場合には、シンボル抽出の自信度(数値で表示:1 に近いほど自信度大)の情報も抽出シンボルファイルS4に含まれる。なお、抽出シンボルファイルS4が抽出されたシンボルを含むエリアの画像とし、抽出シンボルファイルS4のファイル名が位置情報および自信度を含むものとして、エリアの画像と位置情報および自信度を関連付けてもよい。この方法を採用すれば、抽出シンボルファイルS4群をディスプレイDS上で自信度の高い順(または低い順)に並べ替えることが可能となり、誤検知した抽出シンボルファイルS4を効率よく削除できる点で望ましい。例えば、矩形のエリアの画像の場合には、抽出シンボルファイルS4のファイル名は0.9224@17560×4782_17634×4854_0.pngのように設定するとことができる。なお、前述したファイル名では、” 0.9224”が自信度になり、”17560×4782_17634×4854”が矩形のエリアの画像の対角に位置する角のX軸、Y軸の座標(位置情報)になる。
【0018】
<傍記探索エリア設定部5>
図2に示すように、図面認識装置1は、傍記探索エリア設定部5を有している。傍記探索エリア設定部5は、シンボルに関連づける傍記を探索する領域(傍記探索エリアSA)をシンボル抽出用図面ファイルS2に設定する機能を有している。具体的には、傍記探索エリア設定部5では、シンボル抽出部4において抽出された全てのシンボルについて、各シンボルを中心とする一定の領域をシンボル抽出用図面ファイルS2に傍記探索エリアSAとして設定する機能を有している。具体的には、各抽出シンボルファイルS4に含まれる情報に基づいて、各シンボルを中心とする一定の領域をシンボル抽出用図面ファイルS2に各シンボルの傍記探索エリアSAとして設定する機能を有している(図4参照)。傍記探索エリア設定部5は、各シンボルの傍記探索エリアSAを設定する際に、各シンボルとそのシンボルと関連する傍記の両方が含まれると想定される範囲をシンボル抽出用図面ファイルS2に傍記探索エリアSAとして設定する。例えば、抽出された各シンボルの大きさに基づいて、各シンボルの中心を基準位置として、各シンボルの大きさに対して、上下、左右に一定の倍率で算出された範囲の領域を傍記探索エリアSAとしてもよい。また、各シンボルに対応する(つまり、各シンボルに使用される)傍記が予め登録されている管理リストCR(図5(C)参照)が記憶部10に記憶されている場合(傍記探索エリア設定部5に記憶されていてもよい)には、管理リストCRに登録されている文字数(傍記文字列の文字数)などに基づいて、各シンボルの中心等を基準として算出される一定の範囲を傍記探索エリアSAとしてもよい。この傍記探索エリアSAの情報には、傍記探索エリアSAの座標(例えば傍記探索エリアSAとして矩形の領域を設定する場合はコーナーの座標情報など)が含まれている。この傍記探索エリアSAの情報が算出されると、傍記探索エリアSAの情報は傍記探索エリア設定部5から記憶部10に送信されて、傍記探索エリアSAを設定した各シンボルの抽出シンボル情報と関連付けられて記憶部10に記憶される。なお、傍記探索エリアSAの情報には、対応する抽出シンボルの情報が含まれてもよい。
【0019】
なお、図5(C)はある一つのシンボルに対応する複数の傍記のリストを示しており、管理リストCRには、このような傍記のリストが各シンボルと対応付けて記憶されている。
【0020】
<傍記抽出部7>
図2に示すように、図面認識装置1は、傍記抽出部7を有している。傍記抽出部7は、傍記探索エリア設定部5により形成された傍記探索エリアSAから傍記を抽出する機能と、抽出した傍記とシンボルとを紐づけする紐づけ機能と、を有している。具体的には、傍記抽出部7では、全てのシンボルファイルS4について傍記探索エリア設定部5で設定された傍記探索エリアSA内に含まれる図形について、傍記テンプレートリストTPを利用してパターンマッチングを行い、傍記テンプレートと類似性が高い図形を傍記候補として抽出する。そして、抽出された傍記候補が一つの場合には、その傍記候補を傍記探索エリアSAが設定されたシンボルと関連する傍記として、この傍記候補とシンボルとを紐づけしてシンボルデータとして記憶部10に送信し記憶させる。
【0021】
また、傍記抽出部7は、傍記探索エリアSA内に傍記候補が複数存在する場合に、複数の傍記候補から最もシンボルと関連性が高いと考えられる傍記候補をシンボルと紐づけしてシンボルデータを作成する機能を有している。関連性が高いと考えられる傍記候補を傍記抽出部7が選択する方法はとくに限定されないが、例えば、シンボルと傍記候補の距離(例えば、シンボルの中心から傍記候補の中心までの距離など)が最も近い傍記候補をシンボルと紐づけするようにしてもよい。
【0022】
<シンボルおよび傍記の抽出・紐づけ作業>
前述した図面認識装置1によるシンボルおよび傍記の抽出作業(つまり本実施形態の図面認識方法)を説明する(図1および図2参照)。
【0023】
<図面ファイル形成工程>
図1および図2に示すように、データ入力部2によって形成または受信されて記憶部10に記憶されている元図面ファイルS1を図面ファイル形成部3が受信する。図面ファイル形成部3は、元図面ファイルS1からシンボル抽出用図面ファイルS2を形成する(図3(B)参照)。形成されたシンボル抽出用図面ファイルS2は記憶部10に送信されて記憶されるが、シンボル抽出用図面ファイルS2は図面ファイル形成部3からシンボル抽出部4や傍記抽出部7に直接送信されてもよい。
【0024】
<シンボル抽出工程>
図1および図2に示すように、シンボル抽出部4が記憶部10からシンボル抽出用図面ファイルS2を受信すると(または図面ファイル形成部3からシンボル抽出部4にシンボル抽出用図面ファイルS2が送信されると)、シンボル抽出用図面ファイルS2に基づいて、シンボル抽出部4は、AIを利用したパターンマッチングや公知のパターンマッチング手法によってシンボル抽出用図面ファイルS2からシンボルを抽出し、シンボルファイルS4を形成する。具体的には、シンボル抽出用図面ファイルS2からシンボルを抽出すると、抽出したシンボルが含まれるエリアの画像を切り出したシンボルデータ、エリアの位置情報、自信度などを含む抽出シンボルファイルS4が形成される。この抽出シンボルファイルS4は記憶部10に送信されて記憶される。
【0025】
なお、抽出シンボルファイルS4は傍記探索エリア設定部5に直接送信されてもよい。
また、抽出シンボルファイルS4は、全てのシンボルの抽出が終了した段階で全ての抽出シンボルファイルS4を記憶部10や傍記探索エリア設定部5に送信してもよいし、シンボルを抽出し抽出シンボルファイルS4が形成されるたびに抽出シンボルファイルS4を記憶部10や傍記探索エリア設定部5に送信してもよい。また、一定数の抽出シンボルファイルS4が形成されると一定数の抽出シンボルファイルS4をまとめて記憶部10や傍記探索エリア設定部5に送信するようにしてもよい。
【0026】
<傍記探索エリア設定工程>
図1および図2に示すように、傍記探索エリア設定部5が記憶部10から抽出シンボルファイルS4を受信すると(またはシンボル抽出部4から傍記探索エリア設定部5に抽出シンボルファイルS4が送信されると)、傍記探索エリア設定部5は、各シンボルについて抽出シンボルファイルS4に傍記探索エリアSAを設定する。つまり、傍記探索エリア設定部5は、抽出シンボルファイルS4に含まれる情報に基づいてシンボルを中心とする一定の領域を抽出シンボルファイルS4に傍記探索エリアSAとして設定する(図4参照)。そして、設定した傍記探索エリアSAの情報は、傍記探索エリア設定部5から記憶部10に送信されて記憶される。
【0027】
なお、傍記探索エリアSAの情報は傍記探索エリア設定部5から傍記抽出部7に直接送信されてもよい。
また、傍記探索エリアSAの情報は、全てのシンボルについて傍記探索エリアSAの情報の形成が終了した段階で全ての傍記探索エリアSAの情報を記憶部10や傍記抽出部7に送信してもよいし、各シンボルについて傍記探索エリアSAの情報が形成されるたびに傍記探索エリアSAの情報を記憶部10や傍記抽出部7に送信してもよい。また、一定数のシンボルについて傍記探索エリアSAの情報が形成されると一定数の傍記探索エリアSAの情報をまとめて記憶部10や傍記抽出部7に送信するようにしてもよい。
【0028】
<傍記抽出工程>
図1および図2に示すように、記憶部10から傍記探索エリアSAの情報を取得すると(または傍記探索エリア設定部5から傍記探索エリアSAの情報の情報が送信されると)、傍記抽出部7は、記憶部10に記憶されている傍記テンプレートリストTPを取得する。なお、傍記抽出部7は、記憶部10に記憶されている傍記テンプレートリストTPを予め取得していてもよい。
【0029】
傍記テンプレートリストTPを取得すると、傍記抽出部7では、全てのシンボルについて傍記探索エリアSAに含まれる図形と傍記テンプレートリストTPとをマッチングして、傍記候補を抽出する。そして、傍記候補が一つでありかつ類似度(AIマッチングでは自信度)が一定以上の場合、または、傍記候補が複数抽出されたが類似度が一定以上のものが一つの場合には、その傍記候補を傍記探索エリアSAが設定されたシンボルの傍記であると判断する。そして、シンボルの傍記であると判断した傍記候補と傍記探索エリアSAが設定されたシンボルとを紐づけして、シンボルデータとして記憶部10に送信し記憶させる。
【0030】
また、類似度が一定以上の傍記候補が複数抽出された場合には、傍記抽出部7は、最もシンボルと関連性が高いと考えられる傍記候補をシンボルの傍記であると判断し、この傍記候補を傍記探索エリアSAが設定されたシンボルと紐づけして、シンボルデータとして記憶部10に送信し記憶させる。例えば、シンボルとの距離が最も近い(短い)傍記候補をシンボルと関連性が高いと考えられる傍記と判断し、この傍記候補を傍記探索エリアSAが設定されたシンボルと紐づけして、シンボルデータとして記憶部10に送信し記憶させる。
【0031】
以上のような方法でシンボルおよび傍記を抽出するので、シンボルおよび傍記の抽出精度を高くできるし、関連するシンボルと傍記とを適切に紐づけして記憶することができる。
【0032】
<傍記テンプレートリストTPについて>
傍記のマッチングに使用する傍記テンプレートリストTP(図5(B)参照)に記憶される傍記のフォントや色、大きさなどはとくに限定されない。傍記を構成する文字などが全体で登録されていてもよいし、傍記を構成する文字ごと(例えば、1文字の英数字など)で登録されていてもよい。複数のフォントで表現された、構成する文字や数字が同じである複数の傍記が傍記テンプレートリストTPに含まれていてもよい。
【0033】
また、傍記テンプレートリストTPと別に、シンボルに使用される傍記の文字数などを記憶した管理リストCRを設けて(図2図5(C)参照)、この管理リストCRを記憶部10に記憶していてもよい。そして、管理リストCRを使用してマッチングによって選択された傍記が適切であるが判断する機能(検証機能)を傍記抽出部7に設けてもよい。かかる管理リストCRと検証機能とを設けておけば、傍記抽出部7においてシンボルに適さない図形などが傍記として選択されることを防止できる。
【0034】
例えば、複数のシンボルが隣接して記載されている場合、隣接するシンボルの傍記(以下偽傍記という)が傍記探索エリアSAに含まれる場合がある。この場合、傍記が図面に記載されている状態によっては、本来、シンボルと関連する傍記よりも偽傍記の方がマッチングの信頼度が高くなったり、偽傍記とシンボルの距離が本来の傍記とシンボルとの距離よりも近くなったりする場合がある。とくに、英数字1文字だけを傍記テンプレートとした場合には、そのような状況が生じやすくなる。そこで、傍記探索エリアSAに含まれる図形と傍記テンプレートとのマッチングによって傍記が選択されたのち、その傍記がそのシンボルに適したものであるかを検証機能によって検証するようにすれば、傍記抽出部7が抽出した傍記がシンボルに適さないものを選択することを防止できる。
【0035】
<傍記抽出部7について>
傍記抽出部7は、傍記探索エリアSAに含まれる図形と傍記テンプレートリストTPとをマッチングする際に、傍記テンプレートの大きさを変更しながらマッチングする機能を有していてもよい。かかる機能を有していれば、図形と傍記テンプレートリストTPとの大きさが異なる場合でも、傍記を適切に抽出することが可能になる。つまり元図面ファイルS1の元となる図面の縮尺と記憶されている傍記テンプレートリストTPの縮尺とが異なっているような場合でも、図形と傍記テンプレートリストTPとのマッチング精度を向上でき、傍記を適切に抽出できる。
【0036】
<抽出用テンプレートサイズを利用する場合>
傍記抽出部7が、傍記テンプレートの大きさを変更しながら傍記探索エリアSAに含まれる図形と傍記テンプレートリストTPとをマッチングする機能を有している場合には、全ての傍記探索エリアSAに含まれる図形について傍記テンプレートの大きさを変更しながらマッチングしてもよいが、抽出用テンプレートサイズを利用してマッチングを行ってもよい。つまり、傍記探索エリア設定部5に抽出用テンプレートサイズを決定する機能を設けて(つまり、傍記探索エリア設定工程に抽出用テンプレートサイズを決定する工程を設けて)、傍記探索エリア設定部5が設定した抽出用テンプレートサイズを利用して傍記抽出部7はマッチングを行ってもよい。図4(A)に示すように、傍記探索エリア設定部5は、全てのシンボルについて傍記探索エリアSAを設定したのち、シンボル抽出部4で抽出されたシンボルから代表となる複数のシンボルを選択する。そして、図4(B)に示すように、選択されたシンボルの傍記探索エリアSA(傍記探索エリアSA(1)、傍記探索エリアSA(2))において検出される図形を利用して抽出用テンプレートサイズを決定する。そして、傍記探索エリア設定部5から決定された抽出用テンプレートサイズが傍記抽出部7に送信されると(または抽出用テンプレートサイズは一旦記憶部10に記憶され記憶部10から抽出用テンプレートサイズが傍記抽出部7に送信されると)、傍記抽出部7は、決定された抽出用テンプレートサイズに調整された傍記テンプレートを用いて全ての傍記探索エリアSAについて、傍記探索エリアSA含まれる図形と傍記テンプレートとのパターンマッチングを行う。すると、傍記探索エリアSAに存在する図形から傍記を適切に抽出することができ、傍記以外の図形を誤って傍記として抽出することを防止しやすくなる。抽出用テンプレートサイズを決定する方法としては、例えば、代表となる複数のシンボルについて傍記探索エリア設定部5で設定された傍記探索エリアSAにおいて検出される図形と傍記テンプレートの大きさを変更しながらマッチングした際に、最も類似度が高くなる傍記テンプレートの大きさを抽出用テンプレートサイズとすることができる。
【0037】
なお、抽出用テンプレートサイズを設定する機能は、傍記探索エリア設定部5に設けずに傍記抽出部7に設けてもよい。つまり、傍記抽出工程に抽出用テンプレートサイズを決定する工程を設けてもよい。この場合は、傍記抽出部7は、シンボル抽出部4で抽出されたシンボルから代表となる複数のシンボルを選択する。そして、選択されたシンボルについて傍記探索エリア設定部5で設定された傍記探索エリアSAにおいて検出される図形を利用して抽出用テンプレートサイズを決定すればよい。
【0038】
また、抽出用テンプレートサイズを決定する際に使用する代表となるシンボルを選択する方法はとくに限定されない。例えば、シンボル抽出部4においてシンボルを抽出した際における自信度の高い順にシンボルを選定するなどの方法で傍記探索エリア設定部5や傍記抽出部7が自動で選択してもよい。また、作業者が抽出されたシンボルの画像(つまり抽出シンボルファイルS4に含まれる画像や抽出用図面ファイルS2の画像)や自信度などを確認して作業者が代表となるシンボルを選択してもよい。
【産業上の利用可能性】
【0039】
本発明の図面認識方法は、建設用図面など多数の記号や文字、線が記載されている図面から記号や文字を抽出する方法として適している。
【符号の説明】
【0040】
1 図面認識装置
2 データ入力部
3 図面ファイル形成部
4 シンボル抽出部
5 傍記探索エリア設定部
7 傍記抽出部
10 記憶部
S1 元図面ファイル
S2 シンボル抽出用図面ファイル
S4 抽出シンボルファイル
SA 傍記探索エリア
TP 傍記テンプレートリスト
CR 管理リスト
【要約】
【課題】図面からシンボルと傍記を精度よく抽出し両者を関連付けてデータ化することができる図面認識方法および図面認識装置を提供する。
【解決手段】図面ファイルに含まれるシンボルおよび傍記を抽出する図面認識方法であって、元図面ファイルS1から、シンボル抽出用図面ファイルS2を形成する図面ファイル形成工程と、シンボル抽出用図面ファイルS2からシンボルを抽出するシンボル抽出工程と、シンボル抽出工程において抽出された複数のシンボルについて各シンボルを中心とする傍記探索エリアSAをそれぞれ設定する傍記探索エリア設定工程と、傍記探索エリア設定工程で抽出された各シンボルを中心とする傍記探索エリアSAで検出される図形から各シンボルに対応する傍記を抽出する傍記抽出工程と、を実施する。
【選択図】図1
図1
図2
図3
図4
図5