(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181686
(43)【公開日】2023-12-25
(54)【発明の名称】記号抽出装置、プログラムおよび記号抽出方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20231218BHJP
G06V 10/74 20220101ALI20231218BHJP
【FI】
G06T7/00 300D
G06V10/74
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022094950
(22)【出願日】2022-06-13
(71)【出願人】
【識別番号】595145050
【氏名又は名称】株式会社日立プラントサービス
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】平畠 諒大
(72)【発明者】
【氏名】坪倉 徹哉
(72)【発明者】
【氏名】秋山 裕一
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096BA12
5L096DA01
5L096DA04
5L096FA67
5L096FA69
5L096GA51
5L096JA03
5L096JA09
5L096KA04
5L096KA15
(57)【要約】
【課題】画像のなかで所望の部分画像を探し出す負担を削減することを可能とする。
【解決手段】記号抽出装置100は、画像(設計図面データ130参照)から抽出する対象の画像であるテンプレート画像を取得するテンプレート設定部112と、抽出の当否判断に用いる閾値を取得する解析条件設定部113と、画像から、テンプレート画像との類似度が閾値以上である部分画像を抽出する照合部114と、抽出された部分画像、当該部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果を表示する抽出結果管理部115とを備える。
【選択図】
図8
【特許請求の範囲】
【請求項1】
画像から、抽出する対象であるテンプレート画像を設定するテンプレート設定部と、
抽出の当否判断に用いる閾値を取得して設定する解析条件設定部と、
前記画像から、前記テンプレート画像との類似度が前記閾値以上である部分画像を抽出する照合部と、
抽出された部分画像、当該部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果を表示する抽出結果管理部とを備える
記号抽出装置。
【請求項2】
前記抽出結果管理部は、
指定された前記画像の部分画像を前記抽出結果に加える
請求項1に記載の記号抽出装置。
【請求項3】
前記解析条件設定部は、
前記テンプレート画像の回転角度を取得し、
前記照合部は、
前記画像から、前記テンプレート画像を1回以上前記回転角度回転させた画像との類似度が前記閾値以上である部分画像を抽出する
請求項1に記載の記号抽出装置。
【請求項4】
画像表示制御部をさらに備え、
前記抽出結果管理部は、
前記部分画像の識別番号を表示し、
前記画像表示制御部は、
抽出された部分画像に対応する前記画像のなかの部分画像を強調して表示し、当該部分画像の近傍に当該部分画像に対応する識別番号を表示する
請求項1に記載の記号抽出装置。
【請求項5】
前記抽出結果管理部は、
表示された前記部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度の何れかの項目のうち選択された1つの項目によるソート機能を有する
請求項1に記載の記号抽出装置。
【請求項6】
前記類似度は、テンプレートマッチング手法に基づいて算出される
請求項1に記載の記号抽出装置。
【請求項7】
前記抽出結果に含まれる部分画像を含む学習データを用いて、画像が前記テンプレート画像である当否を判定する学習モデルを生成する学習部をさらに備え、
前記類似度は、テンプレートマッチング手法に基づいて算出され、
前記照合部は、テンプレートマッチング手法に基づいて算出される類似度が前記閾値以上である部分画像であって、前記学習モデルを用いて前記テンプレート画像であると判断される部分画像を抽出する
請求項1に記載の記号抽出装置。
【請求項8】
前記抽出結果管理部は、
当該部分画像が抽出結果に含まれることの当否の指示を受け付け、
前記学習部は、前記抽出結果を用いて前記学習モデルを生成する
請求項7に記載の記号抽出装置。
【請求項9】
コンピュータを、
画像から、抽出する対象であるテンプレート画像を設定するテンプレート設定部と、
抽出の当否判断に用いる閾値を取得して設定する解析条件設定部と、
前記画像から、前記テンプレート画像との類似度が前記閾値以上である部分画像を抽出する照合部と、
抽出された部分画像、当該部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果を表示する抽出結果管理部とを備える
記号抽出装置として機能させるためのプログラム。
【請求項10】
記号抽出装置が、
画像から、抽出する対象であるテンプレート画像を設定するステップと、
抽出の当否判断に用いる閾値を取得して設定するステップと、
前記画像から、前記テンプレート画像との類似度が前記閾値以上である部分画像を抽出するステップと、
抽出された部分画像、当該部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果を表示するステップとを実行する
記号抽出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、図面などの画像データから記号を抽出する記号抽出装置、プログラムおよび記号抽出方法に関する。
【背景技術】
【0002】
電気設備工事や空調設備工事などの設備工事において、図面から工事に必要な資材・機材を拾い出して、費用を見積もることが必要である。人手で拾い出すと、時間を要し、担当者の負担となるため、拾い出す作業の自動化(コンピュータでの処理)が求められる。
【0003】
資材・機材を見つけ出すためには、図面のなかを探索して、資材・機材を示す記号(図形)を探す必要がある。換言すれば、図面の画像データのなかで、記号の画像に一致する部分画像を探索することになる。記号の画像と図面のなかの部分画像とが完全に一致することは稀であり、類似度が所定の閾値以上であれば資材・部材を示す記号であると判断するのが一般的である。
このような手法において閾値が大きければ、見つけた部分画像が記号である確率(精度)は高くなるが、見逃す記号(検出漏れ)が多くなる。逆に閾値が小さければ、見逃す記号は減るが、精度は落ちる。
【0004】
特許文献1に記載の画像照合装置は、入力画像を入力する画像入力部と、基準画像中の所望の領域をテンプレートとして設定するテンプレート設定部と、入力画像中のテンプレートに対応する領域を比較領域として設定する計測位置設定部と、照合閾値を設定する照合閾値設定部と、テンプレートと比較領域間の正規化絶対差分値を計算する画像データ照合部と、照合閾値と正規化絶対差分値とを比較してテンプレートと比較領域の類似度を判定する照合判定部と、照合判定手段による判定結果を出力する判定結果出力部と、各々のデータを保存するメモリとから構成される。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の画像照合装置によれば、2つの画像の類似度を0~1の数値で表すため、2つの画像の類似度を判定するための照合閾値をテンプレート領域の大きさや、テンプレート又は比較領域の明度等に応じてそれぞれ設定する必要がなく、照合閾値の設定を容易に行うことが可能になる。しかしながら、閾値の設定は必要であって、見つかった(抽出された)部分画像が記号(所望の部分画像)であることの確認や、見逃した記号を探す作業は人手で行う必要があり、依然として担当者の作業負担が大きい。
本発明は、このような背景を鑑みてなされたものであり、画像のなかで所望の部分画像を探し出す負担(人的負担など)を削減する記号抽出装置、プログラムおよび記号抽出方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
上記した課題を解決するため、本発明に係る記号抽出装置は、画像から、抽出する対象であるテンプレート画像を設定するテンプレート設定部と、抽出の当否判断に用いる閾値を取得して設定する解析条件設定部と、前記画像から、前記テンプレート画像との類似度が前記閾値以上である部分画像を抽出する照合部と、抽出された部分画像、当該部分画像の識別番号、当該部分画像の前記画像内における位置、および、当該部分画像と前記テンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果を表示する抽出結果管理部とを備える。
【発明の効果】
【0008】
本発明によれば、画像のなかで所望の部分画像を探し出す負担を削減する記号抽出装置、プログラムおよび記号抽出方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態に係る記号抽出装置を利用する利用者の利用手順を示すフローチャートである。
【
図2】第1実施形態に係る記号抽出装置が読み込んだ図面を表示する画面を示す。
【
図3】第1実施形態に係るテンプレート設定ウィンドウが表示された記号抽出装置の画面である。
【
図4】第1実施形態に係る解析条件設定ウィンドウが表示された記号抽出装置の画面である。
【
図5】第1実施形態に係る閾値0.85における抽出結果を示す画面である。
【
図6】第1実施形態に係る閾値0.65における抽出結果を示す画面である。
【
図7】第1実施形態に係る抽出結果ウィンドウが表示された記号抽出装置の画面である。
【
図8】第1実施形態に係る記号抽出装置の機能ブロック図である。
【
図9】第1実施形態に係る抽出結果データベースのデータ構成図である。
【
図10】第1実施形態に係る記号抽出処理のフローチャートである。
【
図11】第1実施形態に係る抽出結果画面処理のフローチャートである。
【
図12】第2実施形態に係る記号抽出装置の機能ブロック図である。
【発明を実施するための形態】
【0010】
≪記号抽出装置の概要≫
以下に本発明を実施するための形態(実施形態)における記号抽出装置について説明する。記号抽出装置は、図面の画像(図面画像)に含まれる記号の画像を、図面画像を探索して抽出する。記号の画像は、テンプレート画像として設定される。記号抽出装置は、図面画像の部分画像で、テンプレート画像との類似度が設定された閾値以上である(テンプレート画像と類似する)部分画像(記号の画像)を、図面画像を走査して探し出す(抽出する)。
【0011】
記号抽出装置は、見つかった部分画像の識別番号、および図面画像内における位置の一覧を含む抽出結果ウィンドウを表示する。この一覧の項目を指定すると、対応する部分画像が表示される。
記号抽出装置の利用者は、部分画像の見逃し(抽出漏れ/検出漏れ)を減らすため、類似度の閾値を低めに設定する。抽出結果ウィンドウの一覧には誤抽出(誤認識)が含まれるが、利用者は一覧の項目を次々と指定して類似部分画像を次々と表示しながら誤抽出を削除して、最終的な抽出結果を得る。このようにすることで利用者は、効率的に図面画像中の記号を抽出することができるようになる。
【0012】
≪記号抽出装置の利用手順≫
記号抽出装置100(後記する
図8参照)の構成を説明する前に、記号抽出装置100の利用手順を説明する。
図1は、第1実施形態に係る記号抽出装置100を利用する利用者の利用手順を示すフローチャートである。
ステップS11において記号抽出装置100の利用者は、記号を探す設計図面(のファイル名)を指定する。すると記号抽出装置100は、当該設計図面を読み取り、表示する(後記する
図2参照)。
図2は、第1実施形態に係る記号抽出装置100が読み込んだ図面を表示する画面310を示す。
【0013】
図1に戻って、利用手順の説明を続ける。ステップS12において利用者は、記号の画像をテンプレートとして設定する。
図3は、第1実施形態に係るテンプレート設定ウィンドウ321が表示された記号抽出装置100の画面320である。利用者はテンプレート画像を、図面にある記号を含む領域(例えば、符号322に示される記号を含む領域)を指定することで設定し保存する。利用者は、テンプレート画像を含むファイルを指定してテンプレート画像を設定してもよいし、設定済みのテンプレート画像を選択することでテンプレート画像を設定してもよい。
【0014】
図1に戻って、利用手順の説明を続ける。ステップS13において利用者は、図面から記号を抽出する条件である解析条件を設定する。
図4は、第1実施形態に係る解析条件設定ウィンドウ331が表示された記号抽出装置100の画面330である。解析条件設定ウィンドウ331の右上にある画像は、ステップS12で設定された図面から探し出す(抽出する)記号の画像(テンプレート画像)である。利用者は、閾値や回転角度を設定する。閾値とは、図面の部分画像が記号であるか否かを判断する際に参照される、部分画像とテンプレート画像との類似度の閾値である。記号抽出装置100は、図面の部分画像とテンプレート画像との類似度が、設定された閾値以上であれば、当該部分画像を記号として抽出する。
【0015】
回転角度とは、図面中の部分画像とテンプレート画像との類似度を、テンプレート画像を回転して算出する場合の回転角度の単位である。例えば、回転角度が90度と指定されると、テンプレート画像そのまま、90度回転したテンプレート画像、180度回転したテンプレート画像、および270度回転したテンプレート画像と図面中の部分画像との類似度がそれぞれ算出され、何れかの類似度が閾値以上であれば、当該部分画像が記号として抽出される。
【0016】
利用者は解析条件設定ウィンドウ331下側にある「抽出対象領域指定」ボタンを押下すると表示される抽出対象領域指定画面(不図示)において、図面のなかで記号を探し出す領域である抽出対象領域を指定する。図面には、記号の凡例が含まれる場合があり、利用者は凡例の領域を除くように抽出対象領域を指定する。図面に複数の図が含まれ一部の図のみが抽出対象領域であれば、利用者は当該図を抽出対象領域に指定する。
【0017】
図1に戻って、利用手順の説明を続ける。ステップS14において利用者は、解析条件設定ウィンドウ331(
図4参照)にある「抽出実行」ボタンを押下して、テンプレート画像に類似する部分画像の抽出を指示する。なお「ファイル」メニューにある「抽出実行」を選択しても、利用者は抽出を指示することができる。
ステップS15において利用者は、抽出結果を確認してOKならば(ステップS15→OK)ステップS16に進み、NGならば(ステップS15→NG)ステップS13に戻って閾値を再設定する。
【0018】
図5は、第1実施形態に係る閾値0.85における抽出結果を示す画面340である。抽出された部分画像は、矩形で囲われて強調されており、当該矩形の近傍に識別番号が表示される(符号343参照)。しかしながら、画面340において、抽出されるべき記号(部分画像)が抽出されていないことが確認できる(符号342,344参照)。利用者は、現在の閾値である0.85は高くて抽出漏れが多く、再設定して再抽出が必要であると判断する。利用者はステップS13に戻って閾値を0.85より低い、例えば0.65に再設定し、ステップS14で再抽出を指示する。
図6は、第1実施形態に係る閾値0.65における抽出結果を示す画面350である。記号は全て抽出されているので、利用者は再抽出不要と判断して、ステップS16に進む。
【0019】
図1に戻って、利用手順の説明を続ける。ステップS16において利用者は、抽出結果を編集する。詳しくは、利用者は後記する抽出結果ウィンドウ361(後記する
図7参照)を操作して、抽出結果に含まれる誤抽出を除いたり、未抽出(抽出漏れ)の記号を追加したりして、抽出結果を編集する。
図7は、第1実施形態に係る抽出結果ウィンドウ361が表示された記号抽出装置100の画面360である。抽出結果ウィンドウ361には、識別番号(
図7では「#」と記載)、位置、角度(
図7では「角」と記載)、区分、および採否(
図7では「採」と記載)の項目を含むリストが表示される。
【0020】
識別番号は、抽出された記号(記号の部分画像)に割り振られた番号である。位置は、設計図面における記号の位置(座標)である。角度は、記号が抽出された(類似度が閾値以上である)際のテンプレート画像の回転角度である(
図4記載の解析条件設定ウィンドウ331の回転角度参照)。
区分は、「自動」または「手動」であって、記号抽出装置100により抽出された記号については「自動」である。利用者が未抽出(未検出)の記号(符号368参照)を見つけたときには利用者は、「追加」ボタン363を押して、当該記号を含む領域を指定して、抽出結果に加える。利用者の指定により抽出結果に加えられた記号の区分は「手動」となる。
【0021】
採否は、抽出結果を最終的な抽出結果として採用するか否かの当否(〇/×)を示す。リストにある何れかの項目(行)が指定されると、当該項目に相当する記号の部分画像が領域362に表示される。利用者は、抽出された記号を表示することで、抽出結果に誤抽出が含まれていないかを確認する。誤抽出である場合には、利用者は「削除」ボタン364を押して、抽出結果から誤抽出を除くことができる。
抽出結果リストは、類似度を含んでもよい。
【0022】
≪記号抽出装置の構成≫
図8は、第1実施形態に係る記号抽出装置100の機能ブロック図である。記号抽出装置100はコンピュータであり、制御部110、記憶部120、および入出力部180を備える。入出力部180には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部180が通信デバイスを備え、他の装置とのデータ(例えば図面)の送受信が可能であってもよい。また入出力部180にメディアドライブが接続され、記録媒体を用いたデータのやり取りが可能であってもよい。
【0023】
≪記号抽出装置:記憶部≫
記憶部120は、ROM(Read Only Memory)やRAM(Random Access Memory)、SSD(Solid State Drive)などの記憶機器を含んで構成される。記憶部120には、設計図面データ130、抽出結果データベース140、テンプレート情報121、およびプログラム128が記憶される。テンプレート情報121には、抽出対象となる記号に係るテンプレート画像や名称、閾値、回転角度、抽出対象領域などの情報(
図4記載の解析条件設定ウィンドウ331参照)が含まれる。プログラム128には、後記する記号抽出処理(
図10~
図11参照)の手順の記述が含まれる。設計図面データ130は、図面の画像データである。
【0024】
図9は、第1実施形態に係る抽出結果データベース140のデータ構成図である。抽出結果データベース140は、例えば表形式のデータであって、1つの行(レコード)は抽出された1つの部分画像に係る情報を含む。抽出結果データベース140のレコードは、識別番号(
図9では「#」と記載)、位置、角度、区分、採否、類似度、および画像の列(属性)を含む。識別番号、位置、角度、区分、および採否は、抽出結果ウィンドウ361(
図7参照)の識別番号、位置、角度、区分、および採否にそれぞれ対応する。類似度はテンプレート画像との類似度である。画像は抽出された部分画像のデータである。
【0025】
≪記号抽出装置:制御部≫
図8に戻って、制御部110を説明する。制御部110は、CPU(Central Processing Unit)を含んで構成され、図面表示制御部111、テンプレート設定部112、解析条件設定部113、照合部114、および抽出結果管理部115を備える。
【0026】
≪制御部:図面表示制御部≫
図面表示制御部111は、図面(
図2記載の画面310参照)を表示する。記号抽出が指示された場合には、図面表示制御部111は抽出結果を含む画面(
図5、
図6に記載の画面340,350参照)を表示する。
【0027】
以上に説明したように記号抽出装置100は、抽出された部分画像(記号の部分画像)に対応する画像(図面の抽出対象領域)のなかの部分画像を強調して表示し、当該部分画像の近傍に当該部分画像に対応する識別番号を表示する(
図5、
図6に記載の画面340,350参照)画像表示制御部(図面表示制御部111)を備える。
【0028】
≪制御部:テンプレート設定部、解析条件設定部≫
テンプレート設定部112は、テンプレート設定ウィンドウ321(
図3参照)を表示する。またテンプレート設定部112は、利用者が指定した抽出対象となる記号のテンプレート画像を取得し、テンプレート情報121に格納する。
また解析条件設定部113は、解析条件設定ウィンドウ331(
図4参照)を表示する。また解析条件設定部113は、利用者が指定した記号を抽出する条件である閾値や回転角度を取得し、テンプレート情報121に格納する。
【0029】
以上に説明したように記号抽出装置100は、画像(図面の抽出対象領域)から、抽出する対象である(記号の画像の)テンプレート画像を設定するテンプレート設定部112を備える。
また記号抽出装置100は、抽出の当否判断に用いる閾値を取得して設定する解析条件設定部113を備える。
また解析条件設定部113は、テンプレート画像の回転角度を取得する。
【0030】
≪制御部:照合部≫
照合部114は、図面の指定された領域(抽出対象領域)の画像を走査して、テンプレート画像に合致する部分画像を抽出する。詳しく説明すると照合部114は、図面の指定された領域の部分画像であって、テンプレート画像との類似度が閾値以上の部分画像を、図面の指定された領域を走査しながら抽出する。照合部114は、部分画像を回転させて(解析条件設定ウィンドウ331の回転角度参照)類似度を算出する。類似度の算出手法としては、例えば零平均正規化相互相関などのテンプレートマッチングがあるが、他の手法を用いてもよい。
【0031】
照合部114は、部分画像とテンプレート画像との類似度が閾値以上であれば、当該部分画像がテンプレート画像に合致したと判断して、抽出結果データベース140(
図9参照)に追加する。詳しく説明すると照合部114は、抽出結果データベース140に新しいレコードを追加し、識別番号、位置、角度、区分、採否、類似度、画像に、それぞれ通し番号、図面における部分画像の座標(例えば左上の座標)、合致したときに部分画像の回転角度、「自動」、「〇」、類似度、部分画像を格納する。
【0032】
以上に説明したように記号抽出装置100は、画像(図面の抽出対象領域)から、テンプレート画像との類似度が閾値以上である部分画像を抽出する照合部114を備える。
また照合部114は、画像から、テンプレート画像を1回以上回転角度回転させた画像との類似度が閾値以上である部分画像を抽出する。
類似度は、テンプレートマッチング手法に基づいて算出される。
【0033】
≪制御部:抽出結果管理部≫
抽出結果管理部115は、抽出結果データベース140(
図9参照)を参照して抽出結果ウィンドウ361(
図7参照)を表示する。表示内容は、識別番号や位置などの項目によりソートされて表示されてもよい。また抽出結果管理部115は、抽出結果ウィンドウ361に対する利用者の操作(指示)に従って、選択された項目に対応する部分画像を表示したり、指定された抽出漏れの記号(図面内の部分画像、
図7記載の符号368参照)を抽出結果に加えたり、採否の指示を受け付けたりする処理を行う。抽出結果管理部115の処理の詳細は、
図11を参照しながら後記する。
【0034】
以上に説明したように記号抽出装置100は、抽出された部分画像、当該部分画像の識別番号、当該部分画像の画像(図面の抽出対象領域)内における位置、および、当該部分画像とテンプレート画像との類似度のうち少なくとも1つの項目を含む抽出結果(抽出結果ウィンドウ361参照)を表示する抽出結果管理部115を備える。
抽出結果管理部115は、指定された画像の部分画像を抽出結果に加える。
抽出結果管理部115は、部分画像の識別番号を表示する。
抽出結果管理部115は、部分画像が抽出結果に含まれることの当否の指示を受け付ける。
抽出結果管理部115は、表示された部分画像の識別番号、当該部分画像の画像内における位置、および、当該部分画像とテンプレート画像との類似度の何れかの項目のうち選択された1つの項目によるソート機能を有する。
【0035】
≪記号抽出処理≫
図10は、第1実施形態に係る記号抽出処理のフローチャートである。
図10を参照しながら記号抽出装置100が実行する記号抽出処理を説明する。
ステップS21において図面表示制御部111は、利用者が指定した図面を取得して、画面に表示する(
図2参照)。
【0036】
ステップS22において図面表示制御部111は、利用者の操作を受け付けて当該操作に対応する処理に分岐する。図面表示制御部111は、テンプレート設定を指示する操作(例えば「設定」メニューにある「テンプレート設定」)を受け付けると(ステップS22→テンプレート設定)ステップS23に進む。図面表示制御部111は、解析条件設定を指示する操作(例えば「設定」メニューにある「解析条件設定」)を受け付けると(ステップS22→解析条件設定)ステップS25に進む。図面表示制御部111は、抽出を指示する操作(例えば
図4記載の解析条件設定ウィンドウ331にある「抽出実行」ボタンや「ファイル」メニューにある「抽出実行」)を受け付けると(ステップS22→抽出実行)ステップS27に進む。図面表示制御部111は、抽出結果の表示を指示する操作(例えば「設定」メニューにある「抽出結果編集」)を受け付けると(ステップS22→抽出結果)ステップS29に進む。図面表示制御部111は、抽出結果の保存を指示する操作(例えば「ファイル」メニューにある「抽出結果保存」)を受け付けると(ステップS22→保存)ステップS30に進む。図面表示制御部111は、終了を指示する操作(例えば「ファイル」メニューにある「終了」)を受け付けると(ステップS22→終了)記号抽出処理を終える。
【0037】
ステップS23においてテンプレート設定部112は、テンプレート設定ウィンドウ321(
図3参照)(
図10では「設定画面」と記載)を表示する。
ステップS24においてテンプレート設定部112は、テンプレート設定ウィンドウ321において設定された内容であるテンプレート画像をテンプレート情報121に保存する。
【0038】
ステップS25において解析条件設定部113は、解析条件設定ウィンドウ331(
図4参照)(
図10では「設定画面」と記載)を表示する。
ステップS26において解析条件設定部113は、解析条件設定ウィンドウ331において設定された内容である閾値や角度の設定内容などをテンプレート情報121に保存する。
【0039】
ステップS27において照合部114は、図面の指定された領域(抽出対象領域)の画像を走査して、テンプレート画像に合致する部分画像を抽出し、抽出結果データベース140(
図9参照)に保存する。
ステップS28において図面表示制御部111は、抽出結果を示す画面(
図5、
図6記載の画面340,350参照)を表示する。
【0040】
ステップS29において抽出結果管理部115は、抽出結果画面処理(後記する
図11参照)を実行する。
ステップS30において抽出結果管理部115は、抽出結果データベース140(
図9参照)を指定されたファイルに保存する。例えば抽出結果管理部115は、識別番号や位置、角度、区分、採否、類似度をCSV(Comma-Separated Values)形式のファイルに、画像を画像ファイルに保存する。
【0041】
≪抽出結果画面処理≫
図11は、第1実施形態に係る抽出結果画面処理のフローチャートである。
図11を参照しながらステップS29(
図10参照)の詳細を説明する。
ステップS41において抽出結果管理部115は、抽出結果ウィンドウ361(
図7参照)を表示する。
【0042】
ステップS42において抽出結果管理部115は、抽出結果ウィンドウ361に対する操作を受け付けて当該操作に対応する処理に分岐する。抽出結果管理部115は、項目(抽出結果ウィンドウ361左側にある抽出結果リストの行)を選択する操作を受け付けると(ステップS42→項目選択)ステップS43に進む。抽出結果管理部115は、採否を変更する操作を受け付けると(ステップS42→採否変更)ステップS44に進む。抽出結果管理部115は、「追加」ボタン363の押下を受け付けると(ステップS42→追加)ステップS46に進む。抽出結果管理部115は、「削除」ボタン364の押下を受け付けると(ステップS42→削除)ステップS50に進む。抽出結果管理部115は、「閉じる」ボタンの押下を受け付けると(ステップS42→閉じる)抽出結果画面処理を終える。
【0043】
ステップS43において抽出結果管理部115は、指定された項目(抽出結果リストの行)に対応する部分画像を領域362(
図7参照)に表示して、ステップS42に戻る。
ステップS44において抽出結果管理部115は、指定された項目の採用/不採用を交替して表示する。
ステップS45において抽出結果管理部115は、抽出結果データベース140(
図9参照、
図11では「DB」と記載)の指定された項目に対応するレコードの採否の属性を交替するように更新して、ステップS42に戻る。
【0044】
ステップS46において抽出結果管理部115は、利用者が指定した図面上の領域を取得する。
ステップS47において抽出結果管理部115は、ステップS46で指定された領域の部分画像を取得する。
【0045】
ステップS48において抽出結果管理部115は、ステップS47で取得した部分画像を領域362に表示する。また抽出結果管理部115は、当該部分画像に係る情報を抽出結果ウィンドウ361の抽出結果リストに追加して表示する。リストの位置、角度、区分、採否は、それぞれ指定された領域の座標(例えば右上の座標)、「0」、「手動」、「〇」である。角度は、テンプレート画像を回転させて部分画像との類似度が最大となる角度であってもよい。
ステップS49において抽出結果管理部115は、ステップS48で抽出結果リストに追加された表示された内容や部分画像を抽出結果データベース140(
図9参照)に追加して、ステップS42に戻る。
【0046】
ステップS50において抽出結果管理部115は、現在指定されている項目(抽出結果リストの行)を削除してリストを表示する。
ステップS51において抽出結果管理部115は、ステップS50で削除された項目に対応する抽出結果データベース140のレコードを削除して、ステップS42に戻る。
【0047】
≪記号抽出装置の特徴≫
記号抽出装置100は、指定された記号のテンプレート画像と、図面の部分画像との類似度を算出し、類似度が閾値以上であれば抽出する。抽出された部分画像は、図面上で強調されて表示され(
図5記載の符号343参照)利用者は抽出結果を容易に確認できる。
記号抽出装置100は利用者の指示により、抽出漏れの図面上の部分画像を抽出結果に追加し、誤検出を抽出結果から削除して、抽出結果を編集する。利用者は、抽出漏れが多い場合には閾値を下げるように、誤抽出が多い場合には閾値を上げるように閾値を調整したうえで抽出結果を編集することで、効率的に記号を抽出することができるようになる。
【0048】
≪第2実施形態≫
第1実施形態における照合部114は、例えば零平均正規化相互相関などのテンプレートマッチング手法を用いてテンプレート画像に類似する部分画像を抽出する。抽出結果を学習した学習モデルを用いて照合するようにしてもよい。
図12は、第2実施形態に係る記号抽出装置100Aの機能ブロック図である。第1実施形態の記号抽出装置100と比較して制御部110に学習部116が、記憶部120に学習モデル122が加わる。また、制御部110の照合部114Aが変更される。
【0049】
学習モデル122は機械学習技術の学習モデルである。学習モデル122の入力(説明変数)は図面の部分画像であり、出力(目的変数)はテンプレート画像に合致するか否かである。
学習部116は、抽出結果データベース140(
図9参照)のレコードにある画像を学習データとして学習モデル122を訓練する(学習モデル122に学習データを学習させる)。
【0050】
照合部114Aは、テンプレートマッチング手法を用いてテンプレート画像に類似すると判断された部分画像について、さらに学習モデル122を用いてテンプレート画像に合致するか否かを判断する。換言すれば照合部114Aは、テンプレートマッチング手法と学習モデル122との双方でテンプレート画像に合致(類似)すると判断された場合に、合致すると判断する。
【0051】
以上に説明したように記号抽出装置100Aは、抽出結果に含まれる部分画像を含む学習データを用いて、画像(図面の抽出対象領域)がテンプレート画像である当否を判定する学習モデル122を生成する学習部116をさらに備える。また学習部116は、抽出結果を用いて学習モデル122を生成する。
類似度は、テンプレートマッチング手法に基づいて算出される。
記号抽出装置100Aに備わる照合部114Aは、テンプレートマッチング手法に基づいて算出される類似度が閾値以上である部分画像であって、学習モデル122を用いてテンプレート画像であると判断される部分画像を抽出する。
【0052】
≪第2実施形態の特徴≫
記号抽出装置100Aは機械学習技術を用いた照合を行うことで、記号抽出装置100より高精度に記号の部分画像を抽出することができるようになる。
【0053】
≪変形例≫
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。例えば、抽出結果ウィンドウ361(
図7参照)左側の抽出結果リストは、識別番号の順に表示されているが類似度でソートされて表示されてもよい。類似度が高い抽出結果に誤検出はないとして、類似度が低い抽出結果から誤抽出がないか確認することで、利用者は効率的に抽出結果を確認することができるようになる。またテンプレート情報121や学習モデル122は、複数の図面や記号抽出装置100,100Aで共用できるようにしてもよい。
【0054】
本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0055】
100,100A 記号抽出装置
111 図面表示制御部(画像表示制御部)
112 テンプレート設定部
113 解析条件設定部
114 照合部
115 抽出結果管理部
116 学習部
121 テンプレート情報
122 学習モデル
128 プログラム
130 設計図面データ(画像)
140 抽出結果データベース