(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-09
(45)【発行日】2024-08-20
(54)【発明の名称】図面処理装置、及び、図面処理方法
(51)【国際特許分類】
G06F 30/12 20200101AFI20240813BHJP
G06T 7/00 20170101ALI20240813BHJP
G06V 30/14 20220101ALI20240813BHJP
G06V 30/41 20220101ALI20240813BHJP
【FI】
G06F30/12
G06T7/00 350B
G06V30/14 340A
G06V30/41
(21)【出願番号】P 2024059906
(22)【出願日】2024-04-03
【審査請求日】2024-04-30
【早期審査対象出願】
(73)【特許権者】
【識別番号】322014222
【氏名又は名称】株式会社REVOX
(74)【代理人】
【識別番号】100214248
【氏名又は名称】青山 純
(74)【代理人】
【識別番号】100214260
【氏名又は名称】相羽 昌孝
(72)【発明者】
【氏名】フン カム ハオ
(72)【発明者】
【氏名】鹿内 寛
【審査官】松浦 功
(56)【参考文献】
【文献】特開平07-036955(JP,A)
【文献】中国特許出願公開第117218675(CN,A)
【文献】国際公開第2022/168681(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 30/00 -30/398
G06T 7/00
G06V 30/00 -30/424
(57)【特許請求の範囲】
【請求項1】
罫線により区切られたボックス内に文字が記載されるとともに、前記ボックスに前記文字の属性が定められた表が1又は複数含まれる図面データを受け付ける図面受付部と、
前記図面受付部により受け付けられた前記図面データの図面領域のうち、検出対象の特徴を有する検出対象の前記表が配置されている候補領域から、前記検出対象の表に関する表情報を取得する図面処理部と、を備
え、
前記図面処理部は、
前記図面領域のうち、前記表が配置されている表領域を特定する表領域特定処理と、
前記図面領域のうち、前記検出対象の表が有する前記ボックスが配置されている特徴領域を特定する特徴領域特定処理と、
前記表領域特定処理で特定した前記表領域と、前記特徴領域特定処理で特定した前記特徴領域とに基づいて、前記候補領域を特定する候補領域特定処理と、
前記候補領域特定処理で特定した前記候補領域から前記表情報を取得する表情報取得処理と、を行う、
図面処理装置。
【請求項2】
前記図面処理部は、
前記図面データを第1の学習モデルに入力することで、当該図面データの前記図面領域に含まれる前記表領域を特定する前記表領域特定処理を行い、
前記図面データを第2の学習モデルに入力することで、当該図面データの前記図面領域に含まれる前記特徴領域を特定する前記特徴領域特定処理を行い、
前記第1の学習モデルは、
前記図面データと、当該図面データに含まれる前記表を囲む表領域との相関関係を機械学習により学習させたものであり、
前記第2の学習モデルは、
前記図面データと、当該図面データに含まれる前記検出対象の表が有する前記ボックスを囲む特徴領域との相関関係を機械学習により学習させたものである、
請求項
1に記載の図面処理装置。
【請求項3】
前記図面領域に含まれる前記文字を認識する文字認識部を備え、
前記図面処理部は、
前記文字認識部により認識された前記文字のうち前記候補領域に配置された前記ボックス内の文字と、当該ボックスに定められた前記属性とに基づいて、前記表情報を取得する前記表情報取得処理とを行う、
請求項
1又は請求項
2に記載の図面処理装置。
【請求項4】
コンピュータにより実行される図面処理方法であって、
罫線により区切られたボックス内に文字が記載されるとともに、前記ボックスに前記文字の属性が定められた表が1又は複数含まれる図面データを受け付ける図面受付工程と、
前記図面受付工程により受け付けられた前記図面データの図面領域のうち、検出対象の特徴を有する検出対象の前記表が配置されている候補領域から、前記検出対象の表に関する表情報を取得する図面処理工程と、を備
え、
前記図面処理工程は、
前記図面領域のうち、前記表が配置されている表領域を特定する表領域特定処理と、
前記図面領域のうち、前記検出対象の表が有する前記ボックスが配置されている特徴領域を特定する特徴領域特定処理と、
前記表領域特定処理で特定した前記表領域と、前記特徴領域特定処理で特定した前記特徴領域とに基づいて、前記候補領域を特定する候補領域特定処理と、
前記候補領域特定処理で特定した前記候補領域から前記表情報を取得する表情報取得処理と、を行う、
図面処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、図面処理装置、及び、図面処理方法に関する。
【背景技術】
【0002】
機械、建築、土木、電気、アパレル等の様々な分野で取り扱われる図面には、例えば、形状や構造を表すための線(外形線、寸法線等)の他に、各種の情報が文字で記載されている。図面に記載された文字は、図面の内容を把握するための重要な情報であることから、これらの情報を利用するためのシステムが開発されている。例えば、特許文献1には、図形の寸法線に付随して記載された寸法量を表す文字を取得し、図形の寸法量を示す一覧表を作成する支援システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
図面には、上記のように、寸法量を表す文字の他に、各種の情報が表形式で記載されている。表形式の情報としては、罫線により区切られたボックス毎に属性が定められて、各属性に対応する文字がボックス内にそれぞれ記載されている。しかしながら、特許文献1に開示された支援システムでは、図面から取得する対象となる文字は、図形の寸法線に付随して記載された寸法量を表す文字だけであり、表形式で記載された文字は対象外であるため、図面の内容を把握するための重要な情報を適切に取得することができなかった。
【0005】
本発明は、上記の問題点に着目してなされたものであり、図面データに含まれる表に記載された情報を取得することが可能な図面処理装置、及び、図面処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の一態様に係る図面処理装置は、
罫線により区切られたボックス内に文字が記載されるとともに、前記ボックスに前記文字の属性が定められた表が1又は複数含まれる図面データを受け付ける図面受付部と、
前記図面受付部により受け付けられた前記図面データの図面領域のうち、検出対象の特徴を有する検出対象の前記表が配置されている候補領域から、前記検出対象の表に関する表情報を取得する図面処理部と、を備える。
【発明の効果】
【0007】
本発明の一態様に係る図面処理装置によれば、図面データに含まれる表に記載された情報を取得することができる。
【0008】
上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。
【図面の簡単な説明】
【0009】
【
図1】図面管理システム1の一例を示す全体構成図である。
【
図3】図面データベース210の一例を示す図である。
【
図4】第1の実施形態に係る図面処理装置2Aの一例を示すブロック図である。
【
図5】第1の実施形態に係る学習モデル生成部201Aの一例を示す機能説明図である。
【
図6】第1の実施形態に係る図面受付部202、文字認識部203、及び、図面処理部204Aの一例を示す機能説明図である。
【
図7】コンピュータ900の一例を示すハードウエア構成図である。
【
図8】第1の実施形態に係る図面処理装置2Aの動作(図面処理方法)の一例を示すフローチャートである。
【
図9】第2の実施形態に係る図面処理装置2Bの一例を示すブロック図である。
【
図10】第2の実施形態に係る学習モデル生成部201Bの一例を示す機能説明図である。
【
図11】第2の実施形態に係る図面受付部202、文字認識部203、及び、図面処理部204Bの一例を示す機能説明図である。
【
図12】第2の実施形態に係る図面処理装置2Bの動作(図面処理方法)の一例を示すフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明を実施するための実施形態について説明する。以下では、本発明の目的を達成するための説明に必要な範囲を模式的に示し、本発明の該当部分の説明に必要な範囲を主に説明することとし、説明を省略する箇所については公知技術によるものとする。
【0011】
(第1の実施形態)
図1は、図面管理システム1の一例を示す全体構成図である。図面管理システム1は、図面データD10を管理するシステムとして機能する。
【0012】
図面管理システム1で取り扱われる図面データD10は、例えば、組立図や部品図等の機械図面、建築図面、電気回路図面、空気圧回路図面、油圧回路図面、アパレル図面等の任意の図面をデジタルデータとして記録したものである。その際、図面データD10は、ベクタ形式のデータでもよいし、ラスタ形式のデータでもよい。例えば、図面データD10は、各種のCADソフトウェアによって出力されたCADデータ(ベクタ形式の一例)でもよいし、紙媒体に印刷された図面をスキャナ等によって読み取ることで出力された画像データ(ラスタ形式の一例)でもよい。なお、図面データD10は、任意の投影法で作図されたものでよく、三次元の図面でもよい。また、図面データD10は、表を含むものであればよく、例えば、帳票等の書類をデジタルデータとして記録したものでもよい。
【0013】
図面管理システム1は、
図1に示すように、図面処理装置2Aと、ユーザ端末装置3とを備える。図面処理装置2A及びユーザ端末装置3は、有線又は無線のネットワーク4に接続され、各種のデータを相互に送受信可能に構成される。なお、図面処理装置2A及びユーザ端末装置3の数やネットワーク4の接続構成は、
図1の例に限られず、適宜変更してもよい。
【0014】
図面処理装置2Aは、サーバ型コンピュータやクラウド型コンピュータであり、汎用又は専用のコンピュータ(後述の
図7参照)等で構成される。図面処理装置2Aは、図面データD10と、当該図面データD10に含まれる付帯情報(詳細は後述)とを関連付けて登録可能な図面データベース210を備える。
【0015】
図面処理装置2Aは、ユーザ端末装置3から新規の図面データD10を受け付けて、図面データD10に含まれる付帯情報を取得し、図面データベース210に登録する。また、図面処理装置2Aは、図面データベース210に登録済み(既存)の図面データD10
及び付帯情報を参照したり、編集したりするための表示情報をユーザ端末装置3に提供する。
【0016】
ユーザ端末装置3は、クライアント型コンピュータであり、汎用又は専用のコンピュータ(後述の
図7参照)等で構成される。ユーザ端末装置3は、新規の図面データD10の登録、既存の図面データD10の参照、編集等を行うために、アプリやブラウザ等の表示画面を介して各種の入力操作を受け付けるとともに、表示画面や音声を介して各種の情報を出力する。
【0017】
図2は、図面データD10の一例を示す図である。本実施形態では、図面データD10は、
図2に示すように、組立図である場合を中心に説明する。
【0018】
図面データD10の図面領域10には、形状領域11と、表題欄12と、部品表13とが配置されている。図面領域10は、図面データD10を紙媒体に印刷したときの紙面全体の領域に相当する。
【0019】
形状領域11は、組立品や部品の形状や構造が記載される領域である。形状領域11には、組立品や部品の形状や構造を規定する線として、例えば、外形線、寸法線、かくれ線、中心線、想像線等が記載される。また、形状領域11には、寸法、公差、部品番号等を示す文字が記載される。
【0020】
表題欄12及び部品表13は、図面データD10に含まれる表の一種である。表は、縦線及び横線を組み合わせた罫線と、罫線により区切られたボックスとを有する。ボックス内には、文字が記載されるとともに、各ボックスには、ボックス内に記載された文字の属性が定められる。また、ボックスは、ボックスの種類を示すプロパティにより分類される。プロパティとしては、属性見出しプロパティ、通番見出しプロパティ、属性無しフィールドプロパティ、属性有りフィールドプロパティ等が挙げられる。
【0021】
表題欄12の属性としては、
図2に示すように、例えば、品名、図面番号、尺度、日付、設計者、承認者等が挙げられる。表題欄12が有する各ボックスは、属性有りフィールドプロパティと、属性見出しプロパティと、属性無しフィールドプロパティとに分類される。属性有りフィールドプロパティに分類されるボックスには、表題欄12の記載内容としてのフィールド文字(
図2の例では、「1:2」、「2024/1/11」、「ASSY A」、「F1-222-33-A」)と、フィールド文字の属性を定める属性文字(
図2の例では、「尺度」、「日付」、「品名」、「図面番号」)とが記載される。属性見出しプロパティに分類されるボックスには、フィールド文字の属性を定める属性文字(
図2の例では、「設計者」、「承認者」)が記載される。属性無しフィールドプロパティに分類されるボックスには、表題欄12の記載内容としてのフィールド文字(
図2の例では、「AAA」、「BBB」)が記載される。
【0022】
部品表13の属性としては、
図2に示すように、例えば、番号、品名、材質、数量等が挙げられる。部品表13が有する上側1行目のボックスは、属性見出しプロパティに分類され、部品表13の各列の属性を見出しとして定める属性見出し文字(
図2の例では、「番号」、「品名」、「材質」、「数量」)が記載される。部品表13が有する左側1列目
のボックスは、通番見出しプロパティに分類され、部品表13の各行の通番を見出しとして定める通番見出し文字(
図2の例では、「1」、「2」、「3」)が記載される。部品表13が有するその他のボックスは、ボックス内に属性文字が記載されていない属性無しフィールドプロパティに分類され、部品表13の記載内容としてのフィールド文字(
図2の例では、「COVER」、「PPP」、「1」、「BODY」、「QQQ」、「1」、「LEG」、「RRR」、「4」、)が記載される。
【0023】
なお、図面データD10に含まれる表の種類は、表題欄12及び部品表13に限られず、他の種類の表でもよい。また、表を構成するボックスの配置や数は、表の種類に応じて適宜変更されてもよく、各ボックスに定められる属性は上記の例に限られない。
【0024】
図3は、図面データベース210の一例を示す図である。図面データベース210には、イメージデータ形式の図面データD10毎に、当該図面データD10に含まれる形状情報D11と、当該図面データD10に含まれる付帯情報D12とが関連付けられて登録される。
【0025】
形状情報D11は、図面領域10に含まれる形状領域11が切り出されることで、図面データベース210に登録される。
【0026】
付帯情報D12は、図面領域10に記載された文字(主にフィールド文字)がテキストデータとして属性別に取得されることで、図面データベース210に登録される。
図3には、
図2に示す図面データD10に含まれる表題欄12及び部品表13から取得された属性別のテキストデータが、付帯情報D12として図面データベース210に登録された場合が図示されている。
【0027】
なお、図面データベース210において、図面データD10に関連付けられて登録される付帯情報D12は、表題欄12及び部品表13の記載内容に限られず、必要に応じて任意の情報を関連付けることができる。例えば、図面データベース210には、形状領域11に基づく情報(寸法、公差、表面処理、熱処理等)、見積り依頼に関する情報(ユーザ名、見積り日時、見積り価格等)が登録可能に構成されてもよく、これらに限られない。
【0028】
(図面処理装置2Aの構成)
図4は、第1の実施形態に係る図面処理装置2Aの一例を示すブロック図である。
図5は、第1の実施形態に係る学習モデル生成部201Aの一例を示す機能説明図である。
図6は、第1の実施形態に係る図面受付部202、文字認識部203、及び、図面処理部204Aの一例を示す機能説明図である。
【0029】
図面処理装置2Aは、制御部20と、データ記憶部21と、学習済みモデル記憶部22と、通信部23と、入力部24と、出力部25とを備える。
【0030】
通信部23は、ネットワーク4を介して外部装置(例えば、ユーザ端末装置3等)と接続され、各種のデータを送受信する通信インターフェースとして機能する。入力部24は、各種の入力操作を受け付けるとともに、出力部25は、表示画面や音声を介して各種の情報を出力することで、ユーザインターフェースとして機能する。なお、入力部24及び出力部25は省略されてもよい。
【0031】
データ記憶部21には、図面データベース210と、情報処理プログラム211Aとが記憶されている。図面データベース210には、
図3に示すように、図面データD10に含まれる各種の情報が関連付けられて複数登録される。図面データベース210の具体的な構成は、
図3の例に限られず、適宜設計すればよい。
【0032】
学習済みモデル記憶部22には、学習済みの学習モデル220が記憶されている。学習済みモデル記憶部22に記憶された学習モデル220は、ネットワーク4や記録媒体等を介して他の装置に提供されてもよい。また、学習済みモデル記憶部22に記憶される学習モデル220の数は、それぞれ1つに限定されず、例えば、機械学習の手法、データの違い等のように、条件が異なる複数の推論モデルが記憶されて、選択的又は並列的に利用可
能としてもよい。
【0033】
なお、
図3では、データ記憶部21及び学習済みモデル記憶部22が、2つの記憶部として示されているが、これらは単一の記憶部で構成されてもよいし、3つ以上の記憶部で構成されていてもよい。また、データ記憶部21及び学習済みモデル記憶部22の少なくとも一方は、外部コンピュータ(例えば、サーバ型コンピュータやクラウド型コンピュータ)の記憶部で構成されていてもよい。
【0034】
制御部20は、データ記憶部21に記録された情報処理プログラム211Aを実行することにより、送受信制御部200、学習モデル生成部201A、図面受付部202、文字認識部203、図面処理部204A、データベース管理部205として機能する。
【0035】
(送受信制御部200)
送受信制御部200は、外部装置(例えば、ユーザ端末装置3等)との間で各種のデータを送受信する。送受信制御部200は、例えば、ユーザ端末装置3に各種の表示画面を出力するための表示情報をユーザ端末装置3に送信するとともに、ユーザ端末装置3の表示画面に対して行われた入力操作を受け付けるための操作情報をユーザ端末装置3から受信する。その際、送受信制御部200は、各部201~205と連携し、ユーザ端末装置3に表示情報を送信したり、ユーザ端末装置3から操作情報を受信したりする。
【0036】
(学習モデル生成部201A)
学習モデル生成部201Aは、
図4及び
図5に示すように、学習用データ取得部2010Aと、機械学習部2011Aとを備える。
【0037】
学習用データ取得部2010Aは、図面データベース210を参照し、入力データと出力データとで構成される学習用データD13を取得する。学習用データD13は、教師あり学習における教師データ(トレーニングデータ)、検証データ及びテストデータとして用いられるデータである。学習用データD13を構成する出力データは、教師あり学習における正解ラベルとして用いられるデータである。
【0038】
学習用データD13を構成する入力データは、図面データD10である。なお、学習用データD13を構成する入力データは、文字認識部203の認識結果として、図面領域10に記載された文字を示すテキストデータと、当該文字が記載された位置を示す位置データとを含むものでもよい。
【0039】
学習用データD13を構成する出力データは、図面データD10の図面領域10のうち、検出対象の表を囲む候補領域14である。検出対象の表は、
図2に示す図面データD10では、表題欄12や部品表13が該当するが、本実施形態では、検出対象の表は、部品表13である場合を中心に説明する。
【0040】
学習用データ取得部2010Aは、図面データベース210に登録済みの図面データD10に対してアノテーションが行われることで、学習用データD13を取得する。例えば、学習用データ取得部2010Aは、図面処理装置2Aやユーザ端末装置3にて図面データD10を表示画面に表示し、表示画面上の図面領域10に対して検出対象の表を囲むように候補領域14の入力操作をアノテーションとして受け付けることで、学習用データD13を取得する。なお、学習用データ取得部2010Aは、ネットワーク4を介して接続される外部装置と連携して学習用データD13を取得してもよい。
【0041】
機械学習部2011Aは、学習用データ取得部2010Aにより取得された複数組の学習用データD13を用いて、入力データと出力データとの相関関係を学習モデル220に
学習させる機械学習を行う。学習モデル220としては、例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク、ビジョントランスフォーマー等のニューラルネット型(ディープラーニングを含む)、決定木、回帰木等のツリー型、バギング、ブースティング等のアンサンブル学習、階層型クラスタリング、非階層型クラスタリング、k近傍法、k平均法等のクラスタリング型、主成分分析、因子分析、ロジスティク回帰等の多変量解析、サポートベクターマシン等を用いることができる。
【0042】
なお、機械学習部2011Aが学習モデル生成部201Aの機械学習を行うタイミングは、図面データベース210に登録された図面データD10のデータ数が所定の数を超えたときでもよいし、ユーザからの指示を受け付けたときでもよいし、これらに限られない。
【0043】
(図面受付部202)
図面受付部202は、例えば、ユーザ端末装置3から送受信制御部200を介して図面データD10を受信することで、新規の図面データD10を受け付ける。
【0044】
(文字認識部203)
文字認識部203は、図面受付部202により受け付けられた新規の図面データD10に含まれる文字を認識する。文字認識部203は、例えば、光学的文字認識処理(OCR)を行い、テキストデータとして読み取ることで、図面データD10に含まれる文字を認識する。文字の認識結果としては、当該文字を示すテキストデータと、当該文字が記載された位置を示す位置データとが取得される。その際、文字の認識結果は、ユーザ端末装置3の表示画面に表示され、ユーザによる編集操作が行われてもよい。なお、図面データD10にテキストデータが埋め込まれている場合には、文字認識部203は、そのテキストデータを読み取ることで、図面データD10に含まれる文字を認識してもよい。
【0045】
(図面処理部204A)
図面処理部204Aは、
図6に示すように、図面受付部202により受け付けられた新規の図面データD10の図面領域10のうち、検出対象の特徴を有する検出対象の表が配置されている候補領域14から、検出対象の表に関する表情報を取得する。
【0046】
具体的には、図面処理部204Aは、新規の図面データD10の図面領域10のうち、検出対象の表が配置されている候補領域14を特定する候補領域特定処理と、候補領域特定処理で特定した候補領域14から表情報を取得する表情報取得処理とを行う。
【0047】
候補領域特定処理として、図面処理部204Aは、新規の図面データD10を学習モデル220に入力することで、当該図面データD10の図面領域10に含まれる候補領域14を特定する。なお、学習モデル220に対して、図面データD10を入力するだけでなく、図面領域10に記載された文字を示すテキストデータと、当該文字が記載された位置を示す位置データとを入力する場合には、当該図面データD10に対する文字認識部203の認識結果を入力すればよい。
【0048】
表情報取得処理として、図面処理部204Aは、文字認識部203により認識された文字のうち候補領域14に配置されたボックス内の文字と、当該ボックスに定められた属性とに基づいて、表情報を取得する。その際、図面処理部204Aは、例えば、各ボックスの配置とプロパティに基づいて表形式の構成を認識することで、ボックス内の文字を各属性に対する文字として表情報を取得する。
【0049】
(データベース管理部205)
データベース管理部205は、新規の図面データD10に対する図面処理部204Aの
処理結果として取得された表情報を付帯情報D12として、当該図面データD10に関連付けて図面データベース210に登録する。そして、データベース管理部205は、図面処理部204Aの処理結果を表示するための表示情報をユーザ端末装置3に送受信制御部200を介して送信する。
【0050】
また、データベース管理部205は、図面データベース210に登録済みの図面データD10を読み出して、登録済みの図面データD10を表示するための表示情報をユーザ端末装置3に送受信制御部200を介して送信する。そして、データベース管理部205は、ユーザ端末装置3から送受信制御部200を介して図面データD10を編集する操作情報を受信すると、図面データベース210に登録済みの図面データD10を修正する。
【0051】
(各装置のハードウエア構成)
図7は、コンピュータ900の一例を示すハードウエア構成図である。図面管理システム1における図面処理装置2A及びユーザ端末装置3は、汎用又は専用のコンピュータ900により構成される。
【0052】
コンピュータ900は、
図7に示すように、その主要な構成要素として、バス910、プロセッサ912、メモリ914、入力デバイス916、出力デバイス917、表示デバイス918、ストレージ装置920、通信I/F(インターフェース)部922、外部機器I/F部924、I/O(入出力)デバイスI/F部926、及び、メディア入出力部928を備える。なお、上記の構成要素は、コンピュータ900が使用される用途に応じて適宜省略されてもよい。
【0053】
プロセッサ912は、1つ又は複数の演算処理装置(CPU(Central Processing Unit)、MPU(Micro-processing unit)、DSP(digital signal processor)、GPU(Graphics Processing Unit)等)で構成され、コンピュータ900全体を統括する制御部として動作する。メモリ914は、各種のデータ及びプログラム930を記憶し、例えば、メインメモリとして機能する揮発性メモリ(DRAM、SRAM等)と、不揮発性メモリ(ROM)、フラッシュメモリ等とで構成される。
【0054】
入力デバイス916は、例えば、キーボード、マウス、テンキー、電子ペン、マイク等で構成され、入力部として機能する。出力デバイス917は、例えば、音(音声)出力装置、バイブレーション装置等で構成され、出力部として機能する。表示デバイス918は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー、プロジェクタ等で構成され、出力部として機能する。入力デバイス916及び表示デバイス918は、タッチパネルディスプレイのように、一体的に構成されていてもよい。ストレージ装置920は、例えば、HDD、SSD等で構成され、記憶部として機能する。ストレージ装置920は、オペレーティングシステムやプログラム930の実行に必要な各種のデータを記憶する。
【0055】
通信I/F部922は、インターネットやイントラネット等のネットワーク940(
図1のネットワーク4と同じであってもよい)に有線又は無線により接続され、所定の通信規格に従って他のコンピュータとの間でデータの送受信を行う通信部として機能する。外部機器I/F部924は、カメラ、プリンタ、スキャナ、リーダライタ等の外部機器950に有線又は無線により接続され、所定の通信規格に従って外部機器950との間でデータの送受信を行う通信部として機能する。I/OデバイスI/F部926は、各種のセンサ、アクチュエータ等のI/Oデバイス960に接続され、I/Oデバイス960との間で、例えば、センサによる検出信号やアクチュエータへの制御信号等の各種の信号やデータの送受信を行う通信部として機能する。メディア入出力部928は、例えば、DVDド
ライブ、CDドライブ等のドライブ装置で構成され、DVD、CD等のメディア(非一時的な記憶媒体)970に対してデータの読み書きを行う。
【0056】
上記構成を有するコンピュータ900において、プロセッサ912は、ストレージ装置920に記憶されたプログラム930をメモリ914に呼び出して実行し、バス910を介してコンピュータ900の各部を制御する。なお、プログラム930は、ストレージ装置920に代えて、メモリ914に記憶されていてもよい。プログラム930は、インストール可能なファイル形式又は実行可能なファイル形式でメディア970に記録され、メディア入出力部928を介してコンピュータ900に提供されてもよい。プログラム930は、通信I/F部922を介してネットワーク940経由でダウンロードすることによりコンピュータ900に提供されてもよい。また、コンピュータ900は、プロセッサ912がプログラム930を実行することで実現する各種の機能を、例えば、FPGA、ASIC等のハードウエアで実現するものでもよい。
【0057】
コンピュータ900は、例えば、据置型コンピュータや携帯型コンピュータで構成され、任意の形態の電子機器である。コンピュータ900は、クライアント型コンピュータでもよいし、サーバ型コンピュータやクラウド型コンピュータでもよいし、例えば、制御盤、コントローラ(マイコン、プログラマブルロジックコントローラ、シーケンサを含む)等と呼ばれる組込型コンピュータでもよい。
【0058】
(図面処理装置2Aの動作)
図8は、第1の実施形態に係る図面処理装置2Aの動作(図面処理方法)の一例を示すフローチャートである。なお、
図8に示す図面処理装置2Aによる一連の図面処理方法は、図面処理装置2Aが、ユーザにより操作されたユーザ端末装置3から新規の図面データD10を受け付けたときに実行されるものとして説明する。また、学習済みモデル記憶部22には、学習モデル生成部201Aにより、
図5に示すように、学習用データ取得工程、機械学習工程及び学習済みモデル記憶工程が行われることにより、学習済みの学習モデル220が記憶されているものとして説明する。
【0059】
まず、ステップS100(図面受付工程)において、図面受付部202は、ユーザ端末装置3から図面データD10を受信することで、新規の図面データD10を受け付ける。その際、図面受付部202は、複数の図面データD10を受け付けてもよい。
【0060】
次に、ステップS110(文字認識工程)において、文字認識部203は、ステップS100で受け付けられた図面データD10に含まれる文字を認識する。
【0061】
次に、ステップS120(図面処理工程)において、図面処理部204Aは、新規の図面データD10を学習モデル220に入力することで、当該図面データD10の図面領域10に含まれる部品表13の候補領域14を特定する候補領域特定処理を行う。
【0062】
そして、ステップS130において、図面処理部204Aは、ステップS110で認識された文字のうち、部品表13の候補領域14に配置されたボックス内の文字と、ボックスに定められた属性とに基づいて、部品表13の表情報を取得する表情報取得処理を行う。
【0063】
次に、ステップS140(データベース管理工程)において、データベース管理部205は、ステップS120、S130の処理結果として取得された表情報を付帯情報D12として、ステップS100で受け付けられた図面データD10に関連付けて図面データベース210に登録する。
【0064】
そして、ステップS141において、データベース管理部205は、ステップS120、S130の処理結果を表示するための表示情報をユーザ端末装置3に送信する。その結果、新規の図面データD10に対して登録された付帯情報D12が、ユーザ端末装置3の表示画面に表示される。
【0065】
以上のように、本実施形態に係る図面処理装置2A及び図面処理方法によれば、図面処理部204Aにより、検出対象の表が配置されている候補領域14が特定されて、その特定された候補領域14から表情報が取得される。したがって、図面データD10の図面領域10に対して表が配置されている位置、その表の行数や列数、その表を構成する各ボックスの属性等が、図面データD10によって異なるような場合でも、図面データD10に含まれる表に記載された情報を表情報として取得することができる。
【0066】
その際、図面処理部204Aが、図面データD10と候補領域14との相関関係を学習済みの学習モデル220を用いることにより、複雑な画像処理を行うことなく、候補領域14を特定し、表情報が取得することができる。
【0067】
(第2の実施形態)
図9は、第2の実施形態に係る図面処理装置2Bの一例を示すブロック図である。
図10は、第2の実施形態に係る学習モデル生成部201Bの一例を示す機能説明図である。
図11は、第2の実施形態に係る図面受付部202、文字認識部203、及び、図面処理部204Bの一例を示す機能説明図である。
【0068】
第2の実施形態では、図面処理装置2Bが、2つの学習モデル220A、220Bを用いて表情報を取得する点で第1の実施形態と相違する。以下では、第2の実施形態に係る図面処理装置2Bについて、第1の実施形態と異なる部分を中心に説明する。
【0069】
学習済みモデル記憶部22には、学習済みの第1の学習モデル220A及び第2の学習モデル220Bが記憶されている。
【0070】
制御部20は、データ記憶部21に記録された情報処理プログラム211Bを実行することにより、送受信制御部200、学習モデル生成部201B、図面受付部202、文字認識部203、図面処理部204B、データベース管理部205として機能する。
【0071】
(学習モデル生成部201B)
学習モデル生成部201Bは、
図9及び
図10に示すように、学習用データ取得部2010Bと、機械学習部2011Bとを備える。
【0072】
学習用データ取得部2010Bは、図面データベース210を参照し、第1の学習用データD14及び第2の学習用データD15を取得する。
【0073】
第1の学習用データD14を構成する入力データは、図面データD10である。なお、第1の学習用データD14を構成する入力データは、文字認識部203の認識結果として、図面領域10に記載された文字を示すテキストデータと、当該文字が記載された位置を示す位置データとを含むものでもよい。
【0074】
第1の学習用データD14を構成する出力データは、図面データD10の図面領域10のうち、表を囲む表領域15Aである。図面データD10に複数の表が含まれている場合には、複数の表領域15Aは、それぞれの表を囲むように指定される。すなわち、表領域15Aは、
図2に示す図面データD10では、表題欄12を囲む領域と、部品表13を囲む領域とが該当する。
【0075】
第2の学習用データD15を構成する入力データは、図面データD10である。なお、第2の学習用データD15を構成する入力データは、文字認識部203の認識結果として、図面領域10に記載された文字を示すテキストデータと、当該文字が記載された位置を示す位置データとを含むものでもよい。
【0076】
第2の学習用データD15を構成する出力データは、図面データD10の図面領域10のうち、検出対象の表が有するボックスを囲む特徴領域15Bである。検出対象の表は、
図2に示す図面データD10では、表題欄12や部品表13が該当するが、本実施形態では、検出対象の表は、部品表13である場合を中心に説明する。したがって、特徴領域15Bは、
図2に示す図面データD10では、部品表13を囲む領域が該当する。
【0077】
学習用データ取得部2010Bは、図面データベース210に登録済みの図面データD10に対してアノテーションが行われることで、第1の学習用データD14及び第2の学習用データD15を取得する。
【0078】
例えば、学習用データ取得部2010Bは、図面処理装置2Bやユーザ端末装置3にて図面データD10を表示画面に表示し、表示画面上の図面領域10に対して表題欄12及び部品表13を囲むように表領域15Aの入力操作をアノテーションとして受け付けることで、第1の学習用データD14を取得する。
【0079】
また、学習用データ取得部2010Bは、図面処理装置2Bやユーザ端末装置3にて図面データD10を表示画面に表示し、表示画面上の図面領域10に対して検出対象の表が有するボックスを囲むように特徴領域15Bの入力操作をアノテーションとして受け付けることで、第2の学習用データD15を取得する。
【0080】
機械学習部2011Bは、学習用データ取得部2010Bにより取得された複数組の第1の学習用データD14を用いて、第1の学習モデル220Aの機械学習を行う。また、機械学習部2011Bは、学習用データ取得部2010Bにより取得された複数組の第2の学習用データD15を用いて、第2の学習モデル220Bの機械学習を行う。
【0081】
(図面処理部204B)
図面処理部204Bは、
図11に示すように、新規の図面データD10の図面領域10のうち、表が配置されている表領域15Aを特定する表領域特定処理と、新規の図面データD10の図面領域10のうち、検出対象の表が有するボックスが配置されている特徴領域15Bを特定する特徴領域特定処理と、表領域特定処理で特定した表領域15Aと、特徴領域特定処理で特定した特徴領域15Bとに基づいて、候補領域14を特定する候補領域特定処理と、候補領域特定処理で特定した候補領域14から、検出対象の表に関する表情報を取得する表情報取得処理とを行う。
【0082】
表領域特定処理として、図面処理部204Bは、新規の図面データD10を第1の学習モデル220Aに入力することで、当該図面データD10の図面領域10に含まれる表領域15Aを特定する。すなわち、表領域特定処理では、図面領域10のうち、表が配置されている可能性が高い表領域15Aが特定される。そのため、表領域特定処理では、表の種類が、例えば、表題欄12なのか、部品表13なのかは識別されていない状態で、表らしいものが配置されている可能性が高い領域が、表領域15Aとして特定される。
【0083】
特徴領域特定処理として、図面処理部204Bは、新規の図面データD10を第2の学習モデル220Bに入力することで、当該図面データD10の図面領域10に含まれる特徴領域15Bを特定する。すなわち、特徴領域特定処理では、図面領域10のうち、検出
対象の表(本実施形態では、部品表13)が有するボックスが配置されている可能性が高い特徴領域15Bが特定される。そのため、特徴領域特定処理では、表が配置されているかどうかは識別されていない状態で、検出対象の表が有する検出対象の特徴(例えば、ボックスの配置や数)らしいものが含まれている可能性が高い領域が、特徴領域15Bとして特定される。
【0084】
候補領域特定処理として、図面処理部204Bは、表領域特定処理で特定した表領域15Aと、特徴領域特定処理で特定した特徴領域15Bとが重複している領域を、候補領域14として特定する。すなわち、表領域特定処理において、表らしいものが配置されている可能性が高い領域として特定された表領域15Aと、特徴領域特定処理において、検出対象の表が有する検出対象の特徴らしいものが含まれている可能性が高い領域として特定された特徴領域15Bとが重複する領域は、表らしいものが配置されており、かつ、検出対象の表が有する検出対象の特徴らしいものが含まれている領域であるといえる。したがって、候補領域特定処理では、このような領域が、検出対象の表(本実施形態では、部品表13)が配置されている候補領域14として特定される。なお、図面処理部204Bは、表領域15A及び特徴領域15Bが重複している領域を候補領域14として特定してもよいし、表領域15の少なくとも一部が特徴領域15Bに重複しているときに当該表領域15を候補領域14として特定してもよい。
【0085】
表情報取得処理として、図面処理部204Bは、文字認識部203により認識された文字のうち候補領域14に配置されたボックス内の文字と、ボックスに定められた属性とに基づいて、表情報を取得する。
【0086】
(図面処理装置2Bの動作)
図12は、第2の実施形態に係る図面処理装置2Bの動作(図面処理方法)の一例を示すフローチャートである。なお、
図8に示すフローチャートと同一のステップ番号が付されている工程は、第1の実施形態と同様であるため、以下では、第1の実施形態と異なる部分を中心に説明する。
【0087】
まず、ステップS100(図面受付工程)において、図面受付部202は、新規の図面データD10を受け付けて、ステップS110(文字認識工程)において、文字認識部203は、ステップS100で受け付けられた図面データD10に含まれる文字を認識する。
【0088】
次に、ステップS121(図面処理工程)において、図面処理部204Bは、新規の図面データD10を第1の学習モデル220Aに入力することで、当該図面データD10の図面領域10に含まれる表領域15Aを特定する表領域特定処理を行う。
【0089】
次に、ステップS122において、図面処理部204Bは、新規の図面データD10を第2の学習モデル220Bに入力することで、当該図面データD10の図面領域10に含まれる特徴領域15Bを特定する特徴領域特定処理を行う。
【0090】
次に、ステップS123において、図面処理部204Bは、ステップS121で特定した表領域15Aと、ステップS122で特定した特徴領域15Bとが重複している領域を、候補領域14として特定する候補領域特定処理を行う。
【0091】
そして、ステップS130において、図面処理部204Bは、ステップS110で認識された文字のうち、部品表13の候補領域14に配置されたボックス内の文字と、ボックスに定められた属性とに基づいて、部品表13の表情報を取得する表情報取得処理を行う。
【0092】
次に、ステップS140(データベース管理工程)において、データベース管理部205は、ステップS120、S130の処理結果として取得された表情報を付帯情報D12として、図面データベース210に登録する。そして、ステップS141において、データベース管理部205は、ステップS120、S130の処理結果を表示するための表示情報をユーザ端末装置3に送信する。
【0093】
以上のように、本実施形態に係る図面処理装置2B及び図面処理方法によれば、図面処理部204Bにより、検出対象の表が配置されている候補領域14が特定されて、その特定された候補領域14から表情報が取得される。したがって、図面データD10の図面領域10に対して表が配置されている位置、その表の行数や列数、その表を構成する各ボックスの属性等が、図面データD10によって異なるような場合でも、図面データD10に含まれる表に記載された情報を表情報として取得することができる。
【0094】
その際、図面処理部204Bが、図面データD10と表領域15Aとの相関関係を学習済みの第1の学習モデル220Aと、図面データD10と特徴領域15Bとの相関関係を学習済みの第2の学習モデル220Bとを用いることにより、複雑な画像処理を行うことなく、候補領域14を特定し、表情報が取得することができる。
【0095】
(他の実施形態)
本発明は上述した実施形態に制約されるものではなく、本発明の主旨を逸脱しない範囲内で種々変更して実施することが可能である。そして、それらはすべて、本発明の技術思想に含まれるものである。
【0096】
上記実施形態では、図面処理装置2A、2Bは、単一の装置で構成される場合について説明したが、複数の装置で構成されていてもよい。例えば、図面処理装置2A、2Bが備える各部200~205が複数の装置に分散されることで、図面管理システム1が、図面処理装置2A、2Bの他に、文字認識部203を備え、文字認識工程を行う文字認識装置と、学習モデル生成部201A、201Bを備え、機械学習工程を行う機械学習装置とで構成されてもよい。その際、上記の各装置が備える各部(各工程)は、コンピュータ900で実行可能なプログラムにより実現されるものでもよい。
【0097】
上記実施形態では、図面処理装置2A、2Bが、ユーザ端末装置3から新規の図面データD10を受け付けて、当該図面データD10に含まれる表に関する表情報を取得する場合について説明した。これに対し、ユーザ端末装置3が、図面処理装置2A、2Bとして機能するようにしてもよい。
【0098】
上記実施形態では、図面処理装置2A、2Bが、図面処理部204A、204Bとは別に、文字認識部203を備えるもの場合について説明した。これに対し、図面処理部204A、204Bが、文字認識部203と同様に、図面データD10に含まれる文字を認識する機能を実現するものでもよい。例えば、学習モデル220、220A、220Bが、図面データD10に含まれる文字を認識する機能を含むものでもよく、その場合には、図面処理部204A、204Bが、新規の図面データD10を学習モデル220、220A、220Bに入力することで、当該図面データD10に含まれる文字を認識するようにしてもよい。
【符号の説明】
【0099】
1…図面管理システム、2A、2B…図面処理装置、3…ユーザ端末装置、
10…図面領域、11…形状領域、12…表題欄、13…部品表、
14…候補領域、15A…表領域、15B…特徴領域、
20…制御部、21…データ記憶部、22…学習済みモデル記憶部、
23…通信部、24…入力部、25…出力部、
200…送受信制御部、201A、201B…学習モデル生成部、
202…図面受付部、203…文字認識部、204A、204B…図面処理部、
205…データベース管理部、210…図面データベース、
211A、211B…情報処理プログラム、220…学習モデル、
220A…第1の学習モデル、220B…第2の学習モデル
【要約】
【課題】図面データに含まれる表に記載された情報を取得することが可能な図面処理装置を提供する。
【解決手段】図面処理装置は、罫線により区切られたボックス内に文字が記載されるとともに、ボックスに文字の属性が定められた表が1又は複数含まれる図面データD10を受け付ける図面受付部202と、図面受付部202により受け付けられた図面データD10の図面領域10のうち、検出対象の特徴を有する検出対象の表が配置されている候補領域14から、検出対象の表に関する表情報を取得する図面処理部204Aとを備える。
【選択図】
図6