知財求人 - 知財ポータルサイト「IP Force」
▶ 三菱電機株式会社の特許一覧 ▶ 三菱電機エンジニアリング株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022059670
(43)【公開日】2022-04-14
(54)【発明の名称】図面認識装置および図面認識プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220407BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2020167393
(22)【出願日】2020-10-02
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(71)【出願人】
【識別番号】591036457
【氏名又は名称】三菱電機エンジニアリング株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】特許業務法人山王内外特許事務所
(72)【発明者】
【氏名】鈴木 利久
(72)【発明者】
【氏名】守屋 芳美
(72)【発明者】
【氏名】宗野 勇
(72)【発明者】
【氏名】大磯 健二
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA01
5L096HA13
5L096JA28
5L096KA04
(57)【要約】
【課題】配置知識を必要とすることなく文字と記号との対応関係を判定することを可能とした図面認識装置を提供する。
【解決手段】図面データを取得する図面取得部１０１と、図面データと機械学習モデルとに基づいて、図面取得部１０１が取得した図面データにおけるシンボルに関する情報、図面取得部１０１が取得した図面データにおける属性に関する情報、および、図面取得部１０１が取得した図面データにおける接続線に関する情報を認識する認識部１０２と、認識部１０２が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、図面取得部１０１が取得した図面データにおけるシンボルと属性と他のシンボルとの対応関係を判定する判定部１０４とを備えた。
【選択図】図１
【解決手段】図面データを取得する図面取得部１０１と、図面データと機械学習モデルとに基づいて、図面取得部１０１が取得した図面データにおけるシンボルに関する情報、図面取得部１０１が取得した図面データにおける属性に関する情報、および、図面取得部１０１が取得した図面データにおける接続線に関する情報を認識する認識部１０２と、認識部１０２が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、図面取得部１０１が取得した図面データにおけるシンボルと属性と他のシンボルとの対応関係を判定する判定部１０４とを備えた。
【選択図】図１
【特許請求の範囲】
【請求項1】
図面データを取得する図面取得部と、
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上のシンボル、属性、および、前記シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記図面取得部が取得した前記図面データにおける前記属性に関する情報、および、前記図面取得部が取得した前記図面データにおける前記接続線に関する情報を認識する認識部と、
前記認識部が認識した、前記シンボルに関する情報、前記属性に関する情報、および、前記接続線に関する情報に基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する判定部
とを備えた図面認識装置。
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上のシンボル、属性、および、前記シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記図面取得部が取得した前記図面データにおける前記属性に関する情報、および、前記図面取得部が取得した前記図面データにおける前記接続線に関する情報を認識する認識部と、
前記認識部が認識した、前記シンボルに関する情報、前記属性に関する情報、および、前記接続線に関する情報に基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する判定部
とを備えた図面認識装置。
【請求項2】
前記認識部は、
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上の前記シンボルに関するシンボル認識結果を出力する第１機械学習モデル、前記図面データを入力とし当該図面データ上において前記属性に関する属性認識結果を出力する第２機械学習モデル、および、前記図面データを入力とし当該図面データ上において前記シンボル同士を接続する接続線に関する接続線認識結果を出力する第３機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記属性に関する情報、および、前記シンボル同士を接続する接続線に関する情報を認識する
ことを特徴とする請求項１記載の図面認識装置。
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上の前記シンボルに関するシンボル認識結果を出力する第１機械学習モデル、前記図面データを入力とし当該図面データ上において前記属性に関する属性認識結果を出力する第２機械学習モデル、および、前記図面データを入力とし当該図面データ上において前記シンボル同士を接続する接続線に関する接続線認識結果を出力する第３機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記属性に関する情報、および、前記シンボル同士を接続する接続線に関する情報を認識する
ことを特徴とする請求項１記載の図面認識装置。
【請求項3】
前記認識部は、
前記図面取得部が取得した前記図面データと、前記図面データの特性に関する図面特性情報と、前記機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記属性に関する情報、および、前記シンボル同士を接続する接続線に関する情報を認識する
ことを特徴とする請求項１記載の図面認識装置。
前記図面取得部が取得した前記図面データと、前記図面データの特性に関する図面特性情報と、前記機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記属性に関する情報、および、前記シンボル同士を接続する接続線に関する情報を認識する
ことを特徴とする請求項１記載の図面認識装置。
【請求項4】
前記判定部は、
前記認識部が認識した、前記シンボル、前記属性、および、前記接続線に関する情報と、前記図面データ上にて示される前記シンボルと前記属性の関連度、または、前記シンボル同士の接続の関連度に関する関連度情報とに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の図面認識装置。
前記認識部が認識した、前記シンボル、前記属性、および、前記接続線に関する情報と、前記図面データ上にて示される前記シンボルと前記属性の関連度、または、前記シンボル同士の接続の関連度に関する関連度情報とに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の図面認識装置。
【請求項5】
前記関連度情報は、
前記シンボル毎に、前記シンボルと、前記属性との関連度が定義されたシンボル－属性情報、前記シンボル毎に、前記シンボルと、前記シンボルと接続される他のシンボルとの関連度が定義されたシンボル－接続情報、前記図面取得部が取得した前記図面データが用いられる用途毎に、前記シンボルと前記属性との関連度および前記シンボルと他のシンボルとの関連度が定義された用途関連度情報、または、前記図面取得部が取得した前記図面データが用いられる機器の機種毎に、前記シンボルと前記属性との関連度および前記シンボルと他のシンボルとの関連度が定義された機種関連度情報のうちの少なくとも１つを含む
ことを特徴とする請求項４記載の図面認識装置。
前記シンボル毎に、前記シンボルと、前記属性との関連度が定義されたシンボル－属性情報、前記シンボル毎に、前記シンボルと、前記シンボルと接続される他のシンボルとの関連度が定義されたシンボル－接続情報、前記図面取得部が取得した前記図面データが用いられる用途毎に、前記シンボルと前記属性との関連度および前記シンボルと他のシンボルとの関連度が定義された用途関連度情報、または、前記図面取得部が取得した前記図面データが用いられる機器の機種毎に、前記シンボルと前記属性との関連度および前記シンボルと他のシンボルとの関連度が定義された機種関連度情報のうちの少なくとも１つを含む
ことを特徴とする請求項４記載の図面認識装置。
【請求項6】
前記判定部が判定した、前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係の判定結果に基づいて、判定後イメージ図面データを生成する生成部
を備えた請求項１から請求項５のうちのいずれか１項記載の図面認識装置。
を備えた請求項１から請求項５のうちのいずれか１項記載の図面認識装置。
【請求項7】
前記生成部が生成した前記判定後イメージ図面データと前記図面取得部が取得した前記図面データとの比較によって、前記判定後イメージ図面データと前記図面データとの類似度を算出し、前記類似度が高い場合は一致データとして記録し、前記類似度が低い場合は不一致データとして記録する比較部
を備えた請求項６記載の図面認識装置。
を備えた請求項６記載の図面認識装置。
【請求項8】
前記判定部は、
前記比較部が記録した前記不一致データに基づいて、前記図面取得部が取得した図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を再判定する
ことを特徴とする請求項７記載の図面認識装置。
前記比較部が記録した前記不一致データに基づいて、前記図面取得部が取得した図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を再判定する
ことを特徴とする請求項７記載の図面認識装置。
【請求項9】
コンピュータを、
図面データを取得する図面取得部と、
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上のシンボル、属性、および、前記シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記図面取得部が取得した前記図面データにおける前記属性に関する情報、および、前記図面取得部が取得した前記図面データにおける前記接続線に関する情報を認識する認識部と、
前記認識部が認識した、前記シンボルに関する情報、前記属性に関する情報、および、前記接続線に関する情報に基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する判定部
として機能させるための図面認識プログラム。
図面データを取得する図面取得部と、
前記図面取得部が取得した前記図面データと、前記図面データを入力とし当該図面データ上のシンボル、属性、および、前記シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルに関する情報、前記図面取得部が取得した前記図面データにおける前記属性に関する情報、および、前記図面取得部が取得した前記図面データにおける前記接続線に関する情報を認識する認識部と、
前記認識部が認識した、前記シンボルに関する情報、前記属性に関する情報、および、前記接続線に関する情報に基づいて、前記図面取得部が取得した前記図面データにおける前記シンボルと前記属性と他のシンボルとの対応関係を判定する判定部
として機能させるための図面認識プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、図面認識装置および図面認識プログラムに関するものである。
【背景技術】
【0002】
文字または記号が混在する図面において、当該図面上に存在する文字または記号等を認識し、その対応関係を判定する図面認識技術が知られている。
例えば、特許文献１には、文字または記号が混在する図面データにおいて、個別に認識された文字がどの記号または配管に対応しているかの対応関係を、事前に用意された、文字と記号との間の相互の位置関係の配置知識をもとに判定する図面認識技術が開示されている。
例えば、特許文献１には、文字または記号が混在する図面データにおいて、個別に認識された文字がどの記号または配管に対応しているかの対応関係を、事前に用意された、文字と記号との間の相互の位置関係の配置知識をもとに判定する図面認識技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－２３４４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に開示されているような従来技術では、図面認識を行うにあたり、文字と記号等の対応関係について判定するには、事前に配置知識が準備されていなければならないという課題があった。
【0005】
本開示は上記のような課題を解決するためになされたもので、配置知識を必要とすることなく、文字と記号との対応関係を判定することを可能とした図面認識装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示に係る図面認識装置は、図面データを取得する図面取得部と、図面取得部が取得した図面データと、図面データを入力とし当該図面データ上のシンボル、属性、および、シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、図面取得部が取得した図面データにおけるシンボルに関する情報、図面取得部が取得した図面データにおける属性に関する情報、および、図面取得部が取得した図面データにおける接続線に関する情報を認識する認識部と、認識部が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、図面取得部が取得した図面データにおけるシンボルと属性と他のシンボルとの対応関係を判定する判定部とを備えたものである。
【発明の効果】
【0007】
本開示によれば、配置知識を必要とすることなく文字と記号との対応関係を判定することができる。
【図面の簡単な説明】
【0008】
【図1】実施の形態１に係る図面認識装置の構成例を示す図である。
【図2】実施の形態１におけるイメージ図面の一例のイメージを説明するための図である。
【図3】実施の形態１における図面特性情報の一例のイメージを説明するための図である。
【図4】実施の形態１に係る図面認識装置が備える認識部の詳細な構成例を示す図である。
【図5】実施の形態１において、シンボル認識部が取得したシンボル認識結果、属性情報認識部が取得した属性認識結果、および、接続線認識部が取得した接続線認識結果の一例のイメージを示す図であって、図５Ａは、シンボル認識結果、属性認識結果、および、接続線認識結果を、図面取得部が取得したイメージ図面にマッピングしたイメージを示しており、図５Ｂは、シンボル認識結果、属性認識結果、および、接続線認識結果の内容をテキストで示したイメージを示している。
【図6】実施の形態１において、部品記録部が格納している部品情報の内容のイメージの一例を説明するための図である。
【図7】実施の形態１において、関連度記録部が格納している関連度情報の内容のイメージの一例を説明するための図である。
【図8】実施の形態１において、判定部が、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する処理の具体例のイメージを示す説明図である。
【図9】実施の形態１において、判定部が出力する判定結果の一例のイメージを説明するための図である。
【図10】実施の形態１において、比較部が、生成部が出力した判定後イメージ図面と、図面取得部が取得したイメージ図面とを比較する処理の具体例のイメージを示す説明図である。
【図11】実施の形態１に係る図面認識装置の動作を説明するためのフローチャートである。
【図14】実施の形態１に係る学習装置の構成例を示す図である。
【図15】実施の形態１に係る学習装置の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１．
【0010】
図１は、実施の形態１に係る図面認識装置１００の構成例を示す図である。
図面認識装置１００は、操作入力装置２００および表示装置３００と接続される。
操作入力装置２００は、例えば、キーボード２０１およびマウス２０２を備える。
表示装置３００は、ディスプレイ３０１を備える。ディスプレイ３０１は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。表示装置３００は、操作入力装置２００に搭載されていてもよい。
図面認識装置１００は、操作入力装置２００および表示装置３００と接続される。
操作入力装置２００は、例えば、キーボード２０１およびマウス２０２を備える。
表示装置３００は、ディスプレイ３０１を備える。ディスプレイ３０１は、例えば、液晶ディスプレイまたは有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイである。表示装置３００は、操作入力装置２００に搭載されていてもよい。
【0011】
操作入力装置２００は、図面認識装置１００のユーザによる、図面認識装置１００に対する操作を受け付ける。
例えば、ユーザは、操作入力装置２００が備えるキーボード２０１またはマウス２０２を操作して、図面認識装置１００に入力する情報を入力する。具体的には、ユーザは、キーボード２０１またはマウス２０２を操作して、例えば、イメージ図面１の一覧、または、図面特性情報２の一覧を表示装置３００のディスプレイ３０１に表示させ、イメージ図面１および図面特性情報２を選択する。
例えば、ユーザは、操作入力装置２００が備えるキーボード２０１またはマウス２０２を操作して、図面認識装置１００に入力する情報を入力する。具体的には、ユーザは、キーボード２０１またはマウス２０２を操作して、例えば、イメージ図面１の一覧、または、図面特性情報２の一覧を表示装置３００のディスプレイ３０１に表示させ、イメージ図面１および図面特性情報２を選択する。
【0012】
ここで、図２は、実施の形態１におけるイメージ図面１の一例のイメージを説明するための図である。
イメージ図面１は、例えば、図２に示すような回路図が印刷された紙の図面を、スキャナ等により電子化した図面データである。イメージ図面１は、例えば、図２に示すような回路図が印刷された紙の図面を、計算機上で作成した電子データであってもよい。イメージ図面１のフォーマットは、例えば、ｊｐｇまたはｔｉｆｆ形式等の画像フォーマット全般である。
実施の形態１では、一例として、イメージ図面１は、回路図を電子化した図面データとする。
イメージ図面１は、例えば、図２に示すような回路図が印刷された紙の図面を、スキャナ等により電子化した図面データである。イメージ図面１は、例えば、図２に示すような回路図が印刷された紙の図面を、計算機上で作成した電子データであってもよい。イメージ図面１のフォーマットは、例えば、ｊｐｇまたはｔｉｆｆ形式等の画像フォーマット全般である。
実施の形態１では、一例として、イメージ図面１は、回路図を電子化した図面データとする。
【0013】
図３は、実施の形態１における図面特性情報２の一例のイメージを説明するための図である。
図面特性情報２は、イメージ図面１毎に設定される、当該イメージ図面１の特性に関する情報である。具体的には、図面特性情報２は、名称またはＩＤ等、イメージ図面１を特定可能な情報と、当該イメージ図面１の用途と、当該イメージ図面１が用いられる機種を対応付けた情報である。実施の形態１では、図面特性情報２は、例えば、名称またはＩＤ等、回路図を特定可能な情報と、当該回路図の用途と、当該回路図が用いられる機種を対応付けた情報である。
なお、ここでは、図面特性情報２はテキストデータとするが、これは一例に過ぎない。図面特性情報２は、図面と図面の特性とが関連付けられた情報となっていればよい。
図面特性情報２は、イメージ図面１毎に設定される、当該イメージ図面１の特性に関する情報である。具体的には、図面特性情報２は、名称またはＩＤ等、イメージ図面１を特定可能な情報と、当該イメージ図面１の用途と、当該イメージ図面１が用いられる機種を対応付けた情報である。実施の形態１では、図面特性情報２は、例えば、名称またはＩＤ等、回路図を特定可能な情報と、当該回路図の用途と、当該回路図が用いられる機種を対応付けた情報である。
なお、ここでは、図面特性情報２はテキストデータとするが、これは一例に過ぎない。図面特性情報２は、図面と図面の特性とが関連付けられた情報となっていればよい。
【0014】
例えば、複数のイメージ図面１が、予め、図面認識装置１００および操作入力装置２００が参照可能な場所に備えられている図面記録部（図示省略）に格納されている。また、図面特性情報２は、予め、関連度記録部１０６（詳細は後述する）に格納されている。
ユーザは、例えば、キーボード２０１またはマウス２０２を操作して、図面認識装置１００に対して、ディスプレイ３０１に、図面記録部に格納されている複数のイメージ図面１の一覧、および、関連度記録部１０６に格納されている図面特性情報２を表示させる。そして、ユーザは、例えば、キーボード２０１またはマウス２０２を操作して、表示させたイメージ図面１の一覧から所望のイメージ図面１を選択し、選択した当該イメージ図面１に対応する図面特性情報２を選択する。
操作入力装置２００は、ユーザが選択したイメージ図面１および図面特性情報２を受け付ける。操作入力装置２００が受け付けたイメージ図面１および図面特性情報２は、図面認識装置１００に入力される。
ユーザは、例えば、キーボード２０１またはマウス２０２を操作して、図面認識装置１００に対して、ディスプレイ３０１に、図面記録部に格納されている複数のイメージ図面１の一覧、および、関連度記録部１０６に格納されている図面特性情報２を表示させる。そして、ユーザは、例えば、キーボード２０１またはマウス２０２を操作して、表示させたイメージ図面１の一覧から所望のイメージ図面１を選択し、選択した当該イメージ図面１に対応する図面特性情報２を選択する。
操作入力装置２００は、ユーザが選択したイメージ図面１および図面特性情報２を受け付ける。操作入力装置２００が受け付けたイメージ図面１および図面特性情報２は、図面認識装置１００に入力される。
【0015】
図面認識装置１００は、操作入力装置２００から入力されたイメージ図面１および図面特性情報２に基づいて、イメージ図面１の図面認識を行う。
なお、実施の形態１において、図面認識装置１００が行う図面認識とは、イメージ図面１上において、１つ以上のシンボルに関する情報（以下「シンボル情報」という。）、当該シンボルに関連づけられた属性に関する情報（以下「属性情報」という。）、当該シンボル同士の接続線に関する情報（以下「接続線情報」という。）、および、シンボルと属性と接続線との対応関係を認識することをいう。
シンボル情報は、例えば、シンボルの数、各シンボルの位置情報、各シンボルの種別、および、各シンボルの確度の情報を含む。属性情報は、例えば、属性の数、各属性の位置情報、各属性の種別、および、各属性の確度の情報を含む。接続線情報は、接続線の数、各接続線の位置情報、各接続線の種別、および、各接続線の確度の情報を含む。なお、実施の形態１において、「確度」とは、確からしさの確率をいう。例えば、シンボルの確度とはシンボルらしさの確率をいい、属性の確度とは属性らしさの確率をいい、接続線の確度とは接続線らしさの確率をいう。
なお、実施の形態１において、図面認識装置１００が行う図面認識とは、イメージ図面１上において、１つ以上のシンボルに関する情報（以下「シンボル情報」という。）、当該シンボルに関連づけられた属性に関する情報（以下「属性情報」という。）、当該シンボル同士の接続線に関する情報（以下「接続線情報」という。）、および、シンボルと属性と接続線との対応関係を認識することをいう。
シンボル情報は、例えば、シンボルの数、各シンボルの位置情報、各シンボルの種別、および、各シンボルの確度の情報を含む。属性情報は、例えば、属性の数、各属性の位置情報、各属性の種別、および、各属性の確度の情報を含む。接続線情報は、接続線の数、各接続線の位置情報、各接続線の種別、および、各接続線の確度の情報を含む。なお、実施の形態１において、「確度」とは、確からしさの確率をいう。例えば、シンボルの確度とはシンボルらしさの確率をいい、属性の確度とは属性らしさの確率をいい、接続線の確度とは接続線らしさの確率をいう。
【0016】
実施の形態１において、イメージ図面１におけるシンボルとは、例えば、イメージ図面１上で示されている部品とする。また、イメージ図面１における属性とは、例えば、シンボルと関連付けられている、当該シンボルを特定するための文字とする。具体的には、実施の形態１において、属性とは、部品の器具番号または部品の名称等を示す文字とする。また、イメージ図面１における接続線とは、例えば、シンボル同士を接続する線とする。なお、実施の形態１では、接続線は、交点も含むものとする。
【0017】
図面認識装置１００は、図面取得部１０１、認識部１０２、推論器格納部１０３、判定部１０４、部品記録部１０５、関連度記録部１０６、生成部１０７、比較部１０８、一致データ記録部１０９、不一致データ記録部１１０、および、図面表示部１１１を備える。
推論器格納部１０３は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を格納している。
第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３は、イメージ図面１および図面特性情報２を入力として、イメージ図面１の図面認識を行った結果に関する情報を出力するよう学習済みのモデルとする。以下の実施の形態１において、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を、まとめて、単に「機械学習モデル」ともいう。
推論器格納部１０３は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を格納している。
第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３は、イメージ図面１および図面特性情報２を入力として、イメージ図面１の図面認識を行った結果に関する情報を出力するよう学習済みのモデルとする。以下の実施の形態１において、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を、まとめて、単に「機械学習モデル」ともいう。
【0018】
より詳細には、実施の形態１において、第１機械学習モデル１３１は、イメージ図面１および図面特性情報２を入力とし、イメージ図面１上のシンボル情報を認識した結果（以下「シンボル認識結果」という。）を出力する機械学習モデルである。すなわち、実施の形態１において、第１機械学習モデル１３１は、シンボル情報認識用の機械学習モデルである。
第２機械学習モデル１３２は、イメージ図面１および図面特性情報２を入力とし、イメージ図面１上のシンボルに関連付けられた属性情報を認識した結果（以下「属性認識結果」という。）を出力する機械学習モデルである。すなわち、実施の形態１において、第２機械学習モデル１３２は、属性情報認識用の機械学習モデルである。
第３機械学習モデル１３３は、イメージ図面１上のシンボル同士の接続線情報を認識した結果（以下「接続線認識結果」という。）を出力する機械学習モデルである。すなわち、実施の形態１において、第３機械学習モデル１３３は、接続線情報認識用の機械学習モデルである。
第２機械学習モデル１３２は、イメージ図面１および図面特性情報２を入力とし、イメージ図面１上のシンボルに関連付けられた属性情報を認識した結果（以下「属性認識結果」という。）を出力する機械学習モデルである。すなわち、実施の形態１において、第２機械学習モデル１３２は、属性情報認識用の機械学習モデルである。
第３機械学習モデル１３３は、イメージ図面１上のシンボル同士の接続線情報を認識した結果（以下「接続線認識結果」という。）を出力する機械学習モデルである。すなわち、実施の形態１において、第３機械学習モデル１３３は、接続線情報認識用の機械学習モデルである。
【0019】
機械学習モデルは、学習装置４００（後述の図１４参照）が機械学習における学習を実行して生成する。学習装置４００の詳細については、後述する。
【0020】
図面取得部１０１は、ユーザから操作入力装置２００を介して入力されたイメージ図面１および図面特性情報２を取得する。
図面取得部１０１は、イメージ図面１に対して所定の処理を行い、推論データを生成する。
上述のとおり、図面認識装置１００は、イメージ図面１を機械学習モデルに入力して、当該イメージ図面１の図面認識結果を得る。ここで、機械学習モデルの入力とする画像サイズには制限がある。具体的には、例えば、イメージ図面１が、画像サイズ１９２０×１０８０ピクセルのＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）である場合、機械学習モデルの入力とすることが可能な画像サイズの上限を超える。
そこで、図面取得部１０１は、取得したイメージ図面１を、例えば、２２４×２２４ピクセルのサイズ毎のデータになるよう分割し、分割したデータを推論データとする。イメージ図面１を分割する間隔は、上下左右に、２２４×２２４ピクセルのサイズに等間隔で分割すればよく、イメージ図面１を分割する際に重複する部分があってもよい。
なお、図面取得部１０１は、例えば、取得したイメージ図面１が、機械学習モデルの入力とすることが可能なサイズの制限内であれば、上述したような処理を行う必要はなく、取得したイメージ図面１を推論データとすればよい。
図面取得部１０１は、イメージ図面１に基づき生成した推論データ、および、取得した図面特性情報２を、認識部１０２に出力する。
図面取得部１０１は、イメージ図面１に対して所定の処理を行い、推論データを生成する。
上述のとおり、図面認識装置１００は、イメージ図面１を機械学習モデルに入力して、当該イメージ図面１の図面認識結果を得る。ここで、機械学習モデルの入力とする画像サイズには制限がある。具体的には、例えば、イメージ図面１が、画像サイズ１９２０×１０８０ピクセルのＦＨＤ（Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）である場合、機械学習モデルの入力とすることが可能な画像サイズの上限を超える。
そこで、図面取得部１０１は、取得したイメージ図面１を、例えば、２２４×２２４ピクセルのサイズ毎のデータになるよう分割し、分割したデータを推論データとする。イメージ図面１を分割する間隔は、上下左右に、２２４×２２４ピクセルのサイズに等間隔で分割すればよく、イメージ図面１を分割する際に重複する部分があってもよい。
なお、図面取得部１０１は、例えば、取得したイメージ図面１が、機械学習モデルの入力とすることが可能なサイズの制限内であれば、上述したような処理を行う必要はなく、取得したイメージ図面１を推論データとすればよい。
図面取得部１０１は、イメージ図面１に基づき生成した推論データ、および、取得した図面特性情報２を、認識部１０２に出力する。
【0021】
なお、ここでは、上述したようなイメージ図面１の分割を図面取得部１０１が行うものとするが、これは一例に過ぎない。例えば、イメージ図面１の分割を、後述の認識部１０２が行うようにしてもよい。この場合、図面取得部１０１は、取得したイメージ図面１をそのまま後述の認識部１０２に出力し、後述の認識部１０２が、機械学習モデルを用いた推論を行う際に、必要に応じてイメージ図面１の分割を行う。
【0022】
認識部１０２は、図面取得部１０１から出力された推論データおよび図面特性情報２に基づき、推論器格納部１０３にて格納されている第１機械学習モデル１３１、第２機械学習モデル１３２、または、第３機械学習モデル１３３を用いた推論を行うことで、シンボル認識結果、属性認識結果、または、接続線認識結果を取得する。これにより、認識部１０２は、シンボル情報、属性情報、または、接続線情報を認識する。
認識部１０２は、推論結果、言い換えれば、シンボル認識結果、属性認識結果、または、接続線認識結果を判定部１０４に出力する。
認識部１０２は、推論結果、言い換えれば、シンボル認識結果、属性認識結果、または、接続線認識結果を判定部１０４に出力する。
【0023】
ここで、図４は、実施の形態１に係る図面認識装置１００が備える認識部１０２の詳細な構成例を示す図である。
なお、図４では、説明の簡単のため、図１にて示した図面認識装置１００の構成例のうち、図面取得部１０１、認識部１０２、および、推論器格納部１０３のみ示している。
図４に示すように、認識部１０２は、シンボル認識部１０２１、属性情報認識部１０２２、および、接続線認識部１０２３を備える。
なお、図４では、説明の簡単のため、図１にて示した図面認識装置１００の構成例のうち、図面取得部１０１、認識部１０２、および、推論器格納部１０３のみ示している。
図４に示すように、認識部１０２は、シンボル認識部１０２１、属性情報認識部１０２２、および、接続線認識部１０２３を備える。
【0024】
シンボル認識部１０２１は、図面取得部１０１から出力された推論データおよび図面特性情報２と、第１機械学習モデル１３１とに基づいて、シンボル認識結果を取得する。
具体的には、シンボル認識部１０２１は、推論データを解析して当該推論データから画像特徴量を抽出する。また、シンボル認識部１０２１は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。シンボル認識部１０２１は、図面特性情報２から、特徴量を、例えば、「家電」であれば「０」、「配電盤」であれば「１」、「車」であれば「２」のように、数値として抽出する。
シンボル認識部１０２１は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第１機械学習モデル１３１に入力して、シンボル認識結果を取得する。
実施の形態１において、シンボル認識部１０２１は、推論データおよび図面特性情報２と、第１機械学習モデル１３１とに基づき、シンボル認識結果として、推論データ上のシンボルの数、各シンボルの位置情報、各シンボルの種別、および、各シンボルの確度等を取得する。
シンボル認識部１０２１は、取得したシンボル認識結果を、判定部１０４に出力する。
具体的には、シンボル認識部１０２１は、推論データを解析して当該推論データから画像特徴量を抽出する。また、シンボル認識部１０２１は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。シンボル認識部１０２１は、図面特性情報２から、特徴量を、例えば、「家電」であれば「０」、「配電盤」であれば「１」、「車」であれば「２」のように、数値として抽出する。
シンボル認識部１０２１は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第１機械学習モデル１３１に入力して、シンボル認識結果を取得する。
実施の形態１において、シンボル認識部１０２１は、推論データおよび図面特性情報２と、第１機械学習モデル１３１とに基づき、シンボル認識結果として、推論データ上のシンボルの数、各シンボルの位置情報、各シンボルの種別、および、各シンボルの確度等を取得する。
シンボル認識部１０２１は、取得したシンボル認識結果を、判定部１０４に出力する。
【0025】
属性情報認識部１０２２は、図面取得部１０１から出力された推論データおよび図面特性情報２と、第２機械学習モデル１３２とに基づいて、属性認識結果を取得する。
具体的には、属性情報認識部１０２２は、推論データを解析して当該推論データから画像特徴量を抽出する。また、属性情報認識部１０２２は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。
属性情報認識部１０２２は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第２機械学習モデル１３２に入力して、属性認識結果を取得する。
実施の形態１において、属性情報認識部１０２２は、推論データおよび図面特性情報２と、第２機械学習モデル１３２とに基づき、属性認識結果として、推論データ上の属性の数、各属性の位置情報、各属性の種別、および、各属性の確度等を取得する。
属性情報認識部１０２２は、取得した属性認識結果を、判定部１０４に出力する。
具体的には、属性情報認識部１０２２は、推論データを解析して当該推論データから画像特徴量を抽出する。また、属性情報認識部１０２２は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。
属性情報認識部１０２２は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第２機械学習モデル１３２に入力して、属性認識結果を取得する。
実施の形態１において、属性情報認識部１０２２は、推論データおよび図面特性情報２と、第２機械学習モデル１３２とに基づき、属性認識結果として、推論データ上の属性の数、各属性の位置情報、各属性の種別、および、各属性の確度等を取得する。
属性情報認識部１０２２は、取得した属性認識結果を、判定部１０４に出力する。
【0026】
接続線認識部１０２３は、図面取得部１０１から出力された推論データおよび図面特性情報２と、第３機械学習モデル１３３とに基づいて、接続線認識結果を取得する。
具体的には、接続線認識部１０２３は、推論データを解析して当該推論データから画像特徴量を抽出する。また、接続線認識部１０２３は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。
接続線認識部１０２３は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第３機械学習モデル１３３に入力して、接続線認識結果を取得する。
実施の形態１において、接続線認識部１０２３は、推論データおよび図面特性情報２と、第３機械学習モデル１３３とに基づき、接続線認識結果として、推論データ上の接続線の数、各接続線の位置情報、各接続線の種別、および、各接続線の確度等を接続線認識結果として取得する。
接続線認識部１０２３は、取得した接続線認識結果を、判定部１０４に出力する。
具体的には、接続線認識部１０２３は、推論データを解析して当該推論データから画像特徴量を抽出する。また、接続線認識部１０２３は、図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。
接続線認識部１０２３は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第３機械学習モデル１３３に入力して、接続線認識結果を取得する。
実施の形態１において、接続線認識部１０２３は、推論データおよび図面特性情報２と、第３機械学習モデル１３３とに基づき、接続線認識結果として、推論データ上の接続線の数、各接続線の位置情報、各接続線の種別、および、各接続線の確度等を接続線認識結果として取得する。
接続線認識部１０２３は、取得した接続線認識結果を、判定部１０４に出力する。
【0027】
認識部１０２による、推論データと図面特性情報２と機械学習モデルとに基づく推論について、図５を用いて具体的に説明する。
図５は、実施の形態１において、シンボル認識部１０２１が取得したシンボル認識結果、属性情報認識部１０２２が取得した属性認識結果、および、接続線認識部１０２３が取得した接続線認識結果の一例のイメージを示す図である。図５Ａは、シンボル認識結果、属性認識結果、および、接続線認識結果を、図面取得部１０１が取得したイメージ図面１にマッピングしたイメージを示しており、図５Ｂは、シンボル認識結果、属性認識結果、および、接続線認識結果の内容をテキストで示したイメージを示している。
図５は、実施の形態１において、シンボル認識部１０２１が取得したシンボル認識結果、属性情報認識部１０２２が取得した属性認識結果、および、接続線認識部１０２３が取得した接続線認識結果の一例のイメージを示す図である。図５Ａは、シンボル認識結果、属性認識結果、および、接続線認識結果を、図面取得部１０１が取得したイメージ図面１にマッピングしたイメージを示しており、図５Ｂは、シンボル認識結果、属性認識結果、および、接続線認識結果の内容をテキストで示したイメージを示している。
【0028】
なお、図５Ａと図５Ｂとはリンクしている。具体的には、例えば、図５Ａにて５１１，５１２，５１３で示すシンボルは、それぞれ、図５ＢにおけるシンボルＮｏ．１の「リレー（ａ）」、シンボルＮｏ．２の「リレー（ｂ）」、シンボルＮｏ．３の「ヒューズ」と対応している。また、例えば、図５Ａにて５２１，５２２，５２３，５２４で示す属性は、それぞれ、図５Ｂにおける属性Ｎｏ．１の「３０Ｘ００４」、属性Ｎｏ．２の「３０Ｘ００３」、属性Ｎｏ．３の「ＦＬ３」、属性Ｎｏ．５の「６２ＬＣＴＸ」と対応している。また、例えば、図５Ａにて５３１，５３２，５３３，５３４で示す接続線は、図５Ｂにおける接続線Ｎｏ．２，５，６，７の接続線に対応している。
【0029】
イメージ図面１、言い換えれば、推論データ上のシンボル、属性、および、接続線は、イメージ図面１上において矩形領域にて認識される。
図５Ａでは、認識されたシンボルを示す矩形領域、認識された属性を示す矩形領域、および、認識された接続線を示す矩形領域を、図面取得部１０１が取得したイメージ図面１にマッピングしたイメージを示している。
図５Ｂでは、例えば、シンボル認識結果には、シンボル名と、認識されたシンボルの位置情報とが含まれるものとしている。シンボルの位置は、イメージ図面１上においてシンボルを示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。なお、図５Ｂにおいて示されている各座標は、図５Ａにおいて、図上の左上を原点とした座標としている。
また、図５Ｂでは、例えば、属性認識結果には、属性、言い換えれば、文字と、認識された文字の位置情報とが含まれるものとしている。文字の位置は、イメージ図面１上において文字を示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。
また、図５Ｂでは、例えば、接続線認識結果には、接続線の種別と、認識された接続線の位置情報とが含まれるものとしている。接続線の位置は、イメージ図面１上において接続線を示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。
図５Ａでは、認識されたシンボルを示す矩形領域、認識された属性を示す矩形領域、および、認識された接続線を示す矩形領域を、図面取得部１０１が取得したイメージ図面１にマッピングしたイメージを示している。
図５Ｂでは、例えば、シンボル認識結果には、シンボル名と、認識されたシンボルの位置情報とが含まれるものとしている。シンボルの位置は、イメージ図面１上においてシンボルを示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。なお、図５Ｂにおいて示されている各座標は、図５Ａにおいて、図上の左上を原点とした座標としている。
また、図５Ｂでは、例えば、属性認識結果には、属性、言い換えれば、文字と、認識された文字の位置情報とが含まれるものとしている。文字の位置は、イメージ図面１上において文字を示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。
また、図５Ｂでは、例えば、接続線認識結果には、接続線の種別と、認識された接続線の位置情報とが含まれるものとしている。接続線の位置は、イメージ図面１上において接続線を示す矩形領域の、Ｘ座標の最小値および最大値と、Ｙ座標の最小値および最大値であらわされる。
【0030】
なお、図５Ａ、図５Ｂに示すシンボル認識結果、属性認識結果、および、接続線認識結果の内容は一例に過ぎない。シンボル認識結果、属性認識結果、または、接続線認識結果には、ＩＤ等、図５Ａ、図５Ｂに示した情報以外の情報が含まれていてもよい。
【0031】
図１の説明に戻る。
推論器格納部１０３は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を格納する。
推論器格納部１０３は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を格納する。
【0032】
判定部１０４は、認識部１０２が出力したシンボル認識結果、属性認識結果、および、接続線認識結果と、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する。
また、判定部１０４は、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。不一致データ記録部１１０に格納されている不一致データの詳細については、後述する。
また、判定部１０４は、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。不一致データ記録部１１０に格納されている不一致データの詳細については、後述する。
【0033】
部品記録部１０５に格納されている部品情報、および、関連度記録部１０６に格納されている関連度情報について、説明する。
【0034】
図６は、実施の形態１において、部品記録部１０５が格納している部品情報の内容のイメージの一例を説明するための図である。
部品情報は、イメージ図面１において示される部品に関する情報である。
具体的には、部品情報は、例えば、図６に示すように、部品の器具番号および部品コードが含まれる部品リストデータである。
なお、実施の形態１において、部品は、イメージ図面１上においてシンボルとして示される。
部品情報は、イメージ図面１において示される部品に関する情報である。
具体的には、部品情報は、例えば、図６に示すように、部品の器具番号および部品コードが含まれる部品リストデータである。
なお、実施の形態１において、部品は、イメージ図面１上においてシンボルとして示される。
【0035】
図７は、実施の形態１において、関連度記録部１０６が格納している関連度情報の内容のイメージの一例を説明するための図である。
関連度情報は、例えば、ユーザによって、予め生成され、関連度記録部１０６に記録されている。ユーザは、例えば、イメージ図面１と図面特性情報２とに基づいて、関連度情報を予め生成しておく。実施の形態１において、関連度情報は、図７に示すように、シンボル－属性情報（図７において７０１で示す）、シンボル－接続情報（図７において７０２で示す）、用途関連度情報（図７において７０３，７０４で示す）、および、機種関連度情報（図７において７０５，７０６で示す）を含む。
関連度情報は、例えば、ユーザによって、予め生成され、関連度記録部１０６に記録されている。ユーザは、例えば、イメージ図面１と図面特性情報２とに基づいて、関連度情報を予め生成しておく。実施の形態１において、関連度情報は、図７に示すように、シンボル－属性情報（図７において７０１で示す）、シンボル－接続情報（図７において７０２で示す）、用途関連度情報（図７において７０３，７０４で示す）、および、機種関連度情報（図７において７０５，７０６で示す）を含む。
【0036】
シンボル－属性情報は、シンボル毎に、当該シンボルと、当該シンボルと関連する属性との関連度が定義された情報である。シンボル－属性情報において、シンボル毎に、関連する属性と、当該属性がイメージ図面１上でシンボルとともに示される回数とが対応付けられて定義されている。例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１に基づいてシンボル－属性情報を生成している。シンボル－属性情報にて定義されている回数は、シンボル－属性情報の生成に用いられたイメージ図面１、言い換えれば、学習フェーズにおいて使用されるイメージ図面１上で、シンボルと関連付けられた属性が出現する回数を示す。
シンボル－属性情報において、シンボル、属性、および、シンボルと関連付けられた属性の出現頻度が対応付けられた情報には、それぞれ、ＩＤが付与されている。
シンボル－属性情報において、シンボル、属性、および、シンボルと関連付けられた属性の出現頻度が対応付けられた情報には、それぞれ、ＩＤが付与されている。
【0037】
シンボル－接続情報は、シンボル毎に、当該シンボルと、当該シンボルと接続される他のシンボルとの関連度が定義された情報である。シンボル－接続情報シンボル－接続情報において、シンボル毎に、接続先となるシンボル（以下「接続先シンボル」という。）と、当該接続先シンボルがイメージ図面１上でシンボルと接続されて示される回数とが対応付けられて定義されている。例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１に基づいてシンボル－接続情報を生成している。シンボル－接続情報にて定義されている回数は、シンボル－接続情報の生成に用いられたイメージ図面１、言い換えれば、学習フェーズにおいて使用されるイメージ図面１上で、接続先シンボルが出現する回数を示す。
シンボル－接続情報において、シンボル、接続先シンボル、および、接続先シンボルの出現頻度が対応付けられた情報には、それぞれ、ＩＤが付与されている。
シンボル－接続情報において、シンボル、接続先シンボル、および、接続先シンボルの出現頻度が対応付けられた情報には、それぞれ、ＩＤが付与されている。
【0038】
用途関連度情報は、シンボル－属性用途関連度情報（図７において７０３で示す）と、シンボル－接続用途関連度情報（図７において７０４で示す）を含む。
シンボル－属性用途関連度情報は、イメージ図面１が用いられる用途毎に、シンボルと属性との関連度が定義された情報である。より詳細には、シンボル－属性用途関連度情報は、イメージ図面１における、シンボル－属性情報にて定義されているシンボルと属性の組み合わせの出現頻度を、用途毎に分類した情報である。シンボル－属性用途関連度情報では、用途毎に、関連付けられたシンボルおよび属性を示す情報と、当該関連付けられたシンボルおよび属性の組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび属性を示す情報は、例えば、シンボル－属性情報におけるＩＤとする。すなわち、図７の７０３に示すシンボル－属性用途関連度情報では、「家電」の用途で用いられるイメージ図面１において、「リレー（ａ）」と「３０Ｘ００４」との組み合わせが、２２回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－属性情報とに基づいて、シンボル－属性用途関連度情報を生成している。なお、ユーザは、図３に示すような図面特性情報２に基づけば、イメージ図面１の用途を特定できる。
シンボル－属性用途関連度情報は、イメージ図面１が用いられる用途毎に、シンボルと属性との関連度が定義された情報である。より詳細には、シンボル－属性用途関連度情報は、イメージ図面１における、シンボル－属性情報にて定義されているシンボルと属性の組み合わせの出現頻度を、用途毎に分類した情報である。シンボル－属性用途関連度情報では、用途毎に、関連付けられたシンボルおよび属性を示す情報と、当該関連付けられたシンボルおよび属性の組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび属性を示す情報は、例えば、シンボル－属性情報におけるＩＤとする。すなわち、図７の７０３に示すシンボル－属性用途関連度情報では、「家電」の用途で用いられるイメージ図面１において、「リレー（ａ）」と「３０Ｘ００４」との組み合わせが、２２回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－属性情報とに基づいて、シンボル－属性用途関連度情報を生成している。なお、ユーザは、図３に示すような図面特性情報２に基づけば、イメージ図面１の用途を特定できる。
【0039】
シンボル－接続用途関連度情報は、イメージ図面１が用いられる用途毎に、シンボルと接続先シンボルとの関連度が定義された情報である。より詳細には、シンボル－接続用途関連度情報は、イメージ図面１における、シンボル－接続情報にて定義されているシンボルと接続先シンボルの組み合わせの出現頻度を、用途毎に分類した情報である。シンボル－接続用途関連度情報では、用途毎に、関連付けられたシンボルおよび接続先シンボルを示す情報と、当該関連付けられたシンボルおよび接続先シンボルの組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび接続先シンボルを示す情報は、例えば、シンボル－接続情報におけるＩＤとする。すなわち、図７の７０４に示すシンボル－接続用途関連度情報では、「家電」の用途で用いられるイメージ図面１において、「リレー（ａ）」と「抵抗」との組み合わせが、５回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－接続情報とに基づいて、シンボル－接続用途関連度情報を生成している。
関連付けられたシンボルおよび接続先シンボルを示す情報は、例えば、シンボル－接続情報におけるＩＤとする。すなわち、図７の７０４に示すシンボル－接続用途関連度情報では、「家電」の用途で用いられるイメージ図面１において、「リレー（ａ）」と「抵抗」との組み合わせが、５回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－接続情報とに基づいて、シンボル－接続用途関連度情報を生成している。
【0040】
機種関連度情報は、シンボル－属性機種関連度情報（図７において７０５で示す）と、シンボル－接続機種関連度情報（図７において７０６で示す）を含む。
シンボル－属性機種関連度情報は、イメージ図面１が用いられる機器の機種毎に、シンボルと属性との関連度が定義された情報である。より詳細には、機種関連度情報は、イメージ図面１における、シンボル－属性情報にて定義されているシンボルと属性の組み合わせの出現頻度を、機種毎に分類した情報である。シンボル－属性機種関連度情報では、機種毎に、関連付けられたシンボルおよび属性を示す情報と、当該関連付けられたシンボルおよび属性の組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび属性を示す情報は、例えば、シンボル－属性情報におけるＩＤとする。すなわち、図７の７０５に示すシンボル－属性機種関連度情報では、機種「Ｎ－１００１Ａ」で用いられるイメージ図面１において、「リレー（ａ）」と「３０Ｘ００４」との組み合わせが、１８回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－属性情報とに基づいて、シンボル－属性機種関連度情報を生成している。なお、ユーザは、図３に示すような図面特性情報２に基づけば、イメージ図面１の機種を特定できる。
シンボル－属性機種関連度情報は、イメージ図面１が用いられる機器の機種毎に、シンボルと属性との関連度が定義された情報である。より詳細には、機種関連度情報は、イメージ図面１における、シンボル－属性情報にて定義されているシンボルと属性の組み合わせの出現頻度を、機種毎に分類した情報である。シンボル－属性機種関連度情報では、機種毎に、関連付けられたシンボルおよび属性を示す情報と、当該関連付けられたシンボルおよび属性の組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび属性を示す情報は、例えば、シンボル－属性情報におけるＩＤとする。すなわち、図７の７０５に示すシンボル－属性機種関連度情報では、機種「Ｎ－１００１Ａ」で用いられるイメージ図面１において、「リレー（ａ）」と「３０Ｘ００４」との組み合わせが、１８回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－属性情報とに基づいて、シンボル－属性機種関連度情報を生成している。なお、ユーザは、図３に示すような図面特性情報２に基づけば、イメージ図面１の機種を特定できる。
【0041】
シンボル－接続機種関連度情報は、イメージ図面１が用いられる機器の機種毎に、シンボルと接続先シンボルとの関連度が定義された情報である。より詳細には、シンボル－接続機種関連度情報は、イメージ図面１における、シンボル－接続情報にて定義されているシンボルと接続先シンボルの組み合わせの出現頻度を、機種毎に分類した情報である。シンボル－接続機種関連度情報では、用途毎に、関連付けられたシンボルおよび接続先シンボルを示す情報と、当該関連付けられたシンボルおよび接続先シンボルの組み合わせが出現する回数が対応付けられている。
関連付けられたシンボルおよび接続先シンボルを示す情報は、例えば、シンボル－接続情報におけるＩＤとする。すなわち、図７の７０６に示すシンボル－接続機種関連度情報では、機種「Ｎ－１００１Ａ」で用いられるイメージ図面１において、「リレー（ａ）」と「抵抗」との組み合わせが、１５回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－接続情報とに基づいて、シンボル－接続機種関連度情報を生成している。
関連付けられたシンボルおよび接続先シンボルを示す情報は、例えば、シンボル－接続情報におけるＩＤとする。すなわち、図７の７０６に示すシンボル－接続機種関連度情報では、機種「Ｎ－１００１Ａ」で用いられるイメージ図面１において、「リレー（ａ）」と「抵抗」との組み合わせが、１５回出現することを意味している。
例えば、ユーザは、予め、学習フェーズにて使用する複数のイメージ図面１と、生成したシンボル－接続情報とに基づいて、シンボル－接続機種関連度情報を生成している。
【0042】
なお、関連度情報において、対応付けられている回数が多いほど、関連度が高いことをあらわす。
また、実施の形態１では、図７に示すように、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、および、機種関連度情報とするが、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、および、機種関連度情報の全てが含まれていることを必須としない。関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、または、機種関連度情報のうちの少なくとも１つ以上を含むものであればよい。
また、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、または、機種関連度情報に限らず、イメージ図面１上にて示されるシンボル、属性、または、接続線の関連度に関する情報であればよい。例えば、関連度情報には、イメージ図面１における、シンボルと属性の組み合わせ、または、シンボルと接続先シンボルとの組み合わせの出現頻度を、イメージ図面１が主に使用される国または地域毎に分類した国地域関連度情報が含まれるようにしてもよい。
また、実施の形態１では、図７に示すように、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、および、機種関連度情報とするが、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、および、機種関連度情報の全てが含まれていることを必須としない。関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、または、機種関連度情報のうちの少なくとも１つ以上を含むものであればよい。
また、関連度情報は、シンボル－属性情報、シンボル－接続情報、用途関連度情報、または、機種関連度情報に限らず、イメージ図面１上にて示されるシンボル、属性、または、接続線の関連度に関する情報であればよい。例えば、関連度情報には、イメージ図面１における、シンボルと属性の組み合わせ、または、シンボルと接続先シンボルとの組み合わせの出現頻度を、イメージ図面１が主に使用される国または地域毎に分類した国地域関連度情報が含まれるようにしてもよい。
【0043】
判定部１０４の説明に戻り、判定部１０４による、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの判定について、図８を用いて具体的に説明する。
図８は、実施の形態１において、判定部１０４が、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する処理の具体例のイメージを示す説明図である。
なお、ここでは、例えば、認識部１０２から出力されたシンボル認識結果、属性認識結果、および、接続線認識結果は、図５に示すような内容であるものとし、図８に示す認識結果の内容は、図５に示す認識結果の内容と同じである。また、ここでは、例えば、部品記録部１０５に格納されている部品情報は、図６に示すような内容であるものとし、図８に示す部品情報の内容は、図６に示す部品情報の内容と同じである。
以下では、一例として、判定部１０４は、認識部１０２から出力されたシンボル認識結果、属性認識結果、および、接続線認識結果に基づいて、シンボル「リレー（ａ）」と「リレー（ｂ）」の接続関係が正しく認識できているかを判定する例を挙げて、判定部１０４による判定処理を説明する。
図８は、実施の形態１において、判定部１０４が、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する処理の具体例のイメージを示す説明図である。
なお、ここでは、例えば、認識部１０２から出力されたシンボル認識結果、属性認識結果、および、接続線認識結果は、図５に示すような内容であるものとし、図８に示す認識結果の内容は、図５に示す認識結果の内容と同じである。また、ここでは、例えば、部品記録部１０５に格納されている部品情報は、図６に示すような内容であるものとし、図８に示す部品情報の内容は、図６に示す部品情報の内容と同じである。
以下では、一例として、判定部１０４は、認識部１０２から出力されたシンボル認識結果、属性認識結果、および、接続線認識結果に基づいて、シンボル「リレー（ａ）」と「リレー（ｂ）」の接続関係が正しく認識できているかを判定する例を挙げて、判定部１０４による判定処理を説明する。
【0044】
判定部１０４は、まず、部品記録部１０５を参照し、部品情報と属性認識結果とを付き合わせ、属性認識結果に含まれている属性が、部品情報で定義されている器具番号と一致するか否かを判定する。判定部１０４は、属性認識結果に含まれている属性が、部品情報で定義されている器具番号と一致しなかった場合、当該属性を、属性認識結果から破棄する。
ここでは、便宜上、属性認識結果に含まれている「３０Ｘ００４」、「３０Ｘ００３」、「ＦＬ３」、「ＦＬ４」、および、「６ＬＣＴＸ５７」は、全て部品情報で定義されている器具番号と一致するものとする。
ここでは、便宜上、属性認識結果に含まれている「３０Ｘ００４」、「３０Ｘ００３」、「ＦＬ３」、「ＦＬ４」、および、「６ＬＣＴＸ５７」は、全て部品情報で定義されている器具番号と一致するものとする。
【0045】
次に、判定部１０４は、シンボル認識結果、属性認識結果、または、接続線認識結果を参照し、各認識結果から、シンボルの位置を示す座標、属性の位置を示す座標、および、接続線の位置を示す座標に基づいて、シンボルと属性と接続線との間の関連付けを推測し、シンボルと属性と接続線との間の対応関係を仮判定する。
具体的には、例えば、判定部１０４は、シンボルと属性と接続線との距離を算出し、当該距離に応じて、上記関連付けを推測する。
例えば、判定部１０４は、シンボル認識結果においてＮｏ．１の「リレー（ａ）」の位置を示す座標と、属性認識結果においてＮｏ．１の「３０Ｘ００４」の位置を示す座標とに基づいて「リレー（ａ）」と「３０Ｘ００４」との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ａ）」と「３０Ｘ００４」とは関連付けられていると推測する。なお、実施の形態１において、判定部１０４は、シンボルと属性との距離、または、シンボルと接続線との距離を、例えば、認識結果における位置情報から矩形の中心位置を算出し、中心位置の差分ベクトルにて求める。判定部１０４は、例えば、算出した距離と予め設定された閾値（以下「距離判定用閾値」という。）との比較によって、算出した距離が近いか否かを判定すればよい。例えば、判定部１０４は、算出した距離が距離判定用閾値以下であれば、距離が近いと判定する。
判定部１０４は、例えば、位置情報から矩形が重なっているかを判定し、重なっている場合に近いと判定するようにしてもよい。
具体的には、例えば、判定部１０４は、シンボルと属性と接続線との距離を算出し、当該距離に応じて、上記関連付けを推測する。
例えば、判定部１０４は、シンボル認識結果においてＮｏ．１の「リレー（ａ）」の位置を示す座標と、属性認識結果においてＮｏ．１の「３０Ｘ００４」の位置を示す座標とに基づいて「リレー（ａ）」と「３０Ｘ００４」との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ａ）」と「３０Ｘ００４」とは関連付けられていると推測する。なお、実施の形態１において、判定部１０４は、シンボルと属性との距離、または、シンボルと接続線との距離を、例えば、認識結果における位置情報から矩形の中心位置を算出し、中心位置の差分ベクトルにて求める。判定部１０４は、例えば、算出した距離と予め設定された閾値（以下「距離判定用閾値」という。）との比較によって、算出した距離が近いか否かを判定すればよい。例えば、判定部１０４は、算出した距離が距離判定用閾値以下であれば、距離が近いと判定する。
判定部１０４は、例えば、位置情報から矩形が重なっているかを判定し、重なっている場合に近いと判定するようにしてもよい。
【0046】
また、例えば、判定部１０４は、シンボル認識結果においてＮｏ．１の「リレー（ａ）」の位置を示す座標と、接続線認識結果においてＮｏ．２の接続線の位置を示す座標とに基づいて「リレー（ａ）」とＮｏ．２の接続線との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ａ）」とＮｏ．２の接続線とは関連付けられていると推測する。
また、例えば、判定部１０４は、接続線認識結果においてＮｏ．２の接続線の位置を示す座標と、Ｎｏ．５の接続線の位置を示す座標と、Ｎｏ．６の接続線の位置を示す座標とから、Ｎｏ．２の接続線とＮｏ．５の接続線との距離、および、Ｎｏ．５の接続線とＮｏ．６の接続線との距離を判定する。判定部１０４は、算出した距離がそれぞれ近いことから、Ｎｏ．２の接続線とＮｏ．５の接続線とＮｏ．６の接続線は関連付けられていると推測する。
また、例えば、判定部１０４は、接続線認識結果においてＮｏ．２の接続線の位置を示す座標と、Ｎｏ．５の接続線の位置を示す座標と、Ｎｏ．６の接続線の位置を示す座標とから、Ｎｏ．２の接続線とＮｏ．５の接続線との距離、および、Ｎｏ．５の接続線とＮｏ．６の接続線との距離を判定する。判定部１０４は、算出した距離がそれぞれ近いことから、Ｎｏ．２の接続線とＮｏ．５の接続線とＮｏ．６の接続線は関連付けられていると推測する。
【0047】
さらに、例えば、判定部１０４は、シンボル認識結果においてＮｏ．２の「リレー（ｂ）」の位置を示す座標と、接続線認識結果においてＮｏ．７の接続線の位置を示す座標とに基づいて「リレー（ｂ）」とＮｏ．７の接続線との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ｂ）」とＮｏ．７の接続線とは関連付けられていると推測する。
また、例えば、判定部１０４は、シンボル認識結果においてＮｏ．２の「リレー（ｂ）」の位置を示す座標と、属性認識結果においてＮｏ．２の「３０Ｘ００３」の位置を示す座標とに基づいて「リレー（ｂ）」と「３０Ｘ００３」との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ｂ）」と「３０Ｘ００３」とは関連付けられていると推測する。
また、例えば、判定部１０４は、シンボル認識結果においてＮｏ．２の「リレー（ｂ）」の位置を示す座標と、属性認識結果においてＮｏ．２の「３０Ｘ００３」の位置を示す座標とに基づいて「リレー（ｂ）」と「３０Ｘ００３」との距離を算出する。判定部１０４は、算出した距離が近いことから、「リレー（ｂ）」と「３０Ｘ００３」とは関連付けられていると推測する。
【0048】
以上のように推測した結果から、判定部１０４は、「リレー（ａ）」は「３０Ｘ００４」であり、「リレー（ｂ）」は「３０Ｘ００３」であって、「リレー（ａ）」と「リレー（ｂ）」とは、Ｎｏ．２，５，６，７の接続線によって接続されているとの対応関係を仮判定する。
【0049】
シンボルと属性と接続線との間の対応関係を仮判定すると、判定部１０４は、関連度記録部１０６に格納されている関連度情報を参照して、仮判定した対応関係に基づいて、シンボルと属性と接続線との対応関係が正しく判定できているか否かを判定する。具体的には、判定部１０４は、関連度記録部１０６に格納されている関連度情報と、予め設定されている閾値との比較によって、仮判定した対応関係が正しいか否かを判定する。
例えば、ここでは、上述のとおり、判定部１０４は、リレー（ａ）とリレー（ｂ）とは接続されていると仮判定した。そこで、判定部１０４は、例えば、関連度情報のシンボル－接続情報を参照し、リレー（ａ）とリレー（ｂ）とに対応付けられた回数と予め設定された閾値（以下「シンボル接続判定用閾値」という。）とを比較する。判定部１０４は、例えば、シンボル－接続情報にて定義されている回数がシンボル接続判定用閾値を超えている場合、リレー（ａ）とリレー（ｂ）とは接続されているとの仮判定は正しい判定する。ここでは、例えば、シンボル接続判定用閾値は「１０」であったとすると、シンボル－接続情報においてリレー（ａ）とリレー（ｂ）とに対応付けられた回数は「２５」であることから（図７の７０２参照）、判定部１０４は、リレー（ａ）とリレー（ｂ）とは接続されていると判定する。すなわち、判定部１０４は、リレー（ａ）とリレー（ｂ）が、正しい対応関係で認識されていると判定する。
例えば、ここでは、上述のとおり、判定部１０４は、リレー（ａ）とリレー（ｂ）とは接続されていると仮判定した。そこで、判定部１０４は、例えば、関連度情報のシンボル－接続情報を参照し、リレー（ａ）とリレー（ｂ）とに対応付けられた回数と予め設定された閾値（以下「シンボル接続判定用閾値」という。）とを比較する。判定部１０４は、例えば、シンボル－接続情報にて定義されている回数がシンボル接続判定用閾値を超えている場合、リレー（ａ）とリレー（ｂ）とは接続されているとの仮判定は正しい判定する。ここでは、例えば、シンボル接続判定用閾値は「１０」であったとすると、シンボル－接続情報においてリレー（ａ）とリレー（ｂ）とに対応付けられた回数は「２５」であることから（図７の７０２参照）、判定部１０４は、リレー（ａ）とリレー（ｂ）とは接続されていると判定する。すなわち、判定部１０４は、リレー（ａ）とリレー（ｂ）が、正しい対応関係で認識されていると判定する。
【0050】
なお、判定部１０４は、関連度情報にて定義されている回数が予め設定されている閾値を超えていない場合、上述の例でいうと、リレー（ａ）とリレー（ｂ）とに対応付けられた回数が、仮に、シンボル接続判定用閾値を超えていない場合は、認識部１０２から出力された各認識結果から、リレー（ａ）およびリレー（ｂ）とが接続されていると仮判定した内容に関する情報を削除するようにしてもよい。ここでは、判定部１０４は、例えば、「リレー（ａ）」、「リレー（ｂ）」、「３０Ｘ００４」、「３０Ｘ００３」、および、Ｎｏ．２，５，６，７の接続線の認識結果を削除するようにしてもよい。なお、これは一例に過ぎず、判定部１０４は、関連度情報にて定義されている回数が予め設定されている閾値を超えていない場合も、認識結果から、仮判定した情報を削除しないようにしてもよい。
【0051】
判定部１０４は、例えば、シンボルと接続先シンボルとの関連について、シンボル－接続用途関連度情報（図７の７０４参照）で定義されている関連度は高いが、シンボル－接続情報（図７の７０２参照）に基づく関連が見つけられなかった場合は、シンボル－接続用途関連度情報に基づいて関連度が高いとされる、シンボルと接続先シンボルとの関連付けを行ってもよい。
具体例を挙げると、例えば、シンボル認識結果として、Ａシンボル、Ｂシンボルが認識され、Ｃシンボルは認識されなかったとする。なお、ＡシンボルおよびＣシンボルは、「家電」の用途で用いられるイメージ図面１において優先的に使用されるシンボルであり、Ｂシンボルは「配電盤」の用途で用いられるイメージ図面１において優先的に使用されるシンボルであるものとする。
また、関連度情報において、シンボル－接続情報には、ＡシンボルとＣシンボルとの関連度が高く、ＡシンボルとＢシンボルとの関連度は低い旨が定義されているとする。
この場合、判定部１０４は、認識部１０２から出力された認識結果に基づき、ＡシンボルとＢシンボルとは接続されているとの対応関係を仮判定するが、関連度情報を参照した結果、ＡシンボルとＢシンボルとは関連度が高くないと判定しなおすことになる。一方で、判定部１０４は、関連度情報に基づき、例えば、「家電」の用途において、ＡシンボルとＣシンボルとの関連度が高いと判定できたとする。この場合、判定部１０４は、例えば、認識結果において、ＣシンボルをＢシンボルと置き換えるようにしてもよい。
具体例を挙げると、例えば、シンボル認識結果として、Ａシンボル、Ｂシンボルが認識され、Ｃシンボルは認識されなかったとする。なお、ＡシンボルおよびＣシンボルは、「家電」の用途で用いられるイメージ図面１において優先的に使用されるシンボルであり、Ｂシンボルは「配電盤」の用途で用いられるイメージ図面１において優先的に使用されるシンボルであるものとする。
また、関連度情報において、シンボル－接続情報には、ＡシンボルとＣシンボルとの関連度が高く、ＡシンボルとＢシンボルとの関連度は低い旨が定義されているとする。
この場合、判定部１０４は、認識部１０２から出力された認識結果に基づき、ＡシンボルとＢシンボルとは接続されているとの対応関係を仮判定するが、関連度情報を参照した結果、ＡシンボルとＢシンボルとは関連度が高くないと判定しなおすことになる。一方で、判定部１０４は、関連度情報に基づき、例えば、「家電」の用途において、ＡシンボルとＣシンボルとの関連度が高いと判定できたとする。この場合、判定部１０４は、例えば、認識結果において、ＣシンボルをＢシンボルと置き換えるようにしてもよい。
【0052】
また、判定部１０４は、例えば、シンボルと属性と接続線について、認識結果から対応関係を仮判定できなかった場合、関連度情報に基づいて、関連付けを行うようにしてもよい。具体例を挙げると、例えば、判定部１０４は、シンボル認識結果においてＮｏ．３の「ヒューズ」の位置を示す座標と、属性認識結果においてＮｏ．３の「ＦＬ３」の位置を示す座標とに基づいて、「ヒューズ」と「ＦＬ３」との距離を算出したとする。また、判定部１０４は、シンボル認識結果においてＮｏ．３の「ヒューズ」の位置を示す座標と、属性認識結果においてＮｏ．５の「６２ＬＣＴＸ」の位置を示す座標とに基づいて、「ヒューズ」と「６２ＬＣＴＸ」との距離を算出したとする。その結果、「ヒューズ」と「ＦＬ３」との距離と、「ヒューズ」と「６２ＬＣＴＸ」との距離が同じであり、「ＦＬ３」と「６２ＬＣＴＸ」のどちらが「ヒューズ」と関連付くか判定できなかったとする。この場合、例えば、判定部１０４は、関連度情報に基づき、「ヒューズ」と「６２ＬＣＴＸ」、または、「ＦＬ３」と「６２ＬＣＴＸ」のどちらの組み合わせのほうが関連度が高いか、言い換えれば、出現頻度が多いかによって、関連付けを行うようにしてもよい。
【0053】
このように、判定部１０４は、例えば、シンボルと属性との関連付け、シンボルと接続先シンボルとの関連付け、イメージ図面１の用途、または、イメージ図面１が用いられる機種を加味して、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する。
また、判定部１０４は、認識結果から関連付けを行うことができなかったシンボルまたは属性について、関連度情報に基づいて、その関連付けを補完することもできる。
また、判定部１０４は、認識結果から関連付けを行うことができなかったシンボルまたは属性について、関連度情報に基づいて、その関連付けを補完することもできる。
【0054】
判定部１０４は、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの判定結果を、生成部１０７に出力する。
【0055】
ここで、図９は、実施の形態１において、判定部１０４が出力する判定結果の一例のイメージを説明するための図である。
判定結果は、例えば、図９に示すように、シンボル、当該シンボルの位置、当該シンボルと関連付けた属性、属性の位置、当該シンボルの接続先シンボル、および、接続先シンボルの位置が対応付けられた情報（以下「関連判定結果情報」という。）が、シンボル毎に設定された情報である。なお、接続先シンボルが複数ある場合、関連判定結果情報には、複数の接続先シンボルが全て対応付けられる。また、関連判定結果情報において、シンボルの位置、属性の位置、および、接続先シンボルの位置は、例えば、シンボル、属性、および、接続先シンボルがそれぞれ認識された矩形の中心の、イメージ図面１上の座標であらわされるものとしている。
判定結果は、例えば、図９に示すように、シンボル、当該シンボルの位置、当該シンボルと関連付けた属性、属性の位置、当該シンボルの接続先シンボル、および、接続先シンボルの位置が対応付けられた情報（以下「関連判定結果情報」という。）が、シンボル毎に設定された情報である。なお、接続先シンボルが複数ある場合、関連判定結果情報には、複数の接続先シンボルが全て対応付けられる。また、関連判定結果情報において、シンボルの位置、属性の位置、および、接続先シンボルの位置は、例えば、シンボル、属性、および、接続先シンボルがそれぞれ認識された矩形の中心の、イメージ図面１上の座標であらわされるものとしている。
【0056】
なお、判定部１０４は、制御部（図示省略）から、判定終了条件を満たしていない旨の通知を受けると、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。判定部１０４が行う再判定については、後述する。
【0057】
生成部１０７は、判定部１０４が出力した判定結果からイメージ図面１と同等の生成データ（以下「判定後イメージ図面データ」という。）を生成する。より詳細には、生成部１０７は、判定部１０４が出力した判定結果において設定されている各関連判定結果情報に基づいて、イメージ図面１を復元し、判定後イメージ図面データとする。判定後イメージ図面データ上では、各関連判定結果情報にて対応付けられているシンボル、属性、および、接続先シンボルが、各関連判定結果情報にて対応付けられている位置にて、示される。
生成部１０７は、生成した判定後イメージ図面データを比較部１０８に出力する。なお、生成部１０７は、判定後イメージ図面データとともに、判定部１０４が出力した判定結果をあわせて比較部１０８に出力する。
生成部１０７は、生成した判定後イメージ図面データを比較部１０８に出力する。なお、生成部１０７は、判定後イメージ図面データとともに、判定部１０４が出力した判定結果をあわせて比較部１０８に出力する。
【0058】
比較部１０８は、生成部１０７が出力した判定後イメージ図面と、図面取得部１０１が取得したイメージ図面１とを比較する。比較部１０８は、図面取得部１０１から、認識部１０２、判定部１０４、および、生成部１０７を介して、イメージ図面１を取得すればよい。
【0059】
比較部１０８による、判定後イメージ図面とイメージ図面１との比較について、図１０を用いて具体的に説明する。
比較部１０８は、判定後イメージ図面におけるシンボルおよび当該シンボルと対応付けられる属性毎に、判定後イメージ図面とイメージ図面１との比較を行う。なお、シンボルと属性とは、判定部１０４が出力した判定結果における関連判定結果情報にて対応付けられている。
具体的には、比較部１０８は、例えば、判定後イメージ図面とイメージ図面１とを比較し、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。なお、この際、比較部１０８は、主にシンボルおよび属性を比較対象とし、接続線は比較対象外とする。
比較部１０８は、判定後イメージ図面におけるシンボルおよび当該シンボルと対応付けられる属性毎に、判定後イメージ図面とイメージ図面１との比較を行う。なお、シンボルと属性とは、判定部１０４が出力した判定結果における関連判定結果情報にて対応付けられている。
具体的には、比較部１０８は、例えば、判定後イメージ図面とイメージ図面１とを比較し、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。なお、この際、比較部１０８は、主にシンボルおよび属性を比較対象とし、接続線は比較対象外とする。
【0060】
比較部１０８は、シンボルに対応付けられている属性を、判定部１０４が出力した判定結果から判定すればよい。具体例を挙げると、例えば、判定部１０４が出力した判定結果が図９に示すような内容であったとすると、比較部１０８は、（ｘ，ｙ）＝（３１，１０）の位置の「３０Ｘ００４」の文字が対応付けられた、（ｘ，ｙ）＝（３０，１８）の位置の「リレー（ａ）」が、イメージ図面１上に存在するか否かを判定する。
なお、比較部１０８は、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、イメージ図面１上においても同じ位置に存在するとの判定について、厳密に同じ位置であることを必須としない。例えば、比較部１０８は、判定後イメージ図面について、シンボルの位置を基準点（第１基準点）とし、当該第１基準点を中心として予め設定された範囲（第１範囲）を抽出する。第１範囲は、通常、認識部１０２によってシンボルが認識された矩形領域である。また、比較部１０８は、判定後イメージ図面について、シンボルと対応付けられている属性の位置を基準点（第２基準点）とし、当該第２基準点を中心として予め設定された範囲（第２範囲）を抽出する。第２範囲は、通常、認識部１０２によって属性が認識された矩形領域である。また、比較部１０８は、イメージ図面１について、判定後イメージ図面上のシンボルの位置に対応するイメージ図面１上の位置を基準点（第３基準点）とし、当該第３基準点を中心として予め設定された範囲（第３範囲）を抽出する。第３範囲は、第１範囲と同じ大きさとする。また、比較部１０８は、イメージ図面１について、判定後イメージ図面上の、シンボルに対応付けられている属性の位置に対応するイメージ図面１上の位置を基準点（第４基準点）とし、当該第４基準点を中心として予め設定された範囲（第４範囲）を抽出する。第４範囲は、第２範囲と同じ大きさとする。
そして、比較部１０８は、例えば、抽出した第１範囲の判定後イメージ図面と、抽出した第３範囲のイメージ図面１とを、テンプレートマッチングによって比較して、判定後イメージ図面とイメージ図面１との類似度（第１類似度）を算出する。また、比較部１０８は、例えば、抽出した第２範囲の判定後イメージ図面と、抽出した第４範囲のイメージ図面１とを、テンプレートマッチングによって比較して、判定後イメージ図面とイメージ図面１との類似度（第２類似度）を算出する。比較部１０８は、抽出した判定後イメージ図面とイメージ図面１について特徴量を比較して、判定後イメージ図面とイメージ図面１との類似度を算出してもよい。
比較部１０８は、算出した第１類似度および第２類似度が、それぞれ、予め設定された閾値（以下「類似度判定用閾値」という。）以上であるか否かによって、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。
なお、比較部１０８は、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、イメージ図面１上においても同じ位置に存在するとの判定について、厳密に同じ位置であることを必須としない。例えば、比較部１０８は、判定後イメージ図面について、シンボルの位置を基準点（第１基準点）とし、当該第１基準点を中心として予め設定された範囲（第１範囲）を抽出する。第１範囲は、通常、認識部１０２によってシンボルが認識された矩形領域である。また、比較部１０８は、判定後イメージ図面について、シンボルと対応付けられている属性の位置を基準点（第２基準点）とし、当該第２基準点を中心として予め設定された範囲（第２範囲）を抽出する。第２範囲は、通常、認識部１０２によって属性が認識された矩形領域である。また、比較部１０８は、イメージ図面１について、判定後イメージ図面上のシンボルの位置に対応するイメージ図面１上の位置を基準点（第３基準点）とし、当該第３基準点を中心として予め設定された範囲（第３範囲）を抽出する。第３範囲は、第１範囲と同じ大きさとする。また、比較部１０８は、イメージ図面１について、判定後イメージ図面上の、シンボルに対応付けられている属性の位置に対応するイメージ図面１上の位置を基準点（第４基準点）とし、当該第４基準点を中心として予め設定された範囲（第４範囲）を抽出する。第４範囲は、第２範囲と同じ大きさとする。
そして、比較部１０８は、例えば、抽出した第１範囲の判定後イメージ図面と、抽出した第３範囲のイメージ図面１とを、テンプレートマッチングによって比較して、判定後イメージ図面とイメージ図面１との類似度（第１類似度）を算出する。また、比較部１０８は、例えば、抽出した第２範囲の判定後イメージ図面と、抽出した第４範囲のイメージ図面１とを、テンプレートマッチングによって比較して、判定後イメージ図面とイメージ図面１との類似度（第２類似度）を算出する。比較部１０８は、抽出した判定後イメージ図面とイメージ図面１について特徴量を比較して、判定後イメージ図面とイメージ図面１との類似度を算出してもよい。
比較部１０８は、算出した第１類似度および第２類似度が、それぞれ、予め設定された閾値（以下「類似度判定用閾値」という。）以上であるか否かによって、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。
【0061】
比較部１０８は、例えば、算出した第１類似度および第２類似度がいずれも類似度判定用閾値以上である場合、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在すると判定する。言い換えれば、比較部１０８は、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性は、イメージ図面１上のシンボルと当該シンボルに対応付けられた属性と一致すると判定する。この場合、比較部１０８は、一致すると判定したシンボルに関する関連判定結果情報を、一致データとして、一致データ記録部１０９に記録する。
【0062】
一方、比較部１０８は、例えば、算出した第１類似度もしくは第２類似度のいずれか一方、または両方が類似度判定用閾値以上ではない場合、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在しないと判定する。言い換えれば、比較部１０８は、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性は、イメージ図面１上のシンボルと当該シンボルに対応付けられた属性と不一致であると判定する。この場合、比較部１０８は、不一致と判定したシンボルに関するシンボル認識結果と、不一致と判定したシンボルに対応付けられた属性に関する属性認識結果とを、不一致データとして、不一致データ記録部１１０に記録する。比較部１０８は、例えば、判定部１０４および生成部１０７を介して認識部１０２から認識結果（図５参照）を取得するようにし、取得した認識結果から、不一致と判定したシンボルに関するシンボル認識結果と、不一致と判定したシンボルに対応付けられた属性に関する属性認識結果とを抽出すればよい。
なお、比較部１０８は、不一致データを抽出する際、不一致と判定したシンボルと接続されている接続線についても不一致と判定し、当該接続線に関する接続線認識結果を、不一致データ記録部１１０に記録するようにする。
なお、比較部１０８は、不一致データを抽出する際、不一致と判定したシンボルと接続されている接続線についても不一致と判定し、当該接続線に関する接続線認識結果を、不一致データ記録部１１０に記録するようにする。
【0063】
比較部１０８は、このような比較処理を、判定部１０４から出力された判定結果に含まれている全ての関連判定結果情報に対して行う。
【0064】
ここで、図１０は、実施の形態１において、比較部１０８が、生成部１０７が出力した判定後イメージ図面と、図面取得部１０１が取得したイメージ図面１とを比較する処理のイメージを示す説明図である。
なお、便宜上、図１０は、図９の判定結果とは関係しておらず、単に、判定後イメージ図面とイメージ図面１との比較のイメージを説明するための図としている。
また、説明の簡単のため、図１０において、イメージ図面１および判定後イメージ図面から、一致データと不一致データと含む領域を抜き出して拡大して示すようにしている。図１０では、イメージ図面１から抜き出して拡大した領域を１００１で示し、判定後イメージ図面から抜き出して拡大した領域を１００２で示している。
例えば、１００２に示す領域において示されている「８８ＴＢＬ１Ｃ」が対応付けられた「コイル」は、それぞれ、１００１に示す領域の、１００２に示す領域と対応する位置には存在しない。よって、比較部１０８は、「コイル」に関するシンボル認識結果と、「８８ＴＢＬ１Ｃ」に関する属性認識結果を、不一致データとして不一致データ記録部１１０に記録する。
なお、便宜上、図１０は、図９の判定結果とは関係しておらず、単に、判定後イメージ図面とイメージ図面１との比較のイメージを説明するための図としている。
また、説明の簡単のため、図１０において、イメージ図面１および判定後イメージ図面から、一致データと不一致データと含む領域を抜き出して拡大して示すようにしている。図１０では、イメージ図面１から抜き出して拡大した領域を１００１で示し、判定後イメージ図面から抜き出して拡大した領域を１００２で示している。
例えば、１００２に示す領域において示されている「８８ＴＢＬ１Ｃ」が対応付けられた「コイル」は、それぞれ、１００１に示す領域の、１００２に示す領域と対応する位置には存在しない。よって、比較部１０８は、「コイル」に関するシンボル認識結果と、「８８ＴＢＬ１Ｃ」に関する属性認識結果を、不一致データとして不一致データ記録部１１０に記録する。
【0065】
なお、図面認識装置１００は、予め設定された条件（以下「判定終了条件」という。）を満たすまで、判定部１０４による再判定、生成部１０７による判定後イメージ図面の生成、および、比較部１０８による比較処理を繰り返す。「判定終了条件」は、例えば、「予め設定された回数だけ判定処理を行ったこと」または「不一致データがなく、すべて一致データであると判定されたこと」である。「判定終了条件」は、ユーザによって適宜設定可能である。
具体的には、例えば、図面認識装置１００の制御部が、比較部１０８が一致データまたは不一致データを記録すると、判定終了条件を満たしたか否かを判定する。判定終了条件を満たしていないと判定した場合、制御部は、判定終了条件を満たしていない旨を判定部１０４に通知する。判定部１０４は、比較部１０８からの、判定終了条件を満たしていない旨の通知を受けると、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。
なお、不一致データ記録部１１０に記録されている不一致データは、認識結果のうち、比較部１０８によって一致データと判定されたシンボルに関するシンボル認識結果、比較部１０８によって一致データと判定された属性に関する属性認識結果、および、比較部１０８によって一致データと判定された接続線に関する接続線認識結果が取り除かれている。そのため、判定部１０４は、再判定を行う際に、関連付けを行うシンボル、属性、または、接続線の範囲が狭まり、より正確に判定を行うことができる。
具体的には、例えば、図面認識装置１００の制御部が、比較部１０８が一致データまたは不一致データを記録すると、判定終了条件を満たしたか否かを判定する。判定終了条件を満たしていないと判定した場合、制御部は、判定終了条件を満たしていない旨を判定部１０４に通知する。判定部１０４は、比較部１０８からの、判定終了条件を満たしていない旨の通知を受けると、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。
なお、不一致データ記録部１１０に記録されている不一致データは、認識結果のうち、比較部１０８によって一致データと判定されたシンボルに関するシンボル認識結果、比較部１０８によって一致データと判定された属性に関する属性認識結果、および、比較部１０８によって一致データと判定された接続線に関する接続線認識結果が取り除かれている。そのため、判定部１０４は、再判定を行う際に、関連付けを行うシンボル、属性、または、接続線の範囲が狭まり、より正確に判定を行うことができる。
【0066】
判定終了条件を満たしたと判定した場合、制御部は、判定終了条件を満たした旨を判定部１０４および図面表示部１１１に通知する。判定部１０４は、制御部からの、判定終了条件を満たした旨の通知を受けると、判定処理を終了する。すなわち、比較部１０８は、以降、比較処理を行わない。なお、ここでは、判定終了条件を満たすか否かの判定、および、当該判定結果に基づく通知を、図面認識装置１００の制御部が行うものとするが、これは一例に過ぎない。例えば、判定部１０４または比較部１０８が、判定終了条件を満たすか否かの判定、および、当該判定結果に基づく通知を行うようにしてもよい。
【0067】
一致データ記録部１０９は、比較部１０８が出力した一致データを記録する。
不一致データ記録部１１０は、比較部１０８が出力した不一致データを記録する。
不一致データ記録部１１０は、比較部１０８が出力した不一致データを記録する。
【0068】
図面表示部１１１は、一致データ記録部１０９に記録されている一致データを、表示装置３００のディスプレイ３０１に表示する。
具体的には、図面表示部１１１は、例えば、ＣＡＤアプリケーション等を用いて、一致データをＣＡＤデータに変換して表示装置３００のディスプレイ３０１に表示する。
なお、図面表示部１１１は、上記判定終了条件を満たした時点で、一致データの表示を行う。
例えば、制御部は、上述のように、判定終了条件を満たすと、図面表示部１１１に対して、判定終了条件を満たした旨を通知する。図面表示部１１１は、比較部１０８から、判定終了条件を満たした旨の通知がされると、一致データ記録部１０９を参照して、一致データの表示を行う。
具体的には、図面表示部１１１は、例えば、ＣＡＤアプリケーション等を用いて、一致データをＣＡＤデータに変換して表示装置３００のディスプレイ３０１に表示する。
なお、図面表示部１１１は、上記判定終了条件を満たした時点で、一致データの表示を行う。
例えば、制御部は、上述のように、判定終了条件を満たすと、図面表示部１１１に対して、判定終了条件を満たした旨を通知する。図面表示部１１１は、比較部１０８から、判定終了条件を満たした旨の通知がされると、一致データ記録部１０９を参照して、一致データの表示を行う。
【0069】
実施の形態１に係る図面認識装置１００の動作について説明する。
図１１は、実施の形態１に係る図面認識装置１００の動作を説明するためのフローチャートである。
図１１は、実施の形態１に係る図面認識装置１００の動作を説明するためのフローチャートである。
【0070】
図面取得部１０１は、ユーザから操作入力装置２００を介して入力されたイメージ図面１および図面特性情報２を取得する（ステップＳＴ１１０１）。図面取得部１０１は、イメージ図面１に対して所定の処理を行い、推論データを生成する。
図面取得部１０１は、イメージ図面１に基づき生成した推論データ、および、取得した図面特性情報２を、認識部１０２に出力する。
図面取得部１０１は、イメージ図面１に基づき生成した推論データ、および、取得した図面特性情報２を、認識部１０２に出力する。
【0071】
認識部１０２は、ステップＳＴ１１０１にて図面取得部１０１から出力された推論データおよび図面特性情報２に基づき、推論器格納部１０３にて格納されている第１機械学習モデル１３１、第２機械学習モデル１３２、または、第３機械学習モデル１３３を用いた推論を行うことで、シンボル認識結果、属性認識結果、または、接続線認識結果を取得する。これにより、認識部１０２は、シンボル情報、属性情報、または、接続線情報を認識する（ステップＳＴ１１０２）。
認識部１０２は、推論結果、言い換えれば、シンボル認識結果、属性認識結果、または、接続線認識結果を判定部１０４に出力する。
認識部１０２は、推論結果、言い換えれば、シンボル認識結果、属性認識結果、または、接続線認識結果を判定部１０４に出力する。
【0072】
ここで、図１２は、図１１のステップＳＴ１１０２にて認識部１０２が行う、推論の動作の詳細を説明するためのフローチャートである。
シンボル認識部１０２１は、図１１のステップＳＴ１１０１にて図面取得部１０１から出力された推論データおよび図面特性情報２と、第１機械学習モデル１３１とに基づいて、シンボル認識結果を取得する。
具体的には、シンボル認識部１０２１は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第１機械学習モデル１３１に入力して、シンボル認識結果を取得する（ステップＳＴ１２０１）。
シンボル認識部１０２１は、取得したシンボル認識結果を、判定部１０４に出力する。
シンボル認識部１０２１は、図１１のステップＳＴ１１０１にて図面取得部１０１から出力された推論データおよび図面特性情報２と、第１機械学習モデル１３１とに基づいて、シンボル認識結果を取得する。
具体的には、シンボル認識部１０２１は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第１機械学習モデル１３１に入力して、シンボル認識結果を取得する（ステップＳＴ１２０１）。
シンボル認識部１０２１は、取得したシンボル認識結果を、判定部１０４に出力する。
【0073】
属性情報認識部１０２２は、図１１のステップＳＴ１１０１にて図面取得部１０１から出力された推論データおよび図面特性情報２と、第２機械学習モデル１３２とに基づいて、属性認識結果を取得する。
具体的には、属性情報認識部１０２２は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第２機械学習モデル１３２に入力して、属性認識結果を取得する（ステップＳＴ１２０２）。
属性情報認識部１０２２は、取得した属性認識結果を、判定部１０４に出力する。
具体的には、属性情報認識部１０２２は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第２機械学習モデル１３２に入力して、属性認識結果を取得する（ステップＳＴ１２０２）。
属性情報認識部１０２２は、取得した属性認識結果を、判定部１０４に出力する。
【0074】
接続線認識部１０２３は、図１１のステップＳＴ１１０１にて図面取得部１０１から出力された推論データおよび図面特性情報２と、第３機械学習モデル１３３とに基づいて、接続線認識結果を取得する。
具体的には、接続線認識部１０２３は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第３機械学習モデル１３３に入力して、接続線認識結果を取得する（ステップＳＴ１２０３）。
接続線認識部１０２３は、取得した接続線認識結果を、判定部１０４に出力する。
具体的には、接続線認識部１０２３は、推論データから抽出した画像特徴量と図面特性情報２から抽出した特徴量とを第３機械学習モデル１３３に入力して、接続線認識結果を取得する（ステップＳＴ１２０３）。
接続線認識部１０２３は、取得した接続線認識結果を、判定部１０４に出力する。
【0075】
図１１のフローチャートの説明に戻る。
判定部１０４は、認識部１０２が出力したシンボル認識結果、属性認識結果、または、接続線認識結果と、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する。
判定部１０４は、認識部１０２が出力したシンボル認識結果、属性認識結果、または、接続線認識結果と、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識できているか否かを総合的に判定する。
【0076】
判定部１０４は、まず、部品記録部１０５を参照し、部品情報と属性認識結果とを付き合わせ、属性認識結果に含まれている属性が、部品情報で定義されている器具番号と一致するか否かを判定する（ステップＳＴ１１０３）。判定部１０４は、属性認識結果に含まれている属性が、部品情報で定義されている器具番号と一致しなかった場合、当該属性を、属性認識結果から破棄する。
【0077】
次に、判定部１０４は、シンボル認識結果、属性認識結果、または、接続線認識結果を参照し、各認識結果から、シンボルの位置を示す座標、属性の位置を示す座標、および、接続線の位置を示す座標に基づいて、シンボルと属性と接続線との間の関連付けを推測し、シンボルと属性と接続線との間の対応関係を仮判定する。
そして、判定部１０４は、関連度記録部１０６に格納されている関連度情報を参照して、仮判定した対応関係に基づいて、シンボルと属性と接続線との対応関係が正しく判定できているか否かを判定する（ステップＳＴ１１０４）。
判定部１０４は、推論データにおけるシンボルと属性と接続線との対応関係が正しく判定できているか否かの判定結果を、生成部１０７に出力する。
そして、判定部１０４は、関連度記録部１０６に格納されている関連度情報を参照して、仮判定した対応関係に基づいて、シンボルと属性と接続線との対応関係が正しく判定できているか否かを判定する（ステップＳＴ１１０４）。
判定部１０４は、推論データにおけるシンボルと属性と接続線との対応関係が正しく判定できているか否かの判定結果を、生成部１０７に出力する。
【0078】
生成部１０７は、ステップＳＴ１１０４にて判定部１０４が出力した判定結果から判定後イメージ図面データを生成する（ステップＳＴ１１０５）。
生成部１０７は、生成した判定後イメージ図面データを比較部１０８に出力する。
生成部１０７は、生成した判定後イメージ図面データを比較部１０８に出力する。
【0079】
比較部１０８は、ステップＳＴ１１０５にて生成部１０７が出力した判定後イメージ図面と、ステップＳＴ１１０１にて図面取得部１０１が取得したイメージ図面１とを比較する（ステップＳＴ１１０６）。
具体的には、比較部１０８は、例えば、判定後イメージ図面とイメージ図面１とを比較し、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。なお、この際、比較部１０８は、主にシンボルおよび属性を比較対象をとし、接続線は比較対象外とする。
具体的には、比較部１０８は、例えば、判定後イメージ図面とイメージ図面１とを比較し、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性が、それぞれ、イメージ図面１上においても同じ位置に存在するか否かを判定する。なお、この際、比較部１０８は、主にシンボルおよび属性を比較対象をとし、接続線は比較対象外とする。
【0080】
比較部１０８は、比較判定の結果、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性は、イメージ図面１上のシンボルと当該シンボルに対応付けられた属性と一致すると判定した場合（ステップＳＴ１１０６の“ＹＥＳ”の場合）、一致すると判定したシンボルに関する関連判定結果情報を、一致データとして一致データ記録部１０９に記録する（ステップＳＴ１１０７）。
【0081】
比較部１０８は、比較判定の結果、判定後イメージ図面上のシンボルと当該シンボルに対応付けられた属性は、イメージ図面１上のシンボルと当該シンボルに対応付けられた属性と不一致であると判定した場合（ステップＳＴ１１０６の“ＮＯ”の場合）、不一致と判定したシンボルに関するシンボル認識結果と、不一致と判定したシンボルに対応付けられた属性に関する属性認識結果とを、不一致データとして不一致データ記録部１１０に記録する（ステップＳＴ１１０８）。
【0082】
図面認識装置１００の制御部は、判定終了条件を満たしたか否かを判定する（ステップＳＴ１１０９）。
判定終了条件を満たしていないと判定した場合（ステップＳＴ１１０９の“ＮＯ”の場合）、制御部は、判定終了条件を満たしていない旨を判定部１０４に通知する。そして、図面認識装置１００の動作はステップＳＴ１１０３に戻り、判定部１０４は、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。
判定終了条件を満たしていないと判定した場合（ステップＳＴ１１０９の“ＮＯ”の場合）、制御部は、判定終了条件を満たしていない旨を判定部１０４に通知する。そして、図面認識装置１００の動作はステップＳＴ１１０３に戻り、判定部１０４は、不一致データ記録部１１０に格納されている不一致データと、部品記録部１０５に格納されている部品情報と、関連度記録部１０６に格納されている関連度情報とに基づき、推論データにおけるシンボル、属性、および、シンボル同士の接続が正しく認識できているか否かの再判定を行う。
【0083】
判定終了条件を満たしたと判定した場合（ステップＳＴ１１０９の“ＹＥＳ”の場合）、制御部は、判定終了条件を満たした旨を判定部１０４および図面表示部１１１に通知する。判定部１０４は、制御部からの、判定終了条件を満たした旨の通知を受けると、判定処理を終了する。すなわち、比較部１０８は、以降、比較処理を行わない。
図面表示部１１１は、ステップＳＴ１１０９にて制御部から判定終了条件を満たした旨が通知されると、一致データ記録部１０９に記録されている一致データを、表示装置３００のディスプレイ３０１に表示する（ステップＳＴ１１１０）。
図面表示部１１１は、ステップＳＴ１１０９にて制御部から判定終了条件を満たした旨が通知されると、一致データ記録部１０９に記録されている一致データを、表示装置３００のディスプレイ３０１に表示する（ステップＳＴ１１１０）。
【0084】
このように、図面認識装置１００において、認識部１０２は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を用いて、イメージ図面１に含まれる、１つ以上のシンボルに関するシンボル情報、シンボルに関連づけられた属性に関する属性情報、シンボル同士の接続線に関する接続線情報を認識することができる。
また、図面認識装置１００において、判定部１０４は、認識部１０２から出力された認識結果（シンボル認識結果、属性認識結果、または、接続線認識結果）に基づき、部品情報、および、関連度情報との照合を行うことで、イメージ図面１におけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識されているか否かを総合的に判定し精度を向上させることができる。
さらに、図面認識装置１００において、比較部１０８は、生成部１０７が生成した判定後イメージ図面データとイメージ図面１とで、シンボルおよび当該シンボルに対応付けられる属性を比較することで、当該シンボルまたは属性の認識の誤りを検出することができ、高い精度の認識結果を選択することができる。
また、図面認識装置１００において、判定部１０４は、認識部１０２から出力された認識結果（シンボル認識結果、属性認識結果、または、接続線認識結果）に基づき、部品情報、および、関連度情報との照合を行うことで、イメージ図面１におけるシンボルと属性と他のシンボルとの対応関係を判定し、シンボル、属性、および、シンボル同士の接続が正しく認識されているか否かを総合的に判定し精度を向上させることができる。
さらに、図面認識装置１００において、比較部１０８は、生成部１０７が生成した判定後イメージ図面データとイメージ図面１とで、シンボルおよび当該シンボルに対応付けられる属性を比較することで、当該シンボルまたは属性の認識の誤りを検出することができ、高い精度の認識結果を選択することができる。
【0085】
なお、以上の実施の形態１では、図面認識装置１００において、判定部１０４は、認識部１０２から出力された認識結果について、部品記録部１０５に格納されている部品情報、および、関連度記録部１０６に記録されている関連度情報の両方との照合を行うようにしたが、これは一例に過ぎない。判定部１０４は、部品情報または関連度情報のいずれか一方とのみ照合を行うようにしてもよいし、部品情報および関連度情報のいずれとも照合を行うことなく、認識結果の判定を行ってもよい。
部品情報および関連度情報のいずれとも照合を行わない場合、判定部１０４は、認識部１０２が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、イメージ図面１におけるシンボルと属性と他のシンボルとの対応関係を判定する。具体的には、例えば、判定部１０４は、シンボル認識結果、属性認識結果、または、接続線認識結果を参照し、各認識結果から、シンボルと属性と接続線との距離を算出し、算出した距離に応じて、シンボルと属性と接続線との間の対応関係を判定する。
ただし、判定部１０４は、部品情報または関連度情報と照合を行って認識結果の判定を行うことで、部品情報および関連度情報のいずれとも照合を行うことなく認識結果の判定をする場合よりも、より高い精度で、シンボルと属性と接続線との間の対応関係を判定することができる。
部品情報および関連度情報のいずれとも照合を行わない場合、判定部１０４は、認識部１０２が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、イメージ図面１におけるシンボルと属性と他のシンボルとの対応関係を判定する。具体的には、例えば、判定部１０４は、シンボル認識結果、属性認識結果、または、接続線認識結果を参照し、各認識結果から、シンボルと属性と接続線との距離を算出し、算出した距離に応じて、シンボルと属性と接続線との間の対応関係を判定する。
ただし、判定部１０４は、部品情報または関連度情報と照合を行って認識結果の判定を行うことで、部品情報および関連度情報のいずれとも照合を行うことなく認識結果の判定をする場合よりも、より高い精度で、シンボルと属性と接続線との間の対応関係を判定することができる。
【0086】
さらに、認識部１０２が出力したシンボル認識結果、属性認識結果、もしくは、接続線認識結果を参照し各認識結果（図５参照）、または、判定部１０４が出力した判定結果（図９参照）に対して、ユーザが必要な認識結果または判定結果を選択可能なインタフェースを設けるようにしてもよい。
具体的には、例えば、図面認識装置１００の表示制御部（図示省略）が、認識部１０２が出力した各認識結果、または、判定部１０４が出力した判定結果を、表示装置３００のディスプレイ３０１に表示させるようにする。ユーザは、ディスプレイ３０１を確認することで、各認識結果または判定結果の内容を把握する。ユーザは、例えば、明らかに誤りがあるシンボル、属性、または、接続線等があれば、操作入力装置２００のキーボード２０１またはマウス２０２を操作して、明らかに誤りがあるシンボル、属性、または、接続線等を削除する指示を入力する。図面認識装置１００の制御部は、ユーザが入力した指示を受け付け、受け付けた指示に基づき、認識結果または判定結果から、シンボル、属性、または、接続線等に関する情報を削除する。
このように構成することで、図面認識装置１００は、ユーザが必要としたシンボル、属性、または、接続線等に関する情報を選別するようにすることができる。
具体的には、例えば、図面認識装置１００の表示制御部（図示省略）が、認識部１０２が出力した各認識結果、または、判定部１０４が出力した判定結果を、表示装置３００のディスプレイ３０１に表示させるようにする。ユーザは、ディスプレイ３０１を確認することで、各認識結果または判定結果の内容を把握する。ユーザは、例えば、明らかに誤りがあるシンボル、属性、または、接続線等があれば、操作入力装置２００のキーボード２０１またはマウス２０２を操作して、明らかに誤りがあるシンボル、属性、または、接続線等を削除する指示を入力する。図面認識装置１００の制御部は、ユーザが入力した指示を受け付け、受け付けた指示に基づき、認識結果または判定結果から、シンボル、属性、または、接続線等に関する情報を削除する。
このように構成することで、図面認識装置１００は、ユーザが必要としたシンボル、属性、または、接続線等に関する情報を選別するようにすることができる。
【0087】
また、以上の実施の形態１では、推論器格納部１０３は、図面認識装置１００に備えられるものとしたが、これは一例に過ぎない。推論器格納部１０３は、図面認識装置１００の外部の、図面認識装置１００が参照可能な場所に備えられるようにしてもよい。具体的には、例えば、通信ネットワーク上に配置された単数または複数のネットワークストレージ装置（図示省略）が推論器格納部１０３の機能を有するものとし、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を記憶するようにしてもよい。図面認識装置１００は、上記ネットワークストレージ装置にアクセスする。これにより、外部のネットワークストレージ装置は第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を蓄積し、図面認識装置１００の外部にデータベースを構築することができる。
【0088】
また、以上の実施の形態１では、部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、図面認識装置１００に備えられるものとしたが、これは一例に過ぎない。部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、図面認識装置１００の外部の、図面認識装置１００が参照可能な場所に備えられるようにしてもよい。
【0089】
また、以上の実施の形態１では、図面認識装置１００は、図面取得部１０１、認識部１０２、推論器格納部１０３、判定部１０４、部品記録部１０５、関連度記録部１０６、生成部１０７、比較部１０８、一致データ記録部１０９、不一致データ記録部１１０、および、図面表示部１１１を備えるものとしたが、これは一例に過ぎない。図面認識装置１００は、少なくとも、図面取得部１０１と認識部１０２と判定部１０４を備えるようになっていればよい。この場合、例えば、生成部１０７、比較部１０８、および、図面表示部１１１は、図面認識装置１００の外部の装置（図面生成装置。図示省略）に備えるようにし、図面認識装置１００と図面生成装置とで図面生成システムを構成してもよい。なお、推論器格納部１０３、部品記録部１０５、一致データ記録部１０９、および、不一致データ記録部１１０は、例えば、図面認識装置１００および図面生成装置が参照可能なサーバ等に備えられる。
【0090】
実施の形態１に係る図面認識装置１００は、例えば、紙図面からのＣＡＤデータの復元、または、異なるＣＡＤシステムのためのＣＡＤデータの変換に用いられるのに適している。
具体的には、例えば、ユーザは、特定のＣＡＤシステムで作成された印刷物をイメージ図面１として図面認識装置１００に入力する。図面認識装置１００は、入力されたイメージ図面１上に存在するシンボル、属性、または、接続線を認識し、一致データを記録する。ユーザは、記録された一致データを上記特定のＣＡＤシステムに入力することで、印刷物をＣＡＤデータに復元でき、設計の改修または改良等に当該ＣＡＤデータを再利用することができる。
また、ユーザは、例えば、異なるＣＡＤシステムのデータフォーマットへの変換プログラムを別途設けることで、上記一致データを他のＣＡＤシステムで使用するＣＡＤデータに変換することが可能となる。
このように、実施の形態１に係る図面認識装置１００は、例えば、ＣＡＤシステムにおいて、ＣＡＤデータを復元するために用いられることにより、ＣＡＤシステムにおけるＣＡＤデータの復元精度を向上することができる。
具体的には、例えば、ユーザは、特定のＣＡＤシステムで作成された印刷物をイメージ図面１として図面認識装置１００に入力する。図面認識装置１００は、入力されたイメージ図面１上に存在するシンボル、属性、または、接続線を認識し、一致データを記録する。ユーザは、記録された一致データを上記特定のＣＡＤシステムに入力することで、印刷物をＣＡＤデータに復元でき、設計の改修または改良等に当該ＣＡＤデータを再利用することができる。
また、ユーザは、例えば、異なるＣＡＤシステムのデータフォーマットへの変換プログラムを別途設けることで、上記一致データを他のＣＡＤシステムで使用するＣＡＤデータに変換することが可能となる。
このように、実施の形態１に係る図面認識装置１００は、例えば、ＣＡＤシステムにおいて、ＣＡＤデータを復元するために用いられることにより、ＣＡＤシステムにおけるＣＡＤデータの復元精度を向上することができる。
【0091】
図１３Ａ，図１３Ｂは、実施の形態１に係る図面認識装置１００のハードウェア構成の一例を示す図である。
実施の形態１において、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の機能は、処理回路１３０１により実現される。すなわち、図面認識装置１００は、入力されたイメージ図面１上のシンボル等の認識を行うための処理回路１３０１を備える。
処理回路１３０１は、図１３Ａに示すように専用のハードウェアであっても、図１３Ｂに示すようにメモリ１３０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０４であってもよい。
実施の形態１において、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の機能は、処理回路１３０１により実現される。すなわち、図面認識装置１００は、入力されたイメージ図面１上のシンボル等の認識を行うための処理回路１３０１を備える。
処理回路１３０１は、図１３Ａに示すように専用のハードウェアであっても、図１３Ｂに示すようにメモリ１３０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３０４であってもよい。
【0092】
処理回路１３０１が専用のハードウェアである場合、処理回路１３０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0093】
処理回路１３０１がＣＰＵ１３０４の場合、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３０５に記憶される。処理回路１３０１は、メモリ１３０５に記憶されたプログラムを読み出して実行することにより、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の機能を実行する。すなわち、図面認識装置１００は、処理回路１３０１により実行されるときに、上述の図１１のステップＳＴ１１０１～ステップＳＴ１１１０、および、図１２のステップＳＴ１２０１～ステップＳＴ１２０３が結果的に実行させることになるプログラムを格納するためのメモリ１３０５を備える。また、メモリ１３０５に記憶されたプログラムは、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１３０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0094】
なお、図面取得部１０１と、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、図面取得部１０１については専用のハードウェアとしての処理回路１３０１でその機能を実現し、認識部１０２と、判定部１０４と、生成部１０７と、比較部１０８と、図面表示部１１１については処理回路１３０１がメモリ１３０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、推論器格納部１０３、部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、例えば、ＨＤＤを使用する。なお、これは一例であって、推論器格納部１０３、部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、メモリ１３０５、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、図面認識装置１００は、操作入力装置２００、または、表示装置３００等の装置と、有線通信または無線通信を行う入力インタフェース装置１３０２および出力インタフェース装置１３０３を備える。
また、推論器格納部１０３、部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、例えば、ＨＤＤを使用する。なお、これは一例であって、推論器格納部１０３、部品記録部１０５、関連度記録部１０６、一致データ記録部１０９、および、不一致データ記録部１１０は、メモリ１３０５、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、図面認識装置１００は、操作入力装置２００、または、表示装置３００等の装置と、有線通信または無線通信を行う入力インタフェース装置１３０２および出力インタフェース装置１３０３を備える。
【0095】
実施の形態１において、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３は、学習装置４００（後述の図１４参照）が機械学習における学習を実行して生成する。以下、学習装置４００について説明する。
【0096】
図１４は、実施の形態１に係る学習装置４００の構成例を示す図である。
学習装置４００は、ネットワークを介して図面認識装置１００と接続される。
学習装置４００は、入力されたイメージ図面１および図面特性情報２に基づき、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成する。なお、イメージ図面１は教師ラベルとともに入力される。学習装置４００は、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。教師ラベルは、イメージ図面１上におけるシンボル、属性、および、接続線を示す情報である。教師ラベルについて、例えば、シンボルに関する教師ラベルは、イメージ図面１上のシンボルの位置を示す座標と当該シンボルを特定可能な情報とが対応付けられたテキストデータである。シンボルの位置は、例えば、当該シンボルを矩形にて囲った際の当該矩形の四隅のイメージ図面１上の座標であらわされる。シンボルを特定可能な情報は、例えば、シンボルの名称でよい。属性に関する教師ラベル、および、接続線に関する教師ラベルも、シンボルに関する教師ラベルと同様、イメージ図面１上の属性または接続線の位置を示す座標と当該属性または接続線を特定可能な情報とが対応付けられたテキストデータである。なお、教師データは、予め、イメージ図面１毎に、例えば、ユーザによって生成される。
学習装置４００は、ネットワークを介して図面認識装置１００と接続される。
学習装置４００は、入力されたイメージ図面１および図面特性情報２に基づき、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成する。なお、イメージ図面１は教師ラベルとともに入力される。学習装置４００は、いわゆる教師あり学習により、ニューラルネットワークで構成された機械学習モデルを学習させる。教師ラベルは、イメージ図面１上におけるシンボル、属性、および、接続線を示す情報である。教師ラベルについて、例えば、シンボルに関する教師ラベルは、イメージ図面１上のシンボルの位置を示す座標と当該シンボルを特定可能な情報とが対応付けられたテキストデータである。シンボルの位置は、例えば、当該シンボルを矩形にて囲った際の当該矩形の四隅のイメージ図面１上の座標であらわされる。シンボルを特定可能な情報は、例えば、シンボルの名称でよい。属性に関する教師ラベル、および、接続線に関する教師ラベルも、シンボルに関する教師ラベルと同様、イメージ図面１上の属性または接続線の位置を示す座標と当該属性または接続線を特定可能な情報とが対応付けられたテキストデータである。なお、教師データは、予め、イメージ図面１毎に、例えば、ユーザによって生成される。
【0097】
学習装置４００は、生成した第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を、図面認識装置１００の推論器格納部１０３に格納する。また、学習装置４００は、入力された図面特性情報２を、関連度記録部１０６に格納する。なお、関連度記録部１０６には、予めユーザによって生成済みの関連度情報（図７参照）が格納されている。ユーザは、予め、イメージ図面１と図面特性情報２とに基づき関連度情報を生成しておく。学習装置４００は、当該関連度情報とともに、図面特性情報２を、格納する。
なお、図１４では、説明の簡単のため、図面認識装置１００の構成部として、推論器格納部１０３および関連度記録部１０６のみを図示しているが、図面認識装置１００の構成例は、図１を用いて説明した図面認識装置１００の構成例と同じである。
なお、図１４では、説明の簡単のため、図面認識装置１００の構成部として、推論器格納部１０３および関連度記録部１０６のみを図示しているが、図面認識装置１００の構成例は、図１を用いて説明した図面認識装置１００の構成例と同じである。
【0098】
また、ここでは、図１４に示すように、学習装置４００は図面認識装置１００とは別個の装置とし、図面認識装置１００と接続されるものとするが、これは一例に過ぎない。学習装置４００は、図面認識装置１００に搭載されるようにしてもよい。
【0099】
学習装置４００は、学習用データ取得部４０１、シンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４を備える。
【0100】
学習用データ取得部４０１は、学習のためのデータ取得処理を行う。
具体的には、学習用データ取得部４０１は、教師ラベルが付与された複数のイメージ図面１と、当該イメージ図面１に対応する図面特性情報２とを取得する。教師ラベルは、例えば、上述したようなテキストデータである。学習用データ取得部４０１は、具体的には、複数のイメージ図面１と、イメージ図面１毎のテキストデータとを取得する。なお、教師ラベルが付与された複数のイメージ図面１と図面特性情報２とは、ユーザによって入力される。例えば、学習装置４００は操作入力装置２００（図１参照）と接続され、ユーザは、操作入力装置２００から複数のイメージ図面１と図面特性情報２とを入力する。
具体的には、学習用データ取得部４０１は、教師ラベルが付与された複数のイメージ図面１と、当該イメージ図面１に対応する図面特性情報２とを取得する。教師ラベルは、例えば、上述したようなテキストデータである。学習用データ取得部４０１は、具体的には、複数のイメージ図面１と、イメージ図面１毎のテキストデータとを取得する。なお、教師ラベルが付与された複数のイメージ図面１と図面特性情報２とは、ユーザによって入力される。例えば、学習装置４００は操作入力装置２００（図１参照）と接続され、ユーザは、操作入力装置２００から複数のイメージ図面１と図面特性情報２とを入力する。
【0101】
そして、学習用データ取得部４０１は、取得したイメージ図面１に基づき、学習用データを生成する。
具体的には、学習用データ取得部４０１は、まず、取得したイメージ図面１を、例えば、２２４×２２４ピクセルのサイズ毎のデータになるよう分割する。イメージ図面１を分割する間隔は、上下左右に、２２４×２２４ピクセルのサイズに等間隔で分割すればよく、イメージ図面１を分割する際に重複する部分があってもよい。なお、学習用データ取得部４０１は、例えば、取得したイメージ図面１が、機械学習モデルの入力とすることが可能なサイズの制限内であれば、上述したような処理を行う必要はない。
また、学習用データ取得部４０１は、取得した図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。学習用データ取得部４０１は、図面特性情報２から、特徴量を、例えば、「家電」であれば「０」、「配電盤」であれば「１」、「車」であれば「２」のように、数値として抽出する。
学習用データ取得部４０１は、教師ラベルが付与された、分割後のイメージ図面１と、図面特性情報２から抽出した特徴量とを含むデータを、学習用データとして生成する。
学習用データ取得部４０１は、生成した学習用データを、シンボルモデル生成部４０２、属性情報モデル生成部４０３、接続線モデル生成部４０４に出力する。
具体的には、学習用データ取得部４０１は、まず、取得したイメージ図面１を、例えば、２２４×２２４ピクセルのサイズ毎のデータになるよう分割する。イメージ図面１を分割する間隔は、上下左右に、２２４×２２４ピクセルのサイズに等間隔で分割すればよく、イメージ図面１を分割する際に重複する部分があってもよい。なお、学習用データ取得部４０１は、例えば、取得したイメージ図面１が、機械学習モデルの入力とすることが可能なサイズの制限内であれば、上述したような処理を行う必要はない。
また、学習用データ取得部４０１は、取得した図面特性情報２を解析して当該図面特性情報２から特徴量を抽出する。学習用データ取得部４０１は、図面特性情報２から、特徴量を、例えば、「家電」であれば「０」、「配電盤」であれば「１」、「車」であれば「２」のように、数値として抽出する。
学習用データ取得部４０１は、教師ラベルが付与された、分割後のイメージ図面１と、図面特性情報２から抽出した特徴量とを含むデータを、学習用データとして生成する。
学習用データ取得部４０１は、生成した学習用データを、シンボルモデル生成部４０２、属性情報モデル生成部４０３、接続線モデル生成部４０４に出力する。
【0102】
なお、ここでは、学習用データ取得部４０１が図面特性情報２の解析処理を行い、特徴量を抽出した上で、当該特徴量を学習用データに含めるようにしたが、これは一例に過ぎない。例えば、学習用データ取得部４０１は、教師ラベルが付与された、分割後のイメージ図面１と、図面特性情報２とを学習用データとしてもよい。この場合、後述のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４が、それぞれ、機械学習モデルを生成する際に、学習用データに含まれている図面特性情報２に対して、上述したような解析処理を行う。
また、上述したような、イメージ図面１の分割を、後述のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４が行うようにしてもよい。この場合、学習用データ取得部４０１は、取得したイメージ図面１をそのまま学習用データに含めるようにし、後述のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４が、それぞれ、機械学習モデルを生成する際に、イメージ図面１の分割を行う。
また、上述したような、イメージ図面１の分割を、後述のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４が行うようにしてもよい。この場合、学習用データ取得部４０１は、取得したイメージ図面１をそのまま学習用データに含めるようにし、後述のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４が、それぞれ、機械学習モデルを生成する際に、イメージ図面１の分割を行う。
【0103】
また、学習用データ取得部４０１は、取得した図面特性情報２を関連度記録部１０６に格納する。上述のとおり、関連度記録部１０６には、予め、関連度情報が格納される。
なお、関連度記録部１０６には、関連度情報と図面特性情報２の他、シンボル、属性、または、接続線に係る種々の情報が格納されるようになっていてもよい。
なお、関連度記録部１０６には、関連度情報と図面特性情報２の他、シンボル、属性、または、接続線に係る種々の情報が格納されるようになっていてもよい。
【0104】
シンボルモデル生成部４０２は、学習用データ取得部４０１が出力した学習用データに基づいてシンボルの判定を学習し、イメージ図面１と図面特性情報２とを入力として、イメージ図面１上のシンボルの数、各シンボルの位置情報、各シンボルの種別、および、各シンボルの確度等に関する情報をシンボル認識結果として出力する第１機械学習モデル１３１を生成する。
実施の形態１において、シンボルモデル生成部４０２は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＳＳＤ(Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ)、ＹＯＬＯ(Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)等の周知の学習方法を用いればよい。
シンボルモデル生成部４０２は、生成した第１機械学習モデル１３１を、推論器格納部１０３に格納する。
実施の形態１において、シンボルモデル生成部４０２は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＳＳＤ(Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ)、ＹＯＬＯ(Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)等の周知の学習方法を用いればよい。
シンボルモデル生成部４０２は、生成した第１機械学習モデル１３１を、推論器格納部１０３に格納する。
【0105】
属性情報モデル生成部４０３は、学習用データ取得部４０１が出力した学習用データに基づいて属性の判定を学習し、イメージ図面１と図面特性情報２とを入力として、イメージ図面１上の属性の数、各属性の位置情報、各属性の種別、および、各属性の確度等に関する情報を属性認識結果として出力する第２機械学習モデル１３２を生成する。
実施の形態１において、属性情報モデル生成部４０３は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＶＧＳＬ（Ｖａｒｉａｂｌｅ－ｓｉｚｅ Ｇｒａｐｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｌａｎｇｕａｇｅ）等の周知の学習方法を用いればよい。
属性情報モデル生成部４０３は、生成した第２機械学習モデル１３２を、推論器格納部１０３に格納する。
実施の形態１において、属性情報モデル生成部４０３は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＶＧＳＬ（Ｖａｒｉａｂｌｅ－ｓｉｚｅ Ｇｒａｐｈ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｌａｎｇｕａｇｅ）等の周知の学習方法を用いればよい。
属性情報モデル生成部４０３は、生成した第２機械学習モデル１３２を、推論器格納部１０３に格納する。
【0106】
接続線モデル生成部４０４は、学習用データ取得部４０１が出力した学習用データに基づいて接続線の判定を学習し、イメージ図面１と図面特性情報２とを入力として、イメージ図面１上の接続線の数、各接続線の位置情報、各接続線の種別、および、各接続線の確度等に関する情報を接続線認識結果として出力する第３機械学習モデル１３３を生成する。
実施の形態１において、接続線モデル生成部４０４は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＳＳＤ(Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ)、ＹＯＬＯ(Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)等の周知の学習方法を用いればよい。
接続線モデル生成部４０４は、生成した第３機械学習モデル１３３を、推論器格納部１０３に格納する。
実施の形態１において、接続線モデル生成部４０４は、学習用データ取得部４０１が出力した学習用データを用いて、ニューラルネットワークの物体検出に関わる学習を行う。すなわち、画像特徴量を抽出し、分類、座標の修正を行うことで学習する。学習方法としては、ＳＳＤ(Ｓｉｎｇｌｅ Ｓｈｏｔ Ｄｅｔｅｃｔｏｒ)、ＹＯＬＯ(Ｙｏｕ ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)等の周知の学習方法を用いればよい。
接続線モデル生成部４０４は、生成した第３機械学習モデル１３３を、推論器格納部１０３に格納する。
【0107】
実施の形態１に係る学習装置４００の動作について説明する。
図１５は、実施の形態１に係る学習装置４００の動作について説明するためのフローチャートである。
図１５は、実施の形態１に係る学習装置４００の動作について説明するためのフローチャートである。
【0108】
学習用データ取得部４０１は、学習のためのデータ取得処理を行う（ステップＳＴ１５０１）。
具体的には、学習用データ取得部４０１は、教師ラベルが付与された複数のイメージ図面１と、当該イメージ図面１に対応する図面特性情報２とを取得する。
そして、学習用データ取得部４０１は、取得したイメージ図面１に基づき、学習用データを生成する。学習用データ取得部４０１は、生成した学習用データを、シンボルモデル生成部４０２、属性情報モデル生成部４０３、接続線モデル生成部４０４に出力する。
また、学習用データ取得部４０１は、取得した図面特性情報２を関連度記録部１０６に格納する。
具体的には、学習用データ取得部４０１は、教師ラベルが付与された複数のイメージ図面１と、当該イメージ図面１に対応する図面特性情報２とを取得する。
そして、学習用データ取得部４０１は、取得したイメージ図面１に基づき、学習用データを生成する。学習用データ取得部４０１は、生成した学習用データを、シンボルモデル生成部４０２、属性情報モデル生成部４０３、接続線モデル生成部４０４に出力する。
また、学習用データ取得部４０１は、取得した図面特性情報２を関連度記録部１０６に格納する。
【0109】
シンボルモデル生成部４０２は、ステップＳＴ１５０１にて学習用データ取得部４０１が出力した学習用データに基づいて、シンボルの判定を学習し、第１機械学習モデル１３１を生成する（ステップＳＴ１５０２）。
シンボルモデル生成部４０２は、生成した第１機械学習モデル１３１を、推論器格納部１０３に格納する。
シンボルモデル生成部４０２は、生成した第１機械学習モデル１３１を、推論器格納部１０３に格納する。
【0110】
属性情報モデル生成部４０３は、ステップＳＴ１５０１にて学習用データ取得部４０１が出力した学習用データに基づいて、属性の判定を学習し、第２機械学習モデル１３２を生成する（ステップＳＴ１５０３）。
属性情報モデル生成部４０３は、生成した第２機械学習モデル１３２を、推論器格納部１０３に格納する。
属性情報モデル生成部４０３は、生成した第２機械学習モデル１３２を、推論器格納部１０３に格納する。
【0111】
接続線モデル生成部４０４は、ステップＳＴ１５０１にて学習用データ取得部４０１が出力した学習用データに基づいて、接続線の判定を学習し、第３機械学習モデル１３３を生成する（ステップＳＴ１５０４）。
接続線モデル生成部４０４は、生成した第３機械学習モデル１３３を、推論器格納部１０３に格納する。
接続線モデル生成部４０４は、生成した第３機械学習モデル１３３を、推論器格納部１０３に格納する。
【0112】
このように、学習装置４００は、いわゆる教師あり学習により、複数のイメージ図面１と図面特性情報２とに基づいて、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成することができる。
【0113】
学習装置４００は、イメージ図面１と図面特性情報２とに基づいて、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成することで、図面特性情報２による重み付けを行うことができる。
例えば、図面特性情報２から抽出された特徴量が「家電」を示すものである場合、学習装置４００は、機械学習モデルを学習させる際、「家電」に関するシンボル等を優先的に認識する。
このように、学習装置４００は、イメージ図面１に加えて図面特性情報２を機械学習モデルの入力とすることで、イメージ図面１上のシンボル、属性、または、接続線に図面特性情報２に基づく重み付けを行うことができ、イメージ図面１の用途を加味した認識結果を出力する機械学習モデルを生成することができる。
例えば、図面特性情報２から抽出された特徴量が「家電」を示すものである場合、学習装置４００は、機械学習モデルを学習させる際、「家電」に関するシンボル等を優先的に認識する。
このように、学習装置４００は、イメージ図面１に加えて図面特性情報２を機械学習モデルの入力とすることで、イメージ図面１上のシンボル、属性、または、接続線に図面特性情報２に基づく重み付けを行うことができ、イメージ図面１の用途を加味した認識結果を出力する機械学習モデルを生成することができる。
【0114】
なお、以上の実施の形態１では、学習装置４００は、複数のイメージ図面１と図面特性情報２とに基づいて機械学習モデルを生成することとしたが、学習装置４００は、学習において、図面特性情報２を必須としない。この場合、学習装置４００の学習用データ取得部４０１は、図面特性情報２を取得する必要はない。また、学習装置４００のシンボルモデル生成部４０２、属性情報モデル生成部４０３、および、接続線モデル生成部４０４は、それぞれ、イメージ図面１に基づいて第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成する。
ただし、学習装置４００は、図面特性情報２を用いて機械学習モデルを生成するようにすることで、図面特性情報２を用いず機械学習モデルを生成する場合と比べ、精度の高い機械学習モデルを生成することができる。
なお、学習装置４００が学習において図面特性情報２を用いない場合、図面認識装置１００は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３に基づく推論を行う際、図面特性情報２を必要としない。
ただし、学習装置４００は、図面特性情報２を用いて機械学習モデルを生成するようにすることで、図面特性情報２を用いず機械学習モデルを生成する場合と比べ、精度の高い機械学習モデルを生成することができる。
なお、学習装置４００が学習において図面特性情報２を用いない場合、図面認識装置１００は、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３に基づく推論を行う際、図面特性情報２を必要としない。
【0115】
図１６Ａ，図１６Ｂは、実施の形態１に係る学習装置４００のハードウェア構成の一例を示す図である。
実施の形態１において、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の機能は、処理回路１６０１により実現される。すなわち、学習装置４００は、イメージ図面１と図面特性情報２とに基づき、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成するための処理回路１６０１を備える。
処理回路１６０１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリ１６０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０４であってもよい。
実施の形態１において、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の機能は、処理回路１６０１により実現される。すなわち、学習装置４００は、イメージ図面１と図面特性情報２とに基づき、第１機械学習モデル１３１、第２機械学習モデル１３２、および、第３機械学習モデル１３３を生成するための処理回路１６０１を備える。
処理回路１６０１は、図１６Ａに示すように専用のハードウェアであっても、図１６Ｂに示すようにメモリ１６０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６０４であってもよい。
【0116】
処理回路１６０１が専用のハードウェアである場合、処理回路１６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【0117】
処理回路１６０１がＣＰＵ１６０４の場合、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１６０５に記憶される。処理回路１６０１は、メモリ１６０５に記憶されたプログラムを読み出して実行することにより、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の機能を実行する。すなわち、学習装置４００は、処理回路１６０１により実行されるときに、上述の図１５のステップＳＴ１５０１～ステップＳＴ１５０４が結果的に実行されることになるプログラムを格納するためのメモリ１６０５を備える。また、メモリ１６０５に記憶されたプログラムは、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１６０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
【0118】
なお、学習用データ取得部４０１と、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、学習用データ取得部４０１については専用のハードウェアとしての処理回路１６０１でその機能を実現し、シンボルモデル生成部４０２と、属性情報モデル生成部４０３と、接続線モデル生成部４０４については処理回路１６０１がメモリ１６０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、学習装置４００は、図面認識装置１００等の装置と、有線通信または無線通信を行う入力インタフェース装置１６０２および出力インタフェース装置１６０３を備える。
また、学習装置４００は、図面認識装置１００等の装置と、有線通信または無線通信を行う入力インタフェース装置１６０２および出力インタフェース装置１６０３を備える。
【0119】
以上のように、実施の形態１の図面認識装置１００は、図面データ（イメージ図面１）を取得する図面取得部１０１と、図面取得部１０１が取得した図面データと、図面データを入力とし当該図面データ上のシンボル、属性、および、シンボル同士を接続する接続線に関する認識結果を出力する機械学習モデルとに基づいて、図面取得部１０１が取得した図面データにおけるシンボルに関する情報、図面取得部１０１が取得した前記図面データにおける属性に関する情報、および、図面取得部１０１が取得した図面データにおける接続線に関する情報を認識する認識部１０２と、認識部１０２が認識した、シンボルに関する情報、属性に関する情報、および、接続線に関する情報に基づいて、図面取得部１０１が取得した図面データにおけるシンボルと属性と他のシンボルとの対応関係を判定する判定部１０４を備えるように構成した。そのため、図面認識装置１００は、配置知識を必要とすることなく文字と記号との対応関係を判定することができる。
【0120】
なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0121】
１ イメージ図面、２ 図面特性情報、１００ 図面認識装置、１０１ 図面取得部、１０２ 認識部、１０２１ シンボル認識部、１０２２ 属性情報認識部、１０２３ 接続線認識部、１０３ 推論器格納部、１３１ 第１機械学習モデル、１３２ 第２機械学習モデル、１３３ 第３機械学習モデル、１０４ 判定部、１０５ 部品記録部、１０６ 関連度記録部、１０７ 生成部、１０８ 比較部、１０９ 一致データ記録部、１１０ 不一致データ記録部、１１１ 図面表示部、２００ 操作入力装置、２０１ キーボード、２０２ マウス、３００ 表示装置、３０１ ディスプレイ、４００ 学習装置、４０１ 学習用データ取得部、４０２ シンボルモデル生成部、４０３ 属性情報モデル生成部、４０４ 接続線モデル生成部、１３０１，１６０１ 処理回路、１３０２，１６０２ 入力インタフェース装置、１３０３，１６０３ 出力インタフェース装置、１３０４，１６０４ ＣＰＵ、１３０５，１６０５ メモリ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】