IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士通株式会社の特許一覧

特開2024-180193対応関係決定プログラム、対応関係決定方法、及び情報処理装置
<>
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図1
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図2
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図3
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図4
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図5
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図6
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図7
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図8
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図9
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図10
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図11
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図12
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図13
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図14
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図15
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図16
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図17
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図18
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図19
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図20
  • 特開-対応関係決定プログラム、対応関係決定方法、及び情報処理装置 図21
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180193
(43)【公開日】2024-12-26
(54)【発明の名称】対応関係決定プログラム、対応関係決定方法、及び情報処理装置
(51)【国際特許分類】
   G06F 30/27 20200101AFI20241219BHJP
   G06F 30/10 20200101ALI20241219BHJP
【FI】
G06F30/27
G06F30/10
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023099691
(22)【出願日】2023-06-16
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】屋並 仁史
(72)【発明者】
【氏名】小川 雅俊
(72)【発明者】
【氏名】下田 宏幸
(72)【発明者】
【氏名】小林 俊幸
【テーマコード(参考)】
5B146
【Fターム(参考)】
5B146DA07
5B146DC03
5B146DE05
5B146DL03
(57)【要約】
【課題】複数の図形データ間の線分の対応関係を決定するための訓練データの量を削減する。
【解決手段】情報処理装置1は、第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデル210と、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデル220とを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果130に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する。
【選択図】図2
【特許請求の範囲】
【請求項1】
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの前記推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理をコンピュータに実行させる、対応関係決定プログラム。
【請求項2】
前記個別の図形情報は、前記線分の位置、前記線分の向き、及び前記線分の曲率のうちの少なくとも1つの情報を含み、
前記相対的な関係の情報は、前記1つの線分が前記第1の図形データにおいて凹部または凸部を構成するか否かについての情報、前記1つの線分が前記第1の図形データにおける閉図形に対する外接矩形の辺を構成するか否かについての情報、及び前記1つの線分と前記閉図形の内部領域との関係についての情報のうちの少なくとも1つの情報を含む、
請求項1に記載の対応関係決定プログラム。
【請求項3】
対応関係を決定する処理は、
前記第2の複数の線分のそれぞれについて、前記第2の複数の線分中の1つの線分の個別の図形情報と、前記第2の複数の線分中の1つの線分と前記第2の図形データ中の他の線分との相対的な関係と、を含む複数の項目について示す特徴情報を取得し、
前記特徴情報及び前記推論結果を用いて、前記第1の複数の線分のそれぞれの線分と前記第2の複数の線分のそれぞれの線分との各対応関係についての確信度を集計し、
前記対応関係についての確信度が高い順番で前記対応関係が一対一対応になるように前記対応関係を決定する、処理を含む、請求項1に記載の対応関係決定プログラム。
【請求項4】
前記第2の複数の線分に含まれる2つの線分同士の相対的な位置関係に基づいて、前記対応関係を修正する、
処理を前記コンピュータに実行させる、請求項1に記載の対応関係決定プログラム。
【請求項5】
前記第2の図形データの前記第2の複数の線分の一部に対して付与された第1の寸法表記に関する情報を取得し、前記決定された対応関係に基づいて、前記第2の図形データにおいて前記第1の寸法表記が付された位置及び態様に対応して、前記第1の図形データにおいて第2の寸法表記を付与する、
処理を前記コンピュータに実行させる、請求項1に記載の対応関係決定プログラム。
【請求項6】
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理をコンピュータが実行する、対応関係決定方法。
【請求項7】
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理を実行する制御部を含む、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習に関する。
【背景技術】
【0002】
CAD(コンピュータ支援設計)の操作画面上において一つ以上の描画実体を選択した場合に、描画実体の特徴に基づいて、寸法アノテーション(寸法表記)の記載位置を決定する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-8664号公報
【特許文献2】特開平7-230482号公報
【特許文献3】米国特許公開2014-0306956号
【特許文献4】米国特許公開2008-0126023号
【発明の概要】
【発明が解決しようとする課題】
【0004】
過去に作成された図面と類似する図面が新規に作成される場合に、新規に作成される図面に対して、図面利用者の固有のルール等の観点から、過去の図面と同様の記載位置及び態様の寸法アノテーションを付加したい場合がある。そのためには、前提として、過去図面における図形(描画実体)と新規作成図面における図形との間において、線分間の対応関係が機械学習モデル等を用いて決定される。決定された線分間の対応関係に基づいて、寸法アノテーションの記載位置及び態様が決定される。
【0005】
しかし、過去に作成された類似の図面を訓練データとして機械学習する場合において、過去に作成された図面の枚数の関係によって、機械学習用の訓練データが十分に用意できない場合がある。複数の図面間において線分の対応関係を決定するための訓練データの量を削減することが望ましい。これは、図面の寸法付け以外の用途においても、複数の図形データ間の線分の対応関係を決定する精度を向上するための訓練データの量を削減することが望まれている。
【0006】
1つの側面では、本発明は、複数の図形データ間の線分の対応関係を決定するための訓練データの量を削減することを目的の1つとする。
【課題を解決するための手段】
【0007】
1つの側面では、対応関係決定プログラムは、コンピュータに以下の処理を実行させる。第1機械学習モデルは、第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する。第2機械学習モデルは、前記第1の複数の線分中の1つの線分と前記第1の図形データの他の線分との相対的な関係の情報を推論する。前記処理は、前記第1機械学習モデル及び前記第2機械学習モデルを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得する。前記処理は、前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する。
【発明の効果】
【0008】
1つの側面では、本発明は、複数の図形データ間の線分の対応関係を決定するための訓練データの量を削減することができる。
【図面の簡単な説明】
【0009】
図1】過去図形データと新規作成図形データの一例を示す図である。
図2】実施形態に係る情報処理装置による推論フェーズにおける処理の概要を説明する図である。
図3】実施形態に係る情報処理装置による訓練フェーズにおける処理の概要を説明する図である。
図4】図形データに含まれる複数の線分のそれぞれについて訓練及び推論する項目の一例を示す図である。
図5】実施形態に係る情報処理装置を図面作成システムに適用した場合の訓練フェーズにおける構成の一例を示す図である。
図6】実施形態に係る情報処理装置を図面作成システムに適用した場合の推論フェーズにおける構成の一例を示す図である。
図7】実施形態に係る情報処理装置の機能を実現するコンピュータのハードウェア(HW)構成例を示すブロック図である。
図8】実施形態に係る情報処理装置による訓練フェーズにおける機能構成例を示すブロック図である。
図9】実施形態に係る情報処理装置による推論フェーズにおける機能構成例を示すブロック図である。
図10】過去図形データにおける各線分と特徴との関係を示す線分_特徴データの一例である。
図11】第2図形内部方向判定モデルを用いた推論結果の一例である。
図12】推論結果を用いた投票方式の一例を示す図である。
図13】推論結果を用いた集計結果テーブルの一例である。
図14】推論結果を用いた集計結果テーブルの一例である。
図15】過去図形データにおける各線分と、新規作成図形データにおける各線分との対応関係を算出するためのN正方行列の一例である。
図16】対応付けが完了した行と列を除去したN-1正方行列の一例である。
図17】推論結果を用いた投票方式の他の例を示す図である。
図18】一対一対応を用いた対応付けの修正を説明する図である。
図19】実施形態に係る情報処理装置による訓練フェーズにおける動作の一例を示すフローチャートである。
図20】実施形態に係る情報処理装置による推論フェーズにおける動作の一例を示すフローチャートである。
図21】実施例の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して一実施形態を説明する。但し、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の要素が含まれてもよい。
【0011】
[A]対応関係決定手法についての説明
図1は、過去図形データ10と新規作成図形データ20の一例を示す図である。
【0012】
過去図形データ10は、一例において、過去に作成した図面データである。新規作成図形データ20は、一例において、新たに作成する図面データである。過去図形データ10及び新規作成図形データ20は、設計段階でCADソフトを使って作成されてよい。
【0013】
過去図形データ10は、図形12を含む。同様に、新規作成図形データ20は、図形22を含む。本明細書において、「図形」は、複数の線分から構成される線分集合または描画実体である。「図形の内部」とは、図形が閉図形を含む場合における閉図形で囲まれる内部空間を意味する。「図形の外部」とは、閉図形で囲まれる内部空間以外の部分を意味する。
【0014】
図1において、過去図形データ10に含まれる線分#1~#14は、閉図形である図形12の辺(すなわち、輪郭)を構成する。新規作成図形データ20に含まれる線分#1-1~#14-1は、閉図形である図形22の辺を構成する。但し、図1と異なり、過去図形データ10及び新規作成図形データ20は、それぞれ閉図形の辺を構成しない線分を含んでよい。
【0015】
過去図形データ10には、線分#1~#14の長さ及び円弧の半径等の情報を表す寸法アノテーション13(すなわち、寸法アノテーション#a1~#h1)が付けられている。寸法アノテーション13は、寸法線、補助線(すなわち、引き出し線)、及び寸法数値の一つ以上を含む。寸法アノテーション13は、第2の寸法表記の一例である。
【0016】
寸法アノテーション13の表記位置及び態様には、業種、業務、会社、及び部門等によって様々な寸法付けルール(すなわち、寸法付け慣習)がある。
【0017】
CADソフトに付属している自動寸法付け機能を用いる場合には、コンピュータが図形22の線分#1-1~#14-1に対応して寸法を振る位置を計算し、引出し線及び寸法が自動で付け加える。しかしながら、自動寸法付け機能によっては、寸法付けルールに適合した位置及び態様の寸法アノテーションを実現することが困難である。また、冗長に寸法付けがされる場合もある。従って、製図者が、自動で付けられた寸法をチェックし、寸法付けルールと異なる態様の寸法アノテーション等については製図者が手作業で修正する。設計が変更される毎に、手作業での修正部分がリセットされる場合があり、自動寸法付けと手作業での修正とを繰り返すこととなるので、作業負担が大きくなる。
【0018】
メーカー等は、類似する製品を設計することがあるので、新規作成図形データ20と類似する過去図形データ10を図面データとして所有していることがある。従って、新たに新規作成図形データ20に寸法アノテーションを付する場合には、過去図形データ10の寸法アノテーション13に倣うことによって、過去図形データ10と同様の寸法付けルールに適合した寸法アノテーション13を決定する手法が考えられる。その前提として、コンピュータは、新規作成図形データ20(すなわち、新規作成した図面)のうちの各線分#1-1~#14-1が、過去図形データ10のうちのどの線分#1~#14に対応するかを判定する。
【0019】
新規作成図形データ20の複数の線分#1-1~#14-1のうち1本の線分に対して、過去図形データ10(すなわち、過去図面)のどの線分が一番近いかを画像で判定する手法が考えられる。例えば、線分#1~#14と線分#1-1~#14-1との間で重心の位置が最も近い線分同士を探索することによって線分間の対応付けをする方法がある。また、線分#1~#14と線分#1-1~#14-1との間で線分の両端点の位置が最も近いものを探索することによって線分間の対応付けをする方法がある。
【0020】
しかしながら、これらの方法による場合には、図1に示す図形12と図形22のように、対応関係にない線分同士(図形12の#2と図形22の#4-1)の重心又は両端点位置が近似する場合、正しい対応関係を決定することが困難となる。対応関係がないにも関わらず、図形12の線分#2が図形22の線分#4-1に対応すると判断されてしまう。
【0021】
他の対応付け方法として、機械学習を利用して、複数の図形データ間の線分の対応関係を決定することが考えられる。一例において、過去に作成した過去図面であって新規に作成する図面と類似する過去図形データ10を訓練データとして活用して、新規に作成した図面中の図形線分と過去図面の図形線分との対応付けを学習した機械学習モデルが作成される。
【0022】
過去図形データ10に含まれる複数の線分#1~#14のうち1本の線分(例えば線分#1)の色等の情報を変えた画像データが作成される。一例において、当該線分については赤色とし、他の線分については黒色としてよい。画像データと、正解ラベルである線分番号(#1)を対応付けた訓練データが作成される。線分番号は、線分を特定する番号であってよい。同様に、過去図形データ10中に14個の線分があれば、線分の数(本例では、14通り)について、同様の訓練データを作成する。類似する複数通りの過去図形データ10に基づいて作成した訓練データを用いて、深層ニューラルネットワーク(DNN)等を含む機械学習モデルが訓練される。換言すれば、ニューラルネットワークのパラメータが調整される。
【0023】
制御部110は、訓練済みの機械学習モデルを用いて、新規作成図形データ20が過去図形データ10のどの線分番号に対応するかについて推論する。一例において、新規作成図形データ20に含まれる複数の線分#1-1~#14-1のうち、1本の線分(例えば線分#1-1)の色等の情報を変えた推論対象の画像データが作成される。訓練済みの機械学習モデルが、対応する線分番号(#1)を推論する。この結果、複数の図形データ間の線分の対応関係が決定される。
【0024】
しかしながら、発明者等の研究によると、新規作成図形データ20における線分番号決定の正解率を90%とするためには、訓練データを作るために1000枚程度の過去図形データ10が必要となる。メーカー等は、類似する製品を設計することによって、新規作成図形データ20と類似する過去図形データ10を図面データとして所有しているが、1000枚には及ばない場合が多い。そこで、実施形態の情報処理装置は、訓練データが十分に用意できない場合においても、複数の図形データ間の線分の対応関係を決定する精度を向上する。以下、情報処理装置について説明する。
【0025】
図2は、実施形態に係る情報処理装置1による推論フェーズにおける処理の概要を説明する図である。
【0026】
情報処理装置1は、コンピュータである。情報処理装置1は、制御部110を備える。本例では、情報処理装置1は、第1機械学習モデル群210及び第2機械学習モデル群220を備える。但し、第1機械学習モデル群210及び第2機械学習モデル群220は、情報処理装置1の外部に設けられてもよい。
【0027】
第1機械学習モデル群210は、新規作成図形データ20に含まれる線分#1-1~#14-1のそれぞれについて、複数の線分#1-1~#14-1中の1つの線分の個別の図形情報を推論する。第1機械学習モデル群210は、例示的に第1方向位置判定モデル211、第2方向位置判定モデル212、種類判定モデル213、及び方向判定モデル214を有する。但し、第1機械学習モデル群210は、これらの種類以外の機械学習モデルを有してもよい。第1機械学習モデル群210は、1つの第1機械学習モデル210aであってもよい。第1機械学習モデル群210と第1機械学習モデル210aを総称して、第1機械学習モデル群210と称する場合がある。第1機械学習モデル群210は、少なくとも1つの第1の機械学習モデルの一例である。新規作成図形データ20は、第1の図形データの一例である。線分#1-1~#14-1は、第1の複数の線分の一例である。
【0028】
第2機械学習モデル群220は、新規作成図形データ20に含まれる線分#1-1~#14-1のそれぞれについて、線分#1-1~#14-1中の1つの線分と新規作成図形データ20中の他の1以上の線分との相対的な関係を推論する。相対的な関係は、図形的な関係である。第2機械学習モデル群220は、凹凸構成判定モデル221、辺判定モデル222、第1図形内部方向判定モデル223、及び第2図形内部方向判定モデル224を有する。但し、第2機械学習モデル群220は、これらの種類以外の機械学習モデルを有してもよい。第2機械学習モデル群220は、1つの第2機械学習モデル220aであってもよい。第2機械学習モデル群220と第2機械学習モデル220aを総称して、第2機械学習モデル群220と称する場合がある。第2機械学習モデル群220は少なくとも1つの第2機械学習モデルの一例である。
【0029】
第1機械学習モデル群210及び第2機械学習モデル群220に含まれる各機械学習モデルは、入力層と出力層との間に隠れ層(中間層)を多層にしたDNN(ディープニューラルネットワーク)ベースの特徴検出モデルであってよい。
【0030】
制御部110は、情報処理装置1の演算及び制御を実行する。制御部110は、新規作成図形データ20に含まれる線分#1-1~#14-1のそれぞれについて、第1機械学習モデル群210と第2機械学習モデル群220とを用いて、個別の図形情報と相対的な関係の情報とを含む複数の項目の推論結果130を取得する。制御部110は、推論結果130に基づいて、線分#1-1~#14-1と、過去図形データ10に含まれる複数の線分#1~#14との対応関係を決定する。制御部110は、線分#1-1~#14-1について、過去図形データ10における線分番号(#1~#14)を決定する。例えば、制御部110は、線分対応関係として線分番号(#7)を決定する。
【0031】
なお、図2に示されるように、第1機械学習モデル群210及び第2機械学習モデル群220に含まれる各機械学習モデルによるクラス判定結果(すなわち、推論結果130)は、推論される特徴と、推論における確信度とを含んでよい。例えば、第1方向位置判定モデル211は、線分が中央部に位置するという特徴の推論と、推論の確信度が80%であることを出力する。第1機械学習モデル群210及び第2機械学習モデル群220に含まれる各機械学習モデルの数は、推論される特徴の数による。
【0032】
過去図形データ10は、新規作成図形データ20と異なる第2の図形データの一例である。線分#1~#14は、第2の複数の線分の一例である。なお、線分#1~#14及び線分#1-1~#14-1のぞれぞれの数は14の場合に限られない。
【0033】
図3は、実施形態に係る情報処理装置1による訓練フェーズにおける処理の概要を説明する図である。第1機械学習モデル群210及び第2機械学習モデル群220は、過去図形データ10に基づいて訓練される。
【0034】
図2及び図3において、第1機械学習モデル群210及び第2機械学習モデル群220は、それぞれ線分#1-1~#14-1の局所的特徴に関して訓練し、推論する。局所的特徴は、個別の図形情報または相対的な関係の情報についての項目の一例である。個別の図形情報と相対的な関係の情報との双方を含む複数種類の局所的特徴は、個別の図形情報と相対的な関係の情報とを含む複数の項目の一例である。以下、図4を参照しつつ、第1機械学習モデル群210及び第2機械学習モデル群220について説明する。本例では、複数の項目の数、すなわち、局所的特徴の数に応じて、機械学習モデルが設けられる。
【0035】
図4は、図形データに含まれる複数の線分(#1~#14、及び#1-1~#14-1)のそれぞれについて訓練及び推論する項目の一例を示す図である。複数の項目は、線分の個別の図形情報に関する項目(図4の符号(1)~(4))と、複数の線分間の相対的な関係に関する項目(図4の符号(5)~(8))とを含む。個別の図形情報は、線分の位置(図4の符号(1)、(2))、線分の向き(図4の符号(3))、及び線分の曲率(図4の符号(4))のうちの少なくとも1つの情報を含んでよい。複数の線分間の相対的な関係は、1つの線分が新規作成図形データ20の閉図形(図形22)の凹部または凸部を構成するか否かについての情報(図4の符号(5))を含んでよい。複数の線分間の相対的な関係は、1つの線分が新規作成図形データ20の閉図形(図形22)に対する外接矩形の辺を構成するか否かについての情報(図4の符号(6))を含んでよい。複数の線分間の相対的な関係は、1つの線分と第1の図形データ中の閉空間内部との関係(図4の符号(7)、(8))についての情報を含んでよい。
【0036】
第1方向位置判定モデル211は、一例において、線分の第1方向位置として、上部、中間部、下部のクラスを推論する(図4の符号(1))。線分の第1方向位置は、図形データの描画平面上において、線分が位置する第1方向における位置である。第1方向は、描画平面内の一つの方向を意味し、例えば、図1におけるY方向である。図4において、第1方向は縦方向であってよい。
【0037】
第2方向位置判定モデル212は、一例において、線分の第2方向位置として、左部、中央部、右部のクラスを推論する(図4の符号(2))。線分の第2方向位置は、図形データの描画平面上において、線分が位置する第2方向における位置である。第2方向は、第1方向と直行する方向である。例えば、第2方向は、図1におけるX方向である。図4において、第2方向は水平方向であってよい。第1方向位置判定モデル211及び第2方向位置判定モデル212は、線分の位置を推論する機械学習モデルの一例である。
【0038】
種類判定モデル213は、線分が直線であるか、曲線であるかを推論する(図4の符号(3))。換言すれば、種類判定モデル213は、線分の曲率を推論する機械学習モデルの一例である。
【0039】
方向判定モデル214は、一例において、線分の向きとして、縦方向、横方向、斜方向のクラスを推論する。Y軸に対して所定角度以内の傾きである線分の方向が縦方向と分類され、X軸に対して所定角度以内の傾きである線分の向きが横方向と分類され、縦方向及び横方向の間の角度の傾きである線分の向きが斜方向と分類されてもよい(図4の符号(4))。方向判定モデル214は、線分が曲線であり、線分が伸びる方向が変化する場合は、線分の方向を「その他」と推論してよい。方向判定モデル214は、線分の向きを推論する機械学習モデルの一例である。
【0040】
凹凸構成判定モデル221は、線分が両端で接続する線分と協同して、閉図形である図形22の凸部を構成する場合に該当するか、凹部を構成する場合に該当するか、又はその他の場合に該当するかを推論する(図4の符号(5))。図1の図形22を例にとると、線分#1-1は、両端で接続する線分#2-1と線分#14-1と協同して図形22の凸部を構成する。線分#3-1は、両端で接続する線分#2-1と線分#4-1と協同して図形22の凹部を構成する。線分#2-1は、両端で接続する線分#1-1と線分#3-1と協同することにより、凸部も凹部も構成しないので、「その他」に該当する。
【0041】
辺判定モデル222は、線分が、閉図形である図形22の外接矩形の辺を構成するか否かを推論する(図4の符号(6))。外接矩形は、図形22を囲める最小の矩形である。
【0042】
第1図形内部方向判定モデル223は、線分を基準にして第1方向が、閉図形である図形22の内部となるか否かを推論する。第1方向は、図1におけるY軸の正方向であってよい。第1方向は、上方向または下方向であってよい。本例では、第1方向は、上方向である。なお、第1図形内部方向判定モデル223は、線分が曲線等の理由によって、線分の第1方向(例えば、上方向)が閉図形内部の状態と閉図形外部の状態とで変化する場合には、「その他」と判断してよい。
【0043】
第2図形内部方向判定モデル224は、線分を基準にして第2方向が、閉図形である図形22の内部となるか否かを推論する。第2方向は、図1におけるX軸の負方向であってよい。第2方向は、左方向または右方向であってよい。本例では、第2方向は、左方向である。なお、第2図形内部方向判定モデル224は、線分が曲線等の理由によって、線分の第2方向(例えば、左方向)が閉図形内部の状態と閉図形外部の状態とで変化する場合には、「その他」と判断してよい。
【0044】
例えば、図1における過去図形データ10の線分#2は、第2図形内部方向判定モデル224によって、線分の第2方向(例えば、左方向)が閉図形内部の状態(YES)である推論される。一方、図1における新規作成図形データ20の線分#4-1は、第2図形内部方向判定モデル224によって、線分の第2方向(例えば、左方向)が閉図形外部の状態(NO)である推論される。従って、重心及び線分の両端点の位置に基づく処理では、線分の対応関係の決定が困難な場合においても、個別の図形情報についての局所的特徴と他の線分との相対的な関係の情報についての局所的特徴との双方を考慮することによって、線分の対応関係の決定が可能となる。
【0045】
[B]図面作成システムの説明
図5は、実施形態に係る情報処理装置1を図面作成システム2に適用した場合の訓練フェーズにおける構成の一例を示す図である。
【0046】
図面作成システム2は、過去図形データ記憶部23及び選択部24を備える。過去図形データ記憶部23は、過去に作成された複数の類似図面データについて互いに対応づけて記憶する。一例において、識別情報等によって複数の類似図面データが記憶管理されてよい。
【0047】
選択部24は、識別情報に基づいて、互いに対応づけて記憶されている複数の類似図面データを選択する。複数の類似図面データは、類似部品についての過去図面に対応する。制御部110は、例えば、複数の類似図面データを複数の過去図形データ10として取得する。
【0048】
制御部110は、複数の過去図形データ10に含まれる複数の線分#1~#14のうち、1本の線分(例えば線分#1)の色等の情報を変えた複数の図形データを作成する。制御部110は、1本の線分ごとに、図形データと、一つの個別の図形情報の正解ラベルとを対応付けた第1訓練データを作成する。制御部110は、各図形データと図4の符号(1)~(4)等の各個別の図形情報の正解ラベルとを対応付けて第1訓練データ群を作成する。
【0049】
同様に、制御部110は、1本の線分ごとに、図形データと、一つの相対的な関係の情報とを対応付けた第2訓練データを作成する。制御部110は、図形データと図4の符号(5)~(8)等の各相対的な関係の正確ラベルとを対応付けて第2訓練データ群を作成する。
【0050】
制御部110は、第1訓練データ群を用いて第1機械学習モデル群210を訓練する。制御部110は、第2訓練データ群を用いて第2機械学習モデル群220を訓練する。なお、第1機械学習モデル群210と第2機械学習モデル群220は、対応関係決定モデル群202を構成してよい。
【0051】
図6は、実施形態に係る情報処理装置1を図面作成システム2に適用した場合の推論フェーズにおける構成の一例を示す図である。
【0052】
図面作成システム2は、CAD装置31、2次元図面作成部32、類似図面検索部33、モデル群選択部34、過去図面アノテーション情報選択部35、アノテーション付き図面生成部36、及び過去図形データ記憶部23を備える。
【0053】
CAD装置31は、3次元CADであってよい。2次元図面作成部32は、新規の2次元図面データを作成する。2次元図面作成部32は、CAD装置31における3次元CADデータに基づいて、2次元図面データを作成してよい。2次元図面データには、識別情報が付加されてよい。作成された2次元図面データは、新規作成図形データ20の一例である。
【0054】
類似図面検索部33は、2次元図面作成部32によって作成された2次元図面データの識別情報等に基づいて、類似する過去図面を検索する。モデル群選択部34は、類似図面検索部33による検索結果に基づいて、類似する過去図面によって訓練された訓練済みの対応関係決定モデル群202を選択する。換言すれば、モデル群選択部34は、訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220を選択する。
【0055】
制御部110は、新規作成図形データ20に含まれる複数の線分#1-1~#14-1のうち、1本の線分(例えば線分#1-1)の色等の情報を変えた推論対象の画像データを作成する。制御部110は、選択された訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220を用いて、対応する線分番号(#1)の複数種類の局所的特徴を推論する。制御部110は、複数種類の局所的特徴を推論結果130に基づいて、線分の対応関係を決定する。
【0056】
過去図面アノテーション情報選択部35は、2次元図面データの識別情報等に基づいて、対応する寸法アノテーション情報25を選択する。寸法アノテーション情報25は、寸法アノテーションを付加する対象となる線分、付加する位置、及び付加する態様等を含む。寸法アノテーション情報25は、寸法付けルールを満たしている。過去図面アノテーション情報選択部35は、複数の過去図形データ10の線分#1~#14の一部に対して付与された寸法アノテーション情報25を取得する。
【0057】
アノテーション付き図面生成部36は、制御部110によって決定された対応関係に基づいて、過去図形データ10において寸法アノテーション13が付与された位置及び態様に対応して、新規作成図形データ20において新たに寸法アノテーション26を付加する。この結果、新規作成図形データ20において、過去図形データ10と同様の寸法付けルールに従って、新たな寸法アノテーション26が付加される。アノテーション付き図面生成部36は、制御部110の一部であってもよい。寸法アノテーション26は、第2の寸法表記の一例である。
【0058】
[C]ハードウェア構成例
図7は、実施形態に係る情報処理装置1の機能を実現するコンピュータのハードウェア(HW)構成例を示すブロック図である。
【0059】
図7に示すように、情報処理装置1は、プロセッサ101,メモリ102,表示装置103,記憶装置104,入力IF105,外部記録媒体処理装置106及び通信IF107を備える。
【0060】
メモリ102は、例示的に、Read Only Memory(ROM)及びRandom Access Memory(RAM)などである。メモリ102のROMには、Basic Input/Output System(BIOS)等のプログラムが書き込まれてよい。メモリ102のソフトウェアプログラムは、プロセッサ101に適宜に読み込まれて実行されてよい。また、メモリ102のRAMは、一時記録メモリあるいはワーキングメモリとして利用されてよい。
【0061】
表示装置103は、液晶ディスプレイやOrganic Light-Emitting Diode(OLED)ディスプレイ,Cathode Ray Tube(CRT),電子ペーパーディスプレイ等であり、オペレータ等に対する各種情報を表示する。表示装置103は、入力装置と組み合わされたものでもよく、例えば、タッチパネルでもよい。
【0062】
記憶装置104は、高IO性能の記憶装置であり、例えば、Dynamic Random Access Memory(DRAM)やSSD,Storage Class Memory(SCM),HDDが用いられてよい。
【0063】
入力IF105は、マウス1051やキーボード1052等の入力装置と接続され、マウス1051やキーボード1052等の入力装置を制御してよい。マウス1051やキーボード1052は、入力装置の一例であり、これらの入力装置を介して、オペレータが各種の入力操作を行う。
【0064】
外部記録媒体処理装置106は、記録媒体1060が装着可能に構成される。外部記録媒体処理装置106は、記録媒体1060が装着された状態において、記録媒体1060に記録されている情報を読み取り可能に構成される。本例では、記録媒体1060は、可搬性を有する。例えば、記録媒体1060は、フレキシブルディスク、光ディスク、磁気ディスク、光磁気ディスク、または、半導体メモリ等である。
【0065】
通信IF107は、外部装置との通信を可能にするためのインタフェースである。
【0066】
プロセッサ101は、コンピュータの一例であり、種々の制御や演算を行う処理装置である。プロセッサ101は、メモリ102に読み込まれたOperating System(OS)やプログラムを実行することにより、種々の機能を実現する。なお、プロセッサ101は、CPU(Central Processing Unit)であってもよく、複数のCPUを含むマルチプロセッサであってもよく、複数のCPUコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0067】
情報処理装置1全体の動作を制御するための装置は、CPUに限定されず、例えば、GPU、MPUやDSP,ASIC,PLD,FPGAのいずれか1つであってもよい。また、情報処理装置1全体の動作を制御するための装置は、CPU,GPU,MPU,DSP,ASIC,PLD及びFPGAのうちの2種類以上の組み合わせであってもよい。なお、GPUはGraphics Processing Unitの略称であり、MPUはMicro Processing Unitの略称であり、DSPはDigital Signal Processorの略称であり、ASICはApplication Specific Integrated Circuitの略称である。また、PLDはProgrammable Logic Deviceの略称であり、FPGAはField Programmable Gate Arrayの略称である。
【0068】
上述した情報処理装置1のHW構成は例示である。したがって、情報処理装置1内でのHWの増減(例えば任意のブロックの追加や削除)、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。
【0069】
[C]機能構成例
[C-1]訓練フェーズ
図8は、実施形態に係る情報処理装置1による訓練フェーズにおける機能構成例を示すブロック図である。
【0070】
情報処理装置1は、制御部110及び記憶部200を有する。制御部110は、過去データ取得部111、訓練データ作成部112、及び訓練実行部113を備える。
【0071】
記憶部200は、記憶領域の一例であり、制御部110が利用する種々のデータを記憶する。記憶部200は、例えば、図7に示すメモリ102及び記憶装置104のうちの一方又は双方が有する記憶領域により実現されてもよい。
【0072】
図8に示すように、記憶部200は、例示的に、第1機械学習モデル群210、及び第2機械学習モデル群220を記憶可能であってよい。
【0073】
第1機械学習モデル群210は、図2及び図3において説明したように、第1方向位置判定モデル211、第2方向位置判定モデル212、種類判定モデル213、及び方向判定モデル214を含む。但し、第1機械学習モデル群210は、これらの機械学習モデルの全てを含まなくてよい。また、第1機械学習モデル群210は、図形データに含まれる複数の線分について線分の個別の図形情報を推論するものであれば、他の機械学習モデルを含んでよい。
【0074】
第2機械学習モデル群220は、図2及び図3において説明したように、凹凸構成判定モデル221、辺判定モデル222、第1図形内部方向判定モデル223、及び第2図形内部方向判定モデル224を含む。但し、第2機械学習モデル群220は、これらの機械学習モデルの全てを含まなくてよい。また、第2機械学習モデル群220は、図形データに含まれる複数の線分について、複数の線分中の1つの線分と複数の線分中の他の線分との相対的な関係を推論するものであれば、他の機械学習モデルを含んでよい。
【0075】
過去データ取得部111は、複数通りの過去図形データ10を取得する。過去図形データ10は一例において、過去に作成された図面である。一例において、過去データ取得部111は、30通り以上、好ましくは50通り以上の過去図形データ10を取得する。
【0076】
訓練データ作成部112は、複数の過去図形データ10に含まれる複数の線分#1~#14のうち、1本の線分(例えば線分#1)の色等の情報を変えた複数の図形データを作成する。訓練データ作成部112は、1本の線分ごとに、図形データと、1つの局所的特徴の正解ラベルとを対応づけた訓練データを作成する。訓練データ作成部112は、各線分と各局所的特徴とに応じて訓練データ群を作成する。
【0077】
訓練データ群は、図形データと図4の符号(1)~(4)等の各個別の図形情報の正解ラベルとを対応付けた第1訓練データ群121、及び図形データと図4の符号(5)~(8)等の各相対的な関係の正確ラベルとを対応付けた第2訓練データ群122とを含む。
【0078】
訓練実行部113は、第1訓練データ群121を用いて、第1方向位置判定モデル211、第2方向位置判定モデル212、種類判定モデル213、及び方向判定モデル214等の第1機械学習モデル群210を訓練する。訓練実行部113は、機械学習によって、各モデルの階層深層ニューラルネットワークのパラメータを調整する。調整されたパラメータは記憶部200に記憶される。
【0079】
同様に、訓練実行部113は、第2訓練データ群122を用いて、凹凸構成判定モデル221、辺判定モデル222、第1図形内部方向判定モデル223、及び第2図形内部方向判定モデル224等の第2機械学習モデル群220を訓練する。訓練実行部113は、機械学習によって、各モデルの階層深層ニューラルネットワークのパラメータを調整する。
【0080】
[C-2]推論フェーズ
図9は、実施形態に係る情報処理装置1による推論フェーズにおける機能構成例を示すブロック図である。
【0081】
図9に示すように、記憶部200は、例示的に、訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220を記憶可能である。但し、訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220は、情報処理装置1の外部の記憶領域に記憶されていてもよい。
【0082】
記憶部200は、線分_特徴データ230及び線分相対位置データ240を格納してよい。
【0083】
図10は、過去図形データ10における各線分と特徴との関係を示す線分_特徴データ230の一例である。
【0084】
図10に示すように、線分_特徴データ230は、寸法付けルールの基準となる過去図形データ10における線分#1~#14と、各線分における複数種類の局所的特徴(すなわち、図4の符号(1)~(8)等)との関係を示す。線分_特徴データ230は、過去図形データ10の複数の線分#1~#14のそれぞれについて、個別の図形情報と、当該それぞれの線分#1~#14中の線分同士の相対的な関係との両方、を含む複数の項目について示す特徴情報の一例である。
【0085】
一例において、図1に示される過去図形データ10の線分#7についてみると、図10に示されるように、線分#7は、個別的な図形情報として、第1方向(すなわち縦方向)位置が中間部であり、第2方向(すなわち、水平方向)位置が右部である。線分#7の種類は曲線であり、線分の延びる方向は「その他」であるという局所的特徴を有する。
【0086】
また、線分#7は、複数の線分間の相対的な関係の情報として、閉図形である図形12の凹部を構成し、図形12の辺(すなわち、輪郭)の一部を構成し、上側が図形内部であり、左部が図形内部か否かについて「その他」である。
【0087】
線分_特徴データ230は、ユーザがマウス1051やキーボード1052等の入力装置に応じて予め入力してもよく、コンピュータが自動的に生成してもよい。
【0088】
図9の線分相対位置データ240は、線分#1~#14における相対的な位置関係についての情報である。線分相対位置データ240は、図1に示される過去図形データ10を例にとると、「線分#3よりも線分#7はYの正方向(上部側)に位置する」及び「線分#1よりも線分#5はX軸の正方向に位置する」等の線分の位置に関する制約の一例である。但し、修正部119が禁則に基づく線分対応関係の修正を実行しない場合には、記憶部200は、線分相対位置データ240を格納しておかなくてもよい。
【0089】
図9に示すように、制御部110は、新規データ取得部114、推論対象データ作成部115、推論結果取得部116、集計部117、決定部118、及び修正部119を備える。
【0090】
新規データ取得部114は、対象となる新規作成図形データ20を取得する。新規作成図形データ20は、例えば、新たに作成される図面である。一例において、新規データ取得部114は、図6における2次元図面作成部32から新規作成図形データ20を取得してよい。
【0091】
推論対象データ作成部115は、新規作成図形データ20に含まれる複数の線分#1-1~#14-1のうち、1本の線分(例えば線分#1-1)の色等の情報を変えた推論対象の画像データを作成する。推論対象データ作成部115が作成した推論対象の画像データは、選択された訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220に入力される。
【0092】
推論結果取得部116は、選択された訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220を用いて、対応する線分番号(#1-1)の複数種類の局所的特徴の推論結果130を取得する。同様に、推論結果取得部116は、各線分番号(#1-1~#14-1)についての複数種類(図4の符号(1)~(8)等)の複数種類の局所的特徴の推論結果130を取得する。複数種類の局所的特徴の推論結果130は、個別の図形情報と相対的な関係の情報との両方を含む複数の項目のそれぞれの推論結果である。
【0093】
図11は、第2図形内部方向判定モデル224を用いた推論結果130の一例である。第2図形内部方向判定モデル224は、線分を基準にして第2方向(すなわち、左方向)が、閉図形である図形22の内部となるか否かを推論する。
【0094】
図11は、図1の新規作成図形データ20における線分#1-1、#2-1、#3-1、#4-1・・・についての推論結果130を示す。図11に示すように、推論結果130は、各局所的特徴の推論クラスと、その確信度とを含んでよい。確信度は、局所的特徴のクラスの判断結果の重みであってよい。確信度の数値が1に近いほど、各機械学習モデルがより高い確度で判断したことを意味する。
【0095】
線分#1-1については、正解のクラスはNO(すなわち、線分#1-1の左側が図形内部ではない)であるが、推論結果130においてはYESが5%、NOが80%、その他が15%と推論された場合を示す。線分#2-1については、正解のクラスはYES(すなわち、線分#2-1の左側が図形内部ではある)であるが、YESが70%、NOが10%、その他が20%と推論された場合を示す。同様に、線分#3-1については、正解のクラスは「その他」であるが、YESが70%、NOが10%、その他が20%と推論された場合を示す。線分#4-1については、正解のクラスはNO(すなわち、線分#1-1の左側が図形内部ではない)であるが、YESが0%、YESが90%、その他が10%と推論された場合を示す。
【0096】
集計部117は、各線分番号(#1-1~#14-1)についての複数種類の局所的特徴の推論結果130を集計する。一例において、集計部117は、各線分番号(#1-1~#14-1)についての複数種類の局所的特徴の推論結果130を集計する。
【0097】
図12は、推論結果130を用いた投票方式の一例を示す図である。図12は、図11に示される線分#1-1についての推論結果130を用いた集計結果テーブル43-1の一例である。説明の簡便のために、集計結果テーブル43-1は、左が図形内部かの特性についての集計欄431aを表示する。
【0098】
集計部117は、図10に示される線分_特徴データ230と、図11に示される推論結果130を参照する。集計部117は、推論結果130のうち、基準となる過去図形データ10(すなわち、基本線分)#1~#14の各特徴のクラスに対応する確信度を入力する。集計部117は、基本線分#1~#14のそれぞれに対して、集計欄431において推論結果130がNOである箇所に、推論結果130における「NO」の確信度(0.80)を入力する。集計部117は、集計欄431において推論結果130がYESである箇所に推論結果130における「YES」の確信度(0.05)を入力する。同様に、集計部117は、集計欄431において推論結果130が「その他」である箇所に、推論結果130における「その他」の確信度(0.15)を入力する。
【0099】
集計部117は、図12に示される集計結果テーブル43-1の空所欄に該当する推論結果130を集計する。集計部117は、推論対象の全ての線分#1-1~#14-1について推論結果130を集計する。
【0100】
集計部117は、集計結果テーブル43-1の空所欄を集計し、基準となる過去図形データ10の線分#1~#14毎に、推論結果130の確信度を合計した合計値を算出してよい。
【0101】
図13及び図14は、推論結果130を用いた集計結果テーブル45の一例である。集計結果テーブル45は、基準となる過去図形データ10の線分#1~#14毎に、推論結果130の確信度を合計した合計値を含む。図13は、推論対象の線分#1-1についての集計結果テーブル45aであり、図14は、推論対象の線分#2-1についての集計結果テーブル45bである。推論対象の線分#3-1~#14-1についても同様に、集計結果テーブル45が作成される。
【0102】
基準となる過去図形データ10の線分#1~#14毎の推論結果130の確信度の合計値は、新規作成図形データ20の線分#1-1~#14-1と過去図形データ10の線分#1~#14との対応関係についての確信度の一例である。
【0103】
集計部117は、推論対象の線分#1-1~#14-1についての集計結果テーブル45を参照して、線分#1-1~#14-1毎に、確信度合計値451(451a、451b・・・)が最大となる基準の線分#1~#14を選択する。
【0104】
線分#1-1については、図13に示すように、基準となる線分#1において確信度合計値451が最大値6.68を示す。線分#2-1については、図14に示すように、基準となる線分#2において確信度合計値451が最大値6.05を示す。同様に、集計部117は、線分#3-1~#14-1についても、確信度合計値451が最大となる線分#1~#14と、そのときの最大の確信度合計値451を取得する。
【0105】
図15は、過去図形データ10における各線分#1~#14と、新規作成図形データ20における各線分#1-1~#14-1との対応関係を算出するためのN正方行列46の一例である。Nは、過去図形データ10における線分#1~#14の数であってよい。
【0106】
N正方行列46は、一例において、過去図形データ10における各線分#1~#14を行とし、新規作成図形データ20における各線分#1-1~#14-1を列とする。そして、N正方行列46の各成分として、行と列に対応する確信度合計値451が存在する。集計部117は、N正方行列46を生成する。
【0107】
図9に示す決定部118は、新規作成図形データ20の線分#1-1~#14-1のそれぞれの局所的特徴である複数の項目の推論結果130に基づいて、線分#1-1~#14-1と過去図形データ10の線分#1~#14との対応関係を決定する。決定部118は、基準となる過去図形データ10の線分#1~#14毎の推論結果130の確信度の合計値である確信度合計値451に基づいて、線分#1-1~#14-1と過去図形データ10の線分#1~#14との対応関係を決定する。
【0108】
決定部118は、N正方行列46の各成分のうちで、対応関係についての確信度(すなわち、確信度合計値451)が高い順番で一対一対応になるように対応関係を決定する。このため、決定部118は、N正方行列46の各成分のうち確信度合計値451が最も高い行と列の組み合わせを選択する。図15においては、過去図形データ10における線分#9を行とし、新規作成図形データ20における線分#9-1を列とする成分の確信度合計値451が最も高い。従って、決定部118は、線分#9と線分#9-1との対応関係を決定する。
【0109】
図16は、対応付けが完了した行と列を除去したN-1正方行列47の一例である。図16に示すように、決定部118は、決定された対応関係に対応する行と列を除去して、N-1正方行列47を生成する。
【0110】
決定部118は、N-1正方行列47の各成分のうちで、対応関係についての確信度(すなわち、確信度合計値451)が高い順番で一対一対応になるように対応関係を決定する。図16においては、過去図形データ10における線分#10を行とし、新規作成図形データ20における線分#10-1を列とする成分の確信度合計値451が最も高い。従って、決定部118は、線分#10と線分#10-1との対応関係を決定する。決定部118は、決定された対応関係に対応する行と列を除去して、N-2正方行列(不図示)を生成する。
【0111】
以下、決定部118は、各線分について同様の処理を繰り返す。これにより、決定部118は、過去図形データ10における各線分#1~#14と、新規作成図形データ20における各線分#1-1~#14-1との全ての対応関係を決定する。
【0112】
図9に示される修正部119は、基準となる過去図形データ10に含まれる2つの線分同士の相対的な位置関係の制約に基づいて、決定部118において決定された対応関係を修正する。
【0113】
一例において、修正部119は、線分相対位置データ240を参照して、相対位置の制約違反の有無及び制約違反の数を算出する。例えば、図1の例において、決定部118が線分#3-1を線分#7に対応付けて、線分#7-1を線分#3に対応付けた場合を考える。この対応付けは、線分相対位置データ240に含まれる相対位置の制約「線分#3よりも線分#7はYの正方向(上部側)に位置する」に違反する。修正部119は、違反1つ当たり、罰則点を与えてよい。
【0114】
一例において、修正部119は、対応づけられたすべての線分#1-1~#14-1において、線分の対(#3-1,#7-1)、(#2-1,#5-1),・・・(s,t)を生成する。修正部119は、全ての線分の対について、罰則点(すなわち、違反の数)を合計した制約違反度を算出する。
【0115】
修正部119は、線分sの対応関係と線分tの対応関係とを入れ換えることによって制約違反度が下がる場合には、線分sの対応関係と線分tの対応関係とを入れ換える。修正部119は、線分の対の生成と、対となる線分について対応関係の入れ換え、及び制約違反度の変化の確認を繰り返すことによって、制約違反度を最小化するように対応関係を修正してよい。
【0116】
なお、本実施形態の集計部117、決定部118、及び修正部119は、図12図16において説明した場合に限られない。
【0117】
新規作成図形データ20における各線分#1-1~#14-1のそれぞれについて、個別の図形情報と線分同士の相対的な関係の情報との両方を含む複数の項目のそれぞれの推論結果130に基づいて、過去図形データ10の各線分#1~#14との対応関係を決定するものであれば、種々の手法を採用することができる。
【0118】
図17は、推論結果130を用いた投票方式の他の例を示す図である。図17は、図11に示される線分#1-1についての推論結果130を用いた集計結果テーブル48-1の一例である。集計結果テーブル48-1は、左が図形内部かの特性についての集計欄481を表示する。
【0119】
集計部117は、重み付けを考慮した確信度を集計せず、確信度が最も高い推論結果130(YES)について1点を投票する単純投票方式を採用してもよい。この場合、集計部117は、図18に示されるように推論結果130に当てはまる#1、4、5、8、9、12~#14には、「1」を投票し、推論結果130に当てはまらない#2、3、6、7、10、11には、「0」を投票してよい。
【0120】
決定部118は、線分#1-1~#14-1について、それぞれ独立して、線分#1~#14との対応付けを決定してもよい。図13に示す場合には、線分#1-1は、確信度合計値451が最も高い線分#1と対応付けされる。図14に示す場合には、線分#2-2は、確信度合計値451が最も高い線分#2と対応付けされる。
【0121】
図18は、一対一対応を用いた対応付けの修正を説明する図である。決定部118は、線分#1-1~#14-1について、独立して、線分#1~#14との対応付けを決定した上で、線分#1-1~#14-1の複数の線分が、線分#1~#14のうちの特定の線分に重複して対応付けされた場合において対応関係を修正してもよい。決定部118は、重複した線分#1-1~#14-1のうち、確信度のより高い方の線分#1-1~#14-1を優先して一対一対応になるように対応付けを修正する。
【0122】
なお、図形12及び図形22の形状は、図1に示されるM字型の場合に限られない。
【0123】
[D]動作例
[D-1]訓練フェーズ
図19は、実施形態に係る情報処理装置1による訓練フェーズにおける動作の一例を示すフローチャートである。
【0124】
図19に例示するように、過去データ取得部111は、過去の類似図面を過去図形データ10として収集する(ステップS1)。
【0125】
訓練データ作成部112は、訓練データを作成する(ステップS2)。訓練データ作成部112は、過去図面に含まれる複数の線分#1~#14のうち、1本の線分(例えば線分#1)の色等の情報を変えた複数の画像(すなわち、図形データ)を作成する。一例において、訓練データ作成部112は、元の図面のうち1本の線分を赤色に変更し、残りの線分を黒色のまま維持する。訓練データ作成部112は、1本の線分ごとに、画像と、色等の情報を変えた線分の該当する1つの局所的特徴の正解ラベルとを対応づけた訓練データを作成する。訓練データ作成部112は、各線分#1~#14と、各局所的特徴(図4の符号(1)~(8)等)とに応じて、複数通りの訓練データ(訓練データ群)を作成する。
【0126】
訓練データ群は、画像と各個別の図形情報の正解ラベルとを対応付けた第1訓練データ群121、及び画像と複数の線分間の各相対的な関係の正確ラベルとを対応付けた第2訓練データ群122とを含む。
【0127】
訓練実行部113は、DNN等を含む第1機械学習モデル群210及び第2機械学習モデル群220の訓練のための準備をする(ステップS3)。訓練実行部113は、DNNの各層のパラメータとしてデフォルトパラメータを入れておく。
【0128】
訓練実行部113は、複数通りの訓練データ(訓練データ群)を使ってDNN等を含む第1機械学習モデル群210及び第2機械学習モデル群220を訓練する。具体的には、訓練実行部113は、DNNの各層のパラメータを更新する(ステップS4)。
【0129】
訓練実行部113は、機械学習後のパラメータを記憶部200等に保存する(ステップS5)。換言すれば、訓練済みの第1機械学習モデル群210及び第2機械学習モデル群220が記憶部200等に記憶される。
【0130】
[D-2]推論フェーズ
図20は、実施形態に係る情報処理装置1による推論フェーズにおける動作の一例を示すフローチャートである。
【0131】
図20に例示するように、新規データ取得部114は、線分の対応関係を決定する対象の図面を用意する(ステップS10)。例えば、新規データ取得部114は、新規作成図面データを用意する。
【0132】
推論対象データ作成部115は、線分の対応関係を決定する対象の図面に含まれる複数の線分#1-1~#14-1のうち、1本の線分(例えば線分#1-1)の色等の情報を変えた推論対象の画像を作成する(ステップS11)。推論対象の画像(すなわち、推論対象の図面)は、それぞれの線分#1-1~#14―1について作成される。
【0133】
決定部118は、図面線分の数をNとしたときに、N×NのN正方行列46aを用意する。決定部118は、N×NのN正方行列46aの成分を初期値(例えば、0)にしておく(ステップS12)。例えば、決定部118は、基準となる元の図面(例えば、過去図形データ10)における各線分#1~#14を行とし、線分の対応関係を決定する対象の図面(例えば、新規作成図形データ20)における各線分#1-1~#14-1を列とする。決定部118は、各線分#1-1~#14-1を行とし、各線分#1~#14を列としてもよい。成分(i,j)(iは行、jは列)は、行(例えば、元になる図形の線分)と列(例えば、線分の対応関係を決定する対象の図面の線分)とした場合の行と列に対応する得票数(すなわち、確信度合計値451)によって更新される。
【0134】
推論結果取得部116は、第1機械学習モデル群210及び第2機械学習モデル群220のどちらかに含まれる訓練済みの機械学習モデルのうち、未選択の機械学習モデルを1つ選択する(ステップS13)。
【0135】
推論結果取得部116は、線分の数と同じ種類数(すなわち、色等の情報を変えた線分が異なる)推論対象の図面のうち、未推論の図面を選択する(ステップS14)。
【0136】
推論結果取得部116は、選択した機械学習モデルを用いて、選択した図面の色等の情報を変えた線分の局所的な特徴を決定する(ステップS15)。推論結果取得部116は、推論結果130として、推論される特徴と、推論における確信度(確率)とを含んでよい。集計部117は、得られた確信度(投票数)によってN正方行列46aの成分を更新する(ステップS15)。
【0137】
推論結果取得部116は、選択した機械学習モデルによって推論していない線分があるかを判断する(ステップS16)。推論していない線分がある場合(ステップS16のYesルート参照)、処理はステップS14に戻る。選択した機械学習モデルによって全ての線分が推論された場合(ステップS16のNoルート参照)、処理はステップS17に進む。
【0138】
推論結果取得部116は、選択されていない機械学習モデルがあるかを判断する(ステップS17)。選択していない機械学習モデルがある場合には(ステップS17のYesルート参照)、処理はステップS13に戻る。全ての機械学習モデルが選択され、全ての選択された機械学習モデルによって全ての線分の対応関係の推論が完了した場合(ステップS17のNoルート参照)、処理はステップS18に進む。ステップS13からステップS17の処理において、集計部117は、図15に例示されるN正方行列46の更新を完了する。
【0139】
決定部118は、N正方行列46の各成分のうちで、対応関係についての確信度(すなわち、確信度合計値451)が高い順番で一対一対応になるように元の図形12の線分と推論対象の図形22の線分との対応関係を決定する。決定部118は、対応付けが完了した行と列を除去したN-1正方行列47を生成し、対応関係についての確信度(すなわち、確信度合計値451)が高い順番で一対一対応になるように元の図形12の線分と推論対象の図形22の線分との対応関係を決定する。同様に、決定部118は、元の図形12の全ての線分と推論対象の図形22の全ての線分との対応関係を決定する(ステップS18)。
【0140】
修正部119は、基準となる過去図形データ10に含まれる2つの線分同士の相対的な位置関係の制約に基づいて、決定部118において決定された対応関係を修正する(ステップS19)。
【0141】
[E]実施例
図21は、実施例の一例を示す図である。図21は、新規作成図形データ20における図形22が、M字型の図形22Mのサンプル、N字型の図形22Nのサンプル、K字型の図形22Kのサンプルの場合の実施例を示す。なお、過去図形データ10における図形12も、M字型の図形12M、N字型の図形12N、及びK字型の図形12Kを有する。
【0142】
M字型の図形22M(12M)は、対向する一対の辺において、一方の辺から他方の辺方向に向かって延びる2つのスリット部分がある。N字型の図形22N(12N)は、対向する一対の辺において、一方の辺から他方の辺方向に向かって延びる2つのスリット部分があり、かつ、反対に他方の辺から一方の辺方向に向かって延びる1つのスリット部分がある。K字型の図形22K(12K)は、対向する一対の辺において一方の辺から他方の辺方向に延びる1つのスリットがあり、反対に他方の辺から一方の辺方向に向かって延びる1つのスリットがあり、対向する一対の辺の間を結ぶ辺に1つのスリットがある。
【0143】
図21に示す実施例は、過去図形データ10について50枚(50通り)を用いて第1機械学習モデル群210及び第2機械学習モデル群220の訓練及び推論を行なった場合である。本件のように複数の局所的特徴の推論結果130を用いて、線分の対応関係を決定することで、訓練データの量が十分に用意できない場合においても、新規作成図形データ20における線分番号決定の正解率を90%とすることが可能となった。具体的には、新規作成図形データ20における線分番号決定の正解率を90%とするための過去図形データ10の量を50/1000=1/20に削減することが可能となった。
【0144】
以上の実施形態においては、過去図形データ10に含まれる複数の線分と新規作成図形データ20に含まれる複数の線分との対応関係を決定する場合を例にとって説明したが、情報処理装置1は、この場合い限られない。互いに異なる第1の図形データと第2の図形データとの間で、線分の対応関係を決定する場合に広く適用することができる。第1の図形データと第2の図形データとが類似した図形を含む場合に好適に利用することができる。
【0145】
[F]一実施形態の効果
上述した実施形態の一例によれば、例えば、以下の作用効果を奏することができる。
第1機械学習モデル群210(210a)は、第1の図形データ(例えば、新規作成図形データ20)に含まれる第1の複数の線分のそれぞれについて、第1の複数の線分中の1つの線分の個別の図形情報(例えば、図4の符号(1)~(4)の少なくとも1つ)を推論する。第2機械学習モデル群220(220a)は、第1の複数の線分中の1つの線分と第1の図形データの他の線分との相対的な関係(例えば、図4の符号(5)~(8)の少なくとも1つ)を推論する。推論結果取得部116は、第1機械学習モデル群210及び第2機械学習モデルを用いて、個別の図形情報と相対的な関係の情報とを含む複数の項目のそれぞれの推論結果130を取得する。決定部118は、第1の複数の線分のそれぞれについての複数の項目のそれぞれの推論結果130に基づいて、第1の複数の線分と第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する。
【0146】
これにより、第1の図形データと第2の図形データとの線分の対応関係を精度よく決定するために要する訓練データの量を軽減することができる。換言すれば、訓練データの量が少ない場合においても、第1の図形データと第2の図形データとの線分の対応関係を精度よく決定することができる。
【0147】
個別の図形情報は、線分の位置、線分の向き、線分の曲率のうちの少なくとも1つの情報を含む。相対的な関係の情報は、1つの線分が図形の凹部または凸部を構成するか否かの情報、1つの線分が閉図形に対する外接矩形の辺を構成するか否かの情報、及び1つの線分と閉図形の内部領域との関係の情報の少なくとも1つの情報を含む。
【0148】
これにより、画像処理によって、重心や線分の両端点の位置を検出して、線分の対応関係を決定することが困難である場合においても、線分の対応関係を決定するこができる。
【0149】
対応関係を決定する処理は、第2の複数の線分のそれぞれについて、第2の複数の線分中の1つの線分の個別の図形情報と、第2の複数の線分中の1つの線分と第2の図形データ中の他の線分との相対的な関係と、を含む複数の項目について示す線分_特徴データ230を取得する処理を含む。集計部117は、線分_特徴データ230及び推論結果130を用いて、第1の複数の線分のそれぞれの線分と第2の複数の線分のそれぞれの線分との各対応関係についての確信度合計値451を集計する。決定部118は、対応関係の確信度合計値451が高い順番で対応関係が一対一対応になるように対応関係を決定する。
【0150】
これにより、線分の一対一対応を利用して対応関係を決定するので、対応関係の決定精度を高めることができる。
【0151】
修正部119は、第2の複数の線分に含まれる2つの線分同士の相対的な位置関係に基づいて、対応関係を修正する。
【0152】
これにより、さらに対応関係の決定精度を高めることができる。
【0153】
制御部110またはアノテーション付き図面生成部36は、第2の図形データの第2の複数の線分の一部に対して付与された寸法アノテーション13の表記位置及び態様を取得する。制御部110またはアノテーション付き図面生成部36は、決定された対応関係に基づいて、第2の図形データにおいて寸法アノテーション13が付された位置及び態様に対応して、第1の図形データにおいて寸法アノテーション26を付与する。
【0154】
これにより、新たに作成した図形に寸法付けする場合に、過去の似た図面を活用して寸法付け作業を行なうことができる。業種、業務、会社、部門によって異なるルールに適合した過去図面の寸法アノテーション13に倣って、新たな図面の寸法アノテーション26を付与することが可能となる。特に、訓練データ作成用の過去図面が数十枚枚程度である場合においても、90%以上の正解率で、新たに作成した図面と過去の図面との間の線分の対応関係を決定することができ、決定結果に基づいて寸法アノテーション26を付与することができる。
【0155】
想定されるビジネスシーンにおける効能として、訓練データが限られている場合において、互いに類似した図形間の線分の対応関係を推論する用途に広く利用することができる。特に、CADソフトウェアを用いた製図において、過去の図面における各ユーザの独自の寸法付けルールに対応した寸法付けを新たに作成される図面に反映させることができ、製造業におけるデジタルトランスフォーメーションの推進に貢献することができる。
【0156】
[G]付記
以上の実施形態に関し、さらに以下の付記を開示する。
【0157】
(付記1)
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理をコンピュータに実行させる、対応関係決定プログラム。
【0158】
(付記2)
前記個別の図形情報は、前記線分の位置、前記線分の向き、及び前記線分の曲率のうちの少なくとも1つの情報を含み、
前記相対的な関係の情報は、前記1つの線分が前記第1の図形データにおいて凹部または凸部を構成するか否かについての情報、前記1つの線分が前記第1の図形データにおける閉図形に対する外接矩形の辺を構成するか否かについての情報、及び前記1つの線分と前記閉図形の内部領域との関係についての情報のうちの少なくとも1つの情報を含む、
付記1に記載の対応関係決定プログラム。
【0159】
(付記3)
対応関係を決定する処理は、
前記第2の複数の線分のそれぞれについて、前記第2の複数の線分中の1つの線分の個別の図形情報と、前記第2の複数の線分中の1つの線分と前記第2の図形データ中の他の線分との相対的な関係と、を含む複数の項目について示す特徴情報を取得し、
前記特徴情報及び前記推論結果を用いて、前記第1の複数の線分のそれぞれの線分と前記第2の複数の線分のそれぞれの線分との各対応関係についての確信度を集計し、
前記対応関係についての確信度が高い順番で前記対応関係が一対一対応になるように前記対応関係を決定する、処理を含む、付記1に記載の対応関係決定プログラム。
【0160】
(付記4)
前記第2の複数の線分に含まれる2つの線分同士の相対的な位置関係に基づいて、前記対応関係を修正する、
処理を前記コンピュータに実行させる、付記1に記載の対応関係決定プログラム。
【0161】
(付記5)
前記第2の図形データの前記第2の複数の線分の一部に対して付与された第1の寸法表記に関する情報を取得し、前記決定された対応関係に基づいて、前記第2の図形データにおいて前記第1の寸法表記が付された位置及び態様に対応して、前記第1の図形データにおいて第2の寸法表記を付与する、
処理を前記コンピュータに実行させる、付記1に記載の対応関係決定プログラム。
【0162】
(付記6)
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理をコンピュータが実行する、対応関係決定方法。
【0163】
(付記7)
前記個別の図形情報は、前記線分の位置、前記線分の向き、及び前記線分の曲率のうちの少なくとも1つの情報を含み、
前記相対的な関係の情報は、前記1つの線分が前記第1の図形データにおいて凹部または凸部を構成するか否かについての情報、前記1つの線分が前記第1の図形データにおける閉図形に対する外接矩形の辺を構成するか否かについての情報、及び前記1つの線分と前記閉図形の内部領域との関係についての情報のうちの少なくとも1つの情報を含む、
付記6に記載の対応関係決定方法。
【0164】
(付記8)
対応関係を決定する処理は、
前記第2の複数の線分のそれぞれについて、前記第2の複数の線分中の1つの線分の個別の図形情報と、前記第2の複数の線分中の1つの線分と前記第2の図形データ中の他の線分との相対的な関係と、を含む複数の項目について示す特徴情報を取得し、
前記特徴情報及び前記推論結果を用いて、前記第1の複数の線分のそれぞれの線分と前記第2の複数の線分のそれぞれの線分との各対応関係についての確信度を集計し、
前記対応関係についての確信度が高い順番で前記対応関係が一対一対応になるように前記対応関係を決定する、処理を含む、付記6に記載の対応関係決定方法。
【0165】
(付記9)
前記第2の複数の線分に含まれる2つの線分同士の相対的な位置関係に基づいて、前記対応関係を修正する、
処理を前記コンピュータが実行する、付記6に記載の対応関係決定方法。
【0166】
(付記10)
前記第2の図形データの前記第2の複数の線分の一部に対して付与された第1の寸法表記に関する情報を取得し、前記決定された対応関係に基づいて、前記第2の図形データにおいて前記第1の寸法表記が付された位置及び態様に対応して、前記第1の図形データにおいて第2の寸法表記を付与する、
処理を前記コンピュータが実行する、付記6に記載の対応関係決定方法。
【0167】
(付記11)
第1の図形データに含まれる第1の複数の線分のそれぞれについて、前記第1の複数の線分中の1つの線分の個別の図形情報を推論する第1機械学習モデルと、前記第1の複数の線分中の1つの線分と前記第1の図形データ中の他の線分との相対的な関係の情報を推論する第2機械学習モデルとを用いて、前記個別の図形情報と前記相対的な関係の情報とを含む複数の項目のそれぞれの推論結果を取得し、
前記第1の複数の線分のそれぞれについての前記複数の項目のそれぞれの推論結果に基づいて、前記第1の複数の線分と前記第1の図形データとは異なる第2の図形データに含まれる第2の複数の線分との対応関係を決定する、
処理を実行する制御部を含む、情報処理装置。
【0168】
(付記12)
前記個別の図形情報は、前記線分の位置、前記線分の向き、及び前記線分の曲率のうちの少なくとも1つの情報を含み、
前記相対的な関係の情報は、前記1つの線分が前記第1の図形データにおいて凹部または凸部を構成するか否かについての情報、前記1つの線分が前記第1の図形データにおける閉図形に対する外接矩形の辺を構成するか否かについての情報、及び前記1つの線分と前記閉図形の内部領域との関係についての情報のうちの少なくとも1つの情報を含む、
付記11に記載の情報処理装置。
【0169】
(付記13)
対応関係を決定する処理は、
前記第2の複数の線分のそれぞれについて、前記第2の複数の線分中の1つの線分の個別の図形情報と、前記第2の複数の線分中の1つの線分と前記第2の図形データ中の他の線分との相対的な関係と、を含む複数の項目について示す特徴情報を取得し、
前記特徴情報及び前記推論結果を用いて、前記第1の複数の線分のそれぞれの線分と前記第2の複数の線分のそれぞれの線分との各対応関係についての確信度を集計し、
前記対応関係についての確信度が高い順番で前記対応関係が一対一対応になるように前記対応関係を決定する、処理を含む、付記11に記載の情報処理装置。
【0170】
(付記14)
前記制御部は、前記第2の複数の線分に含まれる2つの線分同士の相対的な位置関係に基づいて、前記対応関係を修正する、
付記11に記載の情報処理装置。
【0171】
(付記15)
前記制御部は、前記第2の図形データの前記第2の複数の線分の一部に対して付与された第1の寸法表記に関する情報を取得し、前記決定された対応関係に基づいて、前記第2の図形データにおいて前記第1の寸法表記が付された位置及び態様に対応して、前記第1の図形データにおいて第2の寸法表記を付与する、
付記11に記載の情報処理装置。
【符号の説明】
【0172】
1 情報処理装置
2 図面作成システム
10 過去図形データ
12、12M、12N、12K 図形
13 寸法アノテーション
20 新規作成図形データ
22、22M、22N、22K 図形
23 過去図形データ記憶部
24 選択部
25 寸法アノテーション情報
26 寸法アノテーション
31 CAD装置
32 2次元図面作成部
33 類似図面検索部
34 モデル群選択部
35 過去図面アノテーション情報選択部
36 アノテーション付き図面生成部
43-1、48-1 集計結果テーブル
431、481 集計欄
45、45a、45b 集計結果テーブル
451、451a、451b 確信度合計値
46、46a N正方行列
47 N-1正方行列
101 プロセッサ
102 メモリ
103 表示装置
104 記憶装置
105 入力IF
1051 マウス
1052 キーボード
106 外部記録媒体処理装置
1060 記録媒体
107 通信IF
110 制御部
111 過去データ取得部
112 訓練データ作成部
113 訓練実行部
114 新規データ取得部
115 推論対象データ作成部
116 推論結果取得部
117 集計部
118 決定部
119 修正部
121 第1訓練データ群
122 第2訓練データ群
130 推論結果
202 対応関係決定モデル群
210、210a 第1機械学習モデル群(第1機械学習モデル)
211 第1方向位置判定モデル
212 第2方向位置判定モデル
213 種類判定モデル
214 方向判定モデル
220、220a 第2機械学習モデル群(第2機械学習モデル)
221 凹凸構成判定モデル
222 辺判定モデル
223 第1図形内部方向判定モデル
224 第2図形内部方向判定モデル
230 線分_特徴データ
240 線分相対位置データ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21