IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キャディ株式会社の特許一覧

特開2024-702類似図面検索装置、類似図面検索方法、および類似図面検索プログラム
<>
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図1
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図2
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図3
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図4
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図5
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図6
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図7
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図8
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図9
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図10
  • 特開-類似図面検索装置、類似図面検索方法、および類似図面検索プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024000702
(43)【公開日】2024-01-09
(54)【発明の名称】類似図面検索装置、類似図面検索方法、および類似図面検索プログラム
(51)【国際特許分類】
   G06F 16/583 20190101AFI20231226BHJP
   G06T 1/00 20060101ALI20231226BHJP
【FI】
G06F16/583
G06T1/00 200E
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022099557
(22)【出願日】2022-06-21
(11)【特許番号】
(45)【特許公報発行日】2023-11-01
(71)【出願人】
【識別番号】517404991
【氏名又は名称】キャディ株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】今井 武晃
【テーマコード(参考)】
5B050
5B175
【Fターム(参考)】
5B050AA10
5B050BA17
5B050CA07
5B050DA06
5B050EA06
5B050GA08
5B175DA02
5B175FB03
5B175HB03
(57)【要約】
【課題】容易に類似図面を検索すること。
【解決手段】実施形態に係る類似図面検索装置は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索し、特徴情報取得部と、図面情報取得部と、類似図面検索部と、図面絞り込み部と、表示部と、を備える。特徴情報取得部は、対象図面から、対象図面における部品の形状に関する特徴情報を取得する。図面情報取得部は、対象図面から、対象図面における部品に関する図面情報を取得する。類似図面検索部は、対象図面の特徴情報に基づいて、図面データベースから複数の第1類似図面を検索する。図面絞り込み部は、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込む。表示部は、前記複数の第2類似図面を表示する。
【選択図】図7
【特許請求の範囲】
【請求項1】
複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索装置であって、
前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得する特徴情報取得部と、
前記対象図面から、前記対象図面における部品に関する図面情報を取得する図面情報取得部と、
前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第1類似図面を検索する類似図面検索部と、
前記対象図面の図面情報に基づいて、前記複数の第1類似図面から複数の第2類似図面に絞り込む図面絞り込み部と、
前記複数の第2類似図面を表示する表示部と、
を備える類似図面検索装置。
【請求項2】
前記特徴情報取得部は、
前記対象図面を入力として前記対象図面の特徴情報に基づいて推定される推定結果を出力する学習済みモデルに前記対象図面を入力して、前記学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、
前記対象図面の部品に対する画像処理を用いた、前記対象図面の部品における部品の形状の特性と、
のうち少なくとも一つを、前記対象図面の特徴情報として取得する、
請求項1に記載の類似図面検索装置。
【請求項3】
前記学習済みモデルは、前記図面データベースに記憶される前記複数の図面各々を学習前のモデルに入力し、前記複数の図面に対応する複数の推定結果各々を教師データとして用いて、前記学習前のモデルを学習することにより生成され、
前記複数の推定結果各々は、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも1つである、
請求項2に記載の類似図面検索装置。
【請求項4】
前記対象図面の特徴情報が前記中間出力と前記特性とを有する場合、前記類似図面検索部は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、前記対象図面の特性と前記図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、前記複数の第1類似図面を検索する、
請求項2に記載の類似図面検索装置。
【請求項5】
前記類似図面検索部は、
前記中間出力類似性に第1重みを乗算した第1重み付け値と、前記特性類似性に第2重みを乗算した第2重み付け値とを加算することによりスコアを計算し、
前記スコアを用いて前記複数の第1類似図面を検索する、
請求項4に記載の類似図面検索装置。
【請求項6】
前記対象図面の図面情報は、前記部品に対して付帯されたテキストと、前記テキストに基づいて推定された推定情報と、前記部品に対して付帯された記号情報と、のうち少なくとも一つを有する、
請求項1に記載の類似図面検索装置。
【請求項7】
前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、
前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、
類似の2つの第1図面の指定と非類似の2つの第2図面の指定とを複数入力する入力部と、
前記2つの第1図面の間の類似性に関する第1スコアが小さくなるように、かつ前記2つの第2図面の間の類似性に関する第2スコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部と、
をさらに備える請求項4に記載の類似図面検索装置。
【請求項8】
前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、
前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、
前記特徴情報取得部において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部をさらに備える、
請求項4に記載の類似図面検索装置。
【請求項9】
前記メトリックは、前記中間出力距離の算出に用いられるメトリックである、
請求項7または8に記載の類似図面検索装置。
【請求項10】
前記特徴情報取得部は、前記対象図面の図面から前記対象図面の部品の領域を抽出し、前記対象図面の部品から前記対象図面の特徴を取得する、
請求項1乃至7のいずれか一項に記載の類似図面検索装置。
【請求項11】
複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、
前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、
前記対象図面から、前記対象図面における部品に関する図面情報を取得し、
前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第1類似図面を検索し、
前記対象図面の図面情報に基づいて、前記複数の第1類似図面から複数の第2類似図面に絞り込み、
前記複数の第2類似図面をディスプレイに表示すること、
を備える類似図面検索方法。
【請求項12】
コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、
前記コンピュータに、
前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、
前記対象図面から、前記対象図面における部品に関する図面情報を取得し、
前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第1類似図面を検索し、
前記対象図面の図面情報に基づいて、前記複数の第1類似図面から複数の第2類似図面に絞り込み、
前記複数の第2類似図面をディスプレイに表示すること、
を実現させる類似図面検索プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、類似図面検索装置、類似図面検索方法、および類似図面検索プログラムに関する。
【背景技術】
【0002】
従来、設計や調達において、大口の製品の発注量を有するユーザの場合、当該製品に関する図面の発注業務は、頻繁に行われることがある。このため、図面のデータは、大量に作成されることになる。製品の受発注業務に際して作成された大量の図面データを活用し、当該受発注業務の効率化を図ることを目的として、例えば、過去に類似する図面情報を参照したいことがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-91769号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
過去の図面と所望の図面との類似に関する要件が複雑であるため、ユーザは、容易に類似図面を検索することができないことある。
【課題を解決するための手段】
【0005】
実施形態にかかる類似図面検索装置は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する。類似図面検索装置は、特徴情報取得部と、図面情報取得部と、類似図面検索部と、図面絞り込み部と、表示部と、を備える。特徴情報取得部は、対象図面から、対象図面における部品の形状に関する特徴情報を取得する。図面情報取得部は、対象図面から、対象図面における部品に関する図面情報を取得する。類似図面検索部は、対象図面の特徴情報に基づいて、図面データベースから複数の第1類似図面を検索する。図面絞り込み部は、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込む。表示部は、前記複数の第2類似図面を表示する。
【0006】
実施形態に係る類似図面検索装置において、前記特徴情報取得部は、前記対象図面を入力として前記対象図面の特徴に基づいて推定される推定結果を出力する学習済みモデルに前記対象記図面を入力して、前記学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、前記対象図面の部品に対する画像処理を用いた、前記対象図面の部品における部品の形状の特性と、のうち少なくとも一つを、前記対象図面の特徴情報として取得する。
【0007】
実施形態に係る類似図面検索装置において、前記学習済みモデルは、前記図面データベースに記憶される前記複数の図面各々を学習前のモデルに入力し、前記複数の図面に対応する複数の推定結果各々を教師データとして用いて、前記学習前のモデルを学習することにより生成され、前記複数の推定結果各々は、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。
【0008】
実施形態に係る類似図面検索装置において、前記対象図面の特徴情報が前記中間出力と前記特性とを有する場合、前記類似図面検索部は、前記中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、前記特性と前記複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、前記複数の第1類似図面を検索する。
【0009】
実施形態に係る類似図面検索装置において、前記類似図面検索部は、前記中間出力類似性に第1重みを乗算した第1重み付け値と、前記特性類似性に第2重みを乗算した第2重み付け値とを加算することによりスコアを計算し、前記スコアを用いて前記複数の第1類似図面を検索する。
【0010】
実施形態に係る類似図面検索装置において、前記対象図面の図面情報は、前記部品に対して付帯されたテキストと、前記テキストに基づいて推定された推定情報と、前記部品に対して付帯された記号情報とのうち少なくとも一つを有する。
【0011】
実施形態に係る類似図面検索装置において、前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、実施形態に係る類似図面検索装置は、類似の2つの第1図面の指定と非類似の2つの第2図面の指定とを複数入力する入力部と、前記2つの第1図面の間の類似性に関する第1スコアが小さくなるように、かつ前記2つの第2図面の間の類似性に関する第2スコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部と、をさらに備える。
【0012】
実施形態に係る類似図面検索装置において、前記中間出力類似性は、前記対象図面の中間出力と前記図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、前記特性類似性は、前記対象図面の特性と前記図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離であって、実施形態に係る類似図面検索装置は、前記特徴情報取得部において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、前記中間出力距離と前記特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する学習部をさらに備える。
【0013】
実施形態に係る類似図面検索装置において、前記メトリックは、前記中間出力距離の算出に用いられるメトリックである。
【0014】
実施形態に係る類似図面検索装置において、前記特徴情報取得部は、前記対象図面の図面から前記対象図面の部品の領域を抽出し、前記対象図面の部品から前記対象図面の特徴を取得する。
【0015】
実施形態にかかる類似図面検索方法は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、前記対象図面から、前記対象図面における部品に関する図面情報を取得し、前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第1類似図面を検索し、前記対象図面の図面情報に基づいて、前記複数の第1類似図面から複数の第2類似図面に絞り込み、前記複数の第2類似図面をディスプレイに表示すること、を備える。
【0016】
実施形態にかかる類似図面検索プログラムは、コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、前記コンピュータに、前記対象図面から、前記対象図面における部品の形状に関する特徴情報を取得し、前記対象図面から、前記対象図面における部品に関する図面情報を取得し、前記対象図面の特徴情報に基づいて、前記図面データベースから複数の第1類似図面を検索し、前記対象図面の図面情報に基づいて、前記複数の第1類似図面から複数の第2類似図面に絞り込み、前記複数の第2類似図面をディスプレイに表示すること、を実現させる。
【発明の効果】
【0017】
本発明の一態様によれば、容易に類似図面を検索することができる。
【図面の簡単な説明】
【0018】
図1図1は、実施形態に係る類似図面検索装置1のハードウェア構成の一例を示す図である。
図2図2は、実施形態に係る図面データの一例を示す図である。
図3図3は、実施形態に係る母材形状BMSの一例を示す図である。
図4図4は、実施形態に係り、中間出力の特徴空間において、対象図面の中間出力の位置と、データベース図面の中間出力との位置との一例を示す図である。
図5図5は、実施形態に係り、スコアが計算される過程の一例を示す図である。
図6図6は、実施形態に係り、類似図面検索処理におけるデータの流れの一例を示す図である。
図7図7は、実施形態に係り、類似図面検索処理における手順の一例を示す図である。
図8図8は、実施形態に係り、対象図面と、複数の第1類似図面との表示の一例を示す図である。
図9図9は、実施形態に係り、重み設定処理における手順の一例を示す図である。
図10図10は、実施形態の応用例に係り、距離学習処理におけるデータの流れの一例を示す図である。
図11図11は、実施形態の応用例に係り、距離学習処理における手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0019】
以下、図面を参照しながら実施形態について詳細に説明する。
【0020】
図1は、本実施形態に係る類似図面検索装置1のハードウェア構成の一例を示す図である。類似図面検索装置1は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する装置である。図面のおける部品は、例えば、金属加工品のようなものの一パースなどに限定された図面を指す部品図、当該部品図を組み合わせた組図、回路図などに対応する部品情報に相当する。以下、説明を簡便にするために、上記部品は、部品図として説明する。
【0021】
図1に示すように、類似図面検索装置1は、処理回路11と、メモリ13と、入力インターフェース15と、ディスプレイ17と、通信インターフェース19と、を備えている。図1に示すように、処理回路11と、メモリ13と、入力インターフェース15と、ディスプレイ17と、通信インターフェース19とは、バスを介して電気的に接続されている。このため、処理回路11と、メモリ13と、入力インターフェース15と、ディスプレイ17と、通信インターフェース19とは、システム制御部111による制御の元で、適宜データが送受信される。
【0022】
なお、メモリ13は、ストレージに対応する記憶装置として実現されてもよい。メモリ13は、記憶部に対応する。また、入力インターフェース15は、入力部に対応する。ディスプレイ17は、表示部に対応する。通信インターフェース19は、通信部に対応する。
【0023】
処理回路11は、例えば、ハードウェア資源として、プロセッサと内部メモリとを有する。なお、処理回路11は、コンピュータなどにより実現されてもよい。また、プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、CPLD(Complex Programmable Logic Device)、SPLD(Simple Programmable Logic Device)などにより実現される。また、内部メモリは、例えば、ROM(Read Only Memory)および/またはRAM(Random Access Memory)などにより実現される。プロセッサおよび内部メモリを実現するハードウェアは、上記に限定されず、適宜既知のものが利用可能である。
【0024】
処理回路11により各種機能を実現するシステム制御部111、特徴情報取得部113、図面情報取得部115、類似図面検索部117、図面絞り込み部119、および学習部121については、後ほど説明する。
【0025】
メモリ13は、種々の情報を記憶するHDD(Hard disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。メモリ13は、本実施形態に係る各種プログラムを記憶する。例えば、メモリ13は、処理回路11により実行されるシステム制御部111、特徴情報取得部113、図面情報取得部115、類似図面検索部117、図面絞り込み部119、学習部121各々における処理の実行に関するプログラムを記憶する。
【0026】
メモリ13は、例えば、複数の図面各々を図面データとして記憶する。また、メモリ13は、複数の図面各々、複数の図面各々における部品図の形状に関する特徴情報、および当該部品図に関する図面情報を、複数の図面各々の図面IDと関連付けて記憶する。図面IDと特徴情報と図面情報とは、インデックス(Index)データと称されてもよい。また、複数の図面各々は、図面データとして、メモリ13に記憶される。インデックスデータおよび図面データは、複数の図面に関するデータベース(以下、図面データベースと呼ぶ)として、メモリ13に記憶される。以下、図面データベースに記憶された複数の図面各々を、データベース図面と呼ぶ。
【0027】
図面情報は、例えば、図面における部品図に対して付帯されたテキストと、当該テキストに基づいて推定された推定情報と、部品図に対して付帯された記号情報と、のうち少なくとも一つを有する。テキストは、例えば、図面に付帯されている文字情報および数値情報である。具体的には、テキストは、図面の表題欄に記載されている図面番号、図番、品名、材質、加工に関する情報(例えば、表面処理)、部品図に記載されている寸法値や穴の数、その他ユーザが各図面に対して付与している情報などである。また、部品図に対して付帯された記号情報は、例えば、上記テキストなどを略記した記号、および/またはユーザにより付与された記号などに関する情報である。
【0028】
図2は、図面データの一例を示す図である。図2に示すように、図面情報におけるテキストは、部品図に付帯されたテキスト(S4など)と、表題欄Tに記載されたテキスト(T1,T2、T3など)とを有する。部品図に付帯された記号情報は、例えば、図2に示すように、S1、S2、S3などにおける記号である。図面から図面情報を取得する処理については、図面情報取得部115において説明する。
【0029】
図面情報における推定情報は、例えば、寸法値から推定された推定値(部品図の最大寸法など)、母材形状、加工方法、価格などである。ここで、母材形状は、図面に示された部品図の製造において、板金加工や機械加工(フライス・旋盤)による加工前の材料の形状を示している。部品図に対応する部品の製造において、加工時にはこれらの母材形状の材料が選択され、加工が実施される。
【0030】
図3は、母材形状BMSの一例を示す図である。図3に示すように、母材形状BMSは、例えば、丸棒RB、六角棒HB、四角棒SB、丸パイプRP、平鋼板FSP、アングルAG、チャンネルCN、角パイプSPなどである。なお、母材形状BMSは、図3に示す例に限定されず、他の形状であってもよい。母材形状の推定については、図面情報取得部115において説明する。
【0031】
加工方法は、例えば、板金加工や機械加工などである。機械加工は、例えば、フライス、旋盤などである。なお、加工方法は、これらに限定されず、既知の加工方法であってもよい。また、価格は、部品図に対応する部品の製造に関する価格であって、例えば、材料費(母材の費用)と加工費との和である。なお、価格は、これに限定されず、他の費用であってもよい。価格の推定については、図面情報取得部115において説明する。
【0032】
また、メモリ13は、類似図面の検索対象となる図面(以下、対象図面と呼ぶ)を入力として、特徴情報に基づいて推定される推定結果を出力する学習済みモデルを記憶する。ここで、推定結果は、例えば、対象図面に関して、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも1つである。メモリ13に記憶される上記特徴情報は、上記学習済みモデルにおける少なくとも一つの中間層から出力される対象図面の中間出力と、部品図に対する画像処理により部品図における部品の形状の特性とのうち少なくとも一つである。学習済みモデルは、入出力の間で中間特徴を出力可能なモデルであって、例えば、多層のニューラルネットワークにより構成されるモデルである。中間出力及び特性は、それぞれベクトルで表現される。ここで、部品の形状の特性とは、例えば、部品図に対応する部品全体を特徴づける形状の特性であって、例えば、エッジ方向(4方向または8方向)の成分を統計的に集計したものである。部品の形状の特性の取得に関しては、特徴情報取得部113において説明する。
【0033】
メモリ13は、複数のデータベース図面各々と対象図面との類似性を、ベクトルで表現された特徴間の類似性を用いてスコアとして算出される計算式と、当該計算式で用いられる第1重みと第2重みとを記憶する。第1重みと第2重みとの決定については、後ほど説明する。
【0034】
第1重みは、例えば、複数のデータベース図面各々に関する中間出力と対象図面に関する中間出力とにより算出される類似性(以下、中間出力類似性と呼ぶ)に乗算される。また、第2重みは、例えば、複数のデータベース図面各々に関する特性と対象図面に関する特性とにより算出される類似性(以下、特性類似性と呼ぶ)に乗算される。スコアを計算する計算式は、例えば、スコア=第1重み×中間出力類似性+第2重み×特性類似性で表される。類似性を示すスコアを計算する計算式に示すように、第1重みと第2重みとは、特徴に基づく中間出力類似性と特性類似性とのうち、いずれの類似性(すなわち中間出力による類似性と形状の特性の類似性とのうちいずれか)に対して信頼性として重きを置くのか、ということを数値的に示しているものである。なお、第1重みと第2重みとの和は1となるように、予め設定されてもよい。メモリ13に記憶された複数のデータベース図面各々に関する特徴(中間出力および形状の特性)の取得、第1重みおよび第2重みの設定等については、後程説明する。
【0035】
メモリ13は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体や、RAM(Random Access Memory)等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。なお、メモリ13の保存領域は、類似図面検索装置1内にあってもよいし、ネットワーク31で接続された外部記憶装置内に設けられてもよい。
【0036】
入力インターフェース15は、ユーザからの各種の指示に関する入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路11に出力する。入力インターフェース15としては、例えば、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インターフェース15は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、類似図面検索装置1とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路11へ出力する電気信号の処理回路も入力インターフェース15の例に含まれる。
【0037】
ディスプレイ17は、各種情報を表示する。例えば、ディスプレイ17は、処理回路11による類似図面の検索結果や、ユーザからの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。ディスプレイ17としては、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)、CRT(Cathode Ray Tube)ディスプレイ、有機ELディスプレイ(OELD:Organic Electro Luminescence Display)、プラズマディスプレイ又は他の任意のディスプレイが、適宜、使用可能となっている。また、ディスプレイ17は、デスクトップ型でもよいし、類似図面検索装置1と無線通信可能なタブレット端末等で構成されることにしても構わない。
【0038】
通信インターフェース19は、例えば、ネットワーク191を介して他の入出力装置との間でデータ通信を行う。通信インターフェース19による通信の規格は、如何なる規格であっても良い。通信インターフェース19は、他の入出力装置とのデータ通信により取得された図面データをメモリ13に出力する。通信インターフェース19は、他の入出力装置における他の入力インターフェースに入力された入力操作の電気信号を受信する。通信インターフェース19は、受信した電気信号を、処理回路11に出力する。
【0039】
システム制御部111は、入力インターフェース15を介してユーザから受け付けた入力操作に対応する電気信号に基づいて、処理回路11における各部の処理を制御する。具体的には、システム制御部111は、メモリ13に記憶されている制御プログラムを読み出して処理回路11内の内部メモリ上に展開し、展開された制御プログラムに従って類似図面検索装置1の各部を制御する。
【0040】
特徴情報取得部113は、入力インターフェース15を介してユーザにより入力された対象図面から、当該対象図面における部品図の形状に関する特徴情報を取得する。特徴情報取得部113は、取得した特徴情報を、対象図面のIDと関連付けて、メモリ13に記憶させる。
【0041】
例えば、特徴情報取得部113は、対象図面を学習済みモデルに入力して、学習済みモデルにおける少なくとも一つの中間層から出力される中間出力を、部品図の形状に関する特徴情報として取得する。学習済みモデルは、学習済みのCNN(Convolutional Neural Networks)により実現される。学習済みのCNNとしては、例えば、[1905.11946] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networksに記載されているEfficientNetなどが用いられる。
【0042】
学習済みモデルに入力される画像形式は、例えば、PNG(Portable Network Graphics)形式またはTIFF(Tagged Image File Format)形式などの任意の2次元図面である。なお、画像形式は、上記に限定されない。また、学習済みモデルに入力される対象図面は、ユーザによる手書きの図面であってもよい。なお、対象図面が3次元のCAD(computer-aided design)図面である場合、学習済みモデルに入力される図面は、3次元のCAD図面をレンダリングした画像(以下、レンダリング画像と呼ぶ)であってもよい。レンダリング処理は、特徴情報取得部113により実行されてもよいし、他のユニットもしくは通信インターフェース19とネットワーク191とを介した外部の装置により実行されてもよい。レンダリング画像は、例えば、3面図は、例えば、平面図、正面図、側面図(右側面図)などである。
【0043】
なお、学習済みモデルに入力される対象図面は、当該対象図面から部品図の領域を抽出したものであってもよい。このとき、特徴情報取得部113は、学習済みモデルの実行に先立って、図面に対する所定の抽出処理により、部品図の領域を抽出する。当該抽出処理は、既存のセグメンテーション処理などの各種画像処理が利用可能であるため、説明は省略する。次いで、特徴情報取得部113は、学習済みモデルに部品図のデータを入力することで、当該対象図面に関する中間出力を取得する。なお、中間出力は、学習済みモデルにおける複数の中間層のうちいずれの中間層から出力されるベクトルであってもよいが、好適には、学習済みモデルにおける出力層(母材形状などの推定結果を出力するレイヤー)に入力される中間出力、すなわち出力層の直前の中間層(以下、最後段中間層と呼ぶ)からの中間出力が望ましい。なお、中間出力は、最後段中間層以外の中間層からの出力であってもよいし、複数の中間層からの出力であってもよい。
【0044】
学習済みモデルは、図面データベースに記憶される複数のデータベース図面各々を学習前のモデルに入力し、当該複数のデータベース図面に対応する複数の推定結果各々を教師データとして用いて、学習前のモデルを学習することにより生成される。ここで、複数の推定結果各々は、複数のデータベース図面各々に関して、例えば、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。すなわち、学習済みモデルは、例えば、中間層から出力可能な多層のニューラルネットワークに対して、データベース図面と当該データベース図面に関する製品・加工に関する複数の項目のうち少なくとも一つとを学習データとして用いて学習することで生成される。例えば、製品カテゴリが教師データである場合、学習済みモデルの生成は、図面を画像としてCNN(Convolutional Nueral Network)に入力し、製品カテゴリのクラスを8クラスに分類するようにして、CNNを学習することで生成される。学習済みモデルの生成は、既知の方法が適用可能であるため、説明は省略する。
【0045】
特徴情報取得部113は、対象図面に対する画像処理により、当該対象図面の当該部品図における部品の形状の特性を取得する。このとき、画像処理の対象は、対象図面に限定されず、対象図面から外枠と表題欄Tとを抽出した図面領域(部品図)であってもよい。例えば、特徴情報取得部113は、対象図面の部品図に対する画像処理により、エッジ方向(4方向または8方向)の成分を統計的に集計したベクトルを、特性として取得する。なお、形状の特性は、上記エッジ方向に関したものに限定されず、例えば、Distinctive Image Features from Scale-Invariant Keypoints David G. Lowe January 5, 2004 the International Journal of Computer Vision, 2004. https://www.robots.ox.ac.uk/~vgg/research/affine/det_eval_files/lowe_ijcv2004.pdfに記載されているような、局所特徴を取得して画像全体で集計したものであってもよい。
【0046】
また、取得された局所特徴を画像全体で集計する際には、例えば、T. Joachims: “Text categorization with support vector machines: leaning with many relevant features”, Proc. 10th European Conference on Machine Leaning (ECML-98), pp137-142 (1998)に記載されているようなBag-of-featuresのように、予めコードブックベクトルを設定して、その各コードブックの頻度を画像内で集計するヒストグラム特徴を用いてもよい。
【0047】
図面情報取得部115は、入力インターフェース15を介してユーザにより入力された対象図面から、部品図に関する図面情報を取得する。図面情報取得部115は、取得された図面情報を、対象図面のIDと関連付けて、メモリ13に記憶させる。
【0048】
具体的には、図面情報取得部115は、対象図面から部品図に対して付帯されたテキストを取得する。図面情報取得部115は、例えば、表題欄Tに記載された文字情報(例えば、図2に示すT1、T2、T3など)と、部品図に付帯された数値情報(例えば、図2に示すS4など)とを、テキストとして取得する。また、図面情報取得部115は、対象図面から、当該対象図面の部品図に対して付帯された記号情報を取得する。図面情報取得部115は、例えば、部品図に付帯された記号(例えば、図2に示すS1、S2、S3など)を、記号情報として取得する。対象図面からテキストおよび/または記号情報を取得する処理としては、例えば、OCR(Optical Character Recognition/Reader:光学的文字認識)などの既知の技術が適用可能であるため、説明は省略する。
【0049】
また、図面情報取得部115は、取得されたテキストに基づいて推定された推定情報を、図面情報として取得する。例えば、図面情報取得部115は、寸法値などの数値情報に対する所定の演算などにより、最大寸法などの推定値を、推定情報として取得する。また、図面情報取得部115は、表題欄Tに記載のテキストおよび/または部品図に付帯された寸法値などの数値情報に基づいて、母材形状、加工方法、または価格などを推定する。図面情報取得部115は、推定された母材形状、加工方法、または価格などの推定情報を、図面情報として取得する。なお、図面情報取得部115は、部品図を学習済みモデルに入力することにより、母材形状、加工方法、または価格などを推定してもよい。母材形状、加工方法、または価格などの推定は、既知の手法が適用可能であるため、説明は省略する。
【0050】
類似図面検索部117は、特徴情報取得部113により取得された対象図面の特徴に基づいて、複数の図面(データベース図面)と複数のデータベース図面各々に関する特徴とが対応付けられて記憶された図面データベースから、対象図面における部品図に類似する複数の第1類似図面を検索する。
【0051】
例えば、類似図面検索部117は、複数のデータベース図面各々と対象図面との類似性を、ベクトルで表現された特徴間の類似度(Similarity)を用いてスコアを計算してもよい。特徴間の類似度は、例えば、以下の式(1)で示されるコサイン類似度により算出される。
【0052】
【数1】
式(1)におけるAは、対象図面の特徴を示すベクトルのi成分を示している。また、式(1)におけるBは、データベース図面の特徴を示すベクトルのi成分を示している。nは、対象図面の特徴を示すベクトルとデータベース図面の特徴を示すベクトルとの成分の数(次元)を示している。また、式(1)に示す類似度は、中間出力および形状の特性各々について計算されてもよい。
【0053】
また、類似図面検索部117は、特徴間の類似性として、例えば、以下の式(2)で示されるユークリッド距離を算出してもよい。以下、2つの中間出力に関する距離を中間出力距離と呼び、2つの特性に関する距離を特性距離と呼ぶ。すなわち、中間出力類似性は、例えば、中間出力距離または2つの中間出力によるコサイン類似度により、表現される。また、特性類似性は、例えば、特性距離または2つの特性によるコサイン類似度により、表現される。
【0054】
【数2】
【0055】
式(2)における左辺d(x、y)は、ユークリッド距離を示している。また、式(2)におけるxは、対象図面の特徴を示すベクトルを示している。また、式(2)におけるyは、データベース図面の特徴を示すベクトルを示している。nは、対象図面の特徴を示すベクトルとデータベース図面の特徴を示すベクトルとの成分の数(次元)を示している。また、式(2)に示すユークリッド距離d(x、y)は、中間出力および形状の特性各々について計算されてもよい。
【0056】
図4は、中間出力の特徴空間において、対象図面の中間出力の位置と、データベース図面の中間出力との位置との一例を示す図である。図4に示すように、対象図面の中間出力の位置を中心とする所定の半径の円内において、複数の中間出力に対応する複数のデータベース図面は、対象図面の特徴と類似する特徴を有することを示している。
【0057】
類似図面検索部117は、メモリ13に記憶された計算式を用いて、対象図面に類似する第1類似図面の特定に用いられるスコアを計算する。具体的には、類似図面検索部117は、第1重みと中間出力類似性との乗算値(以下、第1重み付け値と呼ぶ)と、第2重みと特性類似性との乗算値(以下、第2重み付け値と呼ぶ)との和を、スコアとして計算する。スコアは小さいほど、データベース図面と対象図面とが類似することとなる。すなわち、類似度が高い順(例えば、スコアが小さい順)に、データベース図面は、対象図面と類似する。なお、当該対象図面における部品図の形状に関する特徴として中間出力または部品の形状の特性が用いられる場合、スコアは、中間出力類似性または特性類似性そのものとなる。
【0058】
図5は、スコアが計算される過程の一例を示す図である。図5に示すように、類似図面検索部117は、対象図面の中間出力および形状の特性と、データベース図面の中間出力および形状の特性を用いて、対象図面とデータベース図面との類似性を示すスコアを計算する。以上により、類似図面検索部117は、データベース図面から対象図面に類似する複数の第1類似図面を検索する。
【0059】
図面絞り込み部119は、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込む。複数の第2類似図面は、例えば、複数の第1類似図面に比べて、部品図にさらに類似する図面である。具体的には、図面絞り込み部119は、対象図面に関する図面番号、図番、品名、部品名、記号情報などと、複数の第1類似図面に関する図面情報との部分一致を、キーワードによる絞り込みの条件として用いて、第1類似図面を第2類似図面に絞り込む。
【0060】
また、図面絞り込み部119は、例えば、対象図面における部品図に関する材質、表面処理などを、複数の第1類似図面に関する図面情報に対する多数の選択リスト(multi picklist)として用いて、第1類似図面を第2類似図面に絞り込んでもよい。また、図面絞り込み部119は、例えば、対象図面における部品図に関する寸法サイズを、複数の第1類似図面に関する図面情報における範囲の指定として用いて、第1類似図面を第2類似図面に絞り込んでもよい。図面絞り込み部119は、第1類似図面から絞り込んだ第2類似図面を、ディスプレイ17に出力する。
【0061】
学習部121は、例えば、学習済みモデルの生成などに用いられる。学習部121は、学習前の多層のニューラルネットワークにより構成されるモデルに対して学習データを適用して、学習済みモデルを生成する。学習データは、入力データと教師データ(正解データ)とを有する。入力データは、例えば、部品図である。また、教師データは、当該部品図に対応する製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも1つである。学習済みモデルの生成については、既知の学習方法が利用可能であるため説明は省略する。また、学習部121は、第1重みと第2重みとを設定する。第1重みと第2重みとの設定に関しては、後ほど説明する。
【0062】
以上、類似図面検索装置1における構成について説明した。以下、類似図面検索装置1による類似図面の検索に関する(以下、類似図面検索処理と呼ぶ)について説明する。類似図面検索処理は、対象図面における部品図の形状の特徴に基づいて、対象図面と類似する第1類似図面を、メモリ13におけるデータベース図面から検索し、対象図面における図面情報に基づいて、複数の第1類似図面から少なくとも1つの第2類似図面を絞り込むことにある。
【0063】
すなわち、類似図面検索処理は、対象図面の部品図の形状の特徴に基づく複数の第1の類似図面の検索と、対象図面の図面情報に基づいて複数の第1の類似図面から複数の第2類似図面に絞り込むという、2つの処理により、対象図面に対応する類似図面を特定することにある。以下、類似図面検索処理の説明を具体的にするために、特徴情報取得部113により取得される対象図面の特徴は、中間出力と、部品図に対応する部品の形状の特性とであるものとする。
【0064】
図6は、類似図面検索処理におけるデータの流れの一例を示す図である。図7は、類似図面検索処理における手順の一例を示す図である。
【0065】
(類似図面検索処理)
(ステップS701)
入力インターフェース15は、ユーザの指示により、対象図面を入力する。なお、類似図面検索装置1への対象図面の入力は、入力インターフェース15を介した処理に限定されない。対象図面は、例えば、通信インターフェース19とネットワーク191とを介して、外部の入力装置から入力されてもよい。
【0066】
(ステップS702)
特徴情報取得部113は、対象図面を学習済みモデルに入力し、中間出力を取得する。なお、学習済みモデルへの入力は、対象図面に限定されず、対象図面から抽出された部品図であってもよい。このとき、対象図面から部品図の抽出に関する処理は、ステップS701とステップS702との間において、例えば、特徴情報取得部113により実行される。
【0067】
(ステップS703)
類似図面検索部117は、メモリ13におけるインデックスデータに問い合わせを行い、メモリ13からデータベース図面に関する中間出力を読み出す。類似図面検索部117は、メモリ13から読みだされた複数のデータベース図面に対応する複数の中間出力各々と、取得された中間出力との間の中間出力類似性を算出する。中間出力類似性は、上述のようにコサイン類似度またはユークリッド距離などである。なお、当該対象図面における部品図の形状に関する特徴が中間出力のみである場合、以下のステップS704とS706との処理は省略されることとなる。
【0068】
(ステップS704)
特徴情報取得部113は、対象図面における部品図に対応する部品の特性を取得する。部品の特性は、上述のように、部品図により来てされる部品のエッジに関する特性である。なお、部品の特性は、エッジに関する特性に限定されず、他の部品の特性、例えば、部品における曲げの曲率などの形状を規定する特性であってもよい。
【0069】
(ステップS705)
類似図面検索部117は、メモリ13におけるインデックスデータに問い合わせを行い、メモリ13からデータベース図面に関する特性を読み出す。類似図面検索部117は、メモリ13から読みだされた複数のデータベース図面に対応する複数の特性各々と、取得された特性との間の特性類似性を算出する。特性類似性は、上述のようにコサイン類似度またはユークリッド距離などである。なお、当該対象図面における部品図の形状に関する特徴が中間出力のみである場合、上記ステップS702とS703との処理は省略されることとなる。
【0070】
(ステップS706)
類似図面検索部117は、中間出力距離に第1重みを乗算して第1重み付け値を算出し、特性距離に第2重みを乗算して第2重み付け値を算出する。次いで、類似図面検索部117は、第1重み付け値と第2重み付け値とを加算することにより、複数のデータベース図面に対応する複数のスコアを計算する。なお、特徴情報取得部113により取得される特徴が中間出力と形状の特性とのうちいずれか一方である場合、類似図面検索部117は、中間出力距離または特性距離を、スコアとして算出する。
【0071】
(ステップS707)
類似図面検索部117は、図面IDを用いてメモリ13に類似度が高い順(例えば、スコアの小さい順、コサイン類似度が大きい順など)に問い合わせを行い、メモリ13から複数の第1類似図面を取得する。これにより、類似図面検索部117は、図面データベースからの複数の第1類似図面の検索を完了する。なお、類似図面検索部117は、所定の値未満(または以下)の複数のスコアに対応する複数の第1類似図面を、メモリ13における図面データベースから取得(抽出)してもよい。
【0072】
(ステップS708)
図面情報取得部115は、対象図面から、対象図面の部品図に関する図面情報を取得する。このとき、図面情報取得部115は、取得された図面情報(例えば、部品図に対して付帯されたテキスト、および当該テキストに基づいて推定された推定情報、記号情報など)を、対象図面のIDと関連付けて、メモリ13に記憶する。なお、図面情報は、入力インターフェース15を介したユーザの指示により、適宜、選択、修正などが可能である。
【0073】
本ステップにおいて、ディスプレイ17は、システム制御部111による制御のもとで、対象図面と、複数の第1類似図面とを、類似度が高い順(例えば、スコアの小さい順、コサイン類似度が大きい順など)に表示してもよい。図8は、対象図面と、複数の第1類似図面との表示の一例を示す図である。図8に示すように、ディスプレイ17には、対象図面と複数の第1類似図面とに加えて、対象図面の図面情報と、図面絞り込み部119による絞り込みの項目を選択するためのボタン(絞り込み項目)とがさらに表示される。このとき、入力インターフェース15を介したユーザの指示により絞り込み項目が選択されると、対象図面に関する材質・表面処理といった図面情報で、後段のステップS709における絞り込み検索が実施される。
【0074】
(ステップS709)
図面絞り込み部119は、対象図面の図面情報に基づいて、複数の第1類似図面から、複数の第2類似図面を絞り込む。すなわち、図面絞り込み部119は、スコアが低くかつ対象図面の図面情報に基づく絞り込み条件に合致する複数の第2類似図面を、第1類似図面から絞り込む。
【0075】
(ステップS710)
システム制御部111は、絞り込まれた第2類似図面を、例えば、スコアの低い順にディスプレイ17に表示させる。これにより、ユーザは、対象図面に類似図面を、複数の第2類似図面のリストから選択することができる。入力インターフェース15を介したユーザの選択指示より、複数の第2類似図面のうち、ユーザが所望する類似図面が選択される。以上の手順により、類似図面検索処理は終了する。
【0076】
以下、第1重みと第2重みとの設定に関する処理(以下、重み設定処理と呼ぶ)について説明する。重み設定処理は、類似図面検索処理の実施に先立って実行される。図9は、重み設定処理における手順の一例を示す図である。
【0077】
(重み設定処理)
(ステップS801)
入力インターフェース15は、ユーザの指示により、第1重み及び第2重みの設定に関する複数の図面(以下、参照図面と呼ぶ)の選択を入力する。なお、類似図面検索装置1への複数の参照図面の選択の入力は、入力インターフェース15を介した処理に限定されない。複数の参照図面の選択は、例えば、通信インターフェース19とネットワーク191とを介して、外部の入力装置から入力されてもよい。
【0078】
(ステップS802)
特徴情報取得部113は、複数の参照図面各々を学習済みモデルに入力し、複数の参照図面に対応する複数の中間出力を取得する。なお、学習済みモデルへの入力は、参照図面に限定されず、参照図面から抽出された部品図であってもよい。このとき、参照図面から部品図の抽出に関する処理は、ステップS801とステップS802との間において、例えば、特徴情報取得部113により実行される。また、予め中間出力がメモリ13に記憶されている場合、特徴情報取得部113は、選択された参照図面に対応する中間出力を、メモリ13から取得する。
【0079】
(ステップS803)
類似図面検索部117は、2つの中間出力の間の中間出力類似性を算出する。中間出力類似性の算出は、ステップS703と同様なため、説明は省略する。
【0080】
(ステップS804)
特徴情報取得部113は、参照図面における部品図に対応する部品の特性を取得する。特性の取得は、ステップS704と同様なため、説明は省略する。
【0081】
(ステップS805)
類似図面検索部117は、2つの特性の間の特性類似性を算出する。特性類似性の算出は、ステップS705と同様なため、説明は省略する。
【0082】
(ステップS806)
学習部121は、参照図面のペアに応じた複数の中間出力類似性(例えば、中間出力距離)と複数の特性類似性(例えば、特性距離)とに対して最近傍探索のアルゴリズムまたは近似最近傍探索のアルゴリズムを適用する。これにより、学習部121は、第1重みと第2重みとを決定する。最近傍探索のアルゴリズムまたは近似最近傍探索のアルゴリズムは、既知であるため、説明は省略する。なお、学習部121は、中間出力距離と特性類距離とが所定の距離値の近傍になるように、第1重みおよび第2重みを決定してもよい。また、第1重みおよび第2重みは、入力インターフェース15を介したユーザの指示により、決定および/または調整されてもよい。
【0083】
(ステップS807)
学習部121は、第1重みおよび第2重みをメモリ13に記憶させる。また、学習部121は、複数の参照図面と中間出力と特性とを、図面IDにより対応付けて、インデックスデータとして、メモリ13に記憶する。以上により、重み設定処理は完了する。
【0084】
以上のことから、実施形態に係る類似図面検索装置1は、対象図面から、対象図面における部品図に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第1類似図面を検索し、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込み、複数の第2類似図面をディスプレイ17に表示する。また、実施形態に係る類似図面検索装置1は、学習済みモデルに対象図面を入力して、学習済みモデルにおける少なくとも一つの中間層から出力される中間出力と、対象図面の部品図に対する画像処理を用いた、対象図面の部品図における部品の形状の特性と、のうち少なくとも一つを、対象図面の特徴情報として取得するこのとき、実施形態に係る類似図面検索装置1は、対象図面の図面から対象図面の部品図の領域を抽出し、対象図面の部品図から前記対象図面の特徴を取得する。また、実施形態に係る類似図面検索装置1において、対象図面の図面情報は、部品図に対して付帯されたテキストと、テキストに基づいて推定された推定情報と、対象図面の部品図に対して付帯された記号情報と、のうち少なくとも一つを有する。
【0085】
例えば、上記対象図面の特徴情報が中間出力と上記特性とを有する場合、実施形態に係る類似図面検索装置1は、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力類似性と、対象図面の特性と図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性類似性と、に基づいて、複数の第1類似図面を検索する。このとき、実施形態に係る類似図面検索装置1は、中間出力類似性に第1重みを乗算した第1重み付け値と、特性類似性に第2重みを乗算した第2重み付け値とを加算することによりスコアを計算し、当該スコアを用いて複数の第1類似図面を検索する。
【0086】
また、実施形態に係る類似図面検索装置1において用いられる学習済みモデルは、図面データベースに記憶される複数の図面(データベース図面)各々を学習前のモデルに入力し、複数のデータベース図面に対応する複数の推定結果各々を教師データとして用いて、学習前のモデルを学習することにより生成される。このとき、実施形態に係る複数の推定結果各々は、例えば、製品カテゴリ、加工前後の寸法、加工工程カテゴリ、加工方法、曲げ加工の有無、および溶接加工の有無を含む製品・加工に関する複数の項目のうち少なくとも一つである。
【0087】
これらのことから、実施形態に係る類似図面検索装置1によれば、対象図面における部品図の形状の特徴に基づいて、対象図面と類似する第1類似図面を、メモリ13におけるデータベース図面から検索し、対象図面における図面情報に基づいて、複数の第1類似図面から少なくとも1つの第2類似図面を絞り込むことができる。このため、実施形態に係る類似図面検索装置1によれば、部品図の形状の特徴に基づく複数の第1の類似図面の検索と、複数の第1の類似図面から図面情報に基づいて複数の第2類似図面に絞り込むという、2つの検索の処理により、より効率的に、かつより類似性の高い類似図面を、対象図面から検索することがきる。
【0088】
以上のことから、実施形態に係る類似図面検索装置1によれば、過去の図面と所望の図面との類似に関する要件が複雑であったとしても、容易に類似図面を検索することができる。これにより、実施形態に係る類似図面検索装置1によれば、例えば、図面の当該受発注業務の効率化を向上させることができる。
【0089】
(応用例)
本応用例は、中間出力類似性が取得された中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であって、特性類似性が取得された特性と複数の中間出力に対応する複数の特性各々との間の特性距離である場合、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリック(metric:計量)に対して、ユーザにより指定された2つの図面の複数ペアから取得された特徴に基づいた距離学習を実行することにある。
【0090】
以下、距離学習を実行する処理(以下、距離学習処理と呼ぶ)について説明する。図10は、距離学習処理におけるデータの流れの一例を示す図である。図11は、距離学習処理における手順の一例を示すフローチャートである。
【0091】
(距離学習処理)
(ステップS101)
入力インターフェース15は、ユーザの指示により、類似の2つの第1図面の指定と、非類似の2つの第2図面の指定とを複数入力する。入力インターフェース15は、複数指定された2つの図面に対応する2つの図面IDを学習部121へ出力する。
【0092】
(ステップS102)
学習部121は、2つの第1図面に対応する2つの図面IDとインデックスデータに記憶された複数の図面IDとを照合する。学習部121は、照合された2つの図面IDに対応する第1特徴を、メモリ13から読みだす。また、学習部121は、2つの第2図面に対応する2つの図面IDとインデックスデータに記憶された複数の図面IDとを照合する。学習部121は、照合された2つの図面IDに対応する第2特徴を、メモリ13から読みだす。すなわち、学習部121は、複数の第1図面に対応する複数の第1特徴と、複数の第2図面に対応する複数の第2特徴と、図面IDを用いてメモリ13から読みだす。
【0093】
具体的には、学習部121は、第1図面(似ている図面)の集合と第2図面(似ていない図面)の集合とを、以下の式(3)に示すように、S、Dとおく。以下の式(3)において、(x,xは、それぞれ指定された図面を示している。
【0094】
【数3】
【0095】
(ステップS103)
学習部121は、第1図面の間の類似性に関する第1スコアが小さくなるように、かつ第2図面の間の類似性に関する第2スコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。具体的には、学習部121は、集合S、Dに含まれるベクトルを用いて、例えば、マハラノビス距離学習(Mahalanobis Distance Metric Learning)を実行する。マハラノビス距離学習では、学習部121は、以下の式(4)を用いて、共分散行列Mを学習する。すなわち、学習されるメトリックは、共分散行列Mに相当する。式(4)における左辺は、画像xとyとに関するマハラノビス距離を示している。画像xおよびyは、集合SまたはDに属している。右辺のxおよびyは、画像x、yの特徴情報に関するベクトル(例えば、中間出力を表すベクトル)を示している。
【0096】
【数4】
【0097】
学習部121は、マハラノビス距離学習において、以下の式(5)に示す最適化問題を解く。
【0098】
【数5】
【0099】
学習部121は、同じクラス(intra-class)すなわち同じ集合のサンプル間の距離を小さくするように、かつ異なるクラス(inter-class)すなわち異なる集合のサンプル間の距離を大きくするように、マハラノビス距離学習を実行する。マハラノビス距離学習の実際の処理手順については、既知の技術が適用可能であるため、説明は省略する。なお、上記距離学習は、マハラノビス距離学習を例にとり説明したが、これに限定されず、他の既知の距離学習が用いられてもよい。距離学習に関するアルゴリズムは、予めメモリ13に記憶される。
【0100】
(ステップS104)
学習部121は、距離学習により学習されたメトリックを更新する。応用例における距離学習の実行前のメトリックは、式(2)に示すように、ベクトルの次元(要素の数)に対応する単位行列である。初段の距離学習において、学習部121は、単位行列を、学習されたメトリックに更新する。その後、学習部121は、距離学習の実行に応じて、メトリックを更新する。
【0101】
(ステップS105)
学習部121は、更新されたメトリックを、メモリ13に送信し、インデックスデータとともにメモリ13に記憶される。メモリ13に記憶されたメトリックは、類似図面検索処理において用いられる。
【0102】
なお、距離学習処理の多用は、メトリックの過学習につながる恐れがある。このため、本応用例の変形例として、距離学習処理は、距離学習の過学習を抑制する処理、すなわち、類似図面の検索の精度の向上と過学習とをバランスさせる処理(以下、バランス処理と呼ぶ)をさらに有していてもよい。バランス処理としては既知のものが適用可能であるため、説明は省略する。
【0103】
以上のことから、実施形態の応用例に係る類似図面検索装置1において、中間出力類似性が、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であって、特性類似性が、対象図面の特性と図面データベースに記憶された複数の中間出力に対応する複数の特性各々との間の特性距離である場合、類似図面検索装置1は、類似の2つの第1図面の指定と非類似の2つの第2図面の指定とを複数入力し、2つの第1図面の間の類似性に関する第1スコアが小さくなるように、かつ2つの第2図面の間の類似性に関する第2スコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。
【0104】
これにより、本応用例に係る類似図面検索装置1によれば、ユーザによる類似図面の検索の目的に応じた距離学習を実行することができる。このため、本応用例に係る類似図面検索装置1によれば、類似図面に関する検索精度を向上させることができる。他の効果は、実施形態と略同様なため、説明は省略する。
【0105】
本応用例の変形例は、上記距離学習の手順において、類似および非類似の2つの図面を指定しない場合において、距離学習を実施することにある。例えば、学習部121は、特徴情報取得部113において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。本応用例の変形例によれば、距離学習処理におけるステップS101およびS102の処理の代わりに、以下の処理が実行されることとなる。学習部121は、特徴情報取得部113において取得された特徴情報を用いて、クラスタリングを実施する。学習部121は、当該クラスタリングにより、集合SおよびDの要素を特定する。その後の処理は、応用例におけるステップS103以降の処理に準拠するため、説明は省略する。
【0106】
以上のことから、実施形態の応用例の変形例に係る類似図面検索装置1において、中間出力類似性が、対象図面の中間出力と図面データベースに記憶された複数の中間出力各々との間の中間出力距離であり、特性類似性が、対象図面の特性と図面データベースに記憶された前記複数の中間出力に対応する複数の特性各々との間の特性距離である場合、類似図面検索装置1は、特徴情報取得部113において取得された特徴情報を用いて、クラスタリングを実施し、同クラスタに含まれる図面間の類似性に関するスコアが小さくなるように、かつ別のクラスタに含まれる図面間の類似性に関するスコアが大きくなるように、中間出力距離と特性距離とのうち少なくとも一つにおけるメトリックに対する距離学習を実行する。
【0107】
本応用例の変形例によれば、ユーザによる図面の指定が不要となるため、ユーザに対する操作の負担が軽減される。これにより、本応用例の変形例に係る類似図面検索装置1によれば、距離学習に対する操作性が向上し、より簡便に距離学習を実行することができる。他の効果は、応用例と同様なため、説明は省略する。
【0108】
実施形態にかかる技術的思想を類似図面検索方法で実現する場合、当該類似図面検索方法は、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索する類似図面検索方法であって、対象図面から、対象図面における部品の形状に関する特徴情報を取得し、対象図面から、対象図面における部品に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第1類似図面を検索し、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込み、複数の第2類似図面をディスプレイ17に表示する。類似図面検索方法により実現される類似図面検索処理の各工程での処理内容および効果等は、実施形態と同様なため、説明は省略する。
【0109】
実施形態にかかる技術的思想を類似図面検索プログラムで実現する場合、当該類似図面検索プログラムは、コンピュータに、複数の図面に対して各図面における部品の形状に関する特徴情報と各図面における部品に関する図面情報とを対応付けて記憶した図面データベースから、対象図面に類似する図面を検索することを実現させる類似図面検索プログラムであって、コンピュータに、対象図面から、対象図面における部品の形状に関する特徴情報を取得し、対象図面から、対象図面における部品に関する図面情報を取得し、対象図面の特徴情報に基づいて、図面データベースから複数の第1類似図面を検索し、対象図面の図面情報に基づいて、複数の第1類似図面から複数の第2類似図面に絞り込み、複数の第2類似図面をディスプレイ17に表示すること、を実現させる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(ハードディスクなど)、光ディスク(CD-ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。類似図面検索プログラムにより実現される類似図面検索処理の各工程での処理内容および効果等は、実施形態と同様なため、説明は省略する。
【0110】
以上説明した少なくとも一つの実施形態などによれば、容易に類似図面を検索することができる。
【0111】
以上、いくつかの実施形態について詳述したが、実施形態による開示は上記した個々の実施形態に限定されるものではない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の部分的な省略、追加、置き換え、変更などを行うことができる。また、これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。また、実施形態における各処理の順序は、一例として示したものであり、これらに限られるものではない。
【符号の説明】
【0112】
1 類似図面検索装置
11 処理回路
13 メモリ
15 入力インターフェース
17 ディスプレイ
19 通信インターフェース
111 システム制御部
113 特徴情報取得部
115 図面情報取得部
117 類似図面検索部
119 図面絞り込み部
121 学習部
191 ネットワーク
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11