(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022137866
(43)【公開日】2022-09-22
(54)【発明の名称】類似形状検索システム、情報処理装置、サーバ、コンピュータプログラム及び類似形状検索方法
(51)【国際特許分類】
G06F 16/53 20190101AFI20220914BHJP
G06F 30/10 20200101ALI20220914BHJP
【FI】
G06F16/53
G06F17/50 622C
G06F17/50 614A
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2021037563
(22)【出願日】2021-03-09
(71)【出願人】
【識別番号】591030237
【氏名又は名称】BIPROGY株式会社
(74)【代理人】
【識別番号】100114557
【弁理士】
【氏名又は名称】河野 英仁
(74)【代理人】
【識別番号】100078868
【弁理士】
【氏名又は名称】河野 登夫
(72)【発明者】
【氏名】守屋 怜
(72)【発明者】
【氏名】三村 崇晃
【テーマコード(参考)】
5B046
5B146
5B175
【Fターム(参考)】
5B046DA08
5B046FA06
5B046FA17
5B046JA02
5B046KA05
5B146DL03
5B146DL08
5B146EA08
5B146EA18
5B146EC09
5B175DA02
5B175HB03
(57)【要約】
【課題】精度よく類似形状を検索することができる類似形状検索システム、情報処理装置、サーバ、コンピュータプログラム及び類似形状検索方法を提供する。
【解決手段】類似形状検索システムは、3次元形状を特定するデータを取得する取得部と、取得したデータに基づいて、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、生成した特徴画像に基づいて、3次元形状の全部又は一部と類似する類似形状を検索する検索部とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
3次元形状を特定するデータを取得する取得部と、
前記取得部で取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、
前記特徴画像生成部で生成した特徴画像に基づいて、前記3次元形状の全部又は一部と類似する類似形状を検索する検索部と
を備える、
類似形状検索システム。
【請求項2】
特徴画像と前記特徴画像によって立体的特徴が表された3次元形状とを関連付けた関連情報を記憶する記憶部を備え、
前記検索部は、
前記記憶部にアクセスして類似形状を検索する、
請求項1に記載の類似形状検索システム。
【請求項3】
前記取得部で取得したデータに基づいて、前記3次元形状を複数の三角形状に分割する分割部と、
前記分割部で分割した複数の三角形状を用いて2次元画像を生成する2次元画像生成部と
を備え、
前記特徴画像生成部は、
前記2次元画像の各画素に前記立体的特徴を表す画素値を割り当てて特徴画像を生成する、
請求項1又は請求項2に記載の類似形状検索システム。
【請求項4】
前記立体的特徴は、
前記3次元形状の曲面の特徴を含む、
請求項1から請求項3のいずれか一項に記載の類似形状検索システム。
【請求項5】
前記立体的特徴は、
前記3次元形状の曲率を含む、
請求項1から請求項4のいずれか一項に記載の類似形状検索システム。
【請求項6】
前記立体的特徴は、
前記3次元形状の最大曲率、最小曲率及び平均曲率の少なくとも1つを含む、
請求項1から請求項5のいずれか一項に記載の類似形状検索システム。
【請求項7】
前記3次元形状のうち検索範囲の指定を受け付ける受付部を備え、
前記特徴画像生成部は、
前記検索範囲に対応する特徴画像を生成する、
請求項1から請求項6のいずれか一項に記載の類似形状検索システム。
【請求項8】
前記検索部で検索した類似形状の類似度を算出する算出部と、
前記算出部で算出した類似度を出力する類似度出力部と
を備える、
請求項1から請求項7のいずれか一項に記載の類似形状検索システム。
【請求項9】
前記検索部で検索した類似形状のうち前記3次元形状と類似する箇所を異なる表示態様で表示するための表示データを出力する表示データ出力部を備える、
請求項1から請求項8のいずれか一項に記載の類似形状検索システム。
【請求項10】
3次元形状を特定するデータを取得する取得部と、
前記取得部で取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、
前記特徴画像生成部で生成した特徴画像をサーバへ送信する送信部と、
前記3次元形状の全部又は一部と類似する類似形状を前記サーバから受信する受信部と
を備える、
情報処理装置。
【請求項11】
3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像と前記3次元形状とを関連付けた関連情報を記憶する記憶部と、
3次元形状に対応する特徴画像を取得する取得部と、
前記取得部で取得した特徴画像に基づいて、前記特徴画像に対応する3次元形状の全部又は一部と類似する類似形状を検索する検索部と
を備える、
サーバ。
【請求項12】
コンピュータに、
3次元形状を特定するデータを取得し、
取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成し、
生成した特徴画像をサーバへ出力し、
前記3次元形状の全部又は一部と類似する類似形状を前記サーバから取得する、
処理を実行させるコンピュータプログラム。
【請求項13】
コンピュータに、
3次元形状に対応する特徴画像を取得し、
3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像と前記3次元形状とを関連付けた関連情報を用いて、取得した特徴画像に対応する前記3次元形状の全部又は一部と類似する類似形状を検索する、
処理を実行させるコンピュータプログラム。
【請求項14】
3次元形状を特定するデータを取得し、
取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成し、
生成した特徴画像に基づいて、前記3次元形状の全部又は一部と類似する類似形状を検索する、
類似形状検索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、類似形状検索システム、情報処理装置、サーバ、コンピュータプログラム及び類似形状検索方法に関する。
【背景技術】
【0002】
近年、部品などの設計には、CAD(Computer Aided Design)システムが用いられており、蓄積されるCADデータも増加する傾向にある。新たな部品を設計する際には、蓄積されたCADデータを検索して活用すれば、過去の製造ノウハウを生かすことができ、工期短縮や品質向上を図ることができる。
【0003】
非特許文献1には、3次元形状を複数の方向から撮影し、撮影して得られた各画像の特徴抽出を行い、機械学習を利用して類似する形状を検索する技術が開示されている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Kunio Osada, et al. “SHREC’08 Entry: Local 2DVisual Features for CAD Model Retrieval, July 2008
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、非特許文献1の技術では、3次元形状を撮影する方向が異なると、得られる画像も異なるため、撮影方向に依存して検索結果が変わってしまうおそれがある。また、撮影方向によっては、3次元形状の特徴を十分に捉えることができない可能性もある。
【0006】
本発明は、斯かる事情に鑑みてなされたものであり、精度よく類似形状を検索することができる類似形状検索システム、情報処理装置、サーバ、コンピュータプログラム及び類似形状検索方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、類似形状検索システムは、3次元形状を特定するデータを取得する取得部と、前記取得部で取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、前記特徴画像生成部で生成した特徴画像に基づいて、前記3次元形状の全部又は一部と類似する類似形状を検索する検索部とを備える。
【発明の効果】
【0008】
本発明によれば、精度よく類似形状を検索することができる。
【図面の簡単な説明】
【0009】
【
図1】本実施の形態の類似形状検索システムの構成の一例を示す模式図である。
【
図2】検索対象の3次元形状の一例を示す模式図である。
【
図3】3次元形状を三角形群に細分割する様子を示す模式図である。
【
図4】三角形群を平面展開する様子を示す模式図である。
【
図5】平面展開結果に基づき2次元画像を生成する様子を示す模式図である。
【
図6】特徴画像の画素と3次元形状上の位置との対応関係を示す模式図である。
【
図7】3次元形状上の位置での立体的特徴によって特徴画像の各画素の画素値の決定方法の一例を示す説明図である。
【
図8】3次元形状と対応する特徴画像の一例を示す模式図である。
【
図9】3次元形状DBの構成の一例を示す模式図である。
【
図10】特徴画像同士を比較して類似度を判定する様子を示す模式図である。
【
図11】特徴画像の特徴量を比較して類似度を判定する様子を示す模式図である。
【
図12】検索結果画面の第1例を示す模式図である。
【
図13】検索結果画面の第2例を示す模式図である。
【
図14】類似形状検索システムの処理手順の一例を示すフロー図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本実施の形態の類似形状検索システムの構成の一例を示す模式図である。類似形状検索システムは、情報処理装置10、及びサーバ50を備える。情報処理装置10とサーバ50とは、通信ネットワーク1を介して接続される。情報処理装置10は、部品や製品の設計者などのユーザが使用する端末装置であり、パーソナルコンピュータ(PC)、タブレット端末、スマートフォン等を用いることができる。サーバ50は、複数の装置(例えば、サーバ、PC)に分散してもよい。ユーザが情報処理装置10から検索処理要求をサーバ50に送信すると、サーバ50は、検索処理を行って、検索結果を情報処理装置10に送信する。類似形状検索とは、ある3次元形状群(集合)に対して、ある3次元形状の全部又は一部を与えて、形状が類似していると判定されるものを3次元形状群(集合)から選び出すことをいう。
【0011】
情報処理装置10は、装置全体を制御する制御部11、通信部12、記憶部13、表示部14、操作部15、及び画像処理部16を備える。画像処理部16は、分割部17、2次元画像生成部18、及び特徴画像生成部19を備える。制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)などで構成される。
【0012】
通信部12は、通信モジュールを備え、通信ネットワーク1を介してサーバ50との間で情報(データ)の送受信を行う。また、通信部12は、有線通信又は無線通信を用いて、外部のCADシステム(不図示)等から3次元形状を特定するデータ(例えば、3次元CADデータなど)を取得することができる。
【0013】
記憶部13は、半導体メモリ又はハードディスク等で構成することができ、情報処理装置10の各部での処理結果、通信部12を介してサーバ50から受信した情報などの所要の情報を記憶する。また、記憶部13は、3次元形状を特定するデータを予め収集して記憶しておくことができる。
【0014】
表示部14は、液晶パネル又は有機EL(Electro Luminescence)ディスプレイ等で構成することができる。
【0015】
操作部15は、ハードウェアキーボード、マウスなどで構成される。また、操作部15は、表示部14に組み込まれたタッチパネルで構成してもよい。ユーザが表示部14上で所定の操作を行うことができる。また、操作部15は、表示部14に表示したキ-ボードでもよい。
【0016】
画像処理部16は、取得部としての機能を有し、通信部12又は記憶部13から3次元形状を特定するデータを取得し、取得したデータに基づいて、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する。
【0017】
図2は検索対象の3次元形状の一例を示す模式図である。
図2に示すように、ユーザは、3次元CADデータを選定することによって、検索したい3次元形状を表示部14に表示させることができる。
図2の例では、便宜上、比較的簡単な3次元形状を図示しているが、実際にはもっと複雑な3次元形状であってもよい。ユーザは、表示部14に表示された3次元形状の全部又は一部を検索範囲として指定することができる。操作部15は、3次元形状のうち検索範囲の指定を受け付ける受付部としての機能を有する。検索範囲は、3次元形状の全体でもよく、3次元形状の一部でもよい。
図2の例では、検索範囲を破線の枠で例示している。また、ユーザは、適宜検索範囲を変更することができる。
【0018】
画像処理部16は、3次元形状のうち指定された検索範囲内のデータを取得し、取得したデータに基づいて、検索範囲内の3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成してもよい。以下、画像処理部16の処理の詳細について説明する。
【0019】
分割部17は、取得したデータに基づいて、3次元形状を複数の三角形状に分割する。
【0020】
図3は3次元形状を三角形群に細分割する様子を示す模式図である。3次元形状の曲面をS(u、v)で表す。(u、v)は曲面S上の座標である。3次元形状を三角形群に細分割する方法は、一般的な方法を用いればよい。曲面S上の点をS(u1、v1)、…、S(un、vn)、…とすると、三角形分割でできた三角形状のメッシュの各頂点は、曲面S上の各点に対応する。また、隣接するメッシュの境界線は、曲面S上の曲線に対応する直線である。1つのメッシュの大きさは適宜決定すればよい。
【0021】
2次元画像生成部18は、分割部17で分割した複数の三角形状を用いて2次元画像を生成する。
【0022】
図4は三角形群を平面展開する様子を示す模式図である。三角形群を平面展開する方法は、一般的な方法を用いればよい。
図4Aに示すような、三角形群を、
図4Bに示すような、複数の小片に細分する。
図4Bの例では、6つの小片に細分されているが、小片の数は
図4Bの例に限定されない。なお、小片に細分する際には、隣接する小片同士が重複する(共通の)メッシュを有していてもよい。次に、
図4Cに示すように、隣接する小片のエッジ(辺)と、その両端の2頂点が一致するように各小片を平面形に変形する。最後に、平面状の各小片をエッジとその両端が一致する状態で連結することで、
図4Dに示すように、三角形群を平面展開することができる。
【0023】
図5は平面展開結果に基づき2次元画像を生成する様子を示す模式図である。平面展開された三角形群は、2次元平面に配置されることにより、2次元画像Qを生成することができる。
【0024】
特徴画像生成部19は、2次元画像生成部18で生成した2次元画像の各画素の画素値が、3次元形状上の位置での立体的特徴を表すように当該画素値を決定することにより、特徴画像を生成する。すなわち、特徴画像生成部19は、2次元画像の各画素に立体的特徴を表す画素値を割り当てて特徴画像を生成する。
【0025】
図6は特徴画像Pの画素と3次元形状上の位置との対応関係を示す模式図である。特徴画像Pの画素(x、y)は、平面展開された三角形群における対応する位置、三角形群における対応する位置を介して、3次元形状の点S(u、v)に対応付けることができる。ずなわち、3次元形状上の位置S(u、v)の立体的特徴を特徴画像Pの対応する画素(x、y)の画素値に割り当てることが可能となる。
【0026】
これにより、プレス加工部品などの平面展開可能な性質を利用して、3次元形状の立体的特徴を表す情報を維持(又はほぼ維持)したまま特徴画像として画像化できるので、画像化の過程で3次元形状の情報が捨象されることがなく、3次元形状の部分の情報も維持して画像化できる。
【0027】
また、3次元形状を平面展開して特徴画像を生成するので、3次元形状が3次元座標内でどのような姿勢であっても、同じ形状の3次元形状であればほぼ同じ特徴画像を得ることができ、3次元形状の姿勢に依存することなく、特徴画像を生成することができる。
【0028】
次に、立体的特徴について説明する。
【0029】
図7は3次元形状上の位置での立体的特徴によって特徴画像の各画素の画素値の決定方法の一例を示す説明図である。立体的特徴は、例えば、3次元形状の曲面の特徴を表現するものであればよい。3次元形状は、曲面及び平面で構成されるので、曲面の特徴には、平面の特徴を含めてもよい。プレス加工品などの部品や製品は、表面の曲がり具合などによって、製造ノウハウが必要となり、工期の長短や品質に影響を与える可能性がある。そこで、3次元形状の曲面の特徴を画素値として割り当てられた特徴画像に基づく検索処理を行うことにより、製造ノウハウ、工期の長短、品質への影響などのファクタが共通するような類似形状を検索することができる。
【0030】
立体的特徴は、3次元形状の曲率を含む。曲率には、最大曲率Kmax、最小曲率Kmin、平均曲率Kave{Kave=(Kmax+Kmin)/2}を含めることができる。
図7に示すように、特徴画像の画素値を曲率Kとしてもよい。ここで、曲率Kは、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveを変数とする関数f
K で算出することができる。関数f
K は適宜決定すればよい。この場合、関数f
K の定義によっては、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveの少なくとも1つを変数としてもよい。
【0031】
また、
図7に示すように、特徴画像の画素値をR(赤)G(緑)B(青)の値としてもよい。ここで、Rは、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveを変数とする関数f
R で算出し、Gは、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveを変数とする関数f
G で算出し、Bは、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveを変数とする関数f
B で算出することができる。関数f
R、f
G、f
Bは適宜決定すればよい。
【0032】
また、
図7に示すように、特徴画像の画素値を輝度Yの値としてもよい。ここで、輝度Yは、最大曲率Kmax、最小曲率Kmin、平均曲率Kaveを変数とする関数f
Y で算出することができる。関数f
Y は適宜決定すればよい。
【0033】
上述のように、最大曲率Kmax、及び最小曲率Kminを立体的特徴として用いることにより、3次元形状の凹凸を特定することができる。また、平均曲率Kaveを立体的特徴として用いることにより、3次元形状の凹凸の程度(度合い)を特定することができる。
【0034】
図8は3次元形状と対応する特徴画像の一例を示す模式図である。
図8に示すように、3次元形状の表面が曲面であるのか平面であるのか、曲面である場合に凸面であるのか凹面であるのか、さらに曲面の曲がり具合などの情報が特徴画像の画素値に反映されている。このように、特徴画像は、3次元形状の曲がりの特徴を画像化したものである。
【0035】
制御部11は、画像処理部16で生成した特徴画像とともに、検索処理要求を、通信部12を介してサーバ50に送信する。以下、サーバ50について説明する。
【0036】
サーバ50は、サーバ50全体を制御する制御部51、通信部52、記憶部53、検索部54、特徴量抽出部55、類似度算出部56、及び3次元形状DB57を備える。3次元形状DB57は、サーバ50からアクセス可能な別のデータサーバに備えるようにしてもよい。制御部51は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)などで構成される。
【0037】
通信部52は、通信モジュールを備え、通信ネットワーク1を介して情報処理装置10との間で情報(データ)の送受信を行う。通信部52は、情報処理装置10から、特徴画像とともに、検索処理要求を取得(受信)する。
【0038】
記憶部53は、半導体メモリ又はハードディスク等で構成することができ、通信部52を介して受信した特徴画像、及びサーバ50の各部での処理結果などの所要の情報を記憶することができる。
【0039】
検索部54は、情報処理装置10で生成された特徴画像に基づいて、3次元形状の全部又は一部と類似する類似形状を検索する。より具体的には、検索部54は、3次元形状DB57にアクセスして類似形状を検索する。
【0040】
3次元形状DB57は、記憶部としての機能を有し、特徴画像と当該特徴画像によって立体的特徴が表された3次元形状とを関連付けた関連情報を記憶する。3次元形状DB57は、例えば、過去に設計した部品や製品の3次元形状と、当該3次元形状の立体的特徴が表す画素値を有する特徴画像とを関連付けて記録されたデータベースである。
【0041】
図9は3次元形状DB57の構成の一例を示す模式図である。
図9には、3次元形状V0001、V0002、V0003、V0004、…に対応付けて特徴画像W0001、W0002、W0003、W0004、…が記憶されている様子を示す。なお、
図9に示す3次元形状は、便宜上比較的簡単な形状であるが、実際はもっと複雑な形状であってもよい。検索部54は、情報処理装置10で生成された特徴画像Pと3次元形状DB57に記憶された特徴画像W0001、W0002、W0003、W0004、…とを比較し、類似度を判定する。
【0042】
具体的には、類似度算出部56は、情報処理装置10で生成された特徴画像Pと3次元形状DB57に記憶された特徴画像W0001、W0002、W0003、W0004、…との類似度を算出する。
【0043】
なお、後述するように、特徴画像の特徴点及び特徴量を算出して類似度を判定する場合には、3次元形状DB57は、さらに、特徴画像W0001、W0002、W0003、W0004、…と、各特徴画像の特徴点及び特徴量とを関連付けて記憶すればよい。
【0044】
図10は特徴画像同士を比較して類似度を判定する様子を示す模式図である。特徴画像同士を比較して類似度を判定する方法は、一般的な方法を用いることができる。例えば、特徴画像のすべての画素に対して画素値(例えば、曲率、RGB、又は輝度値など)を比較する。類似度は、各画素の画素値の平均二乗誤差の和で算出することができる。
【0045】
また、別の方法としては、特徴画像同士の各画素値(例えば、曲率、RGB、又は輝度値など)の画素数を算出し、特徴画像それぞれの画素数の差を足し合わせたヒストグラムの面積の大小に応じて類似度を算出する。面積が小さいほど類似度が高いと判定できる。
【0046】
なお、特徴画像同士を比較して類似度を算出する方法は、比較的処理量が増大する傾向がある。そこで、処理効率のため、特徴画像から特徴量を抽出し、抽出した特徴量に基づいて類似度を算出してもよい。
【0047】
図10に示すように、特徴画像Pのサイズが、3次元形状DB57に記憶された特徴画像W0001、W0002、W0003、W0004、…のサイズよりも小さい場合には、特徴画像Pを特徴画像W0001、W0002、W0003、W0004、…上を走査させて、走査の都度、特徴画像Pに対応する領域との類似度を算出し、類似度の大きい領域を判定すればよい。
【0048】
図11は特徴画像の特徴量を比較して類似度を判定する様子を示す模式図である。特徴量抽出部55は、情報処理装置10で生成された特徴画像Pから特徴量を抽出する。特徴量としては、例えば、SIFT(Scale Invariant Feature Transform)、KAZE、AKAZE(Accelerated KAZE)、SURF(Speed Up Robust Feature)、ORB(Oriented FAST and Rotated BRIEF)などの特徴量を用いることができる。
【0049】
図11において、丸点は、特徴点を示す。特徴点の抽出は、例えば、DoG(Difference-of-Gaussian)処理により行うことができる。具体的には、特徴画像とスケールの異なるガウス関数を畳み込んだ平滑化画像を生成し、生成した各平滑化画像の差分から、複数のDoG画像を生成する。スケールの異なる3枚のDoG画像を一組として、注目画素の上下を含む隣接する画素とその周りの26近傍を比較して極値を求める。求めた極値を特徴点として抽出することができる。
【0050】
次に、特徴点の特徴量を抽出する。具体的には、特徴点が検出された平滑化画像の各画素の勾配強度と勾配方向を求め、全方向を36方向に量子化したヒストグラムの最大値のオリエンテーションを特徴点の代表オリエンテーションとする。代表オリエンテーションの方向を座標軸として、特徴点の周辺領域を一辺4ブロックの16ブロックに分割し、ブロック毎に8方向の勾配方向ヒストグラムを生成する。4ブロック×4ブロック×8方向の128次元の特徴量が得られる。
【0051】
特徴量に基づく類似度の算出は、例えば、特徴画像Pの特徴点の特徴量と、当該特徴点に対応する特徴画像W0001の特徴点の特徴量との距離を求め、所定数の特徴点について総計すればよい。特徴量の距離は、例えば、ノルム、ハミング距離などを用いることができる。距離の総計が小さいほど類似度が大きいと判定することができる。
【0052】
制御部51は、通信部52を介して検索結果を情報処理装置10に送信する。検索結果には、情報処理装置10で生成された特徴画像に対応する3次元形状の全部又は一部に類似する類似形状(3次元形状)、類似形状が複数ある場合には、各類似形状の類似度、及び類似形状のうち、特徴画像に対応する3次元形状と類似する箇所を異なる表示態様で表示するための表示データの少なくとも1つが含まれる。
【0053】
次に、情報処理装置10での検索結果の表示例について説明する。
【0054】
図12は検索結果画面の第1例を示す模式図である。検索結果画面101の左側の領域には、検索対象の3次元形状に関する情報が表示され、右側の領域には検索結果に関する情報が表示されている。ユーザは、検索対象部品を部品リスト欄102から選択することができる。検索対象部品が選択されると、データ表示欄103に3次元形状が表示される。ユーザは、データ表示欄103に表示される3次元形状のうち、所要の検索範囲104(
図12では、破線の枠)を設定し、「検索範囲指定」アイコン105を操作することにより、3次元形状の検索範囲が指定される。ユーザは、「検索」アイコン106を操作すると、情報処理装置10は、指定された検索範囲内の3次元形状から特徴画像Pを生成して、特徴画像Pとともに検索処理要求をサーバ50に送信する。なお、検索範囲の指定は必須ではない。検索範囲の指定を受け付けない場合、3次元形状の全部が検索範囲となる。
【0055】
検索結果としては、類似順位毎に類似形状表示欄107、109が表示される。なお、
図12の例では、類似形状表示欄を2つ表示しているが、数は2つに限定されない。類似形状表示欄107には、3次元形状に最も類似する類似形状が表示される。また、実線の枠108で示すように、類似形状のうち、検索範囲104内の3次元形状と類似する箇所を強調表示することができる。なお、強調表示は、一例であって、類似形状の中で検索範囲内の3次元形状と類似する箇所が容易に識別できる表示態様であれば、色を変更する、模様を変更する、マークを付けるなど、種々の表示態様で表示できる。類似形状表示欄109には、2番目に類似する類似形状が表示される。また、実線の枠110で示すように、類似形状のうち、検索範囲104内の3次元形状と類似する箇所を強調表示することができる。また、
図12に示すように、類似形状表示欄107、109に対応させて、類似度、部品名を表示する。
【0056】
図13は検索結果画面の第2例を示す模式図である。ユーザは、選択した検索対象部品の3次元形状のうち、検索範囲を適宜変更することができる。1つの3次元形状の中に複数個所に亘って、過去の製造ノウハウ、品質上の問題などを事前に確認しておくことが必要であるからである。
図13の例では、所要の検索範囲122(
図13では、破線の枠)を設定し、「検索範囲指定」アイコン105を操作することにより、3次元形状の検索範囲の指定を変更することができる。
【0057】
検索結果画面121の検索結果としては、類似順位毎に類似形状表示欄123、125が表示される。類似形状表示欄123、125に表示される類似形状が異なっていることが分かる。また、実線の枠124、126で示すように、類似形状のうち、検索範囲122内の3次元形状と類似する箇所を強調表示することができる。
【0058】
次に、本実施の形態の類似形状検索システム(類似形状検索方法)の処理について説明する。
【0059】
図14は類似形状検索システムの処理手順の一例を示すフロー図である。情報処理装置10は、3次元形状データを取得し(S11)、検索範囲の指定を受け付ける(S12)。情報処理装置は、検索範囲内の3次元形状から特徴画像を生成し(S13)、生成した特徴画像、検索処理要求をサーバ50に送信する(S14)。
【0060】
サーバ50は、検索処理要求とともに特徴画像を受信し(S15)、受信した特徴画像の特徴点及び特徴量を算出する(S16)。サーバ50は、3次元形状DB57を検索して、受信した特徴画像と記憶している特徴画像との類似度を算出して、受信した特徴画像と類似する特徴画像を抽出する(S17)。これにより、サーバ50は、3次元形状と類似する類似形状を特定することができる。
【0061】
サーバ50は、類似すると判定した3次元形状又はその部分(類似形状)を情報処理装置10に送信し(S18)、処理を終了する。なお、サーバ50が検索結果を情報処理装置10に送信する場合、検索結果に、類似形状の類似度、及び類似形状のうち、特徴画像に対応する3次元形状と類似する箇所を異なる表示態様で表示するための表示データを含めてもよい。
【0062】
情報処理装置10は、検索結果を受信して表示し(S19)、処理を終了する。
【0063】
上述のように、情報処理装置10は、3次元形状を特定するデータを取得する取得部と、取得したデータに基づいて、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、生成した特徴画像をサーバへ送信する送信部と、3次元形状の全部又は一部と類似する類似形状をサーバから受信する受信部とを備える。
【0064】
情報処理装置10は、CPU(プロセッサ)、ROM及びRAM(メモリ)などを備えた汎用コンピュータを用いて実現することもできる。すなわち、
図14に示すような、情報処理装置10の各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたRAM(メモリ)にロードし、コンピュータプログラムをCPU(プロセッサ)で実行することにより、コンピュータ上で情報処理装置10を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよく、あるいは、ネットワークを介して、コンピュータにインストールされてもよい。
【0065】
サーバ50は、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像と当該3次元形状とを関連付けた関連情報を記憶する記憶部と、3次元形状に対応する特徴画像を取得する取得部と、取得した特徴画像に基づいて、当該特徴画像に対応する3次元形状の全部又は一部と類似する類似形状を検索する検索部とを備える。
【0066】
サーバ50は、CPU(プロセッサ)、ROM及びRAM(メモリ)などを備えた汎用コンピュータを用いて実現することもできる。すなわち、
図14に示すような、サーバ50の各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたRAM(メモリ)にロードし、コンピュータプログラムをCPU(プロセッサ)で実行することにより、コンピュータ上でサーバ50を実現することができる。コンピュータプログラムは記録媒体に記録され流通されてもよく、あるいは、ネットワークを介して、コンピュータにインストールされてもよい。
【0067】
上述の実施の形態では、情報処理装置10で特徴画像Pを生成する構成であったが、これに限定されるものではなく、サーバ50で特徴画像Pを生成するようにしてもよい。この場合、
図1に示す画像処理部16(分割部17、2次元画像生成部18、及び特徴画像生成部19)をサーバ50に組み込めばよい。情報処理装置10は、検索範囲が指定された3次元形状を特定するデータをサーバ50に送信する。サーバ50では、当該3次元形状を特定するデータを受信し、受信したデータに基づいて特徴画像を生成する。
【0068】
一般的に、3次元形状の類似形状検索の難しさは、3次元空間内での3次元形状の取り得る姿勢が膨大である点にある。例えば、3次元形状を1度ずつ回転させるとすると、360×360=129600通りの姿勢を考慮する必要があり、莫大な処理時間を要する。また、3次元形状の全体の中から類似する部分を検索する場合も、検索する領域を少しずつ移動させて判定する必要があり莫大な処理時間を要する。
【0069】
本実施形態によれば、3次元形状を、当該3次元形状上の立体的特徴を表現する画素値を有する特徴画像に2次元画像化し、2次元画像化された特徴画像を用いて類似形状を検索するので、上述の一般的な3次元形状の類似形状検索の難しさを解消することができる。また、本実施形態によれば、特徴画像同士を比較して類似度を判定できるので、簡便な画像処理により実現することができる。
【0070】
本実施の形態の類似形状検索システムは、3次元形状を特定するデータを取得する取得部と、前記取得部で取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、前記特徴画像生成部で生成した特徴画像に基づいて、前記3次元形状の全部又は一部と類似する類似形状を検索する検索部とを備える。
【0071】
本実施の形態の類似形状検索システムは、特徴画像と前記特徴画像によって立体的特徴が表された3次元形状とを関連付けた関連情報を記憶する記憶部を備え、前記検索部は、前記記憶部にアクセスして類似形状を検索する。
【0072】
本実施の形態の類似形状検索システムは、前記取得部で取得したデータに基づいて、前記3次元形状を複数の三角形状に分割する分割部と、前記分割部で分割した複数の三角形状を用いて2次元画像を生成する2次元画像生成部とを備え、前記特徴画像生成部は、前記2次元画像の各画素に前記立体的特徴を表す画素値を割り当てて特徴画像を生成する。
【0073】
本実施の形態の類似形状検索システムにおいて、前記立体的特徴は、前記3次元形状の曲面の特徴を含む。
【0074】
本実施の形態の類似形状検索システムにおいて、前記立体的特徴は、前記3次元形状の曲率を含む。
【0075】
本実施の形態の類似形状検索システムにおいて、前記立体的特徴は、前記3次元形状の最大曲率、最小曲率及び平均曲率の少なくとも1つを含む。
【0076】
本実施の形態の類似形状検索システムは、前記3次元形状のうち検索範囲の指定を受け付ける受付部を備え、前記特徴画像生成部は、前記検索範囲に対応する特徴画像を生成する。
【0077】
本実施の形態の類似形状検索システムは、前記検索部で検索した類似形状の類似度を算出する算出部と、前記算出部で算出した類似度を出力する類似度出力部とを備える。
【0078】
本実施の形態の類似形状検索システムは、前記検索部で検索した類似形状のうち前記3次元形状と類似する箇所を異なる表示態様で表示するための表示データを出力する表示データ出力部を備える。
【0079】
本実施の形態の情報処理装置は、3次元形状を特定するデータを取得する取得部と、前記取得部で取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成する特徴画像生成部と、前記特徴画像生成部で生成した特徴画像をサーバへ送信する送信部と、前記3次元形状の全部又は一部と類似する類似形状を前記サーバから受信する受信部とを備える。
【0080】
本実施の形態のサーバは、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像と前記3次元形状とを関連付けた関連情報を記憶する記憶部と、3次元形状に対応する特徴画像を取得する取得部と、前記取得部で取得した特徴画像に基づいて、前記特徴画像に対応する3次元形状の全部又は一部と類似する類似形状を検索する検索部とを備える。
【0081】
本実施の形態のコンピュータプログラムは、コンピュータに、3次元形状を特定するデータを取得し、取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成し、生成した特徴画像をサーバへ出力し、前記3次元形状の全部又は一部と類似する類似形状を前記サーバから取得する、処理を実行させる。
【0082】
本実施の形態のコンピュータプログラムは、コンピュータに、3次元形状に対応する特徴画像を取得し、3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像と前記3次元形状とを関連付けた関連情報を用いて、取得した特徴画像に対応する前記3次元形状の全部又は一部と類似する類似形状を検索する、処理を実行させる。
【0083】
本実施の形態の類似形状検索方法は、3次元形状を特定するデータを取得し、取得したデータに基づいて、前記3次元形状上の位置での立体的特徴を表す画素値を有する特徴画像を生成し、生成した特徴画像に基づいて、前記3次元形状の全部又は一部と類似する類似形状を検索する。
【符号の説明】
【0084】
1 通信ネットワーク
10 情報処理装置
11 制御部
12 通信部
13 記憶部
14 表示部
15 操作部
16 画像処理部
17 分割部
18 2次元画像生成部
19 特徴画像生成部
50 サーバ
51 制御部
52 通信部
53 記憶部
54 検索部
55 特徴量抽出部
56 類似度算出部
57 3次元形状DB