特許 7566311 ３次元対象物を外観検査するシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-04

(45)【発行日】2024-10-15

(54)【発明の名称】３次元対象物を外観検査するシステム及び方法

(51)【国際特許分類】

   G01B 11/30 20060101AFI20241007BHJP

【ＦＩ】

G01B11/30 102G

【請求項の数】 9

(21)【出願番号】P 2020194056

(22)【出願日】2020-11-24

(65)【公開番号】P2022082895

(43)【公開日】2022-06-03

【審査請求日】2023-09-04

(73)【特許権者】

【識別番号】597103528

【氏名又は名称】株式会社ダイワメカニック

(74)【代理人】

【識別番号】110000855

【氏名又は名称】弁理士法人浅村特許事務所

(72)【発明者】

【氏名】岩橋 政宏

(72)【発明者】

【氏名】原川 良介

(72)【発明者】

【氏名】磯部 忠明

(72)【発明者】

【氏名】細川 哲夫

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開平０６－２２１８１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｎ ２１／８４－２１／６５８

(57)【特許請求の範囲】

【請求項1】

３次元対象物を外観検査する方法であって、
（ａ）前記３次元対象物に対して所定の範囲の波長の電磁波を照射するステップと、
（ｂ）前記３次元対象物によって反射された電磁波をスクリーンに投影するステップと、
（ｃ）前記スクリーンに投影された投影像を撮影するステップと
を含み、
（ｄ）前記投影像から前記３次元対象物に関連する関心領域を抽出し、前記関心領域を所定の数の画素に分割するステップと、
（ｅ）前記投影像を前記所定の数の画素の各々が有する特性に応じて二値画像に変換し、横方向に沿って縦方向にある前記二値画像の一方の値を有する画素の数を順次カウントして横方向のヒストグラムを形成し、縦方向に沿って横方向にある前記二値画像の一方の値を有する画素の数を順次カウントして縦方向のヒストグラムを形成し、前記横方向のヒストグラム及び前記縦方向のヒストグラムの形状から、少なくとも４つの統計的データである前記投影像の形状特徴量を計算するステップと、
（ｆ）前記少なくとも４つの統計的データに基づいて、前記３次元対象物の表面の状態を判定するステップと
を更に含む方法。

【請求項2】

前記ステップ（ａ）は、研磨された前記３次元対象物に対して電磁波を照射するステップを含み、前記ステップ（ｆ）は、前記３次元対象物の表面の研磨状態を判定するステップを含む、請求項１に記載の方法。

【請求項3】

前記研磨状態が所定の条件を満たさない場合には、前記ステップ（ａ）の前に前記３次元対象物を研磨した研磨装置によって前記３次元対象物を再度研磨させて前記ステップ（ａ）～（ｆ）を繰り返す、請求項２に記載の方法。

【請求項4】

前記ステップ（ｆ）の前に、入力層、隠れ層、及び出力層の３層から構成されているニューラルネットワークモデルを構築し、既存の少なくとも４つの統計的データの値及びそれらに対応する判定の値を前記入力層及び前記出力層に入力して訓練済みニューラルネットワークモデルを構築し、前記ステップ（ｆ）は、前記訓練済みニューラルネットワークモデルの入力層に前記ステップ（ｅ）において計算された前記少なくとも４つの統計的データの値を入力して前記３次元対象物の表面の状態を判定するステップを含む、請求項１～３の何れか一項に記載の方法。

【請求項5】

請求項１～４の何れか一項に記載の方法を実行させるためのコンピュータプログラム。

【請求項6】

３次元対象物を外観検査するシステムであって、
前記３次元対象物に対して所定の範囲の波長の電磁波を照射する光源と、
前記３次元対象物によって反射された電磁波を投影するスクリーンと、
前記スクリーンに投影された投影像を撮影するカメラと
を備え、
前記システムは、前記投影像に関連するデータを受信する処理装置を更に備え、前記処理装置は、前記投影像から前記３次元対象物に関連する関心領域を抽出し、前記関心領域を所定の数の画素に分割し、前記投影像を前記所定の数の画素の各々が有する特性に応じて二値画像に変換し、横方向に沿って縦方向にある前記二値画像の一方の値を有する画素の数を順次カウントして横方向のヒストグラムを形成し、縦方向に沿って横方向にある前記二値画像の一方の値を有する画素の数を順次カウントして縦方向のヒストグラムを形成し、前記横方向のヒストグラム及び前記縦方向のヒストグラムの形状から、少なくとも４つの統計的データである前記投影像の形状特徴量を計算し、前記少なくとも４つの統計的データに基づいて、前記３次元対象物の表面の状態を判定する、システム。

【請求項7】

前記光源は、研磨された前記３次元対象物に対して電磁波を照射し、前記処理装置は、前記３次元対象物の表面の研磨状態を判定する、請求項６に記載のシステム。

【請求項8】

前記処理装置が前記研磨状態が所定の条件を満たしていないと判定した場合には、前記処理装置は、前記３次元対象物を研磨した研磨装置に前記３次元対象物を再度研磨させるようにする、請求項７に記載のシステム。

【請求項9】

前記処理装置は、入力層、隠れ層、及び出力層の３層から構成されているニューラルネットワークモデルを構築し、既存の少なくとも４つの統計的データの値及びそれらに対応する判定の値を前記入力層及び前記出力層に入力して訓練済みニューラルネットワークモデルを構築し、前記処理装置は、前記訓練済みニューラルネットワークモデルの入力層に計算された前記少なくとも４つの統計的データの値を入力して前記３次元対象物の表面の状態を判定する、請求項６～８の何れか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動的に３次元対象物の外観を検査して、３次元対象物を分類するシステム及び方法に関するものである。

【背景技術】

【0002】

洋食器、器物、等の製造工程は、フォークを例にすると、トリムプレス（外形抜き）、平面研磨、刃抜き・曲げプレス（成形）、端面研磨（コバ擦り・刃擦り）、洗浄の順番で行われる。最終仕上げである端面研磨工程は、ほぼ職人の手作業に依存するが、職人の高齢化及び後継者不足のために年々に人手が不足しており、その結果、大量受注に対応できず、失注する場合もあるので、早急に自動化が求められている。また、仕上がりの評価は、職人によってフォークに光を当てた際の光沢の状態を基に目視で判断されており、上記のような研磨作業を含めて熟練を要する作業であり、更には技能差による個人間のばらつきが品質低下の要因となる場合もある。従って、仕上がりの評価を自動的に行うことは、人手不足解消、品質維持、等から重要である。

【0003】

非特許文献１には、レーザービームを試料に対して照射し、試料によって反射されたレーザービームをカメラによって直接撮影し、撮影された試料に対応する干渉縞の画像を分析する方法が開示され、画像におけるコントラストと二乗平均表面粗さとの間の関係から表面粗さを測定する。

【0004】

非特許文献２には、レーザービームを試料に対して照射し、試料によって反射されたレーザービームをスクリーンに投影し、スクリーンに投影された試料に対応する干渉縞をカメラによって撮影し、撮影された干渉縞の画像を分析する方法が開示され、画像から関心領域を抽出し、干渉縞の画素値のばらつき度合いである分散と二乗平均表面粗さとの間の関係から表面粗さを測定する。

【先行技術文献】

【非特許文献】

【0005】

【文献】D. Xu, Q. Yang, F. Dong, and S. Krishnaswamy, “Evaluation of surface roughness of a machined metal surface based on laser speckle pattern,”The Journal of Engineering, vol. 2018, no. 9, pp. 773-778, 2018.

【文献】X. Zhao and Z. Gao, “Surface roughness measurement using spatial average analysis of objective speckle pattern in specular direction,” Optics and Lasers in Engineering, vol. 47, no. 11, pp. 1307-316, 2009.

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１による反射されたレーザービームを直接撮影する方法は、フォーク等の金属製品にレーザービームを照射すると、金属光沢によって輝度が変化し、また解像度が低いために、試料の表面の状態を精確に判定することができないという問題点がある。

【0007】

カメラによって画像を撮影する際、画像にはカメラのダイナミックレンジの限界を超えていわゆる白飛びが発生する場合がある。非特許文献２のよるスクリーンに投影された干渉縞を撮影する方法は、撮影された画像には白飛びが発生する場合があり、特にレーザービームを試料に照射することによる露光時間を長くするほど白飛びの影響を受けて、その撮影された干渉縞の画素値の分散を計算しても、試料を精確に分類することができないという問題点がある。

【0008】

従って、本発明の目的は、上記問題点を解決して、自動的に３次元対象物の外観を検査して、３次元対象物を分類するシステム及び方法を提供することである。

【課題を解決するための手段】

【0009】

本発明の１つの観点によれば、３次元対象物を外観検査する方法が、３次元対象物に対して所定の範囲の波長の電磁波を照射するステップ（ａ）と、３次元対象物によって反射された電磁波をスクリーンに投影するステップ（ｂ）と、スクリーンに投影された投影像を撮影するステップ（ｃ）とを含み、投影像から３次元対象物に関連する関心領域を抽出し、関心領域を所定の数の画素に分割するステップ（ｄ）と、所定の数の画素に関連する少なくとも４つの統計的データを計算するステップ（ｅ）と、少なくとも４つの統計的データに基づいて、３次元対象物の表面の状態を判定するステップ（ｆ）とを更に含む。

【0010】

本発明の一具体例によれば、この方法において、ステップ（ａ）が、研磨された３次元対象物に対して電磁波を照射するステップを含み、ステップ（ｆ）が、３次元対象物の表面の研磨状態を判定するステップを含む。

【0011】

本発明の一具体例によれば、この方法が、研磨状態が所定の条件を満たさない場合には、ステップ（ａ）の前に３次元対象物を研磨した研磨装置によって３次元対象物を再度研磨させてステップ（ａ）～（ｆ）を繰り返す。

【0012】

本発明の一具体例によれば、この方法において、ステップ（ｅ）が、投影像を所定の数の画素の各々が有する特性に応じて二値画像に変換して、二値画像に基づいて少なくとも４つの統計的データを計算するステップを含む。

【0013】

本発明の一具体例によれば、この方法において、ステップ（ｅ）が、横方向に沿って縦方向にある二値画像の一方の値を有する画素の数を順次カウントして横方向のヒストグラムを形成し、縦方向に沿って横方向にある二値画像の一方の値を有する画素の数を順次カウントして縦方向のヒストグラムを形成し、横方向のヒストグラム及び縦方向のヒストグラムの形状に基づいて少なくとも４つの統計的データを計算するステップを含む。

【0014】

本発明の一具体例によれば、この方法において、ステップ（ｅ）が、横方向のヒストグラム及び縦方向のヒストグラムの形状から少なくとも４つの統計的データである投影像の形状特徴量を計算するステップを含む。

【0015】

本発明の一具体例によれば、この方法において、ステップ（ｆ）の前に、入力層、隠れ層、及び出力層の３層から構成されているニューラルネットワークモデルを構築し、既存の少なくとも４つの統計的データの値及びそれらに対応する判定の値を入力層及び出力層に入力して訓練済みニューラルネットワークモデルを構築し、ステップ（ｆ）が、訓練済みニューラルネットワークモデルの入力層にステップ（ｅ）において計算された少なくとも４つの統計的データの値を入力して３次元対象物の表面の状態を判定するステップを含む。

【0016】

本発明の一具体例によれば、この方法が、コンピュータプログラムによって実行される。

【0017】

本発明の別の観点によれば、３次元対象物を外観検査するシステムが、３次元対象物に対して所定の範囲の波長の電磁波を照射する光源と、３次元対象物によって反射された電磁波を投影するスクリーンと、スクリーンに投影された投影像を撮影するカメラとを備え、システムが、投影像に関連するデータを受信する処理装置を更に備え、処理装置が、投影像から３次元対象物に関連する関心領域を抽出し、関心領域を所定の数の画素に分割し、所定の数の画素に関連する少なくとも４つの統計的データを計算し、少なくとも４つの統計的データに基づいて、３次元対象物の表面の状態を判定する。

【0018】

本発明の一具体例によれば、このシステムにおいて、光源が、研磨された３次元対象物に対して電磁波を照射し、処理装置が、３次元対象物の表面の研磨状態を判定する。

【0019】

本発明の一具体例によれば、このシステムにおいて、処理装置が研磨状態が所定の条件を満たしていないと判定した場合には、処理装置が、３次元対象物を研磨した研磨装置に３次元対象物を再度研磨させるようにする。

【0020】

本発明の一具体例によれば、このシステムにおいて、処理装置が、投影像を所定の数の画素の各々が有する特性に応じて二値画像に変換して、二値画像に基づいて少なくとも４つの統計的データを計算する。

【0021】

本発明の一具体例によれば、このシステムにおいて、処理装置が、横方向に沿って縦方向にある二値画像の一方の値を有する画素の数を順次カウントして横方向のヒストグラムを形成し、縦方向に沿って横方向にある二値画像の一方の値を有する画素の数を順次カウントして縦方向のヒストグラムを形成し、横方向のヒストグラム及び縦方向のヒストグラムの形状に基づいて少なくとも４つの統計的データを計算する。

【0022】

本発明の一具体例によれば、このシステムにおいて、処理装置が、横方向のヒストグラム及び縦方向のヒストグラムの形状から少なくとも４つの統計的データである投影像の形状特徴量を計算する。

【0023】

本発明の一具体例によれば、このシステムにおいて、処理装置が、入力層、隠れ層、及び出力層の３層から構成されているニューラルネットワークモデルを構築し、既存の少なくとも４つの統計的データの値及びそれらに対応する判定の値を入力層及び出力層に入力して訓練済みニューラルネットワークモデルを構築し、処理装置が、訓練済みニューラルネットワークモデルの入力層に計算された少なくとも４つの統計的データの値を入力して３次元対象物の表面の状態を判定する。

【発明の効果】

【0024】

本発明によれば、人間の眼で３次元対象物の外観を確認することなく、自動的に３次元対象物の外観を検査して３次元対象物を分類することができる。

【0025】

なお、本発明の他の目的、特徴及び利点は、添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施形態としての、３次元対象物を外観検査するシステムの概略図である。

【図2】図１の３次元対象物への電磁波の入射及び反射を示す拡大図である。

【図3】図１のシステムが使用される研磨工程の概略図である。

【図4】本発明の一実施形態としての、３次元対象物を外観検査する方法のフローチャートである。

【図5】図４の方法で使用されるヒストグラムの概略図である。

【図6】図４の方法で使用されるニューラルネットワークの概略図である。

【発明を実施するための形態】

【0027】

以下、本発明の実施例について図面を参照して説明するが、本発明はこれらの実施例に限定されるものではない。

【0028】

図１及び図２を参照して、３次元対象物１０７を外観検査するシステム１０１について説明する。システム１０１は、３次元対象物１０７に対して所定の範囲の波長の電磁波１０３を照射する光源１０２と、３次元対象物１０７によって反射された電磁波１０３を投影するスクリーン１０４と、スクリーン１０４に投影された投影像を撮影するカメラ１０５とを備える。光源１０２から３次元対象物に対して照射される電磁波１０３は、３次元対象物１０７の表面の凹凸状態（粗さ）を検査するために適する波長であることが好ましく、細かい凹凸状態を検査するためには波長が短い電磁波１０３を照射することが好ましい。例えば、電磁波１０３は可視光であってもよく、細かい凹凸状態まで検査するためには赤色の光より青色の光が照射されてもよい。光源１０２は、検査される３次元対象物１０７の表面の凹凸状態に応じて、照射する電磁波１０３の波長を調整することができる。また、光源１０２から３次元対象物１０７に対して照射される電磁波１０３は、コヒーレント性が高いコリメート・レーザービームであることが好ましい。電磁波１０３は、θの角度で３次元対象物１０７に対して入射して、３次元対象物１０７においてθの角度で反射した後、スクリーン１０４を露光する。カメラ１０５は、露光されたスクリーン１０４を撮影する。スクリーン１０４には、３次元対象物１０７の表面の状態に対応する投影像である干渉縞が投影され、カメラ１０５によって、投影された干渉縞が撮影される。

【0029】

３次元対象物としては、例えば、スプーン、フォーク、ナイフ、等のカトラリー、ピンセット、メス、トング、ペンチ、ニッパのような食卓用製品、医療用製品、台所用製品、作業用製品、等であってもよく、鋳造製品、鍛造製品、溶接製品、等であってもよい。光源１０２は、プレス機によって打抜き加工された後に研磨されたカトラリー等の３次元対象物１０７、鋳造加工後にバリ取りされたプラスチック成形品等の３次元対象物１０７、鍛造加工後にバリ取りされた作業工具類、自動車部品、等の３次元対象物１０７、溶接加工後にビード取りされた３次元対象物に対して電磁波１０３を照射してもよい。カメラ１０５は、このような３次元対象物１０７によって反射された電磁波１０３に露光されたスクリーン１０４を撮影してもよい。３次元対象物１０７がスプーン、フォーク、ナイフ、等のカトラリーである場合には、コバと呼ばれるカトラリーの縁部が研磨され、図２に示すように、カトラリーのコバを外観検査するために、コバに対して電磁波１０３が照射される。光源１０２は、例えば、コバの基準平面１０８の法線方向から４５°の入射角θで電磁波１０３を照射してもよいが、入射角θはこれに限定されない。

【0030】

システム１０１は、スクリーン１０４に投影された投影像に関連するデータをカメラ１０５から受信する処理装置１０６を更に備える。処理装置１０６は、スクリーン１０４に投影された投影像から３次元対象物１０７に関連する関心領域を抽出し、関心領域を所定の数の画素に分割する。処理装置１０６は、例えば、関心領域を横方向及び縦方向に沿って碁盤目状に分割して各目が各画素になるように所定の数の画素を構成してもよい。そして、処理装置１０６は、各画素の特性を抽出し、抽出された各画素の特性に関連する少なくとも４つの統計的データを計算し、少なくとも４つの統計的データに基づいて、３次元対象物１０７の表面の状態を判定する。処理装置１０６は、３次元対象物１０７の表面が所定の条件を満たすか否かに基づいて３次元対象物１０７を分類する。処理装置１０６は、例えば、撮影された干渉縞から３次元対象物１０７の表面の凹凸状態が所定の粗さ未満であるか否かを判定し、所定の粗さ未満である３次元対象物１０７を分類してもよい。

【0031】

光源１０２は、研磨されたカトラリー等の３次元対象物１０７に対して所定の範囲の波長の電磁波１０３を照射し、処理装置１０６は、各画素の特性に関連する少なくとも４つの統計的データに基づいて、打抜き加工されたカトラリー等の３次元対象物１０７の表面の研磨状態、鋳造加工されたプラスチック成形品等の３次元対象物１０７の表面のバリ取り状態、鍛造加工された作業工具類、自動車部品、等の３次元対象物１０７の表面のバリ取り状態、溶接加工された３次元対象物１０７の表面のビード取り状態、等を判定することができる。処理装置１０６は、例えば、研磨、バリ取り、ビード取り、等が行われた３次元対象物１０７の表面が所定の凹凸状態（粗さ）未満であるか否かを判定してもよい。そして、処理装置１０６は、３次元対象物１０７の表面が所定の凹凸状態を満たしていないと判定した場合には、処理装置１０６は、３次元対象物１０７の表面に対して研磨、バリ取り、ビード取り、等を行った装置に再度３次元対象物１０７に対して研磨、バリ取り、ビード取り、等を行わせるようにしてもよい。

【0032】

図３に、システム１０１を使用することによる、３次元対象物１０７としてのスプーン、フォーク、ナイフ、等のカトラリーのコバの研磨工程の一例としての概略図を示す。プレス機によって打抜き加工された研磨前の生地状態の３次元対象物１０７の表面は、コバスリ工程の呼ばれる第１の研磨工程において粗粒の砥石で研磨された後、第１の工程中検査においてシステム１０１を使用して外観検査される。第１の工程中検査においてシステム１０１によって３次元対象物１０７の表面が所定の条件を満たさないと判定された場合には、３次元対象物１０７の表面は、再度第１の研磨工程において研磨され、第１の工程中検査において外観検査される。システム１０１によって３次元対象物１０７の表面が所定の条件を満たすと判定された場合には、第１の研磨工程後のコバスリ状態の３次元対象物１０７の表面は、コバミガキ工程の呼ばれる第２の研磨工程において微粒の砥石で研磨された後、第２の工程中検査においてシステム１０１を使用して外観検査される。第２の工程中検査においてシステム１０１によって３次元対象物１０７の表面が所定の条件を満たさないと判定された場合には、３次元対象物１０７の表面は、再度第２の研磨工程において研磨され、第２の工程中検査において外観検査される。システム１０１によって３次元対象物１０７の表面が所定の条件を満たすと判定された場合には、３次元対象物は、コバミガキ状態として研磨工程を終了する。

【0033】

図４に、３次元対象物１０７を外観検査する方法の一例としてのフローチャートを示す。この方法は、例えば、図３の第１の工程中検査及び／又は第２の工程中検査で使用されることができる。３次元対象物１０７は、ＳＴＥＰ１０１においてその表面が研磨された後、ＳＴＥＰ１０２において３次元対象物１０７に対して所定の範囲の波長の電磁波を照射する。なお、ＳＴＥＰ１０１においては、３次元対象物１０７に対して、バリ取り、ビード取り、等が行われてもよい。ＳＴＥＰ１０３において、３次元対象物１０７によって反射された電磁波１０３がスクリーン１０４に投影される。ＳＴＥＰ１０４において、スクリーン１０４に投影された投影像がカメラ１０５によって撮影される。図５の左側の列に、カメラ１０５によって撮影された３次元対象物１０７であるカトラリーのコバの投影像（最上の図が、図３における研磨前の生地状態のコバの投影像、中央の図が、図３における第１の研磨工程後のコバスリ状態のコバの投影像、最下の図が、図３における第２の研磨工程後のコバミガキ状態のコバの投影像）を示す。なお、この場合、光源１０２から赤色のレーザービームがカトラリーのコバに対して照射されている。

【0034】

ＳＴＥＰ１０５において、スクリーン１０４に投影された投影像に関連するデータを受信した処理装置１０６によって、投影像から３次元対象物１０７に関連する関心領域が抽出され、関心領域が所定の数の画素に分割される。関心領域は、横方向であるＸ軸方向に沿って一定の間隔でＷ個に区切り、且つ縦方向であるＹ軸方向に沿って一定の間隔でＨ個に区切るようにして碁盤目状に分割されて、碁盤目状の各目が各画素を構成してもよい。このように、関心領域は、Ｘ軸方向に沿ってＷ個の画素及びＹ軸方向に沿ってＨ個の画素を有するようにＷ×Ｈ個の画素に分割される。

【0035】

ＳＴＥＰ１０５において、処理装置１０６によって、スクリーン１０４に投影された投影像が、各画素が有する特性に応じて変換されてもよい。例えば、投影像が、各画素の明るさ度合い（明度）に応じて変換されてもよい。また、スクリーン１０４に投影された投影像が、各画素が有する特性が所定の値以上であるか所定の値未満であるかを判定して、二値画像に変換されてもよい。例えば、投影像が、各画素が有する明度が所定の値以上であるか所定の値未満であるかを判定して、二値画像に変換されてもよい。光源１０２から赤色のレーザービームが３次元対象物１０７に対して照射される場合には、ＲＧＢ成分のうちの赤色の成分の明度を抽出してもよい。図５の中央の列に、図５の左側の列のカトラリーのコバの投影像が明度に応じて変換された二値画像（最上の図が、図３における研磨前の生地状態のコバの二値画像、中央の図が、図３における第１の研磨工程後のコバスリ状態のコバの二値画像、最下の図が、図３における第２の研磨工程後のコバミガキ状態のコバの二値画像）を示す。

【0036】

ＳＴＥＰ１０６において、処理装置１０６によって、投影像から分割された所定の数の画素に関連する統計的データが計算される。上記のように関心領域がＷ×Ｈ個の画素に分割された場合、各画素（座標として（ｘ，ｙ）で表す（１≦ｘ≦Ｗ、１≦ｙ≦Ｈ））は特定の特性を有する。各画素の特定の特性が所定の値以上である場合にはその画素は１の値を有し、各画素の特定の特性が所定の値未満である場合にはその画素は０の値を有するように、投影像が二値画像に変換されてもよい。ＳＴＥＰ１０６において、処理装置１０６によって、二値画像に基づいて統計的データが計算されてもよい。処理装置１０６は、横方向である任意のＸ軸の座標ｘにおいて、その縦方向にある座標１≦ｙ≦Ｈの画素の二値画像のうちの一方の値を有する画素の数をカウントするように、横方向であるＸ軸に沿って座標１≦ｘ≦Ｗについてそれぞれ画素の数を順次カウントして、以下の式の横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}を作成する。

【数1】

横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}はベクトルで表され、Ｉ_{ｂｉｎａｒｙ}（ｘ，ｙ）は、座標（ｘ，ｙ）の二値画像の値を示す。ベクトルの各要素の値は、座標ｘにおける座標ｙの１からＨまでの画素の二値画像のうちの一方の値（例えば、０及び１のうちの１）を有する画素の合計数である。同様に、処理装置１０６は、縦方向であるＹ軸の座標ｙにおいて、その横方向にある座標１≦ｘ≦Ｗの画素の二値画素のうちの一方の値を有する画素の数をカウントするように、縦方向であるＹ軸に沿って座標１≦ｙ≦Ｈについてそれぞれ画素の数を順次カウントして、以下の式の縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}を作成する。

【数2】

縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}はベクトルで表される。ベクトルの各要素の値は、座標ｙにおける座標ｘの１からＷまでの画素の二値画像のうちの一方の値（例えば、０及び１のうちの１）を有する画素の合計数である。図５の右側の列に、図５の中央の列のカトラリーのコバの二値画像から得られた横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}及び縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}（最上の図が、図３における研磨前の生地状態のコバの各ヒストグラム、中央の図が、図３における第１の研磨工程後のコバスリ状態のコバの各ヒストグラム、最下の図が、図３における第２の研磨工程後のコバミガキ状態のコバの各ヒストグラム）を示す。ＳＴＥＰ１０６において、処理装置１０６によって、横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}及び縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}の形状に基づいて統計的データが計算されてもよい。横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}及び縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}は、投影像を分割することによって得られた画素の数であるＨ×Ｗ個に依存するので、横方向のヒストグラムｈ_{ｈｏｒｉｚｏｎｔａｌ}及び縦方向のヒストグラムｈ_{ｖｅｒｔｉｃａｌ}をそれぞれ正規化することによって、座標ｘ及び座標ｙにおける干渉縞の出現確率を表す規格化された横方向のヒストグラムｐ_{ｈｏｒｉｚｏｎｔａｌ}及び規格化された縦方向のヒストグラムｐ_{ｖｅｒｔｉｃａｌ}のベクトルをそれぞれ計算してもよい。そして、規格化された横方向のヒストグラムｐ_{ｈｏｒｉｚｏｎｔａｌ}及び規格化された縦方向のヒストグラムｐ_{ｖｅｒｔｉｃａｌ}の形状に基づいて統計的データが計算されてもよい。

【0037】

３次元対象物１０７に電磁波１０３を照射すると、図２に示すように、３次元対象物１０７の表面において鏡面反射が起こり、その鏡面反射によってスクリーン１０４に投影された投影像をカメラ１０５によって撮影すると、撮影された投影像には、カメラ１０５のダイナミックレンジの限界を超えていわゆる白飛びが発生する場合があり、カメラ１０５が、３次元対象物１０７の表面の状態に対応する干渉縞を撮影することができない場合がある。特に、３次元対象物１０７に電磁波１０３を照射することによる露光時間を長くするほど、白飛びの影響を受けて３次元対象物１０７の表面の状態に対応する干渉縞を撮影することができなくなる。白飛びの影響を抑制するために、ＳＴＥＰ１０６において、規格化された横方向のヒストグラムｐ_{ｈｏｒｉｚｏｎｔａｌ}及び規格化された縦方向のヒストグラムｐ_{ｖｅｒｔｉｃａｌ}の形状から統計的データである投影像の形状特徴量が計算されてもよい。

【0038】

形状特徴量として、例えば、以下のＦ１～Ｆ１２がある。Ｆ１は、縦方向に沿った二値画像の重心（１次のモーメント）である。

【数3】

Ｆ２は、縦方向に沿った二値画像の重心の周りの広がり度合い（２次のモーメント）である。

【数4】

Ｆ３は、縦方向に沿った二値画像の広がり度合い（２次のモーメント）である。

【数5】

Ｆ４は、縦方向に沿った二値画像の重心の周りの偏り度合い（３次のモーメント）である。

【数6】

Ｆ５は、縦方向に沿った二値画像の重心の周りの集中度合い（４次のモーメント）である。

【数7】

Ｆ６は、縦方向に沿った二値画像の集中度合いである。

【数8】

Ｆ７は、横方向に沿った二値画像の重心（１次のモーメント）である。

【数9】

Ｆ８は、横方向に沿った二値画像の重心の周りの広がり度合い（２次のモーメント）である。

【数10】

Ｆ９は、横方向に沿った二値画像の広がり度合い（２次のモーメント）である。

【数11】

Ｆ１０は、横方向に沿った二値画像の重心の周りの偏り度合い（３次のモーメント）である。

【数12】

Ｆ１１は、横方向に沿った二値画像の重心の周りの集中度合い（４次のモーメント）である。

【数13】

Ｆ１２は、横方向に沿った二値画像の集中度合いである。

【数14】

なお、規格化された横方向のヒストグラムｐ_{ｈｏｒｉｚｏｎｔａｌ}及び規格化された縦方向のヒストグラムｐ_{ｖｅｒｔｉｃａｌ}の形状から計算される形状特徴量は、Ｆ１～Ｆ１２に限定されず、例えば５次以上のモーメントを含んでもよい。

【0039】

ＳＴＥＰ１０７において、少なくとも４つの統計的データに基づいて、３次元対象物１０７の表面の状態が判定される。上記のように計算されたＦ１～Ｆ１２の統計的データである形状特徴量から少なくとも４つを選択して、その選択された４つの形状特徴量に基づいて３次元対象物１０７の表面の状態が判定されてもよい。３次元対象物１０７の表面、電磁波１０３の波長、等に応じて、３次元対象物１０７の表面の状態を判定するために適切な形状特徴量が選択される。また、Ｆ１～Ｆ１２以外の形状特徴量が選択されてもよい。このような形状特徴量に基づいて判定することによって、３次元対象物１０７に電磁波１０３を照射することによる白飛びの影響及び露光時間の影響を抑制することができ、３次元対象物１０７の自動的な分類を可能にする。

【0040】

ＳＴＥＰ１０７において、ニューラルネットワークモデルが使用されてもよい。一般的なニューラルネットモデルは、複数の隠れ層を有し、大量の訓練データを使用して訓練することによって構築されるが、このような３次元対象物１０７の表面の状態を判定するための訓練データは一般的に少ない。従って、ＳＴＥＰ１０７において、隠れ層ができるだけ少ないニューラルネットワークモデルが使用されてもよい。例えば、図６に示すように、入力層、隠れ層、及び出力層の３層を有するニューラルネットワークモデルであるエクストリーム・ラーニング・マシン（Ｅｘｔｒｅｍｅ Ｌｅａｒｎｉｎｇ Ｍａｃｈｉｎｅ：ＥＬＭ）モデルが構成されてもよい。入力層には少なくとも４つの統計的データが入力され、出力層から３次元対象物１０７の表面の状態の判定結果が出力される。例えば、ＥＬＭモデルは、入力層のニューロンの数Ｄを４つ以上に設定し、統計的データとしてＦ１～Ｆ１２のうちの４つ以上の形状特徴量を選択して、各ニューロンに対応する形状特徴量を入力するように構成されてもよい。隠れ層は、以下の式によって計算される。

【数15】

ａ_ｊはＤ次元の重み付けパラメータベクトルであり、ｂ_ｊはバイアスパラメータであり、ｆ_ｎはＤ次元の形状特徴量ベクトル、すなわち、入力層に入力される統計的データである。なお、ｊは１～Ｌの整数であり、Ｌは隠れ層のニューロンの数であって、構築されるＥＬＭモデルによって変動する任意のパラメータである。ｎは１～Ｎの整数であり、準備される訓練データの数であって、任意のパラメータである。ｇは活性化関数である。活性化関数として、ステップ関数、シグモイド関数、ＲｅＬＵ関数、等が選択されてもよい。

【0041】

このように構成されたＥＬＭモデルを使用して、ＳＴＥＰ１０７の前に、訓練データ、すなわち、既存の少なくとも４つの統計的データの値及びそれらに対応する判定の値をそれぞれ入力層及び出力層に入力して訓練済みニューラルネットワームモデルを構築する。Ｎ個の訓練済みデータを準備して、各要素が訓練データ（ｆ_１～ｆ_Ｎ）による隠れ層の各ニューロンの上記式から得られる計算値を表す、以下の行列式が得られる。

【数16】

訓練データ（ｆ_１～ｆ_Ｎ）による出力層は、以下の式によって計算される。

【数17】

βは、Ｌ次元の重み付けパラメータベクトルである。ｔは、訓練データ（ｆ_１～ｆ_Ｎ）によるＮ次元の出力ベクトルであり、ベクトルの各要素は、訓練データである各３次元対象物１０７の表面が所定の条件を満たすか否かを示す出力層の判定結果であり、例えば、所定の条件を満たす場合には１、所定の条件を満たさない場合には０であってもよい。上記式から、ムーア・ペンローズ逆行列を使用して、βは以下の式によって計算される。

【数18】

Ｈ（Ｆ）^＋がＨ（Ｆ）のムーア・ペンローズ逆行列である。このようにして、訓練済みＥＬＭモデルが構築される。

【0042】

ＳＴＥＰ１０７において、構築された訓練済みニューラルネットワークモデルの入力層に、ＳＴＥＰ１０６において計算された少なくとも４つの統計的データの値を入力して３次元対象物１０７の表面の状態が判定される。例えば、訓練済みＥＬＭモデルの入力層に、統計的データとしてのＦ１～Ｆ１２のうちの４つ以上の形状特徴量を対応する入力層のニューロンに入力すると、訓練済みＥＬＭモデルの出力層から１又は０の出力され、３次元対象物１０７の表面の凹凸状態が判定される。そして、ＳＴＥＰ１０８において、１が出力される場合には３次元対象物１０７の表面の凹凸状態が所定の粗さ未満であると判定されて研磨、バリ取り、ビード取り、等の工程を終了させ、０が出力される場合には３次元対象物１０７の表面の凹凸状態が所定の粗さ以上であると判定されて研磨、バリ取り、ビード取り、等の工程を再度行わせるように、３次元対象物１０７が分類されてもよい。このようにＥＬＭモデルを使用することによって、訓練データの数が充分でなくても３次元対象物１０７の表面の状態を判定することができる。

【0043】

上記記載は特定の実施例についてなされたが、本発明はそれに限らず、本発明の原理と添付の特許請求の範囲の範囲内で種々の変更及び修正をすることができることは当業者に明らかである。

【符号の説明】

【0044】

１０１ システム
１０２ 光源
１０３ 電磁波
１０４ スクリーン
１０５ カメラ
１０６ 処理装置
１０７ ３次元対象物
１０８ 基準平面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】