特許 6973742 金属加工面の検査方法、金属加工面の検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6973742

(24)【登録日】2021年11月8日

(45)【発行日】2021年12月1日

(54)【発明の名称】金属加工面の検査方法、金属加工面の検査装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20211118BHJP

   G01N 21/892 20060101ALI20211118BHJP

【ＦＩ】

   G01N21/88 Z

   G01N21/892 Z

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2017-117379(P2017-117379)

(22)【出願日】2017年6月15日

(65)【公開番号】特開2019-2788(P2019-2788A)

(43)【公開日】2019年1月10日

【審査請求日】2020年4月23日

(73)【特許権者】

【識別番号】393011038

【氏名又は名称】リョーエイ株式会社

(74)【代理人】

【識別番号】110001977

【氏名又は名称】特許業務法人なじま特許事務所

(72)【発明者】

【氏名】西川 昌司

(72)【発明者】

【氏名】伊藤 孝

(72)【発明者】

【氏名】伊藤 祐作

【審査官】 吉田 将志

(56)【参考文献】

【文献】 特開２０１５−１３５２５３（ＪＰ，Ａ）

【文献】 特開２０１１−１９１２５２（ＪＰ，Ａ）

【文献】 特開２０１３−０２４６６８（ＪＰ，Ａ）

【文献】 特開２０１６−１４２６０１（ＪＰ，Ａ）

【文献】 特開２０１７−０６７６３３（ＪＰ，Ａ）

【文献】 特開２０１６−０７０７３２（ＪＰ，Ａ）

【文献】 特開２０００−１６３５８２（ＪＰ，Ａ）

【文献】 特開２００４−０２８８２６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０１４８２２６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

(57)【特許請求の範囲】

【請求項1】

第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだ一枚のセット画像を、検査対象となる金属加工面に対して取得し、
参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、
検査対象となる金属加工面に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面が欠陥を含んでいるか否かを判定する金属加工面の検査方法。

【請求項2】

検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から照明を照射することにより得られた画像と、先の方向とは異なる方向から照明を照射することにより得られた画像を含む請求項１に記載の金属加工面の検査方法。

【請求項3】

特定の方向から照射される照明のカラーと、先の方向とは異なる方向から照射される照明のカラーが各々異なる請求項２に記載の金属加工面の検査方法。

【請求項4】

検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られた請求項３に記載の金属加工面の検査方法。

【請求項5】

検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から検査対象を撮影するカメラで取得した画像と、先の方向とは異なる方向から検査対象を撮影するカメラで取得した画像を含む請求項１に記載の金属加工面の検査方法。

【請求項6】

第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだ一枚のセット画像として生成し、検査対象となる金属加工面について取得されたものから得られる情報を、他の情報から事前に学習を行った分類器を用いて分類する演算部と、
演算部により導き出される結果により、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する判定部と、を備え、
前記演算部は、参照対象となる欠陥を有する多数の参照金属加工面に対して取得されたセット画像から得られた情報と、欠陥を有しない多数の参照金属加工面に対して取得されたセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、
検査対象となる金属加工面に対して取得されたセット画像から得られる情報を分類する金属加工面の検査装置。

【請求項7】

特定の方向から照射する第一の照明と、先の方向とは異なる方向から照射する第二の照明と、を備え、
検査対象となる金属加工面に対して取得されたセット画像には、第一の照明を照射することにより得られた画像と、第二の照明を照射することにより得られた画像を含む請求項６に記載の金属加工面の検査装置。

【請求項8】

第一の照明のカラーと、第二の照明のカラーが各々異なる請求項７に記載の金属加工面の検査装置。

【請求項9】

検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られた請求項８に記載の金属加工面の検査装置。

【請求項10】

特定の方向から検査対象を撮影する第一のカメラと、先の方向とは異なる方向から検査対象を撮影する第二のカメラを備え、
検査対象となる金属加工面に対して取得されたセット画像には、第一のカメラで取得した画像と、第二のカメラで取得した画像を含む請求項６に記載の金属加工面の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、金属加工面の検査方法、金属加工面の検査装置に関するものである。

【背景技術】

【0002】

ダイカストやアルミ鋳造などで造られた粗形材の内部には、アルミ溶湯を固める際に生じる空洞（以下鋳巣と呼ぶ）が生じている。これら鋳巣が発生する原因は空気の巻き込みや離型材が高温に晒されることで発生するガス、アルミが凝固する時のヒケなどである。粗形材は、その後の工程で、その一部が機械加工によって切削されて最終製品となるが、機械加工の切削面にこれらの鋳巣が現われることや、切削時に欠けが生じることがある。加工面上に現れた鋳巣や欠けは、他の部品と組み上げた最終アッセンブリーの状態とした際に、油やエア、冷却水のリークを発生させる要因となる。つまり、加工面上に現れた鋳巣や欠けは、最終アッセンブリーにおける不良品の原因となってしまう。

【0003】

このため機械加工を行った後、加工面の検査が行われている。図１７に示すように、一般的な加工面検査は作業員の目視によるものである。自動化が難しい大きな理由は、機械加工時に発生する切削痕やクーラント液、切子、切削油などの誤認要素が加工面上に残っているためである。切削痕は品質上問題ないものであり、またクーラント液や切子、切削油は後に拭取ることができる。つまり、図１８に示すような鋳巣や欠けを備えていれば製品の不良と判定すべきであるが、切削痕や切子、クーラント液が付着しているだけでは製品の不良と判定すべきではない。したがって、検査の際には、これらの誤認要素と欠陥である鋳巣や欠け（これらをまとめて違和点と呼ぶ）から、欠陥のみを分類する必要がある。

【0004】

一般的に、誤認要素は上に凸であり、欠陥である鋳巣や欠けは下に凹であるという特徴があるものの、真上からの画像では、両者の違いは非常に小さく識別することが難しい。そのため、これらを生産ラインのコンベア上で限られた時間内で見分けるためには、熟練した技能を持った作業員が必要であった。

【0005】

また、生産ライン上での何時間もの連続した確認作業は、集中力を要する重労働であるため、機械化による検査が望まれている。しかし、画像撮影や画像処理技術が進んで来た現在でも、この違いを瞬時に、しかも製品の加工面全体を広範囲に判定できる自動化は困難である。なお、自動化を行った事例もあるが、NG品を後工程に流さないようにするために安全サイドに閾値を下げた設定で行われているため、本来、問題が無い製品であっても、誤認要素の存在により、不良製品として判定されてしまうような、いわゆるうそつき判定が多く発生している。

【0006】

ところで、特許文献１に記載されているようなスリットレーザーを使用した三次元測定機を用いれば、凹凸を精度よく測定できるため、加工面の鋳巣や欠陥を検出することは可能である。しかし0.5mmレベルの微小な鋳巣や欠陥を見つけるためには高い分解能が必要であり、スリットレーザーの幅が限られる。そのため加工面全体を検査するためには、狭い範囲の測定を何往復も繰り返さねばならず、長い検査時間が必要なため、生産工程上のネックとなる。なお、図１９に示すことから理解されるように、カメラ１０２とスリットレーザー１０３を備えた三次元測定器を使った場合、三次元データを測定した後、三次元データの処理をし、更に欠陥検出の計算を行った後、製品が不良であるか否かを判定する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１４−２３５０６６号公報

【0008】

このように、従来の技術では、金属加工面の欠陥の有無を迅速的確に判別するのは困難であった。

【発明の概要】

【発明が解決しようとする課題】

【0009】

本件の発明者は、この点について鋭意検討することにより、解決を試みた。本発明の課題は、金属加工面の欠陥の有無を迅速的確に判定できるようにすることである。

【課題を解決するための手段】

【0010】

上記課題を解決するため、第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだセット画像を、検査対象となる金属加工面に対して取得し、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、検査対象となる金属加工面に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面が欠陥を含んでいるか否かを判定する金属加工面の検査方法とする。

【0011】

また、検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から照明を照射することにより得られた画像と、先の方向とは異なる方向から照明を照射することにより得られた画像を含むものとする。

【0012】

また、特定の方向から照射される照明のカラーと、先の方向とは異なる方向から照射される照明のカラーが各々異なるものとすることが好ましい。

【0013】

また、検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られたものとする。

【0014】

また、検査対象となる金属加工面に対して取得されたセット画像には、特定の方向から検査対象を撮影するカメラで取得した画像と、先の方向とは異なる方向から検査対象を撮影する第二のカメラで取得した画像を含むものとする。

【0015】

また、第一の画像と、第一の画像とは照明の照射方向若しくはカメラの位置が異なるように撮影された第二の画像と、を含んだセット画像として、検査対象となる金属加工面について取得されたものから得られる情報を、他の情報から事前に学習を行った分類器を用いて分類する演算部と、演算部により導き出される結果により、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する判定部と、を備え、前記演算部は、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、を含む情報群から深層学習を用いて欠陥の特徴を学習した分類器を用いて、当該特徴情報に基づいて、検査対象となる金属加工面に対して取得されたセット画像を分類する金属加工面の検査装置とする。

【0016】

また、この検査装置は、特定の方向から照射する第一の照明と、先の方向とは異なる方向から照射する第二の照明と、を備え、検査対象となる金属加工面に対して取得されたセット画像には、第一の照明を照射することにより得られた画像と、第二の照明を照射することにより得られた画像を含むものとする。

【0017】

また、この検査装置は、第一照明のカラーと、第二の照明のカラーが各々異なるものとすることが好ましい。

【0018】

また、検査対象となる金属加工面に対して取得されたセット画像は、複数の画像を歪み、倍率などを補正した上で、位置を合わせて重ねるもしくは並列に並べることで得られたものとする。

【0019】

また、この検査装置は、特定の方向から検査対象を撮影する第一のカメラと、先の方向とは異なる方向から検査対象を撮影する第二のカメラを備え、検査対象となる金属加工面に対して取得されたセット画像には、第一のカメラで取得した画像と、第二のカメラで取得した画像を含むものとする。

【発明の効果】

【0020】

本発明では、金属加工面の欠陥の有無を迅速的確に判定できるようにすることが可能となる。

【図面の簡単な説明】

【0021】

【図1】検査対象の金属加工面に対して、複数の照明により複数方向から照射できることを表した斜視図である。

【図2】図１とは異なる例における、検査対象の金属加工面に対して、複数の照明により複数方向から照射できることを表した斜視図である。

【図3】違和点を側方から表した図である。

【図4】違和点に対する照射を真上、正面、真横と変えた場合に現れる撮影結果の例を表した図である。

【図5】検査対象の金属加工面に対して、複数のカメラにより複数方向から撮影できることを表した斜視図である。

【図6】金属加工面を撮影する状態、及び、使用する照明を切り替えたことによる撮影結果の違いを表した図である。

【図7】違和点の切り出しと、セット画像の作成を表した図である。

【図8】違和点の解析による判定例を表す図である。

【図9】白色照明を用いた欠陥に対する照射を真上、正面、真横と変えることを表した図である。

【図10】図９の照射方向の変化により得られる撮影結果の例を表した図である。

【図11】欠陥に対する照射を、互いに異なるカラー照明により、真上、正面、真横と変えることを表した図である。

【図12】図１１の照射方向の変化により得られる撮影結果の例を表した図である。

【図13】切り出し画像をセット画像にする例を表す図である。

【図14】欠陥に対する撮影を、真上、正面、真横に位置したカメラにより行うことを表した図である。

【図15】図１４の撮影方向の変化により得られる撮影結果の例を表した図である。

【図16】違和点に対する照射を真上からした場合の撮影結果の例を表した図である。

【図17】作業者が欠陥の有無を目視している状態を表す図である。

【図18】金属加工面に現れる違和点の例を表す写真である。

【図19】三次元測定器により金属加工面の分析を行う場合の例を表した図である。

【発明を実施するための形態】

【0022】

以下に発明を実施するための形態を示す。本実施形態の金属加工面９の検査方法では、第一の画像と、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第二の画像と、を含んだセット画像を、検査対象となる金属加工面９に対して取得する。そして、「欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報から深層学習を用いて欠陥の特徴を学習した分類器」を用いて、「検査対象となる金属加工面９に対して取得されたセット画像」を基に、検査対象となる金属加工面に欠陥を含んでいるか否かを判定する。このため、金属加工面９の欠陥の有無を精度よく判定できるようにすることが可能となる。なお、セット画像は、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第三の画像を含んだり、更に第四の画像を含んだりするなど、三つ以上の画像を含んだものとしてよいことは当然のことである。

【0023】

また、本実施形態の金属加工面９の検査装置は、「第一の画像と、第一の画像とは照明３の照射方向若しくはカメラ２の位置が異なるように撮影された第二の画像と、を含んだセット画像として、検査対象となる金属加工面について取得されたものから得られる情報」と、「他の情報」から事前に学習を行った分類器を用いて分類する演算部を備えている。また、この演算部により導き出される結果により、検査対象となる金属加工面９に欠陥を含んでいるか否かを判定する判定部を備えている。演算部は、参照対象となる欠陥を有する複数の参照金属加工面に対して取得された多数のセット画像から得られた情報と、欠陥を有しない複数の参照金属加工面に対して取得された多数のセット画像から得られた情報とを含む情報群から深層学習を用いて分類器に欠陥の特徴を学習させる。また、この欠陥の特徴を学習した分類器を用いて検査対象となる金属加工面９に対して取得されたセット画像から得られる情報に基づいて、検査対象となる金属加工面９に欠陥が含まれているかを分類する。このため、金属加工面９の欠陥の有無を精度よく判定できるようにすることが可能となる。

【0024】

ここで、実施形態について詳しく説明する。この実施形態では、ダイカストや鋳造の粗形材の表面を加工した際に生じる鋳巣や欠陥を、画像を用いて検出する。また、ディープラーニング（深層学習）による学習を用いて、これらの鋳巣や欠陥の検出を行う。なお、ディープラーニングによる機械学習を用いると、選定対象の有無などの情報を付しておけば、選定対象の特徴を人が定義せずとも、人工知能が学習データから当該特徴を抽出し、特定の結果を得ることができる。

【0025】

実施形態では、検査対象の金属加工面９が欠陥を含む若しくは欠陥を含まないという判定を行うため、学習要素となるデータベース内の情報は欠陥を有する参照金属加工面、欠陥を含まない参照金属加工面の両方が必要となる。なお、データベースに保管される、これらのセット画像には、欠陥を含むか含まないかなどの情報が付される。

【0026】

ディープラーニングで学習させる画像はOKとNGそれぞれが持つ特徴が際立っていれば、学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。しかし、加工面の鋳巣や欠陥は、汚れやクーラント液、切削痕などとよく似ており、単に真上から撮影した画像だけでは、ONとNGの間の特徴差が非常に小さく、人間でも識別が難しい。そのため、高精度での欠陥検出には学習に膨大な枚数の画像が必要であり、非常に困難である。

【0027】

そこで、画像を取得する際に違和点の特徴が際立つような以下の手法を用いて画像を取得する。図１や図２に示すように、第一の手法は複数の照明３を用いた撮影である。このようにするのは、特定の方向から照明３を照射することにより得られた画像に対して現れる影と、先の方向とは異なる方向から照明３を照射することにより得られた画像に対して現れる影の違いが、違和点の特徴を際立たせる場合があるからである。このことを可能とするため、実施形態では、特定の方向から照射する第一の照明３と、先の方向とは異なる方向から照射する第二、第三・・・の照明３と、を備えた検査装置としている。また、検査対象となる金属加工面９に対して取得されたセット画像には、第一の照明３を照射することにより得られた画像と、第二、第三・・・の照明３を照射することにより得られた画像を含むものとしている。なお、先の方向とは異なる方向から照明３を照射することにより得られた画像を複数含むものとすれば、特徴部分を際立たせ易くなる場合がある。

【0028】

このようなことを行うには、例えば、加工面の面直方向に設置されるカメラ２に対して同軸の照明３、およびそれと異なった２方向以上からの別の照明３をそれぞれ照射することで加工面の同じ部位の影の様子の異なった複数枚の画像を撮影すれば良い。これによって得られたセット画像を用いてディープラーニングによる学習及び判定を行うことができる。

【0029】

この手法をより詳しく説明する。先ず、検査されるワークの加工面に対して、面直方向にカメラ２を設置し、それに対して複数の照明３を設置する。1台目の照明３はカメラ２に対して同軸になるようなリング状、板状の照明３もしくは、非常に近い位置におかれた照明３である。2台目以降の照明３はカメラ２の軸線に対して30度〜75度程度の位置に、面のX方向およびY方向、または、その両方に設置する。使用する照明３は2台でも3台以上でも構わないが、画像の色情報のチャンネルの数に等しい合計3台とすることが望ましく、各照明３は白色照明、または照明３ごとに異なった赤緑青3色のカラー照明を用いる。

【0030】

従来の撮影手法では、主に一台のカメラとそれに同軸の照明一台で行われているため、違和点を一方向から画像で判断することになる。これでは違和点の凹凸の違いの差異が出にくく、図３に示すような違和点を撮影すると、図１６に示すように、凹である鋳巣などの欠陥と、凸である切子やクーラント液、切削油などを判別しづらくなっている。

【0031】

ディープラーニングによる画像分類では、学習に多くの画像を必要とするが、このような分類したい画像間で差異が無い場合、特徴量を学習させるためには膨大な画像が必要となり、自動検査装置に利用することは難しい。

【0032】

一方、図３に示すような違和点について、第一の手法を用いて、真上、正面、真横と互いに異なる方向から照明３を照射し、第一の画像、第二の画像及び第三の画像を取得すると、図４に示すような結果を得ることができるようになる。つまり、違和点の物質の違いや凹凸度合いの違いが大きく現われた複数の画像を得ることができる。

【0033】

たとえば、加工面に対して凸の方向にあるクーラント液や切子、切削油では、材質によって、影の形状や表面の反射度合い、透明度が異なっている。そのため、照明３の角度の違いによってその特性が大きく現われた、異なった画像が得られる。

【0034】

一方で加工面に対して凹の方向にある鋳巣や欠けなどの欠陥は、凸の方向にある場合とは異なった、影の形状や表面の反射度合いを持っている。そのため、照明３の角度の違いで、その特性が大きく現れ、異なった画像が得られる。

【0035】

また、加工面上で凹凸がほとんど無い切削痕は、照明３の角度の違いでは影などに差がほとんど表れず、どの照明３でも同じような模様の画像が得られる。このため、鋳巣や欠陥といった欠陥と、それ以外の汚れなどとの差異を際立たせることができる。したがって、ディープラーニングでの学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。

【0036】

第二の手法は、複数のカメラ２を用いた撮影である。例えば、図５に示すように、加工面の面直方向に設置されるカメラ２と照明３に対して、それと異なった２方向以上から別のカメラ２を用いることで、加工面の同じ部位の角度の異なった複数枚の画像を撮影する。これらの画像を補正し、角度や向き、大きさをそろえたセット画像を用いてディープラーニングによる学習及び判定を行う。このような手法でも、鋳巣や欠陥といった欠陥と、それ以外の汚れなどとの差異を際立たせることができるため、ディープラーニングでの学習が容易になり、少ない画像枚数でより高精度に欠陥の検出が可能となる。

【0037】

この手法をより詳しく説明する。先ず、検査されるワークの加工面に対して、面直方向にカメラ２を一台設置する。また、カメラ２に対して同軸になるようなリング状か板状の照明３を設置するか、カメラ２に対して非常に近い位置に照明３を設置する。二台目以降のカメラ２は、一台目のカメラ２の軸線に対して30度〜75度程度の位置に、面のX方向およびY方向、または、その両方に設置する。使用するカメラ２は2台でも3台以上でも構わないが、画像の色情報のチャンネルの数に等しい合計3台とすることが望ましい。

【0038】

第一の手法と第二に手法のいずれにおいても、撮影で用いるカメラ２の種類はエリアカメラやラインカメラなどを用いることが可能である。なお、照明３は各カメラ２に対応した種類のものを用いる。

【0039】

ここで、画像処理プロセスについて説明する。図６に示すように、先ず、加工面を撮影する（STEP1）。その後、図７に示すように、得られた複数の画像から違和点を切り出してセット画像を作成する（STEP2）。そして、図８に示すように、それをディープラーニングの学習や判定に用いる（STEP3）。画像処理プロセスは概略このような流れである。次に各ステップについて説明する。

【0040】

先ず、ステップ１の加工面の撮影を、複数の照明３を用いて行った場合について説明する。図９は3台の白色光照明を用いた場合の照明３の照射方向と位置関係を示す。ワークを設置した後、まず、真上の照明３のみを照射し加工面を撮影する。次に、正面の照明３のみを照射し、加工面を撮影する。最後に横の照明３のみを照射し、加工面を撮影する。これによって3枚の加工面の画像を取得する。なお、撮影の順番はこれに限る必要は無い。

【0041】

このように撮影した3枚の画像を図１０に示す。照明３の位置の違いによって、同一の違和点で影の向きなどが画像ごとに異なった画像を得ることができる。

【0042】

特定の方向から照射される照明３のカラーと、先の方向とは異なる方向から照射される照明３のカラーが各々異なるように構成することもできる。このようにすれば、カラーの差に基づいて識別することも可能となる。このようなことを可能とするためには第一の照明のカラーと、第二の照明のカラーが各々異なるものとすればよい。例えば、3台のカラー照明を用いた場合の照明３の照射方向と位置関係を図１１に示す。この図では、赤緑青の3色のカラー照明をそれぞれ、真上、正面、横に配置している。ワークを設置した後、すべての照明３を照射し加工面を撮影し、1枚の加工面の画像を取得する。

【0043】

それぞれ色の異なる3台のカラー照明を用い、3台の照明３を同時に照射し撮影した1枚の画像を図１２に示す。これを色ごとにRGBの3つチャンネルに分解することで、照明３の色の違いによって、チャンネルごとに影の向きなどが異なった3枚の画像を得ることができる。これらの3枚の画像は、同じカメラ２で撮影しているため、位置関係や拡大率、傾きなどは同じである。

【0044】

ステップ２では、これらの画像から、鋳巣や欠けなどの欠陥、及び切削痕やクーラント液、切子、切削油などの誤認要素をまとめて違和点として発見し、発見した違和点の切り出しを行う。ここでは3枚の画像それぞれに違和点の切り出しを行い、どれか1枚の画像で発見された違和点は3枚すべて同じ位置を切り出すことで、3枚セットの違和点切り出し画像を生成する。なお、違和点の発見、切り出しの手法についての説明は省略する。

【0045】

その後、図１３に示すように、取得した3枚の切り出し画像から、以下の2通りの手法のどちらかを選択すれば、セット画像を生成することができる。図１３の左下側に表したのは、一つ目の手法であり、３枚の切り出し画像をそれぞれRGBのチャンネルに割り当て、一枚の画像とする方法である。このようにすれば、演算部などを用いて、複数の画像の各々の位置情報をあわせて重ねることでセット画像とすることが可能となる。また、図１３の右下側に表したのは、二つ目の手法であり、複数の切り出し画像を各々が重ならないように並べて、一枚のセット画像とする方法である。ここでは、３枚の切り出し画像を各々が重ならないように一列に並べて、一枚のセット画像としている。

【0046】

ステップ３では、生成したセット画像でディープラーニングによる学習や分類を行う。使用する違和点のセット画像は、違和点を真上から撮影した画像のみよりも、鋳巣や欠陥と誤認要素との差異が際立っている。このため、ディープラーニングでそれらを分類するための学習に必要な画像の枚数が少なくなり、学習が容易になる。

【0047】

次に、ステップ１の加工面の撮影を、複数のカメラ２を用いて行った場合について説明する。このようにするのは、特定の方向から検査対象を撮影するカメラ２で取得した画像と、先の方向とは異なる方向から検査対象を撮影するカメラ２で取得した画像の違いが、違和点の特徴を際立たせる場合があるからである。このようなことを可能とするため、特定の方向から検査対象を撮影する第一のカメラ２と、先の方向とは異なる方向から検査対象を撮影する第二、第三・・・のカメラ２を備えた検査装置としている。また、検査対象となる金属加工面９に対して取得されたセット画像には、第一のカメラ２で取得した画像と、第二、第三・・・のカメラ２で取得した画像を含むものとしている。なお、先の方向とは異なる方向から検査対象を撮影するカメラ２で取得した画像を複数含むものとすれば、特徴部分を際立たせ易くなる場合がある。

【0048】

図１４は3台のカメラ２を用いた場合のカメラ２の撮影方向と設置位置の関係を示す。ワークを設置した後、真上の照明３を照射し、真上に設置された第一のカメラ２と正面に設置された第二のカメラ２と横に設置された第三のカメラ２の計3台で同時に加工面を撮影する。これによって3枚の加工面の画像を取得する。

【0049】

図１５では、異なる位置に設置された3台のカメラ２を用い、同時に撮影された3枚の画像を示す。カメラ２の位置、角度の違いによって、同一の違和点で影の向きや拡大率、傾きが異なった画像を得ることができる。次に、これらの画像を画像補正によって拡大率、傾きなどを補正して、真上から撮影した画像と同じ位置関係、拡大率、傾きの画像とする。これは公知のキャリブレーションの手法、たとえばマーカードットなどを用いる方法によって行う。これによって、同じ位置関係、拡大率、傾きであるが、撮影方向の違いによって影などの向きが異なった3枚の画像を得ることができる。ステップ２以降については、先に説明したものと同様であるため、説明を省略する。

【0050】

以上、いくつかの実施形態を中心として説明してきたが、本発明は上記実施形態に限定されることはなく、各種の態様とすることが可能である。例えば、実施形態では、固定式の照明やカメラを用いたが、照明やカメラを可動式としても良い。

【0051】

また、カメラは固定し、検査対象となる金属加工面を動かして、異なる画像を取得するようにしても良い。

【0052】

また、データベースに保管される画像に付される情報は、判定結果と直結するように、単に「欠陥がある」や「欠陥が無い」としても良いが、欠陥の有無の判断要素になる鋳巣があるか否かの情報を付したり、クーラント液があるか否かなどの情報を付したりすることも可能である。

【0053】

また、セット画像は、二枚以上の画像を用いて作られるものであればよい。つまり、セット画像を作る際に基にする画像は、二枚でも、三枚でも、四枚以上でも良い。

【符号の説明】

【0054】

２ カメラ
３ 照明
９ 金属加工面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】