特許第6834126号(P6834126)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧
特許6834126情報処理装置、欠陥検出方法およびプログラム
<>
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000003
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000004
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000005
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000006
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000007
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000008
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000009
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000010
  • 特許6834126-情報処理装置、欠陥検出方法およびプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6834126
(24)【登録日】2021年2月8日
(45)【発行日】2021年2月24日
(54)【発明の名称】情報処理装置、欠陥検出方法およびプログラム
(51)【国際特許分類】
   G01N 21/88 20060101AFI20210215BHJP
   G06T 1/00 20060101ALI20210215BHJP
   G06T 7/00 20170101ALI20210215BHJP
【FI】
   G01N21/88 J
   G06T1/00 300
   G06T7/00 350A
【請求項の数】10
【全頁数】11
(21)【出願番号】特願2015-231096(P2015-231096)
(22)【出願日】2015年11月26日
(65)【公開番号】特開2017-96853(P2017-96853A)
(43)【公開日】2017年6月1日
【審査請求日】2018年10月9日
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】笠原 亮介
【審査官】 村田 顕一郎
(56)【参考文献】
【文献】 特開2013−246162(JP,A)
【文献】 特開2014−173882(JP,A)
【文献】 特開2013−167596(JP,A)
【文献】 特開平11−338848(JP,A)
【文献】 特開2010−008159(JP,A)
【文献】 特開2008−071790(JP,A)
【文献】 特開2010−079398(JP,A)
【文献】 特開2007−233871(JP,A)
【文献】 特開2008−269258(JP,A)
【文献】 特開2007−042111(JP,A)
【文献】 特開2000−292365(JP,A)
【文献】 米国特許第06535776(US,B1)
【文献】 天野敏之,k-meansクラスタリングと固有空間外れ値検出器を用いた欠陥検出,電子情報通信学会技術研究報告,2007年10月25日,Vol. 107, No. 281,P. 111-116
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84−21/958
G06T 1/00
G06T 7/00
JSTPlus(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
物体の外観上の欠陥を検出する情報処理装置であって、
前記物体が撮像された検出対象の画像から切り出された物体の1または複数の部分画像の各画素を、教師なし学習を用いて複数のクラスタのうちいずれかのクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素の輝度値を元に前記物体に対応する画素が含まれるクラスタを抽出し、抽出した該クラスタに分類された画素で構成される領域をシード領域として用いたクラスタリングにより、前記物体が撮像された検出対象の画像から該物体の部品形状を抽出する分類部と、
抽出された前記部品形状と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する欠陥検出部と、
を備えた情報処理装置。
【請求項2】
前記検出対象の画像から、前記物体の一または複数の部品画像を切り出す部品画像生成部を、さらに備え、
前記分類部は、前記検出対象の画像から切り出された前記物体の一または複数の部品画像の中央部分の画素の輝度値のヒストグラムである輝度ヒストグラムに基づいて、前記教師なし学習の前記クラスタリングのアルゴリズムとしてのk−meansアルゴリズムを用いて、前記輝度ヒストグラムに含まれる各画素を2つのクラスタのいずれかに分類することにより、前記一または複数の部品画像のそれぞれを構成する各画素を、前記2つのクラスタのいずれかに分類する、
請求項1に記載の情報処理装置。
【請求項3】
前記分類部は、前記2つのクラスタのうち、本来の部品の輝度値との差が所定値以内の輝度値の画素のクラスタを抽出し、抽出した該クラスタに分類された画素で構成される領域を前記シード領域とする、
請求項2に記載の情報処理装置。
【請求項4】
前記分類部は、前記シード領域に基づいて、前記クラスタリングのアルゴリズムとしてのChan−Veseアルゴリズムにより、前記部品画像から前記部品形状を抽出する、
請求項3に記載の情報処理装置。
【請求項5】
前記欠陥検出部は、抽出された前記部品形状と、前記部品に対応して予め定められた、正常な形状のテンプレート画像とを比較し、差分が所定の閾値以上である場合に、前記部品画像が欠陥ありと識別する、
請求項4に記載の情報処理装置。
【請求項6】
前記欠陥検出部は、欠陥ありと識別した場合に、前記部品画像のうち、前記テンプレート画像と差分がある領域を、欠陥領域と判定する、
請求項5に記載の情報処理装置。
【請求項7】
前記部品画像生成部は、前記検出対象の画像から、前記テンプレート画像とのマッチングにより、前記物体の一または複数の部品画像を切り出す、
請求項5または6に記載の情報処理装置。
【請求項8】
前記部品画像生成部は、前記テンプレート画像とのマッチングの際、前記部品の一部が表示画面外にある場合には、前記表示画面外の部分について、前記テンプレート画像で補完して、前記マッチングを行う、
請求項7に記載の情報処理装置。
【請求項9】
物体の外観上の欠陥を検出する欠陥検出方法であって、
前記物体が撮像された検出対象の画像から切り出された物体の1または複数の部分画像の各画素を、教師なし学習を用いて複数のクラスタのうちいずれかのクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素の輝度値に基づく値を元に前記物体に対応する画素が含まれるクラスタを抽出し、抽出した該クラスタに分類された画素で構成される領域をシード領域として用いたクラスタリングにより、前記物体が撮像された検出対象の画像から該物体の部品形状を抽出し、
抽出された前記部品形状と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する、
ことを含む欠陥検出方法。
【請求項10】
物体の外観上の欠陥を検出するコンピュータに実行させるためのプログラムであって、
前記物体が撮像された検出対象の画像から切り出された物体の1または複数の部分画像の各画素を、教師なし学習を用いて複数のクラスタのうちいずれかのクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素の輝度値を元に前記物体に対応する画素が含まれるクラスタを抽出し、抽出した該クラスタに分類された画素で構成される領域をシード領域として用いたクラスタリングにより、前記物体が撮像された検出対象の画像から該物体の部品形状を抽出し、
抽出された前記部品形状と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する、
ことを前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、欠陥検出方法およびプログラムに関する。
【背景技術】
【0002】
近年、FA(Factory Automation)での用途等を中心に、画像を用いた欠陥検出技術が一般的に使用されている。このような欠陥検出技術においては、事前知識として使用できるサンプル画像数が少ない場合や、照度変化などの外乱がある場合でも、高精度に欠陥検出を行うこと、また未知の欠陥モードへの対応が大きな課題となっている。ここで、外乱に強く、未知の欠陥モードへの対応が可能な欠陥検出アルゴリズムとして、正常画像のみを機械学習により学習させることにより、そこから外れた画像を検出する半教師あり異常検知を用いた技術が従来から知られている。
【0003】
また、例えば、特許文献1に示すように、検査対象物の画像情報に対して2値化処理を行い、欠陥候補の領域情報を取得し、その領域の特徴より欠陥かどうかを識別することで、欠陥検出を行う技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の技術では、正常サンプルの数は外乱も含めて一定数以上の数が必要となり、例えば正常サンプルが数枚しか準備出来ない場合に、外乱がある状況では良好な性能で欠陥検出を行うことが困難であるという問題がある。
【0005】
また、特許文献1の技術では、単純な二値化を用いているため、照明状態の変化などにより、誤検出が発生する可能性がある。また、特許文献1の技術でも、外乱に弱く、外乱がある条件下では良好な性能で欠陥検出を行うことが困難である。
【0006】
本発明は、上記に鑑みてなされたものであって、サンプル画像数が少ない場合や、外乱にがある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができる情報処理装置、欠陥検出方法およびプログラムを提供することを主な目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、物体の外観上の欠陥を検出する情報処理装置であって、前記物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から前記物体の本来の画素に基づく値を元に前記物体が含まれるクラスタを抽出し、前記クラスタの領域をシード領域として設定したクラスタリングにより、前記物体が撮像された検出対象の画像から正常部分を抽出する分類部と、抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、前記検出対象の画像から欠陥を検出する欠陥検出部と、を備えた。
【発明の効果】
【0008】
本発明によれば、サンプル画像数が少ない場合や、外乱がある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができるという効果を奏する。
【図面の簡単な説明】
【0009】
図1図1は、本実施形態に係る情報処理システムの一例の構成図である。
図2図2は、本実施形態に係る情報処理装置の一例のハードウェア構成図である。
図3図3は、本実施形態に係る情報処理装置の一例の機能ブロック図である。
図4図4は、本実施形態に係る欠陥検出処理の手順の一例を示すフローチャートである。
図5図5は、本実施形態において入力される画像の一例を示す図である。
図6図6は、本実施形態におけるシード領域の画像の一例を示す図である。
図7図7は、本実施形態において部品形状として抽出された画像の一例を示す図である。
図8図8は、本実施形態におけるテンプレート画像の一例を示す図である。
図9図9は、本実施形態における検出結果の例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0011】
<システム構成>
まず、第1の実施形態に係る情報処理システム1のシステム構成について説明する。図1は、第1の実施形態に係る情報処理システムの一例の構成図である。
【0012】
図1に示すように情報処理システム1は、情報処理装置10と、撮像装置30とを有する。また、情報処理装置10及び撮像装置30は、例えばUSB(Universal Serial Bus)ケーブル等を介して通信可能に接続されている。なお、情報処理装置10及び撮像装置30は、LAN(Local Area Network)等を介して通信可能に接続されていてもよい。
【0013】
情報処理装置10は、例えばPC(パーソナルコンピュータ)等である。情報処理装置10には、欠陥検出プログラム20がインストールされている。情報処理装置10は、欠陥検出プログラム20を用いることで、撮像装置30で撮像することにより入力された画像データにおける被写体の外観上の欠陥を検出することができる。本実施形態では、撮像装置30により撮像される被写体としては例えば工場で量産される製品等を想定し、外観上に欠陥がある場合とは、製品等の外観上(表面上)に傷等がある場合を言うものとする。
【0014】
ここで、欠陥検出プログラム20は、教師なし学習を用いた異常検知により画像データの被写体の外観上の欠陥を検出するものとする。ここで、教師なし学習とは、機械学習の一つであり、入力データのみで教師データが必要ない機械学習である。
【0015】
なお、情報処理装置10は、PCに限られず、スマートフォン、タブレット端末等の携帯端末装置であってもよい。
【0016】
撮像装置30は、被写体を撮像して画像データを生成するカメラ等である。撮像装置30により生成された画像データは、例えばUSBケーブル等を介して情報処理装置10に入力される。撮像装置30は、情報処理装置10に内蔵されていてもよい。
【0017】
<ハードウェア構成>
次に、第1の実施形態に係る情報処理装置10のハードウェア構成について説明する。図2は、第1の実施形態に係る情報処理装置の一例のハードウェア構成図である。図2に示すように情報処理装置10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14とを備えている。また、情報処理装置10は、入力装置15と、表示装置16と、外部I/F17と、通信I/F18とを備えている。これらの各部はバスBで接続されている。
【0018】
CPU11は、ROM14やHDD12等の記憶装置からプログラムやデータをRAM13上に読み出し、処理を実行することで、情報処理装置10全体の制御や機能を実現する演算装置である。
【0019】
HDD12は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、情報処理装置10全体を制御する基本ソフトウェアであるOS(Operating System)、OS上において各種機能を提供するアプリケーションソフトウェア(例えば、欠陥検出プログラム20)等がある。HDD12は格納しているプログラムやデータを所定のファイルシステム及び/又はDB(データベース)により管理している。なお、情報処理装置10は、HDD12の代わりに又はHDD12と併せて、SSD(Solid State Drive)等を備えていてもよい。
【0020】
RAM13は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。ROM14は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。
【0021】
入力装置15は、ユーザが各種操作信号を入力するのに用いられる装置である。入力装置15は、例えば、各種操作ボタン、タッチパネル、キーボード、マウス等である。表示装置16は、情報処理装置10による処理結果を表示する装置である。表示装置16は、例えば、ディスプレイ等である。
【0022】
外部I/F17は、外部装置とのインタフェースである。外部装置には、例えば、USB(Universal Serial Bus)メモリ、SDカード、CD、DVD等がある。通信I/F18は、撮像装置30とデータ通信を行うためのインタフェースである。
【0023】
本実施形態に係る情報処理装置10は、上記ハードウェア構成を有することにより、後述する各種処理を実現することができる。
【0024】
<機能構成>
次に、第1の実施形態に係る情報処理装置10の機能構成について説明する。図3は、第1の実施形態に係る情報処理装置の一例の機能ブロック図である。図3に示すように、情報処理装置10は、部品画像生成部101と、分類部102と、欠陥検出部104と、テンプレート画像110とを主に備えている。部品画像生成部101、分類部102、欠陥検出部104は、例えばCPU11が欠陥検出プログラム20を実行させることにより実現される。
【0025】
テンプレート画像110は、物体を構成する部品ごとに存在、各部品に対応して予め定められた、正常な形状を示す画像(テンプレート)である。テンプレート画像110は、HDD12に保存されている。
【0026】
部品画像生成部101は、撮像装置30で撮像された物体の画像を、テンプレート画像とのテンプレートマッチングを行って、撮像された画像から、物体の一または複数の部品画像を切り出して生成する。ここで、部品画像生成部101は、テンプレート画像110とのマッチングの際、部品の一部が表示画面外にある場合には、表示画面外の部分について、テンプレート画像を挿入(補完)して、マッチングを行う。これより、画面外に部品の一部が切れている場合でも、欠陥検出部104で欠陥と判定されないようにしている。
【0027】
分類部102は、物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から物体の本来の画素に基づく値を元に物体が含まれるクラスタを抽出し、クラスタの領域をシード領域として設定したクラスタリングにより、物体が撮像された検出対象の画像から正常部分を抽出する。具体的には、分類部102は、検出対象の画像としての物体の一または複数の部品画像の中央部分の輝度ヒストグラムを、教師なし学習のクラスタリングアルゴリズムとしてのk−meansアルゴリズムを用いて、2つのクラスタに分類し、一または複数の部品画像のそれぞれを構成する各画素をクラスタに分類する。ここで、分類部102は、クラスタに分類された画素のうち、本来の部品の輝度値に近似する画素のクラスタをシード領域として設定する。ここで、本来の部品の輝度値に近似する画素としては、本来の部品の輝度値との差が所定値以内の輝度値の画素とする。また、分類部102は、設定されたシード領域に基づいて、クラスタリングアルゴリズムとしてのChan−Veseアルゴリズムにより、部品画像から部品形状を抽出する。ここで、Chan−Veseアルゴリズムの詳細については、非特許文献「T. F. Chan and L. A. Vese, ”Active contours without edges,” IEEE Transactions on Image Processing, 10(2), 266-277 (2001).」に記載されている。
【0028】
欠陥検出部104は、分類部102で抽出された正常部分と、所定の正常なテンプレート画像とに基づいて、検出対象の画像から欠陥を検出する。具体的には、欠陥検出部104は、分類部102で抽出された部品形状と、部品に対応して予め定められた、正常な形状のテンプレート画像とを比較し、差分が所定の閾値以上である場合に、部品画像が欠陥ありと識別する。
【0029】
また、欠陥検出部104は、欠陥ありと識別した場合に、部品画像のうち、テンプレート画像と差分がある領域を、欠陥領域と判定する。
【0030】
<処理の詳細>
次に、本実施形態に係る情報処理装置10による欠陥検出処理について説明する。図4は、本実施形態の欠陥検出処理の手順の一例を示すフローチャートである。
【0031】
まず、部品画像生成部101は、検査対象の画像である、撮像装置30で撮像された物体の画像を入力し、当該画像から、部品ごとのテンプレート画像110とのマッチング(テンプレートマッチング)を行って、物体を構成する部品の部位を切り出して一または複数の部品画像を生成する(S11)。
【0032】
図5は、本実施形態において入力される画像の一例を示す図である。この画像の例において、中央付近の黒い部分が欠陥であるとする。
【0033】
次に、分類部102は、S11で生成された各部品画像に対し、各部品の中央部の輝度ヒストグラムを、教師なし学習であるk−meansアルゴリズムにより2つのクラスタに分類し、各画素をそれぞれが属するクラスタに分類する(S12)。
【0034】
次に、分類部102は、クラスタに分類された画素のうち、本来の部品の輝度値に近い画素(輝度値の差異が所定値以下の画素)のクラスタをシード領域として設定する(S13)。
【0035】
図6は、本実施形態におけるシード領域の画像の一例を示す図である。図6の例では、S12のk−meansアルゴリズムによるクラスタリングで、部品中央付近の元の輝度値に近い輝度値の領域のみが抽出され、シード領域として設定される。
【0036】
そして、分類部102は、設定したシード領域に基づいて、クラスタリングアルゴリズムであるChan−Veseアルゴリズムにより部品形状を抽出する(S14)。図7は、本実施形態において部品形状として抽出された画像(正常領域画像)の一例を示す図である。
【0037】
次に、欠陥検出部104は、S14で抽出された部品形状と、正常な部品形状のテンプレート画像を比較する(S15)。図8は、本実施形態におけるテンプレート画像110の一例を示す図である。図7の画像と図8の画像とが比較されることになる。
【0038】
そして、欠陥検出部104が、部品形状と、正常な部品形状のテンプレート画像との差異が所定の閾値以上であるか否かを判断する(S16)。差異が閾値以上である場合には(S16:Yes)、欠陥検出部104は、部品につき欠陥ありと識別する(S17)。そして、欠陥検出部104は、テンプレート画像110との差異がある部分について、欠陥領域と判定する(S18)。
【0039】
S16で、部品形状と、正常な部品形状のテンプレート画像との差異が所定の閾値未満である場合には(S16:No)、部品は欠陥なしと判定される(S19)。
【0040】
上記S15からS18,S19までの処理は、部品毎に繰り返し実行される。全ての部品に対してS15からS18,S19までの処理が実行されたら、処理は終了する。
【0041】
S12により、部品内に欠陥がある場合にも、欠陥がない部分の領域のみを次段のクラスタリングのシード領域として用いることができる。これにより、部品内に欠陥が存在する場合にもS14のクラスタリングにより、正常部分のみを抽出することが可能となる。
【0042】
<評価例>
以下、実際の評価例について示す。検出結果の評価には入力される画像が多いほうが望ましい。本評価例では、提供されている画像数が少ないため、提供画像に対して、ランダムに平行移動・回転・輝度変化を加えることで、Data augmentationを行い、評価用画像数を55枚に増加させた。表1に評価用画像の処理結果を示す。
【0043】
【表1】
【0044】
ここで、欠陥検出を行ったコンピュータは、CPU:Core i7 870、メモリ20GBで、OSは、Windows(登録商標)7 64bitを用いた。
【0045】
欠陥検出率は、評価用画像の中に存在す30箇所の欠陥部位の検出率である。また、誤検出率はサンプル画像合計55枚の中で誤って正常部位を欠陥部位と誤検出した率を示している。今回準備したサンプル画像に対しては、全数正解しており、高い欠陥検出性能を有していることが分かる。
【0046】
図9は、本実施形態における検出結果の例を示す図である。符号902の破線が正解の検出結果であり、符号901の実線が、本実施形態のアルゴリズムで検出した検出結果である。図9に示す検出結果では、正解とほぼ重なる形で正常に欠陥領域が検出できていることがわかる。処理時間に関しては処理内容をマルチスレッド化し、サンプル画像55枚を処理したところ一枚あたり777msであった。
【0047】
このように本実施形態では、物体が撮像された検出対象の画像から教師なし学習を用いてクラスタに分類し、分類されたクラスタ群から物体の本来の画素に基づく値を元に物体が含まれるクラスタを抽出し、クラスタをシード領域として設定したクラスタリングにより、物体が撮像された検出対象の画像から正常部分を抽出し、抽出された正常部分と、正常なテンプレート画像とに基づいて、検出対象の画像から欠陥を検出する。すなわち、本実施形態では、教師なし学習と、クラスタリング処理を組み合わせた手法であるため、事前にサンプルを複数準備する必要はない。そして、本実施形態では、シード領域として、教師なし学習で分類されたクラスタから部品の本来の画素の輝度値に近い画素を使うことで、部品内に欠陥がある場合にも欠陥がない部分の領域のみを抽出することができる。この結果、本実施形態によれば、サンプル画像数が少ない場合や、外乱がある場合、新たな欠陥モードの場合でも、高精度に欠陥検出を行うことができる。
【0048】
なお、本実施形態の情報処理装置10で実行される欠陥検出プログラム20は、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0049】
また、本実施形態の情報処理装置10で実行される欠陥検出プログラム20を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置10で実行される欠陥検出プログラム20をインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0050】
また、本実施形態の情報処理装置10で実行される欠陥検出プログラム20を、ROM14等に予め組み込んで提供するように構成してもよい。
【0051】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0052】
1 情報処理システム
10 情報処理装置
101 部品画像生成部
102 分類部
104 欠陥検出部
110 テンプレート画像
【先行技術文献】
【特許文献】
【0053】
【特許文献1】特開2013−167596号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9