(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-14
(45)【発行日】2022-11-22
(54)【発明の名称】画像検査装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20221115BHJP
G06T 7/00 20170101ALI20221115BHJP
【ＦＩ】
G01N21/88 J
G06T7/00 610C
G06T7/00 350C
【請求項の数】
7
(21)【出願番号】P 2019017153
(22)【出願日】2019-02-01
(65)【公開番号】P2020125920
(43)【公開日】2020-08-20
【審査請求日】2021-12-17
(73)【特許権者】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】栗原 宣之
【審査官】小澤 瞬
(56)【参考文献】
【文献】特開２００６－４７０９８（ＪＰ，Ａ）
【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）
【文献】特開２０１２－１５４８９３（ＪＰ，Ａ）
【文献】特開２００８－４５８８７（ＪＰ，Ａ）
【文献】特開２０１４－２１０８７（ＪＰ，Ａ）
【文献】特開２０１５－２６２８７（ＪＰ，Ａ）
【文献】中国特許出願公開第１８３４６３０（ＣＮ，Ａ）
【文献】中国特許出願公開第１９７９１３７（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
検査対象物を撮像して得られた画像に基づいて検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性を付与された良品画像と、使用者により不良品としての属性を付与された不良品画像と、前記画像検査装置の運用時に検査対象物を撮像して得られた検査対象画像とを入力可能な画像入力部と、
前記画像入力部により入力された良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定する検査ウインドウ設定部と、
前記画像入力部により入力された良品画像及び不良品画像のうち、前記検査ウインドウ設定部により設定された前記検査ウインドウ内の画像を、複数層で構成された機械学習器に入力し、良品画像と不良品画像を識別する識別器を生成する識別器生成部と、
前記画像検査装置の運用時に前記画像入力部に入力された検査対象画像上に前記検査ウインドウ設定部により設定された前記検査ウインドウ内の画像を前記識別器に入力し、当該検査対象画像の良否判定を行う良否判定部とを備えることを特徴とする画像検査装置。
【請求項2】
請求項１に記載の画像検査装置において、前記検査ウインドウ設定部は、前記画像入力部により入力された良品画像と不良品画像との差分を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする画像検査装置。
【請求項3】
請求項１または２に記載の画像検査装置において、前記検査ウインドウ設定部は、前記画像検査装置の運用時に前記画像入力部に入力された検査対象画像上に、前記画像検査装置の設定時に前記検査ウインドウ設定部により設定された前記検査ウインドウと同じ形状及び大きさの検査ウインドウを自動的に設定するように構成されていることを特徴とする画像検査装置。
【請求項4】
請求項１から３のいずれか１つに記載の画像検査装置において、前記画像入力部は、位置補正の基準を含む良品画像を入力可能に構成され、
前記検査ウインドウ設定部は、位置補正の基準に基づいて良品画像の位置補正を行い、位置補正後の良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする画像検査装置。
【請求項5】
請求項１から４のいずれか１つに記載の画像検査装置において、前記画像入力部は、位置補正の基準を含む不良品画像を入力可能に構成され、
前記検査ウインドウ設定部は、位置補正の基準に基づいて不良品画像の位置補正を行い、良品画像と位置補正後の不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする画像検査装置。
【請求項6】
請求項１から５のいずれか１つに記載の画像検査装置において、前記検査ウインドウ設定部は、前記画像入力部により入力された良品画像と不良品画像との特徴量の差を有する領域を囲む外接矩形状の前記検査ウインドウを自動的に設定するように構成されていることを特徴とする画像検査装置。
【請求項7】
請求項１から６のいずれか１つに記載の画像検査装置において、前記検査ウインドウ設定部は、設定される前記検査ウインドウの大きさが所定以上になる場合には、前記良品画像または前記不良品画像にブロブ処理を行い、各ブロブ領域に対し、所定未満の大きさの前記検査ウインドウをそれぞれ設定するように構成されていることを特徴とする画像検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う画像検査装置に関し、特に、機械学習器を利用する構造の技術分野に属する。
【背景技術】
【0002】
従来より、画像検査装置は、検査に用いる色やエッジなどの特徴量と、良否判定用の閾値とを使用者が設定し、検査対象物を撮像した画像の中から特徴量を抽出し、抽出された特徴量と閾値とを比較することによって検査対象物の良否判定を行うように構成されている（例えば特許文献１参照）。色やエッジなどの特徴量がはっきりしている画像に対しては良否判定が容易であるが、色ムラが多い検査対象物や、金属部品のようにエッジの出方が変わりやすい検査対象物は特徴量が撮像条件などによって変化しやすく、人間の目による検査では良否判定が容易であっても、画像検査装置では判定が難しく、ひいては、判定結果が安定しないことがある。
【0003】
これに対し、良品が撮像された良品画像と不良品が撮像された不良品画像の特徴をそれぞれニューラルネットワークなどの公知の機械学習器に学習させ、新たに入力された検査対象物の画像が良品であるか、不良品であるかを機械学習器によって識別する技術が知られている（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１３－１２０５５０号公報
【文献】特開２０１８－５６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、一般的に、機械学習器を用いた画像識別では、検出領域として全画像領域を扱っている。しかしながら、検査対象物の検査を行っている実際の現場では、検査対象物が画像の全体に存在しているケースは少なく、画像の一部にのみ存在しているケースが多いので、全画像領域を検出領域にしてしまうと、検査対象物が存在していない部分についても学習及び識別の対象となり、その結果、識別精度の低下を招くとともに、不必要な演算が行われて時間が長引いてしまう。
【0006】
そこで、検査対象物が画像の一部である場合に、その一部を使用者に指定させるようにして、その部分だけを機械学習器に入力させることが考えられる。これにより、識別精度の向上が見込まれる。
【0007】
しかしながら、使用者が一部を指定する作業自体が負担になることがある。さらに、使用者が画像の一部を指定する際、どこを指定すればよいか分からない場合があり、分からない場合、使用者は実際に必要な部分に余裕代を加えて、必要以上に大きめの範囲を指定してしまい、結局、識別精度の低下を招く結果となる。
【0008】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、検査対象物が画像の一部である場合に、機械学習器に入力すべき部分を自動的に設定できるようにして使用者の負担を減らしながら、識別精度を向上させることにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、第１の発明は、検査対象物を撮像して得られた画像に基づいて検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性を付与された良品画像と、使用者により不良品としての属性を付与された不良品画像と、前記画像検査装置の運用時に検査対象物を撮像して得られた検査対象画像とを入力可能な画像入力部と、前記画像入力部により入力された良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定する検査ウインドウ設定部と、前記画像入力部により入力された良品画像及び不良品画像のうち、前記検査ウインドウ設定部により設定された前記検査ウインドウ内の画像を、複数層で構成された機械学習器に入力し、良品画像と不良品画像を識別する識別器を生成する識別器生成部と、前記画像検査装置の運用時に前記画像入力部に入力された検査対象画像上に前記検査ウインドウ設定部により設定された前記検査ウインドウ内の画像を前記識別器に入力し、当該検査対象画像の良否判定を行う良否判定部とを備えることを特徴とする。
【0010】
この構成によれば、画像入力部により入力された良品画像と不良品画像との特徴量に差があるか否か検出される。良品画像と不良品画像との特徴量の差を有する領域は、良品画像と不良品画像との判別に寄与する領域であり、この領域が検査ウインドウによって自動的に囲まれるので、使用者の負担が増加することはなく、しかも、必要以上に大きめの範囲が指定されることもない。この検査ウインドウ内の画像が機械学習器に入力されて良品画像と不良品画像を識別する識別器が生成されるので、良品画像及び不良品画像の判別に寄与しない領域が入力されなくなり、識別精度が高まるとともに、処理時間が短くなる。
【0011】
画像検査装置の運用時には、検査対象画像上に検査ウインドウが自動的に設定され、検査ウインドウ内の画像が識別器に入力され、当該検査対象画像の良否判定が良否判定部により行われる。この運用時においても、学習時と同様に、判別に寄与しない領域が識別器に入力されないので、識別精度が高まるとともに、処理時間が短くなる。
【0012】
第２の発明は、前記検査ウインドウ設定部は、前記画像入力部により入力された良品画像と不良品画像との差分を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする。
【0013】
すなわち、良品画像と不良品画像との差分を有する領域が両画像の特徴量の差を有する領域となるので、良品画像と不良品画像との差分を検出する処理を行うことで、検査ウインドウを設定すべき領域が正確に得られる。
【0014】
第３の発明は、前記検査ウインドウ設定部は、前記画像検査装置の運用時に前記画像入力部に入力された検査対象画像上に、前記画像検査装置の設定時に前記検査ウインドウ設定部により設定された前記検査ウインドウと同じ形状及び大きさの検査ウインドウを自動的に設定するように構成されていることを特徴とする。
【0015】
この構成によれば、画像検査装置の設定時に検査ウインドウ設定部により設定された検査ウインドウと同じ検査ウインドウを、画像検査装置の運用時に検査ウインドウ設定部が設定すればよいので、処理をシンプルにすることができる。
【0016】
第４の発明は、前記画像入力部は、位置補正の基準を含む良品画像を入力可能に構成され、前記検査ウインドウ設定部は、位置補正の基準に基づいて良品画像の位置補正を行い、位置補正後の良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする。
【0017】
例えば、複数の良品画像を入力する際、良品画像毎に検査対象物の位置が異なっている場合がある。このような場合に、良品画像の位置補正の基準に基づいて良品画像を位置補正することで、不良品画像との特徴量の差を正確に検出することができる。
【0018】
第５の発明は、前記画像入力部は、位置補正の基準を含む不良品画像を入力可能に構成され、前記検査ウインドウ設定部は、位置補正の基準に基づいて不良品画像の位置補正を行い、良品画像と位置補正後の不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定するように構成されていることを特徴とする。
【0019】
この構成によれば、不良品画像の位置補正の基準に基づいて不良品画像を位置補正することで、良品画像との特徴量の差を正確に検出することができる。
【0020】
第６の発明は、前記検査ウインドウ設定部は、前記画像入力部により入力された良品画像と不良品画像との特徴量の差を有する領域を囲む外接矩形状の前記検査ウインドウを自動的に設定するように構成されていることを特徴とする。
【0021】
この構成によれば、良品画像と不良品画像との判別に寄与しない領域を小さくすることができ、識別精度がより一層高まる。
【0022】
第７の発明は、前記検査ウインドウ設定部は、設定される前記検査ウインドウの大きさが所定以上になる場合には、前記良品画像または前記不良品画像にブロブ処理を行い、各ブロブ領域に対し、所定未満の大きさの前記検査ウインドウをそれぞれ設定するように構成されていることを特徴とする。
【0023】
例えば、特徴量の差を有する領域が良品画像の周辺部にのみ複数存在している場合があり、この場合には、検査ウインドウ設定部が全ての領域を囲むように大きな検査ウインドウが設定され、この検査ウインドウ内に、特徴量の差を有する領域が点在することになる。こうなると機械学習器に入力される画像に無駄な領域が多く含まれることになり、識別精度の低下を招くおそれがある。本構成では、検査ウインドウの大きさが所定以上になる場合には、ブロブ処理を行い、各ブロブ領域に対し、所定未満の大きさの検査ウインドウをそれぞれ設定するので、機械学習器に入力される画像に無駄な領域が少なくなり、識別精度を高めることができる。
【発明の効果】
【0024】
本発明によれば、良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定し、検査ウインドウ内の画像を機械学習器に入力して識別器を生成し、運用時には検査対象画像上に前記検査ウインドウを設定して該検査ウインドウ内の画像を識別器に入力し、良否判定を行うようにしたので、検査対象物が画像の一部である場合に、使用者の負担を減らしながら、識別精度を向上させることができる。
【図面の簡単な説明】
【0025】
【図1】本発明の実施形態に係る画像検査装置の構成を示す模式図である。
【図2】画像検査装置のハードウエア構成を示す図である。
【図3】画像検査装置のブロック図である。
【図4】画像検査装置の設定モード時のフローチャートである。
【図5】設定モード時の初期画面を示す図である。
【図6】撮像設定時に表示されるユーザーインターフェースを示す図である。
【図7】マスター画像登録用ユーザーインターフェースを示す図である。
【図8】マスター画像の選択時に表示される画面を示す図である。
【図9】学習設定ユーザーインターフェースを示す図である。
【図10】良品画像入力ステップ時に表示される画面を示す図である。
【図11】不良品画像入力ステップ時に表示される画面を示す図である。
【図12】範囲調整用ユーザーインターフェースを示す図である。
【図14】画像検査装置の運転モード時のフローチャートである。
【図15】検査対象画像が良品画像である場合のユーザーインターフェースを示す図である。
【図16】検査対象画像が不良品画像である場合のユーザーインターフェースを示す図である。
【図17】追加画像を入力する場合のユーザーインターフェースを示す図である。
【図18】使用者が不良品及び良品の一方を選択する場合のユーザーインターフェースを示す図である。
【図19】識別器生成部及び通知手段による具体的な制御内容を示すフローチャートである。
【図22】新品種の良品画像が更に追加されて識別境界が修正された特徴量空間を模式的に示す図である。
【図26】図２６Ａは、良品画像群と不良品画像群がプロットされた特徴量空間を模式的に示す図であり、図２６Ｂは、不良品の新品種が良品として誤登録された場合の特徴量空間を模式的に示す図であり、図２６Ｃは、不良品の新品種が複数良品として誤登録された場合の特徴量空間を模式的に示す図である。
【図28】不安定画像があるか否かの判定手順を示すフローチャートである。
【図29】不安定画像があるか否かを判定する場合の特徴量空間を模式的に示す図である。
【図30】特徴量空間上にプロットした追加画像と識別境界との距離の算出方法を示す図である。
【図31】学習枚数と学習効果との関係を示すグラフである。
【図32】自動ウインドウ設定機能の処理手順を示すフローチャートである。
【図33】単領域に検査ウインドウを自動的に設定する手順を説明する図である。
【図34】複数領域に検査ウインドウを自動的に設定する手順を示すフローチャートである。
【図35】複数領域に検査ウインドウを自動的に設定する手順を説明する図である。
【図36】複数領域を重ね合わせてから検査ウインドウを自動的に設定する手順を示すフローチャートである。
【図37】複数領域を重ね合わせてから検査ウインドウを自動的に設定する手順を説明する図である。
【図38】位置補正処理を行う場合の手順を示すフローチャートである。
【図39】位置補正処理を行う場合の手順を説明する図である。
【発明を実施するための形態】
【0026】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0027】
図１は、本発明の実施形態に係る画像検査装置１の構成を示す模式図である。画像検査装置１は、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて検査対象物の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。検査対象物は、それ全体が検査対象であってもよいし、一部のみが検査対象であってもよい。また、１つの検査対象物に複数の検査対象が含まれていてもよい。また、画像には、複数の検査対象物が含まれていてもよい。
【0028】
画像検査装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ（表示部）５を使用することもできる。図１では、画像検査装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を別々のものとして記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。
【0029】
（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３と、ＦＰＧＡ１４４と、ＤＳＰ１４５とを備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。ＦＰＧＡ１４４及びＤＳＰ１４５は、撮像ユニット３の内部において画像処理を実行するためのものであり、ＣＭＯＳセンサ１４３から出力された信号はＦＰＧＡ１４４及びＤＳＰ１４５にも入力されるようになっている。
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４３と、ＦＰＧＡ１４４と、ＤＳＰ１４５とを備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。ＦＰＧＡ１４４及びＤＳＰ１４５は、撮像ユニット３の内部において画像処理を実行するためのものであり、ＣＭＯＳセンサ１４３から出力された信号はＦＰＧＡ１４４及びＤＳＰ１４５にも入力されるようになっている。
【0030】
照明モジュール１５は、検査対象物を含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に設定することができる。ＬＥＤ１５１は、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。図示しないが、照明モジュール１５には、ＬＥＤ１５１から照射された光を反射するリフレクターや、ＬＥＤ１５１から照射された光が通過するレンズ等が設けられている。ＬＥＤ１５１から照射された光が検査対象物と、検査対象物の周辺領域に照射されるように、ＬＥＤ１５１の照射範囲が設定されている。発光ダイオード以外の発光体を使用することもできる。
【0031】
（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基盤１７と、電源基板１８とを備えている。メイン基板１３には、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とが搭載されている。ＦＰＧＡ１３１とＤＳＰ１３２は制御部１３Ａを構成するものであり、これらが一体化された主制御部を設けることもできる。
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基盤１７と、電源基板１８とを備えている。メイン基板１３には、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とが搭載されている。ＦＰＧＡ１３１とＤＳＰ１３２は制御部１３Ａを構成するものであり、これらが一体化された主制御部を設けることもできる。
【0032】
メイン基板１３の制御部１３Ａは、接続されている各基板及びモジュールの動作を制御する。例えば、制御部１３Ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５２は、制御部１３Ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。
【0033】
また、制御部１３Ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４３は、制御部１３Ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、制御部１３Ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像し、視野範囲内に検査対象物があれば、検査対象物を撮像することになるが、検査対象物以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像検査装置１の設定時には、使用者により良品としての属性を付与された良品画像と、不良品としての属性を付与された不良品画像とを撮像することができる。画像検査装置１の運用時には、検査対象物を撮像することができる。また、ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
【0034】
ＣＭＯＳセンサ１４３による撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のＦＰＧＡ１３１に入力され、ＦＰＧＡ１３１及びＤＳＰ１３２によって処理されるとともに、メモリ１３３に記憶されるようになっている。メイン基板１３の制御部１３Ａによる具体的な処理内容の詳細については後述する。
【0035】
コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３の制御部１３ＡからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。
【0036】
通信基板１７は、メイン基板１３の制御部１３Ａから出力された検査対象物の良否判定信号、画像データ、ユーザーインターフェース等を表示装置４やパーソナルコンピュータ５、外部制御機器（図示せず）等に出力する。表示装置４やパーソナルコンピュータ５は、例えば液晶パネル等からなる表示パネルを有しており、画像データやユーザーインターフェース等は表示パネルに表示される。
【0037】
また、通信基板１７は、表示装置４が有するタッチパネル４１やパーソナルコンピュータ５のキーボード５１等から入力された使用者の各種操作を受け付けることができるように構成されている。表示装置４のタッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、使用者によるタッチ操作を検出して通信基板１７へ出力する。パーソナルコンピュータ５は、キーボード５１の他に、図示しないがマウスやタッチパネルを備えており、これら操作デバイスから入力された使用者の各種操作を受け付けることができるように構成されている。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
【0038】
制御ユニット２には、例えばハードディスクドライブ等の記憶装置１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。また、記憶装置１９には、上記画像データや良否判定結果等を記憶させておくこともできる。
【0039】
（画像検査装置１の具体的な構成）
図３は、画像検査装置１のブロック図であり、プログラムファイル８０や設定ファイルがインストールされた制御ユニット２により、図３に示す各部及び手段が構成される。すなわち、画像検査装置１は、画像入力部２１と、識別器生成部２２と、操作受付部２３と、画像生成部２４と、特徴量抽出部２５と、通知手段２６と、選択手段２７と、第１ウインドウ設定部２８と、第２ウインドウ設定部２９と、良否判定部３０とを備えている。第１ウインドウ設定部２８と、第２ウインドウ設定部２９とは区別することなく、同じものとすることができる。これら各部及び手段は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図３に示す各部及び手段は、それぞれが独立したものであってもよいし、１つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図３に示す各部及び手段の機能は、メイン基板１３の制御部１３Ａによる制御で実現することもできる。
図３は、画像検査装置１のブロック図であり、プログラムファイル８０や設定ファイルがインストールされた制御ユニット２により、図３に示す各部及び手段が構成される。すなわち、画像検査装置１は、画像入力部２１と、識別器生成部２２と、操作受付部２３と、画像生成部２４と、特徴量抽出部２５と、通知手段２６と、選択手段２７と、第１ウインドウ設定部２８と、第２ウインドウ設定部２９と、良否判定部３０とを備えている。第１ウインドウ設定部２８と、第２ウインドウ設定部２９とは区別することなく、同じものとすることができる。これら各部及び手段は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図３に示す各部及び手段は、それぞれが独立したものであってもよいし、１つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図３に示す各部及び手段の機能は、メイン基板１３の制御部１３Ａによる制御で実現することもできる。
【0040】
また、画像検査装置１は、撮像設定等の各種パラメータ設定、マスター画像の登録、良品画像と不良品画像とを内部で識別できるようにする識別器の生成等を行う設定モードと、実際の現場において検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う運転モード（Ｒｕｎモード）とに切り替えられるようになっている。設定モードでは、使用者が所望の製品検査で良品と不良品とを分けることができるようにするための事前の作業を行う。設定モードと運転モードとの切替は、図示しないユーザーインターフェース上で行うことができる他、設定モードの完了と同時に運転モードに自動で移行するように構成することもできる。運転モードにおいて、識別器による識別境界の修正や変更を行うこともできる。
【0041】
（画像検査装置１の設定モード時の制御）
図４は、画像検査装置の設定モード時のフローチャートである。スタート時には、図５に示すような設定モードユーザーインターフェース４０をメイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。設定モードユーザーインターフェース４０には、設定モードにおける作業の流れを示した作業手順表示領域４０ａと、設定開始ボタン４０ｂと、キャンセルボタン４０ｃとが設けられている。設定開始ボタン４０ｂを押すと、図４のフローチャートに示すように、設定作業を順に行うように使用者を導くナビゲーションが開始される。一方、キャンセルボタン４０ｃを押すと、設定モードが中断される。尚、「ボタンを押す」とは、表示装置４のタッチパネル４１による操作、パーソナルコンピュータ５のキーボード５１やマウス等による操作によって実行される。以下、ボタン操作については同様である。
図４は、画像検査装置の設定モード時のフローチャートである。スタート時には、図５に示すような設定モードユーザーインターフェース４０をメイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。設定モードユーザーインターフェース４０には、設定モードにおける作業の流れを示した作業手順表示領域４０ａと、設定開始ボタン４０ｂと、キャンセルボタン４０ｃとが設けられている。設定開始ボタン４０ｂを押すと、図４のフローチャートに示すように、設定作業を順に行うように使用者を導くナビゲーションが開始される。一方、キャンセルボタン４０ｃを押すと、設定モードが中断される。尚、「ボタンを押す」とは、表示装置４のタッチパネル４１による操作、パーソナルコンピュータ５のキーボード５１やマウス等による操作によって実行される。以下、ボタン操作については同様である。
【0042】
図４に示すフローチャートのステップＳＡ１は撮像設定ステップである。撮像設定ステップでは、図６に示す撮像条件設定用ユーザーインターフェース４１をメイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。撮像条件設定用ユーザーインターフェース４１には、ＣＭＯＳセンサ１４３で撮像された画像を表示する画像表示領域４１ａと、撮像条件の設定作業の流れを示した設定手順表示領域４１ｂとが設けられている。設定手順表示領域４１ｂには、撮像を開始するトリガとなる条件（トリガ条件）の設定、ＣＭＯＳセンサ１４３で撮像された画像の明るさの自動調整、フォーカス調整の順で表示されており、この順序にしたがって設定を行う。トリガ条件の設定は、撮像タイミングの調整も含んでおり、外部から入力されるトリガ信号にしたがって撮像を開始してもよいし、内部で生成するトリガ信号にしたがって撮像を開始してもよい。明るさの自動調整は、検査の精度が高くなるように画像の明るさを自動で調整することであり、ＬＥＤ１５１の光量で調整するようにしてもよいし、ＣＭＯＳセンサ１４３の露光時間で調整するようにしてもよい。明るさの調整手法は、従来から周知の方法を用いることができる。明るさは使用者が手動で調整することもできる。
【0043】
フォーカス調整は、検査対象物Ｗにピントが合うようにオートフォーカス機能によって実現することができるが、これに限らず、使用者がマニュアルフォーカスでピント合わせを行うようにしてもよい。撮像条件の設定が終了すると、次のステップへ進むためのボタン４１ｃを押す。これにより、図４に示すフローチャートのステップＳＡ２であるマスター画像登録ステップに進む。
【0044】
マスター画像とは、画像検査枠、即ち検査ウインドウを設定するための基準となる画像であり、良品の検査対象物Ｗが含まれる画像である。このマスター画像をマスター画像登録ステップで登録する。マスター画像登録ステップでは、図７に示すマスター画像登録用ユーザーインターフェース４２をメイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。
【0045】
マスター画像登録用ユーザーインターフェース４２には、マスター画像の候補となる画像を表示させるための候補画像表示領域４２ａが設けられている。図７ではマスター画像が登録されていない状態であり、候補画像表示領域４２ａには画像が表示されていない。さらに、マスター画像登録用ユーザーインターフェース４２には、ＣＭＯＳセンサ１４３で撮像されたライブ画像をマスター画像とする際に操作するライブ画像登録ボタン４２ｂと、画像履歴に残っている画像をマスター画像とする際に操作する画像履歴登録ボタン４２ｃと、これまでに記憶された画像をマスター画像とする際に操作するファイル画像登録ボタン４２ｄとが設けられている。
【0046】
ライブ画像登録ボタン４２ｂを押すと、図８に示すように、ＣＭＯＳセンサ１４３で撮像されている現在の画像が候補画像表示領域４２ａに表示され、候補画像表示領域４２ａの横に画像登録ボタン４２ｅが表示される。使用者は、候補画像表示領域４２ａに表示されている画像を見ながら、マスター画像として登録すべき画像が表示された時点で画像登録ボタン４２ｅを押す。すると、画像登録ボタン４２ｅが押されたときに候補画像表示領域４２ａに表示されていた画像がマスター画像として登録される。マスター画像は、図２に示す記憶装置１９に記憶させておくことができる。このようにして複数の画像を記憶させることもできる。
【0047】
図７に示す画像履歴登録ボタン４２ｃを押すと、過去に撮像された画像が候補画像表示領域４２ａに表示され、この中から所望の画像をマスター画像として選択し、登録することができる。過去に撮像された画像は自動的に記憶装置１９に記憶させるようにしてもよいし、使用者が記憶操作を行うことによって記憶させるようにしてもよい。また、図７に示すファイル画像登録ボタン４２ｄを押すと、記憶装置１９に記憶されている画像を読み込み、この中から所望の画像をマスター画像として選択し、登録することができる。マスター画像の登録後、次のステップへ進むためのボタン４２ｆ（図７に示す）を押す。
【0048】
すると、図９に示す学習設定ユーザーインターフェース４３をメイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。学習設定ユーザーインターフェース４３には、入力画像表示領域４３ａが設けられている。第１段階では、入力画像表示領域４３ａにマスター画像が表示されている。使用者は、入力画像表示領域４３ａに表示されているマスター画像を見ながら、検査ウインドウ１００を設定する。検査ウインドウ１００は、マスター画像の検査対象物Ｗの全体を囲むように設定してもよいし、検査対象物Ｗの特徴となる一部のみ囲むように設定してもよい。検査ウインドウ１００は、例えば矩形状にすることができ、検査ウインドウ１００を描こうとする矩形の範囲を想定したとき、その上の角部から斜め下の角部までタッチ操作によってドラッグすることで検査ウインドウ１００が入力画像表示領域４３ａに表示される。検査ウインドウ１００は、マスター画像に重畳表示される。検査ウインドウ１００の位置や大きさ、形状は修正することができる。後述するように、検査ウインドウ１００は自動設定されるように構成することもできる。
【0049】
また、画像検査装置１が備えているエッジ抽出機能により、図９に示すように検査対象物Ｗのエッジを抽出して重畳表示するようにしてもよい。
【0050】
検査ウインドウ１００の設定後、図４に示すフローチャートのステップＳＡ３である良品画像入力ステップに進む。良品画像とは、使用者により良品としての属性を付与された画像であり、良品の検査対象物Ｗを撮像した画像と呼ぶこともできる。この良品画像は、マスター画像とは別に入力する。図９に示すように、学習設定ユーザーインターフェース４３には、良品画像入力ボタン４３ｂと、良品画像表示領域４３ｃと、不良品画像入力ボタン４３ｄと、不良品画像表示領域４３ｅとが設けられている。
【0051】
図１０に示すように、使用者が良品の検査対象物ＷをＣＭＯＳセンサ１４３の視野範囲に置くと、制御部１３Ａは、ＣＭＯＳセンサ１４３に撮像されたライブ画像を学習設定ユーザーインターフェース４３の入力画像表示領域４３ａに表示させる。良品の検査対象物Ｗが入力画像表示領域４３ａに表示されている状態で良品画像入力ボタン４３ｂを押すと、その時点で入力画像表示領域４３ａに表示されている画像、即ち使用者により良品としての属性を付与された良品画像が静止画として良品画像表示領域４３ｃに表示されるとともに、メモリ１３３や記憶装置１９に記憶される。この工程が良品画像入力ステップであり、図３に示す画像入力部２１で行われる。良品画像入力ステップでは最低１枚の良品画像を入力するが、複数枚の良品画像を入力するようにしてもよい。複数枚の良品画像を入力する場合、異なる良品を撮像した画像であってもよいし、１つの良品の角度や位置を変えて複数回撮像した画像であってもよい。良品画像の入力枚数は、学習設定ユーザーインターフェース４３の入力枚数表示領域４３ｆに表示されるようになっている。複数枚の良品画像により良品画像群が構成される。
【0052】
また、画像入力部２１は、良品画像入力ステップを実現するための部材として、カメラモジュール１４、表示装置４、タッチパネル４１、学習設定ユーザーインターフェース４３を表示させる制御部１３Ａ等を含むものであってもよい。
【0053】
良品画像の入力後、図４に示すフローチャートのステップＳＡ４である不良品画像入力ステップに進む。不良品画像とは、使用者により不良品としての属性を付与された画像であり、不良品の検査対象物Ｗを撮像した画像と呼ぶこともできる。尚、良品であるのに、使用者が誤って不良品であると認識してしまう場合もあるが、この場合も、使用者により不良品としての属性を付与された画像であるので、本実施形態では不良品画像とする。つまり、不良品画像には、真の不良品を撮像した画像と、良品を撮像した画像との両方が含まれる場合がある。
【0054】
図１１に示すように、使用者が不良品であると認識している検査対象物ＷをＣＭＯＳセンサ１４３の視野範囲に置くと、制御部１３Ａは、ＣＭＯＳセンサ１４３に撮像されたライブ画像を学習設定ユーザーインターフェース４３の入力画像表示領域４３ａに表示させる。このとき、良品画像表示領域４３ｃには良品画像が常時表示されている。
【0055】
使用者が不良品であると認識している検査対象物Ｗが入力画像表示領域４３ａに表示されている状態で不良品画像入力ボタン４３ｄを押すと、その時点で入力画像表示領域４３ａに表示されている画像、即ち使用者により不良品としての属性を付与された不良品画像が静止画として不良品画像表示領域４３ｅに表示されるとともに、メモリ１３３や記憶装置１９に記憶される。この工程が不良品画像入力ステップであり、図３に示す画像入力部２１で行われる。不良品画像入力ステップでは最低１枚の不良品画像を入力するが、複数枚の不良品画像を入力するようにしてもよい。複数枚の不良品画像を入力する場合、異なる不良品を撮像した画像であってもよいし、１つの不良品の角度や位置を変えて複数回撮像した画像であってもよい。不良品画像の入力枚数は、学習設定ユーザーインターフェース４３に表示することができる。複数枚の不良品画像により不良品画像群が構成される。
【0056】
つまり、画像入力部２１は、使用者により良品としての属性を付与された良品画像と、不良品としての属性を付与された不良品画像とを入力可能に構成されるとともに、良品画像群及び不良品画像群も入力可能に構成されている。良品画像及び不良品画像の入力は、画像検査装置１への登録と呼ぶこともできる。
【0057】
不良品画像の入力後、図４に示すフローチャートのステップＳＡ５である学習ステップに進む。学習ステップは、図３に示す識別器生成部２２で行われる。識別器生成部２２は、画像入力部２１により入力された良品画像と不良品画像を、複数層で構成された機械学習器に入力し、良品画像と不良品画像を識別する識別器を生成する部分である。複数の良品画像からなる良品画像群及び複数の不良品画像からなる不良品画像群を上記機械学習器に入力して同様に識別器を生成することもできる。機械学習器に入力する画像は、検査ウインドウ１００内の画像とすることができる。
【0058】
具体的には、識別器生成部２２はニューラルネットワークを有しており、そのニューラルネットワークのパラメータの初期値をランダムに決定しておき、ニューラルネットワークから出力される画像認識の誤差をフィードバックしながらパラメータを調整していく、いわゆるディープラーニングの手法を採用してもよい。パラメータが調整されたニューラルネットワーク、即ち学習済みのニューラルネットワークが使用者に提供される形態であってもよいし、使用者がパラメータを調整する形態であってもよいが、上記良品画像と不良品画像を識別する識別器を生成するステップは、画像検査装置１の設定モード時に行う。
【0059】
識別器による良品画像と不良品画像の識別に寄与している特徴量は、例えば、明るさ、角度、色等があるが、これら以外の特徴量が良品画像と不良品画像の識別に寄与している場合もあるので、特徴量の種類は特に限定されない。
【0060】
図３に示すように、画像検査装置１は、識別器生成部２２が生成した識別器による良品画像と不良品画像の識別に寄与している特徴量の良品範囲を拡張する操作を受け付ける操作受付部２３を有している。操作受付部２３は、図１２に示すような範囲調整用ユーザーインターフェース４５を生成し、表示装置４に表示させる。図１２に示す範囲調整用ユーザーインターフェース４５では、良品画像と不良品画像の識別に寄与している特徴量として画像の明るさを使用する場合を示しており、最も暗い場合を「０」とし、最も明るい場合を「１００」とするが、この値は任意に設定することができる。明るさ０～１００のなかで、良品範囲と不良品範囲とを個別に調整することが可能になっている。すなわち、範囲調整用ユーザーインターフェース４５は、横方向に長いバー型表示部４５ａと、２つの良品範囲設定用目印部４５ｂ、４５ｂと、２つの不良品範囲設定用目印部４５ｃ、４５ｃとを有している。バー型表示部４５ａの左端に近づけば近づくほど暗くなり、右端に近づけば近づくほど明るくなる。２つの良品範囲設定用目印部４５ｂ、４５ｂは、例えば表示装置４のタッチパネル４１の操作によってバー型表示部４５ａの長手方向にそれぞれ移動させることができ、２つの良品範囲設定用目印部４５ｂ、４５ｂの間の明るさ範囲が良品範囲として設定される。２つの良品範囲設定用目印部４５ｂ、４５ｂの間を狭めれば良品範囲が狭くなり、２つの良品範囲設定用目印部４５ｂ、４５ｂの間を広げれば良品範囲が拡張する。つまり、範囲調整用ユーザーインターフェース４５は、特徴量の良品範囲を拡張する操作を受け付けるとともに、狭める操作も受け付けるように構成されている。同様に、２つの不良品範囲設定用目印部４５ｃ、４５ｃを操作することで、特徴量の不良品範囲を拡張する操作を受け付けるとともに、狭める操作も受け付けることができる。特徴量の良品範囲及び不良品範囲の設定は、上記バー型表示部４５ａの他、明るさの値を直接入力する方法であってもよい。
【0061】
図１２に示す範囲調整用ユーザーインターフェース４５には、識別器による良品画像と不良品画像の識別に寄与している特徴量の良品範囲が表示されるようになっており、したがって、識別器による良品画像と不良品画像の識別に寄与している特徴量の良品範囲は、表示装置４に表示可能に構成されている。これにより、使用者は、特徴量の良品範囲を容易に確認することができる。尚、特徴量の良品範囲は表示装置４に非表示としてもよい。識別器による良品画像と不良品画像の識別に寄与している特徴量の不良品範囲についても同様に、表示装置４に表示可能にしてもよいし、非表示にしてもよい。
【0062】
図３に示すように、画像検査装置１は、操作受付部２３により受け付けられた操作の結果、新たに良品画像として判定される画像（自動生成良品画像）を生成する画像生成部２４を有している。識別器による良品画像と不良品画像の識別に寄与している特徴量の良品範囲が操作受付部２３により拡張されると、画像生成部２４は拡張後の良品範囲（具体的には明るさ範囲）を読み込み、良品範囲内となる明るさの画像を自動的に生成する。画像生成部２４は、例えば、良品範囲内で最も暗い画像と、最も明るい画像を生成することができ、また、良品範囲内の中間の明るさの画像も生成することができる。生成する画像の数は特に限定されるものではなく、１枚であってもよいし、複数枚であってもよい。
【0063】
画像生成部２４は、画像入力部２１により予め入力されている良品画像の明るさを画像処理によって変更させることで、自動生成良品画像を得ることができる。この場合、画像生成部２４は自動生成良品画像を内部処理で生成することができる。
【0064】
また、画像生成部２４は、ＣＭＯＳセンサ１４３の視野範囲にある良品の検査対象物Ｗを、露光時間を変化させてＣＭＯＳセンサ１４３により複数回撮像して得た画像を自動生成良品画像とすることもできる。露光時間を変化させることなく、照明モジュール１５による照明の明るさを変更してＣＭＯＳセンサ１４３により複数回撮像して得た画像を自動生成良品画像とすることもできる。また、ＣＭＯＳセンサ１４３の露光時間と、照明モジュール１５による照明の明るさの両方を変更してＣＭＯＳセンサ１４３により複数回撮像して得た画像を自動生成良品画像とすることもできる。この場合、画像生成部２４は、ＣＭＯＳセンサ１４３を制御するとともに、必要に応じて照明モジュール１５を制御することで、自動生成良品画像を得る。
【0065】
画像生成部２４が生成した自動生成良品画像は、図１２に示す範囲調整用ユーザーインターフェース４５に表示することができる。範囲調整用ユーザーインターフェース４５には、自動生成良品画像を表示する自動生成良品画像表示領域４５ｄ、４５ｄが設けられている。左側の自動生成良品画像表示領域４５ｄには、良品範囲内で最も暗い画像が表示され、右側の自動生成良品画像表示領域４５ｄには、良品範囲内で最も明るい画像が表示される。自動生成良品画像表示領域４５ｄの数は２つに限られるものではなく、１つであってもよいし、３つ以上であってもよく、画像生成部２４が生成した自動生成良品画像の数と同じにすることができる。バー型表示部４５ａの暗い側に、画像生成部２４が生成した暗い画像を表示させ、バー型表示部４５ａの明るい側に、画像生成部２４が生成した明るい画像を表示させるのが好ましい。したがって、画像生成部２４が生成した自動生成良品画像は表示装置４に表示可能に構成されている。これにより、使用者は、自動生成良品画像を容易に確認することができる。
【0066】
また、識別器による良品画像と不良品画像の識別に寄与している特徴量の不良品範囲が操作受付部２３により拡張された場合、画像生成部２４は、不良品範囲（具体的には明るさ範囲）を読み込み、新たに不良品画像として判定される画像（自動生成不良品画像）を生成することもできる。画像生成部２４が生成した自動生成不良品画像は、図１２に示す範囲調整用ユーザーインターフェース４５に表示することができる。範囲調整用ユーザーインターフェース４５には、自動生成不良品画像を表示する自動生成不良品画像表示領域４５ｅが設けられている。
【0067】
また、画像生成部２４は、良品範囲または不良品範囲の境界近傍に位置する境界近傍画像を生成することもできる。例えば、良品範囲の境界近傍の明るさの画像を生成し、この画像を図１２に示す範囲調整用ユーザーインターフェース４５に表示することや、不良品範囲の境界近傍の明るさの画像を生成し、この画像を図１２に示す範囲調整用ユーザーインターフェース４５に表示することができる。これにより、良品範囲または不良品範囲の境界近傍に位置する画像が表示装置４に表示されることになるので、使用者が良品範囲または不良品範囲を視覚で容易に把握することができる。
【0068】
画像生成部２４により生成された画像は、図３に示す識別器生成部２２に入力される。識別器生成部２２は、画像生成部２４により生成された画像を機械学習器に入力することにより、識別器を更新するように構成されている。つまり、識別器による良品画像と不良品画像の識別に寄与している特徴量の良品範囲を使用者が拡張する操作を行うと、その操作が操作受付部２３によって受け付けられ、新たに良品画像として判定される画像が画像生成部２４により自動的に生成され、生成された画像が識別器生成部２２に入力されるので、使用者は良品範囲を拡張するための良品画像を新たに準備する必要はなく、使用者への負担が少なくなる。また、画像生成部２４により生成された新たな良品画像は、表示装置４に表示されるので、使用者が当該新たな良品画像を視認することができる。よって、画像検査装置１による識別結果と、使用者による判別の感覚とを近づけることが可能になる。
【0069】
図３に示すように、画像検査装置１は、特徴量抽出部２５を備えている。特徴量抽出部２５では、識別器生成部２２で生成される識別器による良品画像と不良品画像の識別に寄与する可能性のある複数種の特徴量が予め定義されている。特徴量抽出部２５は、予め定義された複数種の特徴量の中から、識別器による良品画像と不良品画像の識別に寄与している上位の特徴量を自動的に抽出する部分である。
【0070】
予め定義された特徴量には、明るさ、角度、色の少なくとも１つが含まれている。「明るさ」は、良品画像及び不良品画像の明るさである。「角度」とは、検査対象物ＷのＸ軸に対する傾斜角度やＹ軸に対する傾斜角度で表すことができる。Ｘ軸とは、表示装置４の縦方向の軸とすることができ、また、Ｙ軸とは、表示装置４の横方向の軸とすることができる。また、エッジ抽出機能によって良品画像及び不良品画像の検査対象物Ｗのエッジを抽出する処理を行い、特定のエッジのＸ軸に対する傾斜角度やＹ軸に対する傾斜角度を、上記「角度」として用いることもできる。「色」とは、検査対象物Ｗの色であり、画像処理によって検査対象物Ｗの色を抽出して特徴量として使用することができる。
【0071】
複数の特徴量のうち、例えば良品画像及び不良品画像で「色」が同じであれば、「色」は、良品画像と不良品画像の識別に寄与する度合いが低いので、上位の特徴量にはなり得ないようにランク付けすることができる。同様に、良品画像及び不良品画像で検査対象物Ｗの角度が同等であれば、「角度」は、良品画像と不良品画像の識別に寄与する度合いが低いので、上位の特徴量にはなり得ないようにランク付けすることができる。同様に、良品画像及び不良品画像で明るさが同等であれば、「明るさ」は、良品画像と不良品画像の識別に寄与する度合いが低いので、上位の特徴量にはなり得ないようにランク付けすることができる。また、良品画像及び不良品画像で「色」が大きく異なっていれば、「色」は、良品画像と不良品画像の識別に寄与する度合いが高いので、上位の特徴量となるようにランク付けすることができる。良品画像及び不良品画像で「角度」が大きく異なっていれば、「角度」は、良品画像と不良品画像の識別に寄与する度合いが高いので、上位の特徴量となるようにランク付けすることができる。良品画像及び不良品画像で「明るさ」が大きく異なっていれば、「明るさ」は、良品画像と不良品画像の識別に寄与する度合いが高いので、上位の特徴量となるようにランク付けすることができる。
【0072】
このようにして良品画像と不良品画像の識別に寄与している上位の特徴量が抽出される。上位の特徴量とは、最も寄与度合いの高い特徴量（第１位の特徴量）を含んでいてもよいし、第１位の特徴量の次に寄与度合いの高い特徴量（第２位の特徴量）を含んでいてもよいし、第２位の特徴量の次に寄与度合いの高い特徴量（第３位の特徴量）を含んでいてもよい。上位の特徴量には、第１位の特徴量が含まれていなくてもよい。また、複数の特徴量が上位の特徴量となり得る。
【0073】
図３に示す操作受付部２３は、特徴量抽出部２５により抽出された上位の特徴量の良品範囲を拡張する操作を受け付けるように構成することもできる。図１２に示す範囲調整用ユーザーインターフェース４５は、特徴量抽出部２５により抽出された上位の特徴量が明るさである場合を示しているが、上位の特徴量が角度の場合には、同様にして角度の調整が可能なユーザーインターフェースにすることができ、また、上位の特徴量が色の場合には、同様にして色の調整が可能なユーザーインターフェースにすることができる。範囲調整用ユーザーインターフェース４５は、複数の特徴量の調整が可能に構成することもできる。これにより、上位の特徴量の良品範囲を拡張する操作を行うことができるので、寄与度合いの低い特徴量が操作されなくなり、その結果、識別器の更新が確実に行われるようになり、良品画像と不良品画像の識別精度がより一層高まる。
【0074】
特徴量抽出部２５は、良品画像と不良品画像に複数種のフィルタ処理を行うように構成することができ、そのフィルタ処理後の画像に基づいて上位の特徴量を抽出するように構成することができる。良品画像と不良品画像にフィルタ処理を行った画像を中間画像とも呼ぶことができ、この中間画像はフォルダ処理が行われていることで、特徴量を抽出しやすくすることができ、その結果、上位の特徴量の抽出処理が容易になる。
【0075】
（特徴量空間）
識別器生成部２２は、画像入力部２１により入力された良品画像群と不良品画像群を、複数層で構成された機械学習器に入力し、良品画像群と不良品画像群を特徴量空間上にプロットするとともに、特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、良品画像と不良品画像を識別する識別器を生成するように構成することもできる。
識別器生成部２２は、画像入力部２１により入力された良品画像群と不良品画像群を、複数層で構成された機械学習器に入力し、良品画像群と不良品画像群を特徴量空間上にプロットするとともに、特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、良品画像と不良品画像を識別する識別器を生成するように構成することもできる。
【0076】
図１３Ａは、良品画像群と不良品画像群がプロットされた特徴量空間５０を模式的に示している。良品画像群は黒丸でプロットされ、不良品画像群は白丸でプロットされており、良品画像群と不良品画像群との間に識別境界５１が設定されている。識別境界５１は、良品画像群と不良品画像群とのちょうど中間を通るように設定することができ、直線状の境界であってもよいし、曲線状の境界であってもよい。特徴量空間５０であるから３次元空間上に識別境界５１を設定することもできる。
【0077】
（画像検査装置１の運転モード時の制御）
設定モードで各種設定が完了した後、画像検査装置１は運転モードに移行する。設定モードから運転モードへは、使用者の移行操作によって移行するようにしてもよいし、設定モードが完了した後、運転モードへ自動的に移行するようにしてもよい。
設定モードで各種設定が完了した後、画像検査装置１は運転モードに移行する。設定モードから運転モードへは、使用者の移行操作によって移行するようにしてもよいし、設定モードが完了した後、運転モードへ自動的に移行するようにしてもよい。
【0078】
図１４に示す運転モード時のフローチャートのステップＳＢ１は、検査対象画像の入力ステップである。検査対象画像は、画像検査装置１の運用時に検査対象物Ｗを撮像して得られた画像であり、画像入力部２１により入力される。ＣＭＯＳセンサ１４３の視野範囲に検査対象物Ｗが位置した状態で、トリガ信号が入力されると、画像入力部２１がＣＭＯＳセンサ１４３を制御して検査対象物Ｗを撮像し、この画像が検査対象画像として図３に示す良否判定部３０に入力される。
【0079】
ステップＳＢ２は良否判定ステップであり、良否判定部３０で行われる。良否判定部３０は、検査対象画像を識別器生成部２２で生成された識別器に入力し、当該検査対象画像の良否判定を行う部分である。識別器による良品画像と不良品画像の識別に寄与している特徴量に基づいて検査対象画像が良品画像であるか、不良品画像であるか判定される。
【0080】
例えば、検査対象画像の判定結果は、図１５及び図１６に示す判定結果表示用ユーザーインターフェース４６を用いて使用者に知らせることができる。判定結果表示用ユーザーインターフェース４６は、メイン基板１３の制御部１３Ａが生成し、表示装置４に表示させる。判定結果表示用ユーザーインターフェース４６には、検査対象画像を表示する画像表示領域４６ａと、判定結果を表示する結果表示領域４６ｂと、判定結果の確度を表示する確度表示領域４６ｃとが設けられている。画像入力部２１により検査対象画像が入力されると、その検査対象画像が画像表示領域４６ａに表示される。結果表示領域４６ｂには、検査対象画像が良品画像であると判定される場合には「ＯＫ」と表示され、検査対象画像が不良品画像であると判定される場合には「ＮＧ」と表示される。「ＯＫ」及び「ＮＧ」の表示は一例であり、表示形態はどのような形態であってもよく、良品画像と不良品画像とを区別することができる形態であればよい。例えば、結果表示領域４６ｂの色や、結果表示領域４６ｂに表示される記号等によって良品と不良品とを区別可能にしてもよい。
【0081】
確度表示領域４６ｃには、０～１００の数値と、数値に対応した長さのバーとが表示されるようになっている。数値が大きくなればなるほど、良品画像である確度が高くなる。例えば、図１３Ａに示す特徴量空間５０において、識別境界５１と良品画像との距離に基づいて判定の確度を演算することができる。識別境界５１と良品画像との距離が近ければ確度が低く、距離が遠ければ確度が高いと判定することができる。
【0082】
図１４に示すフローチャートのステップＳＢ３では、不安定画像があるか否かを判定する。画像入力部２１により入力された検査対象画像が図１３Ａに示す特徴量空間５０において識別境界５１に近い場合のように、良品画像であるか、不良品画像であるか、判定が困難な画像は安定度が低い画像であり、このような画像を不安定画像と呼ぶ。ステップＳＢ３において不安定画像がないと判定された場合には、ステップＳＢ１に進み、次の検査対象画像が入力され、その検査対象画像の良否判定を行う。ステップＳＢ３において不安定画像があると判定されると、ステップＳＢ４の追加画像入力ステップに進む。
【0083】
追加画像入力ステップでは、良品画像と不良品画像の両方の入力が可能となっている。図１５～図１７に示すように、判定結果表示用ユーザーインターフェース４６には、画像表示領域４６ａに表示されている画像を追加学習するための追加学習ボタン４６ｄが設けられている。図１７に示す例は、使用者が良品であると認識している画像が画像検査装置１によって不良品画像であると判定された例である。この場合、使用者が追加学習ボタン４６ｄを押すと、図１８に示すように、判定結果表示用ユーザーインターフェース４６に設定ボタン４６ｅが表示される。設定ボタン４６ｅは、「不良」と「良品」の一方を選択することができるように構成されており、使用者が「不良」を選択すると、画像表示領域４６ａに表示されている画像が不良品画像であるとして識別器生成部２２の機械学習器に入力され、また、使用者が「良品」を選択すると、画像表示領域４６ａに表示されている画像が良品画像であるとして識別器生成部２２の機械学習器に入力される。図１８に示す例では、使用者が良品であると認識している画像が画像表示領域４６ａに表示されているので、使用者が「良品」を選択している。このようにして追加画像が入力される。図１４に示すフローチャートのステップＳＢ５は再学習ステップである。図１３Ｂに示すように、符号Ａで示す枠内に良品画像が追加された場合には、その画像が特徴量空間５０上でプロットされて識別境界５０が修正される。
【0084】
（再学習ステップの詳細）
図１９に示すフローチャートは、再学習ステップの詳細を示すものであり、使用者による良否画像または不良品画像の誤登録（誤入力）を検知する機能を実現する手順を示している。例えば、使用者により新たに機械学習器に入力された追加画像には、上述した図１４に示すフローチャートのステップＳＢ４において使用者により良品または不良品のいずれか一方の属性が付与されている。しかし、使用者が良品である画像を誤って不良品であると認識していたり、不良品である画像を誤って良品であると認識し、誤った属性を追加画像に付与してしまうおそれがある。
図１９に示すフローチャートは、再学習ステップの詳細を示すものであり、使用者による良否画像または不良品画像の誤登録（誤入力）を検知する機能を実現する手順を示している。例えば、使用者により新たに機械学習器に入力された追加画像には、上述した図１４に示すフローチャートのステップＳＢ４において使用者により良品または不良品のいずれか一方の属性が付与されている。しかし、使用者が良品である画像を誤って不良品であると認識していたり、不良品である画像を誤って良品であると認識し、誤った属性を追加画像に付与してしまうおそれがある。
【0085】
この実施形態では、使用者により新たに機械学習器に入力された良品または不良品のいずれか一方の属性が付与された追加画像を図１３Ａ等に示す特徴量空間５０上にプロットしたとき、当該追加画像の特徴量空間５０上における位置と、識別境界５１または他方の属性の画像の代表点までの距離とに基づいて当該追加画像の属性が誤っている可能性を推測し、当該追加画像の属性が誤っている可能性があると推測される場合に、当該追加画像の属性が誤っている可能性がある旨の通知を行う通知手段２６（図３に示す）を備えている。
【0086】
以下、識別器生成部２２及び通知手段２６による具体的な制御内容について説明する。図１９に示すフローチャートのスタート後のステップＳＣ１では学習データ（追加画像）が入力される。これは図１４に示すフローチャートのステップＳＢ４によって実行されるので、追加画像には使用者により良品または不良品のいずれか一方の属性が付与されている。その後、ステップＳＣ２では、特徴抽出部２５で追加画像の特徴量が抽出される。次いで、ステップＳＣ３では、識別器生成部２２により、図１３Ａに示すような識別境界５１（識別曲線ともいう）を算出する。ステップＳＣ４では、学習データである追加画像を特徴量空間５０上にプロットし、追加画像と、識別境界５１との距離から安定度を算出する。追加画像と、識別境界５１との距離が近ければ安定度が低く、遠ければ安定度が高いと判定することができる。
【0087】
ステップＳＣ５では、追加画像に「疑わしい」ラベルがあるか否かを判定する。追加画像が１つ目である場合には、「疑わしい」ラベルがある追加画像は無いので、ＮＯと判定されてステップＳＣ６に進む。ステップＳＣ６では、追加画像の安定度が閾値以上であるか否かを判定する。追加画像の安定度が閾値以上であればＹＥＳと判定されてステップＳＣ７に進む。ステップＳＣ７では、次の追加画像があるか否か、即ち追加学習があるか否かを判定し、追加学習があればステップＳＣ１に進む一方、追加学習が無ければ、終了する。
【0088】
ステップＳＣ６でＮＯと判定されて追加画像の安定度が閾値未満であればステップＳＣ８に進み、追加画像を「疑わしい」とラベリングする。「疑わしい」とは、追加画像の属性が誤っている可能性があるということであり、この推測は安定度に基づいて行うことができる。ステップＳＣ９では、「疑わしい」ラベルがある追加画像がすでにあれば、その「疑わしい」ラベルがある追加画像と他の追加画像との類似度を計算する。具体的には、「疑わしい」ラベルがある追加画像と、他の追加画像とが互いに似た画像であるか否かを画像処理によって判定し、互いに似ていれば類似度が高いとすることができる。例えば数値によって画像の類似度を表すことができる。
【0089】
ステップＳＣ１０では、今回追加された「疑わしい」ラベルがある追加画像と、これとは異なる「疑わしい」ラベルがある追加画像との類似度が閾値以上であるか否かを判定する。ステップＳＣ１０でＮＯと判定されて類似度が閾値未満である場合には、ステップＳＣ７に進む。一方、ステップＳＣ１０でＹＥＳと判定された場合にはステップＳＣ１１に進み、追加画像の属性が誤っている可能性がある旨の通知を通知手段２６（図３に示す）が使用者に対して行う。通知の方法は特に限定されるものはなく、例えば、追加画像の属性が誤っている可能性がある旨のメッセージを表示装置４に表示する方法や音声で通知する方法等を挙げることができる。疑わしい画像が無い場合には、図１９に実線で示す処理の流れになる。
【0090】
通知手段２６は、良品または不良品のいずれか一方の属性が付与された追加画像の特徴量空間５０（図１３Ａに示す）上における位置と、他方の属性の代表点までの距離とが閾値未満の場合に、当該追加画像の属性が誤っている可能性があると推測するように構成することができる。代表点は、特徴量空間５０上でプロットされた複数の他方の属性の画像のうち、追加画像に最も近い点とすることができる。また、代表点は、特徴量空間５０上でプロットされた複数の他方の属性の画像の重心点とすることができる。
【0091】
また、通知手段２６は、追加画像の特徴量空間５０上における位置と、良品または不良品のいずれか一方の属性の画像の代表点との距離よりも、追加画像の特徴量空間５０上における位置と、他方の属性の画像の代表点との距離が近い場合には、当該追加画像の属性が誤っている可能性があると推測するように構成することができる。
【0092】
通知手段２６が通知した後、使用者は追加画像の属性を修正することができる。図３に示すように、画像検査装置１は選択手段２７を備えており、この選択手段２７は、通知手段２６から追加画像の属性が誤っている可能性がある旨の通知を受けた場合に、使用者による当該追加画像の属性を修正するか否かの選択を受け付ける部分である。選択手段２７は、例えば図１８に示すユーザーインターフェースの設定ボタン４６ｅのような選択ボタンを表示装置４に表示させ、使用者が「不良」と「良品」の一方を選択することができるように構成することができる。使用者が「不良」を選択すると、追加画像の属性が不良になり、使用者が「良品」を選択すると、追加画像の属性が良品になる。通知手段２６の通知が誤っている場合もあるので、最終判断は使用者に委ねるようにしている。そして、識別器生成部２２は、選択手段２７による選択結果に基づいて追加画像の属性を決定した場合、決定された属性に基づいて識別境界５１を修正することができる。
【0093】
図２０Ａは、良品画像群と不良品画像群がプロットされた特徴量空間を模式的に示す図であり、図２０Ｂは、これまで登録された良品画像とは異なる新品種の良品画像が追加されて識別境界が修正された特徴量空間を模式的に示す図である。すなわち、図２１に示すフローチャートにおいて実線で示すように処理が進むことになり、まず、ステップＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５に進み、ステップＳＣ５においてＮＯと判定されてステップＳＣ６に進む。その後、ステップＳＣ６では、これまで登録された良品画像とは異なる新品種であることから、安定度が閾値未満であり、したがって、ＮＯと判定される。そして、ステップＳＣ８、ＳＣ９に進む。次いで、ステップＳＣ１０においてＮＯと判定されて、今回追加された「疑わしい」ラベルがある追加画像と、これとは異なる「疑わしい」ラベルがある追加画像との類似度が閾値未満である場合には、ステップＳＣ１１に進むことなく、即ち使用者に通知をすることなく、ステップＳＣ７に進む。つまり、図２０Ｂに示すように、これまで登録された良品画像との相違が大きくて安定度が閾値未満である追加画像であっても、符号Ｂの枠内に示すように、追加画像が特徴量空間５０上でプロットされ、これにより識別境界５１が修正される。
【0094】
図２２は、新品種の良品画像が更に追加されて識別境界が修正された特徴量空間を模式的に示す図である。新品種の良品画像が更に追加されると、図２３に示すフローチャートにおいて実線で示すように処理が進むことになる。まず、ステップＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５に進む。ステップＳＣ５では、「疑わしい」ラベルがある追加画像が既に追加されているので、ＹＥＳと判定されてステップＳＣ９に進む。その後、ステップＳＣ９からステップＳＣ１０に進み、ステップＳＣ１０においてＮＯと判定されて、今回追加された「疑わしい」ラベルがある追加画像と、これとは異なる「疑わしい」ラベルがある追加画像との類似度が閾値未満である場合には、ステップＳＣ１１に進むことなく、即ち使用者に通知をすることなく、ステップＳＣ７に進む。つまり、図２２に示すように、これまで登録された良品画像との相違が大きくて安定度が閾値未満である追加画像を、符号Ｂの枠内に示すように特徴量空間５０上で複数プロットすることになる。これにより識別境界５１が修正される。
【0095】
したがって、通知手段２６は、使用者が付与した追加画像の属性が誤っている可能性があると推測される場合に、当該追加画像との類似度が所定以上である画像が画像入力部２１により既に入力されているか否か判定し、入力されていないと判定されたときには、追加画像の属性が誤っている可能性がある旨の通知を行わないように構成されている。
【0096】
図２４Ａは、良品画像群と不良品画像群がプロットされた特徴量空間を模式的に示す図であり、図２４Ｂは、既に登録されている品種、即ち既存品種が誤登録された場合の特徴量空間を模式的に示す図である。既存品種が誤登録された場合には、図２５に示すフローチャートにおいて実線で示すように処理が進むことになる。まず、ステップＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５に進み、ステップＳＣ５においてＮＯと判定されてステップＳＣ６に進む。その後、ステップＳＣ６でＹＥＳと判定されてステップＳＣ８、ＳＣ７、ＳＣ９に進み、ステップＳＣ１０においてＹＥＳと判定されて、今回追加された「疑わしい」ラベルがある追加画像と、これとは異なる「疑わしい」ラベルがある追加画像との類似度が閾値以上であるので、ステップＳＣ１１に進み、追加画像の属性が誤っている可能性がある旨の通知を通知手段２６が使用者に対して行う。
【0097】
したがって、通知手段２６は、使用者が付与した属性が誤っている可能性があると推測される追加画像に、誤登録の可能性があることを示す目印として「疑わしい」ラベルを付与し、当該追加画像とは別の追加画像が特徴量空間５０上にプロットされたとき、当該別の追加画像と、「疑わしい」ラベルが付与された追加画像との類似度が所定以上であると判定されると、追加画像の属性が誤っている可能性がある旨の通知を行うように構成されている。
【0098】
図２６Ａは、良品画像群と不良品画像群がプロットされた特徴量空間を模式的に示す図であり、図２６Ｂは、不良品の新品種が良品として誤登録された場合の特徴量空間を模式的に示す図であり、図２６Ｃは、不良品の新品種が複数良品として誤登録された場合の特徴量空間を模式的に示す図である。この場合、図２７に示すように示すフローチャートにおいて実線で示すように処理が進むことになる。まず、ステップＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５に進み、ステップＳＣ５においてＮＯと判定されてステップＳＣ６に進む。その後、ステップＳＣ６においてＮＯと判定されて安定度が閾値未満であるので、ステップＳＣ８、ＳＣ９に進む。次いで、ステップＳＣ１０においてＮＯと判定されて、今回追加された「疑わしい」ラベルがある追加画像と、これとは異なる「疑わしい」ラベルがある追加画像との類似度が閾値未満である場合には、ステップＳＣ１１に進むことなく、即ち使用者に通知をすることなく、ステップＳＣ７に進む。つまり、図２６Ｂに示すように、これまで登録された良品画像との相違が大きくて安定度が閾値未満である追加画像であっても、符号Ｃの枠内に示すように、追加画像がプロットされ、これにより識別境界５１が修正されるが、図２６Ｃに示すように、「疑わしい」画像と類似しかつ異なるラベルの画像が多数検出された場合には、ステップＳＣ１０においてＹＥＳと判定されて、ステップＳＣ１１に進み、追加画像の属性が誤っている可能性がある旨の通知を通知手段２６が使用者に対して行う。この場合は、当初追加された追加画像が誤登録されているということであり、この当初された追加画像も誤登録である旨を通知することができる。
【0099】
また、通知手段２６が、追加画像の属性が誤っている可能性がある旨の通知を行う際に、「疑わしい」ラベルが付与された追加画像を制御部１３Ａが表示装置４に表示させるとともに、「疑わしい」ラベルが付与された追加画像との類似度が所定以上である別の追加画像も制御部１３Ａが表示装置４に表示するように構成されている。これにより、属性が誤っている可能性があると推測される複数の追加画像を一度に確認することができる。
【0100】
（不安定画像の検出手順）
次に、図２８に示すフローチャートに基づいて不安定画像の検出手順について説明する。スタート後のステップＳＤ１では、学習データ（追加画像）が入力される。これは図１４に示すフローチャートのステップＳＢ４によって実行されるので、追加画像には使用者により良品または不良品のいずれか一方の属性が付与されている。その後、ステップＳＤ２では、特徴抽出部２５で追加画像の特徴量が抽出される。次いで、ステップＳＤ３では、識別器生成部２２により、図２９に示すような識別境界５１（識別曲線ともいう）を算出する。ステップＳＤ４では、学習データである追加画像を特徴量空間５０上にプロットし、追加画像と、識別境界５１との距離から安定度を算出する。例えば、図２９に符号Ｄで示す枠内に追加画像がプロットされた場合、その追加画像と、識別境界５１との距離を算出する。距離は図３０に示す式により計算することができるが、分子がｆ（ｘ）であり、＋１と－１に固定されるため、||ｗ||のみを評価すればよい。
次に、図２８に示すフローチャートに基づいて不安定画像の検出手順について説明する。スタート後のステップＳＤ１では、学習データ（追加画像）が入力される。これは図１４に示すフローチャートのステップＳＢ４によって実行されるので、追加画像には使用者により良品または不良品のいずれか一方の属性が付与されている。その後、ステップＳＤ２では、特徴抽出部２５で追加画像の特徴量が抽出される。次いで、ステップＳＤ３では、識別器生成部２２により、図２９に示すような識別境界５１（識別曲線ともいう）を算出する。ステップＳＤ４では、学習データである追加画像を特徴量空間５０上にプロットし、追加画像と、識別境界５１との距離から安定度を算出する。例えば、図２９に符号Ｄで示す枠内に追加画像がプロットされた場合、その追加画像と、識別境界５１との距離を算出する。距離は図３０に示す式により計算することができるが、分子がｆ（ｘ）であり、＋１と－１に固定されるため、||ｗ||のみを評価すればよい。
【0101】
ステップＳＤ５では、安定度が閾値以上であるか否かを判定し、安定度が閾値以上であればＹＥＳと判定されてステップＳＤ６に進む。ステップＳＤ６では、次の追加画像があるか否か、即ち追加学習があるか否かを判定し、追加学習があればステップＳＤ１に進む一方、追加学習が無ければ、終了する。ステップＳＤ５でＮＯと判定された場合には、ステップＳＤ７に進み、追加画像の属性が誤っている可能性がある旨の通知を通知手段２６が使用者に対して行う。通知手段２６から追加画像の属性が誤っている可能性がある旨の通知を受けた場合には、使用者による当該追加画像の属性を修正するか否かの選択を選択手段２７により受け付けることができる。
【0102】
（学習寄与度合い通知）
通知手段２６は、使用者により良品または不良品のいずれか一方の属性が付与された追加画像の特徴量空間５０上における位置と、他方の属性の代表点までの距離とに基づいて安定度を算出し、算出された安定度が所定未満の場合には、追加画像が機械学習器の学習に寄与していない旨の通知を行うように構成されている。例えば、図３１に示すグラフは、横軸が学習枚数、即ち学習のために画像入力部２１により入力された良品画像の枚数を示し、縦軸が上述した||ｗ||を示している。
通知手段２６は、使用者により良品または不良品のいずれか一方の属性が付与された追加画像の特徴量空間５０上における位置と、他方の属性の代表点までの距離とに基づいて安定度を算出し、算出された安定度が所定未満の場合には、追加画像が機械学習器の学習に寄与していない旨の通知を行うように構成されている。例えば、図３１に示すグラフは、横軸が学習枚数、即ち学習のために画像入力部２１により入力された良品画像の枚数を示し、縦軸が上述した||ｗ||を示している。
【0103】
図３１に示すグラフでは、||ｗ||がほぼ単純増加となっているため、一度||ｗ||が閾値（破線で示す）を超えると、追加学習を行っても検査対象物Ｗの検出可能領域に戻ることはないことが分かる。つまり、追加画像が機械学習器の学習に寄与していない領域に入ると、追加画像が機械学習器の学習に寄与していない旨の通知を通知手段２６が使用者に対して行う。これにより、露光時間や光量の調整などの撮像設定の見直しを促して学習効果を高める方向に使用者を誘導することができる。
【0104】
（自動ウインドウ設定機能）
次に、自動ウインドウ設定機能について説明する。一般的に、機械学習器を用いた画像識別では、検出領域として全画像領域を扱っている。しかしながら、検査対象物Ｗの検査を行っている実際の現場では、検査対象物Ｗが画像の全体に存在しているケースは少なく、画像の一部にのみ存在しているケースが多いので、全画像領域を検出領域にしてしまうと、検査対象物Ｗが存在していない部分についても学習及び識別の対象となり、その結果、識別精度の低下を招くとともに、不必要な演算が行われて時間が長引いてしまう。本実施形態では、使用者の負担を減らしながら、機械学習器に入力すべき部分を自動的に設定可能にするために、自動ウインドウ設定機能を搭載している。自動ウインドウ設定機能は、常時有効にしておいてもよいし、使用者が必要なときにのみ有効にするようにしてもよい。また、自動ウインドウ設定機能で設定した検査ウインドウを使用者が修正することもできる。
次に、自動ウインドウ設定機能について説明する。一般的に、機械学習器を用いた画像識別では、検出領域として全画像領域を扱っている。しかしながら、検査対象物Ｗの検査を行っている実際の現場では、検査対象物Ｗが画像の全体に存在しているケースは少なく、画像の一部にのみ存在しているケースが多いので、全画像領域を検出領域にしてしまうと、検査対象物Ｗが存在していない部分についても学習及び識別の対象となり、その結果、識別精度の低下を招くとともに、不必要な演算が行われて時間が長引いてしまう。本実施形態では、使用者の負担を減らしながら、機械学習器に入力すべき部分を自動的に設定可能にするために、自動ウインドウ設定機能を搭載している。自動ウインドウ設定機能は、常時有効にしておいてもよいし、使用者が必要なときにのみ有効にするようにしてもよい。また、自動ウインドウ設定機能で設定した検査ウインドウを使用者が修正することもできる。
【0105】
自動ウインドウ設定機能の処理手順について、図３２に示すフローチャートに基づいて説明する。スタート後のステップＳＥ１では、良品画像と不良品画像を入力する。これは画像入力部２１により行うことができる。ステップＳＥ２では、画像入力部２１により入力された良品画像と不良品画像との特徴量の差、例えば、画像入力部２１により入力された良品画像と不良品画像との差分を抽出する。その後、ステップＳＥ３において良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウを自動的に設定する。検査ウインドウの設定は図３に示す第１ウインドウ設定部２８が行う。
【0106】
図３３に基づいて、検査ウインドウを自動的に設定する処理について説明する。図３３は、単領域に検査ウインドウを自動的に設定する場合を示している。まず、良品の検出対象物Ｗを撮像した良品画像と、検査対象物Ｗが無い不良品画像とが画像入力部２１により入力されたとする。図示するように、良品画像の全体に占める検査対象物Ｗは小さく、良否画像の大部分は、判別に寄与しない領域となっている。不良品画像においても同様に、判別に寄与しない領域が大きなものになる。
【0107】
そして、第１ウインドウ設定部２８が、良品画像と不良品画像との差分を抽出する。これにより、良品画像と不良品画像との特徴量の差を有する領域が特定される。第１ウインドウ設定部２８は、良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウ１００を自動的に設定する。検査ウインドウ１００は、良品画像と不良品画像との特徴量の差を有する領域を囲む外接矩形状にすることができるが、これに限られるものではなく、例えば外接円形状等にすることもできる。特徴量の差を有する領域が検査ウインドウ１００によって自動的に囲まれるので、使用者の負担が増加することはなく、しかも、必要以上に大きめの範囲が指定されることもない。
【0108】
識別器生成部２２は、画像入力部２１により入力された良品画像及び不良品画像のうち、第１ウインドウ設定部２８により設定された検査ウインドウ１００内の画像を、複数層で構成された機械学習器に入力し、良品画像と不良品画像を識別する識別器を生成するように構成することができる。すなわち、良品画像のうち、検査ウインドウ１００に沿って切り抜かれた当該検査ウインドウ１００内の画像と、不良品画像のうち、検査ウインドウ１００に沿って切り抜かれた当該検査ウインドウ１００内の画像とが機械学習器に入力される。検査ウインドウ１００内の画像は、元の良品画像及び不良品画像よりも小さく、この検査ウインドウ１００内の画像が機械学習器に入力されて良品画像と不良品画像を識別する識別器が生成されるので、良品画像及び不良品画像の判別に寄与しない領域が入力されなくなり、識別精度が高まるとともに、処理時間が短くなる。
【0109】
図３に示すように、画像検査装置１は第２ウインドウ設定部２９を備えている。第２ウインドウ設定部２９は、画像検査装置１の運用時に画像入力部２１に入力された検査対象画像上に検査ウインドウ１００を設定する部分である。上述のようにして良品画像と不良品画像との特徴量の差を有する領域を特定することができるので、その領域の特徴量に基づいて、検査対象画像上で特徴量の差を有する領域を特定することができる。この検査対象画像上で特定された領域を囲むように検査ウインドウ１００が自動的に設定されるので、使用者の負担が増加することはなく、しかも、必要以上に大きめの範囲が指定されることもない。また、第２ウインドウ設定部２９は、画像検査装置１の運用時に画像入力部２１に入力された検査対象画像上に、第１ウインドウ設定部２８により設定された検査ウインドウ１００と同じ形状及び大きさの検査ウインドウ１００を自動的に設定するように構成されている。尚、第１ウインドウ設定部２８と第２ウインドウ設定部２９とは概念的に分けて記載しているだけであり、例えば、第２ウインドウ設定部２９を省略して第１ウインドウ設定部２８により、画像検査装置１の運用時に検査対象画像上に検査ウインドウ１００を設定するように構成してもよい。この場合、ウインドウ設定部は１つになる。
【0110】
図３に示す良否判定部３０は、第２ウインドウ設定部２９により設定された検査ウインドウ１００内の画像を識別器に入力し、当該検査対象画像の良否判定を行うように構成されている。例えば、図１３Ａに示すような特徴量空間５０に、検査ウインドウ１００内の画像をプロットし、識別境界５１よりも良品画像側の領域に入っていれば、検査対象画像が良品であると判定し、一方、識別境界５１よりも不良品画像側の領域に入っていれば、検査対象画像が不良品であると判定することができる。判定結果は、図１５や図１６に示す判定結果表示用ユーザーインターフェース４６に表示することができる。
【0111】
図３４は、複数領域に検査ウインドウを自動的に設定する手順を示すフローチャートである。スタート後のステップＳＦ１では、良品画像と不良品画像を入力する。これは画像入力部２１により行うことができる。ステップＳＦ２では、画像入力部２１により入力された良品画像と不良品画像との特徴量の差、例えば、画像入力部２１により入力された良品画像と不良品画像との差分を抽出する。図３５に示すように、良品画像に複数の検査対象物Ｗが互いに間隔をあけて含まれている場合には、差分抽出を行うと、良品画像と不良品画像との特徴量の差を有する複数の領域が互いに間隔をあけて存在することになる。ブロブ処理無しの画像例に示すように、複数の領域の全てを囲むように検査ウインドウ１００を設定すると、検査ウインドウ１００が大きくなるとともに、検査ウインドウ１００内には、良品画像と不良品画像の識別に寄与していない領域が広く含まれることになる。その結果、識別精度が低下したり、処理時間が長時間化するおそれがある。
【0112】
そこで、本実施形態では、図３４のフローチャートのステップＳＦ３においてブロブ処理を行い、その後、ステップＳＦ４において各々の領域に対して検査ウインドウ１００を自動的に設定する。つまり、第１ウインドウ設定部２８は、設定される検査ウインドウ１００の大きさが所定以上であるか否かを判定し、設定される検査ウインドウ１００の大きさが所定以上である場合には、良品画像または不良品画像にブロブ処理を行ってラベリングを行い、ラベリングされた各ブロブ領域に対し、所定未満の大きさの検査ウインドウ１００をそれぞれ設定するように構成されている。尚、設定される検査ウインドウ１００の大きさが所定未満であれば、ブロブ処理をキャンセルすることができる。
【0113】
図３５に示す例では、良品画像と不良品画像との特徴量の差を有する領域が４つあり、これらが良品画像の４つの角部近傍に位置している。ブロブ処理を行うことで、特徴量の差を有する領域を個別に特定することができる。そして、第１ウインドウ設定部２８が４つの領域をそれぞれ囲むように、複数の検査ウインドウ１００を設定する。これにより、機械学習器に入力される画像に無駄な領域が少なくなり、識別精度を高めることができる。運用時にも同様に複数の検査ウインドウ１００を設定することができる。
【0114】
図３６は、複数領域を重ね合わせてから検査ウインドウを自動的に設定する手順を示すフローチャートである。スタート後のステップＳＧ１では、複数の良品画像と複数の不良品画像を入力する。これは画像入力部２１により行うことができる。ステップＳＧ２では、複数の良品画像を重ね合わせる処理を行う。例えば、図３７に示すように、第１～第４良品画像が入力された場合を想定する。これら第１～第４良品画像の検査対象物Ｗは、傾きが互い異なっているが、良品画像中における位置は殆ど同じである。このような場合に第１～第４良品画像を重ね合わせると、差分抽出画像に示すように、第１～第４良品画像の検査対象物Ｗの大部分が互いに重なり合うようになる。
【0115】
また、図３６に示すフローチャートのステップＳＧ３では、複数の不良品画像を重ね合わせる処理を行う。その後、ステップＳＧ４において、重ね合わせ処理後の良品画像と、重ね合わせ処理後の不良品画像との特徴量の差分抽出を行う。図３７に示す差分抽出画像のような結果が得られる。上述したように、第１～第４良品画像の検査対象物Ｗの位置が殆ど同じであるため、重ね合わせ処理を事前に行うことで、良品画像と不良品画像との特徴量の差を有する領域が狭くなる。したがって、ステップＳＧ５で検査ウインドウ１００を設定する際に、検査ウインドウ１００の大きさが小さくて済む。
【0116】
（位置補正処理）
図３８は、位置補正処理を行う場合の手順を示すフローチャートである。ステップＳＨ１では、マスター画像を登録する。マスター画像の登録は、図４に示すフローチャートのステップＳＡ２と同様にして行うことができる。このとき、画像入力部２１により、位置補正の基準を含む良品画像を入力する。例えば、図３９に示すマスター画像のように、位置補正の基準を示す基準部１０１を含む画像をマスター画像とする。図３８に示すフローチャートのステップＳＨ２では、位置補正用設定を行う。具体的には、マスター画像の基準部１０１を選択し、基準部１０１が位置補正の基準であることを入力する。基準部１０１は、例えば方向性のある部品や目印、記号、文字等で構成することができる。
図３８は、位置補正処理を行う場合の手順を示すフローチャートである。ステップＳＨ１では、マスター画像を登録する。マスター画像の登録は、図４に示すフローチャートのステップＳＡ２と同様にして行うことができる。このとき、画像入力部２１により、位置補正の基準を含む良品画像を入力する。例えば、図３９に示すマスター画像のように、位置補正の基準を示す基準部１０１を含む画像をマスター画像とする。図３８に示すフローチャートのステップＳＨ２では、位置補正用設定を行う。具体的には、マスター画像の基準部１０１を選択し、基準部１０１が位置補正の基準であることを入力する。基準部１０１は、例えば方向性のある部品や目印、記号、文字等で構成することができる。
【0117】
ステップＳＨ３では複数の良品画像を入力する。また、ステップＳＨ４では複数の不良品画像を入力する。ステップＳＨ５では、ステップＳＨ３で入力された良品画像群に対して位置補正された画像を作成する。図３９に示すように、第１～第４良品画像の検査対象物Ｗの向きや傾きが異なっている場合には、第１ウインドウ設定部２８が、基準部１０１に基づいて良品画像の位置補正を行う。例えば、基準部１０１の特定の部分１０１ａが真上に来るように、第１～第４良品画像の検査対象物Ｗの向きや傾きを変える。これにより、図３８の第１～第４位置補正画像が得られる。また、図３８に示すフローチャートのステップＳＨ６では、同様にして不良品画像群に対して位置補正された画像を作成する。
【0118】
ステップＳＨ７では、第１～第４位置補正画像を重ね合わせる処理を行う。これは、図３６のフローチャートのステップＳＧ２と同じ処理である。また、ステップＳＨ８では、位置補正後の不良品画像を重ね合わせる処理を行う。
【0119】
ステップＳＨ９では、重ね合わせ処理後の良品画像と、重ね合わせ処理後の不良品画像との特徴量の差分抽出を行う。図３９に示す差分抽出画像のような結果が得られる。位置補正及び重ね合わせ処理を事前に行うことで、良品画像と不良品画像との特徴量の差を有する領域が狭くなる。したがって、ステップＳＨ１０で検査ウインドウ１００を設定する際に、検査ウインドウ１００の大きさが小さくて済む。
【0120】
（実施形態の作用効果）
以上説明したように、この実施形態に係る画像検査装置１によれば、良品画像と不良品画像を機械学習器に入力して識別器を生成する場合に、識別に寄与している特徴量の良品範囲を拡張する操作を受け付けることができる。識別に寄与している特徴量の良品範囲を拡張した結果、新たに良品画像として判定される画像を画像生成部２４が生成し、その生成された画像を表示装置４するとともに、機械学習器に入力して識別器を更新するようにしたので、使用者への負担を少なくしながら検査対象物Ｗの良否判定の精度を高めることができるとともに、その識別結果を使用者による判別の感覚に近づけることができる。
以上説明したように、この実施形態に係る画像検査装置１によれば、良品画像と不良品画像を機械学習器に入力して識別器を生成する場合に、識別に寄与している特徴量の良品範囲を拡張する操作を受け付けることができる。識別に寄与している特徴量の良品範囲を拡張した結果、新たに良品画像として判定される画像を画像生成部２４が生成し、その生成された画像を表示装置４するとともに、機械学習器に入力して識別器を更新するようにしたので、使用者への負担を少なくしながら検査対象物Ｗの良否判定の精度を高めることができるとともに、その識別結果を使用者による判別の感覚に近づけることができる。
【0121】
また、画像を追加して学習を行う際、その追加画像の属性が誤っている可能性を特徴量空間上で推測することができる。追加画像の属性が誤っている可能性があると推測される場合には使用者に通知し、その通知を受けた使用者による当該追加画像の属性の修正を受け付けて追加画像の属性を最終的に決定し、決定された属性に基づいて特徴量空間上の識別境界を修正することができる。これにより、良品画像及び不良品画像の入力時における誤入力を抑制し、良品画像及び不良品画像の識別精度を高めることができる。
【0122】
また、良品画像と不良品画像との特徴量の差を有する領域に検査ウインドウ１００を自動的に設定し、検査ウインドウ１００内の画像を機械学習器に入力して識別器を生成し、運用時には検査対象画像上に検査ウインドウ１００を自動的に設定して該検査ウインドウ１００内の画像を識別器に入力し、良否判定を行うようにしたので、検査対象物が画像の一部である場合に、使用者の負担を減らしながら、識別精度を向上させることができる。
【0123】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0124】
以上説明したように、本発明に係る画像検査装置は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う場合に使用することができる。
【符号の説明】
【0125】
１ 画像検査装置
２ 制御ユニット
４ 表示装置（表示部）
１３Ａ 制御部
１４ カメラモジュール（撮像部）
１５ 照明モジュール（照明部）
２１ 画像入力部
２２ 識別器生成部
２３ 操作受付部
２４ 画像生成部
２５ 特徴量抽出部
２６ 通知手段
２７ 選択手段
２８ 第１ウインドウ設定部
２９ 第２ウインドウ設定部
３０ 良否判定部
２ 制御ユニット
４ 表示装置（表示部）
１３Ａ 制御部
１４ カメラモジュール（撮像部）
１５ 照明モジュール（照明部）
２１ 画像入力部
２２ 識別器生成部
２３ 操作受付部
２４ 画像生成部
２５ 特徴量抽出部
２６ 通知手段
２７ 選択手段
２８ 第１ウインドウ設定部
２９ 第２ウインドウ設定部
３０ 良否判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
