特許 7130190 画像判定装置、学習方法及び画像判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-26

(45)【発行日】2022-09-05

(54)【発明の名称】画像判定装置、学習方法及び画像判定プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220829BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

【請求項の数】 8

(21)【出願番号】P 2018245678

(22)【出願日】2018-12-27

(65)【公開番号】P2020107105

(43)【公開日】2020-07-09

【審査請求日】2020-12-14

【前置審査】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】土屋 直樹

(72)【発明者】

【氏名】井尻 善久

(72)【発明者】

【氏名】丸山 裕

(72)【発明者】

【氏名】大川 洋平

(72)【発明者】

【氏名】林 剣之介

(72)【発明者】

【氏名】山元 左近

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２０１８－００５６３９（ＪＰ，Ａ）

【文献】特開２０１４－０２２８３７（ＪＰ，Ａ）

【文献】特開２０１６－０５７９２５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

検査対象の画像に基づいて、前記画像のそれぞれ異なる種類の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、
前記１又は複数の特徴抽出器から出力されたそれぞれの前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器と、
学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器を学習させる学習部と、を備え、
前記学習部は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力されるそれぞれの前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させ、さらに、前記判定器の追加学習とあわせて、前記１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する、
画像判定装置。

【請求項2】

前記学習部は、前記判定器のパラメータを更新すること及び前記判定器に入力される前記特徴データの重みを更新することの少なくともいずれかを実行することで、前記判定器の追加学習を行う、
請求項１に記載の画像判定装置。

【請求項3】

入力に基づいて、前記１又は複数の特徴抽出器の編集を行う編集部をさらに備える、
請求項１または２に記載の画像判定装置。

【請求項4】

前記編集部は、前記入力に基づいて、前記画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加する、
請求項３に記載の画像判定装置。

【請求項5】

前記編集部は、前記入力に基づいて、前記１又は複数の特徴抽出器の一部を削除する、
請求項３又は４に記載の画像判定装置。

【請求項6】

前記編集部は、前記入力に基づいて、前記１又は複数の特徴抽出器のパラメータを編集する、
請求項３から５のいずれか一項に記載の画像判定装置。

【請求項7】

検査対象の画像に基づいて、前記画像のそれぞれ異なる種類の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力されたそれぞれの前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器を、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力されるそれぞれの前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させると共に、前記判定器の追加学習とあわせて、前記１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新することと、を含む学習方法。

【請求項8】

画像判定装置に備えられた演算部を、
検査対象の画像に基づいて、前記画像のそれぞれ異なる種類の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、
前記１又は複数の特徴抽出器から出力されたそれぞれの前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器、及び
学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器を学習させる学習部、として機能させ、
前記学習部は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器に入力した場合に出力されるそれぞれの前記特徴データに基づいて、前記判定器により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器を追加学習させ、さらに、前記判定器の追加学習とあわせて、前記１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する、画像判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像判定装置、学習方法及び画像判定プログラムに関する。

【背景技術】

【0002】

従来、ＦＡ（Factory Automation）分野では、画像処理を用いた自動制御が広く実用化されている。例えば、ワーク等の検査対象を撮像し、その撮像された画像から抽出された特徴量に基づいて、当該ワークについての良否を検査するような工程が実現される。

【0003】

例えば特許文献１には、複数の撮像条件で撮像した検査対象の画像を学習用データに用いて学習した識別器の出力結果に基づいて、検査対象の欠陥の有無を判定する装置について開示されている。具体的には、特許文献１に記載の装置は、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮像条件で撮像された画像に基づく少なくとも２つの画像のそれぞれから、当該画像の特徴量を抽出する学習用抽出手段と、前記学習用抽出手段により前記少なくとも２つの画像から抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択する選択手段と、前記選択手段により選択された前記特徴量に基づいて、対象物の良否を判定する識別器を生成する生成手段と、を有する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－４９９７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

検査対象の画像について学習モデルによって欠陥の有無やワーク種類等の判定を行う場合、画像のどのような特徴に注目して判定結果が得られたのかを明確にする場合がある。しかしながら、新しく得られた学習データを用いて学習モデルの追加学習を行う場合、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、画像のどのような特徴に注目して判定結果が得られたのかが説明できなくなることがある。

【0006】

そこで、本発明は、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる画像判定装置、学習方法及び画像判定プログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係る画像判定装置は、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器と、学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器を学習させる学習部と、を備え、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させる。

【0008】

この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。

【0009】

上記態様において、学習部は、判定器のパラメータを更新すること及び判定器に入力される特徴データの重みを更新することの少なくともいずれかを実行することで、判定器の追加学習を行ってもよい。

【0010】

この態様によれば、追加学習によって、より精度良く判定結果が得られるように判定器を更新することができる。

【0011】

上記態様において、学習部は、判定器の追加学習とあわせて、１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新してもよい。

【0012】

この態様によれば、追加学習によって、１又は複数の特徴抽出器の一部の特徴抽出器についてもあわせて更新することで、特徴抽出をより精度良く行い、かつ、より精度の良い判定結果が得られるように判定器を更新することができる。

【0013】

上記態様において、入力に基づいて、１又は複数の特徴抽出器の編集を行う編集部をさらに備えてもよい。

【0014】

この態様によれば、抽出する画像の特徴を柔軟に変更して、使用環境に適した画像判定を実行するようにすることができる。

【0015】

上記態様において、編集部は、入力に基づいて、画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加してもよい。

【0016】

この態様によれば、判定器への入力に追加された画像の特徴を明確にして学習モデルの追加学習を行うことができる。

【0017】

上記態様において、編集部は、入力に基づいて、１又は複数の特徴抽出器の一部を削除してもよい。

【0018】

この態様によれば、判定器への入力から削除された画像の特徴を明確にして学習モデルの追加学習を行うことができる。

【0019】

上記態様において、編集部は、入力に基づいて、１又は複数の特徴抽出器のパラメータを編集してもよい。

【0020】

この態様によれば、判定器に入力される画像の特徴に関する変更点を明確にして学習モデルの追加学習を行うことができる。

【0021】

本開示の他の態様に係る学習方法は、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器を、学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように学習させることと、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させることと、を含む。

【0022】

この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。

【0023】

本開示の他の態様に係る画像判定プログラムは、画像判定装置に備えられた演算部を、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器、及び学習画像及びラベルデータを含む学習データを用いて、学習画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器を学習させる学習部、として機能させ、学習部は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器に入力した場合に出力される特徴データに基づいて、判定器により画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器を追加学習させる。

【0024】

この態様によれば、１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。これにより、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる。

【発明の効果】

【0025】

本発明によれば、学習モデルの追加学習を行う場合であっても、画像のどのような特徴に注目して判定結果が得られたのかが明確となる画像判定装置、学習方法及び画像判定プログラムを提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の実施形態に係る画像判定システムの構成例を示す図である。

【図2】本実施形態に係る画像判定装置のハードウェア構成を示す図である。

【図3】本実施形態に係る画像判定装置の機能ブロックを示す図である。

【図4】本実施形態に係る学習モデルの構成例を示す図である。

【図5】本実施形態に係る学習モデルの編集例を示す図である。

【図6】本実施形態に係る画像判定装置により実行される画像判定処理のフローチャートである。

【図7】本実施形態に係る画像判定装置により実行される学習モデルの追加学習処理のフローチャートである。

【発明を実施するための形態】

【0027】

以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0028】

§１ 適用例
図１は、本発明の実施形態に係る画像判定システム１の構成例を示す図である。はじめに、本発明が適用される場面の一例について説明する。本実施形態に係る画像判定システム１は、検査対象を撮像することにより生成される入力画像を、画像判定装置１００が備える学習モデルによって解析し、欠陥検査や対象の分類を行う。学習モデルは、学習データを用いて、検査対象に関する欠陥の有無や検査対象の種類を分類するように事前に学習されていてよい。また、学習モデルは、新たな学習データが得られた場合に、追加学習されてよい。本実施形態に係る画像判定システム１は、学習モデルの追加学習を行う場合に、入力画像のどのような特徴に注目して判定結果が得られたのかが明確となるように学習モデルを更新する。なお、検査対象は、例えば、製造過程にある、部品、製品等のワーク（Work piece）等を含む。

【0029】

図１に示されるとおり、画像判定システム１は、例えば、ベルトコンベア２上を搬送される検査対象であるワーク４を撮像して得られる入力画像に対して画像計測処理を実行することで、ワーク４の外観検査又は外観計測を実現する。以下の説明においては、画像計測処理の典型例として、ワーク４表面における欠陥の有無の検査等に適用した例を説明するが、これに限らず、欠陥の種類の特定、欠陥の外観形状の寸法計測、ワーク４の種類の特定等にも応用が可能である。

【0030】

ベルトコンベア２の上部には撮像部であるカメラ１０２が配置されており、カメラ１０２の撮像視野６はベルトコンベア２の所定領域を含むように構成される。カメラ１０２の撮像により生成された画像データ（以下、「入力画像」ともいう。）は、画像判定装置１００へ送信される。カメラ１０２による撮像は、周期的又はイベント発生時に実行される。

【0031】

画像判定装置１００は、上位ネットワーク８を介して、ＰＬＣ（プログラマブルコントローラ）１０及びデータベース装置１２等と接続されている。画像判定装置１００における計測結果は、ＰＬＣ１０及び／又はデータベース装置１２へ送信されてもよい。なお、上位ネットワーク８には、ＰＬＣ１０及びデータベース装置１２に加えて、任意の装置が接続されるようにしてもよい。

【0032】

画像判定装置１００は、処理中の状態や計測結果等を表示するためのディスプレイ１０４と、ユーザ操作を受け付ける入力部としてのキーボード１０６及びマウス１０８とが接続されていてもよい。

【0033】

画像判定装置１００は機械学習によって生成された学習モデルを備えている。学習モデルは、画像を入力として受け付けて、画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器と、１又は複数の特徴抽出器から出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する判定器とを含む。ここで、１又は複数の特徴抽出器は、例えば、画像に含まれるエッジを抽出するエッジ抽出器、画像に含まれる平面領域を抽出する平面部抽出器、画像の背景模様を抽出する背景模様抽出器、画像に含まれる２値化領域を抽出する２値化領域抽出器等を含んでよい。１又は複数の特徴抽出器は、それぞれ人が理解しやすい単一の特徴を抽出するようなモデルであってよく、機械学習モデルであってもよいし、ルールベースモデルであってもよい。判定器は、１又は複数の特徴データを入力として受け付けて、画像に関する判定結果を表す出力データを出力する。出力データは、例えば、検査対象の欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。判定器は、例えばニューラルネットワークで構成されてよく、学習データを用いて、所望の出力データを出力するように事前に学習されていてよい。

【0034】

生産ライン上を流れるワーク４の種類や撮影条件等の検査条件は生産ラインによって様々であり、学習時の条件と必ずしも一致するとは限らない。このため、事前学習した学習モデルを生産ラインに用いると、誤った判定結果を出力することがある。そこで、学習モデルが正しく判定することができなかった画像を集めて、学習モデルの追加学習を行うことがある。この際、何ら制約無しに学習モデルの更新を行うと、当初想定していた特徴に注目して判定が行われているのか否かが不明確となり、画像のどのような特徴に注目して判定結果が得られたのかが説明できなくなることがある。そのため、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが困難となり、導入が妨げられる原因となることがある。

【0035】

本実施形態に係る画像判定装置１００は、このような事情に鑑み、追加学習を行う場合に、学習モデルに含まれる１又は複数の特徴抽出器については変更を加えず、判定器を更新することとして、画像のどのような特徴に注目して判定結果が得られたのかを明確としている。１又は複数の特徴抽出器は、それぞれ画像の特定の特徴を抽出するため、判定器を追加学習により更新したとしても、画像のどのような特徴に注目して判定結果が得られたのか特定することができる。これにより、生産ラインに学習モデルを導入する場合に、学習モデルの信頼性を説明することが容易となり、導入が妨げられないようにすることができる。

【0036】

§２ 構成例
［ハードウェア構成］
図２は、本実施形態に係る画像判定装置１００のハードウェア構成を示す図である。画像判定装置１００は、一例として、汎用的なコンピュータアーキテクチャに従って構成される汎用コンピュータを用いて実現されてもよい。画像判定装置１００は、プロセッサ１１０と、メインメモリ（主記憶部）１１２と、カメラインターフェイス１１４と、入力インターフェイス１１６と、表示インターフェイス１１８と、通信インターフェイス１２０と、ストレージ（補助記憶部）１３０とを含む。これらのコンポーネントは、典型的には、内部バス１２２を介して互いに通信可能に接続されている。

【0037】

プロセッサ１１０は、ストレージ１３０に格納されているプログラムをメインメモリ１１２に展開して実行することで、次図以降を用いて詳述するような機能及び処理を実現する。メインメモリ１１２は、揮発性メモリにより構成され、プロセッサ１１０によるプログラム実行に必要なワークメモリとして機能する。

【0038】

カメラインターフェイスは取得部の一例である。カメラインターフェイス１１４は、カメラ１０２と接続されて、カメラ１０２にて撮像された入力画像を取得する。カメラインターフェイス１１４は、カメラ１０２に対して撮像タイミング等を指示するようにしてもよい。

【0039】

入力インターフェイス１１６は、キーボード１０６及びマウス１０８等のユーザによる操作が行われる入力部と接続される。入力インターフェイス１１６は、ユーザが入力部に対して行った操作等を示す指令を取得する。

【0040】

表示インターフェイス１１８は、表示部としてのディスプレイ１０４と接続されている。表示インターフェイス１１８は、プロセッサ１１０によるプログラムの実行によって生成される各種処理結果をディスプレイ１０４へ出力する。

【0041】

通信インターフェイス１２０は、上位ネットワーク８を介して、ＰＬＣ１０及びデータベース装置１２等と通信するための処理を担当する。

【0042】

ストレージ１３０は、学習モデル１３６を実現するための画像処理プログラム１３２及びＯＳ（operating system）１３４等、コンピュータを画像判定装置１００として機能させるためのプログラムを格納している。ストレージ１３０は、さらに、学習モデル１３６と、カメラ１０２から取得された入力画像１３８と、学習モデル１３６の学習に用いられる学習データ１４０とを格納していてもよい。なお、学習データ１４０は、データベース装置１２等の外部機器から上位ネットワーク８を介して取得されてよく、ストレージ１３０に一時的に格納されるものであってよい。

【0043】

ストレージ１３０に格納される画像処理プログラム１３２は、ＤＶＤ（digital versatile disc）等の光学記録媒体又はＵＳＢ（universal serial bus）メモリ等の半導体記録媒体等を介して、画像判定装置１００にインストールされてもよい。あるいは、画像処理プログラム１３２は、ネットワーク上のサーバ装置等からダウンロードするようにしてもよい。

【0044】

本実施の形態に係る画像処理プログラム１３２は、本実施の形態に係る機能を実現するためのすべてのソフトウェアモジュールを含んでおらず、ＯＳ１３４と協働することで、必要な機能が提供されるようにしてもよい。

【0045】

本実施の形態に係る画像処理プログラム１３２は、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、画像処理プログラム１３２自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。このように、本実施形態に係る画像処理プログラム１３２は、他のプログラムに組込まれた形態であってもよい。

【0046】

図２には、汎用コンピュータを用いて画像判定装置１００を実現する例を示したが、これに限られることなく、その全部又は一部の機能を専用回路（例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等）を用いて実現してもよい。さらに、一部の処理をネットワーク接続された外部装置に担当させてもよい。

【0047】

［機能構成］
図３は、本実施形態に係る画像判定装置１００の機能ブロックを示す図である。画像判定装置１００は、ストレージ１３０に格納された学習モデル１３６と、編集部１５０と、学習部１５２とを備える。

【0048】

学習モデル１３６は、１又は複数の特徴抽出器１３６ａ及び判定器１３６ｂを含む。１又は複数の特徴抽出器１３６ａは、それぞれ、検査対象の画像に基づいて、画像の特定の特徴を表す特徴データを出力する。判定器１３６ｂは、１又は複数の特徴抽出器１３６ａから出力された特徴データに基づいて、画像に関する判定結果を表す出力データを出力する。

【0049】

学習部１５２は、学習画像及びラベルデータを含む学習データ１４０を用いて、学習画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される特徴データに基づいて、学習画像に関連付けられたラベルデータを表す出力データを出力するように判定器１３６ｂを学習させる。ここで、学習画像は、予め撮影された検査対象の画像である。また、ラベルデータは、検査対象の状態を表すデータであり、例えば、検査対象に関する欠陥の有無、欠陥の種類、欠陥の外観形状の寸法、検査対象の種類等を表すデータであってよい。学習モデル１３６の学習処理は、画像判定装置１００が生産ラインに組み込まれる前に実行されてよい。

【0050】

学習部１５２は、新たな学習データを用いて、新たな学習データに含まれる検査対象の画像を１又は複数の特徴抽出器１３６ａに入力した場合に出力される特徴データに基づいて、判定器１３６ｂにより画像に関連付けられたラベルデータを表す出力データが出力されるように、判定器１３６ｂを追加学習させる。ここで、追加学習は、判定器１３６ｂについて行い、１又は複数の特徴抽出器１３６ａについて行わなくてもよい。このようにして、１又は複数の特徴抽出器１３６ａにより抽出される特徴を固定としつつ、より精度良く画像判定を行うことができるように判定器１３６ｂを更新することができる。

【0051】

学習部１５２は、判定器１３６ｂのパラメータを更新すること及び判定器１３６ｂに入力される特徴データの重みを更新することの少なくともいずれかを実行することで、判定器１３６ｂの追加学習を行ってよい。ここで、判定器１３６ｂのパラメータは、例えば判定器１３６ｂがニューラルネットワークで構成される場合、ノードの重みやバイアスであってよい。また、判定器１３６ｂに入力される特徴データがＮ種類ある場合、特徴データの重みｗ_i（ｉ＝１～Ｎ）は、Σ_i=1 ^Nｗ_i＝１を満たす正の実数であってよい。学習部１５２は、判定器１３６ｂがニューラルネットワークで構成される場合、バックプロパゲーションの方法で判定器１３６ｂのパラメータ及び判定器１３６ｂに入力される特徴データの重みを更新してよい。このような追加学習によって、より精度良く判定結果が得られるように判定器を更新することができる。

【0052】

学習部１５２は、判定器１３６ｂの追加学習とあわせて、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器のパラメータを更新してもよい。例えば、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器がニューラルネットワークにより構成され、判定器１３６ｂがニューラルネットワークで構成される場合、学習部１５２は、バックプロパゲーションの方法で判定器１３６ｂのパラメータ、判定器１３６ｂに入力される特徴データの重み及び１又は複数の特徴抽出器１３６ａの一部の特徴抽出器のパラメータを更新してよい。このように、追加学習によって、１又は複数の特徴抽出器１３６ａの一部の特徴抽出器についてもあわせて更新することで、特徴抽出をより精度良く行い、かつ、より精度の良い判定結果が得られるように判定器１３６ｂを更新することができる。

【0053】

編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａの編集を行う。１又は複数の特徴抽出器１３６ａを編集することで、抽出する画像の特徴を変更することができる。編集部１５０によって１又は複数の特徴抽出器１３６ａの編集を行った場合、学習部１５２は、編集後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、抽出する画像の特徴を柔軟に変更して、使用環境に適した画像判定を実行するようにすることができる。

【0054】

編集部１５０は、入力に基づいて、画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器を追加してよい。新たな特徴抽出器を追加した場合、学習部１５２は、追加された特徴抽出器を含む複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂへの入力に追加された画像の特徴を明確にして学習モデル１３６の追加学習を行うことができる。追加した特徴抽出器が明らかであることから、追加前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。

【0055】

編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａの一部を削除してよい。特徴抽出器を削除した場合、学習部１５２は、更新後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂへの入力から削除された画像の特徴を明確にして学習モデル１３６の追加学習を行うことができる。削除した特徴抽出器が明らかであることから、削除前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。

【0056】

編集部１５０は、入力に基づいて、１又は複数の特徴抽出器１３６ａのパラメータを編集してよい。１又は複数の特徴抽出器１３６ａのパラメータを編集した場合、学習部１５２は、編集後の１又は複数の特徴抽出器１３６ａから出力される特徴データを用いて、判定器１３６ｂを追加学習してよい。このようにして、判定器１３６ｂに入力される画像の特徴に関する変更点を明確にして学習モデル１３６の追加学習を行うことができる。編集した特徴抽出器が明らかであることから、編集前後で学習モデル１３６による判定に変化が生じた場合にその原因が明らかとなるし、学習モデル１３６を事後的に元の構成に戻すことも容易となる。

【0057】

§３ 動作例
図４は、本実施形態に係る学習モデル１３６の構成例を示す図である。本例の学習モデル１３６は、エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２及び背景模様抽出器１３６ａ－３と、判定器１３６ｂとを含む。

【0058】

エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２及び背景模様抽出器１３６ａ－３は、それぞれ入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。ここで、エッジ抽出器１３６ａ－１は、画像に含まれるエッジを抽出し、平面部抽出器１３６ａ－２は、画像に含まれる平面領域を抽出し、背景模様抽出器１３６ａ－３は、画像の背景模様を抽出する。

【0059】

判定器１３６ｂは、エッジ抽出器１３６ａ－１から出力された特徴データに重みｗ１をかけ、平面部抽出器１３６ａ－２から出力された特徴データに重みｗ２をかけ、背景模様抽出器１３６ａ－３から出力された特徴データに重みｗ３をかけて入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す出力データ１３６ｏを出力する。

【0060】

図５は、本実施形態に係る学習モデル１３６の編集例を示す図である。本例では、編集部１５０により特徴抽出器の追加が行われた例を示している。具体的には、図４で示す３つの特徴抽出器に対して２値化領域抽出器１３６ａ－４の追加が行われた例を示している。本例の学習モデル１３６は、エッジ抽出器１３６ａ－１、平面部抽出器１３６ａ－２、背景模様抽出器１３６ａ－３及び２値化領域抽出器１３６ａ－４と、判定器１３６ｂとを含む。

【0061】

２値化領域抽出器１３６ａ－４は、入力データ１３６ｉ（検査対象の画像）を入力として受け付け、画像の特徴を表す特徴データを出力する。ここで、２値化領域抽出器１３６ａ－４は、画像に含まれる２値化領域を抽出する。

【0062】

判定器１３６ｂは、エッジ抽出器１３６ａ－１から出力された特徴データに重みｗ１をかけ、平面部抽出器１３６ａ－２から出力された特徴データに重みｗ２をかけ、背景模様抽出器１３６ａ－３から出力された特徴データに重みｗ３をかけ、２値化領域抽出器１３６ａ－４から出力された特徴データに重みｗ４をかけて入力とし、入力データ１３６ｉ（画像）に関する判定結果を表す出力データ１３６ｏを出力する。学習部１５２は、２値化領域抽出器１３６ａ－４の追加が行われた場合に、新たな学習データを用いて、判定器１３６ｂのパラメータ及び判定器１３６ｂに入力される特徴データの重みｗ１～ｗ４を更新してよい。

【0063】

なお、本例では特徴抽出器を追加する場合について説明したが、特徴抽出器を削除したり、特徴抽出器のパラメータを編集したりする場合についても、同様に判定器１３６ｂの追加学習が行われてよい。

【0064】

また、例えば、表面が白いワークに不規則な黒い汚れが付着し始めた際に、追加学習によって黒い汚れを検出するために、編集部１５０により２値化領域抽出器１３６ａ－４を追加することとしてよい。また、編集部１５０により２値化領域抽出器１３６ａ－４を追加する他の例として、事前に用意した１又は複数の特徴抽出器１３６ａに新たに２値化処理を追加する場合や、２値化処理で汚れのおおよその位置を抽出し、事前に用意した１又は複数の特徴抽出器１３６ａと合わせて欠陥検出を行う場合が挙げられる。

【0065】

図６は、本実施形態に係る画像判定装置１００により実行される画像判定処理のフローチャートである。はじめに、画像判定装置１００は、検査対象の画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器１３６ａを設定する（Ｓ１０）。

【0066】

その後、画像判定装置１００は、学習データに含まれる学習画像を１又は複数の特徴抽出器１３６ａに入力し、出力される特徴データを判定器１３６ｂに入力して、学習データに含まれるラベルデータに対応する出力データが出力されるように、判定器１３６ｂの学習を行う（Ｓ１１）。以上で、事前学習処理が終了する。

【0067】

その後、画像判定装置１００が生産ラインに設置された後、カメラ１０２によって検査対象の画像を撮影する（Ｓ１２）。そして、画像判定装置１００は、新たに撮影された画像を１又は複数の特徴抽出器１３６ａに入力し、出力された特徴データを判定器１３６ｂに入力して、画像に関する判定結果を表す出力データによって、画像を判定する（Ｓ１３）。当然ながら、画像の撮影（Ｓ１２）と、判定処理（Ｓ１３）とは繰り返し行われてよい。以上により、画像判定処理が終了する。

【0068】

図７は、本実施形態に係る画像判定装置１００により実行される学習モデル１３６の追加学習処理のフローチャートである。はじめに、画像判定装置１００は、特徴抽出器を編集するか否かを判定する（Ｓ２０）。特徴抽出器を編集するか否かは、入力に基づいて決定されてよい。

【0069】

特徴抽出器を編集する場合（Ｓ２０：ＹＥＳ）、画像判定装置１００は、特徴抽出器を追加するか否かを判定する（Ｓ２１）。入力に基づいて特徴抽出器を追加する場合（Ｓ２１：ＹＥＳ）、画像判定装置１００は、新たな特徴抽出器を追加する（Ｓ２２）。

【0070】

また、画像判定装置１００は、特徴抽出器を削除するか否かを判定する（Ｓ２３）。入力に基づいて特徴抽出器を削除する場合（Ｓ２３：ＹＥＳ）、画像判定装置１００は、選択された特徴抽出器を削除する（Ｓ２４）。

【0071】

また、画像判定装置１００は、特徴抽出器のパラメータを編集するか否かを判定する（Ｓ２５）。入力に基づいて特徴抽出器のパラメータを編集する場合（Ｓ２５：ＹＥＳ）、画像判定装置１００は、選択された特徴抽出器のパラメータを入力に基づいて編集する（Ｓ２６）。

【0072】

その後、画像判定装置１００は、新たな学習データに含まれる学習画像を編集後の１又は複数の特徴抽出器に入力し、出力された特徴データを所定の重み付けで判定器に入力し、判定器の出力データによって新たな学習データに含まれるラベルデータが再現されるように判定器を追加学習する（Ｓ２７）。

【0073】

ここで、１又は複数の特徴抽出器の一部の特徴抽出器も更新する場合（Ｓ２８：ＹＥＳ）、画像判定装置１００は、１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する（Ｓ２９）。

【0074】

なお、画像判定装置１００は、判定器のパラメータ、判定器に入力される特徴データの重み及び１又は複数の特徴抽出器の一部の特徴抽出器のパラメータを更新する処理を、所定の条件を満たすまで繰り返し行ってよい。以上により、追加学習処理が終了する。

【0075】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0076】

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

【0077】

［付記１］
それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）と、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）と、
学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器（１３６ｂ）を学習させる学習部（１５２）と、を備え、
前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させる、
画像判定装置（１００）。

【0078】

［付記２］
前記学習部（１５２）は、前記判定器（１３６ｂ）のパラメータを更新すること及び前記判定器（１３６ｂ）に入力される前記特徴データの重みを更新することの少なくともいずれかを実行することで、前記判定器（１３６ｂ）の追加学習を行う、
付記１に記載の画像判定装置（１００）。

【0079】

［付記３］
前記学習部（１５２）は、前記判定器（１３６ｂ）の追加学習とあわせて、前記１又は複数の特徴抽出器（１３６ａ）の一部の特徴抽出器（１３６ａ）のパラメータを更新する、
付記１又は２に記載の画像判定装置（１００）。

【0080】

［付記４］
入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）の編集を行う編集部（１５０）をさらに備える、
付記１から３のいずれか一項に記載の画像判定装置（１００）。

【0081】

［付記５］
前記編集部（１５０）は、前記入力に基づいて、前記画像の特定の特徴を表す特徴データを出力する新たな特徴抽出器（１３６ａ）を追加する、
付記４に記載の画像判定装置（１００）。

【0082】

［付記６］
前記編集部（１５０）は、前記入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）の一部を削除する、
付記４又は５に記載の画像判定装置（１００）。

【0083】

［付記７］
前記編集部（１５０）は、前記入力に基づいて、前記１又は複数の特徴抽出器（１３６ａ）のパラメータを編集する、
付記４から６のいずれか一項に記載の画像判定装置（１００）。

【0084】

［付記８］
検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データをそれぞれ出力する１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）を、学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように学習させることと、
前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させることと、
を含む学習方法。

【0085】

［付記９］
画像判定装置（１００）に備えられた演算部を、
それぞれ、検査対象の画像に基づいて、前記画像の特定の特徴を表す特徴データを出力する１又は複数の特徴抽出器（１３６ａ）、
前記１又は複数の特徴抽出器（１３６ａ）から出力された前記特徴データに基づいて、前記画像に関する判定結果を表す出力データを出力する判定器（１３６ｂ）、及び
学習画像及びラベルデータを含む学習データを用いて、前記学習画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記学習画像に関連付けられた前記ラベルデータを表す前記出力データを出力するように前記判定器（１３６ｂ）を学習させる学習部（１５２）、として機能させ、
前記学習部（１５２）は、新たな学習データを用いて、前記新たな学習データに含まれる前記検査対象の画像を前記１又は複数の特徴抽出器（１３６ａ）に入力した場合に出力される前記特徴データに基づいて、前記判定器（１３６ｂ）により前記画像に関連付けられたラベルデータを表す前記出力データが出力されるように、前記判定器（１３６ｂ）を追加学習させる、
画像判定プログラム。

【符号の説明】

【0086】

１…画像判定システム、２…ベルトコンベア、４…ワーク、６…撮像視野、８…上位ネットワーク、１０…ＰＬＣ、１２…データベース装置、１００…画像判定装置、１０２…カメラ、１０４…ディスプレイ、１０６…キーボード、１０８…マウス、１１０…プロセッサ、１１２…メインメモリ、１１４…カメラインターフェイス、１１６…入力インターフェイス、１１８…表示インターフェイス、１２０…通信インターフェイス、１２２…内部バス、１３０…ストレージ、１３２…画像処理プログラム、１３４…ＯＳ、１３６…学習モデル、１３６ａ…特徴抽出器、１３６ａ－１…エッジ抽出器、１３６ａ－２…平面部抽出器、１３６ａ－３…背景模様抽出器、１３６ａ－４…２値化領域抽出器、１３６ｂ…判定器、１３６ｉ…入力データ、１３６ｏ…出力データ、１３８…入力画像、１４０…学習データ、１５０…編集部、１５２…学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】