特許 7668082 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-16

(45)【発行日】2025-04-24

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20250417BHJP

【ＦＩ】

G01N21/88 J

【請求項の数】 9

(21)【出願番号】P 2018131417

(22)【出願日】2018-07-11

(65)【公開番号】P2020008481

(43)【公開日】2020-01-16

【審査請求日】2020-12-14

【審判番号】

【審判請求日】2023-04-20

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】藤枝 紫朗

(72)【発明者】

【氏名】ホワン ジェウック

【合議体】

【審判長】南 宏輔

【審判官】▲高▼見 重雄

【審判官】北島 拓馬

(56)【参考文献】

【文献】特開２０１０－１４０４４４（ＪＰ，Ａ）

【文献】特開２０１８－６０４０１（ＪＰ，Ａ）

【文献】特開２００７－３２７８８５（ＪＰ，Ａ）

【文献】特開平５－３５７０７（ＪＰ，Ａ）

【文献】特開２０１０－２０５００７（ＪＰ，Ａ）

【文献】特許第６１１６６５０（ＪＰ，Ｂ１）

【文献】特開２０１１－２１４９０３（ＪＰ，Ａ）

【文献】特開２００５－３１０１２３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１７１０５１（ＷＯ，Ａ１）

【文献】特開２０１８－９４６８６（ＪＰ，Ａ）

【文献】特開２００３－７６９９１（ＪＰ，Ａ）

【文献】特開２００５－２６５６６１（ＪＰ，Ａ）

【文献】特開２０１７－２２４１８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G01N21/84-21/958

(57)【特許請求の範囲】

【請求項1】

対象物の画像を撮像するカメラと、
前記対象物が良品であるか否かを判定するコントローラと、を備え、
前記コントローラは、
学習モデルを記憶する学習モデル記憶部と、
前記カメラにより撮像された前記画像を前記学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部と、
前記対象物の良品画像を前記判定部に判定させ、良品でないと判定された場合に、前記良品画像を学習用データ記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部と、を有し、
前記判定部による判定の前に、前記学習モデルは、前記対象物が良品であるか否かを判定するように、良品画像のみを用いて教師無し学習により生成され、前記学習モデル記憶部に記憶される、
画像処理装置。

【請求項2】

前記コントローラは、
少なくとも所定枚数の良品画像を含む学習用データを用いて、前記学習モデルを生成するモデル生成部をさらに有し、
前記モデル生成部により前記学習モデルを生成した後に、前記登録部による処理を実行する、
請求項１に記載の画像処理装置。

【請求項3】

前記モデル生成部は、前記登録部により前記良品画像が登録された前記学習用データを用いて、前記学習モデルを更新する、
請求項２に記載の画像処理装置。

【請求項4】

前記登録部による処理は、予め収集された前記良品画像を用いて実行される、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記登録部による処理は、前記カメラにより撮像された前記良品画像を用いて実行される、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項6】

前記良品画像が前記学習用データとして登録されているか否かを表示する表示部をさらに備え、
前記表示部は、前記学習モデルのパラメータを変更するためのモデルパラメータを表示する、
請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

対象物の画像を撮像するカメラと、前記対象物が良品であるか否かを判定するコントローラと、を備える画像処理装置の前記コントローラによって、
学習モデルを学習モデル記憶部に記憶させることと、
前記カメラにより撮像された前記画像を前記学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定することと、
前記対象物の良品画像が良品でないと判定された場合に、前記良品画像を学習用データ記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録することと、を実行し、
前記判定することの前に、前記学習モデルは、前記対象物が良品であるか否かを判定するように、良品画像のみを用いて教師無し学習により生成され、前記学習モデル記憶部に記憶される、
画像処理方法。

【請求項8】

対象物の画像を撮像するカメラと、前記対象物が良品であるか否かを判定するコントローラと、を備える画像処理装置の前記コントローラを、
学習モデルを記憶する学習モデル記憶部、
前記カメラにより撮像された前記画像を前記学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部、及び
前記対象物の良品画像を前記判定部に判定させ、良品でないと判定された場合に、前記良品画像を学習用データ記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部、
として機能させ、
前記判定部による判定の前に、前記学習モデルは、前記対象物が良品であるか否かを判定するように、良品画像のみを用いて教師無し学習により生成され、前記学習モデル記憶部に記憶される、
画像処理プログラム。

【請求項9】

対象物の画像を撮像するカメラと、
前記対象物が第１クラス又は第２クラスのいずれに属するかを判定するコントローラと、を備え、
前記コントローラは、
学習モデルを記憶する学習モデル記憶部と、
前記カメラにより撮像された前記画像を前記学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が前記第１クラス又は前記第２クラスのいずれに属するかを判定する判定部と、
前記第１クラスに属する対象物の画像を前記判定部に判定させ、前記第２クラスに属すると判定された場合に、当該画像を学習用データ記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部と、を有し、
前記判定部による判定の前に、前記学習モデルは、前記対象物が前記第１クラス又は前記第２クラスのいずれに属するかを判定するように、前記第１クラスに属する対象物の画像のみを用いて教師無し学習により生成され、前記学習モデル記憶部に記憶される、
画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、生産ラインを搬送されるワークの画像を撮像し、その画像に基づいてワークが良品であるか不良品であるかを判定する画像処理装置が用いられている（例えば下記特許文献１及び２参照）。このような画像処理装置において、過去に撮像された良品の画像を学習用データとして用いて学習モデルを生成し、学習モデルによりワークが良品であるか不良品であるかを判定することがある。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１０７３１３号公報

【文献】特開２００９－２８１７４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習用データとして良品画像を用いる画像処理装置において、学習モデルを生成するために、大量の良品画像を用意する場合がある。しかしながら、学習用データの数が多くなると、学習モデルを生成するための処理負荷が大きくなる。

【0005】

そこで、本発明は、学習モデルを生成するための処理負荷を低減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。

【課題を解決するための手段】

【0006】

本開示の一態様に係る画像処理装置は、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備え、コントローラは、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する判定部と、対象物の良品画像を判定部に判定させ、良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部と、を有する。

【0007】

この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【0008】

上記態様において、コントローラは、少なくとも所定枚数の良品画像を含む学習用データを用いて、学習モデルを生成するモデル生成部をさらに有し、モデル生成部により学習モデルを生成した後に、登録部による処理を実行してもよい。

【0009】

この態様によれば、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習モデルの判定精度の向上に寄与する学習用データを追加していくことができる。

【0010】

上記態様において、モデル生成部は、登録部により良品画像が登録された学習用データを用いて、学習モデルを更新してもよい。

【0011】

この態様によれば、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習用データを追加し、学習モデルの判定精度を向上させていくことができる。

【0012】

上記態様において、登録部による処理は、予め収集された良品画像を用いて実行されてもよい。

【0013】

この態様によれば、過去に収集された良品画像を用いて学習モデルを生成することができ、画像処理装置を稼働させた直後からら学習モデルによる良否判定を行えるようにすることができる。

【0014】

上記態様において、登録部による処理は、カメラにより撮像された良品画像を用いて実行されてもよい。

【0015】

この態様によれば、画像処理装置が実際に稼働する環境で撮像された対象物の良品画像を用いて、学習モデルを生成することができる。

【0016】

上記態様において、良品画像が学習用データとして登録されているか否かを表示する表示部をさらに備えてもよい。

【0017】

この態様によれば、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができ、学習モデルの改良や再現を容易に行うことができる。

【0018】

本開示の他の態様に係る画像処理方法は、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置のコントローラによって、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定することと、対象物の良品画像が良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録することと、を実行する。

【0019】

この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【0020】

本開示の他の態様に係る画像処理プログラムは、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置のコントローラを、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する判定部、及び対象物の良品画像を判定部に判定させ、良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部、として機能させる。

【0021】

この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【0022】

本開示の他の態様に係る画像処理装置は、対象物の画像を撮像するカメラと、対象物が第１クラス又は第２クラスのいずれに属するかを判定するコントローラと、を備え、コントローラは、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が第１クラス又は第２クラスのいずれに属するかを判定する判定部と、第１クラスに属する対象物の画像を判定部に判定させ、第２クラスに属すると判定された場合に、当該画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部と、を有する。

【0023】

この態様によれば、第１クラスに属する対象物の画像が、学習モデルによって誤って第２モデルに属すると判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【発明の効果】

【0024】

本発明によれば、学習モデルを生成するための処理負荷を低減することができる画像処理装置、画像処理方法及び画像処理プログラムが提供される。

【図面の簡単な説明】

【0025】

【図1】本発明の実施形態に係る画像処理装置の設置例を示す図である。

【図2】本実施形態に係る画像処理装置の物理的構成を示す図である。

【図3】本実施形態に係る画像処理装置の機能ブロック図である。

【図4】本実施形態に係る画像処理装置により学習用データを登録する処理のフローチャートである。

【図5】本実施形態に係る画像処理装置の学習用データ登録画面の一例である。

【図6】本実施形態に係る画像処理装置により学習用データを登録する他の処理のフローチャートである。

【発明を実施するための形態】

【0026】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0027】

［構成例］
図１及び図２を参照しつつ、本実施形態に係る画像処理装置１０の構成の一例について説明する。図１は、本実施形態に係る画像処理装置１０の設置例を示す図である。画像処理装置１０は、カメラ１と、コントローラ２と、モニタ３と、コンソール４とを備える。

【0028】

カメラ１は、対象物の画像を撮像する。カメラ１は、ラインＬを搬送されるワークＷの画像を撮像するものであってよく、画像はカラー画像であってもよいし、白黒画像であってもよい。ワークＷは、対象物の一例であるが、対象物は、ワークＷの一部７（マーク、文字、欠陥等）であってもよい。なお、カメラ１は１台に限定されず、複数台備えられてもよい。

【0029】

コントローラ２は、ワークＷ等の対象物が良品あるか否かを判定する。コントローラ２は、カメラ１により撮像された画像を処理することによって、対象物の位置、姿勢及び大きさ等を解析してよく、対象物が良品であるか不良品であるかの良否判定を行ってよい。ここで、対象物の良否判定は、教師有り学習又は教師無し学習により生成された判定モデルにより行われてよい。判定モデルは、例えば複数の良品画像について主成分分析を行い、画像の主成分が閾値以上であるかによって対象物が良品であるか否かを判定するものであってよい。また、判定モデルは、複数の良品画像を入力として受け付け、中間層の値から元の画像を復元するように学習されたオートエンコーダーにより、中間層の値が閾値以上であるかによって、対象物が良品であるか否かを判定するものであってよい。もっとも、判定モデルは、任意の機械学習モデルを含んでよい。

【0030】

モニタ３は、カメラ１により撮像された画像を表示したり、コントローラ２による解析結果を表示したり、学習用データの登録画面を表示したりしてよい。モニタ３は、例えば液晶表示装置により構成されてよい。

【0031】

コンソール４は、コントローラ２の入力部であり、例えばマウス、キーボード、タッチパネル等により構成されてよい。もっとも、コンソール４の形態は限定されず、任意の形態であってよい。

【0032】

図２は、本実施形態に係る画像処理装置１０の物理的構成を示す図である。画像処理装置１０のコントローラ２は、ＣＰＵ２１、フラッシュメモリ２２、ＲＡＭ（Random Access Memory）２３、グラフィックコントローラ２４、カメラ用Ｉ／Ｆ（Interface）２５、入力用Ｉ／Ｆ２６及び外部用Ｉ／Ｆ２７を備える。

【0033】

ＣＰＵ２１は、フラッシュメモリ２２及びＲＡＭ２３に記憶された画像処理プログラムの実行に関する制御やデータの演算、加工を行う。ＣＰＵ２１は、後述する判定部２０２及び登録部２０３として動作する。ＣＰＵ２１は、カメラ１からカメラ用Ｉ／Ｆ２５を介して画像データを受け取ったり、コンソール４から入力用Ｉ／Ｆ２６を介してデータを受け取ったり、外部機器から外部用Ｉ／Ｆを介してデータを受け取ったりして、グラフィックコントローラ２４を介して演算結果をモニタ３に表示したり、フラッシュメモリ２２やＲＡＭ２３に格納したりする。

【0034】

フラッシュメモリ２２は、画像処理プログラムや処理に必要なパラメータ等を記憶してよい。ＲＡＭ２３は、カメラ１により撮像された画像データや、ＣＰＵ２１による演算結果又は演算途中のデータ等を少なくとも一時的に記憶してよい。

【0035】

カメラ用Ｉ／Ｆ２５は、カメラ１の駆動回路や、Ｒ，Ｇ，Ｂの各画像信号を受け付けるためのバッファ、Ａ／Ｄ変換回路（いずれも図示せず。）等を含んでよい。入力用Ｉ／Ｆ２６は、コンソール４からの信号を受け付け、ＣＰＵ２１に伝送してよい。外部用Ｉ／Ｆ２７は、図示しない外部機器（パーソナルコンピュータやＰＬＣ等）と通信するインターフェースであってよい。外部用Ｉ／Ｆ２７は、インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して他の画像処理装置と通信するインターフェースであってもよい。グラフィックコントローラ２４は、モニタ３に対する表示制御を実行するものであってよい。

【0036】

ワーク検出用センサ５は、ラインＬに設置され、ワークＷの到来を検出する。ワーク検出用センサ５は、光電センサや近接センサで構成されてよい。ＣＰＵ２１は、ワーク検出用センサ５からワークＷを検出したことを示す信号を受信すると、カメラ用Ｉ／Ｆ２５を用いてカメラ１を駆動し、ワークＷを撮像させる。そして、ワークＷの画像が生成され、ＲＡＭ２３に保存されると、ＣＰＵ２１は、フラッシュメモリ２２に記憶された画像処理プログラムに基づき、画像に撮影されたワークＷの一部７を抽出する処理や、計測処理を実行し、さらにその計測結果に基づき、対象物の良否を判定してよい。また、ＣＰＵ２１は、処理結果を示す画像や判定結果のデータをフラッシュメモリ２２やＲＡＭ２３に格納してよい。

【0037】

なお、コントローラ２は、画像処理装置１０のため専用に開発された装置であってもよいし、画像処理プログラムがインストールされた汎用コンピュータであってもよい。この場合、画像処理プログラムは、ＣＤ－ＲＯＭなどの記憶媒体又は通信回線を介してコンピュータに提供されてよい。

【0038】

図３は、本実施形態に係る画像処理装置１０の機能ブロック図である。本実施形態に係る画像処理装置１０は、モデル生成部２０１、判定部２０２、登録部２０３、学習モデル記憶部２０４及び学習用データ記憶部２０５を備える。

【0039】

モデル生成部２０１は、少なくとも所定枚数の良品画像を含む学習用データを用いて、学習モデルを生成する。学習モデル記憶部２０４は、モデル生成部２０１により生成された学習モデルを記憶する。モデル生成部２０１は、学習用データ記憶部２０５に記憶された学習用データを用いて、学習モデルを生成し、生成した学習モデルを学習モデル記憶部２０４に記憶させてよい。この際、学習用データは、所定枚数（例えば１０枚）以上の良品画像のみを含むデータであってよい。すなわち、学習モデルは、良品画像のみを用いて生成されてよく、対象物が良品であるか否かを判定するように、機械学習の手法により生成されてよい。

【0040】

判定部２０２は、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する。判定部２０２は、対象物の画像を、学習モデル記憶部２０４に記憶された学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定してよい。

【0041】

登録部２０３は、対象物の良品画像を判定部２０２に判定させ、良品でないと判定された場合に、良品画像を学習用データ記憶部２０５に記憶させ、学習モデルを生成するための学習用データとして登録する。学習用データ記憶部２０５は、予め学習用データとして登録された良品画像を記憶したり、登録部２０３により学習用データとして登録された良品画像を記憶したりする。

【0042】

本実施形態に係る画像処理装置１０によれば、対象物の良品画像が、判定部２０２によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【0043】

登録部２０３による処理は、モデル生成部２０１により学習モデルを生成した後に実行されてよい。すなわち、モデル生成部２０１により、少なくとも所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部２０３は、対象物の良品画像を判定部２０２に判定させ、良品でないと判定された場合に、良品画像を学習用データ記憶部２０５に記憶させ、学習モデルを生成するための学習用データとして登録してよい。このように、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部２０３による処理によって学習モデルの判定精度の向上に寄与する学習用データを追加していくことができる。

【0044】

モデル生成部２０１は、登録部２０３により良品画像が登録された学習用データを用いて、学習モデルを更新してよい。すなわち、モデル生成部２０１は、少なくとも所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部２０３により良品画像が学習用データに追加された場合に、追加後の学習用データを用いて、学習モデルを更新してよい。これにより、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習用データを追加し、学習モデルの判定精度を向上させていくことができる。

【0045】

登録部２０３による処理は、予め収集された良品画像を用いて実行されてよい。すなわち、登録部２０３は、予め収集された良品画像を判定部２０２に判定させ、良品でないと判定された場合に、その良品画像を学習用データ記憶部２０５に記憶させ、学習モデルを生成するための学習用データとして登録してよい。これにより、過去に収集された良品画像を用いて学習モデルを生成することができ、画像処理装置１０を稼働させた直後から学習モデルによる良否判定を行えるようにすることができる。

【0046】

登録部２０３による処理は、カメラ１により撮像された良品画像を用いて実行されてもよい。すなわち、登録部２０３は、カメラ１により新たな対象物の良品画像を撮像された場合に、その良品画像を判定部２０２に判定させ、良品でないと判定された場合に、その良品画像を学習用データ記憶部２０５に記憶させ、学習モデルを生成するための学習用データとして登録してよい。これにより、画像処理装置１０が実際に稼働する環境で撮像された対象物の良品画像を用いて、学習モデルを生成することができる。

【0047】

画像処理装置１０は、良品画像が学習用データとして登録されているか否かを表示する表示部をさらに備えてよい。ここで、表示部は、モニタ３であってよい。良品画像が学習用データとして登録されているか否かを表示することで、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができ、学習モデルの改良や再現を容易に行うことができる。

【0048】

図４は、本実施形態に係る画像処理装置により学習用データを登録する処理のフローチャートである。はじめに、画像処理装置１０は、所定枚数以上の良品画像を学習用データとして登録する（Ｓ１０）。ここで、所定枚数以上の良品画像は、良品の対象物をカメラ１によって撮像することで用意してもよいし、予め収集された良品画像を用いることとしてもよい。その後、画像処理装置１０は、所定枚数以上の良品画像を含む学習用データを用いて、学習モデルを生成する（Ｓ１１）。

【0049】

その後、画像処理装置１０は、新たな良品画像を学習モデルに入力し（Ｓ１２）、良否判定を行う（Ｓ１３）。ここで、学習モデルによって良品でないと判定された場合（Ｓ１４：ＮＯ）、すなわち学習モデルによる良否判定が誤りであった場合、画像処理装置１０は、学習モデルに入力した良品画像を学習用データとして登録する（Ｓ１５）。さらに、画像処理装置１０は、良品画像が追加された学習用データを用いて、学習モデルを更新する（Ｓ１６）。一方、新たな良品画像を学習モデルに入力し、学習モデルによって良品と判定された場合（Ｓ１４：ＹＥＳ）、画像処理装置１０は、その良品画像を学習用データとして登録しない。

【0050】

その後、画像処理装置１０は、処理を終了するか否かを判定する（Ｓ１７）。処理を終了しない場合（Ｓ１７：ＮＯ）、画像処理装置１０は、良品画像の入力（Ｓ１２）以降の処理を繰り返す。一方、処理を終了する場合（Ｓ１７：ＹＥＳ）、学習用データを登録する処理が終了する。

【0051】

図５は、本実施形態に係る画像処理装置１０の学習用データ登録画面の一例である。本実施形態に係る画像処理装置１０は、モニタ３に学習用データ登録画面を表示し、コンソール４によって、学習用データとして登録された良品画像を登録から除外したり、学習用データとして登録されていない良品画像を学習用データとして登録したりする操作を受け付けてよい。また、コンソール４によって、学習モデルのパラメータの変更を受け付けてよい。

【0052】

「モデル登録」メニューは、「モデル登録対象画像」及び「モデルパラメータ」を含む。「モデル登録対象画像」は、良品画像が保存されている「フォルダ名」と、良品画像が学習用データとして登録されているか否かを表すチェックボックスとを含む。本例の場合、画像ファイル名が「ＯＫ－０００１」、「ＯＫ－０００２」、「ＯＫ－０００３」、「ＯＫ－０００５」及び「ＯＫ－０００７」の良品画像について、チェックボックスが表示され、「使用」と記載されている。一方、画像ファイル名が「ＯＫ－０００４」、「ＯＫ－０００６」、「ＯＫ－０００８」及び「ＯＫ－０００９」の良品画像について、チェックボックスが表示されておらず、「未使用」と記載されている。すなわち、本例の場合、「ＯＫ－０００１」から「ＯＫ－０００９」までの９枚の良品画像のうち、５枚が学習用データとして登録され、４枚が学習用データとして登録されていない。ユーザは、「モデル登録対象画像」の一覧表示によって、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができる。

【0053】

「モデルパラメータ」は、「境界検査」のチェックボックスと、「境界レベル」のパラメータと、「明度ばらつき許容度」のパラメータとを含む。本例の場合、「境界レベル」は「３」であり、「明度ばらつき許容度」は「２．００」である。ユーザは、これらのパラメータを調整して、学習モデルの調整を行うことができる。

【0054】

「モデル登録」ボタンが押下されると、画像処理装置１０は、「モデル登録対象画像」に「使用」と表された良品画像と、「モデルパラメータ」に表されたパラメータとによって学習モデルを生成し、学習モデル記憶部２０４に登録する。

【0055】

以上の説明において、画像処理装置１０は、ワークＷ等の対象物の良否判定を行うものとした。しかしながら、画像処理装置１０は、ワークＷ等の対象物の状態を判定するものであってもよく、対象物の良否判定に限らず、対象物の種類を判定したり、対象物に生じた欠陥の種類を判定したりするものであってもよい。

【0056】

すなわち、判定部２０２は、対象物の画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が第１クラス又は第２クラスのいずれに属するかを判定してもよい。その場合、登録部２０３は、第１クラスに属する対象物の画像を判定部２０２に判定させ、第２クラスに属すると判定された場合に、当該画像を学習用データ記憶部２０５に記憶させ、学習モデルを生成するための学習用データとして登録してよい。ここで、第１クラス及び第２クラスは、対象物の種類を表すクラスであってもよいし、対象物に生じた欠陥の種類を表すクラスであってもよい。

【0057】

図６は、本実施形態に係る画像処理装置１０により学習用データを登録する他の処理のフローチャートである。はじめに、画像処理装置１０は、所定枚数以上の第１クラスに属する対象物の画像を学習用データとして登録する（Ｓ２０）。ここで、所定枚数以上の第１クラスに属する対象物の画像は、第１クラスに属する対象物をカメラ１によって撮像することで用意してもよいし、予め収集された画像を用いることとしてもよい。その後、画像処理装置１０は、所定枚数以上の第１クラスに属する対象物の画像を含む学習用データを用いて、学習モデルを生成する（Ｓ２１）。

【0058】

その後、画像処理装置１０は、新たな第１クラスに属する対象物の画像を学習モデルに入力し（Ｓ２２）、クラス判定を行う（Ｓ２３）。ここで、学習モデルによって第１クラスに属さないと判定された場合（Ｓ２４：ＮＯ）、すなわち学習モデルによるクラス判定が誤りであった場合、画像処理装置１０は、学習モデルに入力した第１クラスに属する対象物の画像を学習用データとして登録する（Ｓ２５）。さらに、画像処理装置１０は、第１クラスに属する対象物の画像が追加された学習用データを用いて、学習モデルを更新する（Ｓ２６）。一方、新たな第１クラスに属する対象物の画像を学習モデルに入力し、学習モデルによって第１クラスと判定された場合（Ｓ２４：ＹＥＳ）、画像処理装置１０は、その画像を学習用データとして登録しない。

【0059】

その後、画像処理装置１０は、処理を終了するか否かを判定する（Ｓ２７）。処理を終了しない場合（Ｓ２７：ＮＯ）、画像処理装置１０は、第１クラスに属する対象物の画像の入力（Ｓ２２）以降の処理を繰り返す。一方、処理を終了する場合（Ｓ２７：ＹＥＳ）、学習用データを登録する処理が終了する。

【0060】

本実施形態に係る画像処理装置１０によれば、第１クラスに属する対象物の画像が、学習モデルによって誤って第２モデルに属すると判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。

【0061】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0062】

［附記１］
対象物の画像を撮像するカメラ（１）と、
前記対象物が良品あるか否かを判定するコントローラ（２）と、を備え、
前記コントローラ（２）は、
前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部（２０２）と、
前記対象物の良品画像を前記判定部（２０２）に判定させ、良品でないと判定された場合に、前記良品画像を記憶部（２０５）に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部（２０３）と、を有する、
画像処理装置（１０）。

【0063】

［附記２］
対象物の画像を撮像するカメラ（１）と、
前記対象物が第１クラス又は第２クラスのいずれに属するかを判定するコントローラ（２）と、を備え、
前記コントローラ（２）は、
前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が前記第１クラス又は前記第２クラスのいずれに属するかを判定する判定部（２０２）と、
前記第１クラスに属する対象物の画像を前記判定部（２０２）に判定させ、前記第２クラスに属すると判定された場合に、当該画像を記憶部（２０５）に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部（２０３）と、を有する、
画像処理装置（１０）。

【符号の説明】

【0064】

１…カメラ、２…コントローラ、３…モニタ、４…コンソール、５…ワーク検出用センサ、７…対象物の一部、１０…画像処理装置、２１…ＣＰＵ、２２…フラッシュメモリ、２３…ＲＡＭ、２４…グラフィックコントローラ、２５…カメラ用Ｉ／Ｆ、２６…入力用Ｉ／Ｆ、２７…外部用Ｉ／Ｆ、２０１…モデル生成部、２０２…判定部、２０３…登録部、２０４…学習モデル記憶部、２０５…学習用データ記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】