知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126362
(43)【公開日】2024-09-20
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
G01N 21/88 20060101AFI20240912BHJP
G06T 7/73 20170101ALI20240912BHJP
G06V 10/70 20220101ALI20240912BHJP
G06T 7/70 20170101ALI20240912BHJP
【ＦＩ】
G01N21/88 J
G06T7/73
G06V10/70
G06T7/70 Z
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023034683
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】俵 京佑
(72)【発明者】
【氏名】山上 毅
(72)【発明者】
【氏名】生嶋 靖久
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA07
2G051AB02
2G051EB05
2G051FA01
5L096AA02
5L096AA06
5L096BA03
5L096CA04
5L096CA24
5L096DA01
5L096DA02
5L096EA14
5L096EA39
5L096FA34
5L096FA64
5L096FA67
5L096FA69
5L096HA11
5L096JA11
5L096KA04
5L096MA07
(57)【要約】
【課題】ルールベースツールと機械学習ツールの両方のツールを共通のインタフェース上で設定可能にしてユーザの手間を減らす。
【解決手段】画像処理装置１は、設定ウィンドウを表示するユーザインターフェース画面を生成し、機械学習ツール及びルールベースツールを設定ウィンドウに配置するための入力と、機械学習ツールとルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付け、機械学習ツールによる画像処理とルールベースツールによる画像処理との一方の処理をデータセットに対して実行し、一方の処理を実行した後のデータセットに対して他方の処理を実行する。
【選択図】図２
【解決手段】画像処理装置１は、設定ウィンドウを表示するユーザインターフェース画面を生成し、機械学習ツール及びルールベースツールを設定ウィンドウに配置するための入力と、機械学習ツールとルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付け、機械学習ツールによる画像処理とルールベースツールによる画像処理との一方の処理をデータセットに対して実行し、一方の処理を実行した後のデータセットに対して他方の処理を実行する。
【選択図】図２
【特許請求の範囲】
【請求項1】
機械学習ツールによる画像処理とルールベースツールによる画像処理との実行が可能に構成された画像処理装置であって、
画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるＵＩ生成部と、
機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付ける入力部と、
前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行する画像処理部と、
を備える画像処理装置。
画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるＵＩ生成部と、
機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付ける入力部と、
前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行する画像処理部と、
を備える画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールと前記ルールベースツールとが共に参照している前記データセットに含まれる画像を表示するデータセットウィンドウを、当該設定ウィンドウと並べて表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールと前記ルールベースツールとが共に参照している前記データセットに含まれる画像を表示するデータセットウィンドウを、当該設定ウィンドウと並べて表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項3】
請求項２に記載の画像処理装置において、
前記画像処理部は、前記データセットを構成する前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行することで、複数の処理後画像を生成し、
前記ＵＩ生成部は、前記複数の処理後画像を前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記画像処理部は、前記データセットを構成する前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行することで、複数の処理後画像を生成し、
前記ＵＩ生成部は、前記複数の処理後画像を前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項4】
請求項２に記載の画像処理装置において、
前記画像処理部は、前記複数の処理後画像に対して、前記機械学習ツールによる前記画像処理を実行することで、各処理後画像の推論結果を出力し、
前記ＵＩ生成部は、前記複数の処理後画像と各処理後画像に対応する前記推論結果とを前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記画像処理部は、前記複数の処理後画像に対して、前記機械学習ツールによる前記画像処理を実行することで、各処理後画像の推論結果を出力し、
前記ＵＩ生成部は、前記複数の処理後画像と各処理後画像に対応する前記推論結果とを前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項5】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記データセットウィンドウに表示された前記複数の画像と、当該複数の画像に対して前記ルールベースツールによる前記画像処理を実行した結果とを前記機械学習モデルに学習させ、
ワークが撮像された検査対象画像に対して前記ルールベースツールによる前記画像処理を実行し、
前記ルールベースツールによる前記画像処理の実行結果に基づいて、前記検査対象画像に対して、前記学習させた前記機械学習モデルを用いた前記画像処理を実行する、
画像処理装置。
前記画像処理部は、
前記データセットウィンドウに表示された前記複数の画像と、当該複数の画像に対して前記ルールベースツールによる前記画像処理を実行した結果とを前記機械学習モデルに学習させ、
ワークが撮像された検査対象画像に対して前記ルールベースツールによる前記画像処理を実行し、
前記ルールベースツールによる前記画像処理の実行結果に基づいて、前記検査対象画像に対して、前記学習させた前記機械学習モデルを用いた前記画像処理を実行する、
画像処理装置。
【請求項6】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記データセットに含まれる前記複数の画像のそれぞれから特徴量を抽出し、抽出された特徴量に基づいて、各画像に含まれるワークの位置を検出し、
検出されたワークの位置に基づいて、前記機械学習ツールによる画像処理の対象となる各画像のワークの位置及び姿勢が共通になるように位置補正を実行し、
位置補正された前記複数の画像に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
前記画像処理部は、
前記データセットに含まれる前記複数の画像のそれぞれから特徴量を抽出し、抽出された特徴量に基づいて、各画像に含まれるワークの位置を検出し、
検出されたワークの位置に基づいて、前記機械学習ツールによる画像処理の対象となる各画像のワークの位置及び姿勢が共通になるように位置補正を実行し、
位置補正された前記複数の画像に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
【請求項7】
請求項６に記載の画像処理装置において、
前記入力部は、前記データセットに含まれる画像中の前記機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成され、
前記画像処理部は、各画像内で検出されたワークの位置が前記指定された対象領域に含まれるように前記位置補正を実行し、前記データセットの各画像の前記対象領域に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
前記入力部は、前記データセットに含まれる画像中の前記機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成され、
前記画像処理部は、各画像内で検出されたワークの位置が前記指定された対象領域に含まれるように前記位置補正を実行し、前記データセットの各画像の前記対象領域に対して、前記機械学習ツールによる画像処理を実行する、
画像処理装置。
【請求項8】
請求項７に記載の画像処理装置において、
前記ＵＩ生成部は、前記位置補正により各画像内で検出されたワークが前記対象領域に含まれた状態で、前記データセットの前記複数の画像が前記データセットウィンドウに表示されたユーザインターフェース画面を生成する、
画像処理装置。
前記ＵＩ生成部は、前記位置補正により各画像内で検出されたワークが前記対象領域に含まれた状態で、前記データセットの前記複数の画像が前記データセットウィンドウに表示されたユーザインターフェース画面を生成する、
画像処理装置。
【請求項9】
請求項１に記載の画像処理装置において、
前記ルールベースツールによる前記所定のルールに従った画像処理は、入力画像中の特徴領域を強調するための前処理であり、
前記画像処理部は、
前記データセットを構成する前記複数の画像に対して、前記前処理を実行することで、各画像の特徴領域が強調された複数の前処理画像を生成し、
前記複数の前処理画像に対して、前記機械学習ツールによる画像処理または前記機械学習モデルの学習処理を実行する、
画像処理装置。
前記ルールベースツールによる前記所定のルールに従った画像処理は、入力画像中の特徴領域を強調するための前処理であり、
前記画像処理部は、
前記データセットを構成する前記複数の画像に対して、前記前処理を実行することで、各画像の特徴領域が強調された複数の前処理画像を生成し、
前記複数の前処理画像に対して、前記機械学習ツールによる画像処理または前記機械学習モデルの学習処理を実行する、
画像処理装置。
【請求項10】
請求項１に記載の画像処理装置において、
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールおよび前記ルールベースツールが、共に前記データセットを参照していることを示すインジケータを、前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールおよび前記ルールベースツールが、共に前記データセットを参照していることを示すインジケータを、前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項11】
請求項１に記載の画像処理装置において、
前記入力部は、
機械学習モデルを用いた画像処理を示す第１機械学習ツールおよび第２機械学習ツール、ならびに、所定のルールに従った画像処理を示す第１ルールベースツールおよび第２ルールベースツールを前記設定ウィンドウに配置し、当該設定ウィンドウに配置された前記第１機械学習ツールと前記第１ルールベースツールに対して、複数の画像で構成された第１データセットを参照させ、当該設定ウィンドウに配置された前記第２機械学習ツールと前記第２ルールベースツールに対して、複数の画像で構成された第２データセットを参照させるためのユーザ入力を受け付け、
前記ＵＩ生成部は、
前記設定ウィンドウ上に配置された前記第１機械学習ツールおよび前記第１ルールベースツールが、共に前記第１データセットを参照していることを示す第１インジケータと、当該設定ウィンドウ上に配置された前記第２機械学習ツールおよび前記第２ルールベースツールが、共に前記第２データセットを参照していることを示す第２インジケータとを前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記入力部は、
機械学習モデルを用いた画像処理を示す第１機械学習ツールおよび第２機械学習ツール、ならびに、所定のルールに従った画像処理を示す第１ルールベースツールおよび第２ルールベースツールを前記設定ウィンドウに配置し、当該設定ウィンドウに配置された前記第１機械学習ツールと前記第１ルールベースツールに対して、複数の画像で構成された第１データセットを参照させ、当該設定ウィンドウに配置された前記第２機械学習ツールと前記第２ルールベースツールに対して、複数の画像で構成された第２データセットを参照させるためのユーザ入力を受け付け、
前記ＵＩ生成部は、
前記設定ウィンドウ上に配置された前記第１機械学習ツールおよび前記第１ルールベースツールが、共に前記第１データセットを参照していることを示す第１インジケータと、当該設定ウィンドウ上に配置された前記第２機械学習ツールおよび前記第２ルールベースツールが、共に前記第２データセットを参照していることを示す第２インジケータとを前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項12】
請求項２に記載の画像処理装置において、
前記画像処理部は、
前記データセットを構成する前記複数の画像に対して、前記機械学習ツールによる前記画像処理を実行し、
前記機械学習ツールによる前記画像処理が実行された前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行する、
画像処理装置。
前記画像処理部は、
前記データセットを構成する前記複数の画像に対して、前記機械学習ツールによる前記画像処理を実行し、
前記機械学習ツールによる前記画像処理が実行された前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行する、
画像処理装置。
【請求項13】
請求項１２に記載の画像処理装置において、
前記機械学習ツールは、入力画像を前記機械学習モデルにより複数のクラスのいずれかに分類する分類処理を示す分類ツールを含み、
前記ルールベースツールは、所定のルールに基づく画像検査を示す通常検査ツールを含み、
前記入力部は、
前記分類ツールと、前記複数のクラスの各クラスに対応する前記通常検査ツールを前記設定ウィンドウに配置し、当該設定ウィンドウに配置された前記分類ツールと前記複数の通常検査ツールに対して、複数の画像で構成された前記データセットを参照させるためのユーザ入力を受け付け、
前記画像処理部は、
前記データセットを構成する各画像を前記設定ウィンドウに配置された前記分類ツールにより、前記複数のクラスのいずれかに分類し、前記分類された画像に対して、当該分類されたクラスに対応する前記通常検査ツールによる画像検査を実行し、
前記ＵＩ生成部は、
前記分類ツールによる分類処理の結果、および、前記通常検査ツールによる画像検査の結果を前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
前記機械学習ツールは、入力画像を前記機械学習モデルにより複数のクラスのいずれかに分類する分類処理を示す分類ツールを含み、
前記ルールベースツールは、所定のルールに基づく画像検査を示す通常検査ツールを含み、
前記入力部は、
前記分類ツールと、前記複数のクラスの各クラスに対応する前記通常検査ツールを前記設定ウィンドウに配置し、当該設定ウィンドウに配置された前記分類ツールと前記複数の通常検査ツールに対して、複数の画像で構成された前記データセットを参照させるためのユーザ入力を受け付け、
前記画像処理部は、
前記データセットを構成する各画像を前記設定ウィンドウに配置された前記分類ツールにより、前記複数のクラスのいずれかに分類し、前記分類された画像に対して、当該分類されたクラスに対応する前記通常検査ツールによる画像検査を実行し、
前記ＵＩ生成部は、
前記分類ツールによる分類処理の結果、および、前記通常検査ツールによる画像検査の結果を前記データセットウィンドウに表示させたユーザインターフェース画面を生成する、
画像処理装置。
【請求項14】
請求項１に記載の画像処理装置において、
前記入力部は、前記機械学習ツールと前記ルールベースツールに対して、前記データセットを参照させるためのユーザ入力を受け付ける、
画像処理装置。
前記入力部は、前記機械学習ツールと前記ルールベースツールに対して、前記データセットを参照させるためのユーザ入力を受け付ける、
画像処理装置。
【請求項15】
機械学習ツールによる画像処理とルールベースツールによる画像処理とを実行する画像処理方法であって、
画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるステップと、
機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させる複数の画像で構成された共通のデータセットの入力を受け付けるステップと、
前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行するステップと、
を備える画像処理方法。
画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるステップと、
機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させる複数の画像で構成された共通のデータセットの入力を受け付けるステップと、
前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行するステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習ツールによる画像処理とルールベースツールによる画像処理との実行が可能に構成された画像処理装置に関する。
【背景技術】
【0002】
例えばワークの外観検査を行う検査装置として、撮像部によって取得された対象画像に各種計測処理を実行し、計測処理の処理結果に基づいてワークの欠陥検出や位置ずれの有無等を検出するように構成された検査装置が知られている（例えば特許文献１参照）。特許文献１の検査装置では、ユーザがマニュアルで処理手順を構築することが可能になっている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－０２１７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、特許文献１のようにマニュアルで処理手順を構築するルールベースツールによる画像処理以外にも、機械学習モデルによる画像処理ツールの使用が可能な画像処理ソフトも検討されている。
【0005】
ルールベースツールによる画像処理では、事前に設定されたルールに従って画像を処理するため、設定が必要な画像は１枚だけである一方、機械学習ツールによる画像処理では、機械学習モデルの学習用に複数枚の画像の設定が必要になる。
【0006】
このように、ルールベースツールと機械学習ツールの設定手順の違いから、ルールベースツールと機械学習ツールとを同じインタフェース上で設定する方法はこれまで提案されていなかった。このため、ルールベースツールと機械学習ツールの両方のツールを使いたいユーザには設定の手間が生じていた。
【0007】
本開示は、かかる点に鑑みたものであり、その目的とするところは、ルールベースツールと機械学習ツールの両方のツールを共通のインタフェース上で設定可能にしてユーザの手間を減らすことにある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本態様に係る画像処理装置は、画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面を生成するとともに、表示部に表示させるＵＩ生成部と、機械学習モデルによる画像処理を示す機械学習ツールと、所定のルールに従った画像処理を示すルールベースツールを前記ユーザインターフェース画面の前記設定ウィンドウに配置するための入力と、前記機械学習ツールと前記ルールベースツールに参照させるための複数の画像で構成された共通のデータセットの入力を受け付ける入力部と、前記機械学習ツールによる画像処理と、前記ルールベースツールによる画像処理との一方の処理を前記データセットに対して実行し、当該一方の処理を実行した後の当該データセットに対して他方の処理を実行する画像処理部とを備えている。
【0009】
すなわち、例えばルールベースツールで画像の位置を補正してから、機械学習ツールによる画像処理を実行したい場合には、表示部に表示されているユーザインターフェース画面の設定ウィンドウに、ルールベースツールの一例である位置補正ツールと、機械学習ツールとを配置し、位置補正ツール及び機械学習ツールにデータセットを参照させると、画像処理部は、データセットに対してルールベースツールで画像の位置補正処理を実行した後、同じデータセットに対して機械学習ツールによる画像処理を実行するので、ユーザの設定の手間が減る。機械学習ツールによる画像処理には、機械学習モデルの学習処理が含まれていてもよい。また、機械学習ツールによる画像処理の後に、ルールベースツールによる画像処理を実行してもよい。
【0010】
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールと前記ルールベースツールとが共に参照している前記データセットに含まれる画像を表示するデータセットウィンドウを、当該設定ウィンドウと並べて表示させたユーザインターフェース画面を生成することもできる。これにより、機械学習ツールとルールベースツールに共通して参照させているデータセット中の画像も同じユーザインターフェース画面上でユーザが確認できるため利便性が向上する。
【0011】
前記画像処理部は、前記データセットを構成する前記複数の画像に対して、前記ルールベースツールによる前記画像処理を実行することで、複数の処理後画像を生成することができる。この場合、前記ＵＩ生成部は、前記複数の処理後画像を前記データセットウィンドウに表示させたユーザインターフェース画面を生成することで、機械学習モデルに学習させる画像に対してルールベースツールによる画像処理が正しく実行されているか否かをユーザが確認できる。
【0012】
前記画像処理部は、前記複数の処理後画像に対して、前記機械学習ツールによる前記画像処理を実行することで、各処理後画像の推論結果を出力するように構成されていてもよい。この場合、前記ＵＩ生成部は、前記複数の処理後画像と各処理後画像に対応する前記推論結果とを前記データセットウィンドウに表示させたユーザインターフェース画面を生成することで、機械学習モデルが実際に推論の根拠としたルールベース処理後の画像に基づいて、ユーザが推論結果を確認できる。
【0013】
前記画像処理部は、前記データセットウィンドウに表示された前記複数の画像と、当該複数の画像に対して前記ルールベースツールによる前記画像処理を実行した結果とを前記機械学習モデルに学習させ、ワークが撮像された検査対象画像に対して前記ルールベースツールによる前記画像処理を実行することもできる。この場合、前記ルールベースツールによる前記画像処理の実行結果に基づいて、前記検査対象画像に対して、前記学習させた前記機械学習モデルを用いた前記画像処理を実行することで、学習時と同じルールベースツールの処理を検査対象画像に実行できる。これにより、学習結果に従った機械学習ツールを実行できるため、機械学習ツールの精度を向上できる。
【0014】
前記画像処理部は、前記データセットに含まれる前記複数の画像のそれぞれから特徴量を抽出し、抽出された特徴量に基づいて、各画像に含まれるワークの位置を検出し、検出されたワークの位置に基づいて、前記機械学習ツールによる画像処理の対象となる各画像のワークの位置及び姿勢が共通になるように位置補正を実行することもできる。この場合、位置補正された前記複数の画像に対して、前記機械学習ツールによる画像処理を実行することで、機械学習ツールによる画像処理の効率や精度を向上できる。位置補正とは、画像自体の座標変換処理であってもよいし、機械学習ツールによる学習対象領域の位置を補正する処理であってもよい。また、画像処理部が正規化相関（パターン）サーチを実行する場合には、輝度値を特徴量とすることができ、また、画像処理部が幾何サーチを実行する場合には、エッジを特徴量とすることができる。
【0015】
また、前記入力部は、前記データセットに含まれる画像中の前記機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成されていてもよい。この場合、前記画像処理部は、各画像内で検出されたワークの位置が前記指定された対象領域に含まれるように前記位置補正を実行し、前記データセットの各画像の前記対象領域に対して、前記機械学習ツールによる画像処理を実行することができる。これにより、機械学習ツールによる画像処理の対象領域を絞ることができるため、機械学習ツールによる画像処理の効率や精度を向上できる。また、画像中のワークの一部分のみを機械学習ツールで画像処理させたい場合に、対象領域を予め指定しておくことで不要な部分を判断対象から除くことができる。また、機械学習モデルの学習時においても対象領域だけを学習させる場合は、対象領域以外の部分を除くことで学習効果を向上できる。
【0016】
前記ＵＩ生成部は、前記位置補正により各画像内で検出されたワークが前記対象領域に含まれた状態で、前記データセットの前記複数の画像が前記データセットウィンドウに表示されたユーザインターフェース画面を生成することもできる。これにより、データセットを構成する各画像の注目領域が、機械学習ツールによる画像処理の対象領域に含まれていることを容易に確認できる。
【0017】
前記ルールベースツールによる前記所定のルールに従った画像処理は、入力画像中の特徴領域を強調するための前処理であってもよい。この場合、前記画像処理部は、前記データセットを構成する前記複数の画像に対して、前記前処理を実行することで、各画像の特徴領域が強調された複数の前処理画像を生成し、前記複数の前処理画像に対して、前記機械学習ツールによる画像処理または前記機械学習モデルの学習処理を実行することができる。すなわち、例えばコントラスト調整などのルールベースツールによる処理を実行することで、判別したい部分を強調することができ、その後に実行する機械学習ツールによる画像処理での判定難易度を下げることができる。
【0018】
前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記機械学習ツールおよび前記ルールベースツールが、共に前記データセットを参照していることを示すインジケータを、前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成することもできる。これにより、機械学習ツールとルールベースツールがどのデータセットを共有しているかをユーザが容易に把握できるため利便性が向上する。インジケータは、例えば１つのグループを示す枠や、ツール間を結ぶ線、矢印等であってもよい。
【0019】
前記入力部は、設定ウィンドウに配置された第１機械学習ツールと第１ルールベースツールに対して複数の画像で構成された第１データセットを参照させ、設定ウィンドウに配置された第２機械学習ツールと第２ルールベースツールに対して複数の画像で構成された第２データセットを参照させるためのユーザ入力を受け付けることもできる。この場合、前記ＵＩ生成部は、前記設定ウィンドウ上に配置された前記第１機械学習ツールおよび前記第１ルールベースツールが、共に前記第１データセットを参照していることを示す第１インジケータと、当該設定ウィンドウ上に配置された前記第２機械学習ツールおよび前記第２ルールベースツールが、共に前記第２データセットを参照していることを示す第２インジケータとを前記設定ウィンドウ上に表示させたユーザインターフェース画面を生成することができる。すなわち、ワークに対して複数の領域の検査を行う場合など、複数のデータセットがある場合に、各領域に対応するデータセットを参照しているツール群を区別してユーザインターフェース画面上に表示できるため、利便性が高まる。尚、第３機械学習ツールおよび第３ルールベースツールが、共に第３データセットを参照する形態も本発明に含むことができ、この場合、第３機械学習ツールおよび第３ルールベースツールが、共に第３データセットを参照していることを示す第３インジケータを設定ウィンドウ上に表示すればよい。
【発明の効果】
【0020】
以上説明したように、ルールベースツールと機械学習ツールの両方のツールを共通のインタフェース上で設定できるので、ユーザの手間を減らすことができる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施形態に係る画像処理装置の構成を示す模式図である。
【図2】画像処理装置のハードウエア構成を示すブロック図である。
【図3】ワーク画像を機械学習モデルで処理する例を説明する図である。
【図4】画像処理装置の検査設定の手順の一例を示すフローチャートである。
【図5】設定用ユーザインターフェース画面の一例を示す図である。
【図10】画像処理装置の運用時の処理の一例を示すフローチャートである。
【図11】ＡＩツールの実行後にルールベースツールを実行する場合の設定用ユーザインターフェース画面を示す図である。
【図12】ＡＩツールの実行後にルールベースツールを実行する場合の処理を示すフローチャートである。
【図13】複数のＡＩツールの組み合わせた場合の設定用ユーザインターフェース画面を示す図である。
【図14】画像処理の対象領域を設定する際に表示される設定用ユーザインターフェース画面を示す図である。
【図16】ＡＩツール選択時の設定用ユーザインターフェース画面を示す図である。
【図17】複数の撮像ユニットを備えている場合の設定用ユーザインターフェース画面を示す図である。
【図18】撮像設定ウィンドウの一例を示す図である。
【図19】複数回撮像設定ウィンドウの一例を示す図である。
【図20】インジケータの別の例を説明する図である。
【発明を実施するための形態】
【0022】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0023】
図１は、本発明の実施形態に係る画像処理装置１の構成を示す模式図である。画像処理装置１は、例えば各種部品や製品等のような検査対象であるワークを撮像して取得されたワーク画像の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。具体的には、画像処理装置１の内部には機械学習モデルが構築されており、この機械学習モデルは、複数の学習用画像を学習させることにより生成されている。
【0024】
図２にも示すように、画像処理装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ５を使用して各種情報や画像を表示させることもできるし、パーソナルコンピュータ５の機能を制御ユニット２に組み込むことや、表示装置４に組み込むことができる。
【0025】
図１では、画像処理装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。画像処理装置１を用いることにより、本発明に係る画像処理方法の全てのステップを実行できる。
【0026】
（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４ａと、撮像基板１４ｂとを備えている。ＡＦ用モータ１４ａは、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４ｂは、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４ｃを備えている。ＣＭＯＳセンサ１４ｃは、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４ｃの代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４ａと、撮像基板１４ｂとを備えている。ＡＦ用モータ１４ａは、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４ｂは、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４ｃを備えている。ＣＭＯＳセンサ１４ｃは、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４ｃの代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。
【0027】
照明モジュール１５は、ワークを含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５ａと、ＬＥＤ１５ａを制御するＬＥＤドライバ１５ｂとを備えている。ＬＥＤ１５ａによる発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５ｂによって任意に制御することができる。ＬＥＤ１５ａは、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。
【0028】
（表示装置４の構成）
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有しており、後述する制御ユニット２のプロセッサ１３ｃないし表示制御部１３ａによって制御される。制御ユニット２から出力されたワーク画像や各種ユーザインターフェース画面等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有しており、後述する制御ユニット２のプロセッサ１３ｃないし表示制御部１３ａによって制御される。制御ユニット２から出力されたワーク画像や各種ユーザインターフェース画面等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。
【0029】
（操作機器）
画像処理装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。
画像処理装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。
【0030】
キーボード５１やマウス５２のユーザによる操作は制御ユニット２で検出可能になっている。また、タッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、ユーザのタッチ操作は制御ユニット２で検出可能になっている。他のポインティングデバイスを用いた場合も同様である。
【0031】
（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、表示制御部（ＵＩ生成部）１３ａと、入力部１３ｂと、プロセッサ（画像処理部）１３ｃとが設けられている。表示制御部１３ａは、詳細は後述するが、画像処理装置１で実行する画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面等を生成する部分である。表示制御部１３ａで生成された各種ユーザインターフェース画面は、表示装置４に表示される。
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、表示制御部（ＵＩ生成部）１３ａと、入力部１３ｂと、プロセッサ（画像処理部）１３ｃとが設けられている。表示制御部１３ａは、詳細は後述するが、画像処理装置１で実行する画像処理を設定するための設定ウィンドウを表示するユーザインターフェース画面等を生成する部分である。表示制御部１３ａで生成された各種ユーザインターフェース画面は、表示装置４に表示される。
【0032】
表示制御部１３ａ及び入力部１３ｂは、例えば、メイン基板１３に実装された演算処理装置によって構成することができる。また、１つの演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよいし、別々の演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよい。
【0033】
表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃは、接続されている各基板及びモジュールの動作を制御する。例えば、プロセッサ１３ｃは、照明モジュール１５のＬＥＤドライバ１５ｂに対してＬＥＤ１５ａの点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５ｂは、プロセッサ１３ｃからの照明制御信号に応じて、ＬＥＤ１５ａの点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５ａの光量等を調整する。
【0034】
また、プロセッサ１３ｃは、カメラモジュール１４の撮像基板１４ｂに、ＣＭＯＳセンサ１４ｃを制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４ｃは、プロセッサ１３ｃからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、プロセッサ１３ｃから出力される撮像制御信号に応じてＣＭＯＳセンサ１４ｃの視野範囲内を撮像し、視野範囲内にワークがあれば、ワークを撮像することになるが、ワーク以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像処理装置１は、機械学習モデルの学習用画像として、撮像ユニット３により、良品に対応する良品画像と不良品に対応する不良品画像とを撮像することができる。学習用画像は、撮像ユニット３で撮像された画像でなくてもよく、他のカメラ等で撮像された画像であってもよい。
【0035】
一方、画像処理装置１の運用時には、撮像ユニット３により、ワークを撮像することができる。また、ＣＭＯＳセンサ１４ｃは、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
【0036】
ＣＭＯＳセンサ１４ｃによる撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のプロセッサ１３ｃに入力されて処理されるとともに、メイン基板１３のメモリ１３ｄに記憶されるようになっている。メイン基板１３のプロセッサ１３ｃによる具体的な処理内容の詳細については後述する。尚、メイン基板１３には、ＦＰＧＡやＤＳＰ等の処理装置が設けられていてもよい。また、ＦＰＧＡやＤＳＰ等の処理装置が統合されたプロセッサ１３ｃであってもよい。
【0037】
コネクタ基板１６は、電源インタフェース１６ａに設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４ａに駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３のプロセッサ１３ｃからのＡＦ制御信号に応じて、ＡＦ用モータ１４ａに供給する電力を調整する。
【0038】
通信基板１７は、メイン基板１３と表示装置４及びパーソナルコンピュータ５との通信、メイン基板１３と外部制御機器（図示せず）との通信等を実行する部分である。外部制御機器は、例えばプログラマブルロジックコントローラ等を挙げることができる。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
【0039】
制御ユニット２には、例えばソリッドステートドライブ、ハードディスクドライブ等からなる記憶装置（記憶部）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。プログラムファイル８０は、外部サーバから通信回線を利用してダウンロードされるものであってもよい。また、記憶装置１９には、例えば、上記画像データや、画像処理装置１の機械学習モデルを構築するためのパラメータ等を記憶させておくこともできる。
【0040】
（画像処理の種類）
画像処理装置１は、所定のルールに従った画像処理と、機械学習モデルを用いた画像処理との両方を実行することが可能に構成されている。所定のルールに従った画像処理は、ルールベースによる画像処理と呼ぶことができる。ルールベースによる画像処理では、ユーザがマニュアルで処理手順を構築していく。所定のルールに従った画像処理を示すツールをルールベースツールと呼び、ルールベースツールには、例えば、ワーク画像のコントラスト調整を行う前処理ツール、ワークの位置及び姿勢を補正する位置補正ツール、ワークの寸法や幾何形状を抽出する寸法幾何ツール、ワーク外面の欠陥を抽出する欠陥ツール等が含まれる。欠陥ツールは、所定のルールに基づく画像検査を示す通常検査ツールの例である。
画像処理装置１は、所定のルールに従った画像処理と、機械学習モデルを用いた画像処理との両方を実行することが可能に構成されている。所定のルールに従った画像処理は、ルールベースによる画像処理と呼ぶことができる。ルールベースによる画像処理では、ユーザがマニュアルで処理手順を構築していく。所定のルールに従った画像処理を示すツールをルールベースツールと呼び、ルールベースツールには、例えば、ワーク画像のコントラスト調整を行う前処理ツール、ワークの位置及び姿勢を補正する位置補正ツール、ワークの寸法や幾何形状を抽出する寸法幾何ツール、ワーク外面の欠陥を抽出する欠陥ツール等が含まれる。欠陥ツールは、所定のルールに基づく画像検査を示す通常検査ツールの例である。
【0041】
一方、機械学習モデルによる画像処理は、画像と教師データとを機械学習モデルに学習させることによって画像処理を可能にするＡＩ方式の画像処理と呼ぶことができる。機械学習モデルによる画像処理では、まず、複数の画像（学習用画像）と教師データとを機械学習モデルに入力して学習させて学習済みの機械学習モデルを生成し、学習済みの機械学習モデルに入力画像を入力し、例えば分類処理、判定処理、検出処理や位置決め処理等の画像処理を機械学習モデルに実行させる。本実施形態では、機械学習モデルによる学習処理が画像処理に含まれている。機械学習モデルを用いた画像処理を示すツールを機械学習ツール（ＡＩツール）と呼び、機械学習ツールには、入力画像を機械学習モデルにより複数のクラスのいずれかに分類する分類処理を示す分類ツール、入力画像の良否を機械学習モデルにより判定する判定処理を示す判定ツール、入力画像に含まれる物体や欠陥を機械学習モデルにより検出する検出処理を示す検出ツール、入力画像に含まれる物体の位置決めを機械学習モデルにより行う位置決め処理を示す位置決めツール等が含まれる。
【0042】
記憶装置１９に記憶しているパラメータをプロセッサ１３ｃが読み込むことで、機械学習モデルをプロセッサ１３ｃが構築できる。図３に示すように、機械学習モデルには、ニューラルネットワーク、オートエンコーダ、ＳＶＭ（サポートベクターマシン）等が含まれている。プロセッサ１３ｃは、上述のようにして構築されたニューラルネットワークに、検査対象のワークを撮像したワーク画像を入力する。これが前段処理であり、ワーク画像をニューラルネットワークに入力すると、ニューラルネットワークが特徴抽出を行い、抽出された特徴量は、後段処理を実行するオートエンコーダ及び／またはサポートベクターマシンに入力される。前段処理で特徴抽出を行うニューラルネットワークは、事前学習済みの畳み込みニューラルネットワークであっても良いし、後述する自動学習を用いて追加で学習できるように構成された畳み込みニューラルネットワークであっても良い。また、図３に示す機械学習モデルにおいて、畳み込みニューラルネットワークの複数の階層からスケールの異なる複数の特徴量（特徴マップ）が抽出され、当該複数の特徴量がそれぞれ、オートエンコーダ及び／またはサポートベクターマシンに入力されるように構成しても良い。
【0043】
オートエンコーダでは、入力された特徴量に基づいて異常度マップ（ヒートマップ）を生成して出力する。プロセッサ１３ｃは、オートエンコーダから出力された異常度マップに基づいて、ワーク画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行する。例えば、第１クラスを良品クラスとし、第１クラスに属する画像は、良品を撮像した良品画像とすることができ、また、第２クラスを不良品クラスとし、第２クラスに属する画像は、不良品を撮像した不良品画像とすることができる。
【0044】
一方、サポートベクターマシンでは、入力された特徴量に基づいて、ワーク画像を複数のクラスに分類する分類処理を実行する。複数のクラスには、前記第１クラスと前記第２クラスとが含まれており、これにより、プロセッサ１３ｃは、ワーク画像を良品クラスと不良品クラスに分類することができる。複数のクラスには、第３クラスや第４クラス等が含まれていてもよく、クラスの数は特に限定されない。
【0045】
本実施形態に係る機械学習モデルは、オートエンコーダやＳＶＭに限定されるものではなく、他の機械学習モデルを用いても良い。
【0046】
画像処理装置１のプロセッサ１３ｃが上記判定処理や上記分類処理を実行することで、ワークが良品であるか不良品であるかを判断できる。このような機能を有する画像処理装置１は、ワークの外観を検査することができるので、外観検査装置等と呼ぶこともできる。画像処理装置１が検査対象とするワークは、それ全体が検査対象であってもよいし、ワークの一部のみが検査対象であってもよい。また、１つのワークに複数の検査対象が含まれていてもよい。また、ワーク画像には、複数のワークが含まれていてもよい。
【0047】
（画像処理装置１の検査設定）
次に、画像処理装置１の検査設定について説明する。検査設定とは、画像処理の設定のことである。図４は、画像処理装置１の検査設定の手順の一例を示すフローチャートであり、ユーザが検査設定の開始操作を行うと実行される。検査設定の開始操作は、例えば開始ボタンの操作等であり、マウス５２等によって操作されたことを入力部１３ｂが検出すると、図４のフローチャートがスタートする。
次に、画像処理装置１の検査設定について説明する。検査設定とは、画像処理の設定のことである。図４は、画像処理装置１の検査設定の手順の一例を示すフローチャートであり、ユーザが検査設定の開始操作を行うと実行される。検査設定の開始操作は、例えば開始ボタンの操作等であり、マウス５２等によって操作されたことを入力部１３ｂが検出すると、図４のフローチャートがスタートする。
【0048】
ステップＳＡ１では、表示制御部１３ａが、図５に示す設定用ユーザインターフェース画面１００を生成し、表示装置４に表示させる。設定用ユーザインターフェース画面１００には、設定ウィンドウ１０１、選択画像表示領域１０２及びデータセットウィンドウ１０３が設けられている。設定ウィンドウ１０１は、画像処理を設定するためのウィンドウである。データセットウィンドウ１０３は、複数の画像で構成されたデータセットをサムネイル形式で一覧表示するための領域である。選択画像表示領域１０２は、データセットウィンドウ１０３に表示されている複数の画像の中から選択された画像を拡大表示するための領域である。
【0049】
ステップＳＡ２では、図６に示すように撮像ツール１１０の追加を受け付ける。撮像ツール１１０をユーザがマウス５２等によって選択すると、入力部１３ｂは、撮像ツール１１０の選択操作をユーザ入力として受け付ける。入力部１３ｂが撮像ツール１１０の選択操作を受け付けると、プロセッサ１３ｃは撮像ツール１１０が選択されたことを特定するとともに、メインルーチンの最初に撮像ツール１１０を配置する。そして、図６に示すように、撮像ツール１１０が設定ウィンドウ１０１のメインルーチンの一番上に配置された設定用ユーザインターフェース画面１００を表示制御部１３ａが生成して表示装置４に表示させる。
【0050】
図４に示すフローチャートのステップＳＡ３では、図７に示すようにＡＩ分類ツール１１１の追加を受け付ける。本実施形態では、ＡＩツールの中の一つであるＡＩ分類ツール１１１の追加を受け付けた場合について説明するが、他のＡＩツールの追加を受け付けた場合も同様である。すなわち、ＡＩ分類ツール１１１は、機械学習モデルに学習用画像を入力して機械学習モデルに学習させ、学習後、分類処理を実行可能なツールである。ＡＩ分類ツール１１１をユーザがマウス５２等によって選択すると、入力部１３ｂは、ＡＩ分類ツール１１１の選択操作をユーザ入力として受け付ける。入力部１３ｂがＡＩ分類ツール１１１の選択操作を受け付けると、プロセッサ１３ｃはＡＩ分類ツール１１１が選択されたことを特定するとともに、メインルーチンの撮像ツール１１０の下にＡＩ分類ツール１１１を配置する。そして、図７に示すように、ＡＩ分類ツール１１１が設定ウィンドウ１０１におけるメインルーチンの撮像ツール１１０の下に配置された設定用ユーザインターフェース画面１００を表示制御部１３ａが生成して表示装置４に表示させる。
【0051】
ＡＩ分類ツール１１１の生成と共に、ＡＩ分類ツール１１１を囲む枠１１２を表示制御部１３ａが生成して設定ウィンドウ１０１上に表示させる。この枠１１２は、設定ウィンドウ１０１上に配置された機械学習ツールおよびルールベースツールが、共に共通のデータセットを参照していること示すインジケータの一例である。
【0052】
ステップＳＡ４では、図８に示すように、他のツールの追加を受け付ける。具体的には、ユーザが他のツールを枠１１２内に入れる操作を検出すると、その操作が他のツールの追加操作として入力部１３ｂが受け付ける。プロセッサ１３ｃは、どのツールが追加されたかを特定する。
【0053】
枠１１２内に追加する他のツールは、機械学習ツールであってもよいし、ルールベースツールであってもよい。本実施形態では、画像に含まれるワークの位置及び姿勢を補正する位置補正ツールをステップＳＡ４で追加している。位置補正ツールは、ルールベースツールの一例である。尚、枠１１２内に追加するツールは上述した位置補正ツールに限定されるものではなく、例えば寸法を測定するツール、エッジを抽出するツール等であってもよい。また、枠１１２内に追加するツールの数も特に限定されるものではない。１つの枠１１２内に配置された複数のツールによって１つのグループが形成される。
【0054】
ステップＳＡ５では、図９に示すように、複数の画像で構成されたデータセットを受け付ける。データセットは、撮像ツール１１０で撮像した複数のワーク画像で構成されていてもよいし、例えば記憶装置１９等に保存していた複数の画像で構成されていてもよい。保存していた複数の画像でデータセットを構成する場合、マウス５２等を操作して保存先を指定し、その保存先から複数の画像を読み込めばよい。
【0055】
入力部１３ｂは、データセットの指定操作をユーザ入力として受け付ける。入力部１３ｂがデータセットの指定操作を受け付けると、プロセッサ１３ｃはデータセットが指定されたことを特定する。そして、図９に示すように、データセットを構成している複数の画像１２０をサムネイル形式でデータセットウィンドウ１０３に表示した設定用ユーザインターフェース画面１００を表示制御部１３ａが生成して表示装置４に表示させる。データセットウィンドウ１０３に表示した複数の画像１２０のうち、任意の１つの画像１２０をユーザが選択すると、選択された画像１２０を囲むように選択済みマーク１２１を表示制御部１３ａが生成して表示させる。任意の画像１２０の選択操作は、例えばマウス５２等によって可能であり、プロセッサ１３ｃが、ユーザによって選択された一の画像１２０を特定する。プロセッサ１３ｃがユーザによって選択された一の画像１２０を特定すると、表示制御部１３ａがその一の画像１２０を選択画像表示領域１０２に拡大表示させる。尚、ステップＳＡ２、ＳＡ３、ＳＡ４、ＳＡ５は順不同であり、どのステップから実行してもよい。
【0056】
ステップＳＡ６では、データセットを共有させるＡＩツールとルールベースツールの指定を受け付ける。このステップにおける指定の受付は、ステップＳＡ４の結果を参照することによって可能である。すなわち、ＡＩ分類ツール１１１を囲む枠１１２内に追加したツールは、共通のデータセットを参照するツールとして設定される。ＡＩ分類ツール１１１を囲む枠１１２内にツールを追加する操作は、設定ウィンドウ１０１に配置された機械学習ツールとルールベースツールに対して、共通のデータセットを参照させるためのユーザ入力である。このユーザ入力は入力部１３ｂによって受け付けられる。つまり、表示制御部１３ａは、設定ウィンドウ１０１上に配置された機械学習ツールとルールベースツールとが共に参照しているデータセットに含まれる画像を表示するデータセットウィンドウ１０３を、設定ウィンドウ１０１と並べて表示させたユーザインターフェース画面１００を生成して表示装置４に表示させるので、機械学習ツールとルールベースツールに共通して参照させているデータセット中の画像も同じユーザインターフェース画面１００上でユーザが確認できるため利便性が向上する。
【0057】
ステップＳＡ７では、データセットに対してルールベースツールによる画像処理を実行する。ステップＳＡ８では、ルールベースツールによる画像処理を実行した後のデータセットに対してＡＩツールによる画像処理を実行する。すなわち、プロセッサ１３ｃが、データセットに対してルールベースツールで画像の位置補正処理を実行した後、同じデータセットに対して機械学習ツールによる画像処理を実行するので、ユーザの設定の手間が減る。
【0058】
本例では、図９に示すように、ルールベースツールが位置補正ツール１１３であり、ＡＩツールがＡＩ分類ツール１１１であり、位置補正ツール１１３の方が上に配置されていることから、ＡＩ分類ツール１１１による画像処理の前に、ステップＳＡ７でデータセットに対して位置補正処理を実行する。位置補正ツール１１３について具体的に説明すると、位置補正ツール１１３による画像処理を実行する際、プロセッサ１３ｃは、まず、データセットに含まれる複数の画像のそれぞれから特徴量を抽出する。プロセッサ１３ｃは、複数の画像のそれぞれから特徴量を抽出した後、抽出された特徴量に基づいて、各画像に含まれるワークの位置を検出する。プロセッサ１３ｃは、検出されたワークの位置に基づいて、ＡＩ分類ツール１１１による画像処理の対象となる各画像のワークの位置及び姿勢が共通になるように位置補正を実行する。尚、プロセッサ１３ｃが正規化相関（パターン）サーチを実行する場合には、輝度値を特徴量とすることができ、また、プロセッサ１３ｃが幾何サーチを実行する場合には、エッジを特徴量とすることができる。
【0059】
位置補正が実行された後、ステップＳＡ８で位置補正処理後のデータセットが機械学習モデルに入力されて機械学習モデルの学習が実行される。これにより、分類処理が可能な機械学習モデルが生成される。尚、分類処理の他、判定処理、検出処理や位置決め処理などが可能な機械学習モデルを生成する場合も同様な手順を用いることができる。
【0060】
（画像処理装置１の運用）
次に、画像処理装置１の運用時について説明する。図１０は、画像処理装置１の運用時の処理の一例を示すフローチャートであり、上記設定が完了した後にユーザの運用開始指示がなされた後に開始される。スタート後のステップＳＢ１では、プロセッサ１３ｃが所定のタイミングで撮像ツール１１０を実行する。所定のタイミングとは、例えば外部機器から撮像トリガ信号が入力されたタイミングや、画像処理装置１内で撮像トリガ信号が生成されたタイミング等である。複数のワークが搬送ライン上を順次搬送されているような現場で画像処理装置１を運用する場合には、ワークが所定位置に到達したタイミングが上記所定のタイミングとなり得る。撮像ツール１１０を所定のタイミングで実行すると、撮像ユニット３がワークを撮像する。これにより、ワーク画像が入力画像として取得される。撮像ユニット３が複数回の撮像を実行すると、入力画像が複数取得される。
次に、画像処理装置１の運用時について説明する。図１０は、画像処理装置１の運用時の処理の一例を示すフローチャートであり、上記設定が完了した後にユーザの運用開始指示がなされた後に開始される。スタート後のステップＳＢ１では、プロセッサ１３ｃが所定のタイミングで撮像ツール１１０を実行する。所定のタイミングとは、例えば外部機器から撮像トリガ信号が入力されたタイミングや、画像処理装置１内で撮像トリガ信号が生成されたタイミング等である。複数のワークが搬送ライン上を順次搬送されているような現場で画像処理装置１を運用する場合には、ワークが所定位置に到達したタイミングが上記所定のタイミングとなり得る。撮像ツール１１０を所定のタイミングで実行すると、撮像ユニット３がワークを撮像する。これにより、ワーク画像が入力画像として取得される。撮像ユニット３が複数回の撮像を実行すると、入力画像が複数取得される。
【0061】
ステップＳＢ２では、ステップＳＢ１で取得された入力画像に対してルールベースツールによる画像処理を実行する。ステップＳＢ３では、ルールベースツールによる画像処理を実行した後の入力画像に対してＡＩツールによる画像処理を実行する。本例では、図９に示すように、ルールベースツールが位置補正ツール１１３であり、ＡＩツールがＡＩ分類ツール１１１であることから、ステップＳＢ２で入力画像に対して位置補正処理が実行された後、ステップＳＢ３で位置補正処理後の入力画像が機械学習モデルに入力されて分類処理される。その後、ステップＳＢ４では、機械学習モデルによる分類結果が出力される。分類結果は、例えば表示装置４等に表示されるとともに、記憶装置１９に記憶される。
【0062】
このように、プロセッサ１３ｃは、設定用ユーザインターフェース画面１００のデータセットウィンドウ１０３に表示された複数の画像と、当該複数の画像に対してルールベースツールによる画像処理を実行した結果とを機械学習モデルに学習させることで学習済みの機械学習モデルを生成する。そして、プロセッサ１３ｃは、ワークが撮像された検査対象画像である入力画像に対してルールベースツールによる画像処理を実行し、その後、ルールベースツールによる画像処理の実行結果に基づいて、入力画像に対して学習済みの機械学習モデルを用いた画像処理を実行することができる。
【0063】
上述した例では、位置補正処理が実行された入力画像にＡＩツールによる画像処理を実行しているが、これに限らず、位置補正処理が実行されたことよって取得された位置補正結果（位置補正データ）を位置補正ツール１１３から取得し、取得した位置補正結果をＡＩツールに受け渡し、受け渡された位置補正結果に基づいてＡＩツールによる画像処理を実行してもよい。
【0064】
（ＡＩツールとルールベースツールの実行順序）
上述した例では、ルールベースツールによる画像処理の実行後に、ＡＩツールによる画像処理を実行しているが、この順序は反対、即ち、ＡＩツールによる画像処理の実行後に、ルールベースツールによる画像処理を実行してもよい。
上述した例では、ルールベースツールによる画像処理の実行後に、ＡＩツールによる画像処理を実行しているが、この順序は反対、即ち、ＡＩツールによる画像処理の実行後に、ルールベースツールによる画像処理を実行してもよい。
【0065】
以下、図１１に示す設定用ユーザインターフェース画面１００に基づいて、ＡＩツールによる画像処理の実行後に、ルールベースツールによる画像処理を実行する例について説明する。この例では、ワークとして、ばねとネジとが存在していて、ばねを撮像したワーク画像と、ネジを撮像したワーク画像とが運用時に入力画像として画像処理装置１に入力される。ＡＩツールとしてＡＩ分類ツール１１１が追加されており、このＡＩ分類ツール１１１は、入力画像を、ばねが撮像されたばね画像と、ネジが撮像されたネジ画像に分類する機械学習モデルで構成されている。
【0066】
ＡＩ分類ツール１１１を囲む枠１１２内には、通常検査ツールとして傷ツール（ばね）１３１と、傷ツール（ネジ）１３２とが追加されており、ＡＩ分類ツール１１１の下に傷ツール（ばね）１３１及び傷ツール（ネジ）１３２が配置されている。すなわち、ワークにばねとネジの両方が含まれているので、ＡＩ分類ツール１１１によってばね画像に分類された画像中、ばねに生じている傷を検出するばね用の傷検出ツールとしての「Ｔ０００４：傷ツール（ばね）」と、ＡＩ分類ツール１１１によってネジ画像に分類された画像中、ネジに生じている傷を検出するネジ用の傷検出ツールとしての「Ｔ０００５：傷ツール（ネジ）」とをユーザが追加する。その他にも、ばねの寸法を測定するばね用の寸法ツールや、ネジの寸法を測定するネジ用の寸法ツールを追加してもよく、これら寸法ツールもルールベースツールである。例えば、ばねの場合は外径を測定するための寸法ツールとし、ネジの場合は全長を測定するツールとすることもできる。
【0067】
傷ツール（ばね）１３１は、ＡＩ分類ツール１１１によって分類された一方のクラスに対応する通常検査ツールである。また、傷ツール（ネジ）１３２は、ＡＩ分類ツール１１１によって分類された他方のクラスに対応する通常検査ツールである。このように、入力部１３ｂは、ＡＩ分類ツール１１１と、ＡＩ分類ツール１１１で分類された複数のクラスの各クラスに対応する通常検査ツール１３１、１３２とを設定ウィンドウ１０１に配置し、設定ウィンドウ１０１に配置されたＡＩ分類ツール１１１と複数の通常検査ツール１３１、１３２に対して、複数の画像で構成された共通のデータセットを参照させるためのユーザ入力を受け付けることができる。
【0068】
図１２にフローチャートとして示すように、検査設定を行う際には、複数のネジ画像と複数のばね画像を事前に準備しておく。これら複数の画像によってデータセットが構成されている。図１１に示すように、ＡＩ分類ツール１１１、傷ツール（ばね）１３１及び傷ツール（ネジ）１３２が枠１１２内に入っているので、データセットは、ＡＩ分類ツール１１１、傷ツール（ばね）１３１及び傷ツール（ネジ）１３２で共有される。
【0069】
設定時におけるステップＳＣ１では、データセットが機械学習モデルに入力されて機械学習モデルの学習が実行される。これにより、ばね画像とネジ画像の分類処理が可能な機械学習モデルが生成される。
【0070】
運用時には、撮像ツールの実行によって取得された入力画像がステップＳＣ１でＡＩ分類ツール１１１に入力される。ＡＩ分類ツール１１１による画像処理の結果、ステップＳＣ２に示すように、入力画像がネジ画像であればネジ画像に分類される一方、入力画像がばね画像であればばね画像に分類される。
【0071】
その後、ステップＳＣ３では、ＡＩ分類ツール１１１によってネジ画像に分類された画像に対して傷ツール（ネジ）１３２による画像処理を実行し、また、ＡＩ分類ツール１１１によってばね画像に分類された画像に対して傷ツール（ばね）１３１による画像処理を実行する。このように、プロセッサ１３ｃは、データセットを構成する各画像を設定ウィンドウ１０１に配置されたＡＩ分類ツール１１１により、複数のクラスのいずれかに分類し、分類された画像に対して、当該分類されたクラスに対応する通常検査ツール１３１、１３２による画像検査を実行する。
【0072】
ステップＳＣ４では、傷ツール（ネジ）１３２による画像処理の結果を出力し、また、傷ツール（ねじ）１３１による画像処理の結果を出力する。このとき、表示制御部１３ａは、ＡＩ分類ツール１１１による分類処理の結果、および、通常検査ツール１３１、１３２による画像検査の結果をデータセットウィンドウ１０３に表示させたユーザインターフェース画面１００を生成することができるので、結果をユーザに提示できる。
【0073】
（複数のＡＩツールの組み合わせ）
画像処理装置１は、ルールベースツールを使用することなく、ＡＩツールのみ使用することもできる。図１３は、複数のＡＩツールの組み合わせた場合の設定用ユーザインターフェース画面１００を示している。枠１１２内には、ＡＩツールとして、ＡＩ位置決めツール１４１と、ＡＩ欠陥検出ツール１４２と、ＡＩ欠陥分類ツール１４３とが追加されている。ＡＩ位置決めツール１４１が一番上、ＡＩ欠陥分類ツール１４３が一番下に配置されており、この配置の順番は処理の順番に対応している。
画像処理装置１は、ルールベースツールを使用することなく、ＡＩツールのみ使用することもできる。図１３は、複数のＡＩツールの組み合わせた場合の設定用ユーザインターフェース画面１００を示している。枠１１２内には、ＡＩツールとして、ＡＩ位置決めツール１４１と、ＡＩ欠陥検出ツール１４２と、ＡＩ欠陥分類ツール１４３とが追加されている。ＡＩ位置決めツール１４１が一番上、ＡＩ欠陥分類ツール１４３が一番下に配置されており、この配置の順番は処理の順番に対応している。
【0074】
すなわち、ＡＩ位置決めツール１４１は、機械学習モデルによって検査対象領域を中心に移動させる画像処理を実行し、ＡＩ位置決めツール１４１の画像処理により検査対象領域を中心に移動させた画像がＡＩ欠陥検出ツール１４２に入力される。ＡＩ欠陥検出ツール１４２は、機械学習モデルによって入力画像中の欠陥部分を検出する画像処理を実行し、ＡＩ欠陥検出ツール１４２の画像処理により抽出された欠陥部分がＡＩ欠陥分類ツール１４３に入力される。ＡＩ欠陥分類ツール１４３は、機械学習モデルによって欠陥の種類を分類する画像処理を実行する。欠陥の種類としては、例えば傷、汚れ等がある。
【0075】
この例では、ＡＩツールが複数種あるので、機械学習モデルを学習させる際には、ＡＩ位置決めツール１４１用の教師データ、ＡＩ欠陥検出ツール１４２用の教師データ、ＡＩ欠陥分類ツール１４３用の教師データをそれぞれ用意する。
【0076】
（位置補正の詳細）
位置補正の際、ユーザはＡＩ分類ツール１１１による画像処理の対象領域を指定できる。図１４に示す設定用ユーザインターフェース画面１００のように、位置補正ツール１１３が選択されると、データセットウィンドウ１０３に表示されている複数の画像の中から選択された画像が選択画像表示領域１０２に表示される。選択画像表示領域１０２には、ＡＩ分類ツール１１１による画像処理の対象領域を指定するための領域指定枠１５０が画像に重畳表示される。領域指定枠１５０の画像上における位置、大きさ、縦横比等は、ユーザがマウス５２を操作することによって変更できるようになっている。画像中、ワーク全体を画像処理の対象領域とする場合には、ユーザがマウス５２を操作して、領域指定枠１５０がワーク全体を囲むように、かつ、できるだけ小さくなるように、領域指定枠１５０の位置、大きさ、縦横比等を変更する。また、ワークの一部のみを画像処理の対象領域とする場合には、ユーザがマウス５２を操作して、領域指定枠１５０がワークの一部のみを囲むように、領域指定枠１５０の位置、大きさ、縦横比等を変更する。変更後、決定操作をユーザが行うと、領域指定枠１５０で囲まれた領域が画像処理の対象領域として入力部１３ｂが受け付ける。つまり、入力部１３ｂは、データセットに含まれる画像中の機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成されているので、不要な部分を判断対象から除くことができる。また、機械学習モデルの学習時においても対象領域だけを学習させる場合は、対象領域以外の部分を除くことで学習効果を向上できる。
位置補正の際、ユーザはＡＩ分類ツール１１１による画像処理の対象領域を指定できる。図１４に示す設定用ユーザインターフェース画面１００のように、位置補正ツール１１３が選択されると、データセットウィンドウ１０３に表示されている複数の画像の中から選択された画像が選択画像表示領域１０２に表示される。選択画像表示領域１０２には、ＡＩ分類ツール１１１による画像処理の対象領域を指定するための領域指定枠１５０が画像に重畳表示される。領域指定枠１５０の画像上における位置、大きさ、縦横比等は、ユーザがマウス５２を操作することによって変更できるようになっている。画像中、ワーク全体を画像処理の対象領域とする場合には、ユーザがマウス５２を操作して、領域指定枠１５０がワーク全体を囲むように、かつ、できるだけ小さくなるように、領域指定枠１５０の位置、大きさ、縦横比等を変更する。また、ワークの一部のみを画像処理の対象領域とする場合には、ユーザがマウス５２を操作して、領域指定枠１５０がワークの一部のみを囲むように、領域指定枠１５０の位置、大きさ、縦横比等を変更する。変更後、決定操作をユーザが行うと、領域指定枠１５０で囲まれた領域が画像処理の対象領域として入力部１３ｂが受け付ける。つまり、入力部１３ｂは、データセットに含まれる画像中の機械学習ツールによる画像処理の対象領域の指定を受け付け可能に構成されているので、不要な部分を判断対象から除くことができる。また、機械学習モデルの学習時においても対象領域だけを学習させる場合は、対象領域以外の部分を除くことで学習効果を向上できる。
【0077】
入力部１３ｂにより画像処理の対象領域の指定を受け付けた場合、プロセッサ１３ｃは、各画像内で検出されたワークの位置が、ユーザにより指定された対象領域に含まれるように位置補正を実行する。具体的には、プロセッサ１３ｃが、データセットを構成する複数の画像のそれぞれに対して、位置補正ツール１１３による位置補正処理を実行することで、複数の処理後画像を生成する。図１５は、位置補正ツール１１３による位置補正処理が実行された後の設定用ユーザインターフェース画面１００を示している。位置補正によりデータセットウィンドウ１０３に表示されている複数の画像の全てについて対象領域が同じ向きとなるように補正されており、これら画像が処理後画像である。このように、表示制御部１３ａは、複数の処理後画像をデータセットウィンドウ１０３に表示させた設定用ユーザインターフェース画面１００を生成するので、機械学習モデルに入力する前の画像に対してルールベースツールによる画像処理が正しく実行されているか否かをユーザが確認できる。この設定用ユーザインターフェース画面１００によれば、位置補正により各画像内でワークが検出された場合、その検出されたワークが対象領域に含まれた状態で、データセットの複数の画像をデータセットウィンドウ１０３に表示させることができる。
【0078】
位置補正を実行した後、データセットウィンドウ１０３に表示されているデータセットの各画像の対象領域に対して、機械学習ツールによる画像処理を実行する。
【0079】
（ＡＩツール選択時の詳細）
図１６は、ＡＩツール選択時の設定用ユーザインターフェース画面１００を示している。データセットウィンドウ１０３に表示されているデータセットの各画像には、第１アイコン１６０が付されている。第１アイコン１６０は、良品画像、不良品画像、学習用画像、検証用画像を示すものである。第１アイコン１６０の右上に「○」が付されている場合には、良品画像であるとともに、学習用画像かつ検証用画像であることを示している。第１アイコン１６０の左下に「○」が付されている場合には、良品画像であるとともに、検証用画像であることを示している。第１アイコン１６０の右上に「×」が付されている場合には、不良品画像であるとともに、学習用画像かつ検証用画像であることを示している。第１アイコン１６０の左下に「×」が付されている場合には、不良品画像であるとともに、検証用画像であることを示している。さらに、データセットウィンドウ１０３に表示されているデータセットの各画像には、学習に用いられた画像であることを示す第２アイコン１６１も付されている。第１アイコン１６０及び第２アイコン１６１の形態はどのような形態であってもよく、上記情報を表示可能なものであればよい。
図１６は、ＡＩツール選択時の設定用ユーザインターフェース画面１００を示している。データセットウィンドウ１０３に表示されているデータセットの各画像には、第１アイコン１６０が付されている。第１アイコン１６０は、良品画像、不良品画像、学習用画像、検証用画像を示すものである。第１アイコン１６０の右上に「○」が付されている場合には、良品画像であるとともに、学習用画像かつ検証用画像であることを示している。第１アイコン１６０の左下に「○」が付されている場合には、良品画像であるとともに、検証用画像であることを示している。第１アイコン１６０の右上に「×」が付されている場合には、不良品画像であるとともに、学習用画像かつ検証用画像であることを示している。第１アイコン１６０の左下に「×」が付されている場合には、不良品画像であるとともに、検証用画像であることを示している。さらに、データセットウィンドウ１０３に表示されているデータセットの各画像には、学習に用いられた画像であることを示す第２アイコン１６１も付されている。第１アイコン１６０及び第２アイコン１６１の形態はどのような形態であってもよく、上記情報を表示可能なものであればよい。
【0080】
プロセッサ１３ｃは、位置補正処理が実行された後の複数の処理後画像に対して、機械学習ツールによる画像処理を実行することで、各処理後画像の推論結果を出力する。表示制御部１３ａは、複数の処理後画像と各処理後画像に対応する推論結果とをデータセットウィンドウ１０３に表示させた設定用ユーザインターフェース画面１００を生成する。すなわち、データセットウィンドウ１０３には、推論結果表示領域１６５が設けられている。推論結果表示領域１６５には、データセットの画像のうち、検証用画像を機械学習モデルに入力して画像処理することによって得られた推論結果として、良品と推論された数と、不良品として判定された数とが表形式で表示される。また、推論結果表示領域１６５には、機械学習モデルに学習させる学習用画像の数についても、良品画像と不良品画像とが区別可能な形態で表示される。さらに、推論結果表示領域１６５には、未分類の画像の数についても表示される。図１６に示す設定用ユーザインターフェース画面１００を表示させることで、機械学習モデルが実際に推論の根拠としたルールベース処理後の画像に基づいて、ユーザが推論結果を確認できる。
【0081】
（特徴領域の強調処理）
ルールベースツールによる画像処理は、入力画像中の特徴領域を強調するための前処理とすることもできる。この種の前処理としては、例えばコントラスト調整等を挙げることができ、コントラスト調整により特徴領域を強調することができる。
ルールベースツールによる画像処理は、入力画像中の特徴領域を強調するための前処理とすることもできる。この種の前処理としては、例えばコントラスト調整等を挙げることができ、コントラスト調整により特徴領域を強調することができる。
【0082】
この場合、プロセッサ１３ｃは、データセットを構成する複数の画像に対して、特徴領域を強調するための前処理を実行することで、各画像の特徴領域が強調された複数の前処理画像を生成する。位置補正処理の場合と同様に、表示制御部１３ａが、特徴領域が強調された複数の前処理画像をデータセットウィンドウ１０３に表示させた設定用ユーザインターフェース画面１００を生成する。
【0083】
プロセッサ１３ｃは、特徴領域を強調するための前処理を実行した後、複数の前処理画像に対して、機械学習ツールによる画像処理または機械学習モデルの学習処理を実行する。すなわち、特徴領域を強調するための前処理を実行することで、機械学習モデルによって判別したい部分を強調することができ、その後に実行する機械学習ツールによる画像処理での判定難易度を下げることができる。
【0084】
（複数の撮像ユニットの使用例）
上述した各例では、１台の撮像ユニット３を備えている場合について説明したが、これに限らず、複数の撮像ユニット３を備えている場合に本実施形態を適用することもできる。図１７は、複数の撮像ユニット３を備えている場合の設定用ユーザインターフェース画面１００を示す図である。複数の撮像ユニット３は、同一のワークの異なる部分を撮像するように撮像視野が設定されており、従って、この例では、１つのワークに対して複数箇所の検査が同時に可能になる。
上述した各例では、１台の撮像ユニット３を備えている場合について説明したが、これに限らず、複数の撮像ユニット３を備えている場合に本実施形態を適用することもできる。図１７は、複数の撮像ユニット３を備えている場合の設定用ユーザインターフェース画面１００を示す図である。複数の撮像ユニット３は、同一のワークの異なる部分を撮像するように撮像視野が設定されており、従って、この例では、１つのワークに対して複数箇所の検査が同時に可能になる。
【0085】
ユーザがマウス５２等を用いて、設定用ユーザインターフェース画面１００の撮像ツール１１０を選択すると、表示制御部１３ａは、図１８に示すような撮像設定ウィンドウ２００を生成して表示装置４に表示させる。撮像設定ウィンドウ２００には、カメラ構成設定領域２０１、撮像ユニット３に固有の番号が表示されるカメラ番号表示領域２０２、撮像ユニット３の型式が表示されるカメラ型式表示領域２０３及び複数回撮像設定領域２０４等が設けられている。
【0086】
複数回撮像設定領域２０４に設けられている設定ボタン２０４ａをユーザがマウス５２等を用いて操作すると、表示制御部１３ａは、図１９に示すような複数回撮像設定ウィンドウ２１０を生成して表示装置４に表示させる。複数回撮像設定ウィンドウ２１０には、撮像回数を設定するための撮像回数設定領域２１１と、カメラ有効設定領域２１２とが設けられている。カメラ有効設定領域２１２では、撮像回数設定領域２１１で設定された回数が例えば２回である場合には、１回目の撮像、２回目の撮像をそれぞれどの撮像ユニット３で実行させるかを設定する。本例では、「ＣＡＭ１」と「ＣＡＭ２」の２台の撮像ユニット３を使用しており、１回目の撮像を「ＣＡＭ１」で実行し、２回目の撮像を「ＣＡＭ２」で実行するように設定している。これは例であり、３回以上の撮像回数が設定されてもよいし、３台以上の撮像ユニット３を用いてもよい。
【0087】
また、図１７に示すように２つのグループ、即ち「ＡＩグループ０００１」と「ＡＩグループ０００２」とをユーザの操作に基づいて設定する。具体的には、第１位置補正ツール１１３Ａと第１ＡＩ欠陥検出ツール１４２Ａとを第１枠１１２Ａ内に配置することで、第１グループが設定される。第１位置補正ツール１１３Ａと第１ＡＩ欠陥検出ツール１４２Ａには、複数の画像で構成された第１データセットを示す第１データセットツール１１８Ａを参照させるため、第１データセットツール１１８Ａを第１枠１１２Ａ内に配置する。第１位置補正ツール１１３Ａは、所定のルールに従った画像処理を示す第１ルールベースツールであり、第１ＡＩ欠陥検出ツール１４２Ａは機械学習モデルを用いた画像処理を示す第１機械学習ツールである。
【0088】
また、第２位置補正ツール１１３Ｂと第２ＡＩ欠陥検出ツール１４２Ｂとを第２枠１１２Ｂ内に配置することで、第２グループが設定される。第２位置補正ツール１１３Ｂと第２ＡＩ欠陥検出ツール１４２Ｂには、複数の画像で構成された第２データセットを示す第２データセットツール１１８Ｂを参照させるため、第２データセットツール１１８Ｂを第２枠１１２Ｂ内に配置する。第２位置補正ツール１１３Ｂは、所定のルールに従った画像処理を示す第２ルールベースツールであり、第２ＡＩ欠陥検出ツール１４２Ｂは機械学習モデルを用いた画像処理を示す第２機械学習ツールである。
【0089】
このように、入力部１３ｂは、第１ＡＩ欠陥検出ツール１４２Ａおよび第２ＡＩ欠陥検出ツール１４２Ｂ、ならびに、第１位置補正ツール１１３Ａおよび第２位置補正ツール１１３Ｂを設定ウィンドウ１０１に配置し、設定ウィンドウ１０１に配置された第１ＡＩ欠陥検出ツール１４２Ａと第１位置補正ツール１１３Ａに対して第１データセットツール１１８Ａを参照させ、設定ウィンドウ１０１に配置された第２ＡＩ欠陥検出ツール１４２Ｂと第２位置補正ツール１１３Ｂに対して第１データセットツール１１８Ａとは異なる第２データセットツール１１８Ｂを参照させるためのユーザ入力を受け付る。
【0090】
２つのグループを設定した場合には、第１枠１１２Ａ及び第２枠１１２Ｂを表示制御部１３ａが生成して設定ウィンドウ１０１に表示させるので、どのツールがどちらのグループに属しているか、及びどのグループにどのツールが属しているかをユーザが容易にかつ正確に判断できる。つまり、表示制御部１３ａは、設定ウィンドウ１０１上に配置された第１ＡＩ欠陥検出ツール１４２Ａと第１位置補正ツール１１３Ａが、共に第１データセットツール１１８Ａを参照していることを示す第１インジケータとして第１枠１１２Ａを設定ウィンドウ１０１上に表示させたユーザインターフェース画面１００を生成する。さらに、表示制御部１３ａは、設定ウィンドウ１０１上に配置された第２ＡＩ欠陥検出ツール１４２Ｂと第２位置補正ツール１１３Ｂが、共に第２データセットツール１１８Ｂを参照していることを示す第２インジケータとして第２枠１１２Ｂを設定ウィンドウ１０１上に表示させたユーザインターフェース画面１００を生成する。
【0091】
画像処理装置１の設定時には、「ＣＡＭ１」を第１撮像ユニットとし、「ＣＡＭ２」を第２撮像ユニットとした場合、第１撮像ユニットで撮像された複数の画像で第１データセットツール１１８Ａが構成され、第２撮像ユニットで撮像された複数の画像で第２データセットツール１１８Ｂが構成される。第１データセットツール１１８Ａを構成する複数の画像によって第１ＡＩ欠陥検出ツール１４２Ａが学習され、また第２データセットツール１１８Ｂを構成する複数の画像によって第２ＡＩ欠陥検出ツール１４２Ｂが学習される。
【0092】
画像処理装置１の運用時には、第１撮像ユニットで撮像された入力画像に対して第１位置補正ツール１１３Ａによる画像処理が実行され、第１位置補正ツール１１３Ａによる画像処理が実行された後の入力画像に対して第１ＡＩ欠陥検出ツール１４２Ａによる画像処理が実行されて欠陥の有無が判定される。また、第２撮像ユニットで撮像された入力画像に対して第２位置補正ツール１１３Ｂによる画像処理が実行され、第２位置補正ツール１１３Ｂによる画像処理が実行された後の入力画像に対して第２ＡＩ欠陥検出ツール１４２Ｂによる画像処理が実行されて欠陥の有無が判定される。第１ＡＩ欠陥検出ツール１４２Ａから出力された結果と、第２ＡＩ欠陥検出ツール１４２Ｂから出力された結果とが統合されて最終の良否判定がなされる。
【0093】
（インジケータ）
上述した各例では、設定ウィンドウ１０１上に配置された機械学習ツールおよびルールベースツールが、共にデータセットを参照していることを示すインジケータが枠１１２（図７に示す）、第１枠１１２Ａ、第２枠１１２Ｂ（図１７に示す）である場合について説明したが、インジケータは、ツール間を結ぶ線、矢印等であってもよい。
上述した各例では、設定ウィンドウ１０１上に配置された機械学習ツールおよびルールベースツールが、共にデータセットを参照していることを示すインジケータが枠１１２（図７に示す）、第１枠１１２Ａ、第２枠１１２Ｂ（図１７に示す）である場合について説明したが、インジケータは、ツール間を結ぶ線、矢印等であってもよい。
【0094】
すなわち、図２０に示すように、設定ウィンドウ１０１上に位置補正ツール１１３とＡＩ欠陥検出ツール１４２とが配置されている場合に、位置補正ツール１１３とＡＩ欠陥検出ツール１４２が参照するデータセットツール１１８も設定ウィンドウ１０１上に配置し、データセットツール１１８と位置補正ツール１１３とを結ぶ線１０１ａ及びデータセットツール１１８とＡＩ欠陥検出ツール１４２と結ぶ線１０１ｂを表示可能にしてもよい。例えばユーザがマウス５２を操作してデータセットツール１１８と位置補正ツール１１３とを関連付ける操作を行うと、その操作が入力部１３ｂで受け付けられ、表示制御部１３ａが線１０１ａを設定ウィンドウ１０１上に表示させ、また、データセットツール１１８とＡＩ欠陥検出ツール１４２とを関連付ける操作を行うと、その操作が入力部１３ｂで受け付けられ、表示制御部１３ａが線１０１ｂを設定ウィンドウ１０１上に表示させる。線１０１ａ、１０１ｂは、位置補正ツール１１３とＡＩ欠陥検出ツール１４２が共に共通のデータセットツール１１８を参照していることを示すインジケータである。また、線１０１ａ、１０１ｂの代わりに矢印等をインジケータとしてもよい。
【0095】
上述の実施形態では、設定ウィンドウ１０１上に配置された機械学習ツールおよびルールベースツールが、共通のデータセットを参照していることを示すために、インジケータとして枠１１２や線１０１ａを表示させる例を示したが、インジケータを表示しない態様を排除するものではない。すなわち、設定ウィンドウ１０１が共通のデータセットを参照する複数のツールと、当該データセットを参照しない他のツールとを含む場合に、当該他のツールと比較して、当該複数のツール同士を相対的に近くに配置することで、当該複数のツールが共通のデータセットを参照することを示しても良い。
【0096】
また、複数のツールに対して、共通のデータセットを参照させる手段としては、上述した例に限られない。例えば、第１のツールにデータセットを参照させるとともに、当該データセットを示すデータセットウィンドウをユーザインターフェース画面に表示させた状態で、設定ウィンドウ上の別の第２のツールを選択することにより、当該第２のツールに当該データセットを参照させるようにしてもよい。他の手段として、最初にデータセットを入力し、その後に設定ウィンドウ上にツールを順次配置する場合、設定ウィンドウに順次配置された各ツールに対して、当該データセットを自動的に参照させるようにしてもよい。他の手段として、最初に設定ウィンドウ上にツールを配置し、その後にデータセットを入力する場合、設定ウィンドウ上に配置されたツールが全て、当該データセットを自動的に参照させるようにしてもよい。
【0097】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0098】
以上説明したように、本開示に係る画像処理装置は、例えば工業製品の外観検査を行う場合に利用できる。
【符号の説明】
【0099】
１ 画像処理装置
４ 表示装置（表示部）
１３ａ 表示制御部（ＵＩ生成部）
１３ｂ 入力部
１３ｃ プロセッサ（画像処理部）
１００ ユーザインターフェース画面
１０３ データセットウィンドウ
４ 表示装置（表示部）
１３ａ 表示制御部（ＵＩ生成部）
１３ｂ 入力部
１３ｃ プロセッサ（画像処理部）
１００ ユーザインターフェース画面
１０３ データセットウィンドウ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
