特開 2024-179573 検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024179573

(43)【公開日】2024-12-26

(54)【発明の名称】検査装置

(51)【国際特許分類】

   G06V 10/778 20220101AFI20241219BHJP

   G01N 21/88 20060101ALI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

【ＦＩ】

G06V10/778

G01N21/88 Z

G06T7/00 610Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023098530

(22)【出願日】2023-06-15

(71)【出願人】

【識別番号】000000011

【氏名又は名称】株式会社アイシン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】福本 剛

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AB01

2G051AB02

2G051AC01

2G051CA04

2G051EA14

2G051EB02

2G051EB05

5L096BA03

5L096CA25

5L096DA02

5L096KA04

(57)【要約】

【課題】学習モデルの再学習を効率的に実施可能な検査装置を提供する。
【解決手段】実施形態の検査装置は、教師データを用いて行われる機械学習によりパラメータが設定され、検査対象物に関するセンサデータの入力に対して検査対象物が特定の状態であることの確からしさを示す指標値を出力する学習モデルを用いて、検査対象物の状態を推定する推定部と、予め定められた再学習条件が満たされた場合に、学習モデルのパラメータを再設定するための機械学習である再学習を行う再学習部と、再学習後の学習モデルが予め定められた評価基準を満たさない場合に、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報を生成する予測部と、予測情報を出力し、出力された予測情報を利用して行われるユーザの操作を受け付ける入出力部と、ユーザの操作に基づいて再学習の方法を変更する変更部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

教師データを用いて行われる機械学習によりパラメータが設定され、検査対象物に関するセンサデータの入力に対して前記検査対象物が特定の状態であることの確からしさを示す指標値を出力する学習モデルを用いて、前記検査対象物の状態を推定する推定部と、
予め定められた再学習条件が満たされた場合に、前記学習モデルの前記パラメータを再設定するための前記機械学習である再学習を行う再学習部と、
前記再学習後の前記学習モデルが予め定められた評価基準を満たさない場合に、前記再学習の方法を変化させた場合に前記再学習の結果がどのように変化するかを示す予測情報を生成する予測部と、
前記予測情報を出力し、出力された前記予測情報を利用して行われるユーザの操作を受け付ける入出力部と、
前記ユーザの操作に基づいて前記再学習の方法を変更する変更部と、
を備える検査装置。

【請求項2】

前記予測情報は、前記再学習で用いられる前記教師データの変化に応じて前記再学習後の前記学習モデルから出力される指標値の分布がどのように変化するかを示す情報を含む、
請求項１に記載の検査装置。

【請求項3】

前記予測情報は、前記再学習で用いられる前記教師データにおける、前記再学習条件が満たされた時点より前の予め定められた期間に取得された前記センサデータである直近データの含有率の変化に応じて前記再学習後の前記学習モデルから出力される指標値の分布がどのように変化するかを示す情報を含む、
請求項１に記載の検査装置。

【請求項4】

前記予測情報は、前記再学習で用いられる前記教師データから特定のセンサデータを除外した場合に前記再学習後の前記学習モデルから出力される指標値の分布がどのように変化するかを示す情報を含む、
請求項１に記載の検査装置。

【請求項5】

前記予測情報は、前記再学習におけるエポック数と、前記再学習後の前記学習モデルの推定精度と、の関係を示す情報を含む、
請求項１に記載の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、検査装置に関する。

【背景技術】

【0002】

工業製品等の検査対象物の異常（例えばバリ、打痕、キズ、変形、汚れ等）を発見する検査を行う際に、検査対象物を撮像した撮像画像から検査対象物の状態（例えば正常状態であるか異常状態であるか等）を推定する学習モデル（学習済みモデル）が利用されている。このような学習モデルは、正常状態にある検査対象物の撮像画像及び異常状態にある検査対象物の撮像画像を含む教師データを用いて事前に行われる機械学習（深層学習）により生成される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０６１７１３号公報

【特許文献2】特開２０２２－１８４４７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のような手法においては、コンセプトドリフト等の要因により学習モデルの推定精度が低下する可能性がある。コンセプトドリフトとは、学習モデルが推定しようとする目的変数の統計学的特性が時間の経過とともに変化することを意味し、その原因としては、例えばカメラレンズの汚れ、照明装置の劣化、気温等の環境の変化、前工程の変化等が考えられる。このようなコンセプトドリフト等により学習モデルの推定精度の低下が生じた場合には、新たな教師データを用いて学習モデルを再学習する必要がある。

【0005】

しかしながら、再学習を行っても学習モデルの推定精度が十分回復しない場合がある。そのため、再学習の効果が十分に認められない場合には、教師データの変更等の再学習方法の修正を行った上で、再度再学習を行うことが必要となる。

【0006】

そこで、本実施形態が解決しようとする課題の一つは、学習モデルの再学習を効率的に実施可能な検査装置を提供することである。

【課題を解決するための手段】

【0007】

本実施形態の検査装置は、教師データを用いて行われる機械学習によりパラメータが設定され、検査対象物に関するセンサデータの入力に対して検査対象物が特定の状態であることの確からしさを示す指標値を出力する学習モデルを用いて、検査対象物の状態を推定する推定部と、予め定められた再学習条件が満たされた場合に、学習モデルのパラメータを再設定するための機械学習である再学習を行う再学習部と、再学習後の学習モデルが予め定められた評価基準を満たさない場合に、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報を生成する予測部と、予測情報を出力し、出力された予測情報を利用して行われるユーザの操作を受け付ける入出力部と、ユーザの操作に基づいて再学習の方法を変更する変更部と、を備える。

【0008】

上記構成によれば、再学習後の学習モデルが予め定められた評価基準を満たさない場合、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報がユーザに提示され、ユーザは、当該予測情報に基づいて再学習の方法を適切に変更できる。これにより、学習モデルの再学習を効率的に実施することが可能となる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１実施形態の検査システムの構成の一例を示す図である。

【図2】図２は、第１実施形態の検査装置の機能構成の一例を示す図である。

【図3】図３は、第１実施形態の再学習で用いられる教師データの構成の一例を示す図である。

【図4】図４は、第１実施形態の予測情報の生成方法の一例を示す図である。

【図5】図５は、第１実施形態の予測表示画面の一例を示す図である。

【図6】図６は、第１実施形態の検査装置における処理の一例を示すフローチャートである。

【図7】図７は、第２実施形態の予測表示画面の構成の一例を示す図である。

【図8】図８は、第３実施形態の予測情報の生成方法の一例を示す図である。

【図9】図９は、第３実施形態の予測表示画面の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、並びに当該構成によってもたらされる作用、結果及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によって実現可能であると共に、基本的な構成に基づく種々の効果や派生的な効果のうち少なくとも１つを得ることが可能である。

【0011】

（第１実施形態）
図１は、第１実施形態の検査システムＳの構成の一例を示す図である。本実施形態の検査システムＳは、検査対象物の異常を検知可能なシステムである。検査対象物は、特に限定されるべきものではないが、例えば、工業製品等であり得る。工業製品とは、例えば、車両の構成部品等であり得る。本実施形態における検査には、検査対象物が正常な状態であるか（品質が予め定められた基準に達しているか）、異常な状態であるか（品質が予め定められた基準に達していないか）を判定する処理が含まれる。

【0012】

本実施形態の検査システムＳは、検査装置１及び撮像装置２を含む。撮像装置２は、検査対象物を撮像した撮像画像（センサデータの一例）を取得する。検査装置１は、撮像装置２により取得された撮像画像に基づいて、被写体となった検査対象物が正常か異常かを判定する処理を含む検査処理を実行する。

【0013】

本実施形態の検査装置１は、プロセッサ１１、メモリ１２、通信Ｉ／Ｆ（Interface）１３及びユーザＩ／Ｆ１４を有する。プロセッサ１１は、メモリ１２に記憶されたプログラムに従って検査対象物を検査するための情報処理（演算処理や制御処理等）を実行する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等を利用して構成され得る。メモリ１２は、検査処理の実行に必要なプログラムや各種データを記憶する。メモリ１２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等を利用して構成され得る。通信Ｉ／Ｆ１３は、予め定められた通信規約に従って検査装置１と外部機器との通信を確立するデバイスであり、本実施形態においては、撮像装置２から検査対象物の撮像画像（画像データ）を取得するための通信を確立する。ユーザＩ／Ｆ１４は、検査装置１とユーザ（検査システムＳの管理者、オペレータ等）と間での情報のやり取りを可能にするデバイスであり、例えば、ディスプレイ、キーボード、タッチパネル、スピーカ、マイク等を利用して構成され得る。

【0014】

なお、図１に示す構成は例示であり、検査システムＳの構成は上記に限定されるものではない。例えば、１つの検査装置１に複数の撮像装置２が接続されてもよいし、通信Ｉ／Ｆ１３に撮像装置２以外のセンサや電子機器等が接続されてもよいし、ネットワークを介して接続された複数の検査装置１が協働して稼働するものであってもよい。

【0015】

図２は、第１実施形態の検査装置１の機能構成の一例を示す図である。本実施形態の検査装置１は、記憶部１０１、推定部１０２、再学習部１０３、予測部１０４、入出力部１０５及び変更部１０６を有する。これらの機能部は、図１に例示されるような検査装置１のハードウェア要素及びソフトウェア要素（プログラム等）の協働により実現され得る。また、これらの機能部のうちの少なくとも一部を専用のハードウェア（回路等）により構成してもよい。

【0016】

記憶部１０１は、教師データを用いた機械学習（深層学習）によりパラメータ（重みやバイアス等）が設定されたニューラルネットワークを利用して構成される学習モデル（学習済みモデル）を記憶する。学習モデルは、撮像画像の入力に対して、当該撮像画像に対応する検査対象物が特定の状態であること（例えば異常状態であること、正常状態であること等）の確からしさを示す指標値を出力する。指標値は、例えば、尤度等と称される値であり得る。指標値と検査対象物の状態との対応関係は、検査対象物の種類等に応じて適宜設定されるべきものであるが、例えば、指標値は、０から１の間で変動し、異常状態である可能性（確からしさ）が高いほど１に近い値となり、正常状態である可能性が高いほど０に近い値となるように設定され得る。

【0017】

推定部１０２は、撮像装置２から取得される撮像画像を学習モデルに入力することにより得られる指標値に基づいて、検査対象物の状態、すなわち正常状態であるか、異常状態であるか等を推定する。

【0018】

再学習部１０３は、予め定められた再学習条件が満たされた場合に、学習モデルのパラメータを再設定するための機械学習である再学習を行う。再学習条件は、使用状況等に応じて適宜設定されるべきものであるが、例えば、推定部１０２による推定結果における異常判定数又は正常判定数、若しくはそれらの割合が閾値を超えた場合や、過検出数が閾値を超えた場合、正常状態か異常状態かの判別が困難な曖昧画像数が閾値を超えた場合等であり得る。

【0019】

予測部１０４は、再学習後の学習モデルが予め定められた評価基準を満たさない場合に、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報を生成する。評価基準は、使用状況等に応じて適宜設定されるべきものであるが、例えば、再学習で用いられた教師データとは異なる評価用データ（評価用に予め用意されたデータセット）を再学習後の学習モデルに入力したときの推定精度（正解率等）が閾値に達していること等であり得る。本実施形態の予測情報は、再学習で用いられる教師データの変化に応じて、再学習後の学習モデルに評価用データを入力したときに出力される指標値の分布（分布特性）がどのように変化するかを示す情報を含む。予測情報の具体例については後述する。

【0020】

入出力部１０５は、予測部１０４により生成された予測情報を予め定められた形式で出力し、出力された予測情報を利用して行われるユーザの操作を受け付ける。予測情報の出力形式は、使用状況等に適宜設定されるべきものであるが、例えば、ディスプレイへの画面表示等であり得る。この場合、ユーザの操作は、例えば、当該ディスプレイ上での操作等であり得る。

【0021】

変更部１０６は、入出力部１０５に対して行われたユーザの操作に基づいて再学習の方法を変更する。

【0022】

上記構成によれば、再学習後の学習モデルが予め定められた評価基準を満たさない場合には、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報がユーザに対して提示され、ユーザは当該予測情報に基づいて再学習の方法を適切に変更できる。これにより、再学習を効率的に実施することが可能となる。

【0023】

図３は、第１実施形態の再学習で用いられる教師データＩｔの構成の一例を示す図である。教師データＩｔは、旧画像Ｉ１及び直近画像Ｉ２（直近データの一例）を含む。旧画像Ｉ１は、過去に教師データとして用いられた画像であり、例えば、学習モデルの初期のパラメータを設定するための機械学習において教師データとして用いられた画像、前回行われた再学習において教師データとして用いられた画像等であり得る。直近画像Ｉ２は、再学習が必要になった時点に近い予め定められた期間に取得された撮像画像であり、例えば、図３に例示されるように、再学習条件が満たされた時点ｔ０より前の期間Δｔに取得された撮像画像等であり得る。なお、期間Δｔは、これに限定されるものではなく、例えば、時点ｔ０より後の期間を含んでもよい。

【0024】

本実施形態の予測部１０４は、再学習で用いられる教師データＩｔにおける直近画像Ｉ２の含有率の変化に応じて再学習後の学習モデルから出力される指標値の分布がどのように変化するかを示す予測情報を生成する。

【0025】

図４は、第１実施形態の予測情報の生成方法の一例を示す図である。図４において、教師データＩｔに含まれる直近画像Ｉ２の含有率と、再学習後の学習モデルに評価用データを入力したときに出力される指標値の分布と、の関係を示す複数のグラフが例示されている。ここで例示する指標値は、検査対象物が異常状態であることの確からしさを示す尤度であり、異常状態である可能性が高いほど１に近付き、正常状態である可能性が高いほど０に近付く値である。各グラフにおいて、横軸は指標値に対応し、縦軸は画像数に対応している。

【0026】

各グラフには、ＯＫ分布曲線Ｌ１、ＮＧ分布曲線Ｌ２及びＮＧ境界線Ｌ３が含まれている。ＯＫ分布曲線Ｌ１は、評価用データに含まれる複数の正常画像（正常状態の検査対象物の撮像画像）を学習モデルに入力したときの指標値と画像数との関係を示す曲線（例えば正規分布曲線）である。ＮＧ分布曲線Ｌ２は、評価用データに含まれる複数の異常画像（異常状態の検査対象物の撮像画像）を学習モデルに入力したときの指標値と画像数との関係を示す曲線（例えば正規分布曲線）である。ＮＧ境界線Ｌ３は、ＮＧ（異常状態）と判定される可能性がある程度高いと判断される指標値の境界値を示す線である。ＮＧ境界線Ｌ３が示す境界値は、例えば、ＮＧ分布曲線Ｌ２が正規分布曲線である場合、９９％信頼区間や９５％信頼区間等に対応する値であり得る。

【0027】

上記のような指標値の分布特性、すなわちＯＫ分布曲線Ｌ１及びＮＧ分布曲線Ｌ２の形状的特徴（例えば標準偏差等）や、ＮＧ境界線Ｌ３の位置等は、図４に例示されるように、教師データＩｔに含まれる直近画像Ｉ２の含有率の変化に応じて変化する。そして、当該分布特性の変化と、直近画像Ｉ２の含有率の変化と、の間には、特定の相関関係があると考えられる。

【0028】

図４に示される例では、直近画像Ｉ２の含有率の増加に応じて、ＯＫ分布曲線Ｌ１及びＮＧ分布曲線Ｌ２の標準偏差が徐々に（例えば含有率の変化に対して線形的に）小さくなり、ＮＧ境界線Ｌ３の位置が徐々に１に近付いていく。このような相関関係が分かっていれば、予め定められた基準含有率（例えば１００％）に対応する分布特性に基づいて、他の含有率に対応する分布特性を予測することができる。図４には、基準含有率１００％に対応する分布特性と、上記のような相関関係と、に基づいて、他の含有率１０％、３０％、５０％等のそれぞれに対応する分布特性を予測する場合が例示されている。基準含有率１００％に対応する部分特性は、適宜なタイミングで取得されればよいが、例えば、再学習条件が満たされ、デフォルトの直近画像Ｉ２の含有率（例えば１０％等）で再学習を実行する際に、当該再学習と平行して、直近画像Ｉ２のみを教師データＩｔとして用いた再学習を実行すること等により取得され得る。

【0029】

なお、上記予測方法は単なる例示であり、指標値の分布特性の予測方法は使用状況等に応じて適宜決定されるべきものである。例えば、基準含有率は１００％以外の値であってもよいし、複数の値（例えば１００％と０％等）であってもよい。

【0030】

本実施形態の検査装置１（入出力部１０５）は、上記のように生成された予測情報をユーザが視認可能な形態で出力する。本実施形態の予測情報は、教師データＩｔにおける直近画像Ｉ２の含有率の変化に応じて再学習後の学習モデルから出力される指標値（例えば当該学習モデルに予め定められた評価用データを入力したときに出力される指標値）の分布特性がどのように変化するかを示す情報である。

【0031】

図５は、第１実施形態の予測表示画面２０１の一例を示す図である。予測表示画面２０１は、予測情報をユーザに提示するための画面であり、例えば、検査装置１に備えられたディスプレイ等の表示装置に出力される。ここで例示する予測表示画面２０１は、現状表示部２１１、予測結果表示部２１２、含有率選択部２２１及び学習開始ボタン２３１を含む。

【0032】

現状表示部２１１は、再学習後の学習モデルであって、予め定められた評価基準を満たさないと判定された学習済みモデルに対応する指標値の分布特性を表示する部分である。

【0033】

予測結果表示部２１２は、再学習で用いられる教師データＩｔにおける直近画像Ｉ２の含有率の変化に応じて、当該再学習後の学習モデルに評価用データを入力したときに出力される指標値の分布特性がどのように変化するかを示す予測結果を表示する部分である。本実施形態の予測結果表示部２１２には、含有率選択部２２１で選択された含有率に対応する予測結果が表示され、選択された含有率の変更に応じて表示される予測結果が変更されるように構成されている。含有率選択部２２１は、ユーザの操作により任意の含有率を選択できるように構成されている。

【0034】

また、本実施形態の予測結果表示部２１２は、推奨領域２４１を含んでいる。推奨領域２４１は、ＮＧ境界線Ｌ３、すなわち異常状態と判定される可能性がある程度高いと判断される指標値の境界値が存在するべき範囲を示している。予測結果表示部２１２におけるＮＧ境界線Ｌ３の位置は、ユーザによる含有率を変更する操作に応じて変更されるが、ユーザは、ＮＧ境界線Ｌ３が推奨領域２４１内に収まっているか否かを確認することにより、再学習で用いられる教師データＩｔにおける直近画像Ｉ２の含有率の適正値を判断できる。

【0035】

学習開始ボタン２３１は、ユーザによる再学習を開始させる操作を受け付ける部分である。例えば、ユーザにより学習開始ボタン２３１を押下する操作が行われると、含有率選択部２２１で選択されている含有率で直近画像Ｉ２を含む教師データＩｔを用いて再学習が実行される。

【0036】

図６は、第１実施形態の検査装置１における処理の一例を示すフローチャートである。図６において、学習モデルに対して再学習を行う際の処理が例示されている。再学習部１０３は、再学習条件が満たされるか否かを判定し（Ｓ１０１）、再学習条件が満たされない場合（Ｓ１０１：Ｎｏ）、本ルーチンは終了する。再学習条件が満たされた場合（Ｓ１０２：Ｙｅｓ）、再学習部１０３は、デフォルトの教師データＩｔ（例えば直近画像Ｉ２を含有率１０％で含む教師データＩｔ等）を用いて再学習を実行する（Ｓ１０２）。

【0037】

その後、予測部１０４は、再学習後の学習モデルが評価基準を満たすか否かを判定する（Ｓ１０３）。評価基準が満たされる場合（Ｓ１０３：Ｙｅｓ）、現在の学習モデルを再学習後の学習モデルに更新する（Ｓ１０４）。

【0038】

一方、評価基準が満たされない場合（Ｓ１０３：Ｎｏ）、予測部１０４は、再学習の方法を変化させた場合に再学習の結果がどのように変化するかを示す予測情報を生成し、入出力部１０５は、当該予測情報に基づく予測表示画面２０１を出力する（Ｓ１０５）。その後、変更部１０６は、予測表示画面２０１等を介して行われるユーザによる指示（例えば、教師データＩｔに含まれる直近画像Ｉ２の含有率の選択）に応じて再学習の方法を変更し（Ｓ１０６）、再学習部１０３は、変更後の方法で再学習を再実行（Ｓ１０７）する。その後、ステップＳ１０３以降の処理が再実行される。

【0039】

以上のように、本実施形態によれば、再学習後の学習モデルが予め定められた評価基準を満たさない場合、再学習の方法（本実施形態では教師データＩｔに含まれる直近画像Ｉ２の含有率）を変化させた場合に再学習の結果（本実施形態では再学習後の学習モデルに評価用データを入力したときに出力される指標値の分布特性）がどのように変化するかを示す予測情報（予測表示画面２０１）がユーザに提示される。そして、ユーザは、当該予測情報に基づいて再学習の方法（本実施形態では再学習で用いられる教師データＩｔに含まれる直近画像Ｉ２の含有率）を適切に変更できる。これにより、学習モデルの再学習を効率的に実施することが可能となる。

【0040】

以下に、他の実施形態について図面を参照して説明するが、第１実施形態と同一又は同様の箇所についてはその説明を適宜省略する。

【0041】

（第２実施形態）
第１実施形態における予測情報は、教師データＩｔに含まれる直近画像Ｉ２の含有率に関するものであったが、本実施形態における予測情報は、教師データＩｔから特定の画像（センサデータの一例）を除外することに関するものである。すなわち、本実施形態の予測部１０４は、再学習で用いられる教師データから特定の画像を除外した場合に再学習後の学習モデルから出力される指標値の分布がどのように変化するかを示す予測情報を生成し、入出力部１０５は、当該予測情報をユーザに提示するための予測表示画面を出力する。

【0042】

図７は、第２実施形態の予測表示画面３０１の構成の一例を示す図である。本実施形態の予測表示画面３０１は、現状表示部３１１、予測結果表示部３１２、除外画像選択部３２１及び学習開始ボタン３３１を含む。

【0043】

現状表示部３１１は、第１実施形態の現状表示部２１１と同様に、再学習後の学習モデルであって、予め定められた評価基準を満たさないと判定された学習済みモデルに対応する指標値の分布特性を表示する部分である。

【0044】

本実施形態の予測結果表示部３１２は、再学習で用いられる教師データから特定の画像を除外することに応じて当該再学習後の学習モデルから出力される指標値の分布特性がどのように変化するかを示す予測結果を表示する部分である。予測結果表示部３１２には、第１実施形態の推奨領域２４１と同様に、ＮＧ境界線Ｌ３が存在するべき範囲を示す推奨領域３４１が表示されている。

【0045】

除外画像選択部３２１には、教師データから除外する画像の候補となる複数の除外候補画像３２５が表示される。除外候補画像３２５は、再学習により生成される（パラメータが更新される）学習モデルに対する影響度が大きい画像であり、例えば、影響関数（Influence Function）等を利用して教師データから抽出され得る。除外画像選択部３２１は、除外候補画像３２５の中からユーザの操作に応じて除外する画像を選択できるように構成されている。予測結果表示部３１２には、除外画像選択部３２１で選択された画像を除外した場合に対応する予測結果が表示され、除外画像選択部３２１で選択される画像の変更に応じて予測結果表示部３１２に表示される予測結果が変更される。

【0046】

本実施形態の学習開始ボタン３３１は、第１実施形態の学習開始ボタン２３１と同様に、ユーザによる再学習を開始させる操作を受け付ける部分である。例えば、ユーザにより学習開始ボタン３３１を押下する操作が行われると、除外画像選択部３２１で選択されている画像を除外した教師データを用いて再学習が実行される。

【0047】

本実施形態によれば、再学習後の学習モデルが予め定められた評価基準を満たさない場合、教師データから除外する画像の変化に応じて再学習後の学習モデルから出力される指標値の分布特性がどのように変化するかを示す予測情報（予測表示画面３０１）がユーザに提示される。そして、ユーザは、当該予測情報に基づいて再学習で用いられる教師データを適切に変更できる。これにより、学習モデルの再学習を効率的に実施することが可能となる。

【0048】

（第３実施形態）
本実施形態における予測情報は、再学習におけるエポック数（学習回数）に関するものである。すなわち、本実施形態の予測部１０４は、再学習におけるエポック数と再学習後の学習モデルの推定精度との関係を示す予測情報を生成し、入出力部１０５は、当該予測情報をユーザに提示するための予測表示画面を出力する。

【0049】

図８は、第３実施形態の予測情報の生成方法の一例を示す図である。図８の上部において、再学習時のエポック数と再学習後の学習モデルの過検出率との関係を示す実測学習曲線が例示されている。過検出率は、学習モデルの推定精度を表す値の一例であり、その値が低いほど推定精度が高いことを意味する。ここでは、エポック数と過検出率との関係がエポック数１００回まで示されている。実測学習曲線ＬＬ０は、適宜なタイミングで取得されればよいが、例えば、再学習の実行時に予め定められたエポック数（例えば１０回等）毎に学習モデルに評価用データを入力することにより出力される指標値に基づいて生成され得る。

【0050】

図８の下部において、再学習時のエポック数と再学習後の学習モデルの過検出率との関係を示す予測学習曲線ＬＬが例示されている。予測学習曲線ＬＬは、実測学習曲線ＬＬ０と予測線ＬＬ１とを含む。予測線ＬＬ１は、実測学習曲線ＬＬ０に基づいて予測される線であり、例えば、双曲線関数等を利用して生成され得る。このような予測学習曲線ＬＬにより、実測のエポック数（本例では１００回）よりも大きいエポック数に対する過検出率を予測することが可能となる。なお、エポック数と過検出率（検出精度）との関係の予測方法は、上記に限定されるものではない。

【0051】

本実施形態の検査装置１は、上記のようなエポック数と過検出率との関係についての予測情報をユーザが視認可能な形態で出力する。

【0052】

図９は、第３実施形態の予測表示画面４０１の一例を示す図である。予測表示画面４０１は、予測結果表示部４１１、エポック数選択部４２１及び学習開始ボタン４３１を含む。

【0053】

予測結果表示部４１１は、再学習におけるエポック数と過検出率との関係を示す予測結果を表示する部分であり、上記のように生成された予測学習曲線ＬＬと、推奨領域４４１と、を含んでいる。推奨領域４４１は、過検出率を予め定められた閾値Ｔｈより低くするために必要なエポック数を示す領域である。

【0054】

エポック数選択部４２１は、ユーザによるエポック数を選択する操作を受け付ける部分である。ユーザは、予測結果表示部４１１を参照して再学習におけるエポック数の適正値を判断できる。

【0055】

学習開始ボタン４３１は、ユーザによる再学習を開始させる操作を受け付ける部分である。例えば、ユーザにより学習開始ボタン４３１を押下する操作が行われると、エポック数選択部４２１で選択されているエポック数で再学習が実行される。

【0056】

本実施形態によれば、再学習後の学習モデルが予め定められた評価基準を満たさない場合、再学習におけるエポック数と再学習後の学習モデルの推定精度との関係を示す予測情報（予測表示画面４０１）がユーザに提示される。そして、ユーザは、当該予測情報に基づいて再学習におけるエポック数を適切に変更できる。これにより、学習モデルの再学習を効率的に実施することが可能となる。

【0057】

上述したような処理を検査装置１に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、当該プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、当該プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

【0058】

以上、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0059】

１…検査装置、２…撮像装置、１０１…記憶部、１０２…推定部、１０３…再学習部、１０４…予測部、１０５…入出力部、１０６…変更部、２０１，３０１，４０１…予測表示画面、Ｉ１…旧画像、Ｉ２…直近画像（直近データ）、Ｉｔ…教師データ、Ｓ…検査システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】