知財求人 - 知財ポータルサイト「IP Force」
特開2025-18575分類評価支援装置、分類評価支援方法、及び分類評価支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025018575
(43)【公開日】2025-02-06
(54)【発明の名称】分類評価支援装置、分類評価支援方法、及び分類評価支援プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20250130BHJP
G06V 10/764 20220101ALI20250130BHJP
【ＦＩ】
G06T7/00 350B
G06V10/764
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023122407
(22)【出願日】2023-07-27
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(72)【発明者】
【氏名】俵 京佑
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096BA03
5L096CA02
5L096DA02
5L096DA04
5L096FA33
5L096FA35
5L096HA11
5L096KA04
(57)【要約】
【課題】複数のクラスに分類するために使用する機械学習モデルの精度を適切に評価できるようにする。
【解決手段】所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデル２３Ａの精度の評価を支援する装置１において、機械学習モデル２３Ａを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、複数クラスの各クラスの一致度を算出する算出部２３と、各検証画像に対して算出された各クラスの一致度に基づいて、各検証画像を複数クラスのいずれかに分類する分類部２４と、所定の正解クラスに対応付けられた検証画像群に対して算出された各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部２５とを含むように構成する。
【選択図】図３
【解決手段】所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデル２３Ａの精度の評価を支援する装置１において、機械学習モデル２３Ａを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、複数クラスの各クラスの一致度を算出する算出部２３と、各検証画像に対して算出された各クラスの一致度に基づいて、各検証画像を複数クラスのいずれかに分類する分類部２４と、所定の正解クラスに対応付けられた検証画像群に対して算出された各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部２５とを含むように構成する。
【選択図】図３
【特許請求の範囲】
【請求項1】
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、
を含む分類評価支援装置。
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、
を含む分類評価支援装置。
【請求項2】
前記正解クラスの一致度の統計量は、当該正解クラスの一致度の最小値であり、前記他クラスの一致度の統計量は、当該他クラスの一致度の最大値であり、
前記表示処理部は、前記正解クラスの一致度の最小値と、前記他クラスの一致度の最大値との前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
前記表示処理部は、前記正解クラスの一致度の最小値と、前記他クラスの一致度の最大値との前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
【請求項3】
前記表示処理部は、前記所定の正解クラスに対応付けられた検証画像群が選択されると、前記所定の正解クラスの一致度の分布と、前記他クラスの一致度の分布とを区別した態様で表示する評価グラフを生成し、前記表示装置に前記評価グラフを表示させる
請求項１に記載の分類評価支援装置。
請求項１に記載の分類評価支援装置。
【請求項4】
前記表示処理部は、前記複数クラスのそれぞれに対応する正解クラスごとに、前記評価グラフを作成し、前記正解クラスごとの前記評価グラフを表示させる
請求項３に記載の分類評価支援装置。
請求項３に記載の分類評価支援装置。
【請求項5】
前記複数クラスには、３以上のクラスが含まれ、前記他クラスには、２以上のクラスが含まれており、
前記表示処理部は、前記評価グラフに、前記他クラスに含まれている各クラスごとの一致度の分布が含まれるようにする
請求項３に記載の分類評価支援装置。
前記表示処理部は、前記評価グラフに、前記他クラスに含まれている各クラスごとの一致度の分布が含まれるようにする
請求項３に記載の分類評価支援装置。
【請求項6】
前記複数クラスは、第１クラス及び第２クラスを含み、
前記算出部は、前記各検証画像に対して、前記第１クラスの第１一致度と、前記第２クラスの第２一致度とを算出し、
前記表示処理部は、前記正解クラスが前記第１クラスである第１検証画像群に対して、前記第１検証画像群の各検証画像の前記第１一致度の分布と、前記第１検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第１評価グラフを生成し、前記正解クラスが前記第２クラスである第２検証画像群に対して、前記第２検証画像群の各検証画像の前記第１一致度の分布と、前記第２検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第２評価グラフを生成し、
前記第１評価グラフ又は前記第２評価グラフの少なくとも一方を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
前記算出部は、前記各検証画像に対して、前記第１クラスの第１一致度と、前記第２クラスの第２一致度とを算出し、
前記表示処理部は、前記正解クラスが前記第１クラスである第１検証画像群に対して、前記第１検証画像群の各検証画像の前記第１一致度の分布と、前記第１検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第１評価グラフを生成し、前記正解クラスが前記第２クラスである第２検証画像群に対して、前記第２検証画像群の各検証画像の前記第１一致度の分布と、前記第２検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第２評価グラフを生成し、
前記第１評価グラフ又は前記第２評価グラフの少なくとも一方を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
【請求項7】
前記表示処理部は、前記第１検証画像群に関する前記第１評価グラフを前記第２検証画像群に関する前記第２評価グラフよりも優先的に前記表示装置に表示させる場合に、前記表示装置に、前記第１検証画像群を前記第２検証画像群よりも優先的に表示させるとともに、前記第１検証画像群の各検証画像の前記分類部によって分類された推論クラスを表示させる
請求項６に記載の分類評価支援装置。
請求項６に記載の分類評価支援装置。
【請求項8】
前記各検証画像について、検証画像に対する各クラスの一致度の中の最大の一致度と、他の一致度とに基づいて、前記検証画像の一致度の補正用の基準値を決定し、前記基準値に基づいて前記検証画像に対する前記各クラスの一致度を補正して補正一致度を算出する補正一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記補正一致度を用いて、前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
前記表示処理部は、前記一致度に代えて前記補正一致度を用いて、前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
【請求項9】
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、２番目に大きい一致度との内分点又は外分点を前記基準値として決定する
請求項８に記載の分類評価支援装置。
請求項８に記載の分類評価支援装置。
【請求項10】
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、前記２番目に大きい一致度との平均値を前記基準値として決定する
請求項９に記載の分類評価支援装置。
請求項９に記載の分類評価支援装置。
【請求項11】
前記各検証画像のすべての検証画像における最大の補正一致度と、最小の補正一致度とが所定の範囲となるように、前記各検証画像の補正一致度を正規化した正規化後一致度を生成する正規化後一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記正規化後一致度を用いて、前記分離度を前記表示装置に表示させる請求項８に記載の分類評価支援装置。
前記表示処理部は、前記一致度に代えて前記正規化後一致度を用いて、前記分離度を前記表示装置に表示させる請求項８に記載の分類評価支援装置。
【請求項12】
前記評価グラフは、所定の第１軸に一致度をとり、前記第１軸と交差する第２軸に前記検証画像の数に対応する情報をとり、前記正解クラスの一致度については、前記第１軸の第１方向において前記検証画像の数に対応する情報を累積させていく累積グラフであり、前記他クラスの一致度については、前記第１方向と反対側の第２方向において前記検証画像の数に対応する情報を累積させていく累積グラフである
請求項３に記載の分類評価支援装置。
請求項３に記載の分類評価支援装置。
【請求項13】
前記表示処理部によって前記表示装置に識別可能に表示された複数の前記検証画像の中から学習画像に新たに使用する画像の指定を受け付ける受付部と、
前記受け付けた画像を含む学習画像により、前記機械学習モデルを学習する学習部と、を更に備え、
前記学習部は、前記分類部によって分類された前記検証画像群のうち、前記他クラスに誤分類された検証画像を用いて、前記機械学習モデルを学習させることが可能に構成され、
前記算出部は、前記学習部により学習させた前記機械学習モデルを用いて、前記各検証画像の前記各クラスの更新一致度をそれぞれ算出し、
前記分類部は、前記各クラスの更新一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに再度分類し、
前記表示処理部は、前記一致度に代えて前記更新一致度を用いて、前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
前記受け付けた画像を含む学習画像により、前記機械学習モデルを学習する学習部と、を更に備え、
前記学習部は、前記分類部によって分類された前記検証画像群のうち、前記他クラスに誤分類された検証画像を用いて、前記機械学習モデルを学習させることが可能に構成され、
前記算出部は、前記学習部により学習させた前記機械学習モデルを用いて、前記各検証画像の前記各クラスの更新一致度をそれぞれ算出し、
前記分類部は、前記各クラスの更新一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに再度分類し、
前記表示処理部は、前記一致度に代えて前記更新一致度を用いて、前記分離度を前記表示装置に表示させる
請求項１に記載の分類評価支援装置。
【請求項14】
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置による分類評価支援方法であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出し、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類し、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる
分類評価支援方法。
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出し、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類し、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる
分類評価支援方法。
【請求項15】
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援するコンピュータに実行させる分類評価支援プログラムであって、
前記コンピュータを、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、して機能させる
分類評価支援プログラム。
前記コンピュータを、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、して機能させる
分類評価支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を複数のクラスに分類する機械学習モデルの精度の評価を支援する技術に関する。
【背景技術】
【0002】
昨今、機械学習モデルを用いた画像検査（ＡＩ画像検査）が普及し始めている。例えば、ＡＩ画像検査の一例である異常検出では、各画像の異常度を算出し、当該異常度が閾値以上か否かによって良否判定を行っている（例えば、特許文献１参照）。また、ＡＩ画像検査の他の例である多クラス分類では、各画像についての各クラスの一致度を検出し、最も一致度の高いクラスに各画像を分類することが行われている。
【0003】
ＡＩ画像検査では、学習によって機械学習モデルの精度がどの程度向上したか、機械学習モデルを用いての画像検査の運用を開始するに足る精度となっているか評価する必要がある。
【0004】
機械学習モデルの精度は、正解が既知の検証画像に対して、機械学習モデルが正しく判定できているか否かによって評価することができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０２３－７７０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
精度を評価するにあたって、検証画像に対する判定の正解率が仮に１００％であったとしても、どの程度の余裕を持って正しく判定できているか（すなわち、機械学習モデルの性能の安定性）までは、正解率だけでは判断することができない。性能の安定性が低い場合、運用開始後に間違った判定をする可能性が高いため、性能の安定性を評価することも重要である。
特許文献１の異常検出では、１つの画像に対して、異常度という１つの値が算出されるため、例えば、検証用の良品画像群に対する異常度と、不良品画像群に対する異常度とが、どの程度分離できているかによって、上記安定性を評価することができる。
これに対して、多クラス分類に使用される機械学習モデルでは、１つの画像に対して複数のクラスの一致度（確信度、信頼度、スコアなどとも呼ばれる）が算出されることとなり、正解クラスの一致度だけではなく、他クラスの一致度との相対的な関係も考慮する必要がある。したがって、異常度という１つの値が算出されるだけの異常検出とは異なり、多クラス分類では、性能の安定性を容易に評価することができないという問題があった。
特許文献１の異常検出では、１つの画像に対して、異常度という１つの値が算出されるため、例えば、検証用の良品画像群に対する異常度と、不良品画像群に対する異常度とが、どの程度分離できているかによって、上記安定性を評価することができる。
これに対して、多クラス分類に使用される機械学習モデルでは、１つの画像に対して複数のクラスの一致度（確信度、信頼度、スコアなどとも呼ばれる）が算出されることとなり、正解クラスの一致度だけではなく、他クラスの一致度との相対的な関係も考慮する必要がある。したがって、異常度という１つの値が算出されるだけの異常検出とは異なり、多クラス分類では、性能の安定性を容易に評価することができないという問題があった。
【0007】
本発明は、上記事情に鑑みなされたものであり、その目的は、複数のクラスに分類するために使用する機械学習モデルの精度、特に性能の安定性を適切に評価できるようにする技術を提供することにある。
【課題を解決するための手段】
【0008】
上記目的を達成するため、一観点に係る分類評価支援装置は、所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置であって、前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、を含む。
【発明の効果】
【0009】
本発明によれば、複数のクラスに分類するために使用する機械学習モデルの精度、特に性能の安定性を適切に評価できるようにすることができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
図１は、一実施形態に係る画像検査装置の全体構成図である。
【0013】
画像検査装置１は、分類評価支援装置の一例であり、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて、検査対象物が複数のクラス（複数クラス）の中のいずれのクラスであるか（クラスに属するか）を分類するための分類処理を行うための装置であり、工場等の生産現場等で使用される。画像検査装置１における検査対象は、検査対象物の全体であってもよいし、検査対象物の一部であってもよく、検査対象物の複数の部分であってもよい。また、画像には、複数の検査対象物が含まれていてもよい。
【0014】
画像検査装置１は、制御ユニット２と、撮像ユニット３と、表示装置４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略してもよい。また、表示装置４の代わりにパーソナルコンピュータ５を使用してもよい。また、制御ユニット２をパーソナルコンピュータ５により実現してもよい。
【0015】
図１の例では、画像検査装置１は、制御ユニット２、撮像ユニット３、表示装置４、及びパーソナルコンピュータ５を別体としているが、任意の構成を複数組み合わせて一体化してもよい。例えば、制御ユニット２と撮像ユニット３とを一体化して、いわゆるスマートカメラと構成してもよく、制御ユニット２と表示装置４とを一体化してもよい。また、制御ユニット２を複数のユニットに分割してもよく、また、分割したユニットの一部を撮像ユニット３や表示装置４等の他の構成に組み込んでもよい。また、撮像ユニット３を複数のユニットに分割してもよく、また、分割したユニットの一部を他の構成に組み込んでもよい。
【0016】
図２は、一実施形態に係る画像検査装置のハードウェア構成図である。
【0017】
（撮像ユニット３の構成）
撮像ユニット３は、カメラモジュール１４と、照明モジュール１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する。ＡＦ用モータ１４１は、周知のコントラストオートフォーカス等の技術によってピント調整が制御される。
撮像ユニット３は、カメラモジュール１４と、照明モジュール１５とを備えている。カメラモジュール１４は、撮像光学系を駆動するＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）用モータ１４１と、撮像基板１４２とを備えている。ＡＦ用モータ１４１は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する。ＡＦ用モータ１４１は、周知のコントラストオートフォーカス等の技術によってピント調整が制御される。
【0018】
撮像基板１４２は、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳ（Ｃｏｍｐｌｅｍａｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ１４３と、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）１４４と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１４５とを備えている。ＣＭＯＳセンサ１４３は、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４３は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。ＣＭＯＳセンサ１４３は、画像（画像信号）をＦＰＧＡ１４４及びＤＳＰ１４５に入力する。ＣＭＯＳセンサ１４３の代わりに、例えばＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等の受光素子を用いてもよい。ＦＰＧＡ１４４及びＤＳＰ１４５は、カメラモジュール１４の制御や、ＣＭＯＳセンサ１４３からの画像に対して所定の画像処理を実行する。ＣＭＯＳセンサ１４３は、制御ユニット２の後述する制御部１３Ａからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、制御部１３Ａから出力される撮像制御信号に応じてＣＭＯＳセンサ１４３の視野範囲内を撮像する。したがって、ＣＭＯＳセンサ１４３は、視野範囲内に検査対象物があれば、検査対象物を撮像し、視野範囲内に検査対象物以外の物があれば、検査対象物以外についても撮像する。例えば、画像検査装置１の設定時には、撮像ユニット３は、ユーザにより分類を行う複数のクラスのそれぞれの正解クラスの属性を付与する（対応付ける）ための複数の画像を撮像することができる。また、画像検査装置１の運用時には、撮像ユニット３は、検査対象物を撮像することができる。
【0019】
照明モジュール１５は、検査対象物を含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５１と、ＬＥＤ１５１を制御するＬＥＤドライバ１５２とを備えている。ＬＥＤ１５１による発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５２によって任意に設定することができる。図２の例では、ＬＥＤ１５１は、撮像ユニット３に一体に設けられているが、撮像ユニット３とは別体の外部照明ユニットとして設けられてもよい。なお、図示しないが、照明モジュール１５は、ＬＥＤ１５１から照射された光を反射するリフレクターや、ＬＥＤ１５１から照射された光が通過するレンズ等を備えている。照明モジュール１５においては、ＬＥＤ１５１から照射された光が検査対象物と、検査対象物の周辺領域に照射されるように、ＬＥＤ１５１の照射範囲が設定されている。ＬＥＤ１５１に代えて、他の発光体としてもよい。ＬＥＤドライバ１５２は、制御ユニット２の制御部１３Ａからの照明制御信号に応じて、ＬＥＤ１５１の点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５１の光量等を調整する。
【0020】
（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８と、記憶装置１９と、を備えている。メイン基板１３には、制御部１３Ａを構成するＦＰＧＡ１３１及びＤＳＰ１３２と、メモリ１３３とが搭載されている。なお、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とを一体構成したユニットとして構成してもよい。
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８と、記憶装置１９と、を備えている。メイン基板１３には、制御部１３Ａを構成するＦＰＧＡ１３１及びＤＳＰ１３２と、メモリ１３３とが搭載されている。なお、ＦＰＧＡ１３１と、ＤＳＰ１３２と、メモリ１３３とを一体構成したユニットとして構成してもよい。
【0021】
制御部１３Ａは、メイン基板１３に接続されている各基板及びモジュールの動作を統括制御する。例えば、制御部１３Ａは、照明モジュール１５のＬＥＤドライバ１５２に対してＬＥＤ１５１の点灯／消灯を制御する照明制御信号を出力する。また、制御部１３Ａは、カメラモジュール１４の撮像基板１４２に、ＣＭＯＳセンサ１４３を制御する撮像制御信号を出力する。この撮像制御信号により、制御部１３Ａは、撮像ユニット３により各種画像を撮像させることができる。制御部１３Ａは、撮像ユニット３による撮像が終わると、撮像ユニット３から出力される画像（画像信号）を取得する。本実施形態では、画像信号はＦＰＧＡ１３１に入力され、ＦＰＧＡ１３１及びＤＳＰ１３２によって処理されるとともに、メモリ１３３に記憶される。また、制御部１３Ａは、電源基板１８の後述するＡＦ用モータドライバ１８１を制御するＡＦ制御信号を出力する。
【0022】
コネクタ基板１６は、電源インターフェース１６１を有し、原減インターフェース１６１に設けられた電源コネクタ（図示せず）を介して、外部から電力の供給を受ける。
【0023】
電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する。具体的には、電源基板１８は、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４１に駆動電力を供給し、オートフォーカスの機能を実現している。ＡＦ用モータドライバ１８１は、制御部１３ＡからのＡＦ制御信号に応じて、ＡＦ用モータ１４１に供給する電力を調整する。
【0024】
通信基板１７は、制御部１３Ａから出力された検査対象物についての画像データ、ユーザインターフェース等を表示装置４やパーソナルコンピュータ５、外部制御機器（図示せず）等に出力する。
【0025】
また、通信基板１７は、表示装置４が有するタッチパネル４１やパーソナルコンピュータ５のキーボード５１等から入力されたユーザの各種操作を受け付ける。通信基板１７による他の装置との間の通信形態は、有線であっても、無線であってもよく、いずれの通信形態も、周知の通信モジュールにより実現することができる。
【0026】
記憶装置１９は、例えばハードディスクドライブ等の記憶装置である。記憶装置１９は、後述する各種処理をハードウェアによって実行可能にするためのプログラムファイル１００や設定ファイル等（ソフトウェア）、学習画像、検証画像、分類結果等を記憶する。例えば光ディスク等の記憶媒体９０にプログラムファイル１００や設定ファイルを格納しておき、記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールするようにしてもよい。
【0027】
表示装置４は、タッチパネル４１を有する。表示装置４のタッチパネル４１は、制御ユニット２から送信される画像やユーザインターフェースの画面等を表示する。また、タッチパネル４１は、例えば感圧センサを搭載した周知のタッチ式操作パネルであり、ユーザによるタッチ操作を検出して通信基板１７へ出力する。
【0028】
パーソナルコンピュータ５は、キーボード５１、例えば液晶パネル等からなる表示パネル、マウス等を有する。パーソナルコンピュータ５は、キーボード５１やマウス等の操作デバイスによるユーザの各種操作を受け付けて、制御ユニット２に送信する。また、パーソナルコンピュータ５は、制御ユニット２から送信される画像やユーザインターフェースの画面等を表示する。
【0029】
次に、画像検査装置１の機能構成について説明する。
【0030】
図３は、一実施形態に係る画像検査装置の機能構成図である。
【0031】
画像検査装置１（主に、制御ユニット２）は、画像受付部２１と、学習部２２と、算出部２３と、分類部２４と、表示処理部２５と、指示受付部２６と、を含む。これら各機能部（２１～２６）は、例えば、プログラムファイル１００を制御部１３Ａが実行することにより構成される。なお、各機能部の少なくとも一つは、ハードウェアのみで構成されてもよい。
【0032】
画像受付部２１は、算出部２３の機械学習モデル２３Ａに対する学習を行うための正解クラスが対応付けられた学習画像と、機械学習モデル２３Ａの精度を評価するための正解クラスが対応付けられた複数の検証画像とを受け付ける。学習画像、検証画像等の画像を受け付ける方法としては、記憶装置１９等に予めグループ化されて格納されている画像群の名前や、各画像の画像名の指定を受け付けてもよい。また、画像受付部２１は、画像に対して学習画像とする指定を受け付けてもよい。なお、検証画像の中に学習画像が含まれてもよい。
【0033】
学習部２２は、学習部及び再学習部の一例であり、画像受付部２１により受け付けられた学習画像を用いて、機械学習モデル２３Ａに対する機械学習を実行する。
【0034】
算出部２３は、機械学習モデル２３Ａを有する。機械学習モデル２３Ａは、入力された処理の対象の画像（対象画像）に対して、分類する候補である複数のクラスの各クラスの一致度を算出し、出力する。なお、機械学習モデル２３Ａは、公知のモデルで実現できる。算出部２３は、機械学習モデル２３Ａにより算出された複数のクラスの各クラスの一致度を分類部２４に渡す。
【0035】
分類部２４は、算出部２３から受け取った各クラスの一致度に基づいて、対象画像を分類する。具体的には、分類部２４は、対象画像を一致度の最も高いクラスに分類する。
【0036】
表示処理部２５は、複数の検証画像の画像や、複数の検証画像に対して算出された各クラスの一致度に基づいて、評価用のユーザインターフェースの画面（機械学習モデル評価画面２００（図５参照））を表示させる。
【0037】
指示受付部２６は、表示された画面等を介してのユーザからの各種指示を受け付け、表示処理部２５に通知する。例えば、指示受付部２６は、表示処理部２５により表示される分離度グラフの対象とするクラス（指定クラス）の指定を受け付け、表示処理部２５に通知する。
【0038】
次に、画像検査装置１による処理動作について説明する。
【0039】
図４は、一実施形態に係る機械学習モデル設定処理のフローチャートである。
【0040】
機械学習モデル設定処理は、例えば、画像検査装置１を新たな検査対象に対する検査において運用を開始する前に実行される処理である。
【0041】
まず、画像受付部２１は、算出部２３の機械学習モデル２３Ａに対する学習を行うための正解クラスが対応付けられた１以上の学習画像と、機械学習モデル２３Ａの精度を評価するための正解クラスが対応付けられた複数の検証画像とを受け付ける（Ｓ１１）。
【0042】
次いで、学習部２２は、受け付けられた学習画像を用いて、機械学習モデル２３Ａに対する機械学習を実行する（Ｓ１２）。具体的には、学習画像を機械学習モデル２３Ａに入力された際に、機械学習モデル２３Ａからの出力に従う分類部２４の分類結果が、正解クラスとなるように機械学習を行う。機械学習の方法としては、既存の方法を用いることができる。
【0043】
次いで、学習部２２は、機械学習モデル２３Ａを機械学習の結果として得られたモデルに更新する（Ｓ１３）。
【0044】
次いで、算出部２３及び分類部２４は、各検証画像に対して分類処理を実行する（Ｓ１４）。具体的には、算出部２３は、複数の検証画像の各検証画像を対象に、ステップＳ１３で更新された機械学習モデル２３Ａを用いて、各クラスの一致度を算出し、分類部２４は、各検証画像に対して算出された各クラスの一致度に基づいて、各検証画像をその検証画像が属すると推論されるクラス（推論クラス）に分類する。
【0045】
次いで、算出部２３は、正解クラスが共通（同一）の検証画像の集合（検証画像群）のそれぞれの検証画像群を対象に、この検証画像群における各検証画像の各クラスの一致度に基づいて、検証画像の中の正解クラスの一致度の中の最小の一致度から、正解クラス以外のクラスの一致度の中の最大の一致度を減算した分離度を算出する（Ｓ１５）。なお、算出した結果がマイナスとなった場合には、分離度を０とする。
【0046】
次いで、表示処理部２５は、指定されたクラス（指定クラス）の検証画像群についての分離度グラフを表示させる分離度グラフ表示処理を行い、機械学習モデル評価画面２００を表示する処理を行う（Ｓ１６）。ここで、ステップＳ１６を最初に実行する際には、指定クラスとしては、予め決められているクラス、例えば、分離度が最も小さいクラスとしてもよい。
【0047】
ここで、機械学習モデル評価画面２００を用いて、表示処理部２５による分離度グラフ表示処理を説明する。
【0048】
図５は、一実施形態に係る機械学習モデル評価画面の構成図ある。
【0049】
機械学習モデル評価画面２００は、表示処理部２５により表示される画面であり、検証画像表示領域２０１と、学習結果表示領域２２０とを含む。
【0050】
検証画像表示領域２０１には、検証画像として使用された各画像を表示する、複数の画像毎領域２１０が表示される。また、画像毎領域２１０には、この領域の画像についての正解クラスを示す正解クラス部品２１２と、この領域の画像について分類処理で分類された推論クラスを示す推論クラス部品２１３とが識別可能に表示される。正解クラス部品２１２及び推論クラス部品２１３は、それぞれ、クラスに対応する態様（例えば、色、模様等）で表示される。したがって、正解クラスと推論クラスとが一致している場合、すなわち、正常判定された場合には、正解クラス部品２１２及び推論クラス部品２１３は、同じ態様で表示される。一方、正解クラスと推論クラスとが一致していない場合、すなわち、誤判定された場合には、正解クラス部品２１２及び推論クラス部品２１３は、違う態様で表示される。したがって、ユーザは、正解クラス部品２１２及び推論クラス部品２１３の態様を参照することにより、その画像が正常に判定されたか否かを容易に把握できるようになっている。なお、本実施形態では、正解クラスと推論クラスとが一致していない画像の画像毎領域２１０においては、誤判定であることを示す表示部品２１４が表示される。また、画像毎領域２１０においては、対応する画像が学習画像である場合には、学習画像マーク２１１が表示される。検証画像表示領域２０１においては、画像毎領域２１０に対して所定の操作を行うことにより、対応する画像を学習画像として追加することを指定すること（学習画像追加指示）もできる。
【0051】
学習結果表示領域２２０には、混同行列表示領域２２１と、累積ヒストグラム表示領域２２２とが表示される。混同行列表示領域２２１には、受け付けたすべての検証画像についての正解クラスと、推論クラスとの対応関係を示す混同行列が表示される。混同行列では、例えば、縦軸に正解クラスとして各クラスが並べられ、横軸に推論クラスとして各クラスが並べられ、正解クラスと推論クラスとに対応するそれぞれの区画に、対応する検証画像の数が格納されている。表示処理部２５は、検証画像に対応付けられている正解クラスと、分類部２４による分類結果（推論クラス）とに基づいて、混同行列を作成して表示させる。
【0052】
累積ヒストグラム表示領域２２２には、現在の表示対象となっている正解クラスを示す指定クラス２２３と、各正解クラスごとの検証画像群における分離度を表示する分離度表２２４と、表示対象の指定クラスに対応する検証画像群についての各クラスの一致度についての累積ヒストグラムを含む分離度グラフ（評価グラフ）２２５とが表示される。
【0053】
分離度表２２４においては、正解クラスと、その正解クラスについての分離度とが対応付けられて表示される。本実施形態では、ユーザが正解クラスを示すリンク付き文字２２４Ａを押下する操作を行うことにより、指示受付部２６が、対応する正解クラスを指定クラスとして指定クラス変更指示を受け付ける。これに伴って、表示処理部２５は、指定クラスについての分離度グラフを作成して、累積ヒストグラム表示領域２２２に表示する。
表示処理部２５は、複数のクラス（例えばＡ、Ｂ、Ｃ）のうち、所定の正解クラス（例えばＢ）に対応付けられた検証画像群に対して算出された各クラスの一致度のうち、所定の正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラス（例えばＡとＣ）の一致度の統計量との分離度を表示装置３に表示させる。分離度の表示には、分離度表２２４に示される数値を表示するだけでなく、図６に示される評価グラフの正解クラスの一致度の分布と、他クラスの一致度の分布とを区別した態様で表すことも含まれる。
本実施形態においては、所定の正解クラスの一致度の「最小値」と、正解クラスと異なるクラスである他クラスの一致度の「最大値」とに基づく分離度を表示装置３に表示させる。所定の正解クラスの一致度の統計量が、他クラスの一致度の統計量以下の場合には、分離度を０とすればよい。
上記分離度を数値として算出する場合、表示処理部２５または算出部２３によって算出処理が実行される。また、各クラスの一致度を、後述の補正一致度や正規化後一致度にそれぞれ変換し、当該変換後の各一致度の統計量によって分離度を表示しても良い。
なお、統計量には、最小値と最大値だけでなく、代表値（平均値、中央値、最頻値）を用いることもでき、正解クラスの一致度の代表値と、他クラスの一致度の代表値との分離度を表示装置３に表示させても良い。また、正解クラスの一致度の散布度（分散、標準偏差）と、他クラスの一致度の散布度とが、所定の閾値以下である場合には、上記分離度が高くなるように算出しても良い。画像品質などの観点で不適切な検証画像が含まれており、正解クラスの一致度に外れ値が発生した例において、上記の最小値と最大値とを用いた比較結果によれば分離度がゼロとなるが、上記代表値に基づいた分離度であれば、外れ値の影響を抑えた評価が可能となる。
表示処理部２５は、複数のクラス（例えばＡ、Ｂ、Ｃ）のうち、所定の正解クラス（例えばＢ）に対応付けられた検証画像群に対して算出された各クラスの一致度のうち、所定の正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラス（例えばＡとＣ）の一致度の統計量との分離度を表示装置３に表示させる。分離度の表示には、分離度表２２４に示される数値を表示するだけでなく、図６に示される評価グラフの正解クラスの一致度の分布と、他クラスの一致度の分布とを区別した態様で表すことも含まれる。
本実施形態においては、所定の正解クラスの一致度の「最小値」と、正解クラスと異なるクラスである他クラスの一致度の「最大値」とに基づく分離度を表示装置３に表示させる。所定の正解クラスの一致度の統計量が、他クラスの一致度の統計量以下の場合には、分離度を０とすればよい。
上記分離度を数値として算出する場合、表示処理部２５または算出部２３によって算出処理が実行される。また、各クラスの一致度を、後述の補正一致度や正規化後一致度にそれぞれ変換し、当該変換後の各一致度の統計量によって分離度を表示しても良い。
なお、統計量には、最小値と最大値だけでなく、代表値（平均値、中央値、最頻値）を用いることもでき、正解クラスの一致度の代表値と、他クラスの一致度の代表値との分離度を表示装置３に表示させても良い。また、正解クラスの一致度の散布度（分散、標準偏差）と、他クラスの一致度の散布度とが、所定の閾値以下である場合には、上記分離度が高くなるように算出しても良い。画像品質などの観点で不適切な検証画像が含まれており、正解クラスの一致度に外れ値が発生した例において、上記の最小値と最大値とを用いた比較結果によれば分離度がゼロとなるが、上記代表値に基づいた分離度であれば、外れ値の影響を抑えた評価が可能となる。
【0054】
分離度グラフ２２５は、横軸（第１軸）が一致度を示し、縦軸（第２軸）が検証画像の累積数に対応する値（累積数又は累積数に対応する値）を示している。分離度グラフ２２５においては、指定クラスに対応付けられた検証画像群についての各クラスの一致度に対応する検証画像の累積ヒストグラム（累積グラフ）を含んでいる。正解クラスについての累積ヒストグラムは、各画像の数を一致度が大きくなる方向である右方向（第１方向）に対して累積するように構成され、正解クラス以外のクラス（他クラス）の累積ヒストグラムは、各画像の数を一致度が小さくなる方向である左方向（第２方向）に対して累積するように構成されている。分離度グラフ２２５においては、正解クラスにおける累積ヒストグラムの左端が、他のクラスの累積ヒストグラムの右端よりも右側にある場合における位置の差が分離度を示している。なお、正解クラスにおける累積ヒストグラムの左端が、他のクラスの累積ヒストグラムの右端よりも右側にない場合には、分離できておらず、分離度が０であることを示している。
【0055】
図５に示す分離度グラフ（第１評価グラフの一例）２２５は、指定クラス（正解クラス）がＢ（第１クラスの一例）である検証画像群（第１検証画像群）についての表示例であり、実線は、正解クラスであるＢの一致度（第１一致度）についての検証画像の累積ヒストグラムであり、点線は、Ａ（第２クラスの一例）の一致度（第２一致度）についての検証画像の累積ヒストグラムであり、破線は、Ｃの一致度についての検証画像の累積ヒストグラムである。分離度グラフ２２５においては、正解クラスにおける累積ヒストグラムの左端が、Ａのクラスの累積ヒストグラムの右端よりも右側にないので、分離度は０であることを示している。分離度が、０であるので、正解クラスがＢである検証画像については、分類の精度が高くないと評価することができる。
【0056】
次に、分離度表２２４のクラスＡのリンク付き文字が押下された場合に表示される分離度グラフと、クラスＢのリンク付き文字が押下された場合に表示される分離度グラフとについて説明する。
【0057】
図６は、一実施形態に係る分離度グラフの他の例を説明する図である。図６（Ａ）は、クラスＡのリンク付き文字が押下された場合に表示される分離度グラフであり、図６（Ｂ）は、クラスＣのリンク付き文字が押下された場合に表示される分離度グラフである。
【0058】
図６（Ａ）に示す分離度グラフ２２６（第２評価グラフの一例）は、正解クラスがＡである検証画像群（第２検証画像群の一例）についての分離度グラフであり、点線が正解クラスであるＡの一致度についての累積ヒストグラムであり、実線がＢの一致度についての累積ヒストグラムであり、破線がＣの一致度についての累積ヒストグラムである。分離度グラフ２２６では、正解クラスであるＡについての累積ヒストグラムの左端が、Ｂ、Ｃのクラスの累積ヒストグラムの右端よりも右側にあり、これらの差が分離度である。ここで、これらの差は、一致度の全体を１とした場合の０．５であるので、分離度は０．５となる。分離度が、０．５であるので、正解クラスがＡである検証画像については、比較的高い精度で分類できている、特に機械学習モデルの性能の安定性が比較的高い、と評価することができる。
【0059】
図６（Ｂ）に示す分離度グラフ２２７は、正解クラスがＣである検証画像群（第２検証画像群の一例）についての分離度グラフであり、破線が正解クラスであるＣの一致度についての累積ヒストグラムであり、実線がＢの一致度についての累積ヒストグラムであり、点線がＡの一致度についての累積ヒストグラムである。分離度グラフ２２７では、正解クラスであるＣについての累積ヒストグラムの左端が、Ａ、Ｂのクラスの累積ヒストグラムの右端よりも右側にあり、これらの差が分離度である。ここで、これらの差は、一致度の全体を１とした場合の０．９であるので、分離度は０.９である。分離度が、０．９であるので、正解クラスがＣである検証画像については、非常に高い精度で分類できている、特に機械学習モデルの性能の安定性が非常に高い、と評価することができる。つまり、正解クラスがＣである検証画像に対する機械学習モデルの性能の安定性が、正解クラスがＡである検証画像に対する当該機械学習モデルの性能の安定性よりも高い、と評価することができる。
【0060】
図４の説明に戻り、ステップＳ１６により、機械学習モデル評価画面２００を表示した後に、指示受付部２６は、指定クラス変更指示を受け付けたか否かを判定する（Ｓ１７）。
【0061】
この結果、指定クラス変更指示を受け付けた場合、具体的には、機械学習モデル評価画面２００のリンク付き文字２２４Ａ等が押下された場合（Ｓ１７：Ｙｅｓ）には、指示受付部２６は、指定クラス変更指示を表示処理部２５に通知し、処理をステップＳ１６に進める。これにより、表示処理部２５は、指定クラスに対応する分離度グラフを作成して、機械学習モデル評価画面２００に表示させる（Ｓ１６）。
【0062】
一方、指定クラス変更指示を受け付けていない場合（Ｓ１７：Ｎｏ）には、指示受付部２６は、学習画像を追加する指示（学習画像追加指示）を受け付けたか否かを判定する（Ｓ１８）。
【0063】
この結果、学習画像追加指示を受け付けた場合（Ｓ１８：Ｙｅｓ）には、指示受付部２６は、指示の対象となっている画像を学習画像に追加し（Ｓ１９）、処理をステップＳ１２に進める。これにより、新たに追加された画像を含む学習画像群を用いて機械学習モデル２３Ａの再学習が行われ、新たな機械学習モデル２３Ａに対して評価を行うことができるようになる。そして、ステップＳ１３で更新された機械学習モデル２３Ａを用いて、各クラスの更新一致度をそれぞれ算出し、分類部２４は、各検証画像に対して算出された各クラスの更新一致度に基づいて、各検証画像をその検証画像が属すると推論されるクラス（推論クラス）に再度分類する（Ｓ１４）。表示処理部２５は、各クラスの更新一致度の分布に基づいて、分離度（評価グラフを含む）を更新して表示装置３に表示させる（Ｓ１５～Ｓ１６）。
【0064】
一方、学習画像追加指示を受け付けていない場合（Ｓ１８：Ｎｏ）には、指示受付部２６は、設定処理終了の指示を受け付けたか否かを判定する（Ｓ２０）。
【0065】
この結果、設定処理終了の指示を受け付けていない場合（Ｓ２０：Ｎｏ）には、指示受付部２６は、処理をステップＳ１７に進める。一方、設定処理終了の指示を受け付けた場合（Ｓ２０：Ｙｅｓ）には、指示受付部２６は、設定処理終了の指示があったことを算出部２３に通知し、算出部２３は、現在の機械学習モデル２３Ａを運用時に使用する機械学習モデル（運用モデル）として登録し（Ｓ２１）、設定処理を終了する。これにより、画像検査装置１では、新たに登録した運用モデルを用いて適切な検査を運用することができるようになる。
【0066】
上記した機械学習モデル設定処理によると、学習した機械学習モデル２３Ａを分離度等により適切に評価できる。また、学習画像を追加して機械学習モデル２３Ａを再学習して、より分類精度の高い機械学習モデル２３Ａを作成することができるようになる。
【0067】
次に、検証画像表示領域の他の例について説明する。
【0068】
図７は、一実施形態に係る検証画像表示領域の他の例である。
【0069】
図５に示す機械学習モデル評価画面２００では、表示処理部２５は、検証画像として使用されたすべての画像に対する複数の画像毎領域２１０を含む検証画像表示領域２０１を表示させるようにしていた。これに対して、表示処理部２５を、検証画像表示領域２３０に示すような、検証画像中の指定クラスに対応付けられた検証画像を優先的に表示させるようにしてもよい。ここで、優先的に表示させるとは、指定クラスに対応付けられた検証画像のみを表示させること、或いは、指定クラスに対応付けられていない検証画像も表示させるが、指定クラスに対応付けられた検証画像については検証画像表示領域の先頭位置（例えば、左上の位置）から並べて表示させることを含む。
【0070】
このような検証画像表示領域２３０によると、指定クラスに対応付けられている検証画像を容易に認識することができ、指定クラスに対応付けられている検証画像でどのような分類がされているのかをユーザが把握し易くなる。
【0071】
次に、変形例に係る画像検査装置について説明する。
【0072】
変形例に係る画像検査装置は、算出部２３に対して追加の処理を行うようにした装置である。変形例に係る算出部２３は、補正一致度算出部の一例である。
【0073】
算出部２３は、機械学習モデル２３Ａを用いて、複数の検証画像に対して各クラスの一致度を算出する。算出部２３は、各検証画像に対して算出された一致度を、例えば、作業用の一致度テーブル３００（図８参照）で管理する。
【0074】
図８は、一実施形態に係る一致度テーブルの構成図である。
【0075】
一致度テーブル３００は、検証画像毎のエントリを格納する。一致度テーブル３００のエントリは、画像名３０１と、正解クラス３０２と、１位クラス及び一致度３０３と、２位クラス及び一致度３０４と、３位クラス及び一致度３０５と、のフィールドを含む。
【0076】
画像名３０１には、エントリに対応する検証画像に対応する画像名が格納される。正解クラス３０２には、エントリに対応する検証画像に対応付けられた正解クラスが格納される。１位クラス及び一致度３０３には、エントリに対応する検証画像に対して算出された各クラスの一致度の中の最大（１位）のクラス（１位クラス）とその一致度とが格納される。２位クラス及び一致度３０４には、エントリに対応する検証画像に対して算出された各クラスの一致度の中の２位のクラス（２位クラス）とその一致度とが格納される。３位クラス及び一致度３０５には、エントリに対応する検証画像に対して算出された各クラスの一致度の中の３位のクラス（３位クラス）とその一致度とが格納される。
【0077】
上記実施形態では、機械学習モデル２３Ａにより算出された一致度（一致度テーブル３００に登録された一致度）を用いて分離度を計算し、分離度グラフを表示させるようにしていた。
【0078】
ここで、例えば、図８に示す一致度テーブル３００に示すように、２番目のエントリの検証画像については、１位クラスがＢでその一致度が５４と算出され、３番目のエントリの画像については、１位クラスがＢでその一致度が９７と算出され、２位クラスがＡでその一致度が６７と算出された場合についての、分離度について考察する。この場合において、２番目のエントリの検証画像と、３番目のエントリの検証画像とは、１位クラスがＢであり、正解クラスＢと同じクラスが推論クラスとして適切に分類されている。この場合に分離度を計算すると、３番目のエントリの検証画像の２位クラスの一致度が、２番目のエントリの検証画像の１位クラスの一致度よりも小さいので、分離度が０となってしまう。したがって、適切に分類できているのにも関わらず、分離度が０となってしまうことが起こり得る。
【0079】
そこで、変形例に係る算出部２３は、さらに、各検証画像についての一致度を、検証画像に対する最大の一致度（１位一致度）と、他の一致度（他一致度）とに基づいて補正用の基準値を決定し、基準値に基づいて各一致度を補正して各クラスの補正一致度を算出する。算出部２３は、補正一致度を、例えば、補正一致度テーブル３１０（図９参照）で管理する。ここで、基準値は、１位一致度と、他一致度との内分点又は外分点に対する値としてもよい。例えば、他一致度を２位の一致度（２位一致度）としてもよく、その場合には、例えば、１位一致度と、２位一致度との内分点の値（例えば、平均値）を基準点としてもよい。
【0080】
図９は、変形例に係る補正一致度テーブルの構成図である。図９の補正一致度テーブル３１０は、図８に示す一致度テーブル３００の各検証画像に対して、算出部２３が、１位一致度と２位一致度との平均値を基準値とし、この基準値を用いて補正一致度を算出した場合の例を示している。
【0081】
補正一致度テーブル３１０は、検証画像毎のエントリを格納する。補正一致度テーブル３１０のエントリは、画像名３１１と、正解クラス３１２と、Ｔｏｐ３１３と、Ｓｅｃｏｎｄ３１４と、Ｃｅｎｔｅｒ３１５と、１位クラス及び補正一致度３１６と、２位クラス及び補正一致度３１７と、３位クラス及び補正一致度３１８と、のフィールドを含む。
【0082】
画像名３１１には、エントリに対応する検証画像に対応する画像名が格納される。正解クラス３１２には、エントリに対応する検証画像に対応付けられた正解クラスが格納される。Ｔｏｐ３１３には、エントリに対する検証画像に対する１位クラスの一致度（１位一致度）が格納される。Ｓｅｃｏｎｄ３１４には、エントリに対する検証画像に対する２位クラスの一致度（２位一致度）が格納される。Ｃｅｎｔｅｒ３１５には、エントリに対する検証画像に対する基準値が格納される。図９の例では、基準値は、１位一致度と２位一致度との平均値である。
【0083】
１位クラス及び補正一致度３１６には、エントリに対応する検証画像に対する１位クラスと、その補正一致度とが格納される。図９の例では、補正一致度は、１位一致度から基準値を減算して得られた値である。２位クラス及び補正一致度３１７には、エントリに対応する検証画像に対する２位クラスと、その補正一致度が格納される。３位クラス及び補正一致度３１８には、エントリに対応する検証画像に対する３位クラスと、その補正一致度が格納される。
【0084】
例えば、図８の３番目のエントリに対応する検証画像（画像名がイメージ１０３）に対して処理が行われると、補正一致度テーブル３１０の３番目のエントリに示すように、Ｔｏｐ３１３に「９７」が格納され、Ｓｅｃｏｎｄ３１４に「６７」が格納され、Ｃｅｎｔｅｒ３１５には、（９７＋６７）／２＝８２により「８２」が格納され、１位クラス及び補正一致度３１６には、補正一致度として、９７－８２＝１５により、「１５」が格納され、２位クラス及び補正一致度３１７には、補正一致度として、６７－８２＝－１５により、「－１５」が格納され、３位クラス及び補正一致度３１８には、補正一致度として、９－８２＝－７３により、「－７３」が格納される。
【0085】
算出部２３は、一致度に代えて、補正一致度を用いて、分離度を計算してもよい。例えば、上記した図８に示す一致度を用いた場合に、分離度が０になってしまっていたケース、すなわち、２番目のエントリの検証画像と、３番目のエントリの検証画像とについて、補正一致度を用いると、分離度は、１１－（－１５）＝２６と計算でき、分離されていることを適切に評価することができるようになる。
【0086】
ここで、表示処理部２５は、一致度に代えて補正一致度を用いて、分離度グラフ表示処理を行うようにしてもよい。
【0087】
さらに、算出部２３は、補正一致度に対して正規化した一致度（正規化後一致度）を算出するようにしてもよい。この場合には、算出部２３は、全ての検証画像における補正一致度の最大値と、最小値とを特定し、補正一致度の最大値と最小値とが、所定の範囲（例えば、０－１００）に収まるように正規化する。ここで、この場合の算出部２３は、正規化後一致度算出部の一例である。算出部２３は、各検証画像に対して正規化した一致度（正規化後一致度）を、例えば、作業用の正規化後一致度テーブル３２０（図１０参照）で管理する。
【0088】
図１０は、変形例に係る正規化後一致度テーブルの構成図である。図１０の正規化後一致度テーブル３２０は、図９に示す補正一致度テーブル３１０の各検証画像に対して、算出部２３が、正規化を行った場合の例を示している。
【0089】
正規化後一致度テーブル３２０は、検証画像毎のエントリを格納する。正規化後一致度テーブル３２０のエントリは、画像名３２１と、正解クラス３２２と、１位クラス及び正規化後一致度３２３と、２位クラス及び正規化後一致度３２４と、３位クラス及び正規化後一致度３２５と、のフィールドを含む。
【0090】
画像名３２１には、エントリに対応する検証画像に対応する画像名が格納される。正解クラス３２２には、エントリに対応する検証画像に対応付けられた正解クラスが格納される。１位クラス及び正規化後一致度３２３には、エントリに対応する検証画像に対する１位クラスとその正規化後一致度とが格納される。２位クラス及び正規化後一致度３２４には、エントリに対応する検証画像に対する２位クラスとその正規化後一致度とが格納される。３位クラス及び正規化後一致度３２５には、エントリに対応する検証画像に対する３位クラスとその正規化後一致度とが格納される。
【0091】
例えば、図９の３番目のエントリに対応する検証画像（画像名がイメージ１０３）に対して処理が行われると、正規化後一致度テーブル３２０の３番目のエントリに示すように、１位クラス及び正規化後一致度３２３には、正規化後一致度として、「７３」が格納され、２位クラス及び正規化後一致度３２４には、正規化後一致度として、「４８」が格納され、３位クラス及び正規化後一致度３２５には、正規化後一致度として、「０」が格納される。
【0092】
算出部２３は、一致度に代えて、正規化後一致度を用いて、分離度を計算してもよい。また、表示処理部２５は、一致度に代えて正規化後一致度を用いて、分離度グラフ表示処理を行うようにしてもよい。
【0093】
なお、本発明は、上述の実施形態及び変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、適宜変形して実施することが可能である。
【0094】
例えば、上記実施形態では、分離度グラフは、各クラスの一致度の分布グラフを含むようにしていたが、本発明はこれに限られず、例えば、正解クラスの分布グラフと、それ以外のクラスをまとめた分布グラフとを含むようにしてもよい。
【0095】
また、本発明には、例えば、以下の付記１から付記１５に係る分類評価支援装置、分類評価支援方法、及び分類評価支援プログラムが含まれている。
【0096】
（付記１）
所定の画像が複数クラスのいずれに該当するかを分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに該当するかを分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、
を含む分類評価支援装置。
所定の画像が複数クラスのいずれに該当するかを分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに該当するかを分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、
を含む分類評価支援装置。
【0097】
（付記２）
前記正解クラスの一致度の統計量は、当該正解クラスの一致度の最小値であり、前記他クラスの一致度の統計量は、当該他クラスの一致度の最大値であり、
前記表示処理部は、前記正解クラスの一致度の最小値と、前記他クラスの一致度の最大値との分離度を前記表示装置に表示させる
付記１に記載の分類評価支援装置。
前記正解クラスの一致度の統計量は、当該正解クラスの一致度の最小値であり、前記他クラスの一致度の統計量は、当該他クラスの一致度の最大値であり、
前記表示処理部は、前記正解クラスの一致度の最小値と、前記他クラスの一致度の最大値との分離度を前記表示装置に表示させる
付記１に記載の分類評価支援装置。
【0098】
（付記３）
前記表示処理部は、前記所定の正解クラスに対応付けられた検証画像群の選択が選択されると、前記所定の正解クラスの一致度の分布と、前記他クラスの一致度の分布とを区別した態様で表示する評価グラフを生成し、前記表示装置に前記評価グラフを表示させる
付記１又は付記２に記載の分類評価支援装置。
前記表示処理部は、前記所定の正解クラスに対応付けられた検証画像群の選択が選択されると、前記所定の正解クラスの一致度の分布と、前記他クラスの一致度の分布とを区別した態様で表示する評価グラフを生成し、前記表示装置に前記評価グラフを表示させる
付記１又は付記２に記載の分類評価支援装置。
【0099】
（付記４）
前記表示処理部は、前記複数クラスのそれぞれに対応する正解クラスごとに、前記評価グラフを作成し、前記正解クラスごとの前記評価グラフを表示させる
付記３に記載の分類評価支援装置。
前記表示処理部は、前記複数クラスのそれぞれに対応する正解クラスごとに、前記評価グラフを作成し、前記正解クラスごとの前記評価グラフを表示させる
付記３に記載の分類評価支援装置。
【0100】
（付記５）
前記複数クラスには、３以上のクラスが含まれ、前記他クラスには、２以上のクラスが含まれており、
前記表示処理部は、前記評価グラフに、前記他クラスに含まれている各クラスごとの一致度の分布が含まれるようにする
付記３又は付記４に記載の分類評価支援装置。
前記複数クラスには、３以上のクラスが含まれ、前記他クラスには、２以上のクラスが含まれており、
前記表示処理部は、前記評価グラフに、前記他クラスに含まれている各クラスごとの一致度の分布が含まれるようにする
付記３又は付記４に記載の分類評価支援装置。
【0101】
（付記６）
前記複数クラスは、第１クラス及び第２クラスを含み、
前記算出部は、前記各検証画像に対して、前記第１クラスの第１一致度と、前記第２クラスの第２一致度とを算出し、
前記表示処理部は、前記正解クラスが前記第１クラスである第１検証画像群に対して、前記第１検証画像群の各検証画像の前記第１一致度の分布と、前記第１検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第１評価グラフを生成し、前記正解クラスが前記第２クラスである第２検証画像群に対して、前記第２検証画像群の各検証画像の前記第１一致度の分布と、前記第２検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第２評価グラフを生成し、
前記第１評価グラフ又は前記第２評価グラフの少なくとも一方を前記表示装置に表示させる
付記１から付記５のいずれか１つに記載の分類評価支援装置。
前記複数クラスは、第１クラス及び第２クラスを含み、
前記算出部は、前記各検証画像に対して、前記第１クラスの第１一致度と、前記第２クラスの第２一致度とを算出し、
前記表示処理部は、前記正解クラスが前記第１クラスである第１検証画像群に対して、前記第１検証画像群の各検証画像の前記第１一致度の分布と、前記第１検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第１評価グラフを生成し、前記正解クラスが前記第２クラスである第２検証画像群に対して、前記第２検証画像群の各検証画像の前記第１一致度の分布と、前記第２検証画像群の前記各検証画像の前記第２一致度の分布とを区別した態様で表示した第２評価グラフを生成し、
前記第１評価グラフ又は前記第２評価グラフの少なくとも一方を前記表示装置に表示させる
付記１から付記５のいずれか１つに記載の分類評価支援装置。
【0102】
（付記７）
前記表示処理部は、前記第１検証画像群に関する前記第１評価グラフを前記第２検証画像群に関する前記第２評価グラフよりも優先的に前記表示装置に表示させる場合に、前記表示装置に、前記第１検証画像群を前記第２検証画像群よりも優先的に表示させるとともに、前記正解クラスである前記第１クラスと、前記第１検証画像群の各検証画像が分類された推論クラスとを識別可能に表示させる
付記６に記載の分類評価支援装置。
前記表示処理部は、前記第１検証画像群に関する前記第１評価グラフを前記第２検証画像群に関する前記第２評価グラフよりも優先的に前記表示装置に表示させる場合に、前記表示装置に、前記第１検証画像群を前記第２検証画像群よりも優先的に表示させるとともに、前記正解クラスである前記第１クラスと、前記第１検証画像群の各検証画像が分類された推論クラスとを識別可能に表示させる
付記６に記載の分類評価支援装置。
【0103】
（付記８）
前記各検証画像について、検証画像に対する各クラスの一致度の中の最大の一致度と、他の一致度とに基づいて、前記検証画像の一致度の補正用の基準値を決定し、前記基準値に基づいて前記検証画像に対する前記各クラスの一致度を補正して補正一致度を算出する補正一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記補正一致度を用いて、前記評価グラフを作成する
付記３から付記７のいずれか１つに記載の分類評価支援装置。
前記各検証画像について、検証画像に対する各クラスの一致度の中の最大の一致度と、他の一致度とに基づいて、前記検証画像の一致度の補正用の基準値を決定し、前記基準値に基づいて前記検証画像に対する前記各クラスの一致度を補正して補正一致度を算出する補正一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記補正一致度を用いて、前記評価グラフを作成する
付記３から付記７のいずれか１つに記載の分類評価支援装置。
【0104】
（付記９）
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、２番目に大きい一致度との内分点又は外分点を前記基準値として決定する
付記８に記載の分類評価支援装置。
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、２番目に大きい一致度との内分点又は外分点を前記基準値として決定する
付記８に記載の分類評価支援装置。
【0105】
（付記１０）
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、前記２番目に大きい一致度との平均値を前記基準値として決定する
付記９に記載の分類評価支援装置。
前記補正一致度算出部は、前記検証画像の前記最大の一致度と、前記２番目に大きい一致度との平均値を前記基準値として決定する
付記９に記載の分類評価支援装置。
【0106】
（付記１１）
前記各検証画像のすべての検証画像における最大の補正一致度と、最小の補正一致度とが所定の範囲となるように、前記各検証画像の補正一致度を正規化した正規化後一致度を生成する正規化後一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記正規化後一致度を用いて、前記評価グラフを作成する付記８から付記１０に記載の分類評価支援装置。
前記各検証画像のすべての検証画像における最大の補正一致度と、最小の補正一致度とが所定の範囲となるように、前記各検証画像の補正一致度を正規化した正規化後一致度を生成する正規化後一致度算出部を更に備え、
前記表示処理部は、前記一致度に代えて前記正規化後一致度を用いて、前記評価グラフを作成する付記８から付記１０に記載の分類評価支援装置。
【0107】
（付記１２）
前記評価グラフは、所定の第１軸に一致度をとり、前記第１軸と交差する第２軸に前記検証画像の数に対応する情報をとり、前記正解クラスの一致度については、前記第１軸の第１方向において前記検証画像の数に対応する情報を累積させていく累積グラフであり、前記他クラスの一致度については、前記第１方向と反対側の第２方向において前記検証画像の数に対応する情報を累積させていく累積グラフである
付記３から付記１１のいずれか１つに記載の分類評価支援装置。
前記評価グラフは、所定の第１軸に一致度をとり、前記第１軸と交差する第２軸に前記検証画像の数に対応する情報をとり、前記正解クラスの一致度については、前記第１軸の第１方向において前記検証画像の数に対応する情報を累積させていく累積グラフであり、前記他クラスの一致度については、前記第１方向と反対側の第２方向において前記検証画像の数に対応する情報を累積させていく累積グラフである
付記３から付記１１のいずれか１つに記載の分類評価支援装置。
【0108】
（付記１３）
前記表示処理部によって前記表示装置に識別可能に表示された複数の前記検証画像の中から学習画像に新たに使用する画像の指定を受け付ける受付部と、
前記受け付けた画像を含む学習画像により、前記機械学習モデルを学習する学習部と、を更に備え、
前記学習部は、前記分類部によって分類された前記検証画像群のうち、前記他クラスに誤分類された検証画像を用いて、前記機械学習モデルを学習させることが可能に構成され、
前記算出部は、前記学習部により学習させた前記機械学習モデルを用いて、前記各検証画像の前記各クラスの更新一致度をそれぞれ算出し、
前記分類部は、前記各クラスの更新一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに再度分類し、
前記表示処理部は、前記一致度に代えて前記更新一致度を用いて、前記分離度を前記表示装置に表示させる
付記１から付記１２のいずれか１つに記載の分類評価支援装置。
前記表示処理部によって前記表示装置に識別可能に表示された複数の前記検証画像の中から学習画像に新たに使用する画像の指定を受け付ける受付部と、
前記受け付けた画像を含む学習画像により、前記機械学習モデルを学習する学習部と、を更に備え、
前記学習部は、前記分類部によって分類された前記検証画像群のうち、前記他クラスに誤分類された検証画像を用いて、前記機械学習モデルを学習させることが可能に構成され、
前記算出部は、前記学習部により学習させた前記機械学習モデルを用いて、前記各検証画像の前記各クラスの更新一致度をそれぞれ算出し、
前記分類部は、前記各クラスの更新一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに再度分類し、
前記表示処理部は、前記一致度に代えて前記更新一致度を用いて、前記分離度を前記表示装置に表示させる
付記１から付記１２のいずれか１つに記載の分類評価支援装置。
【0109】
（付記１４）
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置による分類評価支援方法であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出し、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類し、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる
分類評価支援方法。
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援する分類評価支援装置による分類評価支援方法であって、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出し、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類し、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる
分類評価支援方法。
【0110】
（付記１５）
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援するコンピュータに実行させる分類評価支援プログラムであって、
前記コンピュータを、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、して機能させる
分類評価支援プログラム。
所定の画像を複数クラスのいずれかに分類する分類処理に用いる機械学習モデルの精度の評価を支援するコンピュータに実行させる分類評価支援プログラムであって、
前記コンピュータを、
前記機械学習モデルを用いて、正解クラスが対応付けられた複数の検証画像の各検証画像に対して、前記複数クラスの各クラスの一致度を算出する算出部と、
前記各検証画像に対して算出された前記各クラスの一致度に基づいて、前記各検証画像を前記複数クラスのいずれかに分類する分類部と、
所定の正解クラスに対応付けられた検証画像群に対して算出された前記各クラスの一致度のうち、前記正解クラスの一致度の統計量と、前記正解クラスと異なるクラスである他クラスの一致度の統計量との分離度を所定の表示装置に表示させる表示処理部と、して機能させる
分類評価支援プログラム。
【符号の説明】
【0111】
１…画像検査装置、２…制御ユニット、３…撮像ユニット、４…表示装置、５…パーソナルコンピュータ、１３Ａ…制御部、２１…画像受付部、２２…学習部、２３…算出部、２３Ａ…機械学習モデル、２４…分類部、２５…表示処理部、２６…指示受付部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
