特開 2024-35387 方法、学習モデル評価システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024035387

(43)【公開日】2024-03-14

(54)【発明の名称】方法、学習モデル評価システム、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240307BHJP

   G06T 7/60 20170101ALI20240307BHJP

   G06V 10/776 20220101ALI20240307BHJP

【ＦＩ】

G06T7/00 350B

G06T7/60 300A

G06V10/776

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022139811

(22)【出願日】2022-09-02

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】西本（内田） 滋穂里

(72)【発明者】

【氏名】西本 崇志

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096FA06

5L096FA66

5L096FA76

5L096JA11

5L096KA04

(57)【要約】

【課題】検出対象物を識別する学習モデルを適切に評価することが可能な方法、学習モデル評価システム、及びプログラムを提供する。
【解決手段】コンピュータが、少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、対象画像における少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得することと、第１輪郭情報を評価する基準となる、少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得することと、第１輪郭情報が満たすべき条件を取得することと、第１輪郭情報と、第２輪郭情報と、条件とに基づいて、学習モデルの性能が評価された評価情報を生成することと、を含む、方法。
【選択図】図４

【特許請求の範囲】

【請求項1】

コンピュータが、
少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、前記対象画像における前記少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得することと、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得することと、
前記第１輪郭情報が満たすべき条件を取得することと、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成することと、を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記評価情報を生成することは、
前記第１輪郭情報と前記第２輪郭情報とに基づいて、前記第１輪郭情報により示される少なくとも１つの第１輪郭の各点から、前記第２輪郭情報により示される少なくとも１つの第２輪郭へ向かう距離を示す第１輪郭間距離情報と、前記少なくとも１つの第２輪郭の各点から、前記少なくとも１つの第１輪郭へ向かう距離を示す第２輪郭間距離情報とを算出することと、
前記第１輪郭間距離情報及び前記第２輪郭間距離情報に基づく輪郭間距離情報に対して設けられる前記条件に基づいて、前記評価情報を生成すること、を含む、方法。

【請求項3】

請求項２に記載の方法であって、
前記評価情報を生成することは、
前記輪郭間距離情報における距離データの平均値及び標準偏差を算出することと、
前記条件を前記平均値及び前記標準偏差に対する条件として、前記評価情報を生成すること、を含む、方法。

【請求項4】

請求項３に記載の方法であって、
前記平均値及び前記標準偏差に対する前記条件は、前記第１輪郭と前記第２輪郭との許容可能な差分を示す画素数である、方法。

【請求項5】

請求項１に記載の方法であって、
前記第２輪郭情報を取得することは、記憶部に記憶される、取得画像における少なくとも１つの基準対象物の輪郭を示す情報として前記第２輪郭情報を取得すること、を含む、方法。

【請求項6】

請求項１から５のいずれか一項に記載の方法であって、
前記コンピュータに、
前記対象画像を含む条件設定画面をユーザに表示するための設定画面情報を生成させること、をさらに実行させ、
前記第１輪郭情報が満たすべき前記条件を取得することは、前記ユーザから、前記条件設定画面を通じて前記条件を取得すること、を含む、方法。

【請求項7】

請求項６に記載の方法であって、
前記第２輪郭情報を取得することは、前記条件設定画面を通じて、前記ユーザから取得された前記第２輪郭情報を取得すること、を含む、方法。

【請求項8】

請求項６に記載の方法であって、
前記コンピュータに、
前記対象画像と、前記第１輪郭情報に基づく予測画像と、前記評価情報を含む出力画面をユーザに表示するための出力画面情報を生成させること、をさらに含む、方法。

【請求項9】

請求項８に記載の方法であって、
前記評価情報を生成することは、前記第１輪郭情報と前記第２輪郭情報との相違を示す比較情報を生成することをさらに含み、
前記出力画面は前記比較情報をさらに含む、方法。

【請求項10】

少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、前記対象画像における少なくとも１つの前記検出対象物の輪郭を示す第１輪郭情報を取得する第１輪郭情報取得部と、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得する第２輪郭情報取得部と、
前記第１輪郭情報が満たすべき条件を取得する条件取得部と、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成する評価部と、を備える、学習モデル評価システム。

【請求項11】

コンピュータに、
少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、前記対象画像における前記少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得することと、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得することと、
前記第１輪郭情報が満たすべき条件を取得することと、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成することと、を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、方法、学習モデル評価システム、及びプログラムに関する。

【背景技術】

【0002】

製品の品質管理において、製品が良品であるか不良品であるかを、製品の外観から検査することが行われる。外観検査では、対象物を撮影し、対象物の画像をコンピュータによって画像処理することで、検査を行う手法がある。一例として、特許文献１には、検査画像と教示画像との輪郭線を用いた外観検査のための画像処理方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００４－０６９６９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

外観検査における画像処理では、対象物が存在する画素を識別するためのセグメンテーション処理が行われることがある。セグメンテーション処理によって、例えば、対象物の形状や輪郭を基にした良品判定が可能となる。セグメンテーション処理は、例えば、機械学習された学習モデルを用いて行われることがある。セグメンテーション処理のための学習モデルは、ある入力画像に対して、画素がどの物体であるかを分類した結果を出力するように動作する。このとき、学習モデルによる分類が適切に行われているか否かを評価する必要がある。学習モデルの評価のための評価指標には、例えば、ある分類について、正解画像における画素と、学習モデルで予測された画素とが重なる面積に基づくｍIoU（mean Intersection over Union）という指標がある。

【0005】

外観検査において、例えば、検出対象物が細長い形状である場合、検出対象物がセグメンテーション処理によって分類されたマスクにおいて、マスクが検出対象物からはみ出したり、跡切れが生じたりすることがある。面積の重なりを基にする場合、このような不完全なマスクが生成されたとしても、その生成に用いられた学習モデルの性能を適切に評価することが難しい。なぜなら、例えば細長い物体の一部が欠けていた場合であっても、マスクが検出対象物に十分重なっている場合には、mIoUの指標は大きく悪化しにくいためである。

【0006】

本開示は、一側面では、このような実情を鑑みてなされたものであり、その目的は、検出対象物を識別する学習モデルを適切に評価することが可能な方法、学習モデル評価システム、及びプログラムを提供することである。

【課題を解決するための手段】

【0007】

本開示は、上述した課題を解決するために、以下の構成を採用する。

【0008】

本開示の一側面に係る方法は、コンピュータが、少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、対象画像における少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得することと、第１輪郭情報を評価する基準となる、少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得することと、第１輪郭情報が満たすべき条件を取得することと、第１輪郭情報と、第２輪郭情報と、条件とに基づいて、学習モデルの性能が評価された評価情報を生成することと、を含む。

【0009】

当該方法によれば、検出対象物の輪郭を示す第１輪郭情報に対して、その基準となる第２輪郭情報を用いた評価が、所定の条件に基づいて行われる。検出対象物の輪郭に関する情報に基づいて学習モデルを評価することが可能となるので、学習モデルによる検出対象物に対応する画素の予測が、例えば、検出対象物をはみ出している場合や途切れている場合であっても、学習モデルを適切に評価することができる。

【0010】

上記一側面に係る方法において、評価情報を生成することは、第１輪郭情報と第２輪郭情報とに基づいて、第１輪郭情報により示される少なくとも１つの第１輪郭の各点から、第２輪郭情報により示される少なくとも１つの第２輪郭へ向かう距離を示す第１輪郭間距離情報と、少なくとも１つの第２輪郭の各点から、少なくとも１つの第１輪郭へ向かう距離を示す第２輪郭間距離情報とを算出することと、第１輪郭間距離情報及び第２輪郭間距離情報に基づく輪郭間距離情報に対して設けられる条件に基づいて、評価情報を生成すること、を含んでもよい。

【0011】

当該方法によれば、予測された第１輪郭から見た正解の第２輪郭に対する第１輪郭間距離情報と正解の第２輪郭から見た予測された第１輪郭に対する第２輪郭間距離情報に基づいて、予測から見た正解と、正解から見た予測の両方を用いた評価を行うことができる。これにより、学習モデルを適切に評価することができる。

【0012】

上記一側面に係る方法において、評価情報を生成することは、輪郭間距離情報における距離データの平均値及び標準偏差を算出することと、条件を平均値及び標準偏差に対する条件として、評価情報を生成すること、を含んでもよい。

【0013】

当該方法によれば、平均値及び標準偏差を用いるため、局所的な輪郭間距離の変動を抑えつつ、輪郭全体を考慮して学習モデルを評価することができるようになり、学習モデルを適切に評価することが可能となる。

【0014】

上記一側面に係る方法において、平均値及び標準偏差に対する条件は、第１輪郭と第２輪郭との許容可能な差分を示す画素数であってもよい。

【0015】

当該方法によれば、画素数という、学習モデルの評価者にとって直感的な条件を用いることが可能となるので、評価者の利便性が向上する。

【0016】

上記一側面に係る方法において、第２輪郭情報を取得することは、記憶部に記憶される、取得画像における少なくとも１つの基準対象物の輪郭を示す情報として第２輪郭情報を取得すること、を含んでもよい。

【0017】

当該方法によれば、例えば、第２輪郭情報を評価者が予め設定しておくことが可能となり、評価者の利便性が向上する。

【0018】

上記一側面に係る方法は、コンピュータに、対象画像を含む条件設定画面をユーザに表示するための設定画面情報を生成させること、をさらに実行させ、第１輪郭情報が満たすべき条件を取得することは、ユーザから、条件設定画面を通じて条件を取得すること、を含んでもよい。

【0019】

当該方法によれば、ユーザ（評価者）が検出対象物の画像を確認しつつ条件を設定することができるので条件設定が適切に行われる。これにより、学習モデルを適切に評価することが可能となる。

【0020】

上記一側面に係る方法は、第２輪郭情報を取得することは、条件設定画面を通じて、ユーザから取得された第２輪郭情報を取得することを含んでもよい。

【0021】

当該方法によれば、ユーザが自身の判断に基づいて第２輪郭情報を設定することができるので、第２輪郭情報の設定が適切に行われる。これにより、学習モデルを適切に評価することが可能となる。

【0022】

上記一側面に係る方法は、コンピュータに、対象画像と、第１輪郭情報に基づく予測画像と、評価情報を含む出力画面をユーザに表示するための出力画面情報を生成させること、をさらに含んでもよい。

【0023】

当該方法によれば、ユーザが予測画像と対象画像とを対比しつつモデルの評価結果を把握することが可能となるので、ユーザの利便性が向上する。

【0024】

上記一側面に係る方法において、評価情報を生成することは、第１輪郭情報と第２輪郭情報との相違を示す比較情報を生成することをさらに含んでもよい。

【0025】

当該方法によれば、ユーザが予測画像と対象画像と相違を確認しつつモデルの評価結果を把握することが可能となるので、ユーザの利便性が向上する。

【0026】

また、本開示の一側面に係る学習モデル評価システムは、少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、対象画像における少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得する第１輪郭情報取得部と、第１輪郭情報を評価する基準となる、少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得する第２輪郭情報取得部と、第１輪郭情報が満たすべき条件を取得する条件取得部と、第１輪郭情報と、第２輪郭情報と、条件とに基づいて、学習モデルの性能が評価された評価情報を生成する評価部と、を備える。

【0027】

また、本開示の一側面に係るプログラムは、コンピュータに、少なくとも１つの検出対象物が撮像された対象画像を学習モデルに入力し、対象画像における少なくとも１つの検出対象物の輪郭を示す第１輪郭情報を取得することと、第１輪郭情報を評価する基準となる、少なくとも１つの検出対象物の輪郭を示す第２輪郭情報を取得することと、第１輪郭情報が満たすべき条件を取得することと、第１輪郭情報と、第２輪郭情報と、条件とに基づいて、学習モデルの性能が評価された評価情報を生成することと、を実行させる。

【発明の効果】

【0028】

本発明によれば、検出対象物を識別する学習モデルを適切に評価することが可能な方法、学習モデル評価システム、及びプログラムを提供することができる。

【図面の簡単な説明】

【0029】

【図1】本実施形態に係る学習モデル評価システムが利用される様子を模式的に示す図である。

【図2】本実施形態に係る学習モデル評価システム１０１のブロック図である。

【図3】本実施形態に係る輪郭情報の一例を示す図である。

【図4】本実施形態に係る学習モデル評価システムの処理の一例を説明するフローチャートである。

【図5】本実施形態に係る条件設定画面の一例を示す図である。

【図6】本実施形態に係る条件設定画面の一例を示す図である。

【図7】本実施形態に係る評価情報生成処理の一例を説明するフローチャートである。

【図8】本実施形態に係る評価情報の計算方法を模式的に説明する図である。

【図9】本実施形態に係る評価情報の計算方法を模式的に説明する図である。

【図10】本実施形態に係る評価情報の計算方法を模式的に説明する図である。

【図11】本実施形態に係る評価情報の計算方法を模式的に説明する図である。

【図12】本実施形態に係る評価情報の計算方法を模式的に説明する図である。

【図13】本実施形態に係る出力画面の一例を説明する図である。

【発明を実施するための形態】

【0030】

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。以下、添付図面を取得して説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0031】

図１には、本実施形態に係る学習モデル評価システム１０１による製品Ｐに関するモデル評価の様子が模式的に示される。ここでは、一例として、基板Ｂに要素Ｅ１，Ｅ２，Ｅ３が設けられる製品Ｐが示される。要素Ｅ１，Ｅ２，Ｅ３は本開示の「検出対象物」に相当する。なお、基板Ｂに設けられる要素の数は複数でもよく１つであってもよい。

【0032】

学習モデル評価システム１０１は、撮像装置によって製品を撮影し、撮影された画像における検出対象物を分類する学習モデルの性能を評価する。なお、学習モデル評価システム１０１を用いた評価において、製品の撮影は必須ではなく、別途撮影された製品の画像を用いてもよい。

【0033】

図２を取得して、学習モデル評価システム１０１の構成の一例について説明する。図２の例では、学習モデル評価システム１０１は、記憶部２０１、通信部２０２、表示部２０３、撮像部２０４、及び制御部２０５を備える。

【0034】

学習モデル評価システム１０１は、１つの装置によって実現されてもよく、あるいは各部の機能を有する複数の装置によって実現されてよい。例えば、学習モデル評価システム１０１は、撮像部２０４を有するが、撮像部２０４は他の各部をも含む装置として実現されなくともよい。例えば、学習モデル評価システム１０１は、撮像部２０４を実現する撮像装置と、撮像部２０４以外の機能を有する情報処理装置とを備えるように実現することができる。学習モデル評価システム１０１は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ等によって実現されてもよい。

【0035】

記憶部２０１は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部２０５による処理のために実行されるプログラムや、学習モデル評価システム１０１で使用される各種の情報を記憶する。

【0036】

通信部２０２は、例えば、学習モデル評価システム１０１とネットワークを通じて接続される他のシステム又は情報処理装置への接続及びデータ授受を行う情報処理ユニットとして構成されている。通信部２０２は、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。通信部２０２は、制御部２０５の制御に従って、他のシステム又は情報処理装置に、例えば、対象物の判定結果等を送信することができる。

【0037】

表示部２０３は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。

【0038】

撮像部２０４は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を有する撮像装置である。撮像部２０４は、制御部２０５の制御に従って、製品Ｐの画像を取得する。

【0039】

制御部２０５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を含み、情報処理に応じて各構成要素の制御を行う。制御部２０５は、第1輪郭情報取得部２０５１、第２輪郭情報取得部２０５２、条件取得部２０５３、評価部２０５４、及び画面情報生成部２０５５を有する。

【0040】

第１輪郭情報取得部２０５１は、領域特定部２０５１１を有する。領域特定部２０５１１は、撮像部２０４が撮像した検出対象物の対象画像を取得し、対象画像を学習モデル２０５１２に入力する。学習モデル２０５１２は、例えば、セマンティックセグメンテーションや、インスタンスセグメンテーションを行う学習モデルである。学習モデル２０５１２は、各画素に対応する物体を特定するように学習されている。学習モデル２０５１２は、対象画像が入力されると、要素Ｅ１，Ｅ２，Ｅ３に対応する領域（画素）を特定する。第１輪郭情報取得部２０５１は、領域特定部２０５１１によって特定された領域に基づいて、要素Ｅ１，Ｅ２，Ｅ３のそれぞれの輪郭に対応する画素を示す情報として第１輪郭情報を取得する。なお、学習モデル２０５１２は、図２では、領域特定部２０５１１に関連付けられて図示されているが、例えば記憶部２０１に記憶されてもよい。また、学習モデル２０５１２は、学習モデル評価システム１０１とネットワークを通じて接続された他の情報処理装置に記憶されてもよい。

【0041】

第２輪郭情報取得部２０５２は、第１輪郭情報を評価する基準となる、検出対象物の輪郭を示す第２輪郭情報を取得する。第２輪郭情報取得部２０５２は、例えば、記憶部２０１に予め記憶される、取得画像における基準対象物の輪郭に対応する画素を示す情報として第２輪郭情報を取得する。あるいは、第２輪郭情報取得部２０５２は、後述の条件設定画面を通じてユーザにより設定される第２輪郭情報を取得してもよい。

【0042】

条件取得部２０５３は、第１輪郭情報が満たすべき条件を取得する。条件取得部２０５３は、例えば、条件設定画面を通じてユーザから条件を取得する。あるいは、条件取得部２０５３は、記憶部２０１に記憶される、予め定められた条件を取得してもよい。条件は、例えば、第１輪郭情報と第２輪郭情報との関係に対して設けられる。具体的には、条件は第１輪郭情報と第２輪郭情報に基づく輪郭間の距離に関する条件であり、例えば輪郭間の距離に基づいて算出される平均値及び標準偏差に基づく条件である。

【0043】

評価部２０５４は、第１輪郭情報と、第２輪郭情報と、条件とに基づいて、学習モデル２０５１２の性能が評価された評価情報を生成する。評価情報の生成処理については後述する。

【0044】

画面情報生成部２０５５は、第１輪郭情報取得部２０５１が取得した対象画像をユーザに表示し、条件を設定するための条件設定画面を表示するための情報を生成する。また、画面情報生成部２０５５は、対象画像と、第１輪郭情報に基づく予測画像と、評価部２０５４が生成した評価情報を含む出力画面をユーザに表示するための出力画面情報を生成する。条件設定画面及び出力画面については後述する。

【0045】

図３を参照して、学習モデル評価システム１０１における評価対象について説明する。図３（ａ）には、第１輪郭情報取得部２０５１によって取得される対象画像ＩＧ１が示される。対象画像ＩＧ１には検出対象物である要素Ｅ１，Ｅ２，Ｅ３が含まれている。第１輪郭情報取得部２０５１は、第１輪郭情報取得部２０５１による処理を経て、図３（ｂ）に示されるように、要素Ｅ１，Ｅ２，Ｅ３に対応するマスクＭ１（第１輪郭情報）を生成する。マスクＭ１は、インスタンスマスクＭ１１，Ｍ１２，Ｍ１３，Ｍ１４を含む。インスタンスマスクは、対象画像ＩＧ１に含まれる物体のそれぞれが識別された画像上の領域である。また、インスタンスマスクＭ１１，Ｍ１２，Ｍ１３，Ｍ１４のそれぞれは輪郭Ｏ１１（第１輪郭），Ｏ１２，Ｏ１３，Ｏ１４を有する。

【0046】

また、対象画像ＩＧ１について、第２輪郭情報取得部２０５２は、図３（ｃ）に示されるマスクＭ２（第２輪郭情報）を取得する。マスクＭ２は、インスタンスマスクＭ２１，Ｍ２２，Ｍ２３を含む。また、インスタンスマスクＭ２１，Ｍ２２，Ｍ２３のそれぞれは輪郭Ｏ２１（第２輪郭），Ｏ２２，Ｏ２３を有する。

【0047】

第１輪郭情報取得部２０５１によって特定された輪郭Ｏ１１，Ｏ１２，Ｏ１３，Ｏ１４と第２輪郭情報取得部２０５２によって取得された輪郭Ｏ２１，Ｏ２２，Ｏ２３とは、図３（ｄ）におけるマスクＭ１，Ｍ２が重畳されたマスクＭに示されるように相違している。学習モデル評価システム１０１では、輪郭Ｏ１１，Ｏ１２，Ｏ１３，Ｏ１４と輪郭Ｏ２１，Ｏ２２，Ｏ２３との距離に基づいて、学習モデル２０５１２の評価が行われる。

【0048】

図５には、学習モデル評価システム１０１による処理の一例としてのフローチャートが示される。

【0049】

ステップＳ４０１において、第１輪郭情報取得部２０５１は、撮像部２０４又は記憶部２０１から対象画像を取得する。

【0050】

ステップＳ４０２において、画面情報生成部２０５５は、条件設定画面を表示するための設定画面情報を生成する。ステップＳ４０３において、表示部２０３は条件設定画面を表示する。図５には、条件設定画面５００の一例が示される。条件設定画面５００は、対象画像表示領域５０１を有し、対象画像表示領域５０１には検出対象物５０２を含む画像が表示される。

【0051】

ユーザが条件設定画面５００におけるボタン５０３を選択すると、画面情報生成部２０５５は画面を更新する。更新された画面の一例が図６に条件設定画面６００として示される。

【0052】

条件設定画面６００は、閾値入力領域６０１、マスク表示領域６０２、及びボタン６０３を有する。閾値入力領域６０１には、「閾値（ｐｘ）」という表示がされ、ユーザによって任意のピクセル数を閾値とする入力が可能である。図６の例では「５」ピクセルが入力されている。

【0053】

マスク表示領域６０２は、対象画像表示領域６０２１を含む。対象画像表示領域６０２１には、検出対象物５０２の画像が表示される。ユーザは、検出対象物５０２における所定の領域を選択するアノテーション操作を行うことで、検出対象物５０２に対応するインスタンスマスクＭ３を設定することができる。ユーザは対象画像表示領域６０２１に表示される検出対象物５０２の画像を参照しつつインスタンスマスクＭ３を設定することができる。なお、インスタンスマスクＭ３は記憶部２０１に予め記憶されたマスクが表示されてもよい。閾値の入力及びマスクの設定が完了すると、ユーザはボタン６０３を選択する。

【0054】

ステップＳ４０４において、第２輪郭情報取得部２０５２は、インスタンスマスクＭ３に基づいて第２輪郭情報を取得し、記憶部２０１に記憶しておく。

【0055】

ステップＳ４０５において、条件取得部２０５３は、条件設定画面６００を通じて設定された輪郭間距離に関する閾値を取得し、記憶部２０１に記憶しておく。

【0056】

ステップＳ４０６において、第１輪郭情報取得部２０５１及び評価部２０５４は、評価情報生成処理を実行する。図７を参照して、評価情報生成処理について説明する。

【0057】

ステップＳ７０１において、第１輪郭情報取得部２０５１は、対象画像を学習モデル２０５１２に入力する。ステップＳ７０２において、第１輪郭情報取得部２０５１は、領域特定部２０５１１から第１輪郭情報を取得する。

【0058】

ステップＳ７０３において、評価部２０５４は第２輪郭情報取得部２０５２が取得した第２輪郭情報を参照する。

【0059】

ステップＳ７０４において、評価部２０５４は記憶部２０１に記憶された輪郭間距離に関する閾値を参照する。

【0060】

ステップＳ７０５において、評価部２０５４は、正解インスタンスマスクの輪郭と予測インスタンスマスクの輪郭との全ての組（インスタンスペア）に関して、輪郭間距離情報に基づいて、判定値を算出する。この処理について、図８から図１１を参照して説明する。

【0061】

図８（ａ），（ｂ），（ｃ）のそれぞれに示されるように、評価部２０５４は、正解インスタンスマスクの輪郭と予測インスタンスマスクの輪郭との全ての組について判定値を算出する。例えば、図８（ａ）に示されるように、予測されたインスタンスマスクＭ２１は、インスタンスマスクＭ１１，Ｍ１２，Ｍ１３，Ｍ１４と組み合わせられ、それぞれの組において判定値が算出される。

【0062】

評価部２０５４は、第２輪郭情報における正解インスタンスマスクを選択する。例えば、図３（ｃ）に示されるマスクＭ２において、正解インスタンスマスクがインスタンスマスクＭ２１として選択される。

【0063】

次に、評価部２０５４は、第１輪郭情報における予測インスタンスマスクを選択する。例えば、図３（ｂ）に示されるマスクＭ１において、予測インスタンスマスクがインスタンスマスクＭ１１として選択される。

【0064】

評価部２０５４は、選択された予測インスタンスマスクの輪郭の各点から、選択された正解インスタンスマスクの輪郭への第１輪郭間距離情報を算出する。例えば、インスタンスマスクＭ１１の輪郭Ｏ１１の各点からインスタンスマスクＭ２１の輪郭Ｏ２１への距離を算出する。評価部２０５４は、図９に示されるように、輪郭Ｏ１１に対応する各点（画素）から、輪郭Ｏ２１に対応する最短の位置にある点（画素）までの距離を算出する。この算出結果が第１輪郭間距離情報である。なお、図９及び以降の図１０、１１では、インスタンスマスクＭ２２，Ｍ２３，Ｍ２４の図示は省略している。

【0065】

評価部２０５４は、選択された正解インスタンスマスクの輪郭の各点から、選択された予測インスタンスマスクの輪郭への第２輪郭間距離情報を算出する。評価部２０５４は、図１０に示されるように、輪郭Ｏ２１に対応する各点（画素）から、輪郭Ｏ１１に対応する最短の位置にある点（画素）までの距離を算出する。この算出結果が第２輪郭間距離情報である。なお、輪郭Ｏ１１，Ｏ２１における点は、等間隔に選択されてもよく、形状に応じた任意の間隔で選択されてもよい。

【0066】

評価部２０５４は、第１輪郭間距離情報と第２輪郭間距離情報とに基づいて、第１輪郭間距離情報と第２輪郭間距離情報とを合わせた輪郭間距離情報を生成する。例えば、図９の例において、輪郭Ｏ１１上のＮ個の点それぞれから輪郭Ｏ２１への距離が（ｄ１１，ｄ１２，…ｄ１Ｎ）と得られるとする。また、図１０の例において、輪郭Ｏ２１上のＭ個の点それぞれから輪郭Ｏ１１への距離が（ｄ２１，ｄ２２，…ｄ２Ｍ）と得られるとする。このとき、輪郭間距離情報は、（ｄ１１，ｄ１２，…ｄ１Ｎ，ｄ２１，ｄ２２，…ｄ２Ｍ）という距離データとして生成される。

【0067】

評価部２０５４は、輪郭間距離情報に基づいて、判定値を算出する。例えば、評価部２０５４は、輪郭間距離情報によって示される距離データについて、（平均＋２×標準偏差）を判定値として算出する。

【0068】

評価部２０５４は、ある１つのインスタンスペアに対して判定値の算出を繰り返し、全てのインスタンスペアについて判定値を算出する。例えば、図１１に示されるように、インスタンスマスクＭ２１とインスタンスマスクＭ１２とのインスタンスペアについて同様に輪郭間距離情報が生成され、判定値が算出される。

【0069】

ここで、輪郭Ｏ２１及び輪郭Ｏ１２に対する輪郭間距離情報は、例えば、輪郭Ｏ２１上の各点から輪郭Ｏ１２までの距離（ｄ３１，ｄ３２，ｄ３３，…）及び輪郭Ｏ１２上の各点から輪郭Ｏ２１までの距離（ｄ４１，ｄ４２，ｄ４３，…）に基づいて生成される。この輪郭間距離情報（ｄ３１，ｄ３２，ｄ３３，…，ｄ４１，ｄ４２，ｄ４３，…）は、Ｏ１１とＯ２１のインスタンスペアの輪郭間距離情報（ｄ１１，ｄ１２，…ｄ１Ｎ，ｄ２１，ｄ２２，…ｄ２Ｍ）よりも、距離の値及びその分散が大きくなる。よって、輪郭Ｏ２１と輪郭Ｏ１２のインスタンスペアの輪郭間距離情報に基づく判定値は、輪郭Ｏ２１と輪郭Ｏ１１のインスタンスペアの輪郭間距離情報に基づく判定値より大きくなる。

【0070】

評価部２０５４は、各インスタンスペアについて判定値を算出する処理を繰り返す。図８に示される例では、正解インスタンスマスクが４つ，予測インスタンスマスクが３つであるので、１２組のインスタンスペアが生成され、判定値は１２個算出される。

【0071】

ステップＳ７０６において、評価部２０５４は、判定値が小さい順に、インスタンスペアがソートされたリストを生成する。図８の例に基づくと、図１２に模式的に示されるようなリストＬが生成される。リストＬでは、インスタンスマスクＭ２１とインスタンスマスクＭ１１とのインスタンスペアＰ１，インスタンスマスクＭ２２とインスタンスマスクＭ１２とのインスタンスペアＰ２，インスタンスマスクＭ２３とインスタンスマスクＭ１３とのインスタンスペアＰ３、インスタンスマスクＭ２３とインスタンスマスクＭ１４とのインスタンスペアＰ４がそれぞれ示される。インスタンスペアＰ１，Ｐ２，Ｐ３，Ｐ４は、判定値が小さい順に配列される。リストＬには１２組のインスタンスペアが配列される。

【0072】

ステップＳ７０７において、評価部２０５４は、リストの先頭にあるインスタンスペアを選択する。

【0073】

ステップＳ７０８において、評価部２０５４は、選択されたインスタンスペアの判定値が閾値以下であるか否かを判断する。ここで、インスタンスペアＰ１，Ｐ２の判定値は閾値以下であり、インスタンスペアＰ３，Ｐ４の判定値は閾値より大きいものとする。

【0074】

ステップＳ７０８において肯定判断されると、ステップＳ７０９において、評価部２０５４は、選択されたインスタンスペアを対応インスタンスペアとし、真陽性（ＴＰ）の値に１を加算する。

【0075】

ステップＳ７１０において、評価部２０５４は、対応インスタンスペアをリストから除外してリストを更新する。

【0076】

例えば、インスタンスペアＰ１が選択された場合、ステップＳ７０９の処理によってＴＰの値に１が加算される。次に、リストＬからインスタンスペアＰ１が削除され、インスタンスペアＰ２がリストの先頭に繰り上げられる。

【0077】

ステップＳ７１１において、評価部２０５４はリストが空であるか否かを判断する。ステップＳ７１１において否定判断されると、ステップＳ７０７からの処理が繰り返される。ステップＳ７１１において肯定判断されると、リスト内の全てのインスタンスペアの判定が完了したとして、後述するステップＳ７１２以降の処理に進む。

【0078】

例えば、リストＬの先頭にインスタンスペアＰ２がある場合、ステップＳ７１１において否定判断される。ステップＳ７０７の処理においてインスタンスペアＰ２が選択される。ステップＳ７０８において、インスタンスペアＰ２の判定値は閾値以下であるか否かが判断される。インスタンスペアＰ２の判定値は閾値以下なので、ステップＳ７０９において、真陽性の値に１がさらに加算される。ステップＳ７１０において、リストＬからインスタンスペアＰ２が削除され、インスタンスペアＰ２がリストの先頭に繰り上げられる。

【0079】

同様に、インスタンスペアＰ３に対しても、ステップＳ７０８において、インスタンスペアＰ３の判定値は閾値以下であるか否かが判断される。インスタンスペアＰ３の判定値は閾値より大きいので、ステップＳ７０８において否定判断される。

【0080】

ステップＳ７０８において否定判断されると、ステップＳ７１２以降の処理が行われる。なお、ステップＳ７０６において、判定値が小さい順にインスタンスペアをソートしてリストを作成しているので、インスタンスペアＰ３より後に配列されるインスタンスペアについてもその判定値は閾値より大きくなる。したがって、一旦ステップＳ７０８において否定判断された場合、リスト内のインスタンスペアのうち、真陽性となるインスタンスペアがリストに含まれることはない。このように、インスタンスペアの判定値が閾値より大きくなるまで繰り返される処理によって、判定値が閾値以下となる真陽性のインスタンスペアの集計が完了する。

【0081】

ステップＳ７１２において、評価部２０５４は、予測インスタンスマスクの数からＴＰの値を除算した値を偽陽性（ＦＰ）の値とする。例えば、図８，図１２の例の場合、ＴＰの値は「２」であり、予測インスタンスマスクの数は「４」であるので、ＦＰの値は「２」となる。

【0082】

次に、ステップＳ７１３において、評価部２０５４は、正解インスタンスマスクの数からＴＰの値を除算した値を偽陰性（ＦＮ）の値とする。例えば、図８，図１２の例の場合、正解インスタンスマスクの数は「３」であるので、ＦＮの値は「１」となる。

【0083】

ステップＳ７１２において、評価部２０５４は対象画像に対して第１輪郭情報を予測する学習モデル２０５１２を評価するＦ１スコアを評価情報として算出する。Ｆ１スコアは以下の数式に基づいて算出される。

【0084】

【数1】

【0085】

図８の例に基づく場合、Ｆ１スコアは、Ｆ１＝（２×２）／（２×２＋１＋２）≒０．５７のように算出される。

【0086】

図４に戻り、ステップＳ４０７において、画面情報生成部２０５５は、第１輪郭情報取得部２０５１が領域特定部２０５１１から取得した第１輪郭情報に基づいて、領域特定部２０５１１が予測した第１輪郭を含むインスタンスマスクを示す予測画像を生成する。

【0087】

ステップＳ４０８において、画面情報生成部２０５５は、第１輪郭情報及び第２輪郭情報に基づいて、第１輪郭情報に基づくインスタンスマスクと第２輪郭情報に基づくインスタンスマスクとの相違を示す比較情報を生成する。

【0088】

ステップＳ４０９において、画面情報生成部２０５５は、予測画像及び比較情報を含む出力画面を表示するための出力画面情報を生成する。

【0089】

ステップＳ４１０において、表示部２０３は出力画面をユーザに表示する。

【0090】

図１３には、出力画面１３００の一例が示される。出力画面１３００は、Ｆ１スコア表示領域１３０１、閾値表示領域１３０２、はみ出し表示領域１３０３、跡切れ表示領域１３０４、及びマスク比較領域１３０５を有する。

【0091】

Ｆ１スコア表示領域１３０１には、評価部２０５４が算出したＦ１スコアが表示される。図１３では、Ｆ１スコアは一例として「０．３０」と表示されている。閾値表示領域１３０２には、条件設定画面６００を通じて設定されたピクセルの閾値が示される。

【0092】

はみ出し表示領域１３０３には、比較情報に基づいて、第２輪郭が第１輪郭からはみ出しているはみだし領域が抽出されて表示される。跡切れ表示領域１３０４には、比較情報に基づいて、第１輪郭が第２輪郭からはみ出している跡切れ領域が抽出されて表示される。

【0093】

マスク比較領域１３０５は、マスク表示領域１３０５１、対象画像表示領域１３０５２を有する。マスク表示領域１３０５１には、第１輪郭情報取得部２０５１が学習モデル２０５１２から取得したマスク情報を示すインスタンスマスクＭ４が表示される。対象画像表示領域１３０５２には、検出対象物５０２を含む対象画像が表示される。

【0094】

マスク比較領域１３０５には、中央にインスタンスマスクＭ３及びインスタンスマスクＭ４が表示される。また、マスク比較領域１３０５におけるはみ出し部１３０５３、跡切れ部１３０５４が、はみ出し表示領域１３０３、跡切れ表示領域１３０４にそれぞれ表示される。

【0095】

ユーザは、出力画面１３００を確認することで、学習モデル２０５１２による対象画像のマスク生成が適切に行われているかを判断できる。数値的な評価は、Ｆ１スコア表示領域１３０１に表示されるＦ１スコアによって可能となり、さらに、視覚的な評価が、はみ出し表示領域１３０３、跡切れ表示領域１３０４、マスク比較領域１３０５に表示される情報によって可能となる。よって、ユーザは学習モデル２０５１２の評価を効率よく行うことが可能となる。

【0096】

ここで、以上説明した方法、学習モデル評価システム、及びプログラムの主要な構成についてまとめておく。

【0097】

［付記１］
コンピュータが、
少なくとも１つの検出対象物（Ｅ１，Ｅ２，Ｅ３）が撮像された対象画像（ＩＧ１）を学習モデル（２０５１２）に入力し、前記対象画像における前記少なくとも１つの検出対象物の輪郭（Ｏ１１，Ｏ１２，Ｏ１３，Ｏ１４）を示す第１輪郭情報を取得することと、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭（Ｏ２１，Ｏ２２，Ｏ２３）を示す第２輪郭情報を取得することと、
前記第１輪郭情報が満たすべき条件を取得することと、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成することと、を含む、方法。
［付記２］
付記１に記載の方法であって、
前記評価情報を生成することは、
前記第１輪郭情報と前記第２輪郭情報とに基づいて、前記第１輪郭情報により示される少なくとも１つの第１輪郭（Ｏ１１，Ｏ１２，Ｏ１３，Ｏ１４）の各点から、前記第２輪郭情報により示される少なくとも１つの第２輪郭（Ｏ２１，Ｏ２２，Ｏ２３）へ向かう距離を示す第１輪郭間距離情報と、前記少なくとも１つの第２輪郭の各点から、前記少なくとも１つの第１輪郭へ向かう距離を示す第２輪郭間距離情報とを算出することと、
前記第１輪郭間距離情報及び前記第２輪郭間距離情報に基づく輪郭間距離情報に対して設けられる前記条件に基づいて、前記評価情報を生成すること、を含む、方法。
［付記３］
付記２に記載の方法であって、
前記評価情報を生成することは、
前記輪郭間距離情報における距離データの平均値及び標準偏差を算出することと、
前記条件を前記平均値及び前記標準偏差に対する条件として、前記評価情報を生成すること、を含む、方法。
［付記４］
付記３に記載の方法であって、
前記平均値及び前記標準偏差に対する前記条件は、前記第１輪郭と前記第２輪郭との許容可能な差分を示す画素数である、方法。
［付記５］
付記１に記載の方法であって、
前記第２輪郭情報を取得することは、記憶部に記憶される、取得画像における基準対象物の輪郭を示す情報として前記第２輪郭情報を取得すること、を含む、方法。
［付記６］
付記１から５のいずれか一項に記載の方法であって、
前記コンピュータに、
前記対象画像を含む条件設定画面をユーザに表示するための設定画面情報を生成させること、をさらに実行させ、
前記第１輪郭情報が満たすべき前記条件を取得することは、前記ユーザから、前記条件設定画面を通じて前記条件を取得すること、を含む、方法。
［付記７］
付記６に記載の方法であって、
前記第２輪郭情報を取得することは、前記条件設定画面を通じて、前記ユーザから取得された前記第２輪郭情報を取得すること、を含む、方法。
［付記８］
付記６に記載の方法であって、
前記コンピュータに、
前記対象画像と、前記第１輪郭情報に基づく予測画像と、前記評価情報を含む出力画面をユーザに表示するための出力画面情報を生成させること、をさらに含む、方法。
［付記９］
付記８に記載の方法であって、
前記評価情報を生成することは、前記第１輪郭情報と前記第２輪郭情報との相違を示す比較情報を生成することをさらに含み、
前記出力画面は前記比較情報をさらに含む、方法。
［付記１０］
少なくとも１つの検出対象物（Ｅ１，Ｅ２，Ｅ３）が撮像された対象画像（ＩＧ１）を学習モデル（２０５１２）に入力し、前記対象画像における前記少なくとも１つの検出対象物の輪郭（Ｏ１１，Ｏ１２，Ｏ１３，Ｏ１４）を示す第１輪郭情報を取得する第１輪郭情報取得部（２０５１）と、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭（Ｏ２１，Ｏ２２，Ｏ２３）を示す第２輪郭情報を取得する第２輪郭情報取得部（２０５２）と、
前記第１輪郭情報が満たすべき条件を取得する条件取得部（２０５３）と、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成する評価部（２０５４）と、を備える、学習モデル評価システム。
［付記１１］
コンピュータに、
少なくとも１つの検出対象物（Ｅ１，Ｅ２，Ｅ３）が撮像された対象画像（ＩＧ１）を学習モデル（２０５１２）に入力し、前記対象画像における前記少なくとも１つの検出対象物の輪郭（Ｏ１，Ｏ１２，Ｏ１３，Ｏ１４）を示す第１輪郭情報を取得することと、
前記第１輪郭情報を評価する基準となる、前記少なくとも１つの検出対象物の輪郭（Ｏ２１，Ｏ２２，Ｏ２３）を示す第２輪郭情報を取得することと、
前記第１輪郭情報が満たすべき条件を取得することと、
前記第１輪郭情報と、前記第２輪郭情報と、前記条件とに基づいて、前記学習モデルの性能が評価された評価情報を生成することと、を実行させる、プログラム。

【符号の説明】

【0098】

１０１…学習モデル評価システム、２０１…記憶部、２０２…通信部、２０３…表示部、２０４…撮像部、２０５…制御部、２０５１…第１輪郭情報取得部、２０５２…第２輪郭情報取得部、２０５３…条件取得部、２０５４…評価部、２０５５…画面情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】