特開 2024-118978 再学習モデルの生成方法、再学習モデルの生成装置、及び再学習モデルの生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024118978

(43)【公開日】2024-09-02

(54)【発明の名称】再学習モデルの生成方法、再学習モデルの生成装置、及び再学習モデルの生成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240826BHJP

   G06V 10/82 20220101ALI20240826BHJP

【ＦＩ】

G06T7/00 350C

G06V10/82

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2023025619

(22)【出願日】2023-02-21

(71)【出願人】

【識別番号】000001258

【氏名又は名称】ＪＦＥスチール株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100165696

【弁理士】

【氏名又は名称】川原 敬祐

(74)【代理人】

【識別番号】100229264

【弁理士】

【氏名又は名称】清水 正一

(72)【発明者】

【氏名】山本 和樹

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA03

5L096AA06

5L096BA03

5L096EA05

5L096EA12

5L096EA43

5L096FA16

5L096FA52

5L096FA64

5L096FA69

5L096FA77

5L096GA34

5L096GA40

5L096GA41

5L096GA51

5L096HA11

5L096JA01

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】機械学習における学習モデルの再学習の負担を軽減させる。
【解決手段】情報処理装置が実行する機械学習における物体検出モデルの再学習モデルの生成方法であって、学習済モデルを用いて新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力し、確信度と新規画像データに含まれる候補物体の特徴量に基づき再学習データセットを作成し、当該再学習データセットを用いて再学習を行う。
【選択図】図２Ａ

【特許請求の範囲】

【請求項1】

情報処理装置が実行する機械学習における物体検出モデルの再学習モデルの生成方法であって、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成する学習ステップと、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力する予測ステップと、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成する再学習データ生成ステップと、
前記再学習データセットを用いて再学習済モデルを生成する再学習ステップと、
を有することを特徴とする再学習モデルの生成方法。

【請求項2】

前記再学習データ生成ステップは、
前記確信度が第２の閾値未満である予測結果について、対応する前記新規画像データと併せて再学習候補データセットを生成する再学習データ候補生成ステップと、
前記再学習候補データセットの前記新規画像データに含まれる前記候補物体が、前記特徴量に係る基準を満たす予測結果から再学習データセットを選択する再学習データ選択ステップと、を含む請求項１に記載の再学習モデルの生成方法。

【請求項3】

前記確信度に係る第１の閾値に基づき、前記予測結果の採用又は不採用を決定する予測結果処理ステップを更に含む、請求項２に記載の再学習モデルの生成方法。

【請求項4】

前記特徴量は輝度であり、前記特徴量に係る基準は、輝度が第３の閾値以上である、請求項２に記載の再学習モデルの生成方法。

【請求項5】

前記再学習データ選択ステップにおいて、前記予測結果のラベル又は位置座標のテキストデータは修正可能である、請求項２に記載の再学習モデルの生成方法。

【請求項6】

前記予測結果処理ステップは、前記第１の閾値を任意に設定可能である、請求項３に記載の再学習モデルの生成方法。

【請求項7】

前記予測結果処理ステップは、前記学習済モデルの性能に応じて前記第１の閾値を設定する、請求項６に記載の再学習モデルの生成方法。

【請求項8】

前記再学習データ候補生成ステップは、前記確信度が第２の閾値未満である予測結果の候補物体を含む前記新規画像データと、前記予測結果の候補物体の位置座標のテキストデータから生成される候補物体の候補位置を重ね合わせた候補画像データを少なくとも生成し、前記再学習候補データセットに含まれる画像データとする、請求項２に記載の再学習モデルの生成方法。

【請求項9】

前記再学習データ候補生成ステップは、前記確信度が前記第１の閾値以上であり、かつ第２の閾値未満である予測結果を用いて前記再学習候補データセットを生成する、請求項３に記載の再学習モデルの生成方法。

【請求項10】

前記再学習データセットと初期学習データセットを含む新規学習データセットを作成するデータセット作成部を更に備え、
前記再学習ステップは、前記新規学習データセット用いて再学習済モデルを生成する、請求項１に記載の再学習モデルの生成方法。

【請求項11】

学習パラメーター最適化ステップを更に有し、前記学習パラメーター最適化ステップは、前記再学習ステップによって前記再度学習済モデルを生成する際の学習時の条件を最適化するパラメーターを生成する、請求項１に記載の再学習モデルの生成方法。

【請求項12】

前記学習パラメーター最適化ステップは、学習時の条件となる各種パラメーター値をランダムで生成し、最も良い性能が得られた際のパラメーターを採用する、請求項１１に記載の再学習モデルの生成方法。

【請求項13】

前記学習パラメーター最適化ステップは、予め決められた範囲内でパラメーター値を生成し、最も良い性能が得られた際のパラメーターを採用する、請求項１１に記載の再学習モデルの生成方法。

【請求項14】

前記パラメーターは、ニューラルネットワークを用いた機械学習における、ラーニングレート（learning rate）、ホールドアウト法におけるデータ全体を学習データと検証データに分割する際の学習データの比率（hold-out ratio）、モーメンタム（momentum）、重み減衰（weight decay）の少なくともいずれかを含む、請求項１２又は１３に記載の再学習モデルの生成方法。

【請求項15】

性能評価ステップを更に有し、前記性能評価ステップは、前記再学習済モデルの性能評価指標を用いて、既存の学習済モデルとの性能評価を行う、請求項１に記載の再学習モデルの生成方法。

【請求項16】

前記性能評価ステップは、性能評価指標として、学習モデルの過検出率、見逃し率、位置精度を少なくともいずれかを含む学習モデルに求める性能に基づいて定まる学習モデルの適合率、再現率、ＩＯＵの少なくともいずれかを用い、適合率、再現率、ＩＯＵの性能評価指標の閾値を任意で設定可能とする、請求項１５に記載の再学習モデルの生成方法。

【請求項17】

判断ステップを更に有し、前記判断ステップは、前記性能評価ステップにより前記学習済モデルの性能評価が前記既存の学習済モデルより優れている場合に、学習済モデルの入替判断を行う、請求項１５に記載の再学習モデルの生成方法。

【請求項18】

機械学習における物体検出モデルの再学習モデルの生成装置であって、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成する学習部と、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力する予測部と、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成する再学習データ生成部と、
前記再学習データセットを用いて再学習済モデルを生成する再学習部と、
を備えることを特徴とする再学習モデルの生成装置。

【請求項19】

機械学習における物体検出モデルの再学習モデルの生成プログラムであって、コンピュータに、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成すること、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力すること、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成すること、
前記再学習データセットを用いて再学習済モデルを生成すること、
を実行させる再学習モデルの生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ニューラルネットワークなどの機械学習を用いて生成される学習済の物体検出モデルの再学習の分野に関する。本開示は、特に、再学習に使用する学習データセットの自動生成に関する。

【背景技術】

【0002】

ニューラルネットワークなどの機械学習を用いて生成される学習モデルの精度は学習に用いたデータに依存する。そのため、初期の学習データが少ない場合及び学習データに偏りがある場合は、モデルの精度が低下する。例えば、画像から不良品を分類するような学習モデルを生成した場合に、元々不良品が発生する頻度は低い為、学習データとする不良品画像を十分に得ることができないケースが挙げられる。また、学習データが十分であった場合でも、イレギュラーなケースにおいて発生した外挿となるようなデータに対してはモデルの脆弱性が顕著になる。これには、慢性的な課題によって発生する不良品画像は学習データとして十分だとしても、突発的なトラブルのようなイレギュラーケースによって発生する不良品を判断できないようなケースが挙げられる。したがって、学習モデルの継続的な精度の維持を行うためには、学習データを継続的に追加して学習を行う『再学習』が必要である。

【0003】

従来から、学習モデルを生成する際の学習データ生成作業において、画像内のオブジェクトへ付与する正解ラベルの決定に、正解ラベルの候補となる疑似ラベルを生成して、疑似ラベルの中から人の目視と演算を組み合わせた判定を用いる手法が存在した（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－８９４９１号公報

【0005】

特開文献１には、学習モデル生成作業のひとつである学習データにメタデータを付与するアノテーション作業の負荷を低減する方法が紹介されている。これは学習データがあらかじめ決まっているようなケースにおいては有効であるが、学習モデルの生成作業を主に学習データの選定から始める必要があるため、再学習のようなケースではこの学習データの選定作業が大きな負担となる。具体的には、再学習では既存の学習モデルが判断できなかった画像から学習データを抽出する。そのため、再学習用のデータは一度既存のモデルが判断した大量の画像データ群の中から抽出する必要があるといった問題がある。
また、学習モデルの中でも画像分類器のような学習用の画像データに正解ラベルのみをメタデータとして付与する場合においては、特開文献１のような方法で作業負荷を低減することは可能である。

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、物体検出、領域検出といったメタデータとして正解ラベルの他に位置情報を付与した学習データが必要な場合においては、位置情報の付与は人が介入する必要がある。特に領域抽出を行う場合は付与する位置情報の座標データ点数が非常に多く、大きな作業負荷となるといった問題がある。
本開示は、前記課題を解決した効率的な再学習の方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一実施形態に係る情報処理装置が実行する再学習モデルの生成方法は、
機械学習における物体検出モデルの再学習モデルの生成方法であって、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成する学習ステップと、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力する予測ステップと、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成する再学習データ生成ステップと、
前記再学習データセットを用いて再学習済モデルを生成する再学習ステップと、
を有する。

【0008】

本開示の一実施形態に係る再学習モデルの生成装置は、
機械学習における物体検出モデルの再学習モデルの生成装置であって、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成する学習部と、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力する予測部と、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成する再学習データ生成部と、
前記再学習データセットを用いて再学習済モデルを生成する再学習部と、
を備える。

【0009】

本開示の一実施形態に係る再学習モデルの生成プログラムは、
機械学習における物体検出モデルの再学習モデルの生成プログラムであって、コンピュータに、
物体の正解ラベルと位置座標のテキストデータが付与された複数の画像データとを含む初期学習データセットを用いて学習済モデルを生成すること、
生成された前記学習済モデルを用いて、新規画像データから候補物体のラベルと位置座標及び確信度のテキストデータとを含む予測結果を出力すること、
前記確信度と前記新規画像データに含まれる前記候補物体の特徴量とに基づき、前記予測結果から再学習データセットを作成すること、
前記再学習データセットを用いて再学習済モデルを生成すること、
を実行させるプログラムである。

【発明の効果】

【0010】

本開示の一実施形態によれば、従来多大なマンパワーをかけて行っていた学習モデルの再学習作業の負荷を大幅に低減することが可能である。また、学習データを継続的に自動的に再学習可能なことから、初期モデル生成時の学習データ数を削減することができることが可能となり、モデル開発から実装までの工数を削減することができる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施形態に係る再学習モデルの生成装置の構成を示す図である。

【図2A】本開示の一実施形態に係る再学習モデルの生成方法及び装置の概要を示す図である。

【図2B】本開示の一実施形態に係る再学習モデルの生成方法及び装置の概要を示す図である。

【図3】本開示の一実施形態に係る再学習モデルの生成方法の手順を示すフローチャートである。

【図4A】本開示の一実施形態に係る検出結果の概要を示す図である。

【図4B】本開示の一実施形態に係る検出結果の概要を示す図である。

【図4C】本開示の一実施形態に係る検出結果の概要を示す図である。

【図5A】本開示の一実施形態に係る再学習データを決定する際の例を示す図である。

【図5B】本開示の一実施形態に係る再学習データを決定する際の例を示す図である。

【図6A】本開示の一実施形態に係る検出結果の概要の例を示す図である。

【図6B】本開示の一実施形態に係る検出結果の概要の例を示す図である。

【図7】本開示の一実施形態に係る機械学習の各種パラメーター及び性能評価指標の実施例を示す図である。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態に係る再学習モデルの生成方法及び再学習モデルの生成装置について、図面を参照して説明する。

【0013】

各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。

【0014】

（再学習モデルの生成装置２０の概要）
本実施形態に係る再学習モデルを生成する情報処理装置２０（以下、生成装置２０という）の構成について説明する。図１は本実施形態に係る再学習モデルの生成装置２０の構成図である。

【0015】

再学習モデルの生成装置２０は、学習部２１、予測部２２、予測結果処理部２３、再学習データ候補生成部２４、再学習データ選択部２５、データセット作成部２６、再学習データ生成部２７、再学習部２８、学習パラメーター最適化部２９、性能評価部３０、及び判断部３１を備えている。

【0016】

学習部２１は、初期画像データ１と正解ラベル、位置座標のテキストデータ２を含む初期学習データセット３を物体検出用のアルゴリズムを用いて機械学習を行い、学習済モデル４を生成する。

【0017】

予測部２２は、学習部２１より生成された学習済モデル４を用いて新規画像データ５を推論し、画像中の候補物体に対する出力結果を得て予測結果６とする。予測結果６中には、候補物体のラベル、位置座標データ、確信度を含むモデルの出力結果が記載されていればよい。

【0018】

予測結果処理部２３は、得られた予測結果６を任意に決められた確信度に係る第１の閾値を用いて、確信度が当該第１の閾値以上の予測結果を物体が検出されたものとして採用する。他方で、予測結果処理部２３は、確信度が第１の閾値未満の予測結果を物体が検出されなかったものとして不採用とする。すなわち、新規画像データ５について学習済モデル４を用いて予測した結果、候補物体が検出されたとしても確信度が第１の閾値未満の予測結果６については、物体は検出されなかった不採用のものとして扱う。一方、確信度が第１の閾値以上の予測結果６については、物体が検出された採用のものとして扱う。この予測結果処理部２３の出力が、機械学習による物体検出の結果となる。

【0019】

次に、再学習の手法について説明する。再学習データ候補生成部２４は、予測結果６の中で確信度が第２の閾値未満であるものについて、対応する新規画像データ５と併せて再学習候補データセット７（図２Ａ参照。）とする。予測結果処理部２３において採用と判断した予測結果６には、物体検出の結果が高確信度の予測結果６と低確信度の予測結果６が含まれている。再学習データ候補生成部２４は、そのうち低確信度の予測結果６を再学習候補データセット７として抽出する。換言すると、再学習データ候補生成部２４は、確信度が第２の閾値未満の予測結果６を再学習候補データセット７として抽出する。ここで、この再学習候補データセット７には、予測結果処理部２３において不採用と判断した予測結果６が含まれていてもよい。

【0020】

再学習候補データセット７の中には、本来検出すべきオブジェクト群８と検出する対象でないオブジェクト群９が混在している。すなわち、低確信度の予測結果６には、採用との判断が正しかった予測結果６と、採用とすべきでなかった予測結果６とが含まれる。また、不採用となった予測結果６にも、不採用との判断が正しかった予測結果６と、採用すべきであった予測結果６とが含まれている可能性がある。そのため、再学習データ選択部２５は、これらの振り分けを行い、本来検出するべきオブジェクト群８からなる再学習データセット１０を選択する。

【0021】

再学習用のデータの振り分けの判断は、候補物体に係る所定の特徴量に基づき行われる。所定の特徴量に基づく判断は、具体的には輝度値、ＲＧＢ値、ＨＳＶ値などの第３の閾値を設けて行うが、画像データを二値化、グレースケール処理などでノイズを除去した上で振り分けの判断を行うことが有効である。

【0022】

データセット作成部２６は、再学習データセット１０を既存の学習データセットと併せて新規学習データセット１１を作成する。新規学習データセット１１は、再学習部２８にて再学習モデル１２を生成するために使用される。この際の学習パラメーター１３は、学習済モデル４を生成した際の学習パラメーターを用いてよいが、好ましくは、学習パラメーター最適化部２９で最適化されたものを用いる。

【0023】

なお、再学習データ候補生成部２４、再学習データ選択部２５、データセット作成部２６は、再学習用のデータセットを作成するための構成であり、まとめて再学習データ生成部２７とする。データセット作成部２６はオプションであり、新規学習データセット１１を作成しない場合には、再学習データ候補生成部２４は、再学習データセット１０を再学習部２８へ出力する。

【0024】

学習パラメーター最適化部２９では、学習時の条件となる各種パラメーター値１３ａ、１３ｂ…を生成し、そのパラメーターを用いて学習モデルを生成し、学習モデルの各性能評価指標１４を用いて、最も良い性能が得られた際のパラメーターを採用する。

【0025】

各種パラメーターは、ラーニングレート（learning rate）、ホールドアウト法におけるデータ全体を学習データと検証データに分割する際の学習データの比率（hold-out ratio）、モーメンタム（momentum）、重み減衰（weight decay）などを用いる。性能評価指標１４は、適合率、再現率、ＩＯＵなどを用いる。

【0026】

性能評価部３０は、再学習モデル１２と既存の学習済モデル４との性能評価行う。判断部３１は、性能評価部３０から提供される再学習モデル１２と既存の学習済モデル４の性能評価指標１４を用いて学習モデルの入替判断を行う。

【0027】

本開示の一実施形態に係る再学習モデルの生成装置によれば、確信度が第２の閾値未満であり、かつ候補物体の特徴量が所定の基準を満たす予測結果について対応する新規画像データと併せて再学習候補データセットを生成し、再学習候補データセットから再学習データセットを作成する再学習データ生成部を含むため、従来多大なマンパワーをかけて行っていた学習モデルの再学習作業の負荷を大幅に低減することが可能である。また、学習データを継続的に自動的に再学習可能なことから、初期モデル生成時の学習データ数を削減することができることが可能となり、モデル開発から実装までの工数を削減することができる。

【0028】

（再学習モデルの生成方法及び装置の構成）
図２Ａ、図２Ｂを参照して、本実施形態に係る再学習モデルの生成方法及び装置の詳細について説明する。

【0029】

図２Ａに示すように、本実施形態においては、まず、初期学習用の初期画像データ１とその画像中のオブジェクト（物体）に対するメタデータとして正解ラベル、位置座標が記述されたテキストデータ２を含む初期学習データセット３を用意する。ここで画像データは、カラー、グレースケール、モノクロであり、必要に応じてコントラスト調整などの前処理を加えてもよい。また、解像度及びデータ形式は任意である。テキストデータについては、xmlなどのマークアップ言語を用いて使用するアルゴリズムに対応した情報が記述されたデータ形式のものを用いればよく、記載する位置座標データは、矩形ボックスの場合、４点の座標で表記する形式、又は起点となる座標とボックスの高さ、幅を表記する形式等で記述し、領域の場合、領域の頂点となる各座標を指定する。その際の原点は任意で決定すればよい。画像中のオブジェクト数は、複数でもよいが、画像データ１件に対して、テキストデータ１件を用意する。

【0030】

図４Ａ乃至図４Ｃに、使用する画像データとテキストデータの例を示す。画像中には、２件のオブジェクト（オブジェクトｏｂ１及びオブジェクトｏｂ２）が存在しており、テキストデータ中にはそれぞれのオブジェクトに対するラベルと位置座標データがxml形式の領域データとして記載されている。

【0031】

このようにして、学習部２１は、複数の初期画像データ１とそれに対応するテキストデータ２を含む初期学習データセット３を物体検出用のアルゴリズムを用いて学習する。学習部２１を構成するハードウェアは、使用する学習データ数、初期画像データ１の容量、学習アルゴリズムの種類などから任意で決定すればよいが、好ましくは複雑な計算を並列で行えるコアを搭載したハードウェアを用いる。ここで用いるアルゴリズムは、市販されている画像認識用の学習アルゴリズム、インターネット上で公開されているオープンソースを用いればよい。物体検出を行う場合は、好ましくはFaster R-CNN、YOLO、領域検出を行う場合はDetectronを用いるとよい。

【0032】

学習部２１より生成された学習済モデル４は予測部２２を構成するハードウェアにインストールされる。予測部２２を構成するハードウェアは、学習部２１を構成するハードウェアと兼用してもよい。初期画像データ１とは異なる新規画像データ５を予測部２２の学習済モデル４にて推論して、画像中のオブジェクトに対する出力結果を予測結果６として得る。予測結果６中には、オブジェクトのラベル、位置座標データ、確信度を含むモデルの出力結果が記載されていればよい。

【0033】

得られた予測結果６は予測結果処理部２３において、任意に決められた確信度の第１の閾値以上の予測結果を、オブジェクトを検出した出力結果として採用し、第１の閾値未満の予測結果は、オブジェクトを検出しなかった不採用の出力結果とする。この予測結果処理部２３の出力が、機械学習による物体検出の結果となる。

【0034】

次に、再学習データ候補生成部２４は、確信度が第２の閾値未満である予測結果について、対応する画像データと併せて再学習のための再学習候補データセット７とする。なお、確信度が第２の閾値未満であり、かつ前記第１の閾値以上である予測結果について、対応する画像データと併せて再学習候補データセット７としてもよい。再学習候補データセット７の画像データとして、予測結果のオブジェクトの位置座標のテキストデータから生成されるオブジェクトの候補位置を重ね合わせた候補画像データが使用されてもよい。

【0035】

再学習候補データセット７の中には、本来検出すべきオブジェクト群８と検出する対象でないオブジェクト群９が混在するため、これらを再学習データ選択部２５にて、振り分けを行い、本来検出するべきオブジェクト群８からなる再学習データセット１０を選択する。

【0036】

再学習用のデータの振り分けの判断は、再学習候補データセットの新規画像データに含まれる候補物体の所定の特徴量に基づき行われる。所定の特徴量は、輝度値、ＲＧＢ値、ＨＳＶ値を含む。例えば所定の特徴量として輝度を基準とする場合、再学習用のデータの振り分けの判断は、輝度が第３の閾値以上であるか、又は未満であるかにより行われる。このように再学習用のデータの振り分けの判断は、輝度値、ＲＧＢ値、ＨＳＶ値などの第３の閾値を設け、第３の閾値を以上であるか否かによって行われる。また、画像データを、前段で二値化、グレースケール処理などでノイズを除去した上で判断し、振り分けすることもできる。なお、振り分けを行う場合、オブジェクトのラベルが例えば、犬、車、文字などといったように、人の目で見て判断基準が明確な場合は、目視によって振り分けを行ってもよい。

【0037】

例えば、鋼材表面のキズを検出するようなモデルの再学習データ選択部２５において、図５Ａ、図５Ｂのような画像が再学習候補データセット７として提案された場合には、画像処理を行った画像内に明るく表現されるキズ部分が候補データ中に見られる場合は、その画像を再学習データとして採用する。具体的には、輝度１２８を閾値に画像を二値化した後、輝度が２５５の明部が見られる画像（１）は、再学習データとして採用し、輝度０の暗部しか見られない画像（２）は、再学習データとして採用しないとして振り分けを行う。

【0038】

なお、不採用の予測結果の中には、オブジェクトが存在しない画像データが存在する。このようなオブジェクトが存在しない画像データについても、機械学習の教師データとして再学習候補データセット７に含めてもよい。

【0039】

この際、再学習データ選択部２５にて、再学習データセット１０のラベル、位置座標に修正が必要な場合、人が手動介入することにより修正を行う機能を有する。換言すると再学習データ生成において、予測結果のラベル又は位置座標のテキストデータは修正可能であってもよい。図６Ａ、図６Ｂに出力テキストデータの例と集計結果の例を示す。検出した各オブジェクトに対するラベル、領域の各頂点位置座標、確信度がテキストデータに記載されており、これらを集計して閾値に応じて再学習候補の判定を行った結果、及びそこから更に本来検出すべきオブジェクト群８と検出する対象でないオブジェクト群９に振り分けした結果となっている。

【0040】

次に、図２Ｂに示すように、データセット作成部２６にて再学習データセット１０は既存の学習データセットと併せた新規学習データセット１１を作成し、再学習部２８にて再学習モデル１２を生成する。この際の学習は学習部２１と同じハードウェアで行ってもよいが、用いる学習アルゴリズムについては学習部２１と同様の学習アルゴリズムを用いて行う。この際の学習パラメーター１３は、学習済モデル４を生成した際の学習パラメーターを用いてよいが、好ましくは、学習パラメーター最適化部２９で最適化されたものを用いる。

【0041】

学習パラメーター最適化部２９では、学習時の条件となる各種パラメーター値１３ａ、１３ｂ…をランダムで生成し、そのパラメーターを用いて学習モデルを生成し、最も良い性能が得られた際のパラメーターを採用する手法、あらかじめ決められた範囲内で各種パラメーター値１３ａ、１３ｂ…を生成し、最も良い性能が得られた際のパラメーターを採用する手法などを用いることができる。

【0042】

具体的には、各性能評価指標１４を合計した値でパラメーターの優劣を判断してもよい。過検出率を優先したい場合は再現率、見逃し率を優先したい場合は適合率、検出結果の位置精度を優先したい場合はＩＯＵといったように、モデルの利用環境に合わせた性能評価指標が高いパラメーターを採用してもよい。

【0043】

図７に生成されたパラメーターの例と各パラメーターを用いて学習をした際のモデル性能を評価した結果の一例を示す。各種パラメーターは、ニューラルネットワークを用いた機械学習モデルにおける、少なくともラーニングレート（learning rate）、ホールドアウト法におけるデータ全体を学習データと検証データに分割する際の学習データの比率（hold-out ratio）、モーメンタム（momentum）、重み減衰（weight decay）の４つである。それぞれをあらかじめ決めた３水準（learning rate[0.01,0.001,0.0001]、ratio[0.7,0.8,0.9]）で変化させて、モデル性能を評価する。過検出率を優先するケースでは、パラメーターｃ、見逃し率を優先するケースではパラメーターｂ、位置精度を優先するケースではパラメーターｂ、総合評価する場合は、例えばパラメーターｃを選択するとよい。

【0044】

このようにして生成された再学習モデル１２は、既存の学習済モデル４と性能評価部３０にて自動で性能評価行う。この際用いる性能評価指標１４は、総合的な適合率、再現率、ＩＯＵを用いて行えばよいが、好ましくはラベル毎の適合率、再現率、ＩＯＵを用いた評価を行う。

【0045】

最後に、判断部３１は、再学習モデルの性能を性能評価部３０から提供される性能評価指標１４を用いて、学習モデルの入替判断を行う。

【0046】

（再学習モデルの生成方法の動作）
次に、本実施形態において再学習モデルの生成方法の動作について、図３のフローチャートを用いて説明する。

【0047】

学習ステップＳ１００：学習部２１は、初期画像データ１と正解ラベル、位置座標のテキストデータ２を含む初期学習データセット３を物体検出用のアルゴリズムを用いて機械学習を行い、学習済モデル４を生成する。

【0048】

予測ステップＳ１０１：予測部２２は、学習部２１より生成された学習済モデル４を用いて新規画像データ５を推論し、画像中の候補物体に対する出力結果を得て予測結果６とする。

【0049】

予測結果処理ステップＳ１０２：予測結果処理部２３は、得られた予測結果６のうち確信度が第１の閾値以上の予測結果を物体が検出されたものとして採用する。他方で予測結果処理部２３は、得られた予測結果６のうち、第１の閾値未満の予測結果を物体が検出されなかったものとして不採用とする。この予測結果処理部２３の出力が、機械学習による物体検出の結果となる。

【0050】

再学習データ候補生成ステップＳ１０３：再学習データ候補生成部２４は、確信度が第２の閾値未満であるものについて、対応する新規画像データ５と併せて再学習候補データセット７とする。

【0051】

再学習データ選択ステップＳ１０４：再学習データ選択部２５は、本来検出すべきオブジェクト群８と検出する対象でないオブジェクト群９の振り分けを行い、本来検出するべきオブジェクト群８からなる再学習データセット１０を選択する。
再学習用のデータの振り分けの判断は、候補物体に係る所定の特徴量に基づき行われる。所定の特徴量に基づく判断は、具体的には輝度値、ＲＧＢ値、ＨＳＶ値などの第３の閾値を設け、第３の閾値以上か否かによって行うが、画像データを二値化、グレースケール処理などでノイズを除去した上で振り分けの判断を行うことが有効である。

【0052】

データセット作成ステップＳ１０５：データセット作成部２６は、再学習データセット１０を既存の学習データセットと併せて新規学習データセット１１を作成する。

【0053】

なお、再学習データ候補生成ステップＳ１０３、再学習データ選択ステップＳ１０４、データセット作成ステップＳ１０５、再学習用のデータセットを作成するための構成であり、まとめて再学習データ生成ステップＳ１０６とする。データセット作成ステップＳ１０５はオプションであり、新規学習データセット１１を作成しない場合には、再学習データ生成ステップ１０６は、再学習データセット１０を再学習ステップＳ１０７へ出力する。

【0054】

再学習ステップＳ１０７：再学習部２８は、再学習データセット１０又は新規学習データセット１１を用いて再学習を行い、再学習モデル１２を生成する。この際の学習パラメーター１３は、学習済モデル４を生成した際の学習パラメーターを用いてよいが、好ましくは、学習パラメーター最適化部２９で最適化されたものを用いる。

【0055】

学習パラメーター最適化ステップＳ１０８：学習パラメーター最適化部２９では、学習時の条件となる各種パラメーター値１３ａ、１３ｂ…を生成し、そのパラメーターを用いて学習モデルを生成し、学習モデルの各性能評価指標１４を用いて、最も良い性能が得られた際のパラメーターを採用する。このステップはオプションである。

【0056】

性能評価ステップＳ１０９：性能評価部３０は、再学習モデル１２と既存の学習済モデル４との性能評価行う。

【0057】

判断ステップＳ１１０：判断部３１は、性能評価部３０から提供される再学習モデル１２と既存の学習済モデル４の性能評価指標１４を用いて学習モデルの入替判断を行う。

【0058】

ステップＳ１０７の学習モデルの再学習が行われるたびに、ステップＳ１０８～ステップＳ１１０の処理が繰り返される。

【0059】

本開示の一実施形態に係る再学習モデルの生成方法によれば、採用する予測結果のうち確信度が第２の閾値未満であり、かつ候補物体の特徴量が所定の基準を満たす予測結果について対応する新規画像データと併せて再学習候補データセットを生成し、再学習候補データセットから再学習データセットを作成する再学習データ生成ステップを含むため、従来多大なマンパワーをかけて行っていた学習モデルの再学習作業の負荷を大幅に低減することが可能である。また、学習データを継続的に自動的に再学習可能なことから、初期モデル生成時の学習データ数を削減することができることが可能となり、モデル開発から実装までの工数を削減することができる。

【0060】

以上、再学習モデルの生成装置２０及び情報処理装置が実行する再学習モデルの生成方法の実施形態を説明してきた。その他、本開示の実施形態としては、方法をコンピュータに実施させるためのプログラムの実施態様をとることも可能である。本実施形態においてプログラムは、コンピュータで読取り可能な記録媒体に記録しておくことができる。コンピュータで読取り可能な記録媒体は、非一時的なコンピュータ読取可能な媒体を含み、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は半導体メモリである。プログラムの流通は、例えば、プログラムを記録したＤＶＤ（digital versatile disc）又はＣＤ－ＲＯＭ（compact disc read only memory）などの可搬型記録媒体を販売、譲渡、又は貸与することによって行う。またプログラムの流通は、プログラムを外部サーバのストレージに格納しておき、外部サーバから他のコンピュータにプログラムを送信することにより行ってもよい。またプログラムはプログラムプロダクトとして提供されてもよい。

【0061】

なお、本実施形態においては、物体のラベル、位置座標データはxmlなどのマークアップ言語を用いたテキストデータを使用したが、テキストデータに限らずバイナリデータであってもよい。また、本実施形態においては、画像データと、物体のラベル、位置座標データのテキストデータを合わせてデータセットとして扱ったが、必ずしもセットにして扱う必要はなく、画像データとテキストデータをＩＤ等で紐づけておくことにより、それぞれを別に扱ってもよい。

【0062】

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

【符号の説明】

【0063】

１ 初期画像データ
２ 正解ラベル、位置座標のテキストデータ
３ 初期学習データセット
４ 学習済モデル
５ 新規画像データ
６ 予測結果
７ 再学習候補データセット
８ 本来検出するオブジェクト群
９ 本来検出しないオブジェクト群
１０ 再学習データセット
１１ 新規学習データセット
１２ 再学習モデル
１３ 学習パラメーター
１４ 性能評価指標
２０ 再学習モデルの生成装置
２１ 学習部
２２ 予測部
２３ 予測結果処理部
２４ 再学習データ候補生成部
２５ 再学習データ選択部
２６ データセット作成部
２７ 再学習データ生成部
２８ 再学習部
２９ 学習パラメーター最適化部
３０ 性能評価部
３１ 判断部

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】