特許 7161974 品質管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-19

(45)【発行日】2022-10-27

(54)【発明の名称】品質管理方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221020BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 3

(21)【出願番号】P 2019108386

(22)【出願日】2019-06-11

(65)【公開番号】P2020201727

(43)【公開日】2020-12-17

【審査請求日】2021-09-22

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100113549

【弁理士】

【氏名又は名称】鈴木 守

(74)【代理人】

【識別番号】100115808

【弁理士】

【氏名又は名称】加藤 真司

(72)【発明者】

【氏名】佐藤 育郎

【審査官】中村 信也

(56)【参考文献】

【文献】特表２０１７－５３１２５５（ＪＰ，Ａ）

【文献】特開２０１８－１９０１３１（ＪＰ，Ａ）

【文献】特開２０１９－０８２８４７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータが、正解ラベルが既知のラベル有り入力値を教師データとして用いた学習によって教師モデルを生成するステップと、
前記コンピュータが、前記教師モデルに真値が不明なラベル無し入力値を入力して推論を行うステップと、
前記コンピュータが、前記推論によって求めた値を前記ラベル無し入力値に対応するラベルの準真値とし、前記ラベル無し入力値と前記準真値の組合せを教師データとして用いた学習によって、前記教師モデルよりも規模の小さい学習モデルを生成するステップと、
を備えるデータセットの拡張方法に適用される品質管理方法であって、
前記コンピュータが、前記学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本を前記教師モデルに与えて推論をするステップと、
前記コンピュータが、前記教師モデルによって推論した結果が正解か否かを判定するステップと、
前記コンピュータが、前記判定の結果が正解である場合に、前記学習モデルに推論失敗の原因があると判定するステップと、
を備える品質管理方法。

【請求項2】

前記コンピュータが、前記教師モデルによる推論結果が不正解と判定された場合に、前記教師モデルを生成する際に前記教師モデルの検証に用いたテストデータの中から、前記不具合データ標本と所定の類似度を有する類似データを検索するステップと、
前記コンピュータが、前記類似データを前記教師モデルに与えて推論をするステップと、
前記コンピュータが、前記教師モデルによって推論した結果が正解か否かを判定するステップと、
前記コンピュータが、前記判定の結果が正解である場合に、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップと、
を備える請求項１に記載の品質管理方法。

【請求項3】

前記コンピュータが、前記類似データを検索するステップにて検索された類似データのデータ数が所定の基準に達しない場合には、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップを備える請求項２に記載の品質管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データセットの拡張方法に適用される品質管理方法に関する。

【背景技術】

【0002】

現在、深層学習は、物体認識、音声認識をはじめとした様々な分野で活用されている。深層学習は、その学習に用いるデータセット（教師データ、訓練データ等ともいう）が増えれば増えるほど精度が向上する。非特許文献１では、テスト誤差は、データセットのサイズのべき乗に比例すると推測している。

【0003】

学習に用いるデータセットとしては、入力値とその入力値の正解ラベル（真値）のセットが用いられる。入力値を入力したときの推論結果と正解ラベルとの誤差に基づいて、逆誤差伝播法という方法によってニューラルネットワークモデルの学習が行われる。したがって、データセットのサイズを増やすためには、正解ラベルを持ったラベル有り入力値を増やす必要がある。

【0004】

しかし、大量のラベル有り入力値を準備することは容易ではない。なぜなら、正解ラベルは、人が入力値を確認してその正解ラベルを付さなければならないからである。

【0005】

最近では、知識継承によってモデルを学習する方法が知られている（非特許文献２）。これは、精度の高い推論を行える深くて大きいモデル（教師モデルともいう）によって入力値に対するラベルを推論し、その推論結果を入力値に対するラベルの準真値とし、ラベルと準真値を用いて新しいモデル（生徒モデルともいう）を学習する方法である。これは、「知識の蒸留」と呼ばれる方法であり、通常は、新たに生成されるモデルは、教師モデルに対して小さくて軽量なモデルである。

【先行技術文献】

【非特許文献】

【0006】

【文献】Joel Hestness他「Deep Learning Scaling is Predictable, Empirically」arXiv:1712.00409

【文献】Geoffrey Hinton, Oriol Vinyals, Jeff Dean「Distilling the Knowledge in a Neural Network」arXiv:1503.02531

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記したような知識継承を行うことによって、データセットを継続的に拡張することができるが、ここで問題となるのが品質管理である。学習したモデルによる推論において、不具合が起きた場合に原因を特定し、不具合に対処しなければならないが、この際に、不具合の原因を一定の論理性をもって特定できることが望ましい。

【0008】

本発明は、上記背景に鑑み、学習モデルに不具合が発生した場合に、その原因を解析し、データセットの拡張に適用される品質管理方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の品質管理方法は、正解ラベルが既知のラベル有り入力値を教師データとして用いた学習によって教師モデルを生成するステップと、前記教師モデルに真値が不明なラベル無し入力値を入力して推論を行うステップと、前記推論によって求めた値を前記ラベル無し入力値に対応するラベルの準真値とし、前記ラベル無し入力値と前記準真値の組合せを教師データとして用いた学習によって、前記教師モデルよりも規模の小さい学習モデルを生成するステップとを備えるデータセットの拡張方法に適用される品質管理方法であって、前記学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本を前記教師モデルに与えて推論をするステップと、前記教師モデルによって推論した結果が正解か否かを判定するステップと、前記判定の結果が正解である場合に、前記学習モデルに推論失敗の原因があると判定するステップとを備える。

【0010】

このように学習モデルを用いた推論に失敗したとき、推論を失敗した不具合データ標本に対して、教師モデルが正解できるか否かを判定し、教師モデルが正解できる場合には、学習モデル自体が推論失敗の原因であると特定する。学習モデル側の原因としては、例えば、学習モデルを実現するハードウェア（ＬＳＩ等）の能力不足等が考えられる。

【0011】

本発明の品質管理方法は、前記教師モデルによる推論結果が不正解と判定された場合に、前記教師モデルを生成する際に前記教師モデルの検証に用いたテストデータの中から、前記不具合データ標本と所定の類似度を有する類似データを検索するステップと、前記類似データを前記教師モデルに与えて推論をするステップと、前記教師モデルによって推論した結果が正解か否かを判定するステップと、前記判定の結果が正解である場合に、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップとを備える。

【0012】

このように不具合データ標本に類似するテストデータに対して、教師モデルが正解できるか否かを判定し、教師モデルが正解できる場合には、教師モデルの学習に用いた学習データに過学習を起こしている可能性があり、教師モデルを生成するのに用いたラベル有り入力値のデータが原因であると特定する。

【0013】

本発明の品質管理方法は、前記類似データを検索するステップにて検索された類似データのデータ数が所定の基準に達しない場合には、推論失敗の原因が、前記教師モデルを生成するのに用いたラベル有り入力値のデータにあると判定するステップを備えてもよい。

【0014】

このように不具合データ標本に類似するものとして検索された類似データのデータ数が所定の基準に達しない場合には、不具合データ標本に類似するデータ数が不足していると可能性があり、教師モデルを生成するのに用いたラベル有り入力値のデータが原因であると特定する。

【発明の効果】

【0015】

本発明によれば、学習モデルでの推論に失敗した場合に、その原因が学習モデル側にあるのか教師モデル側にあるかの原因を特定することができる。

【図面の簡単な説明】

【0016】

【図1】（ａ）教師モデルアンサンブルの生成について説明するための図である。（ｂ）教師モデルアンサンブルを用いたデータセットの拡張を説明するための図である。

【図2】教師モデルアンサンブルで求めたラベル無し入力値の準真値を用いた学習モデル（生徒モデル）の生成について説明するための図である。

【図3】学習モデルにおいて推論失敗が起きたときに、その原因を特定するフローチャートである。

【発明を実施するための形態】

【0017】

本発明の実施の形態のデータセットの拡張方法に適用される品質管理方法について説明する。最初に、データセットの拡張方法および拡張されたデータセットを用いて学習モデルを生成する方法について説明する。続いて、学習モデルにおいて推論失敗が起きたときに、原因を特定し、学習モデルの品質を管理する方法について説明する。

【0018】

図１（ａ）は、教師モデルアンサンブルの生成について説明するための図である。教師モデルアンサンブルは、複数のモデル（学習器）を融合させて１つの教師モデルを構成する手法である。本実施の形態では、教師モデルアンサンブルを例としているが、教師モデルがアンサンブルであることは必須ではない。

【0019】

教師モデルアンサンブルを学習するための教師データは、正解ラベルが既知のラベル有り入力値である。ラベル有り入力値は、訓練用のデータと検証用のテストデータに分けられる。訓練用のデータは、教師モデルアンサンブルの学習を行うために用いられる。検証用のテストデータは、学習中の教師モデルアンサンブルの推論の精度を検証し、適当なEPOCH数で学習を停止するために用いられる。

【0020】

図１（ｂ）は、教師モデルアンサンブルを用いたデータセットの拡張を説明するための図である。教師モデルアンサンブルに真値が不明なラベル無し入力値を入力して推論を行い、推論によって求めた値をラベル無し入力値に対応するラベルの準真値とする。ラベル無し入力値は、ラベル有り入力値よりも遥かに大量に存在するので、この方法により、大量のラベル無し入力値と準真値の組み合わせを求めることができる。なお、このようにして求めたラベル無し入力値に対する準真値を人が確認をしたうえでラベル付けし、ラベル有り入力値としてもよい。

【0021】

図２は、教師モデルで求めたラベル無し入力値の準真値を用いた学習モデル（生徒モデル）の生成について説明するための図である。ラベル無し入力値とそれに対する準真値の組み合わせを教師データとして、教師モデルアンサンブルよりも規模の小さい学習モデルを生成する。この際に、教師モデルアンサンブルを生成するのに用いたラベル有り入力値も教師データとして用いてもよい。

【0022】

図３は、学習モデルにおいて推論失敗が起きたときに、原因を特定し、学習モデルの品質を管理する方法について説明するための図である。学習モデルを用いた推論に失敗したときに、推論を失敗した不具合データ標本を教師モデルアンサンブルに与えて推論を行い（Ｓ１０）、教師モデルアンサンブルによって推論した結果が正解か否かを判定する（Ｓ１１）。この判定の結果、教師モデルアンサンブルが正解できた場合には（Ｓ１１でＹＥＳ）、推論失敗の原因が学習モデルにあると判定する（Ｓ１６）。

【0023】

教師データアンサンブルが不具合データ標本を推論した結果、推論失敗であった場合（Ｓ１１でＮＯ）、教師モデルアンサンブルを生成した教師データの検証用データの中から、不具合データ標本に類似する類似データを検索する（Ｓ１２）。類似データの検索の方法としては、様々な手法を用いることができる。単純には、入力値に関連つけられたメタデータ（対象物、状況等）を参照し、メタデータが一致する入力値を類似と判断することができる。また、画像の意味的距離を規定し、不具合データ標本に対して所定の意味的距離を有する画像を類似画像として検索してもよいし、あるいは、意味的距離が近い方から所定数の類似画像を検索してもよい。

【0024】

検索された類似データのデータ数が所定の閾値以上に達しない場合には（Ｓ１３でＮＯ）、不具合データ標本に類似するデータ数が不足していると判定する（Ｓ１７）。つまり、不具合データ標本に類似するデータについて十分な学習を行えていないので、教師モデルアンサンブルにおいて不具合データ標本を正しく推論することができず、ひいては学習モデルでも推論を失敗したと判断できる。なお、本実施の形態では、類似データ数の判定に、所定の閾値を用いたが、類似データ数が十分かどうかは他の基準で判断してもよい。例えば、訓練データの全数に対して所定の割合（％）以上、存在するか否かを判定することとしてもよい。

【0025】

類似データ数が所定の閾値以上である場合には（Ｓ１３でＹＥＳ）、類似データを教師モデルアンサンブルに適用して推論を行う（Ｓ１４）。この結果、教師モデルアンサンブルが類似データに対して正解できたか否かを判定する（Ｓ１５）。複数の類似データについて、正解できたか否かを判断する方法としては、例えば、所定の閾値（例えば７０％）より高い正解率を得られたときに正解できたと判断してもよいし、全テストデータの正解率と比較し、全体の正解率より高い正解率が得られたときに正解できたと判断してもよい。

【0026】

判定の結果、教師モデルアンサンブルが、不具合データ標本の類似データについて正解できた場合には（Ｓ１５でＹＥＳ）、教師モデルの過学習であると判定する（Ｓ１８）。つまり、不具合データ標本とその類似データに対する過学習が進んで、汎化性能が低下している。

【0027】

判定の結果、教師モデルアンサンブルが、不具合データ標本の類似データについて正解できなかった場合には（Ｓ１５でＮＯ）、教師データ以外の部分、例えば、入力用のハードウェア等に原因があると判定する（Ｓ１９）。入力用のハードウェアとは、例えば、カメラの解像度や画角等である。

【0028】

なお、本実施の形態において、教師モデルアンサンブルが類似データを正解できたか否かの判定結果に基づいて原因を出力する構成としたが、類似データを推論したときの正解率を出力することとしてもよい。これにより、類似データに対する正解率を見て、原因の所在を推定することができる。

【産業上の利用可能性】

【0029】

データセットを継続的に拡張して生成した学習モデルに適用される品質管理方法として有用である。

【図1】

【図2】

【図3】