特開 2022-180119 データ解析システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022180119

(43)【公開日】2022-12-06

(54)【発明の名称】データ解析システム

(51)【国際特許分類】

   G06N 99/00 20190101AFI20221129BHJP

   G06N 20/00 20190101ALI20221129BHJP

【ＦＩ】

G06N99/00 180

G06N20/00

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021087045

(22)【出願日】2021-05-24

(71)【出願人】

【識別番号】000001247

【氏名又は名称】株式会社ジェイテクト

(74)【代理人】

【識別番号】110000648

【氏名又は名称】弁理士法人あいち国際特許事務所

(72)【発明者】

【氏名】加納 正晃

(57)【要約】

【課題】ArcFaceによる高い予測精度を利用しつつ、ArcFaceにより学習が進まない問題を解決し、高精度な予測を可能とする機械学習モデルを生成することができるデータ解析システムを提供する。
【解決手段】データ解析システム１は、特徴ベクトルｘ’と正解クラスの重みベクトルＷとのなす角θが所定値θ_Ｔｈより小さい場合に、特徴ベクトルｘ’および重みベクトルＷを用いてArcFaceによるマージン付加処理を適用して損失関数の値Loss_arcを算出し、なす角θが所定値θ_Ｔｈ以上の場合に、特徴ベクトルｘ’および重みベクトルＷを用いてCosFaceによるマージン付加処理を適用して損失関数の値Loss_cosを算出する損失関数演算部２５と、損失関数の値Loss_arc，Loss_cosに基づいて勾配法により機械学習モデル１１の学習を行う学習処理部２６とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

演算処理装置および記憶装置を備えるコンピュータ装置により構成されたデータ解析システムであって、
前記記憶装置は、ニューラルネットワークより構成され、最終段の全結合層の重みベクトルを用いて特徴ベクトルを出力し、対象のデータに関する前記特徴ベクトルとクラス代表のデータに関する前記特徴ベクトルとのcos距離によりクラス分類を行うための機械学習モデルを記憶し、
前記演算処理装置は、
学習用データを入力した場合に前記機械学習モデルを実行することにより前記特徴ベクトルを出力する機械学習モデル実行部と、
前記機械学習モデル実行部が前記特徴ベクトルを出力した際の前記重みベクトルを取得する重みベクトル取得部と、
前記特徴ベクトルと正解クラスの前記重みベクトルとのなす角θが所定値より小さい場合に、前記特徴ベクトルおよび前記重みベクトルを用いてArcFaceによるマージン付加処理を適用して損失関数の値を算出し、前記なす角θが前記所定値以上の場合に、前記特徴ベクトルおよび前記重みベクトルを用いてCosFaceによるマージン付加処理を適用して損失関数の値を算出する損失関数演算部と、
前記損失関数の値に基づいて勾配法により前記機械学習モデルの学習を行う学習処理部と、
を備える、データ解析システム。

【請求項2】

前記ArcFaceによるマージン付加処理および前記CosFaceによるマージン付加処理は、前記なす角θが前記所定値の前後において、前記損失関数の値が前記特徴ベクトルと前記正解クラスの前記重みベクトルとのcos距離に対して単調減少または単調増加する関係を有するように設定されている、請求項１に記載のデータ解析システム。

【請求項3】

前記ArcFaceによるマージン付加処理および前記CosFaceによるマージン付加処理は、前記なす角θが前記所定値において、前記損失関数の値が前記特徴ベクトルと前記正解クラスの前記重みベクトルとのcos距離に対して連続する関係を有するように設定されている、請求項２に記載のデータ解析システム。

【請求項4】

前記ArcFaceによるマージン付加処理および前記CosFaceによるマージン付加処理は、前記なす角θが前記所定値において、前記損失関数の値が前記特徴ベクトルと前記正解クラスの前記重みベクトルとのcos距離に対して不連続の関係を有するように設定されている、請求項２に記載のデータ解析システム。

【請求項5】

前記所定値に対応するcos距離の値が、前記ArcFaceによるマージン付加処理において前記特徴ベクトルと前記正解クラスの前記重みベクトルとのcos距離に対する前記損失関数の値が極値となるときのcos距離よりも大きな値となるように、前記所定値が設定されている、請求項１～４のいずれか１項に記載のデータ解析システム。

【請求項6】

前記機械学習モデルは、対象の画像データに関する前記特徴ベクトルとクラス代表の画像データに関する前記特徴ベクトルとのcos距離によりクラス分類を行うためのモデルである、請求項１～５のいずれか１項に記載のデータ解析システム。

【請求項7】

前記機械学習モデルは、産業製品の外観検査に用いるモデルあって、入力される前記産業製品の外観の前記画像データに基づいて、前記産業製品が良品であるか不良品であるかの判定を行うためのモデルである、請求項６に記載のデータ解析システム。

【請求項8】

前記機械学習モデルは、入力された前記画像データに関する前記特徴ベクトルと前記良品の代表画像データに関する前記特徴ベクトルとのcos距離と、入力された前記画像データに関する前記特徴ベクトルと前記不良品の代表画像データに関する前記特徴ベクトルとのcos距離とに基づいて、前記産業製品が前記良品であるか前記不良品であるかの判定を行う、請求項７に記載のデータ解析システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データ解析システムに関する。

【背景技術】

【0002】

特許文献１には、ニューラルネットワークにより構成された識別器を用いて、外観画像における欠陥の有無を検査する外観検査装置が記載されている。一般に、外観画像における欠陥の有無の検査などのように、クラス分類を行う機械学習モデルは、クラス分類の境界が明確であることが望まれる。

【0003】

クラス分類を行うためのニューラルネットワークからなる機械学習モデルの学習方法は、種々知られている。例えば、ユークリッド距離、マンハッタン距離、チェビシェフ距離などのように、特徴量空間における距離を用いて学習を行う方法がある。この場合、例えば、Center Lossなどの距離学習用の損失関数を用いる。

【0004】

また、角度を用いた距離学習として、ArcFace、CosFace、SphereFaceなどが知られている。これらの距離学習は、特徴ベクトルと正解クラスの重みベクトルとの内積に対して、正解クラスの場合にマージンを付加して、学習を行う手法である。これらの距離学習は、特徴ベクトルと正解クラスの重みベクトルとのなす角θを小さくするように学習する手法である。そして、これらの距離学習の手法は、マージンの与え方がそれぞれ異なる。また、一般に、予測精度は、ArcFaceが最も良く、次にCosFace、その次にSphereFaceの順となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１０６４６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

発明者は、角度を用いた距離学習として、ArcFaceによるマージン付加処理を適用して勾配法を用いて学習する場合、初期における、特徴ベクトルと重みベクトルとのなす角θにおけるcos距離（cos類似度とも称する）が小さい場合に、学習が進まない場合があることを発見した。

【0007】

本発明は、かかる課題に鑑みてなされたものであり、ArcFaceによる高い予測精度を利用しつつ、ArcFaceにより学習が進まない問題を解決し、高精度な予測を可能とする機械学習モデルを生成することができるデータ解析システムを提供しようとするものである。

【課題を解決するための手段】

【0008】

本発明の一態様は、
演算処理装置および記憶装置を備えるコンピュータ装置により構成されたデータ解析システムであって、
前記記憶装置は、ニューラルネットワークより構成され、最終段の全結合層の重みベクトルを用いて特徴ベクトルを出力し、対象のデータに関する前記特徴ベクトルとクラス代表のデータに関する前記特徴ベクトルとのcos距離によりクラス分類を行うための機械学習モデルを記憶し、
前記演算処理装置は、
学習用データを入力した場合に前記機械学習モデルを実行することにより前記特徴ベクトルを出力する機械学習モデル実行部と、
前記機械学習モデル実行部が前記特徴ベクトルを出力した際の前記重みベクトルを取得する重みベクトル取得部と、
前記特徴ベクトルと正解クラスの前記重みベクトルとのなす角θが所定値より小さい場合に、前記特徴ベクトルおよび前記重みベクトルを用いてArcFaceによるマージン付加処理を適用して損失関数の値を算出し、前記なす角θが前記所定値以上の場合に、前記特徴ベクトルおよび前記重みベクトルを用いてCosFaceによるマージン付加処理を適用して損失関数の値を算出する損失関数演算部と、
前記損失関数の値に基づいて勾配法により前記機械学習モデルの学習を行う学習処理部と、
を備える、データ解析システムにある。

【発明の効果】

【0009】

機械学習モデルの学習は、角度を用いた距離学習としてのArcFaceとCosFaceを併用している。具体的には、損失関数演算部が、特徴ベクトルと重みベクトルとのなす角θが所定値より小さい場合には、ArcFaceによるマージン付加処理を適用し、なす角θが所定値以上の場合には、CosFaceによるマージン付加処理を適用している。

【0010】

従って、ArcFaceによるマージン付加処理のみの場合に学習が進まない可能性のある領域は、CosFaceによるマージン付加処理が適用されている。従って、全体として、ArcFaceにて学習が進まなくなるような領域は存在せず、CosFaceにより確実に学習が進む状態とすることができる。

【0011】

さらに、学習が進むと、特徴ベクトルと正解クラスの重みベクトルとのなす角θは小さくなる。学習の初期において、特徴ベクトルと正解クラスの重みベクトルとのなす角θが所定値より大きい場合において、CosFaceによるマージン付加処理が適用される。その後、学習が進むことで、なす角θが小さくなる。そうすると、なす角θが所定値に到達し、CosFaceの領域から、ArcFaceの領域へ移行する。その後、ArcFaceによる学習が進むことにより、高精度な予測を行うことができる機械学習モデルが生成される。

【図面の簡単な説明】

【0012】

【図1】データ解析システムの学習フェーズにおける機能ブロック構成図である。

【図2】データ解析システムの学習フェーズにおける詳細構成を示す図である。

【図3】cos距離と損失関数の値との関係を示すグラフにおいて、ArcFaceとCosFaceとの第一の併用パターンを実線で示し、ArcFaceのみによるパターンを破線にて示す。

【図4】cos距離と損失関数の値との関係を示すグラフにおいて、ArcFaceとCosFaceとの第二の併用パターンを実線で示し、ArcFaceのみによるパターンを破線にて示す。

【発明を実施するための形態】

【0013】

（１．機械学習モデル）
機械学習モデルは、ニューラルネットワークにより構成される。ここでのニューラルネットワークは、隠れ層が１層である場合、または、隠れ層が複数層である場合を含み意味で用いている。つまり、隠れ層が複数層ある場合には、いわゆるディープニューラルネットワークと称する。もちろん、機械学習モデルは、ニューラルネットワークとして、例えば、畳み込みニューラルネットワークなどを適用することができる。機械学習モデルは、ニューラルネットワークにより構成されるため、入力されるデータに対応する特徴ベクトルを出力する。

【0014】

本形態の機械学習モデルは、各ニューロンにおいて、重み、バイアス、活性化関数などを用いた処理を行う。主に、重みおよびバイアスが学習対象となる。そして、機械学習モデルは、最終段の全結合層の出力が特徴ベクトルとなる。最終段の全結合層は、重みベクトルを用いて特徴ベクトルを出力する。

【0015】

本形態においては、機械学習モデルは、対象のデータのクラス分類を行うためのモデルである。例えば、対象のデータに関する特徴ベクトルが、各クラスの代表データに関する特徴ベクトルに近いか否かを判定することにより、対象のデータがどのクラスに属するかを判定することができる。本形態においては、機械学習モデルは、対象のデータに関する特徴ベクトルとクラス代表のデータに関する特徴ベクトルとcos距離により、対象のデータのクラス分類を行うためのモデルである。

【0016】

例えば、機械学習モデルは、画像データを対象として、画像データのクラス分類に用いるモデルとすることができる。この場合、機械学習モデルは、対象の画像データに関する特徴ベクトルとクラス代表の画像データに関する特徴ベクトルとのcos距離により、対象の画像データのクラス分類を行う。

【0017】

特に、機械学習モデルは、産業製品の外観検査に用いるモデルを例にあげる。この場合、産業製品の外観の画像データを入力して、対象の産業製品が良品であるか不良品であるかの判定を行う。具体的には、機械学習モデルに対象の外観画像データを入力した場合に出力される特徴ベクトルを取得する。また、機械学習モデルに良品の代表画像データを入力した場合に出力される特徴ベクトルを取得する。さらに、機械学習モデルに不良品の代表画像データを入力した場合に出力される特徴ベクトルを取得する。

【0018】

そして、対象の外観画像データに関する特徴ベクトルと良品の代表画像データに関する特徴ベクトルとのcos距離より、対象の外観画像データが良品のクラスに分類されるかを判定する。一方、対象の外観画像データに関する特徴ベクトルと不良品の代表画像データに関する特徴ベクトルとのcos距離より、対象の外観画像データが不良品のクラスに分類されるかを判定する。このように、各クラスの代表の画像データに関する特徴ベクトルとのcos距離に基づいて、産業製品が、良品であるか不良品であるかの判定を行うことができる。

【0019】

不良品の種類が複数存在する場合には、対象の外観画像データに関する特徴ベクトルと、それぞれの不良品の代表画像データに関する特徴ベクトルとのcos距離により、対象の外観画像データがどの不良品のクラスに分類されるかを判定することもできる。ここで、産業製品としては、車両部品、産業機械部品、民生機器部品など種々の部品を対象とできる。

【0020】

（２．データ解析システム１の学習フェーズの概要）
データ解析システム１の学習フェーズにおける構成の概要について、図１を参照して説明する。データ解析システム１は、記憶装置２および演算処理装置３を備えるコンピュータ装置により構成される。

【0021】

記憶装置２は、上述した機械学習モデル１１を記憶する。さらに、記憶装置２は、機械学習モデルの学習フェーズにおいて用いる学習用データ１２を記憶する。学習用データ１２は、例えば、産業製品の外観画像データであって、良品の画像データおよび不良品の画像データを含む。さらに、学習用データ１２は、各画像データが良品であるか不良品であるかの情報、すなわち正解ラベル１２ａを含む。

【0022】

記憶装置２は、さらに、損失関数演算用プログラム１３を記憶する。損失関数演算用プログラムは、ArcFaceによるマージン付加処理を適用して損失関数の値を算出するプログラム、および、CosFaceによるマージン付加処理を適用して損失関数の値を算出するプログラムを含む。

【0023】

演算処理装置３は、機械学習モデル実行部２１、特徴ベクトル正規化処理部２２、重みベクトル取得部２３、重みベクトル正規化処理部２４、損失関数演算部２５、および、学習処理部２６を備える。

【0024】

機械学習モデル実行部２１は、機械学習モデル１１に画像データを入力した場合に、入力された画像データに関する特徴ベクトルを出力する。学習フェーズにおいて、機械学習モデル実行部２１は、記憶装置２に記憶されている外観画像の学習用データ１２を入力して、入力された学習用データ１２に関する特徴ベクトルを出力する。特徴ベクトル正規化処理部２２は、機械学習モデル実行部２１により出力された特徴ベクトルに対してＬ２正規化を行う。

【0025】

重みベクトル取得部２３は、機械学習モデル実行部２１が特徴ベクトルを出力した際の最終段の全結合層の重みベクトルを取得する。重みベクトル正規化処理部２４は、重みベクトル取得部２３が取得した重みベクトルに対してＬ２正規化を行う。

【0026】

損失関数演算部２５は、記憶装置２に記憶されている損失関数演算用プログラム１３を実行することにより、ArcFaceによるマージン付加処理を適用して損失関数の値Lossを算出する。さらに、損失関数演算部２５は、損失関数演算用プログラム１３を実行することにより、CosFaceによるマージン付加処理を適用して損失関数の値Lossを算出する。２つのマージン付加処理の適用の概要は、次のとおりである。

【0027】

損失関数演算部２５は、特徴ベクトルと正解クラスの重みベクトルとのなす角θが所定値より小さい場合に、特徴ベクトルおよび重みベクトルを用いてArcFaceによるマージン付加処理を適用して損失関数の値Lossを算出する。一方、損失関数演算部２５は、なす角θが所定値以上の場合に、特徴ベクトルおよび重みベクトルを用いてCosFaceによるマージン付加処理を適用して損失関数の値Lossを算出する。損失関数の値Lossの算出においては、記憶装置２０に記憶されている学習用データ１２に含まれる正解ラベル１２ａを用いる。

【0028】

学習処理部２６は、損失関数演算部２５により算出された損失関数の値Lossに基づいて、勾配法により機械学習モデル１１の学習を行う。学習処理部２６は、記憶装置２に記憶されている機械学習モデル１１の重みおよびバイアスを学習する。本形態においては、学習処理部２６は、損失関数の値Lossが最小値または極小値となるように、勾配降下法を適用して学習する。

【0029】

（３．データ解析システム１の学習フェーズの詳細構成）
データ解析システム１の学習フェーズの詳細な構成について図２を参照して説明する。機械学習モデル実行部２１が、学習用データ１２に含まれる画像データを入力し、機械学習モデルを実行する。そうすると、機械学習モデル実行部２１が、特徴ベクトルを出力する。ここで、入力される学習用データ１２に含まれる画像データをｘとして、出力される特徴ベクトルをｘ’とした場合、式（１）のように表される。ｆ（）は、機械学習モデル１１を表す関数である。

【0030】

【数1】

【0031】

特徴ベクトル正規化処理部２２が、特徴ベクトルｘ’をＬ２正規化することで、正規化後特徴ベクトルｘ”を出力する。特徴ベクトルｘ’と正規化後特徴ベクトルｘ”とは、式（２）のように表される。正規化後特徴ベクトルｘ”は、特徴ベクトルｘ’の長さを１としたベクトルである。

【0032】

【数2】

【0033】

重みベクトル取得部２３が、機械学習モデル実行部２１が実行した機械学習モデル１１における最終段の全結合層の重みベクトルＷを取得する。重みベクトル正規化処理部２４が、重みベクトルＷをＬ２正規化することで、正規化後重みベクトルＷ’を出力する。重みベクトルＷと正規化後重みベクトルＷ’とは、式（３）のように表される。正規化後重みベクトルＷ’は、重みベクトルＷの長さを１としたベクトルである。

【0034】

【数3】

【0035】

損失関数演算部２５は、ArcFace適用部３０と、CosFace適用部４０とを備える。ArcFace適用部３０は、内積算出部３１、ArcFace演算部３２、ロジット算出部３３、ソフトマックス関数演算部３４、損失算出部３５を備える。CosFace適用部４０は、内積算出部４１、CosFace演算部４２、ロジット算出部４３、ソフトマックス関数演算部４４、損失算出部４５を備える。ただし、ArcFace適用部３０の内積算出部３１と、CosFace適用部４０の内積算出部４１とは、同一の処理を行うため、共通したプログラムを実行するようにしても良い。

【0036】

ArcFace適用部３０の内積算出部３１は、正規化後特徴ベクトルｘ”と正規化後重みベクトルＷ’とを取得する。そして、内積算出部３１は、式（４）に示すように、正規化後特徴ベクトルｘ”と正規化後重みベクトルＷ’との内積であるcos距離（cosθ）を算出する。CosFace適用部４０の内積算出部４１も同様である。

【0037】

【数4】

【0038】

ArcFace演算部３２は、式（５）に従って、正規化後特徴ベクトルｘ”と正解クラスｊの正規化後重みベクトルＷ’とのなす角θが所定値θ_Ｔｈより小さい場合に、正規化後特徴ベクトルｘ”と正規化後重みベクトルＷ’とのなす角θを用いて、ArcFaceにより角度θ’を算出する。ArcFace演算部３２は、正解クラスｊに対応する場合には、ArcFaceによるマージンｍ_ａを付加する処理（マージン付加処理）を実行する。ArcFace演算部３２は、正解クラスｊに対応しない場合には、マージンｍ_ａを付加せずに、正規化後特徴ベクトルｘ”と正規化後重みベクトルＷ’とのなす角θを用いる。

【0039】

【数5】

【0040】

ここで、所定値θ_Ｔｈは、式（６）により表される。

【0041】

【数6】

【0042】

ArcFace演算部３２は、前述のなす角θが所定値θ_Ｔｈより小さい場合に、式（５）により算出した角θ’_ｊを用いて、式（７）に表されるように、cos距離（cosθ’_ｊ）を算出する。つまり、ArcFace演算部３２は、正解クラスｊに対応する場合には、マージンｍ_ａが付加されたときのcos距離（cosθ’_ｊ）を算出する。一方、ArcFace演算部３２は、正解クラスｊに対応しない場合には、マージンｍ_ａを付加せずに、内積算出部３１により算出されたcos距離（cosθ’_ｊ）をそのまま用いる。

【0043】

【数7】

【0044】

CosFace演算部４２は、式（８）に従って、正規化後特徴ベクトルｘ”と正解クラスｊの正規化後重みベクトルＷ’とのなす角θが所定値θ_Ｔｈ以上の場合に、CosFaceによる処理を行う。CosFace演算部４２は、正解クラスｊに対応する場合には、CosFaceによるマージンｍ_ｃを付加する処理（マージン付加処理）を実行して、マージンｍ_ｃが付加されたときのcos距離（cosθ’_ｊ）を算出する。一方、CosFace演算部４２は、正解クラスｊに対応しない場合には、マージンｍ_ｃを付加せずに、内積算出部３１により算出されたcos距離（cosθ’_ｊ）をそのまま用いる。

【0045】

【数8】

【0046】

ここで、CosFaceによるマージンｍ_ｃは、式（９）により表される。

【0047】

【数9】

【0048】

ArcFace適用部３０のロジット算出部３３は、式（１０）に従って、ArcFace演算部３２により算出されたcos距離（cosθ’_ｊ）に、スケールパラメータｓを乗算することにより、ロジットlogitを算出する。また、CosFace適用部４０のロジット算出部４３も、同様の処理を行う。すなわち、ロジット算出部４３は、式（１０）に従って、CosFace演算部４２により算出されたcos距離（cosθ’_ｊ）に、スケールパラメータｓを乗算することにより、ロジットlogitを算出する。

【0049】

【数10】

【0050】

ArcFace適用部３０のソフトマックス関数演算部３４は、式（１１）に従って、ロジット算出部３３により算出されたロジットlogitをソフトマックス関数により変換する。同様に、CosFace適用部４０のソフトマックス関数演算部４４は、式（１１）に従って、ロジット算出部４３により算出されたロジットlogitをソフトマックス関数により変換する。

【0051】

【数11】

【0052】

ArcFace適用部３０の損失算出部３５は、式（１２）に従って、ArcFaceによる損失関数の値Loss_arcを算出する。損失算出部３５は、ロジット算出部３３により算出されたロジットlogitに対して損失関数としてのクロスエントロピーを適用することにより、損失関数の値Loss_arcとしてクロスエントロピー誤差を算出する。クロスエントロピー誤差の算出においては、学習用データ１２における正解ラベル１２ａを用いる。

【0053】

【数12】

【0054】

つまり、式（１２）に示すArcFaceによる損失関数は、マージンｍ_ａを付加することにより、正解クラスｊの重みベクトルＷ_ｙｉと特徴ベクトルｘ’_ｉとのcos距離を実際より小さく見積もり、不正解クラスの重みベクトルＷと特徴ベクトルｘ’とのcos距離を実際より大きく見積もっていることに相当する。つまり、他のクラスの重みベクトルＷよりも、正解クラスｊの重みベクトルＷ_ｙｉにより近づくように損失関数の値Loss_arcを与えているため、正解クラスの重みベクトルと不正解クラスの重みベクトルとを引き離す効果を有する。

【0055】

CosFace適用部４０の損失算出部４５は、式（１３）に従って、CosFaceによる損失関数の値Loss_cosを算出する。損失算出部４５は、ロジット算出部４３により算出されたロジットlogitに対して損失関数としてのクロスエントロピーを適用することにより、損失関数の値Loss_cosとしてクロスエントロピー誤差を算出する。クロスエントロピー誤差の算出においては、学習用データ１２における正解ラベル１２ａを用いる。

【0056】

【数13】

【0057】

つまり、式（１３）に示すCosFaceによる損失関数は、マージンｍ_ｃを付加することにより、ArcFaceと基本的には同様に機能する。つまり、CosFaceによる損失関数は、正解クラスｊの重みベクトルＷ_ｙｉと特徴ベクトルｘ’_ｉとのcos距離を実際より小さく見積もり、不正解クラスの重みベクトルＷと特徴ベクトルｘ’とのcos距離を実際より大きく見積もっていることに相当する。つまり、他のクラスの重みベクトルＷよりも、正解クラスｊの重みベクトルＷ_ｙｉにより近づくように損失関数の値Loss_cosを与えているため、正解クラスの重みベクトルと不正解クラスの重みベクトルとを引き離す効果を有する。

【0058】

学習処理部２６は、正規化後特徴ベクトルｘ”と正解クラスｊの正規化後重みベクトルＷ’とのなす角θが所定値θ_Ｔｈ以上の場合には、ArcFace適用部３０の損失算出部３５により算出された損失関数の値Loss_arc（式（１２）に示す）を用いて、勾配法により機械学習モデル１１を学習する。

【0059】

また、学習処理部２６は、正規化後特徴ベクトルｘ”と正解クラスｊの正規化後重みベクトルＷ’とのなす角θが所定値θ_Ｔｈより小さい場合には、CosFace適用部４０の損失算出部４５により算出された損失関数の値Loss_cos（式（１３）に示す）を用いて、勾配法により機械学習モデル１１を学習する。

【0060】

（４．第一のマージン適用時のcos距離と損失関数の値）
第一のマージン適用時における「正規化後特徴ベクトルｘ”と正解クラスの重みベクトルＷ’とのcos距離」と「損失関数の値Loss」との関係について、図３を参照して説明する。ここで、図３には、機械学習モデル１１の学習においてArcFaceとCosFaceの併用パターンとしての本形態を実線にて示しており、比較例としてArcFaceのみを適用したパターンについて破線にて示している。

【0061】

比較例としてのArcFaceのみを適用した場合には、cos距離に対する損失関数の値が、cos距離が小さい領域のうちのcosθ_Ｅのときに極値（本形態では極大値）を持つ。学習の初期において、cos距離がcosθ_Ｅよりも大きな値の場合には、勾配法を適用して学習すると、cos距離がより大きい方に移動して行く。そのため、cos距離を大きくする方向に学習が進んで行き、理想的な状態に近づいて行く。一方、学習の初期において、cos距離がcosθ_Ｅよりも小さな値の場合には、勾配法を適用して学習すると、cos距離がより小さい方に移動して行く。そのため、cos距離を大きくする方向に学習が進まない。

【0062】

ArcFaceによるマージン付加処理は、式（７）に示すように、なす角θに角度のマージンｍ_ａを加算する処理である。そのため、なす角θが大きい場合（１８０°付近の場合）、θ＋ｍ_ａの角度が１８０°を超える場合には、変換後のcos距離の値の変化が、大小逆転する場合がある。このことを理由に、ArcFaceによるマージン付加処理は、上記のような関係を有することになる。

【0063】

本形態を適用した場合には、図３に示すように、CosFaceを適用した領域と、ArcFaceを適用した領域とが存在する。ここで、CosFaceによるマージン付加処理は、式（８）に示すように、cosθからマージンｍ_ｃを減算する処理である。従って、変換後のcos距離の値の変化は、cosθの変化と同一となり、ArcFaceの場合のように大小逆転することはない。

【0064】

そして、ArcFaceを適用した領域とCosFaceを適用した領域との境界が、なす角θが所定値θ_Ｔｈに対応するcos距離の値cosθ_Ｔｈとなる。ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理は、なす角θが所定値θ_Ｔｈの前後において、損失関数の値Lossが、cos距離に対して単調減少または単調増加する関係を有するように設定されている。本形態においては、cos距離が大きくなる場合に、損失関数の値Lossが単調減少するような関係を有するように設定されている。

【0065】

特に、所定値θ_Ｔｈに対応するcos距離の値cosθ_Ｔｈが、ArcFaceによるマージン付加処理においてcos距離に対する損失関数の値Loss_arcが極値となるときのcos距離の値cosθ_Ｅよりも大きな値となるように、所定値θ_Ｔｈが設定されている。

【0066】

つまり、本形態においては、ArcFaceのみを適用した場合のような極値を有しない。従って、学習の初期において、cos距離がどの位置に位置したとしても、勾配法を適用して学習することでcos距離がより大きい方に移動して行く。そのため、cos距離を大きくする方向に学習が進んで行き、理想的な状態に近づいて行く。

【0067】

さらに、ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理は、なす角θが所定値θ_Ｔｈにおいて、損失関数の値Lossがcos距離に対して連続する関係を有するように設定されている。この場合、学習において、連続的に処理が進む。従って、学習が安定する。特に、なす角θが所定値θ_Ｔｈにおいて、損失関数の値Lossがcos距離に対して滑らかに連続する関係を有するように設定されているとより良い。つまり、なす角θが所定値θ_Ｔｈにおいて、損失関数の値Lossをcos距離による偏微分した値が、一致する状態となる。

【0068】

ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理が、上記のように設定するためには、例えば、所定値θ_Ｔｈの設定、および、CosFaceによるマージンｍ_ｃの設定にて対応できる。

【0069】

（５．第二のマージン適用時のcos距離と損失関数の値）
第二のマージン適用時における正規化後特徴ベクトルｘ”と正解クラスの重みベクトルＷ’とのcos距離と損失関数の値Lossとの関係について、図４を参照して説明する。ここで、図４には、図３と同様に、機械学習モデル１１の学習においてArcFaceとCosFaceの併用パターンとしての本形態を実線にて示しており、比較例としてArcFaceのみを適用したパターンについて破線にて示している。

【0070】

図４に示す第二のマージン適用時には、図３と比較して、ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理が、なす角θが所定値θ_Ｔｈにおいて、損失関数の値Lossがcos距離に対して不連続の関係を有するように設定されている。ただし、ArcFaceを適用した領域とCosFaceを適用した領域との境界が、なす角θが所定値θ_Ｔｈに対応するcos距離の値cosθ_Ｔｈとなる。ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理は、なす角θが所定値θ_Ｔｈの前後において、損失関数の値Lossが、cos距離に対して単調減少または単調増加する関係を有するように設定されている。

【0071】

この場合も、本形態においては、ArcFaceのみを適用した場合のような極値を有しない。従って、学習の初期において、cos距離がどの位置に位置したとしても、勾配法を適用して学習することでcos距離がより大きい方に移動して行く。そのため、cos距離を大きくする方向に学習が進んで行き、理想的な状態に近づいて行く。

【0072】

そして、ArcFaceによるマージン付加処理およびCosFaceによるマージン付加処理が、上記のように設定するためには、例えば、所定値θ_Ｔｈの設定、および、CosFaceによるマージンｍ_ｃの設定にて対応できる。

【0073】

（６．効果）
以上のように、機械学習モデル１１の学習は、角度を用いた距離学習としてのArcFaceとCosFaceを併用している。具体的には、損失関数演算部２５は、特徴ベクトルｘ’と重みベクトルＷとのなす角θが所定値θ_Ｔｈより小さい場合には、式（５）（７）（１２）に示すように、ArcFaceによるマージン付加処理を適用する。一方、損失関数演算部２５は、なす角θが所定値θ_Ｔｈ以上の場合には、式（８）（１３）に示すように、CosFaceによるマージン付加処理を適用している。

【0074】

従って、ArcFaceによるマージン付加処理のみの場合に学習が進まない可能性のある領域は、CosFaceによるマージン付加処理が適用されている。従って、全体として、ArcFaceにて学習が進まなくなるような領域は存在せず、CosFaceにより確実に学習が進む状態とすることができる。

【0075】

さらに、学習が進むと、特徴ベクトルｘ’と正解クラスの重みベクトルＷとのなす角θは小さくなる。学習の初期において、特徴ベクトルｘ’と正解クラスの重みベクトルＷとのなす角θが所定値θ_Ｔｈより大きい場合（cos距離がcosθ_Ｔｈより小さい場合）において、CosFaceによるマージン付加処理が適用される。その後、学習が進むことで、なす角θが小さくなる。そうすると、なす角θが所定値θ_Ｔｈに到達し、CosFaceの領域から、ArcFaceの領域へ移行する。その後、ArcFaceによる学習が進むことにより、高精度な予測を行うことができる機械学習モデル１１が生成される。

【符号の説明】

【0076】

１ データ解析システム
２ 記憶装置
３ 演算処理装置
２１ 機械学習モデル実行部
２３ 重みベクトル取得部
２５ 損失関数演算部
２６ 学習処理部

【図1】

【図2】

【図3】

【図4】