特開2022-180119IP Force 特許公報全文掲載

技術分野

データ解析システム

要約特許出願時に添付された[要約書]

【課題】ArcFaceによる高い予測精度を利用しつつ、ArcFaceにより学習が進まない問題を解決し、高精度な予測を可能とする機械学習モデルを生成することができるデータ解析システムを提供する。
【解決手段】データ解析システム1は、特徴ベクトルx’と正解クラスの重みベクトルWとのなす角θが所定値θThより小さい場合に、特徴ベクトルx’および重みベクトルWを用いてArcFaceによるマージン付加処理を適用して損失関数の値Lossarcを算出し、なす角θが所定値θTh以上の場合に、特徴ベクトルx’および重みベクトルWを用いてCosFaceによるマージン付加処理を適用して損失関数の値Losscosを算出する損失関数演算部25と、損失関数の値Lossarc,Losscosに基づいて勾配法により機械学習モデル11の学習を行う学習処理部26とを備える。
【選択図】図2

発明が解決しようとする課題[発明の詳細な説明]から抜粋

発明者は、角度を用いた距離学習として、ArcFaceによるマージン付加処理を適用して勾配法を用いて学習する場合、初期における、特徴ベクトルと重みベクトルとのなす角θにおけるcos距離(cos類似度とも称する)が小さい場合に、学習が進まない場合があることを発見した。

課題を解決するための手段[発明の詳細な説明]から抜粋

本発明の一態様は、 演算処理装置および記憶装置を備えるコンピュータ装置により構成されたデータ解析システムであって、 前記記憶装置は、ニューラルネットワークより構成され、最終段の全結合層の重みベクトルを用いて特徴ベクトルを出力し、対象のデータに関する前記特徴ベクトルとクラス代表のデータに関する前記特徴ベクトルとのcos距離によりクラス分類を行うための機械学習モデルを記憶し、 前記演・・・ 続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

機械学習モデルの学習は、角度を用いた距離学習としてのArcFaceとCosFaceを併用している。具体的には、損失関数演算部が、特徴ベクトルと重みベクトルとのなす角θが所定値より小さい場合には、ArcFaceによるマージン付加処理を適用し、なす角θが所定値以上の場合には、CosFaceによるマージン付加処理を適用している。

従って、ArcFaceによるマージン付加処理のみの場合に学習が進まない可能性のある領域は、CosFaceによるマージン付加処理が適用されている。従って、全体として、ArcFaceにて学習が進まなくなるような領域は存在せず、CosFaceにより確実に学習が進む状態とすることができる。

さらに、学習が進むと、特徴ベクトルと正解クラスの重みベクトルとのなす角θは小さくなる。学習の初期において、特徴ベクトルと正解クラスの重みベクトルとのなす角θが所定値より大きい場合において、CosFaceによるマージン付加処理が適用される。その後、学習が進むことで、なす角θが小さくなる。そうすると、なす角θが所定値に到達し、CosFaceの領域から、ArcFaceの領域へ移行する。その後、ArcFaceによる学習が進むことにより、高精度な予測を行うことができる機械学習モデルが生成される。

この発明についての権利主張の範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 データ解析システムの学習フェーズにおける機能ブロック構成図である。
【図2】 データ解析システムの学習フェーズにおける詳細構成を示す図である。
【図3】 cos距離と損失関数の値との関係を示すグラフにおいて、ArcFaceとCosFaceとの第一の併用パターンを実線で示し、ArcFaceのみによるパターンを破線にて示す。
【図4】 cos距離と損失関数の値との関係を示すグラフにおいて、ArcFaceとCosFaceとの第二の併用パターンを実線で示し、ArcFaceのみによるパターンを破線にて示す。

選択図 図2出願人が指定した本件の代表的な図

1 データ解析システム 2 記憶装置 3 演算処理装置 21 機械学習モデル実行部 23 重みベクトル取得部 25 損失関数演算部 26 学習処理部

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります