特許7405148IP Force 特許公報全文掲載

技術分野

蒸留を利用したニューラルネットワークの学習方法

発明が解決しようとする課題[発明の詳細な説明]から抜粋

非特許文献2に記載の学習方法は、非特許文献1に記載された方法とは異なり真のラベルが存在しないため、加重平均ではなく、教師モデルの予測ラベルのみを用いる。しかし、未知データが学習データに近しいものでないと、教師モデルの予測ラベルの分布に偏りが生じる可能性がある。例えば、教師モデルが画像を入力とするひらがなの多クラス分類器について、未知データとしてアルファベットの画像しか準備できない場合には、その多クラス分類器はどんなアルファベットに対しても一部のひらがなに偏って分類してしまう可能性がある(例えば、ほとんど「あ」と分類してしまう)。このような場合、生徒モデルは「あ」とそれ以外の2クラス分類の学習しか行えず、教師モデルが持つ本来の識別能力を継承できない。このように、非特許文献2の手法では、未知データを集めても正しい蒸留学習が行えない可能性がある。その理由は、未知データに対する教師モデルの予測ラベルの偏り(以下、「クラスインバランス」と呼ぶ。)が考慮されていないためである。

課題を解決するための手段[発明の詳細な説明]から抜粋

の課題を解決するため、本発明の1つの観点では、情報処理装置は、 未知データに対する任意ラベルを出力するラベル分布決定手段と、 前記任意ラベルと前記未知データとを入力として、新たな生成データを出力するデータ 生成手段と、 前記生成データを入力とし、教師モデルを用いて生徒モデルの蒸留学習を行う蒸留学習 手段と、 を備え、 前記未知データは、・・・ 続きを知財ポータルサイト IP Force にログインして見る

発明の効果[発明の詳細な説明]から抜粋

本発明によれば、教師モデルの学習データが利用できない状況下で、さらに未知データと学習データの分布が異なっていても、未知データを用いて蒸留学習を実現することができる。

この特許の権利範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 第1学習装置のハードウェア構成を示す。
【図2】 第1学習装置の機能構成を示す。
【図3】 学習処理のフローチャートである。
【図4】 実施例に係る学習装置の機能構成を示す。
【図5】 第2情報処理装置の機能構成を示す。

代表図 図1本件の代表的な図

10、10x 学習装置 20 データ生成部 30 ラベル分布決定部 40 蒸留学習部 41 教師モデル 42 生徒モデル 50 情報処理装置

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります