特許7581979IP Force 特許公報全文掲載

技術分野

推論装置、モデル生成装置、推論方法、及び推論プログラム

発明が解決しようとする課題[発明の詳細な説明]から抜粋

本件発明者は、従来の方法には、次のような問題点があることを見出した。すなわち、分散処理のみに依拠する方法では、複数のコンピュータを繋ぐことで、1台1台のコンピュータの負担を低減し、かつ演算処理を高速化することはできるが、機械学習モデルの演算処理にかかる計算量を低減することは困難である。むしろ、計算過程の情報を各コンピュータ間で通信する分だけ、機械学習モデルの演算処理にかかる計算量は増加してしまい、全体でみた場合に計算資源にかかる負担が増加してしまう。また、非特許文献1のような、高速フーリエ変換を用いる方法では、畳み込み演算を高速化することは可能であるが、その他の演算に適用することは困難である。加えて、機械学習モデルのパラメータの情報と共に、高速フーリエ変換により得られた別表現の情報を保持する分だけ、計算資源にかかる負担が増加してしまう(特に、メモリが圧迫されてしまう)。したがって、従来の方法では、機械学習モデルの演算処理にかかる計算量を低減し、計算資源にかかる負担を抑えることが困難である。

課題を解決するための手段[発明の詳細な説明]から抜粋

本発明は、上述した課題を解決するために、以下の構成を採用する。

発明の効果[発明の詳細な説明]から抜粋

本発明によれば、機械学習モデルの演算処理にかかる計算量を低減し、計算資源にかかる負担を抑えることができる。

この特許の権利範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】 図1は、本発明が適用される場面の一例を模式的に例示する。
【図2】 図2は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に例示する。
【図3】 図3は、実施の形態に係る推論装置のハードウェア構成の一例を模式的に例示する。
【図4】 図4は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。
【図5A】 図5Aは、第1部分行列及び第2部分行列の設定方法の一例を示す。
【図5B】 図5Bは、4×4のパラメータ行列内でスケーリング関係が再帰的に成立する場面の一例を示す。
【図5C】 図5Cは、スケーリング関係が再帰的に成立し、各段階で1行目の部分行列が第1部分行列を構成する場合における要素分割の一般化の一例を示す。
【図6】 図6は、実施の形態に係る推論装置のソフトウェア構成の一例を模式的に例示する。
【図7】 図7は、実施の形態に係るモデル生成装置の処理手順の一例を示すフローチャートである。
【図8A】 図8Aは、順伝播のフェーズにおけるパラメータ行列(2×2行列)の演算過程の一例を示す。
【図8B】 図8Bは、逆伝播のフェーズにおけるパラメータ行列(2×2行列)の演算過程の一例を示す。
【図9A】 図9Aは、順伝播のフェーズにおけるパラメータ行列(4×4行列)の演算過程の一例を示す。
【図9B】 図9Bは、逆伝播のフェーズにおけるパラメータ行列(4×4行列)の演算過程の一例を示す。
【図10A】 図10Aは、順伝播のフェーズにおけるパラメータ行列(任意サイズの行列)の演算過程の一例を示す。
【図10B】 図10Bは、逆伝播のフェーズにおけるパラメータ行列(任意サイズの行列)の演算過程の一例を示す。
【図11】 図11は、実施の形態に係る推論装置の処理手順の一例を示すフローチャートである。
【図12】 図12は、本発明が適用される他の場面の一例を模式的に例示する。
【図13】 図13は、本発明が適用される他の場面の一例を模式的に例示する。
【図14】 図14は、本発明が適用される他の場面の一例を模式的に例示する。

代表図 図1本件の代表的な図

1…モデル生成装置、 11…制御部、12…記憶部、13…通信インタフェース、 14…外部インタフェース、 15…入力装置、16…出力装置、17…ドライブ、 81…モデル生成プログラム、91…記憶媒体、 111…データ取得部、112…学習処理部、 113…保存処理部、125…学習結果データ、 2…推論装置、 21…制御部、22…記憶部、23…通信インタフェース、 24…外部インタフェース、 25…入力装置、26…出力装置、27…ドライブ、 82…推論プログラム、92…記憶媒体、 211…データ取得部、212…推論部、213…出力部、 221…対象データ、 3…学習データセット、 31…訓練データ、32…正解ラベル、 5…推論モデル、 51…入力層、52…中間(隠れ)層、53…出力層

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります