特開 2024-40614 深層学習における学習モデル及びネットワークの切り替え時間を短縮するための技術

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024040614

(43)【公開日】2024-03-26

(54)【発明の名称】深層学習における学習モデル及びネットワークの切り替え時間を短縮するための技術

(51)【国際特許分類】

   G06N 5/04 20230101AFI20240318BHJP

   G06N 20/10 20190101ALI20240318BHJP

【ＦＩ】

G06N5/04

G06N20/10

【審査請求】未請求

【請求項の数】2

【出願形態】ＯＬ

(21)【出願番号】P 2022145070

(22)【出願日】2022-09-13

(71)【出願人】

【識別番号】305041669

【氏名又は名称】株式会社ピノー

(72)【発明者】

【氏名】上野由紀

(57)【要約】      （修正有）

【課題】求める特性に合う学習済みモデルと推論ネットワークを単一計算機上で遅延なく切り替えることで、計算機の増加を抑えつつ、利用者へのサービス時間の短縮を図る方法を提供する。
【解決手段】方法は、アルゴリズム毎に異なる推論ネットワークと学習済みデータの対について、複数対を単一計算機のＣＰＵ・ＧＰＵメモリに読み込み、推論セットワークと学習済みデータを切り替えて単一演算器で推論を行う。
【選択図】図２

【特許請求の範囲】

【請求項1】

アルゴリズム毎に異なる推論ネットワークと学習済みデータの対について、複数対を単一計算機のCPU・GPUメモリに読み込み、推論セットワークと学習済みデータを切り替えて単一演算器で推論を行うこと。

【請求項2】

単一推論ネットワークと複数学習済みデータを単一計算機のCPU・GPUメモリに読み込み、学習済みデータを切り替えて単一演算器で推論を行うこと。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、深層学習（以下、DLと略す）において学習済みモデル及び推論ネットワークを時間のロスなく切り替えるためのソフトウエア技術である。

【背景技術】

【0002】

DLを用いた画像や音声、文章の推論では学習済みモデルからは当該モデルが持つ特性に基づいてモデル特有の画像や音声、文章が推論される。学習データが異なると学習済みモデルの特性も変わる。推論時に必要な特性を得るには、求める特性を持つ学習済みモデルを選択し、処理可能な推論ネットワークと共に計算機上で処理させる。求める特性を変えるために学習済みモデルや推論ネットワークを変更するとき、計算機に対して学習済みモデルや推論ネットワークの再ロードを行うか、単一学習済みモデルと推論ネットワークを所有する多数の計算機を準備しなければならない。前者の場合、求める特性が異なる毎に切り替え時間が生じ、後者の場合は学習済みモデルが増えると計算機を増やす必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

当発明では、求める特性に合う学習済みモデルと推論ネットワークを単一計算機上で遅延なく切り替えることで、計算機増の増加を抑えつつ、利用者へのサービス時間の短縮を図る手法を開発した。

【課題を解決するための手段】

【0004】

学習済みモデルは学習データのサイズやアルゴリズムによりそのサイズが大きく異なる。また推論ネットワークは更に大きなサイズであり、切り替え時に大きな遅延が生じる。図1は従来手法の処理フローである。再ロードによる方法では切り替えは学習済みモデルや推論ネットワークを計算機に再ロードすることで容易に実現できるが遅延が生じる。遅延を低減させる問題解決の手段として従来技術である学習済みモデルや推論ネットワーク毎に計算機を準備する手法で計算機を切替であれば、再ロ―ドは生じず遅延なく切り替えができるが、学習済みモデルや推論ネットワーク毎に計算機が必要になり、計算機資源が肥大化する。当発明では計算機の急速な計算能力の向上並びに、1台当たりの計算機リソースの大きな拡大に着目し、必要な学習済みモデル及び推論ネットワークを拡大した計算機のメモリ資源内に事前に読み込んで分類し、処理ソフトウエアから指定することで、再ロードを行わずに学習済みモデル及び推論ネットワークの切り替えを行う手法を考案した。図２

【発明の効果】

【0005】

この発明を用いることで、必要とする特性を持つ推論データを得るための学習済みモデルの切り替えや推論ネットワーク切替の遅延が削減され、大規模な計算機群によらずに限られた計算機資源において複数の学習済みモデル及び推論ネットワークを遅延なく切り替えることが可能となり、操作性の向上、サービス提供時のユーザー待ち時間の短縮、深層学習モデルを利用する産業用計算機システムにおける処理時間の短縮に大きく貢献できるようになった。

【図面の簡単な説明】

【0006】

【図1】学習済みモデル及び推論ネットワークを利用する従来方式の説明図である。

【図2】本発明で改良された学習済みモデル及び推論ネットワークの利用方法の説明図である。（実施例１）

【図3】本発明で改良された学習済みモデル及び推論ネットワークにおいて、学習済みモデルのみを切り替える利用方法の説明図である。（実施例２）

【発明を実施するための形態】

【0007】

当該発明は学習済みモデルを読み込む手段としてのプログラムコード及び分類する手段を有し、必要な全ての学習済みモデル読込を読み込める計算機資源、すなわちCPUの主メモリ又はGPUメモリ並びに学習済みモデル及び推論ネットワークを切り替えるためのソフトウエア（セレクタ）で構成される。

【実施例0008】

図２（実施例１）は、本発明を利用するための具体的なデータの処理フローである。学習済みモデルとその推論ネットワークは対をなし、計算機上に両者が存在することで推論処理が実行される。さらに学習アルゴリズム毎に推論ネットワークは異なり、各推論ネットワーク毎に学習済みモデルが存在する。本発明では、単一計算機上に大きな計算機資源を持たせ、学習済みモデルと推論ネットワークを一つの組み合わせとして複数の組を事前に読み込み、演算部はセレクタにより学習済みモデルと推論ネットワークを計算機内で使い分けることで、複数推論ネットワークと学習済みモデルの処理を行う。

【0009】

図３（実施例２）特定のアルゴリズムによる学習済みモデルは、学習データ毎に無数に生成が可能である。一方で推論ネットワークはアルゴリズムに対して１種類であることから、単一推論ネットワークと複数学習済みデータの読込みと分類を行い、演算部がセレクタを用いて学習済みモデルを切り替えて推論させることで、複数の計算機を用いずに学習済みモデルを切り替えて推論をすることができる。この実施例では計算機における演算部の動作に無駄がなく、切り替え遅延も生じない。

【産業上の利用可能性】

【0010】

従来、複数推論ネットワークと複数の学習済みモデルを扱うには比較的大きなシステムが必要であったが、当発明によると小規模な計算機システムで、複雑な多数の学習済みモデルを扱うことができるため、深層学習の用途が広がる。例えば顔認証や指紋認証の処理システムにおいて、計算機を増設することなく、同時に顔と指紋の認証が可能となる。

【符号の説明】

【0011】

１ 再ロードによる方法
２ 計算機切替え
３ 学習済みモデル
４ 潜在ネットワーク
５ セレクタ
６ ＣＰＵ・ＧＰＵ
７ 主メモリ
８ GPUメモリ

【図1】

【図2】

【図3】