特許 7556390 ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-17

(45)【発行日】2024-09-26

(54)【発明の名称】ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法

(51)【国際特許分類】

   G06N 3/0495 20230101AFI20240918BHJP

   G06N 3/082 20230101ALI20240918BHJP

【ＦＩ】

G06N3/0495

G06N3/082

【請求項の数】 11

(21)【出願番号】P 2022541117

(86)(22)【出願日】2021-04-28

(86)【国際出願番号】 JP2021016965

(87)【国際公開番号】W WO2022030054

(87)【国際公開日】2022-02-10

【審査請求日】2023-12-22

(31)【優先権主張番号】P 2020133972

(32)【優先日】2020-08-06

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】田中 希武

(72)【発明者】

【氏名】ル クオック ヴォン

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２０－１１３２７３（ＪＰ，Ａ）

【文献】特開２０１９－４０４１４（ＪＰ，Ａ）

【文献】中国特許出願公開第１０８７３４２６６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０４９５

Ｇ０６Ｎ ３／０８２

(57)【特許請求の範囲】

【請求項1】

ディープラーニングモデルのパラメーターの量子化における値域を決定するプログラムであって、
入力データと、前記入力データに対応する正解データとを取得する手順（ａ）と、
前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する手順（ｂ）と、
を有する処理を、コンピューターに実行させるためのディープラーニングモデルの値域決定プログラム。

【請求項2】

前記手順（ｂ）は、前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化して、前記ディープラーニングモデルを学習用教師データを用いて学習するとともに、学習後の前記ディープラーニングモデルによる前記入力データに基づく推定結果の前記正解データに対する前記ロスを算出して、前記ロスが最小になるときの前記値域を決定する、請求項１に記載のディープラーニングモデルの値域決定プログラム。

【請求項3】

前記手順（ｂ）は、
前記ディープラーニングモデルの所定の対象層の前記パラメーターの量子化における前記値域を仮設定する手順（ｂ１）と、
前記対象層の前記パラメーターを、前記手順（ｂ１）において仮設定された前記値域で量子化して、前記学習用教師データを用いて、前記対象層または指定した層を学習する手順（ｂ２）と、
前記手順（ｂ２）において学習された前記ディープラーニングモデルによる前記入力データに基づく推定結果の前記正解データに対する前記ロスを算出する手順（ｂ３）と、
前記仮設定した前記値域を順次変えて、前記手順（ｂ２）および前記手順（ｂ３）を実行して、前記仮設定した前記値域の中で、前記手順（ｂ３）において算出された前記ロスが最小になるときの前記値域を決定する手順（ｂ４）と、
を有する、請求項２に記載のディープラーニングモデルの値域決定プログラム。

【請求項4】

前記手順（ｂ）は、
前記対象層の１層下層を新たな対象層として、前記手順（ｂ１）～前記手順（ｂ４）を実行して、前記新たな対象層の前記パラメーターの値域を決定する手順（ｂ５）と、
前記手順（ｂ５）を、前記新たな対象層が最下層となるまで実行する手順（ｂ６）と、
をさらに有する、請求項３に記載のディープラーニングモデルの値域決定プログラム。

【請求項5】

前記（ｂ１）における前記対象層の初期値は最上層である、請求項４に記載のディープラーニングモデルの値域決定プログラム。

【請求項6】

前記（ｂ１）における前記対象層の初期値は最上層以外の層である、請求項４に記載のディープラーニングモデルの値域決定プログラム。

【請求項7】

前記ディープラーニングモデルの各層の前記パラメーターは、ｗｅｉｇｈｔ、およびｂｉａｓを含み、
前記手順（ｂ２）は、
前記ｂｉａｓを固定して、前記ｗｅｉｇｈｔを学習する手順（ｂ２１）と、
前記ｗｅｉｇｈｔを固定して、前記ｂｉａｓを学習する手順（ｂ２２）と、
を有する、請求項３～６のいずれか一項に記載のディープラーニングモデルの値域決定プログラム。

【請求項8】

前記ディープラーニングモデルの各層の前記パラメーターは、ｗｅｉｇｈｔ、ｂｉａｓ、およびｏｕｔｐｕｔを含み、
前記手順（ｂ４）は、前記ｂｉａｓの前記値域を、前記ｂｉａｓの層と同じ層の前記ｗｅｉｇｈｔの前記値域と、前記ｂｉａｓの層の１層上層の前記ｏｕｔｐｕｔの前記値域とに基づいて算出する、請求項３～７のいずれか一項に記載のディープラーニングモデルの値域決定プログラム。

【請求項9】

畳み込み層の下層がｒｅｌｕ層である前記ディープラーニングモデルの場合、前記手順（ｂ４）は、前記畳み込み層の前記値域を前記ｒｅｌｕ層の前記値域と同一にする、請求項３～８のいずれか一項に記載のディープラーニングモデルの値域決定プログラム。

【請求項10】

ディープラーニングモデルのパラメーターの量子化における値域を決定するシステムであって、
入力データと、前記入力データに対応する正解データとを取得する取得部と、
前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する演算部と、
を有するディープラーニングモデルの値域決定システム。

【請求項11】

ディープラーニングモデルのパラメーターの量子化における値域を、値域決定システムにより決定する方法であって、
入力データと、前記入力データに対応する正解データとを取得する段階（ａ）と、
前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する段階（ｂ）と、
を有するディープラーニングモデルの値域決定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法に関する。

【背景技術】

【0002】

近年、身近な様々な装置等にＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を導入しようとするエッジコンピューティング技術が開発されている。

【0003】

エッジコンピューティング技術では、低コストおよび低消費電力等が要求されるため、高速かつ小規模な回路で演算可能な量子化ディープラーニングモデルが注目されている。

【0004】

量子化ディープラーニングモデルは、通常のディープラーニングモデルにおいて１６～３２ビットの浮動小数点で表現されるパラメーターを、８ビット以下の固定小数点に変換する量子化により軽量化されている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、量子化ディープラーニングモデルによる推定精度は、パラメーターの量子化により低下する可能性があり、また値域の設定の仕方により比較的大きく変化する。このため、推定精度の低下を抑止しつつ各層ごとの値域を設定してパラメーターを量子化することが困難であるという問題がある。

【0006】

本発明は、このような問題を解決するためになされたものである。すなわち、パラメーターの量子化により、高精度かつ軽量な量子化ディープラーニングモデルが得られる、ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の上記課題は、以下の手段によって解決される。

【0008】

（１）ディープラーニングモデルのパラメーターの量子化における値域を決定するプログラムであって、入力データと、前記入力データに対応する正解データとを取得する手順（ａ）と、前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する手順（ｂ）と、を有する処理を、コンピューターに実行させるためのディープラーニングモデルの値域決定プログラム。

【0009】

（２）前記手順（ｂ）は、前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化して、前記ディープラーニングモデルを学習用教師データを用いて学習するとともに、学習後の前記ディープラーニングモデルによる前記入力データに基づく推定結果の前記正解データに対する前記ロスを算出して、前記ロスが最小になるときの前記値域を決定する、上記（１）に記載のディープラーニングモデルの値域決定プログラム。

【0010】

（３）前記手順（ｂ）は、前記ディープラーニングモデルの所定の対象層の前記パラメーターの量子化における前記値域を仮設定する手順（ｂ１）と、前記対象層の前記パラメーターを、前記手順（ｂ１）において仮設定された前記値域で量子化して、前記学習用教師データを用いて、前記対象層または指定した層を学習する手順（ｂ２）と、前記手順（ｂ２）において学習された前記ディープラーニングモデルによる前記入力データに基づく推定結果の前記正解データに対する前記ロスを算出する手順（ｂ３）と、前記仮設定した前記値域を順次変えて、前記手順（ｂ２）および前記手順（ｂ３）を実行して、前記仮設定した前記値域の中で、前記手順（ｂ３）において算出された前記ロスが最小になるときの前記値域を決定する手順（ｂ４）と、を有する、上記（２）に記載のディープラーニングモデルの値域決定プログラム。

【0011】

（４）前記手順（ｂ）は、前記対象層の１層下層を新たな対象層として、前記手順（ｂ１）～前記手順（ｂ４）を実行して、前記新たな対象層の前記パラメーターの値域を決定する手順（ｂ５）と、前記手順（ｂ５）を、前記新たな対象層が最下層となるまで実行する手順（ｂ６）と、をさらに有する、上記（３）に記載のディープラーニングモデルの値域決定プログラム。

【0012】

（５）前記（ｂ１）における前記対象層の初期値は最上層である、上記（４）に記載のディープラーニングモデルの値域決定プログラム。

【0013】

（６）前記（ｂ１）における前記対象層の初期値は最上層以外の層である、上記（４）に記載のディープラーニングモデルの値域決定プログラム。

【0014】

（７）前記ディープラーニングモデルの各層の前記パラメーターは、ｗｅｉｇｈｔ、およびｂｉａｓを含み、前記手順（ｂ２）は、前記ｂｉａｓを固定して、前記ｗｅｉｇｈｔを学習する手順（ｂ２１）と、前記ｗｅｉｇｈｔを固定して、前記ｂｉａｓを学習する手順（ｂ２２）と、を有する、上記（３）～（６）のいずれかに記載のディープラーニングモデルの値域決定プログラム。

【0015】

（８）前記ディープラーニングモデルの各層の前記パラメーターは、ｗｅｉｇｈｔ、ｂｉａｓ、およびｏｕｔｐｕｔを含み、前記手順（ｂ４）は、前記ｂｉａｓの前記値域を、前記ｂｉａｓの層と同じ層の前記ｗｅｉｇｈｔの前記値域と、前記ｂｉａｓの層の１層上層の前記ｏｕｔｐｕｔの前記値域とに基づいて算出する、上記（３）～（７）のいずれかに記載のディープラーニングモデルの値域決定プログラム。

【0016】

（９）畳み込み層の下層がｒｅｌｕ層である前記ディープラーニングモデルの場合、前記手順（ｂ４）は、前記畳み込み層の前記値域を前記ｒｅｌｕ層の前記値域と同一にする、上記（３）～（８）のいずれかに記載のディープラーニングモデルの値域決定プログラム。

【0017】

（１０）ディープラーニングモデルのパラメーターの量子化における値域を決定するシステムであって、入力データと、前記入力データに対応する正解データとを取得する取得部と、前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する演算部と、を有するディープラーニングモデルの値域決定システム。

【0018】

（１１）ディープラーニングモデルのパラメーターの量子化における値域を、値域決定システムにより決定する方法であって、入力データと、前記入力データに対応する正解データとを取得する段階（ａ）と、前記パラメーターの量子化における前記値域を順次変えて、前記パラメーターを量子化するとともに、前記入力データに基づく前記ディープラーニングモデルによる推定結果の前記正解データに対するロスを算出して、前記ロスが最小になるときの前記値域を決定する段階（ｂ）と、を有するディープラーニングモデルの値域決定方法。

【発明の効果】

【0019】

ディープラーニングモデルのパラメーターの量子化における値域を順次変えて、パラメーターを量子化するとともに、入力データに基づくディープラーニングモデルによる推定結果の正解データに対するロスを算出して、ロスが最小になるときの値域を決定する。これにより、パラメーターの量子化によって、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【図面の簡単な説明】

【0020】

【図1】ディープラーニングモデルの値域決定システムの概略構成を示す図である。

【図2】値域決定装置のハードウェア構成を示すブロック図である。

【図3】値域決定装置の制御部の機能の例を示すブロック図である。

【図4】入力画像を示す説明図である。

【図5】関節点を示す説明図である。

【図6】順次仮設定される、モデルパラメーターの量子化における値域を説明するための説明図である。

【図7】ディープラーニングモデルの層ごとに、モデルパラメーターの量子化における値域が決定される推移を示す説明図である。

【図8】値域決定装置の制御部の機能の他の例を示すブロック図である。

【図9】値域決定装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して、本発明の実施形態に係る、ディープラーニングモデルの値域決定プログラム、値域決定システム、および値域決定方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0022】

図１は、実施形態に係る、ディープラーニングモデルの値域決定システム１０の概略構成を示す図である。

【0023】

値域決定システム１０は、値域決定装置１００、撮影装置２００、および通信ネットワーク３００を備える。値域決定装置１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。本明細書において、物体とは、値域決定装置１００の推定部１１２（図３、図８参照）により位置または部分位置が推定される対象の物体である。物体には複数のカテゴリーが含まれ得る。カテゴリーとは物体の種別であり、人、犬、猫等が含まれる。以下、説明を簡単にするために、物体は対象者５００（すなわち、「人」）であるものとして説明する。値域決定装置１００は、値域決定装置１００に入力される画像（以下、単に「入力画像２５０」とも称する）における物体の位置または部分位置を推定する、推定部１１２のディープラーニングモデルのパラメーター（以下、「モデルパラメーター」とも称する）の量子化における値域を決定する。入力画像２５０は、撮影装置２００で撮影された画像であり得る。入力画像２５０は入力データを構成する。量子化とは、例えば、１６～３２ビットの浮動小数点で表現されたモデルパラメーターを、８ビット以下の固定小数点に変換することをいう。以下、説明を簡単にするために、３２ビットの浮動小数点で表現されたモデルパラメーターを、８ビットの固定小数点で表現可能な値に変換することが量子化であるものとして説明する。例えば、量子化後の値は、８ビットの固定小数点で表現可能な値であれば、８ビットより高ビットの浮動小数点で表現された値であってもよい。また、予め学習されることで、３２ビットの浮動小数点で表現されたモデルパラメーターが、量子化により、８ビットの固定小数点で表現可能なモデルパラメーターに変換されることを前提に説明する。モデルパラメーターには、ディープラーニングモデルの各層のｉｎｐｕｔ、ｗｅｉｇｈｔ、ｂｉａｓ、およびｏｕｔｐｕｔが含まれる。また、説明を簡単にするために、値域決定装置１００の推定部１１２は、物体の部分位置の例である、対象者５００の関節点２５１の位置を、入力画像２５０上の座標として推定する場合を例に説明する。以下、関節点２５１等の位置を、単に関節点２５１等とも称する。

【0024】

値域決定装置１００は、撮影装置２００と一体化されることで、撮影装置２００に包含され得る。

【0025】

撮影装置２００は、例えば、対象者５００の居室の天井もしくは壁の上部に配置され、または店舗等の天井もしくは壁の上部に配置される。撮影装置２００は、所定の撮影範囲を、対象者５００を俯瞰可能な位置から撮影し、入力画像２５０（画像データ）を出力する。入力画像２５０には対象者５００を含む画像が含まれる。撮影装置２００には、広角カメラが含まれる。撮影装置２００は、例えば１５ｆｐｓ～３０ｆｐｓのフレームレートの動画の入力画像２５０として撮影領域を撮影し得る。入力画像２５０は動画と静止画とを含む。入力画像２５０は、例えば、白黒画像で、１２８ピクセル×１２８ピクセルの画像であり得る。入力画像２５０は、カラー画像であってもよい。撮影装置２００は、入力画像２５０を値域決定装置１００等へ送信する。

【0026】

通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。

【0027】

図２は、値域決定装置１００のハードウェア構成を示すブロック図である。値域決定装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を備える。これらの構成要素は、バス１６０を介して相互に接続される。値域決定装置１００は、コンピューターにより構成され得る。

【0028】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、プログラムに従って、値域決定装置１００の各部の制御および演算処理を行う。制御部１１０の作用の詳細については後述する。

【0029】

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

【0030】

表示部１３０は、例えば液晶ディスプレイであり、各種情報を表示する。

【0031】

入力部１４０は、例えばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。

【0032】

通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。

【0033】

制御部１１０の作用の詳細について説明する。

【0034】

図３は、値域決定装置１００の制御部１１０の機能の例を示すブロック図である。制御部１１０は、取得部１１１、推定部１１２、値域仮設定部１１３、ロス算出部１１４、および値域決定部１１５として機能する。推定部１１２は、ニューラルネットワークである、ディープラーニングモデルを用いて構成され得る。推定部１１２、値域仮設定部１１３、ロス算出部１１４、および値域決定部１１５は、演算部を構成する。

【0035】

取得部１１１は、入力画像２５０と、当該入力画像２５０に対応する、関節点２５１の正解データを取得する。

【0036】

図４は、入力画像２５０を示す説明図である。図５は、関節点２５１を示す説明図である。

【0037】

図４の入力画像２５０の例においては、入力画像２５０に対象者５００の画像が含まれている。

【0038】

図５の関節点２５１の例においては、１４個の関節点が示されている。関節点２５１には、例えば、右足首、右膝、右腰、左腰、左膝、左足首、右手首、右肘、右肩、左手首、左肘、左肩、首、および頭部の各関節点２５１が含まれる。

【0039】

推定部１１２は、値域仮設定部１１３により仮設定された値域で、３２ビットの浮動小数点で表現されたモデルパラメーターを、８ビットの固定小数点で表現可能な値にすることで量子化する。後述するように、値域仮設定部１１３は異なる値域を順次仮設定する。推定部１１２は、値域仮設定部１１３により順次仮設定された各値域で、モデルパラメーターを順次量子化する。なお、量子化される前の、３２ビットの浮動小数点で表現されたモデルパラメーターは、比較的高機能なコンピューターにより、大量の教師データ（画像と当該画像に対応した正解データとの組合せ）を用いて、予め学習されることで生成されたモデルパラメーターであり得る。

【0040】

推定部１１２は、値域仮設定部１１３により、ディープラーニングモデルの層ごとに仮設定された値域で、当該層ごとにモデルパラメーターを量子化し得る。推定部１１２は、値域仮設定部１１３により、ディープラーニングモデルのモデルパラメーターごとに仮設定された値域で、当該モデルパラメーターごとにモデルパラメーターを量子化してもよい。以下、説明を簡単にするために、推定部１１２は、ディープラーニングモデルの層ごとに仮設定された値域で、当該層ごとにモデルパラメーターを量子化するものとして説明する。

【0041】

推定部１１２は、値域仮設定部１１３により仮設定された値域でモデルパラメーターをディープラーニングモデルの層ごとに量子化するとともに、入力画像２５０に基づいてディープラーニングモデルにより関節点２５１を推定する。

【0042】

値域仮設定部１１３は、モデルパラメーターの量子化における値域を、順次変えて仮設定する。

【0043】

図６は、順次仮設定される、モデルパラメーターの量子化における値域を説明するための説明図である。図６の各グラフの横軸はモデルパラメーターの値を示しており、縦軸は頻度を示している。縦軸の頻度は、ディープラーニングモデルの学習時にモデルパラメーターがとった値の頻度である。

【0044】

図６において、破線で示す２^ｎ、２^ｎ－１、２^ｎ－２は値域（より詳細には値域の上限）を表す。例えば、８ビットの固定小数点の表現では指数ｎは８であり、値域２^ｎは２５６（１０進数）＝１１１１１１１１（２進数）である。値域２^ｎでは、例えば、－１２８～１２７（１０進数）の値を、１（１０進数）＝１（２進数）刻みで表現できる。値域２^ｎ－１では、例えば、－６４～６３．５（１０進数）の値を、０．５（１０進数）＝０．１（２進数）刻みで表現できる。従って、値域を大きくするとモデルパラメーターがとり得る値の幅を大きくできるが、量子化誤差が大きくなる。逆に、値域を小さくするとモデルパラメーターがとり得る値の幅が小さくなるが、量子化誤差が小さくなる。

【0045】

図６の例に示すように、値域仮設定部１１３は、モデルパラメーターの量子化における値域を、２^ｎ、２^ｎ－１、２^ｎ－２の順で順次仮設定し得る。

【0046】

ロス算出部１１４は、推定部１１２による、入力画像２５０に基づく関節点２５１の推定結果の、正解データに対するロスを算出する。ロスは、例えば、すべての関節点２５１について算出した、関節点２５１と正解データとの差分（距離）の２乗平均とし得る。ロス算出部１１４は、ディープラーニングモデルの層ごとに、仮設定された値域におけるロスを算出する。

【0047】

値域決定部１１５は、ディープラーニングモデルの層ごとに、ロス算出部１１４により算出されたロスが最小になるときの値域を決定し、記憶部１２０に値域のパラメーターとして記憶させる。

【0048】

図７は、ディープラーニングモデルの層ごとに、モデルパラメーターの量子化における値域が決定される推移を示す説明図である。

【0049】

図７の左側の図は、ディープラーニングモデルの最上層であるＬａｙｅｒ１について量子化され、値域が決定された状態が示されている。右側の図は、ディープラーニングモデルの最上層であるＬａｙｅｒ１について量子化され、値域が決定された後、最上層に対し１層下層であるＬａｙｅｒ２について量子化され、値域が決定された状態が示されている。このように、ディープラーニングモデルは、最上層から最下層に向かって、１層づつ、量子化され、値域が決定され得る。この際、下層の量子化は、上層の量子化が実行された状態で実行される。

【0050】

ディープラーニングモデルは、所定の対象層についてのみ、量子化され、値域が決定されてもよい。所定の対象層は複数の対象層であってもよい。また、入力部１４０からユーザーにより入力されること等により設定された対象層についてのみ、量子化され、値域が決定されてもよい。

【0051】

ディープラーニングモデルは、所定の対象層から最下層に向かって、１層づつ、量子化され、値域が決定されてもよい。この場合、所定の対象層は、ディープラーニングモデルの最上層であってもよく、最上層以外の層であってもよい。すなわち、所定の対象層の初期値は最上層であってもよく、最上層以外の層であってもよい。

【0052】

値域決定部１１５は、モデルパラメーターであるｂｉａｓの値域を、ｂｉａｓの層と同一層のｗｅｉｇｈｔの値域と、当該ｂｉａｓの層の１層上層のｏｕｔｐｕｔの値域とに基づいて算出（決定）し得る。

【0053】

ディープラーニングモデルが、畳み込み層の下層がｒｅｌｕ層である場合、値域決定部１１５は、畳み込み層の値域をｒｅｌｕ層の値域と同一の値域に決定し得る。

【0054】

図８は、値域決定装置１００の制御部１１０の機能の他の例を示すブロック図である。制御部１１０は、取得部１１１、推定部１１２、値域仮設定部１１３、ロス算出部１１４、値域決定部１１５、および学習用ロス算出部１１６として機能し得る。

【0055】

取得部１１１は、入力画像２５０と、当該入力画像２５０に対応する、関節点２５１の正解データを取得する。取得部１１１は、さらに、学習用入力画像と、当該学習用入力画像に対応する、関節点２５１の学習用正解データを取得する。なお、ディープラーニングモデルの過学習を防止するため、学習用入力画像および学習用正解データは、それぞれ入力画像２５０および正解データとは異なるものを用いることが好ましい。学習用入力画像および学習用正解データは、それぞれ入力画像２５０および正解データと同じものを用いてもよい。学習用入力画像と学習用正解データの組合せは、学習用教師データを構成する。

【0056】

推定部１１２は、値域仮設定部１１３により仮設定された値域で、３２ビットの浮動小数点で表現されたモデルパラメーターを、８ビットの固定小数点で表現可能な値にすることで量子化する。推定部１１２は、値域仮設定部１１３によりディープラーニングモデルの層ごとに仮設定された各値域で、モデルパラメーターを順次量子化して、ディープラーニングモデルを、学習用教師データを用いて、以下のように学習する。

【0057】

学習用ロス算出部１１６は、推定部１１２による、学習用入力画像に基づく関節点２５１の推定結果の、学習用正解データに対する学習用ロスを算出する。学習用ロスは、関節点２５１と学習用正解データとの差分（距離）であり、関節点２５１ごとに算出される。学習用ロス算出部１１６は、ディープラーニングモデルの層ごとに、仮設定された値域における学習用ロスを算出する。

【0058】

推定部１１２は、学習用ロス算出部１１６により関節点２５１ごとに算出された学習用ロスがそれぞれ０になるように、バックプロパゲーションによりディープラーニングモデルを学習する。

【0059】

推定部１１２は、値域仮設定部１１３により仮設定された値域でモデルパラメーターをディープラーニングモデルの層ごとに量子化して、当該ディープラーニングモデルを学習用教師データを用いて学習する（すなわち、当該ディープラーニングモデルのすべての層を学習する）とともに、学習後のディープラーニングモデルにより、入力画像２５０に基づいて関節点２５１を推定する。これにより、ディープラーニングモデルの層ごとの量子化の際に、層ごとにモデルパラメーターがファインチューニングされる。なお、推定部１１２は、値域仮設定部１１３により仮設定された値域でモデルパラメーターをディープラーニングモデルの層ごとに量子化して、量子化した層ごとに学習（モデルパラメーターの更新）をしてもよい。すなわち、所定の層ごとに量子化および学習をしてもよい。この場合、所定の層以外の層は、モデルパラメーターの更新をしないようにして学習する。

【0060】

値域仮設定部１１３は、モデルパラメーターの量子化における値域を、順次変えて仮設定する。

【0061】

ロス算出部１１４は、推定部１１２による、入力画像２５０に基づく関節点２５１の推定結果の、正解データに対するロスを算出する。ロスは、例えば、すべての関節点２５１について算出した、関節点２５１と正解データとの差分（距離）の２乗平均とし得る。ロス算出部１１４は、ディープラーニングモデルの層ごとに、仮設定された値域におけるロスを算出する。

【0062】

値域決定部１１５は、ディープラーニングモデルの層ごとに、ロス算出部１１４により算出されたロスが最小になるときの値域を決定する。

【0063】

ディープラーニングモデルは、所定の対象層についてのみ、量子化および学習され、値域が決定されてもよい。

【0064】

ディープラーニングモデルは、所定の対象層から最下層に向かって、１層づつ、量子化および学習され、値域が決定されてもよい。この場合、所定の対象層は、ディープラーニングモデルの最上層であってもよく、最上層以外の層であってもよい。すなわち、所定の対象層の初期値は最上層であってもよく、最上層以外の層であってもよい。

【0065】

ディープラーニングモデルの層ごとの学習は、次の順番で行い得る。ｂｉａｓのモデルパラメーターを固定して、ｗｅｉｇｈｔを学習する。その後、ｗｅｉｇｈｔを固定して、ｂｉａｓを学習する。

【0066】

このようにモデルパラメーターの値域が決定されるとともに学習された推定部１１２により、入力画像２５０に基づいて、関節点２５１が高精度に検出される。この際、推定部１１２は、記憶部１２０に記憶された学習後のモデルパラメーターをディープラーニングモデルに反映して関節点２５１を推定する。また、推定部１１２は、記憶部１２０に記憶された、層ごとの値域のパラメーターを読み出して、当該値域のパラメーターに基づいて、層ごとにモデルパラメーターを量子化する。

【0067】

値域決定装置１００の動作について説明する。

【0068】

図９は、値域決定装置１００の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムに従い、制御部１１０により実行される。

【0069】

制御部１１０は、入力画像２５０と、当該入力画像２５０に対応する、関節点２５１の正解データを取得する（Ｓ１０１）。制御部１１０は、入力画像２５０と、関節点２５１の正解データを、記憶部１２０から読み出すことにより取得し得る。制御部１１０は、入力画像２５０と、関節点２５１の正解データを、通信部１５０により受信することで取得してもよい。

【0070】

制御部１１０は、ディープラーニングモデルの対象層の量子化における値域を仮設定する（Ｓ１０２）。

【0071】

制御部１１０は、仮設定された値域で量子化したモデルパラメーターで、学習用教師データを用いて対象層を学習する（Ｓ１０３）。

【0072】

制御部１１０は、学習後のディープラーニングモデルで、入力画像から関節点２５１を推定する（Ｓ１０４）。

【0073】

制御部１１０は、推定された関節点２５１の、正解データに対するロスを算出する（Ｓ１０５）。

【0074】

制御部１１０は、すべての値域についてロスを算出したかどうか判断する（Ｓ１０６）。制御部１１０は、すべての値域についてロスを算出したと判断した場合は（Ｓ１０６：ＹＥＳ）、ステップＳ１０７を実行する。制御部１１０は、すべての値域についてロスを算出していないと判断した場合は（Ｓ１０６：ＮＯ）、ステップＳ１０２を実行する。

【0075】

制御部１１０は、ロスが最小となったときの仮設定された値域を、対象層の値域として決定する（Ｓ１０７）。

【0076】

制御部１１０は、ディープラーニングモデルのすべての層について値域を決定したかどうか判断する（Ｓ１０８）。制御部１１０は、ディープラーニングモデルのすべての層について値域を決定したと判断した場合は（Ｓ１０８：ＹＥＳ）、処理を終了する。制御部１１０は、ディープラーニングモデルのすべての層について値域を決定していないと判断した場合は（Ｓ１０８：ＮＯ）、対象層を１層下層にして、ステップＳ１０２～ステップＳ１０７を実行する。

【0077】

本実施形態は、以下の効果を奏する。

【0078】

ディープラーニングモデルのパラメーターの量子化における値域を順次変えて、パラメーターを量子化するとともに、入力データに基づくディープラーニングモデルによる推定結果の正解データに対するロスを算出して、ロスが最小になるときの値域を決定する。これにより、パラメーターの量子化によって、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0079】

さらに、モデルパラメーターの量子化における値域を順次変えて、パラメーターを量子化して、ディープラーニングモデルを学習用教師データを用いて学習するとともに、学習後のディープラーニングモデルによる入力データに基づく推定結果の正解データに対するロスを算出して、ロスが最小になるときの値域を決定する。これにより、量子化ディープラーニングモデルによる推定精度をより向上できる。

【0080】

さらに、所定の対象層について、ディープラーニングモデルのパラメーターの量子化における値域を順次変えて、パラメーターを量子化して、対象層または指定した層を学習するとともに、入力データに基づくディープラーニングモデルによる推定結果の正解データに対するロスを算出して、ロスが最小になるときの値域を決定する。これにより、より簡単かつ柔軟に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0081】

さらに、所定の対象層から最下層に向かって１層ごとに、ディープラーニングモデルのパラメーターの量子化における値域を順次変えて、パラメーターを量子化するとともに、入力データに基づくディープラーニングモデルによる推定結果の正解データに対するロスを算出して、ロスが最小になるときの値域を決定する。これにより、ディープラーニングモデル下層にて上層の量子化誤差が吸収されるため、より効果的に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0082】

さらに、対象層の初期値を最上層とする。これにより、さらに効果的に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0083】

さらに、対象層の初期値を最上層以外の層とする。これにより、効果的かつ柔軟に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0084】

さらに、ディープラーニングモデルの層ごとの学習を、次の順番で行う。ｂｉａｓのモデルパラメーターを固定して、ｗｅｉｇｈｔを学習する。その後、ｗｅｉｇｈｔを固定してｂｉａｓを学習する。これにより、量子化ディープラーニングモデルによる推定精度をさらに向上できる。

【0085】

さらに、ｂｉａｓの値域を、当該ｂｉａｓの層と同じ層のｗｅｉｇｈｔの値域と、ｂｉａｓの層の１層上層のｏｕｔｐｕｔの値域とに基づいて算出する。これにより、既存のハードウェア構成を変えることなく、より簡単に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0086】

さらに、畳み込み層の下層がｒｅｌｕ層であるディープラーニングモデルの場合、畳み込み層の値域を当該ｒｅｌｕ層の値域と同一にする。これにより、特定の場合に、より簡単に、高精度かつ軽量な量子化ディープラーニングモデルを得ることができる。

【0087】

以上に説明した、ディープラーニングモデルの値域決定プログラム、値域決定システム１０、および値域決定方法の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な位置推定システムおよび値域決定装置が備える構成を排除するものではない。

【0088】

例えば、値域決定装置１００が有する機能を、コンピューターを内蔵する撮影装置２００が備えるようにしてもよい。

【0089】

また、値域決定装置１００、および撮影装置２００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。

【0090】

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

【0091】

また、実施形態においては、３２ビットの浮動小数点で表現されたモデルパラメーターを、８ビットの固定小数点に変換することを量子化の例として説明したが、量子化には、３２ビットの浮動小数点で表現されたモデルパラメーターを、３２ビット未満の浮動小数点に変換すること等も含まれる。

【0092】

また、上述した値域決定システム１０、値域決定装置１００における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその撮影装置等の装置のソフトウエアに組み込まれてもよい。

【0093】

本出願は、２０２０年８月６日に出願された日本特許出願（特願２０２０－１３３９７２号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

【符号の説明】

【0094】

１０ 値域決定システム、
１００ 値域決定装置、
１１０ 制御部、
１１１ 取得部、
１１２ 推定部、
１１３ 値域仮設定部、
１１４ ロス算出部、
１１５ 値域決定部、
１１６ 学習用ロス算出部、
１２０ 記憶部、
１３０ 通信部、
１４０ 入力部、
１５０ 通信部、
２００ 撮影装置、
２５０ 入力画像、
２５１ 関節点、
５００ 対象者。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】