特許 7194284 量子化モデルの最適化方法、装置、情報推薦方法、装置、ニューラルネットワークモデルの最適化方法、装置、電子機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-13

(45)【発行日】2022-12-21

(54)【発明の名称】量子化モデルの最適化方法、装置、情報推薦方法、装置、ニューラルネットワークモデルの最適化方法、装置、電子機器及びコンピュータプログラム

(51)【国際特許分類】

   G06N 3/08 20060101AFI20221214BHJP

【ＦＩ】

G06N3/08

【請求項の数】 20

(21)【出願番号】P 2021533463

(86)(22)【出願日】2020-05-11

(65)【公表番号】

(43)【公表日】2022-07-08

(86)【国際出願番号】 CN2020089543

(87)【国際公開番号】W WO2020228655

(87)【国際公開日】2020-11-19

【審査請求日】2021-06-22

(31)【優先権主張番号】201910390616.7

(32)【優先日】2019-05-10

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ユアン，イ

(72)【発明者】

【氏名】マオ，ジチョン

(72)【発明者】

【氏名】ワン，ヨンジョアン

(72)【発明者】

【氏名】シュイ，ユィホォイ

【審査官】多賀 実

(56)【参考文献】

【文献】中国特許出願公開第１０５７８６８３０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

電子機器に適用される量子化モデルの最適化方法であって、
訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定するステップであって、前記量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルであるステップと、
各ジャンプレイシオに基づいて、前記所定時間範囲内のジャンプ曲線を決定し、前記ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得するステップと、
前記タイムスケールパラメータに基づいて前記量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、前記ターゲット最適化アルゴリズムに基づいて前記量子化モデルを訓練するステップと、を含む、量子化モデルの最適化方法。

【請求項2】

埋め込み層パラメータの量子化処理は、埋め込み層パラメータのＮ（Ｎは１より大きい整数である）値化の量子化処理を含む、請求項１に記載の方法。

【請求項3】

訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定する前記ステップは、
前記埋め込み層パラメータの前記所定時間範囲内の各所定時間区間でのパラメータジャンプがそれぞれ対応するジャンプレイシオを決定するステップを含み、
前記埋め込み層パラメータのいずれかの所定時間区間内でのパラメータジャンプのジャンプレイシオを決定するステップは、
前記いずれかの所定時間区間での埋め込み層パラメータがこのいずれかの所定時間の直前の所定時間区間での埋め込み層パラメータに対して、ジャンプしたパラメータの数を決定するステップと、
前記パラメータの数及び前記埋め込み層パラメータの総数量に基づいて、前記埋め込み層パラメータの前記いずれかの所定時間区間でのパラメータジャンプのジャンプレイシオを決定するステップと、を含む、請求項１又は２に記載の方法。

【請求項4】

前記ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得するステップは、
前記ジャンプ曲線の曲線タイプを決定し、前記曲線タイプに対応するフィッティング関数を決定するステップと、
前記フィッティング関数に基づいて、前記ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得するステップと、を含む、請求項１に記載の方法。

【請求項5】

前記タイムスケールパラメータに基づいて前記量子化モデルのオリジナル最適化アルゴリズムを最適化するステップは、
前記タイムスケールパラメータに基づいて、前記オリジナル最適化アルゴリズムにおける学習率パラメータを最適化するステップを含む、請求項１に記載の方法。

【請求項6】

前記タイムスケールパラメータに基づいて、前記オリジナル最適化アルゴリズムにおける学習率パラメータを最適化するステップは、
前記オリジナル最適化アルゴリズムにおける学習率パラメータを前記学習率パラメータと前記タイムスケールパラメータとの積に更新するステップを含む、請求項５に記載の方法。

【請求項7】

前記量子化モデルを訓練するステップは、
前記量子化モデルの収束速度が所定の速度閾値より小さい場合、前記タイムスケールパラメータを大きくするステップと、
前記量子化モデルの精度が所定の精度閾値より小さい場合、前記タイムスケールパラメータを小さくするステップと、を含む、請求項１に記載の方法。

【請求項8】

電子機器に適用される、最適化後の量子化モデルに基づく情報推薦方法であって、
所定時間帯内のユーザ行動データを取得するステップと、
請求項１～請求項７のいずれかに記載の方法で獲得された最適化後の量子化モデルに基づいて、前記ユーザ行動データを学習し、前記ユーザ行動データに対応するユーザ行動特徴を決定するステップと、
前記ユーザ行動特徴に基づいて、ターゲット推薦情報を決定し、前記ターゲット推薦情報を推薦するステップと、を含む、情報推薦方法。

【請求項9】

電子機器に適用されるニューラルネットワークモデルの最適化方法であって、
ニューラルネットワークモデルのオリジナル学習率パラメータを決定するステップであって、前記ニューラルネットワークモデルは、前記量子化モデル又は前記量子化モデルの量子化前のオリジナルモデルであるステップと、
ジャンプレイシオに基づいて、前記ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定するステップであって、前記ジャンプレイシオは、請求項１～請求項７のいずれかに記載の方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオであるステップと、
前記信頼度に基づいて、前記オリジナル学習率パラメータを調整することで、前記ニューラルネットワークモデルを最適化するステップと、を含む、ニューラルネットワークモデルの最適化方法。

【請求項10】

前記信頼度に基づいて、前記オリジナル学習率パラメータを調整する前記ステップは、
信頼度が第１の所定の条件を満たす場合、前記オリジナル学習率パラメータを小さくするステップと、
信頼度が第２の所定の条件を満たす場合、前記オリジナル学習率パラメータを大きくするステップと、を含む、請求項９に記載の方法。

【請求項11】

訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定する第１の決定モジュールであって、前記量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルである第１の決定モジュールと、
各ジャンプレイシオに基づいて、前記所定時間範囲内のジャンプ曲線を決定し、前記ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する第１の処理モジュールと、
前記タイムスケールパラメータに基づいて前記量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、前記ターゲット最適化アルゴリズムに基づいて前記量子化モデルを訓練する第２の処理モジュールと、を含む、量子化モデルの最適化装置。

【請求項12】

前記第１の決定モジュールは、
前記埋め込み層パラメータの前記所定時間範囲内での各所定時間区間に対して、
いずれかの所定時間区間の埋め込み層パラメータがこのいずれかの所定時間区間の直前の所定時間区間の埋め込み層パラメータに対して、ジャンプしたパラメータの数を決定し、
前記パラメータの数及び前記埋め込み層パラメータの総数量に基づいて、前記埋め込み層パラメータの前記所定時間区間でのパラメータジャンプのジャンプレイシオを決定するためのものである、請求項１１に記載の装置。

【請求項13】

前記第１の処理モジュールは、
前記ジャンプ曲線の曲線タイプを決定し、前記曲線タイプに対応するフィッティング関数を決定し、
前記フィッティング関数に基づいて、前記ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得するためのものである、請求項１１に記載の装置。

【請求項14】

前記第２の処理モジュールは、
前記タイムスケールパラメータに基づいて、前記オリジナル最適化アルゴリズムにおける学習率パラメータを最適化するためのものである、請求項１１に記載の装置。

【請求項15】

前記第２の処理モジュールは、
前記量子化モデルの収束速度が所定の速度閾値より小さい場合、前記タイムスケールパラメータを大きくし、
前記量子化モデルの精度が所定の精度閾値より小さい場合、前記タイムスケールパラメータを小さくするためのものである、請求項１１に記載の装置。

【請求項16】

最適化後の量子化モデルに基づく情報推薦装置であって、
所定時間帯内のユーザ行動データを取得する取得モジュールと、
請求項１～請求項７のいずれかに記載の方法で獲得された最適化後の量子化モデルに基づいて、前記ユーザ行動データを学習し、前記ユーザ行動データに対応するユーザ行動特徴を決定する第２の決定モジュールと、
前記ユーザ行動特徴に基づいて、ターゲット推薦情報を決定し、前記ターゲット推薦情報を推薦する推薦モジュールと、を含む、情報推薦装置。

【請求項17】

ニューラルネットワークモデルの最適化装置であって、
ニューラルネットワークモデルのオリジナル学習率パラメータを決定する第３の決定モジュールであって、前記ニューラルネットワークモデルは、前記量子化モデル又は前記量子化モデルの量子化前のオリジナルモデルである第３の決定モジュールと、
ジャンプレイシオに基づいて、前記ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定する第４の決定モジュールであって、前記ジャンプレイシオは、請求項１～請求項７のいずれかに記載の方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである第４の決定モジュールと、
前記信頼度に基づいて、前記オリジナル学習率パラメータを調整することで、前記ニューラルネットワークモデルを最適化する最適化モジュールと、を含む、ニューラルネットワークモデルの最適化装置。

【請求項18】

前記最適化モジュールは、
信頼度が第１の所定の条件を満たす場合、前記オリジナル学習率パラメータを小さくし、
信頼度が第２の所定の条件を満たす場合、前記オリジナル学習率パラメータを大きくするためのものである、請求項１７に記載の装置。

【請求項19】

メモリと、プロセッサと、メモリに記憶されており、プロセッサにより実行されることができるコンピュータプログラムとを含む電子機器であって、
前記プロセッサが前記プログラムを実行すると、請求項１～請求項１０のいずれかに記載の方法を実現する電子機器。

【請求項20】

コンピュータプログラムであって、
プロセッサにより実行されると、請求項１～請求項１０のいずれかに記載の方法を実現する、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年５月１０日に中国特許庁に提出された、出願番号が２０１９１０３９０６１６．７であり、出願名称が「量子化モデルの最適化方法、装置、電子機器及びコンピュータ記憶媒体」である中国特許出願の優先権を主張し、その内容の全てが本願に引用にて組み込まれる。

【0002】

本願は、人工知能の機械学習の技術分野に関し、具体的には、量子化モデルの最適化方法、装置、電子機器及びコンピュータ記憶媒体に関する。

【背景技術】

【0003】

コンピュータ技術の発展に伴い、ニューラルネットワークモデルがますます広く注目されて適用されている。例えば、情報認識、推薦やユーザ行動予測などに適用されている。通常、ニューラルネットワークモデルにより推薦予測を行う前に、予め大量の訓練データを使用して、ニューラルネットワークモデルをオフラインで訓練する必要があり、それにより、ニューラルネットワークモデルをオンラインで実際に使用する際、訓練データ以外の、実際の適用シーンで生成されたデータに対して、推薦予測能力を持つようになることができる。

【0004】

従来、実際にオンラインで適用される際、ユーザ及び製品は、新しい職業の出現、新しい作品の生成などの新しい行動を生成し、これらの新しい行動は、データ上で、通常、新しいデータ特徴として表される。しかし、オフラインで訓練された後のニューラルネットワークモデルは、通常、それ自体のオリジナル最適化アルゴリズムにより、新しいデータ特徴を学習するので、学習能力が弱く、推薦予測の正確性が低いなどの問題を引き起こしてしまう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、上述の技術的欠陥の少なくとも１つを解決するために、以下の技術的思想を提供することを目的とする。

【課題を解決するための手段】

【0006】

各実施例は、
訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定するステップであって、量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルであるステップと、
各ジャンプレイシオに基づいて、所定時間範囲内のジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得するステップと、
タイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、ターゲット最適化アルゴリズムに基づいて量子化モデルを訓練するステップと、を含む、量子化モデルの最適化方法を提供する。

【0007】

各実施例は、
訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定する第１の決定モジュールであって、量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルである第１の決定モジュールと、
各ジャンプレイシオに基づいて、所定時間範囲内のジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する第１の処理モジュールと、
タイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、ターゲット最適化アルゴリズムに基づいて量子化モデルを訓練する第２の処理モジュールと、を含む、量子化モデルの最適化装置をさらに提供する。

【0008】

各実施例は、
所定時間帯内のユーザ行動データを取得するステップと、
上述の量子化モデルの最適化方法で獲得された最適化後の量子化モデルに基づいて、ユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定するステップと、
ユーザ行動特徴に基づいてターゲット推薦情報を決定し、ターゲット推薦情報を推薦するステップと、を含む、最適化後の量子化モデルに基づく情報推薦方法をさらに提供する。

【0009】

他の態様では、
所定時間帯内のユーザ行動データを取得する取得モジュールと、
上述の量子化モデルの最適化方法で獲得された最適化後の量子化モデルに基づいて、ユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定する第２の決定モジュールと、
ユーザ行動特徴に基づいてターゲット推薦情報を決定し、ターゲット推薦情報を推薦する推薦モジュールと、を含む、最適化後の量子化モデルに基づく情報推薦装置を提供する。

【0010】

また、各実施例は、
ニューラルネットワークモデルのオリジナル学習率パラメータを決定するステップであって、ニューラルネットワークモデルは、前記量子化モデル又は前記量子化モデルの量子化前のオリジナルモデルであるステップと、
ジャンプレイシオに基づいて、ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定するステップであって、ジャンプレイシオは、上述の量子化モデルの最適化方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオであるステップと、
信頼度に基づいてオリジナル学習率パラメータを調整することで、ニューラルネットワークモデルを最適化するステップと、を含む、ニューラルネットワークモデルの最適化方法を提供する。

【0011】

各実施例は、
ニューラルネットワークモデルのオリジナル学習率パラメータを決定する第３の決定モジュールであって、前記ニューラルネットワークモデルは、前記量子化モデル又は前記量子化モデルの量子化前のオリジナルモデルである第３の決定モジュールと、
ジャンプレイシオに基づいて、ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定する第４の決定モジュールであって、ジャンプレイシオは、上述の量子化モデルの最適化方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである第４の決定モジュールと、
信頼度に基づいてオリジナル学習率パラメータを調整することで、ニューラルネットワークモデルを最適化する最適化モジュールと、を含む、ニューラルネットワークモデルの最適化装置をさらに提供する。

【0012】

各実施例は、メモリと、プロセッサと、メモリに記憶されており、プロセッサにより実行されることができるコンピュータプログラムを含む電子機器であって、プロセッサが前記プログラムを実行すると、各実施例の方法を実現する、電子機器をさらに提供する。

【0013】

各実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、このプログラムがプロセッサにより実行されると、各実施例の方法を実現する、コンピュータ読み取り可能な記憶媒体をさらに提供する。

【発明の効果】

【0014】

本願の実施例による量子化モデルの最適化方法は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオが対応するジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行って獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化後のオリジナル最適化アルゴリズムに基づいて、量子化モデルを訓練し、それにより、オリジナル最適化アルゴリズムを最適化する際、時間パラメータを十分に配慮することで、量子化モデルがオンラインで適用される過程において、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンライン予測推薦を行う正確性を向上させる。

【0015】

本願の実施例による最適化後の量子化モデルに基づく情報推薦方法は、最適化後の量子化モデルに基づいて、取得した所定時間帯内のユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定し、ユーザ行動特徴に基づいてターゲット推薦情報を推薦することによって、最適化後の量子化モデルに基づく推薦システが所定時間帯内のユーザの具体的な行動データに基づいて、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0016】

本願の実施例によるニューラルネットワークモデルの最適化方法は、ジャンプレイシオの信頼度を決定し、信頼度に基づいてニューラルネットワークモデルの学習率パラメータを調整し、それにより、ニューラルネットワークモデルに対する最適化を実現することで、ニューラルネットワークモデルが新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【図面の簡単な説明】

【0017】

本願の上述の及び／又は付加的な側面及び利点は、下記の図面を参照した実施例についての説明により、明らかになり、理解しやすくなる。

【図1A】本願の実施例の適用シーンの模式図である。

【図1B】本願の実施例の量子化モデルの最適化方法の模式的なフローチャートである。

【図2】本願の実施例の所定時間範囲内での各ジャンプレイシオに対応するジャンプ曲線の模式図である。

【図3】本願の実施例の各期日の同じ所定時間区間のジャンプレイシオの曲線の模式図である。

【図4】本願の実施例のジャンプレイシオの曲線をフィッティングする模式図である。

【図5】本願の実施例のジャンプレイシオの曲線をフィッティングする他の模式図である。

【図6】本願の実施例の量子化モデルを最適化する模式的なプロセス図である。

【図7】本願の実施例のオリジナル最適化アルゴリズムと、ターゲット最適化アルゴリズムとの比較結果の模式図である。

【図8】本願の実施例の最適化後の量子化モデルに基づく情報推薦方法の模式的なフローチャートである。

【図9】本願の実施例のニューラルネットワークモデルの最適化方法の模式的なフローチャートである。

【図10】本願の実施例の量子化モデルの最適化装置の基本構成の模式図である。

【図11】本願の実施例の量子化モデルの最適化装置の詳細構成の模式図である。

【図12】本願の実施例の最適化後の量子化モデルに基づく情報推薦装置の基本構成の模式図である。

【図13】本願の実施例のニューラルネットワークモデルの最適化装置の基本構成の模式図である。

【図14】本願の実施例の電子機器の構成の模式図である。

【発明を実施するための形態】

【0018】

以下、本願の実施例について詳細に説明する。前記実施例の例は、図面に示され、一貫して同様又は類似の番号は、同一又は類似の素子，または、同一又は類似の機能を有する素子を示す。以下、図面を参照して説明される実施例は、例示的なものであり、本願を解釈するためのものに過ぎず、本願を制限するものとして解釈してはいけない。

【0019】

特に説明しない限り、ここで用いられる単数形態の「１」、「１つ」、「前記」及び「この」は複数の形態も含んでもよいことが当業者は理解できる。本願の明細書で用いられる用語の「含む」とは、前記特徴、整数、ステップ、動作、素子及び／又はコンポーネントの存在を意味するが、１つ又は複数の他の特徴、整数、ステップ、動作、素子、コンポーネント及び／又はそれらのグループの追加又は存在を排除しないことがさらに理解できる。素子が他の素子に「接続」又は「結合」されている場合、他の素子に直接接続される、又は、結合されてもよいし、或いは、中間素子が存在してもよいことが理解できる。また、ここで用いられる「接続」又は「結合」されていることは、無線で接続されている、又は、無線で結合されていることを含む。ここで用いられる用語の「及び／又は」は、関連してリストされる全て又はいずれかのユニット、及び全ての組合せを含む。

【0020】

以下、本願の目的、技術的思想及び利点をより明瞭にするために、図面を参照しながら本願の実施形態についてさらに詳細に説明する。

【0021】

本願による量子化モデルの最適化方法、装置、電子機器及びコンピュータ読み取り可能な記憶媒体は、従来技術の上述の技術課題を解決することを目的とする。

【0022】

以下の具体的な実施例により、本願の技術的思想及び本願の技術的思想が如何に上述の技術課題を解決するかについて詳細に説明する。以下、この一部の具体的な実施例は、互いに組み合わせることができ、同一又は類似の概念又はプロセスについて、一部の実施例においては説明を省略する可能性がある。以下、図面を参照しながら、本願の実施例について説明する。

【0023】

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータ又はデジタルコンピュータにより制御されるマシンを利用して、人間の知能をシミュレート、延伸及び拡張し、環境を感知し、知識を取得し、知識で最適な結果を取得する理論、方法、技術及び応用システムである。つまり、人工知能は、コンピュータ科学の統合技術であり、知能の実質を把握し、人間の知能に類似する方式で反応できる新たな知能マシンを生産することを目的としている。人工知能は、様々な知能マシンの設計原理及び実現方法を研究し、マシンに感知、推理及び決定する機能を具備するようにする。

【0024】

人工知能技術は、統合学科であり、関連する分野が広く、ハードウェア技術にも関わり、ソフトウェア技術にも関わる。人工知能の基礎技術は、一般的に、センサ、専用人工知能チップ、クラウドコンピューティング、分散型記憶、ビッグデータ処理技術、オペレーティング／インタラクティブシステム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などの複数の方面を含む。

【0025】

コンピュータビジョン技術（Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、ＣＶ）は、如何に機械に「見させる」かを研究する科学であり、さらに言えば、人の目の代わりに、ビデオカメラ及びコンピュータを用いてターゲットに対して認識、追跡、測定などの機械ビジョンを行い、さらにグラフィック処理を行い、人の目の観察又は機械検出に適する画像にコンピュータで処理することを指す。科学学科としては、コンピュータビジョンは、関連する理論及び技術を研究することで、画像又は多次元データから情報を取得できる人工知能システムを構築することを目的とする。コンピュータビジョン技術は、通常、画像処理、画像認識、画像セマンティクス理解、画像検索、ＯＣＲ、ビデオ処理、ビデオセマンティクス理解、ビデオコンテンツ／行動認識、三次元物体の再構築、３Ｄ技術、仮想現実、拡張現実、シンクロナス測位、地図構築などの技術を含み、一般的な顔認識、指紋認識などの生体的特徴の認識技術をさらに含む。

【0026】

音声技術（Ｓｐｅｅｃｈ Ｔｅｃｈｎｏｌｏｇｙ）のキー技術は、自動音声認識技術（ＡＳＲ）、音声合成技術（ＴＴＳ）及び声紋認識技術である。コンピュータが聞いたり、見たり、話したり、感じたりできるようにすることは、未来のヒューマンコンピュータインタラクションの発展方向であり、ここで、音声が将来的に最も有望なヒューマンコンピュータインタラクション方式の１つとなっている。

【0027】

自然言語処理（Ｎａｔｕｒｅ Ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）は、コンピュータ科学分野と人工知能分野での重要な部分である。自然言語処理は、人とコンピュータとが自然言語で効果的に通信することを実現できる様々な理論及び方法を研究するものである。自然言語処理は、言語学と、コンピュータ科学と、数学とを一体に統合する科学である。従って、この分野での研究は、自然言語、すなわち、人々が日常的に使用する言語に関わるため、言語学の研究と密接に関連している。自然言語処理技術は、通常、テキスト処理、セマンティクス理解、機械翻訳、ロボットＱ＆Ａ、知識スペクトルなどの技術を含む。

【0028】

機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ）は、複数の分野の交差学科であり、確率論、統計学、近似論、凸解析、アルゴリズム複雑度理論などの複数の学科に関する。コンピュータにどのように人間の学習行為をシミュレート又は実現し、新たな知識又はスキルを取得し、従来の知識構造を改めて組織して性能を改善させるかを専門に研究する。機械学習は、人工知能の核心であり、コンピュータに知能を具備するようにする基本的な方法であり、人工知能の各分野に適用されている。機械学習及び深層学習は、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

【0029】

自動運転技術は、通常、高精度地図、環境感知、行動決定、経路計画、移動制御などの技術を含み、広い利用可能性を持っている。

【0030】

人工知能技術の研究及び進歩に伴って、人工知能技術は、通常のスマートホーム、スマートウェアラブルデバイス、仮想アシスタント、スマートスピーカー、スマートマーケティング、無人運転、自律運転、ドローン、ロボット、スマート医療、スマートカスタマーサービスなどの複数の分野において研究及び利用が展開されており、人工知能技術は、技術の発展に伴って、より多くの分野において利用され、ますます重要な価値を発揮する。

【0031】

本願の実施例による技術的思想は、人工知能の機械学習などの技術に関し、具体的には、以下の実施例にて説明する。

【0032】

本願の一実施例は、コンピュータ機器に適用される量子化モデルの最適化方法を提供し、このコンピュータ機器は、端末又はサーバであってもよく、例えば、図１Ａに示すサーバ１０、又は、サーバ１０とネットワーク２０を介して通信する端末３０、４０、５０などである。端末３０、４０、５０は、デスクトップ機器又はモバイル端末であってもよい。サーバ１０は、独立した物理サーバ、物理サーバクラスター又は仮想サーバであってもよい。図１に示すように、この方法は、ステップＳ１１０～ステップＳ１３０を含む。

【0033】

ステップＳ１１０において、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定する。量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルである。

【0034】

一部の実施例では、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルを予めオフラインで訓練し、訓練後の量子化モデルを獲得することができ、それにより、訓練後の量子化モデルを使用する際、訓練データ以外の、実際の適用シーンで生成されたデータに対して、推薦予測の能力を有するようになる。量子化とは、マルチビットの高精度の数値を、限られた数の低精度の数値に変換するプロセスである。ニューラルネットワークモデルの埋め込み層パラメータに対して量子化処理を行うことによって、高次元かつスパースな埋め込み層を量子化し、低次元かつ稠密なニューラルネットワーク（ＤＮＮ）モデルの精度を維持することができ、それにより、ニューラルネットワークモデルの大きさを圧縮し、ニューラルネットワークモデルの予測性能を向上させることができる。

【0035】

一部の実施例では、訓練後の量子化モデルを使用する際、量子化モデルの埋め込み層パラメータは、実際の適用シーンでユーザ又は製品により生成された新しい行動又は新しいデータに基づいて、所定時間範囲内でジャンプし得る。新しい行動又は新しいデータは、例えば、新しいビデオの閲覧、新しい図面の閲覧、新しい作品の生成などであってもよい。所定時間範囲は、例えば、１時間、１２時間、２４時間、１週間、１ヶ月などであってもよい。例えば、所定時間範囲が２４時間である場合、埋め込み層パラメータは、実際の適用シーンでユーザ又は製品により生成された新しい行動に基づいて、２４時間内で対応してジャンプする可能性がある。

【0036】

一部の実施例では、量子化モデルの埋め込み層パラメータは、通常、複数であり、所定時間範囲内において、毎回ジャンプした埋め込み層パラメータは、同じである可能性があるし、同じではない可能性もある。また、所定時間範囲内において、毎回ジャンプした埋め込み層パラメータの数は、同じである可能性があるし、同じではない可能性もある。ジャンプレイシオは、ジャンプした埋め込み層パラメータの数と、埋め込み層パラメータの総数量との比である。例えば、所定時間範囲が２４時間であり、埋め込み層パラメータの総数量が２０である場合、現在ジャンプした埋め込み層パラメータの数が１０であると、ジャンプレイシオが１０／２０＝０．５であり、現在ジャンプした埋め込み層パラメータの数が５であると、ジャンプレイシオが５／２０＝０．２５であり、現在ジャンプした埋め込み層パラメータの数が１であると、ジャンプレイシオが１／２０＝０．０５である。

【0037】

ステップＳ１２０において、各ジャンプレイシオに基づいて、所定時間範囲内のジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0038】

一部の実施例では、所定時間範囲内の各ジャンプレイシオが獲得されると、各ジャンプレイシオに基づいて、この所定時間範囲内のジャンプ曲線を描くことができる。ここで、ジャンプ曲線を描く際、この所定時間範囲を横座標、ジャンプレイシオの各々を縦座標とし、各ジャンプレイシオの離散点を描き、各離散点を接続することで、この所定時間範囲内のジャンプ曲線を獲得する。

【0039】

一部の実施例では、所定時間範囲内のジャンプ曲線が獲得されると、このジャンプ曲線に対してフィッティング処理を行い、それにより、このジャンプ曲線に対応するタイムスケールパラメータを獲得し、量子化モデルのオリジナル最適化アルゴリズムに対する後続の最適化に前提及び保障を提供する。

【0040】

ステップＳ１３０において、タイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、ターゲット最適化アルゴリズムに基づいて量子化モデルを訓練する。

【0041】

一部の実施例では、ジャンプ曲線に対応するタイムスケールパラメータが獲得されると、このタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、それにより、最適化後のターゲット最適化アルゴリズムを獲得することができる。本願の実施例におけるオリジナル最適化アルゴリズムとは、ニューラルネットワークモデルにおいて、損失関数に基づいて、ニューラルネットワークモデルパラメータを最適化するアルゴリズムのことである。

【0042】

一部の実施例では、最適化後のターゲット最適化アルゴリズムが獲得されると、このターゲット最適化アルゴリズムに基づいて量子化モデルを訓練することで、量子化モデルが実際の適用シーンで生成された新しいデータのデータ特徴を迅速にオンラインで学習できるようにすることができる。

【0043】

本願の実施例による量子化モデルの最適化方法は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオが対応するジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行って獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化後のオリジナル最適化アルゴリズムに基づいて、量子化モデルを訓練し、それにより、オリジナル最適化アルゴリズムを最適化する際、時間パラメータを十分に配慮することで、量子化モデルがオンラインで適用される過程において、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンライン予測推薦を行う正確性を向上させる。

【0044】

本願の実施例の一つ実現可能な形態では、埋め込み層パラメータの量子化処理は、埋め込み層パラメータのＮ（Ｎは１より大きい整数である）値化の量子化処理を含む。

【0045】

一部の実施例では、実際には、埋め込み層パラメータの量子化処理は、二値化の量子化処理であってもよいし、三値化の量子化処理であってもよいし、四値化の量子化、五値化の量子化などの実現可能な量子化処理であってもよいが、本願の実施例では限定しない。

【0046】

一部の実施例では、二値化の量子化処理とは、パラメータの値と量子化閾値との比較に基づいて、パラメータを０と１、又は－１と０、又は－１と１などに量子化することであるが、本願の実施例では限定しない。０と１を例として、パラメータの値が量子化閾値以上である場合、パラメータを１に量子化し、パラメータの値が量子化閾値より小さい場合、パラメータを０に量子化する。

【0047】

一部の実施例では、三値化の量子化処理とは、パラメータの値と量子化閾値との比較に基づいて、パラメータを－１、０及び１の形式に量子化することである。勿論、ニーズに応じて、０、１及び２などの他の数値形式に量子化してもよいが、本願の実施例では限定しない。－１、０及び１を例として、量子化閾値を０．００１とする場合、パラメータの値が－０．００１より小さいと、パラメータを－１に量子化処理し、パラメータの値が－０．００１以上、０．００１以下であると、パラメータを０に量子化処理し、パラメータの値が０．００１より大きいと、パラメータを１に量子化処理する。

【0048】

ここで、上述の四値化の量子化、五値化の量子化などについて、それらの量子化処理プロセスは、上述の二値化の量子化処理、三値化の量子化処理と同様であるため、ここでは説明を省略する。

【0049】

なお、以下、量子化結果が－１、０及び１である三値化の量子化処理を例として、本願の実施例について具体的に説明する。

【0050】

一部の実施例では、実際の適用において、埋め込み層パラメータの所定時間範囲内の各所定時間区間でのパラメータジャンプがそれぞれ対応するジャンプレイシオを決定することで、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定することができる。所定時間範囲が一日中の２４時間であり、各所定時間区間のそれぞれが０時～３時、３時～６時、６時～９時、９時～１２時、１２時～１５時、１５時～１８時、１８時～２１時及び２１時～２４時であると仮定する場合、埋め込み層パラメータの、０時～３時、３時～６時、６時～９時、９時～１２時、１２時～１５時、１５時～１８時、１８時～２１時及び２１時～２４時などの所定時間区間内での埋め込み層パラメータジャンプがそれぞれ対応するジャンプレイシオを決定することにより、埋め込み層パラメータの所定時間範囲内の各ジャンプレイシオを獲得することができる。

【0051】

なお、各所定時間区間内でジャンプした埋め込み層パラメータは、同じである可能性があるし、同じではない可能性もあり、毎回ジャンプした埋め込み層パラメータの数は、同じである可能性があるし、同じではない可能性もある。ここで、ジャンプレイシオは、ジャンプした埋め込み層パラメータの数と埋め込み層パラメータの総数量との比である。また、埋め込み層パラメータのジャンプとは、埋め込み層パラメータが－１、０及び１の間を互いにジャンプすることであり、例えば、－１から１までジャンプしたり、－１から０までジャンプしたり、０から１までジャンプしたり、０から－１までジャンプしたり、１から０までジャンプしたり、１から－１までジャンプしたりするなどである。

【0052】

一部の実施例では、埋め込み層パラメータの、０時～３時である所定時間区間内でのジャンプレイシオが０．０５であり、３時～６時である所定時間区間内でのジャンプレイシオが０．０４であり、６時～９時である所定時間区間内でのジャンプレイシオが０．０３であり、９時～１２時である所定時間区間内でのジャンプレイシオが０．０２であり、１２時～１５時である所定時間区間内でのジャンプレイシオが０．０２であり、１５時～１８時である所定時間区間内でのジャンプレイシオが０．０１であり、１８時～２１時である所定時間区間内でのジャンプレイシオが０．０１であり、２１時～２４時である所定時間区間内でのジャンプレイシオが０．０１であると仮定する場合、埋め込み層パラメータの、一日中の２４時間内のジャンプレイシオのそれぞれが順に０．０５、０．０４、０．０３、０．０２、０．０２、０．０１、０．０１及び０．０１であることを獲得することができる。

【0053】

一部の実施例では、埋め込み層パラメータのいずれかの所定時間区間内でのパラメータジャンプのジャンプレイシオを決定する際、まず、いずれかの所定時間区間の埋め込み層パラメータがこのいずれかの所定時間の直前の所定時間区間の埋め込み層パラメータに対して、ジャンプしたパラメータの数を決定し、そして、パラメータの数及び埋め込み層パラメータの総数量に基づいて、埋め込み層パラメータのいずれかの所定時間区間内でのパラメータジャンプのジャンプレイシオを決定することができる。

【0054】

以下、所定時間範囲が一日中の２４時間であり、各所定時間区間がそれぞれ０時～３時、３時～６時、６時～９時、９時～１２時、１２時～１５時、１５時～１８時、１８時～２１時及び２１時～２４時であることを例とすると、各所定時間区間においてジャンプしたパラメータの数を決定するプロセスについて具体的に説明する。埋め込み層パラメータの総数量が１００であると仮定する場合、０時～３時である所定時間区間の埋め込み層パラメータがこのいずれかの所定時間（すなわち、０時～３時）の直前の所定時間区間（すなわち、前の日の２１時～２４時）の埋め込み層パラメータに対して、ジャンプしたパラメータの数が５であれば、埋め込み層パラメータの０時～３時である所定時間区間内でのジャンプレイシオが５／１００＝０．０５であり、３時～６時である所定時間区間の埋め込み層パラメータがこのいずれかの所定時間（すなわち、３時～６時）の直前の所定時間区間（すなわち、０時～３時）の埋め込み層パラメータに対して、ジャンプしたパラメータの数が４であれば、埋め込み層パラメータの３時～６時である所定時間区間内でのジャンプレイシオが４／１００＝０．０４であり、このようにして、埋め込み層パラメータの、６時～９時、９時～１２時、１２時～１５時、１５時～１８時、１８時～２１時及び２１時～２４時などの所定時間区間でそれぞれ対応するジャンプレイシオを獲得することができる。

【0055】

一部の実施例では、所定時間範囲内での各ジャンプレイシオが獲得されると、図２に示すように、各ジャンプレイシオに基づいて、この所定時間範囲内のジャンプ曲線を描くことができる。図２における横座標は時間であり、縦座標はジャンプレイシオである。ここで、図２における曲線から、所定の周期的な変化を呈することが分かり、その原因は、一日の異なる時間区間でのデータが異なる特徴を持っているからだ。例えば、朝には、ユーザが天気予報を見ることが多く、夜には、ユーザがニュースなどを見ることが多い。また、各期日の同じ所定時間区間には、一致性を持っている傾向があり、例えば、今日の朝に天気予報を見たユーザが、明日の朝にも天気予報を見る可能性が高い。この場合、図３に示すように、各期日の同じ所定時間区間での埋め込み層パラメータのジャンプレイシオを、対応するジャンプ曲線に描くと、その変化法則はより著しくなる。

【0056】

本願の実施例の別の実現可能な形態では、埋め込み層パラメータの所定時間範囲内でのジャンプ曲線を描いた後、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得することができる。

【0057】

一部の実施例では、ジャンプ曲線に対してフィッティング処理を行う際、まず、描かれたジャンプ曲線の変化傾向に基づいて、このジャンプ曲線の曲線タイプを決定し、この曲線タイプに対応するフィッティング関数を決定し、そして、決定されたフィッティング関数に基づいて、このジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。図２及び図３におけるジャンプ曲線から分かるように、それらの変化傾向が指数関数の変化傾向と同様であるので、このジャンプ曲線の曲線タイプが指数関数曲線であることを決定することができ、この曲線タイプに対応するフィッティング関数が指数関数であることを決定することができる。指数関数に基づいて、このジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。図２におけるジャンプ曲線に対して指数関数フィッティングを行ったフィッティング曲線は、図４に示され、図３におけるジャンプ曲線に対して指数関数フィッティングを行ったフィッティング曲線は、図５に示される。

【0058】

一部の実施例では、実際の適用において、描かれたジャンプ曲線の変化傾向と対数関数の変化傾向とが同様である場合、このジャンプ曲線の曲線タイプが対数関数曲線であることを決定することができ、この曲線タイプに対応するフィッティング関数が対数関数であることを決定することができる。対数関数によりこのジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。描かれたジャンプ曲線の変化傾向とベキ関数の変化傾向とが同様である場合、このジャンプ曲線の曲線タイプがベキ関数曲線であることを決定することができ、この曲線タイプに対応するフィッティング関数がベキ関数であることを決定することができる。ベキ関数によりこのジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0059】

一部の実施例では、対応するタイムスケールパラメータが獲得されると、獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムにおける学習率パラメータを最適化し、最適化された学習率パラメータを獲得することができる。ここで、オリジナル最適化アルゴリズムにおける学習率パラメータをこの学習率パラメータとタイムスケールパラメータとの積に更新することで、量子化モデルにおけるオリジナル最適化アルゴリズムにおける学習率パラメータを最適化することができ、すなわち、最適化後の学習率パラメータはオリジナル最適化アルゴリズムにおける学習率パラメータとタイムスケールパラメータとの積となる。

【0060】

量子化モデルのオリジナル最適化アルゴリズムを

【0061】

【数1】

とする。ここで、ｇは、勾配又はモーメント推定を表し、ｔ_ｉは、埋め込み層パラメータが更新されたタイムスタンプを表し、埋め込み層パラメータの更新回数であってもよく、αは、学習率パラメータであり、値が予め設定されたハイパーパラメータであり、

【外１】

【0062】

は、現在の所定時間区間の直前の所定時間区間のパラメータ値を表し、

【外２】

【0063】

は、現在の所定時間区間の埋め込み層パラメータ値を表す。また、フィッティングして獲得されたタイムスケールパラメータを

【0064】

【数2】

（μ及びλがハイパーパラメータである）の形式とすると、最適化後の学習率パラメータが

【0065】

【数3】

となり、最適化後の学習率パラメータを

【外３】

【0066】

とすると、

【0067】

【数4】

となり、さらに、最適化後のターゲット最適化アルゴリズムが

【0068】

【数5】

となる。

【0069】

一部の実施例では、フィッティングして獲得されたタイムスケールパラメータを

【0070】

【数6】

の形式とする場合、ターゲット最適化アルゴリズムに基づいて量子化モデルを訓練する際、量子化モデルの収束速度が所定の速度閾値より小さい、又は、収束速度に係る所定の条件を満たすと、μ又はλを適当に大きくし、すなわち、タイムスケールパラメータを大きくすることができ、量子化モデルの精度が所定の精度閾値より低い、又は、精度に係る所定の条件を満たすと、μ又はλを適当に小さくし、すなわち、タイムスケールパラメータを小さくすることができる。

【0071】

一部の実施例では、図６は、本願の実施例の量子化モデルを最適化する模式的なプロセス図である。図６において、ステップＳ６０１において、量子化モデルをオフラインで訓練し、すなわち、オフラインシーンで、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルを、収束させるまで、サンプルデータで訓練し、訓練後の量子化モデルを獲得する。

【0072】

ステップＳ６０２において、埋め込み層パラメータのジャンプ状況を統計する。

【0073】

ここで、埋め込み層パラメータのジャンプ状況を統計することは、２つの実現可能な実施形態を含む。１つの実施形態としては、所定時間範囲内のオンライン実際の適用シーンでのユーザ又は製品により生成されたデータを、時間の前後順序で記憶し、そして、記憶されたデータをオフラインで訓練された後の量子化モデルに入力し、このオフラインで訓練された後の量子化モデルの埋め込み層パラメータのジャンプ状況を決定する、あるいは、記憶されたデータを訓練データとして、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルに入力して訓練し、この訓練中の埋め込み層パラメータのジャンプ状況を決定する。もう１つの実施形態としては、オフラインで訓練された後の量子化モデルを実際のオンライン適用シーンで適用し、実際のオンライン適用シーンでのユーザ又は製品により生成されたデータに基づいて、埋め込み層パラメータの所定時間範囲内の各所定時間区間でのパラメータジャンプがそれぞれ対応するジャンプレイシオをリアルタイムに決定する。

【0074】

ステップＳ６０３において、パラメータジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0075】

すなわち、所定時間範囲内の各ジャンプレイシオが獲得されると、各ジャンプレイシオに基づいて、この所定時間範囲内のジャンプ曲線を描き、描かれたジャンプ曲線の変化傾向に基づいて、このジャンプ曲線の曲線タイプを決定し、この曲線タイプに対応するフィッティング関数を決定する。決定されたフィッティング関数に基づいてこのジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0076】

ステップＳ６０４において、オリジナル最適化アルゴリズムとフィッティングして獲得されたタイムスケールパラメータとを結合して、改良後のターゲット最適化アルゴリズムを獲得する。

【0077】

すなわち、獲得されたタイムスケールパラメータに基づいて、オリジナル最適化アルゴリズムにおける学習率パラメータをこの学習率パラメータとタイムスケールパラメータとの積に更新し、それにより、最適化後の学習率パラメータを獲得し、さらに最適化後のターゲット最適化アルゴリズムを獲得する。

【0078】

ステップＳ６０５において、最適化後のターゲット最適化アルゴリズムを用いて、量子化モデルを改めて訓練し、それにより、ターゲット最適化アルゴリズムに基づいて、量子化モデルに対してオンライン訓練を行うことができ、量子化モデルがオンラインで適用される場合、新しいデータ特徴を迅速に学習できるようにし、オンライン予測能力及び推薦正確性を向上させる。

【0079】

ステップＳ６０６において、タイムスケールパラメータを適当に調整することで、量子化モデルがより高い効果を実現する。

【0080】

なお、実際の適用において、一定の訓練事前値又は経験値が参照となる場合、ステップＳ６０１～Ｓ６０２を繰り返して実行することなく、直接、最適化アルゴリズムにおいてタイムスケールパラメータ、例えば、

【0081】

【数7】

を考慮してもよい。

【0082】

図７は、オリジナル最適化アルゴリズムとターゲット最適化アルゴリズムとの比較結果の模式図を示す。図７には、量子化モデルのＡＵＣ（Ａｒｅａ ｕｎｄｅｒ ｃｕｒｖｅ、曲線下面積）曲線が示されている。図７におけるＡＵＣ曲線から分かるように、本願の実施例におけるターゲット最適化アルゴリズムは、オリジナル最適化アルゴリズムと比較すると、約２４時間後のデータが、安定して２‰～６‰ほど高まる。この結果から分かるように、本願の実施例のターゲット最適化アルゴリズムによって、量子化モデルは、オンラインシーンで、新しいデータ特徴が生成される状況及び時間とともに変化する状況に良好に適応することができ、ターゲット最適化アルゴリズムは、量子化モデルのオンライン学習能力及び推薦正確性を向上させることに寄与する。

【0083】

本願の他の実施例は、最適化後の量子化モデルに基づく情報推薦方法を提供する。コンピュータ機器に適応される方法であって、このコンピュータ機器は、端末又はサーバであってもよい。端末は、デスクトップ機器又はモバイル端末であってもよい。サーバは、独立する物理サーバ、物理サーバクラスター又は仮想サーバであってもよい。図８に示すように、この方法は、ステップＳ８１０～ステップＳ８３０を含む。

【0084】

ステップＳ８１０において、所定時間帯内のユーザ行動データを取得する。

【0085】

ステップＳ８２０において、量子化モデルの最適化方法による最適化後の量子化モデルに基づいて、ユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定する。

【0086】

ステップＳ８３０において、ユーザ行動特徴に基づいて、ターゲット推薦情報を決定し、ターゲット推薦情報を推薦する。

【0087】

一部の実施例では、コンピュータ機器の推薦システムは、最適化後の量子化モデルを用いて、所定時間帯内のユーザ行動データをオンラインでリアルタイム取得することができ、例えば、１２時～１３時である所定時間帯内にユーザがショッピングウェブページを閲覧したり、ユーザがニュースを閲覧したりするなどのユーザ行動データを取得し、また例えば、この前の２０時～２２時である所定時間帯内のユーザがビデオを閲覧したり、ユーザがウェブページを閲覧したりするなどのユーザ行動データなどを取得する。ここで、上述の推薦システムとは、ユーザのニーズ、好みなどの特徴に基づいて、ニュース、商品などの情報を個人化推薦するシステムのものであり、特に説明しない限り、「推薦システム」という言葉は、ウェブページ、画像テキストやビデオなどの情報を推薦するシステムを意味する。

【0088】

一部の実施例では、所定時間帯内のユーザ行動データが取得されると、上述の実施例で獲得された最適化後の量子化モデルに基づいて、ユーザ行動データを学習することができ、それにより、取得された所定時間帯内のユーザ行動データに対応するユーザ行動特徴を獲得して、この後にユーザに情報を推薦することに、前提及び保障を提供する。

【0089】

一部の実施例では、ユーザ行動データに対応するユーザ行動特徴が決定されると、決定されたユーザ行動特徴に基づいてターゲット推薦情報を決定し、決定されたターゲット推薦情報をユーザに推薦することができる。

【0090】

本願の実施例による方法は、最適化後の量子化モデルに基づいて、取得された所定時間帯内のユーザ行動データを学習することで、ユーザ行動データに対応するユーザ行動特徴を決定し、ユーザ行動特徴に基づいてターゲット推薦情報を推薦することで、最適化後の量子化モデルに基づく推薦システムが所定時間帯内のユーザの具体的な行動データに基づいて、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0091】

本願の他の実施例は、ニューラルネットワークモデルの最適化方法を提供する。コンピュータ機器に適用される方法であって、このコンピュータ機器は、端末又はサーバであってもよい。端末は、デスクトップ機器又はモバイル端末であってもよい。サーバは、独立する物理サーバ、物理サーバクラスター又は仮想サーバであってもよい。図９に示すように、この方法は、ステップＳ９１０～ステップＳ９３０を含むことができる。

【0092】

ステップＳ９１０において、ニューラルネットワークモデルのオリジナル学習率パラメータを決定する。ニューラルネットワークモデルは、量子化モデル又は量子化モデルの量子化前のオリジナルモデルである。

【0093】

ステップＳ９２０において、ジャンプレイシオに基づいて、ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定する。ジャンプレイシオは、量子化モデルの最適化方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである。

【0094】

ステップＳ９３０において、信頼度に基づいてオリジナル学習率パラメータを調整することで、ニューラルネットワークモデルを最適化する。

【0095】

一部の実施例では、本願の実施例のニューラルネットワークモデルは、埋め込み層パラメータが量子化処理される前のオリジナルのニューラルネットワークモデルであってもよいし、埋め込み層パラメータが量子化処理された後のニューラルネットワークモデルである量子化モデルであってもよい。

【0096】

一部の実施例では、現在、埋め込み層パラメータが量子化処理されていないオリジナルのニューラルネットワークモデルを使用している場合、まず、このニューラルネットワークモデルのオリジナル学習率パラメータを決定する必要がある。ジャンプレイシオと所定の信頼度との比例関係に基づいて、ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定する。信頼度に基づいてオリジナル学習率パラメータを調整することで、ニューラルネットワークモデルを最適化する。ここで、ジャンプレイシオは、量子化モデルの最適化方法に基づいて獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである。

【0097】

一部の実施例では、現在、量子化モデル（すなわち、埋め込み層パラメータが量子化処理された後のニューラルネットワークモデル）を使用している場合、まず、この量子化モデルのオリジナル学習率パラメータを決定する必要がある。ジャンプレイシオと所定の信頼度との比例関係に基づいて、量子化モデル埋め込み層パラメータの信頼度を決定する。信頼度に基づいてオリジナル学習率パラメータを調整することで、量子化モデルを最適化する。ここで、ジャンプレイシオは、量子化モデルの最適化方法に基づいて獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである。

【0098】

一部の実施例では、本願の実施例の埋め込み層パラメータのジャンプレイシオと現在の埋め込み層の信頼度とが反比例関係をなすと仮定する。埋め込み層パラメータのジャンプレイシオが高いほど、この所定時間区間内の埋め込み層パラメータと、安定したニューラルネットワークモデルに対応する埋め込み層パラメータとが異なる確率が高くなり、ニューラルネットワークモデルの埋め込み層パラメータが信頼できなく、すなわち、信頼度が低いと考えられる。この所定時間区間内の信頼度が第１の所定の条件を満たす（例えば、直前の所定時間の埋め込み層パラメータの信頼度より遥かに低く、また例えば、第１の所定の信頼度閾値より小さい）場合、学習率パラメータを大きくすることで、迅速に調整できるようにする必要がある。埋め込み層パラメータのジャンプレイシオが低いほど、この所定時間区間内の埋め込み層パラメータと、安定したニューラルネットワークモデルに対応する埋め込み層パラメータとが異なる確率が低くなり、埋め込み層パラメータが信頼でき、すなわち、信頼度が高いと考えられる。この所定時間区間内の信頼度が第２の所定の条件を満たす（例えば、直前の所定時間の埋め込み層パラメータの信頼度より遥かに高く、また例えば、第２の所定の信頼度閾値以上である）場合、学習率パラメータを適当に小さくすることで、微調整できるようにする必要がある。ここで、最適化された後の量子化モデルの埋め込み層パラメータのジャンプレイシオは、連続的空間において、ニューラルネットワークモデルの現在の所定時間区間内での学習率パラメータを調整する根拠とすることができ、すなわち、埋め込み層パラメータが量子化処理されていないオリジナルのニューラルネットワークモデル、又は、埋め込み層パラメータが量子化処理された後のニューラルネットワークモデルが、現在の所定時間区間内において、学習率パラメータを調整する根拠とすることができる。

【0099】

本願の実施例による方法は、ジャンプレイシオの信頼度を決定することで、信頼度に基づいてニューラルネットワークモデルの学習率パラメータを調整し、それにより、ニューラルネットワークモデルに対する最適化を実現し、ニューラルネットワークモデルが新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0100】

図１０は、本願の他の実施例による量子化モデルの最適化装置の基本構成の模式図である。図１０に示すように、この装置１０００は、第１の決定モジュール１００１と、第１の処理モジュール１００２と、第２の処理モジュール１００３とを含む。

【0101】

第１の決定モジュール１００１は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオを決定し、量子化モデルは、埋め込み層パラメータが量子化処理されたニューラルネットワークモデルである。

【0102】

第１の処理モジュール１００２は、各ジャンプレイシオに基づいて、所定時間範囲内のジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0103】

第２の処理モジュール１００３は、タイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたターゲット最適化アルゴリズムを獲得して、ターゲット最適化アルゴリズムに基づいて量子化モデルを訓練する。

【0104】

本願の実施例による装置は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオのジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行って獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化されたオリジナル最適化アルゴリズムに基づいて、量子化モデルを訓練する。それにより、オリジナル最適化アルゴリズムを最適化する際、時間パラメータを十分に考慮することで、量子化モデルがオンライン適用過程において、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンライン予測推薦を行う正確性を向上させる。

【0105】

図１１は、本願のまた他の実施例による量子化モデルの最適化装置の詳細構成の模式図である。図１１に示すように、この装置１１００は、第１の決定モジュール１１０１と、第１の処理モジュール１１０２と、第２の処理モジュール１１０３とを含む。図１１における第１の決定モジュール１１０１により実現された機能と、図１０における第１の決定モジュール１００１とが同様であり、図１１における第１の処理モジュール１１０２により実現された機能と、図１０における第１の処理モジュール１００２とが同様であり、図１１における第２の処理モジュール１１０３により実現された機能と、図１０における第２の処理モジュール１００３とが同様であり、ここでは説明を省略する。

【0106】

埋め込み層パラメータの量子化処理は、埋め込み層パラメータのＮ（Ｎは１より大きい整数である）値化の量子化処理である。

【0107】

第１の決定モジュール１１０１は、埋め込み層パラメータの所定時間範囲内の各所定時間区間でのパラメータジャンプがそれぞれ対応するジャンプレイシオを決定する。

【0108】

図１１に示すように、第１の決定モジュール１１０１は、パラメータ数決定サブモジュール１１０１１と、ジャンプレイシオ決定サブモジュール１１０１２とを含む。

【0109】

パラメータ数決定サブモジュール１１０１１は、いずれかの所定時間区間の埋め込み層パラメータがこのいずれかの所定時間の直前の所定時間区間の埋め込み層パラメータに対して、ジャンプしたパラメータの数を決定する。

【0110】

ジャンプレイシオ決定サブモジュール１１０１２は、パラメータの数及び埋め込み層パラメータの総数量に基づいて、埋め込み層パラメータのいずれかの所定時間区間内でのジャンプパラメータのジャンプレイシオを決定する。

【0111】

別の実現可能な形態では、第１の処理モジュール１１０２は、フィッティング関数決定サブモジュール１１０２１と、フィッティング処理サブモジュール１１０２２とを含む。

【0112】

フィッティング関数決定サブモジュール１１０２１は、ジャンプ曲線の曲線タイプを決定し、曲線タイプに対応するフィッティング関数を決定する。

【0113】

フィッティング処理サブモジュール１１０２２は、フィッティング関数に基づいて、ジャンプ曲線に対してフィッティング処理を行い、対応するタイムスケールパラメータを獲得する。

【0114】

一部の実施例では、第２の処理モジュール１１０３は、タイムスケールパラメータに基づいて、オリジナル最適化アルゴリズムにおける学習率パラメータを最適化する。

【0115】

一部の実施例では、第２の処理モジュール１１０３は、オリジナル最適化アルゴリズムにおける学習率パラメータを、学習率パラメータとタイムスケールパラメータとの積に更新する。

【0116】

一部の実施例では、第２の処理モジュール１１０３は、量子化モデルの収束速度が所定の速度閾値より小さい場合、タイムスケールパラメータを大きくし、量子化モデルの精度が所定の精度閾値より小さい場合、タイムスケールパラメータを小さくする。

【0117】

図１２は、本願のまた他の実施例による最適化後の量子化モデルに基づく情報推薦装置の基本構成の模式図である。図１２に示すように、この装置１２００は、取得モジュール１２０１と、第２の決定モジュール１２０２と、推薦モジュール１２０３とを含む。

【0118】

取得モジュール１２０１は、所定時間帯内のユーザ行動データを取得する。

【0119】

第２の決定モジュール１２０２は、上述の量子化モデルの最適化方法で獲得された最適化後の量子化モデルに基づいて、ユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定する。

【0120】

推薦モジュール１２０３は、ユーザ行動特徴に基づいてターゲット推薦情報を決定し、ターゲット推薦情報を推薦する。

【0121】

本願の実施例による装置は、最適化後の量子化モデルに基づいて、取得した所定時間帯内のユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定し、ユーザ行動特徴に基づいてターゲット推薦情報を推薦することによって、最適化後の量子化モデルに基づく推薦システムが所定時間帯内のユーザの具体的な行動データに基づいて、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0122】

図１３は、本願のまた他の実施例によるニューラルネットワークモデルの最適化装置の基本構成の模式図である。図１３に示すように、この装置１３００は、第３の決定モジュール１３０１と、第４の決定モジュール１３０２と、最適化モジュール１３０３とを含む。

【0123】

第３の決定モジュール１３０１は、ニューラルネットワークモデルのオリジナル学習率パラメータを決定することができ、ニューラルネットワークモデルは、量子化モデル又は量子化モデルの量子化前のオリジナルモデルである。

【0124】

第４の決定モジュール１３０２は、ジャンプレイシオに基づいて、ニューラルネットワークモデル埋め込み層パラメータの信頼度を決定することができ、ジャンプレイシオは、上述の量子化モデルの最適化方法で獲得された訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオである。

【0125】

最適化モジュール１３０３は、前記信頼度に基づいて、オリジナル学習率パラメータを調整することで、ニューラルネットワークモデルを最適化する。

【0126】

一部の実施例では、最適化モジュール１３０３は、信頼度が第１の所定の条件を満たす場合、オリジナル学習率パラメータを小さくし、信頼度が第２の所定の条件を満たす場合、オリジナル学習率パラメータを大きくする。

【0127】

本願の実施例による装置は、ジャンプレイシオの信頼度を決定し、信頼度に基づいてニューラルネットワークモデルの学習率パラメータを調整することで、ニューラルネットワークモデルに対する最適化を実現し、ニューラルネットワークモデルが新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0128】

本願の他の実施例は、図１４に示す電子機器を提供し、図１４に示す電子機器１４００は、プロセッサ１４０１と、メモリ１４０３とを含む。プロセッサ１４０１とメモリ１４０３とが接続されており、例えば、バス１４０２を介して接続されている。一部の実施例では、電子機器１４００は、送受信機１４０４をさらに含んでもよい。なお、実際の適用において、送受信機１４０４は、１つに限られず、この電子機器１４００の構造は、本願の実施例を限定しない。

【0129】

ここで、プロセッサ１４０１は、本願の実施例に適用され、図１０又は図１１に示す第１の決定モジュール、第１の処理モジュール及び第２の処理モジュールの機能を実現し、図１２に示す取得モジュール、第２の決定モジュール及び推薦モジュールの機能を実現し、図１３に示す第３の決定モジュール、第４の決定モジュール及び最適化モデルの機能を実現するためのものである。

【0130】

プロセッサ１４０１は、ＣＰＵ、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又は、他のプログラマブルロジックデバイス、トランジスタロジックデバイス、ハードウェア部材、又は、それらの任意の組合せであってもよい。本願に開示された内容を用いて説明された各例示的なロジックブロック、モジュール及び回路を実現又は実行することができる。プロセッサ１４０１は、演算機能を実現する組合せであってもよく、例えば、１つ又は複数のマイクロプロセッサーの組合せ、ＤＳＰとマイクロプロセッサーの組合せなどを含む。

【0131】

バス１４０２は、上述のコンポーネントの間で情報を転送するチャンネルを含む。バス１４０２は、ＰＣＩバス又はＥＩＳＡバスなどであってもよい。バス１４０２は、アドレスバス、データバス、制御バスなどに分けられてもよい。便宜のために、図１４では、１本の粗い線のみで示されるが、１本のバス又は１種のバスしかないというわけではない。

【0132】

メモリ１４０３は、ＲＯＭ、又は、静的情報及び命令を記憶できる他のタイプの静的記憶デバイス、ＲＡＭ、或いは、情報及び命令を記憶できる他の種類の動的記憶デバイスであってもよいし、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他のディスクメモリ、光ディスクメモリ（圧縮光ディスク、レーザディスク、光ディスク、デジタルユニバーサル光ディスク、ブルーレイ光ディスクなどを含む）、磁気ディスク記憶媒体もしくは他の磁気記憶デバイスであってもよいし、或いは、命令又はデータ構造の形式の所望のプログラムコードを保持もしくは記憶することができ、かつコンピュータによってアクセスすることができる任意の他の媒体であってもよいが、これらに限られない。

【0133】

メモリ１４０３は、本願の実施形態を実行するアプリケーションプログラムコードを記憶するためのものであり、プロセッサ１４０１により制御して実行される。プロセッサ１４０１は、メモリ１４０３に記憶されたアプリケーションプログラムコードを実行することで、図１０又は図１１に示す実施例による量子化モデルの最適化装置の動作を実現する、又は、図１２に示す実施例による最適化された量子化モデルに基づく情報推薦装置の動作を実現するする、又は、図１３に示す実施例によるニューラルネットワークモデルの最適化装置の動作を実現する。

【0134】

本願のまた他の実施例による電子機器は、メモリと、プロセッサと、メモリに記憶されており、プロセッサにより実行できるコンピュータプログラムとを含み、プロセッサは、プログラムを実行すると、各実施例の方法を実現することができる。

【0135】

例えば、本願の実施例による装置は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオのジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行って獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化後のオリジナル最適化アルゴリズムに基づいて、量子化モデルを訓練する。それにより、オリジナル最適化アルゴリズムを最適化する際、時間パラメータを十分に考慮することで、量子化モデルがオンライン適用過程において、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンライン予測推薦を行う正確性を向上させる。

【0136】

また例えば、本願の実施例による装置は、最適化後の量子化モデルに基づいて、取得した所定時間帯内のユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定し、ユーザ行動特徴に基づいてターゲット推薦情報を推薦することによって、最適化後の量子化モデルに基づく推薦システムが所定時間帯内のユーザの具体的な行動データに基づいて、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0137】

また例えば、本願の実施例による装置は、ジャンプレイシオの信頼度を決定し、信頼度に基づいてニューラルネットワークモデルの学習率パラメータを調整して、ニューラルネットワークモデルに対する最適化を実現する。それにより、ニューラルネットワークモデルが新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0138】

本願のまた他の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、このプログラムは、プロセッサにより実行されると、上述いずれかの実施例による方法を実現する、コンピュータ読み取り可能な記憶媒体を提供する。

【0139】

例えば、本願の実施例による装置は、訓練後の量子化モデルの埋め込み層パラメータの所定時間範囲内での各ジャンプレイシオのジャンプ曲線を決定し、ジャンプ曲線に対してフィッティング処理を行って獲得されたタイムスケールパラメータに基づいて、量子化モデルのオリジナル最適化アルゴリズムを最適化し、最適化後のオリジナル最適化アルゴリズムに基づいて、量子化モデルを訓練する。それにより、オリジナル最適化アルゴリズムを最適化する際、時間パラメータを十分に考慮することで、量子化モデルがオンライン適用過程において、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンライン予測推薦を行う正確性を向上させる。

【0140】

また例えば、最適化後の量子化モデルに基づいて、取得した所定時間帯内のユーザ行動データを学習し、ユーザ行動データに対応するユーザ行動特徴を決定し、ユーザ行動特徴に基づいてターゲット推薦情報を推薦することによって、最適化後の量子化モデルに基づく推薦システムが所定時間帯内のユーザの具体的な行動データに基づいて、新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0141】

また例えば、ジャンプレイシオの信頼度を決定し、信頼度に基づいてニューラルネットワークモデルの学習率パラメータを調整して、ニューラルネットワークモデルに対する最適化を実現することで、ニューラルネットワークモデルが新しいデータ特徴を迅速に学習できるようにし、量子化モデルのオンライン予測能力、及び量子化モデルに基づいてオンラインで予測推薦を行う正確性を向上させる。

【0142】

図面のフローチャートにおける各ステップは矢印が示す順番に実施されるが、これらのステップが必ずしも矢印が示す順番に実施されなくてもよいことが理解されるべきである。本明細書に明確な説明がないかぎり、これらのステップの実施順番は厳しく限定されず、他の順番で実施されてもよい。また、図面のフローチャートにおける少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでもよい。これらのサブステップと段階は必ず同じ時刻で実施されず、異なる時刻で実施されてもよく、その実施順番も必ずしも連続ではなく、他のステップ又は他のステップのサブステップ又は段階の少なくとも一部分と順番に又は交互に実施されてもよい。

【0143】

以上は、本願の一部の実施形態に過ぎない。なお、当業者にとって、本願の原理から逸脱しない限り、いくつかの改良や修飾を行うことができ、これらの改良や修飾も本願の保護範囲に含まれると見なすべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】