知財求人 - 知財ポータルサイト「IP Force」
▶ モフェット インターナショナル カンパニー，リミティドの特許一覧
特表2024-529717ニューラルネットワークのバンクバランス型疎活性化および結合活性化重み疎トレーニングのためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-08-08
(54)【発明の名称】ニューラルネットワークのバンクバランス型疎活性化および結合活性化重み疎トレーニングのためのシステムおよび方法
(51)【国際特許分類】
G06N 3/084 20230101AFI20240801BHJP
【ＦＩ】
G06N3/084
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024509037
(86)(22)【出願日】2022-08-15
(85)【翻訳文提出日】2024-03-29
(86)【国際出願番号】 CN2022112435
(87)【国際公開番号】W WO2023020419
(87)【国際公開日】2023-02-23
(31)【優先権主張番号】17/403,668
(32)【優先日】2021-08-16
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523062486
【氏名又は名称】モフェット インターナショナル カンパニー，リミティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(72)【発明者】
【氏名】エンシュイ イェン
(57)【要約】
ニューラルネットワークトレーニングを最適化するための、コンピュータ記憶媒体にエンコードされたコンピュータプログラムを含む方法、システム、および装置が説明される。この方法は、ニューラルネットワークの現在の層における順方向伝播中に、現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、高密度出力テンソルを疎化して、疎出力テンソルを取得することと、ニューラルネットワークの現在の層における逆方向伝播中に、疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、現在の層の第１の疎導関数テンソルおよび疎重みテンソルに基づいて、高密度導関数テンソルを取得し、高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することと、第１の疎導関数テンソルおよび第２の疎導関数テンソルに基づいて、ニューラルネットワークの重みテンソルをトレーニングすることとを含むことができる。
【特許請求の範囲】
【請求項1】
ニューラルネットワークトレーニングを最適化するためのコンピュータ実施方法であって、ニューラルネットワークの現在の層における順方向伝播中に、
前記現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、
前記高密度出力テンソルを疎化して、疎出力テンソルを取得することと、
前記ニューラルネットワークの前記現在の層における逆方向伝播中に、
前記疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、
前記現在の層の前記第１の疎導関数テンソルおよび前記疎重みテンソルに基づいて、高密度導関数テンソルを取得し、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することと、
前記第１の疎導関数テンソルおよび前記第２の疎導関数テンソルに基づいて、前記ニューラルネットワークの重みテンソルをトレーニングすることとを備える、方法。
【請求項2】
前記高密度出力テンソルは、前記現在の層の前記疎入力テンソルと前記疎重みテンソルとのテンソル積を備え、前記高密度導関数テンソルは、前記現在の層の前記第１の疎導関数テンソルと前記疎重みテンソルとのテンソル積を備える、請求項１に記載の方法。
【請求項3】
前記ニューラルネットワークの前記重みテンソルをトレーニングすることは、前記第２の疎導関数テンソルに基づいて、前の層のための新たな疎重みテンソルを決定することを備える、請求項１に記載の方法。
【請求項4】
前記ニューラルネットワークの前記重みテンソルをトレーニングすることは、前記第１の疎導関数テンソルおよび前記疎入力テンソルに基づいて、前記現在の層のための新たな疎重みテンソルを決定することを備える、請求項１に記載の方法。
【請求項5】
前記ニューラルネットワークの前記現在の層は、重みテンソルマスクに対応し、前記現在の層のための新たな疎重みテンソルを決定することは、
前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
前記重みテンソルマスクを前記高密度導関数重みテンソルに適用することによって、前記高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項４に記載の方法。
【請求項6】
前記高密度導関数重みテンソルは、前記ニューラルネットワークの前記現在の層における複数の重みパラメータに対応する複数の勾配を備える、請求項５に記載の方法。
【請求項7】
前記現在の層のための新たな疎重みテンソルを決定することは、前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
上位Ｋ個活性化関数を、前記高密度導関数重みテンソルに適用して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項４に記載の方法。
【請求項8】
前記上位Ｋ個活性化関数を適用することは、前記高密度導関数重みテンソルの各行または列を、プロセッサのメモリバンクに対応する複数のバンクに分割することと、
前記複数のバンクのそれぞれについて、前記バンク内の上位Ｋ個の重みを決定し、前記バンク内の前記上位Ｋ個の重みではない重みを無効化することとを備える、請求項７に記載の方法。
【請求項9】
前記高密度出力テンソルを疎化して、疎出力テンソルを取得することは、上位Ｋ個活性化関数を前記高密度出力テンソルに適用して、前記疎出力テンソルを取得することを備え、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することは、
前記上位Ｋ個活性化関数を前記高密度導関数テンソルに適用して、前記第２の疎導関数テンソルを取得することを備える、請求項１に記載の方法。
【請求項10】
前記ニューラルネットワークの前記現在の層は、高密度重みテンソルを備え、重みテンソルマスクに対応しており、前記現在の層の前記疎重みテンソルは、前記重みテンソルマスクを前記高密度重みテンソルに適用することによって、前記高密度重みテンソルにおける１つまたは複数の重みを無効化して、前記疎重みテンソルを取得することによって取得される、請求項１に記載の方法。
【請求項11】
１つまたは複数のプロセッサと、前記１つまたは複数のプロセッサに結合され、以下を備える動作をシステムに実行させるために、前記１つまたは複数のプロセッサによって実行可能な命令で構成された１つまたは複数の非一時的なコンピュータ可読メモリとを備えるシステムであって、前記動作は、ニューラルネットワークの現在の層における順方向伝播中に、
前記現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、前記高密度出力テンソルを疎化して、疎出力テンソルを取得することと、
前記ニューラルネットワークの前記現在の層における逆方向伝播中に、
前記疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、
前記現在の層の前記第１の疎導関数テンソルおよび前記疎重みテンソルに基づいて、高密度導関数テンソルを取得し、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することと、
前記第１の疎導関数テンソルおよび前記第２の疎導関数テンソルに基づいて、前記ニューラルネットワークの重みテンソルをトレーニングすることとを備える、システム。
【請求項12】
前記ニューラルネットワークの前記重みテンソルをトレーニングすることは、前記第１の疎導関数テンソルおよび前記疎入力テンソルに基づいて、前記現在の層のための新たな疎重みテンソルを決定することを備える、請求項１１に記載のシステム。
【請求項13】
前記ニューラルネットワークの前記現在の層は、重みテンソルマスクに対応し、前記現在の層のための新たな疎重みテンソルを決定することは、前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
前記重みテンソルマスクを前記高密度導関数重みテンソルに適用することによって、前記高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項１２に記載のシステム。
【請求項14】
前記ニューラルネットワークの前記現在の層は、重みテンソルマスクに対応し、前記現在の層のための新たな疎重みテンソルを決定することは、前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
前記重みテンソルマスクを前記高密度導関数重みテンソルに適用することによって、前記高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項１２に記載のシステム。
【請求項15】
前記高密度出力テンソルを疎化して、疎出力テンソルを取得することは、上位Ｋ個活性化関数を前記高密度出力テンソルに適用して、前記疎出力テンソルを取得することを備え、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することは、
前記上位Ｋ個活性化関数を前記高密度導関数テンソルに適用して、前記第２の疎導関数テンソルを取得することを備える、請求項１１に記載のシステム。
【請求項16】
１つまたは複数のプロセッサによって実行可能な命令を用いて、以下を備える動作を前記１つまたは複数のプロセッサに実行させるように構成された非一時的なコンピュータ可読記憶媒体であって、前記動作は、ニューラルネットワークの現在の層における順方向伝播中に、
前記現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、
前記高密度出力テンソルを疎化して、疎出力テンソルを取得することと、
前記ニューラルネットワークの前記現在の層における逆方向伝播中に、
前記疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、
前記現在の層の前記第１の疎導関数テンソルおよび前記疎重みテンソルに基づいて、高密度導関数テンソルを取得し、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することと、
前記第１の疎導関数テンソルおよび前記第２の疎導関数テンソルに基づいて、前記ニューラルネットワークの重みテンソルをトレーニングすることとを備える、非一時的なコンピュータ可読記憶媒体。
【請求項17】
前記ニューラルネットワークの前記重みテンソルをトレーニングすることは、前記第１の疎導関数テンソルおよび前記疎入力テンソルに基づいて、前記現在の層のための新たな疎重みテンソルを決定することを備える、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
【請求項18】
前記ニューラルネットワークの前記現在の層は、重みテンソルマスクに対応し、前記現在の層のための新たな疎重みテンソルを決定することは、
前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
前記重みテンソルマスクを前記高密度導関数重みテンソルに適用することによって、前記高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
【請求項19】
前記ニューラルネットワークの前記現在の層は、重みテンソルマスクに対応し、前記現在の層のための新たな疎重みテンソルを決定することは、
前記第１の疎導関数テンソルと前記疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、
前記重みテンソルマスクを前記高密度導関数重みテンソルに適用することによって、前記高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、前記現在の層のための前記新たな疎重みテンソルを取得することとを備える、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
【請求項20】
前記高密度出力テンソルを疎化して、疎出力テンソルを取得することは、上位Ｋ個活性化関数を前記高密度出力テンソルに適用して、前記疎出力テンソルを取得することを備え、
前記高密度導関数テンソルを疎化して、第２の疎導関数テンソルを取得することは、
前記上位Ｋ個活性化関数を前記高密度導関数テンソルに適用して、前記第２の疎導関数テンソルを取得することを備える、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、人工知能（ＡＩ）モデルのトレーニングに関し、より具体的には、バンクバランス型ニューラルネットワーク（ＮＮ）の結合活性化重み疎（以下、結合Ａ－Ｗ疎と称される）トレーニングに関する。
【背景技術】
【0002】
ニューラルネットワーク（ＮＮ）は現在、画像およびビデオ認識、レコメンダシステム、分類、医用画像分析、および自然言語処理など、多くの最新の人工知能（ＡＩ）アプリケーションの基盤である。ＮＮを推論用に展開する前に、トレーニングする必要がある。ＮＮモデルをトレーニングすることは、トレーニングデータセットを使用して、モデル重みを繰り返し更新し、入力から出力への正確なマッピングを作成することを含む。今日のＮＮトレーニングプロセスは一般に、順方向伝播と逆方向伝播との多数の反復を含む。計算されるトレーニングデータ（たとえば、ＣＮＮにおける畳み込み）が膨大で、各トレーニング反復中に多くの重みがトレーニング／更新されるため、ＮＮモデルのトレーニングは、計算量が多く、したがって、コストがかかる。
【0003】
近年、たとえば、ＮＮの重みテンソルをプルーニングして、トレーニングされるＮＮモデルのサイズと、推論のために計算されるデータ量とを低減するように、ＮＮに疎性を導入することによって、ＮＮの効率を向上させる様々なアプローチが開発されている。しかしながら、疎性は、ＮＮのトレーニング速度を高めるために十分に活用されていない。この開示は、順方向伝播と逆方向伝播との両方の間に疎性を導入して、ＮＮトレーニングプロセスの効率を向上するための新たなソリューションを説明する。それに加えて、重みテンソルおよび活性化テンソルに導入された疎性は、ハードウェア効率を最適化するために、バンクバランス型として調整される。
【発明の概要】
【0004】
本明細書の様々な実施形態は、ニューラルネットワークトレーニングを最適化するためのシステム、方法、および非一時的なコンピュータ可読媒体を含むことができる。
【0005】
１つの態様によれば、この方法は、ニューラルネットワークの現在の層における順方向伝播中に、現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、高密度出力テンソルを疎化することによって、疎出力テンソルを取得することと、ニューラルネットワークの現在の層における逆方向伝播中に、疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、現在の層の第１の疎導関数テンソルおよび疎重みテンソルに基づいて、高密度導関数テンソルを取得し、高密度導関数テンソルを疎化することによって、第２の疎導関数テンソルを取得することと、第１の疎導関数テンソルおよび第２の疎導関数テンソルに基づいて、ニューラルネットワークの重みテンソルをトレーニングすることとを含むことができる。
【0006】
いくつかの実施形態では、高密度出力テンソルは、現在の層の疎入力テンソルと疎重みテンソルとのテンソル積を備え、高密度導関数テンソルは、現在の層の第１の疎導関数テンソルと疎重みテンソルとのテンソル積を備える。
【0007】
いくつかの実施形態では、ニューラルネットワークの重みテンソルをトレーニングすることは、第２の疎導関数テンソルに基づいて、前の層のための新たな疎重みテンソルを決定することを備える。
【0008】
いくつかの実施形態では、ニューラルネットワークの重みテンソルをトレーニングすることは、第１の疎導関数テンソルおよび疎入力テンソルに基づいて、現在の層のための新たな疎重みテンソルを決定することを備える。
【0009】
いくつかの実施形態では、ニューラルネットワークの現在の層は、重みテンソルマスクに対応し、現在の層のための新たな疎重みテンソルを決定することは、第１の疎導関数テンソルと疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、重みテンソルマスクを高密度導関数重みテンソルに適用することによって、高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、現在の層のための新たな疎重みテンソルを取得することとを備える。
【0010】
いくつかの実施形態では、高密度導関数重みテンソルは、ニューラルネットワークの現在の層における複数の重みパラメータに対応する複数の勾配を備える。
【0011】
いくつかの実施形態では、現在の層のための新たな疎重みテンソルを決定することは、第１の疎導関数テンソルと疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、上位Ｋ個活性化関数を、高密度導関数重みテンソルに適用して、現在の層のための新たな疎重みテンソルを取得することとを備える。
【0012】
いくつかの実施形態では、上位Ｋ個活性化関数を適用することは、高密度導関数重みテンソルの各行または列を、プロセッサのメモリバンクに対応する複数のバンクに分割することと、複数のバンクのそれぞれについて、バンク内の上位Ｋ個の重みを決定し、バンク内の上位Ｋ個の重みではない重みを無効化することとを備える。
【0013】
いくつかの実施形態では、高密度出力テンソルを疎化することによって疎出力テンソルを取得することは、上位Ｋ個活性化関数を高密度出力テンソルに適用して、疎出力テンソルを取得することを備え、高密度導関数テンソルを疎化することによって第２の疎導関数テンソルを取得することは、上位Ｋ個活性化関数を高密度導関数テンソルに適用して、第２の疎導関数テンソルを取得することを備える。
【0014】
いくつかの実施形態では、ニューラルネットワークの現在の層は、高密度重みテンソルを備え、重みテンソルマスクに対応しており、現在の層の疎重みテンソルは、重みテンソルマスクを高密度重みテンソルに適用することによって、高密度重みテンソルにおける１つまたは複数の重みを無効化して、疎重みテンソルを取得することによって取得される。
【0015】
別の態様によれば、ニューラルネットワークトレーニングを最適化するためのシステムが説明される。このシステムは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサに結合され、以下を含む動作をシステムに実行させるために、１つまたは複数のプロセッサによって実行可能な命令で構成された１つまたは複数の非一時的なコンピュータ可読メモリとを備えることができ、この動作は、ニューラルネットワークの現在の層における順方向伝播中に、現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、高密度出力テンソルを疎化することによって、疎出力テンソルを取得することと、ニューラルネットワークの現在の層における逆方向伝播中に、疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、現在の層の第１の疎導関数テンソルおよび疎重みテンソルに基づいて、高密度導関数テンソルを取得し、高密度導関数テンソルを疎化することによって、第２の疎導関数テンソルを取得することと、第１の疎導関数テンソルおよび第２の疎導関数テンソルに基づいて、ニューラルネットワークの重みテンソルをトレーニングすることとを含む。
【0016】
さらに別の態様によれば、ニューラルネットワークトレーニングを最適化するための非一時的なコンピュータ可読記憶媒体が説明される。非一時的なコンピュータ可読記憶媒体は、１つまたは複数のプロセッサによって実行可能な命令を用いて、以下を備える動作を１つまたは複数のプロセッサに実行させるように構成することができ、この動作は、ニューラルネットワークの現在の層における順方向伝播中に、現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、高密度出力テンソルを疎化することによって、疎出力テンソルを取得することと、ニューラルネットワークの現在の層における逆方向伝播中に、疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、現在の層の第１の疎導関数テンソルおよび疎重みテンソルに基づいて、高密度導関数テンソルを取得し、高密度導関数テンソルを疎化することによって、第２の疎導関数テンソルを取得することと、第１の疎導関数テンソルおよび第２の疎導関数テンソルに基づいて、ニューラルネットワークの重みテンソルをトレーニングすることとを備える。
【0017】
本明細書に開示されるシステム、方法、および非一時的なコンピュータ可読媒体のこれらおよび他の特徴、ならびに構造の関連要素の動作の方法および機能、部品の組合せおよび製造の経済性は、以下の説明および添付の特許請求の範囲を、すべてが本明細書の一部を形成し、同様の参照番号が様々な図において対応する部分を示す添付図面を参照して考慮するとより明らかになるであろう。しかしながら、図面は例示および説明のみを目的としており、本発明の限定の定義として意図されていないと、明確に理解されるべきである。
【図面の簡単な説明】
【0018】
【図1】様々な実施形態によるニューラルネットワーク（ＮＮ）の例示的なトレーニングプロセスを例示する図である。
【図2】様々な実施形態によるＮＮの例示的な結合ＡＷ疎トレーニングを例示する図である。
【図3】様々な実施形態によるＮＮの結合ＡＷ疎トレーニングにおける例示的な順方向伝播を例示する図である。
【図4】様々な実施形態によるＮＮの結合ＡＷ疎トレーニングにおける例示的な逆方向伝播を例示する図である。
【図5A】様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおける例示的な重み勾配更新プロセスを例示する図である。
【図5B】様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおいて重み勾配を更新するための例示的な方法を例示する図である。
【図5C】様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおいて重み勾配を更新するための別の例示的な方法を例示する図である。
【図6A】様々な実施形態によるバンクバランス型疎化テンソルを生成するための例示的な２Ｄ疎化を例示する図である。
【図6B】様々な実施形態によるバンクバランス型疎化テンソルを生成するための例示的な３Ｄ疎化を例示する図である。
【図7】様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングの例示的な方法を例示する図である。
【図8】本明細書で説明される実施形態のいずれかを実施できる例示的なコンピュータシステムを例示する図である。
【発明を実施するための形態】
【0019】
本明細書で説明される実施形態は、バンクバランス型ＮＮの結合活性化重み疎（以下、結合Ａ－Ｗ疎と称する）トレーニングのための方法、システム、装置を提供する。以下の説明では、本発明の特定の非限定的な実施形態が、図面を参照して説明される。本明細書に開示される任意の実施形態の特定の特徴および態様は、本明細書に開示される任意の他の実施形態の特定の特徴および態様とともに使用および／または組み合わせることができる。また、そのような実施形態は、一例であり、本発明の範囲内の少数の実施形態を単に例示するに過ぎないことも理解されるべきである。本発明に関連する当業者にとって明らかな様々な変更および修正は、添付の特許請求の範囲でさらに定義される本発明の精神、範囲、および考慮内であるとみなされる。
【0020】
図１は、様々な実施形態によるニューラルネットワーク（ＮＮ）の例示的なトレーニングプロセス１００を例示している。この開示で説明される実施形態は、トレーニング効率を向上させるために、図１における例示的なトレーニングプロセスの一部として、または、別の適切なＮＮトレーニング方法として実施することができる。
【0021】
図１に図示されるように、例示的なＮＮは、複数の層１３０、たとえば、層１，２，３，・・・，Ｌ，・・・などを含む。各層１３０は、重みテンソル、バイアステンソルなどの複数のパラメータを含むことができる。「テンソル」とは、ランク１テンソル（ベクトル）、ランク２テンソル（行列）、およびより高次のテンソルを含む、深層学習の領域における主要なデータ構造を称する。
【0022】
例示的なトレーニングプロセス１００は、ＮＮのパラメータをトレーニングするための複数の反復を含む。各反復は、順方向伝播（または順方向パス）１１０および逆方向伝播（または逆方向パス）１２０を含むことができる。順方向伝播１１０は、ニューラルネットワークの中間変数（出力を含む）を、入力層から出力層まで順番に計算および記憶することを含む。逆方向伝播１２０は、ＮＮパラメータの勾配を計算することを含み、これは、ＮＮのパラメータを更新するための基礎として使用することができる。
【0023】
例示目的のために、図１における層Ｌは、順方向伝播１１０および逆方向伝播１２０に含まれる動作を説明するための例として選択される。前のＬ－１層からの入力テンソルが、ａ［Ｌ－１］であり、層Ｌが、重み項（たとえば、重みテンソル）ｗ［Ｌ］およびバイアス項（たとえば、バイアステンソル）ｂ［Ｌ］を有していると仮定する。中間変数は、ｚ［Ｌ］＝ｗ［Ｌ］ａ［Ｌ－１］＋ｂ［Ｌ］として計算および明示することができ、ここで、ｗおよびａは、両方ともテンソルであり、ｚは、ｗとａのテンソル積である。中間変数ｚを、活性化関数φで実行した後、活性化テンソルを、ａ［Ｌ＋１］＝φ（ｚ）として取得することができる。この活性化テンソルａ［Ｌ＋１］は、Ｌ＋１（次の）層における順方向伝播のための入力として使用できる。いくつかの場合では、ｚ［Ｌ］は、逆方向伝播１２０中の（たとえば、反復計算を回避する）計算のための中間変数としてキャッシュに格納することができる。それに加えて、逆方向伝播１２０中の不必要な外部メモリアクセスを回避するために、重みテンソルｗ［Ｌ］およびバイアステンソルｂ［Ｌ］をキャッシュに格納することもできる。順方向伝播プロセスは、ＮＮの出力層まで継続する。出力層の出力テンソルは、損失（たとえば、現在のパラメータを用いて定量化されたＮＮのパフォーマンス）を決定するために、トレーニングデータのトレーニングラベルとともに損失関数に入力することができる。その後、損失を正則化項（Ｌ２正則化など）と組み合わせて、目的関数を決定することができる。
【0024】
逆方向伝播１２０の目的は、勾配を計算することである。その後、勾配を使用してＮＮの対応する重みパラメータを更新して、損失を最小化するか、または目的関数を最大化することができる。逆方向伝播１２０中、活性化テンソルの導関数を、すべての層にわたって反復的に計算することができる。たとえば、ＮＮのＬ番目の層では、Ｌ番目の層の活性化テンソルの導関数を、∇ａ［Ｌ］として取得することができる。Ｌ番目の層の重みテンソルｗ［Ｌ］に∇ａ［Ｌ］を乗じて、（Ｌ－１）番目の層の活性化テンソルの導関数を取得することができる。このプロセスは、ＮＮの第１の層まで継続することができる。ここで、乗算は、２つのテンソルのテンソル積を取得するための演算を称することができる。層Ｌでは、導関数∇ａ［Ｌ］と入力テンソルａ［Ｌ］の転置とのテンソル積を、∇Ｗ［Ｌ］として示されるＬ番目の層における重みテンソルの導関数として計算することができる。∇Ｗ［Ｌ］に基づいて、Ｌ番目の層における重みパラメータを、トレーニングデータに適合するように更新することができる。上記で説明された導関数は、対応する変数の勾配と称することもできることに留意されたい。
【0025】
いくつかの実施形態では、トレーニング効率を向上させるために、順方向伝播、逆方向伝播、および重み勾配計算を含む、上記で説明されたステップのそれぞれに疎性を導入することができる。既存の疎化ベースのＮＮトレーニング方法は、通常、（たとえば、順方向パスでテンソルをプルーニングすることによって）順方向伝播に焦点を当てるが、逆方向伝播を無視する。以下に説明される実施形態は、トレーニング効率を最適化するために、導関数テンソルを含むすべてのテンソルが、順方向伝播と逆方向伝播との両方でプルーニングされる方法およびシステムを説明する。それに加えて、逆方向伝播の各ラウンド後に、各層において更新された重みテンソルは、バンクバランス型手法でプルーニングされるため、結果として得られるトレーニング済みＮＮは、プロセッサ（たとえば、ＧＰＵ、ＴＰＵ、ＮＰＵ）におけるメモリバンクと整列されるなど、基礎となるハードウェアアーキテクチャのために最適化される。バンクバランス型ＮＮは、（コアにおける負荷がバランスされる）マルチコアシステムを使用したバランス型並列処理をサポートし、バンクの競合を最小化する（一部のバンクへのアクセス輻輳を回避する）ことによって、推論中、メモリアクセスを最適化することができる。バンクに情報を格納するタイプのメモリでは、ランダムなアドレスで同じバンクに連続してアクセスすると、バンク競合が発生する可能性がある。たとえば、２つの連続したアクセスが同じバンク内の異なる行にある場合、これら２つのアクセスは、同時に実行できない場合がある。実際、多くのタイプのメモリ（たとえば、ＤＤＲ）では、同じバンクにおける各メモリアクセスの間に、複数のサイクルの遅延が発生する可能性がある。たとえば、次のメモリアクセスが、同じバンクにおける異なる行にある場合、次のメモリアクセスは、完了するまでに１２サイクル待機する必要がある場合がある。その結果、バンクの競合が、システムにおいて、大きな遅延を発生させる可能性がある。
【0026】
図２は、様々な実施形態によるＮＮの例示的な結合ＡＷ疎トレーニングを例示している。図２に例示されるトレーニングプロセスは、１つのＮＮ層で発生する順方向伝播１１０、逆方向伝播１２０、および重み勾配更新１３０を含む。図２において使用されるインデクスは、例示目的のためであり、単に層の相対位置を示しており、これは、ＮＮの他の層に一般化することができる。
【0027】
順方向伝播１１０中に、入力活性化テンソルを、前の層から受け取ることができる。いくつかの実施形態では、この入力活性化テンソルは、図２においてＡ１として示される疎入力テンソルにプルーニングすることができ、ここで、インデクス１は、現在の層が、層１であることを示す。その後、疎入力テンソルを、テンソル乗算を使用して、層１における重みテンソルと乗算して、次の層のための出力テンソルを取得することができる。いくつかの実施形態では、ＮＮのサイズ、および処理されるデータの量を低減するために、現在の層１における重みテンソルを、Ｗとして示される疎重みテンソルにプルーニングすることができる。図２に図示されるように、２つの疎テンソル、すなわちＡ１およびＷに基づいて生成されたテンソル積Ｒ１は、テンソル乗算の性質によって、高密度になることができる。
【0028】
いくつかの実施形態では、この高密度テンソル積Ｒ１は、活性化演算および／または上位Ｋ個サンプリングを経て、非ゼロ値を低減し、Ａ２として示される疎出力テンソルを取得することができ、ここで、インデクス２は、Ａ２が、順方向伝播プロセス１１０において次の層のための入力テンソルとして使用されることを示す。活性化演算は、ＮＮに非線形性を導入する非線形活性化関数を含むことができる。例示的な非線形活性化関数は、シグモイド、双曲線正接、および正規化線形関数（ＲｅＬＵ）を含む。ＲｅＬＵ関数は、要素ごとの活性化関数を適用して、高密度テンソル積Ｒ１における一部の出力（活性化）をフィルタで除外することができる。ＲｅＬＵ関数は、出力活性化テンソルのサイズを変更しない場合があるが、後続の層における計算効率を向上させるために、アクティブなニューロンの数を制限することができる。上位Ｋ個サンプリングは、高密度テンソル積Ｒ１内の各バンクにおいて、最大の大きさを有するＫ個の値を選択し、それらの値を保持することと、バンク内の他の値をゼロに設定することとを含むことができる。これらの活性化および／または上位Ｋ個演算は、絶対値が小さく重要ではない値／特徴のみがゼロ化またはプルーニングされるため、精度を犠牲にすることなく、トレーニング中のテンソルのフットプリントを効果的に低減する。
【0029】
上記で説明された順方向伝播１１０は継続し、ＮＮの最後の層（たとえば、出力層）で終了する。その後、逆方向伝播１２０は、ＮＮの重みおよび／または他のパラメータを更新するために、勾配を計算するために逆方向に（たとえば、ＮＮの最後の層から最初の層へ）実行することができる。いくつかの実施形態では、図２におけるＮＮの層１における逆方向伝播１２０は、疎出力テンソルＡ２に基づいて、
【0030】
【数1】
【0031】
【数2】
【0032】
【数3】
【0033】
第１に、逆方向伝播１２０のための中間値として使用することができる。たとえば、層１における疎重みテンソルのテンソル積は、疎導関数テンソル
【0034】
【数4】
【0035】
【数5】
【0036】
【数6】
【0037】
【数7】
【0038】
【数8】
【0039】
【数9】
【0040】
第２に、
【0041】
【0042】
【数11】
【0043】
図示されるように、上記で説明されたＮＮの結合ＡＷ疎トレーニングは、順方向伝播１１０（たとえば、Ｒ１をＡ２へプルーニングする活性化演算および／または上位Ｋ個演算）と、逆方向伝播１２０（たとえば、
【0044】
【数12】
【0045】
【数13】
【0046】
図３は、様々な実施形態によるＮＮの結合ＡＷ疎トレーニングにおける例示的な順方向伝播を例示している。図３に例示されるプロセスは、図２における順方向伝播１１０についてさらに詳細を提供する。図３における値および表記は、例示目的のためである。
【0047】
図３において、疎入力テンソルＡ１は、ＮＮの現在の層で受け取られ、現在の層の重みテンソルＷを用いて、たとえば行列乗算のような計算を実行する。図３は、テンソルＡ１とＷとの両方を２Ｄ行列として図示している。いくつかの実施形態では、重みテンソルＷは、重みテンソル内の重みの一部をマスクオフする疎重みテンソルマスクを適用することによって、プルーニングすることができる。マスクされている重みは、ゼロに設定されているか、無効化されているとみなすことができる。いくつかの実施形態では、ＮＮの各層は、１つの対応する疎重みテンソルマスクを有することができる。疎重みテンソルマスクは、重みテンソルにおける重みの大きさに基づいて決定することができ、大きさが小さい重みほど、ゼロとしてマスクされる可能性が高い。
【0048】
いくつかの実施形態では、疎Ａ１および疎Ｗが乗算されて高密度テンソルＲ１となり、その後、活性化関数、上位Ｋ個サンプリング、またはその両方を経ることによってプルーニングされ、疎テンソルＡ２を得ることができる。
【0049】
図４は、様々な実施形態によるＮＮの結合ＡＷ疎トレーニングにおける例示的な逆方向伝播を例示している。図３に例示されるプロセスは、図２における逆方向伝播１２０についての詳細を提供する。図４における値および表記は、例示目的のためである。
【0050】
図４において、導関数テンソル
【0051】
【0052】
【0053】
【数16】
【0054】
【数17】
【0055】
【数18】
【0056】
【0057】
図５Ａは、様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおける例示的な重み勾配更新プロセスを例示している。図２～図４において説明された順方向伝播および逆方向伝播を用いると、疎導関数テンソル
【0058】
【0059】
【数21】
【0060】
図５Ａに図示されるように、疎導関数テンソル
【0061】
【数22】
【0062】
たとえば、図５Ａにおけるオプション１では、図３において説明される疎重みテンソルマスクを、高密度導関数テンソル∇Ｗに適用して、疎導関数テンソル∇Ｗ’を取得することができる。疎重みテンソルマスクは、現在の層において重みの一部を非必須として識別し、これらの重みをゼロに設定する（たとえば、これらの重みまたはこれらの重みに対応する活性化を無効化する）ことができる。図５Ｂは、様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおいて、重み勾配を更新するためのオプション１を図示する図を例示している。図５Ｂに図示されるように、既存の疎マスク５２０が、高密度導関数テンソル∇Ｗに適用され、疎導関数テンソルが取得される。既存の疎マスク５２０は、高密度導関数テンソル∇Ｗにおける対応する重みをマスクオフするための複数のゼロ値を含む。
【0063】
別の例として、図５Ａにおけるオプション２では、高密度導関数テンソル∇Ｗは、等しいサイズの複数のバンクにセグメント化され得る。図５Ｃは、様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングにおける重み勾配を更新するためのオプション２を図示する図を例示している。図５Ｃにおけるバンク５３０は、実施に応じて異なる手法で定義することができる。たとえば、バンク５３０は、高密度導関数テンソル∇Ｗ内の列または行であってもよい。各バンク５３０内で、上位Ｋ個のサンプリングを実行して、最大の大きさ（最大の正の値および負の値）を有するＫ個の重みを特定し、バンク５３０内の他の重みをゼロとして設定することができ、それによって、疎導関数テンソル∇Ｗ’を生成することができる。この上位Ｋ個のサンプリングベースのプルーニング方法を使用すると、生成された∇Ｗ’は、バンクバランスをとることができ、すなわち、各バンク５３０は、同数の非ゼロ値を含む。実際の応用では、テンソルの各バンク５３０は、基礎となるハードウェアのローカルメモリ（たとえば、ＮＮトレーニングアクセラレータ内のキャッシュ、外部メモリ）内のセグメントに対応する（たとえば、そこに格納される）ことができる。したがって、バンクバランス型テンソルは、ローカルメモリの異なるセグメント間で、非ゼロ値を均等に分散することができ、これにより、トレーニングおよび推論のために、よりバランスのとれた並列処理方式を容易にすることができる。以下の説明では、バンクバランス型疎化テンソルを生成する様々な手法が、図６Ａおよび図６Ｂにおいて説明される。
【0064】
図６Ａは、様々な実施形態によるバンクバランス型疎化テンソルを生成するための例示的な２Ｄ疎化を例示している。図６Ａにおいて、プルーニングされるテンソルは２Ｄ行列である。たとえば、入力テンソルまたは重みテンソルが３Ｄテンソルであると仮定すると、それを３次元のうちの１つの次元、たとえば、チャネル次元とともに、セグメント化して、複数の２Ｄ行列を取得することができる。図６Ａに例示される例示的な２Ｄ疎化方法は、複数の２Ｄ行列のそれぞれに適用可能である。図６Ａにおけるテンソルは、ＮＮの文脈において重みテンソルまたは活性化テンソルを称する場合がある。
【0065】
図示されるように、Ｙ１として示される２Ｄ高密度行列は、多数の非ゼロ値を有することができる。行列のバンクバランスがとられた疎化バージョンを生成するには、２つの手法、すなわち、行方向の疎化６１０および列方向の疎化６２０がある。たとえば、行方向の疎化６１０では、２Ｄ高密度行列の各行を、同じサイズの複数のバンクにセグメント化することができる。各バンク内で、上位Ｋ個のサンプリングが実行されて、最大の大きさを有するＫ個の非ゼロ値が保持され、他の値がゼロに設定される。図６Ａにおいて、２Ｄ行列の各行は、２つのバンクにセグメント化され、上位２個のサンプリングが、各バンクに適用され、その中に２つの非ゼロ値が保持される。別の例として、列方向の疎化６２０では、２Ｄ高密度行列の各列を、同じサイズの複数のバンクにセグメント化することができる。各バンク内で、上位Ｋ個のサンプリングが実行されて、最大の大きさを有するＫ個の非ゼロ値が保持され、他の値がゼロに設定される。図６Ａにおいて、２Ｄ高密度行列の各列は、２つのバンクにセグメント化され、上位１個のサンプリングが、各バンクに適用され、その中に１つの非ゼロ値が保持される。
【0066】
いくつかの実施形態では、上記で説明された結合ＡＷ疎トレーニングプロセス中に、行方向の疎化または列方向の疎化を、ＮＮの異なる層に適用することができる。たとえば、図５Ａに図示される重み勾配更新ステップ中に、高密度重み勾配テンソル∇Ｗが、行方向または列方向の疎化を使用してプルーニングされて、疎の重み勾配テンソル∇’Ｗを取得することができる。最適なパフォーマンスを達成するために、異なる層が、異なる疎化方法を導入することができる。
【0067】
図６Ｂは、様々な実施形態によるバンクバランス型疎化テンソルを生成するための例示的な３Ｄ疎化を例示している。図６Ｂにおいて、プルーニングされるテンソルは、３Ｄ行列であると仮定され、それは、ＮＮにおける１つの層で取得される活性化テンソル、または重みテンソルとなることができる。図６Ｂに図示される例として、活性化テンソルＹ１は、入力テンソルＸ、重みテンソルＷ、およびバイアステンソルＢに基づいて取得することができる。活性化テンソルＹ１は、３つの次元、すなわち、高さ寸法、幅寸法、およびチャネル寸法を有することができる。
【0068】
図６Ｂに例示される６３０～６５０など、３Ｄ高密度行列に基づいてバンクバランスがとられ、疎化されたテンソルを生成するためのいくつかのアプローチがある。これらのアプローチは、バンクの定義方法が異なる。たとえば、アプローチ６３０において、１つのチャネルが、バンクとして考慮され、たとえば、前面／表面を、バンクとして考慮することができる。別の例として、アプローチ６４０では、各チャネルを、同じサイズの複数のバンクに分割することができる。さらに別の例として、アプローチ６５０では、複数のチャネルを１つのバンクとして考慮することができる。バンクが定義された後、各バンクで上位Ｋ個のサンプリングを実行して、最大の大きさを有するＫ個の非ゼロ値を保持し、他の値をゼロに設定することができる。いくつかの実施形態では、バンクをセグメント化する別の手法は、各バンク内のデータが、メモリ内で物理的に同じ場所に配置されるようにするための異なる記憶方式を必要とする場合がある。各バンクを連続的に格納すると、シーケンシャルな読み取りが容易になり（メモリアクセスの数を低減させ）、良好な並列処理のために、非ゼロデータを均等に分散させることができる。
【0069】
図６Ａにおいて説明された２Ｄ疎化アプローチと比較すると、３Ｄ疎化は、より多くの次元にわたって固有の重み関係を維持することができるが、２Ｄ疎化は、実施が容易である。使用する場合および好みに応じて、疎化アプローチのいずれかを展開して、バンクバランス型テンソルおよび疎テンソルを生成できる。
【0070】
図７は、様々な実施形態によるバンクバランス型ＮＮの結合ＡＷ疎トレーニングのための例示的な方法を例示している。方法７００は、リソース割当を最適化するためのデバイス、装置、またはシステムによって実行することができる。以下に提示される方法７００の動作は、例示的であることが意図される。実施に応じて、方法７００は、様々な順序で、または並行して実行される追加のステップ、より少ないステップ、または代替のステップを含むことができる。
【0071】
ブロック７１０は、ニューラルネットワークの現在の層における順方向伝播中に、現在の層の疎入力テンソルおよび疎重みテンソルに基づいて、高密度出力テンソルを生成し、高密度出力テンソルを疎化することによって、疎出力テンソルを取得することを含む。いくつかの実施形態では、高密度出力テンソルは、現在の層の疎入力テンソルと疎重みテンソルとのテンソル積を備え、高密度導関数テンソルは、現在の層の第１の疎導関数テンソルと疎重みテンソルとのテンソル積を備える。いくつかの実施形態では、高密度出力テンソルを疎化することによって疎出力テンソルを取得することは、上位Ｋ個活性化関数を高密度出力テンソルに適用して、疎出力テンソルを取得することを備え、高密度導関数テンソルを疎化することによって第２の疎導関数テンソルを取得することは、上位Ｋ個活性化関数を高密度導関数テンソルに適用して、第２の疎導関数テンソルを取得することを備える。いくつかの実施形態では、ニューラルネットワークの現在の層は、高密度重みテンソルを備え、重みテンソルマスクに対応し、現在の層の疎重みテンソルは、重みテンソルマスクを高密度重みテンソルに適用することによって、高密度重みテンソルにおける１つまたは複数の重みを無効化して、疎重みテンソルを取得することによって取得される。
【0072】
ブロック７２０は、ニューラルネットワークの現在の層における逆方向伝播中に、疎出力テンソルに基づいて、第１の疎導関数テンソルを決定し、現在の層の第１の疎導関数テンソルおよび疎重みテンソルに基づいて、高密度導関数テンソルを取得し、高密度導関数テンソルを疎化することによって、第２の疎導関数テンソルを取得することを含む。
【0073】
第１の疎導関数テンソルおよび第２の疎導関数テンソルに基づいて、ニューラルネットワークの重みテンソルをトレーニングするブロック７３０。いくつかの実施形態では、ニューラルネットワークの重みテンソルをトレーニングすることは、第２の疎導関数テンソルに基づいて、前の層の新たな疎重みテンソルを決定することを備える。いくつかの実施形態では、ニューラルネットワークの重みテンソルをトレーニングすることは、第１の疎導関数テンソルおよび疎入力テンソルに基づいて、現在の層のための新たな疎重みテンソルを決定することを備える。
【0074】
いくつかの実施形態では、ニューラルネットワークの現在の層は、重みテンソルマスクに対応し、現在の層のための新たな疎重みテンソルを決定することは、第１の疎導関数テンソルと疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、重みテンソルマスクを高密度導関数重みテンソルに適用することによって、高密度導関数重みテンソルにおける１つまたは複数の重みを無効化して、現在の層のための新たな疎重みテンソルを取得することとを備える。
【0075】
いくつかの実施形態では、高密度導関数重みテンソルは、ニューラルネットワークの現在の層における複数の重みパラメータに対応する複数の勾配を備える。いくつかの実施形態では、現在の層のための新たな疎重みテンソルを決定することは、第１の疎導関数テンソルと疎入力テンソルの転置とのテンソル積に基づいて、高密度導関数重みテンソルを取得することと、上位Ｋ個活性化関数を高密度導関数重みテンソルに適用して、現在の層のための新たな疎重みテンソルを取得することとを備える。
【0076】
いくつかの実施形態では、上位Ｋ個活性化関数を適用することは、高密度導関数重みテンソルの各行または列を、プロセッサのメモリバンクに対応する複数のバンクに分割することと、複数のバンクのそれぞれについて、バンクにおける上位Ｋ個の重みを決定し、バンクにおける上位Ｋ個の重みではない重みを無効化することとを備える。
【0077】
図８は、本明細書で説明される実施形態のいずれかを実施することができる例示的なコンピューティングデバイスを例示している。コンピューティングデバイスは、図１～図７に図示されるシステムおよび方法の１つまたは複数のコンポーネントを実施するために使用することができる。コンピューティングデバイス８００は、情報を通信するためのバス８０２または他の通信機構と、情報を処理するためにバス８０２に結合された１つまたは複数のハードウェアプロセッサ８０４とを備えることができる。ハードウェアプロセッサ８０４は、たとえば、１つまたは複数の汎用マイクロプロセッサとすることができる。
【0078】
コンピューティングデバイス８００はまた、プロセッサ８０４によって実行される情報および命令を格納するためにバス８０２に結合された、ランダムアクセスメモリ（ＲＡＭ）、キャッシュおよび／または他の動的記憶デバイスなどのメインメモリ８０７を含むことができる。メインメモリ８０７はまた、プロセッサ８０４によって実行される命令の実行中に、一時的な変数または他の中間情報を格納するために使用することができる。そのような命令は、プロセッサ８０４にアクセス可能な記憶媒体に格納されると、コンピューティングデバイス８００を、命令で指定された動作を実行するようにカスタマイズされた専用機械にレンダリングすることができる。メインメモリ８０７は、不揮発性媒体および／または揮発性媒体を含むことができる。不揮発性媒体は、たとえば、光ディスクまたは磁気ディスクを含むことができる。揮発性媒体は、動的メモリを含むことができる。一般的な媒体の形式は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、穴のパターンを有する任意の物理的媒体、ＲＡＭ、ＤＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＮ、他の任意のメモリチップまたはカートリッジ、あるいはそれらのネットワーク化されたバージョンを含むことができる。
【0079】
コンピューティングデバイス８００は、カスタマイズされたハードワイヤロジック、１つまたは複数のＡＳＩＣまたはＦＰＧＡ、コンピューティングデバイスと組み合わされて、コンピューティングデバイス８００を、専用機械にするか、または専用機械になるようにプログラムすることができる、ファームウェアおよび／またはプログラムロジックを使用して、本明細書で説明された技法を実施することができる。１つの実施形態によれば、本明細書における技法は、プロセッサ８０４が、メインメモリ８０７に含まれる１つまたは複数の命令の１つまたは複数のシーケンスを実行することに応じて、コンピューティングデバイス８００によって実行される。このような命令は、記憶デバイス８０９などの別の記憶媒体からメインメモリ８０７に読み込むことができる。メインメモリ８０７に含まれる一連の命令を実行すると、プロセッサ８０４は、本明細書で説明されたプロセスステップを実行することができる。たとえば、本明細書に開示されるプロセス／方法は、メインメモリ８０７に格納されたコンピュータプログラム命令によって実施することができる。これらの命令がプロセッサ８０４によって実行されると、対応する図に図示され、上記で説明されたステップを実行することができる。代替実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤ回路構成を使用することができる。
【0080】
コンピューティングデバイス８００は、バス８０２に結合された通信インターフェース８１０も含む。通信インターフェース８１０は、１つまたは複数のネットワークに接続された１つまたは複数のネットワークリンクに結合する双方向データ通信を提供することができる。別の例として、通信インターフェース８１０は、互換性のあるＬＡＮ（または、ＷＡＮと通信するＷＡＮコンポーネント）へのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであることができる。ワイヤレスリンクを実施することもできる。
【0081】
特定の動作のパフォーマンスはプロセッサ間で分散され、単一の機械内に存在するだけでなく、多数の機械にわたって展開することができる。いくつかの例示的な実施形態では、プロセッサまたはプロセッサ実施エンジンは、単一の地理的位置（たとえば、家庭環境、オフィス環境、またはサーバファーム内）に配置することができる。他の例示的な実施形態では、プロセッサまたはプロセッサ実施エンジンは、多数の地理的位置にわたって分散することができる。
【0082】
前のセクションで説明されたプロセス、方法、およびアルゴリズムのそれぞれは、コンピュータハードウェアを備える１つまたは複数のコンピュータシステムまたはコンピュータプロセッサによって実行されるコードモジュールにおいて具体化することができ、完全にまたは部分的に自動化することができる。プロセスおよびアルゴリズムは、アプリケーション固有の回路構成で部分的または全体的に実施することができる。
【0083】
本明細書に開示される機能が、ソフトウェア機能ユニットの形式で実施され、独立した製品として販売または使用される場合、それらは、プロセッサ実行可能な不揮発性コンピュータ可読記憶媒体に記憶することができる。本明細書に開示される特定の技術的解決策（全部または一部）または現在の技術に貢献する態様は、ソフトウェア製品の形態で具体化することができる。ソフトウェア製品は、（パーソナルコンピュータ、サーバ、ネットワークデバイスなどであってもよい）コンピューティングデバイスに、本願の実施形態の方法のすべてまたは一部のステップを実行させるための多数の命令を備える記憶媒体に記憶することができる。記憶媒体は、フラッシュドライブ、ポータブルハードドライブ、ＲＯＭ、ＲＡＭ、磁気ディスク、光ディスク、プログラムコードを記憶するように動作可能な別の媒体、またはそれらの任意の組合せを備えることができる。
【0084】
特定の実施形態はさらに、プロセッサと、上記で開示された実施形態の任意の方法におけるステップに対応する動作をシステムに実行させる、プロセッサによって実行可能な命令を格納する非一時的なコンピュータ可読記憶媒体とを備える、システムを提供することができる。特定の実施形態はさらに、１つまたは複数のプロセッサに、上記で開示された実施形態の任意の方法におけるステップに対応する動作を実行させるための、１つまたは複数のプロセッサによって実行可能な命令で構成された非一時的なコンピュータ可読記憶媒体を提供する。
【0085】
本明細書で開示される実施形態は、クライアントと対話するクラウドプラットフォーム、サーバ、またはサーバグループ（以下、集合的に「サービスシステム」）によって実施することができる。クライアントは、端末デバイス、またはユーザによってプラットフォームに登録されたクライアントであってもよく、端末デバイスは、モバイル端末、パーソナルコンピュータ（ＰＣ）、およびプラットフォームアプリケーションプログラムをインストールできる任意のデバイスであってもよい。
【0086】
上記で説明された様々な特徴およびプロセスは、互いに独立して使用することも、または様々な手法で組み合わせることもできる。あらゆる可能な組合せおよび部分的な組合せは、この開示の範囲内に含まれることが意図されている。それに加えて、実施によっては、特定の方法またはプロセスブロックを省略することができる。また、本明細書で説明される方法およびプロセスは、いかなる特定のシーケンスにも限定されず、それに関連するブロックまたは状態は、適切である他のシーケンスにおいて実行することができる。たとえば、説明されたブロックまたは状態が、特に開示された順序以外の順序で実行することができ、または、複数のブロックまたは状態が、単一のブロックまたは状態に結合することができる。例示的なブロックまたは状態は、直列、並列、または他のいくつかの方式で実行することができる。ブロックまたは状態は、開示された例示的な実施形態に追加されても、または削除されてもよい。本明細書で説明される例示的なシステムおよびコンポーネントを、説明とは異なるように構成することができる。たとえば、開示された例示的な実施形態と比較して、要素を追加したり、削除したり、再配置することができる。
【0087】
本明細書に記載される例示的な方法の様々な動作は、少なくとも部分的に、アルゴリズムによって実行することができる。アルゴリズムは、メモリ（たとえば、上記で説明された非一時的なコンピュータ可読記憶媒体）に記憶されたプログラムコードまたは命令に含まれてもよい。そのようなアルゴリズムは、機械学習アルゴリズムを備えることができる。いくつかの実施形態では、機械学習アルゴリズムは、機能を実行するようにコンピュータを明示的にプログラムすることはできないが、機能を実行する予測モデルを作成するためにトレーニングデータから学習することができる。
【0088】
本明細書に記載される例示的な方法の様々な動作は、関連する動作を実行するように一時的に（たとえば、ソフトウェアによって）構成された、または永続的に構成された１つまたは複数のプロセッサによって、少なくとも部分的に実行することができる。一時的または永続的に構成されるか否かに関わらず、そのようなプロセッサは、本明細書に記載される１つまたは複数の動作または機能を実行するように動作するプロセッサ実施エンジンを構成することができる。
【0089】
同様に、本明細書で説明される方法は、少なくとも部分的にプロセッサにおいて実施することができ、特定の１つまたは複数プロセッサは、ハードウェアの例である。たとえば、方法の動作の少なくとも一部は、１つまたは複数のプロセッサまたはプロセッサ実施エンジンによって実行できる。さらに、１つまたは複数のプロセッサは、「クラウドコンピューティング」環境において、または「サービスとしてのソフトウェア」（ＳａａＳ）として関連する動作のパフォーマンスをサポートするように動作することもできる。たとえば、動作の少なくとも一部は、コンピュータのグループによって（プロセッサを含む機械の例として）実行することができ、これらの動作は、ネットワーク（たとえば、インターネット）を介して、および１つまたは複数の適切なインターフェース（たとえば、アプリケーションプログラムインターフェース（ＡＰＩ））を介してアクセス可能である。
【0090】
特定の動作のパフォーマンスはプロセッサ間で分散され、単一の機械内に存在するだけでなく、多数の機械にわたって展開することができる。いくつかの例示的な実施形態では、プロセッサまたはプロセッサ実施エンジンは、単一の地理的位置（たとえば、家庭環境、オフィス環境、またはサーバファーム内）に配置することができる。他の例示的な実施形態では、プロセッサまたはプロセッサ実施エンジンは、多数の地理的位置にわたって分散できる。
【0091】
本明細書全体を通じて、単一のインスタンスとして説明されたコンポーネント、動作、または構造を、複数のインスタンスが実施することができる。１つまたは複数の方法の個々の動作は、別個の動作として例示および説明されているが、１つまたは複数の個別の動作を同時に実行することができ、動作は、例示された順序で実行される必要はない。例示的な構成において別個のコンポーネントとして提示された構造および機能は、結合された構造またはコンポーネントとして実施することができる。同様に、単一のコンポーネントとして提示された構造および機能は、別個のコンポーネントとして実施することができる。これらおよび他の変形、修正、追加、および改良は、本明細書の主題の範囲内に含まれる。
【0092】
本明細書で使用される場合、「または」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、包括的であり、排他的ではない。したがって、本明細書において、「Ａ、Ｂ、またはＣ」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、「Ａ、Ｂ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、またはＡ、ＢおよびＣ」を意味する。さらに、「および」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、結合および複数の両方である。したがって、本明細書において、「ＡおよびＢ」は、明示的に別段の指示がない限り、または文脈によって別段の指示がない限り、「ＡおよびＢを結合的または個別に」を意味する。さらに、本明細書で単一のインスタンスとして説明されるリソース、動作、または構造に対して複数のインスタンスを提供することができる。それに加えて、様々なリソース、動作、エンジン、およびデータストア間の境界は、ある程度任意であり、特定の動作は、特定の例示的な構成のコンテキストで例示されている。機能の他の割当も想定され、本開示の様々な実施形態の範囲内にあることができる。一般に、例示的な構成において別個のリソースとして提示された構造および機能は、結合された構造またはリソースとして実施することができる。同様に、単一のリソースとして提示される構造および機能は、別個のリソースとして実施することができる。これらおよび他の変形、修正、追加、および改良は、添付の特許請求の範囲によって表される本開示の実施形態の範囲内にある。したがって、明細書および図面は、限定的な意味ではなく、例示的な意味としてみなされるべきである。
【0093】
「含む」または「備える」という用語は、その後に宣言された特徴の存在を示すために使用されるが、他の特徴の追加を排除しない。特に「できる」、「できた」、「かもしれない」、または「することができる」などの条件付きの文言は、特に別段の記載がない限り、または使用される文脈内で別段理解されない限り、一般に、特定の実施形態が含むが、他の実施形態が含まない特定の特徴、要素および／またはステップを伝えるように意図されている。したがって、そのような条件付き文言は、一般に、特徴、要素、および／またはステップが、何らかの手法で１つまたは複数の実施形態のために必要であること、または、１つまたは複数の実施形態が、ユーザ入力またはプロンプトの有無に関わらず、これらの特徴、要素、および／またはステップが、特定の実施形態に含まれるか、または実行されることを決定するためのロジックを必然的に含むことを示唆するように意図されていない。
【0094】
特定の例示的な実施形態を参照して主題の概要が説明されたが、本開示の実施形態のより広い範囲から逸脱することなく、これらの実施形態に対して様々な修正および変更を加えることができる。主題のそのような実施形態は、本明細書では、単に便宜上、本願の範囲を、実際には１つ以上が開示されている場合、任意の単一の開示または概念に限定することを意図することなく、個別にまたは集合的に「発明」という用語で参照することができる。
【0095】
本明細書に例示される実施形態は、当業者が、開示された教示を実施できるように十分に詳細に説明されている。この開示の範囲から逸脱することなく、構造的および論理的な置換および変更を行うことができるように、他の実施形態が、使用され、派生され得る。したがって、詳細な説明は、限定的な意味で解釈されるべきではなく、様々な実施形態の範囲は、添付の特許請求の範囲と、そのような特許請求の範囲が権利を有する均等物の全範囲によってのみ定義される。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7】
【図8】
【国際調査報告】