(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】帯域幅拡張のための特徴ディクショナリ
(51)【国際特許分類】
G06N 3/08 20230101AFI20231128BHJP
G09C 1/00 20060101ALI20231128BHJP
H04L 9/12 20060101ALI20231128BHJP
H04W 12/02 20090101ALI20231128BHJP
H04W 12/03 20210101ALI20231128BHJP
【ＦＩ】
G06N3/08
G09C1/00 660E
H04L9/12
H04W12/02
H04W12/03
【請求項の数】
14
(21)【出願番号】P 2022510878
(86)(22)【出願日】2020-08-13
(65)【公表番号】
(43)【公表日】2022-10-25
(86)【国際出願番号】 US2020046159
(87)【国際公開番号】W WO2021034604
(87)【国際公開日】2021-02-25
【審査請求日】2022-04-15
(31)【優先権主張番号】16/545,854
(32)【優先日】2019-08-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】595168543
【氏名又は名称】マイクロン テクノロジー，インク．
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(72)【発明者】
【氏名】クレウィッツ ケネス マリオン
(72)【発明者】
【氏名】アケル アミーン ディー．
(72)【発明者】
【氏名】ワン ホンギュ
(72)【発明者】
【氏名】エイラート ショーン ステファン
【審査官】渡辺 一帆
(56)【参考文献】
【文献】国際公開第２０１９／０３２１５７（ＷＯ，Ａ１）
【文献】特開昭６３－１０３５３３（ＪＰ，Ａ）
【文献】特表２０１７－５３０４３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／００５０７４６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／００１８５９０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０１９５１４６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００３５１１３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２－３／１０
Ｇ０９Ｃ １／００
Ｈ０４Ｌ ９／１２
Ｈ０４Ｗ １２／０２
Ｈ０４Ｗ １２／０３
(57)【特許請求の範囲】
【請求項1】
方法であって、第１のコンピューティングデバイスによって、人工ニューラルネットワーク（ＡＮＮ）のマスターバージョンをホストすることと、
前記第１のコンピューティングデバイスによって、特徴ディクショナリのマスターバージョンをホストすることと、
前記第１のコンピューティングデバイスによって、第２のコンピューティングデバイスからエンコードされた特徴を受信することであって、前記受信したエンコードされた特徴が、前記第２のコンピューティングデバイスによってホストされる前記特徴ディクショナリのローカルバージョンに従って、前記第２のコンピューティングデバイスによってエンコードされる、前記受信することと、
前記第１のコンピューティングデバイスによって、前記特徴ディクショナリの前記マスターバージョンに従って、前記受信したエンコードされた特徴をデコードすることと、
前記第１のコンピューティングデバイスによって、機械学習を使用して、前記デコードされた特徴に基づいて前記ＡＮＮの前記マスターバージョンをトレーニングすることと、
前記第１のコンピューティングデバイスによって、前記第２のコンピューティングデバイスから前記特徴ディクショナリの前記ローカルバージョンを受信することと、
前記第１のコンピューティングデバイスによって、前記特徴ディクショナリの前記受信したローカルバージョンに基づいて前記特徴ディクショナリの前記マスターバージョンを変更することと、
前記第１のコンピューティングデバイスによって、前記特徴ディクショナリの前記変更されたマスターバージョンを前記第２のコンピューティングデバイスに送信することと、
を含む、前記方法。
【請求項2】
第１のコンピューティングデバイスによって、前記ＡＮＮの前記トレーニングされたマスターバージョンを前記第２のコンピューティングデバイスに送信することを含む、請求項１に記載の方法。
【請求項3】
前記デコードすることが、前記特徴ディクショナリの前記変更されたマスターバージョンに従って、前記エンコードされた特徴をデコードすることを含む、請求項１に記載の方法。
【請求項4】
方法であって、第２のコンピューティングデバイスによって、人工ニューラルネットワーク（ＡＮＮ）のローカルバージョンをホストすることと、
第２のコンピューティングデバイスによって、特徴ディクショナリのローカルバージョンをホストすることと、
前記第２のコンピューティングデバイスによって、前記第２のコンピューティングデバイスによってホストされるユーザーデータから特徴を抽出することと、
前記第２のコンピューティングデバイスによって、前記特徴ディクショナリの前記ローカルバージョンに従って、前記抽出された特徴をエンコードすることと、
前記エンコードされた特徴が、第１のコンピューティングデバイスによってホストされる前記特徴ディクショナリのマスターバージョンによってデコードされ、次に機械学習を使用して、前記ＡＮＮのマスターバージョンをトレーニングするための入力として使用されるように、前記エンコードされた特徴を、前記第２のコンピューティングデバイスによって、前記ＡＮＮの前記マスターバージョンをホストする前記第１のコンピューティングデバイスに送信することと、
前記抽出された特徴が前記特徴ディクショナリのローカルバージョンに含まれるかどうかを、前記第２のコンピューティングデバイスによって決定することと、
前記特徴ディクショナリの前記ローカルバージョンが前記抽出された特徴を含むことに応答して、前記特徴ディクショナリの前記ローカルバージョンに従って、前記抽出された特徴をエンコードすることと、
前記特徴ディクショナリの前記ローカルバージョンが前記抽出された特徴を含まないことに応答して、前記抽出された特徴に基づいて前記特徴ディクショナリの前記ローカルバージョンを変更し、次に前記特徴ディクショナリの前記変更されたローカルバージョンに従って、前記抽出された特徴をエンコードすることと、
を含む前記方法。
【請求項5】
前記特徴ディクショナリの前記マスターバージョンが前記特徴ディクショナリの前記ローカルバージョンに従って変更されるように、前記特徴ディクショナリの前記変更されたローカルバージョンを前記第１のコンピューティングデバイスに送信することを含む、請求項４に記載の方法。
【請求項6】
前記特徴ディクショナリの前記ローカルバージョンに従って変更された前記特徴ディクショナリの変更されたマスターバージョンを受信することと、前記特徴ディクショナリの前記変更されたマスターバージョンに基づいて前記特徴ディクショナリの前記ローカルバージョンを変更することと、
を含む、請求項５に記載の方法。
【請求項7】
前記ＡＮＮの前記トレーニングされたマスターバージョンを受信することと、前記ＡＮＮの前記トレーニングされたマスターバージョンに基づいて前記ＡＮＮの前記ローカルバージョンを変更することと、
を含む、請求項４に記載の方法。
【請求項8】
第２のコンピューティングデバイスと、前記第２のコンピューティングデバイスに通信可能に結合された第１のコンピューティングデバイスと、
を備えるシステムであって、
前記第１のコンピューティングデバイスは、
人工ニューラルネットワーク（ＡＮＮ）のマスターバージョンを格納し、かつ、特徴ディクショナリのマスターバージョンを格納するように構成されたメモリと、
前記第２のコンピューティングデバイスからエンコードされた特徴を受信するように構成されたトランシーバと、
前記特徴ディクショナリの前記マスターバージョンに従って、前記受信したエンコードされた特徴をデコードし、かつ、機械学習を使用して、前記デコードされた特徴に基づいて前記ＡＮＮの前記マスターバージョンをトレーニングするように構成されたプロセッサと、
を備え、
前記第１のコンピューティングデバイスの前記トランシーバが、前記第２のコンピューティングデバイスから前記特徴ディクショナリのローカルバージョンを受信するように構成され、
前記第１のコンピューティングデバイスの前記プロセッサが、前記特徴ディクショナリの前記受信したローカルバージョンに基づいて前記特徴ディクショナリの前記マスターバージョンを変更し、かつ、前記特徴ディクショナリの前記変更されたマスターバージョンに従って、前記受信したエンコードされた特徴をデコードするように構成され、
前記第１のコンピューティングデバイスの前記トランシーバが、前記特徴ディクショナリの前記変更されたマスターバージョンを前記第２のコンピューティングデバイスに送信するように構成される、前記システム。
【請求項9】
前記第１のコンピューティングデバイスの前記トランシーバが、前記ＡＮＮの前記トレーニングされたマスターバージョンを前記第２のコンピューティングデバイスに送信するように構成される、請求項８に記載のシステム。
【請求項10】
前記第２のコンピューティングデバイスが、ユーザーデータを格納し、前記ＡＮＮのローカルバージョンを格納し、かつ、前記特徴ディクショナリの前記ローカルバージョンを格納するように構成されたメモリと、
前記格納されたユーザーデータから特徴を抽出し、かつ、前記特徴ディクショナリの前記ローカルバージョンに従って、前記抽出された特徴をエンコードするように構成されたプロセッサと、
前記エンコードされた特徴が、前記特徴ディクショナリの前記マスターバージョンによってデコードされ、次に前記機械学習を使用して、前記ＡＮＮの前記マスターバージョンをトレーニングするための入力として使用されるように、前記エンコードされた特徴を前記第１のコンピューティングデバイスに送信するように構成されたトランシーバと、
を備える、請求項８に記載のシステム。
【請求項11】
前記第２のコンピューティングデバイスの前記プロセッサが、さらに前記抽出された特徴が、前記特徴ディクショナリの前記ローカルバージョンに含まれるかどうかを決定し、
前記特徴ディクショナリの前記ローカルバージョンが前記抽出された特徴を含むことに応答して、前記特徴ディクショナリの前記ローカルバージョンに従って、前記抽出された特徴をエンコードし、
前記特徴ディクショナリの前記ローカルバージョンが前記抽出された特徴を含まないことに応答して、前記抽出された特徴に基づいて前記特徴ディクショナリの前記ローカルバージョンを変更し、次に前記特徴ディクショナリの前記変更されたローカルバージョンに従って、前記抽出された特徴をエンコードするように構成される、請求項１０に記載のシステム。
【請求項12】
前記第２のコンピューティングデバイスの前記トランシーバが、前記特徴ディクショナリの前記マスターバージョンが前記特徴ディクショナリの前記ローカルバージョンに従って変更されるように、前記特徴ディクショナリの前記変更されたローカルバージョンを前記第１のコンピューティングデバイスに送信するように構成される、請求項１１に記載のシステム。
【請求項13】
前記第２のコンピューティングデバイスの前記トランシーバが、前記特徴ディクショナリの前記変更されたマスターバージョンを受信するように構成され、前記第２のコンピューティングデバイスの前記プロセッサが、前記特徴ディクショナリの前記変更されたマスターバージョンに基づいて前記特徴ディクショナリの前記ローカルバージョンを変更するように構成される、請求項１２に記載のシステム。
【請求項14】
前記第２のコンピューティングデバイスの前記トランシーバが、前記ＡＮＮの前記トレーニングされたマスターバージョンを受信するように構成され、前記第２のコンピューティングデバイスの前記プロセッサが、前記ＡＮＮの前記トレーニングされたマスターバージョンに基づいて前記ＡＮＮの前記ローカルバージョンを変更するように構成される、請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０１９年８月２０日に出願され、「Ｆｅａｔｕｒｅ Ｄｉｃｔｉｏｎａｒｙ ｆｏｒ Ｂａｎｄｗｉｄｔｈ Ｅｎｈａｎｃｅｍｅｎｔ」と題され、その開示全体が参照により本明細書に組み込まれる米国特許出願第１６／５４５，８５４号の優先権を主張する。
【0002】
本明細書に開示される少なくともいくつかの実施形態は、一般にデータプライバシー保護及び帯域幅拡張を備えた分散型機械学習に関連し、より具体的には、データプライバシー保護及び帯域幅拡張を備えた分散型人工ニューラルネットワークに関連する。
【背景技術】
【0003】
人工ニューラルネットワーク（ＡＮＮ）は、特定の操作の命令でプログラムされることなく、タスクの実行を学習できるコンピューティングシステムである。ＡＮＮは、接続されたノードまたは人工ニューロンのセットに基づいており、これらは、生物学的脳のニューロンにいくらか類似している。ノード間の各接続は、ある人工ニューロンから別の人工ニューロンに信号を送信でき、信号を受信した人工ニューロンはそれを処理できる。
【0004】
通常、ＡＮＮは、実数である人工ニューロン間の接続（またはエッジ）での信号によって実装され、各人工ニューロンの出力は、その入力の合計の非線形関数によって計算される。人工ニューロンとエッジは、通常、ＡＮＮによる学習またはＡＮＮのトレーニングが進むにつれて調整される重みを有する。重みは、エッジでの信号の強度を増減する。人工ニューロンはまた、集約信号がしきい値を超えた場合にのみ信号が人工ニューロンから送信されるしきい値を有する場合もある。通常、人工ニューロンはレイヤー（入力レイヤー、１つ以上の中間レイヤー、出力レイヤーなど）にグループ化され、各レイヤーはレイヤーへの入力に対して異なる変換を提供できる。
【0005】
ディープニューラルネットワークなどの複雑な人工ニューラルネットワークの使用が増加し、そのようなネットワークの有効性を高めたいという要望に伴い、複数のプロセッサ及び／または分散コンピューティングを使用して人工ニューラルネットワークのトレーニングを分散することで複雑さと課題に対応してきた。ただし、複数のプロセッサまたは分散コンピューティングを使用すると、データのプライバシーに関する懸念（たとえば、データが真正であるという懸念）と、ネットワークパフォーマンスに関する懸念（たとえば、アプリケーションの性能ニーズを満たすニューラルネットワークの能力を制限するネットワークパフォーマンスに関わる懸念）がある。
【0006】
本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。
【図面の簡単な説明】
【0007】
【図1】本開示のいくつかの実施形態による、人工ニューラルネットワーク（ＡＮＮ）の集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するための構成の例示的なコンピュータネットワーク１００を示す。
【図2】本開示のいくつかの実施形態による、人工ニューラルネットワーク（ＡＮＮ）の集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するための構成の例示的なコンピュータネットワーク１００を示す。
【図3】本開示のいくつかの実施形態による、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。
【図4】本開示のいくつかの実施形態による、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。
【図5】本開示のいくつかの実施形態による、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。
【図6】本開示のいくつかの実施形態による、ＡＮＮのマスターバージョン及び特徴ディクショナリをホストすることができる例示的なコンピューティングデバイス、またはＡＮＮの他のバージョン及び特徴ディクショナリをホストすることができる例示的なコンピューティングデバイスを示す。
【発明を実施するための形態】
【0008】
本開示の少なくともいくつかの態様は、一般にデータプライバシー保護及び帯域幅拡張を備えた分散型機械学習を対象とし、より具体的には、データプライバシー保護及び帯域幅拡張を備えた分散型人工ニューラルネットワークを対象とする。また、本開示の少なくともいくつかの態様は、人工ニューラルネットワーク（ＡＮＮ）の集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するように構成できるコンピュータネットワークを対象とする。
【0009】
本明細書に開示されているのは、ＡＮＮの異なるバージョンをホストできる複数のコンピューティングデバイスを有することができるシステムである。システムの各コンピューティングデバイスは、ＡＮＮの独自のバージョンをホストできる。たとえば、第１のデバイスはＡＮＮのマスターバージョンをホストでき、第２のデバイスとシステムの他のデバイスはＡＮＮのローカルバージョンをホストできる。また、本明細書に開示されているのは、ＡＮＮの異なるバージョンならびに特徴ディクショナリの異なるバージョンをホストできる複数のデバイスを有することができるシステムである。システムでは、ＡＮＮのマスターバージョンの入力は、ＡＮＮのローカルバージョンをホストする複数のデバイスの１つ（第２のコンピューティングデバイスなど）でエンコードできる。次に、（特徴ディクショナリのローカルバージョンによって定義されたエンコードされた入力である）エンコードされた入力を、ＡＮＮのマスターバージョンをホストするマスターコンピューティングデバイス（第１のコンピューティングデバイスなど）に送信できる。マスターコンピューティングデバイスでは、送信されたエンコードされた特徴を、特徴ディクショナリのマスターバージョンに従ってデコードできる。これにより、通常はエンコードされた入力よりも多くのデータを含む入力の元のバージョンの代わりに、エンコードされた入力をネットワークを介してＡＮＮのマスターバージョンに送信できる。したがって、マスターＡＮＮのトレーニングに特徴ディクショナリを使用することによって、データ送信を低減できる。
【0010】
システムでは、ＡＮＮのローカルバージョンと特徴ディクショナリのローカルバージョンをホストするコンピューティングデバイスは、デバイスに格納されたユーザーデータから選択された機能を抽出し、データ圧縮アルゴリズムを使用してユーザーデータから抽出された特徴をエンコードできる。このエンコーディングにより、データ圧縮アルゴリズムは、抽出された特徴と、それに対応するエンコードされた特徴（コードワードなど）とのペアを提供できる。ペアは、定義として特徴ディクショナリに含めることができる。元の抽出されたデータとそれに対応するエンコードされたデータとのペアリングを使用して、特徴ディクショナリを作成または再作成できる。したがって、特徴ディクショナリのローカルバージョンは、エンコードされたデータの定義をペアリングで提供する。これらのペアリングまたは定義により、エンコードされたデータを、特徴ディクショナリのマスターバージョンによってなど、その対応する元のデータにデコードできる。また、特徴ディクショナリのローカルバージョンを使用して、特徴ディクショナリのマスターバージョンを更新できる。そして、データ圧縮アルゴリズムは、データ送信の低減を変えるために、その圧縮の程度を変えることができる。
【0011】
システムでは、ユーザーデータの特徴の完全な記述（圧縮されていないユーザーデータなど）を送信する代わりに、ＡＮＮ及びディクショナリのローカルバージョンをホストするコンピューティングデバイスの１つから、ＡＮＮ及びディクショナリのマスターバージョンをホストするコンピューティングデバイスにユーザーデータを送信することで、コードワードを送信できる。ＡＮＮ及びディクショナリのマスターバージョンをホストするコンピューティングデバイスに特徴が送信されるたびに、それに応じて特徴のコードワードを特徴ディクショナリのローカルバージョンで定義し、送信することができ、その結果、対応するコードワードだけがネットワークを介して送信される。いくつかの実施形態では、コードワードと特徴をペアにする定義は、定義が特徴ディクショナリのローカルバージョンで生成または更新される－データ圧縮アルゴリズムを介して生成または更新されるなど－ときにだけ特徴ディクショナリのマスターバージョンをホストするコンピューティングデバイスに送信される。これは、特徴ディクショナリとエンコードされた特徴の両方の更新が一緒に送信される場合である。それ以外の場合、ディクショナリのマスターバージョンにはローカルバージョンと同じ定義が含まれているため、エンコードされた特徴のみが送信される。
【0012】
ＡＮＮのマスターバージョンと特徴ディクショナリのマスターバージョンをホストするコンピューティングデバイスは、送信されたコードワードを使用して、ディクショナリのマスターバージョンから特徴を検索できる。そして、コンピューティングデバイスは、ディクショナリのマスターバージョンに従ってコードワードをデコードし、機械学習を介してＡＮＮのマスターバージョンをトレーニングするためにデコードされた特徴を使用できる。
【0013】
いくつかの実施形態では、本明細書で説明するシステムは、ＡＮＮのマスターバージョンと特徴ディクショナリのマスターバージョンをホストする第１のコンピューティングデバイス、及びＡＮＮのローカルバージョンと特徴ディクショナリのローカルバージョンをホストする第２のコンピューティングデバイスを含むことができる。また、第２のコンピューティングデバイスは、ＡＮＮの異なるローカルバージョンと特徴ディクショナリの異なるローカルバージョンをホストできる多くのコンピューティングデバイスの１つである可能性がある。第１のコンピューティングデバイスは、第２のコンピューティングデバイスに通信可能に結合することができ、ＡＮＮのマスターバージョンを格納し、特徴ディクショナリのマスターバージョンを格納するように構成されたメモリを含むことができる。第１のコンピューティングデバイスはまた、第２のコンピューティングデバイスからエンコードされた特徴を受信するように構成されたトランシーバを含むことができる。第１のコンピューティングデバイスはまた、特徴ディクショナリのマスターバージョンに従って、受信したエンコードされた特徴をデコードし、機械学習を使用して、デコードされた特徴に基づいてＡＮＮのマスターバージョンをトレーニングするように構成されたプロセッサを含むことができる。第２のコンピューティングデバイスは、ユーザーデータを格納し、ＡＮＮのローカルバージョンを格納し、特徴ディクショナリのローカルバージョンを格納するように構成されたメモリを含むことができる。第２のコンピューティングデバイスはまた、格納されたユーザーデータから特徴を抽出し、特徴ディクショナリのローカルバージョンに従って、抽出された特徴をエンコードするように構成されたプロセッサを含むこともできる。第２のコンピューティングデバイスはまた、エンコードされた特徴が、特徴ディクショナリのマスターバージョンによってデコードされ、次に機械学習を使用して、ＡＮＮのマスターバージョンをトレーニングするための入力として使用されるように、エンコードされた特徴を第１のコンピューティングデバイスに送信するように構成されたトランシーバを含むこともできる。
【0014】
さらに、いくつかの実施形態では、たとえばエンコーディングを介して、ＡＮＮのマスターバージョンの集中トレーニングのための入力を難読化できる。たとえば、特徴のエンコード中またはエンコード前に、特徴を難読化することができる。難読化は、ＡＮＮのローカルバージョンをホストするデバイスなど、ＡＮＮの異なるバージョンをホストする複数のコンピューティングデバイスのいずれか１つで起こり得る。たとえば、システム内の第２のコンピューティングデバイスは、ローカルバージョンのＡＮＮと、ＡＮＮのローカルバージョンに入力するためのユーザーデータを格納するように構成されたメモリを含むことができる。第２のコンピューティングデバイスはまた、ユーザーデータから特徴を抽出し、抽出された特徴のエンコーディング中またはエンコーディング前に、抽出された特徴を難読化して、難読化されたユーザーデータを生成するように構成されたプロセッサを含むことができる。第２のデバイスはまた、第１のコンピューティングデバイスなどに難読化／エンコードされたユーザーデータを送信するように構成されたトランシーバを含むこともできる。第１のコンピューティングデバイスは、ＡＮＮのマスターバージョンを格納するように構成されたメモリ、第２のコンピューティングデバイスまたはＡＮＮのローカルバージョンをホストするシステムの別のデバイスから送信された難読化／エンコードされたユーザーデータを受信するように構成されたトランシーバ、及び受信した難読化／エンコードされたユーザーデータが、特徴ディクショナリのマスターバージョンによってでコードされた後に、機械学習を使用して、受信した難読化／エンコードされたユーザーデータに基づいてマスターバージョンをトレーニングするように構成されたプロセッサを含むことができる。
【0015】
いくつかの実施形態では、ＡＮＮのローカルバージョンをホストするデバイスの１つは、そのメモリに格納されたユーザーデータをＡＮＮのローカルバージョンに入力して、ＡＮＮのローカルバージョンを使用及びトレーニングできる。たとえば、これはユーザーのモバイルデバイスで起こり得る。機密情報や個人情報を含む可能性のあるユーザーデータは、ＡＮＮとのその使用で他のデバイスと共有されない。言い換えると、ＡＮＮの機械学習は、ユーザーデータが他のデバイスと共有されず、ユーザーのデバイス内で保護されるという点で、ローカル及びプライベートで行うことができる。ただし、マスターバージョンなど、ＡＮＮの他のバージョンのトレーニングのためにユーザーデータを他のデバイスと共有するときは、ユーザーデータは共有される前に難読化／エンコードできる。難読化によりデータのプライバシーがさらに保護され、エンコードされたデータは通常元のデータよりも小さいため、エンコードによって使用されるネットワーク帯域幅をより少なくすることができる。いくつかの実施形態では、一意のローカルデータのみが、ＡＮＮのマスターバージョンをホストするデバイスに送信することができるので、データ転送サイズは、元のデータのサブセットである。
【0016】
いくつかの実施形態では、ＡＮＮのマスターバージョンをホストする１つまたは複数のデバイスは、クラウドコンピューティング環境の一部であり得る。そして、そのような実施形態では、ユーザーのデバイス内でのみユーザーデータを難読化及び／またはエンコードすることによって、ユーザーデータをクラウドのデバイスから秘密に保つことができる。また、小さなデータセットを出力するエンコーディングにより、データ送信を増やすことができる。ユーザーのデバイスでＡＮＮのローカルバージョンをローカルでトレーニングするために、マスクされていないまたは事前にエンコードされたユーザーデータを使用できる。たとえば、元のユーザーデータは、ユーザーのモバイルデバイス（ユーザーのスマートフォン、タブレットなど）でＡＮＮのローカルバージョンをトレーニングするためにのみ使用できる。ユーザーデータが、ＡＮＮの他のバージョンのトレーニングのためにシステムで共有される場合、システムによって常に少なくともエンコードされ、実施形態によっては、エンコード中またはエンコード前に難読化されることもある。
【0017】
いくつかの実施形態では、デバイスに格納されているＡＮＮのローカルバージョンを更新及び改善するために、ＡＮＮのマスターバージョンをユーザーの個々のデバイスにダウンロードできる。これにより、ローカルでのトレーニングだけでは改善されなかった可能性のあるＡＮＮの領域で、ＡＮＮのローカルに格納されたバージョンの精度を向上させることができる。また、ダウンロードされたＡＮＮのマスターバージョンは、ユーザー向けのＡＮＮのカスタマイズされたバージョン用にローカルでさらにトレーニングできる。これの利点は、ＡＮＮがユーザーデバイスでローカルにトレーニングされるとき、データ入力をエンコードまたは難読化する必要がない点である。
【0018】
一般に、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するように構成できるコンピュータネットワークでは、ＡＮＮの異なってトレーニングされたバージョンをホストするデバイスは、ユーザーデータが送信前に特徴ディクショナリによって少なくともエンコードされない限り、ユーザーデータ（サイズが大きい可能性がある）の送信を回避するためにローカルトレーニングを実行できる（これにより、送信されるデータのサイズを大幅に低減できる）。その点では、いくつかの実施形態では、ネットワークのデバイスを通信可能に結合するネットワークを介して送信できるのは、エンコードされたユーザーデータのみである。中央デバイス、サーバ、またはクラウドは、ネットワークを介してエンコードされたユーザーデータを受信し、そのユーザーデータをでコードし、デコードしたデータを使用して、ネットワーク帯域幅の使用を制限しつつ、かついくつかの実施形態では、データのプライバシーを損なうことなくＡＮＮのマスターバージョンをトレーニングできる。中央デバイス、サーバ、またはクラウドには、ネットワークを介して元のユーザーデータ（ＡＮＮのローカルバージョンへの入力など）を受信しないため、嵩張る元のユーザーデータをネットワークを介して中央デバイス、サーバ、またはクラウド及びネットワークに転送すること（ｔｒａｆｆｉｃｋｉｎｇ）を回避できる。
【0019】
コンピュータネットワークで更新されるＡＮＮは、ニューロン属性及び／または接続性の更新の形をとることができる。ＡＮＮのバージョンへの変更は、入力が、ネットワーク通信を改善するためにエンコードされた、デコード済みのユーザーデータであるか、またはネットワーク通信を改善するためにエンコードされた、デコード済みのユーザーデータを少なくとも含む、互換性のある機械学習手法を使用したトレーニングを通じて行うことができる。また、入力は、エンコーディングプロセス中にまたはエンコーディングプロセス前に難読化できるが、難読化されたユーザーデータは、難読化された入力を使用したニューロン属性及び／または接続性の更新が、期待される予測を行う際にＡＮＮの有効性に悪影響を及ぼすポイントを超えて難読化されることはない。
【0020】
【0021】
図１では、コンピューティングデバイスのセット１０２を含むコンピュータネットワーク１００が示されている。コンピューティングデバイスのセット１０２は、任意のタイプのモバイルデバイス、パーソナルコンピュータ、またはＡＮＮのバージョンをホスト及び実行できるスマートデバイスなど、ＡＮＮのバージョンをホスト及び実行できる任意のタイプのコンピューティングデバイスの１つまたは複数を含むことができる（たとえば、第２のコンピューティングデバイス１０４ａ及び第Ｎのコンピューティングデバイス１０４ｂを参照）。コンピューティングデバイスのセット１０２の各コンピューティングデバイスは、ＡＮＮのローカルバージョンをホスト及び実行できる（たとえば、ＡＮＮ１０６ａ及び１０６ｂのそれぞれのローカルバージョンを有する第２のコンピューティングデバイス１０４ａ及びＮ番目のコンピューティングデバイス１０４ｂを参照）。
【0022】
第１のコンピューティングデバイス１０８を含むコンピュータネットワーク１００もまた示されている。第１のコンピューティングデバイス１０８は、単一のコンピューティングデバイス、またはクラウドコンピューティング環境のネットワーク上に分散されるなど、ネットワーク上に分散される複数のコンピューティングデバイスであり得る。第１のコンピューティングデバイス１０８によって具体化される単一のコンピューティングデバイスまたは複数のコンピューティングデバイスは、ＡＮＮ１１０のマスターバージョンを含むことができる。第１のコンピューティングデバイス１０８は、コンピュータネットワーク１００の実装に応じて、中央デバイス、サーバ、またはクラウド、あるいはピアツーピアコンピューティングネットワーク内の選択されたデバイスであり得る。
【0023】
別の言い方をすれば、図１は、ネットワーク化されたコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）を有するコンピューティングデバイスのセット１０２を含むコンピュータネットワーク１００を示し、各ネットワーク化されたコンピューティングデバイスは、ＡＮＮの別個のローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）を格納及び使用する。コンピュータネットワーク１００はまた、第１のコンピューティングデバイス１０８（クラウドまたは別のタイプの分散コンピューティングネットワークの一部であり得る）も含む。第１のコンピューティングデバイス１０８は、ＡＮＮ１１０のマスターバージョンを含む。
【0024】
ＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）は、ユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）とともに使用することができる。また、ユーザーデータは、ＡＮＮのローカルバージョンのトレーニングに使用できる。
【0025】
エンコードされ、送信され、次にデコードされたユーザーデータは、たとえばマスターバージョンのトレーニングのために、ＡＮＮ１１０のマスターバージョンによって使用することができる（たとえば、エンコードされた特徴１２４ａ及び１２４ｂならびに特徴ディクショナリ１１４のマスターバージョンを介したユーザーデータ１２０ａ及び１２０ｂの経路を参照されたい）。次にＡＮＮの更新されたマスターバージョンは、コンピューティングデバイスのセット１０２の１つまたは複数のデバイスによってダウンロードできる（たとえば、１３０ａ及び１３０ｂのダウンロードを参照）。ダウンロードされたマスターバージョンは、ＡＮＮのローカルバージョンを置き換えるか、またはコンピューティングデバイスのセット１０２のデバイスの１つによってホストされるＡＮＮのローカルバージョンと組み合わせることができる。
【0026】
コンピュータネットワーク１００では、ＡＮＮのローカルバージョンと特徴ディクショナリのローカルバージョンをホストするコンピューティングデバイス（たとえば、コンピューティングデバイスのセット１０２のコンピューティングデバイスを参照）は、デバイスに格納されたユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）から選択された特徴を抽出し、データ圧縮アルゴリズムを使用して、ユーザーデータから抽出された特徴をエンコードすることができる（たとえば、エンコードされた特徴１２４ａ及び１２４ｂを参照）。このエンコーディングにより、データ圧縮アルゴリズムは、抽出された特徴と、それに対応するエンコードされた特徴（コードワードなど）とのペアを提供できる。ペアは、定義として特徴ディクショナリに含めることができる（たとえば、特徴ディクショナリ１２２ａ、１２２ｂ、及び１１４のバージョンを参照）。元の抽出されたデータとそれに対応するエンコードされたデータとのペアリングは、ローカル特徴ディクショナリに生成できる（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）。したがって、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）は、エンコードされたデータの定義をペアリングで提供する（たとえば、エンコードされた特徴１２４ａ及び１２４ｂを参照）。これらのペアリングまたは定義により、エンコードされたデータを、特徴ディクショナリのマスターバージョンによってなど、その対応する元のデータにデコードできる（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）。また、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）を使用して、特徴ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）を更新できる。そして、データ圧縮アルゴリズムは、データ送信の低減を変えるために、その圧縮の程度を変えることができる。
【0027】
コンピュータネットワーク１００では、ユーザーデータの特徴の完全な記述（圧縮されていないユーザーデータなど）を送信する代わりに、ＡＮＮ及びディクショナリのローカルバージョンをホストするコンピューティングデバイスの１つから、ＡＮＮ及びディクショナリのマスターバージョンをホストするコンピューティングデバイスにユーザーデータを送信することで（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）、コードワードを送信できる。ＡＮＮ及びディクショナリのマスターバージョンをホストするコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）に特徴が送信されるたびに、特徴のコードワードを特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）で定義し、それに応じて送信することができ、その結果、対応するコードワードだけがネットワークを介して送信される（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂは、エンコードされた特徴しか含まない場合がある）。いくつかの実施形態では、コードワードと特徴をペアにする定義は、定義が特徴ディクショナリのローカルバージョンで生成または更新される－データ圧縮アルゴリズムを介して生成または更新されるなど－ときにだけ特徴ディクショナリのマスターバージョンをホストするコンピューティングデバイスに送信される。これは、特徴ディクショナリとエンコードされた特徴の両方の更新が一緒に送信される場合である（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂには、エンコードされた特徴と対応する定義が含まれる場合がある）。それ以外の場合、ディクショナリのマスターバージョンにはローカルバージョンと同じ定義が含まれているため、エンコードされた特徴のみが送信される。
【0028】
ＡＮＮのマスターバージョンと特徴ディクショナリのマスターバージョンをホストするコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）は、送信されたコードワードを使用して、ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）から特徴を検索できる（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）。そして、コンピューティングデバイスは、ディクショナリのマスターバージョンに従ってコードワードをデコードし、機械学習を介してＡＮＮのマスターバージョンをトレーニングするためにデコードされた特徴を使用できる（たとえば、ＡＮＮ１１０のマスターバージョン及び機械学習１１２を参照）。
【0029】
ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）は、マスターバージョンが一般的であり、時間の経過とともにますます正確になるように、機械学習（たとえば、機械学習１１２を参照）を介して、受信した特徴ディクショナリ更新及びエンコードされたデータ（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）によって再び何度もトレーニングすることができる。データは、ＡＮＮの異なるローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）、ならびに異なる格納されたユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）を有する異なるユーザーのデバイスから受信することができる。ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）は、ローカルにトレーニングされていない可能性のある領域での進捗から恩恵を受けるユーザーデバイスの機能を更新するために、個々のユーザーデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）にダウンロードできる（たとえば、ダウンロード１３０ａ及び１３０ｂを参照）。また、ダウンロードされたＡＮＮは、ユーザー向けのＡＮＮのカスタマイズされたバージョン用にローカルでさらにトレーニングできる。
【0030】
図示されていない、コンピュータネットワーク１００は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エキストラネット、インターネット、及び／またはそれらの任意の組み合わせを含む通信ネットワークを含む。通信ネットワークは、コンピューティングデバイスのセット１０２のデバイスを互いと、及び第１のコンピューティングデバイス１０８となど、コンピュータネットワーク１００の他のデバイスと通信可能に結合できる。送信された特徴ディクショナリ更新及びエンコードされたユーザーデータ、ならびに本明細書に記載のＡＮＮのマスターバージョンのダウンロード（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂ、ならびにダウンロード１３０ａ及び１３０ｂを参照）は、コンピュータネットワーク１００の通信ネットワークを介して通信または送信できる。また、本明細書に記載の特徴ディクショナリのマスターバージョンの更新（たとえば、ダウンロード１２８ａ及び１２８ｂを参照）は、コンピュータネットワーク１００の通信ネットワークを介して通信または送信することができる。
【0031】
図２が、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するための構成のコンピュータネットワーク１００を示しているという点で、図２は図１にいくらか類似している。ただし、図１とは異なり、図２は、具体的には、ＡＮＮのそれぞれのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をホストするモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）を含むコンピューティングデバイスのセット１０２を示す。また、図２では、クラウドコンピューティング環境（たとえば、クラウドコンピューティング環境１０９）が、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）をホストしていることも示されている。言い換えると、図２は、図１に示されるコンピュータネットワークのより具体的な実装であり、ここで、第１のデバイス１０８は、クラウドコンピューティング環境１０９であるか、またはその一部であり、コンピューティングデバイスのセット１０２のデバイスは、具体的にはモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）である。
【0032】
いくつかの実施形態では、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装するためのシステムは、複数のコンピューティングデバイス（たとえば、コンピューティングデバイスのセット１０２を参照）を含むことができる。複数のコンピューティングデバイスのそれぞれは、ＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をホストし、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）をホストするように構成できる。システムはまた、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）をホストし、特徴ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）をホストするように構成された第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）を含むこともできる。
【0033】
たとえば、複数のコンピューティングデバイスは、ＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をホストし、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）をホストすることができる第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂ、ならびにモバイルデバイス１０５ａ及び１０５ｂを参照）を含むことができる。そして、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）は、コンピュータネットワーク（たとえば、コンピュータネットワーク１００を参照）を介して第２のコンピューティングデバイスに通信可能に結合できる。
【0034】
第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）は、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）を格納し、特徴ディクショナリのマスターバージョン（たとえば特徴ディクショナリ１１４のマスターバージョンを参照）を格納するように構成されたメモリ（たとえば、図６に示されるメインメモリ６０８及びストレージシステム６１２を参照）を含むことができる。第１のコンピューティングデバイスはまた、第２のコンピューティングデバイスからエンコードされた特徴を受信するように構成されたトランシーバ（たとえば、図６に示されるネットワークインターフェース６１０を参照）を含むことができる（たとえば、エンコードされた特徴１２４ａ及び１２４ｂ、ならびにディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）。また、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）は、特徴ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）に従って、受信したエンコードされた特徴をデコードし、機械学習（たとえば、機械学習１１２を参照）を使用してデコードされた特徴に基づいてＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）をトレーニングするように構成されたプロセッサ（たとえば、図６に示されるプロセッサ６０６を参照）を含むこともできる。
【0035】
いくつかの実施形態では、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）のトランシーバ（たとえば、ネットワークインターフェース６１０を参照）は、たとえばダウンロード１３０ａ及び１３０ａによって示される、ＡＮＮのトレーニングされたマスターバージョンを第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂ）に送信するように構成できる。また、第１のコンピューティングデバイスのトランシーバ（たとえば、ネットワークインターフェース６１０を参照）は、第２のコンピューティングデバイスから特徴ディクショナリのローカルバージョンを受信するように構成することができる（たとえば、エンコードされた特徴１２４ａ及び１２４ｂ、ならびにディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）。そのような例では、第１のコンピューティングデバイスのプロセッサ（たとえば、プロセッサ６０６を参照）は、特徴ディクショナリの受信したローカルバージョン（たとえば、特徴ディクショナリの特徴１２２ａ及び１２２ｂのローカルバージョン、ならびにディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）に基づいて特徴ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）を変更し、特徴ディクショナリの変更されたマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）に従って、受信したエンコードされた特徴をデコードするように構成できる。また、第１のコンピューティングデバイスのトランシーバ（たとえば、プロセッサ６０６を参照）は、特徴ディクショナリの変更されたマスターバージョンを第２のコンピューティングデバイスに送信するように構成することもできる（たとえば、ダウンロード１２８ａ及び１２８ｂを参照）。
【0036】
第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）は、ユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）を格納し、ＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）を格納し、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョン）を格納するように構成されたメモリ（たとえば、メインメモリ６０８及びストレージシステム６１２）を含むことができる。第２のコンピューティングデバイスはまた、格納されたユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）から特徴を抽出し、特徴ディクショナリのローカルバージョンに従って、抽出された特徴をエンコードするように構成されたプロセッサ（たとえば、プロセッサ６０６を参照）を含むこともできる（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョン及びエンコードされた特徴１２４ａ及び１２４ｂを参照）。また、第２のコンピューティングデバイスは、エンコードされた特徴が、特徴ディクショナリのマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョンを参照）によってデコードされ、次に機械学習（たとえば、機械学習１１２を参照）を使用してＡＮＮのマスターバージョンをトレーニングするための入力として使用されるように、エンコードされた特徴（たとえば、エンコードされた特徴１２４ａ及び１２４ｂを参照）を第１のコンピューティングデバイスに送信するように構成されたトランシーバ（たとえば、図６に示されるネットワークインターフェース６１０を参照）を含むこともできる。
【0037】
いくつかの実施形態では、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）のプロセッサ（たとえば、プロセッサ６０６を参照）は、抽出された特徴が特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）に含まれるかどうかを決定するようにさらに構成できる。そして、抽出された特徴を含む特徴ディクショナリのローカルバージョンに対応して、第２のコンピューティングデバイスのプロセッサは、特徴ディクショナリのローカルバージョンに従って、抽出された特徴をエンコードするようにさらに構成できる（たとえば、エンコードされた特徴１２４ａ及び１２４ｂを参照）。抽出された特徴を含まない特徴ディクショナリのローカルバージョンに対応して、第２のコンピューティングデバイスのプロセッサは、抽出された特徴に基づいて特徴ディクショナリのローカルバージョンを変更し、次に特徴ディクショナリの変更されたローカルバージョンに従って、抽出された特徴をエンコードするようにさらに構成できる（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）。
【0038】
そのような例では、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）のトランシーバ（たとえば、ネットワークインターフェース６１０を参照）は、特徴ディクショナリのマスターバージョンが、特徴ディクショナリのローカルバージョンに従って変更されるように、特徴ディクショナリの変更されたローカルバージョンを第１のコンピューティングデバイスに送信するように構成できる（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）。また、第２のコンピューティングデバイスのトランシーバは、特徴ディクショナリの変更されたマスターバージョンを受信するように構成できる（たとえば、ダウンロード１２８ａ及び１２８ｂを参照）。そのような実施形態では、第２のコンピューティングデバイスのプロセッサ（たとえば、プロセッサ６０６を参照）は、特徴ディクショナリの変更されたマスターバージョン（たとえば、特徴ディクショナリ１１４のマスターバージョン）に基づいて、特徴ディクショナリのローカルバージョン（たとえば、特徴ディクショナリ１２２ａ及び１２２ｂのローカルバージョンを参照）を変更するように構成できる。
【0039】
さらに、いくつかの実施形態では、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）のトランシーバ（たとえば、ネットワークインターフェース６１０を参照）は、ＡＮＮのトレーニングされたマスターバージョンを受信するように構成できる（たとえば、ダウンロード１３０ａ及び１３０ｂを参照）。そのような実施形態では、第２のコンピューティングデバイスのプロセッサ（たとえば、プロセッサ６０６を参照）は、ＡＮＮのトレーニングされたマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンならびにダウンロード１３０ａ及び１３０ｂを参照）に基づいて、ＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）を変更するように構成できる。
【0040】
図３及び図４は、本開示のいくつかの実施形態による、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリの使用を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。
【0041】
図３は、ＡＮＮの他のバージョンをホストする他のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）と通信している、ＡＮＮのマスターバージョンをホストし、ＡＮＮの集中トレーニング及びデータ送信の低減のための特徴ディクショナリを使用するように構成されたコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）によって実行される方法３００を示す。方法３００はステップ３０２で始まり、第１のコンピューティングデバイス（またはコンピューティングデバイス）によって、ＡＮＮのマスターバージョンをホストする。
【0042】
ステップ３０４で、第１のコンピューティングデバイスは、特徴ディクショナリのマスターバージョンをホストする。
【0043】
ステップ３０６で、第１のコンピューティングデバイスは、ＡＮＮの他のバージョン及び特徴ディクショナリをホストする他のコンピューティングデバイスの１つである第２のコンピューティングデバイスから特徴ディクショナリのローカルバージョンを受信する。
【0044】
ステップ３０８で、第１のコンピューティングデバイスは、特徴ディクショナリの受信したローカルバージョンに基づいて、特徴ディクショナリのマスターバージョンを変更する。
【0045】
ステップ３１０で、第１のコンピューティングデバイスは、第２のコンピューティングデバイスからエンコードされた特徴を受信する。受信したエンコードされた特徴は、第２のコンピューティングデバイスによってホストされる特徴ディクショナリのローカルバージョンに従って、第２のコンピューティングデバイスによってエンコードできる。
【0046】
ステップ３１２で、第１のコンピューティングデバイスは、特徴ディクショナリのマスターバージョンに従って、受信したエンコードされた特徴をデコードする。デコードすることは、特徴ディクショナリの変更されたマスターバージョンに従って、エンコードされた特徴をデコードすることを含むことができる。
【0047】
ステップ３１４で、第１のコンピューティングデバイスは、機械学習を使用して、デコードされた特徴に基づいてＡＮＮのマスターバージョンをトレーニングする。
【0048】
ステップ３１６で、第１のコンピューティングデバイスは、ＡＮＮのトレーニングされたマスターバージョンを第２のコンピューティングデバイスに送信する。
【0049】
ステップ３１８で、第１のコンピューティングデバイスは、特徴ディクショナリの変更されたマスターバージョンを第２のコンピューティングデバイスに送信する。
【0050】
図４は、方法３００を実行できる第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）と通信している、ＡＮＮのマスターバージョン以外のＡＮＮの別のバージョン（ローカルバージョンなど）をホストし、ＡＮＮの集中トレーニング及びデータ送信の低減を支援するためにローカル特徴ディクショナリを使用するように構成されたコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）によって実行される方法４００を示す。方法４００はステップ４０２で始まり、第２のコンピューティングデバイスによって、ＡＮＮのローカルバージョンをホストする。
【0051】
ステップ４０４、第２のコンピューティングデバイスは、特徴ディクショナリのローカルバージョンをホストする。
【0052】
ステップ４０６で、第２のコンピューティングデバイスは、第２のコンピューティングデバイスによってホストされるユーザーデータから特徴を抽出する。
【0053】
ステップ４０８で、第２のコンピューティングデバイスは、抽出された特徴が特徴ディクショナリのローカルバージョンに含まれるかどうかを決定する。抽出された特徴を含む特徴ディクショナリのローカルバージョンに対応して、第２のコンピューティングデバイスは、ステップ４１２で、特徴ディクショナリのローカルバージョンに従って、抽出された特徴をエンコードする。抽出された特徴を含まない特徴ディクショナリのローカルバージョンに対応して、第２のコンピューティングデバイスは、ステップ４１０で、抽出された特徴に基づいて特徴ディクショナリのローカルバージョンを変更し、次にステップ４１２で、特徴ディクショナリの変更されたローカルバージョンに従って、抽出された特徴をエンコードする。
【0054】
ステップ４１４で、第２のコンピューティングデバイスは、エンコードされた特徴が、第１のコンピューティングデバイスによってホストされる特徴ディクショナリのマスターバージョンによってデコードされ、次に機械学習を使用して、ＡＮＮのマスターバージョンをトレーニングするための入力として使用されるように、エンコードされた特徴を、ＡＮＮのマスターバージョンをホストする第１のコンピューティングデバイスに送信する。
【0055】
ステップ４１６で、第２のコンピューティングデバイスは、特徴ディクショナリのマスターバージョンが特徴ディクショナリのローカルバージョンに従って変更されるように、特徴ディクショナリの変更されたローカルバージョンを第１のコンピューティングデバイスに送信する。
【0056】
ステップ４１８で、第２のコンピューティングデバイスは、ＡＮＮのトレーニングされたマスターバージョンを受信する。そして、ステップ４２０で、第２のコンピューティングデバイスは、ＡＮＮのトレーニングされたマスターバージョンに基づいてＡＮＮのローカルバージョンを変更する。
【0057】
ステップ４２２で、第２のコンピューティングデバイスは、特徴ディクショナリのローカルバージョンに従って変更された、特徴ディクショナリの変更されたマスターバージョンを受信する。そして、ステップ４２４で、第２のコンピューティングデバイスは、特徴ディクショナリの変更されたマスターバージョンに基づいて特徴ディクショナリのローカルバージョンを変更する。
【0058】
図５は、ＡＮＮのマスターバージョンをホスト及び実行するように構成されたコンピューティングデバイス（たとえば、それぞれ図１及び図２に示される第１のコンピューティングデバイス１０８及びクラウドコンピューティング環境１０９を参照）、ならびにＡＮＮの他のバージョンをホスト及び実行するように構成されたコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）によって実行される方法５００を示す。方法５００は、方法３００及び４００の操作を含む場合がある。
【0059】
方法５００はステップ５０２で始まり、ＡＮＮのマスターバージョン以外のＡＮＮの別のバージョンをホストするように構成されたコンピューティングデバイス（すなわち、第２のコンピューティングデバイス）が、第２のコンピューティングデバイスのメモリに格納されたユーザーデータから特徴を抽出する。ステップ５０４で、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂ）は、ステップ５０２での初期抽出後に第２のコンピューティングデバイスに特徴ディクショナリが存在していない場合、抽出された特徴に基づいて特徴ディクショナリのローカルバージョンを生成する。それ以外の場合、ステップ５０４で、第２のコンピューティングデバイスは、ユーザーデータから抽出された特徴に基づいて特徴ディクショナリのローカルバージョンを更新する。ステップ５０６で、第２のコンピューティングデバイスは、特徴ディクショナリのローカルバージョンに従って、抽出された特徴をエンコードする。
【0060】
ステップ５０８で、第２のコンピューティングデバイスは、特徴ディクショナリのローカルバージョンを、ＡＮＮのマスターバージョンをホストするように構成されたコンピューティングデバイス（すなわち、第１のコンピューティングデバイス）に送信する。第２のコンピューティングデバイスは、ローカルバージョンが最初に生成されたとき、またはローカルバージョンが更新されたときにのみ、特徴ディクショナリのローカルバージョンを第１のコンピューティングデバイスに送信するように構成できる。また、特徴ディクショナリのローカルバージョンが更新されると、第２のコンピューティングデバイスは、特徴ディクショナリの更新された部分のみを第１のコンピューティングデバイスに送信するように構成できる。また、ステップ５０８で、第２のコンピューティングデバイスは、エンコードされた特徴を送信する。第２のコンピューティングデバイスは、最近エンコードされた特徴のみを送信するように構成できる。
【0061】
ステップ５１０で、ディクショナリのローカルバージョンが第２のコンピューティングデバイスから送信された場合、第１のコンピューティングデバイスはディクショナリのローカルバージョンを受信する。また、ステップ５１０で、エンコードされた特徴が第２のコンピューティングデバイスから送信された場合、第１のコンピューティングデバイスはエンコードされた特徴を受信する。ステップ５１２で、ディクショナリのローカルバージョンが受信される場合、第１のコンピューティングデバイスは、特徴ディクショナリの受信したローカルバージョンに基づいて特徴ディクショナリのマスターバージョンを変更する。ローカルバージョンを受信すると、ディクショナリのマスターバージョンの変更がトリガーされる可能性がある。
【0062】
ステップ５１４で、エンコードされた特徴が受信される場合、第１のコンピューティングデバイスは、ディクショナリのマスターバージョンに従って、エンコードされた特徴をデコードする。エンコードされた特徴を受信すると、エンコードされた特徴のデコードがトリガーされる可能性がある。
【0063】
ステップ５１６で、第１のコンピューティングデバイスは、機械学習を使用して、デコードされた特徴に基づいてＡＮＮのマスターバージョンをトレーニングする。そして、ステップ５１８で、第１のコンピューティングデバイスは、ＡＮＮのトレーニングされたマスターバージョン及び／またはディクショナリの変更されたマスターバージョンを第２のコンピューティングデバイスに送信する。ステップ５２０で、第２のコンピューティングデバイスは、ステップ５１８で発生するイベントに従って、ＡＮＮのトレーニングされたマスターバージョンを受信する、及び／またはディクショナリの変更されたマスターバージョンを受信する。
【0064】
図５には示されていない、ＡＮＮのローカルバージョンは、更新されたマスターバージョンをユーザーデバイス内のＡＮＮの現在のローカルバージョンと組み合わせることによってトレーニングまたは再トレーニングすることができる。そして、トレーニングまたは再トレーニングでの組み合わせは、ＡＮＮの更新されたマスターバージョンとＡＮＮの「現在の」または以前のローカルバージョンの対応する属性の平均化に従って、ＡＮＮのローカルバージョンのニューロン属性の更新を含むことができる。
【0065】
図５のステップ５０２から５２０及び本開示の目的のために、ステップ５０８でユーザーデバイス（たとえば、図２に示されるコンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）から、ＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウド（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）に送信される特徴ディクショナリのローカルバージョンの更新及びエンコードされたユーザーデータ（たとえば、ディクショナリ更新／エンコードされた特徴１２６ａ及び１２６ｂを参照）が、ステップ５０２で抽出された抽出特徴全体またはステップ５０２で抽出された抽出特徴の一部の形をとることができる、またはそれらから導出できることを理解されたい。また、いくつかの実施形態では、ＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウドは、ユーザーデバイスがステップ５０２で抽出し、それぞれステップ５０４と５０６で生成及びエンコードできるものを制限して、エンコーディング及びおそらく難読化により提供されるネットワークパフォーマンスを調整するだけではなく、他方、トレーニングのための入力としてエンコードされ、時には難読化されるユーザーデータを使用して、ＡＮＮのバージョン（マスターバージョンなど）のトレーニングの精度を調整することができる。
【0066】
また、ピアツーピアネットワークが方法５００を実装できることを理解されたい。そのような例では、第１の選択されたデバイスが処理のためにＡＮＮのマスターバージョンをホストし、ピアツーピアネットワークの他のデバイスが処理のためにＡＮＮの他のバージョン（たとえば、ローカルバージョン）をホストする。そのような例では、第１の選択されたデバイスはステップ５１０から５１８を実行し、ピアツーピアネットワークの他のデバイスはステップ５０２から５０８及び５２０を実行する。
【0067】
方法３００、方法４００、方法５００、または本明細書で説明する任意の他の方法、プロセス、もしくは動作に関して、いくつかの実施形態では、非一時的コンピュータ可読記憶媒体には、命令であって、少なくとも１つの処理装置（図６に示されるプロセッサ６０６）によって実行されたときに、少なくとも１つの処理装置に方法３００、方法４００、方法５００、または本明細書で説明する任意の他の方法、プロセス、もしくは動作、及び／またはそれらの任意の組み合わせを実行させる命令が格納される。
【0068】
図６は、本開示のいくつかの実施形態による例示的なコンピューティングデバイス６００の例示的な部分を示す。コンピューティングデバイス６００は、図６に示されるように、コンピュータネットワーク１００を介して他のコンピューティングデバイスに通信可能に結合できる。いくつかの実施形態では、コンピューティングデバイス６００は、第１のコンピューティングデバイス１０８、またはクラウドコンピューティング環境１０９の１つまたは複数のコンピューティングデバイスである。そのような実施形態では、コンピューティングデバイス６００の別のインスタンスは、コンピューティングデバイスのセット１０２のコンピューティングデバイスの１つである（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）。コンピューティングデバイス６００は、少なくともバス６０４、プロセッサ６０６（ＣＰＵなど）、メインメモリ６０８、ネットワークインターフェース６１０、及びデータストレージシステム６１２を含む。バス６０４は、プロセッサ６０６、メインメモリ６０８、ネットワークインターフェース６１０、及びデータストレージシステム６１２を通信可能に結合する。コンピューティングデバイス６００はコンピュータシステムを含んでおり、コンピュータシステムは、少なくとも、プロセッサ６０６、メインメモリ６０８（たとえば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、たとえばシンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）、及びデータストレージシステム６１２を含んでおり、これらは、バス６０４（多重バスを含む場合がある）を介して互いに通信する。
【0069】
言い換えれば、図６は、本開示の実施形態が動作できるコンピュータシステムを有する例示的なコンピューティングデバイス６００のブロック図である。いくつかの実施形態では、コンピュータシステムは、実行時に、本明細書で説明する方法のいずれか１つ以上をマシンに行わせるための命令のセットを含むことができる。このような実施形態では、マシンを、ＬＡＮ、イントラネット、エキストラネット、及び／またはインターネット内の他のマシンに接続する（たとえば、ネットワークインターフェース６１０を介してネットワーク接続する）ことができる。マシンは、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの資格で、ピアツーピア（または分散）ネットワーク環境（たとえば本明細書で説明するピアツーピアネットワーク）内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。
【0070】
プロセッサ６０６は、１つまたは複数の汎用処理装置、たとえばマイクロプロセッサ、中央演算処理装置などを表している。より詳細には、処理装置は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサとすることができる。またプロセッサ６０６は、１つまたは複数の特殊用途処理装置、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、プロセッサインメモリ（ＰＩＭ）などとすることができる。プロセッサ６０６は、本明細書で説明する動作及びステップを実行するための命令を実行するように構成される。プロセッサ６０６はさらに、１つまたは複数の通信ネットワークを介して通信するために、ネットワークインターフェースデバイス、たとえばネットワークインターフェース６１０を含むことができる。
【0071】
データストレージシステム６１２は、本明細書で説明する方法または機能のいずれか１つまたは複数を具現化する１つまたは複数の命令セットまたはソフトウェアが格納されるマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。また命令は、マシン可読記憶媒体を構成するコンピュータシステム、メインメモリ６０８及びプロセッサ６０６がそれを実行する間に、メインメモリ６０８内及び／またはプロセッサ６０６内に完全にまたは少なくとも部分的に存在することができる。メモリ、プロセッサ、及びデータ記憶装置部分を、例示的な実施形態においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してそのそれぞれの動作を実行できる単一部分または複数部分を含むと解釈されるべきである。また用語「マシン可読記憶媒体」には、任意の媒体であって、マシンが実行するための命令のセットを格納またはエンコードでき、本開示の方法のいずれか１つまたは複数をマシンに行わせる媒体が含まれると解釈されるものとする。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈されるものとする。
【0072】
いくつかの実施形態のピアツーピアネットワークは、ノード及びピアツーピア接続部の集合物とすることができる。たとえば、第１のコンピューティングデバイス１０８またはコンピューティングデバイスのセット１０２のうちのコンピューティングデバイスの１つは、コンピュータネットワーク１００を介して接続されたコンピューティングデバイスによってサポートされるピアツーピアネットワークのノードとすることができる。
【0073】
先行する詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットに対する操作の記号表現の観点から提示されている。このようなアルゴリズムの説明及び表現は、その働きの趣旨を当業者に最も効果的に伝えるためにデータ処理技術において当業者が用いる方法である。アルゴリズムはここでは（及び全般的に）、望ましい結果に至る自己矛盾のない動作順序であると考えられる。動作は、物理量の物理的な操作を必要とするものである。通常、必ずしもではないが、これらの量は格納し、組み合わせ、比較し、及び他の方法で操作することができる電気または磁気信号という形を取る。主に共通使用の理由により、これらの信号をビット、値、要素、シンボル、文字、用語、数などと言うことが、時によって好都合であることが分かっている。
【0074】
しかし、これら及び同様の用語はすべて、適切な物理量に対応付けられるべきであり、これらの量に適用される好都合な標示にすぎないことをしっかりと認識しておくべきである。本開示では、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されたデータを操作して、コンピュータシステムメモリもしくはレジスタまたは他のこのような情報記憶システム内の物理量として同様に表された他のデータに変換するコンピュータシステムまたは同様の電子コンピューティング装置の操作及びプロセスに言及することができる。
【0075】
本開示は、本明細書における動作を実行するための装置にも関する。この装置は、使用目的に対して特別に構成することもできるし、またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むこともできる。このようなコンピュータプログラムは、任意のタイプのディスク、たとえば、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、またはそれぞれがコンピュータシステムバスに結合される電子命令の格納に適した任意のタイプの媒体であるが、これらに限定されないコンピュータ可読記憶媒体に格納することができる。
【0076】
本明細書で示したアルゴリズム及び表示は、何らかの特定のコンピュータまたは他の装置に本来的に関係づけられるものではない。様々な汎用システムを、本明細書での教示に従ってプログラムによって用いることもできるし、または本方法を行うためにより専用の装置を構築することが好都合であることが分かる可能性もある。種々のこれらのシステムの構造は、以下の説明で述べるように現れる。加えて、本開示は何らかの特定のプログラミング言語に関して説明されていない。本明細書で説明したような本開示の教示を実施するために、種々のプログラミング言語を使用できることを理解されたい。
【0077】
本開示を、本開示によるプロセスを行うようにコンピュータシステム（または他の電子装置）をプログラミングするために用いることができる命令が格納されたマシン可読媒体を含むことができる、コンピュータプログラム製品またはソフトウェアとして示すことができる。マシン可読媒体には、マシン（たとえば、コンピュータ）によって読取可能な形態で情報を格納するための任意のメカニズムが含まれる。いくつかの実施形態では、マシン可読（たとえば、コンピュータ可読）媒体としては、マシン（たとえば、コンピュータ）読取可能な記憶媒体、たとえば読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記録媒体、フラッシュメモリコンポーネントなどが挙げられる。
【0078】
前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の請求項に述べる本開示の実施形態のより広い趣旨及び範囲から逸脱することなく、様々な変更を加えることができることが明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】