特表 2024-525122 完全準同型評価のための計算ネットワーク変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-10

(54)【発明の名称】完全準同型評価のための計算ネットワーク変換

(51)【国際特許分類】

   G09C 1/00 20060101AFI20240703BHJP

   G06N 3/06 20060101ALI20240703BHJP

【ＦＩ】

G09C1/00 650Z

G06N3/06

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023574426

(86)(22)【出願日】2022-06-03

(85)【翻訳文提出日】2024-01-25

(86)【国際出願番号】 EP2022065196

(87)【国際公開番号】W WO2022254010

(87)【国際公開日】2022-12-08

(31)【優先権主張番号】21290037.7

(32)【優先日】2021-06-04

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】523168881

【氏名又は名称】ザマ・エス・ア・エス

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】シュバリエ－マメス，ブノワ

(72)【発明者】

【氏名】パイリエ，パスカル・ジルベール・イブ

(57)【要約】

いくつかの実施形態は、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換するための、コンピュータ実装される方法を対象とする。例えば、拡大係数（α_ｉ）のセットは、第１の計算ネットワークにおける行列演算のために決定され得る。実数値行列は、対応する拡大係数を用いて実数値行列をスケーリングし丸めることによって変換できる。第２の計算ネットワークの精度尺度は、繰り返し最適化され得る。

【特許請求の範囲】

【請求項1】

関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化演算の第２の計算ネットワークに変換するための、コンピュータ実装される方法であって、
－ 演算の第１の計算ネットワークは、実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含み、
－ 第１の計算ネットワークを変換することは、
－ 拡大係数（α_ｉ）のセットを決定すること（６１０）であって、行列演算のそれぞれが拡大係数に対応し、拡大係数は実数である、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし、スケーリングされた実数値行列を丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数値行列に変換すること（６２０）、
－ 複数のさらなる演算を調整して（６３０）、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数値行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること（６４０）、
－ 精度尺度を改善するために、拡大係数（α_ｉ）のセットを繰り返し最適化すること（６５０）
を含む、方法。

【請求項2】

第１の計算ネットワークおよび第２の計算ネットワークはニューラルネットワークである、請求項１に記載の変換方法。

【請求項3】

実数値行列演算は、実数値行列加算（ｙ＝Ｗ．ｘ＋Ｂ）をさらに含み、実数値行列演算を変換することは、実数値行列加算に関連付けられた行列（Ｂ）を同じ拡大係数を用いてスケーリングすることをさらに含む、請求項１または２に記載の変換方法。

【請求項4】

－ さらなる演算の少なくとも一部は、プログラマブルブートストラッピングとして第２の計算ネットワークに実装される、請求項１から３のいずれか一項に記載の変換方法。

【請求項5】

拡大係数（α_ｉ）のセットを決定することが、
－ 第１の計算ネットワーク内の行列演算に拡大係数をシンボル的に関連付けること、
－ 第１の計算ネットワークを通して拡大係数を伝播させ、変換演算の出力に適用される第１の計算ネットワーク内の演算から拡大係数に関する条件を導出することを含む、請求項１から４のいずれか一項に記載の変換方法。

【請求項6】

拡大係数（α_ｉ）のセットを反復的に最適化することは条件に従う、請求項５に記載の変換方法。

【請求項7】

実数値行列を対応するスケーリングされた整数値行列で置き換えることによって第２の計算ネットワークを導出することと、加算のための実数値行列を対応するスケーリングされた行列で置き換えることと、さらなる演算における演算を調整することとを含む、請求項１から６のいずれか一項に記載の変換方法。

【請求項8】

第１および第２の計算ネットワークは演算間の複数の層を備え、各層は、第１の計算ネットワーク内の層内の値と第２の計算ネットワーク内の対応する層内の対応する値との間の乗算比に対応する関連する層係数を有し、
－ 第１の計算ネットワークはジョイン演算を含み、ジョイン演算は２つの異なる層から第１の入力および第２の入力を受け取り、拡大係数は、２つの異なる層に関連付けられた２つの層係数が等しいという条件の下で決定され、ジョイン演算がホモジニアスになる、請求項５から７のいずれか一項に記載の変換方法。

【請求項9】

ジョイン演算は、加算、減算、または連結のうちの１つであり、ジョイン演算は、第２の計算ネットワーク内の暗号化された値に対する対応する加算、減算、または連結として実装される、請求項８に記載の変換方法。

【請求項10】

第２の計算ネットワークは、第１の計算ネットワークに対応する演算と、挿入された演算とを含み、次の演算における拡大係数を等しくするために第２の計算ネットワークに補正演算が挿入され、
－ 補正演算はプログラマブルブートストラッピングであり、補正係数が実数である、または
－ 補正演算は整数値の乗算であり、補正係数が整数である、請求項１から９のいずれか一項に記載の変換方法。

【請求項11】

さらなる演算を調整することが、
－ 入力から拡大係数を除去する（ｆ（ｘ）→ｆ（ｘ／α））こと、および／または
－ 出力に拡大係数を適用する（ｆ（ｘ）→βｆ（ｘ／α））こと
を含む、請求項１から１０のいずれか一項に記載の変換方法。

【請求項12】

－ 精度尺度は、サンプル入力のセットに対して第１の計算ネットワークおよび第２の計算ネットワークを評価し、評価結果をサンプル出力のセットと比較することによって計算され、第１の計算ネットワークの第１の精度および第２の計算ネットワークの第２の精度を取得し、精度尺度は、第１の精度と第２の精度を比較する、および／または
－ 精度尺度は、サンプル入力のセットに対して第２の計算ネットワークを評価し、評価結果をサンプル出力のセットと比較することによって計算され、第２の計算ネットワークの第２の精度を取得し、精度尺度は、第２の精度を所定の精度目標と比較する、
請求項１から１１のいずれか一項に記載の変換方法。

【請求項13】

－プロセッサシステムによって実行されると、プロセッサシステムに請求項１から１２のいずれか一項に記載の方法を行わせる命令、および
－ 請求項１から１２のいずれか一項に従って取得された第２のネットワークを表すデータ
のうちのいずれか１つを表すデータ（１０２０）を含む、一時的または非一時的なコンピュータ可読媒体（１０００）。

【請求項14】

関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化演算の第２の計算ネットワークに変換するためのシステム（２００）であって、
－ 実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含む、演算の第１の計算ネットワークを受け取るための通信インターフェース、
－ 第１の計算ネットワークを変換するために構成されたプロセッサシステム
を含み、変換することが、
－ 拡大係数（α_ｉ）のセットを決定すること（６１０）であって、行列演算のそれぞれが拡大係数に対応し、拡大係数は実数である、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし、スケーリングされた実数値行列を丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数行列に変換すること（６２０）、
－ 複数のさらなる演算を調整して（６３０）、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること（６４０）、
－ 精度尺度を改善するために、拡大係数のセット（α_ｉ）を繰り返し最適化する（６５０）ことを含む、システム（２００）。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で開示される主題は、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化された演算の第２の計算ネットワークに変換するための、コンピュータ実装される方法、コンピュータ可読媒体、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化された演算の第２の計算ネットワークに変換するためのシステムに関する。

【背景技術】

【0002】

Ｃｒａｉｇ Ｇｅｎｔｒｙの画期的な論文「Ｆｕｌｌｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ Ｕｓｉｎｇ Ｉｄｅａｌ Ｌａｔｔｉｃｅｓ」（完全版はＣｏｍｍｕｎ．ＡＣＭ５３（３）：９７－１０５，２０１０；参照により本明細書に含まれる）以来ずっと、完全準同型暗号化（ＦＨＥ）を現実世界の用途にとって十分にセキュアで効率的にするための継続的な努力が行われてきた。ＦＨＥを使用すると、暗号化されたデータに対して、復号できなくても、計算、例えば回路の評価、を行える。例えば、入力データと計算結果を暗号化された形式で受け取り、返すことができる。中間データ、例えば計算の内部状態も暗号化された形式であり得る。

【0003】

計算結果は暗号化された形式で返されるが、復号すると、出力は暗号化されていないデータに対して演算が行われた場合と同じになる。準同型暗号化は、プライバシーを保護するアウトソーシングされたストレージと計算に使用できる。これにより、データを暗号化し、処理やストレージが暗号化されている間中、クラウド環境にアウトソーシングすることができる。

【0004】

例えば、準同型暗号は、プライバシー規制によりプレーンデータの共有が困難であるが暗号化された医療データに関する計算は許容され得る医療分野などに適用され得る。例えば、医療データを分類するために開発された医療モデルは、第三者、例えば病院から暗号化された形式で医療データを受け取るように構成され得る。医療モデルは、例えば、医療データを、例えば、正常か異常か、または何らかの特定の医学的症候群、疾患、または他の障害を有するかとして分類することができる。準同型暗号化を使用すると、暗号化された形式で受け取った医療データに医療モデルを適用できる。これは、医療モデルを評価する当事者は、暗号化された医療データに対応するプレーンな医療データにアクセスできないことを意味する。サービスのユーザは、医療モデルのアプリケーションの結果を復号できる。

【0005】

暗号文の任意の計算をサポートする暗号システムは、完全準同型暗号化（ＦＨＥ）スキームとして知られている。このようなスキームにより、幅広い関数の評価が可能になり、暗号化された入力に対して実行して結果の暗号化を生成できる。例えば、ａｎｄゲートとｏｒゲートの組み合わせが利用可能になると、任意のブール回路を実装できるため、いわゆる機能の完全性が得られる。このような回路は、その入力、内部状態、出力を明らかにすることなく、信頼できない関係者によって行われ得る。完全準同型暗号化はレベル化され（ｌｅｖｅｌｅｄ）得、その場合、特定の演算の数が所定の閾値を超えることはできない。レベル完全準同型スキーム（ｌｅｖｅｌｅｄ ｆｕｌｌｙ ｈｏｍｏｍｏｒｐｈｉｃ ｓｃｈｅｍｅ）は、ブートストラッピング演算を行うことによって非レベルＦＨＥスキームに変換できる。ブートストラッピング演算は、暗号化されたデータアイテムに対して行える演算数よりも演算数を増加させる。

【0006】

完全準同型暗号化スキームは、ブール演算回路や算術回路など、何らかの特別な形式で表現される計算をサポートし得る。例えば、レベル完全準同型暗号化スキームは、任意の回路の評価をサポートできるが、その深さは制限されており、事前に決定されている。非レベル完全準同型暗号化（ＦＨＥ）により、無制限の深さの任意の回路を評価できる。レベルＦＨＥスキームは、データに対するブートストラッピング演算を定期的に行うことによって非レベルＦＨＥスキームに変換できる。計算、例えば関数を回路の形でコンパイルする方法は知られている。

【0007】

Ｇｅｎｔｒｙの論文以来、多くのＦＨＥスキームが開発され、計算時間が数オーダー短縮された。現在、多くのＦＨＥスキームが知られている。ＦＨＥスキームのより最近の例は、Ｉｌａｒｉａ Ｃｈｉｌｌｏｔｔｉらの論文「ＴＦＨＥ：Ｆａｓｔ Ｆｕｌｌｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎｏｖｅｒ ｔｈｅ Ｔｏｒｕｓ」で説明され（Ｊ．Ｃｒｙｐｔｏｌｏｇｙ３３（１）：３４－９１，２０２０）、参照により本明細書に含まれる。

【0008】

好ましいＦＨＥスキームは、Ｉｌａｒｉａ Ｃｈｉｌｌｏｔｔｉ、Ｍａｒｃ Ｊｏｙｅ、およびＰａｓｃａｌ Ｐａｉｌｌｉｅｒによる論文「Ｐｒｏｇｒａｍｍａｂｌｅ Ｂｏｏｔｓｔｒａｐｐｉｎｇ Ｅｎａｂｌｅｓ Ｅｆｆｉｃｉｅｎｔ Ｈｏｍｏｍｏｒｐｈｉｃ Ｉｎｆｅｒｅｎｃｅ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」に説明されており、Ｃｒｙｐｔｏｌｏｇｙ ｅＰｒｉｎｔ Ａｒｃｈｉｖｅ：Ｒｅｐｏｒｔ２０２１／０９１を参照されたく、これは参照により本明細書に含まれる。この論文は、トーラスの要素に対して演算する。例えば、それはトーラス型ＦＨＥスキーム（ＴＦＨＥ）である。

【0009】

効率的なＦＨＥスキームがますます利用可能になるにつれて、当初は従来の非暗号化評価用に開発された計算をＦＨＥを使用した計算に変換することへの関心が高まっている。このような変換は、特にいわゆるプログラマブルブートストラッピング（ＰＢＳ）、つまりＦＨＥ計算の設計者が選定できる所定の関数も実行するブートストラッピング演算の進歩により、常に可能である。それにもかかわらず、プログラマブルブートストラッピングを使用する必要なしで、暗号化された値に対して直接行える演算として、元の計算の演算をできる限り実行したいという要求がある。

【0010】

残念ながら、多くのＦＨＥスキーム、特にＴＦＨＥスキームは、暗号化された値に対して直接行える演算について、例えば、元の非暗号化計算と同等の計算コストの暗号化された演算となるような、制限を課す。例えば、２つの暗号化された値の加算は多くの場合直接可能であり、特にトーラスベースのスキームで可能である。プレーン整数と暗号化された値の間の乗算も、多くの場合可能である；このことは、整数ｎによる乗算が暗号化された値のｎ回のコピーの繰り返し加算とみなすことができることから、予期できる。例えば、ＴＦＨＥ（ここで、「Ｔ」はトーラスを表す）では加算と整数乗算がネイティブに可能である。暗号スキームＴＦＨＥは、トーラスと呼ばれる数学的構造を使用する。トーラスの例は、例えば１を法とする実数、

【数1】

である（他の法も可能であるが、１が便利である）。トーラス上の値は、実際の実装では、適切な有限環、例えばモジュラスを法とする整数、例えば、ｍがモジュラスである

【数2】

として表されることがよくあり、整数モジュラスｍは通常、２の累乗、例えば２^ｑであり、ここで、ｑは、例えば３２または６４であり得、通常は１２８以下である。トーラス値の暗号化は、特定のスキームと同様に行われ得る；例えば、上で引用した論文「Ｐｒｏｇｒａｍｍａｂｌｅ Ｂｏｏｔｓｔｒａｐｐｉｎｇ Ｅｎａｂｌｅｓ Ｅｆｆｉｃｉｅｎｔ Ｈｏｍｏｍｏｒｐｈｉｃ Ｉｎｆｅｒｅｎｃｅ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」のように行われ得る。

【0011】

しかし、プレーン非整数値と暗号化された値の乗算が常に可能であるとは限らない。特に、トーラスベースのスキームでは、暗号化された値としての非整数との乗算が定義されていないという困難があることが知られている。

【0012】

残念ながら、ニューラルネットワークと呼ばれる大きなクラスの計算では、非整数との乗算が、例えば多重和、行列乗算、畳み込み、バッチ正規化などの一部として非常に頻繁に発生する。ニューラルネットワークなどの計算ネットワークのＦＨＥ計算ネットワークへの変換には改善が必要である。

【先行技術文献】

【非特許文献】

【0013】

【非特許文献1】Ｃｒａｉｇ Ｇｅｎｔｒｙ、「Ｆｕｌｌｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎ Ｕｓｉｎｇ Ｉｄｅａｌ Ｌａｔｔｉｃｅｓ」、Ｃｏｍｍｕｎ．ＡＣＭ５３（３）：９７－１０５，２０１０

【非特許文献2】Ｉｌａｒｉａ Ｃｈｉｌｌｏｔｔｉら、「ＴＦＨＥ：Ｆａｓｔ Ｆｕｌｌｙ Ｈｏｍｏｍｏｒｐｈｉｃ Ｅｎｃｒｙｐｔｉｏｎｏｖｅｒ ｔｈｅ Ｔｏｒｕｓ」、Ｊ．Ｃｒｙｐｔｏｌｏｇｙ３３（１）：３４－９１，２０２０

【非特許文献3】Ｉｌａｒｉａ Ｃｈｉｌｌｏｔｔｉ、Ｍａｒｃ Ｊｏｙｅ、およびＰａｓｃａｌ Ｐａｉｌｌｉｅｒ、「Ｐｒｏｇｒａｍｍａｂｌｅ Ｂｏｏｔｓｔｒａｐｐｉｎｇ Ｅｎａｂｌｅｓ Ｅｆｆｉｃｉｅｎｔ Ｈｏｍｏｍｏｒｐｈｉｃ Ｉｎｆｅｒｅｎｃｅ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」、Ｃｒｙｐｔｏｌｏｇｙ ｅＰｒｉｎｔ Ａｒｃｈｉｖｅ：Ｒｅｐｏｒｔ２０２１／０９１

【発明の概要】

【課題を解決するための手段】

【0014】

必ずしもニューラルネットワークに限定されない、従来の算術演算に基づく計算ネットワーク、例えば第１の計算ネットワークを、ＦＨＥ演算を使用して暗号化されたデータに対して実行したいという要求がある。このような変換された計算ネットワーク、例えば第２の計算ネットワークの効率を改善するには、例えばプログラマブルブートストラッピングの使用を必要とせずに、暗号化された値に対して演算が直接行われることが望ましい。

【0015】

例えば、従来の演算を使用した第１の計算ネットワークは、実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、さらに複数のさらなる演算、特に行列演算の結果を入力として使用する演算とを含んでもよい。目的は、実数と暗号化された値の間の乗算を回避し、代わりに暗号化された値の整数倍を使用するように行列演算を変換することであり得る。暗号化された値とプレーン整数の乗算、および暗号化された値のプレーン整数またはプレーン実数への加算のみを使用するように変換された演算は、ネイティブＦＨＥ演算、例えばプログラマブルブートストラッピングなしのＦＨＥ演算として第２の計算ネットワークに実装することができる。第１の計算ネットワークにおける行列演算、例えば乗算または加算における実数は、浮動小数点数または固定小数点数とすることができる。

【0016】

通常、演算を定義する実数は、第１の計算ネットワークと第２の計算ネットワーク内の両方で暗号化されない可能性がある。典型的な実施形態では、第１の計算ネットワークにおける演算の実数の大部分が、例えば行列演算などの演算を定義する実数の少なくとも５０％、７５％、または実質的にすべてが整数ではない。本明細書に示すように、線形演算の場合、この変換は常に可能である。他の演算では、実数による乗算を回避することが常に可能または望ましいとは限らない。その後、第１の計算ネットワーク内にある可能性のあるさらなる演算は、１つ以上のプログラマブルブートストラッピングを使用して変換できる。

【0017】

実数と暗号化された値の間の乗算を回避するために行列演算を変換する１つの方法は、行列乗算の行列を、拡大係数（通常はアルファで示される）と呼ばれる実数値の定数と乗算し、行列を丸めることである。値を直接丸めると、精度が過度に低減し得る。その結果、行列の乗算から得られる値にも拡大係数が乗算される；しかし、他の演算はこれに対して調整され得る。例えば、乗算結果に加算する必要がある実数値は、拡大係数と乗算できる；例えば、演算がバイアスを伴う行列乗算（ｙ＝Ｗ．ｘ＋Ｂ）である場合、Ｂも拡大係数で乗算され、これにより、バイアスを伴う行列乗算の結果として得られる値は、依然として元の値に拡大係数を乗算したものである。他の演算、例えばさらなる演算は、拡大係数と乗算された入力を予期するように調整されてもよい。例えば、このような関数は、拡大係数による除算を伴う、元の関数の合成として調整することができる（例えば、関数Ａ（ｘ）をＡ（ｘ／α）に置き換えることができる）。ＦＨＥスキームは拡大係数による除算を直接サポートしていない可能性があるが、さらなる演算がプログラマブルブートストラッピングとして実装されている場合、これは問題にならないことに留意されたい。

【0018】

一実施形態では、変換された第２の計算ネットワークについて精度尺度が決定される。丸め演算では、拡大係数との乗算の後でもまったく同じ値がもたらされるわけではないため、拡大係数による変換では不正確さが導入される可能性がある。このような不正確さは、拡大係数が大きいほど小さくなる。換言すれば、拡大係数を増加させると精度が改善され、例えば、第２の計算ネットワークの精度を第１のネットワークの精度に近づかせる。一方、ある時点で、拡大係数が大きすぎると、値が大きくなる傾向にあるため、精度が低下し始め、その他の精度の問題が生じる。さらに、すべての演算が最終結果に同じ影響を与えるわけではない。したがって、一部の演算では、他の演算よりも高い拡大係数がより重要である。適切な拡大係数のセットを見つけることは、許容可能な精度、例えば第１のネットワークの精度に十分近い精度を得るために拡大係数のセットを繰り返し最適化することによって容易にすることができる。

【0019】

計算ネットワークの変換はニューラルネットワークに限定されないが、ニューラルネットワークはこの方法でうまく変換できる関数の重要なクラス。ニューラルネットワークは、多くの場合、計算を通して導入される小さな不正確さに鈍感である。したがって、ニューラルネットワークは、一実施形態を使用すると、特に効率的な第２の計算ネットワークに変換される傾向がある。

【0020】

ＦＨＥスキームで暗号化された値は通常、固定されたビット数に制限される。実数という用語は、本明細書では、整数である必要がない数を示すために使用される。実数という言葉が使用されているが、ＦＨＥでは、そのような数は通常、複数の桁を含む数値フォーマットで表される。通常、実数を表すには浮動小数点数ではなく固定小数点精度が使用される。例えば、ＴＦＨＥでは、暗号化された値は、通常は０（含んでいる）と１（含んでいない）の間の区間に制限された数値になり得る。例えば、実数は、３２ビットまたは６４ビットなどの固定精度を有する０と１の間の値であり得る。トーラス上の値が区間内にある場合、例えば、１を法とする場合、でも、トーラス上の値は区間外の値で表すことができるが、２つの値ｘとｙが１を法として等しい場合、同じトーラス値を表すことが理解される。

【0021】

実施形態では、実数は有限デジタル実数表現で表現され、典型的には実数の有理近似を表す。浮動小数点または固定小数点表現は、このような実数表現の典型的な例である。実数値行列乗算は、実数値行列によって表される実数値行列乗算と、オプションで実数値ベクトルによって表される実数値ベクトル加算とを含むことができる。一実施形態では、実数値行列の１つ以上の要素、またはすべての要素が、有限のデジタル実数表現で表される。一実施形態では、実数値ベクトルの１つ以上の要素、またはすべての要素が、有限デジタル実数表現で表される。一実施形態では、実数値行列と実数値ベクトルの両方のすべての要素は、有限デジタル実数表現で表される；しかし、これは必須ではなく、混合表現の行列および／またはベクトルも可能である。浮動小数点数フォーマットは、例えばＩＥＥＥ７５４に記述されている。

【0022】

ひとたび拡大係数のセットを選定すると、実数値の行列乗算と整数値の行列の乗算、実数値の加算と実数値の加算を変換できるが、実数の乗数が、おそらくは拡大係数と乗算され得る。畳み込みに対しても同じ変換が行われる。実数で構成される実数値カーネルによる実数値の畳み込みは、整数で構成される整数値カーネルによる整数値の畳み込みに変換される。実数値カーネルは、拡大係数と乗算し、丸めることによって変換できる。同じ変換はバッチ正規化でも行える。バッチ正規化は通常、ｙ＝ｆ＊ｘ＋ｂのようなアフィン関数であり、ここで、ｆとｂは実数値の定数である。実数値バッチ正規化は、別のアフィン関数、例えばｙ＝ｆ’＊ｘ＋ｂ’に変換できる。ここで、ｆ’は整数定数、ｂ’は実数値定数である。他の演算のほとんどは、１つ以上のプログラマブルブートストラッピングに変換できる。一部の演算は暗号化された値に対しても行える；例えば、値の順序を変更するだけの演算、例えば平坦化、連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）演算、または２つのベクトルの加算または減算などの線形演算などである。

【0023】

拡大係数自体は通常、実数値の数である。拡大係数は、固定精度表記、浮動小数点などで表現できる。拡大係数を含む実数は、実数を近似する有理数を示す分子と分母のペアとして表現することもできる。

【0024】

多くの場合、拡大係数は１より大きいが、これは必須ではない。通常、第１の計算ネットワークには、所定の値と暗号化された値との間の整数値の乗算および整数値または実数値の加算のみを意味する、各演算に対する拡大係数がある。

【0025】

拡大係数は、拡大係数をシンボル的に割り当て、第１の計算ネットワークを通して記号入力を伝播させることによって見つけることができる。高度な実施形態では、いわゆるジョイン演算が扱われ、これは、異なるソースからの値が組み合わされる特定の演算であるが、加算、減算、連結演算などのプログラマブルブートストラッピングを使用しない。ジョイン演算は、整数の重みがついた加算、例えば、整数の線形結合、でもあり得る。例えば、ジョイン演算は、２つ以上の演算から暗号化された値のベクトルを２つ以上受け取る。このようなジョイン演算は、暗号化された値に同じ拡大係数を乗算する場合に限り、暗号化された値に対して直接行える。したがって、ジョイン演算は、拡大係数に制約を課し、これをホモジニアスで正しい結果を与える第２のネットワークを得るために解決する必要がある。

【0026】

実数値行列演算では、乗算と加算を組み合わせる。行列演算は、線形部分と加算部分とを有するとみなすことができる。例えば、行列演算はＷＸ＋ＢまたはＷｘ＋ｂであり、Ｗ、Ｘ、Ｂは行列、ｘ、ｂはベクトルである。多くの演算はこのような行列演算とみなすことができ、例えば、実数値の行列演算には：実数値のカーネルによる畳み込み、実数値の重みの行列による行列の乗算、実数値のスカラーによるバッチ正規化のうちの１つ以上が含まれ得る。例えば、畳み込みは、カーネル重みの所定のベクトルと畳み込みの入力値のベクトルとの間で繰り返される乗算とみなすことができ、後者は第２の計算ネットワークで暗号化される。都合がよければ、データはさまざまなタイプのテーブル、例えば２次元の、またはバイディメンションの（ｂｉ－ｄｉｍｅｎｓｉｏｎａｌ）、またはより高次元のカーネルで表すことができる。入力値も同様に、高次元のテンソルで構造化できる。しかし、このようなさまざまなデータの構造化は行列演算に組み込まれる。

【0027】

変換の特に便利な用途は、プライベートデータに対する計算の実行を可能にすることである。例えば、画像やその他の医療データの医療的評価などの計算である。

【0028】

医療データは医療画像を含み得る。医療画像は、例えば、さまざまな獲得モダリティ、例えば、限定しないが、標準的なＸ線画像、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単一光子放射断層撮影（ＳＰＥＣＴ）、および核医学（ＮＭ）などによって獲得された、例えば２次元（２Ｄ）、３次元（３Ｄ）、または４次元（４Ｄ）画像などの多次元画像データを含み得る。

【0029】

この方法の実施形態は、コンピュータ実装される方法としてコンピュータ上で実装されてもよく、専用ハードウェアで実装されてもよく、あるいは両方の組み合わせで実装されてもよい。方法の一実施形態の実行可能コードは、コンピュータプログラム製品に記憶され得る。コンピュータプログラム製品の例には、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトウェアなどが含まれる。好ましくは、コンピュータプログラム製品は、コンピュータ上で実行されるときに方法の一実施形態を行うためのコンピュータ可読媒体に記憶された非一時的なプログラムコードを含む。

【0030】

一実施形態では、コンピュータプログラムは、コンピュータプログラムがコンピュータ上で実行されるときに、方法の一実施形態のステップのすべてまたは一部を行うように適合されたコンピュータプログラムコードを含む。好ましくは、コンピュータプログラムはコンピュータ可読媒体上に具現化される。

【0031】

さらなる態様は、一実施形態による変換のために構成された電子システムまたはデバイス、例えばコンピュータである。

【0032】

さらなる詳細、態様、および実施形態は、単なる例として、図面を参照して説明される。図内の要素は、簡略化および明確化のために図示されており、必ずしも一定の縮尺で描かれているわけではない。図において、すでに説明した要素に対応する要素は同じ参照番号を有し得る。

【図面の簡単な説明】

【0033】

【図1a】完全準同型暗号化（ＦＨＥ）を使用して計算を行うためのシステムの実施形態の一例を概略的に示す図である。

【図1b】ＦＨＥを使用して計算を行うためのシステムの実施形態の一例を概略的に示す図である。

【図1c】ＦＨＥを使用して計算を行うためのシステムの実施形態の一例を概略的に示す図である。

【図1d】ＦＨＥの計算を変換するためのシステムの実施形態の一例を概略的に示す図である。

【図2】変換システムの実施形態の一例を概略的に示す図である。

【図3】第１の計算ネットワークの実施形態の一例を概略的に示す図である。

【図4a】第１の計算ネットワークの実施形態の一例を概略的に示す図である。

【図4b】第１の計算ネットワークの実施形態の一例を概略的に示す図である。

【図5a】第１の計算ネットワークの実施形態の一例を概略的に示す図である。

【図5b】第１の計算ネットワークの実施形態の一例を概略的に示す図である。

【図6】変換方法の実施形態の一例を概略的に示す図である。

【図7a】一実施形態による、コンピュータプログラムを含む書き込み可能部分を有するコンピュータ可読媒体の例を概略的に示す図である。

【図7b】一実施形態によるプロセッサシステムの表現を概略的に示す図である。

【発明を実施するための形態】

【0034】

参照符号リスト
以下の参照および略語のリストは、図面の解釈を容易にするために提供されるものであり、特許請求の範囲を限定するものとして解釈されるべきではない。このリストは図１ａ－５ｂおよび７ａ－７ｂを参照している。
１－９９ 層
１１０ ＦＨＥ計算システム
１１１－１１３ ＦＨＥ計算システム
１１４ 変換システム
１３０、１３４ プロセッサシステム
１４０、１４４ ストレージ
１５０、１５４ 通信インターフェース
１６０ データプロバイダシステム
２００ 変換システム
２１０ 第１の計算ネットワーク
２２０ 第２の計算ネットワーク
２１１－２１４ 演算
２２１－２２４ 演算
２３０ 拡大係数ユニット
２３１ 最適化ユニット
２４０ 変換ユニット
２５０ 精度ユニット
２５１ サンプルストレージ
３００ 第１の計算ネットワーク
４１０ 第１の計算ネットワーク
４１１ 入力
４１２－４１４ 演算
４１５ 出力
４２０ 第１の計算ネットワーク
４２１ フォーク演算
４２２ ジョイン演算
５１０ 第１の計算ネットワーク
５１１ フォーク演算
５１２ ジョイン演算
５２０ 第１の計算ネットワーク
５２５ 補正演算
１０００ コンピュータ可読媒体
１０１０ 書き込み可能な部分
１０２０ コンピュータプログラム
１１１０ 集積回路
１１２０ 処理ユニット
１１２２ メモリ
１１２４ 専用集積回路
１１２６ 通信要素
１１３０ 相互接続
１１４０ プロセッサシステム

【0035】

ここで開示される主題は多くの異なる形態で具現化可能であるが、これらは図面に示されて、本明細書では１つ以上の特定の実施形態について詳細に説明され、本開示は、本明細書で開示される主題の原理の例示としてみなされるべきであり、図示および説明される特定の実施形態に限定することを意図するものではないことを理解されたい。

【0036】

以下では、理解を容易にするために、実施形態の要素を、動作において説明する。しかし、それぞれの要素が、それらによって行われるものとして説明されている機能を行うように構成されることは明らかであろう。

【0037】

さらに、ここで開示される主題は、実施形態のみに限定されるものではなく、本明細書に説明される、または相互に異なる従属請求項に記載される特徴の他のあらゆる組み合わせも含む。

【0038】

図１ａは、ＦＨＥ計算システム１１０、例えば完全準同型暗号化（ＦＨＥ）を使用して計算を行うためのシステムの実施形態の一例を概略的に示す。例えば、図１ａのシステム１１０は、データが例えばデータプロバイダから暗号化された形式で受け取られたとしても、前記データの計算を行うために使用され得る。

【0039】

システム１１０は、プロセッサシステム１３０、ストレージ１４０、および通信インターフェース１５０を備えることができる。ストレージ１４０は、ローカルストレージ、例えば、ローカルハードドライブまたは電子メモリを備え得る。ストレージ１４０は、非ローカルストレージ、例えばクラウドストレージを含んでもよい。後者の場合、ストレージ１４０は、非ローカルストレージへのストレージインターフェースを備えることができる。例えば、ストレージ１４０は、例えば１つ以上のデータプロバイダから受け取った、または計算の中間結果または最終結果、例えば出力として発生された、暗号化されたデータアイテムを記憶することができる。通常、システム１１０の計算が行われるほとんどまたはすべてのデータアイテムは、システム１１０に知られていない一つのキー（または複数のキー）で暗号化される、つまり、システム１１０は、暗号化されたデータアイテム、例えばストレージ１４０に記憶されるようなデータアイテムに対応するプレーンデータアイテムを取得するように構成されていない可能性がある。プレーン形式の復号キーはシステム１１０にとって秘密であるが、暗号化／復号キーは暗号化された形式で利用可能であり得る。例えば、プロセッサシステムは、加算および乗算などの暗号化された値に対する算術演算を含むことができるが、暗号化された多項式に対する算術演算も含み得る一連のＦＨＥ演算を行うように構成されることができる。

【0040】

ＦＨＥ演算を使用した計算を行うことは、ＦＨＥ演算のシリーズをひと続きにすることによって行われ得る。その一部は入力値に対して演算され、他の演算は中間値に対して演算され得る。通常、ほとんどまたはすべての演算は暗号化された値に対して行われるため、ＦＨＥシステムは処理中の機密値を知らない。

【0041】

ＦＨＥ計算のソースの１つは、通常の計算（例えば、一連の非ＦＨＥ演算）から開始し、従来の計算をＦＨＥ計算に変換することである。変換可能な、特に適切な計算ソースは、計算ネットワーク（ｃｏｍｐｕｔａｔｉｏｎａｌ ｎｅｔｗｏｒｋ）とも呼ばれる、いわゆる計算ネットワーク（ｃｏｍｐｕｔａｔｉｏｎ ｎｅｔｗｏｒｋ）である。計算ネットワークでは、ノードは演算を表し、ネットワーク内のエッジは、どの演算が他の演算からの値を入力としてとるかを示す。

【0042】

一実施形態では、計算ネットワークは有向サイクルフリーグラフとして表すことができ、ノードは演算を表し、有向エッジはどの演算がどの前の演算から入力を取得するかを示す。例えば、計算ネットワークは、テキストファイルの形式、例えば一連の演算子として表すことができる。計算ネットワークは、演算子のタイプを示す情報とともに接続テーブルとして表すこともできる。

【0043】

計算ネットワーク内の入力ノードは外部出力を表し得、一方、出力ノードは出力値を表し得る。この計算ネットワークの概念は、一実施形態による変換を依然うけいれながら拡大することができる。例えば、一実施形態では、計算ネットワークは条件付きジャンプを含まないが、これはＦＨＥ演算として表すことができるため、条件付き割り当て（ｃｏｎｄｉｔｉｏｎａｌ ａｓｓｉｇｎｍｅｎｔ）が許可されてもよい。より正確には、条件付き割り当てはｙ＝ｃ？ａ：ｂとして表すことができ、これは、ｃが真の場合はｙ＝ａ、またはｃが偽の場合はｙ＝ｂを設定し、ＦＨＥでは、この演算を同等の演算ｙ＝ｃ＊（ａ－ｂ）＋ｂに置き換えることで行える。ここで、ｃは暗号化されたビット０または１に制限される。計算ネットワークはループを含まない場合もあり例えばサイクルフリーの場合もあるが、これは必須ではなく、何故なら固定回数の反復を持つループも、例えばループを展開することによってＦＨＥネットワークに収容できるからである。動的に決定される反復数を持つループであっても、ループ内のサイクル数に上限がある場合は変換され得る；後者の場合、動的ループは最初に固定回数の反復を持つループに変換され得る。

【0044】

図１ｄは、ＦＨＥのための計算を変換するためのシステム１１４の実施形態の一例を概略的に示す。システム１１４は、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換するように構成され得る。システム１１０と同様に、システム１１４は、プロセッサシステム１３４、ストレージ１４４、および通信インターフェース１５４を備える。実際、システム１１０と１１４は同じシステムであってもよいが、これは必須ではない。例えば、システム１１４は、第１の計算ネットワークの表現を受け取り、それをＦＨＥ実行のために第２の計算ネットワークに変換することができる。例えば、システム１１４は、第三者、例えばデータプロバイダシステム１６０などから第１の計算ネットワークを受け取ることができる。あるいは、第１の計算ネットワークは別の場所を起源とする可能性があり、例えば、従来のコンパイラは、所望の計算の高レベルの記述を受け取り、第１の計算ネットワークを生成し、例えば、全体の計算を一緒に行う計算のいくつかの側面ごとに複数の第１の計算ネットワークを乗算することができる。変換されると、第２の計算ネットワークは、計算のためにシステム１１０に転送され得る。システム１１０および１１４が同じである場合、第２の計算ネットワークは同じシステム上で行われ得る。例えば、システム１１４は、計算システム１１０を提供するのと同じ当事者によって提供されてもよい。あるいは、システム１１０のユーザは、例えば、適切なソフトウェアをダウンロードし、それを使用して計算ネットワークを変換し、実行のためにシステム１１０にアップロードできることによって、システム１１４をそれ自体の施設内に設置することもできる。

【0045】

システム１１０およびシステム１１４は、コンピュータネットワーク上で相互に、他のシステム、外部ストレージ、入力デバイス、出力デバイス、および／または１つ以上のセンサと内部的に通信することができる。コンピュータネットワークは、インターネット、イントラネット、ＬＡＮ、ＷＬＡＮなどであり得る。コンピュータネットワークはインターネットであってもよい。このシステムは、必要に応じてシステム内またはシステム外で通信するように構成された接続インターフェースを備える。例えば、接続インターフェースは、コネクタ、例えばイーサネットコネクタ、光コネクタなどの例えば有線コネクタ、または例えばＷｉ－Ｆｉ、４Ｇまたは５Ｇアンテナなどのアンテナなどの無線コネクタを備え得る。通信、例えば内部通信は、他の通信プロトコルまたは媒体、例えば内部データバスを使用してもよい。

【0046】

システム１１０およびシステム１１４では、通信インターフェース１５０および１５４は、デジタルデータを送るおよび／または受け取るために使用され得る。例えば、システム１１０は、外部コンピュータ、例えばデータ提供コンピュータから暗号化されたデータアイテムを受け取るように構成され得る。例えば、システム１１０は、計算結果を、通常、暗号化されたフォーマットで外部コンピュータに送信するように構成することができる。例えば、通信インターフェース１５０は、システム１１０内の内部通信、例えば複数の計算エンティティ、例えば計算デバイスの計算を分散するために使用され得る。例えば、システム１１４は、第１の計算ネットワークを受け取るように、および／または変換された第２の計算ネットワークを送信するように構成され得る。

【0047】

システム１１０および／または１１４の実行は、プロセッサシステム、例えば１つ以上のプロセッサ回路、例えばマイクロプロセッサで実装することができ、その例が本明細書に示されている。システム１１０および／または１１４は、異なる場所に分散され得る複数のプロセッサを備えることができる。例えば、システム１１０および／または１１４はクラウド計算を使用することができる。

【0048】

本明細書の図のいくつかは、プロセッサシステムの機能ユニットとなり得る機能ユニットを示す。例えば、図は、プロセッサシステムの可能な機能機構の青写真として使用できる。ほとんどの図では、プロセッサ回路はユニットから分離して示されていない。例えば、図２に示す機能ユニット（下記を参照）は、システム１１０および／または１１４などのシステム、例えばシステムの電子メモリ内、に記憶され、システムのマイクロプロセッサによって実行可能なコンピュータ命令に全体または部分的に実装され得る。ハイブリッド実施形態では、機能ユニットは、部分的には、例えばコプロセッサ、例えば算術および／または暗号コプロセッサとしてハードウェアに実装され、部分的にはシステム１１０および／または１１４上に記憶され行われるソフトウェアに実装される。

【0049】

図１ｂは、ＦＨＥを使用して計算を行うためのシステムの実施形態の一例を概略的に示す。図１ｂは、データプロバイダシステム１６０のコンテキストにおける図１ａのＦＨＥシステムを示す。ＦＨＥシステム１１０は、完全準同型暗号化（ＦＨＥ）暗号を使用して計算を行うように構成される。

【0050】

例えば、システム１１０は、データプロバイダ１６０から暗号化されたデータアイテムを受け取るように構成され得る。少なくとも一部のデータアイテムは暗号化された形式で受け取られ得る。一部のデータアイテムはプレーンフォーマットで受け取られ得る。計算は受け取ったデータアイテムに対して実行され、場合によっては記憶されたデータアイテムに対しても行われる。興味深いことに、計算は、データを復号することなく、例えば暗号化されたデータアイテムをプレーンフォーマットのデータに変換することなく、暗号化されたデータに対して行われることができる。

【0051】

システム１１０は、ＦＨＥスキームのために、例えば、ゲートと呼ばれることもある、例えばいくつかのＦＨＥ演算のために構成され得る。例えば、ＦＨＥシステムは、いわゆるＮＡＮＤゲート用に構成されてもよい。例えば、ＦＨＥシステムは、例えば有限体または有限環などにおいて加算および乗算演算を有することができる。ＦＨＥスキームの演算は原理的には広範囲の計算を行うのに十分であるが、例えば、ＦＨＥスキームがブートストラッピング演算のないレベル化されたスキームである場合、またはブートストラッピング演算が採用されていない場合などでは、連続演算の数は制限され得るという例外がある。

【0052】

通常、ＦＨＥスキームおよびＦＨＥシステムに実装された暗号化されたデータには、ある程度のノイズが含まれる。例えば、データアイテムの暗号化は、データアイテムをキー依存格子内の点にマッピングすることを含み、それにいくらかのノイズが追加される。

【0053】

データアイテムが暗号化されたばかりのとき、ノイズは低く、暗号化はフレッシュである。例えば、ノイズの量は非常に少ないため、データアイテムが復号される場合、ノイズは復号プロセスのある時点で、例えば丸めによって除去できる。一方、ノイズは、システムへの攻撃を十分に困難にするのに十分な大きさである必要がある。例えば、ノイズが存在しないと仮定すると、多くのＦＨＥスキームは線形代数や他の効率的なアルゴリズム、例えば格子ベースのアルゴリズムで攻撃され得る。データアイテムが暗号化されると、ＦＨＥ演算をまだ行える一方で、攻撃が困難になるように選定されたノイズが追加される。ほとんどのＦＨＥ演算は、暗号化されたＦＨＥデータアイテムに固有のノイズを増加させる。このような演算が多数行われると、ノイズは正しい復号が不可能なレベルに達する。その時点で、計画は破綻する。一般に、この現象に対処するために、当技術では２つのアプローチが開発されてきた。１つ目は、レベルＦＨＥアプローチである。レベルＦＨＥスキームは、限られた数の演算を次々に行える。レベルＦＨＥスキームは、このような多数の演算の終了時の最悪の場合のノイズが復号に必要な限界を下回るように設計されている。別のアプローチは、いわゆるブートストラッピング演算である。ブートストラッピング演算は、ノイズの少ない同じデータのフレッシュな暗号化を返すことにより、暗号化されたデータアイテムのノイズを低減する。ブートストラッピング演算は、ＦＨＥスキームが暗号化ドメインにおいて復号アルゴリズムを準同型的に評価するのに十分な能力を備えている場合に特に可能であり、ブートストラッピング可能なＦＨＥスキームと呼ばれることもある。例えば、ブートストラッピング演算は、暗号化されたデータアイテムを復号せずにノイズを低減できる暗号化キーに関連するヘルパーデータを受け取る。通常、ヘルパーデータは、データアイテムの復号に使用されるキーの暗号化されたバージョンである。対称キーベースのＦＨＥの場合、復号キーは暗号化キーと同じである場合もあれば、非対称キーＦＨＥスキームの場合など、暗号化キーとは異なる場合もあることに留意されたい。ＦＨＥスキームは、暗号化キーと復号キーに加えて、準同型評価のためのキーなどの他のキーを使用し得る。後者は通常、データプロバイダに記憶され得るプライベートキーに対応する公開キーである。

【0054】

ブートストラッピング演算は暗号化されたデータアイテムの復号を行うが、直観に反して復号は暗号化されたドメインで行われるため、準同型復号では実際にはプレーンデータアイテムについて何も明らかにされない。次に、ブートストラッピング演算により、通常は準同型の丸めによってノイズ低減が行われる。その結果は、ノイズレベルがより低く固定された、暗号化されたデータアイテムである。通常、ブートストラッピングの結果として暗号文に存在するノイズは、ブートストラッピング演算の結果として生じる。

【0055】

ブートストラッピング後、ノイズレベルが非常に高くなり新しいブートストラッピング演算が必要になるまで、新しい一連のＦＨＥ演算を行える。

【0056】

ブートストラッピングがいつ必要になるかを決定することは、例えば最悪のシナリオを想定して、ノイズレベルがどのくらいの大きさになるかを追跡することで行うことができる。最悪の場合のシナリオの代わりに平均的な場合を想定することもできるが、これにより、計算結果が復号できないリスクが増加し得る。例えば、ニューラルネットワーク評価など、時折のエラーに対して本質的にロバストな計算は、ノイズ伝播に対する平均的な場合の分析を使用して行える。

【0057】

ノイズ分析、例えば最悪の場合または平均的な場合の分析は、事前に行うこともできるが、動的に行うこともできる。ノイズの増加は、特定の計算に依存し得る。例えば、ＦＨＥスカラー乗算では、被乗数に応じた量だけノイズが増加する。１つのアプローチは、ブートストラッピング演算を頻繁に、例えば、毎回の演算の後、または設定された数の演算ごと、例えば、２回ごとの演算の後に行うことである。特に便利なのは、関数の計算に加えてノイズを低減できるプログラマブルブートストラッピング演算である。例えば、関数はルックアップテーブルとしてエンコードでき、このテーブルはプログラマブルブートストラッピングのテストベクトルと呼ばれる。

【0058】

ＦＨＥスキームは多くの設定において適用できる。例えば、ＦＨＥシステム１１０は、クラウドプロバイダによって運営されてもよい。クラウドプロバイダは、そのクライアントに計算サービスとストレージサービスを提供し得る。ＦＨＥ暗号化を採用することにより、データプロバイダ１６０、例えばクラウドプロバイダのクライアントは、暗号化された形式でデータを送ることができる。クラウドプロバイダは、必要な計算および／または必要なストレージを依然行えるが、プレーンデータに対応するものや計算の結果を知ることはできない。例えば、データプロバイダ１６０は、使用される特定のＦＨＥシステムに対応するタイプの暗号化キーを使用して、データアイテムを暗号化することができる。計算結果がＦＨＥシステム１１０からデータプロバイダ１６０によって受け取られると、対応する復号キーを使用して、暗号化されたデータアイテムを復号することができる。暗号化キーと復号キーは同じである場合があり、通常は同じである。

【0059】

例えば、システム１１０は、プレーンデータ入力アイテムにアクセスできることなく、機械学習モデル、例えば画像分類器、例えば医療モデルを実行することができる。システム１１０のユーザは、暗号化された形式で入力値を供給し、システム１１０から暗号化された出力値を受け取ることができる。機械学習モデルはシステム１１４から取得することができる。ＦＨＥシステム１１０は、例えば医療データとともに使用するためのモデルを提供するために使用され得る。これは通常、プレーンモデルパラメータを使用して行われ得るが、暗号化されたデータ、例えば、暗号化された入力データ、中間データ、および出力データを使用する。このシステムの効果は、コンピュータがプレーンデータアイテムを知ることなく、計算、例えば画像分類、例えば医療画像分類が行われることである。例えば、マンモグラムは、画像がシステム１１０でプレーンであることが決してなく、またシステム１１０が癌の評価の結果が何であるかを知ることなく、癌について評価することができる。

【0060】

他の用途には、データベースサービスが含まれ、例えば、暗号化されたデータベース内の暗号化されたデータを調べる；例えば、計算は入力アイテムとデータベースアイテムの間の比較であり得る。例えば、複数の計算を組み合わせて、インデックスと一致するデータベースインデックスを生成できる。例えば、データベースはゲノムデータベースであり、入力は遺伝子配列であり得る。例えば、システム１１０は、デバイスの保護された制御のために使用され得る。例えば、デバイスは、発電所のような大型装置であっても、センサ値をシステム１１０に送り、その返信として暗号化された制御信号を受け取ることができる；制御信号はセンサ信号から計算される。システムの攻撃者は、システム１１０に送受け取られるデータのコンテンツを決定したり、システム１１０の中間データにアクセスしたりすることさえできる場合があるが、データは暗号化されているため、攻撃者には役に立たない。復号キーはシステム１１０に知られていないため、システム１１０が完全に壊れてもデータは明らかにならない。制御信号の計算には、線形代数、平均、行列乗算、多項式評価などの数学的演算が含まれ得、これらはすべてＦＨＥ演算で実行できる。

【0061】

例えば、暗号化されたデータアイテムのストア、例えばストレージ内のコレクションをＦＨＥシステム内に維持することができる；これらの一部は受け取られ得、一部はＦＨＥ計算の結果、中間結果など、であり得る。例えば、ＦＨＥシステムは、ストア、例えば入力値および／または中間値および／または出力値のコレクション、内の、１つ、２つ、またはそれより多くの暗号化されたデータアイテムにＦＨＥ演算を適用するように構成され得る。その結果は、ストアに記憶できる新しい暗号化されたデータアイテムである。暗号化されたデータストアは、ＦＨＥシステムのストレージに記憶され得る。これは、ローカルストレージまたは分散ストレージの場合がある。後者の場合、１つ以上の暗号化されたデータアイテムが暗号化されたデータストア内で複数回表されることが発生し得る。暗号化されたデータアイテムは、例えば値が別の場所で必要な場合などに、ある計算デバイスから別の計算デバイスに送られ得る。暗号化されたデータストアは、レジスタファイル、配列、さまざまなデータ構造などとして、さまざまな方法で実装できる。

【0062】

例えば、背景で説明したトーラスＦＨＥ（ＴＦＨＥ）など、エラーあり学習（Ｌｅａｒｎｉｎｇ Ｗｉｔｈ Ｅｒｒｏｒｓ）（ＬＷＥ）問題に基づくＦＨＥスキームでは、暗号化キーはｎ桁の文字列ｓ_ｉであり得、暗号文はタプル（ａ_１，…，ａ_ｎ，ｂ）であり得、ここで

【数3】

である。後者では、＋と・はそれぞれトーラス要素間の加算と整数とトーラス要素の積を表し、ａ_ｉはｎ個のトーラス要素であり、μはトーラス要素としてのプレーンデータアイテムであり、ｅは、例えばガウス分布などの確率分布から引き出されたノイズである。従来、秘密キーｓの秘密桁ｓ_１，…，ｓ_ｎはビットである；しかし、これは必須ではない。秘密桁ｓ_ｊは、２つを超える値、例えば３つの値（３進数の桁）、４つの値、またはそれより多くの値を取ることができる。

【0063】

このスキームは、多項式に基づくものなど、他の数学的構造にも自然に拡張される。したがって、数値ｓ_ｉ、ａ_ｉ、ｂ、ｕ、ｅは、異なる数学的構造から取得され得る。すべての暗号化されたデータアイテムを同じキーで暗号化する必要はなく、実際には、異なるキーを使用した再暗号化は、可能なＦＨＥ演算である。あるキーから別のキーに変換するために、いわゆるキー切り替え手順が使用され、これはいわゆるキー切り替えキーを使用し得る。キー切り替えキーは、第１のキーで暗号化された要素を、どちらのキーも明らかにせずに第２のキーで再暗号化できる方法に関する情報を提供する。

【0064】

暗号化されたデータアイテムは、あらゆる種類のデータを表すことができる。例えば、暗号化されたデータアイテムは、平均する必要がある数値や、線形回帰などに使用される数値を表し得る。例えば、暗号化されたデータアイテムは画像を表し得る。例えば、画像の各ピクセルは１つ以上の暗号化されたデータアイテムに対応し得る。例えば、グレースケールピクセルはグレーレベルで表すことができ、グレーレベルは単一の暗号化されたデータアイテムで表すことができる。例えば、２５６個のグレーレベルを単一の暗号化されたデータアイテムにエンコードすることができる。例えば、カラーピクセルは、複数のカラーレベル、例えば、ＲＧＢレベルとして表すことができ、これらのカラーレベルは、次いで、暗号化されたデータアイテムのタプルによって表すことができる。例えば、３つの２５６レベルの色を３つの暗号化されたデータアイテムにエンコードできる。あるタイプのデータを表すために使用される暗号化されたデータアイテムの数は、ＦＨＥスキームの能力によって異なる。例えば、より制限的なＦＨＥスキームでは、暗号化されたデータアイテムごとに１ビットしかエンコードできない場合がある。その場合、１つのカラーピクセルに２４個の暗号化されたデータアイテムが必要になり得る。

【0065】

復号キーにアクセスしないと、ノイズがどれくらい大きいかを正確に言うことはできない場合があるが、例えば、フレッシュな暗号化の初期ノイズレベルがわかっており、さまざまな演算のノイズ増加がわかっているため、通常はノイズを制限することができる。ノイズの増加は、演算のタイプ、例えば加算と乗算など、および存在する場合はその他のパラメータに依存し得る。例えば、ＦＨＥ演算は、知られている、例えばプレーン値との乗算、例えば、２による乗算、知られている多項式との乗算などであり得る。例えば、より大きな値を乗算すると、より小さな値を乗算するよりもノイズが増加し得る。行われた演算が与えられたとして、ノイズが正確にどの程度増加するかは、数学的に算出する、または経験的に推定することができる。一部の演算ではかなりの量のノイズが追加され得るが、その他の演算ではノイズが追加されない場合もあり、例えば、プレーン定数による加算などである。

【0066】

ＦＨＥ演算のセットを計算のために定義できる。例えば、目標のＦＨＥ計算から、一緒に計算を実装する演算のネットワークまたは回路を構築できる。例えば、演算はブール演算であってもよい。例えば、演算はすべてＮＡＮＤ演算であってもよい。ＦＨＥ演算を組み合わせる方法、例えば、暗号化されたデータストア内のどのオペランドにどの演算を適用するか、が、行われる計算を決定する。例えば、計算は、どのＦＨＥ暗号化されたデータアイテムに対して行われるかのインディケーションとともに、行われるＦＨＥ演算のリストとして表すことができる。

【0067】

演算が行われるにつれて、新しく計算された（フレッシュではない）暗号化されたデータアイテムに関連するノイズが増大し得る。ノイズが復号に必要な制限内に収まっている限り、これは問題にならない、さらに多くの演算を行う必要がある場合は、ブートストラッピング演算を行える。

【0068】

ＦＨＥスキームで暗号化されたデータアイテムのサイズは非常に大きくなり得る。さらに、ブートストラッピング演算なしでＦＨＥスキームが行う演算が多いほど、通常、暗号化されたデータアイテムのサイズが大きくなる。同様に、ＦＨＥパラメータが大きいほど、つまり暗号化されたデータアイテムが大きいほど、攻撃に対する高い耐性が得られる。例えば、データアイテムは、より大きなＦＨＥパラメータを特徴とするＦＨＥシステムにマッピングされ得るため、演算を成功裏に行うことが可能であるまま、依然、より多くのノイズを追加できる。秘密キーの桁が取り得る値の範囲を増加させると、エントロピーが増加し、したがってＦＨＥのセキュリティに貢献する。

【0069】

図１ｃは、ＦＨＥを使用して計算を行うためのシステムの実施形態の一例を概略的に示す。図１ｃに示されているのは、データプロバイダシステム１６０、および３つのＦＨＥデバイス：デバイス１１１、１１２、および１１３である。デバイス１１１、１１２、および１１３のそれぞれは、暗号化されたデータアイテムに対してＦＨＥ演算を行うことができる。３つのデバイスが一緒になってＦＨＥシステムを形成する。２つまたは３つ以上のＦＨＥデバイスが協働してＦＨＥシステムを形成し得る。

【0070】

図１ｃの場合、計算は複数のＦＨＥデバイス、示されている例では３つのＦＨＥデバイス、に分散される。例えば、複数のＦＨＥデバイスのうちの１つは、他の複数のＦＨＥデバイスのうちの１つ以上に、例えば、受け取った暗号化されたデータアイテムまたは中間の暗号化されたデータアイテム、例えば部分的な計算結果などの暗号化されたデータアイテムを送信することができる。同様に、複数のＦＨＥデバイスのそれぞれは、他のデバイスから暗号化されたデータアイテムを受け取るように構成され得る。

【0071】

従来の計算からＦＨＥ計算に変換することが望まれる計算ネットワークの第１の例は、ニューラルネットワークである。一実施形態では、変換のためのシステムは、第１の計算ネットワークの一例である第１のニューラルネットワークを入力としてとり、第２の計算ネットワークの一例である第２のニューラルネットワークを出力として生成する。第２の計算ネットワークは、ＦＨＥ演算子、それらのパラメータなどの表現を含むことができる。第２の計算ネットワークは、第１の計算ネットワークによって表される関数、または通常は関数の近似を計算する。特にニューラルネットワークの場合、近似値の計算は許容される。

【0072】

ＦＨＥ演算の第２の計算ネットワークとしてニューラルネットワークを評価することは、ユーザのプライバシーを改善するのに役立つ。計算ネットワークの他の例は、（ｉ）個人情報や検査結果を明らかにすることなく、個人情報、例えば、ＤＮＡデータ、に対して医療検査を実行すること、（ｉｉ）スパム検出：メールを復号するためのキーを持たずに、例えばメールを見ることなく、メールがスパムであるかどうかを検出できることを含む。

【0073】

前者のシステムの一例は、医療データが取得される、例えば、より多くのセンサから受け取られる第１のデバイスを備え得る。センサには、例えば温度センサが含まれてもよい。センサには画像センサが含まれてもよい。データは入力エンコーディングに従ってエンコードされ、秘密キーを使用して暗号化される。次に、暗号化されたデータは医療機器に送られ得、そこで第２の計算ネットワークが暗号化されたデータに適用される。暗号化された出力は、入力の分類、例えば画像分類であってもよい。暗号化された結果は、復号およびデコーディングのために医療デバイスに送り返すことができる。

【0074】

後者のシステムの一例は、電子メールが受け取られる第１のメールデバイスを備え得、電子メールは、次いで、例えば、第１のメールデバイスで知られている秘密キーを使用して、ＦＨＥスキームに従って暗号化され得る。第１のメールデバイスは、まず、例えば入力エンコーディングを使用してメールをトーラスポイントのシリーズにエンコードし、次に、例えばＬＷＥ表現を使用してシリーズを暗号化値のシリーズに暗号化することができる。次に、暗号化されたシリーズはスパム検出デバイスに送られ、そこで第２の計算ネットワークがインストールされる。暗号化された値には、送信元アドレスおよび／または送信先アドレスなどのメタデータなどの他の情報も含まれ得る。第２の計算ネットワークは暗号化された値のシリーズに適用され、暗号化された結果、例えばバイナリスパムまたはスパムなしの結果、または例えば、メールがスパムである確率を表す実数値を生成する。第２の計算ネットワークは、例えばスパム検出のためにトレーニングされた第１の計算ネットワークからの変換として取得される。

【0075】

次に、暗号化された出力値はスパム検出デバイスから第１のメールデバイスに送られ、そこで出力は例えば秘密キーを使用して復号され、例えば出力デコーディングを使用してデコーディングされる。その結果に基づいて、第１のメールデバイスはメールを破棄するか否かを決めることができる。例えば、第１のメールデバイスは、復号された出力に基づいてメールを表示するか否かを決めたり、メールを第２のメールデバイスに転送するかどうかを決めたりすることができる。

【0076】

興味深いユースケースは、ユーザのプライバシーを維持しながら、信頼されていないプラットフォーム上で実行される機械学習（ＭＬ）アルゴリズムである；この場合、ＦＨＥを使用することで、ユーザのデータまたはその結果をプライベートに保つことができる。

【0077】

完全準同型暗号化（ＦＨＥ）は、公開材料のみを使用して暗号化されたデータの計算を行える暗号化スキームである。ＦＨＥスキームでは、ユーザのプライベートキーなどを知る必要がなく、暗号文を復号する必要もない。ＦＨＥスキームにはいくつかの種類が存在するが、現時点ではＴＦＨＥ（Ｔｏｒｕｓ－ＦＨＥ）スキームが効率的な選択肢である。ＴＦＨＥスキームは効率的なブートストラッピング（ＢＳ）をサポートしており、これによりスキームにおけるノイズを低減できるため、望むだけ深くニューラルネットワーク（ＮＮ）の準同型評価をサポートできる。さらに、ブートストラッピング演算は、データに対して行う必要がある任意の関数と組み合わせることができるため、関数評価とノイズ低減を組み合わせることができる。この機能は、プログラマブルブートストラッピング（ＰＢＳ）と呼ばれる。例えば、プログラマブルブートストラッピングにより、ノイズを低減し、例えば、同時に活性化関数を行える。

【0078】

ＦＨＥスキームの好ましいクラスは、ＴＦＨＥスキームと呼ばれるトーラスベースのスキームである。トーラスベースのスキームでは、値は１を法として表すことができる。例えば、ＴＦＨＥスキームは、上述のエラーを伴う学習（ＬＷＥ）問題に基づくことができる。ＴＦＨＥスキームおよびプログラマブルブートストラッピングの好ましい実装は、論文「Ｐｒｏｇｒａｍｍａｂｌｅ Ｂｏｏｔｓｔｒａｐｐｉｎｇ Ｅｎａｂｌｅｓ Ｅｆｆｉｃｉｅｎｔ Ｈｏｍｏｍｏｒｐｈｉｃ Ｉｎｆｅｒｅｎｃｅ ｏｆ Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」に提供されており、参照により本明細書に含まれる。

【0079】

ＴＦＨＥは、ブートストラッピングを行わずに、暗号化されたデータに対して直接的に一部の演算をサポートする。これらの演算には：通常はモジュラスとして１を使用するモジュラー加算、および（クリアな）整数とトーラス要素として表される暗号化された値との間の乗算が含まれる。トーラススキームの暗号化された値は、１を法とする実数値、例えば０（含んでいる）と１（含んでいない）の間でマッピングされる。実数について言及しているが、これらの値は通常、例えば３２ビットまたは６４ビットの数値などの固定精度で表される。

【0080】

ＴＦＨＥの制限の１つは、実数とトーラス要素の積が定義されていないため、２つのトーラス値の乗算が定義されていないことである。有利なことに、整数による乗算は、プログラマブルブートストラッピングなしで行うことができる。一実施形態では、第２の計算ネットワークはＴＦＨＥベースであり、実行されると、ニューラルネットワーク暗号化されたデータを計算する。第２の計算ネットワーク内のパラメータはプレーン値であることができるが、暗号化された値に対して演算する。暗号化された値は、トーラス上の値、例えば１を法とする実数値である。例えば、トーラス上の値（μ）は、値をマスク（ｂ）でマスクすることによって、ＬＷＥ暗号文として暗号化でき、マスク（ｂ）は、キー桁（ｓ_ｉ）のシリーズとマスキング値（ａ_ｉ）のシリーズのドット積（ｂ＝ｓ・ａ）として、ノイズ（ｅ）を伴って取得される：

【数4】

。便利なことに、トーラス点は離散的な環にマッピングされる。

【0081】

第１の計算ネットワークで行われる演算は、第２の計算ネットワークのための演算に変換される必要がある。考慮すべき目標がいくつかある。プログラマブルブートストラッピングは、暗号化されたデータに対して直接行える演算よりもはるかにコストがかかるため、回避することが望まれている。第２に、結果として得られる第２の計算ネットワークは十分に正確である必要がある。ほとんどの実用的な用途では、ニューラルネットワークの評価であれ、入力センサ値からの制御信号の計算であれ、正確な複製は（可能ではあるが）多くの場合必要ない。第１の計算ネットワークと第２の計算ネットワークによって表される関数間にいくらかの違いを許容すると、より効率的なネットワークが可能になり、好ましくは精度がある程度の限界内に留まる。その限界が何であるかは、用途に依存する。

【0082】

ニューラルネットワークなどの第１の計算ネットワークをＦＨＥ計算ネットワークに変換する際の困難は、第１の計算ネットワークに暗号化された値と非整数値の間の乗算が含まれ得ることである。このような演算は行えるが、プログラマブルブートストラッピングを使用する場合のみである。例えば、ニューラルネットワークでは、次のような演算に遭遇し得る：

【0083】

・畳み込み、カーネルと呼ばれる小さな実数値行列が入力の複数の選択された部分と乗算され、選択された部分が入力を通してシフトされる。

【0084】

・行列の乗算、２つの行列が一緒に乗算される；ＮＮの場合、１つは暗号文を含み得、もう１つは実数の定数行列であり得る。行列乗算は、例えば、Ｇｅｍｍ層（一般的な行列乗算（Ｇｅｎｅｒａｌ ｍａｔｒｉｘ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）の略）と呼ばれることもある、いわゆる全結合層または密層（ｄｅｎｓｅ ｌａｙｅｒ）で発生する。

【0085】

行列乗算、例えば２つの２次元行列間、または２つの２次元行列とベクトルの間の行列乗算は、行列乗算の一例である。行列演算には、行列の乗算と行列の加算が含まれ得る。行列の乗算は２次元より大きい場合があり、より高次元の行列は一般にテンソルと呼ばれる。

【0086】

・バッチ正規化、線形関数ｆ（ｘ）＝ａｘ＋ｂとして見ることができ、ここで、ａとｂは実数である。バッチ正規化は、行列がａＩ、ここでＩは単位行列、である行列演算とみなすことができる。あるいは、バッチ正規化に拡大係数を割り当てて、バッチ正規化をｆ（ｘ）＝Ｒｏｕｎｄ（αａ）ｘ＋αｂに置き換えることもできる。

【0087】

特に、ニューラルネットワークの重要なクラスの１つである畳み込みニューラルネットワークでは、多くの畳み込みと密層が使用される。

【0088】

第１の計算ネットワークを変換するとき、１つの戦略は、非線形関数を、暗号化された値に対する対応するプログラマブルブートストラッピングで置き換え、線形演算を暗号化された値に対する対応する線形演算で置き換えることであり得る。単一のブートストラッピング演算を参照するとき、実際のコードは複数のブートストラッピング演算を含み得るか、同じブートストラッピング演算を複数回使用し得る。

【0089】

残念ながら、線形演算は通常、ＦＨＥ演算では直接サポートされていない非整数係数を含むため、このアプローチは直接使用できないが、例えばプログラマブルブートストラッピングを使用して変換することはできる。例えば、行列の場合、通常、乗算には多くの非整数値が含まれる。したがって、実数値の重みを有する第１の計算ネットワーク行列演算を整数値の重みを有するＴＦＨＥ行列演算に変換して、ブートストラッピング演算を回避することが望まれている。この問題は、行列の乗算、畳み込み、行列の乗算、バッチ正規化、より一般的には、出力が入力の一部の線形結合である任意の関数に当てはまる。

【0090】

第１の計算ネットワークでの演算は、多くの場合、特定の小さな区間に留まるように制約されないが、ＦＨＥ演算での暗号化された値は、モジュラスを法とする、通常は１を法とする、トーラス上に制限される。これに対する１つの解決策は、第１の計算ネットワーク内のすべての値を、十分に小さく、０と１の間にあり、０と１の間に留まるような値にスケーリングすることである。値が増加しすぎる場合は、より小さい値に時折スケーリングされ得る。非線形演算は、元の値ではなく、予期されるスケール値に適合させることができる。興味深いことに、行列の乗算は、線形であり、スケーリングされていない値だけでなくスケーリングされた値にも作用する。行列の加算は、スケーリングされた変数に比例してスケーリングできる。

【0091】

値を０と１の間の暗号化された値にエンコードすることが重要である。より最適なエンコーディングとそれほど最適でないエンコーディングを考案することはできるが、一般に、すべての値が０と１の間の十分に小さいサブ区間内にあるように、単純なスケーリングとシフティングによって機能するエンコーディングを実現できる。値が大きくなりすぎる場合は、場合によってはダウンスケーリングを時折用いる。値のスケーリングダウンは、プログラマブルブートストラッピングで行われ得ることに留意されたい。

【0092】

図２は、変換システム２００の実施形態の一例を概略的に示す。システム２００は、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換するように構成される。ネットワークの重要なクラスはニューラルネットワークであるが、計算ネットワークは他の機能を表すこともある。図２は、第１の計算ネットワーク２１０を概略的に示しており、その演算２１１、２１２、および２１４が示されている。通常、第１の計算ネットワーク２１０は、３つを超える演算、例えば、１０を超える、１００を超えるなどの演算を含むことになる。

【0093】

第１の計算ネットワーク２１０は、実数値行列乗算と、少なくとも複数のさらなる演算を含む複数の実数値行列演算とを含む。例えば、実数値の行列乗算は、ｙ＝Ｗ．ｘまたはｙ＝Ｗ．ｘ＋ｂなどの行列乗算であってもよい。この例ではベクトルｘについてである。行列の乗算は、別の行列、例えばｙ＝ＷＸ＋Ｂ、を使用することもできる。行列の乗算は、２つの行列間の乗算を含み得る。行列演算には行列加算も含まれ得る。行列演算に加えて、第１の計算ネットワーク２１０は複数のさらなる演算を含む。さらなる演算は、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る。例えば、さらなる演算から入力値を受け取る演算、異なるソースからの値を組み合わせる演算など、さらに多くの演算が存在し得る。さらなる演算の一例は、活性化関数、例えばシグモイド関数、例えばｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ）の形式の関数であり、ここでｙは上記の行列乗算の結果であり得る。

【0094】

実施形態が演算し得る第１の計算ネットワークは、非常に大規模で複雑なディープニューラルネットワークであり得る。図３は、第１の計算ネットワーク３００の実施形態の一例を概略的に示す。第１の計算ネットワーク３００は、一実施形態によって第２の計算ネットワークに成功裏に変換されたニューラルネットワークの一例である。

【0095】

図３は、ＩＬＳＶＲＣ２０１４のウイナーであるＧｏｏｇＬｅＮｅｔまたはＩｎｃｅｐｔｉｏｎ ｖ１と呼ばれるネットワークのフラグメントである。Ｉｎｃｅｐｔｉｏｎは、オブジェクト検出と画像分類のためのディープ畳み込みニューラルネットワークアーキテクチャである。そのネットワークのより一層の詳細は、論文「Ｇｏｉｎｇ ｄｅｅｐｅｒ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎｓ」（参照により本明細書に含まれる）と、現在ＧｉｔＨｕｂでホストされているオープンニューラルネットワークエクスチェンジ（ｏｎｎｘ）のｉｎｃｅｐｔｉｏｎ＿ｖ１の対応するページ（参照により本明細書に含まれる）で利用可能である。

【0096】

図３に、複数の演算とそれらの間の層を示す。層は１－９９の参照符号で示される。例えば、図３の上部は連結演算を示している。連結演算は「Ｃｏｎｃａｔ＿ｘｘ」として示され、ｘｘは特定の連結演算を示す。連結演算の出力は、他のいくつかの演算に入力される。１つの演算の出力であり、次の演算に入力される値をまとめて層と呼ぶ。この場合、連結演算Ｃｏｎｃａｔ＿５２は層５３の値を提供する。連結演算は、値の順序を変更するだけであるため、ＦＨＥ演算に直接変換でき、これは、暗号化された値だけでなくプレーンに対しても行うことができる。連結演算は、異なる演算の値を組み合わせるいわゆるジョイン演算の一例である。以下で説明するように、ジョイン演算には追加の注意が必要な場合がある。

【0097】

図３には、畳み込み演算も示されている；「Ｃｏｎｖ＿ｘｘ」で示される。畳み込みは行列演算の一例である。実数値の行列演算は、実数値のカーネルによる１つ以上の畳み込みを含む。これらは、暗号化された値を演算する行列演算に置き換えることができる；しかし、畳み込みのカーネルの実数は整数に置き換える必要があることに注意する必要がある。

【0098】

図３には、ＲｅＬＵ演算も示されている。ＲｅＬＵは非線形演算の一例であり、多くの場合はさらなる演算であり、ＲｅＬＵは連結演算などから入力をとることもできる。変換では、非線形演算であるＲｅＬＵがプログラマブルブートストラッピングに置き換えられる。

【0099】

図３には、プール演算、この場合はＭａｘＰｏｏｌ、も示されている。プーリング演算は、離散化プロセスの一タイプであり、値の入力セット、例えば、画像、隠れ層の出力行列など、がダウンサンプリングされ、その次元が低減される。ＭａｘＰｏｏｌの場合、値のサブセットがそれらの最大値に置き換えられる。ＭａｘＰｏｏｌ演算は、２つの値の最大をとるブートストラッピング演算を使用し、それを繰り返し適用してサブセットの最大値を取得することによって実装できる。

【0100】

ＭａｘＰｏｏｌはＲｅＬＵを使用して実装できることに留意されたく、例えば、２つの変数ａおよびｂのＭａｘＰｏｏｌは、ａ＋ＲｅＬＵ（ｂ－ａ）として実装できる。３つ以上の値に対するＭａｘＰｏｏｌは、それぞれ２つの値に対する複数のＭａｘＰｏｏｌとして実装できる。

【0101】

プーリング演算の例としては、特に、値のサブセットがそれらの平均値に置き換えられるＡｖｅｒａｇｅＰｏｏｌがある。ＡｖｅｒａｇｅＰｏｏｌは、暗号化された値に対して直接行える合計として、およびプログラマブルブートストラッピングとして実装できる除算として実装できる。

【0102】

ニューラルネットワークなどの計算ネットワークで生じる可能性のあるその他の演算には、Ｆｌａｔｔｅｎ、Ｔｒａｎｓｐｏｓｅ、およびＲｅｓｈａｐｅ演算が含まれる。これらは値を移動させる演算であり、暗号化された値を処理するように容易に変換される。

【0103】

Ｄｒｏｐｏｕｔはニューラルネットワークのトレーニングで使用される演算であるが、通常は推論中に恒等式（ｉｄｅｎｔｉｔｙ）に置き換えられる。

【0104】

Ａｄｄ演算は層の追加を表す；これは線形演算であるが、通常はジョイン演算であるため、本明細書で説明するように、ある程度の注意が必要である。

【0105】

図３には示されていないが、やはり使用され得るものとして、特に、実数値の重みの行列を使用した行列乗算、および実数値スカラーを使用したバッチ正規化も、生じる可能性のある演算である。行列演算はＧｅｍｍ＿ｘｘで示される。

【0106】

活性化関数のさらなる例には：シグモイド関数、ソフトマックス関数、ソフトプラス関数、ソフトサイン関数、ｔａｎｈ関数、ｓｅＬＵ関数、ｅＬＵ関数、指数関数、ＬｅａｋｙＲｅＬＵ層、ＰＲｅＬＵ層、ＴｈｒｅｓｈｏｌｄｅｄＲｅＬＵ層が含まれる。

【0107】

図２に戻る。第１の計算ネットワーク、例えば図３に示すようなニューラルネットワークはシステム２００に提供され、実数値乗算の除去を含めて第２の計算ネットワークへの変換に成功した。例えば、演算のタイプ、それらのパラメータ、例えば重み、およびネットワーク内の接続を含むファイルは、デジタルフォーマットで提供され得る。例えば、システム２００は、システム２００の外部の外部ソースから第１の計算フォーマットを受け取ってもよい。例えば、システム２００は、ローカルコンパイラまたはニューラルネットワークトレーニングユニットの出力として計算ネットワークを取得することができ、そのいずれもシステム２００にインストールされることができる。

【0108】

第１の計算ネットワークを変換するために、行列演算が、ＴＦＨＥ暗号化された値に対して行える対応する演算に変換される。システム２００は、拡大係数ユニット２３０を備える。拡大係数ユニット２３０は、拡大係数（α_ｉ）のセットを決定するように構成される。各行列演算は拡大係数に対応する。アイデアは、対応する拡大係数を用いて実数値行列をスケーリングし丸めることによって、例えば行列乗算に対応するような実数値行列（Ｗ）を整数値行列に変換することである。例えば、行列Ｗは、すべてのエントリが個別に丸められる行列Ｗ’＝ｒｏｕｎｄ（αＷ）で置き換えることができる。丸めは通常、最も近い整数に行われるが、代わりに切り捨てまたは切り上げも可能である。

【0109】

この演算にはいくつかの利点がある。まず、実数値の乗算がサポートされていない場合でも、整数値の乗算はサポートされているため、Ｗ’を使用した乗算は暗号化された値に対して直接行える。したがって、この演算をサポートするためにプログラマブルブートストラッピングは必要なく、はるかに効率的である。第２に、拡大係数αは任意に選定できるため、ＷをＷ’に置き換えることによる精度のロスを制御できる。拡大係数αの値を高くすると、変換がより正確になる。通常、拡大係数は少なくとも１であるが、たまたま大きなエントリがあり、関数全体への影響が比較的小さい行列の場合は、１未満の値も使用され得る。

【0110】

ひとたび行列演算の行列をスケーリングされたおよび丸められた関数に置き換えると、残りの演算を新しい行列に適合させることができる。

【0111】

例えば、行列演算Ｗｘ＋Ｂは、Ｗ’ｘ＋（αＢ）に置き換えることができる。暗号化された値とプレーン実数値の加算がサポートされているため、ベクトルＢを丸める理由がないことに留意されたい。行列演算から入力を受け取るさらなる演算は、約α倍大きい値を受け取ることになる。これは、関数Ａ（ｘ）を関数Ａ（ｘ／α）に置き換えることで対処できる。関数Ａはプログラマブルブートストラッピング演算で実装されるため、追加の除算演算を追加しても問題ない。つまり、行列が整数のみで構成されるように行列演算を調整した後、行列の大きさの変化に対処するために、他の演算、特にさらなる演算が調整される。この時点で、第１の計算ネットワークから第２の計算ネットワークを作成できる：すべての行列演算は、それらの整数行列のバリアントに置き換えられる。非線形演算は、１つ以上のプログラマブルブートストラッピング演算に置き換えることができる。

【0112】

言い換えれば、行列演算の乗算部分を拡大係数と乗算する（その後丸める）ことができるが、これにより、変更された行列演算に続く計算ネットワークの部分全体で計算値が変更される。行列演算に加算部分もある場合、この後者の加算項に同じ拡大係数を乗算することができるが、ここでは丸めは必要ない。行列演算により、拡大係数と同様の係数だけより大きい出力が生成されるようになった。変更された行列演算の入力をとるさらなる演算は、スケーリングされた行列演算のスケーリングされた結果を入力として受け取るように調整することができる。変更された第１の行列演算の後に第２の行列演算が続く場合、第２の行列演算自体の拡大係数が後に続く第１の行列演算の拡大係数を使用して第２の行列をスケールダウンすることで調整できる。

【0113】

第２の計算ネットワークは、さらなる演算、例えば、１つ以上のプログラマブルブートストラッピングのような非線形演算を実装することによって構築することができる。ＦＨＥではプログラマブルブートストラッピングなしで実数値の加算と整数の乗算がサポートされているため、行列演算を第２の計算ネットワークにコピーできる。

【0114】

システム２００は、変換ユニット２４０を備える。例えば、変換ユニット２４０は、拡大係数ユニット２３０から拡大係数を受け取ることができる。変換ユニット２４０は、第１の計算ネットワークにおける従来の演算から第２の計算ネットワークにおけるＦＨＥ演算への変換を行うように構成され得る。図２は、ＦＨＥ演算２２１－２２４を含む第２の計算ネットワーク２２０を示す。一実施形態では、第１の計算ネットワークと第２の計算ネットワークとの間には対応関係があり、第１の計算ネットワーク内の行列演算は、第２の計算ネットワーク内の暗号化された値に対する行列演算に対応し、さらなる演算は１つ以上のプログラマブルブートストラッピングのセットにマッピングされる。変換では、第１の計算ネットワーク内の演算子のほとんどが第２のネットワーク内の１つの演算子に対応する。しかし、追加の演算子を導入した方がよい場合もある。これは、追加の演算子２２３を図式的に有する第２のネットワーク２２０に示されている。第１および第２のネットワーク２１０および２２０は通常、実際にはさらに多くの、例えば１０より多くの、２０より多くのなどの、演算子を有する。

【0115】

上記の手順では、拡大係数には多くの選択肢があることに留意されたい。拡大係数が高いほど、第１の計算ネットワークでの行列演算と比較して、第２の計算ネットワークでの対応する行列演算の忠実度を確実にする。しかし、拡大係数が高いとマイナス面もある。ＦＨＥスキームの暗号化された値は０と１の間の値を表し、これは、第１の計算ネットワーク内の値が第２の計算ネットワーク内のスケーリングされた値によって表され、スケーリングされた値が０と１の間にフィットすることを意味する。実際、ほとんどのＦＨＥ演算には、より厳格な要件があり、例えば、値が０と１／２または１／４であり得るなんらかの上限の間にフィットすることが必要である。これは、すべての値が必要な区間内にフィットするようにすべての値を十分にスケールダウンすることで解決できるが、これ自体、第２のネットワークが第１の計算ネットワークをどの程度うまく近似できるかという精度を低下させる結果になる。拡大係数を高くすると、値のサイズを増加させることによりこの問題はさらに悪化し、したがって、指定された区間に値をフィットさせるために必要なスケーリングダウンが増加する。したがって、拡大係数は両方とも第２のネットワークの精度を増加させるが、エンコードに対する要求の増加により間接的に精度も低下する。これをさらに複雑にしているのは、ネットワーク内の演算が最終結果に与える影響が変わることである。つまり、一部の行列演算にはより大きな拡大係数を適用し、他の行列演算にはより小さな拡大係数を適用することで、第２のネットワークの精度が改善される。

【0116】

システム２００は、例えばサンプルストレージ２５１に接続されているか、サンプルストレージ２５１を備えている、サンプルストレージ２５１へのアクセスを有する精度ユニット２５０を備える。精度ユニット２５０は、第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定するように構成される。精度尺度に関するさまざまな方法がある。

【0117】

第１のアプローチでは、第１の計算ネットワークと第２の計算ネットワークの両方が、データセットとしばしば呼ばれる、同じ複数のサンプル値に対して評価される。次に、第２の計算ネットワークの出力が第１の計算ネットワークの出力にどの程度近いかによって、第２の計算ネットワークがレーティングされる。例えば、精度尺度は平均二乗差などとすることができ、使用できる精度の尺度は多数ある。入力値はランダムに選択できるが、代表的な入力を使用して第１と第２の計算ネットワークをテストすることで、より現実的な結果が実現される。例えば、一実施形態では、サンプルストレージ２５１は複数の入力値を含む。サンプル入力値は、第２の計算ネットワークの動作可能な使用中に予期され得る入力のタイプを表すことが好ましい。

【0118】

例えば、第１の計算ネットワークが入力として画像、例えば医療画像を予期するニューラルネットワークである場合、精度は同様の医療画像で評価されることが好ましい。

【0119】

第２のアプローチは、第２のネットワークのみを評価することである。この場合、入力値のセットおよび対応する予期される出力値は、例えばデータプロバイダ１６０からシステム２００に提供され得る。これらの出力は、第１の計算ネットワークが提供する出力と同じであり得る；しかし、このサンプルセットは、第１の計算ネットワークから独立して取得することもできる。例えば、出力は参照値または黄金の真理値であり得る。このアプローチには、第１のネットワークが評価するはずの関数にどれだけ近いかによって第２のネットワークが評価され、第１の計算ネットワークの特異性を忠実に再現できなかったとしてもペナルティを受けないという利点がある。例えば、第２のネットワークは、第１の計算ネットワークのトレーニングまたは検証に使用されるサンプルに基づいて評価され得る。

【0120】

興味深いことに、第２の計算ネットワークを評価するために、暗号化された値に対して実際に演算を行う必要はない。代わりに、第２の計算ネットワークをプレーン値で演算させ、第２のネットワークの同じノイズ増加などをプレーン値でシミュレートすることによって、第２の計算ネットワークをシミュレートすることができる。例えば、第２の計算ネットワーク内の行列演算は、同じ行列演算を、同じ方法でスケーリングされたプレーン値に対して行うことによってシミュレートできる。例えば、第２の計算ネットワークにおけるプログラマブルブートストラッピング演算は、プログラマブルブートストラッピングのテストベクトルを、プレーン値をプレーン値にマッピングするルックアップテーブルとして使用することによって評価できる。明らかに、このアプローチは演算用途には適していないが、大幅により低い計算コストで同じまたは類似の精度値を提供する。

【0121】

精度値にアクセスできると、拡大係数を変更することにより第２の計算ネットワークを改善することが可能になる。例えば、システム２００は、精度尺度を増加させるために拡大係数（α_ｉ）のセットを反復的に最適化するように構成された最適化ユニット２３１を備えることができる。精度尺度は、大きな拡大係数による精度のロスを考慮し得る。あるいは、最適化は、第２の計算ネットワークの実行速度などの他の目標も最適化しながら、精度尺度を最適化することもできる。さまざまな最適化スキームを使用できる。例えば、最適化は、ヒルクライミング、シュミュレーテッドアニーリング、遺伝的プログラミングなどを使用することができる。例えば、拡大係数（α_ｉ）の最適化は：網羅的探索（ｅｘｈａｕｓｔｉｖｅ ｓｅａｒｃｈ）、対数探索（ｌｏｇａｒｉｔｈｍｉｃ ｓｅａｒｃｈ）、確率的方法、勾配探索（ｇｒａｄｉｅｎｔ ｓｅａｒｃｈ）のうちの１つ以上を含んでもよい。

【0122】

以下に、さまざまな詳細、代替案、および実施形態をさらに詳細に説明する。まず、ニューラルネットワークの単純なフラグメントを考えてみる。第１の計算ネットワークでｙ＝Ｗ．ｘ＋Ｂの後にｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ）が続くと仮定し、ここでＷは重み行列と呼ばれる定数実数値行列、Ｂはバイアス行列と呼ばれる定数実数値行列である。暗号化されたデータに対して同等の計算を行うために、第１の計算ネットワークが演算する値は、０－１の区間にフィットするようにスケールダウンされる。適切な量のスケーリングは、例えば複数の入力で評価することによって、第１の計算ネットワークから取得することができる。実数値行列Ｗは、整数値行列、例えば整数の行列に変換される。これが完了すると、ＴＦＨＥなどの行列ベースのＦＨＥで行列乗算が定義される。拡大係数αを設定する。これは実数であり、計算をｙ’＝Ｗ’．ｘ＋Ｂ’およびｚ’＝Ａｃｔｉｖａｔｉｏｎ’（ｙ’）に置き換え得る。ここで：
・Ｗ’は整数値の定数行列で、Ｗ’＝Ｒｏｕｎｄ（α＊Ｗ）で定義され、ここで、Ｒｏｕｎｄ（）は最も近い整数への丸め関数である、
・Ｂ’は実数値の定数行列で、Ｂ’＝α＊Ｂで定義される
・Ａｃｔｉｖａｔｉｏｎ’は関数Ａｃｔｉｖａｔｉｏｎ’（ｘ）＝Ａｃｔｉｖａｔｉｏｎ（ｘ／α）である
・ｘはトーラスにおいてすでにエンコードされており、ｙ’とｚ’はトーラス上でエンコードされている
これは次の理由から有効な変更である：
・現在、重み行列Ｗ’は整数のみで構成されるため、ＴＦＨＥ演算と互換性がある。
・αが十分に大きくなるとすぐに、ｙ’≒αｙおよびｚ’≒ｚとなるため、計算はほぼ正確になる。ｙ’はｙより約α倍大きいことに留意されたい。初期入力を十分に小さくスケーリングすると、中間値もより小さくなる。活性化関数は値を元の範囲に復元し得る；これが大きすぎる場合は、追加のスケーリング係数を活性化関数に組み込むこと、例えば関数Ａ（）をＡ（）／ｄ＋ｓに置き換えることができる。

【0123】

変更されたフラグメントにおける値は、元のネットワークにおける値とほぼ固定された関係にある。上で指摘したように、拡大係数αが大きいほど、元の計算に対する新しい計算がより正確になる。しかし、拡大値αが大きいということは、計算された値がより広い範囲内にあることを意味し、範囲の最低値に対してＦＨＥ計算を行うときに精度の問題が発生し得る。したがって、目標は、変更されたニューラルネットワークの精度が元の精度に十分に近づくような最小のαを見つけることである。αの探索は、さまざまなタイプの探索アルゴリズムを使用して行うことができる。

【0124】

ニューラルネットワークの場合、本質的にノイズをサポートしているため、これは特にうまく機能する；機能に大きな影響を与えることなく、層内のある程度の変更や丸めを吸収できる。これにより、行列に対する丸め演算の使用による影響が低減する。活性化関数は、第２の計算ネットワーク内のＰＢＳ演算子で置き換えることができる。元の活性化関数または調整された活性化関数をサポートするための計算コストは同じである。最終的に、変更されたニューラルネットワークは（ｉ）ＴＦＨＥと完全に互換性があり、（ｉｉ）元のＮＮの精度に十分近い精度を持つ。

【0125】

特に、第１の計算ネットワークでは実数値の重みが可能である。代替の解決策は、重み行列のエントリが整数であることを強制する別のトレーニングアルゴリズムを使用することである。さらに別のオプションは、第１の計算ネットワークが与えられた場合、整数値の重みのみを使用する中間計算ネットワークをトレーニングし、その後、その中間ネットワークを変換することである。これらのアプローチは両方とも望ましくない。第１の計算ネットワークの開発者は、ネットワークの再トレーニングには計算コストがかかるが、彼らに最適なトレーニングスキームを自由に使用できることが好ましい。この変換システムのもう１つの利点は、複雑な最先端のニューラルネットワークをサポートしていることである；例えば、マルチサムの後には常に活性化が続くわけではなく、例えば、ジョイン演算が続く。マルチサムは、Ｇｅｍｍ、行列乗算、Ｃｏｎｖ、またはＢａｔｃｈＮｏｒｍを指す一般的な用語である；すなわち任意の演算ｙ＝Ｏｐ（ｘ）であり、ここで、Ｏｐはｙの要素ｙ_ｉに対してｙ_ｉ＝Σ_ｊｃ_ｉ，ｊｘ_ｊとして定義される。ここで、ｃ_ｉ，ｊは定数乗数である。定数乗数は、第１の計算ネットワークでは実数値であり、第２の計算ネットワークでは整数値の乗数で置き換えることができる。

【0126】

図４ａは、第１の計算ネットワーク４１０の実施形態の一例を概略的に示す。第１の計算ネットワーク４１０は、より大きな第１の計算ネットワークのフラグメントとしてみなされることもできる。図４ａには、入力４１１、演算４１２－４１４、および出力４１５が示されている。入力４１１および出力４１５において、入力値が受け取られまたは生成され、これらは、変換された第２の計算ネットワークにおいて暗号化された値となる。この例では、演算４１２は平坦化（ｆｌａｔｔｅｎ）演算であり、演算４１３は一般的な行列乗算であり、演算４１４は活性化関数であり、この場合はＲｅＬＵ演算である。図４ａには３つの層：層１、２、および３も示されている。

【0127】

第１の計算ネットワークの層と第２の計算ネットワークの層の、値間の関係は、層係数として表すことができる。層係数は、第１の計算ネットワークの層内の値と、第２の計算ネットワークの対応する層内の対応する値との間の乗算比（ｍｕｌｔｉｐｌｉｃａｔｉｖｅ ｒａｔｉｏ）である。

【0128】

層は、いわゆるニューロンのテンソルとしてさらに指定できる：テンソルは任意の次元の配列であり、必ずしも１次元または２次元に限定されず、例えば３次元以上であり得る。例えば、形状（２，３，５）のテンソルＴである層を持つことができ、これは、３０＝２×３×５個のニューロンに対応することを意味する。例えば、Ｔ［ｉ，ｊ，ｋ］は、｛０，１｝内のｉ、｛０，１，２｝内のｊ、および｛０，１，２，３，４｝内のｋを表す。多次元表現を使用すると、ニューラルネットワークの演算および／または、画像などの現実のオブジェクトへの動作をよりよく理解するのに有益なことがよくある。それにもかかわらず、テンソル演算は結局のところ行列演算に帰着し、そのようにみなすことができる。例えば、第１の計算ネットワークで定義されたテンソルは、実数値の要素を有することができ、一実施形態によれば、これらの要素は整数値の要素に変換され得る。

【0129】

行列演算は拡大係数α_ｉに関連付けられており、これは通常は実数値である。行列演算では、拡大係数により入力層係数にα_ｉが乗算されて、出力層係数が得られる。通常、所与の層のニューロンの値は同じ拡大係数を持ち、したがって同じ層係数を持つ。厳密に言えば、丸めが行われるので、丸め演算により関係がわずかに歪むため、入力層係数にα_ｉが正確に乗算されて出力層係数が得られるわけではないことに留意されたい。しかし、この異常は一般に無視できるほど小さい。

【0130】

層１と３では、層係数は１である。層１の場合は、平坦化演算によって値の大きさが変更されないため、これが当てはまる。係数３の場合、活性化関数の出力は変更されないため、これが当てはまり、つまり、出力係数１を有する。Ｇｅｍｍ＿１層のα_０拡大係数により、層２は、変更されたネットワークは近似的にα_０で乗算される。活性化ＲｅＬＵは、層の拡大係数に対応するためにＲｅｌｕ（ｘ／α_０）に置き換えられる。Ｒｅｌｕ（ｘ／α_０）は、第２の計算ネットワークでプログラマブルブートストラッピングを使用して行われることに留意されたい。

【0131】

フォークとジョイン層
計算ネットワークは複雑なトポロジを有し得る。これを説明するために、ニューラルネットワークを考えてみる。フォーク層は、少なくとも２つの次の層、つまり演算のソースとして使用される層を指す一方、ジョイン層は、少なくとも２つの前の層、少なくとも２つの前の演算によって生成された値、またはそれより多くを使用する層である。図４ｂは、フォーク層およびジョイン層を有する第１の計算ネットワーク４２０の実施形態の一例を概略的に示す。ここで、層１３は層１４と１７で使用されるためフォークであり、一方、層１８は層１６と１７の両方をソースとして使用するためジョインである。フォーク層とジョイン層は、Ｒｅｓｎｅｔ、ＶＧＧ、ＭｏｂｉｌｅＮｅｔなどのディープネットワークにとって重要である。

【0132】

通常、２つ以上の層が組み合わされるジョイン演算は、加算、減算、連結などである。ＰＢＳなしで、暗号化された値に対して加算、減算、または連結を直接行える。

【0133】

２つ以上の層がジョイン層内で組み合わされるとき、それらの層係数は等しいか実質的に等しいことが好ましい。そうでない場合、結果は次の演算により管理できるものに対応せず、精度が大幅に減少する。第２の計算ネットワーク内のすべての層はホモジニアスであることが好ましく、すなわち、層ごとに単一の拡大係数を有する；異なる層の拡大係数は異なる場合もあれば、等しい場合もあることに留意されたい。すべての入力層が同じ層係数を持つ場合、ジョイン演算はホモジニアスであると言われる。したがって、第１の計算ネットワークがフォークとジョインを含むとき、拡大係数を解決することはより複雑である。ジョイン演算で等しい層係数を持つために、それから層が生じた演算が等しい拡大係数を持つということを課すことができる。第２のネットワークにさらなる等化演算を追加することで、層係数を等化することもできる。

【0134】

興味深いことに、たとえ複雑なトポロジを持っていたとしても、第１の計算ネットワーク内で拡大係数を伝播させ、それらが満たす必要がある制約、特にどの拡大係数が等しい必要があるかを取得することができる。例えば、変換システムは次のように構成できる。
・分析：実数との乗算が存在するニューラルネットワーク／関数のすべての演算に対して、拡大係数α_ｉを割り当て、拡大係数が第１の計算ネットワークを通してどのように伝播するかを決定する。拡大係数が同じジョイン層に到着するときに、対応する拡大係数が等しいか、追加の等化演算によって等しくされる必要があるなどの制約を導入する。
・解決：連立方程式を解く。例えば、拡大係数の数を低減し、その一部を解決ステップで等しくすることで問題の次元を低減する。解決ステップの終了時には、ネットワークはホモジニアスになる。
・発見：十分に高い精度を与える最小の変数｛α_ｉ｝を発見する；これは、α_ｉがあまり多くないとき、または他の勾配ベースの方法、またはパラメータが多いときの高速収束方法の場合、網羅的検索を使用して行うことができる。
・置き換え：α_ｉがわかったら、重みを対応する整数の重みで置き換え、バイアスを変更し、プログラマブルブートストラッピングによって置き換えられる次の活性化または関数での計算を補償する。

【0135】

拡大係数の伝播を追跡するために、層係数を計算できる。例えば、これには次のルールが使用され得る：
・開始層または入力層の係数は１である。
・実数値演算後の係数は、演算前にα_ｉを乗算したものである。
・活性化後の係数は１になり得る。高度な実装では、活性化後の係数が拡大係数自体を有することもできる。最適化では、後者の拡大係数を、解決部分の既存のα_ｉの積の整数乗に直接設定できる。利点は、変換のために挿入される必要な追加層の数が低減されることである。
・ジョイン層の入力係数は、同じであることが好ましい；したがって、これらのジョイン層の出力は、それらのソースの入力係数になる。
・Ｔｒａｎｓｐｏｓｅ、Ｆｌａｔｔｅｎ、Ｒｅｓｈａｐｅなどの他の演算の場合、出力係数は入力係数となる。
・プール演算の場合、出力係数は入力係数となる。

【0136】

図４ｂに戻って、フォーク層１３および対応するフォーク演算４２１、ならびに、ジョイン層１８および対応するジョイン演算４２２について考えてみる。図４ｂでは、拡大係数が演算Ｃｏｎｖ＿１３、Ｃｏｎｖ＿１５、Ｃｏｎｖ＿１６によって導入され、例えば、それぞれ係数α_０、α_１、α_２である。Ｒｅｌｕ＿１４演算は、係数α_０でスケーリングされた入力を受け入れるように変更されているが、変更されていない出力が生成される。すなわち、Ｒｅｌｕ＿１４の後の層の拡大係数は１である。

【0137】

層１６には係数α_１を伴う層係数があり、一方、層１７には層係数α_２を伴うことがわかる。ジョイン演算４２２、この場合は加算演算は、等しい層係数を必要とするので、ジョイン演算４２２はα_１＝α_２という制約を導入する。その結果、それらはもはや独立したものではなく、等しいと考えることになる。

【0138】

この方法は行うのが簡単なので好ましい。この方法でジョイン層を解決することのデメリットは、拡大係数α_ｉの自由度を除去することである。このように自由度が低減されると、最適化で拡大係数のより大きな値が発見されたり、可能な精度よりも悪い精度が発見されたりし得る。

【0139】

以下でさらに詳しく説明するように、他の選択肢も可能である。例えば、Ｒｅｌｕ＿１４の出力に拡大係数を導入できる。その場合、Ｒｅｌｕ＿１４’（ｘ）＝Ｒｅｌｕ＿１４（ｘ）^＊（α_２／α_１）となり得、ジョイン演算４２２は拡大係数α_２でホモジニアスとなる。このように、α_１は最適化のために保持され、α_２から独立して選定できる。拡大係数の調整も示すと、第１の計算ネットワーク内の元のＲｅＬＵと比較して、第２の計算ネットワーク内のＲｅＬＵ関数はＲｅｌｕ＿１４’（ｘ）＝Ｒｅｌｕ＿１４（ｘ／α_０）^＊（α_２／α_１）になり得る。さらなる関数、例えば、ＰＢＳとして実装される関数の出力に１とは異なる拡大係数を導入することは必須ではないが、第２の計算ネットワークをさらに改善できる。

【0140】

図５ａは、第１の計算ネットワーク５１０の実施形態の一例を概略的に示す。第１の計算ネットワーク５１０は、フォーク演算５１１を有するフォーク層３と、ジョイン演算５１２を有するジョイン層７とを備える。演算５１２で到着する層係数が等しいという条件を課す場合、これは、層３および６の両方の層係数が１であるという条件をもたらす可能性がある。層３は拡大係数を持たないか、別の言い方をすれば拡大係数１であるが、層６は層係数としてＣｏｎｖ＿５の拡大係数を持つ。これにより、ｃｏｎｖ＿５演算を自由に変換できなくなる。これにより、特にｃｏｎｖ＿５がたまたま重要な演算である場合、劣った精度をもたらし得る。この困難を回避するためにさまざまな方法がある。

【0141】

図５ｂは、補正演算５２５を導入することによって部分的に変換された、第１の計算ネットワーク５２０の実施形態の一例を概略的に示す。図５ｂに示されている他の部分には、図５ａの第１の計算ネットワーク内の対応する部分がある。ネットワーク５２０をさらに変換するために、行列演算Ｃｏｎｖ＿３およびＣｏｎｖ＿５は、対応する行列演算に置き換えられることができるが、一実施形態によれば、整数に変換されたそれらの行列で置き換えられる。非線形演算Ｒｅｌｕ＿２およびＲｅｌｕ＿４は、ＰＢＳバージョンに置き換えることができる。Ａｄｄ＿６演算も線形であるが、暗号化された値に対する対応する加算に置き換えることができる。図５ａと同様に、演算Ａｄｄ＿６の入力層がホモジニアスであるという条件がある。図５ａと５ｂの違いは、補正演算５２５の導入である。演算５２５は、あまり自由度を失うことなく、第２の計算ネットワークをホモジニアスにするのを助けるために計算ネットワークに挿入される補正演算であり、この場合はジョイン演算Ａｄｄ＿６である。

【0142】

補正演算５２５は、値に対して追加の拡大係数、例えば関数α・ｘを導入する。ジョイン演算、ここではＡｄｄ＿６によって課される制約を考慮すると、演算５２５は関数ｆ（ｘ）＝α_１＊ｘとなり、層３と層６の両方が拡大係数α_１を有することになる。２つの連続する演算の間にスケーリング演算を挿入すると、最適化され得る追加の係数が導入される。挿入された補正演算により層が分割され、この場合は層３が３と３’に分割される。例えば、システムは、ジョイン演算が行列演算の拡大係数を強制的に１にする場合、ＰＢＳとジョイン演算との間に演算５２５などの補正演算を導入するように構成されることができる。

【0143】

演算５２５には２つの選択肢がある。第１の選択肢は、演算５２５が整数乗算であり得る。これには、高価なＰＢＳが回避されるという利点があるが、導入される係数、例えばαが整数に制限されるというデメリットがある。これは通常、α_１が整数、この場合は演算Ｃｏｎｖ＿５、になるように、（対応する行列演算を効果的に近似するために）拡大係数α_１が必要以上に大きく取られることを意味する。拡大係数を大きくすると、値がより狭い区間でコード化されるなど、それ自体でノイズが増加し得る。あるいは、より大きなパラメータをサポートすることもできるが、例えばＦＨＥスキームで実数を表すために使用されるビット数を増加させることにより、コストが増加する。

【0144】

第２の選択肢は、ｆ（ｘ）＝α＊ｘに対応して、演算５２５がＰＢＳによって直接実装され得るというものであり得る。これには、実行が遅くなるのを代償にして、α_１の選定を整数に制約しないという利点があり、これは、ＰＢＳは通常、整数による乗算よりも大幅に遅いためである。

【0145】

例えば、一実施形態では、１つ以上の補正演算が第２の計算ネットワークに挿入され、補正係数でそれらの入力をスケーリングする。補正演算はプログラマブルブートストラッピングであってもよく、補正係数は実数であり、あるいは補正演算は整数乗算であってもよく、補正係数は整数である。

【0146】

一般に、

【数5】

に対するＰＢＳを挿入することにより、係数α_０を有する層Ｘから係数α_１を有する層Ｘ’に遷移できることに留意されたい。これも便利であるが、可能であれば、この解決策は避けるほうが良い。

【0147】

拡大係数とオプションで挿入された補正演算を取得する１つの方法は、第１の計算ネットワーク内の各行列演算に拡大係数をシンボル的に関連付け、次に、ネットワークがホモジニアスになるように、第１の計算ネットワークを通して層係数を伝播させ、変換演算の出力に適用される第１の計算ネットワーク内の演算から拡大係数に関する条件を導出する。ここには解決ステップが含まれ得る。例えば、条件を分析することができ、例えば２つ以上の拡大係数間に等価条件を課すことによって、拡大係数の次元を低減することができる。例えば、条件がまったく解決可能であることを検証し、解決できない場合は追加の演算を挿入することができる。

【0148】

例えば、拡大係数（α_ｉ）のセットは、条件に従って、例えば、ジョイン演算がホモジニアスであるという条件に従って、繰り返し最適化することができる。拡大係数は精度の最適化され得る。最適化により、拡大係数の大きさを同時に最小化することができる。例えば、最小精度レベルに達することを条件として、拡大係数を最小化することができる。例えば、精度項と拡大係数重み項の加重和を最適化することができる。

【0149】

例えば、一実施形態では、第１の最適化フェーズは、補正演算を導入することなく、最適化された拡大係数のセットを発見する。精度が十分でない場合は、第２の最適化フェーズで補正演算が導入され得る。後者は、それらによって導入される拡大係数に実際の値を許可することで解決できる。第２のフェーズでは、補正演算によって導入された拡大係数は、例えば補正演算の拡大係数を丸める、例えば切り上げることによって、整数に置き換えることができる。整数で置き換えても精度があまり低下しない場合は、整数の乗算のままにして、ＰＢＳを回避できる。整数の乗算を行うには、比率が整数になるように拡大係数を直接選ぶことができる：我々の例では、常に

【数6】

が整数になるようにα_０とα_１を選ぶことができ、補正演算を整数の乗算にすることができる。どの補正演算を整数乗算として実装し、どの補正演算をＰＢＳとして実装するかを最適化することは、１つずつ決めることも、遺伝的アルゴリズムなどの何らかのアルゴリズムを使用して行うこともできる。

【0150】

一実施形態では、新たな補正演算を導入することなく、最適化に使用できる追加の係数が導入される。これは、出力を調整することでさらなる演算を変更するために行える。例えば、一実施形態では、拡大係数がＰＢＳの出力に適用される；例えば、拡大係数βについて、関数ｆ（ｘ）を関数βｆ（ｘ）に置き換えることができる。関数の入力も入力層の拡大係数に対応するように調整される場合、関数は拡大係数αを考慮してβｆ（ｘ／α）に調整され得る。このアプローチは、第２の計算ネットワークにＰＢＳとして実装される関数に特に役立つ。

【0151】

例えば、ＰＢＳによって置き換えられる活性化関数に、その出力に拡大係数を追加できる、例えば、あるβについて、Ａｃｔｉｖａｔｉｏｎ（ｘ）をＡｃｔｉｖａｔｉｏｎ’（ｘ）＝β＊Ａｃｔｉｖａｔｉｏｎ（ｘ）に置き換えることができる。値βは、ジョイン演算など、ネットワークによって意味される制約の下での最適化によって取得され得る。

【0152】

拡大係数βは、利用可能なα_ｉのいずれかを個別の整数の正または負の累乗に乗じた積にすることができる。例えばいくつかの例を与えると：β＝α_０、β＝α_０＊α_１またはβ＝α_０ ^－１＊α_１ ^－２などであり得る。例として、図５ａを考えてみる。このフラグメントは、補正演算５２５を追加することなく、例えば、左分岐にＰＢＳを実装することなく、より良く最適化することができる。

【0153】

例えば、係数、

【数7】

係数をＲｅｌｕ＿４活性化の出力に適用することができる。これにより、層５の係数の層係数が

【数8】

に変更される（元のネットワークと比較して）。Ｃｏｎｖ＿５自体の拡大係数がα_１であるため、Ｃｏｎｖ＿５の後、層６の層係数は１になる。ジョイン層、例えば、層７、では、ソース６と３はホモジニアスであり、つまり、同じ層係数を持っているため、ジョイン演算の計算を適切に行うことができる：最後に、層７の層係数は１になる。

【0154】

図５ａの別の選択肢は、ＲｅＬｕ＿２の出力にα_１の拡大係数を適用し、Ｒｅｌｕ＿４の入力として使用される値が層係数α_０＊α_１を有すると考えることである。これにより、Ａｄｄ＿６への入力もα_１の係数でホモジニアスになる。しかし、この方法は、Ｒｅｌｕ＿４の出力の拡大係数のみを扱う方法よりも良くない可能性があり、何故なら、一部の値、特に層４が大きな係数（つまり、α_０＊α_１）により増大し得るからであり、これは精度に対してあまり良くない可能性がある。データセットによっては、より良い場合もある。これは最適化で解決できる。

【0155】

性能の観点からは、ＰＢＳの出力に拡大係数を適用する方が、余分な演算が追加されないため、ＰＢＳや整数乗算を追加するよりも好ましい。さらに、このアプローチではすべての拡大係数α_ｉが独立した状態に保たれるため、適切な解が発見される可能性が高くなる。

【0156】

一実施形態では、最適化は次のフェーズに従うことができる。第１のフェーズでは、補正演算を導入したり、例えばＰＢＳの出力に新しい拡大係数を導入したりすることなく、解決策が探し求められる。例えば、実数との乗算を伴う第１の計算ネットワークのすべての演算に対して、拡大係数α_ｉを割り当てる。拡大係数がどのように伝播するかを決定することにより、拡大係数に関する条件を導き出す。特に、ホモジニアスな入力を必要とするジョイン演算（例えば、加算、減算、または連結ジョイン関数）は、その入力の拡大係数に関する条件を意味する。最適化により、十分に良好な精度が与えられながら、拡大係数｛α_ｉ｝のサイズが最小限に抑えられる。拡大係数がそれほど多くない場合、これは、例えばオプションで対数探索を使用するなど、網羅的探索によって行える。拡大係数の数がより大きい場合は、既存の最適化スキームのいずれか、例えば、勾配ベースの方法とおそらくは組み合わせたヒルクライミングなどを使用できる。

【0157】

第２のフェーズでは、補正演算が導入され、新しい拡大係数を実数にできるように改善された解決策が探し求められる。最後に、可能であれば、補正演算が先行するＰＢＳとジョインされるか、挿入演算として実装される。後者の場合、システムは新しい係数を整数に丸めようとするため、ＰＢＳなしで補正演算を実装できる。丸めの代わりに、比率が整数になるように拡大係数を選ぶことができる。

【0158】

最後に、拡大係数がわかれば、行列、例えば重みを、それらの対応する整数重みに置き換え、対応するバイアスを変更し、ＰＢＳに置き換えられる次の活性化または関数での計算を補償できる。

【0159】

例えば、精度が元のネットワークの精度に十分に近づくような、許容可能な拡大係数のセットが発見されたら。行列Ｗは、対応する拡大係数αを使用してＲｏｕｎｄ（αＷ）に置き換えることができる。行列演算の加算部分、例えば、バイアスＢはαＢに置き換えることができる。活性化は、Ａｃｔｉｖａｔｉｏｎ’（ｘ）＝Ａｃｔｉｖａｔｉｏｎ（ｘ／α_ｉｎ）／α_ｏｕｔで置き換えることができ、ここで、α_ｉｎは入力の適切な係数であり、α_ｏｕｔは出力の適切な係数である（存在する場合）。

【0160】

変換システム１１４および２００は、通信インターフェースを備えることができる。通信インターフェースは、さまざまな代替物から選択できる。例えば、インターフェースは、ローカルまたはワイドエリアネットワーク、例えば、インターネットへのネットワークインターフェース、内部または外部データストレージへのストレージインターフェース、キーボード、アプリケーションインターフェース（ＡＰＩ）などであってもよい。特に、通信インターフェースは、コンピュータネットワークに接続するように構成され得る。通信インターフェースは、デジタルデータセットを受け取るために使用され得る。データセットは、第１の計算ネットワークを示し、システムによって変換が行われるパラメータ、値などのデータアイテムを含むことができる。データには、精度パラメータの評価用のサンプルセットも含まれ得る。データには、所望のレベルの精度も含まれ得る。

【0161】

システム１１４および／または２００などの変換システムは、１つ以上のボタン、キーボード、ディスプレイ、タッチスクリーンなどのよく知られている要素を含むことができるユーザインターフェースを有することができる。ユーザインターフェースは、システムの構成、システムの新しいデータへの適用などのためのユーザ対話に対応するように構成されることができる。ストレージは、電子メモリ、例えばフラッシュメモリ、または磁気メモリ、例えばハードディスクなどとして実装され得る。ストレージは、一緒になってストレージを構成する複数の個別のメモリを含むことができる。ストレージは、一時メモリ、例えばＲＡＭを含んでもよい。ストレージはクラウドストレージであってもよい。

【0162】

システム、例えばシステム１１４および２００は、単一のデバイスに実装され得る。通常、システムは、システムに記憶されている適切なソフトウェアを行う１つ以上のマイクロプロセッサを備えている；例えば、そのソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリまたはフラッシュなどの不揮発性メモリにダウンロードおよび／または記憶され得る。あるいは、システムは、全体的または部分的に、プログラマブルロジック、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）に実装されてもよい。システムは、全体的または部分的に、いわゆる特定用途向け集積回路（ＡＳＩＣ）、例えば、特定の用途に合わせてカスタマイズされた集積回路（ＩＣ）として実装され得る。例えば、回路は、例えばＶｅｒｉｌｏｇ、ＶＨＤＬなどのハードウェア記述言語を使用してＣＭＯＳで実装されてもよい。特に、システムは、暗号プリミティブを評価するための回路を備えることができる。

【0163】

プロセッサ回路は、分散された方法で、例えば複数のサブプロセッサ回路として実装されてもよい。ストレージは複数の分散されたサブストレージに分散され得る。メモリの一部または全部は、電子メモリ、磁気メモリなどであってもよい。例えば、ストレージには揮発性部分と不揮発性部分が含まれ得る。ストレージの一部が読み取り専用であり得る。

【0164】

図６は、変換方法６００の実施形態の一例を概略的に示す。方法６００は、単一のコンピュータデバイスまたは複数のコンピュータデバイスのシステムであり得るコンピュータ上で実行されることが好ましい。方法６００は、関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換する。方法６００は、
－ 拡大係数のセットを決定すること（６１０）であって、行列演算のそれぞれが拡大係数に対応する、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数行列に変換すること（６２０）、
－ 複数のさらなる演算を調整して（６３０）、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること（６４０）、
－ 精度尺度を増加させるために、拡大係数のセットを繰り返し最適化すること（６５０）
を含む。例えば、最適化は方法６００の一部を使用することができ、例えば、決定すること６１０は複数回行うことができる。

【0165】

当業者には明らかなように、この方法を実行する多くの異なる方法が可能である。例えば、ステップの順序は示された順序で行えるが、ステップの順序は変更することも、いくつかのステップを並行して実行することもできる。さらに、ステップ間に他の方法ステップが挿入されてもよい。挿入されたステップは、本明細書に説明されているような方法の改良を表す場合もあれば、方法と無関係の場合もある。例えば、いくつかのステップは、少なくとも部分的に並行して行われ得る。さらに、次のステップが開始される前に、所与のステップが完全に終了していない可能性がある。

【0166】

方法の実施形態は、プロセッサシステムに方法６００を行わせるための命令を含むソフトウェアを使用して行うことができる。ソフトウェアには、システムの特定のサブエンティティによってとられるステップのみが含まれ得る。ソフトウェアは、ハードディスク、フロッピー、メモリ、光ディスクなどの適切なストレージ媒体に記憶され得る。ソフトウェアは、信号として有線、無線に沿って、またはデータネットワーク、例えばインターネットを使用して送ることができる。ソフトウェアは、ダウンロードおよび／またはサーバ上でのリモート使用のために利用可能にすることができる。この方法の実施形態は、この方法を行うためにプログラマブルロジック、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を構成するように構成されたビットストリームを使用して実行され得る。

【0167】

本開示の主題は、コンピュータプログラム、特に本開示の主題を実施するように適合されたキャリア上またはキャリア内のコンピュータプログラムにも及ぶことが理解されるであろう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、および部分的にコンパイルされた形式などのオブジェクトコードの形式、または方法の実施形態の実装での使用に適した任意の他の形式であってもよい。コンピュータプログラム製品に関する実施形態は、記載された方法のうちの少なくとも１つの処理ステップのそれぞれに対応するコンピュータ実行可能命令を含む。これらの命令はサブルーチンに再分割される、および／または、静的または動的にリンクされる１つ以上のファイルに記憶されたりし得る。コンピュータプログラム製品に関する別の実施形態は、記載されたシステムおよび／または製品の少なくとも１つのデバイス、ユニット、および／または部分のそれぞれに対応するコンピュータ実行可能命令を含む。

【0168】

以下の番号付き条項には、企図される非限定的な実施形態が含まれる。

【0169】

１．関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換するための、コンピュータ実装される方法であって、
－ 演算の第１の計算ネットワークは、実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含み、
－ 第１の計算ネットワークを変換することは、
－ 拡大係数（α_ｉ）のセットを決定することであって、行列演算のそれぞれは拡大係数に対応する、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数値行列に変換すること、
－ 複数のさらなる演算を調整して、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数値行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること、
－ 精度尺度を改善するために、拡大係数（α_ｉ）のセットを繰り返し最適化すること
を含む、方法。

【0170】

２． － 拡大係数が実数である、および／または
－ さらなる演算の少なくとも一部は、プログラマブルブートストラッピングとして第２の計算ネットワークに実装される、
前条項に記載の変換方法。

【0171】

３．関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成されたＦＨＥ演算の第２の計算ネットワークに変換するためのシステムであって、
－ 実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含む、演算の第１の計算ネットワークを受け取るための通信インターフェース、
－ 第１の計算ネットワークを変換するために構成されたプロセッサシステム
を含み、変換することが、
－ 拡大係数（α_ｉ）のセットを決定することであって、行列演算のそれぞれは拡大係数に対応する、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数行列に変換すること、
－ 複数のさらなる演算を調整して、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数行列と調整された複数のさらなる演算とを含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること、
－ 精度尺度を改善するために、拡大係数（α_ｉ）のセットを繰り返し最適化することを含む、システム。

【0172】

図７ａは、書き込み可能部分１０１０を有するコンピュータ可読媒体１０００、および同じく書き込み可能部分を有するコンピュータ可読媒体１００１を示す。コンピュータ読み取り可能媒体１０００は、光学的に読み取り可能な媒体の形態で示されている。コンピュータ可読媒体１００１は、電子メモリ、この場合はメモリカードの形態で示されている。コンピュータ可読媒体１０００および１００１はデータ１０２０を記憶することができ、データは、プロセッサシステムによって実行されると、一実施形態にしたがって変換方法の一実施形態をプロセッサシステムに行わせる命令を示し得る。コンピュータプログラム１０２０は、物理的マークとして、またはコンピュータ可読媒体１０００の磁化によってコンピュータ可読媒体１０００上に具現化され得る。しかし、他の適切な実施形態も同様に考えられる。さらに、コンピュータ可読媒体１０００は、ここでは光ディスクとして示されているが、コンピュータ可読媒体１０００は、ハードディスク、ソリッドステートメモリ、フラッシュメモリなどの任意の適切なコンピュータ可読媒体であってもよく、記録不可または記録可能の場合があることが理解されよう。コンピュータプログラム１０２０は、プロセッサシステムに前記変換方法を実行させるための命令を含む。コンピュータ可読媒体は、さらに、または代わりに、一実施形態による方法、例えば第２の計算ネットワークの実行結果を含んでもよい。

【0173】

図７ｂは、ＦＨＥデバイスまたはシステムの一実施形態によるプロセッサシステム１１４０の概略図を示す。プロセッサシステムは、１つ以上の集積回路１１１０を備える。１つ以上の集積回路１１１０のアーキテクチャを図７ｂに概略的に示す。回路１１１０は、一実施形態による方法を実行し、および／またはそのモジュールもしくはユニットを実装するためにコンピュータプログラム構成要素を行うための処理ユニット１１２０、例えばＣＰＵを備える。回路１１１０は、プログラミングコード、データなどを記憶するためのメモリ１１２２を備える。メモリ１１２２の一部は読み取り専用であってもよい。回路１１１０は、通信要素１１２６、例えば、アンテナ、コネクタ、またはその両方などを備えることができる。回路１１１０は、方法で定義された処理の一部またはすべてを行うための専用集積回路１１２４を備え得る。プロセッサ１１２０、メモリ１１２２、専用ＩＣ１１２４、および通信要素１１２６は、相互接続１１３０、例えばバスを介して相互に接続され得る。プロセッサシステム１１１０は、それぞれアンテナおよび／またはコネクタを使用して、接触通信および／または非接触通信のために構成され得る。

【0174】

例えば、一実施形態では、プロセッサシステム１１４０、例えばＦＨＥシステムまたはデバイスは、プロセッサ回路およびメモリ回路を備えることができ、プロセッサは、メモリ回路に記憶されたソフトウェアを行うように構成される。例えば、プロセッサ回路は、Ｉｎｔｅｌ Ｃｏｒｅｉ７プロセッサ、ＡＲＭ Ｃｏｒｔｅｘ－Ｒ８などであり得る。一実施形態では、プロセッサ回路はＡＲＭ ＣｏｒｔｅｘＭ０であってもよい。メモリ回路は、ＲＯＭ回路であってもよいし、不揮発性メモリ、例えばフラッシュメモリであってもよい。メモリ回路は、揮発性メモリ、例えばＳＲＡＭメモリであってもよい。後者の場合、デバイスは、ソフトウェアを提供するために構成された不揮発性ソフトウェアインターフェース、例えばハードドライブ、ネットワークインターフェースなどを備え得る。

【0175】

デバイス１１１０は、説明した各構成要素のうちの１つを含むものとして示されているが、さまざまな実施形態では、さまざまな構成要素を複製することができる。例えば、プロセッサ１１２０は、複数のマイクロプロセッサを含んでもよく、複数のマイクロプロセッサは、本明細書に説明される方法を独立して実行するように構成される、または、複数のプロセッサが協働して本明細書に説明される機能を達成するように、本明細書に説明される方法のステップまたはサブルーチンを行うように構成される。さらに、デバイス１１１０がクラウド計算システムに実装される場合、さまざまなハードウェア構成要素は別個の物理システムに属していてもよい。例えば、プロセッサ１１２０は、第１のサーバ内の第１のプロセッサを含み、第２のサーバ内の第２のプロセッサを含むことができる。

【0176】

上述の実施形態は、本開示の主題を限定するものではなく例示するものであり、当業者であれば多くの代替実施形態を設計できることに留意されたい。

【0177】

特許請求の範囲において、括弧の間に置かれた参照符号は、特許請求の範囲を限定するものとして解釈されないものとする。動詞「含む」およびその活用の使用は、請求項に記載されているもの以外の要素またはステップの存在を排除するものではない。要素の前にある冠詞「１つ（ａ）」または「１つ（ａｎ）」は、そのような要素が複数存在することを排除するものではない。要素のリストにつづく「のうちの少なくとも１つ」などの表現は、リストからの要素のすべてまたはサブセットの選択を表す。例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、またはＡ、Ｂ、およびＣのすべてを含むものとして理解されるべきである。ここで開示される主題は、いくつかの別個の要素を含むハードウェアによって、および適切にプログラムされたコンピュータによって実装され得る。いくつかの部分を列挙したデバイス請求項では、これらの部分のいくつかは、１つの同じハードウェアアイテムによって具現化され得る。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。

【0178】

特許請求の範囲において、括弧内の参照は、例示的な実施形態の図面の参照符号または実施形態の公式を参照しており、したがって、特許請求の範囲の分かりやすさを増加させている。これらの参照は、特許請求の範囲を限定するものとして解釈されるべきではない。

【図1a】

【図1b】

【図1c】

【図1d】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6】

【図7a】

【図7b】

【手続補正書】

【提出日】2024-01-25

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化演算の第２の計算ネットワークに変換するための、コンピュータ実装される方法であって、
－ 演算の第１の計算ネットワークは、実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含み、
－ 第１の計算ネットワークを変換することは、
－ 拡大係数（α_ｉ）のセットを決定すること（６１０）であって、行列演算のそれぞれが拡大係数に対応し、拡大係数は実数である、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし、スケーリングされた実数値行列を丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数値行列に変換すること（６２０）、
－ 複数のさらなる演算を調整して（６３０）、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数値行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること（６４０）、
－ 精度尺度を改善するために、拡大係数（α_ｉ）のセットを繰り返し最適化すること（６５０）
を含む、方法。

【請求項2】

第１の計算ネットワークおよび第２の計算ネットワークはニューラルネットワークである、請求項１に記載の変換方法。

【請求項3】

実数値行列演算は、実数値行列加算（ｙ＝Ｗ．ｘ＋Ｂ）をさらに含み、実数値行列演算を変換することは、実数値行列加算に関連付けられた行列（Ｂ）を同じ拡大係数を用いてスケーリングすることをさらに含む、請求項１に記載の変換方法。

【請求項4】

－ さらなる演算の少なくとも一部は、プログラマブルブートストラッピングとして第２の計算ネットワークに実装される、請求項１に記載の変換方法。

【請求項5】

拡大係数（α_ｉ）のセットを決定することが、
－ 第１の計算ネットワーク内の行列演算に拡大係数をシンボル的に関連付けること、
－ 第１の計算ネットワークを通して拡大係数を伝播させ、変換演算の出力に適用される第１の計算ネットワーク内の演算から拡大係数に関する条件を導出することを含む、請求項１に記載の変換方法。

【請求項6】

拡大係数（α_ｉ）のセットを反復的に最適化することは条件に従う、請求項５に記載の変換方法。

【請求項7】

実数値行列を対応するスケーリングされた整数値行列で置き換えることによって第２の計算ネットワークを導出することと、加算のための実数値行列を対応するスケーリングされた行列で置き換えることと、さらなる演算における演算を調整することとを含む、請求項１に記載の変換方法。

【請求項8】

第１および第２の計算ネットワークは演算間の複数の層を備え、各層は、第１の計算ネットワーク内の層内の値と第２の計算ネットワーク内の対応する層内の対応する値との間の乗算比に対応する関連する層係数を有し、
－ 第１の計算ネットワークはジョイン演算を含み、ジョイン演算は２つの異なる層から第１の入力および第２の入力を受け取り、拡大係数は、２つの異なる層に関連付けられた２つの層係数が等しいという条件の下で決定され、ジョイン演算がホモジニアスになる、請求項５に記載の変換方法。

【請求項9】

ジョイン演算は、加算、減算、または連結のうちの１つであり、ジョイン演算は、第２の計算ネットワーク内の暗号化された値に対する対応する加算、減算、または連結として実装される、請求項８に記載の変換方法。

【請求項10】

第２の計算ネットワークは、第１の計算ネットワークに対応する演算と、挿入された演算とを含み、次の演算における拡大係数を等しくするために第２の計算ネットワークに補正演算が挿入され、
－ 補正演算はプログラマブルブートストラッピングであり、補正係数が実数である、または
－ 補正演算は整数値の乗算であり、補正係数が整数である、請求項１に記載の変換方法。

【請求項11】

さらなる演算を調整することが、
－ 入力から拡大係数を除去する（ｆ（ｘ）→ｆ（ｘ／α））こと、および／または
－ 出力に拡大係数を適用する（ｆ（ｘ）→βｆ（ｘ／α））こと
を含む、請求項１に記載の変換方法。

【請求項12】

－ 精度尺度は、サンプル入力のセットに対して第１の計算ネットワークおよび第２の計算ネットワークを評価し、評価結果をサンプル出力のセットと比較することによって計算され、第１の計算ネットワークの第１の精度および第２の計算ネットワークの第２の精度を取得し、精度尺度は、第１の精度と第２の精度を比較する、および／または
－ 精度尺度は、サンプル入力のセットに対して第２の計算ネットワークを評価し、評価結果をサンプル出力のセットと比較することによって計算され、第２の計算ネットワークの第２の精度を取得し、精度尺度は、第２の精度を所定の精度目標と比較する、
請求項１に記載の変換方法。

【請求項13】

－プロセッサシステムによって実行されると、プロセッサシステムに請求項１から１２のいずれか一項に記載の方法を行わせる命令、および
－ 請求項１から１２のいずれか一項に従って取得された第２のネットワークを表すデータ
のうちのいずれか１つを表すデータ（１０２０）を含む、一時的または非一時的なコンピュータ可読媒体（１０００）。

【請求項14】

関数を計算するように構成された演算の第１の計算ネットワークを、同じ関数を計算するように構成された完全準同型暗号化演算の第２の計算ネットワークに変換するためのシステム（２００）であって、
－ 実数値行列乗算を含む複数の実数値行列演算（ｙ＝Ｗ．ｘ）と、複数の実数値行列演算のうちの少なくとも１つの結果を入力として受け取る少なくとも複数のさらなる演算（ｚ＝Ａｃｔｉｖａｔｉｏｎ（ｙ））とを含む、演算の第１の計算ネットワークを受け取るための通信インターフェース、
－ 第１の計算ネットワークを変換するために構成されたプロセッサシステム
を含み、変換することが、
－ 拡大係数（α_ｉ）のセットを決定すること（６１０）であって、行列演算のそれぞれが拡大係数に対応し、拡大係数は実数である、こと、
－ 対応する拡大係数を用いて実数値行列をスケーリングし、スケーリングされた実数値行列を丸めることによって、複数の実数値行列演算に対応する複数の実数値行列（Ｗ）を整数行列に変換すること（６２０）、
－ 複数のさらなる演算を調整して（６３０）、スケーリングされた行列演算のスケーリングされた結果を入力として受け取ることであって、第２の計算ネットワークは、変換された複数の整数行列および調整された複数のさらなる演算を含む、こと、
－ 第２の計算ネットワークの精度を示す、第２の計算ネットワークの精度尺度を決定すること（６４０）、
－ 精度尺度を改善するために、拡大係数のセット（α_ｉ）を繰り返し最適化する（６５０）ことを含む、システム（２００）。

【国際調査報告】