特許 7599440 格子点列挙のための装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-05

(45)【発行日】2024-12-13

(54)【発明の名称】格子点列挙のための装置及び方法

(51)【国際特許分類】

   G06N 3/08 20230101AFI20241206BHJP

   G06N 20/00 20190101ALI20241206BHJP

【ＦＩ】

G06N3/08

G06N20/00 130

【請求項の数】 12

(21)【出願番号】P 2021574796

(86)(22)【出願日】2020-06-24

(65)【公表番号】

(43)【公表日】2022-08-31

(86)【国際出願番号】 EP2020067690

(87)【国際公開番号】W WO2021001241

(87)【国際公開日】2021-01-07

【審査請求日】2023-06-20

(31)【優先権主張番号】19305888.0

(32)【優先日】2019-07-01

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】510229496

【氏名又は名称】アンスティテュ・ミーヌ・テレコム

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】レカヤ，ガーヤ

(72)【発明者】

【氏名】アスクリ，アイメン

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特表２００７－５１３５２７（ＪＰ，Ａ）

【文献】Mostafa MOHAMMADKARIMI et al.，Deep Learning Based Sphere Decoding，[online]，v1，2018年07月06日，pp.1-9，［検索日：2024年5月30日］、インターネット<URL:https://arxiv.org/pdf/1807.03162v1.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

あるベクトル空間内の有界領域の内側にある格子点数を予測するための格子予測装置（２００）であって、前記有界領域は、半径値により画定され、格子点は前記ベクトル空間上に構成される格子内のデジタル信号を表し、前記格子は、成分を含む格子生成行列により画定され、前記格子予測装置（２００）は、前記半径値及び前記格子生成行列の成分から導出される入力データに機械学習アルゴリズムを適用することによって、予測格子点数を特定するように構成された計算ユニット（２０１）を含む、格子予測装置（２００）。

【請求項2】

前記計算ユニット（２０１）は前記格子生成行列にＱＲ分解を実行するように構成され、それによって上三角行列が提供され、前記計算ユニット（２０１）は、前記上三角行列の各成分と前記半径値の逆数との間の乗算を行うことによって前記入力データを特定するように構成される、請求項１に記載の格子予測装置（２００）。

【請求項3】

前記機械学習アルゴリズムは、サポートベクタマシン、線形回帰、ロジスティック回帰分析、ナイーブベイズ、線形判別分析、決定木、ｋ近傍法アルゴリズム、ニューラルネットワーク、及び類似度学習を含む群の中で選択される教師付き機械学習アルゴリズムである、請求項１に記載の格子予測装置（２００）。

【請求項4】

前記教師付き機械学習アルゴリズムは、入力層（３０１）、１つ又は複数の隠れ層（３０３）、及び出力層（３０５）を含み、各層は複数の計算ノード（３０１１）を含む多層ディープニューラルネットワーク（３００）であり、前記多層ディープニューラルネットワーク（３００）はモデルパラメータ及び活性化関数に関連付けられ、前記活性化関数は前記１つ又は複数の隠れ層の前記複数の計算ノードの中の少なくとも１つの計算ノード（３０１１）に実装される、請求項３に記載の格子予測装置（２００）。

【請求項5】

前記活性化関数は、線形活性化関数、シグモイド関数、ＲｅＬＵ関数、ＴａｎＨ関数、ソフトマックス関数、及びＣＵＢＥ関数を含む群の中で選択される、請求項４に記載の格子予測装置（２００）。

【請求項6】

前記計算ユニット（２０１）は、訓練フェーズ中に受信した訓練データから前記モデルパラメータを特定するように構成され、前記計算ユニット（２０１）は、前記訓練データ及び期待格子点数から複数の訓練データセットを特定するように構成され、各期待格子点数は前記複数の訓練データセットの中のある訓練データセットに関連付けられ、前記訓練フェーズは２つ以上の処理イテレーションを含み、各処理イテレーションにおいて、前記計算ユニット（２０１）は：
－前記複数の訓練データの中のある訓練データセットを入力として使用して前記ディープニューラルネットワーク（３００）を処理し、それによって前記訓練データセットに関連付けられた中間格子点数を提供し、
－前記訓練データセットに関連付けられる前記期待格子点数及び前記中間格子点数から損失関数を特定し、
－前記損失関数の最小化に従って最適化アルゴリズムを適用することにより、更新されたモデルパラメータを特定する
ように構成される、請求項４に記載の格子予測装置（２００）。

【請求項7】

前記最適化アルゴリズムは、ＡｄａＤｅｌｔａ最適化アルゴリズム、ＡｄａＧｒａｄ最適化アルゴリズム、Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ネステロフの加速勾配法アルゴリズム、ネステロフ加速Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ＲＭＳｐｒｏｐアルゴリズム、確率的勾配最適化アルゴリズム、及び適応学習率最適化アルゴリズムを含む群の中で選択される、請求項６に記載の格子予測装置（２００）。

【請求項8】

前記損失関数は、平均二乗誤差関数及び指数対数尤度関数を含む群の中で選択される、請求項６に記載の格子予測装置（２００）。

【請求項9】

前記計算ユニット（２０１）は、第一の処理イテレーションについて、ランダムに生成される数値セットから初期モデルパラメータを特定するように構成される、請求項６に記載の格子予測装置（２００）。

【請求項10】

前記計算ユニット（２０１）は、リストスフィア復号アルゴリズム又はリストＳｐｈｅｒｉｃａｌ－Ｂｏｕｎｄ Ｓｔａｃｋ復号アルゴリズムを適用することによって、前記半径値及び格子生成行列から前記期待格子点数を事前に特定するように構成される、請求項６に記載の格子予測装置（２００）。

【請求項11】

コンピュータが実行する、あるベクトル空間内の有界領域の内側にある格子点数を予測する格子予測方法であって、前記有界領域は半径値により画定され、格子点は、前記ベクトル空間上に構成される格子内のデジタル信号を表し、前記格子は、成分を含む格子生成行列により画定され、前記格子予測方法は、前記半径値及び前記格子生成行列の成分から導出された入力データに機械学習アルゴリズムを適用することによって、予測格子点数を特定するステップを含む、格子予測方法。

【請求項12】

あるベクトル空間内の有界領域の内側にある格子点数を予測するためのコンピュータプログラムであって、前記有界領域は半径値により画定され、格子点は、前記ベクトル空間上に構成される格子内のデジタル信号を表し、前記格子は、成分を含む格子生成行列により画定され、前記コンピュータプログラムは、プロセッサにより実行されると、前記プロセッサに、前記半径値及び前記格子生成行列の成分から導出された入力データに予測格子点数を提供する機械学習アルゴリズムを適用させる命令を含む、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は一般にコンピュータサイエンスに関し、特に有限格子内の格子点列挙の問題を解決するための方法と装置に関する。

【背景技術】

【0002】

格子は、コンピュータサイエンス、符号化理論、デジタル通信及び記憶、並びに暗号法等の幾つかの分野において多くの用途を有する効率的なツールである。

【0003】

コンピュータサイエンスにおいては、格子は例えば、有理数上の多項式を因数分解し、多項方程式系を解くために使用される整数線形プログラミングアルゴリズムを構成するために使用される。

【0004】

符号化理論においては、格子は例えば、効率的な誤り訂正符号及び、ノイズの多いチャネル上でのデータ伝送若しくはデータ保存（例えば、クラウドコンピューティングシステム内）のための効率的な代数時空符号を構成するために使用される。格子構造を有する信号配列は、ガウス及び単一アンテナレイリフェージングチャネルのどちらでの信号伝送にも使用される。

【0005】

デジタル通信においては、格子は例えば、無線多入力多出力チャネル上で伝送される符号化又は非符号化信号の検出に使用される。

【0006】

暗号法においては、格子は例えば、特にポスト量子暗号において攻撃に対して強靭である安全な暗号プリミティブの構成のため、及び主要な暗号系の安全性証明のために使用される。例示的な格子に基づく暗号系は、暗号化方式（例えば、ＧＧＨ暗号化方式及びＮＴＲＵＥＥｎｃｒｙｐｔ）、署名（例えば、ＧＧＨ署名方式）、及びハッシュ関数（例えば、格子に基づくハッシュ関数のためのＳＷＩＦＦＴ及びＬＡＳＨ）を含む。

【0007】

格子問題は、格子に関する最適化問題に分類される。これらは何十年も前からその対応が取られており、これには最短ベクトル問題（ＳＶＰ：ｓｈｏｒｔｅｓｔ ｖｅｃｔｏｒ ｐｒｏｂｌｅｍ）、最近ベクトル問題（ＣＶＰ：ｃｌｏｓｅｓｔ ｖｅｃｔｏｒ ｐｒｏｂｌｅｍ）、及び格子点列挙問題が含まれる。実際の用途において、このような格子問題は例えば、無線通信システム内のデータ検出において、測位システムの搬送波位相ＧＮＳＳの整数アンビギュイティを解くことにおいて、及び暗号アルゴリズムの構成又は安全性証明に関して発生する。

【0008】

次元ｎ≧１の格子は、ｎ次元ベクトル空間Ｖの点の規則的な有限配列であり、ベクトル空間はＢで示される基底とＮで表示されるノルムで与えられる。幾何学及び群論では、

【数1】

格子は加法群

【数2】

の部分群であり、これは実際のベクトル空間

【数3】

にわたる。このことは、

【数4】

の何れの基底についても、基底ベクトルの整数係数との全ての線形結合の部分群が格子を形成することを意味する。各格子点は、ベクトル空間Ｖ内で、ｎ個の整数値のベクトルを表す。

【0009】

基底ＢとノルムＮのベクトル空間Ｖにわたるｎ次元格子Ｌにおける最短ベクトル問題を解決することは、格子Ｌにおける最短非ゼロベクトルを見つけることからなり、これはノルムＮで測定される。ユークリッドノルムに基づいて最短ベクトル問題を解決するための例示的な手法としては：
－例えば“Ｒ．Ｋａｎｎａｎ，Ｉｍｐｒｏｖｅｄ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｉｎｔｅｇｅｒ Ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ ｒｅｌａｔｅｄ Ｌａｔｔｉｃｅ Ｐｒｏｂｌｅｍｓ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｅｅｎｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ １９３－２０６”において開示されている格子列挙、
－例えば“Ｃ．Ｐ．Ｓｃｈｎｏｒｒ，Ｌａｔｔｉｃｅ Ｒｅｄｕｃｔｉｏｎ ｂｙ Ｒａｎｄｏｍ Ｓａｍｐｌｉｎｇ ａｎｄ Ｂｉｒｔｈｄａｙ Ｍｅｔｈｏｄｓ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｅｔｉｃａｌ Ａｓｐｅｃｔｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｐａｇｅｓ １４５－１５６，Ｓｐｒｉｎｇｅｒ，２００３”において開示されているランダムサンプリング簡約、
－例えば“Ｍ．Ａｊｔａｉ，Ｒ．Ｋｕｍａｒ，ａｎｄ Ｄ．Ｓｉｖａｋｕｍａｒ，Ａ Ｓｉｅｖｅ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｓｈｏｒｔｅｓｔ Ｌａｔｔｉｃｅ Ｖｅｃｔｏｒ Ｐｒｏｂｌｅｍ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－ｔｈｉｒｄ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ ６０１－６１０，２００１”において開示されている格子篩、
－例えば“Ｄ．Ｍｉｃｃｉａｎｃｉｏ ａｎｄ Ｐ．Ｖｏｕｌｇａｒｉｓ，Ａ ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｓｉｎｇｌｅ Ｅｘｐｏｎｅｎｔｉａｌ Ｔｉｍｅ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｍｏｓｔ Ｌａｔｔｉｃｅ Ｐｒｏｂｌｅｍｓ ｂａｓｅｄ ｏｎ Ｖｏｒｏｎｏｉ Ｃｅｌｌ Ｃｏｍｐｕｔａｔｉｏｎｓ，ＳＩＡＭ Ｊｏｕｒｎａｌ ｏｎ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．４２，ｐａｇｅｓ １３６４－１３９１”において開示されている格子のボロノイセルの計算、及び
－例えば“Ｄ．Ａｇｇｒａｗａｌ，Ｄ．Ｄａｄｕｓｈ，Ｏ．Ｒｅｇｅｖ，ａｎｄ Ｎ．Ｓｔｅｐｈｅｎｓ－Ｄａｖｉｄｗｏｗｉｔｚ，Ｓｏｌｖｉｎｇ ｔｈｅ Ｓｈｏｒｔｅｓｔ Ｖｅｃｔｏｒ Ｐｒｏｂｌｅｍ ｉｎ ２ｎ ｔｉｍｅ Ｕｓｉｎｇ Ｄｉｓｃｒｅｔｅ Ｇａｕｓｓｉａｎ Ｓａｍｐｌｉｎｇ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｒｔｙ－ｓｅｖｅｎｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ ７３３－７４２，２０１３”において開示されている離散ガウスサンプリング
が含まれる。

【0010】

格子列挙とランダムサンプリング簡約には、超指数時間及びメモリが必要である。格子篩、格子のボロノイセルの計算、及び離散ガウスサンプリングには、格子次元において多項式によりスケーリングする非常に複雑な計算が必要となる。

【0011】

基底ＢとメトリックＭのベクトル空間Ｖ上のｎ次元格子Ｌにおける最近ベクトル問題を解くことは、格子Ｌ内で、ベクトル空間Ｖ内（必ずしも格子Ｌ内ではない）のあるベクトルｖに最も近いベクトルを見つけることからなり、これはメトリックＭで測定される。最近ベクトル問題を解決するために使用される例示的な手法には、“Ｕ．Ｆｉｎｃｋｅ ａｎｄ Ｍ．Ｐｏｈｓｔ，Ｉｍｐｒｏｖｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃａｌｃｕｌａｔｉｎｇ Ｖｅｃｔｏｒｓ ｏｆ Ｓｈｏｒｔ Ｌｅｎｇｔｈ ｉｎ ａ Ｌａｔｔｉｃｅ，Ｉｎｃｌｕｄｉｎｇ ａ Ｃｏｍｐｌｅｘｔｉｙ Ａｎａｌｙｓｉｓ”において開示されているＦｉｎｃｋｅ－Ｐｏｈｓｔバリアントが含まれる。

【0012】

基底ＢとメトリックＭのベクトル空間Ｖ上のｎ次元格子Ｌにおける格子点列挙は、ベクトル空間Ｖ内の、Ｓで表示されるあるｎ次元有界領域（ボール又は球）の内側にある格子点を計数する（すなわち、格子点の数を特定する）ことからなる。次元ｎの球の内側の格子点の数は、球の堆積に比例する。

【0013】

図１は、ベクトル空間

【数5】

内の２次元格子Ｌを示す。黒丸は格子Ｌに属する格子点を示す。破線の円１００は、ベクトル空間

【数6】

の白丸で表される原点を中心とする２次元球面を示し、球の内側にある４つの格子点を含む。

【0014】

格子点列挙問題は、最近ベクトル問題及び最短ベクトル問題と深いつながりがあり、正確に解決するにはＮＰ困難であることが知られている。既存の技術では、非常に複雑な計算が必要であり、これは格子の次元に応じて増大し、それによって実践的なシステムでのその実装が困難となる。

【先行技術文献】

【非特許文献】

【0015】

【文献】Ｒ．Ｋａｎｎａｎ，Ｉｍｐｒｏｖｅｄ Ａｌｇｏｒｉｔｈｍｓ ｆｏｒ Ｉｎｔｅｇｅｒ Ｐｒｏｇｒａｍｍｉｎｇ ａｎｄ ｒｅｌａｔｅｄ Ｌａｔｔｉｃｅ Ｐｒｏｂｌｅｍｓ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｅｅｎｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ １９３－２０６

【文献】Ｃ．Ｐ．Ｓｃｈｎｏｒｒ，Ｌａｔｔｉｃｅ Ｒｅｄｕｃｔｉｏｎ ｂｙ Ｒａｎｄｏｍ Ｓａｍｐｌｉｎｇ ａｎｄ Ｂｉｒｔｈｄａｙ Ｍｅｔｈｏｄｓ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ａｎｎｕａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｅｔｉｃａｌ Ａｓｐｅｃｔｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｐａｇｅｓ １４５－１５６，Ｓｐｒｉｎｇｅｒ，２００３

【文献】Ｍ．Ａｊｔａｉ，Ｒ．Ｋｕｍａｒ，ａｎｄ Ｄ．Ｓｉｖａｋｕｍａｒ，Ａ Ｓｉｅｖｅ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｓｈｏｒｔｅｓｔ Ｌａｔｔｉｃｅ Ｖｅｃｔｏｒ Ｐｒｏｂｌｅｍ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｈｉｒｔｙ－ｔｈｉｒｄ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ ６０１－６１０，２００１

【文献】Ｄ．Ｍｉｃｃｉａｎｃｉｏ ａｎｄ Ｐ．Ｖｏｕｌｇａｒｉｓ，Ａ ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｓｉｎｇｌｅ Ｅｘｐｏｎｅｎｔｉａｌ Ｔｉｍｅ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｍｏｓｔ Ｌａｔｔｉｃｅ Ｐｒｏｂｌｅｍｓ ｂａｓｅｄ ｏｎ Ｖｏｒｏｎｏｉ Ｃｅｌｌ Ｃｏｍｐｕｔａｔｉｏｎｓ，ＳＩＡＭ Ｊｏｕｒｎａｌ ｏｎ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．４２，ｐａｇｅｓ １３６４－１３９１

【文献】Ｄ．Ａｇｇｒａｗａｌ，Ｄ．Ｄａｄｕｓｈ，Ｏ．Ｒｅｇｅｖ，ａｎｄ Ｎ．Ｓｔｅｐｈｅｎｓ－Ｄａｖｉｄｗｏｗｉｔｚ，Ｓｏｌｖｉｎｇ ｔｈｅ Ｓｈｏｒｔｅｓｔ Ｖｅｃｔｏｒ Ｐｒｏｂｌｅｍ ｉｎ ２ｎ ｔｉｍｅ Ｕｓｉｎｇ Ｄｉｓｃｒｅｔｅ Ｇａｕｓｓｉａｎ Ｓａｍｐｌｉｎｇ，Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｏｒｔｙ－ｓｅｖｅｎｔｈ Ａｎｎｕａｌ ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｔｈｅｏｒｙ ｏｆ Ｃｏｍｐｕｔｉｎｇ，ｐａｇｅｓ ７３３－７４２，２０１３

【文献】Ｕ．Ｆｉｎｃｋｅ ａｎｄ Ｍ．Ｐｏｈｓｔ，Ｉｍｐｒｏｖｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃａｌｃｕｌａｔｉｎｇ Ｖｅｃｔｏｒｓ ｏｆ Ｓｈｏｒｔ Ｌｅｎｇｔｈ ｉｎ ａ Ｌａｔｔｉｃｅ，Ｉｎｃｌｕｄｉｎｇ ａ Ｃｏｍｐｌｅｘｔｉｙ Ａｎａｌｙｓｉｓ

【発明の概要】

【発明が解決しようとする課題】

【0016】

したがって、格子点列挙問題及び最近ベクトル問題を含む格子関連問題を解決するための、演算量が少なく、効率的な手法を考案する必要がある。

【課題を解決するための手段】

【0017】

これら及びその他の問題に対処するために、あるベクトル空間内の有界領域の内側にある格子点数を予測するための格子予測装置が提供される。有界領域は、半径値により画定され、格子点はベクトル空間上に構成される格子内のデジタル信号を表す。格子は、成分を含む格子生成行列により画定される。格子予測装置は、半径値及び格子生成行列の成分から導出される入力データに機械学習アルゴリズムを適用することによって、予測格子点数を特定するように構成された計算ユニットを含む。

【0018】

幾つかの実施形態によれば、計算ユニットは格子生成行列にＱＲ分解を実行するように構成されてよく、それによって上三角行列が提供され、計算ユニットは、上三角行列の各成分と半径値の逆数との間の乗算を行うことによって入力データを特定するように構成される。

【0019】

幾つかの実施形態によれば、機械学習アルゴリズムは、サポートベクタマシン、線形回帰、ロジスティック回帰分析、ナイーブベイズ、線形判別分析、決定木、ｋ近傍法アルゴリズム、ニューラルネットワーク、及び類似度学習を含む群において選択される教師付き機械学習アルゴリズムであってよい。

【0020】

幾つかの実施形態によれば、教師付き機械学習アルゴリズムは多層ディープニューラルネットワークであってよく、これは入力層、１つ又は複数の隠れ層、及び出力層を含み、各層は複数の計算ノードを含み、多層ディープニューラルネットワークはモデルパラメータ及び活性化関数に関連付けられ、活性化関数は１つ又は複数の隠れ層の複数の計算ノードの中の少なくとも１つの計算ノードに実装される。

【0021】

幾つかの実施形態によれば、活性化関数は、線形活性化関数、シグモイド関数、ＲｅＬＵ関数、ＴａｎＨ関数、ソフトマックス関数、及びＣＵＢＥ関数を含む群の中で選択されてよい。

【0022】

幾つかの実施形態によれば、計算ユニットは、訓練フェーズ中に受信した訓練データからモデルパラメータを特定するように構成されてよく、計算ユニットは、訓練データ及び期待格子点数から複数の訓練データセットを特定するように構成され、各期待格子点数は複数の訓練データセットの中のある訓練データセットに関連付けられ、訓練フェーズは２つ以上の処理イテレーションを含み、各処理イテレーションにおいて、計算ユニットは：
－複数の訓練データの中のある訓練データセットを入力として使用して、その訓練データセットに関連付けられた中間格子点数を提供するディープニューラルネットワークを処理し、
－その訓練データセットに関連付けられる期待格子点及び中間格子点数から損失関数を特定し、
－損失関数の最小化に従って最適化アルゴリズムを適用することにより、更新されたモデルパラメータを特定する
ように構成される。

【0023】

幾つかの実施形態によれば、最適化アルゴリズムは、ＡｄａＤｅｌｔａ最適化アルゴリズム、ＡｄａＧｒａｄ最適化アルゴリズム、Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ネステロフの加速勾配法アルゴリズム、ネステロフ加速Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ＲＭＳｐｒｏｐアルゴリズム、確率的勾配最適化アルゴリズム、及び適応学習率最適化アルゴリズムを含む群の中で選択されてよい。

【0024】

幾つかの実施形態によれば、損失関数は、平均二乗誤差関数及び指数対数尤度関数を含む群の中で選択されてよい。

【0025】

幾つかの実施形態によれば、計算ユニットは、第一の処理イテレーションについて、ランダムに生成される数値セットから初期モデルパラメータを特定するように構成されてよい。

【0026】

幾つかの実施形態によれば、計算ユニットは、リストスフィア復号アルゴリズム又はリストＳｐｈｅｒｉｃａｌ－Ｂｏｕｎｄ Ｓｔａｃｋ復号アルゴリズムを適用することによって、半径値及び格子生成行列から期待格子点数を事前に特定するように構成されてよい。

【0027】

あるベクトル空間内の有界領域の内側にある格子点数を予測する格子予測方法も提供され、有界領域は半径値により画定され、格子点は、ベクトル空間上に構成される格子内のデジタル信号を表す。格子は、成分を含む格子生成行列により画定される。格子予測方法は、半径値及び格子生成行列の成分から導出された入力データに機械学習アルゴリズムを適用することによって、予測格子点数を特定するステップを含む。

【0028】

あるベクトル空間内の有界領域の内側にある格子点数を予測するためのコンピュータプログラム製品も提供され、有界領域は半径値により画定され、格子点は、ベクトル空間上に構成される格子内のデジタル信号を表す。格子は、成分を含む格子生成行列により画定される。コンピュータプログラム製品は、非一時的コンピュータ可読記憶媒体と、非一時的可読記憶媒体上に記憶された、プロセッサにより実行されると、プロセッサに、半径値及び格子生成行列の成分から導出された入力データに予測格子点数を提供する機械学習アルゴリズムを適用させる命令を含む。

【0029】

有利な点として、本発明の実施形態により、格子列挙問題のより少ない演算量での解決が可能となる。

【0030】

有利な点として、本発明の実施形態により、文献における既存の範囲と比較して、信頼できる結果を提供する格子点列挙技術が提供される。

【0031】

本明細書に組み込まれ、その一部を構成する添付の図面は、本発明の様々な実施形態を示している。

【図面の簡単な説明】

【0032】

【図1】ベクトル空間

【数7】

内の例示的な２次元格子を示す。

【図2】本発明の幾つかの実施形態による格子予測装置の構造を例示するブロック図である。

【図3】ディープニューラルネットワークを使用する本発明の幾つかの実施形態による機械学習アルゴリズムの略図を示す。

【図4】本発明の幾つかの実施形態による、格子点数の予測方法を例示するフローチャートである。

【図5】本発明の幾つかの実施形態によるディープニューラルネットワークモデルパラメータの特定方法を例示するフローチャートである。

【図6】本発明の幾つかの実施形態による、訓練フェーズ中の、次元ｎ＝５の格子の期待格子点数と推定値との間の予測エラーを評価するエラーヒストグラムを例示する図である。

【図7】本発明の幾つかの実施形態による、訓練フェーズ中の、次元ｎ＝１０の格子の期待格子点数と推定値との間の予測エラーを評価するエラーヒストグラムを例示する図である。

【図8】本発明の幾つかの実施形態による、２つの格子次元ｎ＝４及びｎ＝６に関する隠れ層の数に応じた正規化平均二乗偏差（ＮＲＭＳＤ）値のばらつきを例示する図である。

【図9】本発明の幾つかの実施形態による、それぞれ訓練セットを考慮する格子次元ｎ＝５と等しい場合の多層ディープニューラルネットワークのパフォーマンスを例示する図である。

【図10】本発明の幾つかの実施形態による、それぞれテストセットを考慮する格子次元ｎ＝５と等しい場合の多層ディープニューラルネットワークのパフォーマンスを例示する図である。

【発明を実施するための形態】

【0033】

本発明の実施形態は、ある空間ベクトル内の有界領域の内側にある格子点数を、機械学習方法を用いてより少ない演算量で予測する装置、方法、及びコンピュータプログラムを提供する。

【0034】

本発明の実施形態を理解しやすくするために、後で使用される幾つかの定義と表記法を以下に説明する。

【0035】

Ｋは、体、すなわちそれについて加算、減算、乗算、除算が定義される代数構造を指す。

【0036】

Ｖは、体Ｋ上のｎ次元（有限次元）Ｋ－ベクトル空間を指す。

【0037】

Ｂ＝｛ｖ_１，．．．，ｖ_ｎ｝は、ベクトル空間ＶのＫ基底を指定する。

【0038】

Ｎ（．）は、ベクトル空間Ｖのノルムを指定する。

【0039】

ｍ（．）は、ベクトル空間Ｖのメトリックを指定する。

【0040】

ベクトル空間Ｖ上に構成されるｎ次元格子Ｋ格子とは、非ユニーク格子基底Ｂ＝｛ｖ_１，．．．，ｖ_ｎ｝によって生成されるベクトル空間Ｖの離散部分群を指定する。格子Λはｎ個の線形独立ベクトルｖ_１，．．．，ｖ_ｐにより範囲が定められ、

【数8】

により与えられるセットに対応する。

【0041】

ベクトルｖ_１，．．．，ｖ_ｐは、格子Λの非ユニーク格子基底を表す。

【0042】

Ｍ∈Ｖ^ｎｘｎで示される格子生成行列とは、その列ベクトルが格子Λの非ユニーク格子基底を表す行列を指す。

【0043】

格子Λに属する格子点ｕとは、
ｕ＝Ｍｓ，ｓ∈Ｋ （２）
に従って格子生成行列Ｍの関数として書くことのできるｎ次元ベクトル、ｕ∈Ｖを指す。

【0044】

ｕ_ｍｉｎで表示される最短ベクトルとは、格子Λ内の、ノルムＮにより測定される、λ_ｍｉｎで表示される最短長さを有し、
λ_ｍｉｎ＝ｍｉｎ_{Ｕ∈Λ｛０｝}Ｎ（ｕ） （３）
となる非ゼロベクトルを指す。

【0045】

最短ベクトル問題とは、ベクトル空間Ｖ内の、格子Λに属し、ノルムＮにより測定される最短長さを有する最短非ゼロベクトルｕ_ｍｉｎを見出すことを目指す最適化問題を指す。最短ベクトル問題は、
ｕ_ｍｉｎ＝ａｒｇｍｉｎ_{ｕ∈Λ｛０｝}Ｎ（ｕ） （４）
により与えられる最適化問題を解決すべきである。

【0046】

最近ベクトル問題とは、ベクトル空間Ｖ内のベクトルｖについて、格子Λ内の、ベクトルｖに最も近いベクトルｕを見出すことを目指す最適化問題を指し、ベクトルｖとベクトルｕとの間の距離はメトリックｍにより測定される。最近ベクトル問題とは、
ｕ_ｃｖｐ＝ａｒｇｍｉｎ_{ｕ∈Λ｛０｝}ｍ^{（ｖ－ｕ）} （５）
により与えられる最適化問題を解決すべきである。

【0047】

格子列挙問題とは、ベクトル空間Ｖ内の有界領域の内側にある格子点を計数する（すなわち、その数を特定する）ことを目指す最適化問題を指す。格子点はベクトルｕ＝Ｍｓに対応するため、半径値ｒにより画定され、原点を中心とするベクトル空間Ｖ内の有界領域内の格子列挙問題を解くことは、格子Λに属し、半径値ｒより小さいか、それと等しいメトリックｍ（ｕ）を有し、ｍ（ｕ）≦ｒであるベクトルｕ∈Λを列挙すべきである。

【0048】

格子列挙問題とは、最短ベクトル問題及び最近ベクトル問題と密接に関係する。例えば、対応する最適化問題の定義により、半径値が最短ベクトル長さと等しい場合に格子列挙問題を解くことによって、最短長さを有する格子点数が提供されるかもしれない。それに加えて、メトリックｍ（ｕ）がそのベクトル空間内のベクトルと、その格子に属する他のベクトルとの間の距離に対応する場合に格子列挙問題を解くことにより、そのベクトル空間に属するベクトルの、ある有界領域の内側にある最近ベクトルの数が提供されるかもしれない。

【0049】

ユークリッド空間上にベクトル空間

【数9】

として構成される

【数10】

格子の場合、Λはユークリッド空間

【数11】

の加法離散部分群を表す。格子Λは、

【数12】

のｎ個の線形独立ベクトルｖ_１，．．．，ｖ_ｎにより範囲が画定される。格子Λはしたがって、

【数13】

による整数線形結合のセットにより与えられる。

【0050】

格子生成行列

【数14】

とは、真値成分

【数15】

を含む真値行列を指す。格子Λに属する格子点ｕは、ｎ次元ベクトル

【数16】

であり、これは、

【数17】

に従って格子生成行列Ｍの関数として書くことができる。

【0051】

例示的な

【数18】

格子は、立方又は整数格子

【数19】

、Ａ_ｎで表示される六方格子、及びＤ_ｎとＥ_ｎで表示されるルート格子を含む。

【0052】

ユークリッドベクトル空間

【数20】

上に構成された

【数21】

の例示的なノルムは、（．）＝｜｜．｜｜_２で表示されるユークリッドノルムであり、これはユークリッドメトリック（「ユークリッド距離」とも呼ばれる）をユークリッド空間内の２点間の距離として定義する。

【0053】

ユークリッド空間上に構成された

【数22】

格子内の最近格子点問題を解くことは、未知のベクトルが整数からなるが、行列係数と所与のベクトルは実数からなる線型方程式系の最小二乗法による解法を見出すことを目指す最適化問題を解くことと等しい。

【0054】

Ｄ（Ｋ，θ_{ｋ＝１，．．．Ｋ}，σ）は、入力層、１つ又は複数の隠れ層を含むＫ≧２の層、及び出力層と、相互に接続された人工ニューロン（以下、「ノード」又は「計算ノード」とも呼ばれる）と、から構成される多層ディープニューラルネットワークを指す。層の数Ｋは、ディープニューラルネットワークの深さを表し、各層内のノードの数はディープニューラルネットワークの幅を表す。Ｎ^（ｋ）は、ｋ番目の層の幅を指定し、ｋ番目の層の計算ノードの数に対応する。

【0055】

多層ディープニューラルネットワークとは、θ_{ｋ＝１，．．．Ｋ}と表示されるモデルパラメータ及びσと表示される活性化関数に関連付けられる。活性化関数σは、多層ディープニューラルネットワークの隠れ層内のあるニューロンの出力を画定する計算非線形関数を指す。モデルパラメータθ_{ｋ＝１，．．．Ｋ}は、ｋ＝１，．．．，Ｋに関するパラメータθ_ｋのセットを含み、ｋ番目のセット

【数23】

は、
－

【数24】

で表示され、実数係数を含む重み行列を指定し、各係数がｋ番目の層に属するノードと（ｋ－１）番目の層に属するノードとの間の接続に関連付けられる重み値を表す第一の層パラメータと、
－

【数25】

で表示され、ｋ番目の層に関連付けられるバイアス値のベクトルを指定する第二の層パラメータと、
を含む多層ディープニューラルネットワークのｋ番目の層に関連付けられる層パラメータセットを指定する。

【0056】

Ｌは損失関数であり、ディープニューラルネットワークの訓練プロセス中に、推定（「中間」とも呼ばれる）及び期待値間の損失（「誤り」又は「コスト」とも呼ばれる）を推定するために使用される数学的関数を指す。

【0057】

オプティマイザ（「最適化アルゴリズム」又は「勾配降下最適化アルゴリズム」とも呼ばれる）とは、訓練フェーズ中にディープニューラルネットワークのパラメータを更新するために使用される最適化アルゴリズムを指す。

【0058】

エポックとは、訓練フェーズ内でディープニューラルネットワークが訓練データを学習した回数を指す。

【0059】

ミニバッチとは、訓練データから抽出され、訓練フェーズのイテレーションで使用される訓練データのサブセットを指す。ミニバッチサイズとは、区切られた各ミニバッチ内の訓練データサンプル数を指す。

【0060】

勾配降下アルゴリズムの学習率（「ステップサイズ」とも呼ばれる）とは、勾配の大きさに乗じられるスカラ値を指す。

【0061】

本発明の実施形態は、格子列挙問題の解決方を可能にし、最新ベクトル問題及び最短ベクトル問題の解決と組み合わせて使用することのできる装置、方法、及びコンピュータプログラム製品を提供する。このような格子問題は、幾つかの分野及び用途において発生し、これには例えば、コンピュータサイエンス、符号化、デジタル通信及び記憶、並びに暗号法が含まれるが、これらに限定されない。したがって、本発明の実施形態は、情報をデジタル形態で保存し、処理し、又は通信するように設計された様々なデジタルシステムで実装されてよい。例示的な用途には、これらに限定されないが、
－デジタルエレクトロニクス、
－通信（例えば、格子構造信号配列を用いたデジタルデータ符号化及び復号化）、
－データ処理（例えば、計算ネットワーク／システム、データセンタにおいて）、
－データ保存（例えば、クラウドコンピューティング）、
－暗号法（例えば、データ保護並びにデータ、機器、及びシステムへのアクセスの管理と認証のため、例えば、自動車産業では盗難防止を確実にするため、携帯電話機ではバッテリ及びアクセサリの管理とアクセスを認証するため、銀行業界では銀行口座と財務取引及びデータのセキュリティを保護するため、医薬品業界では医学的データ及び植込み式医療機器等の医療機器のセキュリティを保護するため、ＦＰＧＡの機密では電子成分のためのハードウェアセキュリティを保護するため）、
－その他
が含まれる。

【0062】

例示的なデジタルシステムには、これらに限定されないが、
－通信システム（例えば、ラジオ、無線、単一アンテナ通信システム、複数アンテナ通信システム、光ファイバ系通信システム）、
－通信機器（例えば、単一アンテナ又は多末アンテナ機器のトランシーバ、基地局、信号配置により表されるデジタル非符号化又は符号化信号における符号化及び／又はその復号化のための中継局、携帯電話機、コンピュータ、ラップトップ、タブレット、ドローン、ＩｏＴ機器）、
－記憶システム及び機器（例えば、クラウドコンピューティングアプリケーション及びクラウドサーバ、モバイル記憶装置等）、
－通信、データ処理、又は保存のため（例えば、ＲＦＩＤタグ及び電子キー等のデジタル電子機器、スマートカード、キーを保存するために使用されるトークン、自動金銭出納機などのスマートカードリーダ並びに暗号メカニズムによりモニタされるログオンアクセスによるメモリカード及び／又はハードディスク）、及び格子型暗号方式（例えば、ＧＧＨ暗号方式及びＮＴＲＵＥＥｎｃｒｙｐｔ）、格子型署名（例えば、ＧＧＨ署名方式）、及び格子型ハッシュ関数（例えば、ＳＷＩＦＦＴ及びＬＡＳＨ）を実装するために使用される暗号システム及び機器、
－整数プログラミングシステム／機器（例えば、コンピュータ、量子コンピュータ）、
－測位システム（例えば、搬送波位相ＧＮＳＳの整数アンビギュイティ分解器のためのＧＮＳＳ内）、
－その他
が含まれる。

【0063】

本発明の実施形態は、あるベクトル空間内の有界領域の内側にある格子点数を予測することによって格子列挙問題を解決する装置、方法、及びコンピュータプログラム製品を提供する。以下の説明は、あくまでも例示を目的としてユークリッド空間

【数26】

上に構成された

【数27】

格子に関して行われる。当業者であれば、本発明の実施形態が何れのベクトル空間上に構成される何れの格子にも応用されることが容易にわかるであろう。以下において、Λは、ユークリッド空間

【数28】

上に構成されたｎ次元

【数29】

格子を表し、格子Λは、格子基底Ｂ、ユークリッドノルムＮ（．）＝｜｜．｜｜_２、ユークリッドメトリックｍ（．）、及び格子生成行列

【数30】

により画定される。

【0064】

図２を参照すると、その上に格子Λが構成されるあるベクトル空間Ｖ内の、Ｓで表示される有界領域の内側にある、有限次元格子Λ内の格子点ｕ∈Λの数Ｎ_ｐｒｅｄを予測する格子予測装置２００が提供される。有界領域は、ｒで示される半径値により画定される。格子Λは、Ｍ_ｉｊで表示される成分を含む格子生成行列

【数31】

で画定され、行及び列指数ｉ及びｊは１とｎの間で変化する。したがって、半径値ｒの有界領域Ｓの内側にある格子点数Ｎ_ｐｒｅｄを計数することは、格子Λに属し、各々が、半径値ｒより小さいかそれと等しいメトリックｍ（ｕ）＝｜｜ｕ｜｜_２を有し、｜｜ｕ｜｜_２≦ｒとなる格子点ｕ∈Λの数Ｎ_ｐｒｅｄを計数することへと単純化される。

【0065】

格子予測装置２００は、デジタルデータ伝送、処理、又は保存に適用される、前述のデジタルシステム及びアプリケーションを含むがこれらに限定されないデジタルデータ処理、通信、又は保存機器又はシステムで実装されてよい。

【0066】

本発明の実施形態は、格子列挙問題を解決するために人工知能モデル及びアルゴリズムの使用に依存する。したがって、格子予測装置２００は、半径値ｒと格子生成行列Ｍを受信し、機械学習アルゴリズムを処理することによって予測格子点数Ｎ_ｐｒｅｄを特定するように構成された計算ユニット２０１を含んでいてよく、機械学習アルゴリズムは、半径値ｒ及び格子生成行列Ｍの成分から導出された入力テータを使って処理される。格子予測装置２００は、半径値ｒと格子生成行列Ｍを保存し、これらに値を計算ユニット２０１にロードするように構成された記憶ユニット２０３を含んでいてよい。

【0067】

幾つかの実施形態によれば、計算ユニット２０１は、格子生成間行列にＱＲ分解Ｍ＝ＱＲを行うように構成されていてよく、これによって上三角行列数

【数32】

及びユニタリ行列

【数33】

が提供される。計算ユニット２０１は、受信した半径値ｒと格子生成行列Ｍの成分から、上三角行列の各成分と半径値の逆数との乗算を行うことによって入力データを特定するように構成されてよい。より具体的には、上三角行列の構成要素をＲ_ｉｊ、ｉ＝１，．．．，ｎ、ｊ＝１，．．．，ｎとして、計算ユニット２０１は、ベクトル

【数34】

により表示される入力データを特定するように構成されてよく、ベクトルｘ_０はＮ^（０）＝ｎ^２の真値入力を含む。

【0068】

機械学習アルゴリズムは、入力として入力ベクトル

【数35】

を取り、出力（「予測」とも呼ばれる）として、半径値ｒの有界領域Ｓの内側にある予測格子点数Ｎ_ｐｒｅｄを生成する。

【0069】

幾つかの実施形態によれば、機械学習アルゴリズムは、ラベル付けされた入力－出力ペアからなるラベル付けされた訓練データに基づいて特定される関数を使って、入力データを予測データにマッピングする教師付き機械学習アルゴリズムであってよい。例示的な教師付き機械学習アルゴリズムには、これらに限定されないが、サポートベクタマシン（ＳＶＭ）、線形回帰、ロジスティック回帰分析、ナイーブベイズ、線形判別分析、決定木、ｋ近傍法アルゴリズム、ニューラルネットワーク、及び類似度学習を含む。

【0070】

好ましい実施形態において、教師付き機械学習アルゴリズムは、少なくとも３層で構成される多層フィードフォワード人工ニューラルネットワークである多層パーセプトロンであってよい。

【0071】

図３を参照すると、入力層３０１と、１つ又は複数の隠れ層３０３及び出力層３０５を含む少なくとも２層（Ｋ≧２）と、で構成される多層ディープニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．．，Ｋ}，σ）３００が示されている。入力層３０１、１つ又は複数の隠れ層３０３、及び出力層３０５の中の各層は、複数の人工ニューロン又は計算ノード３０１１を含む。

【0072】

多層ディープニューラルネットワーク３００は完全に接続されている。したがって、１層の各計算ノードは次の層の各計算ノードに特定の重み付けを行って接続され、すなわち、前の層の接続されたノードからの入力を入力値を増幅又は減衰させる重みセットと結合する。各層の出力は同時に、入力層３０１から始まって、次の層の入力であり、これは入力データを受信するように構成される。

【0073】

入力計算ノード、すなわち入力層の計算ノード３０１１を除いて、１つ又は複数の隠れ層に含まれる各計算ノード３０１１は、計算ノードの重み付けされた入力を計算ノードの出力にマッピングする非線形活性化関数σを実行する。

【0074】

多層構造によれば、ディープニューラルネットワークはマッピング

【数36】

を定義し、これは入力ベクトル

【数37】

を、Ｋの反復処理ステップを通じて

【数38】

で表示される出力ベクトルにマッピングし、ディープニューラルネットワークのＫ層の中のｋ番目の層は、

【数39】

により表示されるマッピングを実行し、これは、ｋ番目の層が入力として受信した入力ベクトル

【数40】

を出力ベクトル

【数41】

にマッピングする。ｋ番目の層でのマッピングは、入力ベクトルｘ_ｋ－１に依存し、これは前の層の出力ベクトル及び、ｋ番目の層に関連付けられるパラメータセット

【数42】

に対応する。ｋ番目の層（入力層を除く）に関連付けられるマッピングｆ_ｋ（ｘ_ｋ－１；θ_ｋ）は、
ｆ_ｋ（ｘ_ｋ－１；θ_ｋ）＝σ（Ｗ^（ｋ）ｘ_ｋ－１＋ｂ^（ｋ）） （８）
として表現できる。

【0075】

ｋ番目の層の計算ノードで行われる入力－重みプロダクトは、式（８）中の、重み行列Ｗ^（ｋ）とｋ番目の層により入力として処理される入力ベクトルｘ_ｋ－１の間のプロダクト関数Ｗ^（ｋ）ｘ_ｋ－１により表され、これらの入力－重みプロダクトはその後、合計され、合計が活性化関数σに含められる。

【0076】

幾つかの実施形態によれば、活性化関数は、１つ又は複数の隠れ層３０３の複数の計算ノードのうちの少なくとも１つの計算ノード３０１１で実行されてよい。

【0077】

幾つかの実施形態によれば、活性化関数は、隠れ層の各ノードで実行されてもよい。

【0078】

幾つかの実施形態によれば、活性化関数は、線形活性化関数、シグモイド関数、ＴａｎＨ関数、ソフトマックス関数、整流化線形ユニット（ＲｅＬＵ）関数、及びＣＵＢＥ関数を含む群の中で選択されてよい。

【0079】

線形活性化関数は、信号が変化しない恒等関数である。

【0080】

シグモイド関数は、ほぼ無限の範囲の独立変数を０と１の間の単純な確率に変換する。これは、入力としてある値を取り、‘０’と‘１’の間の他の値を出力する非線形関数である。

【0081】

ＴａｎＨ関数は、双曲正弦と双曲余弦の間の関係ｔａｎｈ（ｘ）＝ｓｉｎｈ（ｘ）／ｃｏｓｈ（ｘ）を表す。

【0082】

ソフトマックス活性化は、ロジスティック回帰を生成し、相互に排他的な出力クラスにわたる確率分布を返す。ソフトマックス活性化関数は、ディープニューラルネットワークの出力層で実行されてよい。

【0083】

ＲｅＬＵ活性化関数は、ニューロンの入力がある閾値より高い場合にニューロンを活性化する。特に、そのある閾値はゼロ（‘０’）と等しくてよく、この場合、ＲｅＬＵ活性化関数は、入力変数が負の値であればゼロの値を出力し、入力変数が正の値であれば、恒等関数に従って入力変数を出力する。数学的に、ＲｅＬＵ関数はσ（ｘ）＝ｍａｘ（０，ｘ）として表現されてよい。

【0084】

幾つかの実施形態によれば、計算装置２０１は、訓練フェーズ中に、訓練データから多層ディープニューラルネットワークのモデルパラメータを事前に特定し、更新するように構成されてよい。訓練フェーズ（「学習フェーズ」とも呼ばれる）は、モデルパラメータθ_{ｋ＝１，．．．，Ｋ}を、その多層ディープニューラルネットワークが最良の予測を提供する理想的モデルパラメータにどれだけ近いかを定量化する予測エラーを最小化できるように調整するために実行される大域的最適化問題である。モデルパラメータは当初、初期パラメータに設定されてよく、これは例えばランダムに生成される。初期パラメータはその後、訓練フェーズ中に更新され、ニューラルネットワークが最良の予測に収束できるように調整される。

【0085】

幾つかの実施形態によれば、多層ディープニューラルネットワークは、逆伝播教師付き学習方式を用いて訓練されてよく、訓練データを使って未知のデータを予測する。

【0086】

逆伝播方式は、多層ディープニューラルネットワークの異なる層により情報を順伝播及び逆伝播する反復的プロセスである。

【0087】

順伝搬フェーズでは、ニューラルネットワークは、訓練入力値と、その訓練入力値に関連する期待値（「ラベル」とも呼ばれる）を含む訓練データを受信し、期待値は、訓練入力値が入力として使用されたときのそのニューラルネットワークの期待される出力に対応する。期待値は、教師付き機械学習技術の適用において格子予測装置２００により知られている。ニューラルネットワークは、多層ニューラルネットワーク全体に訓練データを伝え、訓練入力値について得られた予測に対応する期待値（「中間値」とも呼ばれる）を特定する。訓練データは、多層ディープニューラルネットワークの異なる層に含まれる計算ノードの全てが、前の層の計算ノードから受け取った入力値にそれぞれの変換又は計算を適用し、その出力値を次の層の計算ノードに送るような方法で伝えられる。データが全ての層に伝えられ、全ての計算ノードがそれぞれの計算を行うと、出力層は訓練データに対応する推定値を生成する。

【0088】

順伝搬フェーズの最後のステップは、訓練データに関連付けられる期待値を訓練データがニューラルネットワーク全体に入力として伝えられたときに得られた推定値と比較することからなる。この比較によって、推定値が期待値に関してどれだけ良い／悪いかを測定し、推定値を期待値に近付けて、予測エラー（「推定エラー」又は「コスト」とも呼ばれる）がゼロに近くなるようにすることを目的としてモデルパラメータを更新することができる。予測エラーは、モデルパラメータを目的関数の勾配の方向に更新する勾配方式に基づく損失関数を使って推定されてよい。

【0089】

順伝播フェーズに逆伝播フェーズが続き、その中ではモデルパラメータ、例えば計算ノード３０１１の相互接続の重みを、最適化アルゴリズムの適用によって逆の順序で徐々に調節し、最終的に良好な予測が得られ、損失関数が最小化されるようにする。

【0090】

第一に、計算された予測エラーは、出力層から開始して、推定値の計算に直接寄与する１つ又は複数の隠れ層３０３の全ての計算ノード３０１１へと逆に伝播される。各計算ノードは、ディープニューラルネットワークの出力に対するその相対的寄与に基づいて、予測エラー全体の一部を受け取る。このプロセスは層ごとに繰り返され、最終的にディープニューラルネットワークの全ての計算ノードが、予測エラー全体に対するそれぞれの相対的寄与に対応する予測エラーを受け取るようにする。予測エラーが逆方向に広がったところで、層パラメータ、例えば第一の層パラメータ（すなわち、重み）と第二の層パラメータ（すなわち、バイアス）は、損失関数の最小化に従って最適化アルゴリズムを適用することにより更新されてよい。

【0091】

幾つかの実施形態によれば、計算ユニット２０１は訓練フェーズ中、損失関数を計算し、訓練データ全体のためのモデルパラメータを更新することによる「バッチ勾配降下法」に従ってモデルパラメータを更新するように構成されてよい。

【0092】

幾つかの実施形態によれば、計算ユニット２０１は、訓練フェーズ中、訓練データの各サンプルのためのモデルパラメータを調節することによるオンライン学習に従ってモデルパラメータを更新するように構成されてもよい。オンライン学習を使用して、損失関数が訓練データの各サンプルについて評価される。オンライン学習はまた、「オンライン訓練」及び「確率的勾配降下法」とも呼ばれる。

【0093】

幾つかの実施形態によれば、計算ユニット２０１は、訓練フェーズ中に、データのミニバッチを使ったミニバッチ学習（「ミニバッチ勾配降下法」とも呼ばれる）に従って訓練データからモデルパラメータを更新するように構成されてもよく、サイズｓ_ｂのデータのミニバッチはｓ_ｂ訓練サンプルのサブセットである。したがって、計算ユニット２０１は、訓練データをサイズｓ_ｂの２つ以上のデータバッチに区切るように構成されてよく、各バッチは入力データのｓ_ｂのサンプルを含む。入力データはその後、バッチでネットワークに伝えられる。ニューラルネットワーク全体に伝えられたデータの各ミニバッチについて損失関数が評価され、モデルパラメータはデータの各ミニバッチについて更新される。順伝播及び逆伝播フェーズはしたがって、データの各ミニバッチについて、最後のバッチまで実行される。

【0094】

幾つかの実施形態によれば、計算ユニット２０１は、訓練プロセス中に全ての訓練データをディープニューラルネットワーク３００全体に複数回（エポックと呼ばれる）伝えるように構成されてよい。エポック数は、訓練データの正確さを評価する正確さメトリクスが低下し始めるか、増大し続けるまで（例えば、過学習の可能性が検出された場合）、増やしてもよい。

【0095】

【数43】

で表示される受信訓練データは、

【数44】

で表示されるＮｂ_ｓの訓練サンプルを含んでよく、これは格子生成行列Ｍ及び半径値ｒから導出される上三角行列Ｒの成分に依存する。

【0096】

教師付き学習に基づいて、訓練サンプルはラベルが付けられてよく、すなわち、既知の期待出力値（「ターゲット」又は「ラベル」とも呼ばれる）に関連付けられてよく、これは訓練サンプルがディープニューラルネットワークの入力として使用されたときのディープニューラルネットワークの出力に対応する。より具体的には、ｍ＝１，．．．，Ｎｂ_ｓの場合の各サンプルｘ^＊，ｍは、半径ｒの有界領域の内側にある格子点数の期待値

【数45】

に関連付けられてよい。

【0097】

ミニバッチ学習が使用される幾つかの実施形態によれば、計算ユニット２０１は、訓練フェーズ中、受け取った訓練データから抽出されたミニバッチにおいてモデルパラメータを特定（更新又は調節）するように構成されてよい。このような実施形態では、計算ユニット２０１は、受け取った訓練データｘ^{（＊，１）}，ｘ^{（＊，２）}，．．．，ｘ^{（＊，ＮＢ）}で表示される訓練データの複数ＮＢのセットに区切るように構成されてよく、訓練データセットはサイズｓ_ｂのミニバッチであり、訓練データからのｓ_ｂの訓練例のセットを含み、すなわち各ミニバッチｘ^{（＊，１）}はｓ_ｂのサンプルｘ^＊，ｍを含み、ｍは１～Ｎｂ_ｓの間で変化する。ミニバッチｘ^{（＊，１）}はまた、Ｓ_ｌによっても指定され、訓練サンプルはＮｂ_ｓの訓練サンプルから抽出され、すなわちＳ_ｌ⊂Ｓである。

【0098】

ｌ＝１，．．．，ＮＢの場合の各ミニバッチｘ^{（＊，１）}は、データのミニバッチｘ^{（＊，１）}がディープニューラルネットワークの入力として使用されたときに、ディープニューラルネットワークにより得られると期待される格子点の期待数

【数46】

に対応するターゲット値に関連付けられてよい。訓練データとターゲット値のセットはベクトルペアに分けられてよく、それによって

【数47】

で表示される各ベクトルペアはｌ番目のミニバッチの訓練例及びターゲット値に対応する。

【0099】

この訓練データ及び期待出力値について、計算ユニット２０１は訓練プロセスの順伝播及び逆伝播フェーズを実行するように構成されてよい。

【0100】

ミニバッチトレーニングに基づいて、訓練フェーズは２つ以上の処理イテレーションを含んでいてよい。各処理イテレーションで、計算ユニット２０１は以下のように構成されてよい：
－複数の訓練データのうちのミニバッチｘ^{（＊，ｌ）}を入力として使ってディープニューラルネットワークを処理し、そのミニバッチｘ^{（＊，ｌ）}に関連付けられる、

【数48】

で表示される中間格子数を提供する。中間格子数

【数49】

は、多層ディープニューラルネットワークの出力層で予測される；
－処理されたミニバッチｘ^{（＊，ｌ）}について、ミニバッチｘ^{（＊，ｌ）}に関連付けられる期待格子数

【数50】

及びデータのミニバッチｘ^{（＊，ｌ）}を処理することによって特定された中間格子点数

【数51】

から、

【数52】

で表示される損失関数を計算する。
－ミニバッチｘ^{（＊，ｌ）}の処理の後、最適化アルゴリズムを適用することによって、損失関数

【数53】

の最小化に従って更新されたモデルパラメータを特定する。より具体的には、計算ユニット２０１は、多層ディープニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．．，ｋ}，σ）のＫの層の各々に関連付けられる更新された第一の層パラメータ

【数54】

と更新された第二の層パラメータ

【数55】

を特定するように構成されてよく、第一の層パラメータと第二の層パラメータはそれぞれ、ディープニューラルネットワークのニューロン間の接続に関連付けられる重みとバイアス値に対応する。

【0101】

第一の処理イテレーションについて、計算ユニット２０１は初期モデルパラメータを特定するように構成されてよく、これは、訓練プロセスの第一の処理イテレーションの順番伝播フェーズ中に使用される。より具体的には、計算ユニット２０１は、多層ディープニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．．，ｋ}，σ）のＫの層の各々に関連付けられる初期の第一の層パラメータ

【数56】

と初期の第二の層パラメータ

【数57】

を特定するように構成されてよい。

【0102】

幾つかの実施形態によれば、計算ユニット２０１は、例えば標準正規分布に従って、ランダムな値のセットからランダムに、ディープニューラルネットワークの異なる層に関連付けられる初期の第一の層パラメータと初期の第二の層パラメータを特定するように構成されてよい。

【0103】

幾つかの実施形態によれば、モデルパラメータを調節し、更新されたモデルパラメータを特定するために使用される最適化アルゴリズムは、ＡｄａＤｅｌｔａ最適化アルゴリズム、ＡｄａＧｒａｄ最適化アルゴリズム、各モデルパラメータのための適応学習率を計算するＡｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム（ＡＤＡＭ）、ネステロフの加速勾配法（ＮＡＧ）アルゴリズム、ネステロフ加速Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ（Ｎａｄａｍ）アルゴリズム、ＲＭＳｐｒｏｐアルゴリズム、確率的勾配最適化アルゴリズム、及び適応学習率最適化アルゴリズムを含む群の中で選択されてよい。

【0104】

幾つかの実施形態によれば、予測エラー又は損失を評価するために考慮される損失関数は、線形回帰のために使用される平均二乗誤差関数（ＭＳＥ）及びポワソン回帰に使用される指数対数尤度（ＥＸＰＬＬ）関数を含む群の中で選択されてよい。

【0105】

平均二乗誤差関数が使用される幾つかの実施形態によれば、ｌ番目のデータのミニバッチについて計算された損失関数は、

【数58】

として表現されてよい。

【0106】

幾つかの実施形態によれば、計算ユニット２０１は、ｌ＝１，．．．，ＮＢの場合の各ミニバッチＳ_ｌに関連付けられる期待格子数

【数59】

を、リストスフィア復号アルゴリズム又はリストＳＢ－Ｓｔａｃｋ復号アルゴリズムを適用することによって、半径値ｒ及び格子生成行列Ｍから事前に特定するように構成されてよい。リストスフィア復号（ＬＳＤ）アルゴリズムとリストＳＢ－Ｓｔａｃｋ復号アルゴリズムは最新ベクトル問題を解くために実行されるスフィアに基づく復号アルゴリズムである。これらは、ある半径のある有界領域の内側にあるコードワードのリストを出力する。ＬＳＤ実行については、“Ｍ．Ｅｌ－Ｋｈａｍｙ ｅｔ ａｌ．，Ｒｅｄｕｃｅｄ Ｃｏｍｐｌｅｘｉｔｙ Ｌｉｓｔ Ｓｐｈｅｒｅ Ｄｅｃｏｄｉｎｇ ｆｏｒ ＭＩＭＯ ｓｙｓｔｅｍｓ，Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．２５，Ｐａｇｅｓ ８４－９２，２０１４”により詳しく開示されている。

【0107】

図４を参照すると、その上に格子Λが構成されるあるベクトル空間Ｖ内の、Ｓにより表示される有界領域の内側にある有限次元格子Λ内の格子点ｕ∈Λの数Ｎ_ｐｒｅｄを予測する格子予測方法も提供される。有界領域は、半径値ｒにより画定される。Λは、ユークリッド空間

【数60】

上に構成されるｎ次元

【数61】

格子を表し、格子Λは、格子基底Ｂ、ユークリッドノルムＮ（．）＝｜｜．｜｜_２、ユークリッドメトリックｍ（．）及び、成分Ｍ_ｉｊを含み、行及び列指数ｉ及びｊが１とｎとの間で変化する格子生成行列

【数62】

により画定される。半径値ｒの有界領域Ｓの内側にある格子点数Ｎ_ｐｒｅｄを予測することは、格子Λに属し、各々が、半径値ｒより小さいかそれと等しく、｜｜ｕ｜｜_２≦ｒとなるメトリックｍ（ｕ）＝｜｜ｕ｜｜_２を有する格子点ｕ∈Λの数Ｎ_ｐｒｅｄを予測することに単純化される。

【0108】

ステップ４０１で、格子生成行列

【数63】

と半径値ｒが受信されてよい。

【0109】

ステップ４０３で、格子生成行列に対するＱＲ分解Ｍ＝ＱＲが実行されてよく、それによって上三角行列

【数64】

及びユニタリ行列

【数65】

が提供される。

【0110】

ステップ４０５で、受信した半径値ｒと格子生成行列Ｍの成分から、上三角行列の各成分と半径値の逆数との間に、Ｎ^（０）＝ｎ^２真値入力を含む入力データベクトル

【数66】

を提供する乗算を実行することによって、入力データが特定されてよい。

【0111】

ステップ４０７で、入力データとして入力ベクトル

【数67】

を取る機械学習アルゴリズムを処理することによって、半径値ｒの有界領域Ｓの内側にある予測格子点数Ｎ_ｐｒｅｄが特定されてよい。

【0112】

幾つかの実施形態によれば、機械学習アルゴリズムは、サポートベクタマシン、線形回帰、ロジスティック回帰分析、ナイーブベイズ、線形判別分析、決定木、ｋ近傍法アルゴリズム、ニューラルネットワーク、及び類似度学習を含む群の中で選択される教師付き機械学習アルゴリズムであってよい。

【0113】

好ましい実施形態によれば、教師付き機械学習アルゴリズムは多層フィードフォワード人工ニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．．，Ｋ}，σ）である多層パーセプトロンであってよく、これは入力層と、１つ又は複数の隠れ層及び出力層を含む少なくとも２層（Ｋ≧２）と、で構成され、モデルパラメータθ_{ｋ＝１，．．．，Ｋ}と活性化関数σに関連付けられ、モデルパラメータθ_{ｋ＝１，．．．，Ｋ}は層パラメータの複数のセット

【数68】

を含み、層パラメータの各セットは第一の層パラメータＷ^（ｋ）と第二の層パラメータｂ^（ｋ）を含む。

【0114】

幾つかの実施形態によれば、活性化関数は、線形活性化関数、シグモイド関数、ＴａｎＨ関数、ソフトマックス関数、整流化線形ユニット（ＲｅＬＵ）関数、及びＣＵＢＥ関数を含む群の中で選択されてよい。

【0115】

機械学習アルゴリズムが多層ディープニューラルネットワークである幾つかの実施形態によれば、ステップ４０７は、訓練データを使って多層ディープニューラルネットワークを訓練する逆伝播教師付き訓練又は学習プロセスに従って、更新されたモデルパラメータを特定するために実行されるサブステップを含んでいてよい。

【0116】

幾つかの実施形態によれば、モデルパラメータは、訓練プロセス中に、損失関数を計算し、訓練データ全体のモデルパラメータを更新することによる「バッチ勾配降下法」に従って更新されてよい。

【0117】

幾つかの実施形態によれば、モデルパラメータは、訓練プロセス中に、訓練データの各サンプルのためのモデルパラメータを調節し、訓練データの各サンプルの損失を計算することによるオンライン学習に従って更新されてよい。

【0118】

他の実施形態によれば、モデルパラメータは、訓練プロセス中、データのミニバッチを使用するミニバッチ学習に従って訓練データから更新されてよく、サイズｓ_ｂのデータのミニバッチはｓ_ｂの訓練サンプルのサブセットである。したがって、訓練データは、サイズｓ_ｂの２つ以上のデータのミニバッチに区切られてよく、各バッチは入力データのｓ_ｂのサンプルを含む。入力データはその後、ミニバッチでネットワークに伝えられる。損失関数が各データのミニバッチについて評価され、モデルパラメータはデータのミニバッチごとに更新される。

【0119】

図５は、ミニバッチ学習を使用した幾つかの実施形態による、予測エラーを最小化する点で最良の予測を提供するモデルパラメータθ_{ｋ＝１．．．Ｋ}を特定するために、多層ディープニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．．，Ｋ}，σ）を訓練する方法を示すフローチャートである。

【0120】

ステップ５０１で、ｎｂ_ｓの訓練サンプル

【数69】

と期待格子点数

【数70】

を含む訓練データ

【数71】

が受信されてよく、ｍ＝１，．．．，Ｎｂ_ｓの場合の各サンプルｘ^＊，ｍは、サンプルｘ^＊，ｍがニューラルネットワークの入力であるときの多層ディープニューラルネットワークの期待される出力又は予測に対応する半径ｒの有界領域の内側に含まれる格子点数の期待値

【数72】

に関連付けられる。

【0121】

ステップ５０３で、訓練データは複数Ｎｂの訓練データセットｘ^{（＊，１）}，ｘ^{（＊，２）}，．．．，ｘ^{（＊．ＮＢ）}に区切られてよく、訓練データセットは訓練データから抽出されたＳ_ｂの訓練例のセットを含むサイズｓ_ｂのミニバッチである。ｌ＝１，．．．，ＮＢの場合の各ミニバッチｘ^{（＊，１）}は、データのミニバッチｘ^{（＊．１）}がディープニューラルネットワークの入力として使用された場合に、ディープニューラルネットワークによって得られることが期待される期待格子点数

【数73】

に関連付けられてよい。訓練データセットと期待値は、各ベクトルペア

【数74】

がｌ番目のミニバッチの訓練例とターゲット値に対応するようにベクトルペアに分けられてよい。

【0122】

訓練プロセスは２つ以上の処理イテレーションを含んでいてよく、これらは停止条件に到達するまで繰り返される。停止条件は、訓練データの処理済みミニバッチの数に、及び／又は更新されたモデルパラメータの、その更新されたモデルパラメータから得られる予測エラーの最小化という点での好適性に関していてよい。

【0123】

ステップ５０５で、第一の処理イテレーションが行われてよく、その間に初期モデルパラメータがデータの第一のミニバッチの処理のために使用されるように特定されてよい。より具体的には、ステップ５０５では、多層ディープニューラルネットワークＤ（Ｋ，θ_ｋ＝１，_．．．Ｋ，σ）のＫの層の各々に関連付けられる初期の第一の層パラメータ

【数75】

と初期の第二の層パラメータ

【数76】

が特定されてよい。

【0124】

幾つかの実施形態によれば、ディープニューラルネットワークの異なる層に関連付けられる初期の第一の層パラメータと初期の第二の層パラメータは、値のランダムなセットからランダムに、例えば標準正規分布に従って特定されてよい。

【0125】

ステップ５０７～５１３は、停止条件に到達するまでデータのミニバッチを処理するために繰り返されてよい。訓練プロセスの処理イテレーションは、ステップ５０９～５１３からなり、ｌ＝１，．．．，ＮＢの場合の複数の訓練セットｘ^{（＊，１）}の中のミニバッチｘ^{（＊，１）}の処理に関係する。

【0126】

ステップ５０９で、多層ディープニューラルネットワークは、複数の訓練セットの中のあるミニバッチｘ^{（＊，１）}を入力として使用して処理されてよく、これによってそのミニバッチｘ^{（＊，１）}に関連付けられる

【数77】

と表示される中間格子点数が提供される。中間格子点数

【数78】

は、多層ディープニューラルネットワークの出力層で予測される。

【0127】

ステップ５１１で、処理されたミニバッチｘ^{（＊，１）}について、ミニバッチｘ^{（＊，１）}に関連付けられる既知の期待格子点数

【数79】

とステップ５０９でデータのミニバッチｘ^{（＊，１）}を処理することによって特定された中間格子点数

【数80】

から、損失関数

【数81】

が計算されてよい。

【0128】

ステップ５１３で、最適化アルゴリズムを適用することによって、損失関数

【数82】

の最小化に従ってミニバッチｘ^{（＊，１）}を処理した後、更新されたモデルパラメータが特定されてよい。より具体的には、多層ディープニューラルネットワークＤ（Ｋ，θ_{ｋ＝１，．．，Ｋ}，σ）のＫの層の各々に関連付けられる第一の層パラメータ

【数83】

と第二の層パラメータ

【数84】

がステップ５１３で更新されてよく、第一の層パラメータと第二の層パラメータはそれぞれ、ディープニューラルネットワークのニューロンとバイアス値との間の接続に関連付けられる重みに対応する。

【0129】

幾つかの実施形態によれば、最適化アルゴリズムは、ＡｄａＤｅｌｔａ最適化アルゴリズム、ＡｄａＧｒａｄ最適化アルゴリズム、Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ネステロフの加速勾配法アルゴリズム、ネステロフ加速Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎアルゴリズム、ＲＭＳｐｒｏｐアルゴリズム、確率的勾配最適化アルゴリズム、及び適応学習率最適化アルゴリズムを含む群の中で選択されてよい。

【0130】

幾つかの実施形態によれば、損失関数は、平均二乗誤差関数及び指数対数尤度関数を含む群の中で選択されてよい。

【0131】

幾つかの実施形態によれば、ステップ５０１は、ｌ＝１，．．．，ＮＢの場合の各ミニバッチＳ_ｌに関連付けられる期待格子点数

【数85】

を、スフィアデコーダ又はＳＢ－Ｓｔａｃｋデコーダに基づくリストＳＢ－Ｓｔａｃｋに基づくリストスフィア復号アルゴリズムを適用することによって半径値ｒ及び格子生成行列Ｍから特定することを含んでいてよい。

【0132】

その上に格子Λが構成されるあるベクトル空間Ｖの有界領域Ｓの内側にある有限次元格子Λ内の格子点ｕ∈Λの数Ｎ_ｐｒｅｄを予測するコンピュータプログラム製品も提供される。有界領域は半径値ｒにより画定される。Λは、ユークリッド空間

【数86】

上に構成されるｎ次元

【数87】

格子を表し、格子Λは、格子基底Ｂ、ユークリッドノルムＮ（．）＝｜｜．｜｜_２、ユークリッドメトリックｍ（．）及び、成分Ｍ_ｉｊを含み、行及び列指数ｉ及びｊが１とｎとの間で変化する格子生成行列

【数88】

により画定される。コンピュータプログラム製品は、非一時的コンピュータ可読記憶媒体と、非一時的可読記憶媒体上に記憶された、プロセッサにより実行されると、プロセッサに、半径値ｒと格子生成行列Ｍの成分Ｍ_ｉｊから導出された入力データを使って、予測格子点数Ｎ_ｐｒｅｄを提供する機械学習アルゴリズムを処理させる命令を含む。

【0133】

提供される格子予測装置及び方法のパフォーマンスを幾つかのシミュレーション実験を通じて評価した。図６～１０は、２～１０の異なる格子次元ｎを考慮して得られた結果を示す図である。格子生成行列Ｍの成分Ｍ_ｉｊは、単位分散でのｉ．ｉ．ｄ．ゼロ平均ガウスランダム変数としてモデル化されている。各格子次元について使用される訓練データは、５００００の訓練サンプルを含む。ミニバッチ学習がこれらのシミュレーション実験で考慮され、そのために訓練サンプルはサイズｓ_ｂ＝２０のＮＢ＝２５００のバッチに区切られている。適応学習率が０．００１と等しいＡｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ（Ａｄａｍ）最適化アルゴリズムが使用されている。多層ディープニューラルネットワークは、入力ベクトルとして次元ｎ^２のベクトルを取る入力層と、最大１０の隠れ層と、予測としてある半径の有界領域の内側にある予測格子点数を生成する入力層で構成される。隠れ層の計算ノードの数は、格子次元に依存し、入力可変数の数より大きいか、又はそれと等しくなるように選択される。

【0134】

図６及び７は、それぞれ次元ｎ＝５及びｎ＝１０の格子に関する訓練フェーズ中に期待格子点数と推定値との間の訓練フェーズ中の予測エラーを評価するためのエラーヒストグラムを示す図である。図６及び７の図は、提案される予測方法が正確な予測を提供する点のパーセンテージが高いことを示す。

【0135】

図８は、２つの格子次元ｎ＝４及びｎ＝６に関する隠れ層の数に応じた正規化平均二乗偏差（ＮＲＭＳＤ）値のばらつきを示す図である。正規化平均二乗偏差は、平均二乗偏差（予測エラーを評価するためのメトリックとして使用される）と平均値との間の比を評価する。図８は、隠れ層の数が増えるとＮＲＭＳＤが減少し、同時に、３と等しい隠れ層の十分な数は高い予測正確さを実現するのに十分であることを示している。

【0136】

図９及び１０は、格子次元ｎ＝５の場合の多層ディープニューラルネットワークの、それぞれ訓練セットとテストセットを考慮したパフォーマンスを示す図である。多層ディープニューラルネットワークの予測出力がターゲット出力に対してプロットされており、すなわち予測格子点数は期待格子点数に対してプロットされている。図９及び１０の図は、予測格子点数が小さい半径値の有界領域（スフィア）のｙ＝ｘ軸の周囲に集中していることを示している。これは、本発明の実施形態による予測モデルが格子点の濃度にフィットし、正確な予測を提供することを示している。高い半径値についてもある程度の正確さが得られるかもしれない。

【0137】

本明細書に記載の装置、方法、及びコンピュータプログラム製品は、様々な手段で実装されてよい。例えば、これらの技術はハードウェア、ソフトウェア、又はそれらの組合せで実装されてよい。ハードウェア実装の場合、格子予測装置２００の処理要素を、例えばハードウェアのみのコンフィギュレーション（例えば、対応するメモリを備える１つ又は複数のＦＰＧＡ、ＡＳＩＣ、又はＶＬＳＩ集積回路）に従って、又はＶＬＳＩとデジタル信号プロセッサ（ＤＳＰ）の両方を持っているコンフィギュレーションに従って実装できる。

【0138】

さらに、本明細書に記載の方法は、何れの種類のコンピュータのプロセッサに供給されるコンピュータプログラム命令によっても実装でき、本明細書において明示される機能／動作を行うための命令を実行するプロセッサを備えるマシンが製造される。これらのコンピュータプログラム命令はまた、コンピュータに対し、特定の方法で機能させるように指示できるコンピュータ可読媒体上に記憶されてもよい。そのために、コンピュータプログラム命令は、コンピュータにロードされて、一連の動作ステップの実行を生じさせてもよく、それによって、実行された命令が本明細書において明示されている機能を実行するためのプロセスを提供するようにコンピュータ実装プロセスが生成される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】