特開 2024-43899 方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043899

(43)【公開日】2024-04-02

(54)【発明の名称】方法および情報処理装置

(51)【国際特許分類】

   G06F 16/903 20190101AFI20240326BHJP

   G06F 16/906 20190101ALI20240326BHJP

【ＦＩ】

G06F16/903

G06F16/906

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022149134

(22)【出願日】2022-09-20

(71)【出願人】

【識別番号】318010018

【氏名又は名称】キオクシア株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】宮下 大輔

(72)【発明者】

【氏名】池田 泰我

(72)【発明者】

【氏名】出口 淳

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175FA03

5B175HB03

(57)【要約】

【課題】クエリ応答の速度と探索の精度とが向上する方法および情報処理装置を提供すること。
【解決手段】方法は、クエリの入力を受け付けることと、複数の第１オブジェクトのうちの１つをクエリとニューラルネットワークモデルに基づいて選択することと、を含む。複数の第１オブジェクトのそれぞれは第１メモリに格納された第１データの群のうちの１つまたは複数の第１データに関連付けられている。方法は、さらに、選択した１つの第１オブジェクトである第２オブジェクトが関連付けられた１つまたは複数の第１データである１つまたは複数の第２データとクエリとの距離の指標を演算することを含む。方法は、さらに、指標に基づいて第１データの群のうちのクエリに最も近い第１データである第３データを特定することを含む。
【選択図】図８

【特許請求の範囲】

【請求項1】

クエリの入力を受け付けることと、
第１メモリに格納された第１データの群のうちの１つまたは複数の第１データにそれぞれが関連付けられた複数の第１オブジェクトのうちの１つを前記クエリとニューラルネットワークモデルとに基づいて選択することと、
選択した前記１つの第１オブジェクトである第２オブジェクトが関連付けられた１つまたは複数の第１データである１つまたは複数の第２データと前記クエリとの距離の指標を演算することと、
前記指標に基づいて前記第１データの群のうちの前記クエリに最も近い第１データである第３データを特定することと、
を含む方法。

【請求項2】

前記複数の第１オブジェクトのそれぞれは、前記第１データの群のうちのそれぞれ異なる１つまたは複数の第１データの組に関連付けられ、
前記特定することは、前記１つまたは複数の第２データのうちの前記クエリとの距離が最も近い第２データを前記第３データとして特定することである、
請求項１に記載の方法。

【請求項3】

前記複数の第２データを前記第１メモリから前記第１メモリよりも高速な動作が可能な第２メモリに転送することを含み、
前記演算することは、前記第２メモリ内の前記複数の第２データのそれぞれと前記クエリとの距離の指標を演算することを含む、
請求項２に記載の方法。

【請求項4】

前記複数の第１オブジェクトのそれぞれに関連付けられた前記複数の第１データは、前記第１メモリのアドレス空間内の連続するエリアに配置される、
請求項３に記載の方法。

【請求項5】

前記ニューラルネットワークモデルは、前記クエリが入力された場合に前記第１データの群のうちの前記クエリに最も近い第１データを含む可能性に対応したスコアを第１オブジェクト毎に出力するように構成され、
前記選択することは、前記第１オブジェクト毎のスコアに基づき、前記可能性が最も高い第１オブジェクトを選択することを含む、
請求項２から請求項４の何れか一項に記載の方法。

【請求項6】

前記複数の第１オブジェクトのそれぞれは、前記第１データの群のうちのそれぞれ異なる１つの第１データに関連付けられ、
前記第１データの群は、グラフを構成し、
前記特定することは、前記１つの第２データをエントリポイントとした探索を前記グラフに基づいて行うことで前記第３データを特定することである、
請求項１に記載の方法。

【請求項7】

前記ニューラルネットワークモデルは、前記クエリが入力された場合に前記第３データまでのホップ数が最小である可能性に対応したスコアを第１オブジェクト毎に出力するように構成され、
前記選択することは、第１オブジェクト毎のスコアに基づき、前記可能性が最も高い第１データに関連付けられた第１オブジェクトを選択することを含む、
請求項６に記載の方法。

【請求項8】

第１データの群が格納された第１メモリと、
クエリの入力を受け付け、
前記第１データの群のうちの１つまたは複数の第１データにそれぞれが関連付けられた複数の第１オブジェクトのうちの１つを前記クエリとニューラルネットワークモデルに基づいて選択し、
選択した前記１つの第１オブジェクトである第２オブジェクトが関連付けられた１つまたは複数の第１データである１つまたは複数の第２データと前記クエリとの距離の指標を演算し、
前記指標に基づいて前記第１データの群のうちの前記クエリに最も近い第１データである第３データを特定する、
ように構成されたプロセッサと、
を備える情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、方法および情報処理装置に関する。

【背景技術】

【0002】

従来、入力データであるクエリに対して類似したデータを探索し、その結果を出力する情報処理を行う方法または装置がある。このような方法または装置において、入力されたクエリに対して結果を出力するための情報処理にかかるクエリ応答の速度と探索の精度とが求められる。クエリ応答の速度と探索の精度とを両立するための近傍探索のアルゴリズムとして、複数の異種（heterogeneous）のメモリを用いた近似近傍探索（Approximate Nearest Neighbor Search : ANNS）アルゴリズムが知られている。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】Jie Ren, Minjia Zhang, and Dong Li, “HM-ANN: Efficient Billion-Point Nearest Neighbor Search on Heterogeneous Memory”, [online], [retrieved on 2021-10-12], retrieved from the Internet: <URL: http://pasalabs.org/papers/2020/NeurIPS20_HM_ANN.pdf>

【発明の概要】

【発明が解決しようとする課題】

【0004】

一つの実施形態は、クエリ応答の速度と探索の精度とが向上する方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

一つの実施形態によれば、方法は、クエリの入力を受け付けることと、複数の第１オブジェクトのうちの１つをクエリとニューラルネットワークモデルに基づいて選択することと、を含む。複数の第１オブジェクトのそれぞれは第１メモリに格納された第１データの群のうちの１つまたは複数の第１データに関連付けられている。方法は、さらに、選択した１つの第１オブジェクトである第２オブジェクトが関連付けられた１つまたは複数の第１データである１つまたは複数の第２データとクエリとの距離の指標を演算することを含む。方法は、さらに、指標に基づいて第１データの群のうちのクエリに最も近い第１データである第３データを特定することを含む。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態にかかる情報処理装置のハードウェア構成の一例を示す模式的な図。

【図2】第１の実施形態にかかるＳＳＤが記憶する情報の一例を示す模式的な図。

【図3】第１の実施形態にかかるプロセッサが実行する近傍探索を説明するための模式的な図。

【図4】第１の実施形態にかかる複数のクラスタと或るクエリとの位置関係の一例を説明するための模式的な図。

【図5】第１の実施形態にかかるＤＲＡＭが記憶する情報の一例を示す模式的な図。

【図6】第１の実施形態にかかるニューラルネットワークモデルの構成の一例を示す模式的な図。

【図7】第１の実施形態にかかるニューラルネットワークモデルのトレーニング方法の一例を説明するフローチャート。

【図8】第１の実施形態にかかる近傍探索の方法の一例を説明するフローチャート。

【図9】第１の実施形態の変形例にかかるＳＳＤが記憶するデータＤの配置例を示す模式的な図。

【図10】第２の実施形態にかかる情報処理装置が備えるＳＳＤが記憶する情報の一例を示す模式的な図。

【図11】第２の実施形態のグラフ情報によって定義されるグラフの一例を示す模式的な図。

【図12】第２の実施形態のエントリポイントの選択方法の一例を説明するための模式的な図。

【図13】第２の実施形態にかかるＤＲＡＭが記憶する情報の一例を示す模式的な図。

【図14】第２の実施形態にかかるニューラルネットワークモデルの構成の一例を示す模式的な図。

【図15】第２の実施形態にかかるニューラルネットワークモデルのトレーニング方法の一例を説明するフローチャート。

【図16】第２の実施形態にかかる近傍探索の方法の一例を説明するフローチャート。

【発明を実施するための形態】

【0007】

実施形態にかかる近傍探索の方法は、例えば、プロセッサと、第１メモリと、第２メモリと、を備える情報処理装置で実行される。第１メモリは、第２メモリよりも大きな容量を有するメモリである。第２メモリは、第１メモリよりも高速な動作が可能なメモリである。以下では、実施形態にかかる近傍探索が、第１メモリとしてＳＳＤ（Solid State Drive）を備え、第２メモリとしてＤＲＡＭ（Dynamic Random Access Memory）を備えるコンピュータにおいて実施される例を説明する。

【0008】

なお、実施形態にかかる近傍探索の方法は、ネットワークで相互に接続された２以上の情報処理装置の協働によって実行されてもよい。また、実施形態にかかる近傍探索は、第１メモリとしてＮＡＮＤ型のフラッシュメモリデバイスなどのストレージ媒体を備え、第２メモリとしてＤＲＡＭを備え、プロセッサを備える記憶装置において実行されてもよい。

【0009】

以下に添付図面を参照して、実施形態にかかる方法および情報処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

【0010】

（第１の実施形態）
図１は、第１の実施形態にかかる情報処理装置のハードウェア構成の一例を示す模式的な図である。

【0011】

情報処理装置１は、プロセッサ２、第１メモリの一例であるＳＳＤ３、第２メモリの一例であるＤＲＡＭ４、Ｉ／О（Input／Output）回路５、およびこれらを電気的に接続するバス６を備えるコンピュータである。なお、第１メモリおよび第２メモリはこれらに限定されない。例えば第１メモリは、任意のストレージメモリであってもよい。第１メモリは、ＵＦＳ（Universal Flash Storage）デバイスまたは磁気ディスク装置であってもよい。

【0012】

プロセッサ２は、コンピュータプログラムに従って所定の演算を実行する。プロセッサ２は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）である。情報処理装置１に入力データであるクエリが入力されると、プロセッサ２は、ＳＳＤ３およびＤＲＡＭ４を利用して、入力されたクエリに基づく所定の演算を実行する。

【0013】

ＳＳＤ３は、ＤＲＡＭ４よりも大きな容量を有するストレージメモリである。ＳＳＤ３は、ストレージ媒体としてＮＡＮＤ型のフラッシュメモリを備える。

【0014】

ＤＲＡＭ４は、ＳＳＤ３よりも容量が小さいが、ＳＳＤ３よりも高速な動作が可能である。ここで、動作は、データの書き込み動作やデータの読み出し動作を含む。

【0015】

Ｉ／О回路５は、入出力機器が接続され得るインタフェース装置である。入出力機器は、例えば、入力装置、表示装置、ネットワーク機器、またはプリンタなどである。

【0016】

図２は、第１の実施形態にかかるＳＳＤ３が記憶する情報の一例を示す模式的な図である。

【0017】

ＳＳＤ３には、データＤの群が格納される。各データＤの種類は特定の種類に限定されない。各データＤは、Ｎ（ただしＮは１以上の整数）個の要素を有する。換言すると、各データＤは、Ｎ次元のベクトルである。各データＤは、画像、文書、またはこれら以外の任意の種類のデータ、またはこれらのデータから生成されたデータである。一例では、各データＤは、画像から抽出されたＮ個の特徴量である。別の一例では、各データＤは、それぞれ異なるユーザによるＮ個のカテゴリに分類される商品の購買履歴である。全データＤおよび後述されるクエリＱで要素数Ｎは共通である。

【0018】

情報処理装置１にクエリが入力されると、プロセッサ２は、ＳＳＤ３に格納されたデータＤの群のうちから入力されたクエリまでの距離が最も近いデータＤを探索する。

【0019】

本明細書において距離は、データ間の類似度を表す尺度である。距離は、数学的には、例えばユークリッド距離である。なお、距離の数学的な定義はユークリッド距離に限定されない。また、距離の評価に使用される指標は、ユークリッド距離などに限らず、距離に対応する限り任意の指標が使用され得る。ここでは一例として、内積値が距離に対応した指標として使用される。内積値は、距離が近いほど大きな値をとる。

【0020】

第１の実施形態では、ＳＳＤ３内のデータＤの群は、複数のクラスタにカテゴライズされている。各クラスタは、互いの距離が近い２以上のデータＤをグループ化した、データＤのサブグループである。なお、データＤを１つしか含まないクラスタがあってもよい。各クラスタは、第１の実施形態の第１オブジェクトの一例である。

【0021】

図３は、第１の実施形態にかかるプロセッサ２が実行する近傍探索を説明するための模式的な図である。ＳＳＤ３にはデータＤの群としてデータＤ０～Ｄ２１が格納されていることとし、本図には、Ｎ次元空間におけるデータＤ０～Ｄ２１の位置が描画されている。なお、ここでは理解しやすくするために、データＤは２次元のベクトルであることとしている。

【0022】

データＤ０～Ｄ２１のうち、データＤ０～Ｄ９がクラスタ＃０としてグループ化されている。データＤ７，Ｄ８，Ｄ１０～Ｄ１７がクラスタ＃１としてグループ化されている。データＤ８，Ｄ９，Ｄ１８～Ｄ２１がクラスタ＃２としてグループ化されている。

【0023】

グループ化は、任意の方法で実行され得るが、典型的にはデータＤ間の距離に基づいて実行される。例えば、データＤが存在するＮ次元の空間を格子状に区切って、各格子内のデータＤのセットによって１つのリストが設定されてもよい。これによって、互いの距離が近い２以上のデータＤを１つのリストとしてグループ化することが可能である。以降、説明をわかりやすくするためにグループ内のデータＤが互いに距離が近いことを想定して説明を行うが、このことは本発明に必ずしも必要ではない。

【0024】

なお、１つのデータＤはいずれか１つのクラスタのみに属してもよい。または、図３のデータＤ７～Ｄ９のそれぞれのように、１つのデータＤは２以上のクラスタに重複して属してもよい。

【0025】

クエリが入力された場合、プロセッサ２は、まず、全クラスタのうちのクエリに最も近いデータが属するクラスタを特定する。そして、プロセッサ２は、特定したクラスタに属する全てのデータＤをＳＳＤ３からＤＲＡＭ４に転送する。そして、プロセッサ２は、ＤＲＡＭ４内で各データＤとクエリとの間の距離の指標を演算し、各指標に基づいてクエリに最も近いデータを特定する。

【0026】

例えば、第１の実施形態と比較される技術として、ＳＳＤなどのアクセスに大きな時間を要するストレージメモリ内のデータに対してグラフベースの近傍探索を行う方法がある。この方法を、第１の比較例と表記する。第１の比較例によれば、クエリに最も近いデータを特定するために、候補データをグラフに沿って選択しながら、候補データを選択する毎に候補データとクエリとの距離の指標が算出される。グラフに沿って新たな候補データを選択する処理は、「ホップ」とも称される。

【0027】

しかしながら、第１の比較例によれば、新たな候補データが選択される毎に、換言するとホップ毎に、選択した候補データをＳＳＤなどのストレージメモリからワークエリアである高速メモリ、例えばＤＲＡＭ、に転送する処理が起きる。よって、クエリに最も近いデータの特定に多大な時間を要する。

【0028】

第１の実施形態によれば、クエリＱに最も近いデータＤが属するクラスタを構成する全てのデータＤが一括にＳＳＤ３からＤＲＡＭ４に転送される。ＤＲＡＭ４へのアクセスに要する時間は、ＳＳＤ３へのアクセスに要する時間に比べて少ない。よって、クエリＱに最も近いデータＤの特定に要する時間が短縮される。つまり、第１の実施形態によれば、クエリ応答の速度が向上する。

【0029】

図４は、第１の実施形態にかかる複数のクラスタと或るクエリとの位置関係の一例を説明するための模式的な図である。

【0030】

図４に示す例では、データＤ０～Ｄ２１のうちクエリＱに最も近いデータはクラスタ＃１に属するデータＤ１０である。

【0031】

ここで、第１の実施形態と比較される別の技術として、第２の比較例を説明する。第２の比較例によれば、１つの代表点がクラスタ毎に設定される。代表点は、クラスタに属する全てのデータから選択された１つのデータであってもよいし、クラスタの中心または重心に相当する新たなデータであってもよい。クエリに最も近いデータが属するクラスタは、そのデータのクラスタ毎の代表点からの距離に基づいて特定される。例えば、クエリに最も近い代表点が設定されるクラスタが、クエリに最も近いデータが属するクラスタとして特定される。

【0032】

しかしながら、クエリに最も近い代表点が設定されるクラスタが、クエリに最も近いデータが属するクラスタと異なるケースが起こり得る。クエリに最も近いデータが属するクラスタと異なるクラスタが誤ってクエリに最も近いデータが属するクラスタとして特定された場合、クエリに最も近いデータを特定することができない。

【0033】

図４に示す例において、クラスタ＃０の重心Ｃ０がクラスタ＃０の代表点として設定され、クラスタ＃１の重心Ｃ１がクラスタ＃１の代表点として設定されるケースを考える。クラスタ＃１の重心Ｃ１よりもクラスタ＃０の重心Ｃ０のほうがクエリＱに近いため、第２の比較例によれば、クラスタ＃０がクエリＱに最も近いデータが属するクラスタとして特定される。そして、クラスタ＃０に属するデータのうちのクエリＱに最も近いデータＤ７が、全てのデータのうちのクエリＱに最も近いデータとして誤検出される。つまり、第２の比較例によれば、推定を誤るケースがある。

【0034】

第１の実施形態では、データＤの群のうちのクエリＱに最も近いデータであるデータＤ１０が属するクラスタ＃１をクエリに最も近いデータが属するクラスタとして特定するために、トレーニング済みのニューラルネットワークモデル（後述するニューラルネットワークモデル４３）が使用される。トレーニング済みのニューラルネットワークモデルを用いてクエリＱに最も近いデータＤであるデータＤ１０が属するクラスタを特定することで、第２の比較例の説明で述べた推定の誤りを抑制する、つまり、探索の精度を向上させる。

【0035】

図５は、第１の実施形態にかかるＤＲＡＭ４が記憶する情報の一例を示す模式的な図である。

【0036】

ＤＲＡＭ４には、探索プログラム４１およびモデル情報４２がロードされる。探索プログラム４１およびモデル情報４２は、任意の不揮発性メモリ（例えばＳＳＤ３）に予め格納されている。プロセッサ２は、所定の処理（例えば探索プログラム４１の起動指示など）に応じて探索プログラム４１およびモデル情報４２をＤＲＡＭ４にロードする。

【0037】

プロセッサ２は、ＤＲＡＭ４にロードされた探索プログラム４１に従ってクエリに最も近いデータの探索を行う。

【0038】

モデル情報４２は、ニューラルネットワークモデル４３の構成を記録した情報である。モデル情報４２は、例えば、複数のノードの定義と、ノード間の接続関係の定義と、バイアスと、を含む。モデル情報４２では、各ノードには、活性化関数とトレーニング済みの重みが関連付けられている。プロセッサ２は、探索の際に、ＤＲＡＭ４にロードされたモデル情報４２を用いることで、ニューラルネットワークモデル４３としての演算を行い、これによってクエリＱに最も近いデータが属するクラスタの特定を行う。

【0039】

図６は、第１の実施形態にかかるニューラルネットワークモデル４３の構成の一例を示す模式的な図である。なお、本図の例では、データＤおよびクエリＱは４次元のベクトルであり、４つの要素を有していることとする。また、ＳＳＤ３内のデータＤの群は４つのクラスタ＃０～＃３にグループ化されていることとする。

【0040】

図６に示すニューラルネットワークモデル４３において、円形の図形はノードを示し、ノード間を接続する線分はエッジを示す。ニューラルネットワークモデル４３は、一例として、入力層と、２つの隠れ層と、出力層と、を備える。

【0041】

入力層は、クエリＱを構成する要素の数に対応した数のノード、つまり４個のノード、を含む。入力層の４個のノードのそれぞれは、クエリＱの４個の要素ｑ０～ｑ３のうちのひとつと一対一に関連付けられており、関連付けられた要素の入力を受け付ける。

【0042】

出力層は、クラスタの数に対応した数のノード、つまり４個のノード、を含む。出力層が備える４個のノードのそれぞれは、クラスタ＃０～＃３のうちのひとつと一対一に関連付けられており、関連付けられたクラスタにかかるスコアを出力する。

【0043】

スコアは、各ノードに対応するクラスタがクエリＱに最も近いデータが属するクラスタに該当する確率に対応する。ここでは一例として、スコアが高いほど、そのスコアを出力したノードに対応するクラスタがクエリＱに最も近いデータが属するクラスタに該当する確率が高いこととする。なお、スコアと当該確率との関係はこれに限定されない。

【0044】

プロセッサ２は、入力層にクエリＱを入力する。そして、プロセッサ２は、隠れ層および出力層の各ノードにおいて、バイアスおよび前の層のノードからの各入力値に対して重みを乗じ、重みが乗じられた後の各値の総和に対して活性化関数を適用し、活性化関数の適用によって得られた値を出力する。

【0045】

プロセッサ２は、出力層からスコアをクラスタ毎に取得し、最も大きいスコアが出力されたノードに対応するクラスタを、クエリＱに最も近いデータが属するクラスタとして特定する。

【0046】

以降、クラスタ＃Ｘ（ただし図６の例ではＸは０から３までの整数）に対応付けられたノードから出力されたスコアを、クラスタ＃Ｘのスコア、と表記する。

【0047】

なお、図６に示すニューラルネットワークモデル４３は、あくまでも一例である。ニューラルネットワークモデル４３が備える層の数、隠れ層のノードの数、ノード間の接続関係、各ノードでの演算方法、などは設計者によって種々に変形され得る。

【0048】

図７は、第１の実施形態にかかるニューラルネットワークモデル４３のトレーニング方法の一例を説明するフローチャートである。なお、本図に示す一連の処理は、情報処理装置１において実行されてもよいし、他の任意のコンピュータにおいて実行されてもよい。なお、本図に示す一連の処理は、ＳＳＤ３に格納されているデータＤの群と同じ群にアクセス可能なコンピュータにおいて実行される。ここでは一例として、情報処理装置１において本図に示す一連の処理が実行されることとして説明する。

【0049】

まず、プロセッサ２は、多数のサンプルクエリを生成する（Ｓ１０１）。プロセッサ２は、例えば、乱数生成プログラムなどに基づき、ある数のクエリから、より多数のサンプルクエリを生成する。なお、サンプルクエリの生成方法はこれに限定されない。

【0050】

続いて、プロセッサ２は、サンプルクエリに最も近いデータが属するクラスタを、サンプルクエリ毎に特定する（Ｓ１０２）。例えば、プロセッサ２は、各サンプルクエリと各データＤとの距離を演算し、これによって各サンプルクエリに最も近いデータＤを特定する。そして、プロセッサ２は、特定したデータＤが属するクラスタを特定する。

【0051】

なお、Ｓ１０２の処理は、教師データを作成するための処理である。よって、Ｓ１０２の処理には正確性が求められる。図７に示す一連の処理は、実際のクエリＱに対する近傍探索の前に予め実行される。つまり、図７に示す一連の処理は、高速に完了することは求められていない。したがって、プロセッサ２は、Ｓ１０２の処理に対しては、サンプルクエリに最も近いデータが属するクラスタを正確に求めるために必要な時間をかけることができる。

【0052】

Ｓ１０２に続いて、プロセッサ２は、多数得られた、サンプルクエリと、サンプルクエリに最も近いデータが属するクラスタと、の対を教師データとして用いてニューラルネットワークモデル４３のトレーニングを実行する（Ｓ１０３）。これによって、ノード毎の重みが確定し、モデル情報４２が生成される。そして、トレーニングが完了する。

【0053】

図８は、第１の実施形態にかかる近傍探索の方法の一例を説明するフローチャートである。プロセッサ２が探索プログラム４１に従って本図に示す一連の処理を実行する。

【0054】

情報処理装置１にクエリＱが入力されると、プロセッサ２は、クエリＱを受け付けて（Ｓ２０１）、クエリＱをニューラルネットワークモデル４３に入力する（Ｓ２０２）。

【0055】

プロセッサ２は、ニューラルネットワークモデル４３から出力されたクラスタ毎のスコアに基づき、スコアが最も高いクラスタを選択する（Ｓ２０３）。そして、プロセッサ２は、選択したクラスタに属する全てのデータＤをＳＳＤ３からＤＲＡＭ４に転送する（Ｓ２０４）。

【0056】

プロセッサ２は、ＤＲＡＭ４内の各データＤとクエリＱとの内積を演算する（Ｓ２０５）。なお、２つのデータ間の内積は、２つのデータ間の距離に対応する指標の一例である。２つのデータ間の距離が近いほど、２つのデータ間の内積の値が大きくなる。なお、２つのデータ間の距離に対応する指標としては、内積に限定されない。

【0057】

プロセッサ２は、ＤＲＡＭ４内の各データＤとクエリＱとの内積値に基づき、ＤＲＡＭ４内のデータＤのうちのクエリＱに最も近いデータＤを特定し、特定したデータＤを探索結果として出力する（Ｓ２０６）。例えば、距離の指標として内積が使用されるケースでは、プロセッサ２は、最も大きい内積値が得られたデータＤを検索結果として出力する。そして、近傍探索の一連の処理が終了する。

【0058】

このように、第１の実施形態によれば、プロセッサ２は、クエリＱの入力を受け付けて、ニューラルネットワークモデル４３に基づいて１つのクラスタを選択する。プロセッサ２は、選択したクラスタを構成する各データＤとクエリＱとの距離の指標を演算する。プロセッサ２は、選択したクラスタを構成する各データＤとクエリＱとの距離の指標に基づき、選択したクラスタを構成するデータＤのうちのクエリＱに最も近いデータＤを、ＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤとして特定する。

【0059】

よって、クエリ応答の速度と探索の精度とを共に高くすることができる。

【0060】

また、第１の実施形態では、プロセッサ２は、ニューラルネットワークモデル４３に基づいて選択したクラスタをＳＳＤ３からＤＲＡＭ４に転送し、ＤＲＡＭ４内の各データＤとクエリＱとの距離の指標を演算する。

【0061】

よって、クエリ応答の速度を向上させることができる。

【0062】

また、第１の実施形態では、ニューラルネットワークモデル４３は、クエリＱが入力された場合にＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤを含む可能性に対応したスコアをクラスタ毎に出力するように構成されている。プロセッサ２は、ニューラルネットワークモデル４３にクエリＱを入力し、ニューラルネットワークモデル４３から出力されるクラスタ毎のスコアに基づき、クエリＱに最も近いデータＤを含む可能性が最も高いクラスタを選択する。

【0063】

よって、クエリ応答の精度を向上させることができる。

【0064】

（第１の実施形態の変形例）
上述した第１の実施形態では、ひとつのクラスタに属する全てのデータＤが一括にＳＳＤ３からＤＲＡＭ４に転送される。各クラスタに属する全てのデータＤの転送に要する時間をできるだけ抑制するために、各クラスタに属するデータＤのセットは、ＳＳＤ３がプロセッサ２に提供するアドレス空間における連続するエリアに配置されてもよい。

【0065】

図９は、第１の実施形態の変形例にかかるＳＳＤ３が記憶するデータＤの配置例を示す模式的な図である。本図に示す例によれば、クラスタ＃ｊは、データＤｉ～Ｄｉ＋３のセットによって構成され、データＤｉ～Ｄｉ＋３のセットはＳＳＤ３のアドレス空間における連続したエリアに配置される。クラスタ＃ｊ＋１は、データＤｉ＋４～Ｄｉ＋７のセットによって構成され、データＤｉ＋４～Ｄｉ＋７のセットはＳＳＤ３のアドレス空間における連続したエリアに配置される。クラスタ＃ｊ＋２は、データＤｉ＋８～Ｄｉ＋１１のセットによって構成され、データＤｉ＋８～Ｄｉ＋１１のセットはＳＳＤ３のアドレス空間における連続したエリアに配置される。

【0066】

このような構成により、プロセッサ２は、アドレス空間における位置とサイズとを含む１つのリードコマンドをＳＳＤ３に発行するだけで、所望のクラスタを構成する全てのデータＤを取得することができる。よって、所望のクラスタに属する全てのデータＤのＳＳＤ３からＤＲＡＭ４への転送に要する時間を抑制することが可能となる。

【0067】

（第２の実施形態）
前述したように、ＳＳＤなどのストレージメモリに格納されたデータの群を探索範囲としたグラフベースの近傍探索では、ホップ毎にストレージメモリから揮発性メモリへの転送が発生する。よって、ホップ数が多いほど、探索に要する時間が長い。

【0068】

第２の実施形態では、グラフベースの近傍探索において、必要なホップ数を出来るだけ少なくすることで、探索に要する時間を抑制する。第２の実施形態にかかる情報処理装置を情報処理装置１ａと表記する。また、以降の説明では、第１の実施形態と異なる事項について説明し、第１の実施形態と同じ事項については説明を省略するかまたは簡略的に説明する。

【0069】

図１０は、第２の実施形態にかかる情報処理装置１ａが備えるＳＳＤ３が記憶する情報の一例を示す模式的な図である。

【0070】

第１の実施形態と同様、ＳＳＤ３には、データＤの群が格納される。また、ＳＳＤ３には、データＤ間の接続を定義するグラフ情報３１が格納される。グラフ情報３１は、設計者または所定のコンピュータプログラムによって予め生成される。

【0071】

図１１は、第２の実施形態のグラフ情報３１によって定義されるグラフの一例を示す模式的な図である。ＳＳＤ３にはデータＤの群としてデータＤ０～Ｄ２０が格納されていることとする。

【0072】

第２の実施形態にかかるグラフの一例として、データＤ０～Ｄ２０のそれぞれをノードとしたグラフ３２が構成されている。データＤ０～Ｄ２０のそれぞれは、データＤ０～Ｄ２０の全てに対して、１以上のエッジおよび０以上のデータＤを介して接続されている。エッジは、ホップ可能な経路である。

【0073】

グラフ３２は、黒丸で示すノードを複数含む。黒丸は、エントリポイント候補を示す。エントリポイント候補とは、エントリポイント、つまり探索の起点となり得るノードをいう。ここでは一例として、データＤ３、データＤ８、データＤ１１、およびデータＤ１８が、エントリポイント候補とされている。例えばデータＤの群のうちからランダムに選択された複数のデータＤがエントリポイント候補として設定される。なお、エントリポイント候補の設定方法はこれに限定されない。

【0074】

第２の実施形態では、プロセッサ２は、複数のエントリポイント候補のうちから、探索に要するホップ数ができるだけ少なくなるようにエントリポイントを選択する。なお、エントリポイント候補は、第２の実施形態にかかる第１オブジェクトの一例である。

【0075】

図１２は、第２の実施形態のエントリポイントの選択方法の一例を説明するための模式的な図である。

【0076】

図１２の例では、データＤ１６がクエリＱに最も近いデータに該当する。よって、データＤ１８がエントリポイントとして選択された場合、最少回数のホップ、具体的にはデータＤ１８からデータＤ１５およびデータＤ１５からデータＤ１６の２回のホップ、でデータＤ１６を特定することが可能である。プロセッサ２は、このような最少回数のホップでクエリＱに最も近いデータの特定が可能なエントリポイント候補を推定する。

【0077】

ここで、第２の実施形態と比較される技術として、第３の比較例を説明する。第３の比較例によれば、各エントリポイント候補とクエリＱとの距離に基づいてエントリポイントとして使用するエントリポイント候補が選択される。

【0078】

図１２の例では、クエリＱに最も近いエントリポイント候補は、データＤ１８ではなくデータＤ１１である。よって、第３の比較例によれば、データＤ１１がエントリポイントとして選択される。データＤ１１がエントリポイントとして選択された場合、データＤ１６をクエリＱに最も近いデータとして特定するためには、データＤ１１からデータＤ１２、データＤ１２からデータＤ１３、データＤ１３からデータＤ１４、データＤ１４からデータＤ１５、およびデータＤ１５からデータＤ１６の、５回のホップが必要である。つまり、第３の比較例によれば、クエリＱに最も近いデータの特定に要するホップの回数が多くなるケースがある。

【0079】

第２の実施形態によれば、プロセッサ２は、最少回数のホップでクエリＱに最も近いデータＤ１６の特定が可能なエントリポイント候補を特定するために、トレーニング済みのニューラルネットワークモデル（後述するニューラルネットワークモデル４３ａ）を使用する。

【0080】

図１３は、第２の実施形態にかかるＤＲＡＭ４が記憶する情報の一例を示す模式的な図である。

【0081】

ＤＲＡＭ４には、探索プログラム４１ａおよびモデル情報４２ａがロードされる。

【0082】

プロセッサ２は、ＤＲＡＭ４にロードされた探索プログラム４１ａに従ってクエリに最も近いデータの探索を行う。

【0083】

モデル情報４２ａは、ニューラルネットワークモデル４３ａの構成を記録した情報である。プロセッサ２は、探索の際に、ＤＲＡＭ４にロードされたモデル情報４２ａを用いることで、ニューラルネットワークモデル４３ａとしての演算を行い、これによって最少回数のホップでクエリＱに最も近いデータＤ１６の特定が可能なエントリポイント候補の推定を行う。

【0084】

図１４は、第２の実施形態にかかるニューラルネットワークモデル４３ａの構成の一例を示す模式的な図である。なお、本図の例では、データＤおよびクエリＱは４次元のデータであり、４つの要素を有していることとする。また、データＤ３、データＤ８、データＤ１１、およびデータＤ１８が、エントリポイント候補とされていることとする。

【0085】

図１４に示す例では、ニューラルネットワークモデル４３ａは、一例として、入力層と、２つの隠れ層と、出力層と、を備える。

【0086】

入力層は、クエリＱを構成する要素の数に対応した数のノード、つまり４個のノード、を含む。入力層の４個のノードのそれぞれは、クエリＱの４個の要素ｑ０～ｑ３のうちのひとつと一対一に関連付けられており、関連付けられた要素の入力を受け付ける。

【0087】

出力層は、エントリポイント候補に対応した数のノード、つまり４個のノード、を含む。出力層が備える４個のノードのそれぞれは、４つのエントリポイント候補、つまりデータＤ３、データＤ８、データＤ１１、およびデータＤ１８、のうちのひとつと一対一に関連付けられており、関連付けられたエントリポイント候補にかかるスコアを出力する。

【0088】

第２の実施形態では、スコアは、各ノードに対応するエントリポイント候補が最少回数のホップでクエリＱに最も近いデータＤ１６の特定が可能なエントリポイントに該当する確率に対応する。ここでは一例として、スコアが高いほど、そのスコアを出力したノードに対応するエントリポイント候補が最少回数のホップでクエリＱに最も近いデータＤ１６の特定が可能なエントリポイントに該当する確率が高いこととする。なお、スコアと当該確率との関係はこれに限定されない。

【0089】

プロセッサ２は、入力層にクエリＱを入力する。そして、プロセッサ２は、隠れ層および出力層の各ノードにおいて、バイアスおよび前の層のノードからの各入力値に対して重みを乗じ、重みが乗じられた後の各値の総和に対して活性化関数を適用し、活性化関数の適用によって得られた値を出力する。そして、プロセッサ２は、出力層からスコアをクラスタ毎に取得し、最も大きいスコアが出力されたノードに対応するエントリポイント候補を、最少回数のホップでクエリＱに最も近いデータＤ１６の特定が可能なエントリポイントとして特定する。

【0090】

以降、エントリポイント候補としてのデータＤ３、データＤ８、データＤ１１、およびデータＤ１８を、エントリポイント候補Ｄ３、エントリポイント候補Ｄ８、エントリポイント候補Ｄ１１、およびエントリポイント候補Ｄ１８と表記する。また、エントリポイント候補ＤＸ（Ｘは０以上の整数、ただし図１４の例ではＸは３、８、１１、または１８）に対応付けられたノードから出力されたスコアを、エントリポイント候補ＤＸのスコア、と表記する。

【0091】

なお、図１４に示すニューラルネットワークモデル４３ａは、あくまでも一例である。ニューラルネットワークモデル４３ａが備える層の数、隠れ層のノードの数、ノード間の接続関係、各ノードでの演算方法、などは設計者によって種々に変形され得る。

【0092】

図１５は、第２の実施形態にかかるニューラルネットワークモデル４３ａのトレーニング方法の一例を説明するフローチャートである。なお、本図に示す一連の処理は、情報処理装置１ａにおいて実行されてもよいし、他の任意のコンピュータにおいて実行されてもよい。なお、本図に示す一連の処理は、ＳＳＤ３に格納されているデータＤの群と同じ群にアクセス可能なコンピュータにおいて実行される。ここでは一例として、情報処理装置１ａにおけるプロセッサ２が本図に示す一連の処理を実行することとして説明する。

【0093】

まず、プロセッサ２は、第１の実施形態と同様の方法で、多数のサンプルクエリを生成する（Ｓ３０１）。

【0094】

続いて、プロセッサ２は、サンプルクエリに最も近いデータＤまでのホップ数が最も少ないエントリポイント候補をサンプルクエリ毎に特定する（Ｓ３０２）。プロセッサ２は、サンプルクエリに最も近いデータＤまでのホップ数が最も少ないエントリポイント候補を正確に求めるために、時間をかけることが許容される。

【0095】

Ｓ３０２に続いて、プロセッサ２は、多数得られた、サンプルクエリと、サンプルクエリに最も近いデータＤまでのホップ数が最も少ないエントリポイント候補と、の対を教師データとして用いてニューラルネットワークモデル４３ａのトレーニングを実行する（Ｓ３０３）。これによって、ノード毎の重みが確定し、モデル情報４２ａが生成される。そして、トレーニングが完了する。

【0096】

図１６は、第２の実施形態にかかる近傍探索の方法の一例を説明するフローチャートである。プロセッサ２が探索プログラム４１ａに従って本図に示す一連の処理を実行する。

【0097】

情報処理装置１ａにクエリＱが入力されると、プロセッサ２は、クエリＱを受け付けて（Ｓ４０１）、クエリＱをニューラルネットワークモデル４３ａに入力する（Ｓ４０２）。

【0098】

プロセッサ２は、ニューラルネットワークモデル４３ａから出力されたエントリポイント候補毎のスコアに基づき、スコアが最も高いエントリポイント候補をエントリポイントとして選択する（Ｓ４０３）。そして、プロセッサ２は、選択したエントリポイントを起点としてＳＳＤ３内のデータＤの群を探索範囲としてグラフベースの近傍探索を実行する。これによって、プロセッサ２は、ＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤを探索する（Ｓ４０４）。

【0099】

具体的には、プロセッサ２は、選択したエントリポイントを最初の候補データとして選択し、候補データとクエリＱとの距離の指標を算出する。そして、プロセッサ２は、選択したエントリポイントを起点としてグラフに沿ってホップを行って、ホップによって特定した新たな候補データとクエリＱとの距離の指標を算出する。そして、プロセッサ２は、ホップ前後で候補データとクエリＱとの距離の指標を比較し、ホップによってクエリＱに近づいたか否かを判定する。プロセッサ２は、ホップと、候補データとクエリＱとの距離の指標の算出と、ホップ前後の距離の指標の比較と、を繰り返すことで、ＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤを探索する。

【0100】

プロセッサ２は、探索によって得られたデータＤを探索結果として出力する（Ｓ４０５）。そして、近傍探索の一連の処理が終了する。

【0101】

このように、第２の実施形態によれば、プロセッサ２は、クエリＱの入力を受け付けて、ニューラルネットワークモデル４３ａに基づいて１つのエントリポイントを選択する。プロセッサ２は、エントリポイントを起点としてＳＳＤ３内のデータＤの群を探索範囲としてグラフベースの近傍探索を実行する。プロセッサ２は、近傍探索により、ＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤとして特定する。

【0102】

よって、クエリ応答の速度と探索の精度とを共に高くすることができる。

【0103】

また、第２の実施形態によれば、ニューラルネットワークモデル４３ａは、クエリＱが入力された場合にＳＳＤ３内のデータＤの群のうちのクエリＱに最も近いデータＤまでのホップ数が最小である可能性に対応したスコアをエントリポイント候補毎に出力するように構成されている。プロセッサ２は、ニューラルネットワークモデル４３ａにクエリＱを入力し、ニューラルネットワークモデル４３ａから出力されるエントリポイント候補毎のスコアに基づき、クエリＱに最も近いデータＤまでのホップ数が最小である可能性が最も高いエントリポイント候補をエントリポイントとして選択する。

【0104】

よって、クエリ応答の速度を向上させることができる。

【0105】

第１の実施形態、第１の実施形態の変形例、および第２の実施形態として説明したように、実施形態によれば、近傍探索の方法は、クエリＱの入力を受け付けることと、複数の第１オブジェクトのうちの１つをクエリＱとニューラルネットワークモデル４３，４３ａに基づいて選択することと、を含む。複数の第１オブジェクトのそれぞれはＳＳＤ３に格納されたデータＤの群のうちの１つまたは複数のデータＤに関連付けられている。近傍探索の方法は、さらに、選択した１つの第１オブジェクトが関連付けられた１つまたは複数のデータＤからデータＤとクエリとの距離の指標を演算することを含む。方法は、さらに、指標に基づいてデータＤの群のうちのクエリＱに最も近いデータＤを特定することを含む。

【0106】

よって、クエリ応答の速度と探索の精度とを共に高くすることができる。

【0107】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0108】

１，１ａ 情報処理装置、２ プロセッサ、３ ＳＳＤ、４ ＤＲＡＭ、５ バス、３１ グラフ情報、３２ グラフ、４１，４１ａ 探索プログラム、４２，４２ａ モデル情報、４３，４３ａ ニューラルネットワークモデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】