知財求人 - 知財ポータルサイト「IP Force」
特開2024-154355結合演算のアクセラレーションのためのＰＩＭベースのコンピューティング装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024154355
(43)【公開日】2024-10-30
(54)【発明の名称】結合演算のアクセラレーションのためのＰＩＭベースのコンピューティング装置
(51)【国際特許分類】
G06F 12/00 20060101AFI20241023BHJP
【ＦＩ】
G06F12/00 560F
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023157985
(22)【出願日】2023-09-22
(31)【優先権主張番号】10-2023-0050666
(32)【優先日】2023-04-18
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】514274672
【氏名又は名称】延世大学校 産学協力団
【氏名又は名称原語表記】ＵＩＦ （Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ Ｆｏｕｎｄａｔｉｏｎ）， Ｙｏｎｓｅｉ Ｕｎｉｖｅｒｓｉｔｙ
【住所又は居所原語表記】５０，ＹＯＮＳＥＩ－ＲＯ， ＳＥＯＤＡＥＭＵＮ－ＧＵ， ＳＥＯＵＬ ０３７２２， ＲＥＰＵＢＬＩＣ ＯＦ ＫＯＲＥＡ
(74)【代理人】
【識別番号】110000051
【氏名又は名称】弁理士法人共生国際特許事務所
(72)【発明者】
【氏名】キム，ヨンソク
(72)【発明者】
【氏名】イム，チェミン
(72)【発明者】
【氏名】キム，ハンジュン
(72)【発明者】
【氏名】イ，ジンホ
【テーマコード（参考）】
5B160
【Ｆターム（参考）】
5B160CA17
5B160KA02
5B160MM20
(57)【要約】
【課題】ＩＤＰで結合スループットを最大化し、ＣＰＵの代わりにＰＩＭサポートのＤＩＭＭで両テーブルのグローバルパーティショニングを行い、ＰＩＭサポートのＤＩＭＭの高い内部メモリ帯域幅と計算スループットを活用でき、多対多のＩＤＰ間通信を最適化できる結合演算アクセラレーションのためのＰＩＭベースのコンピューティング装置を提供する。
【解決手段】第１及び第２データセットを格納するメインメモリと、メモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、メモリプロセッサは作業メモリと接続され、作業メモリに上げられた第１及び第２データセットに対する結合演算を行うＰＩＭモジュールと、メインメモリ及びＰＩＭモジュールと第１及び第２チャンネルを形成し、第１チャンネルで第１及び第２データセットを取り込んで第２チャンネルでメモリバンクに格納するプロセッサと、を含む。
【選択図】図１
【解決手段】第１及び第２データセットを格納するメインメモリと、メモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、メモリプロセッサは作業メモリと接続され、作業メモリに上げられた第１及び第２データセットに対する結合演算を行うＰＩＭモジュールと、メインメモリ及びＰＩＭモジュールと第１及び第２チャンネルを形成し、第１チャンネルで第１及び第２データセットを取り込んで第２チャンネルでメモリバンクに格納するプロセッサと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１及び第２データセットを格納するメインメモリと、
メモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた前記第１及び第２データセットに対する結合演算を行うＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、
前記メインメモリ及び前記ＰＩＭモジュールと第１チャンネル及び第２チャンネルを形成し、前記第１チャンネルで前記第１及び第２データセットを取り込んで前記第２チャンネルで前記メモリバンクに格納するプロセッサと、を含む、ことを特徴とするＰＩＭベースのコンピューティング装置。
メモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた前記第１及び第２データセットに対する結合演算を行うＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、
前記メインメモリ及び前記ＰＩＭモジュールと第１チャンネル及び第２チャンネルを形成し、前記第１チャンネルで前記第１及び第２データセットを取り込んで前記第２チャンネルで前記メモリバンクに格納するプロセッサと、を含む、ことを特徴とするＰＩＭベースのコンピューティング装置。
【請求項2】
前記ＰＩＭモジュールは、
前記インラインメモリモジュールを複数のデュアルインラインメモリモジュールで実現し、スケールアウト結合演算をサポートする、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
前記インラインメモリモジュールを複数のデュアルインラインメモリモジュールで実現し、スケールアウト結合演算をサポートする、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
【請求項3】
前記ＰＩＭモジュールは、
前記複数のデュアルインラインメモリモジュールをサブ－グループ化し、前記第２チャンネルのうちの１つと接続する、ことを特徴とする請求項２に記載のＰＩＭベースのコンピューティング装置。
前記複数のデュアルインラインメモリモジュールをサブ－グループ化し、前記第２チャンネルのうちの１つと接続する、ことを特徴とする請求項２に記載のＰＩＭベースのコンピューティング装置。
【請求項4】
前記ＰＩＭモジュールは、
前記複数のデュアルインラインメモリモジュール間の相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介したグローバルパーティショニング（ｇｌｏｂａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行い、前記第１及び第２データセットを配置する、ことを特徴とする請求項２に記載のＰＩＭベースのコンピューティング装置。
前記複数のデュアルインラインメモリモジュール間の相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介したグローバルパーティショニング（ｇｌｏｂａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行い、前記第１及び第２データセットを配置する、ことを特徴とする請求項２に記載のＰＩＭベースのコンピューティング装置。
【請求項5】
前記ＰＩＭモジュールは、
前記相互データ移転の過程で前記複数のデュアルインラインメモリモジュール各々のメモリバンクにあるデータに対して、ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項４に記載のＰＩＭベースのコンピューティング装置。
前記相互データ移転の過程で前記複数のデュアルインラインメモリモジュール各々のメモリバンクにあるデータに対して、ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項４に記載のＰＩＭベースのコンピューティング装置。
【請求項6】
前記ＰＩＭモジュールは、
前記複数のデュアルインラインメモリモジュール間にデータセットの単位で特定のデータセットを送受信し、前記ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項５に記載のＰＩＭベースのコンピューティング装置。
前記複数のデュアルインラインメモリモジュール間にデータセットの単位で特定のデータセットを送受信し、前記ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項５に記載のＰＩＭベースのコンピューティング装置。
【請求項7】
前記プロセッサは、
前記グローバルパーティショニングを行う前に、前記メインメモリにある前記第１及び第２データセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納する、ことを特徴とする請求項４に記載のＰＩＭベースのコンピューティング装置。
前記グローバルパーティショニングを行う前に、前記メインメモリにある前記第１及び第２データセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納する、ことを特徴とする請求項４に記載のＰＩＭベースのコンピューティング装置。
【請求項8】
前記プロセッサは、
前記ＵＳＧ演算過程でＳＴＳ（Ｓｔｒｅａｍ Ｔｒａｎｓｐｏｓｅ Ｓｅｎｄ）手順を行い、前記メモリバンクに前記第１及び第２データセットを分配する、ことを特徴とする請求項７に記載のＰＩＭベースのコンピューティング装置。
前記ＵＳＧ演算過程でＳＴＳ（Ｓｔｒｅａｍ Ｔｒａｎｓｐｏｓｅ Ｓｅｎｄ）手順を行い、前記メモリバンクに前記第１及び第２データセットを分配する、ことを特徴とする請求項７に記載のＰＩＭベースのコンピューティング装置。
【請求項9】
前記メモリプロセッサは、
前記結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択する、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
前記結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択する、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
【請求項10】
前記メモリプロセッサは、
前記作業メモリにハッシュテーブルを生成し、前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げてローカルパーティショニング（ｌｏｃａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行った後、ハッシュ関数で前記ハッシュテーブルに関連付けてハッシュ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
前記作業メモリにハッシュテーブルを生成し、前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げてローカルパーティショニング（ｌｏｃａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行った後、ハッシュ関数で前記ハッシュテーブルに関連付けてハッシュ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
【請求項11】
前記メモリプロセッサは、
前記メモリバンクにある第１及び第２データセットに対してレンジパーティショニング（Ｒａｎｇｅ ｐａｒｔｉｔｉｏｎｉｎｇ）、並列適所整列（ｐａｒａｌｌｅｌ ｉｎ－ｐｌａｃｅ ｓｏｒｔ）、及び並列マージ（ｐａｒａｌｌｅｌ ｍｅｒｇｅ）を行ってソート－マージ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
前記メモリバンクにある第１及び第２データセットに対してレンジパーティショニング（Ｒａｎｇｅ ｐａｒｔｉｔｉｏｎｉｎｇ）、並列適所整列（ｐａｒａｌｌｅｌ ｉｎ－ｐｌａｃｅ ｓｏｒｔ）、及び並列マージ（ｐａｒａｌｌｅｌ ｍｅｒｇｅ）を行ってソート－マージ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
【請求項12】
前記メモリプロセッサは、
前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げて各々に対する内部ループ演算を独立して行ってネスト－ループ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げて各々に対する内部ループ演算を独立して行ってネスト－ループ結合を行う、ことを特徴とする請求項１に記載のＰＩＭベースのコンピューティング装置。
【請求項13】
第１及び第２ソースデータセットを格納するメインメモリと、
各々はメモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた第１及び第２加工データセットに対する結合演算を行う複数のＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、
前記第１及び第２ソースデータセットを前処理して前記メモリバンクに格納するプロセッサと、を含む、ことを特徴とするＰＩＭベースのコンピューティング装置。
各々はメモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた第１及び第２加工データセットに対する結合演算を行う複数のＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、
前記第１及び第２ソースデータセットを前処理して前記メモリバンクに格納するプロセッサと、を含む、ことを特徴とするＰＩＭベースのコンピューティング装置。
【請求項14】
前記プロセッサは、
前記メインメモリにある前記第１及び第２ソースデータセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納する、ことを特徴とする請求項１３に記載のＰＩＭベースのコンピューティング装置。
前記メインメモリにある前記第１及び第２ソースデータセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納する、ことを特徴とする請求項１３に記載のＰＩＭベースのコンピューティング装置。
【請求項15】
前記複数のＰＩＭモジュールは、
前記前処理された第１及び第２ソースデータセットに対して相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介して前記第１及び第２加工データセットを配置する、ことを特徴とする請求項１３に記載のＰＩＭベースのコンピューティング装置。
前記前処理された第１及び第２ソースデータセットに対して相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介して前記第１及び第２加工データセットを配置する、ことを特徴とする請求項１３に記載のＰＩＭベースのコンピューティング装置。
【請求項16】
前記複数のＰＩＭモジュールは、
前記相互データ移転の過程で前記前処理された第１及び第２ソースデータセットに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項１５に記載のＰＩＭベースのコンピューティング装置。
前記相互データ移転の過程で前記前処理された第１及び第２ソースデータセットに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行う、ことを特徴とする請求項１５に記載のＰＩＭベースのコンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）ベースのコンピューティング技術に係り、より詳細には、ＰＩＭハードウェアにおける結合演算の性能を向上させることができるアクセラレーション技法に関する。
【背景技術】
【0002】
ＰＩＭとは、１つのチップ内部にメモリとプロセッサ演算器を集積した次世代半導体である。これにより、メモリとプロセッサが分離されている既存のコンピューティング構造で発生するデータのボトルネック現象及び過剰な電力消費の問題を解決することができる。
【0003】
ＰＩＭサポートのデュアルインラインメモリモジュール（Ｄｕａｌ ｉｎ－ｌｉｎｅ ｍｅｍｏｒｙ ｍｏｄｕｌｅ；以下、ＤＩＭＭ）には、メモリバンク付近にＩＤＰ（Ｉｎ－ＤＩＭＭ ｐｒｏｃｅｓｓｏｒ）が装着されている。ＰＩＭサポートのＤＩＭＭを使用すると、アプリケーションがホストＣＰＵからＩＤＰに計算をオフロードできる。ＩＤＰは、ホスト側のリソースを使用せず、メモリバンクに格納されたデータに直接アクセスして計算を行うことができる。かかる方式でＰＩＭサポートのＤＩＭＭは、ＣＰＵとメインメモリとの間のデータ転送量を減らし、ＰＩＭサポートのＤＩＭＭの高い内部メモリ帯域幅と計算スループットを活用し、アプリケーションがデータのボトルネック現象を克服するように大きく助けられる。
【0004】
一方、リレーショナルデータベース管理システム（ＲＤＢＭＳ）の性能を改善するために、ＰＩＭサポートのＤＩＭＭを使用してリレーショナル作業を加速化する技術が提案されている。先行技術は、ＰＩＭハードウェアシミュレータとＰＩＭハードウェアに対するアーキテクチャ仮定に依存していた。しかし、先行技術のアーキテクチャ仮定は、ＰＩＭサポートのＤＩＭＭのアーキテクチャと異なり、ＤＩＭＭと互換しないという問題があり得る。
【0005】
従って、実際のコンピューティングシステムでＰＩＭの高い潜在力を実現するためには、ＰＩＭサポートのＤＩＭＭに最適化された新しい結合アルゴリズムが必要である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】大韓民国公開特許第１０－２０２２－００９４１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、ＤＩＭＭアーキテクチャと互換できるＰＩＭの結合演算アクセラレーション技法であって、ＩＤＰで結合スループットを最大化し、ＣＰＵの代わりにＰＩＭサポートのＤＩＭＭで両テーブルのグローバルパーティショニングを行い、ＰＩＭサポートのＤＩＭＭの高い内部メモリ帯域幅と計算スループットを活用することができ、多対多のＩＤＰ間通信を最適化できる結合演算のアクセラレーションのためのＰＩＭベースのコンピューティング装置を提供しようとする。
【課題を解決するための手段】
【0008】
実施形態のうち、結合演算のアクセラレーションのためのＰＩＭベースのコンピューティング装置は、第１及び第２データセットを格納するメインメモリと、メモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた前記第１及び第２データセットに対する結合演算を行うＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、前記メインメモリ及び前記ＰＩＭモジュールと第１チャンネル及び第２チャンネルを形成し、前記第１チャンネルで前記第１及び第２データセットを取り込んで前記第２チャンネルで前記メモリバンクに格納するプロセッサと、を含む。
【0009】
前記ＰＩＭモジュールは、前記インラインメモリモジュールを複数のデュアルインラインメモリモジュールで実現し、スケールアウト結合演算をサポートすることができる。
【0010】
前記ＰＩＭモジュールは、前記複数のデュアルインラインメモリモジュールをサブ－グループ化し、前記第２チャンネルのうちの１つと接続することができる。
【0011】
前記ＰＩＭモジュールは、前記複数のデュアルインラインメモリモジュール間の相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介したグローバルパーティショニング（ｇｌｏｂａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行い、前記第１及び第２データセットを配置することができる。
【0012】
前記ＰＩＭモジュールは、前記相互データ移転の過程で前記複数のデュアルインラインメモリモジュール各々のメモリバンクにあるデータに対して、ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。
【0013】
前記ＰＩＭモジュールは、前記複数のデュアルインラインメモリモジュール間にデータセットの単位で特定のデータセットを送受信し、前記ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。
【0014】
前記プロセッサは、前記グローバルパーティショニングを行う前に、前記メインメモリにある前記第１及び第２データセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納することができる。
【0015】
前記プロセッサは、前記ＵＳＧ演算過程でＳＴＳ（Ｓｔｒｅａｍ Ｔｒａｎｓｐｏｓｅ Ｓｅｎｄ）手順を行い、前記メモリバンクに前記第１及び第２データセットを分配することができる。
【0016】
前記メモリプロセッサは、前記結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択することができる。
【0017】
前記メモリプロセッサは、前記作業メモリにハッシュテーブルを生成し、前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げてローカルパーティショニング（ｌｏｃａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行った後、ハッシュ関数で前記ハッシュテーブルに関連付けてハッシュ結合を行うことができる。
【0018】
前記メモリプロセッサは、前記メモリバンクにある第１及び第２データセットに対してレンジパーティショニング（Ｒａｎｇｅ ｐａｒｔｉｔｉｏｎｉｎｇ）、並列適所整列（ｐａｒａｌｌｅｌ ｉｎ－ｐｌａｃｅ ｓｏｒｔ）、及び並列マージ（ｐａｒａｌｌｅｌ ｍｅｒｇｅ）を行ってソート－マージ結合を行うことができる。
【0019】
前記メモリプロセッサは、前記メモリバンクにある第１及び第２データセットを前記作業メモリに上げて各々に対する内部ループ演算を独立して行ってネスト－ループ結合を行うことができる。
【0020】
実施形態のうち、ＰＩＭベースのコンピューティング装置は、第１及び第２ソースデータセットを格納するメインメモリと、各々はメモリプロセッサ、作業メモリ、及びメモリバンクを含むインラインメモリモジュールで構成され、前記メモリプロセッサは前記作業メモリと接続され、前記作業メモリに上げられた第１及び第２加工データセットに対する結合演算を行う複数のＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュールと、前記第１及び第２ソースデータセットを前処理して前記メモリバンクに格納するプロセッサとを含む。
【0021】
前記プロセッサは、前記メインメモリにある前記第１及び第２ソースデータセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、前記メモリバンクに格納することができる。
【0022】
前記複数のＰＩＭモジュールは、前記前処理された第１及び第２ソースデータセットに対して相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介して前記第１及び第２加工データセットを配置することができる。
【0023】
前記複数のＰＩＭモジュールは、前記相互データ移転の過程で前記前処理された第１及び第２ソースデータセットに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。
【発明の効果】
【0024】
開示する技術は、次の効果を有することができる。但し、特定の実施形態が次の効果を全て含まなければならないとか、又は次の効果のみを含まなければならないという意味ではないので、開示する技術の権利範囲はこれによって制限されるものと理解されてはならない。
【0025】
本発明に係る結合演算のアクセラレーションのためのＰＩＭベースのコンピューティング装置は、ＤＩＭＭアーキテクチャと互換できるＰＩＭの結合演算アクセラレーション技法であって、ＩＤＰで結合スループットを最大化し、ＣＰＵの代わりにＤＩＭＭで両テーブルのグローバルパーティショニングを行って、ＤＩＭＭの高い内部メモリ帯域幅と計算スループットを活用することができ、多対多のＩＤＰ間通信を最適化できる。
【図面の簡単な説明】
【0026】
【図1】本発明の一実施形態に係るＰＩＭベースのコンピューティング装置を示す図である。
【図3】本発明に係るＰＩＭベースのコンピューティング装置の結合演算方法の一実施形態を説明するフローチャートである。
【図4】ＰＩＭサポートのデュアルインラインメモリモジュール（ＤＩＭＭ）アーキテクチャを説明する図である。
【図5】様々なハッシュ関数の単一－ＰＩＤ性能を示す図である。
【図6a】ハッシュ結合、ソート－マージ結合、及びネスト－ループ結合のアルゴリズム別の結合実行遅延時間を示す図である。
【図6b】ハッシュ結合、ソート－マージ結合、及びネスト－ループ結合のアルゴリズム別の結合実行遅延時間を示す図である。
【図7】ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算実行過程を説明する図である。
【図8】既存に比べてＲｎＳの相互ＩＤＰ通信の帯域幅を示す図である。
【図9】ＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算の実行過程を説明する図である。
【図10】本発明に係るＰＩＤ－ＪＯＩＮの作業モデルを示す図である。
【図11】本発明に係る実験結果を説明する図である。
【図12】本発明に係る実験結果を説明する図である。
【図13】本発明に係る実験結果を説明する図である。
【図14】本発明に係る敏感度研究結果を説明する図である。
【図15】本発明に係る敏感度研究結果を説明する図である。
【図16】本発明に係る敏感度研究結果を説明する図である。
【図17a】本発明に係る敏感度研究結果を説明する図である。
【図17b】本発明に係る敏感度研究結果を説明する図である。
【発明を実施するための形態】
【0027】
本発明は、下記の研究課題をもって支援を受けて出願された。
［この発明を支援した大韓民国国家研究開発事業］
［課題固有番号］ １７１１１９３９８６
［課題番号］ ２０２０－０－０１３６１－００４
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送革新人材養成
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２３．０１．０１～２０２３．１２．３１
［この発明を支援した大韓民国国家研究開発事業］
［課題固有番号］ １７１１１９３１８７
［課題番号］ ２０２１－０－００８５３－００３
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 新概念ＰＩＭ半導体先導技術開発
［研究課題名］ ＰＩＭ活用のためのＳＷプラットフォーム開発
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２３．０１．０１～２０２３．１２．３１
［この発明を支援した大韓民国国家研究開発事業］
［課題固有番号］ １７１１１９３９８６
［課題番号］ ２０２０－０－０１３６１－００４
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 情報通信放送革新人材養成
［研究課題名］ 人工知能大学院支援（延世大学校）
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２３．０１．０１～２０２３．１２．３１
［この発明を支援した大韓民国国家研究開発事業］
［課題固有番号］ １７１１１９３１８７
［課題番号］ ２０２１－０－００８５３－００３
［省庁名］ 科学技術情報通信部
［課題管理（専門）機関名］ 情報通信企画評価院
［研究事業名］ 新概念ＰＩＭ半導体先導技術開発
［研究課題名］ ＰＩＭ活用のためのＳＷプラットフォーム開発
［寄与率］ １／２
［課題実行機関名］ 延世大学校産学協力団
［研究期間］ ２０２３．０１．０１～２０２３．１２．３１
【0028】
本発明に関する説明は、構造的乃至機能的説明のための実施形態に過ぎないので、本発明の権利範囲は、本文に説明されている実施形態によって制限されるものと解釈されてはならない。すなわち、実施形態は、様々な変更が可能であり、種々の形態を有することができるので、本発明の権利範囲は、技術的思想を実現できる均等物を含むものと理解されなければならない。また、本発明で提示している目的または効果は、特定の実施形態がこれを全て含むべきであるとか、そのような効果だけを含むべきであるという意味ではないので、本発明の権利範囲は、これによって制限されるものと理解されてはならない。
【0029】
一方、本出願で述べられる用語の意味は、次のように理解されなければならない。
【0030】
「第１」、「第２」などの用語は、１つの構成要素を他の構成要素から区別するためのものであって、これらの用語によって権利範囲が限定されてはならない。例えば、第１構成要素は第２構成要素と名付けられてもよく、同様に第２構成要素も第１構成要素と名付けられてもよい。
【0031】
ある構成要素が他の構成要素に「連結されて」いると言及する場合には、その他の構成要素に直接連結されることもあるが、中間に他の構成要素が存在することもあると理解されなければならない。それに対し、ある構成要素が他の構成要素に「直接連結されて」いると言及する場合には、中間に他の構成要素が存在しないものと理解されなければならない。一方、構成要素間の関係を説明する他の表現、すなわち、「～間に」と「すぐ～間に」、又は「～に隣り合う」と「～に直接隣り合う」なども同様に解釈されなければならない。
【0032】
単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含むものと理解されなければならず、「含む」又は「有する」などの用語は、実施された特徴、数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部分品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。
【0033】
各ステップにおいて、識別符号（例えば、ａ、ｂ、ｃなど）は、説明の便宜のために使用されるものであって、識別符号は、各ステップの順序を説明するものでなく、各ステップは、文脈上明白に特定の順序を記載しない限り、明記された順序と異なって生じ得る。すなわち、各ステップは、明記された順序と同一に生じることもあり、実質的に同時に行われることもあり、反対の順序通りに行われることもある。
【0034】
本発明は、コンピュータが読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして実現され、コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが格納される全ての種類の記録装置を含む。コンピュータが読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがある。また、コンピュータが読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータが読み取り可能なコードが格納され、実行され得る。
【0035】
ここで使用する全ての用語は、特に定義されない限り、本発明が属する分野における通常の知識を有する者により一般的に理解されるものと同じ意味を有する。一般的に使用される辞書に定義されている用語は、関連技術の文脈上有する意味と一致するものと解釈されなければならず、本出願において明白に定義しない限り、理想的であるか又は過度に形式的な意味を有するものと解釈できない。
【0036】
図１は、本発明の一実施形態に係るＰＩＭベースのコンピューティング装置を示す図である。
【0037】
図１を参照すると、ＰＩＭベースのコンピューティング装置１００は、メインメモリ１１０、ＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－Ｉｎ－Ｍｅｍｏｒｙ）モジュール１３０、及びプロセッサ１５０を含めて実現されることができる。
【0038】
メインメモリ１１０は、第１及び第２データセットを格納することができる。
【0039】
ＰＩＭモジュール１３０は、メモリプロセッサ１３１、作業メモリ１３３、及びメモリバンク１３５を含むインラインメモリモジュールで構成される。
【0040】
メモリプロセッサ１３１は、作業メモリ１３３と接続され、作業メモリ１３３に上げられた第１及び第２データセットに対する結合演算を行うことができる。ＰＩＭモジュール１３０は、インラインメモリモジュールを複数のデュアルインラインメモリモジュール（ＤＩＭＭ）として実現し、スケールアウト結合演算をサポートすることができる。一実施形態において、ＤＩＭＭの内部には複数個のメモリプロセッサ１３１、作業メモリ１３３、及びメモリバンク１３５が相互接続されるセットで構成されることができる。
【0041】
プロセッサ１５０は、メインメモリ１１０及びＰＩＭモジュール１３０と第１及び第２チャンネルを形成し、第１チャンネルで第１及び第２データセットを取り込んで第２チャンネルでメモリバンク１３５に格納できる。
【0042】
ＰＩＭモジュール１３０は、複数のデュアルインラインメモリモジュール（ＤＩＭＭ）をサブ－グループ化して第２チャンネルのうちの一つと接続できる。ＰＩＭモジュール１３０は、複数のデュアルインラインメモリモジュール（ＤＩＭＭ）間の相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介したグローバルパーティショニング（ｇｌｏｂａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行い、第１及び第２データセットを配置することができる。
【0043】
プロセッサ１５０は、グローバルパーティショニングを行う前にメインメモリ１１０にある第１及び第２データセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行い、メモリバンク１３５に格納できる。プロセッサ１５０は、ＵＳＧ演算を介して第１及び第２データセットをメモリバンク１３５に均等に分配できる。プロセッサ１５０は、ＵＳＧ演算過程でＳＴＳ（Ｓｔｒｅａｍ Ｔｒａｎｓｐｏｓｅ Ｓｅｎｄ）手順を行い、メモリバンク１３５に第１及び第２データセットを分配できる。
【0044】
ＰＩＭモジュール１３０は、グローバルパーティショニングを介して第１及び第２データセットが正しく配置されるので、メモリバンク１３５にあり入力及び出力のデータセットに厳格な順序が必要ではないため、全てのメモリプロセッサ１３１にかけて第１及び第２データセットを均等に分配しなければならない。第１及び第２データセットをメモリバンク１３５に均等に分配するメカニズムとしてＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）を実現することができる。プロセッサ１５０は、ＵＳＧ演算過程でメインメモリ１１０にある第１及び第２データセットに対してストリームを行った後、転置を行ってＰＩＭモジュール１３０に転送することができる。プロセッサ１５０は、メインメモリ１１０とＰＩＭモジュール１３０の両方に対して順次アクセスを行い、第１及び第２データセットをメモリバンク１３５に均等に分配できる。
【0045】
ＰＩＭモジュール１３０は、相互データ移転の過程で複数のデュアルインラインメモリモジュール（ＤＩＭＭ）各々のメモリバンク１３５にあるデータに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。ＰＩＭモジュール１３０は、複数のデュアルインラインメモリモジュール（ＤＩＭＭ）間にデータセットの単位で特定のデータセットを送受信してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。
【0046】
メモリプロセッサ１３１は、結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択することができる。一実施形態において、メモリプロセッサ１３１は作業メモリ１３３にハッシュテーブルを生成し、メモリバンク１３５にある第１及び第２データセットを作業メモリ１３３に上げてローカルパーティショニング（ｌｏｃａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行った後、ハッシュ関数でハッシュテーブルに関連付けてハッシュ結合を行うことができる。一実施形態において、メモリプロセッサ１３１はメモリバンク１３５にある第１及び第２データセットに対してレンジパーティショニング（Ｒａｎｇｅ ｐａｒｔｉｔｉｏｎｉｎｇ）、並列適所整列（ｐａｒａｌｌｅｌ ｉｎ－ｐｌａｃｅ ｓｏｒｔ）、及び並列マージ（ｐａｒａｌｌｅｌ ｍｅｒｇｅ）を行ってソート－マージ結合を行うことができる。一実施形態において、メモリプロセッサ１３１はメモリバンク１３５にある第１及び第２データセットを作業メモリ１３３に上げて各々に対する内部のループ演算を独立して行ってネスト－ループ結合を行うことができる。
【0047】
ＰＩＭベースのコンピューティング装置１００は、複数のＰＩＭモジュール１３０を含めて実現されることができる。この場合、複数のＰＩＭモジュール１３０の各々はメモリプロセッサ１３１、作業メモリ１３３、及びメモリバンク１３５を含むインラインメモリモジュールで構成されることができる。メインメモリ１１０は、第１及び第２ソースデータセットを格納することができる。プロセッサ１５０は、第１及び第２ソースデータセットを前処理してメモリバンク１３５に格納することができる。ここで、プロセッサ１５０はメインメモリ１１０にある第１及び第２ソースデータセットに対して前処理としてＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行うメモリバンク１３５に格納することができる。メモリプロセッサ１３１は、作業メモリ１３３に上げられた第１及び第２加工データセットに対する結合演算を行うことができる。
【0048】
複数のＰＩＭモジュール１３０は、前処理された第１及び第２ソースデータセットに対して相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介して第１及び第２加工データセットを配置することができる。複数のＰＩＭモジュール１３０は、相互データ移転の過程で前処理された第１及び第２ソースデータセットに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。
【0049】
【0050】
図２ａ乃至２ｃを参照すると、メモリプロセッサ１３１は作業メモリ１３３に上げられた第１及び第２データセットに対する結合演算を行うことができる。ここで、メモリプロセッサ１３１は結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択して行うことができる。
【0051】
ハッシュ結合はハッシュテーブルを使用して第１及び第２データセットに対する結合を行う。具体的に、図２ａを参照すると、メモリプロセッサ１３１は作業メモリ１３３にハッシュテーブル（Ｈａｓｈ Ｔａｂｌｅ）を生成する。ハッシュテーブルは、キー（Ｋｅｙ）と値（Ｖａｌｕｅ）との組（Ｋｅｙ，Ｖａｌｕｅ）で構成される。ここで、組のキーと値は、各々結合キーと第１データセットであるＲタプルのタプルＩＤに該当し得る。メモリプロセッサ１３１はメモリバンク１３５にある第１及び第２データセット（Ｒ，Ｓ）を作業メモリ１３３に上げてローカルパーティショニング（Ｌｏｃａｌ Ｐａｒｔｉｔｉｏｎ）を行う。その次に、メモリプロセッサ１３１はハッシュ関数でハッシュテーブル２１０に関連付けてハッシュ結合を行う。メモリプロセッサ１３１は第２データセットであるＳタプルでハッシュテーブルをプローブ（Ｐｒｏｂｅ）し、当該ハッシュテーブルの項目でＲタプルを識別して、両タプルが与えられた結合条件子を満たすかを検査する。
【0052】
メモリプロセッサ１３１はハッシュ結合を行う過程でハッシュテーブルの項目がよくアクセスされるので、ハッシュテーブルを作業メモリに生成することによって、遅いメモリバンク１３５に対してアクセスが発生しない。
【0053】
ソート－マージ結合は、メモリバンク１３５にある第１及び第２データセット（Ｒ，Ｓ）に対してレンジパーティショニング（Ｒａｎｇｅ ｐａｒｔｉｔｉｏｎｉｎｇ）、並列適所整列（ｐａｒａｌｌｅｌ ｉｎ－ｐｌａｃｅ ｓｏｒｔ）、及び並列マージ（ｐａｒａｌｌｅｌ ｍｅｒｇｅ）を行って結合を行う。具体的に、図２ｂを参照すると、メモリプロセッサ１３１は第１及び第２データセットであるＲ及びＳタプルを整列してから併合し、結合演算を行う。メモリプロセッサ１３１は作業メモリ１３３内の作業集合を合わせるために、同じ結合キー値のレンジを有するタプルをグループ化するレンジパーティショニングを行う。その次に、メモリプロセッサ１３１は互いに異なるスレッドに互いに異なるパーティションを割り当てて、割り当てられたパーティションを同時に整列する並列適所整列を行う。このとき、メモリプロセッサ１３１は内部整列アルゴリズムを使用し、作業セットのサイズが作業メモリ１３３の容量を超えないようにする。その後、メモリプロセッサ１３１はＳパーティションのタプルをＲパーティションと併合する。
【0054】
ネスト－ループ結合は、メモリバンク１３５にある第１及び第２データセットを作業メモリ１３３に上げて、各々に対する内部ループ演算を独立して行う。具体的に、図２ｃを参照すると、外部ループはＳタプルをスキャンし、内部ループはＲタプルをスキャンする。メモリプロセッサ１３１はＲタプルを格納するのに必要な作業メモリ１３３のバッファ量を検査し、各スレッドにタプルを格納するために作業メモリ１３３に循環バッファを割り当てる。その次に、メモリプロセッサ１３１はＳタプルを作業メモリ１３３に上げて、循環バッファをＲタプルで満たされ、Ｒ及びＳタプルに対する結合を行う。
【0055】
図３は、本発明に係るＰＩＭベースのコンピューティング装置の結合演算方法の一実施形態を説明するフローチャートである。
【0056】
図３を参照すると、ＰＩＭベースのコンピューティング装置１００は、メインメモリ１１０に第１及び第２データセットを格納することができる（ステップＳ３１０）。
【0057】
ＰＩＭベースのコンピューティング装置１００は、プロセッサ１５０を介してメインメモリ１１０及びＰＩＭモジュール１３０とチャンネルを形成することができる（ステップＳ３３０）。プロセッサ１５０は、メインメモリ１１０及びＰＩＭモジュール１３０と第１及び第２チャンネルを形成し、第１チャンネルで第１及び第２データセットを取り込んで第２チャンネルでＰＩＭモジュール１３０内のメモリバンク１３５に格納できる。プロセッサ１５０は、メインメモリ１１０にある第１及び第２データセットに対してＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を行ってメモリバンク１３５に格納できる。
【0058】
ＰＩＭベースのコンピューティング装置１００は、ＰＩＭモジュール１３０のメモリプロセッサ１３１で作業メモリ１３５に上げられた第１及び第２データセットに対する結合演算を行うことができる（ステップＳ３５０）。ＰＩＭモジュール１３０は、メモリプロセッサ１３１、作業メモリ１３３、及びメモリバンク１３５を含むインラインメモリモジュールで構成されることができる。ＰＩＭモジュール１３０は、インラインメモリモジュールを複数のデュアルインラインメモリモジュールとして実現し、スケールアウト結合演算をサポートすることができる。ＰＩＭモジュール１３０は、複数のデュアルインラインメモリモジュール間の相互データ移転（ｉｎｔｅｒ ｄａｔａ ｒｅｌｏｃａｔｉｏｎ）を介したグローバルパーティショニング（ｇｌｏｂａｌ ｐａｒｔｉｔｉｏｎｉｎｇ）を行って第１及び第２データセットを配置することができる。ＰＩＭモジュールは、相互データ移転の過程で複数のデュアルインラインメモリモジュール各々のメモリバンク１３５にあるデータに対してＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。ＰＩＭモジュール１３０のメモリプロセッサ１３１は、結合演算としてハッシュ結合、ソート－マージ結合又はネスト－ループ結合を選択して行うことができる。
【0059】
以下、図４乃至１７ｂを参照して、本発明に係るＰＩＭベースのコンピューティング装置についてより詳しく説明する。
【0060】
図４は、ＰＩＭサポートのデュアルインラインメモリモジュールアーキテクチャを説明する図である。
【0061】
図４を参照すると、ＰＩＭサポートのデュアルインラインメモリモジュール（ＰＩＭ－ｅｎａｂｌｅｄ Ｄｕａｌ ｉｎ－ｌｉｎｅ ｍｅｍｏｒｙ ｍｏｄｕｌｅ；ＤＩＭＭ）４００は、メモリバンク４１０にメモリプロセッサ（Ｉｎ－ＤＩＭＭ Ｐｒｏｃｅｓｓｏｒ；ＩＤＰ）４３０を接続し、本発明のＰＩＭモジュール１３０をサポートすることができる。
【0062】
ＤＩＭＭ４００は複数のチップ（Ｃｈｉｐ）で構成され、各チップは複数のバンク（Ｂａｎｋ）で構成される。ＤＩＭＭ４００はチップをランク（Ｒａｎｋ）にグループ化し、順次のデータ片をランクのうちの１つに格納する。ここで、ランクは同じ制御信号を共有するチップの集合を意味する。ＤＩＭＭ４００は、ＩＤＰ４３０を各々の６４ＭＢメモリバンク４１０に接続し、ＰＩＭモジュール１３０を実現することができる。ＩＤＰ４３０は、メモリバンク４１０に格納されたデータを直接アクセスすることができず、作業メモリ（Ｗｏｒｋｉｎｇ ＲＡＭ；ＷＲＡＭ）４５０としてデータを上げなければならない。
【0063】
各ＩＤＰ４３０はメモリバンク４１０に格納されたデータをＷＲＡＭ４５０に上げなければアクセスできないので、他のメモリバンクに格納されたデータに直接アクセスできない。ホストＣＰＵであるプロセッサ１５０は、互いに異なるＩＤＰ４３０のメモリバンク４１０間にデータを転送しなければならない。かかるＣＰＵベースのＩＤＰ４３０間通信は、制限されたホストＣＰＵ帯域幅を使用し、顕著な性能オーバーヘッドを発生させる。ＤＩＭＭ４００のランクレベル並列処理により、慎重なＩＤＰ４３０間通信の最適化なしでは性能のオーバーヘッドがますます大きくなることがある。ＩＤＰ４３０間にデータを転送するとき、ソース及び宛先ＩＤＰの同じランクに属する他の全てのＩＤＰはデータを転送しなければならず、当該ランクのＩＤＰは同期化方式で作動する。従って、ＤＩＭＭ４００を効率的に活用するための最適化ガイドラインのうちの１つは、ＩＤＰ間通信を最小化することである。
【0064】
本発明では、ＰＩＭを使用して結合演算の性能を極大化するためにＤＩＭＭ４００アーキテクチャ特性を活用する新しいＰＩＭサポートの結合アルゴリズム（以下、「ＰＩＤ－ＪＯＩＮ」という）を提示する。本発明で提案したＰＩＤ－ＪＯＩＮ方式は、実際のコンピューティングシステムに適用して評価できる。
【0065】
本発明で提案したＰＩＤ－ＪＯＩＮ方式は、第１及び第２データセットに対して結合演算を行うことができる。ここで、第１及び第２データセットは各々Ｒ及びＳタプルに該当し得る。Ｒ及びＳタプルはメモリバンク４１０に格納される。結合演算としてハッシュ結合、ソート－マージ結合、ネスト－ループ結合の３つの代表的な類型の等価結合アルゴリズムをプロトタイプして評価できる。アルゴリズムを設計した後、合成ワークロードと性能を比較し、最も性能の良いアルゴリズムを選択することができる。性能の比較のために、ＩＤＰ４３０が等価結合クエリーを処理すると仮定する。さらに、すべてのキーが初期にメモリバンク４１０に格納され、等価結合クエリーの結果、タプルがメモリバンク４１０に格納されると仮定する。
【0066】
高い結合性能を達成するために、単一のＩＤＰ結合アルゴリズムは次のようなＩＤＰの主要なアーキテクチャ特性に合わせて最適化されなければならない。第一に、ＩＤＰはＷＲＡＭに格納されたデータにのみアクセスできるため、アルゴリズムはＷＲＡＭの６４ＫＢ容量内で作業セットに合わなければならない。作業セットのサイズがＷＲＡＭ容量を超えると、ＩＤＰはＷＲＡＭとメモリバンクとの間の頻繁なデータ転送により性能が低下することがある。第二に、アルゴリズムはＩＤＰの内部メモリ帯域幅を最大化するために、サイズが最大２ＫＢ以上である大きな順次データチャンクを転送しなければならない。ＤＲＡＭベースのメモリバンクは、より大きな順次データアクセスにより高い帯域幅を提供するため、ＷＲＡＭは小さいかランダムにデータアクセスをフィルタリングするのに使用しなければならない。第三に、ＩＤＰの制限されたコンピューティング機能により、アルゴリズムはＩＤＰが基本ハードウェアをサポートする演算（例えば、整数の追加）を使用しなければならない。ＩＤＰはエミュレーションを介して整数乗算／除算及び浮動小数点演算のような非固有演算をサポートする。しかし、ネイティブではない作業ではるかに低い計算スループットを達成する。
【0067】
ハッシュ結合アルゴリズムは、ハッシュテーブルを利用して両テーブル、すなわち、Ｒ及びＳに対する結合を行う。ハッシュ結合アルゴリズムは、まずＲのタプルでハッシュテーブルを生成する。ハッシュテーブルは（キー、値）の対で構成される。組のキーと値は、各々元の結合キーとＲタプルのタプルＩＤに該当する。その次に、ハッシュ結合アルゴリズムは、Ｓのタプルでハッシュテーブルをプローブし、当該ハッシュテーブルの項目でＲのタプルを識別し、両方のタプルが与えられた結合条件子を満たすかどうかを検査する。
【0068】
単一のＩＤＰハッシュ結合アルゴリズムは、アーキテクチャ特性を最大限に活用するために、ハッシュテーブルを作業メモリに生成し、ワークメモリの制限された容量に関して、Ｒでローカルパーティショニングを行った後、パーティションに対するハッシュテーブルを構築して検索し、Ｒの各パーティションを処理する。Ｒの全てのタプルを含む単一のハッシュテーブルを構築すると、ハッシュテーブルがメモリバンクに し、メモリバンクアクセスが発生する。ハッシュ結合アルゴリズムは、ＩＤＰが基本的にサポートする作業のＩＤＰに優しいハッシュ関数を使用して高い計算スループットを達成することができる。ハッシュ結合アルゴリズムは衝突処理方法として線形プローブを使用する。
【0069】
図５は、様々なハッシュ関数の単一－ＰＩＤ性能を示す図であって、評価されたハッシュ関数のハッシングスループットと衝突率を示す。
【0070】
図５を参照すると、整数乗算を活用するハッシュ関数、すなわち、多重移動（Ｍｕｌｔ）、多重追加移動（ＭｕｌｔＡｄｄ）、及びＭｕｒｍｕｒは、ＩＤＰの基本ハードウェアのサポート不足により、低いハッシュスループットを達成する。他の３つのハッシュ関数、すなわち、Ｔａｂｕｌａｔｉｏｎ、ＯＡＴ、及びＣＲＣ３２は、ＸＯＲベースの作業を活用するので、はるかに高いハッシュスループットを達成する。また、１２８－Ｋのランダムに生成されたタプルでハッシュテーブルを構築して探索する間に発生したハッシュ衝突数を測定してハッシュ関数の衝突率を比較した結果、ＯＡＴ及びＣＲＣ３２はＴａｂｕｌａｔｉｏｎより低い衝突率を達成することを示している。しかし、追加の測定を介して、Ｔｕｂｕｌａｔｉｏｎのハッシングスループットが高いほど衝突率が高く、速度が最も速くなることが分かった。
【0071】
ソート－マージ結合アルゴリズムは、まず、Ｒ及びＳタプルを整列した後に併合する。本発明で結合演算に使用されるソート－マージ結合アルゴリズムは、ＩＤＰの構造的特性に関して、レンジパーティショニング、並列適所整列、及び並列マージを行う。レンジパーティショニングは、ＷＲＡＭ内の作業集合に合わせるために、同じ結合キー値のレンジを有するタプルをグループ化するのに使用する。レンジパーティショニングの場合、互いに異なるパーティションが固有の結合キー値のレンジを有するようにするため、１つのパーティションのタプルを整列することは、他のパーティションのタプルと独立する。よって、並列適所整列を介して互いに異なるスレッドに互いに異なるパーティションが割り当てられた後、スレッドは割り当てられたパーティションを同時に整列する。また、内部整列アルゴリズムを使用して作業セットのサイズがＷＲＡＭ容量を超えないようにする。ソート－マージ結合アルゴリズムは、また、Ｒ及びＳタプルを併合するためにマルチスレッドサポートを利用して様々なＲ及びＳパーティションをＷＲＡＭにロードした後、ＲパーティションをＩＤＰの他のスレッドに割り当てて１つのＳパーティションのタプルを全てのＲ パーティションと併合する。このアルゴリズムは早い整列を使用する。
【0072】
ネスト－ループ（Ｎｅｓｔｅｄ－Ｌｏｏｐ）結合アルゴリズムは、ネスト－ループを使用してＲ及びＳタプルの全ての組で結合条件子を繰り返し評価する。メモリバンクの帯域幅を最大化するために、当社のネスト－ループ結合アルゴリズムはＲの全てのタプルがＷＲＡＭに入ることができるかどうかに応じて、Ｒタプルを仮に格納するバッファに異なる量のＷＲＡＭを割り当てて、ＷＲＡＭとメモリバンクとの間のデータ転送量を最小化する。Ｒの全てのタプルがＷＲＡＭに収まると、ネスト－ループ結合アルゴリズムは、容量がタプルの容量と一致するＷＲＡＭバッファを割り当てて、Ｒの全てのタプルをバッファにロードし、残りのＷＲＡＭバッファを活用してＳタプルをストリーミングする。そうでない場合、Ｓタプルを格納するためにほとんどのＷＲＡＭを割り当てて、残りのＷＲＡＭをＲタプルに対する循環バッファとして使用する。
【0073】
本発明で提案したＰＩＤ－ＪＯＩＮ方式は、最高性能の単一のＩＤＰ結合アルゴリズムを識別するために、単一のＩＤＰで３つの単一のＩＤＰ結合アルゴリズムの結合実行の待ち時間を比較できる。
【0074】
【0075】
図６ａ及び６ｂを参照すると、ハッシュ結合アルゴリズムは全ての実験で最も早く、ＷＲＡＭを効率的に使用してＷＲＡＭとメモリバンクとの間のデータ転送を最小化し、最高の性能を達成した。これに対し、他の結合アルゴリズムは頻繁なメモリバンクアクセスのため困難を経験した。ハッシュ関数の側面でＴＡＢを使用すると、ＯＡＴまたはＣＲＣ３２を使用するよりも結合処理速度が速くなることがある。ＴａｂｕｌａｔｉｏｎはＯＡＴおよびＣＲＣ３２よりも高い衝突率を達成するが、より高いハッシングスループットはより高い衝突率によるペナルティを緩和することができる。
【0076】
ＰＩＭサポートのＤＩＭＭを最大限に活用するためには、単一のＩＤＰハッシュ結合アルゴリズムを最小６４個のＩＤＰで構成された全体ランクに拡張しなければならない。ランクレベルの拡張は、必然的にパーティショニングの問題につながる。単一のＩＤＰ結合アルゴリズムは、Ｒ及びＳ全体がメモリバンクに格納されていると仮定する。しかし、ランク全体に拡張するためには、まず、各ＩＤＰが一組のＲ及びＳパーティションのみ処理し、パーティション間に従属性がないようにテーブルをパーティショニングしなければならない。グローバルパーティショニングともいうパーティショニングステップは、同じハッシュキーの範囲に属する全てのタプルが同じＩＤＰに属するように、両テーブルのタプルをＩＤＰに配布する。
【0077】
ＩＤＰの非共有アーキテクチャにより、ホストＣＰＵの介入はＩＤＰ間通信に不可避である。この特性は膨大な量のオーバーヘッドを発生させ、性能のボトルネック現象になる。従って、早いＩＤＰ間通信に対する主要な課題は、ＤＩＭＭのデータレイアウトである。ランクにある複数のチップ間のバイト方式のインターリービングにより、ホストＣＰＵはＰＩＭサポートのＤＩＭＭから取得したソースデータを解釈できない。これを解決するために、ＤＩＭＭの既存のカーネルモジュールはＣＰＵで受信された全てのキャッシュラインに対してバイトレベルの転置作業を行うことができるが、ＣＰＵに多くの計算負担を与えるため、性能のボトルネック現象になる。
【0078】
本発明で提案したＰＩＤ結合方式は、既存のＩＤＰ間通信の高い待ち時間と低い帯域幅を解決するために、ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算を行うことができる。パーティショニング動作を少し調整すると、ＣＰＵの負担を単一回転に大幅に減らすことができる。また、回転は単一のキャッシュライン内で発生する。これにより、ＩＤＰ間通信のためのデータをメインメモリに転送せずにレジスタにのみ保管できるため、メインメモリのアクセスが必要なく、ベクトルストリーミングが可能である。
【0079】
図７は、ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）演算の実行過程を説明する図である。
【0080】
図７を参照すると、各々８バイトのタプル８個を送受信する８個のＩＤＰの例と共にＲｎＳを示す。８個のＩＤＰ間で単一のタプルが送受信される。パーティショニングステップでは、各ＩＤＰは、ねじれた順に分割ストレージを構成する。パーティショニングビンが常に０から始める対象チップＩＤによって整列される既存のＩＤＰ間通信とは異なり、ＲｎＳの場合、まず自分を対象とするビンを配置した後、昇順に配置する。例えば、チップ（Ｃｈｉｐ）０のパーティションは０、１、２、．．．、７の順に格納され、チップ（Ｃｈｉｐ）７のパーティションは７、０、１、．．．、６の順に格納される。その次に、単一の６４バイトのキャッシュラインサイズのデータブロックをバイトレベルの転置なしでメインプロセッサから読み込む。キャッシュラインは、８個のチップ各々の最初の８バイトを含むが、垂直に整列する同じ色相のタプルで描かれるバイトインターリービング方式である。その後、６４バイトブロック（Ｎ番目のチップはＮバイト）の各々に対してビット回転を実行すると、最後にデータをＰＩＭサポートのＤＩＭＭに転送するだけでＩＤＰ間通信が可能になる。
【0081】
回転は６４バイトのキャッシュライン内で発生するため、５１２ビットのＳＩＭＤレジスタに収まることがある。これにより、ベクトルコマンドを使用して効率的な回転が可能であり、より重要なことは、メインメモリが必要ではないということである。また、キャッシュアクセスオーバーヘッドは、非時間的ストリーミング作業でキャッシュにストリーミングすることによって最小化することができる。ここで、ＲｎＳの実現は、ホストＣＰＵキャッシュを汚染しない非一時的なストリームロードの命令＿ｍｍ５１２＿ｓｔｒｅａｍ＿ｌｏａｄ＿ｓｉ５１２（）を使用して、ＰＩＭサポートのＤＩＭＭで６４バイトのデータをロードする。回転は＿ｍｍ５１２＿ｒｏｌ＿ｅｐｉ６４（）の命令を使用してその場で実行される。その次に、データがＤＩＭＭに書き戻されると、データをキャッシュに書き込むことなくＤＩＭＭに直接アクセスするストリーム格納作業＿ｍｍ５１２＿ｓｔｒｅａｍ＿ｓｉ５１２（）を使用する。
【0082】
図８は、既存に比べてＲｎＳの相互ＩＤＰ通信の帯域幅を示す図である。
【0083】
図８の（ａ）は、単一ランクの６４個のＩＤＰ間で転送される総データ量を３２ＭＢから２ＧＢに変更して帯域幅を示す。帯域幅の側面でＲｎＳはホストＣＰＵの計算量が減り、データがメインメモリに流出しないため、幾何平均で既存の方法より６．２３倍さらに優れていることを示す。図８の（ｂ）は、使用可能なＣＰＵコア数が減る場合に性能がどのように低下するかを示す。ＲｎＳは、ＣＰＵへの依存度が低いため、既存のＩＤＰ間通信よりも使用可能な計算リソースにあまり敏感ではないことを示す。ＲｎＳを行うためには、各ＩＤＰが転送するデータをパケット単位で準備しなければならない。ＰＩＭサポートのＤＩＭＭを活用するためには、単一ランクのＩＤＰ間通信を複数のランク及びＤＩＭＭに拡張しなければならない。本発明で提案したＰＩＤ－ＪＯＩＮ方式は、並列ＲｎＳアクセス方式を取ることができる。
【0084】
本発明で提案したＰＩＤ－ＪＯＩＮ方式は、グローバルパーティショニングが正しいＩＤＰに配置するため、ＤＩＭＭのメモリバンクにある入力及び出力のタプルに厳格な順序が必要ではない。ＰＩＤ－ＪＯＩＮ方式では、全てのＩＤＰにかけてＲ及びＳタプルを均等に配布する。ＰＩＤ－ＪＯＩＮ方式は、メインメモリに対する任意のアクセスを要求せず、Ｒ及びＳタプルをＩＤＰに均等に分配するメカニズムであるＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算を実現する。
【0085】
図９は、ＵＳＧ（Ｕｎｏｒｄｅｒｅｄ Ｓｃａｔｔｅｒ－Ｇａｔｈｅｒ）演算の実行過程を説明する図であって、特に散乱過程を示す。
【0086】
図９を参照すると、ＵＳＧの作業モデルは６４バイトのタプルをストリーミング方式で５１２ビットのベクトルレジスタに直接ロードし、メインメモリの様々な領域で不要な小さいロードを除去する。その次に、単純にバイトレベルの転置を行った後、ＰＩＭサポートのＤＩＭＭに転送すると、転送が完了する。既存のＩＤＰ方式のデータ転送は、タプルを正確な対象ＩＤＰに転送しなければならないという制限があるのに対し、ＵＳＧは領域分割を含まない。結果として、ＵＳＧはメインメモリとＰＩＭサポートのＤＩＭＭの全てに対して順次アクセスを行うのに対し、タプルはＩＤＰに均等に分配できる。
【0087】
図１０は、本発明に係るＰＩＤ－ＪＯＩＮの作業モデルを示す図である。
【0088】
図１０を参照すると、本発明に係るＰＩＤ－ＪＯＩＮ方式はＣＰＵ（Ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及びＰＩＭ（Ｐｒｏｃｅｓｓｉｎｇ－ｉｎ－ｍｅｍｏｒｙ）サポートのＤＩＭＭ（Ｄｕａｌ ｉｎ－ｌｉｎｅ ｍｅｍｏｒｙ ｍｏｄｕｌｅ）間のＵＳＧ及びＲｎＳ演算を行い、両テーブルのＲ及びＳに対して結合演算を行うことができる。
【0089】
まず、ＣＰＵはメインメモリにあるＲ及びＳタプルに対してＵＳＧ演算を行ってＰＩＭサポートのＤＩＭＭに均等に分配する（（１））。その次に、ＰＩＭサポートのＤＩＭＭのＩＤＰ（Ｉｎ－ＤＩＭＭ Ｐｒｏｃｅｓｓｏｒ）は各々自分のＲ及びＳタプルに対してグローバルパーティショニングを行って、各パーティションのタプルをグループ化し、ＲｎＳ用パケットを形成する（（２））。ＰＩＭサポートのＤＩＭＭの間ではＲｎＳを使用して多対多（ａｌｌ－ｔｏ－ａｌｌ）の相互ＩＤＰ通信を行って、同じハッシュキー値を有するＲ及びＳタプルが同じＩＤＰに転送されるようにする（（３））。その後、ＩＤＰはＲ及びＳタプルで単一のＩＤＰハッシュ結合アルゴリズムを実行し、結合の結果、タプルを生成する（（４））。結果、タプルはＵＳＧ演算の実行を介してメインメモリに転送する（（５））。
【0090】
ＣＰＵベースの基本システムにおける既存のＣＰＵベースの結合アルゴリズムとＰＩＭサポートのシステムにおける結合実行遅延時間とを比較し、本発明で提案したＰＩＤ－ＪＯＩＮ方式を評価する。ワークロードの場合、インメモリ結合の加速化に対する多様な先行研究から派生したワークロードセットを使用する。多様なタプル数とＺｉｐｆ係数を有する両テーブルのＲ及びＳで結合実行遅延時間を測定する。各タプルは、３２ビットの整数結合キーと３２ビットのタプルＩＤで構成される。また、ＳのＺｉｐｆ ｆａｃｔｏｒを結合性能評価に使用される代表的なＺｉｐｆ ｆａｃｔｏｒである０．００、０．２５、０．５０、０．７５で構成し、歪曲されたテーブルの影響を評価する。
【0091】
まず、均一なＲ及びＳを使用してＣＰＵベースの結合アルゴリズムと比較し、本発明に係るＰＩＤ－ＪＯＩＮ方式の実行遅延時間を評価する。各々ＣＰＵベースの結合アルゴリズムとしてネスト－ループ結合はＳＱＬｉｔｅ、ソート－マージ結合はＭ－ＰＡＳＳ、ハッシュ結合はＰＲＯ及びＰＲＨＯを選択する。ＰＩＤ－ＪＯＩＮ方式の場合、単一のＩＤＰハッシュ結合アルゴリズムの他に単一のＩＤＰソート－マージ及びネスト－ループ結合アルゴリズムを含む。ＲｎＳ及びＵＳＧは、３個の単一のＩＤＰ結合アルゴリズムに全て適用される。
【0092】
図１１は、均一なＲ、Ｓ、及び可変｜Ｒ｜：｜Ｓ｜の比率を使用するＣＰＵベースの結合アルゴリズム及びＰＩＤ－ＪＯＩＮ方式の結合実行遅延時間の実験結果を示す図である。
【0093】
図１１を参照すると、実験結果は、本発明に係るＰＩＤ－ＪＯＩＮ方式がＩＤＰの高い内部メモリ帯域幅と計算スループットを効率的に活用し、全てのワークロードでＣＰＵベースの結合アルゴリズムよりも性能に優れていることを示す。これに対し、ＣＰＵベースの結合アルゴリズムは、ホストＣＰＵとメインメモリとの間でデータを転送する過程で制限されたメモリ帯域幅の問題を経験する。評価された結合アルゴリズムのうち最も早い単一－ＩＤＰハッシュ結合アルゴリズムを適用したＰＩＤ－ＪＯＩＮ方式の場合、ＰＲＨＯより１．９２倍の幾何平均速度の向上を達成する。図１１の（ａ）を見ると、本発明に係るＰＩＤ－ＪＯＩＮ方式は、ＰＲＨＯより２．２７倍の幾何平均速度の向上を達成するのに対し、速度の向上は６４Ｍタプルで１．６倍である。ＰＩＤ－ＪＯＩＮ方式の大きい速度の向上は、主にＰＩＭサポートのＤＩＭＭを使用する早いハッシュテーブルのビルド及びプローブのためである。
【0094】
図１２及び１３は、ＰＩＤ－ＪＯＩＮ方式の結合実行遅延時間の分析結果を示す図である。
【0095】
図１２を参照すると、単一のＩＤＰハッシュ結合アルゴリズムのみ適用するとき、平均総待ち時間の９２．４％を占める高いＩＤＰ間及びホストＤＩＭＭデータ転送のオーバーヘッドにより、１．６２倍の幾何平均速度の低下が観察される。ＩＤＰ間通信及びホスト－ＤＩＭＭ通信は、各々１．７９ＧＢ／ｓ及び１．７７ＧＢ／ｓに過ぎず、かなりの遅延時間が発生する。ＲｎＳを適用すると、全体ＩＤＰ間通信が最適化され、ＰＲＨＯより幾何平均速度が１．１５倍向上する。ランク別ＵＳＧを適用すると、ホスト－ＤＩＭＭデータ転送が最適化され、ＰＲＨＯより幾何平均速度が２．２７倍向上する。｜Ｒ｜：｜Ｓ｜の比率が高まると、ＰＲＨＯ及びＰＩＤ－ＪＯＩＮ方式の遅延時間が小さくなるため、Ｒが減る。それにもかかわらず、速度の向上は相対的に一定に維持される。｜Ｒ｜：｜Ｓ｜の比率が１：１の場合、幾何平均速度の増加は２．４３倍であり、１：３２の場合、幾何平均速度の増加は２．２１倍である。
【0096】
ＳのＺｉｐｆ係数を０から０．７５に調整し、歪曲されたテーブルでＰＩＤ－ＪＯＩＮの堅固さを評価することができる。ＰＩＤ－ＪＯＩＮ方式はハッシングでグローバルパーティショニングを行うため、歪度が高いと、ＩＤＰ間にロードの不均衡が発生し得る。
【0097】
図１３を参照すると、ＰＩＤ－ＪＯＩＮがＺｉｐｆ係数０．７５を除いて偏向したテーブルに強いことを示す。しかし、Ｚｉｐｆ係数が０．７５である場合、ＰＩＤ－ＪＯＩＮの実行遅延時間は、ＰＲＨＯより低く維持される。これに対し、ＰＲＨＯの実行遅延時間は、Ｚｉｐｆ係数が大きいほど少し減少する。これは、Ｓ内の重複タプルが増加したためである。重複タプルは、同じハッシュ値を生成し、ハッシュテーブルの同じ項目を参照する。ＰＩＤ－ＪＯＩＮで重複タプルはグローバルパーティショニングが重複タプルを同じＩＤＰに割り当てるため、ＩＤＰ間に不均衡を誘発し得る。重複タプルを変更して他のハッシュ値を生成するスキュー処理方法を使用し、ＩＤＰ間のこのようなロードの不均衡を緩和できることが予想される。
【0098】
次に、本発明に係るＰＩＤ－ＪＯＩＮ方式のシステム費用をＣＰＵベースのＰＲＨＯのシステム費用と比較する。
【0099】
比較のために、まず、ＰＩＭサポート及びＣＰＵベースの基本システムの製造メーカーの希望小売価格（ＭＳＲＰ）を収集して合算できる。その次に、当該システム費用を実験で達成した最大の結合処理スループット（すなわち、タプル／ｓ）に分けて、２つの結合アルゴリズムの性能当たりのシステム費用を得ることができる。
【0100】
比較の結果、ＰＩＤ－ＪＯＩＮがＰＲＨＯより２６．９％さらに低い性能当たりのシステム費用を達成した。ＰＩＤ－ＪＯＩＮは＄４，０２０のＰＩＭサポートのシステムで最大１５８．４Ｍタプル／秒を達成する。しかし、基本システムのＰＲＨＯは、最大６５．２Ｍタプル／秒を達成する。結果は、ＰＩＤ－ＪＯＩＮがＣＰＵベースの結合アルゴリズムよりＲＤＢＭＳに魅力的な選択になり得ることを示す。
【0101】
敏感度研究（Ｓｅｎｓｉｔｉｖｉｔｙ Ｓｔｕｄｉｅｓ）
【0102】
ＲｎＳ（Ｒｏｔａｔｅ－ａｎｄ－Ｓｔｒｅａｍ）のバケットサイズの影響
【0103】
ＲｎＳのパケットサイズがａｌｌ－ｔｏ－ａｌｌ ｉｎｔｅｒ－ＩＤＰ通信の帯域幅に及ぼす影響を研究するために、多様なサイズのＳ（６４Ｍ、１２８Ｍ、２５６Ｍ及び５１２Ｍタプル）で５個のパケットサイズ（８、１６、３２、６４、及び１２８バイト）で総帯域幅、有効帯域幅及びフィルレートを測定する。総帯域幅はヌルパケットを含む帯域幅で測定されるのに対し、有効帯域幅はヌルパケットを除く。フィルレートは２つの帯域幅値間の比率である。
【0104】
図１４は、パケットサイズに応じてＲｎＳの帯域幅がどのように変わるかを示す。前記で言及したように、ＲｎＳは８バイトパケット（８個のＩＤＰを含むランクの場合６４バイト）を使用して早いＩＤＰ間通信を達成する。理想的に総帯域幅は８バイトより大きいパケットサイズで一定に維持されなければならない。より大きいパケットサイズは、順次のメモリバンクのアクセスから利点を得る。しかし、パケットサイズが大きいほどフィルレートの減少により有効帯域幅が少し減少する。
【0105】
ＰＩＭカーネル呼出のオーバーヘッド
【0106】
ＰＩＤ－ＪＯＩＮのスループットに対するＰＩＭカーネル呼出のオーバーヘッドの影響を分析する。全てのＰＩＭカーネル呼出は、ＰＩＭサポートのシステムで約１２ｍｓの待ち時間のオーバーヘッドを発生させる。ＰＩＤ－ＪＯＩＮはパーティショニング、ハッシュテーブルのビルド及びハッシュテーブルの検索のために、互いに異なるＰＩＭカーネルを呼び出すため、全体のＰＩＭカーネル呼出のオーバーヘッドは一定に維持される。オーバーヘッドがＰＩＤ－ＪＯＩＮの性能利点を相殺しないようにするためには、ＰＩＭカーネルにテーブルサイズと関連して増加する充分な量の作業がなければならない。
【0107】
図１５は、多様なサイズのＲ及びＳに対するＰＩＭカーネル呼出のオーバーヘッドの影響を示す。結合実行待ち時間に対する呼出のオーバーヘッドの寄与度は、テーブルサイズが増加するにつれて減少する。呼出のオーバーヘッドは２５６Ｍタプルで無視してもよい。しかし、呼出のオーバーヘッドは、６４Ｍタプルで１４．９％を占める。オーバーヘッドにもかかわらず、依然としてＰＩＤ－ＪＯＩＮは評価された全てのワークロードに対して持続的にＰＲＨＯを上回る。
【0108】
衝突処理方法
【0109】
ＰＩＤ－ＪＯＩＮの単一のＩＤＰハッシュ結合アルゴリズムは、衝突処理のために線形プローブ（ＬＰ）を使用する。しかし、ＬＰは失敗したプローブの数が増加するにつれて、かなりの性能オーバーヘッドを招くことができる。
【0110】
図１６は、ＰＩＤ－ＪＯＩＮとＬＰ、ＱＰ（ｑｕａｄｒａｔｉｃ ｐｒｏｂｉｎｇ）、及びＤＨ（ｄｏｕｂｌｅ ｈａｓｈｉｎｇ）の実行遅延分析及び衝突比率を示す。
【0111】
全般的にＬＰはＱＰ及びＤＨより衝突率が高いが、実行遅延時間が最も低い。ＬＰの低い遅延時間は、計算のオーバーヘッドが低いためである。衝突の時、ＬＰは単純に以前のキーに１つを追加してハッシュテーブルの次の項目をプローブする。しかし、ＱＰにはＩＤＰで基本的にサポートしない整数乗算が必要であり、ＤＨには追加のハッシュ関数が含まれる。追加計算のオーバーヘッドにより、ＱＰとＤＨは結合実行遅延時間が長くなり、ＬＰが最も早い衝突処理方法になる。歪曲されたＳでも似ている傾向を観察できる。
【0112】
結果は、また、ローカルパーティショニングがＰＩＤ－ＪＯＩＮの結合実行遅延時間の最大４８．０％を占めることを示す。ローカルパーティショニングは、パーティションのタプルが５０％のパッキング比率で３２ＫＢのハッシュテーブルを満たすものと仮定して計算されるパーティション当たりの最大のタプル数を制限し、ＷＲＡＭに合うパーティションの作業セットを保証する。極端な歪度の場合、過度な重複タプルにより、ローカルパーティショニングがＷＲＡＭ内のパーティショニング作業集合に合わないことがある。
【0113】
ＴＰＣ－Ｈクエリーを介した潜在的速度の向上
【0114】
今、スケールファクターが４００である４個の単一結合ＴＰＣ－Ｈクエリー（Ｑ４，Ｑ１２，Ｑ１４，Ｑ１９）を使用し、完全なＲＤＢＭＳに統合されるときにＰＩＤ－ＪＯＩＮの潜在的な速度の向上をプローブする。実験のために、まず、ＣＰＵベースのベースラインシステムで有名なインメモリＲＤＢＭＳであるＭｏｎｅｔＤＢの終端間クエリー実行遅延時間を測定する。その次に、結合演算子の実行遅延時間を識別し、結合実行遅延時間をＰＩＤ－ＪＯＩＮに変えて、クエリーに対する予想速度の向上を計算する。各クエリーに対して、まずＭｏｎｅｔＤＢのクエリーの計画によって、結合演算子の入力に使用されるテーブルを抽出する。その後、ＰＩＭサポートのシステムから抽出されたテーブルでＰＩＤ－ＪＯＩＮを行う。クエリーに対するＰＩＤ－ＪＯＩＮの結合実行遅延時間を測定するとき、ホスト－ＤＩＭＭデータ転送のオーバーヘッドを考慮する。
【0115】
図１７ａ及び１７ｂは、ＰＩＤ－ＪＯＩＮをＭｏｎｅｔＤＢに統合するとき、ＭｏｎｅｔＤＢのクエリー実行遅延時間の分析とクエリーの予想速度の向上を示す。
【0116】
ＰＩＤ－ＪＯＩＮは、クエリー結合で２．５５倍の幾何平均速度の向上を達成する。ＰＩＤ－ＪＯＩＮ ａｕｇｍｅｎｔｅｄ ＭｏｎｅｔＤＢの予想速度の向上は、幾何平均で１．１４倍である。結果は、結合を加速化するためにＰＩＤ－ＪＯＩＮを使用することがインメモリＲＤＢＭＳに対する有望な選択であることを示す。本発明で提案したＰＩＤ－ＪＯＩＮ方式は、ＰＩＭサポートのＤＩＭＭの他にも多様な形態のＰＩＭハードウェアを取ることができる。
【0117】
本発明で提案したＰＩＤ－ＪＯＩＮ方式は、分散及び分割のハッシュ結合アルゴリズムを使用してＩＤＰで結合スループットを最大化でき、ＣＰＵの代わりにＤＩＭＭで両テーブルのグローバルパーティショニングを行ってＤＩＭＭの高い内部メモリ帯域幅と計算スループットを活用することができ、このとき、ＣＰＵに関する多対多のＩＤＰ間通信の過程でＣＰＵキャッシュストリーミング及びベクトル命令を使用してＩＤＰ間通信の性能のオーバーヘッドを最小化することができる。また、本発明で提案したＰＩＤ－ＪＯＩＮ方式は、ＣＰＵとＤＩＭＭとの間のデータ転送待ち時間を最小化することができ、データ転送を加速化できる。
【0118】
前述では、本発明の好ましい実施形態を参照して説明しているが、当該技術分野における熟練した当業者は、下記の特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更させることができるということを理解できるはずである。
【符号の説明】
【0119】
１００ ＰＩＭベースのコンピューティング装置
１１０ メインメモリ
１３０ ＰＩＭモジュール
１３１ メモリプロセッサ
１３３ 作業メモリ
１３５ メモリバンク
１５０ プロセッサ
１１０ メインメモリ
１３０ ＰＩＭモジュール
１３１ メモリプロセッサ
１３３ 作業メモリ
１３５ メモリバンク
１５０ プロセッサ
【図1】
【図2a】
【図2b】
【図2c】
【図3】
【図4】
【図5】
【図6a】
【図6b】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17a】
【図17b】
