特許 7473386 高帯域幅メモリシステム及びメモリアドレス方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-15

(45)【発行日】2024-04-23

(54)【発明の名称】高帯域幅メモリシステム及びメモリアドレス方法

(51)【国際特許分類】

   G06F 12/06 20060101AFI20240416BHJP

   G06F 12/00 20060101ALI20240416BHJP

   G11C 5/04 20060101ALI20240416BHJP

   H01L 25/07 20060101ALI20240416BHJP

   H01L 25/065 20230101ALI20240416BHJP

   H01L 25/18 20230101ALI20240416BHJP

【ＦＩ】

G06F12/06 521G

G06F12/00 550K

G11C5/04 220

H01L25/08 C

【請求項の数】 13

(21)【出願番号】P 2020082694

(22)【出願日】2020-05-08

(65)【公開番号】P2020187747

(43)【公開日】2020-11-19

【審査請求日】2023-04-12

(31)【優先権主張番号】62/846,406

(32)【優先日】2019-05-10

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/439,613

(32)【優先日】2019-06-12

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

【前置審査】

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】マラディ，クリシュナ テジャ

(72)【発明者】

【氏名】張 牧 天

(72)【発明者】

【氏名】牛 迪 民

(72)【発明者】

【氏名】チョン 宏 忠

【審査官】北村 学

(56)【参考文献】

【文献】米国特許出願公開第２０１４／００８２３２２（ＵＳ，Ａ１）

【文献】国際公開第２０１５／００６９４６（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１２／０１９１９２１（ＵＳ，Ａ１）

【文献】特開２０００－０２９７８２（ＪＰ，Ａ）

【文献】特開２００９－０７１０７０（ＪＰ，Ａ）

【文献】特開２０１４－００２７４５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／００３２４３７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

ＩＰＣ Ｇ０６Ｆ １２／００ － １２／０６

Ｇ１１Ｃ ５／０４

Ｈ０１Ｌ ２５／００ － ２５／１６

(57)【特許請求の範囲】

【請求項1】

１／４幅ファイングレインチャネル（ｑｕａｒｔｅｒ－ｗｉｄｔｈ ｆｉｎｅ－ｇｒａｉｎ ｃｈａｎｎｅｌ）を介してホストプロセッサに結合されたメモリダイを含むシステムにおいて、データアクセスを記録及び分析するように構成された機械学習アルゴリズムを実装するステップと、
第１アドレスマッピング関数を用いてメモリアクセスを実行するステップと、
前記機械学習アルゴリズムにより、現在のアドレスマッピング関数によるメモリアクセスのパターンを、あらかじめ選択された複数のアドレスマッピング関数に従って予測されたメモリアクセスのパターンと比較することによって、異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させるか否かを判定するステップと、
前記機械学習アルゴリズムにより、前記第１アドレスマッピング関数を用いてメモリアクセスの相対的近接の第１程度を評価するステップと、
前記機械学習アルゴリズムにより、前記異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させるとの判定に従って、第２アドレスマッピング関数に対するメモリアクセスの相対的近接の第２程度を予測するステップと、
前記機械学習アルゴリズムにより、前記メモリアクセスの相対近接の第２程度が前記メモリアクセスの相対近接の第１程度を超えると判断するステップと、
前記第２アドレスマッピング関数を用いてメモリアクセスを実行するステップと、含むことを特徴とするメモリアドレス方法。

【請求項2】

前記第２アドレスマッピング関数は、アドレスマッピング関数の事前プログラミングされたセットの中から選択されることを特徴とする請求項１に記載のメモリアドレス方法。

【請求項3】

前記異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させるか否かを判定するステップは、強化学習モデルを用いるステップを含むことを特徴とする請求項１に記載のメモリアドレス方法。

【請求項4】

前記機械学習アルゴリズムは、長短期記憶反復神経網アーキテクチャを含むことを特徴とする請求項１に記載のメモリアドレス方法。

【請求項5】

前記機械学習アルゴリズムは、前記メモリアクセスの相対的近接の第２程度が前記メモリアクセスの相対的近接の第１程度を超えることを判定するための最後のレイヤを含むことを特徴とする請求項１に記載のメモリアドレス方法。

【請求項6】

前記機械学習アルゴリズムにより、前記ホストプロセッサに結合された前記メモリダイがオフラインである間に前記データアクセスを分析するステップを更に含むことを特徴とする請求項１に記載のメモリアドレス方法。

【請求項7】

前記機械学習アルゴリズムは、ロジックダイに実装されることを特徴とする請求項１に記載のメモリアドレス方法。

【請求項8】

前記機械学習アルゴリズムにより、前記第１アドレスマッピング関数を用いてメモリアクセスの相対的近接の第１程度を評価するステップは、前記第１アドレスマッピング関数を用いて順次メモリアクセスの相対的近接の第１程度を評価するステップを含み、
前記機械学習アルゴリズムにより、前記第２アドレスマッピング関数を用いてメモリアクセスの相対的近接の第２程度を評価するステップは、前記第２アドレスマッピング関数を用いて順次メモリアクセスの相対的近接の第２程度を評価するステップを含むことを特徴とする請求項１に記載のメモリアドレス方法。

【請求項9】

１／４幅ファイングレインチャネル（ｑｕａｒｔｅｒ－ｗｉｄｔｈ ｆｉｎｅ－ｇｒａｉｎ ｃｈａｎｎｅｌ）を介してホストプロセッサに結合されるメモリダイと、
ロジックダイと、
前記ホストプロセッサ及び前記ロジックダイによって実行可能なインストラクションを含む不揮発性メモリと、を備え、
前記インストラクションは、前記ロジックダイによって実行されると、前記メモリダイへのメモリアクセスを記録及び分析する機械学習アルゴリズムを前記ロジックダイに実装させ、
前記機械学習アルゴリズムは、
現在のアドレスマッピング関数によるメモリアクセスのパターンを、あらかじめ選択された複数のアドレスマッピング関数に従って予測されたメモリアクセスのパターンと比較することによって、異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させるか否かを判定し、
第１アドレスマッピング関数を用いて順次メモリアクセスの相対的近接の第１程度を評価し、
前記異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させるとの判定に従って、第２アドレスマッピング関数に対する順次メモリアクセスの相対的近接の第２程度を予測し、
前記順次メモリアクセスの相対的近接の前記第２程度が、順次メモリアクセスの相対的近接の前記第１程度を超えると判断し、
順次メモリアクセスの相対的近接の第２程度が前記順次メモリアクセスの相対的近接の第１程度を超えるとの判断に応答して、前記第２アドレスマッピング関数を用いてメモリアクセスを実行するように、前記インストラクションを実行する前記ロジックダイによって前記第２アドレスマッピング関数を前記ホストプロセッサに伝達することを特徴とするコンピューティングシステム。

【請求項10】

前記機械学習アルゴリズムは、強化学習モデルを含むことを特徴とする請求項９に記載のコンピューティングシステム。

【請求項11】

前記機械学習アルゴリズムは、長短期記憶反復神経網アーキテクチャを含むことを特徴とする請求項９に記載のコンピューティングシステム。

【請求項12】

前記ロジックダイは、ＲＦＵ（Ｒｅｓｅｒｖｅｄ－ｆｏｒ－Ｆｕｔｕｒｅ－Ｕｓｅ）ピンを用いて前記第２アドレスマッピング関数を前記ホストプロセッサに伝達することを特徴とする請求項９に記載のコンピューティングシステム。

【請求項13】

前記ホストプロセッサは、グラフィック処理装置（ＧＰＵ）であることを特徴とする請求項９に記載のコンピューティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高帯域幅メモリに関し、より詳しくは、高帯域幅メモリの帯域幅活用を増加させるための、帯域幅が拡張された積層メモリシステム及びメモリアドレス方法に関する。

【背景技術】

【0002】

高帯域幅メモリ（ＨＢＭ；Ｈｉｇｈ Ｂａｎｄｗｉｄｔｈ Ｍｅｍｏｒｙ）は、３次元（３Ｄ；ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）積層ダイナミックランダムアクセスメモリ（ＤＲＡＭ）用の高性能（ＲＡＭ）インターフェースである。深層神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）などの新しいアプリケーションは、個別のデータセットで訓練し、高い正確度で学習するために大きな計算能力及びメモリ能力を必要とする。このようなアプリケーションにおいて、高いメモリ帯域幅は決定的に重要である。メモリ帯域幅はコア帯域幅及びバス帯域幅の観点から説明される。同じバスを共有しながら積層されるＤＲＡＭダイの数が増加するにつれて、バス帯域幅はメモリ性能を制限する要因となっている。

【0003】

したがって、ＤＲＡＭコア又はバスに対する広範かつ高費用の変更を必要とせずに、高帯域幅メモリ（ＨＢＭ）システムの有効メモリ帯域幅を増加させるのに役立つ柔軟なシステム構造及び動作方法が必要である。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１９８０１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、高帯域幅メモリ（ＨＢＭ）システムのメモリ帯域幅活用を増加させる高帯域幅メモリ（ＨＢＭ）システム用のシステム及び方法を提供することにある。また、メモリ帯域幅活用を増大させるための、コア高帯域幅メモリ（ＨＢＭ）チップの周辺構造に対する一連の変更と積層ロジックダイの動作向上とを組み合わせたシステム及び方法を提供することにある。

【課題を解決するための手段】

【0006】

上記目的を達成するためになされた本発明の一態様による高帯域幅メモリシステムは、複数のメモリダイ及び８個の１２８ビットチャネルを有するメモリスタックと、ロジックダイと、を備え、メモリダイは、ロジックダイ上に積層されて、ロジックダイに連結される。ロジックダイは、１番目の６４ビットは擬似チャネルモード（Ｐｓｅｕｄｏ Ｃｈａｎｎｅｌ ｍｏｄｅ）で動作し、２番目の６４ビットは２個の３２ビットファイングレイン（Ｆｉｎｅ－Ｇｒａｉｎ）チャネルとして動作する第１モード、又は１番目の６４ビットは２個の３２ビットファイングレインチャネルとして動作し、２番目の６４ビットは２個の３２ビットファイングレインチャネルとして動作する第２モードで、１２８ビットチャネルのうちの第１チャネルを動作させるように構成され得る。

【0007】

上記目的を達成するためになされた本発明の一態様による高帯域幅メモリシステムは、複数のメモリダイ及び８個の全幅（ｆｕｌｌ－ｗｉｄｔｈ）チャネルを有するメモリスタックと、ロジックダイと、を備え、メモリダイは、ロジックダイ上に積層されて、ロジックダイに連結される。ロジックダイは、全幅チャネルの最初の半分は擬似チャネルモードで動作し、全幅チャネルの残りの半分は、２個の１／４幅ファイングレインチャネルとして動作する第１モード、又は全幅チャネルの最初の半分は２個の１／４幅ファイングレインチャネルとして動作し、全幅チャネルの残りの半分は２個の１／４幅ファイングレインチャネルとして動作する第２モードで、全幅チャネルのうちの第１チャネルを動作させるように構成され得る。

【0008】

ロジックダイは、第１モードで第１チャネルを動作させ、第２モードで１２８ビットチャネルのうちの第２チャネルを動作させるように構成され得る。
ロジックダイは、第１モードで第１チャネルを動作させ、第２モードで全幅チャネルのうちの第２チャネルを動作させるように構成され得る。
ロジックダイは、実行時に、第１チャネルを第１モードで動作する状態から第２モードで動作する状態に変更させ得る。
第１チャネルのモードは、実行時に第１チャネルのモードレジスタによって制御されるように構成され得る。
第１チャネルのモードは、実行時にＲＦＵ（Ｒｅｓｅｒｖｅｄ－ｆｏｒ－Ｆｕｔｕｒｅ－Ｕｓｅ）ピンによって制御されるように構成され得る。
ロジックダイは、第１モードで第１チャネルを動作させるように構成されてもよく、１番目の６４ビットのバースト（ｂｕｒｓｔ）長は２であり得る。
ロジックダイは、第１モードで第１チャネルを動作させるように構成されてもよく、全幅チャネルの最初の半分のバースト（ｂｕｒｓｔ）長は２であり得る。
ロジックダイは、第２モードで第１チャネルを動作させるように構成されてもよく、３２ビットファイングレインチャネルのうちの第１ファイングレインチャネルのバースト長は２であり得る。
ロジックダイは、第２モードで第１チャネルを動作させるように構成されてもよく、１／４幅ファイングレインチャネルのうちの第１ファイングレインチャネルのバースト長は２であり得る。
全幅チャネルは１２８ビットの幅を有し得る。

【0009】

上記目的を達成するためになされた本発明の一態様による高帯域幅メモリシステムは、複数の積層されたメモリダイ（ｄｉｅ）と、８個のチャネルと、ロジックダイと、を備え、積層されたメモリダイはロジックダイ上に積層されて、ロジックダイに連結され得る。それぞれのメモリダイは、複数の行（ｒｏｗ）及び複数の列（ｃｏｌｕｍｎ）をそれぞれ含む複数のバンクを有し得る。８個のチャネルのうちの第１チャネルは、単一の１２８ビットチャネル、２個の６４ビット擬似チャネル、１個の６４ビット擬似チャネル及び２個の３２ビットファイングレインチャネル、並びに４個の３２ビットファイングレインチャネルのうちの、いずれか１つとして動作するように構成され得る。ロジックダイは、第１チャネルに連結された複数のバンク内で１つの行と１つの列におけるデータアクセスを追従するデータのバーストを返送（ｒｅｔｕｒｎ）するように構成され得る。データのバーストは、２５６ビットトランザクション（ｔｒａｎｓａｃｔｉｏｎ）に対応するバースト長よりも小さいバースト長を有し得る。

【0010】

上記目的を達成するためになされた本発明の一態様による高帯域幅メモリシステムは、複数の積層されたメモリダイ（ｄｉｅ）と、８個のチャネルと、ロジックダイと、を備え、積層されたメモリダイは、ロジックダイ上に積層されて、ロジックダイに連結され得る。それぞれのメモリダイは、複数の行（ｒｏｗ）及び複数の列（ｃｏｌｕｍｎ）をそれぞれ含む複数のバンクを有し得る。８個のチャネルのうちの第１チャネルは、単一の全幅チャネル、２個の半幅（ｈａｌｆ－ｗｉｄｔｈ）擬似チャネル、１個の半幅擬似チャネル及び２個の１／４幅ファイングレインチャネル、並びに４個の１／４幅ファイングレインチャネルのうちの、いずれか１つとして動作できるように構成され得る。ロジックダイは、第１チャネルに連結された複数のバンク内で１つの行と１つの列におけるデータアクセスを追従するデータのバーストを返送（ｒｅｔｕｒｎ）するように構成され得る。データのバーストは、２５６ビットトランザクション（ｔｒａｎｓａｃｔｉｏｎ）に対応するバースト長よりも小さいバースト長を有し得る。

【0011】

ロジックダイは、第１チャネルをバースト長が４未満である２個の６４ビット擬似チャネルとして動作させるように構成され得る。
ロジックダイは、第１チャネルをバースト長が４未満である２個の半幅擬似チャネルとして動作させるように構成され得る。
ロジックダイは、第１チャネルをバースト長が２以下である４個の３２ビットファイングレインチャネルとして動作させるように構成され得る。
ロジックダイは、第１チャネルをバースト長が２以下である４個の１／４幅ファイングレインチャネルとして動作させるように構成され得る。
ロジックダイは、返送されるバースト長を示す信号を受信するためにＲＦＵ（Ｒｅｓｅｒｖｅｄ－ｆｏｒ－Ｆｕｔｕｒｅ－Ｕｓｅ）ピンを使用できるように構成され得る。
ロジックダイは、ホストプロセッサからバースト長を示す信号を受信できるように構成され得る。
ホストプロセッサは中央処理装置（ＣＰＵ）であり得る。
ホストプロセッサはグラフィック処理装置（ＧＰＵ）であり得る。

【0012】

上記目的を達成するためになされた本発明の一態様による高帯域幅メモリ及びホストプロセッサを含むシステムにおけるメモリアドレス方法は、第１アドレスマッピング関数を用いて複数のメモリアクセスを行い、マップされた空間ローカリティ（ｓｐａｔｉａｌ ｌｏｃａｌｉｔｙ）の第１程度（ｄｅｇｒｅｅ）を第１アドレスマッピング関数を用いて評価し、マップされた空間ローカリティの第２程度を第２アドレスマッピング関数を用いて評価し、システムを終了し、システムを再起動し、マップされた空間ローカリティの第２程度がマップされた空間ローカリティの第１程度を超えるか否かを判断し、マップされた空間ローカリティの第２程度がマップされた空間ローカリティの第１程度を超えると判断された場合、第２アドレスマッピング関数を用いて複数のメモリアクセスを行うことを含む。

【0013】

高帯域幅メモリは、ロジックダイを含み得る。第１アドレスマッピング関数を用いて複数のメモリアクセスを行うことは、ホストプロセッサによって、第１アドレスマッピング関数を用いて複数のメモリアクセスを行う段階を含み得る。マップされた空間ローカリティの第１程度を評価すること及びマップされた空間ローカリティの第２程度を評価することは、ホストプロセッサが高帯域幅メモリにアクセスしない時間の間に、ロジックダイによって、マップされた空間ローカリティの第１程度とマップされた空間ローカリティの第２程度とを評価することを含み得る。

【0014】

第２アドレスマッピング関数は、複数の事前プログラミングされたアドレスマッピング関数から選択され得る。
第２アドレスマッピング関数は、ロジックダイによってＲＦＵ（Ｒｅｓｅｒｖｅｄ－ｆｏｒ－Ｆｕｔｕｒｅ－Ｕｓｅ）ピンを用いてホストプロセッサに伝達され得る。
ホストプロセッサはグラフィック処理装置（ＧＰＵ）であり得る。
ホストプロセッサは中央処理装置（ＣＰＵ）であり得る。

【発明の効果】

【0015】

本発明によるシステム及び方法によれば、高帯域幅メモリ（ＨＢＭ）システムのメモリ帯域幅活用を増加させることができる。本発明による高帯域幅メモリシステムは、細分したチャネル幅（ｇｒａｎｕｌａｒ ｃｈａｎｎｅｌ ｗｉｄｔｈ）、バーストサイズ制御（ｂｕｒｓｔ ｓｉｚｅ ｃｏｎｔｒｏｌ）、及びインテリジェントアドレスマッピング関数（ｉｎｔｅｌｌｉｇｅｎｔ ａｄｄｒｅｓｓ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）が欠如したシステムを凌駕する多くの長所を提供することができる。また、ＤＲＡＭコアに対する広範又は高費用の変更無しで増加した有効帯域幅活用が達成される。

【図面の簡単な説明】

【0016】

【図1】本発明の一実施形態による、ロジックプロセッサ、シリコン（Ｓｉ）インタポーザ（ｉｎｔｅｒｐｏｓｅｒ）、ＰＣＢ基板、及びマザーボードと結合された高帯域幅メモリスタックの断面図である。

【図2】本発明の一実施形態による、ロジックプロセッサにＤＲＡＭスタックを連結するメモリチャネルを含む高帯域幅メモリシステムを示す平面図である。

【図3】本発明の一実施形態による、メモリチャネルが互いに異なるモードで独立して動作する構成を説明するブロック図である。

【発明を実施するための形態】

【0017】

図面を参照しながら以下で説明する詳細な説明は、本発明による高帯域幅メモリシステムの好ましい実施形態の説明として意図され、本発明が構成され、活用され得る唯一の形態を示すものとして限定されるものではない。詳細な説明は、例示した実施形態に関連して本発明の特徴を説明する。しかし、同一であるか又はそれに相当する機能及び構造が、本発明の技術範囲内に含まれる他の実施形態によって達成されてもよい。本発明において、同一の参照番号は同一の要素又は特徴を示す。

【0018】

高帯域幅メモリ（ＨＢＭ）は、高性能３次元（３Ｄ）積層ランダムアクセスメモリ（ＤＲＡＭ）である。第２世代高帯域幅メモリは、スタック当たり最大１２個のダイ（ｄｉｅ）を含むことができ、２．４ＧＴ／ｓ（ｇｉｇａ ｔｒａｎｓｆｅｒｓ ｐｅｒ ｓｅｃｏｎｄ）以上のピン伝送率を提供し得る。積層ダイと、グラフィック処理装置（ＧＰＵ）又は中央処理装置（ＣＰＵ）などのメモリ－活用構成要素（ｍｅｍｏｒｙ－ｕｔｉｌｉｚｉｎｇ ｃｏｍｐｏｎｅｎｔ）との間のインターフェースは、８個のチャネルを含み、チャネルはそれぞれ１２８ビット幅を有して、合計１０２４ビット幅のアクセスが可能である。第２世代高帯域幅メモリは、パッケージ当たり３０７ＧＢ／ｓ以上のメモリ帯域幅に到達することができ、パッケージ当たり最大１２ＧＢ、可能であればそれを超える記憶容量を有し得る。第２世代高帯域幅メモリシステムのインターフェースは、標準ＪＥＳＤ２３５Ｂとして合同電子装置エンジニアリング協議会（Ｊｏｉｎｔ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｕｎｃｉｌ，ＪＥＤＥＣ）によって認められた標準に従う。

【0019】

図１に示すように、高帯域幅メモリ（ＨＢＭ）システム１００は、ロジックダイ１２０の上面に積層された複数の積層されたＤＲＡＭダイ１１０を含む。図１は、ロジックダイ１２０の上面に、４層（４－ｈｉ）構成として知られる、４個のＤＲＡＭダイ１１０のスタック（ｓｔａｃｋ）を示す断面図である。本技術分野における当業者には周知であるように、スタックの下部にロジックダイ１２０を使用することは選択事項である。これに限定されず、２層（２－ｈｉ）、８層（８－ｈｉ）、及び１２層（１２－ｈｉ）などの他の構成が本発明の技術範囲内で使用されてもよい。ＤＲＡＭダイ１１０は、ＴＳＶ（Ｔｈｒｏｕｇｈ－Ｓｉｌｉｃｏｎ－Ｖｉａ）１８０及び複数のマイクロバンプ（ｍｉｃｒｏｂｕｍｐ）によって連結され得る。図１に示すように、インターフェース１９０は、高帯域幅メモリ（ＨＢＭ）スタックをホストプロセッサ１４０に連結する。本明細書で、“ホストプロセッサ”及び“ロジックプロセッサ”の用語は、これに限定されないが、グラフィック処理装置（ＧＰＵ）、中央処理装置（ＣＰＵ）などのメモリ－活用構成要素、又は本技術分野における当業者に周知である他のメモリ－活用構成要素を示すために同じ意味で使用される。

【0020】

図２は、８個の１２８ビットチャネル１３０を含むインターフェース１９０を用いてロジックダイ１２０とインターフェース連結された高帯域幅メモリ（ＨＢＭ）スタックを示す平面図である。ＨＢＭスタック（以下、スタックと略記）は、複数の１２８ビットチャネル１３０に連結された複数のメモリバンク１１２をそれぞれ含んだＤＲＡＭダイ１１０を含む。図を簡単にするために、ＤＲＡＭダイ１１０当たり減少した数のバンク１１２だけが図２に示されている。１２８ビットチャネル１３０は互いに独立したものであり、各１２８ビットチャネル１３０は、それ自体のコマンド及びアドレスバスを有する他、それ自体のデータバスを有する。

【0021】

図２に示すように、高帯域幅メモリ（ＨＢＭ）スタックとホストプロセッサ１４０との間のインターフェース１９０は、シリコンインタポーザ１５０内に１２８ビットチャネル１３０Ａ～１３０Ｈ（総称してチャネル１３０という。）を生成する複数の導電性経路（又はトレース（ｔｒａｃｅ））を含む。本明細書において、単一の１２８ビットチャネルとして動作するチャネルは、“レガシー（ｌｅｇａｃｙ）”チャネルと呼ぶ。本技術分野における当業者には周知であるように、シリコンインタポーザ１５０の適切な代替品が代わりに使用されてもよい。シリコンインタポーザ１５０はＰＣＢ基板１６０に結合され、ＰＣＢ基板１６０は、これに限定されないが、マザーボード１７０などの他の構成要素に結合される。

【0022】

より高層の高帯域幅メモリ（ＨＢＭ）スタックの場合、例えば、８層及び１２層構成の場合、メモリバスの帯域幅活用はますます重要になる。これは、顕著な量の計算能力（ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｏｗｅｒ）及びメモリ帯域幅を要求する深層神経網（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）及び高性能コンピューティング（Ｈｉｇｈ Ｐｅｒｆｏｒｍａｎｃｅ Ｃｏｍｐｕｔｉｎｇ，ＨＰＣ）などのアプリケーションで特にそうである。一般に、各チャネルが２個の半独立型（ｓｅｍｉ－ｉｎｄｅｐｅｎｄｅｎｔ）６４ビットチャネルとして動作する“擬似チャネル（Ｐｓｅｕｄｏ Ｃｈａｎｎｅｌ）モード”で動作する高帯域幅メモリ（ＨＢＭ）スタックを用いて、追加の有効帯域幅を生成することができる。このモードで、一対の擬似チャネルは、データバス（それぞれ、元の１２８ビットのうちの６４ビットを使用）と、コマンド及びアドレスバスとを共有できるが、個別に命令（ｃｏｍｍａｎｄ）をデコードして実行するように構成され得る。これは、有効チャネルの数を増加させ、結果として帯域幅の活用がより増大し得る。しかし、ますます強力になるグラフィック処理装置（ＧＰＵ）のようなものから、メモリ帯域幅に対する要求が増加するにつれて、擬似チャネルモードでさえも高帯域幅メモリ（ＨＢＭ）システム１００のインターフェース１９０によって提供される帯域幅を完全に活用することができない。

【0023】

非限定的な例として、擬似チャネルモードであっても、スタック内のＤＲＡＭダイ１１０の数が増加するにつれて、その擬似チャネルに連結されたデータバスに依存するバンクの数が増加する。擬似チャネルモードにおいて、スタック内のそれぞれのバンクは２個のサブバンクに分割される。それぞれのバンクが一対のサブバンクに分割されると、ＪＥＳＤ２３５Ｂ標準に規定されているように、コマンド及びアドレスバスに対する変更を要求することなく、チャネル１３０によって活用され得るバンクの数が事実上２倍になる。また、サブバンクはインターリーブされた（ｉｎｔｅｒｌｅａｖｅｄ）シーケンスでリフレッシュ（ｒｅｆｒｅｓｈ）されるので、帯域幅活用を増加させるデータバスのより大きい飽和（ｓａｔｕｒａｔｉｏｎ）を確保することができる。それぞれのバンクは、データのより微細な細分性（ｆｉｎｅｒ ｇｒａｎｕｌａｒｉｔｙ）で独立して動作でき、データのオーバーフェッチ（ｏｖｅｒｆｅｔｃｈ）又は浪費無しでデータバスをよりよく活用することができる。

【0024】

２層構成において、擬似チャネルモードで動作するとき、８個のサブバンクだけが６４ビットデータバスを共有する。このような構成において、各サブバンクはスタックの各レベルにおいて両側のＴＳＶアレイを使用し、帯域幅はＤＲＡＭコアのタイミングパラメータなどの要因によって制限される。しかし、例えば、８層構成においては、３２個のサブバンクが、擬似チャネルに連結された６４ビットバスを共有する。非限定的な例として、コアクロック（ｃｏｒｅ ｃｌｏｃｋ）スピードが、ＪＥＳＤ２３５Ｂ標準で支援（サポート）されるように、ピン（ｐｉｎ）当たり２．４Ｇｂｐｓのデータレートに対応する１．２ＧＨｚである場合、サイクルタイムは０．８３ｎｓである。４のバースト長（Ｂｕｒｓｔ Ｌｅｎｇｔｈ，ＢＬ）を用いてＪＥＳＤ２３５Ｂ標準下で動作する擬似チャネルモードで動作するとき、メモリのダブルデータレート動作の結果として、バンク又はサブバンクへのそれぞれのアクセスには、２クロックサイクルがかかる。３２個のサブバンクの全てが６４ビットバスを完全に共有している場合、３２個のサブバンクの全てに対するバーストアクセスには３２×２＝６４クロックサイクルがかかる。６４クロックサイクルにサイクル時間をかけると、約５３ｎｓのバースト時間が得られる。この時間は、非限定的な例として、約４６ｎｓであるＤＲＡＭメモリのロー（ｒｏｗ）サイクル時間（ｔＲＣ）よりも大きい。したがって、メモリのデータ処理量（ｄａｔａ ｔｈｒｏｕｇｈｐｕｔ）は制限され、これは、高帯域幅メモリ（ＨＢＭ）スタックの高さが１２層又は１６層のスタックにまで増加するにつれてより一層悪化する。

【0025】

本発明の一実施形態は、データアクセスの細分性（ｇｒａｎｕｌａｒｉｔｙ）をさらに制御することによって、高帯域幅メモリ（ＨＢＭ）システム１００のメモリ帯域幅活用を増加させることに関する。

【0026】

一実施形態において、チャネル細分性をさらに３２ビットにまで微細に調整することができる。１２８ビットチャネルは“全幅チャネル（ｆｕｌｌ－ｗｉｄｔｈ ｃｈａｎｎｅｌ）”と称し、６４ビットチャネルは“半幅チャネル（ｈａｌｆ－ｗｉｄｔｈ ｃｈａｎｎｅｌ）”又は“半幅擬似チャネル”と称し、３２ビットチャネルは“ファイングレインチャネル（ｆｉｎｅ－ｇｒａｉｎ ｃｈａｎｎｅｌ）”又は“１／４幅ファイングレインチャネル（ｑｕａｒｔｅｒ－ｗｉｄｔｈ ｆｉｎｅ－ｇｒａｉｎ ｃｈａｎｎｅｌ）”と称する。

【0027】

細分性を微細に調整すると、以下のモードでチャネル１３０が動作可能になる：（ｉ）チャネル１３０が２個の半幅擬似チャネルとして動作する（例えば、全幅チャネルの最初の半分（例えば、１番目の６４ビット）は擬似チャネルモードで動作し、全幅チャネルの残りの半分（例えば、２番目の６４ビット）も擬似チャネルモードで動作する）第１モード、（ｉｉ）チャネル１３０が４個の１／４幅ファイングレインチャネルとして動作する（例えば、全幅チャネルの最初の半分（例えば、１番目の６４ビット）は２個の１／４幅ファイングレインチャネルとして動作し、全幅チャネルの残りの半分（例えば、２番目の６４ビット）も２個の１／４幅ファイングレインチャネルとして動作する）第２モード、及び（ｉｉｉ）チャネル１３０が単一チャネルとして動作する１２８ビット“レガシー（ｌｅｇａｃｙ）”モード。
なお、一実施形態において、全幅チャネルは１２８ビットとは異なる幅を有することができ、したがって、半幅及び１／４幅チャネルも６４ビット及び３２ビットとは異なる幅を有し得る。

【0028】

これは有効チャネルの数を増加させることができる。これはまた、メモリバンクをさらに分割でき、レガシーモードにおける１個のバンクは、ファイングレインチャネルモードでは４個のサブバンクとなる。サブバンクをさらに分割すると、サブバンクの数が増加し、それぞれのサブバンクは新しいインデクシング（Ｉｎｄｅｘｉｎｇ）パラメータを有することになる。

【0029】

ファイングレインチャネルモードにおけるサブバンクのインデクシングは、一実施形態において、（ＲＦＵ（Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ）ピン、ＢＡ５ピン（以下でより詳細に議論する）、又は現在のＪＥＳＤ２３５Ｂ標準の一部ではないが、パッケージインターフェースに付加される新しいピンなどの）ピンを使用することによって達成され得る。このような実施形態は、サブバンクに連結されるＤＷＯＲＤ又はＡＷＯＲＤに対する更なる変更を要求しなくてすむ。例えば、擬似チャネルモードにおいて、バンクアドレス（ＢＡ）ピン４は、サブバンクをインデックスするために使用することができる。同様に、追加のピンは、ファイングレインチャネルモードの使用を促進するためにサブバンクを１／４サブバンクにさらに分割することをインデックスするために使用することができる。

【0030】

一実施形態において、４層構成におけるように、（上述したように）ＢＡ５ピンを使用することができる。スタックＩＤをインデックスするためにＢＡ５ピンが使用される４層よりも高いスタックにおいては、他のピンを代わりに使用でき、このピンは一実施形態でＲＦＵピンである。ＲＦＵピンを使用する場合には、ＪＥＳＤ２３５Ｂ標準に対する将来のアップデートが、当該ピンにファイングレインチャネルモードのためのインデクシングピンとしての使用と一致しない機能（ｆｕｎｃｔｉｏｎ）を割り当て得る、という危険がある。ＢＡ５ピンを使用する場合、このような危険は存在しないが、ＢＡ５ピンは４層構成以上のスタックにおいてファイングレインチャネルモードのためのインデクシングピンとして使用するには適さないことがある。現在のＪＥＳＤ２３５Ｂ標準の一部ではなく且つパッケージインターフェースに付加される、新しいピンを使用する場合、ＪＥＳＤ２３５Ｂに準拠しないパッケージになるという短所がある。ファイングレインチャネルモードは元のバンクを１／４バンクにさらに分割するので、それぞれのファイングレインチャネルに連結された一般入力／出力（ＧＩＯ）の数が減少し、擬似チャネルモードからファイングレインチャネルモードに変更される時、ＧＩＯサイズは６４から３２に減る。

【0031】

さらに、本発明の一実施形態は、８個のチャネル１３０のそれぞれが１２８ビットレガシーチャネルモード、６４ビット擬似チャネルモード、又は３２ビットファイングレインチャネルモードで独立して動作できるようにするロジックダイ１２０の構成に関する。

【0032】

これは、チャネル構成を特定する（例えば、２ビットの１番目のビットは、チャネルの１番目の擬似チャネルが２個のファイングレインチャネルにさらに分割される否かを特定し、２番目のビットは、チャネルの２番目の擬似チャネルが２個のファイングレインチャネルにさらに分割されるか否かを特定する）ために、チャネル当たり２モードレジスタビットを用いることによって達成される（それぞれのチャネルは、構成を制御する１セットのモードレジスタを有する）。

【0033】

モードレジスタビットは、ＪＥＳＤ２３５Ｂ標準によって定義されるモードレジスタ内の既存の未使用ビットであってもよく、追加されたビットであってもよい（例えば、標準によって定義されなかったレジスタ内のビットであり得る）。例えば、ＭＲ９ ＯＰ［１：０］が、以下の可能な値とそれに対応する動作モードと共に使用される。

【0034】

００：ｘ１２８
０１：ｘ６４ ＋ ｘ６４
１０：ｘ３２ ＋ ｘ３２ ＋ ｘ６４
１１：ｘ３２ ＋ ｘ３２ ＋ ｘ３２ ＋ ｘ３２

【0035】

他の例において、ＤＥＶＩＣＥ＿ＩＤラッパー（ｗｒａｐｐｅｒ）データレジスタが増大されてもよく、例えば、ビット［１７：１６］の以下の可能な値とそれに対応する動作モードが存在する。

【0036】

１０：ｘ１２８ のみ
０１：ｘ６４ のみ
００：ｘ１２８ ＋ ｘ６４を支援し、モードレジスタによってプログラミングされる
１１：ｘ１２８ ＋ ｘ６４ ＋ ｘ３２を支援し、モードレジスタによってプログラミングされる

【0037】

ＪＥＳＤ２３５Ｂ標準に従う高帯域幅メモリ（ＨＢＭ）ＤＲＡＭは、チャネル密度に応じて２個の動作モードを定義する。異なる動作モードに対する支援は設計によって決定され、ＤＥＶＩＣＥ＿ＩＤラッパーレジスタのビット［１７：１６］上に示される。ファイングレインチャネルを含むためにＤＥＶＩＣＥ＿ＩＤを上述の方式で増大させることができ、したがって、２ビットはｘ１２８、ｘ６４、及びｘ３２モードをエンコードするために使用され得る。

【0038】

一実施形態において、モードレジスタはロジックダイ１２０内に存在してもよい。他の実施形態において、モードレジスタはＤＲＡＭダイ１１０内に存在してもよい。いくつかの場合、より小さいチャネル幅動作は、より良好な帯域幅活用とデータ伝送エネルギー効率を提供し得る。これは、メモリに対するデータアクセスが低い空間ローカリティ（ｓｐａｔｉａｌ ｌｏｃａｌｉｔｙ）を有する場合に特にそうである。

【0039】

本発明の他の実施形態は、切られた（ｔｒｕｎｃａｔｅｄ）バースト長（ＢＬ）を有するインターフェースのチャネル１３０を動作させるロジックダイ１２０を提供することによって、アクセス細分性をより微細に調整することに関する。
例えば、より微細なアクセス細分性は、擬似チャネルのためのバースト長を４から、ロジックダイ１２０によって構成される、ＢＬ＝２などの、より小さい値に減少させることによって達成され得る。典型的には、チャネルは、擬似チャネルモードで３２バイト（ｂｙｔｅ）トランザクションサイズで動作する。これは、指定された３２バイトフェッチ（ｆｅｔｃｈ）よりも小さいトランザクションサイズに対しては非効率的な６４ビットインターフェース上のＢＬ＝４によって達成される。しかし、これは、アクセスされるデータが小さい細分性と減少した空間ローカリティとを有する場合に、比較的非効率的である。なぜなら、多数のアクセスには活用されないデータをプリフェッチ（ｐｒｅｆｅｔｃｈｉｎｇ）するのに時間を消耗するためである。

【0040】

したがって、本発明の一実施形態は、ロジックダイ１２０がアクセス細分性を微細に調整するために、切られた（ｔｒｕｎｃａｔｅｄ）バースト長をプログラミングできるようにすることに関する。

【0041】

非限定的な例として、伝統的なＢＬ＝４モードで動作する６４ビット擬似チャネルは、３２バイト（又は３２Ｂ）のアクセス細分性を有する。これは、ＢＬ＝２モードで動作するレガシーチャネル１３０と同一である。しかし、一実施形態において、擬似チャネルは、１６Ｂアクセス細分性に対応するＢＬ＝２で動作し得る。さらに、より微細なアクセス細分性がより効率的であり、ファイングレインチャネルは、例えば、ＢＬ＝２で動作でき、結果的に８Ｂアクセス細分性を得ることができる。したがって、ロジックダイ１２０は、バースト長が１であるチャネル１３０を動作させるように構成されてもよい（用語の便宜のために、本明細書で単一のデータワード（ｓｉｎｇｌｅ ｄａｔａ ｗｏｒｄ）は、バースト長が１である“バースト”と称する）。

【0042】

一実施形態において、チャネル構成は、アクセスされるデータのタイプと、ＤＲＡＭダイ１１０内に記憶されたデータに対するアクセスの空間ローカリティとに基づくことができる。上述した実施形態は、本発明の一実施形態による切られた（ｔｒｕｎｃａｔｅｄ）バースト様相の機能を説明するために提供され、本発明を限定するものではない。

【0043】

一実施形態において、ロジックダイ１２０は、レガシーチャネル、擬似チャネル、又はファイングレインチャネルのそれぞれに対して独立して、減少したバースト長動作（すなわち、バースト長が２５６ビット未満のトランザクションサイズを有することになる動作）に備えるように構成され得る。任意のモード組合せにおいても動作するようにロジックダイ１２０に命令するために様々な方法が用いられる。例えば、１個以上のＲＦＵピンが、減少したバースト長（後述するように、支援されるモードの数によって使用されるピンの数（各ピンはコントロールビットとして動作）と共に）を命令する信号を、ロジックダイ１２０に伝達するために使用される。

【0044】

一実施形態において、バースト長の構成は、１つ以上のモードレジスタビット（例えば、ＪＥＳＤ２３５Ｂ標準で定義されるモードレジスタ内の未使用ビット）又は追加ビット（例えば、ＪＥＳＤ２３５Ｂ標準で定義されない追加レジスタ内のビット）によって決定される。一実施形態において、それぞれのレガシーチャネル、擬似チャネル、又はファイングレインチャネルのバースト長は、独立して、例えば、標準長（ファイングレインチャネルの場合は、ＢＬ＝８、擬似チャネルの場合は、ＢＬ＝４、レガシーチャネルの場合は、ＢＬ＝２）、１／２長（例えば、ファイングレインチャネルの場合は、ＢＬ＝４）、１／４長、又は１／８長（例えば、ファイングレインチャネルの場合は、ＢＬ＝１）となるように制御される。一実施形態において、２の累乗以外（ｎｏｎ－ｐｏｗｅｒ－ｏｆ－２）のバースト長が支援される（例えば、ファイングレインチャネルの場合、５のバースト長が可能）。対応する数のコントロールビット（ピン又はモードレジスタビット）が使用される。例えば、４個のファイングレインチャネルと動作することをチャネルに命令するために、８個の可能なバースト長（標準長、７／８、３／４、５／８、１／２など）のいずれか１つと、ファイングレインチャネル当たり３ビット（すなわち、チャネル当たり１２コントロールビット）が使用される。一実施形態において、高帯域幅メモリパッケージのピン（例えば、この特徴を支援するそれぞれのレガシーチャネル、擬似チャネル、又はファイングレインチャネルにおけるＲＦＵピン）が、部分的に完了したバーストを中断させるために使用される。例えば、このようなピンがファイングレインチャネルの標準長バーストのうちの半分にアサート（ａｓｓｅｒｔｅｄ）される場合、（８個の代わりに）４個の３２ビットワードだけが伝達される。

【0045】

一実施形態において、ロジックダイによって採用され得るエラー訂正コード（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｎｇ Ｃｏｄｅ，ＥＣＣ）に対応する変更は、元のバースト長で存在するエラー検出及び訂正機能を保持しながら部分的なアクセス長をアカウント（ａｃｃｏｕｎｔ）するために具現されてもよい。これは、ＥＣＣアルゴリズム、ＥＣＣコードワード（ｃｏｄｅ ｗｏｒｄ）ロケーション、及びデータ書き込み中にＥＣＣが計算されるデータワード部分に対する変更を含むことができる。

【0046】

本発明の一実施形態はまた、ロジックダイのより大きいレベルの帯域幅制御を提供するために協力して使用されてもよい。図３に示すように、ロジックダイ１２０は、元の８個の１２８ビットチャネル１３０のいずれか一つを、他の１２８ビットチャネル１３０のモードとは関係なく選択されたモードで動作させ得る。これは、バス帯域幅活用を増加させるための追加の柔軟性を提供できる非対称（例えば、非均一）データチャネル幅を許容する。さらに、一実施形態は、それぞれのレガシーチャネル、擬似チャネル、又はファイングレインチャネルのプログラム可能なバースト長減少を具体化することもできるので、非対称チャネル幅及びアクセス細分性を生成することができる。

【0047】

図３に示すように、非対称チャネル構成及び非対称アクセス細分性は、それぞれのチャネル１３０のモードレジスタによって定義されるように、高帯域幅メモリ（ＨＢＭ）システムの利用可能なメモリ帯域幅を最良に活用できる実行時に、チャネル１３０の互いに異なる構成がプログラミングされることを許容する。

【0048】

図３は、ロジックダイ１２０がインターフェース１９０のチャネル１３０のそれぞれを独立して動作させることを示す。図３に示すように、チャネルは、１２８ビットレガシーモード、６４ビット擬似モード、又は３２ビットファイングレインモードで動作し得る。また、レガシーチャネル及び擬似チャネルの一部は、ＢＬ＝２の切られたバースト長を有する。

【0049】

非限定的な例として、本発明の一実施形態は、並列に動作する数千個のコアを有し、減少した空間ローカリティ及び増加した無作為性を有するデータアクセスを生成する高性能グラフィック処理装置（ＧＰＵ）に連結されて使用され得るが、ロジックダイ１２０はチャネルの対応する数を増加させ、データアクセス細分性を減少させることによってインターフェース１９０の利用可能な帯域幅をよりよく活用するために、チャネルの一部に対して非対称チャネル構成及びバースト長を具現することができる。これは、例えば、機械学習の状況で、より大きいアクセス細分性を利用し、より高い精密度のための幅の広いチャネルを保存しながら、小さい細分性データを使用し、速くて精密度の低いチャネルを具備する必要がある場合である。

【0050】

また、本発明の一実施形態は、メモリに対するデータアクセスを記録し分析するために機械学習アルゴリズムを具現できるようにロジックダイ１２０を構成することに関する。

【0051】

機械学習アルゴリズムは、アドレスマッピング関数によってホストプロセッサ１４０によって行われるメモリアクセスのパターンを探すことができる。あらかじめ選択された複数のアドレスマッピング関数を用いて、機械学習アルゴリズムは、現在のアドレスマッピング関数によるメモリアクセスのパターンを、あらかじめ選択された複数のアドレスマッピング関数に従って予測されたメモリアクセスパターンと比較することによって、異なるアドレスマッピング関数を用いてアクセスの空間ローカリティを向上させ得るか否かを判断する。その後、機械学習アルゴリズムは、あらかじめ選択された複数のアドレスマッピング関数から、順次アクセスのための最大の空間ローカリティを生成するマッピング関数を選択する。アドレスマッピング関数の可能な個数はあらかじめ選択されるので、機械学習アルゴリズムは複雑性の減少した状態で具現される。

【0052】

アルゴリズムは、第１アドレスマッピング関数の順次アクセスの空間ローカリティ（“第１アドレスマッピング関数でマップされた空間ローカリティの程度（ｄｅｇｒｅｅ）”と呼ばれる）を、他のアドレスマッピング関数によって生成された予測される空間ローカリティと比較し、順次アクセスのための最大の空間ローカリティを生成するアドレスマッピング関数を選択する。当業者にアクセスのパターンに対する予測モデリングに効果的であると知られた、強化学習又は長短期記憶反復神経網（ＬＳＴＭ）などの、適切な機械学習アルゴリズムが、本発明の技術範囲内で活用され得る。読み出し動作が行なわれる間に、神経網は引き続きバックグラウンド（ｂａｃｋｇｒｏｕｎｄ）で学習される。さらに、神経網の最後のレイヤは、最も高くランクされたアドレスマッチング関数を選択する。したがって、学習段階で節約されるデータは、該当のマッピング関数に対応するビットに過ぎない。アドレスの順序（ｓｅｑｕｅｎｃｅ ｏｆ ａｄｄｒｅｓｓｅｓ）は、そのように大量のデータを記憶することは非実用的であるので、定められた時点では記憶されず、むしろアドレスが神経網に継続的に供給されてトレーニングデータとして機能する。出力ビットと共に学習されたモデルは、グラフィック処理装置（ＧＰＵ）が再装着／リブートされる（ｒｅａｔｔａｃｈｅｄ／ｒｅｂｏｏｔｅｄ）時に適切な変更をなすために、メモリコントローラによってオフラインで使用される。このようなアドレスマッチング関数の選択は、順次アクセスの数を増加させ、それに対応してメモリの効率性を向上させる。

【0053】

一実施形態において、機械学習アルゴリズムは、メモリがオフライン状態にある間にアクセスパターンを学習できるように具現される。ロジックダイ１２０は、リブート時の順次アクセスを向上させるために、中央処理装置（ＣＰＵ）又はグラフィック処理装置（ＧＰＵ）などのホストプロセッサ１４０によって使用される理想的なマッピング関数を伝達することができる。ロジックダイ１２０は、ＲＦＵピンを用いて好ましいマッピング関数をホストプロセッサ１４０に伝達することができる。

【0054】

上述した本発明の一実施形態は、より高い帯域幅の長所を活用するために、新しいハードウェア上で動作を例示し実行するための特殊な目的のインストラクションセット構造を使用できるロジックダイによって独立して具現され得る。また、本発明の一実施形態は、ＤＲＡＭコアのタイミングパラメータを向上させるか、又はスルーシリコンビア（ＴＳＶ）カウント若しくはビットレート（ｂｉｔｒａｔｅ）を増加させることができる高帯域幅メモリ（ＨＢＭ）システム１００に対する他の向上と協力して活用され得る。

【0055】

本発明の一実施形態では、ロジックダイ１２０へのアクセスを許容するように構成されたソフトウェアアプリケーションプログラミングインターフェース（ＡＰＩ）が提供され、ＴｅｎｓｏｒＦｌｏｗ、Ｔｏｒｃｈ７、Ｃａｆｆｅ、又は当業者に周知のその他機械学習フレームワークなどの、既存の機械学習フレームワークへの変更のない統合のためのソフトウェアドライバ及びライブラリーも提供される。

【0056】

本明細書において、高帯域幅メモリシステムの例示的な実施形態を具体的に説明し、例示したが、多くの変更及び変形が可能であることは、本技術分野における当業者には明らかである。したがって、本発明の思想に基づいて構成された高帯域幅メモリシステムは、本明細書で明確に説明されたものとは異なるように実施され得ることが理解される。また、本発明は、特許請求の範囲及びその均等物に基づいて定められる。

【符号の説明】

【0057】

１００ 高帯域幅メモリ（ＨＢＭ）システム
１１０ ＤＲＡＭダイ
１１２ メモリバンク
１２０ ロジックダイ
１３０、１３０Ａ～１３０Ｈ （１２８ビット）チャネル
１４０ ホストプロセッサ
１５０ シリコンインタポーザ
１６０ ＰＣＢ基板
１７０ マザーボード
１８０ ＴＳＶ
１９０ インターフェース

【図1】

【図2】

【図3】