特許 5744866 メモリ要求スケジューリングのアプリケーション選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5744866

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月8日

(54)【発明の名称】メモリ要求スケジューリングのアプリケーション選択

(51)【国際特許分類】

   G06F 12/00 20060101AFI20150618BHJP

   G06F 9/48 20060101ALI20150618BHJP

【ＦＩ】

   G06F12/00 571A

   G06F9/46 452Z

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2012-521654(P2012-521654)

(86)(22)【出願日】2010年6月25日

(65)【公表番号】特表2012-533829(P2012-533829A)

(43)【公表日】2012年12月27日

(86)【国際出願番号】US2010039944

(87)【国際公開番号】WO2011011157

(87)【国際公開日】20110127

【審査請求日】2012年1月26日

(31)【優先権主張番号】12/507,671

(32)【優先日】2009年7月22日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】509348786

【氏名又は名称】エンパイア テクノロジー ディベロップメント エルエルシー

(74)【代理人】

【識別番号】100093861

【弁理士】

【氏名又は名称】大賀 眞司

(74)【代理人】

【識別番号】100129218

【弁理士】

【氏名又は名称】百本 宏之

(72)【発明者】

【氏名】メミク，ギョクハン

(72)【発明者】

【氏名】メミク，セダ，オグレンチ

(72)【発明者】

【氏名】マンジオーネ−スミス，ビル

【審査官】 酒井 恭信

(56)【参考文献】

【文献】 米国特許出願公開第２００９／００３１３１４（ＵＳ，Ａ１）

【文献】 特表２００５−５０８５５０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００７４５１９（ＵＳ，Ａ１）

【文献】 国際公開第２００３／０４０９２７（ＷＯ，Ａ１）

【文献】 特表２００５−５１７２２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００３／００７４５２０（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００３／０１９１９０７（ＵＳ，Ａ１）

【文献】 特表２００８−５４１２１７（ＪＰ，Ａ）

【文献】 国際公開第２００６／１１７７４６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００９／０２１６９６２（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １２／００ − １２／０６

Ｇ０６Ｆ ９／４８

(57)【特許請求の範囲】

【請求項1】

アプリケーションプログラムが、メモリにデータを求める要求を発行するように適合されたスレッドを含むことによって、前記要求をスケジューリングする方法であって、
プロセッサが、前記アプリケーションプログラムから、前記メモリ内のデータを求める第１の要求を少なくとも含む第１のスレッドを受信することと、
前記プロセッサが、
前記アプリケーションプログラムから、前記メモリ内のデータを求める第２の要求を少なくとも含む第２のスレッドを受信することと、
前記プロセッサが、アプリケーションプログラムによって、ＦＲ−ＦＣＦＳ、ネットワークフェアキューイング、開始時間フェアキューイング、失速時間フェアメモリスケジューラ、並列処理認識バッチスケジューリング、および分離によるバッチスケジューリングのうちの２つ以上を含むスケジューリングアルゴリズムから、選択された特定のスケジューリングアルゴリズムを受信することであって、前記アプリケーションプログラムは、前記複数のスケジューリングアルゴリズムを含み、前記特定のスケジューリングアルゴリズムは、前記第１の要求および前記第２の要求を実行する順番を決定するのに有効であり、そして、バッチスケジューリングアルゴリズムを使用することと、
前記要求をスケジューリングするために、前記特定のスケジューリングアルゴリズムを使用するようにメモリコントローラに命令すること、及び
前記特定のスケジューリングアルゴリズムに従って、前記メモリコントローラによって、前記要求をスケジューリングすることであって、当該スケジューリングすることは、前記メモリコントローラによって、前記第１のスレッドと第２のスレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離することを有し、前記第１のスレッドタイプのそれぞれのスレッドは、第１のスレッド要求タイプの第１の要求を発行し、前記第２のスレッドタイプのそれぞれのスレッドは、第２のスレッド要求タイプの第２の要求を発行することと、
を含み、
前記分離することは、前記第１のスレッド及び第２のスレッドが並列メモリと共に使用されるために、他のスレッドとどのくらい効果的に共働するかに基づいて前記スレッドを分離することと、前記スレッドが発生した前記アプリケーションプログラムに基づいて前記スレッドを分離することと、それぞれのスレッドが行う要求の相対数に基づいて前記スレッドを分離することと、のうちの少なくとも１つを含み、
前記バッチスケジューリングアルゴリズムは、前記第１のスレッド要求タイプの前記要求を含むが前記第２のスレッド要求タイプの前記要求を含まない、第１のバッチを形成する命令と、前記第２のスレッド要求タイプの前記要求を含むが前記第１のスレッド要求タイプの前記要求を含まない、第２のバッチを形成する命令と、を含み、
前記プロセッサが、前記特定のスケジューリングアルゴリズムによって決定された前記順番で前記第１の要求および前記第２の要求をスケジューリングするように、前記メモリコントローラを制御するようにする
前記方法。

【請求項2】

前記アプリケーションプログラム内で前記スレッドを実行すること、
前記スレッドからの前記要求を前記メモリコントローラに発行すること、
をさらに含む、請求項１に記載の方法。

【請求項3】

前記メモリコントローラによって、前記要求を実行することをさらに含む、請求項２に記載の方法。

【請求項4】

前記メモリコントローラによって前記第１のバッチ及び第２のバッチが形成される、請求項１に記載の方法。

【請求項5】

前記第１のバッチを形成したことに応答して、前記メモリコントローラによって、前記第１のバッチのそれぞれの前記第１の要求を実行することをさらに含む、請求項４に記載の方法。

【請求項6】

前記分離によるバッチスケジューリングが、バッチアルゴリズムおよびバッチ内スケジューリングアルゴリズムを含む、請求項１に記載の方法。

【請求項7】

前記特定のスケジューリングアルゴリズムは更に、バッチ内スケジューリングアルゴリズムを使用する、請求項１に記載の方法。

【請求項8】

前記複数のスケジューリングアルゴリズムが、バッチ内並列処理認識スケジューリング、バッチ内全最大スケジューリング、バッチ内ランダムスケジューリング、バッチ内ラウンドロビンスケジューリング、およびバッチ内ＦＲ−ＦＣＦＳスケジューリングのうちの２つ以上を含む、請求項１に記載の方法。

【請求項9】

アプリケーションプログラムがメモリにデータを求める要求を発行するように適合されたスレッドを含むことによって、前記要求をスケジューリングするための、コンピュータ可読媒体内で符号化されるソフトウェアを有するコンピュータプログラムであって、
前記ソフトウェアは命令を含み、該命令は、実行に応答して、
プロセッサが、前記アプリケーションプログラムから、前記メモリ内のデータを求める第１の要求を少なくとも含む第１のスレッドを受信するようにさせることと、
前記プロセッサが、前記アプリケーションプログラムから、前記メモリ内のデータを求める第２の要求を少なくとも含む第２のスレッドを受信するようにさせることと、
前記プロセッサが、前記アプリケーションプログラムによって、複数のスケジューリングアルゴリズムからの特定のスケジューリングアルゴリズムの選択を取得するようにさせることであって、前記複数のスケジューリングアルゴリズムは、ＦＲ−ＦＣＦＳ、ネットワークフェアキューイング、開始時間フェアキューイング、失速時間フェアメモリスケジューラ、並列処理認識バッチスケジューリング、および分離によるバッチスケジューリングのうちの２つ以上を含み、前記アプリケーションプログラムは、前記複数のスケジューリングアルゴリズムを含み、前記特定のスケジューリングアルゴリズムは、前記第１の要求および前記第２の要求を実行する順番を決定するのに有効であり、そして、バッチスケジューリングアルゴリズムを使用することと、
前記要求をスケジューリングするために、前記特定のスケジューリングアルゴリズムをメモリコントローラに使用させること、及び
前記特定のスケジューリングアルゴリズムに従って、前記メモリコントローラによって、前記要求をスケジューリングすることを行うように動作し、
前記要求を前記スケジューリングするための前記命令は、前記メモリコントローラによって、前記第１のスレッドと第２のスレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離するための命令を有し、前記第１のスレッドタイプのそれぞれのスレッドは、第１のスレッド要求タイプの第１の要求を発行し、前記第２のスレッドタイプのそれぞれのスレッドは、第２のスレッド要求タイプの第２の要求を発行し、
前記分離するための前記命令は、前記第１のスレッド及び第２のスレッドが並列メモリと共に使用されるために、他のスレッドとどのくらい効果的に共働するかに基づいて前記スレッドを分離することと、前記スレッドが発生した前記アプリケーションプログラムに基づいて前記スレッドを分離することと、それぞれのスレッドが行う要求の相対数に基づいて前記スレッドを分離することと、のうちの少なくとも１つのための命令を含み、
前記バッチスケジューリングアルゴリズムは、前記第１のスレッド要求タイプの前記要求を含むが前記第２のスレッド要求タイプの前記要求を含まない、第１のバッチを形成する命令と、前記第２のスレッド要求タイプの前記要求を含むが前記第１のスレッド要求タイプの前記要求を含まない、第２のバッチを形成する命令と、を含み、
前記プロセッサが、前記特定のスケジューリングアルゴリズムによって決定された前記順番で前記第１の要求および前記第２の要求をスケジューリングするように、前記メモリコントローラを制御するようにした、
コンピュータプログラム。

【請求項10】

前記分離によるバッチスケジューリングが、バッチアルゴリズムおよびバッチ内スケジューリングアルゴリズムを含む、請求項９に記載のコンピュータプログラム。

【請求項11】

前記複数のスケジューリングアルゴリズムが、バッチ内並列処理認識スケジューリング、バッチ内全最大スケジューリング、バッチ内ランダムスケジューリング、バッチ内ラウンドロビンスケジューリング、およびバッチ内ＦＲ−ＦＣＦＳスケジューリングのうちの２つ以上を含む、請求項９に記載のコンピュータプログラム。

【請求項12】

複数のコアと、
前記複数のコアに動作可能に結合された、データを格納するメモリと、
前記複数のコアに動作可能に結合されたメモリコントローラと、
前記メモリに前記データを求める要求を発行するように適合されたスレッドを含むことによって、前記要求をスケジューリングするアプリケーションプログラムであって、複数のスケジューリングアルゴリズムから特定のスケジューリングアルゴリズムを選択するように適合されたアプリケーションプログラムと、
前記複数のコアに動作可能に結合されたコンピュータ可読媒体と、
を備えるコンピュータシステムであって、
前記コンピュータ可読媒体はコンピュータ実行可能命令を含み、該コンピュータ実行可能命令は、当該コンピュータシステムによる実行に応答して
前記複数のコアの少なくとも一つが、前記アプリケーションプログラムから、前記メモリ内のデータを求める第１の要求を少なくとも含む第１のスレッドを受信するようにさせることと、
前記複数のコアの少なくとも一つが、前記アプリケーションプログラムから、前記メモリ内のデータを求める第２の要求を少なくとも含む第２のスレッドを受信するようにさせることと、
前記複数のコアの少なくとも一つが、前記アプリケーションプログラムによって、前記複数のスケジューリングアルゴリズムからの前記特定のスケジューリングアルゴリズムの選択を取得するようにさせることであって、前記複数のスケジューリングアルゴリズムは、ＦＲ−ＦＣＦＳ、ネットワークフェアキューイング、開始時間フェアキューイング、失速時間フェアメモリスケジューラ、並列処理認識バッチスケジューリング、および分離によるバッチスケジューリングのうちの２つ以上を含み、前記アプリケーションプログラムは、前記複数のスケジューリングアルゴリズムを含み、前記特定のスケジューリングアルゴリズムは、前記第１の要求および前記第２の要求を実行する順番を決定するのに有効であり、そして、バッチスケジューリングアルゴリズムを使用し、
前記要求をスケジューリングするために、前記選択されたスケジューリングアルゴリズムを前記メモリコントローラに使用させ、且つ
前記特定のスケジューリングアルゴリズムに従って、前記メモリコントローラによって、前記要求をスケジューリングする、ように当該コンピュータシステムを構成させ、
前記要求をスケジューリングするように当該コンピュータシステムを構成するための前記コンピュータ実行可能命令は、前記メモリコントローラによって、前記第１のスレッド及び第２のスレッドを第１のスレッドタイプおよび第２のスレッドタイプに分離するための命令を有し、前記第１のスレッドタイプのそれぞれのスレッドは、第１のスレッド要求タイプの第１の要求を発行し、前記第２のスレッドタイプのそれぞれのスレッドは、第２のスレッド要求タイプの第２の要求を発行し、
前記分離するための前記命令は、前記第１のスレッド及び第２のスレッドが並列メモリと共に使用されるために、他のスレッドとどのくらい効果的に共働するかに基づいて前記スレッドを分離することと、前記スレッドが発生した前記アプリケーションプログラムに基づいて前記スレッドを分離することと、それぞれのスレッドが行う要求の相対数に基づいて前記スレッドを分離することと、のうちの少なくとも１つのための命令を含み、
前記バッチスケジューリングアルゴリズムは、前記第１のスレッド要求タイプの前記要求を含むが前記第２のスレッド要求タイプの前記要求を含まない、第１のバッチを形成する命令と、前記第２のスレッド要求タイプの前記要求を含むが前記第１のスレッド要求タイプの前記要求を含まない、第２のバッチを形成する命令と、を含み、
前記プロセッサが、前記特定のスケジューリングアルゴリズムによって決定された前記順番で前記第１の要求および前記第２の要求をスケジューリングするように、メモリコントローラを制御するようにする、
コンピュータシステム。

【請求項13】

前記分離によるバッチスケジューリングが、バッチアルゴリズムおよびバッチ内スケジューリングアルゴリズムを含む、請求項１２に記載のコンピュータシステム。

【請求項14】

前記特定のスケジューリングアルゴリズムは更に、バッチ内スケジューリングアルゴリズムを使用する、請求項９に記載のコンピュータプログラム。

【請求項15】

前記特定のスケジューリングアルゴリズムは更に、バッチ内スケジューリングアルゴリズムを使用する、請求項１２に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、以下の同時継続出願、すなわち、２００９年７月２２日に出願された「Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ Ｗｉｔｈ Ｓｅｇｒｅｇａｔｉｏｎ」という表題の出願番号第１２／５０７，６８６号、および２００９年７月２３日に出願された「Ｓｃｈｅｄｕｌｉｎｇ Ｏｆ Ｔｈｒｅａｄｓ Ｂｙ Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ」という表題の出願番号第１２／５０８，４５７号に関する。

【背景技術】

【0002】

チップマルチプロセッサ（ＣＭＰ）システムでは、ＤＲＡＭシステムはコア間で共有される。共有されたＤＲＡＭシステムでは、スレッドからの要求は、バンク衝突、バス衝突、またはロウ（行）バッファ衝突を引き起こすことによって、他のスレッドからの要求を遅らせる可能性があるだけでなく、他のスレッドのＤＲＡＭバンクレベルの並列処理を破壊する可能性がある。普通なら並行化されているはずのレイテンシを伴う要求は、事実上シリアル化される可能性がある。結果として、公平性とシステムスループットの両方が劣化する可能性があり、一部のスレッドは長期間にわたって処理されない（ｓｔａｒｖｅ）可能性がある。

【0003】

公平で高性能のメモリスケジューリングを実行するための一手法は、本出願に一致しない場合を除いて、そのすべてが参照により本明細書に組み込まれている、Ｏｎｕｒ ＭｕｔｌｕおよびＴｈｏｍａｓ Ｍｏｓｃｉｂｒｏｄａの「Ｐａｒａｌｌｅｌｉｓｍ−Ａｗａｒｅ Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ：Ｅｎｈａｎｃｉｎｇ ｂｏｔｈ Ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ Ｆａｉｒｎｅｓｓ ｏｆ Ｓｈａｒｅｄ ＤＲＡＭ Ｓｙｓｔｅｍｓ」／ＳＣＡ、６３〜７４ページ、２００８（２００８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｃｏｍｐｕｔｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）に示されるような並列処理認識バッチスケジューリング（ｐａｒａｌｌｅｌｉｓｍ−ａｗａｒｅ ｂａｔｃｈ ｓｃｈｅｄｕｌｉｎｇ）（ＰＡＲ−ＢＳ）と呼ばれるスケジューリングアルゴリズムを使用している。ＰＡＲ−ＢＳ設計は、２つの構想に基づく。すなわち、（１）要求バッチ処理、および（２）並列処理認識メモリスケジューリングである。第１に、ＰＡＲ−ＢＳは、公平性を提供して、要求の未処理（ｓｔａｒｖａｔｉｏｎ）を回避するために、ＤＲＡＭ要求をバッチの形で処理する。第２に、システムスループットを最適化するために、ＰＡＲ−ＢＳは、ＤＲＡＭバンク内でスレッドからの要求を並列処理し、それによって、スレッドが経験するメモリ関連の失速時間を削減する目的で、並列処理認識ＤＲＡＭスケジューリングポリシーを用いる。ＰＡＲ−ＢＳは、システムレベルのスレッド優先順位に関するサポートを組み込み、異なる優先順位を有するスレッドに対して、純粋に便宜主義的なサービスを含めて、異なるサービスレベルを提供することが可能である。

【発明の概要】

【課題を解決するための手段】

【0004】

第１の態様では、本開示は、一般に、アプリケーションプログラムを用いてスケジューリングアルゴリズムを選択すること、要求をスケジューリングするために、選択されたスケジューリングアルゴリズムを使用するようにメモリコントローラに命令すること、そのスケジューリングアルゴリズムに従って、メモリコントローラを用いて、それらの要求をスケジューリングすることを含む、メモリにデータを求める要求をスケジューリングする方法を説明する。

【0005】

第２の態様では、本開示は、一般に、コンピュータ可読媒体内で符号化されたソフトウェアを有する、メモリにデータを求める要求をスケジューリングするためのコンピュータプログラム製品を説明する。このソフトウェアは、実行されたとき、アプリケーションプログラムを用いて、スケジューリングアルゴリズムを選択すること、要求をスケジューリングするために、そのスケジューリングアルゴリズムを使用するようにメモリコントローラに命令すること、そのスケジューリングアルゴリズムに従って、そのメモリコントローラを用いて、要求をスケジューリングすることを行うように動作可能な命令を含む。

【0006】

第３の態様では、本開示は、一般に、複数のコアと、それらの複数のコアに動作可能に結合された、データを含むメモリと、それらの複数のコアに動作可能に結合されたメモリコントローラと、それらの複数のコアに動作可能に結合されたコンピュータ可読媒体とを有するコンピュータシステムを説明する。このコンピュータ可読媒体は、コンピュータシステムによって実行されたとき、アプリケーションプログラムを用いて、スケジューリングアルゴリズムを選択して、要求をスケジューリングするために、そのスケジューリングアルゴリズムを使用するようにメモリコントローラに命令し、そのスケジューリングアルゴリズムに従って、メモリコントローラを用いて、要求をスケジューリングするようにコンピュータシステムを構成するコンピュータ実行可能命令を含む。

【0007】

前述の要約は、単に例示的であり、決して限定的であることが意図されない。上で説明された例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の発明を実施するための形態を参照することによって明らかになるであろう。

【0008】

主題は、本明細書の結末部分で詳細に指摘され、明確に特許請求される。本開示の前述の特徴およびその他の特徴は、添付の図面と共に、以下の説明および添付の特許請求の範囲から十分明らかになるであろう。これらの図面は本開示によるいくつかの実施形態だけを示し、したがって、その範囲を限定すると見なされないことを理解し、本開示は、添付の図面の使用により、追加の特異性および詳細を用いて説明される。

【図面の簡単な説明】

【0009】

【図1】コンピュータシステムを例示する図である。

【図2】オペレーティングシステムによって実行されているアプリケーションプログラムを例示する図である。

【図3】図３Ａのメモリコントローラのスケジューラの詳細図を含む、メモリコントローラに送信される要求を発行するスレッドに分割されているアプリケーションプログラムの概略図である。

【図4】分離によるバッチスケジューリングのための方法、装置（システム）、およびコンピュータプログラム製品を例示する流れ図である。

【図5】分離によるバッチスケジューリングのためにバッチの形で構成されているスレッドからの要求の概略図である。

【図6】すべて本開示の少なくともいくつかの実施形態に従って構成された方法、装置（システム）、およびコンピュータプログラム製品の流れ図である。

【発明を実施するための形態】

【0010】

以下の説明は、特許請求される主題の十分な理解をもたらすために、特定の詳細と共に様々な例を記載する。しかし、特許請求される主題は、本明細書で開示される特定の詳細のうちのいくつかまたはより多くの当該詳細なしに実行可能である点を当業者は理解されよう。さらに、状況によっては、よく知られている方法、手順、システム、構成要素、および／または回路は、特許請求される主題を不必要にあいまいにすることを回避するために、詳しく説明されていない。以下の詳細な説明では、その説明の一部を形成する添付の図面が参照される。図面では、別段文脈によって示されない限り、類似の符号は、通常、類似の構成要素を識別する。発明を実施するための形態、図面、および特許請求の範囲において説明される例示的な実施形態は、限定的なものとしない。本明細書で提示される主題の趣旨または範囲から逸脱せずに、その他の実施形態を利用することが可能であり、ここに提示される主題の趣旨および範囲から逸脱せずに、その他の変更を行うことも可能である。本明細書で一般に説明され、図面において例示される本開示の態様は、そのすべてが明示的に企図され、本開示の一部である幅広い異なる構成で構成、置換、組合せ、および設計され得る点を容易に理解されよう。

【0011】

以下の説明では、コンピュータ内および／もしくはコンピューティングシステムメモリ内など、コンピューティングシステム内に格納されたデータビットおよび／もしくは２値デジタル信号に関するアルゴリズムならびに／または動作の記号表現が提示される場合がある。アルゴリズムは、一般に、所望される結果をもたらす動作および／または類似処理の自己無撞着シーケンスと見なされ、この場合、これらの動作は、格納されること、転送されること、組み合わされること、比較されること、および／もしくは、他の方法で操作されることが可能な電気信号、磁気信号ならびに／または電磁信号の形をとり得る物理量の物理処理を必要とする場合がある。様々な状況において、かかる信号は、ビット、データ、値、要素、記号、文字、用語、番号、数字などと呼ばれる場合がある。しかし、当業者は、かかる用語は物理量を意味するために使用され得る点を認識されよう。したがって、本明細書において「格納する」、「処理する」、「取り出す」、「計算する」、「決定する」などの用語が使用されるとき、これらは、コンピューティングプラットフォームのプロセッサ内、メモリ内、レジスタ内などの電子量および／もしくは磁気量を含む物理量として表されるデータを操作ならびに／または変換する、コンピュータ、あるいはセルラ電話などの類似の電子コンピューティングデバイスなど、コンピューティングプラットフォームの動作を指す場合がある。

【0012】

本開示は、とりわけ、メモリ要求スケジューリングのアプリケーション選択に関する方法、装置、システム、およびコンピュータプログラム製品に関して描写される。本開示は、一般に、複数のスケジューリングアルゴリズムから、要求をスケジューリングするためのスケジューリングアルゴリズムを選択するためにアプリケーションプログラムを使用すること、およびその選択されたスケジューリングアルゴリズムを使用するようにメモリコントローラに命令することの発見も使用する。

【0013】

図１は、本開示の少なくともいくつかの実施形態に従って構成されたコンピュータシステムを例示する。図１は、プロセッサ１１０と、メモリ１２０と、１つまたは複数のドライブ１３０とを含むコンピュータ１００を例示する。ドライブ１３０およびその関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの記憶装置をコンピュータ１００に提供することが可能である。ドライブ１３０は、オペレーティングシステム１４０と、アプリケーションプログラム１５０と、プログラムモジュール１６０と、データベース１８０とを含むことが可能である。オペレーティングシステム１４０および／またはアプリケーションプログラム１５０は、例えば、コンピュータ１００に図６に指定される機能および／または動作、例えば、アプリケーションの一部であるスケジューリングアルゴリズム１５３を実行させるためのプログラム命令を含むことが可能である。コンピュータ１００は、それを介してユーザがコマンドおよびデータを入力できるユーザ入力デバイス１９０を含むことが可能である。入力デバイスは、電子デジタイザと、マイクロフォンと、キーボードと、一般に、マウス、トラックボールまたはタッチパッドと呼ばれるポインティングデバイスとを含むことが可能である。その他の入力デバイスは、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナなどを含むことが可能である。

【0014】

これらの入力デバイスおよびその他の入力デバイスは、システムバスに結合可能なユーザ入力インターフェースを介してプロセッサ１１０に結合可能であるか、あるいは当該入力デバイスは、パラレルポート、ゲームポート、もしくはユニバーサルシリアルバス（ＵＳＢ）など、その他のインターフェースまたはバス構造によって接続可能である。コンピュータ１００は、出力周辺インターフェース１９４などを介して接続可能なスピーカ、プリンタ、またはディスプレイ２０２など、周辺出力デバイスを含むことが可能である。

【0015】

コンピュータ１００は、ネットワークインターフェース１９６に接続された遠隔コンピュータなど、１つまたは複数のコンピュータに対する論理接続を使用して、ネットワーキング環境で動作するように構成され得る。この遠隔コンピュータは、パーソナルコンピュータ（ＰＣ）、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、またはその他の共通ネットワークノードであってよく、コンピュータ１００に関連して上で説明された要素の多くまたはすべてを含むことが可能である。

【0016】

ネットワーキング環境は、事務所、企業広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、およびインターネットを含むことが可能である。一例では、コンピュータ１００は、そこからデータが移動されている送信元機械であってよく、遠隔コンピュータは、宛先機械を備えてよく、またはその逆であってもよい。送信元ソース機械および宛先機械は、ネットワーク１０８または任意の他の手段によって接続できず、代わりに、データは、送信元プラットフォームによって書き込まれて、１つまたは複数の宛先プラットフォームによって読み取られることが可能な任意の媒体を経由して移動可能である。ＬＡＮまたはＷＬＡＮのネットワーキング環境では、コンピュータ１００は、ネットワークインターフェース１９６もしくはアダプタを介して、ＬＡＮまたはＷＡＮに接続可能である。ＷＡＮネットワーキング環境では、コンピュータ１００は、モデム、またはインターネットもしくはネットワーク１０８など、ＷＡＮ上で通信を確立するためのその他の手段を含むことが可能である。コンピュータ同士の間で通信リンクを確立するその他の手段を使用することも可能である。

【0017】

コンピュータ周辺装置は、システムバスを介してコンピュータ１００のプロセッサ１１０およびメモリ１２０に結合された任意のデバイスを含むことが可能である。コンピュータ周辺装置は、ディスプレイ２０２、プリンタ、またはスピーカを含む出力周辺インターフェースと、ドライブ１３０と、キーボード、マウス、およびマイクロフォンなどのユーザ入力デバイス１９０と、ネットワークインターフェース１９６とに接続された任意のデバイスを含むことが可能である。コンピュータ周辺装置の構成要素は、電力を使用することが可能であり、スピーカ、発光ダイオードなどの照明要素、またはディスプレイに照明を提供するために使用されるバックライト、ＬＣＤ、ＬＥＤ、ＯＬＥＯ、ＣＲＴ、もしくはプラズマディスプレイなどのディスプレイ要素、または中央処理装置（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、メモリなどの半導体チップなど、任意のデバイスであってよい、コンピュータ周辺装置内の任意のデバイスを含むことが可能である。

【0018】

図２は、本開示の少なくともいくつかの実施形態に従って構成された、オペレーティングシステムによって実行されているアプリケーションプログラムを例示する。図２に示されるように、オペレーティングシステム１４０は、ドライブ１３０からアプリケーションプログラム１５０を実行することができる。オペレーティングシステム１４０および／またはアプリケーションプログラム１５０は、例えば、コンピュータ１００に図６に指定された機能および／または動作を実行させるためのプログラム命令を含むことが可能である。アプリケーションプログラム１５０は、マイクロプロセッサ１１１内のオペレーティングシステム１４０によって実行可能な任意のアプリケーション、プログラム、プログラムの部分、またはスレッドであってよい。アプリケーションプログラム１５０は、メモリコントローラ２１０を使用して、データ２３０をメモリ１２０内にロードし、メモリ１２０からデータ２３０にアクセスするように構成可能である。アプリケーションプログラム１５０は、１つまたは複数の要求２２６を使用して、メモリ１２０のメモリバンク１２２内にデータ２３０をロードし、メモリ１２０のメモリバンク１２２からデータ２３０にアクセスするなどのタスクを達成するために、スレッド２２０と呼ばれる複数のサブアプリケーションを実行するように構成可能である。スレッド２２０は、アプリケーションプログラム１５０によって実行可能である。アプリケーションプログラム１５０は、タスクの実行を、アプリケーションプログラムがそのタスクを達成するために必要と見なすだけの数のスレッド２２０に分割するように構成可能である。例えば、アプリケーションプログラム１５０が複数のページを有する文書を用いたワード処理プログラムであり、アプリケーションプログラム１５０がその文書のそれぞれのページのスペルチェックのタスクを達成するように構成される場合、アプリケーションプログラム１５０は、それぞれのスレッド２２０がその文書の一部をスペルチェックできるように、文書のスペルチェックのタスクを複数のスレッド２２０に分割するように構成可能である。それぞれのスレッド２２０は、実行のためにマルチプロセッサ１１１に送信可能である。マルチプロセッサ１１１内で実行されたとき、それぞれのスレッド２２０は、メモリ１２０内でデータ２３０に関する要求２２６を作成することが可能である。要求２２６は、効率的に動作するようにマルチプロセッサ１１１を構成することができるように要求２２６を組織できるメモリコントローラ２１０に送信可能である。

【0019】

いくつかの実施形態では、図２に示されるように、マルチプロセッサ１１１は、２つ以上のスレッド２２０を同時に実行できるプロセッサを含むことが可能である。マルチプロセッサ１１１は、コア４１２および５１２として知られる複数のプロセッサを含むことが可能であり、またはマルチスレッドプロセッサとしても知られている、複数のスレッド２２０を同時に実行できる単一のプロセッサ（４１２もしくは５１２のうちの１つだけ）を含むことも可能である。図２は、２つのコア４１２および５１２を含む例示的なマルチプロセッサ１１１を示すが、任意の特定数のコアに限定されない。「コア」という用語は、本明細書において、単一のスレッドを処理することが可能であり、単一のスレッドを処理できるプロセッサまたはプロセッサ内の部分を指す場合がある任意のデバイスを指すために使用される場合がある。マルチスレッドプロセッサは、複数のコアを有するプロセッサと呼ばれる場合がある。複数のプロセッサを有するコンピュータ１００は、本明細書において、複数のコアを有するコンピュータ１００と呼ばれる場合がある。

【0020】

図３は、本開示の少なくともいくつかの実施形態に従って、メモリコントローラに送信される要求を発行できるスレッドに分割されているアプリケーションプログラムの概略図を示す。図３に示されるように、アプリケーション１５０は、複数のスレッド２２０_ａ〜２２０_ｎに分割可能であり、この場合、ｎはスレッド２２０の数を表すことが可能であり、それぞれのスレッドは、アプリケーション１５０に関するタスクを実行することが可能であり、例えば、図２のマルチプロセッサ１１１上で実行可能である。このマルチプロセッサは、アプリケーションプログラム１５０から複数のスレッド２２０_ａ〜２２０_ｎを個々にまたは同時に受信および実行するように構成され得る。マルチプロセッサ上で実行されるそれぞれのスレッド２２０は、それぞれの他のスレッド２２０から独立して実行可能であり、メモリ１２０内に格納されたデータ２３０に関して複数の要求２２６_ａ１〜２２６_ｎｏ
を発行することが可能であり、この場合、第１の指数（ａ．．．ｎ）は、要求２２６に関連するスレッド２２０を表し、第２の指数（１．．．ｏ）は、特定のスレッド２２０に関連する要求２２６の数を表す。

【0021】

それぞれのスレッド２２０は、メモリ１２０内に格納されたデータ２３０に関する要求２２６を発行することが可能であり、一例では、メモリ１２０内のメモリバンク１２２_ａ〜１２２_ｍ内に格納されたデータ２３０に関する要求２２６を発行することが可能であり、この場合、指数（ａ、ｂ．．．ｍ）は、メモリバンク１２２の数を表すことが可能である。メモリ１２０は、異なるメモリバンクからデータ２３０を追求する場合、複数の未解決のメモリ要求２２６が並列して処理されることを可能にするように構成可能な複数のメモリバンク１２２_ａから１２２_ｍを含むことが可能である。結果として、第１のメモリバンク１２２_ａおよび第２のメモリバンク１２２_ｂは、データ２３０に関する要求２２６の受信時に、メモリコントローラ２１０によって同時にアクセスされ得る。

【0022】

それぞれのメモリバンク１２２は、指数（１．．．ｉ）が列の数を表すことが可能な列Ｃ_１からＣ_ｉと、指数（１．．．ｊ）が行の数を表すことが可能な行Ｒ_１からＲ_ｉとを含む二次元アレイであってよい。行は、連続的なメモリ位置内にデータを格納することが可能であり、例えば、およそ１〜２キロバイト（ＫＢ）のサイズであってよい。メモリバンク１２２内のデータ２３０は、最大で１行を含み得る行バッファＲ_Ｂからアクセス可能である。一例では、それぞれのメモリバンク１２２は、１つの行バッファＲ_Ｂを含むことが可能である。メモリバンク１２２がデータ２３０に関するそれぞれの要求２２６にサービス提供するためにかかる時間は、それぞれの行バッファＲ_Ｂの状態に依存する可能性があり、３つの範疇のうちの１つに該当し得る。第１の範疇は、行ヒット（ｒｏｗ−ｈｉｔ）であってよく、この場合、要求２２６は、それぞれの行バッファＲ_Ｂ内で現在開放され、メモリコントローラ２１０がそれぞれのメモリバンク１２２に対する読取りコマンドまたは書込みコマンドだけを発行することを可能にし、結果として、ｔ_ＣＬのバンクアクセスレイテンシをもたらし得る行に対する可能性がある。

【0023】

第２の範疇は、行閉鎖（ｒｏｗ ｃｌｏｓｅｄ）であってよく、この場合、行バッファＲ_Ｂ内には開放された行が存在しない可能性があり、その結果、メモリコントローラ２１０は、まず要求される行を開放するための起動コマンドを発行し、次いで、読取り／書込みコマンドを発行し、結果として、ｔ_ＲＣＤ＋ｔ_ＣＬの総レイテンシをもたらす必要があり、式中、ｔ_ＲＣＤは起動コマンドに関するレイテンシであり、ｔ_ＣＬは読取り／書込みコマンドに関するレイテンシである。第３の範疇は、行衝突（ｒｏｗ ｃｏｎｆｌｉｃｔ）であってよく、この場合、要求２２６は、それぞれの行バッファＲ_Ｂ内の現在の行とは異なる行に対する可能性があり、その結果、メモリコントローラ２１０は、まずプリチャージ（ｐｒｅｃｈａｒｇｅ）コマンドを発行して、（必要とされる行をアクティブ化することによって）必要とされる行を開放し、必要とされる行内のデータに関して読取り／書込みコマンドを発行する必要がある。これらのアクセスは、ｔ_ＲＰ＋ｔ_ＲＣＤ＋ｔ_ＣＬの最高総レイテンシを負う可能性があり、式中、ｔ_ＲＰは（行を閉鎖するための）行プリチャージに関するレイテンシであり、ｔ_ＲＣＤは起動コマンドに関するレイテンシであり、ｔ_ＣＬは読取り／書込みコマンドに関するレイテンシである。

【0024】

メモリコントローラ２１０は、メモリ１２０およびマルチプロセッサと通信している形で構成可能であり、マルチプロセッサ内を含めて、システムに沿ってどこに配置されてもよい。メモリコントローラ２１０は、要求２２６がサービス提供されるのを待っている可能性がある間、要求２２６およびデータ２３０にバッファリングするように構成可能なメモリ要求バッファ２１１を含むことが可能である。メモリコントローラ２１０は、サービス提供されることになる次の要求２２６を選択するように構成可能なスケジューラ２１２を含むことが可能である。いくつかの実施形態では、スケジューラ２１２は２つのレベルを有し得る。サービス提供されることになる次の要求２２６を選択するとき、スケジューラ２１２は、メモリバンク１２２_ａ〜１２２_ｍの状態と、メモリコントローラ２１０をそれぞれのメモリバンク１２２に接続しているメモリバス２１４_ａ〜２１４_ｍの状態と、要求２２６の状態とを考慮するように構成可能である。要求２２６に関するメモリコマンドは、そのスケジューリングが、メモリバンク１２２_ａ〜１２２_ｍ、およびアドレス／データ／システムバスなど、いかなるリソース衝突も引き起こさず、いかなるメモリタイミング制約にも違反しない場合、スケジューラ２１２によってスケジュールされ得る。いかなる衝突も引き起こさないメモリコマンドは、準備ができていると見なすことができる。

【0025】

様々なメモリ要求スケジューリングアルゴリズムが存在する。例は、（Ａ）ＦＲ−ＦＣＦＳ（ｆｉｒｓｔ−ｒｅａｄｙ ｆｉｒｓｔ−ｃｏｍｅ−ｆｉｒｓｔ ｓｅｒｖｅ）、（Ｂ）ネットワークフェアキューイング（Ｎｅｔｗｏｒｋ Ｆａｉｒ Ｑｕｅｕｉｎｇ）、およびその変形、開始時間フェアキューイング（Ｓｔａｒｔ−ｔｉｍｅ Ｆａｉｒ Ｑｕｅｕｉｎｇ）、（Ｃ）失速時間フェアメモリスケジューラ（Ｓｔａｌｌ−ｔｉｍｅ Ｆａｉｒ Ｍｅｍｏｒｙ Ｓｃｈｅｄｕｌｅｒ）、ならびに（Ｄ）バッチアルゴリズムおよびバッチ内スケジューリングアルゴリズムの両方を使用して、（時間ベースの静的バッチ処理および空きスロットバッチ処理など）異なるバッチアルゴリズムならびに／または（バッチ内並列処理認識スケジューリング、バッチ内全最大スケジューリング（Ｔｏｔａｌ−ｍａｘ Ｗｉｔｈｉｎ Ｂａｃｈ Ｓｃｈｅｄｕｌｉｎｇ）、バッチ内ランダムスケジューリング、バッチ内ラウンドロビンスケジューリング、およびバッチ内ＦＲ−ＦＣＦＳスケジューリングなど）異なるバッチ内スケジューリングアルゴリズムを使用することによって生み出される変形を可能にする並列処理認識バッチスケジューリング（Ｐａｒａｌｌｅｌｉｓｍ−ａｗａｒｅ Ｂａｔｃｈ Ｓｃｈｅｄｕｌｉｎｇ）を含むことが可能である。

【0026】

加えて、下（図４および５）でより詳細に説明されるのは、別のメモリ要求スケジューリングアルゴリズム、すなわち、（Ｅ）バッチアルゴリズムおよびバッチ内スケジューリングアルゴリズムの両方を使用することも可能な、分離によるバッチスケジューリングである。このアルゴリズムでは、バッチアルゴリズムは、例えば、（１）それらのスレッドが、並列メモリと共に使用するために、どのくらい良好に設計されているかに基づいて、良好な設計スレッドおよび不良な設計スレッド、（２）それらのスレッドがその他のスレッドとどのくらい効果的に共働するかに基づいて、協調スレッドおよび非協調スレッド、（３）そのスレッドが発生したアプリケーションプログラムに基づいて、第１のアプリケーションスレッド、第２のアプリケーションスレッド、および第３のアプリケーションスレッド、（４）それらのスレッドが行う要求の相対数に基づいて、大規模要求スレッド、オプションで、中規模要求スレッドおよび小規模要求スレッド、例えば、大規模要求スレッドは、平均数以上の要求を行うことが可能であり、小規模要求スレッドは、平均数未満のいくつかの要求を行うことが可能であるなど、要求を発行したスレッドの特性に基づいて、要求をグループ化するように適合可能である。並列処理認識バッチスケジューリングと同様に、（バッチ内並列処理認識スケジューリング、バッチ内全最大スケジューリング、バッチ内ランダムスケジューリング、バッチ内ラウンドロビンスケジューリング、およびバッチ内ＦＲ−ＦＣＦＳスケジューリングなど）いくつかの変形を生み出すために、異なるバッチ内スケジューリングアルゴリズムを使用することが可能である。

【0027】

図３Ａは、バッチアルゴリズム３０２およびバッチ内スケジューリングアルゴリズムまたはバッチ内並列処理認識スケジューリングアルゴリズム３５０を含むスケジューリングアルゴリズム３００の一部を示す、分離によるバッチスケジューリングと共に使用可能なスケジューラ２１２の詳細図を含む。あるいは、バッチ内スケジューリングアルゴリズムおよびバッチ内並列処理認識スケジューリングアルゴリズムの両方がスケジューリングアルゴリズムによって用いられることも可能である。

【0028】

図３および図３Ａを再び参照すると、スレッド２２０_ａ〜２２０_ｎから要求２２６_ａ１〜２２６_ｎｏをスケジューリングする効率性を改善するために、メモリコントローラ２１０、および特にスケジューラ２１２は、スレッド内バンク並列処理を考慮に入れることが可能なスケジューリングアルゴリズム３００として分離によるバッチスケジューリングを使用するように適合可能であり、それぞれのスレッド２２０_ａ〜２２０_ｎにサービスの質（ＱｏＳ）を提供することが可能である。サービスの質は、異なるスレッド２２０_ａ〜２２０_ｎに異なる優先順位を提供するための能力、および／またはスレッド２２０_ａ〜２２０_ｎを実行するときに基礎パフォーマンスレベルを提供するための能力と見なすことができる。スケジューリングアルゴリズム３００は、公平性、およびＱｏＳ、ならびに高いＣＭＰシステムスループットに関して構成可能な基板を提供するように設計可能である。バッチ処理アルゴリズム３０２は、いくつかの未解決のメモリ要求２２６_ａ１〜２２６_ｎｏをバッチにグループ化するように適合可能である。スケジューリングアルゴリズム３００は、次のバッチが形成される前に、現在のバッチに属するすべての要求２２６_ａ１〜２２６_ｎｏがサービス提供されることを確実にするように適合されることも可能である。バッチ処理アルゴリズム３０２は、複数のバッチを同時に形成するように構成可能であり、この場合、それぞれのバッチは、本明細書で説明される一定の基準を使用して形成され得る。

【0029】

バッチ処理アルゴリズムは、メモリ要求バッファ内の未解決の要求をバッチと呼ばれる要求のセットにグループ化するように構成可能である。メモリスケジューラは、現在のバッチに属している要求をその他の要求に勝って優先順位付けすることによって、複数のバッチにまたがって要求を再順序付けすることを回避できる。或る１つのバッチのすべての要求がサービス提供されると、例えば、そのバッチが完了されたとき、最後のバッチ内に含まれていなかった、メモリ要求バッファ内の未解決の要求を含み得る次のバッチが次いでサービス提供され得る。複数のバッチを同時に形成することは、或る１つのバッチ内の要求を再順序付けすることを可能にし得る。

【0030】

バッチ処理アルゴリズムは、以下のように作用することが可能である。メモリ要求バッファ内のそれぞれの要求は、その要求が現在のバッチ内のどのバッチに属すかを表示する関連するビットを有し得る。要求が第１のバッチに属する場合、例えば、関連するビットは、その要求が第１のバッチに属すことを表示するように設定可能であり、その要求はマーキングされたと見なすことができる。複数のバッチを形成することが可能であり、その場合、それらの要求のそれぞれは、本明細書で説明される一定の基準に基づいて、それらの要求がそれらの複数のバッチのうちのどの中に配置されることになるか、またはそれらの要求がそれらの複数のバッチのうちのどの一部であるかを表示するためにマーキングされる。メモリ要求バッファ内にマーキングされた要求が残されていないとき、例えば、これまでのバッチからのすべての要求が完全にサービス提供されているとき、新しいバッチを形成することが可能である。

【0031】

いくつかの実施形態では、バッチを形成するとき、バッチ処理アルゴリズムは、それぞれのスレッドに関し、メモリバンクごとに最大で或る設定数（マーキングキャップ）までの未解決の要求をマーキングすることが可能であり、これらの要求がバッチを形成することができる。このマーキングキャップは、あるバンクに関して或る１つのスレッドによって発行されたいくつの要求がバッチの一部であってよいかを制限できるシステムパラメータとして利用可能である。例えば、このマーキングキャップが５であり、或るスレッドがメモリバンクに関して７個の未解決の要求を有する場合、バッチ処理アルゴリズムは、５個の（または、５個に満たない要求が存在する場合、より少ない）最も古い要求をマーキングすることが可能である。例は、２、３、５、７、１０、２０、５０、またはより大きなマーキングキャップすら含む。さらに、本明細書で説明されるように、これらのマーキングキャップは、異なるタイプのバッチによって異なってよい。いくつかの例では、マーキングキャップが設定されていない場合、１つまたは複数のバッチが形成されるとき、すべての未解決の要求をマーキングすることが可能である。

【0032】

バッチ処理アルゴリズムは、マーキングされた要求（バッチの形の要求）を所与のメモリバンク内のマーキングされていない要求に勝って優先順位付けするように構成可能である。所与のバンクに対してマーキングされた要求が存在しない場合、未解決のマーキングされていない要求をそのバンクに対してスケジューリングすることができる。２つのマーキングされた要求または２つのマーキングされていない要求の間で選択するために、ＦＲ−ＦＣＦＳなど、任意の既存のメモリスケジューリングアルゴリズムまたは新しいメモリスケジューリングアルゴリズムを用いることが可能である。

【0033】

図４および６は、本開示の少なくともいくつかの実施形態に従って構成された方法、装置（システム）、およびコンピュータプログラム製品の流れ図である。図４および６の流れ図のそれぞれのブロック、および図４および６の流れ図のブロックの組合せは、コンピュータプログラム命令によって実装可能である点を理解されよう。これらのコンピュータプログラム命令は、コンピュータ上、または他のプログラマブルデータ処理装置上で実行する命令が流れ図の１つまたは複数のブロック内で指定される機能を実装するための手段を作成するように、コンピュータ上、プロセッサ上、または他のプログラマブルデータ処理装置上にロード可能である。これらのコンピュータプログラム命令は、記憶デバイス内に格納された命令が、流れ図の１つもしくは複数のブロック内で指定された機能を実装する命令手段を含む製品を作成するように、コンピュータ、プロセッサ、または他のプログラマブルデータ処理装置が特定の様式で機能するように指令できる記憶デバイス内に格納されることも可能である。これらのコンピュータプログラム命令は、コンピュータ上で、プロセッサ上で、または他のプログラマブル装置上で実行する命令が流れ図の１つもしくは複数のブロック内で指定された機能を実装するためのステップを提供するようにコンピュータ実装プロセスを作成するように、コンピュータ上で、プロセッサ上で、または他のプログラマブルデータ処理装置上で一連の動作ステップを実行させるために、コンピュータ上、プロセッサ上、または他のプログラマブルデータ処理装置上にロードされることも可能である。

【0034】

したがって、図４および６の流れ図のブロックは、指定された機能／動作／活動を実行するための手段の組合せ、もしくは指定された機能または動作を実行するためのステップの組合せ、ならびに指定された機能または動作を実行するためのプログラム命令手段をサポートする。図４および６の流れ図のそれぞれのブロック、ならびに図４および６の流れ図内のブロックの組合せは、指定された機能／動作／活動もしくはステップ、または専用ハードウェアおよびコンピュータ命令の組合せを実行する専用ハードウェアベースのコンピュータシステムによって実装可能である点も理解されよう。

【0035】

かかるコンピュータ命令は、コンピュータ可読媒体（例えば、ディスケット、ＣＤ−ＲＯＭ、ＲＯＭ、もしくは固定ディスク）などの有形媒体上に固定されてよく、またはモデム、もしくは媒体上でネットワークに接続された通信アダプタなど、その他のインターフェースデバイスを経由して、コンピュータシステムに転送可能であってもよい。この媒体は、有形媒体（例えば、光通信線もしくはアナログ通信線）または無線技術（例えば、マイクロ波、赤外線伝送技術もしくはその他の伝送技術）を用いて実装された媒体であってよい。一連のコンピュータ命令は、このシステムに関して本明細書でこれまで説明された機能性のすべてまたは一部を実施する。

【0036】

当業者は、かかるコンピュータ命令は、多くのコンピュータアーキテクチャまたはオペレーティングシステムと共に使用するために、いくつかのプログラミング言語で書込み可能である点を理解されたい。さらに、かかる命令は、半導体、磁気メモリデバイス、光メモリデバイス、またはその他のメモリデバイスなど、任意のメモリデバイス内に格納可能であり、光伝送技術、赤外線伝送技術、マイクロ波伝送技術、またはその他の伝送技術など、任意の通信技術を使用して送信可能である。かかるコンピュータプログラム製品は、コンピュータシステムを用いて（例えば、システムＲＯＭ上もしくは固定ディスク上に）事前にロードされた、印刷文書もしくは電子文書を伴う取出し可能媒体（例えば、シュリンクラップソフトウェア）として供給可能であるか、あるいはネットワーク上でサーバまたは電子掲示板（例えば、インターネットもしくはワールドワイドウェブ）から供給可能であることが予想される。

【0037】

図４は、分離によるバッチスケジューリングの一例を示す。例示されるように、それぞれが１つまたは複数の要求を含むことが可能な、スレッド要求の１つまたは複数のバッチを形成するための方法５００を、ブロック５０１で開始することが可能である。方法５００を開始した後で、次いで、ブロック５０２において、スレッドを、スレッドタイプ、例えば、第１のスレッドタイプおよび第２のスレッドタイプ、または第１のスレッドタイプ、第２のスレッドタイプ、および第３のスレッドタイプに分離（それらのスレッドタイプとして識別）することが可能である。ブロック５０４において、それぞれが、類似のまたは同じ１つもしくは複数のスレッドタイプの１つまたは複数のスレッドから発行された要求を含み得る、１つまたは複数のバッチを形成することが可能である。それぞれのバッチが１つまたは複数の要求を含むことができる状態で、１つまたは複数のバッチを形成した後で、次いで、ブロック５０６において、１つまたは複数のバッチをメモリコントローラによって実行することが可能である。１つもしくは複数のバッチは一度に１つ実行可能であり、またはコンピュータシステムに能力がある場合、その１つもしくは複数のバッチは一度に２つ以上実行可能である。

【0038】

スレッドの分離（識別）、したがって、異なるスレッドタイプからの要求のバッチ処理は、いくつかの異なる基準のうちのいずれかに基づいてよい。例えば、スレッドは以下に分離可能である。すなわち、（１）それらのスレッドが、並列メモリと共に使用するために、どのくらい良好に設計されているかに基づいて、良好な設計スレッドおよび不良な設計スレッド、（２）それらのスレッドがそれらのスレッドがその他のスレッドとどのくらい効果的に共働するかに基づいて、協調スレッドおよび非協調スレッド、（３）そのスレッドが発生したアプリケーションプログラムに基づいて、第１のアプリケーションスレッド、第２のアプリケーションスレッド、および第３のアプリケーションスレッド、（４）それらのスレッドが行う要求の相対数に基づいて、大規模要求スレッド、任意選択で、中規模要求スレッドおよび小規模要求スレッド、例えば、大規模要求スレッドは、平均数以上の要求を行うことが可能であり、小規模要求スレッドは、平均数未満のいくつかの要求を行うことが可能であること、である。多くのその他の改変形態が可能である。したがって、選択される基準に応じて、第１のスレッドタイプ、第２のスレッドタイプ、任意選択の第３のスレッドタイプ、任意選択の第４のスレッドタイプなどが存在し得る。

【0039】

図５は、結果として、２つのスレッドタイプをもたらし得る基準を使用した、分離によるバッチスケジューリングの一例であり、上述のように、選択される基準に応じて、３つ以上のスレッドタイプも可能であり得る。スレッド２２０_ａ〜２２０_ｎは、第１のスレッドタイプ２５０および第２のスレッドタイプ２５１に分離可能である。それぞれのスレッドタイプによって発行された要求、例えば、第１のスレッドタイプ２５０から発行された第１の要求２６０、および第２のスレッドタイプ２５１から発行された第２の要求２６１を、次いで、スレッド要求の１つまたは複数のバッチ２３２_ａ〜２３２_ｘに形成することが可能である。それぞれのバッチは、１つだけのスレッドタイプの要求を含むことが可能であり、例えば、例示されるように、第１のバッチ２３２_ａは、第１の要求２６０を含むことが可能であり、最後のバッチ２３２_ｘは、第２の要求２６１を含むことが可能である。もう１つの例では、それぞれのバッチ２３２_ａ〜２３２_ｘは、第１のスレッドタイプ２５０からの第１の要求２６０を主に含むことが可能であるか、または第２のスレッドタイプ２６１からの第２の要求２６１を主に含むことが可能である。このように、形成されたバッチ２３２_ａ〜２３２_ｘは、それぞれのスレッドタイプからの要求に関して、均一であってよく、または主に均一であってもよい。１つもしくは複数のバッチは一度に１つ実行可能であり、またはコンピュータシステムに能力がある場合、その１つもしくは複数のバッチは一度に２つ以上実行可能である。本明細書で使用される場合、主にという用語は、約５０％超、約８０％超、約９５％超であってよく、または約９９％超であってもよい。

【0040】

１つまたは複数のバッチが形成されると、スケジューリングアルゴリズムは、或る１つのバッチ内の要求のサービスをスケジューリングするために、バッチ内スケジューリングアルゴリズムまたはバッチ内並列処理認識スケジューリングアルゴリズムを用いるように構成可能である。ＦＲ−ＦＣＦＳなど、任意のバッチ内スケジューリングアルゴリズムを使用することが可能である。

【0041】

バッチ内で、バッチ内並列処理認識スケジューリングアルゴリズムは、第１に行ヒット要求を優先順位付けするように構成可能である。第２に、より高いランクを有するスレッドからの要求をより低いランクを有するスレッドからの要求に勝って優先順位付けすることが可能である。最終的に、他に特別な条件がない限り、より古い要求をより新しい要求に勝って優先順位付けすることが可能である。

【0042】

バッチ内並列処理認識スケジューリングアルゴリズムは、バッチ内のランクベースのスレッド優先順位付け方式を使用するように構成可能である。新しいバッチが形成されるとき、メモリスケジューラは、新しいバッチ内に要求を有するすべてのスレッド間のランキングを計算するように構成可能である。新しいバッチが処理される間、計算されたランキングは同じ状態にとどまることが可能であり、より高くランク付けされたスレッドからの要求をより低くランク付けされたスレッドからの要求に勝って優先順位付けすることが可能である。

【0043】

任意のランキングベースの方式が使用可能であるが、特定のランキング手順は、ＣＭＰスループットおよび公平性に対してかなりの影響を有する場合がある。良好なランキング方式は、メモリ集約型スレッドとメモリ非集約型スレッド（および、高いバンク並列処理を伴うスレッド）とを効果的に区別することが可能である。いくつかの実装形態では、最短ジョブ優先原理に適合するランキング方式を用いることが可能であり、この方式は、非集約型スレッドを集約型スレッドより高くランキングできる。

【0044】

図６は、本開示の少なくともいくつかの実施形態に従って構成された方法、装置（システム）、およびコンピュータプログラム製品の流れ図を示す。図６に例示されるように、メモリ要求スケジューリングに関する方法６００を、ブロック６０１で開始することが可能である。方法６００を開始した後で、ブロック６０２において、アプリケーションプログラムを使用して、スケジューリングアルゴリズムを選択することが可能である。例えば、それらの要求を発行した１つまたは複数のスレッドを発行したアプリケーションプログラムを使用して、スケジューリングアルゴリズムを選択することが可能である。選択されたスケジューリングアルゴリズムは、これまでに説明されたスケジューリングアルゴリズムなど、任意のスケジューリングアルゴリズムであってよい。このアプリケーションは、そのアプリケーションプログラムの作成の間に選択された基準に基づいて、同じスケジューリングアルゴリズムを選択することが可能であり、または異なるスケジューリングアルゴリズムを選択することも可能である。選択されたスケジューリングアルゴリズムは、コンピュータ可読媒体内で符号化されたスケジューリングアルゴリズムであってよく、オペレーティングシステムの一部、アプリケーションプログラムであってよく、または別個に提供されてもよい。例えば、スレッドを発行したアプリケーションプログラムは、そのアプリケーションプログラムを使用して選択可能な１つまたは複数のスケジューリングアルゴリズムを含むことが可能である。選択されると、次いで、ブロック６０４において、要求をスケジューリングするために選択されたスケジューリングアルゴリズムを使用するようにメモリコントローラに命令することが可能である。次いで、ブロック６０６において、その選択されたスケジューリングアルゴリズムに従って、メモリコントローラによって、それらの要求をサービスのためにスケジューリングすることが可能である。

【0045】

特許請求される主題は、範囲の点で、本明細書で説明される特定の実装形態に限定されない。例えば、いくつかの実装形態は、あるデバイス上またはデバイスの組合せ上で動作するために用いられるようなハードウェアの形であってよく、例えば、一方、その他の実装形態は、ソフトウェアおよび／またはファームウェアの形であってよい。同様に、特許請求される主題は、この点において範囲の点で限定されないが、いくつかの実装形態は、１つまたは複数の記憶媒体など、１つまたは複数の物品を含むことが可能である。ＣＤ−ＲＯＭ、コンピュータディスク、フラッシュメモリなど、この記憶媒体は、例えば、コンピュータシステム、コンピューティングプラットフォーム、またはその他のシステムなど、システムによって実行されるとき、結果として、例えば、これまで説明された実装形態のうちの１つなど、特許請求される主題に従ってプロセッサの実行をもたらし得る命令を格納していることが可能である。１つの可能性として、コンピューティングプラットフォームは、１つもしくは複数の処理ユニットまたはプロセッサと、ディスプレイ、キーボードおよび／またはマウスなど、１つもしくは複数の入出力デバイスと、静的ランダムアクセスメモリ、動的ランダムアクセスメモリ、フラッシュメモリ、および／またはハードドライブなど、１つもしくは複数のメモリとを含むことが可能である。

【0046】

明細書における「ある実装形態」、「一実装形態」、「いくつかの実装形態」、または「その他の実装形態」の参照は、１つもしくは複数の実装形態に関して説明される特定の特徴、構造、または特性は少なくともいくつかの実装形態内に含まれ得るが、すべての実装形態内に含まれるとは限らないことを意味する場合がある。先の説明における「ある実装形態」、「一実装形態」、「いくつかの実装形態」の様々な出現は、すべて同じ実装形態を参照するとは限らない。さらに、「結合された」または「反応する」もしくは「に反応して」、あるいは「と通信している」などの用語または句が、本明細書または続く特許請求の範囲において使用される場合、これらの用語は広く解釈されるべきである。例えば、「に結合された」という句は、その句が使用される文脈に応じて適切に、通信可能に、電気的に、および／または動作可能に結合されていることを指す場合がある。

【0047】

先の説明において、特許請求される主題の様々な態様が説明されている。説明のために、特定の番号、システム、および／または構成は、特許請求される主題の十分な理解をもたらすために記載された。しかし、当業者および本開示の利益を有する者は、特許請求される主題は、それらの特定の詳細なしに実行可能である点を理解されたい。その他の事例では、特許請求される主題をあいまいにしないように、よく知られている特徴は省略および／または簡素化された。本明細書において、いくつかの特徴が例示および／または説明されているが、当業者は、ここでまたは今後、多くの修正形態、代替形態、変更形態、および／または均等物を思いつくであろう。したがって、添付の特許請求の範囲は、特許請求される主題の真の趣旨に該当するすべてのかかる修正形態および／または変更形態をカバーすることが意図されることを理解されたい。

【0048】

システムの態様のハードウェア実装形態とソフトウェア実装形態の間に差異はほとんどなく、ハードウェアの使用またはソフトウェアの使用は、一般に、費用対効果の兼ね合いを表す設計の選択である（しかし、ハードウェアとソフトウェアとの間の選択が重要になる可能性がある一定の状況では、常にそうであるとは限らない）。それによって本明細書で説明されるプロセス、および／もしくはシステム、ならびに／またはその他の技術が実現可能な様々な手段（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）が存在し、好ましい手段は、それらのプロセス、および／もしくはシステム、ならびに／またはその他の技術が展開される状況によって異なることになる。例えば、実装者が、速度および精度が最重要であると決定した場合、その実装者は、ハードウェア手段および／またはファームウェア手段を主に選択することができ、柔軟性が最重要である場合、その実装者は、ソフトウェア実装形態を主に選択することができ、またはさらにこの場合も代替として、その実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのいくつかの組合せを選択することができる。

【0049】

前述の詳細な説明は、ブロック図、流れ図、および／もしくは例の使用を介したデバイスならびに／またはプロセスの様々な実施形態を記載している。かかるブロック図、流れ図、ならびに／あるいは例が１つもしくは複数の機能および／または動作を含む限り、かかるブロック図、流れ図、もしくは例の中のそれぞれの機能および／または動作は、幅広い範囲のハードウェア、ソフトウェア、ファームウェア、または実質的にそれらの任意の組合せによって、個々におよび／もしくは集合的に実装可能である点を当業者は理解されよう。一実装形態では、本明細書で説明された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、またはその他の統合形式を介して実装可能である。しかし、当業者は、本明細書で開示された実施形態のうちのいくつかの態様は、全体としてまたは一部において、１つもしくは複数のコンピュータ上で実行している１つもしくは複数のコンピュータプログラム（例えば、１つもしくは複数のコンピュータシステム上で実行している１つもしくは複数プログラム）として、１つもしくは複数のプロセッサ上で実行している１つもしくは複数のプログラム（例えば、１つもしくは複数のマイクロプロセッサ上で実行している１つもしくは複数のプログラム）として、ファームウェアとして、または実質的にそれらの任意の組合せとして、集積回路内で等しく実行可能であり、回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアに関するコードの書込みは、本開示に照らして、十分当業者の能力範囲内にあることになる点を理解されよう。加えて、当業者は、本明細書で説明された主題の機構は、様々な形態のプログラム製品として供給されることが可能であり、本明細書で説明された主題の例示的な実施形態は、その供給を実際に実行するために使用される信号担持媒体の特定のタイプにかかわらず適用される点を理解されよう。信号担持媒体の例は、以下を含むが、これらに限定されない。すなわち、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなど、記録可能なタイプの媒体、ならびにデジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンクなど）など、伝送タイプの媒体である。

【0050】

当業者は、本明細書に記載された形でデバイスおよび／またはプロセスを説明し、その後、かかる説明されたデバイスおよび／またはプロセスをデータ処理システムに統合するために技術的な手法を使用することは当技術分野において一般的である点を理解されよう。すなわち、十分な量の実験を介して、本明細書で説明されたデバイスおよび／またはプロセスの少なくとも一部をデータ処理システムに統合することが可能である。当業者は、典型的なデータ処理システムは、一般に、システムユニット筐体、ビデオディスプレイデバイス、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステム、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムなどの計算エンティティ、タッチパッドまたはスクリーンなどの１つもしくは複数の対話デバイス、ならびに／あるいはフィードバックループおよび制御モーター（例えば、位置および／または速度を感知するためのフィードバック、構成要素および／もしくは数量を移動ならびに／または調整するための制御モーター）を含む制御システムのうちの１つまたは複数を含む点を理解されよう。典型的なデータ処理システムは、一般に、データコンピューティングシステム／データ通信システムおよび／またはネットワークコンピューティングシステム／ネットワーク通信システムの内に見出される構成要素など、任意の適切な市販の構成要素を利用して実装可能である。

【0051】

本明細書で説明される主題は、時には、異なる他の構成要素内に含まれた異なる構成要素、または異なる他の構成要素に接続された異なる構成要素を例示する。そのような示されたアーキテクチャは単なる例示であり、実際には、同じ機能性を達成する、多くのその他のアーキテクチャが実装可能である点を理解されよう。概念的な意味で、同じ機能性を達成するための構成要素のいずれの構成も、所望される機能性が達成されるように、有効に「関連付けられる」。したがって、特定の機能性を達成するために組み合わされる、本明細書のいずれの２つの構成要素も、アーキテクチャまたは中間構成要素にかかわらず、所望される機能性が達成されるように互いに「関連付けられる」と見なすことができる。同様に、そのように関連付けられたいずれの２つの構成要素も、所望される機能性を達成するために、互いに「動作可能に接続されている」または「動作可能に結合されている」と見なすこともでき、そのように関連付けられているいずれの２つの構成要素も、所望される機能性を達成するために、互いに「動作可能に結合続可能である」と見なすこともできる。動作可能に結合可能な特定の例は、物理的に噛み合わせ可能な（ｍａｔｅａｂｌｅ）構成要素および／もしくは物理的に相互作用する構成要素、ならびに／または無線で相互作用可能な構成要素および／もしくは無線で相互作用する構成要素、ならびに／または論理的に相互作用する構成要素および／もしくは論理的に相互作用可能な構成要素を含むが、これらに限定されない。

【0052】

本明細書における実質的に任意の複数用語および／または単数用語の使用に関して、当業者は、文脈および／もしくは応用例に応じて、複数から単数にかつ／または単数から複数に変換することが可能である。分かりやすくするために、本明細書において、様々な単数／複数の置換が明示的に記載される場合がある。

【0053】

概して、本明細書、および、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般に、「開放的な」用語として意図される（例えば、「含んでいる」という用語は、「含むが、それに限定されない」と解釈されるべきであり、「有する」という用語は、「少なくとも含む」と解釈されるべきであり、「含む」という用語は、「含むが、それに限定されない」と解釈されるべきである、など）ことを理解されよう。当業者は、特定の数の導入される請求項の列挙が意図される場合、かかる意図は、特許請求の範囲内で明示的に列挙されることになり、かかる列挙がない場合、かかる意図は存在しない点をさらに理解されよう。例えば、理解の支援として、以下の特許請求の範囲は、請求項の列挙を導入するために、「少なくとも１つの」および「１つまたは複数の」という導入句の使用を含む場合がある。しかし、かかる句の使用は、同じ請求項が、導入句「１つもしくは複数の」または「少なくとも１つの」、ならびに「ａ」または「ａｎ」などの不定冠詞を含むときですら、不定冠詞「ａ」または「ａｎ」による請求項の列挙の導入が、そのように導入された請求項の列挙を含む任意の特定の請求項を１つのかかる列挙だけを含む発明に限定することを意味すると解釈されるべきではなく（例えば、「ａ」および／または「ａｎ」は、典型的には、「少なくとも１つの」または「１つもしくは複数の」を意味すると解釈されるべきである）、同じことは、請求項の列挙を導入するために使用される定冠詞の使用に関しても当てはまる。加えて、特定の数の導入された請求項の列挙が明示的に列挙されているときですら、当業者は、かかる列挙は、一般に、少なくとも列挙された数を意味する（例えば、修飾語句を伴わない「２つの列挙」の単なる列挙は、一般に、少なくとも２つの列挙、または２つ以上の列挙を意味する）と解釈されるべきである点を理解されよう。さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つの、など」に類似する表現方法が使用される場合、一般に、そのような構造は、当業者がその表現を理解するであろう意味が意図される（例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、Ａだけを有するシステム、Ｂだけを有するシステム、Ｃだけを有するシステム、ＡとＢとを共に有するシステム、ＡとＣとを共に有するシステム、ＢとＣとを共に有するシステム、および／またはＡと、Ｂと、Ｃとを共に有するシステムなどを含むことになるが、これらに限定されない）。「Ａ、Ｂ、またはＣのうちの少なくとも１つ、など」に類似する表現方法が使用される場合、一般に、そのような構造は、当業者がその表現を理解するであろう意味が意図される（例えば、「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」は、Ａだけを有するシステム、Ｂだけを有するシステム、Ｃだけを有するシステム、ＡとＢとを共に有するシステム、ＡとＣとを共に有するシステム、ＢとＣとを共に有するシステム、および／またはＡと、ＢとＣとを共に有するシステムなどを含むことになるが、これらに限定されない）。当業者は、明細書内であれ、特許請求の範囲内であれ、または図面内であれ、２つ以上の代替用語を提示する実質的にいかなる離接語および／または離接句も、それらの用語のうちの１つ、それらの用語のどちらか、またはそれらの用語の両方を含む可能性を企図すると理解されるべきである点をさらに理解されよう。例えば、「ＡまたはＢ」という成句は、「Ａ」、もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むと理解されることになる。

【図1】

【図2】

【図3】

【図3A】

【図4】

【図5】

【図6】