特許 7667622 Ｑ学習を用いたスキャンチェーンワイヤ長の最適化の方法、コンピュータシステム、コンピュータプログラム（Ｑ学習を用いたスキャンチェーンワイヤ長の最適化ベースの強化学習）

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-15

(45)【発行日】2025-04-23

(54)【発明の名称】Ｑ学習を用いたスキャンチェーンワイヤ長の最適化の方法、コンピュータシステム、コンピュータプログラム（Ｑ学習を用いたスキャンチェーンワイヤ長の最適化ベースの強化学習）

(51)【国際特許分類】

   G06N 99/00 20190101AFI20250416BHJP

   G06N 20/00 20190101ALI20250416BHJP

   G06F 11/22 20060101ALI20250416BHJP

【ＦＩ】

G06N99/00 180

G06N20/00

G06F11/22 673Z

【請求項の数】 20

(21)【出願番号】P 2021156026

(22)【出願日】2021-09-24

(65)【公開番号】P2022054457

(43)【公開日】2022-04-06

【審査請求日】2024-02-15

(31)【優先権主張番号】17/031,977

(32)【優先日】2020-09-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】アブドゥル ナイジュ カリム

(72)【発明者】

【氏名】ラオ ラウール エム．

(72)【発明者】

【氏名】アントニー ジョージ

【審査官】福西 章人

(56)【参考文献】

【文献】特開２００５－２２３１７１（ＪＰ，Ａ）

【文献】特開平０９－３０５６４２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０００４９１３（ＵＳ，Ａ１）

【文献】飯間 等 ほか，最適経路問題に対して汎化能力を有する強化学習法の提案，電気学会研究会資料 システム研究会 ＳＴ－１８－０３９～０５４・０５６～０７８・０８０～０８４，日本，一般社団法人電気学会，2018年10月01日，pp.171-174

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １１／２２

Ｇ０６Ｆ １８／００－１８／４０

(57)【特許請求の範囲】

【請求項1】

Ｑ学習を用いたスキャンチェーンワイヤ長の最適化の方法であって、
コンピュータが、ルートノードからルートノード詳細を取得する段階と、
前記コンピュータが、前記ルートノードの接続性を最適化する段階と、
前記コンピュータが、前記ルートノードの各々に関して、最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記コンピュータが、前記ルートノードの各々における子ノードを最適化する段階と、
前記コンピュータが、全体巡回のワイヤ長が最近傍より短いか長いかを判断する段階と、
前記コンピュータが、解を適用するかまたはスキップする段階と、を備える、方法。

【請求項2】

前記ルートノードの前記接続性を最適化する段階はさらに、
前記コンピュータが、Ｑテーブルにおける値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
前記コンピュータが、２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
前記コンピュータが、選択されたノードを追加することによって前記動作を実行する段階と、
前記コンピュータが、ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
前記コンピュータが、ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を備える、
請求項１に記載の方法。

【請求項3】

前記動作を選択する段階はさらに、
前記コンピュータが、前記動作がランダムに選択されると判断する段階と、
前記コンピュータが、Ｎ個の最近傍のノードを発見する段階と、
前記コンピュータが、前記Ｎ個の最近傍のノードが訪問されていないと判断する段階と、
前記コンピュータが、前記Ｎ個の最近傍のノードに最も近い係数を評価する段階と、
前記コンピュータが、前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記コンピュータが、前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記コンピュータが、前記選択リストからランダムノードを選択する段階と、
を備える、請求項２に記載の方法。

【請求項4】

前記動作を選択する段階はさらに、
前記コンピュータが、前記動作を選択することがランダムでないと判断する段階と、
前記コンピュータが、現在の探索において訪問されていないノードを選択する段階と、
前記コンピュータが、現在のＱ値と前記ワイヤ長とに基づいて成功の確率を計算する段階と、
前記コンピュータが、計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
請求項２に記載の方法。

【請求項5】

前記ルートノードの各々における前記子ノードの最適化がさらに、
前記コンピュータが、前記ルートノードの各々に関するＱテーブルを初期化する段階と、
前記コンピュータが、固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて動作を選択する段階と、
前記コンピュータが、選択されたノードを追加することによって前記動作を実行する段階と、
前記コンピュータが、ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
前記コンピュータが、子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記ルートノードの各々に関して、前記最良の始点ノードおよび前記最良の終点ノードを識別する段階がさらに、
前記コンピュータが、ルートノード巡回を読み出す段階と、
前記コンピュータが、前記ルートノード巡回において第１のノードを選択する段階と、
前記コンピュータが、前記ルートノード巡回において第２のノードを選択する段階と、
前記コンピュータが、前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全ての可能な接続の重みを計算する段階と、
前記コンピュータが、最良の重みによって接続を選択する段階と、
前記コンピュータが、終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記コンピュータが、前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記コンピュータが、前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記コンピュータが、前記ルートノードが、共に制限されることが必要な一群のラッチの畳み込まれた表現である、請求項１から６のいずれか一項に記載の方法。

【請求項8】

Ｑ学習を用いたスキャンチェーンワイヤ長の最適化のためのコンピュータシステムであって、
１つまたは複数のプロセッサ、１つまたは複数のコンピュータ読み取り可能メモリ、１つまたは複数のコンピュータ読み取り可能な有形ストレージ媒体、および、前記１つまたは複数のコンピュータ読み取り可能メモリの少なくとも１つを介しての前記１つまたは複数のプロセッサの少なくとも１つによる実行のための、前記１つまたは複数のコンピュータ読み取り可能な有形ストレージ媒体の少なくとも一方上に格納されたプログラム命令を有し、
前記コンピュータシステムが以下の方法を実行可能であり、前記方法は、
ルートノードからのルートノード詳細を取得する段階と、
前記ルートノードの接続性を最適化する段階と、
前記ルートノードの各々に関する最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記ルートノードの各々における子ノードを最適化する段階と、
全体巡回のワイヤ長が最近傍より短いか長いことを判断する段階と、
解を適用するかまたはスキップする段階と、を備える、
コンピュータシステム。

【請求項9】

前記ルートノードの前記接続性を最適化する段階はさらに、
Ｑテーブルの値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を含む、
請求項８に記載のコンピュータシステム。

【請求項10】

前記動作を選択する段階はさらに、
前記動作を選択することがランダムであると判断する段階と、
Ｎ個の最近傍のノードを発見する段階と、
前記Ｎ個の最近傍のノードが訪問されていないと判断する段階と、
前記Ｎ個の最近傍のノードに関して最も近い係数を評価する段階と、
前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記選択リストからランダムノードを選択する段階と、を含む、
請求項９に記載のコンピュータシステム。

【請求項11】

前記動作を選択する段階がさらに、
前記動作の選択がランダムでないと判断する段階と、
現在の探索において訪問されていないノードを選択する段階と、
現在のＱ値および前記ワイヤ長に基づいて成功の確率を計算する段階と、
計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
請求項９に記載のコンピュータシステム。

【請求項12】

前記ルートノードの各々における前記子ノードを最適化する段階は、さらに、
前記ルートノードの各々に関してＱテーブルを初期化する段階と、
固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて、動作を選択する段階と、
選択されたノードを追加することによって、前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって、報酬を評価する段階と、
子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
請求項８から１１のいずれか一項に記載のコンピュータシステム。

【請求項13】

前記ルートノードの前記各々に関する前記最良の始点ノードおよび前記最良の終点ノードを識別する段階が、さらに、
ルートノード巡回を読み出す段階と、
前記ルートノード巡回における第１のノードを選択する段階と、
前記ルートノード巡回における第２のノードを選択する段階と、
前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全ての可能な接続の重みを計算する段階と、
最良の重みによって接続を選択する段階と、
終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
請求項８から１２のいずれか一項に記載のコンピュータシステム。

【請求項14】

前記ルートノードが、共に制限されることが必要な一群のラッチの畳み込まれた表現である、請求項８から１３のいずれか一項に記載のコンピュータシステム。

【請求項15】

Ｑ学習を用いたスキャンチェーンワイヤ長の最適化のためのコンピュータプログラムであって、
１つまたは複数のコンピュータ読み取り可能有形ストレージ媒体と、前記１つまたは複数のコンピュータ読み取り可能有形ストレージ媒体の少なくとも１つに格納されたプログラム命令とを含み、前記プログラム命令は、以下の方法をプロセッサに実行させるようにプロセッサによって実行可能であり、前記方法は、
ルートノードからルートノード詳細を取得する段階と、
前記ルートノードの接続性を最適化する段階と、
前記ルートノードの各々に関する最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記ルートノードの各々における子ノードを最適化する段階と、
全体巡回のワイヤ長が最近傍より短いか長いことを判断する段階と、
解を適用するかまたはスキップする段階と、を備える、
コンピュータプログラム。

【請求項16】

前記ルートノードの前記接続性を最適化する段階はさらに、
Ｑテーブルの値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を含む、
請求項１５に記載のコンピュータプログラム。

【請求項17】

前記動作を選択する段階はさらに、
前記動作を選択することがランダムであると判断する段階と、
Ｎ個の最近傍のノードを発見する段階と、
前記Ｎ個の最近傍のノードが訪問されていないと判断するする段階と、
前記Ｎ個の最近傍のノードに関して最も近い係数を評価する段階と、
前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記選択リストからランダムノードを選択する段階と、を含む、
請求項１６に記載のコンピュータプログラム。

【請求項18】

前記動作を選択する段階がさらに、
前記動作の選択がランダムでないと判断する段階と、
現在の探索において訪問されていないノードを選択する段階と、
現在のＱ値および前記ワイヤ長に基づいて成功の確率を計算する段階と、
計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
請求項１６に記載のコンピュータプログラム。

【請求項19】

前記ルートノードの各々における前記子ノードを最適化する段階は、さらに、
前記ルートノードの各々に関してＱテーブルを初期化する段階と、
固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて、動作を選択する段階と、
選択されたノードを追加することによって、前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって、報酬を評価する段階と、
子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
請求項１５から１８のいずれか一項に記載のコンピュータプログラム。

【請求項20】

前記ルートノードの前記各々に関する前記最良の始点ノードおよび前記最良の終点ノードを識別する段階が、さらに、
ルートノード巡回を読み出す段階と、
前記ルートノード巡回における第１のノードを選択する段階と、
前記ルートノード巡回における第２のノードを選択する段階と、
前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全て可能な接続の重みを計算する段階と、
最良の重みによって接続を選択する段階と、
終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
請求項１５から１９のいずれか一項に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般にコンピューティングの分野に関し、より詳細には、機械学習を使用したスキャンチェーン最適化に関する。

【背景技術】

【0002】

スキャンチェーン技法の使用は、伝送される信号のセットに基づいて集積回路における各フリップフロップでの可制御性および可観察性を提供することによって、集積回路試験を簡略化し得る。スキャンチェーン最適化方法論は、合計ワイヤ長スキャンを含む複数の制約の影響を受けるフリップフロップのセットを介したスキャンチェーンのリオーダリングを含む。ラッチまたはフリップフロップは、複数のスキャンチェーンの間で分配され得る。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の実施形態は、スキャンチェーンワイヤ長最適化のための方法、コンピュータシステム、およびコンピュータプログラム製品を開示する。本発明の実施形態は、ルートノードからルートノード詳細を取得することを含み得る。本発明の実施形態は、ルートノードの接続性を最適化することを含み得る。本発明の実施形態は、ルートノードの各々に関して、最良の始点ノードおよび最良の終点ノードを識別することを含み得る。本発明の実施形態は、ルートノードの各々における子ノードを最適化することを含み得る。本発明の実施形態は、全体巡回のワイヤ長が最近傍より短いか長いことを判断することを含み得る。本発明の実施形態は、解を適用するかまたはスキップすることを含み得る。

【課題を解決するための手段】

【0004】

本発明の実施形態は、スキャンチェーンワイヤ長を最適化するＱ学習ベースの強化学習を使用することによって、スキャンチェーン最適化の技術分野を向上する可能性を有する。より具体的には、効率的でリオーダリングされたスキャンチェーンが、従来のスキャンチェーンにあるノードの複数の順列を一体化して使用することによって識別され得る。スキャンチェーンの効率的なリオーダリングは、以前の探索から取得される誘導学習を使用し得、誘導は、合計のチェーンワイヤ長に基づいて、各探索から重みづけされるか報酬を与えられる。

【図面の簡単な説明】

【0005】

本発明の、これらのおよび他の目的、特徴および利点は、添付の図面と関連して読まれるべき、それの例示的な実施形態の、以下の詳細な説明から明らかになるであろう。図示は、当技術分野における当業者が、詳細な説明と結合させて発明を理解することを容易にする明確性のためなので、図面の様々な特徴は、原寸通りの比率ではない。図面：

【0006】

【図1】少なくとも１つの実施形態に記載のネットワークコンピュータ環境を示す図である。

【0007】

【図2A】少なくとも１つの実施形態に記載のクラスタの複数のルートノード表現の例を表すブロック図である。

【図2B】少なくとも１つの実施形態に記載のクラスタの複数のルートノード表現の例を表すブロック図である。

【0008】

【図3A】少なくとも１つの実施形態に記載の、Ｑ学習を用いたスキャンチェーンワイヤ長の最適化ベースの強化学習のためのプロセスを示す動作フローチャートである。

【図3B】少なくとも１つの実施形態に記載のスキャンチェーンに関する、最適化ルートノード（ＯｐｔＲｏｏｔＮｏｄｅ）および最適化子ノード（ＯｐｔＣｈｉｌｄＣｈａｉｎ）接続性の最中の、Ｑ学習プロセスの選択行動部分のためのプロセスを示す動作フローチャートである。

【図3C】少なくとも１つの実施形態に記載の、ルートノード（ＲｏｏｔＮｏｄｅｓ）間の最適な接続を選択するプロセスを示す動作フローチャートである。

【0009】

【図4】少なくとも１つの実施形態に記載の、図１に示されたコンピュータおよびサーバの内部および外部コンポーネントのブロック図である。

【0010】

【図5】本開示の実施形態に係る、図１に示されたコンピュータシステムを含む、図示的なクラウドコンピューティング環境のブロック図である。

【0011】

【図6】本開示の実施形態に係る、図５の図示的なクラウドコンピューティング環境の機能層のブロック図である。

【発明を実施するための形態】

【0012】

特許請求の範囲における構造および方法の詳細な実施形態が、明細書に開示されるが、しかしながら、開示される実施形態は、様々な形態で具現化され得る、特許請求の範囲における構造および方法の例示にすぎないことが、理解され得る。本発明は、しかしながら、多くの異なる形態で具現化されてよく、明細書に記載された例示的な実施形態に限定されるものと解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が綿密かつ完全であるように、および、当技術分野における当業者に発明の範囲を完全に伝えるように提供される。本記載において、示された実施形態を不必要にあいまいにすることを回避するために、よく知られた特徴および技術の詳細は省略されることがある。

【0013】

以前に記載したように、スキャンチェーン技法の使用は、伝えられる信号のセットに基づいて集積回路における各フリップフロップでの可制御性および可観察性を定めることによって、集積回路試験を簡略化し得る。スキャンチェーン最適化方法論は、合計ワイヤ長スキャンを含む複数の制約の影響を受けるフリップフロップのセットを介したスキャンチェーンのリオーダリングを含む。ラッチまたはフリップフロップは、複数のスキャンチェーンの間で分配され得る。

【0014】

スキャンチェーン最適化の１つの基本的な目的は、スキャンチェーンのワイヤ長を削減することである。ワイヤ長を削減することは、スキャン頻度を増加させ、試験時間を向上させ、設計巡回能力を向上させ、チップ領域および電力を削減する結果となる。現在のスキャンチェーン最適化解決手段は、最近傍のノードを使用して、次いでチェーンとノードの間のスワップによってノードを増やす、貪欲アプローチを使用する方法を含み得る。別の方法は、試験を実行不可能にする多くの組み合わせを有する網羅的な検索を含む。いくつかは、遺伝学的アルゴリズムタイプの手法を使用する。ワイヤ長を削減する現在のスキャンチェーン最適化オーダリングは、削減されたワイヤ長に関してスキャンチェーンをリオーダリングするＱ学習手法を取り入れていない。したがって、スキャンネットを再接続するようにＱ学習を使用することによって合計ワイヤ長および電力を削減するための、向上したスキャンチェーンワイヤ長最適化方法を生成することが、とりわけ有利であり得る。

【0015】

以下に記載された例示的な実施形態は、スキャンチェーン最適化のためのシステム、方法、およびプログラムプロダクトを提供する。したがって、本発明の実施形態は、スキャンチェーンワイヤ長を最適化するＱ学習ベースの強化学習を使用することによって、スキャンチェーン最適化の技術分野を向上する可能性を有する。より具体的には、効率的でリオーダリングされたスキャンチェーンが、従来のスキャンチェーンにあるノードの複数の順列を一体化して使用することによって識別され得る。スキャンチェーンの効率的なリオーダリングは、以前の探索から取得される誘導学習を使用し得、誘導は、合計のチェーンワイヤ長に基づいて、各探索から重みづけされるか報酬を与えられる。

【0016】

Ｑ学習は、モデルフリーでオフポリシの強化学習アルゴリズムである。モデルフリーとは、動作を実行するためにモデルを必要としないことを指す。Ｑ学習は、確率論的な遷移および報酬によって動作する能力を有し得、適応を必要としない。オフポリシとは、現在の状態に基づいて最良の動作を発見るアルゴリズムを学習する能力を指してよい。Ｑ学習機能は、ポリシの外側にある動作に基づいて、例えば、ランダムな動作を取って学習してよい。強化学習とは、報酬または累積する報酬に基づいて動作を取る機械学習の領域を指す。

【0017】

ラッチまたはフリップフロップは、各スキャンチェーンにおけるラッチの数を最小にするように、複数のスキャンチェーンの間で分配され得、それはスキャン時間を直接削減し得、従って、試験時間もまた削減し得る。基本的なスキャンチェーン構造は、信号を順序正しくスキャンする。レジスタ転送レベル（ＲＴＬ）で設計されたスキャンチェーンは、ランダムな順序で、またはラッチの物理的位置を意識しない論理的な順序でスキャンチェーンに割り当てられたスキャンラッチを有し得る。

【0018】

スキャンチェーン最適化は、ラッチ位置がチップ上で判断された後に、集積回路（ＩＣ）の物理的設計最適化の最中に実行される。最適化の最中に、第１のラッチのスキャン出力は、第２のラッチのスキャン入力に直列に接続され、チェーンを形成する。合計ワイヤ長は、スキャンチェーン上のラッチのすべての組の間の距離の合計として定義されてよい。スキャンチェーン最適化はまた、各スキャンチェーンにおけるラッチを限定し得、試験時間を削減し得る。各スキャンラッチは、スキャンチェーンのうちの１つに割り当てられ得る。各ラッチは、スキャンチェーンのうちの任意の１つに一度生じ得、すべてのラッチは、少なくとも１つのスキャンチェーン上で生じ得る。スキャン最適化とは、合計ワイヤ長および電力を削減するようにラッチを介する、スキャンチェーンの再接続を指す。

【0019】

実施形態に記載のように、Ｑ学習は、最適なＱテーブル、または、良好なＱテーブルとみなされ得るものを得るように、多くの反復を実行するように使用され得る。良好なＱテーブルは、所与の状態に関する最良の動作の表現であり得る。Ｑテーブルは、各状態における動作に関する将来の予想される計算された最大報酬をキャプチャするルックアップテーブルであり得る。Ｑテーブルの初期化後に、多くの反復が、Ｑテーブルを向上させる複数の段階を含む強化学習の最中に行われる。反復ステップは、例えば、動作の選択、動作の実行、結果の評価、報酬の数値化、次に、Ｑテーブルの更新を含み得る。状態および動作に関する新しいＱ値は、Ｎｅｗ Ｑ（ｓ，ａ）によって表され得る。現在のＱ値はＱ（ｓ，ａ）によって表され得る。学習速度は∝によって表され得る。所与の状態において動作を取る報酬は、Ｒ（ｓ，ａ）によって表され得る。割引率はγによって表され得る。 新たな状態ｓ'、および新たな状態における全ての可能な動作を与えられた、予想される将来の最大報酬は、ｍａｘＱ'（ｓ'，ａ'）によって表され得る。 反復ステップを表す式は、例えば
Ｎｅｗ Ｑ（ｓ，ａ）＝Ｑ（ｓ，ａ）＋∝［Ｒ（ｓ，ａ）＋γｍａｘＱ'（ｓ'，ａ'）－Ｑ（ｓ，ａ）］
を含み得る。

【0020】

実施形態に記載のように、Ｑ学習ベースの強化学習アルゴリズムは、スキャンスティッチングのための接続性を発見するように使用され得る。反復Ｑ学習方法は、スキャンチェーン並び替えのために使用され得る。スキャンチェーン並び替えは、ラッチの物理的位置に基づいてスキャンネットを再接続することを含み得、全体のスキャンワイヤ長を削減し得る。

【0021】

実施形態に記載のように、試験要件がＱ学習を導く際の制約として組み込まれ得る。制約は、任意の単独スキャンチェーンにおける全体ラッチであり得、テスト可能性のための設計（ＤＦＴ）限定を超えるべきではない。制約はまた、共にグループ化されるべき、与えられたローカルクロックバッファ（ＬＣＢ）クラスタに関連付けられたラッチであり得る。制約は、加えて、最適化可能ではないとしてマークされ、そのままに維持される必要がある、あるラッチのスキャンチェーン順序であり得る。最適なスキャンチェーン接続性は、インターおよびイントラクラスタ探索に分割され得る。例えば、ラッチノードは、イントラクラスタ（例えば、子ノード）最適化が後に続く、インタークラスタ（例えばルートノード）最適化として分割され得る。

【0022】

実施形態に記載のように、Ｑ学習の再帰的用途がルートノードおよび子ノードによって使用され得る。文脈に応じた判断が、子ノードに関する最適な始点および最適な終点に関して行われ得る。

【0023】

実施形態に記載のように、さらなる繰り返しおよびさらなる探索を可能にするように状態空間を削減するように、ノード畳み込みが使用され得る。ノード畳み込みを可能にすることはまた、ローカルクロックバッファ（ＬＣＢ）クラスタにおけるラッチのグループを共に保つように、特定の非最適化を支持し、テスト可能（ＤＦＴ）制約のための設計を支持するために使用され得る。

【0024】

実施形態に記載のように、全ての可能な動作が新たな状態から推定され得、それは時間集約的であり網羅的であるので、ゼロ割引率が定められ得る。

【0025】

図１を参照すると、一実施形態に係る例示的なネットワークコンピュータ環境１００が示される。ネットワークコンピュータ環境１００は、ソフトウェアプログラム１０８およびスキャンチェーン最適化プログラム１１０ａの実行を可能にするプロセッサ１０４およびデータストレージデバイス１０６を有するコンピュータ１０２を含み得る。ネットワークコンピュータ環境１００はまた、データベース１１４および通信ネットワーク１１６と相互作用し得るスキャンチェーン最適化プログラム１１０ｂの実行を可能にするサーバ１１２を含み得る。コンピュータ１０２はまた、クライアントコンピュータとして認識され得、サーバ１１２はまた、サーバコンピュータとして認識され得る。ネットワークコンピュータ環境１００は複数のコンピュータ１０２およびサーバ１１２を含み得、それらのうちの１つだけが示される。通信ネットワーク１１６は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、遠隔通信ネットワーク、無線ネットワーク、公衆スイッチネットワーク、もしくは衛星ネットワーク、またはその組み合わせなどの、様々なタイプの通信ネットワークを含み得る。図１は、一実装の図示のみを定めるものであり、異なる実施形態が実現され得る環境に関するいかなる限定も示唆するものではないことが、理解されるべきである。多くの修正が、設計および実現要求に基づいて、示された環境に対して行われ得る。

【0026】

コンピュータ１０２は、通信ネットワーク１１６を介してサーバ１１２と通信し得る。通信ネットワーク１１６は、電線、無線通信リンク、または光ファイバケーブルなどの接続を含み得る。図４に関連して説明されるように、サーバ１１２は内部コンポーネント９０２ａおよび外部コンポーネント９０４ａをそれぞれ含み得、コンピュータ１０２は内部コンポーネント９０２ｂおよび外部コンポーネント９０４ｂをそれぞれ含み得る。サーバ１１２はまた、ソフトウェアアズアサービス（ＳａａＳ）、アナリティクスアズアサービス（ＡａａＳ）、ブロックチェーンアズアサービス（ＢａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、またはインフラストラクチャアズアサービス（ＩａａＳ）などのクラウドコンピューティングサービスモデルにおいて動作し得る。サーバ１１２はまた、プライベートクラウド、コミュニティクラウド、パブリッククラウド、またはハイブリッドクラウドなどのクラウドコンピューティングデプロイメントモデルに位置し得る。コンピュータ１０２は、例えば、モバイルデバイス、電話、パーソナルデジタルアシスタント、ネットブック、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、または、プログラムを実行でき、ネットワークにアクセスでき、データベース１１４にアクセスできる任意のタイプのコンピューティングデバイスであり得る。本実施形態の様々な実装に記載のように、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、コンピュータ／モバイルデバイス１０２、サーバ１１２、またはクラウドストレージサービスなどの、しかしそれらに限定されることはない、様々なストレージデバイスに埋め込まれ得るデータベース１１４と相互作用し得る。

【0027】

本実施形態に記載のように、クライアントコンピュータ１０２またはサーバコンピュータ１１２を使用するユーザは、（それぞれ）スキャンチェーン最適化プログラム１１０ａ、１１０ｂを使用して、Ｑ学習ベースの強化学習を使用するスキャンチェーンワイヤ長を最適化し得る。スキャンチェーン最適化方法は、図２Ａから図２Ｂおよび図３Ａから図３Ｃに関して、以下でより詳細に説明される。

【0028】

ここで図２Ａから図２Ｂを参照すると、少なくとも１つの実施形態に記載のスキャンチェーン最適化プログラム１１０ａ、１１０ｂによって使用されるクラスタの複数のルートノード表現の例を表すブロック図が示される。

【0029】

２０２において、ＳＣＡＮ＿ＩＮポートおよびＳＣＡＮ＿ＯＵＴポートを含む１つのスキャンチェーンの設計の表現が示される。ブロックは設計においてラッチクラスタを表す。例えば、ラッチには、最適化可能ではないクラスタとして定義されるクラスタ０と共に７つのクラスタがある。

【0030】

２０４において、ルートノードへと畳み込まれるラッチクラスタの表現が示される。例えば、２０２のクラスタ６において識別される４つのラッチは、単独のルートノードＣ６へと畳み込まれる。ルートノードＣ０からノードＣ６への方向エッジは、Ｃ０からＣ６への探索に関する次の許容可能な状態を示す。エッジに関連付けられた重みは、Ｃ０からＣ６への経路を取るワイヤ長を含み得、それはワイヤ長ｗ０６である。

【0031】

２０６において、ルートノード生成および重みが、最短経路に好都合となるように、ワイヤ長ＷＬ（ｉ）に基づいて重みまたは報酬を更新されたＱ学習として示される。探索１（ＷＬ１）および探索２（ＷＬ２）が検討され、探索２（ＷＬ２）を使用する経路が、最短経路の部分であると計算される。計算された最短経路は、Ｑテーブルにおける重みを更新するように使用される。

【0032】

２０８において、Ｎ回の探索の後のルートノード解決手段が、Ｎ回の探索に基づいて更新された重みを有する、最終的に予測された経路として示される。最終経路は、探索された経路のうちの１つと同じ経路であることもあり、最終経路は探索された経路とは異なることもある。最終経路は、最短のワイヤ長経路を含み得る。

【0033】

ここで図３Ａを参照すると、少なくとも１つの実施形態に記載のスキャンチェーン最適化プログラム１１０ａ、１１０ｂによって使用される、例示的なスキャンチェーンワイヤ長最適化プロセス２００を示す動作フローチャートが示される。

【0034】

３０２において、ルートノード詳細を獲得する操作が実行される。ルートノードから取得された詳細は、ルートノードの接続性に関連し得る。１つまたは複数のルートノードは、例えば、ローカルクロックバッファ（ＬＣＢ）クラスタの一群のラッチ、最適化可能ではない一群のラッチまたはスタンドアローンノードを表し得る。ルートノード（ＲｏｏｔＮｏｄｅ）は、共に制限されることが必要な一群のラッチの畳み込まれた表現である。強化学習またはＱ学習は、ルートノードの適切な接続性を獲得するように使用され得る。

【0035】

３０４において、ルートノードの接続性が最適化される。ルートノードの接続性は、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）を予測するルートノードデータを生成するように最適化される。ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）は、合計ワイヤ長を削減するルートノードの適切な接続性である。適切なＱテーブルが、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）を予測するように使用されるであろう。ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）は、各ノードの要素行列に関して予測されてよい。ルートノードの最適化は、初期化操作のための３０４ａにおけるＱテーブルの初期化と、段階３０４ｂ－ｅにおける多くの反復の実行を含み得る。繰り返しの数は、探索の所望の深さに依存して変化し得る。Ｑテーブルの品質は、繰り返しの数が増加するにつれて向上し得る。実行される繰り返しの数は、適切なＱテーブルを生成するために十分であり得る。例えば、Ｎの値を選択する１つのインスタンスは、以前のＮ－Ｋ回の探索より短いワイヤ長（ＷＬ）を以前の探索が戻さなかった値を選択している。

【0036】

スキャンチェーンに関するルートノード（ＲｏｏｔＮｏｄｅ）の詳細を最適化することは、グループにおける全ての（ｘ，ｙ）ラッチ座標の平均値である座標を有するクラスタ（すなわち、ノード）への、一群のラッチを表すことを含み得る。

【0037】

３０４ａにおいて、Ｑテーブルが初期化される。Ｑテーブルは、テーブルまたは行列における値を、テーブルの全ての位置にわたってゼロまたは一様値に設定することによって初期化され得る。テーブルは、状態、および、その状態における動作として表される。

【0038】

３０４ｂにおいて、動作が選択される。動作は、ノードの間の重みに基づいて選択され得、または、動作は、ランダムに選択され得る。ノードの間の重みは、クラスタ（すなわち、ノード）の点の間の距離によって評価され得る。例えば、入力クラスタ位置は（ｘｉ，ｙｉ）であり得、別のクラスタ位置は（ｘｏ，ｙｏ）であり得、その表現はＸｉ＝（ｘｉ）∈

【数1】

、Ｙｉ＝（ｙｉ）∈

【数2】

、Ｘｏ＝（ｘｏ）∈

【数3】

、Ｙｏ＝（ｙｏ）∈

【数4】

を含み得る。ワイヤ長（ＷＬ）は、ＷＬ＝｜Ｘｏ－Ｘｉ｜＋｜Ｙｏ－Ｙｉ｜として計算され得る。

【0039】

重みに基づいて選択される動作は、ｆ（Ｑｃｕｒｒｅｎｔ，Ｋ／ｄｉｓｔａｎｃｅ）と等しくなり得、Ｋは定数値である。Ｑｃｕｒｒｅｎｔは、Ｑテーブルの状態、動作の組に関する現在の値である。重みに基づいて選択される動作は、ｆ（Ｑｃｕｒｒｅｎｔ，Ｋ／ｄｉｓｔａｎｃｅ）として評価される最大重みによってノードを選択すること、または、現在のノードから最も近いＮ個のノードの選択からランダムにノードを選択することを含み得る。スキャンチェーンに関する最適化ルートノード（ＲｏｏｔＮｏｄｅｓ）の最中のＱ学習プロセスの選択行動部分、３０４ｂに関するプロセスが、図３Ｂに示される。

【0040】

代替の実施形態に記載のように、ルートノード内の一群のラッチが、グループにおけるスキャンインピンおよびスキャンアウトピンの中点の平均値である座標によって表され得る。

【0041】

３０４ｃにおいて、動作が実行される。動作は、段階３０４ｂから選択されたノードを、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）に追加することによって、実行され得る。一連の段階３０４ｂおよび３０４ｃは、全てのノードがルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）に追加されるまで繰り返され得る。

【0042】

３０４ｄにおいて、報酬が評価される。各探索の終点において、査定の測定基準としてのルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の全体ワイヤ長を評価することによって、報酬が評価される。例えば、ノードの間のマンハッタン距離が、ワイヤ長（ＷＬ）評価に関する測定基準として使用され得、合計ワイヤ長（ＷＬ）が、以前の巡回査定の繰り返しにおいて達成された最良のワイヤ長（ＷＬ）と比較される。

【0043】

３０４ｅにおいて、Ｑテーブルが更新される。テーブルは、巡回ワイヤ長に基づいて更新される。Ｑテーブルの更新またはＱ更新は、＊Ｑｎｅｘｔ＝（１－∝）Ｑｃｕｒｒｅｎｔ＋∝（ＣｕｒｒｅｎｔＷＬ／ＧｌｏｂａｌＯｐｔＷＬ＋γ＊ｍａｘ ｏｆ ｎｅｘｔ ｓｔａｔｅ）として表され得る。 Ｑｎｅｘｔは次の動作、または次の状態における動作であり、∝は学習速度であり、ＣｕｒｒｅｎｔＷＬはＱｃｕｒｒｅｎｔノードにおける現在のワイヤ長であり、γは割引率であり、ｍａｘ ｏｆ ｔｈｅ ｎｅｘｔ ｓｔａｔｅは現在の動作の全ての次の状態からのＱの最大値である。

【0044】

第１の実施形態において、Ｑテーブルは、ＣｕｒｒｅｎｔＷＬ＜Ｋ＊ＧｌｏｂａｌＯｐｔＷＬとして表されるすべての繰り返しに基づいて更新される。例えば、ＣｕｒｒｅｎｔＷＬがＫ＊ＧｌｏｂａｌＯｐｔＷＬより小さい場合、次にＱテーブルが更新される。ＣｕｒｒｅｎｔＷＬがＫ＊ＧｌｏｂａｌＯｐｔＷＬより小さくない場合、次にＱテーブル更新がスキップされる。

【0045】

第２の実施形態において、Ｑテーブルは、ＣｕｒｒｅｎｔＷＬ＜Ｋ＊ＧｌｏｂａｌＯｐｔＷＬとして表されるすべての繰り返しに基づいて更新され、経路は、前に更新されたことがない。例えば、ＣｕｒｒｅｎｔＷＬがＫ＊ＧｌｏｂａｌＯｐｔＷＬより小さい場合、次にスキャンチェーン最適化プログラムが、ノードが既に報酬を与えられているかどうか判断する。ノードが既に報酬を与えられている場合、次にＱテーブルが更新される。ＣｕｒｒｅｎｔＷＬがＫ＊ＧｌｏｂａｌＯｐｔＷＬより小さくない場合、次にＱテーブル更新がスキップされる。

【0046】

一連の段階３０４ｂ－３０４ｅは、Ｑテーブルを継続的に向上するようにＮ回実行され得る。Ｎ回の反復または探索の後、第１のノードから開始して、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の最後のノードに達するまで現在のＱテーブルに基づいて動作を選択することによって、最適ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）が選択される。最後のルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）は、最適化されたルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）と呼ばれるかみなされてよい。

【0047】

３０６において、最良の始点ノードおよび終点ノードが識別される。最良の始点ノードおよび最良の終点ノードは、最良の始点ノードおよび終点ノードの間の最適な接続として、各ルートノード（ＲｏｏｔＮｏｄｅ）に関して識別される。各ルートノード（ＲｏｏｔＮｏｄｅ）に関して、子ノードは、最適な子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）に関する始点ノードおよび終点ノードとみなされる。最良の始点ノードおよび終点ノード、または最適な接続を識別または選択するためのプロセスは、図３Ｃにおいて参照され得る。

【0048】

３０８において、各ルートノードにおける子ノードが最適化される。ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）における各ノードは、複数の子ノードからなってよい。各ノードは、そのルートノード（ＲｏｏｔＮｏｄｅ）内で最適巡回（ＯｐｔＣｈｉｌｄＣｈａｉｎ）を発見するように、最適化されてよい。子ノードの最適化のプロセスは、段階３０４ｂ－３０４ｅからのルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）最適化のプロセスと類似してよい。

【0049】

各子ノードの最適化の後、始点ノードから始まり、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）を通ってトラバースすることによって全体巡回が生成される。すべてのルートノード（ＲｏｏｔＮｏｄｅ）において、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）における次のノードに移動する前に、そのルートノード（ＲｏｏｔＮｏｄｅ）に関して最適化された子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）が全体巡回（ＦｕｌｌＴｏｕｒ）にアペンドされる。

【0050】

３０８ａにおいて、Ｑテーブルが初期化される。各ルートノード（ＲｏｏｔＮｏｄｅ）に関する新しいＱテーブルが初期化され得、それはそのルートノード（ＲｏｏｔＮｏｄｅ）における各子ノードに関する現在の状態および動作を表し得る。子ノード巡回（ＯｐｔＣｈｉｌｄＣｈａｉｎ）最適化に関して、Ｑテーブルの初期化は、テーブルまたは行列における値を、テーブルの全ての位置にわたってゼロまたは一様値に設定することを含む。良好な品質のＱテーブルを得るように、段階３０８ｂ－ｅの多くの反復が実行されてよい。様々な子ノード巡回（ＯｐｔＣｈｉｌｄＣｈａｉｎ）の最適化は、実行時間の接続と並行して行われてよい。

【0051】

３０８ｂにおいて、動作が選択される。動作は、ノード行列に関する、固定された、または最適な始点ノード、および、固定された、または最適な終点ノードの判断に基づいて選択され得る。動作は、ルートノード（ＲｏｏｔＮｏｄｅ）内の子ノード間の最小ワイヤ長の判断に基づいて選択される。２つの子ノード間の距離は、子ノード上のピン位置に基づいて計算され得る。ワイヤ長ＷＬは、ＷＬ＝｜Ｘｏ－Ｘｉ｜＋｜Ｙｏ－Ｙｉ｜として計算されてよい。重みに基づいて選択された動作は、｛ｆ（Ｑｃｕｒｒｅｎｔ，Ｋ／ｄｉｓｔａｎｃｅ）として評価される最大重みを有するノードを選択すること、または、現在のノードから最も近いＮ個のノードの選択からランダムにノードを選択することを含み得る。スキャンチェーンに関する最適化ルートノード（ＲｏｏｔＮｏｄｅｓ）の最中のＱ学習プロセスの選択行動部分に関するプロセス、３０８ｂが図３Ｂに示される。

【0052】

３０８ｃにおいて、動作が実行される。動作は段階３０４ｃと同様に実行される。

【0053】

３０８ｄにおいて、報酬が評価される。報酬は段階３０４ｄと同様に評価される。

【0054】

３０８ｅにおいて、Ｑテーブルが更新される。Ｑテーブルは、段階３０８ｅと類似して更新されるが、しかしながら、Ｑテーブルは子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒｓ）の各々に関して更新される。一連の段階３０８ｂ－３０８ｅは、全体巡回（ＦｕｌｌＴｏｕｒ）を完了させるためにＮ回実行されてよい。一連の段階３０８ｂ－３０８ｅは、Ｑテーブルを継続的に向上するようにＮ回実行され得る。Ｎ回の反復または探索の後、第１のノードから開始して、子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）の最後のノードに達するまで現在のＱテーブルに基づいて動作を選択することによって、最適子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）が選択される。一連の段階および繰り返しは、最適化された子ノードという結果になり得る。

【0055】

現在のノードがクラスタノードである場合、次に、子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）は最適化され、全体巡回（ＦｕｌｌＴｏｕｒ）にアペンドされ得る。２つのクラスタノードを接続するように、１つのクラスタの最良の終点ノードと、次のクラスタの始点ノードが判断される。各開始終点ノードオプションに関して、Ｑ学習プロセスが始点ノードから終点ノードまで行われ得る。次に、最良のクラスタ最適化チェーン（ＯｐｔＣｈｉｌｄＣｈａｉｎ）が識別され得る。全体巡回（ＦｕｌｌＴｏｕｒ）にアペンドされた子ノード巡回（ＣｈｉｌｄＮｏｄｅＴｏｕｒ）は、ＦｕｌｌＴｏｕｒにＯｐｔＣｈｉｌｄＣｈａｉｎを添付するとして表されてよい。次のクラスタの始点ノード（ＯｐｔＳｔａｒｔＮｏｄｅ）は、最適終点ノード（ＯｐｔＥｎｄＮｏｄｅ）と次のクラスタノードとの間の最小ワイヤ長（ＷＬ）接続性に基づいて識別され得る。

【0056】

現在のノードが、始点ノード、終点ノード、またはシングルノードなどのスタンドアローンノードである場合、そのスタンドアローンノードは全体巡回（ＦｕｌｌＴｏｕｒ）にアペンドされる。次のノードは現在のノードへの最小ワイヤ長（ＷＬ）を有するノードとして設定され得る。

【0057】

現在のノードが最適化可能ではないノードである場合、次に、その最適化可能ではないノードが全体巡回（ＦｕｌｌＴｏｕｒ）へのチェーンにアペンドされる。現在のノードが次のノードの最小ワイヤ長（ＷＬ）と等しい場合、次のノードは再接続された終点ノードから次のノードの最小ワイヤ長（ＷＬ）を識別することによって設定され得る。

【0058】

３１０において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、完全巡回ワイヤ長が、存在する最近傍解よりも短いかどうか判断する。段階３０８から最適化された完全巡回ワイヤ長は、最近傍解からのワイヤ長と比較される。最近傍は、例えば、最も近い近傍がすべての所与の段階で選択されるスキャンチェーン最適化問題を解くために使用されるアルゴリズム解であり得る。

【0059】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、完全巡回ワイヤ長が最近傍よりも短いと判断する場合、次に、解法が段階３１２で適用される。適用される解法は、Ｑ学習ベースの全体巡回（ＦｕｌｌＴｏｕｒ）からのものである。例えば、解法は最良に認識された完全巡回ワイヤ長と比較された完全巡回ワイヤ長であり、従って、全ての以前の探索とはかけ離れている。

【0060】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、完全巡回ワイヤ長が最近傍よりも短くないと判断する場合、次に、現在の経路または解法は３１４でスキップされる。

【0061】

ここで図３Ｂを参照すると、少なくとも１つの実施形態に記載のスキャンチェーン最適化プログラム１１０ａ、１１０ｂによって使用される、Ｑ学習最適化ルートノード（ＯｐｔＲｏｏｔＮｏｄｅ）および最適化子ノード（ＯｐｔＣｈｉｌｄＣｈａｉｎ）接続性プロセス３０４ｂ、３０８ｂの例示的な選択行動部分を示す動作フローチャートが示される。動作を選択し、次の状態が示され、ここで、次の状態はａｃｔｉｏｎ＝ｆ（Ｑｃｕｒｒｅｎｔ，Ｋ／ｗｅｉｇｈｔ）として表され、Ｋは定数値であるか、ａｃｔｉｏｎはランダムに選択され得る。

【0062】

３２０において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、選択がランダムであるかどうか判断する。選択とは、選択されたａｃｔｉｏｎが探索係数に基づくランダムな動作であったかどうか判断することを指してよい。探索係数は０から１の間の任意の値をとってよく、１は最大のランダム性を指し、０は全くランダム性がないことを指す。

【0063】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、選択がランダムでないことを判断し、次に、訪問されるべきノードが３２２で選択される。訪問されるべきノードは、現在の探索においてまだ訪問されていない全てのノードを含む。

【0064】

３２４において、成功の確率が、現在のＱ値およびワイヤ長に基づいて計算される。ノードの間のＱ値およびワイヤ長はＱ＊Ｈによって計算され、Ｈは現在のノードと、候補となる次のノードの各々との間の、ワイヤ長の関数である。

【0065】

３２６において、最大の成功の確率を有するノードが選択される。最大の成功の確率を有するノードは、Ｑ＊Ｈの計算の結果を使用して選択される。例えば、Ｑ＊Ｈの最大値を有するノードは、最大の成功の確率を有するように計算され得る。

【0066】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、選択がランダムであると判断した場合、次に、Ｎ個の最近傍が３２８で発見される。実行の最中に定義される数としてＮを使用して、Ｎ個の最近傍が発見され得る。

【0067】

３２８において、Ｎ個の最近傍が発見される。Ｎ個の最近傍は、ソートされた近傍の距離に基づいて発見または識別される。例えば、Ｎ個の最近傍の距離は、現在のノードからの識別された距離に基づいて、最小から最大の距離へとソートされる。

【0068】

３３０において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、ノードが訪問されたかどうか判断する。選択されたノードが既に巡回探索の一部であるか、巡回探索において識別されるかをチェックすることにより、現在の探索においてノードが訪問されたかどうかに基づいて、判断が行われる。

【0069】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、ノードが巡回において訪問されたと判断した場合、次に、次のノードが３３２で選択される。次のノードは、Ｎ個の最近傍から、残りのノードのうちの１つとして選択される。次のノードが選択された後、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、そのノード（例えば、次のノード）が段階３３０における巡回で訪問されたかどうか判断する。

【0070】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、そのノードが巡回において訪問されていないと判断した場合、次に、最も近い係数が３３４において評価される。例えば、最近傍の最も近い係数を発見するように、ボルツマン探索が利用されてよい。

【0071】

３３６において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、ノードが限定の範囲内にあるかどうか判断する。限定は、学習プロセスにおいて必要とされる探索の深さに基づいて判断されてよい。より小さい限定は、探索を近くの近傍に制限し得、より高い限定は、近くの近傍と、より遠いノードの両方を探索し得る。

【0072】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、ノードが限定の範囲内にないと判断した場合、次に、次のノードが３３２で選択される。次のノードが選択された後、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、そのノード（例えば、次のノード）が段階３３０での巡回で訪問されていたかどうかを判断する。

【0073】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂがそのノードが限定の範囲内にあると判断した場合、次に、そのノードは３３８における選択リストに追加される。ノードが限定の範囲内にあると判断することは、近さ係数が、予め定義された、または予め判断された閾値より小さいかどうかチェックすることを含み得る。選択リストは、現在のノードに十分近いランダム探索または複数のランダム探索の最中に探索され得るノードを表し得る。

【0074】

３４０において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、近傍の全てが完了したかどうか判断する。段階３２８からのＮ個の最近傍の全てが評価された場合、近傍の全てが完了する。

【0075】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、近傍の全てが完了していないと判断した場合、次に、次のノードが３３２で選択される。次のノードが選択された後、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、そのノード（例えば、次のノード）が段階３３０での巡回で訪問されているかどうかを判断する。

【0076】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、近傍の全てが完了したと判断した場合、次に、ランダムノードが選択リストから選択される。ランダムノードは、選択リストからのノードのうちの１つをランダムに拾うことによって選択される。

【0077】

ここで図３Ｃを参照すると、少なくとも１つの実施形態に記載のスキャンチェーン最適化プログラム１１０ａ、１１０ｂによって使用されるルートノード（ＲｏｏｔＮｏｄｅｓ）プロセス３０６の間の最適な接続の例示的な選択を示す動作フローチャートが、示される。

【0078】

３５０において、ルートノード巡回が読み出されるか、識別される。ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）は、段階３０４ｅにおいてＱテーブルが更新された後に、Ｑテーブルに基づいて識別される。

【0079】

３５２において、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の第１のノードが選択される。選択された第１のノードは、最適ルートノード巡回上の第１のノードである。

【0080】

３５４において、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の次のノード（例えば、第２のノード）が選択される。第２のノードは、第１のノードからの最大Ｑ値を有するノードとして設定されてよい。

【0081】

３５６において、ノードの間の全ての可能な接続の重みが計算される。全ての可能な接続の重みが、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の第１のノードと、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の第２のノードとの子ノードの間で計算される。重みは、ノードの間のワイヤ長（ＷＬ）を表し得、２つのノードの間の距離として計算され得る。段階３０８ｂに述べられるように、ＷＬ＝｜Ｘｏ－Ｘｉ｜＋｜Ｙｏ－Ｙｉ｜である。

【0082】

３５８において、最良の重みを有する接続が選択される。最良の重みまたは最適の重みは、クラスタの間のｋ個の最小ワイヤ長（ＷＬ）の中のランダムな選択であり得、ｋはクラスタ接続性ノードより小さい数である。ｋの値が小さくなるほど、最良のワイヤ長（ＷＬ）の探索および貪欲解がｋ＝１に関して選択される可能性が少なくなる。

【0083】

３６０において、第１のノードの子ノードが終点ノードとして設定され、次のノードの子ノードが始点ノードとして設定される。第１のルートノードの子ノードは第１のルートノードに関する終点ノードとして設定され、次のノード（例えば、第２のノード）の子ノードは次のルートノードに関する始点ノードとして設定される。

【0084】

３６２において、スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、次のノードがルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の最後のノードであるかどうか判断する。次のノードがルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の最後のノードであると判断することは、巡回のノードの全てがこの探索の最中に既に訪問されているかどうかをチェックすることによって確証される。

【0085】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、次のノードは巡回における最後のノードではないと判断した場合、次に、３６４において、次のノードが第１のノードとして設定される。始点および終点ノードを識別するプロセスが、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）における隣接するノードの各対ごとに繰り返される。一度、次のノードが第１のノードとして設定されると、次の隣接するノード（例えば、第３のノード）が、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）において選択されるであろう。例えば、次のノードがルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の第２のノードであった場合、次に、段階３５４において選択された次のノードが、選択された第３のノードであり得る。

【0086】

スキャンチェーン最適化プログラム１１０ａ、１１０ｂが、次のノードが巡回における最後のノードであると判断した場合、次に、ルートノード巡回（ＲｏｏｔＮｏｄｅＴｏｕｒ）の最良の始点－終点ノード部分の選択が終了する。

【0087】

図２Ａから図２Ｂおよび図３Ａから図３Ｃは一実施形態の図示だけを提供するものであり、どのような異なる実施形態が実現され得るかに関するいかなる限定を示唆するものではないと理解されてよい。示された実施形態への多くの修正が、設計および実現要求に基づいて行われてよい。

【0088】

図４は、本発明の例示の実施形態に係る、図１に示されるコンピュータの内部および外部コンポーネントのブロック図９００である。図４は、１つの実装の図示だけを提供するものであり、異なる実施形態が実現され得る環境に関するいかなる限定も示唆するものではないことが、理解されるべきである。示された環境への多くの修正が、設計および実現要求に基づいて行われてよい。

【0089】

データ処理システム９０２、９０４は、機械読み取り可能プログラム命令を実行可能な任意の電子デバイスを表す。データ処理システム９０２、９０４は、スマートフォン、コンピュータシステム、ＰＤＡ、または他の電子デバイスを表し得る。データ処理システム９０２、９０４によって表されるコンピューティングシステム、環境、もしくはコンフィギュレーション、またはその組み合わせの例は、上記システムまたはデバイスの任意のものを含む、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、ネットワークＰＣ、ミニコンピュータシステム、および分散クラウドコンピューティング環境を含むが、それらに限定されることはない。

【0090】

コンピュータ１０２およびサーバ１１２は、図４に示された、内部コンポーネント９０２ａ、ｂおよび外部コンポーネント９０４ａ、ｂのそれぞれのセットを含み得る。内部コンポーネント９０２ａ、ｂの複数のセットの各々は、１つまたは複数のバス９１２上の、１つまたは複数のプロセッサ９０６、１つまたは複数のコンピュータ読み取り可能なＲＡＭ９０８、および１つまたは複数のコンピュータ読み取り可能なＲＯＭ９１０と、１つまたは複数のオペレーティングシステム９１４と、１つまたは複数のコンピュータ読み取り可能有体ストレージデバイス９１６とを含む。１つまたは複数のオペレーティングシステム９１４、ソフトウェアプログラム１０８、およびクライアントコンピュータ１０２におけるスキャンチェーン最適化プログラム１１０ａ、およびネットワークサーバ１１２におけるスキャンチェーン最適化プログラム１１０ｂが、１つまたは複数のＲＡＭ９０８（典型的にはキャッシュメモリを含む）を介して、１つまたは複数のプロセッサ９０６による実行のために、１つまたは複数のコンピュータ読み取り可能有体ストレージデバイス９１６上に格納され得る。図４にを示される実施形態において、コンピュータ読み取り可能有体ストレージデバイス９１６の各々は、内部ハードドライブの磁気ディスクストレージデバイスである。代替として、コンピュータ読み取り可能有体ストレージデバイス９１６の各々は、コンピュータプログラムおよびデジタル情報を格納し得る、ＲＯＭ９１０、ＥＰＲＯＭ、フラッシュメモリ、または任意の他のコンピュータ読み取り可能有体ストレージデバイスなどの半導体ストレージデバイスである。

【0091】

内部コンポーネント９０２ａ、ｂの各セットはまた、ＣＤ－ＲＯＭ、ＤＶＤ、メモリスティック、磁気テープ、磁気ディスク、光学ディスク、または半導体ストレージデバイスなどの、１つまたは複数のコンピュータ読み取り可能有体ストレージデバイス９２０から読み出す、またはそこへ書き込むための、Ｒ／Ｗドライブまたはインタフェース９１８を含む。ソフトウェアプログラム１０８およびスキャンチェーン最適化プログラム１１０ａ、１１０ｂなどのソフトウェアプログラムは、それぞれの持ち運び可能なコンピュータ読み取り可能有体ストレージデバイス９２０の１つまたは複数上に格納され得、それぞれのＲ／Ｗドライブまたはインタフェース９１８を介して読み出され得、それぞれのハードドライブ９１６へとロードされ得る。

【0092】

内部コンポーネント９０２ａ、ｂの各セットはまた、ＴＣＰ／ＩＰアダプタカード、無線ｗｉ－ｆｉ（登録商標）インタフェースカード、または３Ｇ／４Ｇ／５Ｇ無線インタフェースカード、または他の有線または無線通信リンクなどの、ネットワークアダプタ（またはスイッチポートカード）またはインタフェース９２２を含み得る。コンピュータ１０２におけるソフトウェアプログラム１０８およびスキャンチェーン最適化プログラム１１０ａと、ネットワークサーバ１１２におけるスキャンチェーン最適化プログラム１１０ｂとが、ネットワーク（例えば、インターネット、ローカルエリアネットワーク、または他のワイドエリアネットワーク）および、それぞれのネットワークアダプタまたはインタフェース９２２を介して、外部コンピュータ（例えば、サーバ）からダウンロードされ得る。ネットワークアダプタ（またはスイッチポートアダプタ）またはインタフェース９２２、ソフトウェアプログラム１０８、およびコンピュータ１０２のスキャンチェーン最適化プログラム１１０ａ、ネットワークサーバコンピュータ１１２のスキャンチェーン最適化プログラム１１０ｂが、それぞれのハードドライブ９１６へとロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせを含み得る。

【0093】

外部コンポーネント９０４ａ、ｂの複数のセットの各々は、コンピュータディスプレイモニタ９２４、キーボード９２６、およびコンピュータマウス９２８を含み得る。外部コンポーネント９０４ａ、ｂはまた、タッチスクリーン、ビジュアルキーボード、タッチパッド、ポインティングデバイス、および他のヒューマンインタフェースデバイスを含み得る。内部コンポーネント９０２ａ、ｂの複数のセットの各々はまた、コンピュータディスプレイモニタ９２４、キーボード９２６、およびコンピュータマウス９２８へとインタフェースするデバイスドライバ９３０を含む。デバイスドライバ９３０、Ｒ／Ｗドライブまたはインタフェース９１８、およびネットワークアダプタまたはインタフェース９２２は、ハードウェアおよび（ストレージデバイス９１６もしくはＲＯＭ９１０またはその両方に格納された）ソフトウェアを含む。

【0094】

本開示はクラウドコンピューティング上で発明を実施するための形態を含むが、本明細書で記載される教示の実装は、クラウドコンピューティング環境に限定されることはないことが、前もって理解される。むしろ、本発明の実施形態は、現在知られるか後に開発される任意の他のタイプのコンピューティング環境と結合して実現されることができる。

【0095】

クラウドコンピューティングは、速やかに供給され得、最小の管理努力またはサービスのプロバイダとの相互作用でリリースされ得る、コンフィギュアブルなコンピューティングリソース（例えば、ネットワーク、ネットワーク帯域、サーバ、プロセス、メモリ、格納、アプリケーション、バーチャルマシン、およびサービス）の共有されたプールへの便利なオンデマンドネットワークアクセスを可能にする、サービスデリバリのモデルである。クラウドモデルは、少なくとも５つの特性、少なくとも３つのサービスモデル、および少なくとも４つのデプロイメントモデルを含み得る。

【0096】

特性は以下のとおりである。オンデマンドセルフサービス：クラウド消費者は、サービスのプロバイダによる人間の相互作用を必要とせず、必要なときに自動的に、サーバタイムおよびネットワークストレージなどの計算機能を一方的にセットアップし得る。ブロードネットワークアクセス機能は、異なる機種環境のシンクライアントまたはシッククライアントプラットフォーム（例えば、モバイルフォン、ラップトップ、およびＰＤＡ）による使用を促進する標準の機構によってネットワークおよびアクセスを介して利用可能である。リソースプーリング：プロバイダのコンピューティングリソースは、要求に従って動的に割り当ておよび再割り当てされる異なる物理的およびバーチャルリソースでマルチテナントモデルを使用する複数の消費者にサービスするようにプールされる。消費者が一般に、提供されるリソースの正確な位置に対する制御または知識を有しないが、より高いレベルの抽象化で位置を特定する（例えば、国、状態、またはデータセンタ）ことが可能であり得ることに、位置独立の意味がある。速やかな弾性：機能は、いくつかの場合には自動で、素早くスケーリングアウトするように、速やかにおよび弾性的に提供され得、素早くスケーリングインするように、速やかに解放され得る。消費者には、提供のために利用可能な機能は、しばしば限定されていないように見え、任意の時に任意の量で購入可能である。評価されたサービス：クラウドシステムは、サービスのタイプ（例えば、ストレージ、プロセス帯域幅、およびアクティブなユーザアカウント）に適切な、あるレベルの抽象化で測定機能をレバレッジすることにより、自動的にリソース使用を制御および最適化する。リソース使用は、監視、制御、および報告されることができ、利用されるサービスのプロバイダおよび消費者の両方にとって透明性を提供する。

【0097】

サービスモデルは以下のとおりである。ソフトウェアアズアサービス（ＳａａＳ）：消費者に提供される機能は、クラウドインフラストラクチャ上またはハイブリッドクラウドインフラストラクチャ上で実行されるプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブブラウザ（例えば、ウェブベースのｅメール）などのシンクライアントインタフェースを通じて、様々なクライアントデバイスからアクセス可能である。消費者は、限定されたユーザ特定のアプリケーションのコンフィギュレーション設定の可能な例外はあるが、ネットワーク、サーバ、オペレーティングシステム、ストレージ、または個々のアプリケーション機能さえも含む下層のクラウドインフラストラクチャ管理または制御を行わない。プラットフォームアズアサービス（ＰａａＳ）：消費者に提供される機能は、消費者により生成されたか取得されたクラウドインフラストラクチャ上で、プロバイダによってサポートされるプログラミング言語およびツールを使用して生成されるアプリケーションをデプロイすることである。消費者は、ネットワーク、サーバ、オペレーティングシステム、またはストレージを含む下層のクラウドインフラストラクチャ管理または制御を行わないが、デプロイされるアプリケーションおよび、状況によっては環境コンフィギュレーションをホストするアプリケーション上で制御を行う。アナリティクスアズアサービス（ＡａａＳ）：消費者に提供される機能は、アナリティクスプラットフォームにアクセスする、ウェブベースまたはクラウドベースのネットワーク（すなわち、インフラストラクチャ）を使用することである。アナリティクスプラットフォームは、アナリティクスソフトウェアリソースにアクセスすることを含んでよく、または、関連するデータベース、コーポラ（ｃｏｒｐｏｒａ）、サーバ、オペレーティングシステム、またはストレージへのアクセスを含んでよい。消費者は、データベース、コーポラ、サーバ、オペレーティングシステム、またはストレージを含む下層のウェブベースまたはクラウドベースのインフラストラクチャの管理または制御を行わないが、デプロイされるアプリケーションおよび、状況によっては環境コンフィギュレーションをホストするアプリケーション上で制御を行う。インフラストラクチャアズアサービス（ＩａａＳ）：消費者に提供される機能は、消費者が任意のソフトウェアをデプロイおよび実行することが可能な、プロセス、ストレージ、ネットワーク、および他の基礎的なコンピューティングリソースを提供することであり、ソフトウェアにはオペレーティングシステムおよびアプリケーションを含み得る。消費者は、下層のクラウドインフラストラクチャの管理または制御を行わないが、オペレーティングシステム、ストレージ、デプロイされるアプリケーション上で制御を行い、状況によってはネットワークコンポーネント（例えば、ホストファイアウォール）の選択の限定される制御を行う。

【0098】

デプロイメントモデルは以下のとおりである。プライベートクラウド：クラウドインフラストラクチャは組織（ｏｒｇａｎｉｚａｔｉｏｎ）に関してのみ動作する。それは組織またはサードパーティによって管理され得、オンプレミスまたはオフプレミスで存在し得る。コミュニティクラウド：クラウドインフラストラクチャは、いくつかの組織によって共有され、共有される関連性（例えば、使命、セキュリティ要件、ポリシ、およびコンプライアンス検討）を有する特定のコミュニティをサポートする。それは組織またはサードパーティによって管理され得、オンプレミスまたはオフプレミスで存在し得る。パブリッククラウド：クラウドインフラストラクチャが、一般公衆または大規模な産業グループに利用可能にされ、クラウドサービスを売る組織によって所有される。ハイブリッドクラウド：クラウドインフラストラクチャは、一意的なエンティティを保つが、データおよびアプリケーションのポータビリティ（例えば、クラウド間のロードバランシングのためのクラウドバースティング）を可能とする、標準化されたかまたは所有権のある技術によって共に結び付けられている、２つまたはそれ以上のクラウド（プライベート、コミュニティ、または公衆）の複合である。

【0099】

クラウドコンピューティング環境は、無国籍状態、低結合性、モジュール性、および意味論的相互作用可能性によって指向されたサービスである。クラウドコンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0100】

ここで図５を参照すると、図示的なクラウドコンピューティング環境１０００が示される。示されるように、クラウドコンピューティング環境１０００は、例えばパーソナルデジタルアシスタント（ＰＤＡ）またはセルラー電話１０００Ａ、デスクトップコンピュータ１０００Ｂ、ラップトップコンピュータ１０００Ｃ、もしくは自動車コンピュータシステム１０００Ｎ、またはその組み合わせなどの、クラウド消費者によって使用されるローカルコンピューティングデバイスが通信を行い得る、１つまたは複数のクラウドコンピューティングノード１０５０を含む。クラウドコンピューティングノード１０５０は、互いに通信し得る。それらは、上記本明細書で記載されるように、またはそれの組み合わせのように、プライベート、コミュニティ、公衆、またはハイブリッドクラウドなどの１つまたは複数のネットワークにおいて、物理的にまたは仮想的にグループ化され得る（図示せず）。これは、クラウドコンピューティング環境１０００が、クラウド消費者がローカルコンピューティングデバイス上のリソースを維持する必要がないインフラストラクチャ、プラットフォーム、もしくはソフトウェアアズアサービス、またはその組み合わせを提供することを可能にする。図５に示されるコンピューティングデバイス１０００Ａ－Ｎのタイプは、例示のみを意図しており、そのコンピューティングノード１０５０およびクラウドコンピューティング環境１０００は、任意のタイプのネットワークもしくはネットワークアドレス可能な接続、またはその組み合わせ（例えば、ウェブブラウザを使用して）を介して、任意のタイプの計算されるデバイスと通信し得ることが、理解される。

【0101】

ここで図６を参照すると、クラウドコンピューティング環境１０００によって定められた機能的抽象化層１１００のセットが示される。図６に示されたコンポーネント、層、および機能が、例示のみを意図するものであり、発明の実施形態がそれに限定されることはないことを、前もって理解されるべきである。示されるように、以下の層および対応する機能が提供される。

【0102】

ハードウェアおよびソフトウェア層１１０２はハードウェアおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントの例は以下を含む：メインフレーム１１０４、ＲＩＳＣ（Ｒｅｄｕｃｅｄ Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ｃｏｍｐｕｔｅｒ）アーキテクチャベースのサーバ１１０６、サーバ１１０８、ブレードサーバ１１１０、ストレージデバイス１１１２、および、ネットワークならびにネットワークコンポーネント１１１４。いくつかの実施形態において、ソフトウェアコンポーネントはネットワークアプリケーションサーバソフトウェア１１１６およびデータベースソフトウェア１１１８を含む。

【0103】

仮想化層１１２０は抽象化層を提供し、そこから仮想エンティティの以下の例が提供される：仮想サーバ１１２２、仮想ストレージ１１２４、仮想プライベートネットワークを含む仮想ネットワーク１１２６、仮想アプリケーションおよびオペレーティングシステム１１２８、および仮想クライアント１１３０。

【0104】

一例において、管理層１１３２は以下に記載する機能を提供し得る。リソースプロビジョニング１１３４は、コンピューティングリソースの動的な調達、および、クラウドコンピューティング環境内でタスクを実行するために利用される他のリソースを提供する。測定およびプライシング１１３６は、リソースがクラウドコンピューティング環境内で利用される際のコストトラッキング、およびそれらのリソースの消費のビリングまたはインボイシングを提供する。一例において、これらのリソースはアプリケーションソフトウェアライセンスを有し得る。セキュリティは、クラウド消費者およびタスクのためのＩＤ認証、ならびに、データおよび他のリソースに関する保護を提供する。ユーザポータル１１３８は、消費者およびシステム管理者に、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理１１４０は、必要とされるサービスレベルが満たされるように、クラウドコンピューティングリソース割り当ておよび管理を提供する。サービス品質保証（ＳＬＡ）プランニングおよびフルフィルメント１１４２は、将来の要求がＳＬＡに従って予測されるクラウドコンピューティングリソースのための事前構成および調達を提供する。

【0105】

ワークロード層１１４４は、クラウドコンピューティング環境が利用され得る機能性の例を提供する。この層から提供され得るワークロードおよび機能の例は、以下を含む。マッピングおよびナビゲーション１１４６、ソフトウェア開発およびライフサイクル管理１１４８、仮想クラスルームエデュケーションデリバリ１１５０、データ分析プロセス１１５２、トランザクションプロセス１１５４、およびスキャンチェーン最適化１１５６。スキャンチェーン最適化プログラム１１０ａ、１１０ｂは、Ｑ学習ベースの強化学習を使用するスキャンチェーンワイヤ長を最適化する方法を提供する。

【0106】

本発明は、任意の可能な技術的詳細の統合レベルの、システム、方法、もしくはコンピュータプログラム製品、またはその組み合わせであり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるコンピュータ可読プログラム命令をそこに有する、コンピュータ可読記憶媒体（または複数の媒体）を含み得る。

【0107】

コンピュータ可読記憶媒体は、命令実行デバイスによって使用される命令を保持および格納し得る、有形のデバイスであり得る。コンピュータ可読記憶媒体は、例えば、ただしこれに限定されないが、電気的ストレージデバイス、磁気的ストレージデバイス、光学的ストレージデバイス、電磁気的ストレージデバイス、半導体ストレージデバイス、または、それらの任意の好適な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な例の網羅的な列挙は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）ポータブルコンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードまたはそこに記録された命令を有する溝内の隆起構造などの機械的に暗号化されたデバイス、および、上述のものの任意の好適な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書で使用されるとき、それ自体が、無線波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通る光パルス）、または電線を通って伝送される電気信号などの、一時的な信号であると解釈されるべきではない。

【0108】

本明細書で記載されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスへと、または、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、もしくは無線ネットワーク、またはその組み合わせなどのネットワークを介して外部コンピュータまたは外部ストレージデバイスへとダウンロードされ得る。当該ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、もしくはエッジサーバ、またはその組み合わせを備え得る。各コンピューティング／処理デバイスにおけるネットワークアダプターカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するためのコンピュータ可読プログラム命令を転送する。

【0109】

本発明の操作を実行するコンピュータ可読プログラム命令は、アセンブラ命令、命令－組－アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態－組データ、集積回路に関するコンフィギュレーションデータ、または、Ｓｍａｌｌｔａｌｋ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、手続き型プログラミング言語、"Ｃ"プログラミング言語、ｐｙｔｈｏｎプログラミング言語、または類似のプログラミング言語などの、１つまたは複数プログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で完全に実行され得るか、スタンドアロンのソフトウェアパッケージとして部分的にユーザのコンピュータ上で実行され得るか、部分的にユーザのコンピュータ上で、かつ、部分的にリモートコンピュータ上で実行され得るか、または、リモートコンピュータもしくはサーバ上で完全に実行され得る。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用するインターネットを通じて）行われてもよい。いくつかの実施形態において、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するべく、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個人設定することにより、コンピュータ可読プログラム命令を実行してよい。

【0110】

本発明の態様は、本発明の実施形態に記載の方法、装置（システム）およびコンピュータプログラム製品の、フローチャートもしくはブロック図またはその両方に関連して本明細書に記載される。フローチャートもしくはブロック図またはその両方の各ブロック、およびフローチャートもしくはブロック図またはその両方におけるブロックの組み合わせは、コンピュータ可読プログラム命令によって実現され得ることが理解されるであろう。

【0111】

これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置を介して実行する命令が、フローチャート及び／またはブロックダイヤグラムブロックまたは複数のブロックにおいて特定される機能／動作を実装する手段を生成するように、汎用コンピュータ、専用コンピュータ、または機械を生じさせる他のプログラム可能なデータ処理装置のプロセッサに提供され得る。また、これらのコンピュータ可読プログラム命令は、格納された命令を有するコンピュータ可読記憶媒体が、フローチャート及び／またはブロックダイヤグラムブロックまたは複数のブロックにおいて特定される機能／動作の態様を実現する命令を含む製品を有するように、コンピュータ、プログラム可能なデータ処理装置、もしくは他のデバイス、またはその組み合わせが特別な方法で機能するように導き得るコンピュータ可読記憶媒体に格納され得る。

【0112】

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラム可能な装置、または、他のデバイス上で実行する命令が、フローチャート及び／またはブロックダイヤグラムブロックまたは複数のブロックにおいて特定される機能／動作を実装するように、一連の動作段階を、コンピュータ、他のプログラム可能な装置、またはコンピュータに実装されるプロセスを生じさせる他のデバイス上で実行させるように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされ得る。

【0113】

図におけるフローチャートおよびブロック図は、本発明の様々な実施形態に記載のシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および操作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、特定される（１つまたは複数の）論理機能を実装するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表す場合がある。いくつかの代替的な実装において、ブロックに記載された機能は、図に記載された順序から外れて生じてもよい。例えば、連続的に示される２つのブロックは、実際には、実質的に並行して実行されてよく、あるいは、これらブロックは、関連する機能性に依存して、逆順序で実行される場合があってもよい。また、ブロック図及び／またはフローチャート図の各ブロック、ならびにブロック図及び／またはフローチャート図におけるブロックの組み合わせは、特定される機能もしくは行為を実行するまたは専用ハードウェアとコンピュータ命令との組み合わせを実行する専用ハードウェアベースのシステムによって実装され得ることに留意されたい。

【0114】

本発明の様々な実施形態の記載は、図示の目的で示されてきたが、網羅的であること、または、開示される実施形態に限定されることを意図するものではない。記載される実施形態の範囲から外れることなく、多くの修正および変形が、当技術分野における当業者には明らかであろう。本明細書において使用される用語は、実施形態、実際のアプリケーション、または市場に発見される技術に対する技術的改善の原理を最もよく説明するよう、または当技術分野における他の当業者が本明細書に開示の実施形態を理解することを可能とするように選択したものである。
本明細書によれば、以下の各項目もまた開示される。
［項目１］
Ｑ学習を用いたスキャンチェーンワイヤ長の最適化の方法であって、
ルートノードからルートノード詳細を取得する段階と、
前記ルートノードの接続性を最適化する段階と、
前記ルートノードの各々に関して、最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記ルートノードの各々における子ノードを最適化する段階と、
全体巡回のワイヤ長が最近傍より短いか長いかを判断する段階と、
解を適用するかまたはスキップする段階と、を備える、方法。
［項目２］
前記ルートノードの前記接続性を最適化する段階はさらに、
Ｑテーブルにおける値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を備える、
項目１に記載の方法。
［項目３］
前記動作を選択する段階はさらに、
前記動作がランダムに選択されると判断する段階と、
Ｎ個の最近傍のノードを発見する段階と、
前記Ｎ個の最近傍のノードが訪問されていないと判断する段階と、
前記Ｎ個の最近傍のノードに最も近い係数を評価する段階と、
前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記選択リストからランダムノードを選択する段階と、
を備える、項目２に記載の方法。
［項目４］
前記動作を選択する段階はさらに、
前記動作を選択することがランダムでないと判断する段階と、
現在の探索において訪問されていないノードを選択する段階と、
現在のＱ値と前記ワイヤ長とに基づいて成功の確率を計算する段階と、
計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
項目２に記載の方法。
［項目５］
前記ルートノードの各々における前記子ノードの最適化がさらに、
前記ルートノードの各々に関するＱテーブルを初期化する段階と、
固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
項目１から４のいずれか一項に記載の方法。
［項目６］
前記ルートノードの各々に関して、前記最良の始点ノードおよび前記最良の終点ノードを識別する段階がさらに、
ルートノード巡回を読み出す段階と、
前記ルートノード巡回において第１のノードを選択する段階と、
前記ルートノード巡回において第２のノードを選択する段階と、
前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全ての可能な接続の重みを計算する段階と、
最良の重みによって接続を選択する段階と、
終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
項目１から５のいずれか一項に記載の方法。
［項目７］
前記ルートノードが、共に制限されることが必要な一群のラッチの畳み込まれた表現である、項目１から６のいずれか一項に記載の方法。
［項目８］
Ｑ学習を用いたスキャンチェーンワイヤ長の最適化のためのコンピュータシステムであって、
１つまたは複数のプロセッサ、１つまたは複数のコンピュータ読み取り可能メモリ、１つまたは複数のコンピュータ読み取り可能な有形ストレージ媒体、および、前記１つまたは複数のコンピュータ読み取り可能メモリの少なくとも１つを介しての前記１つまたは複数のプロセッサの少なくとも１つによる実行のための、前記１つまたは複数のコンピュータ読み取り可能な有形ストレージ媒体の少なくとも一方上に格納されたプログラム命令を有し、
前記コンピュータシステムが以下の方法を実行可能であり、前記方法は、
ルートノードからのルートノード詳細を取得する段階と、
前記ルートノードの接続性を最適化する段階と、
前記ルートノードの各々に関する最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記ルートノードの各々における子ノードを最適化する段階と、
全体巡回のワイヤ長が最近傍より短いか長いことを判断する段階と、
解を適用するかまたはスキップする段階と、を備える、
コンピュータシステム。
［項目９］
前記ルートノードの前記接続性を最適化する段階はさらに、
Ｑテーブルの値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を含む、
項目８に記載のコンピュータシステム。
［項目１０］
前記動作を選択する段階はさらに、
前記動作を選択することがランダムであると判断する段階と、
Ｎ個の最近傍のノードを発見する段階と、
前記Ｎ個の最近傍のノードが訪問されていないと判断する段階と、
前記Ｎ個の最近傍のノードに関して最も近い係数を評価する段階と、
前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記選択リストからランダムノードを選択する段階と、を含む、
項目９に記載のコンピュータシステム。
［項目１１］
前記動作を選択する段階がさらに、
前記動作の選択がランダムでないと判断する段階と、
現在の探索において訪問されていないノードを選択する段階と、
現在のＱ値および前記ワイヤ長に基づいて成功の確率を計算する段階と、
計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
項目９に記載のコンピュータシステム。
［項目１２］
前記ルートノードの各々における前記子ノードを最適化する段階は、さらに、
前記ルートノードの各々に関してＱテーブルを初期化する段階と、
固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて、動作を選択する段階と、
選択されたノードを追加することによって、前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって、報酬を評価する段階と、
子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
項目８から１１のいずれか一項に記載のコンピュータシステム。
［項目１３］
前記ルートノードの前記各々に関する前記最良の始点ノードおよび前記最良の終点ノードを識別する段階が、さらに、
ルートノード巡回を読み出す段階と、
前記ルートノード巡回における第１のノードを選択する段階と、
前記ルートノード巡回における第２のノードを選択する段階と、
前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全ての可能な接続の重みを計算する段階と、
最良の重みによって接続を選択する段階と、
終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
項目８から１２のいずれか一項に記載のコンピュータシステム。
［項目１４］
前記ルートノードが、共に制限されることが必要な一群のラッチの畳み込まれた表現である、項目８から１３のいずれか一項に記載のコンピュータシステム。
［項目１５］
Ｑ学習を用いたスキャンチェーンワイヤ長の最適化のためのコンピュータプログラムであって、
１つまたは複数のコンピュータ読み取り可能有形ストレージ媒体と、前記１つまたは複数のコンピュータ読み取り可能有形ストレージ媒体の少なくとも１つに格納されたプログラム命令とを含み、前記プログラム命令は、以下の方法をプロセッサに実行させるようにプロセッサによって実行可能であり、前記方法は、
ルートノードからルートノード詳細を取得する段階と、
前記ルートノードの接続性を最適化する段階と、
前記ルートノードの各々に関する最良の始点ノードおよび最良の終点ノードを識別する段階と、
前記ルートノードの各々における子ノードを最適化する段階と、
全体巡回のワイヤ長が最近傍より短いか長いことを判断する段階と、
解を適用するかまたはスキップする段階と、を備える、
コンピュータプログラム。
［項目１６］
前記ルートノードの前記接続性を最適化する段階はさらに、
Ｑテーブルの値をゼロまたは一様値に設定することによって前記Ｑテーブルを初期化する段階と、
２つのノードの間の重みに基づいて動作を選択するか、またはランダムに動作を選択する段階と、
選択されたノードを追加することによって前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって報酬を評価する段階と、
ルートノード巡回ワイヤ長に基づいて前記Ｑテーブルを更新する段階と、を含む、
項目１５に記載のコンピュータプログラム。
［項目１７］
前記動作を選択する段階はさらに、
前記動作を選択することがランダムであると判断する段階と、
Ｎ個の最近傍のノードを発見する段階と、
前記Ｎ個の最近傍のノードが訪問されていないと判断するする段階と、
前記Ｎ個の最近傍のノードに関して最も近い係数を評価する段階と、
前記Ｎ個の最近傍のノードが予め定められた限度内にあると判断する段階と、
前記Ｎ個の最近傍のノードを選択リストに追加する段階と、
前記選択リストからランダムノードを選択する段階と、を含む、
項目１６に記載のコンピュータプログラム。
［項目１８］
前記動作を選択する段階がさらに、
前記動作の選択がランダムでないと判断する段階と、
現在の探索において訪問されていないノードを選択する段階と、
現在のＱ値および前記ワイヤ長に基づいて成功の確率を計算する段階と、
計算された前記成功の確率に基づいてノードを選択する段階と、を備える、
項目１６に記載のコンピュータプログラム。
［項目１９］
前記ルートノードの各々における前記子ノードを最適化する段階は、さらに、
前記ルートノードの各々に関してＱテーブルを初期化する段階と、
固定された始点ノードおよび終点ノードに基づいて、または、最適な始点ノードおよび終点ノードに基づいて、動作を選択する段階と、
選択されたノードを追加することによって、前記動作を実行する段階と、
ルートノード巡回の合計ワイヤ長を評価することによって、報酬を評価する段階と、
子ノード巡回における前記子ノードの各々に関して前記Ｑテーブルを更新する段階と、を備える、
項目１５から１８のいずれか一項に記載のコンピュータプログラム。
［項目２０］
前記ルートノードの前記各々に関する前記最良の始点ノードおよび前記最良の終点ノードを識別する段階が、さらに、
ルートノード巡回を読み出す段階と、
前記ルートノード巡回における第１のノードを選択する段階と、
前記ルートノード巡回における第２のノードを選択する段階と、
前記子ノードの間、または前記ルートノード巡回における前記第１のノードおよび前記第２のノードの間の全て可能な接続の重みを計算する段階と、
最良の重みによって接続を選択する段階と、
終点ノードとして１番目の子ノードを、次の始点ノードとして２番目の子ノードを設定する段階と、
前記次の始点ノードが前記ルートノード巡回上の最後のノードであると判断する段階と、
前記ルートノード巡回の最良の始点－終点ノード部分を選択する段階と、を有する、
項目１５から１９のいずれか一項に記載のコンピュータプログラム。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】