特許 7239798 素子値推論方法、素子値推論装置、及び、素子値推論プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-07

(45)【発行日】2023-03-15

(54)【発明の名称】素子値推論方法、素子値推論装置、及び、素子値推論プログラム

(51)【国際特許分類】

   G06F 30/367 20200101AFI20230308BHJP

   G06F 30/27 20200101ALI20230308BHJP

   H01L 21/82 20060101ALI20230308BHJP

【ＦＩ】

G06F30/367

G06F30/27

H01L21/82 D

H01L21/82 T

【請求項の数】 4

(21)【出願番号】P 2019089493

(22)【出願日】2019-05-10

(65)【公開番号】P2020187395

(43)【公開日】2020-11-19

【審査請求日】2022-01-14

(73)【特許権者】

【識別番号】504145364

【氏名又は名称】国立大学法人群馬大学

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(74)【代理人】

【識別番号】100099025

【弁理士】

【氏名又は名称】福田 浩志

(72)【発明者】

【氏名】▲高▼井 伸和

(72)【発明者】

【氏名】福田 雅史

(72)【発明者】

【氏名】猿田 将大

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開平０５－１２０３６４（ＪＰ，Ａ）

【文献】国際公開第２０１８／２３４９４５（ＷＯ，Ａ１）

【文献】特開平０６－１３９２９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３０／００－３０／３９８

Ｈ０１Ｌ ２１／８２

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更工程と、
前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション工程と、
前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出工程と、
前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新工程と、
を含む処理を実行する素子値推論方法。

【請求項2】

前記価値算出工程は、前記変更前の前記一の素子値の価値の算出を、前記算出された複数の特性に関する評価値が、前記回路の複数の特性に関する初期時の評価値を超えるときに報酬を加えることにより行う請求項１記載の素子値推論方法。

【請求項3】

回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更部と、
前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション部と、
前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出部と、
前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新部と、
を含む素子値推論装置。

【請求項4】

コンピュータに、
回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更工程と、
前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション工程と、
前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出工程と、
前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新工程と、
を実行させる素子値推論プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、素子値推論方法、素子値推論装置、及び、素子値推論プログラムに関する。

【背景技術】

【0002】

特許文献１に開示された課題「回路中の素子の定数を容易に決定すること」を解決すべく、例えば（１）数式及び知識ベースで設計する手法、（２）遺伝的プログラムを用いる手法、並びに（３）ニューラルネットワークを用いる手法が採用される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１４５４１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記した（１）の手法では、設計された素子の定数が妥当であるか否かは、設計者の知識、経験、判断等により左右される。また、上記した（２）の手法では、遺伝学的過程（例えば、突然変異、染色体の交叉）を通じて適切な解を得ようと試みることから、同一の解、即ち、素子について同一の定数を繰り返し得るとの再現性に欠ける。さらに、上記した（３）の手法では、学習した範囲内のみで学習の効果を期待することができることから、例えば、一の回路の素子について学習しても、学習をしていない他の回路については、素子の定数を適切に決定することができない。

【0005】

本発明の目的は、回路性能が向上する回路素子の素子値を容易に決定することにある。

【課題を解決するための手段】

【0006】

上記した課題を解決すべく、本発明に係る素子値推論方法は、回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更工程と、前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション工程と、前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出工程と、前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新工程と、を含む。

【0007】

上記した課題を解決すべく、本発明に係る素子値推論装置は、回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更部と、前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション部と、前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出部と、前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新部と、を含む。

【0008】

上記した課題を解決すべく、本発明に係る素子値推論プログラムは、コンピュータに、
回路に含まれる１つ以上の回路素子が取り得る複数の素子値のうち、一の素子値から他の素子値へ変更する素子値変更工程と、前記変更後の前記他の素子値を用いて、前記回路が有する複数の特性を算出するシミュレーション工程と、前記算出された複数の特性を用いて、前記変更前の前記一の素子値の価値を算出する価値算出工程と、前記複数の素子値のうち、前記複数の特性を改善する蓋然性を有する素子値を推論すべく、前記変更前の前記一の素子値についての前記算出された価値を用いて、前記複数の素子値と前記複数の素子値の価値との対応関係を示す行動価値関数を更新する行動価値関数更新工程と、を実行させる。

【発明の効果】

【0009】

本発明に係る素子値推論方法、素子値推論装置、及び、素子値推論プログラムによれば、前記変更後の前記他の素子値を用いて算出された、前記回路が有する複数の特性を用いることにより、前記変更前の前記一の素子値の価値を算出し、さらに、前記変更前の前記一の素子値についての前記価値を用いることにより、前記行動価値関数を更新する。当該更新された行動価値関数を用いて、前記回路の前記複数の特性を改善する蓋然性を有する素子値を推論することから、回路性能が向上する回路素子の素子値を容易に決定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１の素子値推論装置の構成を示す。

【図2】実施形態１の素子値推論装置の構成（ハードウェア）を示す。

【図3】実施形態１の回路を示す。

【図4】実施形態１のＭＯＳ型電解効果トランジスタを示す。

【図5】実施形態１の回路の特性を示す。

【図6】実施形態１のＱテーブルを示す。

【図7】実施形態１の素子値推論装置の動作を示す（前半）。

【図8】実施形態１の素子値推論装置の動作を示す（後半）。

【図9】実施形態１のＱテーブルの更新を示す。

【図10】実施形態１の回路特性及び回路特性の値を示す。

【図11】実施形態１のエピソード、ステップ、及びスコアの関係を示す。

【図12】実施形態１での学習の時期、ステップ、スコアの関係を示す。

【図13】変形例の回路の構成を示す。

【図14】変形例の回路特性及び回路特性の改善を示す。

【発明を実施するための形態】

【0011】

〈実施形態１〉
以下、本発明に係る素子値推論装置の実施形態について説明する。

【0012】

〈素子値推論装置の構成（概要）〉
図１は、実施形態１の素子値推論装置の構成を示す。実施形態１の素子値推論装置ＤＶは、強化学習（Ｑ－Ｌｅａｒｎｉｎｇ）を用いた上で、回路ＣＫ（図３に図示。）を構成する回路素子であるＭＯＳ型電界効果トランジスタ（ＭＯＳＦＥＴ：Metal-Oxide-Semiconductor Field-Effect Transistor）Ｍ１～Ｍ８の素子値である「Ｍ」（図４を用いて後述。）を推論することを目的とする。素子値推論装置ＤＶは、より詳しくは、回路ＣＫの回路特性ＣＨ、即ち、消費電流ＣＨ１～入力換算雑音ＣＨ１３（図５に図示。）を改善する蓋然性、言い換えれば、全体最適により近付く蓋然性を有する「Ｍ」を、Ｑ－Ｌｅａｒｎｉｎｇを実施するための行動価値関数（以下、「ＱテーブルＱＴ」ともいう。図６に図示。）を用いて推論する、即ち、探索する。

【0013】

実施形態１の素子値推論装置ＤＶの説明に先立ち、（１）回路ＣＫ、（２）回路ＣＫを構成するＭＯＳ型電解効果トランジスタＭ１～Ｍ８、（３）回路ＣＫの回路特性ＣＨ、及び（４）ＱテーブルＱＴについて説明する。

【0014】

〈回路の構成〉
図３は、実施形態１の回路を示す。

【0015】

回路ＣＫは、従来知られたオペアンプ回路である。回路ＣＫは、図３に示されるように、差動増幅を行うべく、ＭＯＳ型電解効果トランジスタＭ１～Ｍ８と、抵抗器Ｒ１、キャパシタＣ１とを含む。回路ＣＫには、電源電圧Ｖｄｄ（例えば、５．０Ｖ、３．３Ｖ）、及び、負電圧Ｖｓｓが印加されている。回路ＣＫは、端子Ｖｉｎｍ、端子Ｖｉｎｐに入力される２つの信号に前記差動増幅を施し、当該差動増幅された信号を端子Ｖｏｕｔから出力する。

【0016】

〈ＭＯＳ型電解効果トランジスタの構成〉
図４は、実施形態１のＭＯＳ型電解効果トランジスタを示す。

【0017】

ＭＯＳ型電解効果トランジスタＭ１～Ｍ８では、図４に示されるように、基板上に、ソース、ドレイン、及びゲートが形成されている。「Ｌ」は、ソース及びドレイン間の距離であるゲート長を表し、また、「Ｗ」は、ゲートの奥行方向の長さであるゲート幅を表す。実施形態１では、「Ｌ」及び「Ｗ」を固定した上で、「Ｗ」を「Ｍ」倍することを想定する（Ｍは、任意の整数）。ここで、「Ｌ」及び「Ｗ」を固定した上で、「Ｍ」を推論しようとする理由は、当該推論、即ち、探索に要する時間を限定することにより、学習全体の所要時間を短縮するためである。

【0018】

〈回路特性の内訳〉
図５は、実施形態１の回路の回路特性を示す。

【0019】

回路ＣＫ（図３に図示。）は、図５に示されるように、回路特性ＣＨを有し、より詳しくは、消費電流ＣＨ１～入力換算雑音ＣＨ１３を有する。消費電流ＣＨ１～入力換算雑音ＣＨ１３の値は、回路ＣＫを構成するＭＯＳ型電解効果トランジスタＭ１～Ｍ８の「Ｗ」の長短により変わり、換言すれば、「Ｍ」の大小により変わる。消費電流ＣＨ１～入力換算雑音ＣＨ１３のうち、「Ｍ」を大きくすると、特性の値が最低要件ＲＥを基準として良くなるように変わる回路特性が存在し、対照的に、特性の値が最低要件ＲＥを基準として良くならないように変わる回路特性も存在する。従って、消費電流ＣＨ１～入力換算雑音ＣＨ１３の全てが、最低要件ＲＥを満足しつつ、かつ、全体として最適になるような「Ｍ」を推論する必要性がある。

【0020】

〈Ｑテーブルの構成〉
図６は、実施形態１のＱテーブルを示す。

【0021】

ＱテーブルＱＴは、図６に示されるように、行列（マトリックス）である。ＱテーブルＱＴの縦軸は、状態Ｓを示し、横軸は、行動Ａを示す。縦軸及び横軸により規定される位置（セル）には、例えば、価値Ｑ１１～Ｑ６６が存在する。

【0022】

「状態Ｓ」は、Ｑ－Ｌｅａｒｎｉｎｇについて知られている「状態」と同義であり、ここでは、「回路ＣＫの回路特性ＣＨ（消費電流ＣＨ１～入力換算雑音ＣＨ１３）」をいう。

【0023】

「行動Ａ」は、Ｑ－Ｌｅａｒｎｉｎｇについて知られている「行動」と同義であり、ここでは、「回路ＣＫの回路特性（消費電流ＣＨ１～入力換算雑音ＣＨ１３）を改善すべく、「Ｍ」（素子値）を変更する」ことをいう。

【0024】

「価値Ｑ１１～Ｑ６６」は、Ｑ－Ｌｅａｒｎｉｎｇについて知られている「Ｑ値」と同義であり、例えば、「価値Ｑ２３」は、「状態Ｓ２」のときに「行動Ａ３」を取ったときの「行動Ａ３」の価値を示し、ここでは、回路ＣＫの回路特性ＣＨ（消費電流ＣＨ１～入力換算雑音ＣＨ１３）が「状態Ｓ２」であるときに、回路ＣＫの「Ｍ」（素子値）を変更するとの「行動Ａ３」を取るときの「行動Ａ３」の価値をいう。

【0025】

〈素子値推論装置の構成（詳細）〉
図１に戻り、実施形態１の素子値推論装置ＤＶは、図１に示されるように、制御部１と、初期設定・初期化部２と、素子値変更部３と、シミュレーション部４と、Ｑ値算出部５と、Ｑテーブル更新部６と、記憶部７と、を含む。

【0026】

制御部１は、素子値推論装置ＤＶの全体の動作を監視し及び制御する。

【0027】

初期設定・初期化部２は、Ｑ－Ｌｅａｒｎｉｎｇの初期化、ＱテーブルＱＴの初期化、ステップＳＴの上限値（最後の数）の設定、エピソードＥＰの上限値（最後の数）の設定、目標値ＭＫの設定、更新式ＵＤのα、γの設定等を行うために用いられる。

【0028】

「ステップＳＴ」は、「行動Ａ」（図６に図示。）を変更する回数に相当し、例えば、ステップＳＴ＝１で「行動Ａ１」を行い、ステップＳＴ＝２で「行動Ａ２」を行うとの意である。

【0029】

「エピソードＥＰ」は、複数のステップＳＴからなる１つのセットをいう。例えば、エピソードＥＰが３であるとき、例えば、１番目のエピソードでは、「行動Ａ１」→「行動Ａ２」→「行動Ａ３」→、、、→「行動Ａ６」との複数のステップＳＴを行い、２番目のエピソードでは、「行動Ａ１」→「行動Ａ３」→「行動Ａ５」→、、、→「行動Ａ６」との複数のステップＳＴを行い、３番目のエピソードでは、「行動Ａ１」→「行動Ａ４」→「行動Ａ２」→、、、→「行動Ａ６」との複数のステップＳＴを行う。

【0030】

目標値ＭＫは、後述される、式２により表される報酬ｒ（「価値Ｑ」（図６に図示。）を算出するための値）を算出するために用いられる定数である。目標値ＭＫの値については、素子値推論装置ＤＶを使用する者が、任意に設定することができ、例えば、回路ＣＫの回路特性ＣＨ（消費電流ＣＨ１～入力換算雑音ＣＨ１３）についての、初期時（Ｑ－Ｌｅａｒｎｉｎｇを開始する前）のスコアＳＣ（後述される式１）を設定することができる。

【0031】

α、γは、後述される、式３により表される更新式ＵＤにおける学習率、割引率をそれぞれ示す。学習率α率及び割引率γは、Ｑ－Ｌｅａｒｎｉｎｇについて知られているパラメータである。具体的には、学習率αは、価値Ｑを更新させる度合いを表し、割引率γは、将来の価値Ｑを割り引く程度を表す。上記した目標値ＭＫと同様に、素子値推論装置ＤＶを使用する者が、学習率α及び割引率γを任意に設定することができる。

【0032】

素子値変更部３は、ＭＯＳ型電解効果トランジスタＭ１～Ｍ８の素子値である「Ｍ」の大きさを変更する。

【0033】

シミュレーション部４は、素子値である「Ｍ」が変更される毎に、変更後の「Ｍ」を用いて、回路ＣＫの消費電流ＣＨ１～入力換算雑音ＣＨ１３の値を算出する、即ち、シミュレーションする。シミュレーション部４は、当該シミュレーションを、例えば、従来知られているＳＰＩＣＥ（Simulation Program with Integrated Circuit Emphasis）を用いて行う。ＳＰＩＣＥは、回路ＣＫを基にテキスト（文字）で又はグラフィカル（画像処理）に生成されたネットリスト（消費電流ＣＨ１～入力換算雑音ＣＨ１３を算出するための複数の理論式ＥＱ）に基づき、「Ｍ」を用いて消費電流ＣＨ１～入力換算雑音ＣＨ１３の値を算出する。

【0034】

Ｑ値算出部５は、「価値Ｑ」、例えば、「価値Ｑ１１」～「価値Ｑ６６」（図６に図示。）を算出する。Ｑ値算出部５は、具体的には、（１）式１を用いてスコアＳＣを算出し、（２）式２を用いて報酬ｒを算出し、（３）式３を用いて「価値Ｑ」を算出する。ここで、式１は、例えば、演算増幅器設計コンテストで採用されている評価基準である。式２は、「行動Ａ」を行ったときの「行動Ａ」のスコアＳＣ（後述される評価値（図１０と同義。））が、目標値ＭＫ（例えば、回路ＣＫの回路特性ＣＨについての初期時（学習前）のスコアＳＣ）を超える場合に、報酬ｒを与える趣旨である。式３の更新式ＵＤは、Ｑ－Ｌｅａｒｎｉｎｇについて知られている、Ｑ値を更新するための手法である。

【0035】

スコアＳＣ＝（スルーレートＣＨ６×同相入力範囲ＣＨ１１×直流利得ＣＨ３）／消費電力ＣＨ２ ・・・（式１）
報酬ｒ＝スコアＳＣ／目標値ＭＫ ・・・（式２）

・・・（式３）

【0036】

式３について、本来、Ｑ－Ｌｅａｒｎｉｎｇでは、ｔは、時刻を表し、ｓ_ｔは、時刻ｔのときの状態（状態Ｓ（図６に図示）と同義。）を意味し、ａ_ｔは、時刻ｔのときの行動（行動Ａ（図６に図示。）と同義。）を意味し、式３中のＡは、式３中の行動ａの集合体を意味する。実施形態１では、ｔは、「行動Ａ」（図６に図示。）を行う順番を表し、例えば、ｔ＝ｔ１（換言すれば、ステップＳＴ＝１）のとき、「行動Ａ３」を行い、ｔ＝ｔ２（換言すれば、ステップＳＴ＝２）のとき、「行動Ａ５」を行うことを表す。

【0037】

Ｑテーブル更新部６は、ＱテーブルＱＴ（図６に図示。）を更新する。Ｑテーブル更新部６は、具体的には、古い「価値Ｑ」から、Ｑ値算出部５により算出された新しい「価値Ｑ」へ差し替えることにより、ＱテーブルＱＴを更新する。例えば、ＱテーブルＱＴ中で、「状態Ｓ２」のときの「行動Ａ３」の「価値Ｑ２３」が、既に「２」であったことを仮定すると、Ｑ値算出部５が、「価値Ｑ２３」として「３」を新たに算出したとき、Ｑテーブル更新部６は、「価値Ｑ２３」を古い「２」から新しい「３」へ書き換えることにより、ＱテーブルＱＴを更新する。

【0038】

記憶部７は、制御部１～Ｑテーブル更新部６が処理を行うために必要な情報を記憶する。記憶部７は、図１に示されるように、回路ＣＫ、理論式ＥＱ、回路特性ＣＨ、ＱテーブルＱＴ、更新式ＵＤ等を記憶している。

【0039】

〈素子値推論装置の構成（ハードウェア）〉
図２は、実施形態１の素子値推論装置の構成（ハードウェア）を示す。

【0040】

素子値推論装置ＤＶは、ハードウェアの観点からは、図２に示されるように、入力部１１と、ＣＰＵ（Central Processing Unit）１２と、出力部１３と、記憶媒体１４と、メモリ１５と、を含む。入力部１１は、例えば、キーボード、マウスから構成される。ＣＰＵ１２は、ソフトウェアに従ってハードウェアを動作させる等の、よく知られたコンピュータの中核である。出力部１３は、例えば、液晶モニター、プリンタから構成される。記憶媒体１４は、図１に図示された記憶部７と同様に、回路ＣＫ、理論式ＥＱ、回路特性ＣＨ、ＱテーブルＱＴ、更新式ＵＤ等を記憶し、更に、プログラムＰＲを記憶している。記憶媒体１４は、当該記憶を行うべく、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。メモリ１５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。

【0041】

素子値推論装置ＤＶにおける、機能（図１）とハードウェア（図２）との関係については、ハードウェア上で、ＣＰＵ１２が、記憶媒体１４に記憶されたプログラムＰＲを、メモリ１５を用いつつ実行すると共に、必要に応じて、入力部１１及び出力部１３の動作を制御することにより、制御部１～記憶部７の機能が実現される。

【0042】

〈素子値推論装置の動作〉
図７及び図８は、実施形態１の素子値推論装置の動作を示すフローチャートである。以下、実施形態１の素子値推論装置の動作を、図７及び図８を参照して説明する。図７及び図８中の工程の順序を示す「ステップＳ」は、「行動Ａ」を変更する回数である「ステップＳＴ」と何らの関係を有しない。

【0043】

ステップＳ１０：素子値推論装置ＤＶの使用者は、回路ＣＫを設計し、より正確には、回路ＣＫに関する情報を素子値推論装置ＤＶへ入力する。ここで、使用者は、回路ＣＫを新規に設計することに代えて、従来知られた回路（例えば、アナログ回路における典型的な回路の一つであるオペアンプ回路）を採用することが可能である。使用者は、回路ＣＫに関する情報（例えば、回路素子の種類、回路素子間の接続関係）を、入力部１１であるマウス及びキーボードを用いて、文字の形式または画像の形式で素子値推論装置ＤＶに入力する。

【0044】

ステップＳ１１：素子値推論装置ＤＶの使用者は、初期設定・初期化部２を用いて、Ｑ－Ｌｅａｒｎｉｎｇを初期設定する。具体的には、使用者は、エピソードＥＰを何回行うか（エピソードＥＰの最後の数）、ステップＳＴを何回行うか（ステップＳＴの最後の数）、目標値ＭＫ、並びに、学習率α及び割引率γの値を設定する。以下の説明及び理解を容易にすべく、使用者が、「最後のエピソードＥＰ」として、「１０００」を設定し、また、「最後のステップＳＴ」として、「９０」を設定することを想定する。

【0045】

ステップＳ１２：初期設定・初期化部２は、ＱテーブルＱＴを初期設定する。初期設定・初期化部２は、具体的には、ＱテーブルＱＴの「価値Ｑ」として任意の値を設定し、換言すれば、「価値Ｑ」をランダムに設定する。ここで、ＱテーブルＱＴの「価値Ｑ」を空欄に設定するのではなく、何らかの値を設定する理由は、もし、いずれの「価値Ｑ」も空欄であるときには、「行動Ａ１」～「Ａ６」のうちのいずれを優先的に選択すべきかを判断することができないためである。「価値Ｑ」がランダム性に依存しないようにすべく、例えば、広く知られているε－ｇｒｅｅｄｙ法を用いることが望ましい。

【0046】

ステップＳ１３：初期設定・初期化部２は、エピソードＥＰを「０」に設定する。

【0047】

ステップＳ１４：初期設定・初期化部２は、ステップＳＴを「０」に設定する。

【0048】

ステップＳ１５：初期設定・初期化部２は、素子値である「Ｍ」を初期化する。より詳しくは、初期設定・初期化部２は、「Ｍ」として、任意の値（但し、複数のエピソードＥＰ間で共通（同一）の固定値）を、例えば、「２」を設定する。ここで、「Ｍ」を初期化する理由は、例えば、１番目のエピソードＥＰが終わったとき、「Ｍ」を固定値に再設定（初期化）した上で、後続のエピソードである２番目のエピソードＥＰを開始するためである。

【0049】

ステップＳ１６：素子値変更部３は、素子値である「Ｍ」を変更する。素子値変更部３は、例えば、「Ｍ」を「２」から「３」へ変更する。

【0050】

ステップＳ１７：シミュレーション部４は、「３」である「Ｍ」を、上述した理論式ＥＱに代入することにより、理論式ＥＱを実行する。

【0051】

ステップＳ１８：シミュレーション部４は、理論式ＥＱを実行した結果、回路特性ＣＨの値、即ち、消費電流ＣＨ１～入力換算雑音ＣＨ１３の値を取得する。

【0052】

ステップＳ１９：シミュレーション部４は、取得された消費電流ＣＨ１～入力換算雑音ＣＨ１３の値のうち、スルーレートＣＨ６、同相入力範囲ＣＨ１１、直流利得ＣＨ３）、及び消費電力ＣＨ２の値を、上記した式１に代入することにより、「スコアＳＣ」を算出する。

【0053】

ステップＳ２０：シミュレーション部４は、算出された「スコアＳＣ」を、上記した式２に代入することにより、「報酬ｒ」を算出する。

【0054】

ステップＳ２１：シミュレーション部４は、ステップＳ２０で算出された「報酬ｒ」、ステップＳ１１で設定された学習率α及び割引率γを、上記した更新式ＵＤ（式３）に代入することにより、「価値Ｑ」を算出する。ここで、算出される価値Ｑは、例えば、状態Ｓ２であるときに、行動Ａ３を行うことにより状態Ｓ３に至ったことによって獲得することができる報酬ｒを考慮した上での、行動Ａ３の価値を意味する。より具体的には、算出される価値Ｑは、消費電流ＣＨ１～入力換算雑音ＣＨ１３の全体が状態Ｓ２であるとき、例えば、「Ｍ」を「３」にするとの行動Ａ３を行い、その結果として、消費電流ＣＨ１～入力換算雑音ＣＨ１３の全体が状態Ｓ３に至ったことにより獲得することができる報酬ｒを考慮した上での、行動Ａ３の価値を意味する。

【0055】

ステップＳ２２：Ｑテーブル更新部６は、算出された行動Ａの「価値Ｑ」を用いて、ＱテーブルＱＴを更新する。

【0056】

ステップＳ２３：制御部１は、ステップＳＴが、最後のステップの「９０」であるか否かを判断する。

【0057】

ステップＳ２４：ステップＳ２３で、ステップＳＴが、「９０」でないとき、即ち、「９０」に至っていないとき、制御部１は、ステップＳＴを＋１（インクリメント）し、ステップＳ１６へ戻る。

【0058】

ステップＳ２５：ステップＳ２３で、ステップＳＴが、「９０」であるとき、即ち、「９０」に至ったとき、制御部１は、エピソードＥＰが、最後のエピソードの「１０００」であるか否かを判断する。

【0059】

ステップＳ２６：ステップＳ２５で、エピソードＥＰが、「１０００」でないとき、即ち、「１０００」に至っていないとき、制御部１は、エピソードＥＰを＋１（インクリメント）し、ステップＳ１４へ戻る。

【0060】

ステップＳ２５で、エピソードＥＰが、「１０００」であるとき、即ち、「１０００」に至ったとき、制御部１は、動作を終了させる。

【0061】

〈Ｑテーブルの更新〉
図９は、実施形態１のＱテーブルの更新を示す。

【0062】

ＱテーブルＱＴは、フローチャート（図７、図８）中のステップＳ１６～ステップＳ２２で、以下のように、更新される。

【0063】

素子値変更部３は、図９の１．に示されるように、回路ＣＫの回路特性ＣＨ（消費電流ＣＨ１～入力換算雑音ＣＨ１３）が、「状態Ｓ２」にある場合に、「Ｍ」を「３」にすることを意味する「行動Ａ３」を行うことができるとき、「行動Ａ３」を行う（図７のステップＳ１６に対応。）。シミュレーション部４は、回路ＣＫの回路特性ＣＨが、図９の２．に示されるように、「状態Ｓ３」になることを取得し、式２を用いて報酬ｒを算出する（図７のステップＳ１７～図８のステップＳ２０に対応。）。Ｑ値算出部５は、「行動Ａ３」の「価値Ｑ２３」について、「行動Ａ３」を行うことにより得られる「状態Ｓ３」の価値「５」を考慮した上で、図９の３．に示されるように、「３」を算出し（図８のステップＳ２１に対応。）、Ｑテーブル更新部６は、「Ｑ２３」の「３」を用いて、ＱテーブルＱＴを更新する（図８のステップＳ２２に対応。）。

【0064】

同様にして、素子値変更部３は、図９の４．に示されるように、回路ＣＫの回路特性ＣＨが、「状態Ｓ３」にある場合に、「Ｍ」を「４」にすることを意味する「行動Ａ４」を行うことができるとき、「行動Ａ４」を行う（図７のステップＳ１６に対応。）。シミュレーション部４は、回路ＣＫの回路特性ＣＨが、図９の５．に示されるように、「状態Ｓ４」になることを取得し、式２を用いて報酬ｒを算出する（図７のステップＳ１７～図８のステップＳ２０に対応。）。Ｑ値算出部５は、「行動Ａ４」の「価値Ｑ３４」について、「行動Ａ４」を行うことにより得られる「状態Ｓ４」の価値「６」を考慮した上で、図９の６．に示されるように、「２」を算出し（図８のステップＳ２１に対応。）、Ｑテーブル更新部６は、「Ｑ３４」の「２」を用いて、ＱテーブルＱＴを更新する（図８のステップＳ２２に対応。）。

【0065】

上記したＱテーブルＱＴの更新を繰り返すことにより（図８のステップＳ２３に対応。）、図９の７．に示されるように、更新が完了したＱテーブルＱＴが完成する。即ち、ステップＳＴが「９０」に至るまで、換言すれば、「Ｍ」の値を変更することを「９０」回、行った結果として、図９の７．に示されるＱテーブルＱＴが完成する。

【0066】

エピソードＥＰとＱテーブルＱＴとの関係については、例えば、１番目のエピソードＥＰが終了することにより完成したＱテーブルＱＴは、後続する２番目のエピソードＥＰを開始するときに使用される（図７、図８の矢印Ｃ）。換言すれば、２番目のエピソードＥＰは、先行する１番目のエピソードＥＰで完成したＱテーブルを用いて開始される。

【0067】

同様にして、３番目のエピソードＥＰは、２番目のエピソードＥＰで完成したＱテーブルＱＴを用いて開始され、４番目のエピソードＥＰは、３番目のエピソードＥＰで完成したＱテーブルＱＴを用いて開始される。

【0068】

実施形態１では、エピソードＥＰの最後の数が「１０００」に設定されていることから、最終的に、１番目のエピソードＥＰ～１０００番目のエピソードＥＰが終了した時点で、１つのＱテーブルＱＴが完成することになる。

【0069】

ここで、図９の７．に示されるＱテーブルＱＴは、１番目のエピソードＥＰ～１０００番目のエピソードＥＰの全てが終了することにより完成する。図９の７．に示されるＱテーブルＱＴは、また、１番目のエピソードＥＰ～１０００番目のエピソードＥＰの各エピソードが終了した時点でも、完成する可能性がある。従って、完成された１つのＱテーブルＱＴの中で、または、完成された複数のＱテーブルＱＴの中で、最も大きい「評価値」へ辿り着く「Ｍ」の変化の過程が最適であると推論する。

【0070】

〈回路特性の改善〉
図１０は、実施形態１の回路特性及び回路特性の値を示す。

【0071】

回路ＣＫ（図３に図示。）の回路特性ＣＨ（消費電流ＣＨ１～入力換算雑音ＣＨ１３）についての評価値（上記した式１に示されるスコアＳＣと同義。）は、図１０に示されるように、上記した学習（図７、図８）を開始する前には、１．８１×１０^１９であったことに対し、上記した学習を終了した後には、７．７１×１０^１９に変更され、即ち、約４倍に改善されている。

【0072】

〈エピソード、ステップ、及びスコアの関係〉
図１１は、実施形態１のエピソード、ステップ、及びスコアの関係を示す。

【0073】

上記した「１０００」回のエピソードＥＰのうち、図１１に示されるように、「２９８」回め～「３００」回めのエピソードＥＰ間で、「１」～「９０」のステップＳＴについてのスコアＳＣが、殆ど変化していない。このことから、実質的に、約「３００」回めのエピソードＥＰの段階で、「１」～「９０」のステップＳＴのスコアＳＣ、即ち、回路特性ＣＨが、最大に改善されている。換言すれば、エピソードＥＰを「３００」回程度行えば、「１」～「９０」のステップＳＴの回路特性ＣＨを最適にすることを繰り返し実現するとの再現性を獲得することができることが裏付けられている。

【0074】

〈学習の時期、ステップ、及びスコアの関係〉
図１２は、実施形態１での学習の時期、ステップ、スコアの関係を示す。

【0075】

上記した学習（図７、図８）について、学習の初期では、図１２（Ａ）に示されるように、「１」～「９０」のステップＳＴのうち、「２０」～「９０」のステップＳＴのスコアＳＣは、学習前の評価値（スコアＳＣ）である「１．８１×１０^１９」を下回っている。

【0076】

学習の中期では、図１２（Ｂ）に示されるように、「１」～「９０」のステップＳＴのうち、「１」～「８０」のステップＳＴのスコアＳＣは、上記した「１．８１×１０^１９」を上回っている。

【0077】

学習の後期では、図１２（Ｃ）に示されるように、「１」～「９０」のステップＳＴのうち、「１」～「９０」の全てのステップＳＴのスコアＳＣは、上記した「１．８１×１０^１９」を上回っている。

【0078】

上記した３つの事実から、学習が進むに連れて、回路ＣＫの回路特性ＣＨが、上記の「１．８１×１０^１９」（学習前の評価値（スコアＳＣ））から改善されていくというステップＳＴが徐々に増えていくことが、裏付けられる。

【0079】

〈素子値推論装置の効果〉
実施形態１の素子値推論装置ＤＶでは、上記したように、回路ＣＫの消費電流ＣＨ１～入力換算雑音ＣＨ１３を全体的に最適化すべく、回路ＣＫを構成するＭＯＳ型電解効果トランジスタＭ１～Ｍ８の「Ｍ」の値を、Ｑ－Ｌｅａｒｎｉｎｇを用いて探索する、即ち、推論する。これにより、従来と異なり、（１）回路ＣＫを設計する設計者の知識、経験、判断等に依拠する必要が無く（図７、図８）、（２）消費電流ＣＨ１～入力換算雑音ＣＨ１３を全体として最適にする可能性を有する、同一の値である「Ｍ」を得るとの再現性を確保することができ（図１１）、（３）Ｑ－Ｌｅａｒｎｉｎｇ自体が学習の範囲を限定することなく学習を進めることから、学習済みの範囲内であるか範囲外であるかを問うことなく、「Ｍ」の値を適切に決定することができる。

【0080】

〈変形例〉
〈回路の構成〉
図１３は、変形例の回路の構成を示す。

【0081】

変形例の回路ＣＫは、実施形態１の回路ＣＫ（図３に図示。）に比して、多数のＭＯＳ型電解効果トランジスタＭ１～Ｍ２４を有する。

【0082】

〈回路特性の改善〉
図１４は、変形例の回路特性及び回路特性の改善を示す。

【0083】

上記した変形例の回路ＣＫ（図１３に図示。）について、素子値推論装置ＤＶ（図１及び図２に図示。）が、上記した学習（図７及び図８に図示。）を行うことにより、図１４に示されるように、変形例の回路ＣＫの消費電流ＣＨ１～入力換算雑音ＣＨ１３についての評価値（スコアＳＣ）は、上記した学習を開始する前には、７．１７×１０^１８であったことに対し、上記した学習を終了した後には、１．２６×１０^１９に変更され、即ち、約２倍に改善されている。

【0084】

実施形態１及び変形例において、回路特性ＣＨが改善されたことから、他の回路（図示せず。）についても、それらの回路の回路特性ＣＨが、上記した学習を通じて改善されることが期待される。

【符号の説明】

【0085】

ＤＶ 素子値推論措置、１ 制御部、２ 初期設定・初期化部、３ 素子値変更部、４ シミュレーション部、５ Ｑ値算出部、６ Ｑテーブル更新部、７ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】