▶ 独立行政法人情報通信研究機構の特許一覧 ▶ 国立大学法人埼玉大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-04-05
(45)【発行日】2022-04-13
(54)【発明の名称】解探索システム及び方法
(51)【国際特許分類】
G06N 99/00 20190101AFI20220406BHJP
【ＦＩ】
G06N99/00 180
【請求項の数】
6
(21)【出願番号】P 2018037643
(22)【出願日】2018-03-02
(65)【公開番号】P2019153059
(43)【公開日】2019-09-12
【審査請求日】2021-03-01
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業に係る委託研究、産業技術力強化法第１９条の適用を受ける特許出願
(73)【特許権者】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(73)【特許権者】
【識別番号】504190548
【氏名又は名称】国立大学法人埼玉大学
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】成瀬 誠
(72)【発明者】
【氏名】内田 淳史
【審査官】多賀 実
(56)【参考文献】
【文献】特開２０１４－１９１５９８（ＪＰ，Ａ）
【文献】巳鼻 孝朋 ほか，「半導体レーザカオスを用いた超高速意思決定における適応性の調査」，２０１７年＜第６４回＞応用物理学会春季学術講演会［講演予稿集］，公益社団法人応用物理学会，2017年03月01日，pp. 03-561
【文献】成瀬 誠 ほか，「単一光子による階層型意思決定」，２０１７年＜第６４回＞応用物理学会春季学術講演会［講演予稿集］，公益社団法人応用物理学会，2017年03月01日，pp. 03-083
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
Ｇ０６Ｎ ９９／００
Ｇ０６Ｑ １０／０４
(57)【特許請求の範囲】
【請求項1】
確率分布に基づいて結果を出力する３以上の被検対象のうち最良の結果の出力が期待される被検対象を探索する解探索システムにおいて、不規則に信号強度が変化する不規則信号を発信する信号発信手段と、
上記信号発信手段から発信された不規則信号の信号強度を２以上の各観測時点においてそれぞれ検知する信号検知手段と、
上記信号検知手段により各観測時点において検知した信号強度と、上記観測時点毎に設定された閾値とを比較する比較手段と、
上記比較手段による比較結果に基づいて上記被検対象を選択する選択手段と、
上記選択手段により選択された上記被検対象に対して結果の出力を指示する出力指示手段と、
上記被検対象から出力された結果の蓄積に基づく今までの戦績を上記被検対象毎にそれぞれ求め、上記各被検対象の戦績に基づいて、上記観測時点毎に設定された各閾値を調整する閾値調整手段とを備え、
上記出力指示手段は、上記信号検知手段による信号強度の検知から上記出力指示手段による上記結果の出力の指示の繰り返しを経て、上記選択手段による上記被検対象の選択傾向に基づいた探索解を出力すること
を特徴とする解探索システム。
【請求項2】
上記比較手段は、上記信号発信手段から発信された不規則信号の信号強度を検知する観測時点ｔn（ｎは何れかの自然数）において検知した信号強度と閾値ＴＨnとを比較し、上記信号強度が閾値ＴＨnより小さい場合には、観測時点ｔn+1において検知した信号強度と閾値ＴＨn+1とを比較し、上記信号強度が閾値ＴＨn以上の場合には、観測時点ｔn+1において検知した信号強度と閾値ＴＨn+1´とを比較し、上記選択手段は、上記比較手段による上記観測時点ｔn+1における比較結果に基づいて、閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´とを隔てて割り当てられた被検対象を選択すること
を特徴とする請求項１記載の解探索システム。
【請求項3】
上記閾値調整手段は、上記選択手段により一の被検対象を選択する上で上記比較手段による比較の際に用いられた閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´とを、当該一の被検対象の戦績に基づいて調整することを特徴とする請求項２記載の解探索システム。
【請求項4】
上記閾値調整手段は、上記被検対象から出力された結果を、上記各被検対象全体の戦績との関係において評価し、その評価結果に基づいて上記観測時点毎に設定された各閾値を調整することを特徴とする請求項１～３のうち何れか１項記載の解探索システム。
【請求項5】
上記信号発信手段は、半導体レーザから出射された光を反射部を介してそのレーザ共振器内に戻すことにより発現される戻り半導体レーザ光を、上記不規則信号として使用することを特徴とする請求項１～４のうち何れか１項記載の解探索システム。
【請求項6】
確率分布に基づいて結果を出力する３以上の被検対象のうち最良の結果の出力が期待される被検対象を探索する解探索方法において、不規則に信号強度が変化する不規則信号を発信する信号発信ステップと、
上記信号発信ステップにおいて発信した不規則信号の信号強度を２以上の各観測時点においてそれぞれ検知する信号検知ステップと、
上記信号検知ステップにおいて各観測時点において検知した信号強度と、上記観測時点毎に設定された閾値とを比較する比較ステップと、
上記比較ステップにおける比較結果に基づいて上記被検対象を選択する選択ステップと、
上記選択ステップにおいて選択した上記被検対象に対して結果の出力を指示する出力指示ステップと、
上記被検対象から出力された結果の蓄積に基づく今までの戦績を上記被検対象毎にそれぞれ求め、上記各被検対象の戦績に基づいて、上記観測時点毎に設定された各閾値を調整する閾値調整ステップとを有し、
上記出力指示ステップでは、上記信号検知ステップにおける信号強度の検知から上記出力指示ステップによる上記結果の出力の指示の繰り返しを経て、上記選択ステップによる上記被検対象の選択傾向に基づいた探索解を出力すること
を特徴とする解探索方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、確率分布に基づいて結果を出力する複数の被検対象のうち最良の結果の出力が期待される被検対象を探索する上で好適な解探索システム及び方法に関するものである。
【背景技術】
【0002】
近年において人工知能（ＡＩ）関連技術が急速に発展してきている。この人工知能を活用した機械学習では、画像認識等に優れた能力を発揮する深層学習と呼ばれる技術に並び、強化学習が重要になる。強化学習とは、未知な環境で試行錯誤をしながら学習を行う方法であり、強化学習が適用可能なテーマの一つとして、期待値を最大化する解を探索する問題の代表例として、バンディット問題がある（例えば、非特許文献１参照。）。このバンディット問題とは、貰える合計報酬の期待値を最大化することを目的とし、プレイヤーはn種類の異なる行動選択肢から一つの選択肢を選択する動作を繰り返す。各選択の後は毎回、選択した行動に依存する確率分布から選ばれた結果がプレイヤーの報酬として与えられる。
【0003】
仮に複数のスロットマシーンが存在し、各スロットマシーンのレバーを引くことにより、ある確率分布の下でコイン（報酬）がもらえるものとする。このコインが出る確率分布（当選確率）がスロットマシーン毎に異なる場合であって、かつプレイヤーはその当選確率が分からない場合を考えてみる。このとき、各スロットマシーンの当選確率を知る最も一般的な方法としては、とりあえず各スロットマシーンを多数回に亘り順にプレイし、実際に最も報酬が大きかったスロットマシーンが、最も当選確率が高いものと判断する。
【0004】
しかしながら、かかる方法では、実際に最も当選確率の高いスロットマシーンを特定する上で相当の回数に亘りスロットマシーンをプレイしなければならず、結果として多くの投資が必要となる。またスロットマシーンの当たり台が時々刻々と変わることもあり得る。逆に、早々にスロットマシーンの試し打ちを打ち切ってしまうと、肝心の当たり台を見逃してしまう虞もある。このように、バンディット問題は、従来より「探索」と「決断」に難しいジレンマが存在していた。この問題は多本腕バンディット問題として知られ、ワイヤレス通信における周波数の割当てや、データセンターでの計算資源の割当て、ロボット制御、Ｗｅｂ広告等、様々な応用展開が期待されることから、各種研究が行われている。
【先行技術文献】
【非特許文献】
【0005】
【文献】S. -J.Kim, M. Aono,M. Hara, BioSystems 101,29-36 (2010)
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、従来において、バンディット問題の解を自動的に探索して求めるためのアルゴリズムが特段提案されていなかった。情報量が増大の一途を辿る昨今において、大量の情報から高速かつ効率的に、組み合わせバンディット問題の解を求めるための社会的要請が高くなると考えられるが、これについて特段の解決策が提案されていないのが現状であった。
【0007】
特にこのバンディット問題を解く上で当たり台の探索が必要になるが、この当たり台の探索において、ランダムに台を選ぶことが不可欠となる。即ち、当たり台の探索の序盤では当たり台をランダムに選択し、時間の経過とともに、それまでの戦績に基づいて選択する場合が多い。
【0008】
従来においてこの序盤におけるランダムな当たり台の選択時には、コンピューター上で生成した擬似乱数に基づいて行っていた。しかし、擬似乱数は、コンピューター上で予め設計されたアルゴリズムに基づいて作られるため、高速に生成することは困難であることから、バンディット問題を高速に解くことができないという問題点があった。また、この擬似乱数は、乱数の質的側面においても限界があることから、バンディット問題の解探索精度を向上させることができないという問題点もあった。
【0009】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、バンディット問題を解く上で特に良質な乱数に基づいて当たり台のランダムな選択を実現することで、バンディット問題を高速かつ高精度に解くことが可能な解探索システム及び方法を提供することにある。
【課題を解決するための手段】
【0010】
第１発明に係る解探索システムは、確率分布に基づいて結果を出力する３以上の被検対象のうち最良の結果の出力が期待される被検対象を探索する解探索システムにおいて、不規則に信号強度が変化する不規則信号を発信する信号発信手段と、上記信号発信手段から発信された不規則信号の信号強度を２以上の各観測時点においてそれぞれ検知する信号検知手段と、上記信号検知手段により各観測時点において検知した信号強度と、上記観測時点毎に設定された閾値とを比較する比較手段と、上記比較手段による比較結果に基づいて上記被検対象を選択する選択手段と、上記選択手段により選択された上記被検対象に対して結果の出力を指示する出力指示手段と、上記被検対象から出力された結果の蓄積に基づく今までの戦績を上記被検対象毎にそれぞれ求め、上記各被検対象の戦績に基づいて、上記観測時点毎に設定された各閾値を調整する閾値調整手段とを備え、上記出力指示手段は、上記信号検知手段による信号強度の検知から上記出力指示手段による上記結果の出力の指示の繰り返しを経て、上記選択手段による上記被検対象の選択傾向に基づいた探索解を出力することを特徴とする。
【0011】
第２発明に係る解探索システムは、第１発明において、上記比較手段は、上記信号発信手段から発信された不規則信号の信号強度を検知する観測時点ｔn（ｎは何れかの自然数）において検知した信号強度と閾値ＴＨnとを比較し、上記信号強度が閾値ＴＨnより小さい場合には、観測時点ｔn+1において検知した信号強度と閾値ＴＨn+1とを比較し、上記信号強度が閾値ＴＨn以上の場合には、観測時点ｔn+1において検知した信号強度と閾値ＴＨn+1´とを比較し、上記選択手段は、上記比較手段による上記観測時点ｔn+1における比較結果に基づいて、閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´とを隔てて割り当てられた被検対象を選択することを特徴とする。
【0012】
第３発明に係る解探索システムは、第２発明において、上記閾値調整手段は、上記選択手段により一の被検対象を選択する上で上記比較手段による比較の際に用いられた閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´とを、当該一の被検対象の戦績に基づいて調整することを特徴とする。
【0013】
第４発明に係る解探索システムは、第１発明～第３発明の何れかにおいて、上記閾値調整手段は、上記被検対象から出力された結果を、上記各被検対象全体の戦績との関係において評価し、その評価結果に基づいて上記観測時点毎に設定された各閾値を調整することを特徴とする。
【0014】
第５発明に係る解探索システムは、第１発明～第４発明の何れかにおいて、上記信号発信手段は、半導体レーザから出射された光を反射部を介してそのレーザ共振器内に戻すことにより発現される戻り半導体レーザ光を、上記不規則信号として使用することを特徴とする。
【0015】
第６発明に係る解探索方法は、 確率分布に基づいて結果を出力する３以上の被検対象のうち最良の結果の出力が期待される被検対象を探索する解探索方法において、不規則に信号強度が変化する不規則信号を発信する信号発信ステップと、上記信号発信ステップにおいて発信した不規則信号の信号強度を２以上の各観測時点においてそれぞれ検知する信号検知ステップと、上記信号検知ステップにおいて各観測時点において検知した信号強度と、上記観測時点毎に設定された閾値とを比較する比較ステップと、上記比較ステップにおける比較結果に基づいて上記被検対象を選択する選択ステップと、上記選択ステップにおいて選択した上記被検対象に対して結果の出力を指示する出力指示ステップと、上記被検対象から出力された結果の蓄積に基づく今までの戦績を上記被検対象毎にそれぞれ求め、上記各被検対象の戦績に基づいて、上記観測時点毎に設定された各閾値を調整する閾値調整ステップとを有し、上記出力指示ステップでは、上記信号検知ステップにおける信号強度の検知から上記出力指示ステップによる上記結果の出力の指示の繰り返しを経て、上記選択ステップによる上記被検対象の選択傾向に基づいた探索解を出力することを特徴とする。
【発明の効果】
【0016】
上述した構成からなる本発明によれば、被検対象から出力された今までの戦績の優劣に基づいて、被検対象が選択されやすくなるように、或いは選択されにくくなるように閾値の調整を行う。そして、被検対象による出力の指示の繰り返しを経て最終的に最も結果の出力の指示が行われている被検対象を探索すべき解として特定することができる。これにより、組み合わせバンディット問題の解を自動的に探索して求めることが可能となり、情報量が増大の一途を辿る昨今において、大量の情報から高速かつ効率的に、組み合わせバンディット問題の解を求めることが可能となる。
【図面の簡単な説明】
【0017】
【図1】本発明を適用した解探索システムの全体構成図である。
【図2】戻り半導体レーザ光を生成する場合における信号発信部のブロック構成図である。
【図3】意思決定部における信号強度を検知するプロセスを示す図である。
【図4】８つの被検対象の中から最良の結果の出力が期待される被検対象を探索する場合の例を示す図である。
【図5】意思決定部における信号強度を検知するプロセスを一般式で定義する場合について説明するための図である。
【図6】本発明を適用した解探索システムの実施例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明を適用した解探索システムについて図面を参照しながら詳細に説明をする 。
【0019】
図１は、本発明を適用した解探索システム１の全体構成を示している。この解探索システム１は、３以上被検対象５のうち最良の結果の出力が期待される被検対象５を探索するシステムである。解探索システム１は、戦績優劣比較部２と、この戦績優劣比較部２に接続された調整部３と、調整部３及び被検対象５に接続された意思決定部４と、意思決定部４に接続された信号発信部９とを備えている。なお、以下の例において、４つの被検対象５ａ～５ｄのうち最良の結果の出力が期待される被検対象５を選択する場合を例に挙げて説明をするが、これに限定されるものではなく、３以上のいかなる数からなる被検対象５に対して解探索を行うものであってもよい。
【0020】
被検対象５は、それぞれ設定された確率分布に基づいて結果を出力する対象物である。例えば、スロットマシーンやパチンコの台のように、設定された確率分布に基づいてコインという結果物を出力するものであってもよい。また、無線通信は、各チャネルのデータ伝送量の大小は、その都度変化するものであるが、これについてもある時点において設定された確率分布で表現することができる。このような無線通信において任意のチャネルを選択した場合に、実際の“データ伝送量”という結果物を出力する。また、結果物は、“データの伝送量”に限らず、“消費電力（の小ささ）”や“通信遅延（の小ささ）”などに設定することもできる。
【0021】
このように、被検対象５は、出力する結果を確率分布に変換することが可能なあらゆる事象、物、システム、プログラムやアルゴリズムを含む概念である。ちなみに、この被検対象５において出力される結果の確率分布は、通常の正規分布、ガウシアン分布のみならず、離散的な分布であってもよいし、２項分布で構成されていてもよい。ちなみに、この被検対象５の確率分布は、この解探索システム１のユーザにとって未知のものとなっている。ユーザは、これらの被検対象のうち、最良の結果の出力が期待される被検対象の組み合わせを探索するためにこの解探索システム１を使用することとなる。
【0022】
被検対象５ａ～５ｄは、それぞれ設定された確率分布に基づいて結果ｌを出力する。このとき、被検対象５ａから出力される結果を結果ｌ1とし、被検対象５ｂから出力される結果を結果ｌ2とし、被検対象５ｃから出力される結果を結果ｌ3とし、被検対象５ｄから出力される結果を結果ｌ4とする。出力された結果ｌ1～ｌ4は戦績優劣比較部２へと送信される。
【0023】
戦績優劣比較部２は、被検対象５ａ～５ｄから出力される結果ｌ1～ｌ4を受信し、これを記憶する。この戦績優劣比較部２は、被検対象５ａ～５ｄから結果ｌ1～ｌ4を受信する都度、順次記憶しておくことで、結果を蓄積する。そして、この戦績優劣比較部２は、被検対象５ａ～５ｄ毎に、出力された結果の蓄積に基づく今までの戦績をそれぞれ求める。ここでいう戦績とは、被検対象５から出力される結果がより優れているのか、或いはより劣っているのかを示すあらゆるデータを示すものである。被検対象５がスロットマシーンであれば、単位回数のプレイでコインがどの程度出たかを示すものであってもよいし、単に一回のプレイでコインが出たか、出なかったかの２値で評価するものであってもよい。被検対象５が通信環境であれば、速やかな接続がどの程度行われたかを示すデータであってもよい。また、この戦績優劣比較部２は、各被検対象５の戦績を被検対象５全体の戦績との関係においてその優劣を比較する。ここで被検対象５ａについての戦績の優劣に関する戦績指数をｑ1
tとし、被検対象５ｂについての戦績の優劣に関する戦績指数をｑ2
tとし、被検対象５ｃについての戦績の優劣に関する戦績指数をｑ3
tとし、被検対象５ｄについての戦績の優劣に関する戦績指数をｑ4
tとする。これら戦績指数ｑ1
t～戦績指数ｑ4
tは、調整部３にそれぞれ送られる。
【0024】
調整部３は、それぞれ戦績優劣比較部２から、戦績指数ｑ1
t～ｑ4
tがそれぞれ入力される。調整部３は、それぞれ入力された戦績の優劣に基づいて意思決定部４における各種意思決定に影響を及ぼす各種調整を行う。
【0025】
信号発信部９は、不規則に信号強度が変化する不規則信号を発信する。信号発信部９から発信された不規則信号は、意思決定部４へ供給される。この信号発信部９により発信される不規則信号は、信号強度が単にランダムに変化する場合に限定されるものではなく、またカオス的に変化する場合に限定されるものではない。つまりこの不規則信号とは、その信号発信時点の直前の信号発信時点における信号強度に対して一切の相関を持たない完全な不規則性をもつ信号で構成されていてもよいし、その信号発信時点の直前の信号発信時点における信号強度に対して若干の相関を持たせた一部の不規則性をもつ信号で構成されていてもよい。
【0026】
この信号発信部９は、電気的、物理的信号を発信することは必須ではなく、以前において取得した不規則信号のデータ列を意思決定部４へ供給するものであってもよい。例えば、この信号発信部９から発信される不規則信号は、半導体レーザから出射された光を反射部を介してそのレーザ共振器内に戻すことにより発現される戻り半導体レーザ光に基づいて生成されるものであってもよい。
【0027】
図２は、この戻り半導体レーザ光を生成する場合における信号発信部９のブロック構成を示している。この信号発信部９は、半導体レーザ９１と、カプラ９２と、減衰器９３と、反射部９４と、光アイソレータ９５と、減衰器９６と、受光部９７と、オシロスコープ９８とを備えている。
【0028】
半導体レーザ９１は、供給される電気信号に基づいてレーザ光を発振する。カプラ９２は、半導体レーザ９１からのレーザ光や、減衰器９３および反射部９４からの戻り光を分岐させる役割を担う。減衰器９３は、反射部９４からの戻り光を減衰させる。反射部９４は、半導体レーザ９１からのレーザ光を反射するミラー等で構成される。光アイソレータ９５は、カプラ９２から出射されるレーザ光につき、順方向に進む光の成分のみを透過し逆方向の光の成分を遮断する役割を担う。減衰器９６は、光アイソレータ９５からのレーザ光を減衰させる。受光部９７は、フォトダイオード等で構成され光アイソレータ９５からのレーザ光を光電変換して電気信号化する。オシロスコープ９８は、受光部９７において光電変換された電気信号を時間軸をベースにし、その信号強度を波形化する。
【0029】
このような構成からなる信号発信部９によれば、先ず半導体レーザ９１により発振されたレーザ光は、カプラ９２と減衰器９３を介して反射部９４に到達する。このレーザ光は反射部９４を反射した後、減衰器９３で戻り光量を調整された後、戻り光として再びカプラ９２を介して半導体レーザ９１に戻される。この半導体レーザ９１における共振器内に戻された戻り光により光の雑音レベルが著しく増加し、不安定化する結果、そこから改めて戻り半導体レーザ光が出射される。この戻り半導体レーザ光は、コヒーレンスが崩壊した、いわばレーザーカオス状態となっているため、上述した不規則信号となっている。このような戻り半導体レーザ光は、カプラ９２、光アイソレータ９５を介して減衰器９６において減衰され、受光部９７において光電変換され、更にオシロスコープ９８において波形化されることになる。このオシロスコープ９８において波形化された信号は不規則信号となっている。信号発信部９は、このような不規則信号を意思決定部４へ供給する。
【0030】
意思決定部４は、信号発信部９から発信された不規則信号の信号強度を検知する。図３は、この意思決定部４における信号強度を検知するプロセスを示している。不規則信号を横軸に時間、縦軸を信号強度とした場合に、この意思決定部４は、不規則信号の信号強度を２以上の各観測時点においてそれぞれ検知する。例えば、この観測時点をｔ1、ｔ2の２つの時点に設定した場合には、この観測時点ｔ1における不規則信号の信号強度Ｐ1を検知し、観測時点ｔ2における不規則信号の信号強度Ｐ2を検知する。
【0031】
次にこの意思決定部４は、各観測時点において検知した信号強度と、観測時点毎に設定された閾値とを比較する。ここで、観測時点ｔ1には閾値ＴＨ1が予め設定されているものと仮定し、観測時点ｔ2には閾値ＴＨ2,0、ＴＨ2,1が予め設定されているものと仮定する。観測時点ｔ1における不規則信号の信号強度Ｐ1と、閾値ＴＨ1とを先ず比較する。その結果、信号強度Ｐ1が閾値ＴＨ1より小さい場合には、閾値ＴＨ2,0の矢印方向に進み、信号強度Ｐ1が閾値ＴＨ1以上の場合には、閾値ＴＨ2,1の矢印方向に進む。閾値ＴＨ2,0の矢印方向に進んだ場合には、観測時点ｔ2における不規則信号の信号強度Ｐ2と閾値ＴＨ2,0とを比較し、その信号強度Ｐ2と閾値ＴＨ2,0の大小関係に応じて被検対象５を選択する。同様に閾値ＴＨ2,1の矢印方向に進んだ場合には、観測時点ｔ2における不規則信号の信号強度Ｐ2と閾値ＴＨ2,1とを比較し、その信号強度Ｐ2と閾値ＴＨ2,1の大小関係に応じて被検対象５を選択する。
【0032】
ここで上述した被検対象５ａ～５ｄは、それぞれ閾値ＴＨ1、ＴＨ2,0、ＴＨ2,1を隔てて予め割り当てられている。例えば被検対象５ａは、閾値ＴＨ2,0未満において割り当てられ、被検対象５ｂは、閾値ＴＨ2,0以上において割り当てられ、被検対象５ｃは、閾値ＴＨ2,1未満において割り当てられ、被検対象５ｄは、閾値ＴＨ2,0以上において割り当てられているものとする。不規則信号の信号強度Ｐ2と閾値との比較の結果、選択する被検対象５は、各閾値を隔てて予め割り当てられている被検対象５に対応させる。
【0033】
上述した例の場合には、信号強度Ｐ2が閾値ＴＨ2,0より小さい場合には、被検対象５ａを選択する。信号強度Ｐ2が閾値ＴＨ2,0以上の場合には、被検対象５ｂを選択する。信号強度Ｐ2が閾値ＴＨ2,1より小さい場合には、被検対象５ｃを選択する。信号強度Ｐ2が閾値ＴＨ2,1以上の場合には、被検対象５ｄを選択する。
【0034】
つまり、被検対象５ａが選択されるケースは、信号強度Ｐ1が閾値ＴＨ1未満であり、かつ信号強度Ｐ2が閾値ＴＨ2,0未満である場合である。被検対象５ｂが選択されるケースは、信号強度Ｐ1が閾値ＴＨ1未満であり、かつ信号強度Ｐ2が閾値ＴＨ2,0以上である場合である。被検対象５ｃが選択されるケースは、信号強度Ｐ1が閾値ＴＨ1以上であり、かつ信号強度Ｐ2が閾値ＴＨ2,1未満である場合である。被検対象５ｄが選択されるケースは、信号強度Ｐ1が閾値ＴＨ1以上であり、かつ信号強度Ｐ2が閾値ＴＨ2,1以上である場合である。実際にこの被検対象５ａ、５ｂが選択される場合に閾値ＴＨ1、閾値ＴＨ2,0が使用され、閾値ＴＨ2,1は特段使用されないこととなる。同じく被検対象５ａ、５ｂが選択される場合に閾値ＴＨ1、閾値ＴＨ2,1が使用され、閾値ＴＨ2,0は特段使用されないこととなる。
【0035】
ちなみに、被検対象５ａ～５ｂをそれぞれ１０進数における数値０～３を割り当てた場合、これを２進数に変換した場合には、被検対象５ａが（００）、被検対象５ｂが（０１）、被検対象５ｃが（１０）、被検対象５ｄが（１１）となる。
【0036】
この２進数における桁を上位から第１桁、第２桁と定義する場合、第１桁が０の場合は、閾値ＴＨ2,0に進む場合であり、第１桁が１の場合には、閾値ＴＨ2,1に進む場合である。即ち、閾値ＴＨ2,kにおけるｋは、第１桁の数値に対応している。第２桁の数値は、閾値ＴＨ2,0、ＴＨ2,1を介して隔てられる被検対象５ａ（００）又は被検対象５ｂ（０１）と、被検対象５ｃ（１０）又は被検対象５ｄ（１１）に相当する。
【0037】
このようにして、意思決定部４において選択された被検対象５ａ～５ｄは、それぞれ設定された確率分布に基づいて結果ｌを出力することになる。
【0038】
次に本発明を適用した解探索システム１の動作について説明をする。
【0039】
先ず信号発信部９から発信された不規則信号が意思決定部４に供給される。意思決定部４では、この不規則信号について先ず観測時点ｔ1における不規則信号の信号強度Ｐ1と、閾値ＴＨ1とを比較した結果、信号強度Ｐ1が閾値ＴＨ1より小さい場合には、閾値ＴＨ2,0の矢印方向に進み、信号強度Ｐ1が閾値ＴＨ1以上の場合には、閾値ＴＨ2,1の矢印方向に進む。閾値ＴＨ2,0の矢印方向に進んだ場合には、観測時点ｔ2における不規則信号の信号強度Ｐ2と閾値ＴＨ2,0とを比較し、その信号強度Ｐ2と閾値ＴＨ2,0の大小関係に応じて被検対象５ａ、５ｂの何れかを選択する。同様に閾値ＴＨ2,1の矢印方向に進んだ場合には、観測時点ｔ2における不規則信号の信号強度Ｐ2と閾値ＴＨ2,1とを比較し、その信号強度Ｐ2と閾値ＴＨ2,1の大小関係に応じて被検対象５ａ、被検対象５ｂの何れかを選択する。その結果、この意思決定部４においては被検対象５ａ～５ｄの何れか１つが選択されることになる。
【0040】
次に選択された被検対象５ａ～５ｄの何れか１つについて結果の出力が行われる。被検対象５ａ～５ｄから出力された結果ｌは、それぞれ戦績優劣比較部２へ送られる。戦績優劣比較部２では、この送られてきた結果ｌに基づいて具体的に以下の処理動作を行う。
【0041】
戦績優劣比較部２では、それぞれ被検対象５ａ～５ｄの戦績を戦績指数ｑi
tを介して管理する。被検対象５が、より優れた結果を出力した場合と、当該ｑi
tを求める被検対象５以外の他の被検対象５が、より劣った結果を出力した場合に、その数値が上昇することになっている。仮に被検対象５がスロットマシーンである場合には、一の被検対象５ａが当選した場合、その被検対象５ａの戦績指数ｑ1
tを上昇させ、被検対象５ａが落選し、他の被検対象５が当選した場合、その被検対象５ａの戦績指数ｑ1
tを変化させないようにするか、或いは下降させる。
【0042】
このような戦績指数ｑ1
tを各被検対象５ａ～５ｄ毎に管理し、より戦績が優れたものになるにつれて戦績指数ｑ1
tが上昇し、より戦績が劣ったものになるにつれて戦績指数ｑ1
tを下降させる。
【0043】
各被検対象５から出力される結果ｌの何れが優れており、何れの結果ｌが劣っているかについては、いかなる基準の下で判断するようにしてもよい。上述したスロットマシーンの例では、コインが出るか否かで優劣を決める場合に限定されるものではなく、コインの枚数や種別に応じて優劣を決めるようにしてもよい。また、この優劣についても、優れているか、或いは劣っているかの２段階で設定される場合に限定されるものではなく、３段階以上で優劣を評価するようにしてもよい。ちなみに、３段階以上で優劣をランク分けする場合においても、一の被検対象５がより上位ランクであるほどｑi
tを上昇させ、他の被検対象５がより下位ランクであるほどｑi
tを下降させるように調整を行う。各被検対象５の戦績ｑi
tは、被検対象５全体の戦績との関係において調整が行われるようにしてもよい。
【0044】
このようにして各被検対象５ａ～５ｄについてそれぞれ求められた戦績指数ｑ1
t～ｑ4
tは、調整部３へ送られる。調整部３は、戦績指数ｑ1
t～ｑ4
tがそれぞれ入力される。調整部３は、それぞれ入力された戦績指数ｑ1
t～ｑ4
tに基づいて、意思決定部４における観測時点毎に設定された各閾値ＴＨを調整する。
【0045】
各被検対象５ａ～５ｄは、それぞれ閾値ＴＨ1、ＴＨ2,0、ＴＨ2,1を隔てて予め割り当てられている。何れか一の被検対象５についてその閾値を調整する場合には、意思決定部４における比較の際に用いられる閾値ＴＨのみについて行うものとする。例えば被検対象５ａは、閾値ＴＨ1未満で、かつ閾値ＴＨ2,0未満において割り当てられている。このため被検対象５ａの戦績指数ｑ1
tに基づいて閾値を調整する場合には、その比較において用いられる閾値ＴＨ1と閾値ＴＨ2,0について行う。
【0046】
調整部３は、被検対象５の戦績指数ｑi
tが優れているほど、当該被検対象５が選択されやすくなるように閾値の調整を行う。また調整部３は、被検対象５の戦績指数ｑi
tが劣っているほど、当該被検対象５が選択されにくくなるように閾値の調整を行う。例えば、被検対象５ｂについて閾値の調整をする場合において、その戦績指数ｑ2
tが優れているほど、閾値ＴＨ1をより上昇させると共に閾値ＴＨ2,1をより下降させることで、次回以降に被検対象５ｂが選択される可能性が高くなる。一方、その戦績指数ｑ2
tが劣っているほど、閾値ＴＨ1をより下降させると共に閾値ＴＨ2,1をより上昇させることで、次回以降に被検対象５ｃが選択される可能性が低くなる。同様に被検対象５ｃについて閾値の調整をする場合において、その戦績指数ｑ3
tが優れているほど、閾値ＴＨ1をより低減させると共に閾値ＴＨ2,1をより上昇させることで、次回以降に被検対象５ｃが選択される可能性が高くなる。一方、その戦績指数ｑ3
tが劣っているほど、閾値ＴＨ1をより上昇させると共に閾値ＴＨ2,1をより低減させることで、次回以降に被検対象５ｃが選択される可能性が低くなる。
【0047】
調整部３による閾値の調整は、全ての被検対象５ａ～５ｄについて毎回行うようにしてもよいし、意思決定部４によって選択された一の被検対象５ａ～５ｄのみについて行うようにしてもよい。後者の選択された一の被検対象５ａ～５ｄのみについて閾値の調整をする場合には、選択される回数が多い被検対象５ほど閾値の調整回数がより増加することとなる。また選択される回数が多い被検対象５ほど、当選確率が高いと判断されているに他ならない。このため、意思決定部４により選択される回数が多い被検対象５が、この解探索システム１における探索解に近いものと判断することができる。
【0048】
このようにして、被検対象５から出力された今までの戦績の優劣に基づく戦績指数ｑi
tに基づいて、意思決定部４において被検対象５が選択されやすくなるように、或いは選択されにくくなるように閾値の調整を行う。そして、被検対象５による出力の指示の繰り返しを経て最終的に最も結果の出力の指示が行われている被検対象５を探索すべき解として特定することができる。これにより、組み合わせバンディット問題の解を自動的に探索して求めることが可能となり、情報量が増大の一途を辿る昨今において、大量の情報から高速かつ効率的に、組み合わせバンディット問題の解を求めることが可能となる。
【0049】
なお、上述した実施の形態においては、４つの被検対象５ａ～５ｄの中から最良の結果の出力が期待される被検対象を探索する場合を例に挙げて説明をしてたが、これに限定されるものではない。以下の図４は、８つの被検対象５ａ～５ｈの中から最良の結果の出力が期待される被検対象を探索する場合の例を示している。
【0050】
この例では、観測時点をｔ1、ｔ2、ｔ3の３つの時点に設定した場合には、この観測時点ｔ1における不規則信号の信号強度Ｐ1を検知し、観測時点ｔ2における不規則信号の信号強度Ｐ2を検知すると共に、更に観測時点ｔ3における不規則信号の信号強度Ｐ3を検知する。
【0051】
意思決定部４は、各観測時点において検知した信号強度と、観測時点毎に設定された閾値とを比較する。信号強度Ｐ1、Ｐ2についての閾値の比較については、上述と同様である。観測時点ｔ3について検知した不規則信号の信号強度Ｐ3は、閾値ＴＨ3,0,0、ＴＨ3,0,1、ＴＨ3,2,0、ＴＨ3,2,1とそれぞれ比較する。８つの被検対象５ａ～５ｈは、これらの閾値ＴＨ3,0,0、ＴＨ3,0,1、ＴＨ3,2,0、ＴＨ3,2,1により隔てられて割り当てられている。例えば、被検対象５ａは、閾値ＴＨ3,0,0未満において割り当てられ、被検対象５ｂは、閾値ＴＨ3,0,0以上において割り当てられる。被検対象５ｃは、閾値ＴＨ3,0,1未満において割り当てられ、被検対象５ｄは、閾値ＴＨ3,0,1以上において割り当てられる。被検対象５ｅは、閾値ＴＨ3,2,0未満において割り当てられ、被検対象５ｆは、閾値ＴＨ3,2,0以上において割り当てられる。被検対象５ｇは、閾値ＴＨ3,2,1未満において割り当てられ、被検対象５ｈは、閾値ＴＨ3,2,1以上において割り当てられる。不規則信号の信号強度Ｐ3と閾値との比較の結果、選択する被検対象５は、各閾値を隔てて予め割り当てられている被検対象５に対応させる。
【0052】
上述した例の場合には、信号強度Ｐ3が閾値ＴＨ3,0,0より小さい場合には、被検対象５ａを選択する。信号強度Ｐ3が閾値ＴＨ3,2,1以上の場合には、被検対象５ｆを選択する。
【0053】
このようにして意思決定部４により選択された被検対象５は結果を出力し、同様に戦績指数ｑi
tに反映される。戦績指数ｑi
tは、各被検対象５ａ～５ｆ毎に管理し、より戦績が優れたものになるにつれて戦績指数ｑi
tを上昇させ、より戦績が劣ったものになるにつれて戦績指数ｑi
tを下降させることは上述と同様である。そして、戦績指数ｑi
tに基づいて、意思決定部４において被検対象５が選択されやすくなるように、或いは選択されにくくなるように観測時点ｔ1、ｔ2、ｔ3における閾値の調整を行うことは上述と同様である。
【0054】
また１６個の被検対象５から最良の結果の出力が期待される被検対象を探索する場合には、同様に観測時点ｔをもう１点追加するともに、閾値を新たに追加し、この追加した閾値を隔てるように被検対象５を割り当てることにより同様の探索動作を行うことが可能となる。３２個以上の被検対象５から探索する場合も同様であり、被検対象５の数に応じて観測時点ｔを追加し、これに応じた閾値を隔てるように被検対象５を割り当てることで実現できる。
【0055】
図５は、これを一般式で定義する場合を示している。信号発信部９から発信された不規則信号の信号強度を検知する観測時点ｔn（ｎは何れかの自然数）において検知した信号強度Ｐnと閾値ＴＨnとを比較し、信号強度Ｐnが閾値ＴＨnより小さい場合には、観測時点ｔn+1において検知した信号強度Ｐn+1と閾値ＴＨn+1とを比較し、信号強度Ｐnが閾値ＴＨn以上の場合には、観測時点ｔn+1において検知した信号強度Ｐn+1と閾値ＴＨn+1´とを比較する。そして観測時点ｔn+1における比較結果に基づいて、閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´とを隔てて割り当てられた被検対象５をそれぞれ選択する。
【0056】
このとき、一の被検対象５を選択する上で比較の際に用いられた閾値ＴＨnと、閾値ＴＨn+1又は閾値ＴＨn+1´のいずれかを、当該一の被検対象５の戦績に基づいて調整する。仮に閾値ＴＨnと、閾値ＴＨn+1とが信号強度Ｐとの比較に用いられた場合には、この閾値ＴＨnと、閾値ＴＨn+1について調整を行う。同様に閾値ＴＨnと、閾値ＴＨn+1´とが信号強度Ｐとの比較に用いられた場合には、この閾値ＴＨnと、閾値ＴＨn+1´について調整を行う。
【0057】
なお、上述した図５の例では、探索する被検対象５の数が２n個で、ｎは自然数の場合を想定しているが、仮に被検対象５の数が２n個から外れる場合も同様に考えることが可能となる。仮に被検対象５の数が２n個から外れる場合は使用していない被検対象５につながる閾値をキャンセルすればよい。例えば図４の例において、被検対象５ａ～５ｇの７つで構成する場合には、意思決定部４における探索は上述と同様に実行し、本来であれば被検対象５ｈが割り当てられるべきＴＨ3,2,1以上が仮に選択された場合には、その選択をキャンセルするように処理すればよい。
【0058】
更に本発明によれば、被検対象５から出力された結果と、被検対象全体の戦績を示す変数Ωとの双方に基づいて、上述した各閾値を調整するようにしてもよい。
【0059】
仮に被検対象５ａ、５ｂの２つが存在していた場合、被検対象５ａの勝率が９割であり、被検対象５ｂの勝率が７割である場合、被検対象５全体の勝率は、（０．９＋０．７）／（１＋１）＝０．８であることから８割である。一方、被検対象５全体の敗率は、１－０．８＝０．２である。この勝率の敗率に対する比率としてのΩは、０．８／０．２＝４である。このΩは、被検対象全体の戦績を示すものである。
【0060】
つまり、この勝率の敗率に対する比率Ωが高い場合には、被検対象５全体において負ける割合が低いことから、仮に意思決定部４が選択した被検対象５の出力した結果が負けるものであった場合には、その事実を重要視しなければならないことを意味する。換言すれば、現状の閾値の設定のままでは、本来であれば当選する被検対象を選択して当然のところを、外してしまうリスクが残っていることを意味している。かかる場合には閾値を変更する必要性が高いことを示している。このとき、閾値が不規則信号の強度の中央値以上の場合には、より低くなるようにシフトさせるか、或いは閾値が不規則信号の強度の中央値よりも低い場合には、より高くなるようにシフトさせる等の処理を施す。
【0061】
これに対して、被検対象５ａの勝率が３割であり、被検対象５ｂの勝率が１割である場合、被検対象５全体の勝率は、（０．３＋０．１）／（１＋１）＝０．２であることから２割である。一方、被検対象５全体の敗率は、１－０．２＝０．８である。この勝率の敗率に対する比率としてのΩは、０．２／０．８＝０．２５である。つまり、この勝率の敗率に対する比率が低い場合には、被検対象５全体において負ける割合が高いことから、仮に意思決定部４が選択した被検対象５の出力した結果が負けるものであった場合にも、その事実を特段重要視することなく、大きく捉える必要が無いことを意味する。換言すれば、現状の閾値の設定のままでも特段問題がないことを意味している。かかる場合には閾値を変更する必要性が低いことを示している。
【0062】
このように勝率の敗率に対する比率等で表現される、被検対象５全体の戦績としてのΩを調べると共に、被検対象５から出力された結果を、被検対象５全体の戦績Ωとの関係において評価する。そして、この評価結果に基づいて閾値を調整する。
【0063】
このΩは以下の式（１）で定義することが可能となる。
Ω＝（Ａ0＋Ａ1）／｛２－（Ａ0＋Ａ1）｝・・・・・・・（１）
Ω＝（Ａ0＋Ａ1）／｛２－（Ａ0＋Ａ1）｝・・・・・・・（１）
【0064】
ここでＡ0は、一の被検対象５の勝率であり、Ａ1は他の被検対象の勝率である。実際に、非検体が４以上ある場合においても同様に、被検対象５から出力された結果を、被検対象５全体の戦績Ωとの関係において評価し、その評価結果に基づいて閾値を調整する。
【実施例1】
【0065】
以下、本発明の効果を確認する上で行った実験及び計算シミュレーションの結果について説明をする。この実験及びシミュレーションでは、信号発信部９から発信される不規則信号の不規則性に対する解答の探索精度を検証したものである。
【0066】
準備した不規則信号としては、実際に半導体レーザ９１を用いた戻り半導体レーザ光、準周期信号（サンプリング間隔：１０ｐｓ）、カラーノイズ（負の自己相関）の３種類を準備した。これらの信号の時間に対する信号強度の関係を図６（ａ）に示す。
【0067】
このような不規則信号のサンプルを本発明を適用した解探索システム１における意思決定部４に供給した。図６（ｂ）はサイクルに対する正しい意思決定の割合を示している。この例では、被検対象５の数を２個とし、被検対象は、当たりと外れの２値を結果として出力する。各被検対象５における当たりの出る確率は既知であり、この中から最良の結果の出力が期待される被検対象５の正解も既知とした場合に、この解探索システム１により探索された結果と、正解との整合性から正答率を求める。図６（ｂ）の縦軸は、その正答率を示している。
【0068】
このシミュレーションの結果、最も正答率の高かったのは、戻り半導体レーザ光（サンプリング間隔：５０ｐｓ）であった。また準周期信号やカラーノイズと比較してその正答率は高かった。このため、供給される不規則信号の不規則性が高いほど、言い換えればカオス状態に近づくほど、正答率が高くなることが示されている。
【符号の説明】
【0069】
１ 解探索システム
２ 戦績優劣比較部
３ 調整部
４ 意思決定部
５ 被検対象
９ 信号発信部
９１ 半導体レーザ
９２ カプラ
９３、９６ 減衰器
９４ 反射部
９５ 光アイソレータ
９７ 受光部
９８ オシロスコープ
２ 戦績優劣比較部
３ 調整部
４ 意思決定部
５ 被検対象
９ 信号発信部
９１ 半導体レーザ
９２ カプラ
９３、９６ 減衰器
９４ 反射部
９５ 光アイソレータ
９７ 受光部
９８ オシロスコープ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】