特開 2024-180022 最適化装置、最適化方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180022

(43)【公開日】2024-12-26

(54)【発明の名称】最適化装置、最適化方法、及びプログラム

(51)【国際特許分類】

   G06N 99/00 20190101AFI20241219BHJP

【ＦＩ】

G06N99/00 180

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023099427

(22)【出願日】2023-06-16

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】中村 健吾

(72)【発明者】

【氏名】安田 宜仁

(72)【発明者】

【氏名】坂上 晋作

(57)【要約】      （修正有）

【課題】目的関数が強凸よりも緩い条件下で目的関数の最適値に対する誤差が線形収束し、選択可能な組合せの個数が指数的に多い場合であっても組合せ最適化問題を高速に解く最適化装置、方法及びプログラムを提供する。
【解決手段】凸関数である目的関数ｆと、アイテム集合Ｘに関する選択可能な組合せＣ_１，…，Ｃ_ｔ⊆Ｘの集合を表す組合せ集合ｓｃｒＣとに対して、組合せＣ_ｉが確率ｐ_ｉで含まれることを表し、かつ、ｆ（ｘ）を最小化するベクトルｘを求める最適化装置であって、目的関数ｆと、組合せ集合ｓｃｒＣを表現したＺＤＤと、目的関数ｆの最適値との許容誤差εとを入力する入力部と、目的関数ｆと、ＺＤＤと、許容誤差εに基づいて、Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前回の反復で求めた解ｘ_ＴからＺＤＤを利用して次の解ｘ_Ｔ＋１を求めることにより、目的関数ｆの最適値との誤差が許容誤差ε以下であるベクトルｘを求める最適化部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

凸関数である目的関数ｆと、アイテム集合Ｘ＝｛ａ_１，・・・，ａ_ｄ｝に関する選択可能な組合せＣ_１，・・・，Ｃ_ｔ⊆Ｘの集合を表す組合せ集合ｓｃｒＣとに対して、組合せＣ_ｉが確率ｐ_ｉ（ただし、ｐ_ｉ≧０かつｐ_１＋・・・＋ｐ_ｔ＝１）で含まれることを表すベクトルｘであって、かつ、ｆ（ｘ）を最小化するベクトルｘを求める最適化装置であって、
前記目的関数ｆと、前記組合せ集合ｓｃｒＣをゼロサプレス型二分決定グラフで表現したＺＤＤと、前記目的関数ｆの最適値との許容誤差εとを入力する入力部と、
前記目的関数ｆと、前記ＺＤＤと、前記許容誤差εに基づいて、Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前回の反復で求めた解ｘ_Ｔから前記ＺＤＤを利用して次の解ｘ_Ｔ＋１を求めることにより、前記目的関数ｆの最適値との誤差が前記許容誤差ε以下であるベクトルｘを求める最適化部と、
を有する最適化装置。

【請求項2】

前記最適化部は、
Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前記ＺＤＤを利用してｘ_Ｔ ^τ∇ｆ（ｘ_Ｔ）＋ρ||ｘ_Ｔ＋ｘ||^２（ただし、τは転置を表し、ρは定数）を最小化するｘをｖ_Ｔ＋１として計算し、
ｖ_１，・・・，ｖ_Ｔ＋１から前記次の解ｘ_Ｔ＋１を求める、請求項１に記載の最適化装置。

【請求項3】

前記最適化部は、
前記ＺＤＤの各分岐ノードｖに関してラベルが大きい順に、Ｄ_ｖ←ｍｉｎ｛Ｄ_{ｖ_０}，Ｄ_{ｖ_１}＋（∇ｆ（ｘ_Ｔ））_{ｖ_ｌｖ}＋ρ（１－２（ｘ_Ｔ）_{ｖ_ｌｖ}）｝（ただし、ｖ_０はｖの０－子ノード、ｖ_１はｖの１－子ノード、ｖ_ｌｖはｖのラベル、（ｘ_Ｔ）_{ｖ_ｌｖ}はｘ_Ｔのｖ_ｌｖ番目の要素、（∇ｆ（ｘ_Ｔ））_{ｖ_ｌｖ}は∇ｆ（ｘ_Ｔ）のｖ_ｌｖ番目の要素、Ｄ_Τ＝０、Ｄ_⊥＝最大値）を計算し、
前記ＺＤＤの根ノードｒから終端ノードΤに到達するまで、Ｄ_ｖ＝Ｄ_{ｖ_１}＋（∇ｆ（ｘ_Ｔ））_{ｖ_ｌｖ}＋ρ（１－２（ｘ_Ｔ）_{ｖ_ｌｖ}）であれば１－子ノード、Ｄ_ｖ≠Ｄ_{ｖ_１}＋（∇ｆ（ｘ_Ｔ））_{ｖ_ｌｖ}＋ρ（１－２（ｘ_Ｔ）_{ｖ_ｌｖ}）であれば０－子ノードに分岐させたときの経路が表す組合せを前記ｖ_Ｔ＋１として求める、請求項２に記載の最適化装置。

【請求項4】

前記最適化部は、
ｖ_１，・・・，ｖ_Ｔ＋１の凸包の中で、ｘ^τ∇ｆ（ｘ_Ｔ）＋（β／２）||ｘ－ｘ_Ｔ||^２（ただし、βは定数）を最小化するｘを前記次の解ｘ_Ｔ＋１として求める、請求項２又は３に記載の最適化装置。

【請求項5】

前記最適化部は、
前記解ｘ_Ｔの双対性のギャップが前記許容誤差ε以下となるまで、前記Ｆｒａｎｋ－Ｗｏｌｆｅ法の反復を繰り返すことにより、前記ベクトルｘを求める、請求項１に記載の最適化装置。

【請求項6】

凸関数である目的関数ｆと、アイテム集合Ｘ＝｛ａ_１，・・・，ａ_ｄ｝に関する選択可能な組合せＣ_１，・・・，Ｃ_ｔ⊆Ｘの集合を表す組合せ集合ｓｃｒＣとに対して、組合せＣ_ｉが確率ｐ_ｉ（ただし、ｐ_ｉ≧０かつｐ_１＋・・・＋ｐ_ｔ＝１）で含まれることを表すベクトルｘであって、かつ、ｆ（ｘ）を最小化するベクトルｘを求める最適化装置が、
前記目的関数ｆと、前記組合せ集合ｓｃｒＣをゼロサプレス型二分決定グラフで表現したＺＤＤと、前記目的関数ｆの最適値との許容誤差εとを入力する入力手順と、
前記目的関数ｆと、前記ＺＤＤと、前記許容誤差εに基づいて、Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前回の反復で求めた解ｘ_Ｔから前記ＺＤＤを利用して次の解ｘ_Ｔ＋１を求めることにより、前記目的関数ｆの最適値との誤差が前記許容誤差ε以下であるベクトルｘを求める最適化手順と、
を実行する最適化方法。

【請求項7】

凸関数である目的関数ｆと、アイテム集合Ｘ＝｛ａ_１，・・・，ａ_ｄ｝に関する選択可能な組合せＣ_１，・・・，Ｃ_ｔ⊆Ｘの集合を表す組合せ集合ｓｃｒＣとに対して、組合せＣ_ｉが確率ｐ_ｉ（ただし、ｐ_ｉ≧０かつｐ_１＋・・・＋ｐ_ｔ＝１）で含まれることを表すベクトルｘであって、かつ、ｆ（ｘ）を最小化するベクトルｘを求める最適化装置に、
前記目的関数ｆと、前記組合せ集合ｓｃｒＣをゼロサプレス型二分決定グラフで表現したＺＤＤと、前記目的関数ｆの最適値との許容誤差εとを入力する入力手順と、
前記目的関数ｆと、前記ＺＤＤと、前記許容誤差εに基づいて、Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前回の反復で求めた解ｘ_Ｔから前記ＺＤＤを利用して次の解ｘ_Ｔ＋１を求めることにより、前記目的関数ｆの最適値との誤差が前記許容誤差ε以下であるベクトルｘを求める最適化手順と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、最適化装置、最適化方法、及びプログラムに関する。

【背景技術】

【0002】

一般的な組合せ最適化問題は、所望の目的関数を最適化（最小化又は最大化）する組合せをただ１つ求めることを目的とする。一方で、組合せ最適化問題の中には、最適な組合せのポートフォリオ、すなわちいくつかの組合せのミックスを求めるタイプの問題も存在する。このタイプの問題のうちの一部は凸関数である目的関数を用いて定式化することが可能である。

【0003】

最適な組合せのポートフォリオを求めるタイプの問題のうち凸関数である目的関数を用いて定式化できる組合せ最適化問題は、選択可能な組合せの個数が少ない場合には、非特許文献１に記載されているＦｒａｎｋ－Ｗｏｌｆｅ法を用いて解くことができる。また、目的関数が強凸関数と呼ばれる良いクラスに属する場合には、非特許文献２に記載されているＦｕｌｌｙ－ｃｏｒｒｅｃｔｉｖｅ Ｆｒａｎｋ－Ｗｏｌｆｅ法やＡｗａｙ－ｓｔｅｐ Ｆｒａｎｋ－Ｗｏｌｆｅ法を用いて解くことができる。ただし、非特許文献１に記載されているＦｒａｎｋ－Ｗｏｌｆｅ法では目的関数の最適値との誤差が反復数の逆数に比例した速度でしか減少せず、また非特許文献２に記載されているＦｕｌｌｙ－ｃｏｒｒｅｃｔｉｖｅ Ｆｒａｎｋ－Ｗｏｌｆｅ法やＡｗａｙ－ｓｔｅｐ Ｆｒａｎｋ－Ｗｏｌｆｅ法では目的関数の最適値との誤差が反復数に対して指数的に減少するものの、目的関数が強凸関数であるという条件を満たす必要がある。これに対して、非特許文献３には、目的関数が強凸よりも緩い条件下でも目的関数の最適値との誤差が反復数に対して指数的に減少するＦｒａｎｋ－Ｗｏｌｆｅ法が記載されている。以下、目的関数の最適値との誤差が反復数に対して指数的に減少することを「線形収束」と呼ぶことにする。

【0004】

一方で、選択可能な組合せの個数が指数的に多い場合、Ｆｒａｎｋ－Ｗｏｌｆｅの１反復にも指数的な時間が掛かってしまうため現実的な時間で解くことが難しくなる。これに対して、非特許文献４には、選択可能な組合せの集合をコンパクトに表現可能なデータ構造をＦｒａｎｋ－Ｗｏｌｆｅ法内部の計算に用いることにより、選択可能な組合せの個数が指数的に多い場合でも実用上高速に最適化できる手法が記載されている。この非特許文献４に記載されている手法では、目的関数が強凸関数である場合、目的関数の最適値との誤差が線形収束する。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Marguerite Frank and Philip Wolfe. An algorithm for quadratic programming. Naval Research Logistics Quarterly, Vol. 3, pp. 95-110.

【非特許文献2】Simon Lacoste-Julien and Martin Jaggi. On the global linear convergence of Frank--Wolfe optimization variants. In Proceedings of the 28th International Conference on Neural Information Processing Systems, Vol. 1, pp. 496-504, 2015.

【非特許文献3】Dan Garber and Noam Wolf. Frank-Wolfe with a nearest extreme point oracle, In Proceedings of the 34th Annual Conference on Learning Theory, PMLR Vol. 134, pp. 2103-2132, 2021.

【非特許文献4】Kengo Nakamura, Shinsaku Sakaue, and Norihito Yasuda. Practical Frank-Wolfe method with decision diagrams for computing Wardrop equilibrium of combinatorial congestion games. In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 2200-2209, 2020.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、非特許文献４に記載されている手法は目的関数の最適値との誤差が線形収束するものの、理論上その速度は非常に遅く、また目的関数が強凸であるという条件は実応用では成り立たないこともある。

【0007】

本開示は、上記の点に鑑みてなされたもので、目的関数が強凸よりも緩い条件下で目的関数の最適値に対する誤差が線形収束し、選択可能な組合せの個数が指数的に多い場合であっても組合せ最適化問題を高速に解くことができる技術を提供する。

【課題を解決するための手段】

【0008】

本開示の一態様による最適化装置は、凸関数である目的関数ｆと、アイテム集合Ｘ＝｛ａ_１，・・・，ａ_ｄ｝に関する選択可能な組合せＣ_１，・・・，Ｃ_ｔ⊆Ｘの集合を表す組合せ集合ｓｃｒＣとに対して、組合せＣ_ｉが確率ｐ_ｉ（ただし、ｐ_ｉ≧０かつｐ_１＋・・・＋ｐ_ｔ＝１）で含まれることを表すベクトルｘであって、かつ、ｆ（ｘ）を最小化するベクトルｘを求める最適化装置であって、前記目的関数ｆと、前記組合せ集合ｓｃｒＣをゼロサプレス型二分決定グラフで表現したＺＤＤと、前記目的関数ｆの最適値との許容誤差εとを入力する入力部と、前記目的関数ｆと、前記ＺＤＤと、前記許容誤差εに基づいて、Ｆｒａｎｋ－Ｗｏｌｆｅ法の各反復で前回の反復で求めた解ｘ_Ｔから前記ＺＤＤを利用して次の解ｘ_Ｔ＋１を求めることにより、前記目的関数ｆの最適値との誤差が前記許容誤差ε以下であるベクトルｘを求める最適化部と、を有する。

【発明の効果】

【0009】

目的関数が強凸よりも緩い条件下で目的関数の最適値に対する誤差が線形収束し、選択可能な組合せの個数が指数的に多い場合であっても組合せ最適化問題を高速に解くことができる技術が提供される。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る最適化装置のハードウェア構成の一例を示す図である。

【図2】本実施形態に係る最適化装置の機能構成の一例を示す図である。

【図3】組合せ最適化問題の求解処理の一例を示すフローチャートである。

【図4】最適化部が実行する処理の流れの一例を示す図である。

【図5】ＬｉｎｅａｒＭｉｎ（ｗ）の処理の流れの一例を示す図である。

【図6】ＮｅａｒＰｏｉｎｔ（ｘ，ｗ，ρ）の処理の流れの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について説明する。

【0012】

＜最適な組合せのポートフォリオを求めるタイプの組合せ最適化問題＞
組合せ最適化問題の中には、最適な組合せのポートフォリオ、すなわちいくつかの組合せのミックスを求めるタイプの問題も存在する。この種の問題では、アイテム集合Ｘ＝｛ａ_１，・・・，ａ_ｄ｝とその選択可能な組合せＣ_１，・・・，Ｃ_ｔ⊆Ｘとが与えられたとき、各組合せに対応する確率値ｐ_１，・・・，ｐ_ｔを求める。これは、組合せＣ_ｉが割合ｐ_ｉで含まれるような組合せのミックスを意味する。これらの値は確率であるため、ｐ_ｉ≧０かつｐ_１＋・・・＋ｐ_ｔ＝１であることが要請される。

【0013】

上記のタイプの問題のうち一部は、次のように定式化される。まず、選択可能な組合せの集合を以下とする。

【0014】

【数1】

以下、本明細書のテキスト中では、組合せの集合を「ｓｃｒＣ」と表すことにする。

【0015】

また、組合せＣ⊆Ｘに対して、その指示ベクトル１_Ｃをｄ＝｜Ｘ｜次元のベクトルであり、ａ_ｉ∈Ｃであればｉ番目の要素が１、そうでなければｉ番目の要素が０であるようなベクトルとする。このとき、凸関数である目的関数ｆ（ｘ）に対して次の最適化問題を考える。

【0016】

【数2】

ここで、一般に、ｄ次元のベクトルの集合Ｖ＝｛ｖ_１，・・・，ｖ_ｔ｝に対して、ｃｏｎｖ（Ｖ）はその凸包、すなわち以下である。

【0017】

【数3】

この凸包のｐ_ｉに関する条件が、最適な組合せのポートフォリオを求めるタイプの問題における各ｐ_ｉに対する要請と一致している。一般に選択可能な組合せの個数ｔはアイテム集合Ｘのサイズに対して指数的に多く存在し得るため、上記の式（１）に示す組合せ最適化問題は凸最適化問題とはなるものの解くのが難しい問題となる。

【0018】

この種の問題は、難しい組合せ最適化問題を連続緩和した際にしばしば出現する問題である。すなわち、以下のような選択可能な組合せの集合から１つの最適な組合せを選ぶ問題は、ｘの取り得る範囲が離散的であるために組合せの集合ｓｃｒＣが特別な構造を持たない限り解くのが難しい問題である。

【0019】

【数4】

そこで、ｘの取り得る範囲をｃｏｎｖ（｛１_Ｃ｜Ｃ∈ｓｃｒＣ｝）へと緩和すると、近似的ではあるが解が求まりやすくなることがある。

【0020】

また、この種の問題が現れる別の応用として組合せ混雑ゲームの均衡計算がある。混雑ゲームでは、アイテム集合Ｘに対して、各プレイヤーはアイテムの組合せＣ⊆Ｘを選ぶことになる。ただし、どのようなアイテムの組合せを選ぶことができるかは予め決められており、そのような組合せを集めた集合が戦略集合ｓｃｒＣである。戦略集合の中身の各要素（アイテムの組合せ）は戦略と呼ばれる。各アイテムは選んだ人の割合が多いほどコストが多く掛かるように設定されており、プレイヤーが受けるコストは戦略中のアイテムのコストの和になる。このとき、各プレイヤーは互いに協力はせず、各自勝手になるべくコストが小さい戦略を選ぼうとする。混雑ゲームにおいて重要な状態として、「均衡状態」と呼ばれる状態がある。均衡状態とは、プレイヤー達が不満に思わない状態のことであり、互いに協力しないプレイヤー達が各自でコスト最小の状態に行き着こうとした結果として行き着く状態である。均衡状態を求めることは、戦略集合ｓｃｒＣの下で、ポテンシャル関数と呼ばれる関数ｆを最小化する式（１）の形の最適化問題となることが知られている。

【0021】

＜式（１）に示す組合せ最適化問題を解くことができる従来手法とその課題＞
式（１）に示す組合せ最適化問題は、選択可能な組合せの個数ｔが少ない場合には、非特許文献１に記載されているＦｒａｎｋ－Ｗｏｌｆｅ法を用いて解くことができる。このとき、目的関数ｆの最適値との誤差が反復数Ｔの逆数１／Ｔに比例して減少する。更に、目的関数ｆが強凸関数と呼ばれる良いクラスに属する場合には、非特許文献２に記載されているＦｕｌｌｙ－ｃｏｒｒｅｃｔｉｖｅ Ｆｒａｎｋ－Ｗｏｌｆｅ法やＡｗａｙ－ｓｔｅｐ Ｆｒａｎｋ－Ｗｏｌｆｅ法を用いて解くことができる。このとき、目的関数ｆの最適値との誤差が反復数Ｔに対して指数的に減少（つまり、線形収束）する。

【0022】

一方で、選択可能な組合せの個数ｔが指数的に多い場合、Ｆｒａｎｋ－Ｗｏｌｆｅ法の１反復にも指数的な時間が掛かってしまうため現実的な時間で解くことが難しくなる。このような状況に対応したのが非特許文献４に記載されている手法である。この手法は、選択可能な組合せの集合ｓｃｒＣを参考文献１に記載されているゼロサプレス型二分決定グラフ（ＺＤＤ：Zero-suppressed Binary Decision Diagram）でコンパクトに表現し、Ｆｒａｎｋ－Ｗｏｌｆｅ法内部の計算に用いることにより、選択可能な組合せの個数ｔが指数的に多い場合であっても実用上高速に最適化することができる。目的関数ｆが強凸関数である場合、この手法も目的関数ｆとの誤差が線形収束する。なお、非特許文献４に記載されている手法は組合せ混雑ゲームの均衡状態を求めることを主眼としているが、その手法は一般に式（１）の形の最適化問題に適用可能である。

【0023】

非特許文献４に記載されている手法は、目的関数ｆの最適値との誤差が反復数Ｔに対して線形収束するものの、理論上その速度は非常に遅く、アイテム集合Ｘ中のアイテムの個数ｄも解析に含めると実際はＴ／ｅｘｐ（αｄ）といった非常に小さい数に対する指数的な収束性しか保証できない。また、目的関数ｆが強凸であるという条件は実応用では成り立たないこともある。例えば、組合せ混雑ゲームの均衡状態を求める際に、各アイテムのコストがそのアイテムを選んだ人の割合に対して単調増加であれば目的関数であるポテンシャル関数は強凸になるが、単調非減少、すなわち選んだ人の割合に対してコストが増加しない可能性もある場合には強凸にはならない。この場合、反復数Ｔの逆数１／Ｔに比例した誤差の減少しか保証できない。

【0024】

＜提案手法＞
非特許文献４に記載されている手法に存在する課題を解決するために、非特許文献３に記載されている別のタイプのＦｒａｎｋ－Ｗｏｌｆｅ法にＺＤＤを活用する手法を提案する。非特許文献３に記載されているＦｒａｎｋ－Ｗｏｌｆｅ法では、式（１）の形の最適化問題で、目的関数ｆが強凸よりも緩い条件下でも目的関数ｆの最適値に対する誤差が反復数Ｔに対して線形収束する。また、アイテムの個数ｄも含めた解析でもＴ／Ｏ（ｄ^４）に対する指数的な収束性となり、アイテムの個数ｄに対して指数ではなく多項式程度の減衰しか生じない。一方で、非特許文献３に記載されているＦｒａｎｋ－Ｗｏｌｆｅ法自体は１反復に選択可能な組合せの個数ｔに比例する時間を要するため、選択可能な組合せが指数的に多い場合には適用できない。そこで、本提案手法では、Ｆｒａｎｋ－Ｗｏｌｆｅ法内部の計算の一部分を、ＺＤＤを用いた手順にすることにより実用上高速な最適化を実現する。

【0025】

以下、本提案手法により式（１）に示す組合せ最適化問題の解を求める最適化装置１０について説明する。

【0026】

なお、非特許文献３や非特許文献４に記載されている手法と提案手法との差異は以下の通りである：非特許文献３に記載されている手法はＦｒａｎｋ－Ｗｏｌｆｅ法内部の計算の１反復に選択可能な組合せの個数ｔに比例する時間を要するため、選択可能な組合せが指数的に多い場合には適用できない。一方、本提案手法は、Ｆｒａｎｋ－Ｗｏｌｆｅ法内部の計算の１反復が選択可能な組合せの集合ｓｃｒＣを表現するＺＤＤのサイズに比例する時間となり、非特許文献４と同様に選択可能な組合せの個数ｔが指数的に多い場合であっても実用上高速に最適化ができる。更に、非特許文献４に記載されている手法とは異なり、目的関数ｆが強凸よりも緩い条件下での誤差の線形収束性と、Ｔ／Ｏ（ｄ^４）に対する指数的な収束性とを備える。

【0027】

＜ＺＤＤの構造＞
本実施形態に係る最適化装置１０を説明するための準備として、ＺＤＤの構造について説明する。ＺＤＤは、ノードと向きのあるエッジの集まりでできたループのないグラフ（有向非巡回グラフ（ＤＡＧ：Directed Acyclic Graph））で組合せの集合を表現するデータ構造である。ＺＤＤは、ダウンタック記号及びアップタック記号でそれぞれ表される終端ノードと分岐ノードの２種類のノードを持つ。以下、本明細書のテキスト中ではダウンタック記号を大文字のタウ「Τ」で代用し、アップタック記号を垂直記号「⊥」で代用する。

【0028】

各終端ノードからは出るエッジは無く、各分岐ノードには０－枝と１－枝というちょうど２つの出るエッジが存在する。また、ＺＤＤには入るエッジ（枝）がないノードがただ１つ存在し、これを根ノードと呼び、ｒで表す。分岐ノードｖに対して、その分岐ノードｖから出る０－枝が指す先のノードを０－子ノードと呼び、ｖ_０で表す。同様に、分岐ノードｖに対して、その分岐ノードｖから出る１－枝が指す先のノードを１－子ノードと呼び、ｖ_１で表す。

【0029】

各分岐ノードｖには、ラベルと呼ばれる整数値ｖ_ｌｖ∈｛１，・・・，ｃ｝が付随しており、これがアイテムの番号と対応している。なお、終端ノードについては、そのラベルの値をｃ＋１としておく。このとき、各０－枝と１－枝は必ずラベルが小さい方のノードから大きい方のノードに向かうようにする。すなわち、任意の分岐ノードｖに対して、ｖ_ｌｖ＜（ｖ_０）_ｌｖ、かつ、ｖ_ｌｖ＜（ｖ_１）_ｌｖが成立するようにする。

【0030】

ＺＤＤが表現する組合せ集合は、根ノードｒから終端ノードΤまでの経路の集合によって表現される。根ノードｒから終端ノードΤまでの１つの経路Ｒは、ラベルｉのノードから出る１－枝を辿るとき、かつ、そのときに限り、ａ_ｉ∈Ｃ（Ｒ）であるようなアイテム集合Ｘの部分集合Ｃ（Ｒ）⊆Ｘに対応する。すべての根ノードｒから終端ノードΤまでの経路に対応する部分集合を集めたものが、ＺＤＤが表現する組合せ集合である。

【0031】

ここで、例えば、組合せ集合ｓｃｒＣが或るグラフ構造のマッチングや閉路、木、経路等の部分構造の集合である場合には、参考文献２に記載されているフロンティア法と呼ばれる手法を用いて、組合せ集合ｓｃｒＣを表現するＺＤＤを効率的に構築することができる。また、参考文献１に記載されているＡｐｐｌｙ演算と呼ばれる演算を用いることにより、任意の組合せ集合に対してそれを表現するＺＤＤを構築することができる。そこで、以下の実施形態では、組合せ集合ｓｃｒＣを表現するものとして、組合せ集合ｓｃｒＣを表現するＺＤＤが最適化装置１０に与えられるものとする。

【0032】

＜最適化装置１０のハードウェア構成例＞
本実施形態に係る最適化装置１０のハードウェア構成例を図１に示す。図１に示すように、本実施形態に係る最適化装置１０は、入力装置１０１と、表示装置１０２と、外部Ｉ／Ｆ１０３と、通信Ｉ／Ｆ１０４と、ＲＡＭ（Random Access Memory）１０５と、ＲＯＭ（Read Only Memory）１０６と、補助記憶装置１０７と、プロセッサ１０８とを有する。これらの各ハードウェアは、それぞれがバス１０９を介して通信可能に接続される。

【0033】

入力装置１０１は、例えば、キーボード、マウス、タッチパネル、物理ボタン等である。表示装置１０２は、例えば、ディスプレイ、表示パネル等である。なお、最適化装置１０は、例えば、入力装置１０１及び表示装置１０２のうちの少なくとも一方を有していなくてもよい。

【0034】

外部Ｉ／Ｆ１０３は、記録媒体１０３ａ等の外部装置とのインタフェースである。記録媒体１０３ａとしては、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等が挙げられる。

【0035】

通信Ｉ／Ｆ１０４は、最適化装置１０を通信ネットワークに接続させるためのインタフェースである。ＲＡＭ１０５は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１０６は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）である。補助記憶装置１０７は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の不揮発性の記憶装置である。プロセッサ１０８は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphic Processing Unit）等の各種演算装置である。

【0036】

なお、図１に示すハードウェア構成は一例であって、最適化装置１０は、複数の補助記憶装置１０７や複数のプロセッサ１０８を有していてもよいし、図示したハードウェアの一部を有していなくてもよいし、図示したハードウェア以外の種々のハードウェアを有していてもよい。

【0037】

＜最適化装置１０の機能構成例＞
本実施形態に係る最適化装置１０の機能構成例を図２に示す。図２に示すように、本実施形態に係る最適化装置１０は、入力部２０１と、最適化部２０２と、出力部２０３とを有する。これら各部は、例えば、最適化装置１０にインストールされた１以上のプログラムが、プロセッサ１０８等に実行させる処理により実現される。

【0038】

入力部２０１は、凸関数である目的関数ｆと、選択可能な組合せの集合である組合せ集合ｓｃｒＣを表現するＺＤＤと、許容誤差εとが与えられると、これら目的関数ｆ、ＺＤＤ及び許容誤差εを入力する。

【0039】

最適化部２０２は、入力部２０１によって入力された目的関数ｆ、ＺＤＤ及び許容誤差εに基づいて、式（１）に示す組合せ最適化問題を誤差ε以内で解く。すなわち、最適化部２０２は、最適解ｘ^＊に対して、｜ｆ（ｘ）－ｆ（ｘ^＊）｜≦εとなるようなｘ∈ｃｏｎｖ（｛１_Ｃ｜Ｃ∈ｓｃｒＣ｝）を求める。

【0040】

出力部２０３は、最適化部２０２によって求められた解ｘを予め決められた所定の出力先に出力する。所定の出力先としては、例えば、ディスプレイ等の表示装置１０２、ＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置１０７、通信ネットワークを介して接続される他の機器、装置、端末等が挙げられる。

【0041】

なお、出力部２０３は、必要に応じて、解ｘに加えて、この解ｘに対して以下のように表現できる実数λ_１，・・・，λ_ｌ及びＣ_１，・・・，Ｃ_ｌ∈ｓｃｒＣを出力してもよい。

【0042】

【数5】

上記の実数λ_１，・・・，λ_ｌ及びＣ_１，・・・，Ｃ_ｌ∈ｓｃｒＣは、特に混雑ゲームの均衡状態を求める場合への応用において、各プレイヤーが選んだ組合せがＣ_ｋに、その組合せを選んだプレイヤーの割合がλ_ｋにそれぞれ対応するため重要なものとなる。

【0043】

＜式（１）に示す組合せ最適化問題の求解処理＞
以下、式（１）に示す組合せ最適化問題の解を求める処理について、図３を参照しながら説明する。なお、以下では、凸関数である目的関数ｆと、選択可能な組合せの集合である組合せ集合ｓｃｒＣを表現するＺＤＤと、許容誤差εとが最適化装置１０に与えられたものとする。

【0044】

入力部２０１は、与えられた目的関数ｆ、ＺＤＤ及び許容誤差εを入力する（ステップＳ１０１）。

【0045】

次に、最適化部２０２は、上記のステップＳ１０１で入力された目的関数ｆ、ＺＤＤ及び許容誤差εに基づいて、式（１）に示す組合せ最適化問題を誤差ε以内で解いて解ｘを求める（ステップＳ１０２）。なお、本ステップの処理の詳細については後述する。

【0046】

そして、出力部２０３は、上記のステップＳ１０２で求められた解ｘを予め決められた所定の出力先に出力する（ステップＳ１０３）。

【0047】

＜最適化部２０２が実行する処理の流れ＞
以下、上記のステップＳ１０２で最適化部２０２が実行する処理の流れの詳細について、図４を参照しながら説明する。

【0048】

まず、最適化部２０２は、任意に選んだ組合せＣ∈ｓｃｒＣを用いて、ｘ_１←１_Ｃと初期化すると共に、ｖ_１←ｘ_１と初期化する（１行目～２行目）。その後、最適化部２０２は、解ｘ_Ｔが｜ｆ（ｘ_Ｔ）－ｆ（ｘ^＊）｜≦εを満たすと判定されるまで、４行目～７行目の処理を繰り返す（３行目）。一方で、最適化部２０２は、解ｘ_Ｔが｜ｆ（ｘ_Ｔ）－ｆ（ｘ^＊）｜≦εを満たすと判定された場合（４行目）、解ｘ_Ｔを式（１）に示す組合せ最適化問題の解ｘとして出力する（５行目）。なお、Ｔは４行目～７行目の処理の反復数を表す変数である。

【0049】

ここで、解ｘ_Ｔが｜ｆ（ｘ_Ｔ）－ｆ（ｘ^＊）｜≦εを満たすか否かを判定する方法として、参考文献３に記載されているｄｕａｌｉｔｙ ｇａｐ（双対性のギャップ）を利用する方法が考えられる。図４の４行目では、このｄｕａｌｉｔｙ ｇａｐを利用して｜ｆ（ｘ_Ｔ）－ｆ（ｘ^＊）｜≦εであるか否かを判定している。

【0050】

ｘ_Ｔにおけるｄｕａｌｉｔｙ ｇａｐとは、以下の式で定義される値である。

【0051】

【数6】

この値は｜ｆ（ｘ_Ｔ）－ｆ（ｘ^＊）｜以下となるため、もしｄｕａｌｉｔｙ ｇａｐがε以下であれば所望の解が得られる。なお、上記の数６に示すｄｕａｌｉｔｙ ｇａｐの第２項目の値は、∇ｆ（ｘ_Ｔ）を引数としてＬｉｎｅａｒＭｉｎ関数を呼ぶことにより計算することができる。なお、ＬｉｎｅａｒＭｉｎ関数の処理の詳細については後述する。

【0052】

６行目では、最適化部２０２は、ｘ_Ｔと∇ｆ（ｘ_Ｔ）とβρ_Ｔとを引数としてＮｅａｒＰｏｉｎｔ関数を呼ぶことによりｓｃｒＣの中からＺＤＤを用いて最適な組合せＣ'を選択し、ｖ_Ｔ＋１にその指示ベクトル１_Ｃ'を代入する。なお、ＮｅａｒＰｏｉｎｔ関数の処理の詳細については後述する。また、定数βとρ_Ｔの定め方についても後述する。

【0053】

７行目では、最適化部２０２は、ベクトルｖ_１，・・・，ｖ_Ｔ＋１の凸包の中で、以下の関数を最小化するｘを求めて、ｘ_Ｔ＋１に代入する。

【0054】

【数7】

なお、上記の数７に示す関数を最小化するｘを求める部分は、少ない数の組合せの凸包の上での強凸関数の最適化問題となるため、例えば、非特許文献２に記載されているＦｕｌｌｙ－ｃｏｒｒｅｃｔｉｖｅ Ｆｒａｎｋ－Ｗｏｌｆｅ法やＡｗａｙ－ｓｔｅｐ Ｆｒａｎｋ－Ｗｏｌｆｅ法を用いて簡単に最適解を求めることができる。

【0055】

＜定数βとρ_Ｔの定め方＞
定数βとρ_Ｔの定め方について説明する。まず、β＝１と定める。次に、ρ_Ｔについては様々な定め方が存在するが、以下では、一例として、２つの定め方について説明する。

【0056】

１つ目は、最適化する目的関数ｆの性質がよくわかっている場合の定め方である。目的関数ｆが、非特許文献３のDefinition 1にあるquadratic growth propertyを定数α＞０で満たすとする。また、式（１）に示す組合せ最適化問題の最適値ｆ^＊の下界Ｌ、すなわちｆ^＊≧Ｌを満たすような値がわかっているものとする。すると、Ｃ＝ｆ（ｘ_１）－Ｌ、Ｍ＝ｍａｘ｛（１／α）（４＋８ｄ^４），１／２｝と設定し、以下によりρ_Ｔを定める。

【0057】

【数8】

これにより、線形収束を達成できるρ_Ｔを定めることができる。

【0058】

２つ目は、最適化する目的関数ｆの性質がよくわかっていない場合の定め方である。この場合、ρ_Ｔの値を１つに定めるのではなく、いくつかのρ_Ｔの値を試し、最も目的関数値が小さくなったものを採用する、という手順を考える。より具体的には、ｋを以下として、ρ_Ｔ＝１，１／２，１／４，・・・，１／２^ｋに対して、図４の４行目～５行目の処理を繰り返し、ｆ（ｘ_Ｔ＋１）の値が最も小さくなったときのｖ_Ｔ＋１及びｘ_Ｔ＋１を採用する、という手続きを考える。

【0059】

【数9】

上記の手続きでも線形収束を達成できるρ_Ｔを得ることができる。

【0060】

ただし、上記の１つ目の定め方と２つ目の定め方はρ_Ｔの具体的な定め方の例を示したものであり、これらの定め方に限定されるものではない。

【0061】

＜ＬｉｎｅａｒＭｉｎ関数の処理の流れ＞
以下、ｗが引数として与えられたときのＬｉｎｅａｒＭｉｎ関数の処理の流れについて、図５を参照しながら説明する。ＬｉｎｅａｒＭｉｎ（ｗ）では、ｓｃｒＣを表現するＺＤＤを用いて、Ｃ∈ｓｃｒＣのときの１_Ｃの転置とｗとの積（内積）の最小値を計算する処理が行われる。

【0062】

まず、最適化部２０２は、Ｄ_Τ←０、Ｄ_⊥←∞と初期化する（１行目）。なお、∞は実装上で取り得る最大値とすればよい。

【0063】

次に、最適化部２０２は、各分岐ノードｖをボトムアップ順、すなわちラベルが大きい順に走査し（２行目）、以下によりＤ_ｖの値を計算する（３行目）。

【0064】

【数10】

ここで、ｖ_０は分岐ノードｖの０－子ノード、ｖ_１は分岐ノードｖの１－子ノード、ｖ_ｌｖは分岐ノードｖのラベルである。また、以下はｗのｖ_ｌｖ番目の要素を表す。

【0065】

【数11】

そして、最適化部２０２は、根ノードｒに対するＤ_ｒの値を出力する（４行目）。これにより、上記の数６に示すｄｕａｌｉｔｙ ｇａｐの第２項目の値が得られる。

【0066】

＜ＮｅａｒＰｏｉｎｔ関数の処理の流れ＞
以下、ｘとｗとρが引数として与えられたときのＮｅａｒＰｏｉｎｔ関数の処理の流れについて、図６を参照しながら説明する。ＮｅａｒＰｏｉｎｔ（ｘ，ｗ，ρ）では、以下の関数を最小化するＣ∈ｓｃｒＣを計算する処理が行われる。

【0067】

【数12】

なお、ＮｅａｒＰｏｉｎｔ（ｘ，ｗ，ρ）では、上記の数１２に示す関数におけるρ||１_Ｃ－ｘ||^２という距離の二乗の項に関する計算にＺＤＤを利用する。組合せ集合ｓｃｒＣを表現するＺＤＤを用いることにより、上記の数１２に示す関数を最小化する組合せＣは１行目～１２行目により計算できる。

【0068】

まず、最適化部２０２は、Ｄ_Τ←０、Ｄ_⊥←∞と初期化する（１行目）。なお、∞は実装上で取り得る最大値とすればよい。

【0069】

次に、最適化部２０２は、各分岐ノードｖをボトムアップ順、すなわちラベルが大きい順に走査し（２行目）、以下によりＤ_ｖの値を計算する（３行目）。

【0070】

【数13】

ここで、ｖ_０は分岐ノードｖの０－子ノード、ｖ_１は分岐ノードｖの１－子ノード、ｖ_ｌｖは分岐ノードｖのラベルである。また、以下はｗのｖ_ｌｖ番目の要素を表す。

【0071】

【数14】

同様に、以下はｘのｖ_ｌｖ番目の要素を表す。

【0072】

【数15】

以下、本明細書のテキスト中では、或る記号の下付き文字の更に下付き文字に関しては最後の下付き文字の直前にアンダーバー「_」を付与して表すものとする。例えば、上記の数１４に示す「ｗのｖ_ｌｖ番目の要素」は、本明細書のテキスト中では、ｗ_{ｖ_ｌｖ}と表す。同様に、例えば、上記の数１５に示す「ｘのｖ_ｌｖ番目の要素」は、本明細書のテキスト中では、ｘ_{ｖ_ｌｖ}と表す。

【0073】

次に、最適化部２０２は、ｖにＺＤＤの根ノードｒを代入すると共に、Ｃに空集合を代入する（４行目～５行目）。その後、最適化部２０２は、ｖ＝Τとなるまで、ｖからその子ノードに辿ることを繰り返す（６行目）。このとき、最適化部２０２は、Ｄ_ｖ＝Ｄ_{ｖ_１}＋ｗ_{ｖ_ｌｖ}＋ρ（１－２ｘ_{ｖ_ｌｖ}）であるならば（７行目）、Ｃにａ_{ｖ_ｌｖ}を追加し（８行目）、ｖをｖ_１に更新する（９行目）。一方で、最適化部２０２は、Ｄ_ｖ＝Ｄ_{ｖ_１}＋ｗ_{ｖ_ｌｖ}＋ρ（１－２ｘ_{ｖ_ｌｖ}）でないならば（１０行目）、ｖをｖ_０に更新する（１１行目）。これは、３行目のＤ_ｖの計算でｍｉｎの１項目の方が小さかった場合には０－子ノードｖ_０へ、２項目の方が小さかった場合には１－子ノードｖ_１へ辿るということを意味する。最後に、最適化部２０２は、１_ＣをＮｅａｒＰｏｉｎｔ（ｘ，ｗ，ρ）の結果として呼び出し元に出力する（１２行目）。

【0074】

＜まとめ＞
以上のように、本実施形態に係る最適化装置１０は、選択可能な組合せの個数が指数的に多い場合であっても、その組合せ集合をＺＤＤで表現することにより、式（１）に示す組合せ最適化問題を高速に解くことができる。また、本実施形態に係る最適化装置１０では、目的関数ｆが強凸よりも緩い条件下でその最適値に対する誤差を反復数Ｔに対して線形収束させることができる。

【0075】

目的関数ｆが強凸よりも緩い条件下でも誤差が反復数Ｔに対して線形収束する場合としては、より精緻な条件は非特許文献３のDefinition 1に記載があるが、例えば、目的関数ｆが別の強凸な関数ｇと、行列Ａと、ベクトルｂとを用いて、以下により表現される場合が該当する。

【0076】

【数16】

これは、従来高速な収束が保証できていた関数クラス（強凸関数）よりも真に広いクラスである。また、アイテムの個数ｄも含めた解析でもＴ／Ｏ（ｄ^４）に対する指数的な収束性となり、ｄに対して指数ではなく多項式程度の減衰しか生じない。

【0077】

組合せ混雑ゲームの均衡状態を計算する場合には、次のようなケースでも線形収束を保証できる。組合せ混雑ゲームは、各アイテムａ_ｉの利用率（そのアイテムを含む組合せを選択しているプレイヤーの割合）ｘ_ｉに対して単調非減少であるコスト関数ｃ_ｉ（ｘ_ｉ）が与えられる。その下で、ポテンシャル関数を以下で定めると、ｓｃｒＣを選択可能な組合せの集合として、式（１）に示す組合せ最適化問題を解くことが均衡状態を求めることと一致する。

【0078】

【数17】

ここで、従来手法の線形収束の条件であった強凸性は各コスト関数ｃ_ｉが狭義単調増加、すなわちｘ_ｉ＜ｘ_ｉ'に対して必ずｃ_ｉ（ｘ_ｉ）＜ｃ_ｉ（ｘ_ｉ'）となる場合でしか成立しなかった。一方で、本実施形態に係る最適化装置１０によれば、ｃ_ｉが狭義単調増加でなくても単調非減少であれば線形収束が保証できる。すなわち、ｘ_ｉ＜ｘ_ｉ'に対して必ずｃ_ｉ（ｘ_ｉ）≦ｃ_ｉ（ｘ_ｉ'）であればよく、等号が許容される。例えば、道路網の混雑を考える場合には一定の混雑率までは車の流れるスピードは変わらないため、このような状況はよく起こり得る状態であり、この場合でも線形収束を保証できる。なお、組合せ混雑ゲームのポテンシャル関数の勾配は以下で表される。

【0079】

【数18】

このため、勾配を計算するためには各コスト関数ｃ_ｉの値が計算できればよい。

【0080】

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。

【0081】

［参考文献１］
参考文献１：Shin-ichi Minato. Zero-suppressed BDDs for set manipulation in combinatorial problems. In Proceedings of the 30th ACM/IEEE Design Automation Conference, pp. 272-277, 1993.
参考文献２：Jun Kawahara, Takeru Inoue, Hiroaki Iwashita, and Shin-ichi Minato. Frontier-based search for enumerating all constrained subgraphs with compressed representation. IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Vol. E100.A, pp. 1773-1784, 2007.
参考文献３：Martin Jaggi. Revisiting Frank-Wolfe: projection-free sparse convex optimization. In Proceedings of the 30th International Conference on Machine Learning, PMLR Vol. 28, pp. 427-435, 2013.

【符号の説明】

【0082】

１０ 最適化装置
１０１ 入力装置
１０２ 表示装置
１０３ 外部Ｉ／Ｆ
１０３ａ 記録媒体
１０４ 通信Ｉ／Ｆ
１０５ ＲＡＭ
１０６ ＲＯＭ
１０７ 補助記憶装置
１０８ プロセッサ
１０９ バス
２０１ 入力部
２０２ 最適化部
２０３ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】