特許 7518732 最適化装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-09

(45)【発行日】2024-07-18

(54)【発明の名称】最適化装置、方法、及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240710BHJP

   G06F 17/10 20060101ALI20240710BHJP

   G06T 7/00 20170101ALI20240710BHJP

【ＦＩ】

G06N20/00 160

G06F17/10 Z

G06T7/00 350A

【請求項の数】 7

(21)【出願番号】P 2020186811

(22)【出願日】2020-11-09

(65)【公開番号】P2022076400

(43)【公開日】2022-05-19

【審査請求日】2023-02-15

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】501308812

【氏名又は名称】ケンブリッジ エンタープライズ リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】木村 昭悟

(72)【発明者】

【氏名】岩田 具治

(72)【発明者】

【氏名】竹内 孝

(72)【発明者】

【氏名】ガラマーニ ズービン

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０２０－０２１３４３（ＪＰ，Ａ）

【文献】QUADRIANTO, Novi、他３名，Kernelized Sorting，IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.32, No.10，IEEE，2010年10月，pp.1809-1821，ISSN 0162-8828

【文献】MUKHERJEE, Tanmoy、他２名，Deep Matching Autoencoders，Computer Vision and Pattern Recognition，ARXIV.ORG, CORNELL UNIVERSITY LIBRARY［オンライン］，2017年11月16日，pp.1-10，インターネット：<URL：https://doi.org/10.48550/arXiv.1711.06047>，[検索日 2024年3月4日]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １７／１０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

第１オブジェクトからなる第１オブジェクト集合と前記第１オブジェクトとドメインが異なる第２オブジェクトからなる第２オブジェクト集合の対について、前記第１オブジェクトに関する複数の第１クラスタ、及び前記第２オブジェクトに関する複数の第２クラスタを介して対応関係を求める場合の最適化問題を解く最適化装置であって、
第１割当行列は前記第１オブジェクト集合の第１オブジェクトの各々についての前記第１オブジェクトが属する第１クラスタの割り当てを表し、第２割当行列は前記第２オブジェクト集合の第２オブジェクトの各々についての前記第２オブジェクトが属する第２クラスタの割り当てを表しており、
前記第１割当行列及び前記第２割当行列の積と、前記第２割当行列及び前記第１割当行列の積と、前記第１オブジェクト間の類似度を要素とする第１のグラム行列と、前記第２オブジェクト間の類似度を要素とする第２のグラム行列と、前記第１割当行列及び前記第２割当行列に関する制約項とを含む目的関数であって以下（１）式の目的関数を最適化するように、前記第１割当行列及び前記第２割当行列を交互に更新することを、所定の条件を満たすまで繰り返す最適化部
を含む最適化装置。

【数1】

・・・（１）

・・・（１－１）
ここで、φ ^（Ｘ） 及びφ ^（Ｙ） は、各オブジェクトがどのクラスタに所属するかを示すクラスタ割り当てを示し、φ ^（Ｘ） が前記第１割当行列であり、φ ^（Ｙ） が前記第２割当行列であり、Ｋ ^（Ｘ） が前記第１のグラム行列であり、Ｋ ^（Ｙ） が前記第２のグラム行列であり、φ ^（Ｘ） φ ^（Ｙ） が前記第１割当行列及び前記第２割当行列の積であり、φ ^（Ｙ） φ ^（Ｘ） が前記第２割当行列及び前記第１割当行列の積である。

【請求項2】

前記目的関数に、前記第１クラスタを整列するための第１パラメータ、及び前記第２クラスタを整列するための第２パラメータを更に含み、
前記最適化部は、前記第１割当行列、前記第２割当行列、前記第１パラメータ、及び前記第２パラメータを順番に更新することを、所定の条件を満たすまで繰り返す請求項１に記載の最適化装置。

【請求項3】

前記最適化部は、前記第１割当行列及び前記第２割当行列の各々を更新する際に、前記第１オブジェクト集合のうちの選択された一部の第１オブジェクト及び前記第２オブジェクト集合のうちの選択された一部の第２オブジェクトを用いて、前記目的関数を最適化するように、前記第１割当行列及び前記第２割当行列の各々を更新する請求項１又は請求項２に記載の最適化装置。

【請求項4】

第１オブジェクトからなる第１オブジェクト集合と前記第１オブジェクトとドメインが異なる第２オブジェクトからなる第２オブジェクト集合の対について、前記第１オブジェクトに関する複数の第１クラスタ、及び前記第２オブジェクトに関する複数の第２クラスタを介して対応関係を求める場合の最適化問題を解く最適化装置における最適化方法であって、
第１割当行列は前記第１オブジェクト集合の第１オブジェクトの各々についての前記第１オブジェクトが属する第１クラスタの割り当てを表し、第２割当行列は前記第２オブジェクト集合の第２オブジェクトの各々についての前記第２オブジェクトが属する第２クラスタの割り当てを表しており、
最適化部が、前記第１割当行列及び前記第２割当行列の積と、前記第２割当行列及び前記第１割当行列の積と、前記第１オブジェクト間の類似度を要素とする第１のグラム行列と、前記第２オブジェクト間の類似度を要素とする第２のグラム行列と、前記第１割当行列及び前記第２割当行列に関する制約項とを含む目的関数であって以下（２）式の目的関数を最適化するように、前記第１割当行列及び前記第２割当行列を交互に更新することを、所定の条件を満たすまで繰り返すステップ
を含む最適化方法。

【数2】

・・・（２）

・・・（２－１）
ここで、φ ^（Ｘ） 及びφ ^（Ｙ） は、各オブジェクトがどのクラスタに所属するかを示すクラスタ割り当てを示し、φ ^（Ｘ） が前記第１割当行列であり、φ ^（Ｙ） が前記第２割当行列であり、Ｋ ^（Ｘ） が前記第１のグラム行列であり、Ｋ ^（Ｙ） が前記第２のグラム行列であり、φ ^（Ｘ） φ ^（Ｙ） が前記第１割当行列及び前記第２割当行列の積であり、φ ^（Ｙ） φ ^（Ｘ） が前記第２割当行列及び前記第１割当行列の積である。

【請求項5】

前記目的関数に、前記第１クラスタを整列するための第１パラメータ、及び前記第２クラスタを整列するための第２パラメータを更に含み、
前記最適化部は、前記第１割当行列、前記第２割当行列、前記第１パラメータ、及び前記第２パラメータを順番に更新することを、所定の条件を満たすまで繰り返す請求項４に記載の最適化方法。

【請求項6】

前記最適化部は、前記第１割当行列及び前記第２割当行列の各々を更新する際に、前記第１オブジェクト集合のうちの選択された一部の第１オブジェクト及び前記第２オブジェクト集合のうちの選択された一部の第２オブジェクトを用いて、前記目的関数を最適化するように、前記第１割当行列及び前記第２割当行列の各々を更新する請求項４又は請求項５に記載の最適化方法。

【請求項7】

コンピュータを、請求項１～請求項３のいずれか１項に記載の最適化装置の各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、最適化装置、方法、及びプログラムに係り、特に、オブジェクトの対応関係を求めるための最適化装置、方法、及びプログラムに関する。

【背景技術】

【0002】

オブジェクトマッチングは、２組のオブジェクト集合が与えられたときに、一方の集合に含まれるオブジェクトがもう一方の集合のどのオブジェクトと対応するかを求める問題である。オブジェクトマッチングは、画像とテキストタグとの対応関係を求める、２つの異なる言語の対応する単語・フレーズを見つける、異なるデータベースの名寄せを行うなど、様々な応用が期待される。オブジェクトマッチングには、教師付オブジェクトマッチングと教師なしオブジェクトマッチングとがある。教師付オブジェクトマッチングは、対応するオブジェクトの対が教師情報として多数与えられ、その対応関係を学習によって求める手法である。教師なしオブジェクトマッチングは、そのような教師情報がまったく与えられない状況で対応関係を予測する。

【0003】

以下では、教師情報なしに対応関係を予測できる教師なしオブジェクトマッチングを考える。

【0004】

教師なしオブジェクトマッチングの既存手法として、ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇ（非特許文献１参照）が広く知られている。以下、ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇについて説明する。

【0005】

Ｘ＝｛ｘ_１，ｘ_２，．．．，ｘ_Ｎ｝及びＹ＝｛ｙ_１，ｙ_２，．．．，ｙ_Ｎ｝を２組のオブジェクト集合とし、双方の集合に含まれるオブジェクトの数は同数、すなわちＮ個であるとする。また、各オブジェクトｘ_ｎ及びｙ_ｍは集合Ｘ及びＹの要素であるとする。すなわち、ｘ_ｎ∈Ｘ，ｙ_ｍ∈Ｙである。さらに、各オブジェクト集合内に含まれるオブジェクト同士の類似度を計算するカーネル関数ｋ^（Ｘ）、ｋ^（Ｙ）を以下のように定義する。

【0006】

【0007】

Ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇでは、各オブジェクト集合及びカーネル関数から計算されるグラム行列をＫ^（Ｘ）＝（Ｋ^（Ｘ） _{ｎ１，ｎ２}＝ｋ^（Ｘ）（ｘ_ｎ１，ｘ_ｎ２））_{ｎ１，ｎ２}及びＫ^（Ｙ）＝（Ｋ^（Ｙ） _{ｍ１，ｍ２}＝ｋ^（Ｙ）（ｙ_ｍ１，ｙ_ｍ２））_{ｍ１，ｍ２}を用いることで、オブジェクト集合Ｘ内のオブジェクトともう一つのオブジェクト集合Ｙ内のオブジェクトとの１対１対応を求める。

【0008】

この問題は、一方のオブジェクト集合内のオブジェクトの並び順を固定したときに、もう一方のオブジェクト集合内のオブジェクトの並び順を変更する、Ｎ×Ｎ並び替え行列π∈Π_Ｎを求める問題と考えることができる。ここで、オブジェクトｘ_ｎ∈Ｘとｙ_ｍ∈Ｙとが対応する場合にのみ並び替え行列πの（ｍ，ｎ）要素π_ｍ，ｎが１となり、それ以外の要素はすべて０となる。また、並び替え行列πは、いずれの行、いずれの列も１となる要素が１つのみで、残りはすべて０となることに注意する。

【0009】

Ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇでは、Ｎ×Ｎの単位行列Ｉ_Ｎから計算できるデータ中心化行列Ｈ＝Ｉ_Ｎ－１／Ｎを掛けたグラム行列は以下のようになる。

【0010】

【0011】

Ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇでは、グラム行列で記述される以下の最適化問題を解くことによって最適な並べ替え行列π^＊を求める。

【0012】

【0013】

ここで、Ｔｒ（・）は行列のトレースノルムである。上記の最適化問題は二次割り当て問題の一種であり、ＮＰ困難であることが知られている。

【0014】

次に、convex ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇ（非特許文献２）について説明する。

【0015】

Ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇの問題点は、その解を厳密に解くためには多くの計算量が必要となるという点にある。Ｃｏｎｖｅｘ ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇでは、連続緩和と凸最適化問題への変形により、ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇで生じる計算量の問題を解決した。

【0016】

Ｃｏｎｖｅｘ ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇ では、まず、（１）式と等価な以下の最適化問題を考える。

【0017】

【0018】

ここで||・||_Ｆは行列のフロベニウスノルムである。行列積

【0019】

がグラム行列

【0020】

の列を並べ替え、もう一方の行列積

【0021】

がグラム行列

【0022】

の行を並べ替えていることに注目すると、上記の最適化問題は、グラム行列の行もしくは列を並び替えることによって、並び替え後のグラム行列をできるだけ似た形にすることを目指している。

【0023】

上記の最適化問題をさらに解きやすくするために、この最適化問題を連続緩和する。すなわち、並び替え行列πの行及び列の和を１とする制約は保ちつつ、この行列の各要素が０から１の間の任意の実数を取れるように、問題を緩和する。すべての要素が１であるＮ次元ベクトルを１_Ｎ、Ｎ以下の正の整数の集合を

と表記すると、連続緩和後の最適化問題は以下のように書くことができる。

【0024】

【0025】

上記の最適化問題は、並び替え行列πについての２次関数となっていることから、等式・不等式制約付の凸最適化問題であることがわかる。

【0026】

最適化をさらに高速化するために、（３）式の等式制約を緩和した以下の最適化問題を考える。

【0027】

【0028】

ここでＣは正則化パラメータであり、通常は１よりも十分に大きい定数とすることが多い。

【先行技術文献】

【非特許文献】

【0029】

【文献】N. Quadrianto, A. J. Smola, L. Song, and T. Tuytelaars. Kernelized sorting. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(10):1809-1821, Oct 2010. ISSN0162-8828. doi: 10.1109/TPAMI.2009.184.

【文献】Nemanja Djuric, Mihajlo Grbovic, and Slobodan Vucetic. Convex kernelized sorting. In Proceedings of the Twenty-Sixth AAAI Conference on Articial Intelligence, AAAI'12, pages 893-899. AAAI Press, 2012. URL[http://dl.acm.org/citation.cfm?id=2900728.2900855].

【発明の概要】

【発明が解決しようとする課題】

【0030】

最適化問題の（３）式及び（４）式はいずれも、ＣＶＸ１などに代表される高次の最適化ソフトパッケージを利用することで解くことができるが、等式制約のない（４）式の方がより高速に解を求めることができる。一方、等式制約のない（４）式で求められる並び替え行列πは必ずしも等式制約を満たすとは限らない。すなわち、πの行もしくは列の和が必ずしも１になるとは限らない、という点に注意する必要がある。そのため、厳密に行もしくは列の和が１とする必要がある場合には、何らかの正規化を行うか、別の最適化問題を設定するか、のいずれかを行う必要がある。詳細には非特許文献２を参照できる。

【0031】

非特許文献１及び２の方法では、２つのオブジェクト集合Ｘ及びオブジェクト集合Ｙが同数のオブジェクトを持ち、かつオブジェクトの対応関係が１対１であることを仮定している。しかしながら、実際の応用場面において、オブジェクトが１対１に対応していない場合も数多く見られる。例として、英語の単語と日本語の単語の対応関係を考えると、一つの英単語に対応する日本語は唯一ではなく、その逆もまた同様である。また、１枚の写真には複数の物体が含まれる可能性があることから、画像とテキストタグの対応関係も１対１ではない。

【0032】

本発明は、上記事情を鑑みて成されたものであり、異なるドメインのオブジェクト集合について、オブジェクトの対応関係が必ずしも１対１でなくてもオブジェクトのマッチングを最適化できる最適化装置、方法、及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0033】

上記目的を達成するために、第１の発明に係る最適化装置は、第１オブジェクトからなる第１オブジェクト集合と前記第１オブジェクトとドメインが異なる第２オブジェクトからなる第２オブジェクト集合の対について、前記第１オブジェクトに関する複数の第１クラスタ、及び前記第２オブジェクトに関する複数の第２クラスタを介して対応関係を求める場合の最適化問題を解く最適化装置である。最適化装置は、所定の目的関数を最適化するように、第１割当行列及び第２割当行列を交互に更新することを、所定の条件を満たすまで繰り返す最適化部、を含んで構成されている。所定の目的関数は、前記第１割当行列及び前記第２割当行列の積と、前記第２割当行列及び前記第１割当行列の積と、前記第１オブジェクト間の類似度を要素とするグラム行列と、前記第２オブジェクト間の類似度を要素とするグラム行列と、前記第１割当行列及び前記第２割当行列に関する定数とを含む。第１割当行列は、前記第１オブジェクト集合の第１オブジェクトの各々についての前記第１オブジェクトが属する第１クラスタの割り当てを表す。第２割当行列は、前記第２オブジェクト集合の第２オブジェクトの各々についての前記第２オブジェクトが属する第２クラスタの割り当てを表す。

【0034】

前記目的関数に、前記第１クラスタを整列するための第１パラメータ、及び前記第２クラスタを整列するための第２パラメータを更に含み、前記最適化部は、前記第１割当行列、前記第２割当行列、前記第１パラメータ、及び前記第２パラメータを順番に更新することを、所定の条件を満たすまで繰り返すようにしてもよい。

【0035】

また、第１の発明において、前記目的関数に、前記第１クラスタを整列するための第１パラメータ、及び前記第２クラスタを整列するための第２パラメータを更に含み、前記最適化部は、前記第１割当行列、前記第２割当行列、前記第１パラメータ、及び前記第２パラメータを順番に更新することを、所定の条件を満たすまで繰り返すようにしてもよい。

【0036】

また、第１の発明において、前記最適化部は、前記第１割当行列及び前記第２割当行列の各々を更新する際に、前記第１オブジェクト集合のうちの選択された一部の第１オブジェクト及び前記第２オブジェクト集合のうちの選択された一部の第２オブジェクトを用いて、前記目的関数を最適化するように、前記第１割当行列及び前記第２割当行列の各々を更新するようにしてもよい。

【0037】

第２の発明に係るプログラムは、コンピュータを、第１の発明に記載の最適化装置の各部として機能させるためのプログラムである。

【発明の効果】

【0038】

本発明の最適化装置、方法、及びプログラムによれば、異なるドメインのオブジェクト集合について、オブジェクトのマッチングを最適化できる、という効果が得られる。

【図面の簡単な説明】

【0039】

【図1】本発明の実施の形態に係る最適化装置の構成を示すブロック図である。

【図2】本発明の実施の形態に係る最適化装置における最適化処理ルーチンを示すフローチャートである。

【発明を実施するための形態】

【0040】

以下、図面を参照して本発明の実施の形態を詳細に説明する。

【0041】

＜本発明の実施の形態に係る概要＞

【0042】

まず、本発明の実施の形態における概要を説明する。

【0043】

提案手法では、上記の問題を解決するために、各オブジェクト集合にいくつかのクラスタが存在すること、及びそれらクラスタが１対１に対応することを想定し、オブジェクトのクラスタリングとクラスタのマッチングを同時に最適化するアプローチを採用する。この問題設定はクラスタマッチングと呼ばれ、参考文献１のなどの方法が知られている。

【0044】

［参考文献１］Tomoharu Iwata, Tsutomu Hirao, and Naonori Ueda. Unsupervised cluster matching via probabilistic latent variable models. In AAAI, 2013.

【0045】

しかしながら、クラスタマッチングの既存手法で扱えるオブジェクト集合のサイズは高々１０００程度であり、それ以上のオブジェクトが集合に含まれる際には、計算量が現実的な時間内で終了しない点が問題である。提案手法では、オブジェクト集合のサイズが大きい場合にもクラスタマッチングの解を現実的な計算量で求めることができる。

【0046】

＜本発明の実施の形態に係る原理＞

【0047】

次に、本発明の実施の形態における原理を説明する。

【0048】

まず、サイズが異なる第１オブジェクト集合Ｘ及び第２オブジェクト集合Ｙのオブジェクトの並び替えを表現するために、Ｎ×Ｎの正方行列を仮定していた並び替え行列

を、正方ではない割当行列

に書き直した、以下（５）式のような最適化問題を考える。

【0049】

【0050】

ここで、Ｎ_Ｘ及びＮ_Ｙは第１オブジェクト集合Ｘ及び第２オブジェクト集合Ｙに含まれるオブジェクトの数である。以下、Ｘに関する単語に「第１」を付し、Ｙに関する単語に「第２」を付して説明する場合がある。

【0051】

続いて、第１オブジェクト集合Ｘ及び第２オブジェクト集合ＹにそれぞれＫ個のクラスタが存在することを仮定するとともに、一方のオブジェクト集合内のクラスタがもう一方のオブジェクト集合内のクラスタと１対１に対応することを仮定する。この考え方を導入すると、（５）式の最適化問題の目的関数を下記（７）式のように書き直すことができる。

【0052】

【0053】

ここで、φ^（Ｘ）及びφ^（Ｙ）は、各オブジェクトがどのクラスタに所属するかを示すクラスタ割り当てを示している。φ^（Ｘ）が、第１オブジェクト集合Ｘの第１オブジェクトの各々についての第１オブジェクトが属する第１クラスタの割り当てを表す第１割当行列である。φ^（Ｙ）が、第２オブジェクト集合の第２オブジェクトの各々についての第２オブジェクトが属する第２クラスタの割り当てを表す第２割当行列である。第１クラスタ及び第２クラスタは、それぞれＫ個のクラスタからなる。

【0054】

（５）式及び（７）式を比較することにより、クラスタ割り当ての第１割当行列及び第２割当行列の積φ^（Ｘ）φ^（Ｙ）Ｔが並び替え行列πの低ランク近似表現となっていることがわかる。この低ランク表現の導入により、オブジェクト同士の多対多の対応を、オブジェクトのクラスタリングとクラスタ同士の１対１対応の組み合わせによって実現できる。上記（７）式を最適化するように第１割当行列φ^（Ｘ）及び第２割当行列φ^（Ｙ）を更新することは、クラスタに属するオブジェクトを更新することに相当する。そのため、第１割当行列φ^（Ｘ）及び第２割当行列φ^（Ｙ）を最適化するように更新することにより、オブジェクトマッチングを同時に行うことができる。

【0055】

また、この低ランク表現の導入により、等式制約の緩和に相当する正則化項が一部変更されていることに注意する。すなわち、オブジェクトとクラスタとの対応関係は１対多、すなわち各オブジェクトはいずれか一つのクラスタに所属するが、各クラスタは一般に複数のオブジェクトを含み、かつクラスタのサイズはクラスタによって大きく変動する可能性がある。そのため、第１割当行列φ^（Ｘ）及び第２割当行列φ^（Ｙ）には行の和が１になることを促進する制約のみが残っており、列の和については制約を取り除いている。

【0056】

上記（７）式、（８）式に示したように、最適化問題の目的関数は、第１割当行列及び第２割当行列の積φ^（Ｘ）φ^（Ｙ）と、第２割当行列及び第１割当行列の積φ^（Ｙ）φ^（Ｘ）と、第１オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｘ）と、第２オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｙ）と、第１割当行列及び第２割当行列に関する定数Ｃ_１とを含んで表される。

【0057】

（７）式で定義される最適化問題で何らかのクラスタマッチングの結果を得ることができるが、この式にはどのようなクラスタを形成するべきかに関する基準がまったく含まれていない。そこで、オブジェクト集合をクラスタに分割するための基準を示す項をさらに追加することを考え、以下（９）式とする。

【0058】

【0059】

ここで、ψ^（Ｘ）は、第１クラスタを整列するためのパラメータである。ψ^（Ｙ）は、第２クラスタを整列するためのパラメータである。ｇ（φ^（Ｘ），φ^（Ｙ），ψ^（Ｘ），ψ^（Ｙ））は、オブジェクトクラスタリングに関するコストであり、いくつかの実現形態が考えられる。例えば、グラム行列の非負値行列分解（ｎｏｎ－ｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚａｔｉｏｎ；ＮＭＦ）を採用することができる。

【0060】

【0061】

また、カーネル凸非負値行列分解（ｋｅｒｎｅｌｉｚｅｄ ｃｏｎｖｅｘ ＮＭＦ）などのコスト関数を採用することができる（参考文献２参照）。

【0062】

［参考文献２］C. H. Q. Ding, T. Li, and M. I. Jordan. Convex and semi-nonnegative matrix factorizations. IEEE Transactions on Pattern Analysis and Machine Intelligence, 32(1):45-55, Jan 2010.ISSN 0162-8828. doi: 10.1109/TPAMI.2008.277.

【0063】

【0064】

ただし、Ｔｒ（・）はトレースノルムである。

【0065】

さらに、クラスタの割り当てに関して第１割当行列φ^（Ｘ）及び第２割当行列φ^（Ｙ）に直交制約を加えることで、クラスタ割り当ての制約を強めることも可能である。

【0066】

【0067】

提案の最適化問題、すなわち（７）式、（９）式あるいは（１４）式で定式化される最適化問題は、いずれも多凸、すなわち、すべてのパラメータについては必ずしも凸ではないが、各個別のパラメータについてその他のパラメータが固定であれば凸となっている。このことから、これらの最適化問題の解を求める方法として、各個別のパラメータφ^（Ｘ），φ^（Ｙ），ψ^（Ｘ）及びψ^（Ｙ）について、他のパラメータを固定して順に更新をしていく、交互最適化を採用することができる。

【0068】

次に最適化手法について説明する。

【0069】

本実施の形態で提案する最適化問題は多凸であることから、交互最適化やＣＶＸなどの高次最適化パッケージを利用することで局所最適解を求めることができるが、依然としてオブジェクトの数に対してスケールしないことが課題である。これは、最適化パッケージが問題を解きやすい形に変換する際に、非常に多くの計算量とメモリを必要とするためである。

【0070】

この問題を解決するために、提案手法では、近接勾配法に基づく最適化を採用する。具体的には、以下の通りである。以降では、クラスタリングコストｇ（・）としてカーネル凸非負値行列分解を採用した場合の（９）式の最適化問題についての最適化手法を示すが、他のクラスタリングコストあるいは（７）式や（１４）式を採用する場合にもほぼ同様である。

【0071】

（９）式の各パラメータについての偏微分は、以下のように計算できる。

【0072】

【0073】

ここで、δ（ｎ_２，ｎ_１）はＫｒｏｎｅｃｋｅｒのデルタ関数である。

【0074】

上記で求めた偏微分、及び最適化問題の制約を充足させるための近接写像を用いることにより、求めるべきパラメータであるφ^（Ｘ）、φ^（Ｙ）、ψ^（Ｘ）及びψ^（Ｙ）を更新する式を導出することができる。例えば、φ^（Ｘ）の更新式は以下の通りとなる。

【0075】

【0076】

ここで、φ^（Ｘ）（ｔ）は第ｔステップの更新によって得られた第１割当行列φ^（Ｘ）であり、Ｐ^（Ｘ）（ｔ）はφ^（Ｘ）（ｔ）を可能な限り直交化するために利用する中間表現である。また、ε_Ｘ（ｔ）は更新のステップ幅であり、Ａｒｍｉｊｏ条件、Ａｒｍｉｊｏ－Ｇｏｌｄｓｔｅｉｎ条件、Ｗｏｌｆ条件など、連続最適化における直線探索の様々な手法によって求めることができる。

【0077】

上記の偏微分計算のうち、φ^（Ｘ）及びφ^（Ｙ）についての計算式には、すべてのオブジェクトについての総和が含まれているため、偏微分の計算に非常に多くの計算量が必要となる。この問題を解決するために、一部のオブジェクトについてのみ総和を取る近似計算を導入することで、偏微分の計算を高速化する。例えば、φ^（Ｘ）についての偏微分計算は、以下のように近似できる。

【0078】

【0079】

ここで、Ｍは偏微分計算に利用するオブジェクトの総数、Ｂ（Ｎ，Ｍ）はＮ以下の正整数の集合

からＭ個の要素をランダムに選択した結果の集合である。この近似計算は、元のグラム行列

の行をランダムに選択した部分行列

を用いた偏微分の計算と見なすことができる。一般に、Ｍを小さくすると、計算が高速になるが、偏微分の計算誤差が大きくなり、目的関数ｆ（・）が十分に小さくならないうちに局所解に収束する傾向がある。逆に、Ｍを大きくすると、目的関数の値がより小さい局所解に収束しやすくなるが、同じ目的関数の値を得るまでの計算時間がより多く必要となる傾向にある。そこで、偏微分計算に利用するオブジェクトの総数Ｍを固定値とせず、更新ステップｔに合わせて大きくする方法を採用することもできる。

【0080】

なお、φ^（Ｘ）について偏微分計算により更新する場合を説明したが、φ^（Ｙ）、ψ^（Ｘ）、及びψ^（Ｙ）を更新する場合も同様に計算することができる。

【0081】

上記の原理を前提に以下、本発明の実施の形態について説明する。本発明の実施の形態の最適化装置は、第１オブジェクトからなる第１オブジェクト集合Ｘと第１オブジェクトとドメインが異なる第２オブジェクトからなる第２オブジェクト集合Ｙの対について、第１オブジェクトに関する複数の第１クラスタ、及び第２オブジェクトに関する複数の第２クラスタを介して対応関係を求める場合の最適化問題を解く最適化装置である。

【0082】

＜本発明の実施の形態に係る最適化装置の構成＞

【0083】

次に、本発明の実施の形態に係る最適化装置の構成について説明する。図１に示すように、本発明の実施の形態に係る最適化装置１００は、ＣＰＵと、ＲＡＭと、後述する最適化処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この最適化装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

【0084】

入力部１０は、第１オブジェクト集合Ｘ及び第２オブジェクト集合Ｙを受け付ける。

【0085】

演算部２０は、計算部３０と、最適化部３２とを含んで構成されている。

【0086】

計算部３０は、第１オブジェクト集合Ｘ及びカーネル関数から、第１オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｘ）を計算する。また、第２オブジェクト集合Ｙ及びカーネル関数から、第２オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｙ）を計算する。また、計算したＫ^（Ｘ）及びＫ^（Ｙ）にデータ中心化行列Ｈを掛けたものを得る。

【0087】

最適化部３２は、本実施の形態では、（１４）式の目的関数のパラメータを最適化するように、第１割当行列φ^（Ｘ）、第２割当行列φ^（Ｙ）、ψ^（Ｘ）、及びψ^（Ｙ）を順番に更新することを、所定の条件を満たすまで繰り返す。なお、目的関数は（７）式、（９）式であってもよい。例えば、（７）式である場合には、第１割当行列φ^（Ｘ）、第２割当行列φ^（Ｙ）を交互に更新する。最適化部３２の更新では、第１割当行列及び第２割当行列の各々を更新する際に、第１オブジェクト集合Ｘ及び第２オブジェクト集合ＹのそれぞれについてＭ個のオブジェクトをランダムに選択する。そして、最適化部３２は、第１オブジェクト集合のうちの選択された一部の第１オブジェクト及び第２オブジェクト集合のうちの選択された一部の第２オブジェクトを用いて、（１４）式の目的関数を最適化するように、第１割当行列φ^（Ｘ）、第２割当行列φ^（Ｙ）、ψ^（Ｘ）、及びψ^（Ｙ）の各々を更新する。

【0088】

最適化部３２は、最終的に更新された第１割当行列φ^（Ｘ）、第２割当行列φ^（Ｙ）により得られるオブジェクトのマッチング結果を出力部５０に出力する。

【0089】

＜本発明の実施の形態に係る最適化装置の作用＞

【0090】

次に、本発明の実施の形態に係る最適化装置１００の作用について説明する。入力部１０において第１オブジェクト集合Ｘ及び第２オブジェクト集合Ｙを受け付けると、最適化装置１００は、図２に示す最適化処理ルーチンを実行する。

【0091】

まず、ステップＳ１００では、計算部３０は、第１オブジェクト集合Ｘ及びカーネル関数から、第１オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｘ）を計算する。また、第２オブジェクト集合Ｙ及びカーネル関数から、第２オブジェクト間の類似度を要素とするグラム行列Ｋ^（Ｙ）を計算する。また、計算したＫ^（Ｘ）及びＫ^（Ｙ）にデータ中心化行列Ｈを掛けたものを得る。

【0092】

ステップＳ１０２では、最適化部３２は、更新ステップｔをｔ←０と更新する。

【0093】

ステップＳ１０４では、最適化部３２は、第１オブジェクト集合Ｘ及び第２オブジェクト集合ＹのそれぞれについてＭ個のオブジェクトをランダムに選択する。

【0094】

ステップＳ１０６では、最適化部３２は、φ^（Ｙ）（ｔ－１），ψ^（Ｘ）（ｔ－１）及びψ^（Ｙ）（ｔ－１）を固定して、φ^（Ｘ）（ｔ－１）をφ^（Ｘ）（ｔ）に更新する。更新式は（２２）式を用いればよく、以下ステップＳ１０８～Ｓ１１２にて同様の式を用いる。上記ステップＳ１００で計算されたグラム行列における、上記ステップＳ１０４で選択されたＭ個の第１オブジェクト及びＭ個の第２オブジェクトについての要素を用いたコスト関数ｆ（・）のφ^（Ｘ）（ｔ－１）についての偏微分を計算することで，φ^（Ｘ）（ｔ－１）をφ^（Ｘ）（ｔ）に更新する。また、最適化部３２は、Ｐ^（Ｘ）（ｔ－１）をＰ^（Ｘ）（ｔ）に更新する。なお、初回はｔ＝０であるため初期値を生成する。初期値に関しては以下のステップでも同様である。

【0095】

ステップＳ１０８では、最適化部３２は、φ^（Ｘ）（ｔ），ψ^（Ｘ）（ｔ－１）及びψ^（Ｙ）（ｔ－１）を固定して、φ^（Ｙ）（ｔ－１）をφ^（Ｙ）（ｔ）に更新する。コスト関数ｆ（・）のφ^（Ｙ）（ｔ－１）についての偏微分を計算することで、φ^（Ｙ）（ｔ－１）をφ^（Ｙ）（ｔ）に更新する。また、最適化部３２は、Ｐ^（Ｙ）（ｔ）をＰ^（Ｙ）（ｔ）に更新する。

【0096】

ステップＳ１１０では、φ^（Ｘ）（ｔ），φ^（Ｙ）（ｔ）及びψ^（Ｙ）（ｔ－１）を固定して、ψ^（Ｘ）（ｔ－１）をψ^（Ｘ）（ｔ）に更新する。

【0097】

ステップＳ１１２では、φ^（Ｘ）（ｔ），φ^（Ｙ）（ｔ） 及びψ^（Ｘ）（ｔ）を固定して、ψ^（Ｙ）（ｔ－１）をψ^（Ｙ）（ｔ）に更新する。

【0098】

ステップＳ１１４では、最適化部３２は、所定の条件を満たしたか否かを判定する。所定の条件を満たす場合にはステップＳ１１８で更新された第１割当行列φ^（Ｘ）、第２割当行列φ^（Ｙ）によるオブジェクトマッチングの結果を出力部５０に出力して処理を終了する。所定の条件を満たさない場合にはステップＳ１１６に移行する。所定の条件は、例えば収束の閾値やｔについて予め定めた回数とすればよい。

【0099】

ステップＳ１１６では、最適化部３２は、ｔ←ｔ＋１と更新し、ステップＳ１０４に戻って処理を繰り返す。

【0100】

なお、上記のステップＳ１０４及びＳ１０６において、前述の近似計算を用いて偏微分計算を高速化できる。クラスタリングに関するコストがコスト関数ｆ（・）に含まれていない場合には、ステップＳ１１０及びＳ１１２が不要となる。また、φ^（Ｘ）及びφ^（Ｙ）に関する直交制約が最適化問題に含まれない場合には、Ｐ^（Ｘ）（ｔ）及びＰ^（Ｙ）（ｔ）の更新が不要となる。

【0101】

以上説明したように、本発明の実施の形態に係る最適化装置によれば、第１オブジェクト集合の第１オブジェクトの各々についての第１オブジェクトが属する第１クラスタの割り当てを表す第１割当行列、及び第２オブジェクト集合の第２オブジェクトの各々についての第２オブジェクトが属する第２クラスタの割り当てを表す第２割当行列の積と、第２割当行列及び第１割当行列の積と、第１オブジェクト間の類似度を要素とするグラム行列と、第２オブジェクト間の類似度を要素とするグラム行列と、第１割当行列及び第２割当行列に関する制約項とを含む目的関数を最適化するように、第１割当行列及び第２割当行列を交互に更新することを、所定の条件を満たすまで繰り返すことにより、異なるドメインのオブジェクト集合について、オブジェクトのマッチングを最適化できる。

【0102】

また、既存手法である（ｃｏｎｖｅｘ） ｋｅｒｎｅｌｉｚｅｄ ｓｏｒｔｉｎｇと比較した際の提案手法の貢献は、以下の通りとなる。

【0103】

第１オブジェクト集合Ｘと第２オブジェクト集合Ｙの組に含まれるオブジェクトの数が一致していない、もしくはこの２つのオブジェクト集合に含まれるオブジェクトが必ずしも１対１に対応していない場合においても、オブジェクトマッチングを実現できる。これは、求めるべきパラメータである並び替え行列πを、割り当て行列の積φ^（Ｘ）φ^（Ｙ）Ｔに置き換えたことによる。

【0104】

また、近接勾配法を用いることで、解くべき最適化問題の解を高速に求めることができる。既存手法では、最適化問題の求解を最適化パッケージにそのまま渡していたが、本手法では、解くべき問題が不等式制約付多凸最適化であることに着目し、コスト関数の近接勾配を解析的に導出し、この近接勾配を用いて各パラメータを順次更新する。

【0105】

また、勾配計算の近似計算を用いることで、最適化をさらに高速化できる。

【0106】

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【符号の説明】

【0107】

１０ 入力部
２０ 演算部
３０ 計算部
３２ 最適化部
５０ 出力部

【図1】

【図2】