特開 2023-183578 計算機システム及びトリプレットの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183578

(43)【公開日】2023-12-28

(54)【発明の名称】計算機システム及びトリプレットの生成方法

(51)【国際特許分類】

   G06N 3/08 20230101AFI20231221BHJP

   G06N 20/00 20190101ALI20231221BHJP

【ＦＩ】

G06N3/08

G06N20/00

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022097163

(22)【出願日】2022-06-16

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】廣池 敦

(57)【要約】      （修正有）

【課題】マルチラベルのデータのトリプレット（ｔｒｉｐｌｅｔ）を生成する。
【解決手段】計算機システムは、複数の入力データを取得し、一つの入力データをクエリ入力データとして選択し、クエリ入力データと類似する入力データである類似入力データを検索する検索処理を実行し、検索処理の結果に基づいて、複数のラベルの各々の出現頻度を分析し、分析の結果に基づいて、複数のラベルの各々について、ラベル及び入力データの特性の関係の程度を評価する指標を算出し、指標に基づいて、クエリ入力データに付与される複数のラベルと、類似入力データに付与される複数のラベルとの間の類似の程度を表すラベル類似度を算出し、複数の類似入力データの各々のラベル類似度の差に基づいて、負事例及び正事例となる類似入力データを選択し、トリプレットを生成する。
【選択図】図５

【特許請求の範囲】

【請求項1】

少なくとも一つの計算機を有する計算機システムであって、
複数のラベルが付与された入力データの特徴量ベクトルを算出するモデルの情報を保持し、
複数の前記入力データを取得し、
一つの前記入力データをクエリ入力データとして選択し、前記特徴量ベクトルに基づいて、前記クエリ入力データと類似する前記入力データである類似入力データを検索する検索処理を実行し、
前記検索処理の結果に基づいて、前記複数のラベルの各々の出現頻度を分析し、
前記分析の結果に基づいて、前記複数のラベルの各々について、前記ラベル及び前記入力データの特性の関係の程度を評価する指標を算出し、
前記指標に基づいて、前記クエリ入力データに付与される前記複数のラベルと、前記類似入力データに付与される前記複数のラベルとの間の類似の程度を表すラベル類似度を算出し、
複数の前記類似入力データの各々の前記ラベル類似度の差に基づいて、負事例となる前記類似入力データ及び正事例となる前記類似入力データを選択し、
前記クエリ入力データ、及び選択された二つの前記類似入力データから構成されるトリプレットを生成することを特徴とする計算機システム。

【請求項2】

請求項１に記載の計算機システムであって、
複数の前記トリプレットを構成する前記類似入力データの前記ラベル類似度の差が大きい順に、所定の数の前記トリプレットを選択し、
選択された前記トリプレットを出力することを特徴とする計算機システム。

【請求項3】

請求項１に記載の計算機システムであって、
前記トリプレットを用いてモデルを更新するための学習処理を実行し、
前記複数のラベルの前記指標の平均値が増大しなくなるまで、前記トリプレットの生成及び前記学習処理を繰り返し実行することを特徴とする計算機システム。

【請求項4】

計算機システムが実行するトリプレットの生成方法であって、
前記計算機システムは、
少なくとも一つの計算機を有し、
複数のラベルが付与された入力データの特徴量ベクトルを算出するモデルの情報を保持し、
前記トリプレットの生成方法は、
前記少なくとも一つの計算機が、複数の前記入力データを取得する第１のステップと、
前記少なくとも一つの計算機が、一つの前記入力データをクエリ入力データとして選択し、前記特徴量ベクトルに基づいて、前記クエリ入力データと類似する前記入力データである類似入力データを検索する検索処理を実行する第２のステップと、
前記少なくとも一つの計算機が、前記検索処理の結果に基づいて、前記複数のラベルの各々の出現頻度を分析し、前記分析の結果に基づいて、前記複数のラベルの各々について、前記ラベル及び前記入力データの特性の関係の程度を評価する指標を算出する第３のステップと、
前記少なくとも一つの計算機が、前記指標に基づいて、前記クエリ入力データに付与される前記複数のラベルと、前記類似入力データに付与される前記複数のラベルとの間の類似の程度を表すラベル類似度を算出する第４のステップと、
前記少なくとも一つの計算機が、複数の前記類似入力データの各々の前記ラベル類似度の差に基づいて、負事例となる前記類似入力データ及び正事例となる前記類似入力データを選択する第５のステップと、
前記少なくとも一つの計算機が、前記クエリ入力データ、及び選択された二つの前記類似入力データから構成されるトリプレットを生成する第６のステップと、を含むことを特徴とするトリプレットの生成方法。

【請求項5】

請求項４に記載のトリプレットの生成方法であって、
前記少なくとも一つの計算機が、複数の前記トリプレットを構成する前記類似入力データの前記ラベル類似度の差が大きい順に、所定の数の前記トリプレットを選択するステップと、
前記少なくとも一つの計算機が、選択された前記トリプレットを出力するステップと、を含むことを特徴とするトリプレットの生成方法。

【請求項6】

請求項４に記載のトリプレットの生成方法であって、
前記少なくとも一つの計算機が、前記トリプレットを用いてモデルを更新するための学習処理を実行する第７のステップを含み、
前記複数のラベルの前記指標の平均値が増大しなくなるまで、前記第２のステップから前記第７のステップが繰り返し実行されることを特徴とするトリプレットの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ｔｒｉｐｌｅｔネットワークに用いる学習データの生成技術に関する。

【背景技術】

【0002】

深層型ニューラルネットワークの学習方式の一つにｔｒｉｐｌｅｔ（トリプレット）ネットワークがある。ｔｒｉｐｌｅｔネットワークでは、同一のラベルが付与されたデータ間では距離が小さく、異なるラベルを持つデータ間では距離が大きくなるような特徴量ベクトルを出力するモデル（例えば、ニューラルネットワーク）が学習される。

【0003】

図８は、従来のｔｒｉｐｌｅｔネットワークの学習の概念を示す図である。ｔｒｉｐｌｅｔネットワークでは、基準となるデータ（アンカ）８０１と、アンカ８０１と同一のラベルが付与されたデータ（正事例）８０２と、アンカ８０１と異なるラベルが付与されたデータ（負事例）８０３とから構成されるｔｒｉｐｌｅｔ８００を用いて学習が行われる。ｔｒｉｐｌｅｔ８００を構成する各データ８０１、８０２、８０３は、同一の重みを持つニューラルネットワーク８１０に入力される。ニューラルネットワーク８１０は、各データ８０１、８０２、８０３に対応した特徴量ベクトル８２０を出力する。一つのｔｒｉｐｌｅｔ８００について、特徴量ベクトル８２０を用いて、アンカ８０１及び正事例８０２の間の距離Ｄ_＋と、アンカ８０１及び負事例８０３の間の距離Ｄ_－とが算出される。複数のｔｒｉｐｌｅｔ８００の距離Ｄ_＋及び距離Ｄ_－の差の合計値を、学習の目的関数であるｌｏｓｓ関数として用いてニューラルネットワーク８１０の学習が行われる。

【0004】

例えば、非特許文献１には、ｔｒｉｐｌｅｔネットワークを用いて、顔画像による個人認証を行うための特徴量を学習する技術が記載されている。

【0005】

学習セットに対してｔｒｉｐｌｅｔを構成するデータの組み合わせは無数に存在する。そのため、効率的な学習に適したｔｒｉｐｌｅｔを構築することが重要である。これに対して、非特許文献２には、類似ベクトル検索処理を用いて、効率的な学習を実現するｔｒｉｐｌｅｔを生成する方法が記載されている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】Schroff, Florian, Dmitry Kalenichenko, James Philbin. "Facenet: A unified embedding for face recognition and clustering", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, (2015)

【非特許文献2】池浦 康充、岡本 光一、加嶋 亮平、廣池 敦：IoTデータ向けマルチモーダル深層学習基盤,日立評論,102-3,119-123（2020）

【発明の概要】

【発明が解決しようとする課題】

【0007】

従来技術では、一つのデータに対して一つのラベルが付与されていることを前提としている。そのため、複数のラベルが付与されたデータ（マルチラベルのデータ）の場合、正事例及び負事例の関係を一義的には定義できない。

【0008】

また、データに付与されたラベルが、データの特性を適切に表現するものではない可能性もある。例えば、複数のユーザが、画像等のデータに対して検索用のキーワードを付与する場合を想定する。各ユーザが、各自の判断でキーワードを付与した場合、必ずしも、データの特性を表現しているものとは限らない。

【0009】

本発明は、マルチラベルのデータを扱うモデルに対して、ｔｒｉｐｌｅｔネットワークの学習に用いるｔｒｉｐｌｅｔを生成するための技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、少なくとも一つの計算機を有する計算機システムであって、複数のラベルが付与された入力データの特徴量ベクトルを算出するモデルの情報を保持し、複数の前記入力データを取得し、一つの前記入力データをクエリ入力データとして選択し、前記特徴量ベクトルに基づいて、前記クエリ入力データと類似する前記入力データである類似入力データを検索する検索処理を実行し、前記検索処理の結果に基づいて、前記複数のラベルの各々について、前記ラベルと、前記入力データの特性との間の関係性の程度を評価する指標を算出し、前記指標に基づいて、前記クエリ入力データに付与される前記複数のラベルと、前記類似入力データに付与される前記複数のラベルとの間の類似の程度を示すラベル類似度を算出し、複数の前記類似入力データの各々の前記ラベル類似度の差に基づいて、負事例となる前記類似入力データ及び正事例となる前記類似入力データを選択し、前記クエリ入力データ、及び選択された二つの前記類似入力データから構成されるトリプレットを生成する。

【発明の効果】

【0011】

本発明により、マルチラベルのデータを扱うモデルに対して、ｔｒｉｐｌｅｔネットワークの学習に用いるｔｒｉｐｌｅｔを生成できる。上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0012】

【図1】実施例１の学習装置の機能構成の一例を示す図である。

【図2】実施例１の学習装置のハードウェア構成の一例を示す図である。

【図3】実施例１の学習データの生成処理の一例を示すフローチャートである。

【図4】実施例１の学習装置が実行する学習処理の一例を示すフローチャートである。

【図5】実施例１の学習装置が実行するｔｒｉｐｌｅｔ生成処理の一例を示すフローチャートである。

【図6】実施例１の学習装置が実行するｔｒｉｐｌｅｔ生成処理の詳細を示す図である。

【図7】実施例３の学習装置が実行するｔｒｉｐｌｅｔ生成処理の一例を示すフローチャートである。

【図8】従来のｔｒｉｐｌｅｔネットワークの学習の概念を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施例を、図面を用いて説明する。ただし、本発明は以下に示す実施例の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。以下に説明する発明の構成において、同一又は類似する構成又は機能には同一の符号を付し、重複する説明は省略する。本明細書等における「第１」、「第２」、「第３」等の表記は、構成要素を識別するために付するものであり、必ずしも、数又は順序を限定するものではない。図面等において示す各構成の位置、大きさ、形状、及び範囲等は、発明の理解を容易にするため、実際の位置、大きさ、形状、及び範囲等を表していない場合がある。したがって、本発明では、図面等に開示された位置、大きさ、形状、及び範囲等に限定されない。

【実施例0014】

実施例１では、複数の単語がラベルとして付与された画像データを扱うシステムを想定する。図１は、実施例１の学習装置の機能構成の一例を示す図である。図２は、実施例１の学習装置のハードウェア構成の一例を示す図である。

【0015】

学習装置１００は、ｔｒｉｐｌｅｔネットワークを用いて、マルチラベルのデータの分類等に用いる特徴量ベクトルを出力するモデルを学習する。学習装置１００は、図２に示すように、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、及びネットワークインタフェース２０４を有する。各ハードウェア要素はバスを介して互いに接続される。なお、学習装置１００は、キーボード、マウス、及びタッチパネル等の入力装置を有してもよいし、ディスプレイ及びプリンタ等の出力装置を有してもよい。

【0016】

プロセッサ２０１は、主記憶装置２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、特定の機能を実現する機能部（モジュール）として動作する。以下の説明では、機能部を主語に処理を説明する場合、プロセッサ２０１が当該機能部を実現するプログラムを実行していることを示す。

【0017】

主記憶装置２０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶装置であり、プロセッサ２０１が実行するプログラム及びプログラム使用するデータを格納する。主記憶装置２０２はワークエリアとしても用いられる。副記憶装置２０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置であり、データを永続的に格納する。

【0018】

なお、主記憶装置２０２に格納されるプログラム及びデータは、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１は、副記憶装置２０３からプログラム及びデータを読み出し、主記憶装置２０２にロードする。

【0019】

学習装置１００は、推論部１０１、類似ベクトル検索部１０２、ｔｒｉｐｌｅｔ生成部１０３、モデル更新部１０４、及びモデル保存部１０５を有する。また、学習装置１００は、データセット１１０及びモデル情報１２０を保持する。

【0020】

データセット１１０は、複数の学習データ１１１から構成される。学習データ１１１は、画像及び複数のラベルを含む。

【0021】

モデル情報１２０は、画像の特徴量ベクトルを出力するモデルを管理するための情報である。モデルは、例えば、深層型ニューラルネットワークである。モデル情報１２０には、ネットワークの構造及び重み等に関する情報が格納される。学習開始時の深層型ニューラルネットワークの重みは、ランダムに設定されてもよいが、学習の効率化のために事前に任意の値が設定されているものとする。

【0022】

なお、データセット１１０及びモデル情報１２０は、予め、学習装置１００に設定されてもよいし、外部から取得し、又は、ユーザが入力してもよい。

【0023】

推論部１０１は、モデル情報１２０にて定義されるモデルに、学習データ１１１に含まれる画像を入力することによって特徴量ベクトルを出力する。

【0024】

類似ベクトル検索部１０２は、特徴量空間において類似する特徴量ベクトルを検索する。

【0025】

ｔｒｉｐｌｅｔ生成部１０３は、検索結果に基づいてアンカ、正事例、及び負事例となる画像（学習データ１１１）の組を選択することによってｔｒｉｐｌｅｔを生成する。

【0026】

モデル更新部１０４は、ｔｒｉｐｌｅｔを用いてモデルの学習処理を実行し、モデルを更新する。なお、本発明は、ｔｒｉｐｌｅｔを用いた学習方法であればよい。

【0027】

モデル保存部１０５は、学習結果をモデル情報１２０に反映する。なお、モデル保存部１０５は、必要に応じて、学習結果を外部に出力してもよい。

【0028】

実施例１では、複数のラベルを含む学習データ１１１は予め用意されているものとしているが、画像及びテキストを含む文書データを用いて生成してもよい。

【0029】

なお、複数の計算機から構成される計算機システムを用いて、学習装置１００が有する機能を実現してもよい。

【0030】

図３は、実施例１の学習データ１１１の生成処理の一例を示すフローチャートである。ここでは、学習装置１００が、複数の文書データを受け付けて、以下の処理を実行するものとして説明する。ここで、文書データはテキスト及び一つ以上の画像を含む。テキストは複数の段落から構成され、画像には識別番号が付されているものとする。なお、以下の処理は一つの文書データに対して実行される処理である。

【0031】

学習装置１００は、文書データに含まれる画像を選択する（ステップＳ１０１）。

【0032】

学習装置１００は、各段落の文書を解析することによって、選択した画像の識別番号が含まれる段落を関連テキストとして抽出する（ステップＳ１０２）。学習装置１００は、関連テキストが関連付けられた画像をワークエリアに格納する。例えば、ＨＴＭＬ形式の文書データの場合、画像のリンクを示すタグを含むテキストが、関連テキストとして抽出される。

【0033】

学習装置１００は、文書データに含まれる全ての画像について処理が完了したか否かを判定する（ステップＳ１０３）。

【0034】

文書データに含まれる全ての画像について処理が完了していない場合、学習装置１００は、ステップＳ１０１に戻る。

【0035】

文書データに含まれる全ての画像について処理が完了した場合、学習装置１００は、文書データに含まれる画像を選択し（ステップＳ１０４）、当該画像に関連付けられる関連テキストに対して形態素解析を行うことによって単語を抽出する（ステップＳ１０５）。

【0036】

学習装置１００は、抽出された単語をラベルとして付与した画像を学習データ１１１として生成する（ステップＳ１０６）。

【0037】

学習装置１００は、文書データに含まれる全ての画像について処理が完了したか否かを判定する（ステップＳ１０７）。

【0038】

文書データに含まれる全ての画像について処理が完了していない場合、学習装置１００は、ステップＳ１０４に戻る。

【0039】

文書データに含まれる全ての画像について処理が完了した場合、学習装置１００は学習データ生成処理を終了する。

【0040】

以上の処理によって、複数のラベル（単語）を含む学習データ１１１を生成することができる。ただし、画像に付与されるラベルの異なり数は膨大であり、単純なラベル推定課題とした扱うことは困難である。一方、マルチラベルの学習データを扱うｔｒｉｐｌｅｔネットワークでは、ラベルの異なり数に関する製薬はないため、形式上扱うことはできる。ただし、前述の処理によって画像に付与されたラベルは、必ずしも画像の特性を表すものではない。

【0041】

実施例１では、画像の特性とラベルとの間の関連性を考慮したラベル類似度を導入し、ｔｒｉｐｌｅｔを構成する学習データ１１１を選択する。

【0042】

図４は、実施例１の学習装置１００が実行する学習処理の一例を示すフローチャートである。

【0043】

推論部１０１は、モデル情報１２０を用いて、学習データ１１１の特徴量ベクトルを出力するための推論処理を実行する（ステップＳ２０１）。

【0044】

類似ベクトル検索部１０２は、特徴量ベクトルのクラスタリング処理を実行する（ステップＳ２０２）。クラスタリング処理では、特徴量空間において、特徴量ベクトルのクラスタが生成される。当該処理は、類似する特徴量ベクトルの検索を高速化するための前処理である。クラスタリング処理は必ずしも実行されてなくてもよい。

【0045】

ｔｒｉｐｌｅｔ生成部１０３は、類似ベクトル検索部１０２と連携して、ｔｒｉｐｌｅｔ生成処理を実行する（ステップＳ２０３）。ｔｒｉｐｌｅｔ生成処理の詳細は後述する。

【0046】

ｔｒｉｐｌｅｔ生成部１０３は、ｔｒｉｐｌｅｔ生成処理において生成されたｔｒｉｐｌｅｔの中から学習に使用するｔｒｉｐｌｅｔを選択する（ステップＳ２０４）。ｔｒｉｐｌｅｔの選択基準については後述する。ｔｒｉｐｌｅｔ生成部１０３は、選択されたｔｒｉｐｌｅｔを要素とするｔｒｉｐｌｅｔ配列をモデル更新部１０４に出力する。当該配列は、順序づけされてｔｒｉｐｌｅｔが格納される。

【0047】

モデル更新部１０４は、選択されたｔｒｉｐｌｅｔを用いてモデルを更新する（ステップＳ２０５）。

【0048】

学習装置１００は、学習の終了条件を満たすか否かを判定する（ステップＳ２０６）。終了条件については後述する。

【0049】

学習の終了条件を満たさない場合、学習装置１００は、ステップＳ２０１に戻り、同様の処理を実行する。学習の終了条件を満たす場合、学習装置１００は、学習処理を終了する。

【0050】

なお、ステップＳ２０１からステップＳ２０５までの処理を学習の１周期（１エポック）とする。

【0051】

図５は、実施例１の学習装置１００が実行するｔｒｉｐｌｅｔ生成処理の一例を示すフローチャートである。図６は、実施例１の学習装置１００が実行するｔｒｉｐｌｅｔ生成処理の詳細を示す図である。

【0052】

類似ベクトル検索部１０２は、画像（学習データ１１１）の中から一つのクエリ画像を選択する（ステップＳ３０１）。クエリ画像の選択は、ランダムでもよいし、選択方法を予め指定してもよい。類似ベクトル検索部１０２は、選択されたクエリ画像に処理用の識別情報を付与する。ここでは、クエリ画像の識別子を文字ｉで表現する。

【0053】

類似ベクトル検索部１０２は、画像の特徴量ベクトルを用いて、クエリ画像に類似する画像を検索する（ステップＳ３０２）。例えば、類似ベクトル検索部１０２は、特徴量ベクトルを用いて、特徴量空間における画像間の距離を算出し、距離が閾値より小さい画像を類似画像として出力する。なお、クエリ画像の特徴量ベクトルが含まれるクラスタを検索範囲とすることによって検索処理を高速化できる。

【0054】

類似ベクトル検索部１０２は、Ｒ個の類似画像を選択する（ステップＳ３０３）。例えば、特徴量空間における画像間の距離が小さい順にＲ個の類似画像が選択される。なお、Ｒは任意に設定できる。

【0055】

類似ベクトル検索部１０２は、検索を終了するか否かを判定する（ステップＳ３０４）。例えば、検索の回数が所定の閾値より大きい場合、類似ベクトル検索部１０２は、検索を終了する。なお、すべての画像について検索を行ってもよいが、計算量の制限等の要請により、所定の数の画像について検索を行っている。

【0056】

ｔｒｉｐｌｅｔ生成部１０３は、ラベル集合からラベルを一つ選択する（ステップＳ３０５）。具体的には、ｔｒｉｐｌｅｔ生成部１０３は、各画像に付与されたラベルに基づいて、独立したラベルの集合を生成し、当該集合から一つのラベルを選択する。ここで、ラベルの集合に含まれるラベルの数（ラベルの異なり数）をＫとし、当該集合に含まれるラベルの識別子を文字ｋで表現する。

【0057】

ｔｒｉｐｌｅｔ生成部１０３は、選択されたラベルのラベル情報量を算出する（ステップＳ３０６）。ラベル情報量は、ラベル及び画像の特性の関連の程度を評価する指標である。以下、ラベル情報量の算出方法について説明する。

【0058】

ｔｒｉｐｌｅｔ生成部１０３は、式（１）を用いて、クエリ画像ｉに対する類似画像の検索において、選択されたラベルｋが付与された画像が検索される対数尤度を算出する。なお、式（１）では、選択されたラベルｋが付与された画像の出現頻度は２項分布に従うものと仮定している。

【0059】

【数1】

【0060】

ここで、ｒ＿ｉｋは、クエリ画像ｉに対する類似画像の検索において、ラベルｋが付与されている類似画像の数を表す。また、θ＿ｉｋは２項分布を規定するパラメータを表す。Ｃは組み合わせ数を表す記号である。

【0061】

ラベルｋが付与された画像の出現頻度が、全画像から無作為に画像を選択した場合と同等と仮定した場合、θ＿ｉｋは、式（２）に示すように、クエリ画像ｉに依存しない値となる。以下、式（２）の値をｐ＿ｋと記載する。なお、Ｎは、画像（学習データ１１１）の数を表し、ｎ＿ｋはラベルｋが付与された画像の数を表す。

【0062】

【数2】

【0063】

選択されたラベルｋが付与された画像の出現頻度がクエリ画像ｉに固有の分布に従うものと仮定した場合、θ＿ｉｋは、式（３）に示すような、式（１）を最大化する最尤度推定量となる。以下、式（３）の値をｑ＿ｋと記載する。

【0064】

【数3】

【0065】

２つの仮定の下の対数尤度の差は、クエリ画像ｉに対する類似画像の検索において、ラベルｋが付与された類似画像の出現頻度が、無作為抽出から、どの程度差異があるかを統計的に表した値となる。したがって、式（４）に示すように、全てのクエリ画像について対数尤度の差を平均化したｆ＿ｋは、ラベルｋが付与された画像の出現頻度が、類似画像の検索にどの程度影響を受けるかを表す指標となる。なお、式（４）は、全ての画像について検索が行われた場合の数式である。

【0066】

【数4】

【0067】

実施例１では、ｆ＿ｋをラベルｋのラベル情報量として扱う。ラベル情報量ｆ＿ｋは、全検索において、ｑ＿ｋ＝ｐ＿ｋの場合に０となり、それ以外の場合は０より大きい値となる。

【0068】

式（５）に示す、全ラベルのラベル情報量ｆ＿ｋを平均化した値ｆは、類似画像の検索がラベルの頻度分布にどの程度、影響を与えているかを表す指標となる。

【0069】

【数5】

【0070】

次に、ｔｒｉｐｌｅｔ生成部１０３は、全ラベルについて処理が完了したか否かを判定する（ステップＳ３０７）。

【0071】

全てのラベルについて処理が完了していない場合、ｔｒｉｐｌｅｔ生成部１０３はステップＳ３０５に戻る。

【0072】

全てのラベルについて処理が完了した場合、ｔｒｉｐｌｅｔ生成部１０３は、クエリ画像として選択された画像から一つのクエリ画像を選択する（ステップＳ３０８）。

【0073】

ｔｒｉｐｌｅｔ生成部１０３は、選択されたクエリ画像と類似画像との間のラベル類似度を算出する（ステップＳ３０９）。

【0074】

ラベル類似度は、ラベルに基づく画像間の類似度を表す。画像ｘ及び画像ｙの組のラベル類似度ｓ（ｘ，ｙ）を式（６）で定義する。ここで、Ｘは画像ｘに付与されたラベルの集合を表し、Ｙは画像ｙに付与されたラベルの集合を表す。

【0075】

【数6】

【0076】

集合Ｘ及び集合Ｙが一致する場合、ラベル類似度ｓ（ｘ，ｙ）は最大値「１」となり、集合Ｘ及び集合Ｙが全く一致しない場合（集合Ｘ及び集合Ｙの積集合が空集合の場合）、ラベル類似度ｓ（ｘ，ｙ）は最小値「０」となる。ラベル類似度は、ラベル情報量の値が大きいラベルが一致するほど大きい値となる。

【0077】

ｔｒｉｐｌｅｔ生成部１０３は、各類似画像のラベル類似度に基づいて、ｔｒｉｐｌｅｔを生成する（ステップＳ３１０）。

【0078】

実施例１では、類似画像の間のラベル類似度の差（ギャップ）を考える。ラベル類似度のギャップｇ（ｑ，ｘ，ｙ）を式（７）で定義する。ここで、ｑはクエリ画像を表す。

【0079】

【数7】

【0080】

図６は、クエリ画像と類似画像との間のラベル類似度の関係を示す図である。横軸は特徴量ベクトルの類似の順位（類似順位）を表し、縦軸はラベル類似度を表す。ラベル類似度のギャップが大きい類似画像の組を正事例及び負事例として組み合わせることによって、効率的な学習を実現するｔｒｉｐｌｅｔを生成することができる。

【0081】

具体的には、ｔｒｉｐｌｅｔ生成部１０３は、一つの類似画像を選択し、当該類似画像より類似順位が低い類似画像との間で、ラベル類似度のギャップを算出する。ｔｒｉｐｌｅｔ生成部１０３は、ラベル類似度のギャップが最大となる類似画像の組み合わせを抽出する。ｔｒｉｐｌｅｔ生成部１０３は、抽出された類似画像の組において、類似順位が低い類似画像を正事例として選択し、類似順位が高い類似画像を負事例として選択する。さらに、ｔｒｉｐｌｅｔ生成部１０３は、クエリ画像と、正事例、及び負事例を含むｔｒｉｐｌｅｔを生成する。このとき、ｔｒｉｐｌｅｔ生成部１０３は、ｔｒｉｐｌｅｔにラベル類似度のギャップを関連付ける。

【0082】

なお、一つのクエリ画像に対して一つ以上のｔｒｉｐｌｅｔが生成される。

【0083】

ｔｒｉｐｌｅｔ生成部１０３は、クエリ画像として選択された全ての画像について処理が完了したか否かを判定する（ステップＳ３１１）。

【0084】

クエリ画像として選択された全ての画像について処理が完了していない場合、ｔｒｉｐｌｅｔ生成部１０３は、ステップＳ３０８に戻る。

【0085】

クエリ画像として選択された全ての画像について処理が完了した場合、ｔｒｉｐｌｅｔ生成部１０３はｔｒｉｐｌｅｔ生成処理を終了する。

【0086】

ここで、ステップＳ２０４のｔｒｉｐｌｅｔの選択方法について説明する。ｔｒｉｐｌｅｔ生成部１０３は、ラベル類似度のギャップの大きい順に、所定の数のｔｒｉｐｌｅｔを選択する。

【0087】

ここで、モデルの更新方法について説明する。モデル更新部１０４は、ｔｒｉｐｌｅｔ配列から、ミニバッチ分のｔｒｉｐｌｅｔを順次読み出し、モデルの学習処理を実行する。

【0088】

本実施の終了条件としては、エポック数が閾値より大きい場合、又は、ラベル情報量の平均の増大がない場合等が考えられる。学習装置１００は、エポックの処理を実行してもラベル情報量の平均が増大しない場合、類似画像の検索によるラベルの頻度分布への効果の変動が収束したもの判定する。この場合、学習装置１００は、ラベル情報量の平均が最大となったエポックの処理において更新されたモデルを採用するようにすればよい。

【0089】

以上で説明したように、実施例１によれば、マルチラベルのデータに対してラベル類似度を導入することによって、画像の特徴量ベクトルを出力するモデルの学習に有用なｔｒｉｐｌｅｔを生成することができる。

【0090】

実施例１では、マルチラベルのデータの一例として画像を例に説明したが、本発明は、画像以外のデータに対しても適用することができる。

【0091】

なお、ｔｒｉｐｌｅｔの生成とモデルの学習とを別々の装置として実現してもよい。

【実施例0092】

実施例２では、学習データ１１１の生成処理及びラベル情報量の算出方法が異なる。以下、実施例１との差異を中心に実施例２について説明する。

【0093】

実施例２の学習装置１００のハードウェア構成及び機能構成は実施例１と同一である。

【0094】

実施例２では、学習データ１１１の生成処理が一部異なる。具体的には、ステップＳ１０６において、学習装置１００は、単語及び単語の出現頻度を画像に付与することによって、学習データ１１１を生成する。

【0095】

ここで、画像ｊに付与されるラベルの数をｔ＿ｊとする。各画像に付与されるラベルの数の総和をＴとする。また、ラベルｋの出現頻度ｍ＿ｋとする。このとき、式（８）に示すような関係が成り立つ。

【0096】

【数8】

【0097】

実施例２の学習処理は実施例１と同一である。実施例２のｔｒｉｐｌｅｔ生成処理は実施例１と同一である。ただし、実施例２では、ラベルが付与された画像の数ではなく、ラベルの出現頻度に基づいてラベル情報量が算出される。

【0098】

画像に付与されるラベルの数は異なるため、類似画像の検索によって検索された類似画像に付与されるラベルの数の総和はクエリ画像ごとに異なる。２項分布を仮定した場合、対数尤度は式（９）で与えられる。ここで、Ｓ＿ｉは、クエリ画像ｉの類似画像に付与されるラベルの数の総和を表す。また、ｓ＿ｉｋは、クエリ画像ｉの類似画像において、ラベルｋが出現した頻度を表す。

【0099】

【数9】

【0100】

ラベルｋが付与された画像の出現頻度が、無作為に画像を選択した場合と同等と仮定した場合、パラメータθ＿ｉｋは式（１０）で与えられる。これを、ｐ＿ｋとする。

【0101】

【数10】

【0102】

選択されたラベルが付与された画像の出現頻度がクエリ画像ｉに固有の分布に従うものと仮定した場合、最大推定量は式（１１）で与えられる。これを、ｑ＿ｋとする。

【0103】

【数11】

【0104】

実施例２では、ラベル情報量ｆ＿ｋを式（１２）で定義する。

【0105】

【数12】

【0106】

式（１３）で定義されるラベル情報量ｆ＿ｋの平均ｆは、実施例１と同様に、類似画像の検索がラベルの頻度分布にどの程度、影響を与えているかを表す指標となる。

【0107】

【数13】

【0108】

実施例２では、ラベル類似度を式（１４）で定義する。ここで、ｃ＿ｋ（ｘ）は、画像ｘにラベルｋが出現する頻度を表す。ｃ＿ｋ（ｘ）が０又は１の場合、式（１４）は式（６）と一致する。

【0109】

【数14】

【0110】

実施例２も実施例１と同様の効果を奏する。