特許 7041239 深層距離学習方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-14

(45)【発行日】2022-03-23

(54)【発明の名称】深層距離学習方法およびシステム

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220315BHJP

【ＦＩ】

G06N3/08

【請求項の数】 20

(21)【出願番号】P 2020204341

(22)【出願日】2020-12-09

(65)【公開番号】P2021096848

(43)【公開日】2021-06-24

【審査請求日】2020-12-09

(31)【優先権主張番号】10-2019-0167101

(32)【優先日】2019-12-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】505205812

【氏名又は名称】ネイバー コーポレーション

【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ

(73)【特許権者】

【識別番号】321003371

【氏名又は名称】ＬＩＮＥ株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】具 建謀

(72)【発明者】

【氏名】高 秉秀

【審査官】北川 純次

(56)【参考文献】

【文献】Zheng, W. et. al.，Hardness-Aware Deep Metric Learning，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019年06月，インターネット <URL:https://ieeexplore.ieee.org/document/8953245>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

コンピュータシステムが実行する深層距離学習方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
前記深層距離学習方法は、
前記少なくとも１つのプロセッサにより、埋め込み空間で与えられたオリジナルポイントを利用して合成ポイントを生成する段階であって、ペアを成すオリジナルポイントのうちの一方のオジリナルポイントを通る直線に対する、前記ペアを成すオリジナルポイントのうちの他方のオリジナルポイントの対称点を定めることによって、前記合成ポイントを生成する段階、および
前記少なくとも１つのプロセッサにより、前記オリジナルポイントと前記合成ポイントを利用して深層距離学習に使用するためのハードネガティブペアを定め、前記ハードネガティブペアに基づいて深層距離学習を行う段階 を含む、深層距離学習方法。

【請求項2】

前記合成ポイントを生成する段階は、
前記他方のオリジナルポイントの位置ベクトルの、前記直線に対する投影成分から、前記他方のオリジナルポイントの位置ベクトルを減算したベクトル差に基づいた値と、前記他方のオリジナルポイントの位置ベクトルとのベクトル和を計算することを含むこと
を特徴とする、請求項１に記載の深層距離学習方法。

【請求項3】

前記合成ポイントを生成する段階は、
前記オリジナルポイントの対称情報、または前記オリジナルポイントの組み合わせによる拡張情報を利用して前記合成ポイントを生成すること
を特徴とする、請求項１に記載の深層距離学習方法。

【請求項4】

前記深層距離学習を行う段階は、
同一クラスのオリジナルポイントを埋め込み空間に結合することにより生成された合成ポイント集合を用いて損失関数を最小化すること
を特徴とする、請求項１に記載の深層距離学習方法。

【請求項5】

前記合成ポイントを生成する段階は、
同一クラスの一対のオリジナルポイントが与えられると、オリジナルポイント間を線形補間によって分割し、分割地点に前記合成ポイントを生成することによって合成ポイント集合を生成すること
を特徴とする、請求項１に記載の深層距離学習方法。

【請求項6】

前記ハードネガティブペアを定める段階は、
前記オリジナルポイントと前記合成ポイントを利用して互いに異なる２つのクラス間の複数のネガティブペアを生成する段階、および
各ネガティブペアの類似性または距離に基づき、前記複数のネガティブペアのうちから最もハードなネガティブペアを選択して前記深層距離学習を行う段階
を含む、請求項１に記載の深層距離学習方法。

【請求項7】

前記複数のネガティブペアを生成する段階は、
ポジティブクラスの特徴点とネガティブクラスの特徴点を利用してポジティブポイントとネガティブポイント間の可能なネガティブペアを生成すること
を特徴とする、請求項６に記載の深層距離学習方法。

【請求項8】

前記ハードネガティブペアを定める段階は、
トリプレット損失またはリフテッド構造損失に対して最小プーリングを使用してハードネガティブペアを定める段階
を含む、請求項１に記載の深層距離学習方法。

【請求項9】

前記ハードネガティブペアを定める段階は、
Ｎペア損失または角度損失に対して最大プーリングを使用してハードネガティブペアを定める段階
を含む、請求項１に記載の深層距離学習方法。

【請求項10】

前記ハードネガティブペアを定める段階は、
前記オリジナルポイントと前記合成ポイントを利用してＭＳ損失（ｍｕｌｔｉ－ｓｉｍｉａｒｉｔｙ ｌｏｓｓ）に対してハードネガティブペアを定める段階
を含む、請求項１に記載の深層距離学習方法。

【請求項11】

請求項１～１０のうちのいずれか一項に記載の深層距離学習方法を前記コンピュータシステムに実行させる、コンピュータプログラム。

【請求項12】

請求項１～１０のうちのいずれか一項に記載の深層距離学習方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項13】

コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサ
を含み、
前記少なくとも１つのプロセッサは、
埋め込み空間で与えられたオリジナルポイントを利用して合成ポイントを生成する過程であって、ペアを成すオリジナルポイントのうちの一方のオジリナルポイントを通る直線に対する、前記ペアを成すオリジナルポイントのうちの他方のオリジナルポイントの対称点を定めることによって、前記合成ポイントを生成する過程、および
前記オリジナルポイントと前記合成ポイントを利用して深層距離学習に使用するためのハードネガティブペアを定め、前記ハードネガティブペアに基づいて深層距離学習を行う過程
を処理する、コンピュータシステム。

【請求項14】

前記合成ポイントを生成する過程は、
前記他方のオリジナルポイントの位置ベクトルの、前記直線に対する投影成分から、前記他方のオリジナルポイントの位置ベクトルを減算したベクトル差に基づいた値と、前記他方のオリジナルポイントの位置ベクトルとのベクトル和を計算することを含むこと
を特徴とする、請求項１３に記載のコンピュータシステム。

【請求項15】

前記合成ポイントを生成する過程は、
前記オリジナルポイントの対称情報、または前記オリジナルポイントの組み合わせによる拡張情報を利用して前記合成ポイントを生成すること
を特徴とする、請求項１３に記載のコンピュータシステム。

【請求項16】

前記合成ポイントを生成する過程は、
同一クラスの一対のオリジナルポイントが与えられると、オリジナルポイント間を線形補間によって分割し、分割地点に前記合成ポイントを生成することによって合成ポイント集合を生成すること
を特徴とする、請求項１３に記載のコンピュータシステム。

【請求項17】

前記ハードネガティブペアを定める過程は、
前記オリジナルポイントと前記合成ポイントを利用して互いに異なる２つのクラス間の複数のネガティブペアを生成する過程、および
各ネガティブペアの類似性または距離に基づき、前記複数のネガティブペアのうちから最もハードなネガティブペアを選択して前記深層距離学習を行う過程
を含む、請求項１３に記載のコンピュータシステム。

【請求項18】

前記ハードネガティブペアを定める過程は、
トリプレット損失またはリフテッド構造損失に対して最小プーリングを使用してハードネガティブペアを定めること
を特徴とする、請求項１３に記載のコンピュータシステム。

【請求項19】

前記ハードネガティブペアを定める過程は、
Ｎペア損失または角度損失に対して最大プーリングを使用してハードネガティブペアを定めること
を特徴とする、請求項１３に記載のコンピュータシステム。

【請求項20】

前記ハードネガティブペアを定める過程は、
前記オリジナルポイントと前記合成ポイントを利用してＭＳ損失（ｍｕｌｔｉ－ｓｉｍｉａｒｉｔｙ ｌｏｓｓ）に対してハードネガティブペアを定めること
を特徴とする、請求項１３に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の説明は、深層距離学習（ｄｅｅｐ ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ）技術に関する。

【背景技術】

【0002】

深層距離学習は、データポイント間の意味的類似性の情報を含む埋め込み（ｅｍｂｅｄｄｉｎｇ）を目標にするものであって、例えば、意味的に類似する映像は互いに近くに挿入され、意味的に異なる映像は互いに遠くに挿入される埋め込み空間を学習するものである。

【0003】

このような深層距離学習の接近方式は、サンプルペア（ｓａｍｐｌｅ ｐａｉｒ）間の類似性または距離に基づいている。

【0004】

近年は、距離学習の性能を高めるために、ハードサンプル（ｈａｒｄ ｓａｍｐｌｅ）を生成してモデル学習に使用する方法が提案されている。

【0005】

例えば、特許文献１（公開日２０１９年９月２３日）には，学習映像をサンプリングしてハードネガティブサンプルを抽出する技術が開示されている。

【0006】

従来は、敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）とオートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）によってハードサンプルを生成していた。このような方法は、選択されなかった多数をハードサンプルとして合成し、拡張された情報によってモデルを訓練させる方式である。

【0007】

深層距離学習の性能向上にもかかわらず、距離学習モデルとともにハードサンプルを生成するためには、追加のサブネットワークが必要となる。これは、モデルの大きさ、ハイパーパラメータ（ｈｙｐｅｒ ｐａｒａｍｅｔｅｒ）、訓練時間、訓練難易度などを増加させるという問題を引き起こす。

【先行技術文献】

【特許文献】

【0008】

【文献】韓国公開特許第１０－２０１９－０１０７９８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ｎｅｔｗｏｒｋ）を使用せずにハードサンプルを生成して距離学習に使用することができる。

【0010】

対称的合成（ｓｙｍｍｅｔｒｉｃａｌ ｓｙｎｔｈｅｓｉｓ）によって対称の軸として互いに合成されたポイントをハードサンプルとして生成することができる。

【0011】

特徴点（ｆｅａｔｕｒｅ ｐｏｉｎｔｓ）の組み合わせによって拡張情報（ａｕｇｍｅｎｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ）を含む合成ポイント（ｓｙｎｔｈｅｔｉｃ ｐｏｉｎｔｓ）を生成することができる。

【0012】

距離学習損失を計算するために、オリジナルポイントと合成ポイント内でハードネガティブペアマイニング（ｈａｒｄ ｎｅｇａｔｉｖｅ ｐａｉｒ ｍｉｎｉｎｇ）を実行することができる。

【課題を解決するための手段】

【0013】

コンピュータシステムが実行する深層距離学習方法であって、前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記深層距離学習方法は、前記少なくとも１つのプロセッサにより、埋め込み空間で与えられたオリジナルポイント（ｏｒｉｇｉｎａｌ ｐｏｉｎｔ）を利用して合成ポイント（ｓｙｎｔｈｅｔｉｃ ｐｏｉｎｔ）を生成する段階、および前記少なくとも１つのプロセッサにより、前記オリジナルポイントと前記合成ポイントを利用して距離学習（ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ）に使用するためのハードネガティブペア（ｈａｒｄｎｅｇａｔｉｖｅ ｐａｉｒ）をマイニングする段階を含む、ハードサンプル生成方法を提供する。

【0014】

一側面によると、前記合成ポイントを生成する段階は、１つのオリジナルポイントに他の１つのオリジナルポイントを投影したポイントを利用した代数計算（ａｌｇｅｂｒａｉｃ ｃｏｍｐｕｔａｔｉｏｎ）によって前記合成ポイントを生成してよい。

【0015】

他の側面によると、前記合成ポイントを生成する段階は、前記オリジナルポイントの対称情報、または前記オリジナルポイントの組み合わせによる拡張情報を利用して前記合成ポイントを生成してよい。

【0016】

また他の側面によると、前記合成ポイントを生成する段階は、同一クラスのオリジナルポイントを埋め込み空間に結合して距離学習損失に関する情報を拡張させることによって合成ポイント集合を生成してよい。

【0017】

また他の側面によると、前記合成ポイントを生成する段階は、同一クラスの一対のオリジナルポイントが与えられると、２つのオリジナルポイント間を線形補間によって分割し、分割地点に前記合成ポイントを生成することによって合成ポイント集合を生成してよい。

【0018】

また他の側面によると、前記ハードネガティブペアをマイニングする段階は、前記オリジナルポイントと前記合成ポイントを利用して互いに異なる２つのクラス間の複数のネガティブペアを生成する段階、および各ネガティブペアの類似性または距離に基づき、前記複数のネガティブペアのうちから最もハードなネガティブペアを選択して距離学習損失に使用する段階を含んでよい。

【0019】

また他の側面によると、前記複数のネガティブペアを生成する段階は、ポジティブクラスの特徴点とネガティブクラスの特徴点を利用してポジティブポイントとネガティブポイント間の可能なネガティブペアを生成してよい。

【0020】

また他の側面によると、前記ハードネガティブペアをマイニングする段階は、トリプレット損失（ｔｒｉｐｌｅｔ ｌｏｓｓ）またはリフテッド構造損失（ｌｉｆｔｅｄ ｓｔｒｕｃｔｕｒｅ ｌｏｓｓ）に対し、最小プーリングを使用してハードネガティブペアマイニングを実行する段階を含んでよい。

【0021】

また他の側面によると、前記ハードネガティブペアをマイニングする段階は、Ｎペア損失（Ｎ－ｐａｉｒ ｌｏｓｓ）または角度損失（ａｎｇｕｌａｒ ｌｏｓｓ）に対し、最大プーリングを使用してハードネガティブペアマイニングを実行する段階を含んでよい。

【0022】

さらに他の側面によると、前記ハードネガティブペアをマイニングする段階は、ＭＳ損失（ｍｕｌｔｉ－ｓｉｍｉａｒｉｔｙ ｌｏｓｓ）に対し、前記オリジナルポイントと前記合成ポイントを使用してハードネガティブペアマイニングを実行する段階を含んでよい。

【0023】

前記深層距離学習方法を前記コンピュータシステムに実行させるために非一時的なコンピュータ読み取り可能な記録媒体に記録される、コンピュータプログラムを提供する。

【0024】

前記深層距離学習方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体を提供する。

【0025】

コンピュータシステムであって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、埋め込み空間で与えられたオリジナルポイントを利用して合成ポイントを生成する過程、および前記オリジナルポイントと前記合成ポイントを利用して距離学習に使用するためのハードネガティブペアをマイニングする過程を処理する、コンピュータシステムを提供する。

【発明の効果】

【0026】

本発明の実施形態によると、追加の生成ネットワークを使用せずに埋め込み空間での幾何学計算（ｇｅｏｍｅｔｒｉｃ ｃｏｍｐｕｔａｔｉｏｎ）を利用してハードサンプルを生成することができるため、距離学習損失に対するハイパーパラメータがフリーとなり、訓練時間と訓練難易度の増加問題を解決することができる。

【0027】

本発明の実施形態によると、対称的合成によってハードサンプルを生成することにより、サンプルペア間の類似性または距離に基づいて計算されるすべての距離学習損失（ｔｒｉｐｌｅｔ、Ｎ－ｐａｉｒ、ａｎｇｕｌａｒ、ｌｉｆｔｅｄ ｓｔｒｕｃｔｕｒｅ）にプラグアンドプレイ（ｐｌｕｇ＆ｐｌａｙ）方式で使用することができるため、学習性能を向上させることができる。

【0028】

本発明の実施形態によると、特徴点の組み合わせによって拡張情報を含む合成ポイントを生成することにより、より簡単かつ柔軟な方法でモデルの大きさ、訓練速度、最適化難易度に影響を与えることなくペアベースの距離学習損失（ｐａｉｒ－ｂａｓｅｄ ｍｅｔｒｉｃ ｌｅａｒｎｉｎｇ ｌｏｓｓ）に結合することで、使用可能なモデルを構築することができる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態における、コンピュータシステムの内部構成の一例を説明するためのブロック図である。

【図2】本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図である。

【図3】本発明の一実施形態における、コンピュータシステムが実行することのできる深層距離学習方法の例を示したフローチャートである。

【図4】本発明の一実施形態における、距離学習のための対称的な合成過程を説明するための例示図である。

【図5】本発明の一実施形態における、対称ポイントを生成する過程を説明するための例示図である。

【図6】本発明の一実施形態における、ハードネガティブペアマイニング過程を説明するための例示図である。

【図7】本発明の一実施形態における、コンピュータシステムが実行することのできる深層距離学習方法の例を示したフローチャートである。

【図8】本発明の一実施形態における、埋め込みポイント拡張過程を説明するための例示図である。

【図9】本発明の一実施形態における、特徴点の組み合わせによって合成ポイントを生成する過程を説明するための例示図である。

【発明を実施するための形態】

【0030】

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

【0031】

本発明の実施形態は、深層距離学習技術に関する。

【0032】

本明細書で具体的に開示される事項を含む実施形態は、生成ネットワークを使用する代わりに、埋め込みに簡単な代数計算（ａｌｇｅｂｒａｉｃ ｃｏｍｐｕｔａｔｉｏｎ）で幾何学的接近としてハードサンプルを生成することができ、これにより、ハイパーパラメータのフリーと訓練速度の減少はもちろん、ネットワークを修正することなくプラグアンドプレイ方式として距離学習損失に容易に使用することができる。

【0033】

図１は、本発明の一実施形態における、コンピュータシステムの例を示したブロック図である。例えば、本発明の実施形態に係る深層距離学習システムは、図１に示したコンピュータシステム１００によって実現されてよい。

【0034】

図１に示すように、コンピュータシステム１００は、本発明の実施形態に係る深層距離学習方法を実行するための構成要素として、メモリ１１０、プロセッサ１２０、通信インタフェース１３０、および入力／出力インタフェース１４０を含んでよい。

【0035】

メモリ１１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ１１０とは区分される別の永続的記録装置としてコンピュータシステム１００に含まれてもよい。また、メモリ１１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが記録されてよい。このようなソフトウェア構成要素は、メモリ１１０とは別のコンピュータ読み取り可能な記録媒体からメモリ１１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース１３０を通じてメモリ１１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１６０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータシステム１００のメモリ１１０にロードされてよい。

【0036】

プロセッサ１２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ１１０または通信インタフェース１３０によって、プロセッサ１２０に提供されてよい。例えば、プロセッサ１２０は、メモリ１１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

【0037】

通信インタフェース１３０は、ネットワーク１６０を介してコンピュータシステム１００が他の装置と互いに通信するための機能を提供してよい。一例として、コンピュータシステム１００のプロセッサ１２０がメモリ１１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース１３０の制御にしたがってネットワーク１６０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データファイルなどが、ネットワーク１６０を経てコンピュータシステム１００の通信インタフェース１３０を通じてコンピュータシステム１００に受信されてよい。通信インタフェース１３０を通じて受信された信号や命令、データなどは、プロセッサ１２０やメモリ１１０に伝達されてよく、ファイルなどは、コンピュータシステム１００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

【0038】

通信方式が限定されることはなく、ネットワーク１６０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１６０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１６０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

【0039】

入力／出力インタフェース１４０は、入力／出力装置１５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、カメラ、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース１４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置１５０は、コンピュータシステム１００と１つの装置で構成されてもよい。

【0040】

また、他の実施形態において、コンピュータシステム１００は、図１の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータシステム１００は、上述した入力／出力装置１５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。

【0041】

先ず、距離学習とハードネガティブペアマイニング、およびハードサンプル生成の技術について説明する。

【0042】

距離学習
特徴表現（ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を利用した類似性および距離に基づいて距離学習損失が利用されている。最も簡単な損失の１つがトリプレット損失（ｔｒｉｐｌｅｔ ｌｏｓｓ）であるが、これは、固定された相対的余裕をもつポジティブペアよりもネガティブペアをより多く分離するためにサンプルのトリプレットが必要となる。トリプレット損失を利用する場合、効率的な訓練のためのサンプリングを提供するためには多くのサンプリングコストが必要となる。このような問題を解決するために、互いに異なるクラスのＮ－１ネガティブサンプルを考慮したＮペア損失（Ｎ－ｐａｉｒ ｌｏｓｓ）を提案する。Ｎペア損失と同じように、すべてのネガティブサンプルを一括的に統合して埋め込み機能を訓練させるために、リフテッド構造損失（ｌｉｆｔｅｄ ｓｔｒｕｃｔｕｒｅ ｌｏｓｓ）を提案する。角度損失（ａｎｇｕｌａｒ ｌｏｓｓ）は、距離測定計が尺度に敏感であると見なしてサンプル間の２次情報だけを考慮したものであり、三角形のネガティブポイントで角度を制限する。

【0043】

ハードネガティブペアマイニング
ハードネガティブペアマイニングは、深層距離学習を実行するのに必須となる役割を担う。ハードネガティブペアマイニング戦略の目的は、訓練過程でより多くの情報を提供するフォールスポジティブサンプル（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ ｓａｍｐｌｅ）を漸進的に選択することにある。例えば、オフラインハードネガティブペアマイニングは、以前に訓練されたモデルによって選択されたハードネガティブサンプルによってモデルを繰り返し微調整する方法である。オンラインハードネガティブペアマイニングは、トリプレット損失を計算するために一括的に最もハードなポジティブとネガティブを選択する方法である。セミハードネガティブペアマイニングは、最もハードなポジティブおよびネガティブのようにデータでノイズになり得る極めて紛らわしいサンプルを避けるための方法である。しかし、マイニング戦略は、選択された少数に焦点を合わせるが選択されなかった多数は見逃すものが殆どであるため、偏向的なモデルに繋がり得るという限界を抱えている。

【0044】

ハードサンプル生成
近年、多数の容易なネガティブ要素を利用して特別な意味情報をもつモデルを訓練させるために、合成ハードサンプルが利用されている。例えば、深層敵対距離学習（ＤＡＭＬ）フレームワークは、敵対的方式によって容易なネガティブサンプルから合成ハードサンプルを生成する。同じように、ハードトリプレット生成のための敵対ニューラルネットワークは、合成ハードサンプルによってモデルを訓練する。硬度認識深層距離学習（ＨＤＭＬ）フレームワークは、オートエンコーダアーキテクチャを利用して埋め込みでラベル記録合成物を生成して硬度レベルを操作する。上述したような方法は、追加の生成ネットワークを必要するものであるが、より大きなモデル、より遅い訓練速度、より多くのハイパーパラメータをもたらす。

【0045】

本実施形態では、生成ネットワークを使用する代わりに、埋め込みに簡単な代数計算によって幾何学的接近としてハードサンプルを生成し、これにより、ハイパーパラメータの追加や訓練速度の増加、さらにはネットワーク修正などの問題なく、従来の距離学習損失に容易に使用することができる。

【0046】

図２は、本発明の一実施形態における、コンピュータシステムのプロセッサが含むことのできる構成要素の例を示した図であり、図３は、本発明の一実施形態における、コンピュータシステムが実行することのできる深層距離学習方法の例を示したフローチャートである。

【0047】

図２に示すように、プロセッサ１２０は、生成部２０１およびマイニング部２０２を含んでよい。このようなプロセッサ１２０の構成要素は、少なくとも１つのプログラムコードによって提供される制御命令にしたがってプロセッサ１２０によって実行される、互いに異なる機能の表現であってよい。例えば、プロセッサ１２０がオリジナルポイントに対する対称的な合成ポイントを生成するようにコンピュータシステム１００を制御するために動作する機能的表現として、生成部２０１が使用されてよい。

【0048】

プロセッサ１２０およびプロセッサ１２０の構成要素は、図３の深層距離学習方法が含む段階３１０～３２０を実行してよい。例えば、プロセッサ１２０およびプロセッサ１２０の構成要素は、メモリ１１０が含むオペレーティングシステムのコードと、上述した少なくとも１つのプログラムコードとによる命令を実行するように実現されてよい。ここで、少なくとも１つのプログラムコードは、深層距離学習方法を処理するために実現されたプログラムのコードに対応してよい。

【0049】

深層距離学習方法は、図に示された順に発生しないこともあり、段階のうちの一部が省略されるか追加の過程がさらに含まれることもある。

【0050】

プロセッサ１２０は、深層距離学習方法のためのプログラムファイルに記録されたプログラムコードをメモリ１１０にロードしてよい。例えば、深層距離学習方法のためのプログラムファイルは、メモリ１１０とは区分される永続的記録装置に記録されていてよく、プロセッサ１２０は、バスを介して永続的記録装置に記録されたプログラムファイルからプログラムコードがメモリ１１０にロードされるようにコンピュータシステム１００を制御してよい。このとき、プロセッサ１２０およびプロセッサ１２０が含む生成部２０１およびマイニング部２０２それぞれは、メモリ１１０にロードされたプログラムコードのうちの対応する部分の命令を実行して以下の段階３１０～３２０を実行するためのプロセッサ１２０の互いに異なる機能的表現であってよい。段階３１０～３２０の実行のために、プロセッサ１２０およびプロセッサ１２０の構成要素は、制御命令による演算を直接処理するか、またはコンピュータシステム１００を制御してよい。

【0051】

図３を参照すると、本発明に係る深層距離学習方法の一例は、次の２つの段階を含んでよい。

【0052】

段階３１０で、生成部２０１は、埋め込み空間で与えられたオリジナルポイントに対して対称的な合成ポイントを生成してよい。

【0053】

段階３２０で、マイニング部２０２は、オリジナルポイントと合成ポイントを利用して距離学習損失に対してハードネガティブペアマイニングを実行してよい。

【0054】

図４を参照すると、先ず、生成部２０１は、埋め込み空間にポジティブポイントｘ_ｉ、ｘ_ｊとネガティブポイントｘ_ｋ、ｘ_ｌが与えられると、ネガティブポイントの場合、各対称軸に対して合成ポイントｘ’_ｋ、ｘ’_ｌを生成する。

【0055】

次に、マイニング部２０２は、４つの特徴点、すなわち、２つのオリジナルポイントと２つの合成ポイント内から最もハードなネガティブポイントを選択してよい。図４は、合成ポイントのうちからｘ’_ｋがハードサンプルとして選択される過程を例示的に示している。図４において、四角形と円形は、埋め込み空間で互いに異なるクラスに属するポイントを示し、実線の四角形と実線の円形のポイントはオリジナルフィーチャに該当し、点線の四角形のポイントは合成フィーチャに該当する。

【0056】

深層距離学習方法を具体的に説明すれば、次のとおりとなる。

【0057】

段階３１０は、埋め込みで対称的な合成ポイントを生成する過程である。

【0058】

Iはデータ空間であり、χはｄ次元の埋め込み空間であるとする。

【数1】

を、データ空間から深層ニューラルネットワークによってパラメータが指定された埋め込み空間へのマッピングであると定義する。各ポイントｘ_ｉがラベルｌ_ｉ∈｛１，．．．，Ｃ｝を有するとき、特徴点集合Ｘ＝［ｘ_１，ｘ_２，．．．，ｘ_Ｎ］をサンプリングする。

【0059】

生成部２０１は、同一クラスの２つの特徴点ｘ_ｋ、ｘ_ｌが与えられる場合に、それぞれを対称軸として合成ポイントｘ’_ｋ、ｘ’_ｌを生成してよい。図５を参照すると、合成ポイントｘ’_ｋを得るためにｘ_ｌにｘ_ｋを投影するｒ^ｌ _ｋを、数式（１）のように定義する。

【数2】

【0060】

ここで、ｕ_ｘｌはｘ_ｌの単位ベクトルであり、

【数3】

である。

【0061】

合成ポイントｘ’_ｋは、数式（２）のように代数的公式で簡単に表現できる。

【数4】

【0062】

ここで、αは、合成ポイントがオリジナルポイントからどのくらい遠く離れているかに関するものであり、βは、合成ポイントのノルム（ｎｏｒｍ）がどれほど大きいかに関するものである。対称的な合成ポイントはα＝２．０、β＝１．０であるときに得られ、αとＢは説明と例示だけのためのものであってハイパーパラメータに該当しない。他の対称的な合成ポイントｘ’_ｌも、同じ方法で生成されてよい。

【0063】

言い換えれば、対称軸ｘ_ｌを基準としてｘ_ｋと対称となるポイントｘ’_ｋを生成し、これと反対に、対称軸ｘ_ｋを基準としてｘ_ｌと対称となるポイントｘ’_ｌを生成する。

【0064】

最終的に、２つのオリジナルポイントと２つの合成ポイント、すなわち４つの特徴点を得るようになる。

【0065】

合成ポイントが対称的な属性を含んで生成されなければならない２つの理由がある。

【0066】

１つ目の理由として、対称的な合成が、ペア間の同一のコサイン類似性とユークリッド（Ｅｕｃｌｉｄｅａｎ）距離を提供するということにある（

【数5】

）。このようにすれば、選択したネガティブペアに含まれたポジティブポイントが同一の類似性と距離をもつようになるため、生成されたポイントが損失のポジティブペアに影響を及ぼさない。

【0067】

２つ目の理由として、生成された合成ポイントは、常にオリジナルポイントと同じノルム（Ｎｏｒｍ）をもつためである。すべての距離学習損失はノルムの影響を受ける。これを制御するために、トリプレット損失は、ｌ２（エルツー）正規化を実行してハイパー球空間（ｈｙｐｅｒ－ｓｐｈｅｒｅ ｓｐａｃｅ）に特徴点を投影し、Ｎペアおよび角度損失は、空間でｌ２正規化をせずに正則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）する。

【0068】

したがって、ｌ２正規化されたポイントによって生成された合成ポイントは、ハイパー球空間にあるはずであり、非（ｎｏｎ）ｌ２正規化されたポイントによって生成された合成ポイントは、ユークリッド空間のオリジナルポイントと同じ標準になるであろう。これは、訓練過程中に標準に対する統制の連続性を提供し、最適化を妨害しないようにする。

【0069】

段階３２０は、対称的な合成を利用するために、各距離学習損失に対してハードネガティブペアマイニングを実行する。図４に示すように、アンカーベースのネガティブペアを採択する代りに、ポジティブクラスのすべてのオリジナルポイントと合成ポイントを追加で使用することにより、図６に示すように、ネガティブペアの数を拡大してよい。マイニング部２０２は、ポジティブクラスの４つの特徴点ｘ_ｉ、ｘ_ｊ、ｘ’_ｉ、ｘ’_ｊとネガティブクラスの４つの特徴点ｘ_ｋ、ｘ_ｌ、ｘ’_ｋ、ｘ’_ｌを考慮しながら、先ずポジティブポイントとネガティブポイントとの間の１６個の可能なネガティブペア類似性を計算した後、類似性に基づいて距離学習損失に対して最もハードなネガティブペアを選択する。

【0070】

言い換えれば、図６を参照すれば、クラスごとに合成ポイントを生成するようにすると、２つのクラスの間に１６個のネガティブペア（点線矢印）が生成されるようになる。１６個のネガティブペアの類似性とユークリッド距離を計算し、このうちの最もハードなネガティブペア（実線矢印）を距離学習損失に使用する。このような過程がハードネガティブペアマイニングに該当する。

【0071】

ハードネガティブペアマイニング過程は、現在存在する距離学習損失（ｔｒｉｐｌｅｔ、Ｎ－ｐａｉｒ、ａｎｇｕｌａｒ、ｌｉｆｔｅｄ ｓｔｒｕｃｔｕｒｅ ｌｏｓｓ）への適用が可能である。

【0072】

ポイントペアのコサイン類似性とユークリッド距離は、対称属性（

【数6】

）によって同一するため、単純性のために、ポジティブペア（すなわち、

【数7】

）に対してオリジナルポジティブポイントを使用してよい。距離学習損失と対称的な合成の組み合わせの式を利用してもよい。

【0073】

Ｐをオリジナルポイントがあるポジティブペアの集合となるようにし、Ｎ^＾ _{ｌｉ，ｌｋ}はクラスｌ_ｉのポジティブポイント、対称合成を含んだクラスｌ_ｋのネガティブペアの集合となるようにする。

【0074】

トリプレット損失は、数式（３）のように定義されるサンプルの３ペアを考慮する。

【数8】

【0075】

ここで、ｍはマージンであり、

【数9】

はユークリッド距離であり、［・］_＋はヒンジ関数（ｈｉｎｇｅ ｆｕｎｃｔｉｏｎ）を示す。

【0076】

対称合成のために、Ｎ^＾ _{ｌｉ，ｌｋ}において、ネガティブペアのユークリッド距離の間に、最小プーリングによってハードネガティブペアマイニングとトリプレット損失を結合する（数式（４））。

【数10】

【0077】

リフテッド構造損失は、各ポジティブペアに対してすべてのネガティブペアに対する距離を比較し、すべてのネガティブポイントをマージンよりも遠くに押し出す。より正確に説明すれば、数式（５）のように最小化を実行する。

【数11】

【0078】

トリプレット損失と同じように、数式（６）のように最小プーリング（ｍｉｎ－ｐｏｏｌｉｎｇ）を使用して対称合成およびリフテッド構造損失の組み合わせを公式化してよい。

【数12】

【0079】

Ｎペア損失の場合、追加のネガティブサンプルをトリプレットとして見なし、トリプレットはＮ－ｔｕｐｌｅｔに変換する。Ｎペア損失は、数式（７）のように定義される。

【数13】

【0080】

ここで、

【数14】

は、埋め込みｘ_ｉとｘ_ｊとの類似性である。

【0081】

コサイン類似性のために最大プーリング（ｍａｘ－ｐｏｏｌｉｎｇ）を追加して対称合成によってＮペア損失を公式化し、ミニバッチ（ｍｉｎｉ－ｂａｔｃｈ）のすべてのネガティブクラスに対してハードネガティブペアマイニングを実行する（数式（８））。

【数15】

【0082】

３次関係をネガティブポイントでエンコードするために角度損失が提案される（数式（９））。

【数16】

【0083】

ここで、

【数17】

である。

【0084】

Ｎペア損失と同じように、数式（１０）のように、すべてのネガティブクラスにハードネガティブペアマイニングのための最大プーリングを追加することにより、対称合成と各損失合成を結合してよい。

【数18】

【0085】

ここで、Ｎ^＾ _{ｌｉ，ｌｋ}は、クラスｌ_ｉでポジティブポイント２つと、ｆ^ｎ _{ｉ，ｊ，ｋ}で使用するクラスｌ_ｋでネガティブポイント１つを有するトリプレットセットである。

【0086】

対称合成が距離学習に役立つ理由について、以下のように説明する。

【0087】

１つ目の理由として、サンプリング戦略を使用する損失では、意味のある少数のデータだけが損失に使用され、意味のない大多数のデータは無視されるが、このとき、合成特徴点を使用すれば、無視されるデータを利用して合成ポイントを生成することができ、これを利用して拡張された情報で学習することができるため、より一般化されたモデルを学習することができる。

【0088】

２つ目の理由として、対称的なポイントは主にクラスタの境界線に生成されるため、ハードネガティブとして利用されることができる。オリジナルポイントと合成ポイント内において、ハードネガティブペアマイニングは、距離学習損失がより大きい力によって他のクラスを押し出すようにするため、クラスタリングとイメージ検索性能の向上に役立つ。

【0089】

本発明の他の実施形態として、深層距離学習損失に対する埋め込みポイントを確張する方法（ｅｍｂｅｄｄｉｎｇ ｐｏｉｎｔ ｅｘｐａｎｓｉｏｎ：ＥＥ）を提案する。

【0090】

先ず、関連技術について以下のように説明する。

【0091】

クエリ拡張およびデータベース拡大
クエリのイメージ特徴を考慮してみるとき、クエリと一致するデータベースからイメージ特徴の順位リストを検索し、オリジナルクエリとともに高い順位を検索したイメージ特徴を結合する。この後、結合されたイメージ特徴を再びクエリしてマッチングイメージの拡張集合を検索し、必要によってはプロセスを繰り返す。クエリ拡張と同じように、データベース拡大（ＤＢＡ）は、イメージ特徴の品質を改善するために、データベースのすべてのイメージ特徴を自身の隣の組み合わせと替える。本実施形態に係る埋め込みポイント拡張は、このような概念、すなわち、隣の特徴を活用することにより、イメージ表現を拡張させるためのイメージ特徴の組み合わせを利用してよい。本実施形態に係る埋め込みポイント拡張は、後処理ではなく訓練段階で使用される。より具体的に説明すると、本実施形態は、距離学習損失に対するセマンティック情報を拡張させるために同一クラスで多数の組み合わせを生成する。

【0092】

ＭＳ（ｍｕｌｔｉ－ｓｉｍｉａｒｉｔｙ）損失
上述した距離学習損失（ｔｒｉｐｌｅｔ、Ｎ－ｐａｉｒ、ａｎｇｕｌａｒ、ｌｉｆｔｅｄ ｓｔｒｕｃｔｕｒｅ ｌｏｓｓ）の他にも、新しい距離学習損失としてＭＳ損失を利用してよい。

【0093】

ＭＳ損失は、距離学習損失に関する最近の研究の１つであって、モデルが情報ペアを収集して加重することを可能にする自己類似性と相対的類似性を共同で測定するものである。

【0094】

以下、数式において、ラベルｙ［ｉ］∈｛１，．．．，Ｃ｝は、数式におけるラベルｌ_ｉ∈｛１，．．．，Ｃ｝と同じであり、

【数19】

は、ユークリッド距離であって、数式における

【数20】

と同じである。

【0095】

ＭＳ損失は、ポジティブペアとネガティブペアの両方のためのペアマイニングを実行する。｛ｘ_ｉ，ｘ_ｊ｝のネガティブペアは数式（１１）の条件によって選択され、｛ｘ_ｉ，ｘ_ｊ｝のポジティブペアは数式（１２）の条件によって選択される。

【数21】

【0096】

ここで、εは、与えられたマージンである。アンカーｘ_ｉの場合、ポジティブペアとネガティブペアのインデックス集合をそれぞれＰ^～ _ｉとＮ^～ _ｉで示す。この後、ＭＳ損失を数式（１３）のように公式化してよい。

【数22】

【0097】

ここで、α、β、λはハイパーパラメータであり、Ｎは訓練サンプルの数を示す。ＭＳ損失も同じように、埋め込み特徴でｌ２正規化を使用する。

【0098】

図７を参照すると、本発明に係る深層距離学習方法の他の例は、以下の２つの段階を含んでよい。

【0099】

段階７１０で、生成部２０１は、埋め込み空間でオリジナルポイントを結合して拡張されたイメージ表現をもつ合成ポイントを生成してよい。

【0100】

段階７２０で、マイニング部２０２は、オリジナルポイントと合成ポイントを利用して距離学習損失に対してハードネガティブペアマイニングを実行してよい。

【0101】

図８を参照すると、段階７１０では、同一クラスの一対の埋め込みポイントが与えられると、埋め込みポイントライン間で線形補間を実行してｎ＋１個の部分に等分し、等分による内部分割合成ポイントをｎ個生成する。ｎは合成ポイントの数であり、図８ではｎ＝２である。段階７２０では、オリジナルポイントと合成ポイントのネガティブペア内から可能な限り最もハードなネガティブペアを選択する。図８において、四角形と円形は互いに異なる２つのクラスを示し、実線の四角形と実線の円形はオリジナルポイントを、点線の四角形と点線の円形は合成ポイントを示す。

【0102】

言い換えれば、生成部２０１は、２つの点の間をｎ＋１個に均等に分けた地点に合成ポイントを生成することによってｎ個の合成ポイントを生成し、マイニング部２０２は、オリジナルポイントと合成ポイントとの間でハードネガティブペアマイニングを実行することができる。

【0103】

本実施形態は、拡張された情報を含む合成ポイントを活用することにより、より一般化されたモデルによって性能を向上させることができ、ペアベースの距離学習損失に結合することができる程に簡単かつ柔軟である。

【0104】

深層距離学習方法について、以下のように具体的に説明する。

【0105】

段階７１０は、埋め込みポイント拡張（ＥＥ）のために、同一クラスの特徴点を埋め込み空間に結合して距離学習損失に関する情報を拡張させることによって複数の合成ポイントを生成する過程である。

【0106】

より具体的な説明のために図９を参照すると、埋め込みポイント拡張（ＥＥ）は、２つの特徴点｛ｘ_ｉ，ｘ_ｊ｝間を線形補間することにより、特徴点の間をｎ＋１個の均等な区間に内分する合成ポイントを生成する。

【0107】

埋め込み空間において同一クラスの２つの特徴点｛ｘ_ｉ，ｘ_ｊ｝が与えられる場合に、２つの特徴点｛ｘ_ｉ，ｘ_ｊ｝間をｎ＋１個に均等に分割して内部的に分割ポイント^－ｘ^ｉｊ _ｋを分割区間に生成することにより、合成ポイント^－Ｓ^ｉｊ _ｋの集合を得ることができる。

【数23】

【0108】

ここで、ｎは、生成されるポイントの数である。トリプレット損失、リフテッド構造損失、ＭＳ損失のようにｌ２正規化を使用する距離学習損失に対しては、次のようにｌ２正規化を合成ポイントに適用しなければならない。

【数24】

【0109】

ここで、^～ｘ^ｉｊ _ｋはｌ２正規化された合成ポイントであり、^～Ｓ^ｉｊ _ｋをはｌ２正規化された合成ポイントの集合である。ｌ２正規化された合成ポイントは、同じ標準とともにハイパー球空間に配置されるであろう。

【0110】

埋め込み空間で内部的にｎ＋１の同等な区間に分割ポイントを生成する３つの利点がある。１つ目の利点として、クラスタされた埋め込み空間で各クラスの特徴ポイントペアを考慮するとき、最もハードなネガティブペアの類似性は、各クラスから各ペアのラインセグメント（ｌｉｎｅ ｓｅｇｍｅｎｔ）間の最短距離（すなわち、図８に示されるような

【数25】

）になるであろう。しかし、高次元空間で有限長さのセグメント間の最短距離を計算するには計算的に多くのコストがかかる。この代りに、各クラスの内部分割ポイント間の距離を計算することにより、より少ない計算で問題を近似させることができる。２つ目の利点として、合成ポイントのラベルはクラスクラスタ内に含まれるため、高い確実性をもつ。従来のサンプル生成方法は、全結合層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）とソフトマックス（ｓｏｆｔｍａｘ）損失を利用して合成ポイントのラベルを制御していた反面、本発明に係るサンプル生成方法は、幾何学的関係（ｇｅｏｍｅｔｒｉｃａｌ ｒｅｌａｔｉｏｎ）を考慮して合成ポイントラベルの確実性を保障する。３つ目の利点として、本発明の合成ポイント生成方法は、埋め込み空間で簡単な線形補間法を実行するため、処理速度とメモリに影響を及ぼさない。

【0111】

段階７２０では、埋め込みポイント拡張（ＥＥ）によって生成された合成ポイントを利用して各距離学習損失に対してハードネガティブペアマイニングを実行し、合成ポイントとオリジナルポイントとの間でハードネガティブペアマイニングを実行してよい。段階７２０は、上述した段階３２０のハードペアマイニング過程と等しい。

【0112】

ハードペアマイニングはネガティブペアに対して行われ、オリジナルポイントはポジティブペアに使用される。その理由は、合成ポイントが内部的に２つのポイントを分けているため、オリジナルポイントと合成ポイントとの間のハードポジティブペアマイニングが常にオリジナルポイントのペアになるためである。

【0113】

上述した埋め込みポイント拡張（ＥＥ）とともに、代表的な距離学習損失の組み合わせを公式化すれば、次のとおりとなる。

【0114】

埋め込みポイント拡張（ＥＥ）が結合されたトリプレット損失は、トリプレット損失に対する最もハードなペアが最も小さなユークリッド距離をもつペアであるため、ネガティブペアに最小プーリングを追加することにより、数式（１８）のように公式化されてよい。

【数26】

【0115】

ここで、Ｎ^＾ _{ｙ［ｉ］，ｙ［ｋ］}は、クラスｙ［ｉ］でのポジティブポイント、合成ポイントを含んだクラスｙ［ｋ］でのネガティブポイントを利用したネガティブペアの集合である。

【0116】

埋め込みポイント拡張（ＥＥ）が結合されたリフテッド構造損失も、埋め込みポイント拡張を追加するためにネガティブペアのユークリッド距離の最小プーリングを使用しなければならない。埋め込みポイント拡張（ＥＥ）が結合されたリフテッド構造損失は、数式（１９）のように、ヒンジ損失を最小化するように構成される。

【数27】

【0117】

埋め込みポイント拡張（ＥＥ）が結合されたＮペア損失は、ネガティブペアに最大プーリングを使用することで、数式（２０）のように公式化されてよい。Ｎペア損失に対する最もハードなペアが、トリプレット損失およびリフテッド構造損失とは異なり、最大の類似性をもつペアであるためである。

【数28】

【0118】

埋め込みポイント拡張（ＥＥ）が結合されたＭＳ損失には、２つのハードネガティブペアマイニングが含まれる。１つは埋め込みポイント拡張（ＥＥ）であり、もう１つはＭＳ損失である。数式（１１）の条件を修正してハードネガティブペアマイニングをすべて統合する。｛ｘ_ｉ，ｘ_ｊ｝のネガティブペアは、数式（２１）の条件とともに選択される。

【数29】

【0119】

また、アンカーｘ_ｉの選択されたネガティブペアのインデックス集合を^～Ｎ^’ _ｉと定義する。この後、埋め込みポイント拡張（ＥＥ）およびＭＳ損失の組み合わせを、数式（２２）のように公式化してよい。

【数30】

【0120】

実施形態では、オリジナルポイントと合成ポイントを利用してハードネガティブペアマイニングを実行するにあたり、上述した距離学習損失の他にも、すべてのペアベースの距離学習損失を適用することができる。

【0121】

このように、本発明の実施形態によると、追加の生成ネットワークを使用せずに埋め込み空間での幾何学計算を利用してハードサンプルを生成することができるため、距離学習損失に対するハイパーパラメータがフリーとなり、訓練時間と訓練難易度の増加問題を解決することができる。また、本発明の実施形態によると、対称的合成によってハードサンプルを生成することにより、サンプルペア間の類似性または距離基準に計算されるすべての距離学習損失にプラグアンドプレイ方式で使用することができるため、学習性能を向上させることができる。さらに、本発明の実施形態によると、特徴点の組み合わせによって拡張情報を含む合成ポイントを生成することにより、より簡単かつ柔軟な方法でモデルの大きさ、訓練速度、最適化難易度に影響を与えることなくペアベースの距離学習損失に結合することで、使用可能なモデルを構築することができる。

【0122】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0123】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、所望の動作をするように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0124】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

【0125】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0126】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

【符号の説明】

【0127】

１２０：プロセッサ
２０１：生成部
２０２：マイニング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】