特表2022-510712 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シェンチェン　センスタイム　テクノロジー　カンパニー　リミテッドの特許一覧

特表2022-510712ニューラルネットワークの訓練方法及び画像マッチング方法、並びに装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-01-27

(54)【発明の名称】ニューラルネットワークの訓練方法及び画像マッチング方法、並びに装置

(51)【国際特許分類】

G06T 7/00 20170101AFI20220120BHJP

G06N 20/00 20190101ALI20220120BHJP

G06N 3/08 20060101ALI20220120BHJP

【ＦＩ】

G06T7/00 350C

G06N20/00 130

G06N3/08

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2021532389

(86)(22)【出願日】2019-10-30

(85)【翻訳文提出日】2021-06-08

(86)【国際出願番号】 CN2019114449

(87)【国際公開番号】W WO2020119311

(87)【国際公開日】2020-06-18

(31)【優先権主張番号】201811535420.4

(32)【優先日】2018-12-14

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】518209698

【氏名又は名称】シェンチェンセンスタイムテクノロジーカンパニーリミテッド

【氏名又は名称原語表記】ＳＨＥＮＺＨＥＮＳＥＮＳＥＴＩＭＥＴＥＣＨＮＯＬＯＧＹＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】ゴーユーイン

(72)【発明者】

【氏名】ウーリンユン

(72)【発明者】

【氏名】ジャンルイマオ

(72)【発明者】

【氏名】ルオピン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA18

5L096CA02

5L096DA02

5L096FA06

5L096FA12

5L096HA11

5L096KA04

5L096KA13

(57)【要約】

本願はニューラルネットワークの訓練方法及び画像マッチング方法、並びに装置を開示し、少なくとも、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることであって、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであることと、前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングすることと、ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練することと、を含む。

【特許請求の範囲】

【請求項1】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることであって、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであることと、
前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングすることと、
ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練することと、を含むニューラルネットワークの訓練方法。

【請求項2】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングすることを含む請求項１に記載の方法。

【請求項3】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングすることをさらに含む請求項２に記載の方法。

【請求項4】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングすることをさらに含む請求項３に記載の方法。

【請求項5】

前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得することと、
前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングすることと、を含む請求項４に記載の方法。

【請求項6】

前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングした後に、さらに、
各前記キーポイントの属性情報をラベリングすることを含み、前記属性情報は、前記キーポイントが可視点に属するか、其れとも遮蔽点に属するかを示すためのものである、請求項５に記載の方法。

【請求項7】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングすることをさらに含み、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である請求項６に記載の方法。

【請求項8】

前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれラベリングすることは、
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画することを含む請求項７に記載の方法。

【請求項9】

前記第一衣服インスタンス及び前記第二衣服インスタンスのセグメンテーションマスクアノテーションをそれぞれラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成することと、
前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得ることと、を含む請求項８に記載の方法。

【請求項10】

前記第一衣服画像と前記第二衣服画像をペアリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定することを含む請求項１から９のいずれか一項に記載の方法。

【請求項11】

マッチング待ちの第三衣服画像を受け取ることと、
前記第三衣服画像から第三衣服インスタンスを抽出することと、
前記第三衣服インスタンスのアノテーション情報を取得することと、
前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会することと、を含む画像マッチング方法。

【請求項12】

前記第三衣服画像から第三衣服インスタンスを抽出することの前に、さらに、
前記第三衣服画像に対して特徴抽出を行うことを含む請求項１１に記載の方法。

【請求項13】

前記第三衣服インスタンスのアノテーション情報を取得することは、
前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得することを含む請求項１１又は１２に記載の方法。

【請求項14】

前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会することは、
前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定することと、
前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定することと、を含む請求項１１から１３のいずれか一項に記載の方法。

【請求項15】

第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングし、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであり、前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングするように構成されたラベリングモジュールと、
ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練するように構成された訓練モジュールと、を含むニューラルネットワークの訓練装置。

【請求項16】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングするように構成される請求項１５に記載の装置。

【請求項17】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングするように構成される請求項１６に記載の装置。

【請求項18】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングするように構成される請求項１７に記載の装置。

【請求項19】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得し、
前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングするように構成される請求項１８に記載の装置。

【請求項20】

前記ラベリングモジュールは、
各前記キーポイントの属性情報をラベリングするように構成され、前記属性情報は、前記キーポイントが可視点に属するか、其れとも遮蔽点に属するかを示すためのものである、請求項１９に記載の装置。

【請求項21】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングするように構成され、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である請求項２０に記載の装置。

【請求項22】

前記ラベリングモジュールは、
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画するように構成される請求項２１に記載の装置。

【請求項23】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成し、
前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得るように構成される請求項２２に記載の装置。

【請求項24】

前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定するように構成される請求項１５から２３のいずれか一項に記載の装置。

【請求項25】

マッチング待ちの第三衣服画像を受け取るように構成された受け取りモジュールと、
前記第三衣服画像から第三衣服インスタンスを抽出し、前記第三衣服インスタンスのアノテーション情報を取得するように構成された抽出モジュールと、
前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会するように構成されたマッチングモジュールと、を含む画像マッチング装置。

【請求項26】

前記抽出モジュールはさらに、前記第三衣服画像から第三衣服インスタンスを抽出する前に、前記第三衣服画像に対して特徴抽出を行うように構成される請求項２５に記載の装置。

【請求項27】

前記抽出モジュールは、前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得するように構成される請求項２５又は２６に記載の装置。

【請求項28】

前記マッチングモジュールは、前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定し、
前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定するように構成される請求項２５から２７のいずれか一項に記載の装置。

【請求項29】

コンピュータ機器に請求項１から１０のいずれか一項に記載の方法のステップ、又は請求項１１から１４のいずれか一項に記載の方法のステップを実行させるコンピュータプログラムが記憶されている記憶媒体。

【請求項30】

実行されると、請求項１から１０のいずれか一項に記載の方法のステップ、又は請求項１１から１４のいずれか一項に記載の方法のステップを実現することができるコンピュータ実行可能命令を含むコンピュータプログラム製品。

【請求項31】

コンピュータ実行可能命令が記憶されているメモリと、前記メモリにおけるコンピュータ実行可能命令を実行する時に、請求項１から１０のいずれか一項に記載の方法のステップ、又は請求項１１から１４のいずれか一項に記載の方法のステップを実現することができるプロセッサと、を含むコンピュータ機器。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は２０１８年１２月１４日に出願された、出願番号２０１８１１５３５４２０．４である中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

【0002】

本願は衣服画像の解析技術に関し、特にニューラルネットワークの訓練方法及び画像マッチング方法、並びに装置に関する。

【背景技術】

【0003】

衣服画像解析は、学界及び産業界において多大な可能性を有するため、近年、ますます研究が盛んになっている分野となる。しかし、実用では、衣服認識に依然として様々な課題が存在している。例えば、データの面で、衣服データセット（ＤｅｅｐＦａｓｈｉｏｎ）が現在の最大な衣服データセットとなっているが、ＤｅｅｐＦａｓｈｉｏｎにそれ自体の欠点があり、例えば、各画像に一つの衣服のインスタンスのアノテーションしかなく、このように定義された基準データセットと実情との差は、衣服認識の応用に大きな影響を及ぼす。

【発明の概要】

【0004】

上記技術的課題を解決するために、本願の実施例はニューラルネットワークの訓練方法及び画像マッチング方法、装置、記憶媒体、コンピュータプログラム製品、並びにコンピュータ機器を提供する。

【0005】

本願の実施例が提供するニューラルネットワークの訓練方法は、
第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることであって、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであることと、
前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングすることと、
ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練することと、を含む。

【0006】

本願の１可能な実施例では、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングすることを含む。

【0007】

本願の１可能な実施例では、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングすることをさらに含む。

【0008】

本願の１可能な実施例では、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングすることをさらに含む。

【0009】

本願の１可能な実施例では、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得することと、
前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングすることと、を含む。

【0010】

本願の１可能な実施例では、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングした後に、さらに、
各前記キーポイントの属性情報をラベリングすることを含み、前記属性情報は、前記キーポイントが可視点に属するか、其れとも遮蔽点に属するかを示すためのものである。

【0011】

本願の１可能な実施例では、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングすることをさらに含み、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である。

【0012】

本願の１可能な実施例では、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれラベリングすることは、
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画することを含む。

【0013】

本願の１可能な実施例では、前記第一衣服インスタンス及び前記第二衣服インスタンスのセグメンテーションマスクアノテーションをそれぞれラベリングすることは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成することと、
前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得ることと、を含む。

【0014】

本願の１可能な実施例では、前記第一衣服画像と前記第二衣服画像をペアリングすることは、前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定することを含む。

【0015】

本願の実施例が提供する画像マッチング方法は、
マッチング待ちの第三衣服画像を受け取ることと、
前記第三衣服画像から第三衣服インスタンスを抽出することと、
前記第三衣服インスタンスのアノテーション情報を取得することと、
前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会することと、を含む。

【0016】

本願の１可能な実施例では、前記第三衣服画像から第三衣服インスタンスを抽出することの前に、さらに、
前記第三衣服画像に対して特徴抽出を行うことを含む。

【0017】

本願の１可能な実施例では、前記第三衣服インスタンスのアノテーション情報を取得することは、
前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得することを含む。

【0018】

本願の１可能な実施例では、前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会することは、
前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定することと、
前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定することと、を含む。

【0019】

本願の実施例が提供するニューラルネットワークの訓練装置は、
第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングし、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであり、前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングするように構成されたラベリングモジュールと、
ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練するように構成された訓練モジュールと、を含む。

【0020】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングするように構成される。

【0021】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングするように構成される。

【0022】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングするように構成される。

【0023】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得し、
前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングするように構成される。

【0024】

本願の１可能な実施例では、前記ラベリングモジュールは、
各前記キーポイントの属性情報をラベリングするように構成され、前記属性情報は、前記キーポイントが可視点に属するか、其れとも遮蔽点に属するかを示すためのものである。

【0025】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングするように構成され、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である。

【0026】

本願の１可能な実施例では、前記ラベリングモジュールは、
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画するように構成される。

【0027】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成し、
前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得るように構成される。

【0028】

本願の１可能な実施例では、前記ラベリングモジュールは、
前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定するように構成される。

【0029】

本願の実施例が提供する画像マッチング装置は、
マッチング待ちの第三衣服画像を受け取るように構成された受け取りモジュールと、
前記第三衣服画像から第三衣服インスタンスを抽出し、前記第三衣服インスタンスのアノテーション情報を取得するように構成された抽出モジュールと、
前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会するように構成されたマッチングモジュールと、を含む。

【0030】

本願の１可能な実施例では、前記抽出モジュールはさらに、前記第三衣服画像から第三衣服インスタンスを抽出する前に、前記第三衣服画像に対して特徴抽出を行うように構成される。

【0031】

本願の１可能な実施例では、前記抽出モジュールは、前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得するように構成される。

【0032】

本願の１可能な実施例では、前記マッチングモジュールは、前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定し、
前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定するように構成される。

【0033】

本願の実施例が提供する記憶媒体は、コンピュータ機器により実行された後、上記ニューラルネットワークの訓練方法又は画像マッチング方法を実現できるコンピュータプログラムを記憶する。

【0034】

本願の実施例が提供するコンピュータプログラム製品は、実行された後、上記ニューラルネットワークの訓練方法又は画像マッチング方法を実現できるコンピュータ実行可能命令を含む。

【0035】

本願の実施例が提供するコンピュータ機器は、コンピュータ実行可能命令が記憶されているメモリと、前記メモリにおけるコンピュータ実行可能命令を実行する時に上記ニューラルネットワークの訓練方法又は画像マッチング方法を実現できるプロセッサと、を含む。

【0036】

本願の実施例の技術的解決手段では、構築された画像データセットは包括的なアノテーションを有する大規模の基準データセットであり、単一画像に存在する全ての衣服インスタンスをラベリングすることで、衣服解析アルゴリズムの開発及び応用により完全な衣服データセットを提供し、衣服認識の応用を促進する。一方、エンドツーエンドの衣服深度解析フレームワークによって、収集された衣服画像をそのまま入力とすることができ、かつ衣服のインスタンスレベルの検索タスクを実現でき、該フレームワークは汎用性を有し、いかなるディープニューラルネットワークにも適し、また他の対象検索タスクにも適する。

【図面の簡単な説明】

【0037】

【図1】本願の実施例が提供する画像データセットのラベリング方法のフローチャートである。

【図2】本願の実施例が提供する衣服画像の種別及び関連アノテーションの模式図である。

【図3】本願の実施例が提供するニューラルネットワークの訓練方法のフローチャートである。

【図4】本願の実施例が提供するＭａｔｃｈＲ－ＣＮＮのフレームワーク図である。

【図5】本願の実施例が提供する画像マッチング方法のフローチャートである。

【図6】本願の実施例が提供するニューラルネットワークの訓練装置の構成模式図である。

【図7】本願の実施例が提供する画像マッチング装置の構成模式図である。

【図8】本願の実施例に係るコンピュータ機器の構成模式図である。

【発明を実施するための形態】

【0038】

ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。

【0039】

同時に、説明の便宜上、図面に示した各部分のサイズは実際の比例関係に従って描いたものではないことを理解すべきである。

【0040】

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用又は使用へのなんらの制限にもならない。

【0041】

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

【0042】

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

【0043】

本願の実施例はコンピュータシステム／サーバなどの電子機器に適用可能であり、それは他の様々な共通又は専用計算システム環境又は構成と共に動作可能である。コンピュータシステム／サーバなどの電子機器との併用に適する公知の計算システム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0044】

コンピュータシステム／サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するか又は特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカル又は遠隔計算システムの記憶媒体に存在してよい。

【0045】

本願を実現する過程で、本出願者は研究によって、衣服認識に依然として様々な課題が存在していることを発見し、少なくとも以下の課題がある。

【0046】

１）データの面で、まず、衣服そのものはデザイン、服地、裁断などの点で大きく変化し、一つの衣服であれば異なる程度の変形及び遮蔽が存在する。次に、同じ衣服でも撮影シーンに応じて差異が大きく、それは例えば、消費者の自撮り画像（買い手ショー）とオンラインの商品画像（売り手ショー）の場合である。従来の研究で、セマンティック属性、衣服位置又はクロスドメインで衣服データセットにアノテーションを付けることによって上記課題の対処を図っているが、異なるデータセットには異なるタイプの情報を使用してアノテーションを付けている。ＤｅｅｐＦａｓｈｉｏｎデータセットが現れてから、上記アノテーションを統一し、最大の衣服データセットになる。しかし、ＤｅｅｐＦａｓｈｉｏｎは、それ自体の欠点があり、例えば、各画像に一つの衣服のアノテーションしかなく、各衣服種別が８個の疎なキーポイントラベルを共有するとともに、精細なセグメンテーションマスクアノテーションがない。このように定義された基準データセットと実情との差は、衣服認識の応用に大きな影響を及ぼす。

【0047】

２）タスク定義の面で、まず、近年、衣服画像を解析するための様々なタスクが現れ、例えば、衣服検出や認識、キーポイント予測、衣服セグメンテーション、衣服マッチングや検索が挙げられる。しかし、程度が異なる衣服の変化、変形しやすく、遮蔽が多いなどの特徴について、上記全てのタスクを定義及び解釈するためのより広範かつ統一の評価基準が欠いている。次に、従来の衣服のキーポイントラベルは人体骨格の輪郭に従って定義され、上衣と下衣の２タイプだけで区別され、これによりキーポイント予測指標の正確性に必ず影響する。また、実際の状況で一つの画像内に複数タイプの服飾が存在し得、画像全体に基づいて定義された検索タスクは、アルゴリズムの衣服認識能力に影響を及ぼす。

【0048】

３）アルゴリズム実現の面で、衣服画像の異なるシーンでの差異をより効果的に処理するために、従来の方法は深度モデルを導入してより多くの判別表現を学習しているが、衣服画像における変形及び遮蔽が見落とされることによって、認識精度の向上が阻害される。ＤｅｅｐＦａｓｈｉｏｎは、衣服認識及び検索タスクに対して深度モデル、即ち、ＦａｓｈｉｏｎＮｅｔを設計し、衣服のキーポイントの予測及び属性の総合的な学習に関する特徴によって認識効果がより高い衣服解析を達成する。しかし、ＦａｓｈｉｏｎＮｅｔには二つの明らかな欠点がある。一つは、その衣服分類及び検索タスクの実現は取得した画像をそのまま入力とするのではなく、手動でラベリングした境界ボックスで切り出したサブ画像を入力としており、これにより実用でのラベリングコストが大幅に増加する。他方では、それは正と負のサンプル間の距離を拘束するという方式で衣服検索タスクを実現しており、サンプルに対する依存性が強く、汎用性が低くなり、実際の訓練プロセスでは収束しにくい。

【0049】

図１は本願の実施例が提供する画像データセットのラベリング方法のフローチャートであり、図１に示すように、前記画像データセットのラベリング方法は以下のステップを含む。

【0050】

ステップ１０１、画像データセットを構築し、前記画像データセットは複数の衣服画像を含み、各衣服画像は少なくとも一つの衣服インスタンスを含む。

【0051】

本願の１可能な実施例では、構築される画像データセットは豊富なアノテーション情報を有し、衣服画像解析タスクに広く適する標準データセット（ＤｅｅｐＦａｓｈｉｏｎ２と呼ばれる）であり、該画像データセットは複数の衣服画像を含み、各衣服画像は一つ以上の衣服インスタンスを含む。ここで、衣服インスタンスとは、衣服画像におけるある衣服を指している。なお、一つの衣服画像には一つ又は複数の衣服を展示してもよいし、人物（即ちモデル）によって一つ又は複数の衣服を展示してもよく、さらに、人物の数は一つ又は複数であってもよい。

【0052】

一実施形態では、該画像データセットは４９１ｋ（即ち４９１０００）枚の衣服画像を含み、この４９１ｋ枚の衣服画像は合計８０１ｋ（即ち８０１０００）個の衣服インスタンスを含む。

【0053】

ステップ１０２、前記画像データセットにおける各衣服インスタンスのアノテーション情報をラベリングし、第一衣服インスタンスと第二衣服インスタンスとのマッチング関係をラベリングし、ここで、前記第一衣服インスタンスの所在する第一衣服画像及び前記第二衣服インスタンスの所在する第二衣服画像は、前記画像データセットからのものである。

【0054】

本願の実施例では、前記画像データセットにおける各衣服インスタンスに対して、前記衣服インスタンスの衣服種別、衣服境界ボックス、キーポイント、衣服輪郭線、及びセグメンテーションマスクアノテーションというアノテーション情報の少なくとも一つをラベリングする。以下、各アノテーション情報のラベリング方法を説明する。

【0055】

１）衣服種別
本願の実施例において、画像データセットは、半袖上衣、長袖上衣、半袖ジャケット、長袖ジャケット、ベスト、キャミソール、ショートパンツ、ズボン、ショートスカート、半袖ドレス、長袖ドレス、ベストドレス、及びキャミソールドレスを含む１３個のよく見られる衣服種別を定義する。

【0056】

衣服インスタンスの衣服種別をラベリングすることは、衣服インスタンスを上記１３個の衣服種別の一つに分類することを指す。

【0057】

２）衣服境界ボックス
本願の１可能な実施例では、衣服境界ボックスは一つの矩形ボックスで実現できる。衣服インスタンスの衣服境界ボックスをラベリングすることは、一つの矩形ボックスで衣服インスタンスの表示領域を覆うことを指す。

【0058】

３）キーポイント
本願の１可能な実施例では、各衣服種別はそれぞれ独立した密集のキーポイントの定義を有し、異なる衣服種別は異なるキーポイントの定義に対応し、なお、異なる衣服種別の対応するキーポイントの位置及び／又は数は異なることであり、例えば、図４を参照すると、半袖上衣は２５個のキーポイントが定義され、ショートパンツは１０個のキーポイントが定義され、長袖ジャケットは３８個のキーポイントが定義され、ショートスカートは８個のキーポイントが定義される。衣服インスタンスの衣服種別に基づいて対応するキーポイントをラベリングする。

【0059】

なお、各衣服画像は一つ以上の衣服インスタンスを有してもよく、衣服インスタンス毎に対応する衣服種別のキーポイントをラベリングする必要があることである。

【0060】

さらに、衣服インスタンスの衣服種別に基づいて対応するキーポイントをラベリングした後、各キーポイントの属性情報をラベリングし、前記属性情報は、前記キーポイントが可視点に属するか、それとも遮蔽点に属するかを示すためのものである。

【0061】

４）衣服輪郭線
本願の１可能な実施例では、上記画像データセットにおける各衣服インスタンスのキーポイントをラベリングした後、前記画像データセットにおける各衣服インスタンスに対して、エッジ点及び相接点をラベリングする必要があり、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である。

【0062】

その後、前記衣服インスタンスにラベリングしたキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記衣服輪郭線を描画する。

【0063】

５）セグメンテーションマスクアノテーション
本願の１可能な実施例では、前記衣服輪郭線に基づいて初期段階のセグメンテーションマスクマップを生成し、前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得る。

【0064】

一実施形態では、前記画像データセットにおける各衣服インスタンスに対して、下記の少なくとも一つのアノテーション情報をラベリングする。

【0065】

サイズ、即ち、衣服インスタンスが衣服画像に占める割合、
遮蔽、即ち、衣服インスタンスにラベリングしたキーポイントのうち、遮蔽点が占める割合、
フォーカス、即ち、衣服インスタンスにラベリングしたキーポイントのうち、衣服画像範囲を超えたキーポイントの割合、
視角、即ち、衣服インスタンスの展示角度。

【0066】

６）本願の実施例の技術的解決手段では、各衣服インスタンスの上記アノテーション情報以外、各衣服インスタンスの商品識別子及び衣服スタイルもラベリングする。

【0067】

そのうち、商品識別子は、英文字、数字、符号の任意の組み合わせであってよい。商品識別子は同じデザインの商品を識別するために用いられ、つまり、同じデザインの商品の対応する商品識別子は同じである。なお、同じデザインの商品とは裁断（即ち様式）が同じである商品をいうことである。さらに、同じ商品識別子を有する衣服インスタンスは衣服スタイルが異なることがあるが、同じであることもあり、ここの衣服スタイルとは色、絵柄、商標などを指す。

【0068】

７）本願の実施例の技術的解決手段では、前記画像データセットにおける各衣服インスタンスのアノテーション情報以外、第一衣服インスタンスと第二衣服インスタンスとのマッチング関係もラベリングし、一例では、前記第一衣服インスタンスの所在する衣服画像は買い手からのものであり、前記第二衣服インスタンスの所在する衣服画像は売り手からのものである。ここで、前記第一衣服インスタンス及び前記第二衣服インスタンスは同じ商品識別子を有する。

【0069】

なお、本願の実施例の技術的解決手段は上記全てのアノテーション情報をラベリングすることができ、それに限定されるものではなく、本願の実施例の技術的解決手段は上記アノテーション情報を部分的にラベリングすることもできるということである。

【0070】

以下に例示により本願の実施例の技術的解決手段を説明する。

【0071】

ＤｅｅｐＦａｓｈｉｏｎ２と呼ばれる画像データセットを構築し、ＤｅｅｐＦａｓｈｉｏｎ２は４９１ｋの衣服画像からなり、１３個の衣服種別、８０１ｋ個の衣服インスタンス、８０１ｋ個の衣服境界ボックス、８０１ｋ個の密集のキーポイント及び対応する輪郭ラベル、８０１ｋ個の画素レベルのセグメンテーションマスクアノテーション、及び８７３ｋ対の買い手ショーと売り手ショー画像の衣服インスタンスのマッチング関係（ここで、買い手ショー画像における衣服インスタンスは上記第一衣服インスタンスに対応し、売り手ショーの衣服インスタンスは上記第二衣服インスタンスに対応する）を有する。また、衣服の一般的な変形及び遮蔽変化を包含するために、各衣服インスタンスに対してサイズ、遮蔽、フォーカス、視角という四つの衣服属性情報を拡張してラベリングする。同時に、同一衣服商品（商品識別子が同じである）の異なる衣服インスタンスに対して、色、絵柄、商標などの衣服スタイルに関するアノテーション情報を追加する。ＤｅｅｐＦａｓｈｉｏｎ２は今まで最も多いアノテーション情報、及び最も豊富なタスクを有し、最も表現力を有し、最も多様な衣服データセットである。以下、ＤｅｅｐＦａｓｈｉｏｎ２のアノテーション情報のラベリング方法を説明する。

【0072】

１）衣服種別及び衣服境界ボックスのラベリング
ＤｅｅｐＦａｓｈｉｏｎ２の１３個の衣服種別は従来の衣服種別から選ばれ、異なる種別の類似性及び頻度を統計することで定義される。１３個の一般的な衣服種別は、半袖上衣、長袖上衣、半袖ジャケット、長袖ジャケット、ベスト、キャミソール、ショートパンツ、ズボン、ショートスカート、半袖ドレス、長袖ドレス、ベストドレス、及びキャミソールドレスを含む。

【0073】

境界ボックスのラベリングについて、作業者が対象衣服インスタンスの存在する領域の座標点をラベリングすることができる。

【0074】

２）キーポイント、衣服輪郭線及びセグメンテーションマスクアノテーションのラベリング
従来の作業は、人体の構造に基づいてキーポイントを定義し、上衣と下衣はどのような衣服タイプでも同様のキーポイントを共有するが、本願の実施例は異なる衣服種別に異なる変形及び外観変化があることを考慮し、各衣服種別に対して個別化されたキーポイント及び輪郭線を定義し、「人体の姿勢」に基づいて「衣服の姿勢」という概念を初めて提案する。

【0075】

図４の左側は４個の異なる衣服種別の密集のキーポイント及び衣服輪郭線の定義を示し、右側は、対応する売り手ショーと買い手ショーの画像及びアノテーション情報を示し、図４において、各行の売り手ショーと買い手ショー画像における一対の衣服インスタンスは同じ商品識別子を有するが、各衣服インスタンスはそれぞれ異なる色、絵柄などの衣服スタイルを有し、同時にサイズ、遮蔽、フォーカス、視角の４つの属性で異なるレベルを示す。各衣服インスタンスはいずれもキーポイント、輪郭線及びセグメンテーションマスクアノテーションがラベリングされる。なお、商品識別子は、英文字、数字、符号の任意の組み合わせであってよいことである。商品識別子は同じデザインの商品を識別するために用いられ、つまり、同じデザインの商品の対応する商品識別子は同じである。なお、同じデザインの商品とは裁断（即ち様式）が同じである商品をいい、さらに、同じ商品識別子を有する衣服インスタンスは衣服スタイルが異なることがあるが、同じであることもあるということである。

【0076】

ラベリングのフローは以下の五つのステップに分けられる。

【0077】

Ｉ、各衣服インスタンスに対して、該衣服種別により定義された全てのキーポイントをラベリングし、ここで各衣服種別は平均して２２個のキーポイントを有する。

【0078】

ＩＩ、ラベリング可能なキーポイントに対して、可視であるか又は遮蔽されるかという属性をラベリングする。

【0079】

ＩＩＩ、セグメンテーションを補助するために、キーポイント以外に２タイプのラベル点、即ち、エッジ点及び相接点を追加する。前者は該衣服インスタンスの画像境界における点を表し、後者は該衣服インスタンスと他の衣服インスタンスとが相接しているところであり、キーポイントに属さないが衣服輪郭を描くための点、例えば「Ｔシャツが下衣に入れられ、Ｔシャツと下衣との境界における点」を表す。

【0080】

ＩＶ、ラベリングされたキーポイント、キーポイント属性、エッジ点や相接点の三つの面から情報を総合して衣服輪郭線を自動的に連結して生成し、ここで、該衣服輪郭線はラベル点が合理的であるかどうかを検出するために用いられ、一方、初期段階のセグメンテーションマスクマップとして、セグメンテーションラベリングコストを削減する。

【0081】

ここで、モデルの着こなし効果は正常な着こなしロジックに適合しなければならず、モデルが種々の衣服を着こなす時、衣服間に相接の境界が生じ、例えば上衣を上半身に着せ、下衣を下半身に着せる時、上衣は下衣に入れられてもよく、下衣の一部の領域を覆ってもよく、上衣と下衣との境界はラベル点で示され、これに基づき、描いた衣服輪郭線が正常な着こなしロジックに適合するかどうかを検出することで、衣服輪郭を引くためのラベル点が合理的であるかどうかを判定することができる。さらに、ラベル点が合理的でない場合、該合理的でないラベル点を補正してもよく、つまり、最終的に引かれた衣服輪郭線が正常な着こなしロジックに適合するようになるまで、該ラベル点の位置を調整し又は該ラベル点を削除するようにしてもよい。

【0082】

Ｖ：初期段階のセグメンテーションマスクマップを再チェック及び再補正し、最終的なセグメンテーションマスクアノテーションを得る。

【0083】

ここで、セグメンテーションマスクマップはバイナリマップであり、該バイナリマップにおいて、衣服輪郭線で描かれる領域は真（例えば「１」は真を表す）に割り当てられ、他の領域は偽（例えば「０」は偽を表す）に割り当てられる。セグメンテーションマスクマップは衣服インスタンスの全体輪郭を示し、ここで、キーポイントをラベリングするプロセスにおいて、一つ又はいくつかのキーポイントが誤ってラベリングされる状況が発生し得、それによってセグメンテーションマスクマップが正常な衣服種別（例えば半袖上衣、ショートパンツ、ショートスカートなど）に比べ、一部の箇所が奇形になり得ることを考慮すると、セグメンテーションマスクマップをチェックし、誤ったキーポイントを見出し、該誤ったキーポイントを補正する必要があり、つまり、該キーポイントの位置を調整し、又は該キーポイントを削除する必要がある。なお、セグメンテーションマスクマップを補正してから、セグメンテーションマスクアノテーションを得ることができることである。

【0084】

３）衣服属性のラベリング
衣服の各面での変化をカバーするために、各衣服インスタンスに対してサイズ、遮蔽、フォーカス、視角の四つの衣服属性を拡張してラベリングし、各属性をそれぞれ三つのレベルに分ける。

【0085】

サイズについて、衣服インスタンスが画像全体に占める割合を統計し、小（＜１０％）、中（＞１０％かつ＜４０％）、大（＞４０％）の三つのレベルに分ける。

【0086】

遮蔽について、キーポイントのうち、遮蔽点が占める割合を統計し、遮蔽なし、重度遮蔽（＞５０％）、部分的遮蔽（＜５０％）の三つのレベルに分ける。

【0087】

フォーカスについて、キーポイントのうち、画像範囲を超えた点が占める割合を統計し、フォーカスなし、大フォーカス（＞３０％）、中フォーカス（＜３０％）の三つのレベルに分ける。

【0088】

視角について、衣服の展示視角に応じてモデルなしでの展示、正面展示、裏面展示に分ける。

【0089】

４）衣服スタイルのラベリング
８７３ｋ対の買い手と売り手ショーの衣服インスタンスのマッチングでは、４３．８ｋ個の異なる商品識別子の衣服インスタンスが存在し、各商品識別子は平均して１３個の衣服インスタンスを有し、同じ商品識別子に対応するこれらの衣服インスタンスには、色、絵柄、商標などのような衣服スタイルのアノテーションが追加される。図２に示すように、各行は同じ商品識別子に対応する衣服インスタンスを表し、ここで、異なる色のためのアノテーションは異なる衣服スタイルを表す。

【0090】

本願の実施例の上記技術的解決手段では、各衣服画像は一つ以上の衣服インスタンスを有し、各衣服インスタンスはスタイル、サイズ、遮蔽、フォーカス、視角、境界ボックス、密集のキーポイントや輪郭線、画素レベルのセグメンテーションマスクアノテーション、及び買い手ショーと売り手ショーの間での同じ衣服インスタンスのマッチング関係を含む９種類のアノテーション情報を有する。これらの全面的なアノテーションによって、衣服画像を理解する各タスクはサポートされ、ＤｅｅｐＦａｓｈｉｏｎ２は今まで最も完全な衣服データセットとなる。

【0091】

ＤｅｅｐＦａｓｈｉｏｎ２に基づき、本願は、衣服画像解析タスクの一連の全面的な評価基準を自主的に定義し、衣服検出や認識、衣服キーポイントや衣服輪郭線推定、衣服セグメンテーション、インスタンスレベルの買い手ショーと売り手ショーの衣服検索を含む。具体的には、以下のとおりである。

【0092】

１）衣服検出や認識
該タスクは入力画像において全ての衣服インスタンスの位置を検出しかつ対応する衣服種別を認識し、その評価指標は一般的な対象検出タスクと同じである。

【0093】

２）衣服キーポイントや衣服輪郭線推定
入力画像において検出した全ての衣服インスタンスのキーポイント予測及び衣服輪郭線推定を行い、その評価指標は人体キーポイント予測タスクを参照したものである。各衣服種別はそれぞれ対応するキーポイントを有する。

【0094】

３）衣服セグメンテーション
入力画像において検出した全ての衣服インスタンスをセグメンテーションし、画素レベルのセグメンテーションマスクアノテーションを自動的に取得し、その評価指標は一般的な対象セグメンテーションタスクと同じである。

【0095】

４）インスタンスレベルの買い手ショーと売り手ショーの衣服検索
既知の買い手ショー画像に対して、その検出した衣服インスタンスとマッチングする売り手ショー画像を検索する。該タスクは従来の作業と比べて、衣服インスタンスの境界ボックス情報を提供する必要がなく、買い手が撮影した写真をそのまま入力とする点で相違する。ここで、本願の実施例のニューラルネットワークは買い手が撮影した写真から衣服インスタンスの境界ボックスなどの情報を抽出できるため、ニューラルネットワークに衣服インスタンスの境界ボックス情報を提供する必要がなく、買い手が撮影した写真をそのままニューラルネットワークの入力とすることができる。

【0096】

本願の実施例の上記技術的解決手段は、衣服画像解析タスクの一連の全面的な評価基準を定義し、それは、種々の衣服属性変化下での衣服検出や認識、キーポイント予測や衣服輪郭線推定、衣服セグメンテーション、インスタンスレベルの買い手ショーと売り手ショーに基づく衣服検索を含む。これらのタスクは衣服画像理解の基礎的なタスクとして、後続の衣服解析タスクの基準とすることができる。これらの評価基準によって、異なるアルゴリズム間で直接比較し、それらの利点や欠点を深く理解し、性能がより強くロバスト性がより高い衣服解析システムの構築を促進することが可能である。

【0097】

図３は本願の実施例が提供するニューラルネットワークの訓練方法のフローチャートであり、図３に示すように、前記ニューラルネットワークの訓練方法は以下のステップを含む。

【0098】

ステップ３０１、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングし、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであり、前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングする。

【0099】

本願の実施例では、第一衣服画像は買い手からのものであってもよく、又は売り手からのものであってもよく、第二衣服画像も同様である。例を挙げれば、第一衣服画像は買い手からのものであり、第二衣服画像はからのものである。又は、第一衣服画像は売り手からのものであり、第二衣服画像は買い手からのものである。又は、第一衣服画像は売り手からのものであり、第二衣服画像は売り手からのものである。又は、第一衣服画像は買い手からのものであり、第二衣服画像はからのものである。

【0100】

本願の１可能な実施例では、第一衣服画像及び第二衣服画像は図１に示す方法における画像データセットから選ばれてもよく、ここで、第一衣服画像は少なくとも第一衣服インスタンスを含み、第二衣服画像は少なくとも第二衣服インスタンスを含み、第一衣服画像及び第二衣服画像における各衣服インスタンスにはそれぞれアノテーション情報がラベリングされており、かつ第一衣服インスタンスと第二衣服インスタンスはマッチングするようにラベリングされている。又は、第一衣服画像及び第二衣服画像は図１に示す方法における画像データセットから選ばれるものではなく、この場合、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングし、及び第一衣服インスタンスと第二衣服インスタンスとのマッチング関係をラベリングする必要があり、具体的には、図１に示す方法に従って第一衣服インスタンス及び第二衣服インスタンスをラベリングすることができ、以下、第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報のラベリング方法を説明する。

【0101】

１）前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングする。

【0102】

ここで、衣服境界ボックスは一つの矩形ボックスで実現できる。衣服インスタンスの衣服境界ボックスをラベリングすることは、一つの矩形ボックスで衣服インスタンスの表示領域を覆うことを指す。なお、本願の実施例の衣服境界ボックスは矩形ボックスに限定されず、他の形状の境界ボックス、例えば楕円形の境界ボックス、不規則多角形の境界ボックスなどであってもよいことである。衣服境界ボックスは衣服インスタンスの衣服画像における表示領域を全体的に反映する。

【0103】

２）前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングする。

【0104】

２．１）衣服種別のラベリング
本願の実施例は半袖上衣、長袖上衣、半袖ジャケット、長袖ジャケット、ベスト、キャミソール、ショートパンツ、ズボン、ショートスカート、半袖ドレス、長袖ドレス、ベストドレス、以及びキャミソールドレスを含む１３個の一般的な衣服種別を定義する。

【0105】

衣服インスタンスの衣服種別をラベリングすることは、衣服インスタンスを上記１３個の衣服種別の一つに分類することを指す。

【0106】

２．２）キーポイントのラベリング
本願の実施例では、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得し、前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングする。

【0107】

具体的には、各衣服種別はそれぞれ独立した密集のキーポイントの定義を有し、異なる衣服種別は異なるキーポイントの定義に対応し、なお、異なる衣服種別は対応するキーポイントの位置及び／又は数が異なることであり、例えば図４を参照すると、半袖上衣は２５個のキーポイントが定義され、ショートパンツは１０個のキーポイントが定義され、長袖ジャケットは３８個のキーポイントが定義され、ショートスカートは８個のキーポイントが定義される。衣服インスタンスの衣服種別に基づいて対応するキーポイントをラベリングする。

【0108】

さらに、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングした後、各キーポイントの属性情報をラベリングし、前記属性情報は、前記キーポイントが可視点に属するか、それとも遮蔽点に属するかを示すためのものである。ここで、可視点とは該キーポイントが観察可能であるものを指し、遮蔽点とは該キーポイントが他の衣服又は物品又は肢体により遮蔽され、観察できないものを指す。

【0109】

さらに、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングした後、前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングし、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である。

【0110】

ここで、モデルが種々の衣服を着こなす時、衣服間に境界が生じ、例えば上衣を上半身に着せ、下衣を下半身に着せる時、上衣は下衣に入れられてもよく下衣の一部の領域を覆ってもよく、上衣と下衣との境界は相接点で示される。

【0111】

３）前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングする。

【0112】

３．１）衣服輪郭線のラベリング
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画する。

【0113】

３．２）セグメンテーションマスクアノテーションのラベリング
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成し、前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得る。

【0114】

【0115】

４）マッチング関係のラベリング
前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定し、このように前記第一衣服画像と前記第二衣服画像とのペアリングを実現する。

【0116】

ここで、商品識別子は、英文字、数字、符号の任意の組み合わせであってよい。商品識別子は同じデザインの商品を識別するために用いられ、つまり、同じデザインの商品の対応する商品識別子は同じである。なお、同じデザインの商品とは裁断（即ち様式）が同じである商品をいうことである。さらに、同じ商品識別子を有する衣服インスタンスは衣服スタイルが異なることがあるが、同じであることもあり、ここの衣服スタイルとは色、絵柄、商標などを指す。

【0117】

ステップ３０２、ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練する。

【0118】

本願の実施例では、新しい衣服深度解析フレームワーク（ＭａｔｃｈＲ－ＣＮＮ）を提供し、該ニューラルネットワークはＭａｓｋＲ－ＣＮＮに基づき、収集された衣服画像をそのまま入力とし、衣服種別から、密集のキーポイント、画素レベルのセグメンテーションマスクアノテーションの学習までの全ての特徴をまとめ、エンドツーエンドの方式で四つの衣服解析タスク、即ち、１）衣服検出や認識、２）衣服キーポイントや衣服輪郭線推定、３）衣服セグメンテーション、４）インスタンスレベルの買い手ショーと売り手ショーに基づく衣服検索を同時に解決する。

【0119】

本願の１可能な実施例では、前記ニューラルネットワーク（ＭａｔｃｈＲ－ＣＮＮと呼ばれる）は第一特徴抽出ネットワーク、第一感知ネットワーク、第二特徴抽出ネットワーク、第二感知ネットワーク及びマッチングネットワークを含む。そのうち、第一特徴抽出ネットワーク及び第二特徴抽出ネットワークは構造が同じであり、ＦＮ（ＦｅａｔｕｒｅＮｅｔｗｏｒｋ）と総称される。第一感知ネットワーク及び第二感知ネットワークは構造が同じであり、ＰＮ（ＰｅｒｃｅｐｔｉｏｎＮｅｔｗｏｒｋ）と総称される。マッチングネットワークはＭＮ（ＭａｔｃｈｉｎｇＮｅｔｗｏｒｋ）を呼ばれる。第一衣服画像は第一特徴抽出ネットワークに直接入力され、第二衣服画像は第二特徴抽出ネットワークに直接入力される。第一特徴抽出ネットワークの出力は第一感知ネットワークの入力とされ、第二特徴抽出ネットワークの出力は第二感知ネットワークの入力とされるとともに、第一特徴抽出ネットワークの出力及び第二特徴抽出ネットワークの出力は同時にマッチングネットワークの入力とされる。具体的には以下のとおりである。

【0120】

第一衣服画像を第一特徴抽出ネットワークに入力して処理し、第一特徴情報を得て、前記第一特徴情報を第一感知ネットワークに入力して処理し、前記第一衣服画像における第一衣服インスタンスのアノテーション情報を得て、ここで前記第一衣服画像は買い手からのものである。

【0121】

第二衣服画像を第二特徴抽出ネットワークに入力して処理し、第二特徴情報を得て、前記第二特徴情報を第二感知ネットワークに入力して処理し、前記第二衣服画像における第二衣服インスタンスのアノテーション情報を得て、ここで前記第二衣服画像は売り手からのものである。

【0122】

前記第一特徴情報及び前記第二特徴情報をマッチングネットワークに入力して処理し、前記第一衣服インスタンスと前記第二衣服インスタンスとのマッチング結果を得る。

【0123】

本願の実施例では、前記ニューラルネットワークを訓練するプロセスにおいて、前記キーポイントの対応するキーポイント推定交差エントロピー損失値、前記衣服種別の対応する衣服分類交差エントロピー損失値、前記衣服境界ボックスの対応する境界ボックス回帰スムーズ損失値、前記セグメンテーションマスクアノテーションの対応する衣服セグメンテーション交差エントロピー損失値、及び前記マッチング結果の対応する衣服検索交差エントロピー損失値を、同時に最適化する。

【0124】

以下に例示により本願の実施例の技術的解決手段を説明する。

【0125】

図４はＭａｔｃｈＲ－ＣＮＮのフレームワーク図であり、買い手ショー画像Ｉ_１及び売り手ショー画像Ｉ_２を入力とし、各入力画像はいずれも三つの主なサブネットワーク、即ちＦＮ、ＰＮ、ＭＮを通過する。図４では売り手ショー画像Ｉ_２が通過するＦＮ及びＰＮの構造が簡略化され、なお、売り手ショー画像Ｉ_２が通過するＦＮ及びＰＮの構造は買い手ショー画像Ｉ_１が通過するＦＮ及びＰＮの構造と同じであることである。具体的には、以下のとおりである。

【0126】

１）ＦＮはメインネットワークモジュールである残差ネットワーク－特徴ピラミッドネットワーク（ＲｅｓＮｅｔ－ＦＰＮ、ＲｅｓＮｅｔ－ＦｅａｔｕｒｅＰｙｒａｍｉｄＮｅｔｗｏｒｋｓ）、候補ボックス抽出モジュール（ＲｅｇｉｏｎＰｒｏｐｏｓａｌＮｅｔｗｏｒｋ、ＲＰＮ）、及び関心領域位置合わせモジュール（ＲＯＩＡｌｉｇｎ）を含む。入力画像はまずメインネットワークモジュールのＲｅｓＮｅｔに入力されて下から上へ特徴が抽出され、さらにＦＰＮによって上から下へアップサンプリングされ及び横方向に接続されて特徴ピラミッドを構築し、続いてＲＰＮによって候補ボックスが抽出され、ＲＯＩＡｌｉｇｎによって各レベルの候補ボックス特徴が得られる。

【0127】

２）ＰＮはキーポイント推定、衣服検出、セグメンテーション予測の三つの分岐を含み、ＦＮによって抽出された候補ボックス特徴はそれぞれＰＮの三つの分岐に入力される。ここで、キーポイント推定分岐は衣服インスタンスのキーポイントを予測するための８つの畳み込み層及び２つの逆畳み込み層を含む。衣服検出分岐は、最終的な種別予測のための完全結合層、及び境界ボックス回帰予測のための完全結合層という二つの共有される完全結合層からなる。セグメンテーション予測分岐は４つの畳み込み層、１つの逆畳み込み層、及び画素レベルのセグメンテーション画像予測に用いられる１つの畳み込み層からなる。

【0128】

３）ＭＮは特徴抽出モジュール及び衣服検索のための類似度学習モジュールを含む。ＦＮによって抽出された候補ボックス特徴は衣服種別、輪郭、マスクセグメンテーションのいずれの面でも強い判別能力を有し、本願の実施例は画像Ｉ_１及びＩ_２のＦＮ段階で抽出された候補ボックス特徴により、両者が対応する特徴ベクトルｖ_１及びｖ_２をそれぞれ特徴抽出モジュールによって取得し、その差の二乗を完全結合層に入力して二つの衣服インスタンスの類似度の評価判断を行う。

【0129】

上記ＭａｔｃｈＲ－ＣＮＮのパラメータは５つの損失関数で共同して最適化され、つまり、下式のとおりである。

【0130】

式中、Ｌ_ｃｌｓは衣服分類交差エントロピー損失値であり、Ｌ_ｂｏｘは境界ボックス回帰スムーズ損失値であり、Ｌ_ｐｏｓｅはキーポイント推定交差エントロピー損失値であり、Ｌ_ｍａｓｋは衣服セグメンテーション交差エントロピー損失値であり、Ｌ_ｐａｉｒは衣服検索交差エントロピー損失値である。ここで、Ｌ_ｃｌｓ、Ｌ_ｂｏｘ、Ｌ_ｐｏｓｅ、Ｌ_ｍａｓｋはＭａｓｋＲ－ＣＮネットワークと同じように定義され、

であり、ここで、ｙ_ｉ＝１は二つの衣服インスタンスが互いにマッチングする（同一商品識別子を有する）ことを表し、逆に、ｙ_ｉ＝０は二つの衣服インスタンスがマッチしない（異なる商品識別子を有する）ことを表す。

【0131】

本願の実施例の上記技術的解決手段は、新規で、汎用的な、エンドツーエンドの衣服深度解析フレームワーク（ＭａｔｃｈＲ－ＣＮＮ）を提供し、該フレームワークはＭａｓｋＲ－ＣＮＮに基づき、衣服種別から、密集のキーポイント、画素レベルのセグメンテーションマスクアノテーションの学習までの特徴をまとめ、複数の衣服画像解析タスクを同時に解決可能である。そのうち、従来の衣服検索の実現とは異なり、本フレームワークは収集された衣服画像をそのまま入力とすることができ、初めてエンドツーエンドの方式でインスタンスレベルの衣服検索タスクを実現し、該フレームワークは汎用性を有し、あらゆるディープニューラルネットワークに適し、また他の対象検索タスクにも適する。

【0132】

図５は本願の実施例が提供する画像マッチング方法のフローチャートであり、図５に示すように、前記画像マッチング方法は以下のステップを含む。

【0133】

ステップ５０１、マッチング待ちの第三衣服画像を受け取る。

【0134】

本願の実施例では、図３に示す方法によってニューラルネットワークの訓練を完了した後、該ニューラルネットワークによって衣服マッチング及び検索を実現することができ、具体的には、まずマッチング待ちの第三衣服画像をニューラルネットワークに入力する。なお、該第三衣服画像がどこからのものであるかは限定されず、ユーザ自身が撮影した画像であってもよく、ユーザがネットワークからダウンロードした画像などであってもよいことである。

【0135】

ステップ５０２、前記第三衣服画像から第三衣服インスタンスを抽出する。

【0136】

本願の１可能な実施例では、前記第三衣服画像から第三衣服インスタンスを抽出する前に、前記第三衣服画像に対して特徴抽出を行う必要がある。

【0137】

ステップ５０３、前記第三衣服インスタンスのアノテーション情報を取得する。

【0138】

具体には、前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得する。

【0139】

図４を参照し、第三衣服画像Ｉ_１及び照会待ちの衣服画像Ｉ_２を入力とし、各入力画像はいずれも三つの主なサブネットワーク、即ちＦＮ、ＰＮ、ＭＮを通過する。そのうち、ＦＮは衣服画像の特徴を抽出するために用いられ、ＰＮはＦＮによって抽出された特徴に基づいてキーポイント推定、衣服種別検出、衣服境界ボックス及びセグメンテーションマスクアノテーション予測を行うために用いられ、ＭＮはＦＮによって抽出された特徴に基づいて類似度学習を行うために用いられ、それにより衣服インスタンス類似度の評価判断が実現される。

【0140】

本願の実施例は画像Ｉ_１及びＩ_２のＦＮ段階で抽出された特徴により、両者が対応する特徴ベクトルｖ_１及びｖ_２を取得し、その差の二乗を完全結合層に入力して二つの衣服インスタンス類似度の評価判断を行う。

【0141】

ステップ５０４、前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会する。

【0142】

本願の実施例では、照会待ちの衣服インスタンスの数は少なくとも一つとし、これらの照会待ちの衣服インスタンスは部分的に一つの衣服画像からのものであってもよく、全て異なる衣服画像からのものであってもよい。例を挙げれば、照会待ちの衣服インスタンスは３つとし、それぞれ衣服画像１（１つの衣服インスタンスを含む）及び衣服画像２（２つの衣服インスタンスを含む）からのものである。

【0143】

本願の１可能な実施例では、前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定し、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定する。

【0144】

具体的には、図４を参照し、第三衣服画像Ｉ_１（衣服インスタンス１を含む）及び照会待ちの衣服画像Ｉ_２（衣服インスタンス２及び衣服インスタンス３を含む）を入力とすると、衣服インスタンス１と衣服インスタンス２との類似度値、及び衣服インスタンス１と衣服インスタンス３との類似度値を得ることができ、ここで、類似度値が大きければ大きいほど、マッチング度が高くなり、類似度値が小さければ小さいほど、マッチング度が低くなる。照会待ちの衣服画像の数は１つとしてもよく、複数としてもよく、これに基づき、衣服インスタンス１と各照会待ちの衣服インスタンスとの類似度値を得て、続いて、類似度値が閾値以上である衣服インスタンスを衣服インスタンス１とマッチングする衣服インスタンス（即ち第四衣服インスタンス）とすることができる。さらに、ニューラルネットワークは前記第四衣服インスタンスの画像を出力できる。

【0145】

図６は本願の実施例が提供するニューラルネットワークの訓練装置の構成模式図であり、図６に示すように、前記装置は、
第一衣服インスタンス及び第二衣服インスタンスのアノテーション情報をラベリングし、前記第一衣服インスタンス及び第二衣服インスタンスは、それぞれ第一衣服画像及び第二衣服画像からのものであり、前記第一衣服インスタンスと前記第二衣服インスタンスとがマッチングしたという状況に応答し、前記第一衣服画像と前記第二衣服画像をペアリングするように構成されたラベリングモジュール６０１と、
ペアリングされた前記第一衣服画像と前記第二衣服画像に基づいて、訓練対象のニューラルネットワークを訓練するように構成された訓練モジュール６０２と、を含む。

【0146】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服境界ボックスをそれぞれラベリングするように構成される。

【0147】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別及びキーポイントをそれぞれラベリングするように構成される。

【0148】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線及びセグメンテーションマスクアノテーションをそれぞれラベリングするように構成される。

【0149】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服種別をそれぞれ取得し、
前記衣服種別のラベリングルールに従って、前記第一衣服インスタンス及び前記第二衣服インスタンスの対応するキーポイントをそれぞれラベリングするように構成される。

【0150】

一実施形態では、前記ラベリングモジュール６０２は、
各前記キーポイントの属性情報をラベリングするように構成され、前記属性情報は、前記キーポイントが可視点に属するか、其れとも遮蔽点に属するかを示すためのものである。

【0151】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスのエッジ点と相接点をそれぞれラベリングするように構成され、ここで、前記エッジ点は、前記衣服インスタンスの衣服画像境界における点であり、前記相接点は、前記第一衣服インスタンス又は前記第二衣服インスタンスと他の衣服インスタンスとが相接しているところであり、衣服輪郭線を描画するための点である。

【0152】

一実施形態では、前記ラベリングモジュール６０２は、
それぞれ前記第一衣服インスタンスと第二衣服インスタンスのキーポイント、各キーポイントの属性情報、及びエッジ点と相接点に基づき、前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線をそれぞれ描画するように構成される。

【0153】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスの衣服輪郭線に基づいて、対応する初期段階のセグメンテーションマスクマップをそれぞれ生成し、
前記初期段階のセグメンテーションマスクマップを補正し、前記セグメンテーションマスクアノテーションを得るように構成される。

【0154】

一実施形態では、前記ラベリングモジュール６０２は、
前記第一衣服インスタンス及び前記第二衣服インスタンスに同じ商品識別子を設定するように構成される。

【0155】

当業者であれば、本実施例におけるニューラルネットワークの訓練装置内の各モジュールの機能は前記ニューラルネットワークの訓練方法の関連説明を参照した上で理解可能であることを理解すべきである。

【0156】

図７は本願の実施例が提供する画像マッチング装置の構成模式図であり、図７に示すように、前記装置は、
マッチング待ちの第三衣服画像を受け取るように構成された受け取りモジュール７０１と、
前記第三衣服画像から第三衣服インスタンスを抽出し、前記第三衣服インスタンスのアノテーション情報を取得するように構成された抽出モジュール７０２と、
前記第三衣服インスタンスのアノテーション情報に基づき、マッチングする第四衣服インスタンスを照会するように構成されたマッチングモジュール７０３と、を含む。

【0157】

一実施形態では、前記抽出モジュール７０２はさらに、前記第三衣服画像から第三衣服インスタンスを抽出する前に、前記第三衣服画像に対して特徴抽出を行うように構成される。

【0158】

一実施形態では、前記抽出モジュール７０２は、前記第三衣服インスタンスのキーポイント、衣服種別、衣服境界ボックス、及びセグメンテーションマスクアノテーションを取得するように構成される。

【0159】

一実施形態では、前記マッチングモジュール７０３は、前記第三衣服インスタンスのアノテーション情報及び少なくとも一つの照会待ちの衣服インスタンスのアノテーション情報に基づき、前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報を特定し、
前記第三衣服インスタンスと各照会待ちの衣服インスタンスとの類似度情報に基づき、前記第三衣服インスタンスとマッチングする第四衣服インスタンスを特定するように構成される。

【0160】

当業者であれば、本実施例における画像マッチング装置内の各モジュールの機能は前記画像マッチング方法の関連説明を参照した上で理解可能であることを理解すべきである。

【0161】

本願の実施例における上記画像データセット及びそれによってラベリングされたアノテーション情報やマッチング関係はコンピュータ可読記憶媒体に記憶し、ソフトウェア機能モジュールの形式で実現しかつ独立した製品として販売又は使用することができる。

【0162】

本願の実施例の技術的解決手段は実質的に又は従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、又はネットワーク機器などであってもよい）に本願の各実施例に記載の方法の全て又は一部を実行させる複数の命令を含む。前記記憶媒体は、ＵＳＢフラッシュドライブ、モバイルハードディスク、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ、読み取り専用メモリ）、磁気ディスク又は光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。従って、本願の実施例はハードウェアとソフトウェアのいかなる特定の組み合わせにも限定されない。

【0163】

これに対して、本願の実施例は実行される時に本願の実施例に係る上記追跡システムの初期化方法を実現できるコンピュータ実行可能命令が記憶されているコンピュータプログラム製品をさらに提供する。

【0164】

図８は本願の実施例に係るコンピュータ機器の構成模式図であり、図８に示すように、コンピュータ機器１００は一つ以上の（図においては一つのみ示す）プロセッサ１００２（プロセッサ１００２はマイクロプロセッサ（ＭＣＵ、ＭｉｃｒｏＣｏｎｔｒｏｌｌｅｒＵｎｉｔ）又はプログラマブルロジックデバイス（ＦＰＧＡ、ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの処理装置を含んでもよいが、これらに限定されない）、データを記憶するためのメモリ１００４、及び通信機能のための伝送装置１００６を含んでもよい。当業者であれば、図８に示す構成は例示的なものにすぎず、上記電子装置の構成を限定するものではないことが理解される。例えば、コンピュータ機器１００は図８に示すものよりも多くもしくは少ないコンポーネントを含んでもよく、又は図８に示すものと異なる配置を有してもよい。

【0165】

メモリ１００４はアプリケーションソフトウェアのソフトウェアプログラム及びモジュール、例えば本願の実施例における方法の対応するプログラム命令／モジュールを記憶するために用いることができ、プロセッサ１００２はメモリ１００４内に記憶されたソフトウェアプログラム及びモジュールを運用することで、様々な機能の応用及びデータ処理を実行し、つまり、上記方法を実現する。メモリ１００４は高速ランダムアクセスメモリを含んでよく、また一つ以上の磁気記憶装置、フラッシュメモリのような非揮発性メモリ、又は他の非揮発性ソリッドステートメモリを含んでもよい。いくつかの実施例では、メモリ１００４はプロセッサ１００２に対して遠隔に設置されたメモリをさらに含んでもよく、これらの遠隔メモリはネットワークによってコンピュータ機器１００に接続することができる。上記ネットワークの実施例はインターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むが、それらに限定されない。

【0166】

伝送装置１００６はネットワークを経由してデータを送受信するために用いられる。上記ネットワークの具体例はコンピュータ機器１００の通信プロバイダーが提供する無線ネットワークを含んでもよい。一実施例では、伝送装置１００６は、基地局によって他のネットワーク機器と接続できることによりインターネットと通信可能な一つのネットワークインタフェースコントローラ（ＮＩＣ、ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣｏｎｔｒｏｌｌｅｒ）を含む。一実施例では、伝送装置１００６は無線方式でインターネットと通信するための無線周波数（ＲＦ、ＲａｄｉｏＦｒｅｑｕｅｎｃｙ）モジュールであってもよい。

【0167】

本願の実施例に記載の技術的解決手段は、矛盾なく、任意に組み合わせることができる。

【0168】

本願が提供するいくつかの実施例では、開示する方法及びスマート機器は、他の形態で実現できることを理解すべきである。上述した機器の実施例は例示的なものに過ぎず、例えば、前記ユニットのセグメンテーションは、論理機能のセグメンテーションに過ぎず、実際に実現する場合に別の形態でセグメンテーションしてもよく、例えば、複数のユニット又はコンポーネントは組み合わせてもよいし、又は別のシステムに統合してもよいし、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した各構成要素の結合、又は直接結合、又は通信接続は、いくつかのインタフェースによるものであってもよく、機器又はユニット間の間接結合又は通信接続は、電気的、機械的又は他の形態であってもよい。

【0169】

別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部又は全てのユニットを選択することができる。

【0170】

また、本願の各実施例における各機能ユニットは全て一つの第二処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、又はハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。

【0171】

以上は本願の具体的な実施形態にすぎず、本願の保護範囲がそれに限定されるものではなく、本願に記載された技術的範囲内に当業者が容易に想到し得る変化又は取り替えは、全て本願の保護範囲に含まれるものとする。

【図1】