知財求人 - 知財ポータルサイト「IP Force」
▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧
特開2024-74525パート特徴抽出装置、パート特徴抽出方法、及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074525
(43)【公開日】2024-05-31
(54)【発明の名称】パート特徴抽出装置、パート特徴抽出方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240524BHJP
【ＦＩ】
G06T7/00 300F
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022185743
(22)【出願日】2022-11-21
(71)【出願人】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】田良島 周平
(72)【発明者】
【氏名】梅田 崇之
(72)【発明者】
【氏名】児玉 知也
(72)【発明者】
【氏名】▲きょう▼ 子臣
(72)【発明者】
【氏名】宇田 育弘
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096EA35
5L096FA01
5L096HA08
5L096HA11
5L096JA11
5L096KA04
5L096KA09
(57)【要約】
【課題】物体検索技術において、精度良くデータベースを検索することを可能とする技術を提供する。
【解決手段】パート特徴抽出装置において、入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部とを備える。
【選択図】図６
【解決手段】パート特徴抽出装置において、入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部とを備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
【請求項2】
前記パートマスク抽出部は、
前記画像から前記対象物体の姿勢を推定する姿勢推定部と、
前記姿勢推定部により得られる前記対象物体における各関節点の位置情報のうちの、前記特定の領域に対応する位置情報を用いて、前記パートマスクを抽出する抽出処理部と
を備える請求項１に記載のパート特徴抽出装置。
前記画像から前記対象物体の姿勢を推定する姿勢推定部と、
前記姿勢推定部により得られる前記対象物体における各関節点の位置情報のうちの、前記特定の領域に対応する位置情報を用いて、前記パートマスクを抽出する抽出処理部と
を備える請求項１に記載のパート特徴抽出装置。
【請求項3】
前記パートマスク抽出部は、
前記画像から前記対象物体の各領域を推定するセグメンテーション部と、
前記セグメンテーション部により得られる前記対象物体における複数の領域のうちの、前記特定の領域に対応する領域を用いて、前記パートマスクを抽出する抽出処理部と
を備える請求項１に記載のパート特徴抽出装置。
前記画像から前記対象物体の各領域を推定するセグメンテーション部と、
前記セグメンテーション部により得られる前記対象物体における複数の領域のうちの、前記特定の領域に対応する領域を用いて、前記パートマスクを抽出する抽出処理部と
を備える請求項１に記載のパート特徴抽出装置。
【請求項4】
前記パートマスク抽出部は、前記画像から、前記対象物体における特定の領域を示す複数のパートマスクを抽出し、
前記特徴生成部は、各パートマスクを用いてマスクされた複数の特徴マップから複数のパート特徴を生成し、複数のパート特徴を統合することにより１つのパート特徴を生成する
請求項１に記載のパート特徴抽出装置。
前記特徴生成部は、各パートマスクを用いてマスクされた複数の特徴マップから複数のパート特徴を生成し、複数のパート特徴を統合することにより１つのパート特徴を生成する
請求項１に記載のパート特徴抽出装置。
【請求項5】
前記パート特徴を用いて、データベースを検索する検索部を更に備える
請求項１に記載のパート特徴抽出装置。
請求項１に記載のパート特徴抽出装置。
【請求項6】
入力された映像を構成する各画像フレームから、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
各画像フレームから得られた各特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた複数の特徴マップから、複数のパート特徴を生成し、前記複数のパート特徴から１つのパート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
各画像フレームから得られた各特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた複数の特徴マップから、複数のパート特徴を生成し、前記複数のパート特徴から１つのパート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
【請求項7】
コンピュータが実行するパート特徴抽出方法であって、
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出ステップと、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキングステップと、
前記特徴マスキングステップによりマスクがなされた特徴マップから、パート特徴を生成する特徴生成ステップと
を備えるパート特徴抽出方法。
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出ステップと、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキングステップと、
前記特徴マスキングステップによりマスクがなされた特徴マップから、パート特徴を生成する特徴生成ステップと
を備えるパート特徴抽出方法。
【請求項8】
コンピュータを、請求項１ないし６のうちいずれか１項に記載のパート特徴抽出装置における各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体検索技術に関連するものである。
【背景技術】
【0002】
物体検索技術は、人物等の物体が映り込むクエリに基づいて、データベース中の要素をクエリと類似する順にランキングする技術である。
【0003】
物体検索技術により、例えば、映像に映り込む人物や商品等の特定をしたり、物体の移動軌跡を抽出したりすることが可能である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-215784号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、従来の物体検索技術においては、精度良くデータベースを検索することができないという課題があった。
【0006】
本発明は上記の点に鑑みてなされたものであり、物体検索技術において、精度良くデータベースを検索することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
開示の技術によれば、入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置が提供される。
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置が提供される。
【発明の効果】
【0008】
開示の技術によれば、物体検索技術において、精度良くデータベースを検索することを可能とする技術が提供される。
【図面の簡単な説明】
【0009】
【図1】物体検索技術を説明するための図である。
【図2】課題を説明するための図である。
【図3】課題を説明するための図である。
【図4】検索装置３０の構成図である。
【図5】パート特徴抽出装置１０の構成図である。
【図6】実施例１におけるパート特徴抽出部１００の構成図である。
【図7】特徴マップ抽出部１１０の処理内容を説明するための図である。
【図8】第１の例におけるパートマスク抽出部１２０の構成図である。
【図9】第２の例におけるパートマスク抽出部１２０の構成図である。
【図10】学習装置２０の構成図である。
【図11】モデル学習を説明するための図である。
【図12】データベース構築を説明するための図である。
【図13】検索処理を説明するための図である。
【図14】実施例２におけるパート特徴抽出部１００の構成図である。
【図15】実施例２におけるパートマスク抽出部１２０の構成と動作を説明するための図である。
【図16】実施例３における検索処理を説明するための図である。
【図17】装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【0011】
本発明に係る技術により、物体検索技術において、精度良くデータベースを検索するこが可能になるが、本発明に係る技術の適用範囲は物体検索技術に限定されない。
【0012】
以下ではまず、本実施の形態に係る技術についてのユースケースの例、及び課題について詳細に説明し、その後に本実施の形態に係る技術を詳細に説明する。以下の説明における参考文献については［１］等の番号で表記し、番号に対応する参考文献名については明細書の最後にまとめて記載した。なお、参考文献に開示された内容そのものは公知であるが、下記のユースケースの説明、参考文献についての説明、及び課題の説明は必ずしも公知ではない。
【0013】
（ユースケースの例）
本実施の形態におけるユースケースの例として物体検索技術がある。これを、図１を参照して説明する。本実施の形態では、後述する検索装置３０が、例えば人物等の物体が映り込むクエリに基づいて、データベース中の要素をクエリと類似する順にランキングする。
本実施の形態におけるユースケースの例として物体検索技術がある。これを、図１を参照して説明する。本実施の形態では、後述する検索装置３０が、例えば人物等の物体が映り込むクエリに基づいて、データベース中の要素をクエリと類似する順にランキングする。
【0014】
例えばデータベース中の要素に予め属性（例えば、物体固有の名称など）を付与しておく。上記の物体検索技術を用いることで、クエリと特に類似したデータベース中の要素の属性を用いて、クエリの属性を判定することができる。これにより、映像に映り込む人物や商品等の特定をすることができる。
【0015】
また、ある時刻にあるカメラから取得される物体を捉えたデータをクエリとし、それ以外の時刻や他のカメラが物体を捉えたデータをデータベースに格納することで、時刻やカメラを横断して同一の個体を探し出すことが可能となる。これにより、物体の移動軌跡を抽出することができる。
【0016】
以上から、物体検索技術は様々な応用を実現するための必須要素技術であり、その産業応用性は極めて高いことが分かる。
【0017】
（課題について）
一般に、同一の物体であっても、その物体が存在する時刻あるいは場所により、その全貌の見えは必ずしも一貫していない。例えば図２に示すように、同一人物が異なる衣類を着用（図２上段の例）していたり、同一の衣類でもその着用方法が異なっていたり（図２下段の例）する場合、全貌の見えは大きく異なる。図２上段の例の場合、ジャケットを着用しているか否かが異なる。図２下段の例の場合、パーカの前面を閉じているか否か、またフードを被っているか否かが異なる。
一般に、同一の物体であっても、その物体が存在する時刻あるいは場所により、その全貌の見えは必ずしも一貫していない。例えば図２に示すように、同一人物が異なる衣類を着用（図２上段の例）していたり、同一の衣類でもその着用方法が異なっていたり（図２下段の例）する場合、全貌の見えは大きく異なる。図２上段の例の場合、ジャケットを着用しているか否かが異なる。図２下段の例の場合、パーカの前面を閉じているか否か、またフードを被っているか否かが異なる。
【0018】
上記のように、同一の物体であっても、その物体が存在する時刻あるいは場所により、その全貌の見えが異なることについては、人物に限らず他の多くの物体で生じ得る。一般的に、物体検索技術は、このような同一物体の全貌の変化に対して頑健であることが望ましい。
【0019】
物体検索技術の公知の技術として、例えば［１］に開示された技術がある。当該技術では、畳み込みニューラルネットワーク（ＣＮＮ）を用いてクエリ及びデータベースの各要素から特徴ベクトルを抽出し、クエリとデータベース全要素とで計算される特徴ベクトルの距離あるいは類似度に基づいてデータベース中の要素をランキングする。
【0020】
［１］に開示された技術では、入力クエリ全体から特徴抽出を行うため、物体の全貌の見えが変化してしまう場合に、クエリと同一の物体を上位にランキングする性能が低下してしまうという課題がある。また、多くの場合、クエリには特定物体とは無関係の背景が映り込んでいるが、特徴抽出がこの背景領域の影響を少なからず受けてしまうという課題もある。特徴抽出がこの背景領域の影響を強く受けてしまった場合、対象物体ではなく背景の類似性に基づいてデータベース要素がランキングされてしまい、望む検索結果との乖離が大きくなる可能性が高い。
【0021】
上記の課題を解決する単純なアプローチとして、物体を構成する一部分のうち変化の生じない箇所を事前に指定し、特徴抽出の入力とする方法が考えられる。
【0022】
例えば図３では、人物の下半身は着用する衣類が変化しないという仮定のもと、クエリ及びデータベースの各要素の下半分を切り出し、特徴抽出の入力とする場合の例を示している。この方法を用いることで、対象物体のうち見えに変化が生じ得る部分の影響を抑制することが可能になる。しかし、背景領域の影響は依然として抑制できていない。この課題は、例えば顔の部分に着目する場合など、着目する部分がクエリ全体の中で小さく映り込む場合に特に顕著である。
【0023】
以上をまとめると、従来の物体検索技術においては、対象物体の中で見えが変化した領域、及び、対象と無関係の背景領域、のうちの少なくとも一つ以上の影響を受けてしまうため、クエリと同一物体を捉えたデータベース中の要素を上位にランキングすることができないという課題があった。すなわち、従来の物体検索技術においては、精度良くデータベースを検索することができないという課題があった。
【0024】
以下、実施例１～３を用いて、上記の課題を解決するための装置構成と装置動作を詳細に説明する。
【0025】
（検索装置の構成例）
まず、実施例１～３に共通の検索装置３０について説明する。図４に検索装置３０の構成例を示す。
まず、実施例１～３に共通の検索装置３０について説明する。図４に検索装置３０の構成例を示す。
【0026】
図４に示すように、検索装置３０は、入力部３１、パート特徴抽出部１００、検索部３２、及び出力部３３を備える。検索装置３０は、例えば、図１を参照して説明した動作を実行する。ここでは、検索対象のデータベースについては、検索装置３０の外部に備えられていることを想定するが、当該データベースが検索装置３０の内部に備えられてもよい。
【0027】
図４に示すように、検索装置３０は、入力部３１、パート特徴抽出部１００、検索部３２、及び出力部３３を有する。検索装置３０の動作概要は下記のとおりである。なお、「画像」には「映像」の意味が含まれることとしてもよい。
【0028】
入力部３１からクエリである画像が入力される。パート特徴抽出部１００は、入力された画像からパート特徴を抽出する。検索部３２は、パート特徴抽出部１００により抽出されたパート特徴を用いて、データベースを検索する。出力部３３は検索結果を出力する。
【0029】
なお、本実施の形態では、パート特徴抽出部１００を、データベース検索に使用することを想定しているが、これは一例である。パート特徴抽出部１００により得られるパート特徴は、任意の用途に使用することが可能である。
【0030】
例えば、パート特徴抽出部１００は、パート特徴の抽出結果を出力とするパート特徴抽出装置１０に使用されてもよい。図５に、パート特徴抽出装置１０の構成例を示す。図５に示すように、パート特徴抽出装置１０は、入力部２００、パート特徴抽出部１００、出力部３００を有する。
【0031】
入力部２００から画像が入力される。パート特徴抽出部１００は、入力された画像からパート特徴を抽出する。出力部３００は、抽出されたパート特徴を出力する。出力されたパート特徴はどのような用途に使用してもよい。例えば、パート特徴をデータベース構築に使用してもよい。
【0032】
なお、検索装置３０は、パート特徴抽出を行うので、パート特徴抽出装置の一例である。つまり、検索装置３０をパート特徴抽出装置と呼んでもよい。
【0033】
以下、検索装置３０の詳細（特にパート特徴抽出部１００の詳細）について、実施例１～３を用いて説明する。
【0034】
（実施例１）
まず、実施例１を説明する。実施例１では、検索装置３０は、人物を捉えた画像をクエリとして入力し、人物の顔を対象パートとする検索を実施する。対象パートは顔以外であってもよく、また対象パートが複数指定されていてもよい。また、対象は人物以外の任意の物体であってもよい。
まず、実施例１を説明する。実施例１では、検索装置３０は、人物を捉えた画像をクエリとして入力し、人物の顔を対象パートとする検索を実施する。対象パートは顔以外であってもよく、また対象パートが複数指定されていてもよい。また、対象は人物以外の任意の物体であってもよい。
【0035】
＜実施例１：パート特徴抽出部１００＞
実施例１におけるパート特徴抽出部１００について説明する。図６に、実施例１におけるパート特徴抽出部１００の構成例を示す。
実施例１におけるパート特徴抽出部１００について説明する。図６に、実施例１におけるパート特徴抽出部１００の構成例を示す。
【0036】
図６に示すように、実施例１におけるパート特徴抽出部１００は、特徴マップ抽出部１１０、パートマスク抽出部１２０、特徴マスキング部１３０、及び特徴プーリング部１４０を有する。各部の概要は下記のとおりである。
【0037】
特徴マップ抽出部１１０は、入力された画像から特徴マップを抽出する。パートマスク抽出部１２０は、入力された画像から、対象物体のうちフォーカスする領域を示すパートマスクを抽出する。
【0038】
特徴マスキング部１３０は、パートマスクに基づいて特徴マップ中の特徴をマスキングする。特徴プーリング部１４０は、マスキングされた特徴マップをプーリングして一つの特徴ベクトルを出力する。
【0039】
パート特徴抽出部１００は、例えばニューラルネットワークのモデル（パート特徴抽出モデルと呼ぶ）として実現できる。パート特徴抽出モデルのパラメータは、後述するモデル学習装置２０により、学習データセットを用いることで学習される。
【0040】
パートマスク抽出部１２０に、特徴マップ抽出部１１０が含まれていてもよい。また、特徴プーリング部１４０を特徴生成部と呼んでもよい。
【0041】
＜実施例１：パート特徴抽出部１００の各部の詳細＞
以下ではパート特徴抽出部１００の各部をより詳細に説明する。
以下ではパート特徴抽出部１００の各部をより詳細に説明する。
【0042】
特徴マップ抽出部１１０：
特徴マップ抽出部１１０は、図７に示すように、高さＨ、幅Ｗの入力画像（クエリ）から、Ｈ´×Ｗ´×Ｃ´の特徴マップを抽出する。ここでＣ´は、特徴マップの各位置における特徴量の次元と解釈することができる。特徴マップを抽出する手法としては任意の手法を用いることが可能であり、例えば［２］に開示された手法などを適用することができる。
特徴マップ抽出部１１０は、図７に示すように、高さＨ、幅Ｗの入力画像（クエリ）から、Ｈ´×Ｗ´×Ｃ´の特徴マップを抽出する。ここでＣ´は、特徴マップの各位置における特徴量の次元と解釈することができる。特徴マップを抽出する手法としては任意の手法を用いることが可能であり、例えば［２］に開示された手法などを適用することができる。
【0043】
パートマスク抽出部１２０は、入力画像から、対象パート（本実施例では顔）が画像のどの位置に映り込むかを示したパートマスクＨ´×Ｗ´×１を出力する。パートマスクの各要素は０あるいは１をとり、１のときその位置は対象パートを含むことを示す。パートマスク抽出部１２０の構成例として、下記の第１の例と第２の例がある。
【0044】
パートマスク抽出部１２０の第１の例：
図８に、第１の例におけるパートマスク抽出部１２０の構成を示す。図８に示すように、第１の例におけるパートマスク抽出部１２０は、姿勢推定部１２１と抽出処理部１２２を有する。
図８に、第１の例におけるパートマスク抽出部１２０の構成を示す。図８に示すように、第１の例におけるパートマスク抽出部１２０は、姿勢推定部１２１と抽出処理部１２２を有する。
【0045】
姿勢推定部１２１は、入力画像から対象物体の姿勢を推定する。抽出処理部１２２は、姿勢推定部１２１の中間出力として得られる各関節点の位置情報を示したヒートマップを入力として、フォーカスするパートを選択し、選択されたパートに対応するヒートマップの統合及び当該ヒートマップの量子化（例えば二値化）を行う。
【0046】
ここで、姿勢推定部１２１として、任意の技術を用いることが可能であり、例えば［３］に開示された技術などを適用することができる。
【0047】
実施例１では、姿勢推定部１２１は、目や鼻など顔のパートを構成する５点、及び肩や腰、足などの関節点１２点からなる１７点のキーポイントの位置を取得し、その中間出力として、各キーポイントに対し、入力画像上での位置にピークを持つヒートマップを出力する。
【0048】
抽出処理部１２０は、姿勢推定部１２１により得られたヒートマップ集合のうち、顔のパートを構成するものをまず選択し、選択されたヒートマップから、各位置での最大値をさらに選択することで、複数のヒートマップを１つのヒートマップに統合する。得られた１つのヒートマップを決められた閾値を用いて二値化することで、パートマスクを出力することができる。
【0049】
パートマスク抽出部１２０の第２の例：
図９に、第２の例におけるパートマスク抽出部１２０の構成を示す。図９に示すように、第２の例におけるパートマスク抽出部１２０は、セグメンテーション部１２３と抽出処理部１２４を有する。
図９に、第２の例におけるパートマスク抽出部１２０の構成を示す。図９に示すように、第２の例におけるパートマスク抽出部１２０は、セグメンテーション部１２３と抽出処理部１２４を有する。
【0050】
セグメンテーション部１２３は、入力画像から対象物体の各領域を推定する。抽出処理部１２４は、セグメンテーション部１２３の出力として得られるパートマスク集合を入力として、フォーカスするパートの選択及び選択されたパートに対応するマスクの統合を行う。
【0051】
セグメンテーション部１２３として、任意の技術を用いることが可能であり、例えば［４］に開示された技術を適用することができる。セグメンテーション部１２３は、物体を構成する所定のパートの画像中での位置を示すパートマスクの集合を直接出力する。
【0052】
図９の下側に示すセグメンテーション結果のイメージにおける上の部分が顔のパートに対応する。抽出処理部１２４は、顔のパートに対応する複数マスクを選択し、これらを統合することで１つのパートマスクを出力することができる。
【0053】
特徴マスキング部１３０：
特徴マスキング部１３０は、特徴マップ抽出部１１０で得られた特徴マップを、パートマスク抽出部１２０で得られたパートマスクでマスキングする。具体的には、特徴マップのうち、パートマスクが０をとる位置の特徴はその値を全て０で置き換える。
特徴マスキング部１３０は、特徴マップ抽出部１１０で得られた特徴マップを、パートマスク抽出部１２０で得られたパートマスクでマスキングする。具体的には、特徴マップのうち、パートマスクが０をとる位置の特徴はその値を全て０で置き換える。
【0054】
特徴プーリング部１４０：
特徴プーリング部１４０は、特徴マスキング部１３０により得られたマスキングされた特徴マップを入力として、入力画像に対応するパート特徴を示す特徴ベクトルを抽出する。特徴プーリング部１４０として、任意の技術を使用することが可能であり、例えば最大値プーリングあるいは平均値プーリングを使用することができる。
特徴プーリング部１４０は、特徴マスキング部１３０により得られたマスキングされた特徴マップを入力として、入力画像に対応するパート特徴を示す特徴ベクトルを抽出する。特徴プーリング部１４０として、任意の技術を使用することが可能であり、例えば最大値プーリングあるいは平均値プーリングを使用することができる。
【0055】
【0056】
入力部２１から学習データセットが入力される。モデル学習部２２は、学習データセットを用いてパート特徴抽出モデルの学習を行う。学習済みのモデル（具体的にはパラメータ）は、モデル格納部２３に格納される。モデル格納部２３に格納されたモデルは、例えば、検索装置３０により読み出されて、パート特徴抽出部１００において使用される。
【0057】
図１１に、モデル学習の処理イメージを示す。図１１に示すように、実施例１の学習データセットは、映り込む特定物体固有のＩＤが付与された複数の画像（ＩＤごとの複数の画像）で構成される。モデル学習部２３による学習方法として、どのような方法を用いてもよく、例えば、［５］に開示された方法を適用することができる。
【0058】
モデル学習部２３では、例えば、学習データセットにおけるあるＩＤの画像を入力したパート特徴抽出モデルからの出力が、ある特徴ベクトルになるように（該当ＩＤを特定できるように）、パート特徴抽出モデルのパラメータを調整する。パラメータの調整方法としては、例えば、誤差逆伝播法を用いることができる。
【0059】
＜実施例１：データベースの構築について＞
検索装置３０が検索の対象とするデータベースの構築方法について説明する。検索対象となるデータベースを構築するには、学習済みのパート特徴抽出部１００を備えるパート特徴抽出装置１０を使用する。
検索装置３０が検索の対象とするデータベースの構築方法について説明する。検索対象となるデータベースを構築するには、学習済みのパート特徴抽出部１００を備えるパート特徴抽出装置１０を使用する。
【0060】
図１２に示すように、データベースに登録する各画像をパート特徴抽出装置１０への入力とする。パート特徴抽出装置１０は、パート特徴抽出部１００により、各画像の特徴ベクトルを抽出し、出力する。
【0061】
実施例１において、データベースに登録する各要素は、画像ごとの、固有のＩＤ、画像に対応するパート特徴（特徴ベクトル）、及び属性を有する。属性としては、任意の情報を登録することができ、例えば特定物体が人物の場合は人物の名称／性別／属性などを登録することができる。
【0062】
＜実施例１：検索処理について＞
検索装置３０による検索処理の例を、図１３を参照して説明する。Ｓ１において、クエリ画像をパート特徴抽出部１００へ入力してパート特徴（クエリ特徴）を抽出する。
検索装置３０による検索処理の例を、図１３を参照して説明する。Ｓ１において、クエリ画像をパート特徴抽出部１００へ入力してパート特徴（クエリ特徴）を抽出する。
【0063】
Ｓ２において、検索部３２は、パート特徴を、データベースに登録されている特徴と比較することでデータベース内の要素をランキングしその結果を出力する。
【0064】
検索部３２において、クエリ特徴とデータベースにおける特徴とを比較する方法として、どのような方法を使用してもよいが、例えばクエリ特徴とデータベース全要素の特徴とのコサイン類似度を計算し、その類似度が高い順にデータベース内要素をランキングすればよい。
【0065】
（実施例２）
続いて、実施例２について説明する。実施例２においても実施例１と同様に、検索装置３０は、人物を捉えた画像をクエリとして入力し、人物の顔を対象パートとする検索を実施する。対象パートは顔以外であってもよく、また対象パートが複数指定されていてもよい。また、対象は人物以外の任意の物体であってもよい。
続いて、実施例２について説明する。実施例２においても実施例１と同様に、検索装置３０は、人物を捉えた画像をクエリとして入力し、人物の顔を対象パートとする検索を実施する。対象パートは顔以外であってもよく、また対象パートが複数指定されていてもよい。また、対象は人物以外の任意の物体であってもよい。
【0066】
パート特徴抽出部１００の構成と動作が実施例１と実施例２とで異なる。パート特徴抽出部１００以外は、実施例１と実施例２で同じである。以下では、実施例２のパート特徴抽出部１００について説明する。
【0067】
＜実施例２：パート特徴抽出部１００＞
図１４に、実施例２におけるパート特徴抽出部１００の構成例を示す。図１４に示すように、実施例２におけるパート特徴抽出部１００は、特徴マップ抽出部１１０、パートマスク抽出部１２０、特徴マスキング部１３０、特徴プーリング部１４０、及び特徴統合部１５０を有する。各部の概要は下記のとおりである。
図１４に、実施例２におけるパート特徴抽出部１００の構成例を示す。図１４に示すように、実施例２におけるパート特徴抽出部１００は、特徴マップ抽出部１１０、パートマスク抽出部１２０、特徴マスキング部１３０、特徴プーリング部１４０、及び特徴統合部１５０を有する。各部の概要は下記のとおりである。
【0068】
特徴マップ抽出部１１０は、入力された画像から特徴マップを抽出する。パートマスク抽出部１２０は、入力された画像から対象物体のうちフォーカスする各領域を示すパートマスク集合を抽出する。
【0069】
特徴マスキング部１３０は、パートマスク集合に含まれる各パートマスクに基づいて特徴マップ中の特徴をマスキングする。特徴プーリング部１４０は、マスキングされた特徴マップの集合に含まれる各特徴マップをプーリングして特徴ベクトル集合を出力する。特徴統合部１５０は、特徴ベクトル集合を、その重要度を考慮した上で統合する。
【0070】
パートマスク抽出部１２０に、特徴マップ抽出部１１０が含まれていてもよい。また、「特徴プーリング部１４０＋特徴統合部１５０」を特徴生成部と呼んでもよい。
【0071】
＜実施例２：パート特徴抽出部１００の各部の詳細＞
以下ではパート特徴抽出部１００の各部をより詳細に説明する。
以下ではパート特徴抽出部１００の各部をより詳細に説明する。
【0072】
特徴マップ抽出部１１０：
特徴マップ抽出部１１０は、実施例１（図７）と同一である。
特徴マップ抽出部１１０は、実施例１（図７）と同一である。
【0073】
【0074】
【0075】
姿勢推定部１２１は実施例１と同じである。抽出処理部１２２は、例えば顔のパートを対象とする場合、顔を構成する５つのキーポイントに対応するヒートマップそれぞれについて、二値化処理を施すことで５つのパートマスクを出力する。ここで、５つのパートマスクに加え、ヒートマップ集合を統合して得られるものを二値化して得られるパートマスクを出力してもよい。
【0076】
図１５は、実施例１において第１の例として説明した姿勢推定を行う場合の例を示している。実施例２でも、実施例１の第２の例（図９）と同様に、セグメンテーション部１２３を用いることで、パートマスク集合を出力することとしてもよい。
【0077】
特徴マスキング部１３０：
特徴マスキング部１３０は特徴マップ抽出部１１０で得られた特徴マップに対し、パートマスク抽出部１２０で得られた各パートマスクを独立に適用し、パートマスク抽出部１２０で得られたパートマスクと同数のマスキングされた特徴マップ（マスキングされた特徴マップ集合）を出力する。マスキング自体は実施例１と同じであり、特徴マップのうち、パートマスクが０をとる位置の特徴はその値を全て０で置き換える。
特徴マスキング部１３０は特徴マップ抽出部１１０で得られた特徴マップに対し、パートマスク抽出部１２０で得られた各パートマスクを独立に適用し、パートマスク抽出部１２０で得られたパートマスクと同数のマスキングされた特徴マップ（マスキングされた特徴マップ集合）を出力する。マスキング自体は実施例１と同じであり、特徴マップのうち、パートマスクが０をとる位置の特徴はその値を全て０で置き換える。
【0078】
特徴プーリング部１４０：
特徴プーリング部１４０は、特徴マスキング部１３０により得られたマスキングされた特徴マップの各々を独立にプーリングして特徴ベクトルの集合を出力する。プーリングの方法は、実施例１と同じでよい。
特徴プーリング部１４０は、特徴マスキング部１３０により得られたマスキングされた特徴マップの各々を独立にプーリングして特徴ベクトルの集合を出力する。プーリングの方法は、実施例１と同じでよい。
【0079】
特徴統合部１５０：
特徴統合部１５０は、特徴プーリング部１４０が出力する特徴ベクトルの集合を、各特徴ベクトルの重要度を考慮して重みづけした上で統合し、１つの特徴ベクトルを出力する。特徴ベクトルの集合を統合する方法としてはどのような方法を用いてもよいが、一例として、［６］に開示されているScaled-dot Self-attentionを用いて、特徴プーリング部１４０から出力された特徴ベクトル集合の平均として、特徴統合部１５０が出力する特徴ベクトルを計算することができる。
特徴統合部１５０は、特徴プーリング部１４０が出力する特徴ベクトルの集合を、各特徴ベクトルの重要度を考慮して重みづけした上で統合し、１つの特徴ベクトルを出力する。特徴ベクトルの集合を統合する方法としてはどのような方法を用いてもよいが、一例として、［６］に開示されているScaled-dot Self-attentionを用いて、特徴プーリング部１４０から出力された特徴ベクトル集合の平均として、特徴統合部１５０が出力する特徴ベクトルを計算することができる。
【0080】
（実施例３）
続いて、実施例３について説明する。以下、実施例１及び実施例２と異なる点を説明する。実施例３は、実施例１と実施例２のうちのいずれにも適用可能である。
続いて、実施例３について説明する。以下、実施例１及び実施例２と異なる点を説明する。実施例３は、実施例１と実施例２のうちのいずれにも適用可能である。
【0081】
実施例１及び実施例２では、クエリ及びデータベースの要素単位を画像としていた。一方、実施例３では、特定物体を所定の時間捉えた映像（時間的に連続した複数の画像）を、クエリ及びデータベースの要素単位とする。
【0082】
実施例３において、パート特徴抽出部１００は、実施例１及び実施例２における処理内容（図６、図１４）を、所定時間の映像を構成する各画像フレームに適用し、得られた特徴集合（複数画像フレームの特徴）をプーリングして１つの特徴ベクトルを抽出する。その他の構成及び処理内容は実施例１及び実施例２と同じである。
【0083】
すなわち、パートマスク抽出部１２０は、入力された映像を構成する各画像フレームから、対象物体における特定の領域を示すパートマスクを抽出する。特徴マスキング部１３０は、各画像フレームから得られた各特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする。特徴生成部（特徴プーリング部１４０、特徴プーリング部１４０＋特徴統合部１５０）は、特徴マスキング部１３０によりマスクがなされた複数の特徴マップから、複数のパート特徴を生成し、当該複数のパート特徴から１つのパート特徴を生成する。
【0084】
実施例３における検索装置３０による検索処理の例を、図１６を参照して説明する。Ｓ１１において、クエリとなる所定時間の映像をパート特徴抽出部１００へ入力して、当該映像のパート特徴を抽出する。
【0085】
Ｓ１２において、検索部３２は、パート特徴を、データベースに登録されている特徴と比較することでデータベース内の要素をランキングしその結果を出力する。
【0086】
検索部３２において、でクエリ特徴とデータベースにおける特徴とを比較する方法として、どのような方法を使用してもよいが、例えばクエリ特徴とデータベース全要素の特徴とのコサイン類似度を計算し、その類似度が高い順にデータベース内要素をランキングすればよい。
【0087】
（ハードウェア構成例）
本実施の形態で説明したいずれの装置（パート特徴抽出装置１０、学習装置２０、検索装置３０）も、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
本実施の形態で説明したいずれの装置（パート特徴抽出装置１０、学習装置２０、検索装置３０）も、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。
【0088】
すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
【0089】
図１７は、上記コンピュータのハードウェア構成例を示す図である。図１７のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。
【0090】
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【0091】
メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。
【0092】
（実施の形態のまとめ、効果）
以上説明したとおおり、本実施の形態では、パート特徴抽出装置等において、画像から、予め決められた対象物体の部分領域にフォーカスした特徴を抽出するパート特徴抽出部１００を備える。
以上説明したとおおり、本実施の形態では、パート特徴抽出装置等において、画像から、予め決められた対象物体の部分領域にフォーカスした特徴を抽出するパート特徴抽出部１００を備える。
【0093】
実施例１のパート特徴抽出部１００は、画像から特徴マップを抽出する特徴マップ抽出部１１０と、画像から対象物体のうちフォーカスする領域を示すパートマスクを抽出するパートマスク抽出部１２０と、パートマスクに基づいて特徴マップ中の特徴をマスキングする特徴マスキング部１２０と、マスキングされた特徴マップをプーリングして１つの特徴ベクトルを出力する特徴プーリング部１４０とを備える。
【0094】
パート特徴抽出部１００によって、対象物体の中で見えが変化した領域と、対象と無関係の背景領域のいずれの影響も抑制した特徴抽出が可能となる。
【0095】
パート特徴抽出部１００を物体検索に利用した場合、精度良くデータベースを検索することができるようになる。つまり、対象物体の中で見えが変化した領域と、対象と無関係の背景領域のいずれの影響も抑制した物体検索を実現することができる。
【0096】
実施例２のパート特徴抽出部１００は、画像から特徴マップを抽出する特徴マップ抽出部１１０と、画像から対象物体のうちフォーカスする各領域を示すパートマスク集合を抽出するパートマスク抽出部１２０と、パートマスク集合に含まれる各パートマスクに基づいて特徴マップ中の特徴をマスキングする特徴マスキング部１３０と、マスキングされた特徴マップの集合に含まれる各特徴マップをプーリングして特徴ベクトル集合を出力する特徴プーリング部１４０と、特徴ベクトル集合を統合する特徴統合部１５０とを有する。
【0097】
実施例２のパート特徴抽出部１００によって、対象物体の中で見えが変化した領域と、対象と無関係の背景領域のいずれの影響も抑制しつつ、かつ、フォーカスするパートのうち特に検索に有効なパートをパート特徴抽出部１００の中で重みづけすることが可能となり、検索の精度をより向上させることができる。
【0098】
パート特徴抽出部１００を構成するパートマスク抽出部１２０は、例えば、入力画像から対象物体の姿勢を推定する姿勢推定部１２１と、姿勢推定部１２１の中間出力として得られる各関節点の位置情報を示したヒートマップを入力として、フォーカスするパートの選択・選択されたパートに対応するヒートマップの統合及びヒートマップの量子化を行う抽出処理部１２２を有する。
【0099】
上記の構成により、物体の関節点位置にフォーカスした特徴抽出を行うことが可能となり、検索の精度をより向上させることができる。
【0100】
パート特徴抽出部１００を構成するパートマスク抽出部１２０は、例えば、入力画像から対象物体の各領域を推定するセグメンテーション部１２３と、セグメンテーション部１２３の出力として得られるパートマスク集合を入力として、フォーカスするパートの選択及び選択されたパートに対応するマスクの統合を行う抽出処理部１２４を有することとしてもよい。
【0101】
上記の構成によって、様々な形状のフォーカス領域に基づく特徴抽出を行うことが可能となり、検索の精度をより向上させることができる。
【0102】
また、クエリ及びデータベース要素として扱う情報を画像ではなく、特定物体を所定の時間捉えた映像（時間的に連続した複数の画像）としてもよい。これにより、対象物体の様々な見えを考慮した特徴抽出が可能となり、検索の精度をより向上させることができる。
【0103】
本実施の形態に係る技術により、対象物体の中で見えが変化した領域と、対象と無関係の背景領域のいずれの影響も抑制した物体検索を精度よく実現することができる。
【0104】
以上の実施形態に関し、更に以下の付記を開示する。
【0105】
＜付記＞
（付記項１）
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
（付記項２）
前記パートマスク抽出部は、
前記画像から前記対象物体の姿勢を推定する姿勢推定部と、
前記姿勢推定部により得られる前記対象物体における各関節点の位置情報のうちの、前記特定の領域に対応する位置情報を用いて、前記パートマスクを抽出する抽出処理部と
を備える付記項１に記載のパート特徴抽出装置。
（付記項３）
前記パートマスク抽出部は、
前記画像から前記対象物体の各領域を推定するセグメンテーション部と、
前記セグメンテーション部により得られる前記対象物体における複数の領域のうちの、前記特定の領域に対応する領域を用いて、前記パートマスクを抽出する抽出処理部と
を備える付記項１に記載のパート特徴抽出装置。
（付記項４）
前記パートマスク抽出部は、前記画像から、前記対象物体における特定の領域を示す複数のパートマスクを抽出し、
前記特徴生成部は、各パートマスクを用いてマスクされた複数の特徴マップから複数のパート特徴を生成し、複数のパート特徴を統合することにより１つのパート特徴を生成する
付記項１ないし３のうちいずれか１項に記載のパート特徴抽出装置。
（付記項５）
前記パート特徴を用いて、データベースを検索する検索部を更に備える
付記項１ないし４のうちいずれか１項に記載のパート特徴抽出装置。
（付記項６）
入力された映像を構成する各画像フレームから、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
各画像フレームから得られた各特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた複数の特徴マップから、複数のパート特徴を生成し、前記複数のパート特徴から１つのパート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
（付記項７）
コンピュータが実行するパート特徴抽出方法であって、
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出ステップと、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキングステップと、
前記特徴マスキングステップによりマスクがなされた特徴マップから、パート特徴を生成する特徴生成ステップと
を備えるパート特徴抽出方法。
（付記項８）
コンピュータを、付記項１ないし６のうちいずれか１項に記載のパート特徴抽出装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。
（付記項１）
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた特徴マップから、パート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
（付記項２）
前記パートマスク抽出部は、
前記画像から前記対象物体の姿勢を推定する姿勢推定部と、
前記姿勢推定部により得られる前記対象物体における各関節点の位置情報のうちの、前記特定の領域に対応する位置情報を用いて、前記パートマスクを抽出する抽出処理部と
を備える付記項１に記載のパート特徴抽出装置。
（付記項３）
前記パートマスク抽出部は、
前記画像から前記対象物体の各領域を推定するセグメンテーション部と、
前記セグメンテーション部により得られる前記対象物体における複数の領域のうちの、前記特定の領域に対応する領域を用いて、前記パートマスクを抽出する抽出処理部と
を備える付記項１に記載のパート特徴抽出装置。
（付記項４）
前記パートマスク抽出部は、前記画像から、前記対象物体における特定の領域を示す複数のパートマスクを抽出し、
前記特徴生成部は、各パートマスクを用いてマスクされた複数の特徴マップから複数のパート特徴を生成し、複数のパート特徴を統合することにより１つのパート特徴を生成する
付記項１ないし３のうちいずれか１項に記載のパート特徴抽出装置。
（付記項５）
前記パート特徴を用いて、データベースを検索する検索部を更に備える
付記項１ないし４のうちいずれか１項に記載のパート特徴抽出装置。
（付記項６）
入力された映像を構成する各画像フレームから、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出部と、
各画像フレームから得られた各特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキング部と、
前記特徴マスキング部によりマスクがなされた複数の特徴マップから、複数のパート特徴を生成し、前記複数のパート特徴から１つのパート特徴を生成する特徴生成部と
を備えるパート特徴抽出装置。
（付記項７）
コンピュータが実行するパート特徴抽出方法であって、
入力された画像から、対象物体における特定の領域を示すパートマスクを抽出するパートマスク抽出ステップと、
前記画像から得られた特徴マップにおける前記特定の領域以外の部分を、前記パートマスクを用いてマスクする特徴マスキングステップと、
前記特徴マスキングステップによりマスクがなされた特徴マップから、パート特徴を生成する特徴生成ステップと
を備えるパート特徴抽出方法。
（付記項８）
コンピュータを、付記項１ないし６のうちいずれか１項に記載のパート特徴抽出装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。
【0106】
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
［参考文献］
[1] Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, and Tao Xiang. Learning generalisable omni-scale representations for person re-identification. TPAMI, 2021.
[2] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, 2016.
[3] Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In CVPR, 2019.
[4] Xiaodan Liang, Ke Gong, Xiaohui Shen, and Liang Lin. Look into person: Joint body parsing & pose estimation network and a new benchmark. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.
[5] Hao Luo, Youzhi Gu, Xingyu Liao, Shenqi Lai, and Wei Jiang. Bag of tricks and a strong baseline for deep person re-identification. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2019.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.
［参考文献］
[1] Kaiyang Zhou, Yongxin Yang, Andrea Cavallaro, and Tao Xiang. Learning generalisable omni-scale representations for person re-identification. TPAMI, 2021.
[2] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. In CVPR, 2016.
[3] Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep high-resolution representation learning for human pose estimation. In CVPR, 2019.
[4] Xiaodan Liang, Ke Gong, Xiaohui Shen, and Liang Lin. Look into person: Joint body parsing & pose estimation network and a new benchmark. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.
[5] Hao Luo, Youzhi Gu, Xingyu Liao, Shenqi Lai, and Wei Jiang. Bag of tricks and a strong baseline for deep person re-identification. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, June 2019.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.
【符号の説明】
【0107】
１０ パート特徴抽出装置
２０ 学習装置
２１ 入力部
２２ モデル学習部
２３ モデル格納部
３０ 検索装置
３１ 入力部
３２ 検索部
３３ 出力部
１００ パート特徴抽出部
１１０ 特徴マップ抽出部
１２０ パートマスク抽出部
１２１ 姿勢推定部
１２２ 抽出処理部
１２３ セグメンテーション部
１２４ 抽出処理部
１３０ 特徴マスキング部
１４０ 特徴プーリング部
１５０ 特徴統合部
２００ 入力部
３００ 出力部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置
２０ 学習装置
２１ 入力部
２２ モデル学習部
２３ モデル格納部
３０ 検索装置
３１ 入力部
３２ 検索部
３３ 出力部
１００ パート特徴抽出部
１１０ 特徴マップ抽出部
１２０ パートマスク抽出部
１２１ 姿勢推定部
１２２ 抽出処理部
１２３ セグメンテーション部
１２４ 抽出処理部
１３０ 特徴マスキング部
１４０ 特徴プーリング部
１５０ 特徴統合部
２００ 入力部
３００ 出力部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】