ホーム > 特許ランキング > 日本電信電話株式会社
▶ 日本電信電話株式会社の特許一覧 ▶ 国立大学法人鳥取大学の特許一覧
特開2022-19108特徴学習装置、特徴抽出装置、特徴学習方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022019108
(43)【公開日】2022-01-27
(54)【発明の名称】特徴学習装置、特徴抽出装置、特徴学習方法及びプログラム
(51)【国際特許分類】
G06N 3/08 20060101AFI20220120BHJP
G06N 20/00 20190101ALI20220120BHJP
【ＦＩ】
G06N3/08
G06N20/00
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2020122703
(22)【出願日】2020-07-17
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(71)【出願人】
【識別番号】504150461
【氏名又は名称】国立大学法人鳥取大学
(74)【代理人】
【識別番号】110001634
【氏名又は名称】特許業務法人 志賀国際特許事務所
(72)【発明者】
【氏名】入江 豪
(72)【発明者】
【氏名】西山 正志
(72)【発明者】
【氏名】岩井 儀雄
(72)【発明者】
【氏名】上野 高貴
(72)【発明者】
【氏名】米田 駿介
(57)【要約】
【課題】内容の類似性に応じたデータの対や三つ組みを学習用データとして用意できないような場合であっても、データから有効な特徴の抽出を可能とする。
【解決手段】特徴抽出部１４は、入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、アンカーデータ候補群に含まれるデータとは異なる比較データの特徴とを抽出する。選択部１５は、特徴抽出部１４が抽出した特徴に基づいて、アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する。学習部１６は、特徴抽出器を用いてアンカーデータから得られた特徴と、特徴抽出器を用いて比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出結果に基づいて特徴抽出器を更新する。
【選択図】図１
【解決手段】特徴抽出部１４は、入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、アンカーデータ候補群に含まれるデータとは異なる比較データの特徴とを抽出する。選択部１５は、特徴抽出部１４が抽出した特徴に基づいて、アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する。学習部１６は、特徴抽出器を用いてアンカーデータから得られた特徴と、特徴抽出器を用いて比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出結果に基づいて特徴抽出器を更新する。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、前記アンカーデータ候補群に含まれる前記データとは異なる比較データの特徴とを抽出する特徴抽出部と、
前記特徴抽出部が抽出した前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択部と、
前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習部と、
を備えることを特徴とする特徴学習装置。
前記特徴抽出部が抽出した前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択部と、
前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習部と、
を備えることを特徴とする特徴学習装置。
【請求項2】
前記選択部は、前記比較データの特徴と、前記アンカーデータ候補群に含まれる前記データそれぞれの特徴との比較に基づいて前記アンカーデータを選択する、
請求項１に記載の特徴学習装置。
請求項１に記載の特徴学習装置。
【請求項3】
前記比較データは、第一比較データ及び第二比較データを含み、
前記選択部は、前記特徴抽出部が抽出した前記特徴に基づいて、前記アンカーデータ候補群に含まれる前記データのうち、前記第一比較データの特徴と近く、かつ、前記第二比較データの特徴と遠い特徴のデータを選択する、
請求項１又は請求項２に記載の特徴学習装置。
前記選択部は、前記特徴抽出部が抽出した前記特徴に基づいて、前記アンカーデータ候補群に含まれる前記データのうち、前記第一比較データの特徴と近く、かつ、前記第二比較データの特徴と遠い特徴のデータを選択する、
請求項１又は請求項２に記載の特徴学習装置。
【請求項4】
前記損失関数は、特徴間が近い場合に小さい値を取り、
前記学習部は、前記損失関数により算出された値が小さくなるように前記特徴抽出器に用いられているパラメータの値を更新する、
請求項１から請求項３のいずれか一項に記載の特徴学習装置。
前記学習部は、前記損失関数により算出された値が小さくなるように前記特徴抽出器に用いられているパラメータの値を更新する、
請求項１から請求項３のいずれか一項に記載の特徴学習装置。
【請求項5】
データを入力する入力部と、
請求項１から請求項４のいずれか一項に記載の特徴学習装置により学習された特徴抽出器を用いて、前記入力部により入力された前記データの特徴を抽出する演算部と、
を備える特徴抽出装置。
請求項１から請求項４のいずれか一項に記載の特徴学習装置により学習された特徴抽出器を用いて、前記入力部により入力された前記データの特徴を抽出する演算部と、
を備える特徴抽出装置。
【請求項6】
入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、前記アンカーデータ候補群に含まれる前記データとは異なる比較データの特徴とを抽出する特徴抽出ステップと、
前記特徴抽出ステップにおいて抽出された前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択ステップと、
前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習ステップと、
を有する特徴学習方法。
前記特徴抽出ステップにおいて抽出された前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択ステップと、
前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習ステップと、
を有する特徴学習方法。
【請求項7】
コンピュータを、
請求項１から請求項４のいずれか一項に記載の特徴学習装置として機能させるためのプログラム。
請求項１から請求項４のいずれか一項に記載の特徴学習装置として機能させるためのプログラム。
【請求項8】
コンピュータを、
請求項５に記載の特徴抽出装置として機能させるためのプログラム。
請求項５に記載の特徴抽出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特徴学習装置、特徴抽出装置、特徴学習方法及びプログラムに関する。
【背景技術】
【0002】
ＡＩ（人工知能）技術の進展が目覚ましい。画像認識分野では、既に人間の精度を上回る画像認識技術が発明され、音声認識分野では、自然雑音環境下でも安定した音声認識を実現する技術が多く実用化されている。今や、これらの技術をスマートフォンのような小型端末から気軽に利用できるようになっている。機械翻訳も日常生活でオンライン利用が可能になり、国際コミュニケーションの障壁が飛躍的に低下した。
【0003】
近年のこのようなＡＩ技術の進展を支えているのは、深層学習と呼ばれる深いニューラルネットワーク（深層ニューラルネットワーク）を学習する技術であることは言うまでもない。特に、深層学習が優れている特長の一つは、画像・音・言語など、多様なデータの意味や内容を的確に表現する特徴（特徴量や、特徴ベクトルとも呼ばれる）を学習することができる高い特徴学習能力にあるといえる。
【0004】
深層学習の隆盛以前から、特徴表現は多くの情報処理タスクにおいて中心的な役割を担ってきた。例えば、画像認識は、画像から抽出した特徴を元に識別器を学習し、画像を意味カテゴリに分類することによってなされてきた。音声の認識も同様に、音声波形から特徴を抽出し、これを音素クラスに分類する音響モデルを学習することによってなされてきた。深層学習以前は、このような特徴、または特徴抽出器を人手により設計してきたのであり、いかに低容量かつ適切な特徴を抽出できるかが、情報処理の性能を決める重要な要素であった。深層学習がもたらしたブレークスルーは、このしばしば困難な特徴／特徴抽出器の設計を、データから自動的に学習することができるようになったことであると言えよう。
【0005】
しかしながら、例え深層学習を用いる場合であっても、良い特徴／特徴抽出器を学習するためには効果的な学習手段の設計が不可欠である。特に、情報処理においては、互いにデータの内容が近しいものほど特徴としても似たものになり、反対に、内容が異なるものほど特徴も離れたものになることが好ましい場合が多い。
【0006】
例えば、画像認識や音声認識のような分類問題においては、同一クラス内のデータの特徴は特徴空間上近くに、反対に異なるクラスの特徴は離れて配置されている方が分類しやすくなる。あるいは検索、つまり、大量のデータ（例えば画像）の中から、クエリとして与えたデータに内容が近いものを探すようなタスクであっても、互いに内容が近しいデータ同士の特徴は特徴空間上近くに、そうでないものは遠くに配置される方がよい。このような要件を満たす特徴を学習可能な学習技術の実現に向け、さまざまな技術が開示されてきている（例えば、特許文献１、非特許文献１～４参照）。
【0007】
非特許文献１には、上記の要件を満たす特徴を学習するための損失関数として、Contrastive Lossと呼ばれる関数が開示されている。Contrastive Lossは、内容が近しい一組のデータの特徴は近しく、そうでない場合は遠くになることを要請する損失関数である。より具体的には、二つのデータＩｉとデータＩｊ（ｉ≠ｊ）に対して、これらの内容が近しいか否かを表すラベルｙｉｊが付与されており、近しい場合はｙｉｊ＝１、そうでない場合はｙｉｊ＝０であるとする。このとき、Contrastive Lossは式（１）のように定義される。
【0008】
【数1】
【0009】
ここで、ｘｉはデータＩｉの特徴であり、ｘｊはデータＩｊの特徴である。ｍはマージンと呼ばれるパラメータであり、例えば０．２などの値に事前に設定される。ｄ（ｘｉ，ｘｊ）はｘｉとｘｊの距離を表す距離関数であり、任意の距離関数を用いることができるが、例えばユークリッド距離とすればよい。
【0010】
非特許文献２には、Contrastive Lossによく似た着想に基づく損失関数としてTriplet Lossが開示されている。Contrastive Lossとの違いは、Contrastive Lossがペアによる比較を行うのに対し、Triplet Lossはその名の通り三つ組みによる比較を行う点である。より具体的には、あるデータＩａに対して、これと内容の近しいデータＩｐと、反対に遠いデータＩｎ（Ｉａ≠Ｉｐ≠Ｉｎ）の三つ組みを用意する。このとき、Triplet Lossは、式（２）のように定義される。
【0011】
【数2】
【0012】
ｘａはデータＩａの特徴であり、ｘｐはデータＩｐの特徴であり、ｘｎはＩｎの特徴である。なお、Triplet Lossにおいて、ｘａ／Ｉａをアンカー、ｘｐ／Ｉｐをポジティブ、ｘｎ／Ｉｎをネガティブと呼称する場合がある。以下では、これに倣って呼称する。
【0013】
特許文献１には、Triplet Lossを活用することで、画像の一部領域にしかラベルが与えられていないような場合であっても、正確に画像の一部領域に対する分類を実行可能な学習法が開示されている。
【0014】
非特許文献３には、やはりTriplet Lossを用いることで、物体の姿勢に対する正解データが無い場合でも、画像中に写っている物体の姿勢推定器を学習可能にする技術が開示されている。基準となる姿勢である物体を撮影した画像であるアンカー画像があるとする。任意の姿勢の物体が写った画像が入力された場合、当該入力画像に対して、非特許文献４に開示されているSpatial Transformer Network（ＳＴＮ）を導入した幾何変換層を用い、入力画像がアンカー画像に一致するように幾何変換（位置合わせ）を施す。この幾何変換に用いられた姿勢パラメータに基づき、当該画像のアンカー画像からのずれを推定する。
【先行技術文献】
【特許文献】
【0015】
【特許文献1】特開２０２０－４７０５５号公報
【非特許文献】
【0016】
【非特許文献1】Sumit Chopra，Raia Hadsell，Yann LeCun，"Learning a Similarity Metric Discriminatively, with Application to Face Verification"，in Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)，pp.539-546，2005.
【非特許文献2】Florian Schroff，Dmitry Kalenichenko，James Philbin，"FaceNet: A Unified Embedding for Face Recognition and Clustering"，in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)，pp. 815-823，2015.
【非特許文献3】Kouki Ueno，Go Irie，Masashi Nishiyama，Yoshio Iwai，"Weakly Supervised Triplet Learning of Canonical Plane Transformation for Joint Object Recognition and Pose Estimation"，Proceedings of 2019 IEEE International Conference on Image Processing (ICIP)，pp.2476-2480，2019.
【非特許文献4】Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu，"Spatial Transformer Networks"，Proceedings of Neural Information Processing Systems，2015.
【発明の概要】
【発明が解決しようとする課題】
【0017】
大局的にみれば、既存の発明はいずれも、近い内容を持つデータ同士は特徴が近くなるように、遠い内容を持つデータ同士は特徴が遠くなるように学習することを要請している。しかしながら、いずれの技術も必ず、データの対、または三つ組みに対して、それらの内容が近いか遠いかを判断できるようなラベルが与えられている必要があるという、利用上の制限が存在している。非特許文献１に記載のContrastive Lossを用いる場合には、二つの異なるデータＩｉとデータＩｊに対してその内容の類似性を表すｙｉｊが必要になる。また、非特許文献２、特許文献１、非特許文献３に記載のTriplet Lossを用いる場合には、データＩａに近い内容を持つデータＩｐ、遠い内容を持つデータＩｎを選定する必要がある。
【0018】
しかしながら、現実的には、データの対や三つ組みに対する内容の類似性を与えるラベルを得ることが困難な場合も多く存在する。このような場合には上記のいずれの先行技術も利用することができない。一例として、映像から特定の物体が写っている映像フレームのみを検索するタスクを考えよう。このとき、仮にTriplet Lossでフレームの特徴を学習しようとすると、あるフレームＩａをアンカーとして選び、これと同一の物体が写っている別のフレームＩｐをポジティブ、フレームＩａとは別の物体が写っているフレームＩｎをネガティブとして選び、三つ組みを構成する必要がある。すなわち、フレーム単位で写っている物体が分かっていなければ、Triplet Lossを用いて学習することはできない。しかしながら、フレームごとに写っている物体をラベルとして与えるには大きな労力を要するため、しばしばこのようなラベルを得ることはできない。
【0019】
別のより高度な例として、非特許文献３で考えられている、画像中に移る物体の姿勢を推定するタスクを考えよう。非特許文献３に記載の方法では、基準姿勢となる物体を写した画像Ｉａをアンカーとして選び、これと同一の物体が別姿勢で写っている画像Ｉｐをポジティブ、異なる物体が写っている画像Ｉｎをネガティブとして三つ組みを構成し、Triplet Lossによる学習を行う。
【0020】
加えて、非特許文献３に記載の技術は、姿勢推定器を学習するために、ポジティブ画像Ｉｐがアンカー画像Ｉａに一致するように、ＳＴＮを用いて位置合わせをすることによって、元のアンカー画像Ｉａとポジティブ画像Ｉｐの間の物体の姿勢のずれを学習している。アンカー画像Ｉａに写る物体と、ポジティブ画像Ｉｐに写る物体との姿勢のずれが小さい場合には、比較的位置合わせが容易なため、うまく学習することができる。しかしながら、これが大きい場合には位置合わせ自体がうまくいかず、結果として学習に失敗するという問題が起こる。
【0021】
シンプルには、複数の基準姿勢、すなわち、複数のアンカー画像を用意することによって、どのような姿勢のポジティブ画像が入力された場合であっても、いずれかのアンカー画像は近い姿勢を持つ状態を作り出すことが可能であろう。しかしながら、上記のTriplet Lossでは、複数のアンカー画像を用いて学習することは想定されていないため、このようなアプローチを採ることはできない。
【0022】
以上論じた通り、現在に至るまで、データの対または三つ組みに対して、それらの内容が近いか遠いかを判断できるようなラベルが得られないような場合において、有効な特徴を学習可能な学習技術は発明されていなかった。
【0023】
上記事情に鑑み、本発明は、内容の類似性に応じたデータの対や三つ組みを学習用データとして用意できないような場合であっても、データから有効な特徴の抽出を可能とする特徴学習装置、特徴抽出装置、特徴学習方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【0024】
本発明の一態様は、入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、前記アンカーデータ候補群に含まれる前記データとは異なる比較データの特徴とを抽出する特徴抽出部と、前記特徴抽出部が抽出した前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択部と、前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習部と、を備えることを特徴とする特徴学習装置である。
【0025】
本発明の一態様は、データを入力する入力部と、上述の特徴学習装置により学習された特徴抽出器を用いて、前記入力部により入力された前記データの特徴を抽出する演算部と、を備える特徴抽出装置である。
【0026】
本発明の一態様は、入力されたデータの特徴を出力する関数である特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群に含まれる一つ以上のデータそれぞれの特徴と、前記アンカーデータ候補群に含まれる前記データとは異なる比較データの特徴とを抽出する特徴抽出ステップと、前記特徴抽出ステップにおいて抽出された前記特徴に基づいて、前記アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する選択ステップと、前記特徴抽出器を用いて前記アンカーデータから得られた特徴と、前記特徴抽出器を用いて前記比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出し、算出された結果に基づいて前記特徴抽出器を学習する学習ステップと、を有する特徴学習方法である。
【0027】
本発明の一態様は、コンピュータを、上述の特徴学習装置として機能させるためのプログラムである。
【0028】
本発明の一態様は、コンピュータを、上述の特徴抽出装置として機能させるためのプログラムである。
【発明の効果】
【0029】
本発明により、内容の類似性に応じたデータの対や三つ組みを学習用データとして用意できないような場合であっても、データから有効な特徴の抽出を可能とする。
【図面の簡単な説明】
【0030】
【図1】本発明の第１の実施形態による特徴学習装置の構成を示すブロック図である。
【図2】同実施形態による特徴抽出装置の構成を示すブロック図である。
【図3】同実施形態による特徴抽出器の構成の一例を示す図である。
【図4】同実施形態による特徴学習装置の学習処理の一例を示す図である。
【図5】第２の実施形態による特徴学習装置の構成を示すブロック図である。
【図6】同実施形態による特徴抽出装置の構成を示すブロック図である。
【図7】同実施形態による特徴学習装置又は特徴抽出装置として用いられるコンピュータのハードウェア構成を示す図である。
【図8】同実施形態による特徴抽出器の構成の一例を示す図である。
【図9】同実施形態による変換層の構成を示す図である。
【図10】同実施形態による特徴抽出器の構成の一例を示す図である。
【図11】同実施形態による特徴学習装置の学習処理の一例を示す図である。
【発明を実施するための形態】
【0031】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【0032】
＜第１の実施形態＞
第１の実施形態においては、本発明の基本となる実施形態の一例を説明する。
＜＜装置構成＞＞
図１は、第１の実施形態による特徴学習装置１０の構成を示す図である。特徴学習装置１０は、入力部１１と、記憶部１２と、演算部１３とを有する。入力部１１は、学習用データを入力する。学習用データは、特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群と、アンカーデータ候補群に含まれるデータとは異なる比較データとを含むデータ群である。特徴抽出器は、入力されたデータの特徴を出力する関数である。特徴抽出器は、例えば、ニューラルネットワークである。記憶部１２は、特徴抽出器を記憶する。演算部１３は、特徴抽出器を学習するための演算を行う。
第１の実施形態においては、本発明の基本となる実施形態の一例を説明する。
＜＜装置構成＞＞
図１は、第１の実施形態による特徴学習装置１０の構成を示す図である。特徴学習装置１０は、入力部１１と、記憶部１２と、演算部１３とを有する。入力部１１は、学習用データを入力する。学習用データは、特徴抽出器の学習において基準となるアンカーデータの候補の集合であるアンカーデータ候補群と、アンカーデータ候補群に含まれるデータとは異なる比較データとを含むデータ群である。特徴抽出器は、入力されたデータの特徴を出力する関数である。特徴抽出器は、例えば、ニューラルネットワークである。記憶部１２は、特徴抽出器を記憶する。演算部１３は、特徴抽出器を学習するための演算を行う。
【0033】
演算部１３は、特徴抽出部１４と、選択部１５と、学習部１６とを備える。特徴抽出部１４は、アンカーデータ候補群に含まれる各データの特徴と、比較データの特徴を抽出する。選択部１５は、特徴抽出部１４が抽出した特徴に基づいて、アンカーデータ候補群に含まれるデータのうち一つのデータをアンカーデータとして選択する。例えば、比較データは、第一比較データ及び第二比較データを含む場合、選択部１５は、特徴抽出部１４が抽出した特徴に基づいて、アンカーデータ候補群に含まれるデータのうち、第一比較データの特徴と近く、かつ、第二比較データの特徴と遠い特徴のデータを選択する。学習部１６は、特徴抽出器を用いてアンカーデータから得られた特徴と、特徴抽出器を用いて比較データから得られた特徴との近さを、特徴間の遠近を算出するための損失関数により算出する。学習部１６は、算出された結果に基づいて特徴抽出器を学習する。例えば、学習部１６は、損失関数により算出された結果を最小化または最大化するように、特徴抽出器のパラメータの値を更新する。
【0034】
図２は、第１の実施形態による特徴抽出装置２０の構成を示す図である。特徴抽出装置２０は、記憶部２１と、入力部２２と、演算部２３と、出力部２４とを有する。記憶部２１は、特徴学習装置１０により学習された特徴抽出器を記憶する。入力部２２は、特徴抽出対象のデータを入力する。演算部２３は、記憶部２１に記憶される特徴抽出器を用いて、入力部２２により入力されたデータの特徴を抽出する特徴抽出処理を行う。出力部２４は、演算部２３が抽出した特徴を出力する。
【0035】
特徴学習装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、プログラムを実行することによって入力部１１、記憶部１２及び演算部１３を備える装置として機能する。また、特徴抽出装置２０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、プログラムを実行することによって記憶部２１、入力部２２、演算部２３及び出力部２４を備える装置として機能する。なお、特徴学習装置１０及び特徴抽出装置２０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
【0036】
＜＜処理概要＞＞
本実施形態における特徴学習装置１０の演算部１３が実行する特徴学習方法は、学習用のデータ群を入力として受け付けると、特徴抽出器を学習して出力する。また、本実施形態における特徴抽出装置２０の演算部２３が実行する情報処理方法は、データを入力として受け付けると、学習された特徴抽出器を用いてそのデータの特徴を抽出して出力する。
本実施形態における特徴学習装置１０の演算部１３が実行する特徴学習方法は、学習用のデータ群を入力として受け付けると、特徴抽出器を学習して出力する。また、本実施形態における特徴抽出装置２０の演算部２３が実行する情報処理方法は、データを入力として受け付けると、学習された特徴抽出器を用いてそのデータの特徴を抽出して出力する。
【0037】
＜＜＜特徴抽出器の構成＞＞＞
特徴抽出器は、データを入力として受け付けると、当該データの特徴を出力する関数である。特徴抽出器の構成は、このような入出力関係を実現できるものであれば任意の構成を採ることができる。ここでは、特徴抽出器に入力されるデータとして画像を想定した場合の構成の一例を説明する。もちろん本実施形態の用途において、入力されるデータが画像であることは必須の要件ではない。例えば、音や言語など、上記の入出力関係を実現する特徴抽出器が構成可能な限り、任意のデータを対象としてよい。
特徴抽出器は、データを入力として受け付けると、当該データの特徴を出力する関数である。特徴抽出器の構成は、このような入出力関係を実現できるものであれば任意の構成を採ることができる。ここでは、特徴抽出器に入力されるデータとして画像を想定した場合の構成の一例を説明する。もちろん本実施形態の用途において、入力されるデータが画像であることは必須の要件ではない。例えば、音や言語など、上記の入出力関係を実現する特徴抽出器が構成可能な限り、任意のデータを対象としてよい。
【0038】
図３は、特徴抽出器３０の構成の一例を示す図である。この構成は畳み込みニューラルネットワーク（Convolutional Neural Network:ＣＮＮ）に基づいており、畳み込み層、プーリング層、全結合層、幾何変換層の４種類の層の組み合わせにより構成することができる。例えば、図３に示す特徴抽出器３０は、畳み込み層３１、プーリング層３２、畳み込み層３３、プーリング層３４、全結合層３５及び全結合層３６を含んで構成されている。畳み込み層、プーリング層、全結合層については広く知られた公知の層であり、例えば参考文献１に記載のものを用いればよい。
【0039】
［参考文献１］Alex Krizhevsky，Ilya Sutskever，Geoffrey E. Hinton，"ImageNet Classification with Deep Convolutional Neural Networks"，Proceedings of Neural Information Processing Systems，2012.
【0040】
このように構成された特徴抽出器３０は、入力された画像から、固定長のベクトルの特徴である画像特徴量を出力することができる。もちろん、特徴抽出器３０のニューラルネットワークの構成はこれに限られるものではなく、先の入出力要件を満たす限りどんな構成を採っても構わない。好ましくは、最終層にＬ２正規化層を加える。こうすることによって、特徴を頑健化できるため、好適である。
【0041】
また、例えば、図３に示した特徴抽出器３０の構成は、畳み込み層及びプーリング層の組み合わせを２回繰り返し、その後に全結合層を２層積んだ構造となっているが、この２層の全結合層の代わりに、参考文献２、あるいは、参考文献３などに開示されている大域的プーリング層を用いても構わない。
【0042】
［参考文献２］Kaiming He，Xiangyu Zhang，Shaoqing Ren，Jian Sun，"Deep Residual Learning for Image Recognition"，Proceedings of Conference on Computer Vision and Pattern Recognition，2016.
【0043】
［参考文献３］Giorgos Tolias，Ronan Sicre，Herve Jegou，"Particular Object Retrieval with Integral Max-Pooling of CNN Activations"，ArXiv Preprint，インターネット＜URL:https://arxiv.org/abs/1511.05879＞，2015.
【0044】
このように、特徴抽出器３０を、全結合が無い構成にすることにより、入力画像のサイズに依らず、常に同じ次元数の特徴を求めることができるため好適である。
【0045】
以降、特に断りのない限り、特徴抽出器に入力されるデータとしては画像を想定するものとし、特徴抽出器の構成としては図３に示すものを用いた場合を例に説明する。
【0046】
＜＜＜学習処理＞＞＞
特徴学習装置１０が特徴抽出器を学習する学習処理について説明する。
学習処理は、特徴抽出装置２０が特徴抽出器を用いて入力データから特徴を抽出する特徴抽出処理を行う前に、少なくとも一度実施される必要がある処理である。より具体的には、学習処理は、特徴抽出器３０のパラメータであるニューラルネットワークの重みを学習用データに基づいて適切に決定するための処理である。
特徴学習装置１０が特徴抽出器を学習する学習処理について説明する。
学習処理は、特徴抽出装置２０が特徴抽出器を用いて入力データから特徴を抽出する特徴抽出処理を行う前に、少なくとも一度実施される必要がある処理である。より具体的には、学習処理は、特徴抽出器３０のパラメータであるニューラルネットワークの重みを学習用データに基づいて適切に決定するための処理である。
【0047】
本実施形態における学習処理を実行するには、予め学習用データを準備しておく必要がある。Ｍ個のデータの集合｛Ｉａ１，Ｉａ２，…，ＩａＭ｝により構成されたアンカーデータ候補群をＳａ、アンカーデータ候補群Ｓａに含まれるＭ個のデータのうち、少なくとも一つに対して類似した内容を持つポジティブデータをＩｐ、アンカーデータ候補群Ｓａに含まれるＭ個のデータのうち、少なくとも一つに対して異なる内容を持つネガティブデータをＩｎと表す。このとき、学習用データは、（Ｓａ，Ｉｐ，Ｉｎ）をひとまとまりとした三つ組みの集合によって構成される。ポジティブデータＩｐは第一比較データの一例であり、ネガティブデータＩｎは第二比較データの一例である。
【0048】
この条件を満たす限り、学習用データを構成するための手段は本実施形態の要点とは無関係であり、どのような手段で準備しても構わない。人手によって準備しても構わないし、自動的に準備しても構わない。
【0049】
上記のような学習用データが存在するもとで、本実施形態における学習処理は、次の工程により実行される。すなわち、入力部１１が上記の学習用データを入力した後、特徴学習装置１０の演算部１３は、以下に示す学習処理を実行する。
【0050】
図４は、本実施形態における特徴学習装置１０の演算部１３が実行する学習処理の概要を示すフロー図である。まず、ステップＳ１０１において、特徴抽出部１４は、アンカーデータ候補群Ｓａ中の全てのデータと、ポジティブデータＩｐ及びネガティブデータＩｎとに対して特徴抽出器３０を適用する。これにより、特徴抽出部１４は、アンカーデータ候補群Ｓａに含まれる全データそれぞれの特徴の集合Ｘａ、ポジティブデータＩｐの特徴ｘｐ、及び、ネガティブデータＩｎの特徴ｘｎを抽出する。特徴の集合Ｘａに含まれるｘａｉ（ｉ＝１，２，…，Ｍ）は、アンカーデータ候補群Ｓａに含まれるデータＩａｉの特徴である。
【0051】
続いて、ステップＳ１０２において、選択部１５は、抽出された特徴の集合Ｘａ、特徴ｘｐ及び特徴ｘｎを基に、アンカーデータ候補群ＳａからアンカーデータＩａ及びその特徴ｘａを選択する。続いて、ステップＳ１０３において、学習部１６は、特徴ｘａ、特徴ｘｐ及び特徴ｘｎを基に、損失関数の値を求める。続いて、ステップＳ１０４において、学習部１６は、損失関数の値を小さくするように特徴抽出器３０のパラメータの値を更新する。
【0052】
ステップＳ１０５において、学習部１６は、所定の終了条件が満たされか否かを判定する。学習部１６が所定の終了条件が満たすと判定するまで、演算部１３は、上記のステップＳ１０１～Ｓ１０４を繰り返す。演算部１３は、学習部１６が終了条件を満たしたと判定した場合に学習処理を終了する。
【0053】
＜＜＜各処理の処理詳細＞＞＞
特徴抽出部１４は、先に説明した特徴抽出器３０を各データに対して適用することにより、ステップＳ１０１の処理を直ちに実行することができる。以降、ステップＳ１０２～Ｓ１０４の各処理の詳細処理について、本実施形態における一例を説明する。
特徴抽出部１４は、先に説明した特徴抽出器３０を各データに対して適用することにより、ステップＳ１０１の処理を直ちに実行することができる。以降、ステップＳ１０２～Ｓ１０４の各処理の詳細処理について、本実施形態における一例を説明する。
【0054】
［ステップＳ１０２：アンカー選択処理］
この処理では、選択部１５は、アンカーデータ候補群Ｓａ及び特徴の集合Ｘａから、アンカーデータＩａ及びその特徴ｘａを選択する。ステップＳ１０１において、特徴抽出器３０により、アンカーデータ候補群Ｓａ内の全てのデータの特徴の集合Ｘａ、ポジティブデータＩｐの特徴ｘｐ、ネガティブデータＩｎの特徴ｘｎが得られている。アンカーデータ候補群Ｓａに含まれるデータのうち少なくとも一つは、ポジティブデータＩｐと類似した内容を持つデータであるとし、また、アンカーデータ候補群Ｓａに含まれるデータのうち少なくとも一つは、ネガティブデータＩｎと異なる内容を持つデータであるとする。
この処理では、選択部１５は、アンカーデータ候補群Ｓａ及び特徴の集合Ｘａから、アンカーデータＩａ及びその特徴ｘａを選択する。ステップＳ１０１において、特徴抽出器３０により、アンカーデータ候補群Ｓａ内の全てのデータの特徴の集合Ｘａ、ポジティブデータＩｐの特徴ｘｐ、ネガティブデータＩｎの特徴ｘｎが得られている。アンカーデータ候補群Ｓａに含まれるデータのうち少なくとも一つは、ポジティブデータＩｐと類似した内容を持つデータであるとし、また、アンカーデータ候補群Ｓａに含まれるデータのうち少なくとも一つは、ネガティブデータＩｎと異なる内容を持つデータであるとする。
【0055】
本アンカー選択処理の目的は、アンカーデータ候補群Ｓａに含まれるデータの中から、ポジティブデータＩｐと類似した内容を持ち、かつ、ネガティブデータＩｎとは異なる内容を持つ見込みの高いデータをアンカーデータＩａとして選択することである。これを実現するために、本実施形態の一例では、選択部１５は、下記の式（３）が示す基準に基づいてアンカーデータの特徴ｘａを選択する。
【0056】
【数3】
【0057】
選択部１５は、アンカーデータ候補群Ｓａに含まれるデータＩａ１，Ｉａ２，・・・，ＩａＭのうち、式（３）により選ばれた特徴ｘａに対応するデータをアンカーデータＩａとして選択する。ここで、argminは、最小値のインデックスを取得する関数である。ｍはマージンと呼ばれるパラメータであり、例えば０．２などの値に事前に設定される。ｄ（ｘｉ,ｘｊ）は、ｘｉとｘｊの距離を表す距離関数であり、任意の距離関数を用いることができるが、例えばユークリッド距離とすればよい。
【0058】
Ｌｓｅｌは、式（２）のTriplet Lossと同様の形式を持つ関数である。すなわち、式（３）は、特徴Ｘａに含まれる特徴ｘａ１，…，ｘａＭのうち、最小のTriplet Lossを与える特徴をアンカーデータの特徴ｘａとして選び出すという処理をしている。Ｌｓｅｌは、特徴ｘｉと特徴ｘｐとの距離が小さいほど、また、特徴ｘｉと特徴ｘｎとの距離が大きいほど小さい値を取る関数である。Ｌｓｅｌが小さい値の特徴ｘａｉを選び出すことにより、ポジティブデータＩｐと類似した内容を持ち、かつ、ネガティブデータＩｎとは異なる内容を持つ見込みの高いデータを選び出すことが期待できる。
【0059】
なお、Ｌｓｅｌは必ずしも上記の数式の形でなくとも構わず、望ましいアンカーデータを選択可能なものであれば任意の形態をとって構わない。例えば、ポジティブデータＩｐと類似した内容を持つかどうかのみを重視し、ネガティブデータＩｎと異なる内容を持つかどうかについては問わないような場合には、式（３）に代えて、下記の式（４）に示す選択基準を用いることもできる。
【0060】
【数4】
【0061】
あるいは、選択部１５は、アンカーデータ候補群Ｓａに含まれるデータ同士の相対比較によって選択を行うこともあり得る。
【0062】
また、本実施形態においては、選択部１５は、特徴抽出器３０を用いて抽出した特徴の集合Ｘａ、特徴ｘｐ及び特徴ｘｎを元に、アンカーデータ候補群Ｓａに含まれる各データＩａｉ（ｉ＝１，２，…，Ｍ）と、ポジティブデータＩｐ及びネガティブデータＩｎとの内容の類似性を判断している。しかし、特徴抽出器３０を用いて抽出した特徴を用いることも必須の要件ではなく、選択部１５は、別の特徴抽出器を用いて抽出した特徴を利用することも可能である。
以上がステップＳ１０２において選択部１５が行う処理である。
以上がステップＳ１０２において選択部１５が行う処理である。
【0063】
［ステップＳ１０３：損失計算処理］
この処理では、学習部１６は、ステップＳ１０２において選択されたアンカーデータＩａ／ｘａと、ポジティブデータＩｐ／ｘｐ及びネガティブデータＩｎ／ｘｎとに基づいて、特徴の良しあしを評価する損失を求める。ステップＳ１０２の後は、ポジティブデータＩｐと内容が近く、また、ネガティブデータＩｎとは内容が遠いことが期待できるアンカーデータＩａが選択されている。したがって、式（２）に示す通常のTriplet Lossを損失として採用することが可能である。以降、本実施形態では、Triplet Loss（Ｌｔｒｉ）を損失関数として用いる場合を例に説明を続ける。
この処理では、学習部１６は、ステップＳ１０２において選択されたアンカーデータＩａ／ｘａと、ポジティブデータＩｐ／ｘｐ及びネガティブデータＩｎ／ｘｎとに基づいて、特徴の良しあしを評価する損失を求める。ステップＳ１０２の後は、ポジティブデータＩｐと内容が近く、また、ネガティブデータＩｎとは内容が遠いことが期待できるアンカーデータＩａが選択されている。したがって、式（２）に示す通常のTriplet Lossを損失として採用することが可能である。以降、本実施形態では、Triplet Loss（Ｌｔｒｉ）を損失関数として用いる場合を例に説明を続ける。
【0064】
なお、必ずしもTriplet Lossを用いる必要はなく、少なくとも特徴ｘａと特徴ｘｐが近いほど小さい値を取る関数であれば、任意の損失関数を用いて構わない。さらに、特徴ｘａと特徴ｘｎが遠いほど小さい値を取る関数を用いる方が好ましい。例えば、式（１）に示すContrastive Lossを利用することも可能である。
以上がステップＳ１０３において学習部１６が行う処理である。
以上がステップＳ１０３において学習部１６が行う処理である。
【0065】
［ステップＳ１０４：モデルパラメータ更新］
この処理では、学習部１６は、ステップＳ１０３において求めた損失Ｌｔｒｉの値を小さくするように特徴抽出器３０のパラメータの値を更新する。損失Ｌｔｒｉは、特徴抽出器３０のパラメータに対して区分的に微分可能であることを鑑みれば、勾配法により損失Ｌｔｒｉの値が小さくなるようにパラメータの値を更新可能である。例えば、確率的勾配降下法に基づいて学習する場合、特徴抽出器３０のあるパラメータをｗとおくと、１ステップあたり、以下の式（５）に基づいてパラメータｗの値を更新すればよい。
この処理では、学習部１６は、ステップＳ１０３において求めた損失Ｌｔｒｉの値を小さくするように特徴抽出器３０のパラメータの値を更新する。損失Ｌｔｒｉは、特徴抽出器３０のパラメータに対して区分的に微分可能であることを鑑みれば、勾配法により損失Ｌｔｒｉの値が小さくなるようにパラメータの値を更新可能である。例えば、確率的勾配降下法に基づいて学習する場合、特徴抽出器３０のあるパラメータをｗとおくと、１ステップあたり、以下の式（５）に基づいてパラメータｗの値を更新すればよい。
【0066】
【数5】
【0067】
通常のニューラルネットワークの構成層については、任意のパラメータｗに対する損失Ｌｔｒｉの微分値を、誤差逆伝搬法により計算することが可能である。このように構成することにより、任意のパラメータｗに対するＬｔｒｉの微分値を式（５）により計算することができる。もちろん、モーメンタム項を利用する、重み減衰を利用するなど、一般的な確率的勾配降下法の改善法を導入しても構わないし、あるいは別の勾配降下法を利用しても構わない。
【0068】
なお、損失関数が特徴ｘａと特徴ｘｐが近いほど大きい値を取り、かつ、特徴ｘａと特徴ｘｎが近いほど小さい値を取る関数である場合、学習部１６は、損失関数の値を最大化するようにパラメータの値を更新する。
以上がステップＳ１０４において学習部１６が行う処理である。
以上がステップＳ１０４において学習部１６が行う処理である。
【0069】
演算部１３は、上記のステップＳ１０１～ステップＳ１０４の処理を、終了条件を満たすまで繰り返す。終了条件は任意のものを定めて構わない。例えば、「所定の回数（例えば１００回など）繰り返したら終了」、「誤差の現象が一定の繰り返し回数の間、一定の範囲内に収まっていたら終了」などとすればよい。
以上、本実施形態の一例における学習処理の詳細を説明した。
以上、本実施形態の一例における学習処理の詳細を説明した。
【0070】
＜＜＜特徴抽出処理＞＞＞
本実施形態の一例における特徴抽出処理の詳細を説明する。
特徴抽出装置２０は、上記の学習処理により更新された特徴抽出器を記憶部７に記憶する。入力部２２は、特徴抽出対象のデータの入力を受け付ける。演算部２３は、記憶部２１に記憶される特徴抽出器に、入力部２２が受け付けたデータを入力して、特徴を得る。出力部２４は、演算部２３が得た特徴を出力する。
本実施形態の一例における特徴抽出処理の詳細を説明する。
特徴抽出装置２０は、上記の学習処理により更新された特徴抽出器を記憶部７に記憶する。入力部２２は、特徴抽出対象のデータの入力を受け付ける。演算部２３は、記憶部２１に記憶される特徴抽出器に、入力部２２が受け付けたデータを入力して、特徴を得る。出力部２４は、演算部２３が得た特徴を出力する。
【0071】
＜第２の実施形態＞
第２の実施形態は、物体の種類・姿勢を推定する問題へ適用した場合の本発明の実施形態の一例である。ここでは、非特許文献３で取り扱っている、画像中に写る物体の名称と、その物体の姿勢パラメータ（位置・大きさ・角度）とを同時に推定する問題に対して、本発明を利用した場合の実施形態の一例について説明する。
第２の実施形態は、物体の種類・姿勢を推定する問題へ適用した場合の本発明の実施形態の一例である。ここでは、非特許文献３で取り扱っている、画像中に写る物体の名称と、その物体の姿勢パラメータ（位置・大きさ・角度）とを同時に推定する問題に対して、本発明を利用した場合の実施形態の一例について説明する。
【0072】
＜＜概要＞＞
本実施形態における情報処理方法では、画像を入力として受け付けると、姿勢パラメータ、変換画像及び特徴を出力するニューラルネットワークを特徴抽出器として用いる。ここでいう姿勢パラメータとは、画像中に写る物体の姿勢を表す値であり、より具体的には、例えば、物体の位置・大きさ・角度を与える行列であるアフィン変換行列や射影変換行列の要素である。また、姿勢とは、基準となる姿勢から、物体にどのような剛体運動が与えられたかを示す値である。変換画像は、姿勢パラメータによる姿勢変換を入力画像に適用した場合に得られる変換後の画像を意味する。また、特徴は、入力画像に写る物体の特徴をベクトル表現したものであり、物体の名称を特定するために用いられるものである。特徴抽出器の構成は、上記のような入出力関係を実現できるものであれば任意の構成を採ることができる。
本実施形態における情報処理方法では、画像を入力として受け付けると、姿勢パラメータ、変換画像及び特徴を出力するニューラルネットワークを特徴抽出器として用いる。ここでいう姿勢パラメータとは、画像中に写る物体の姿勢を表す値であり、より具体的には、例えば、物体の位置・大きさ・角度を与える行列であるアフィン変換行列や射影変換行列の要素である。また、姿勢とは、基準となる姿勢から、物体にどのような剛体運動が与えられたかを示す値である。変換画像は、姿勢パラメータによる姿勢変換を入力画像に適用した場合に得られる変換後の画像を意味する。また、特徴は、入力画像に写る物体の特徴をベクトル表現したものであり、物体の名称を特定するために用いられるものである。特徴抽出器の構成は、上記のような入出力関係を実現できるものであれば任意の構成を採ることができる。
【0073】
＜＜装置構成＞＞
本実施形態による特徴学習装置及び特徴抽出装置について説明する。
図５は、特徴学習装置４０の構成を示すブロック図である。図５に示す特徴学習装置４０は、学習処理を行って、特徴抽出器を学習する。特徴学習装置４０は、入力部４１と、演算部４２とを備える。演算部４２は、モデル記憶部４２１と、推定部４２２と、学習部４２３とを備える。なお、モデル記憶部４２１は、特徴学習装置４０の内部にあっても外部にあっても構わないが、本実施形態においては内部に配する構成を採る。
本実施形態による特徴学習装置及び特徴抽出装置について説明する。
図５は、特徴学習装置４０の構成を示すブロック図である。図５に示す特徴学習装置４０は、学習処理を行って、特徴抽出器を学習する。特徴学習装置４０は、入力部４１と、演算部４２とを備える。演算部４２は、モデル記憶部４２１と、推定部４２２と、学習部４２３とを備える。なお、モデル記憶部４２１は、特徴学習装置４０の内部にあっても外部にあっても構わないが、本実施形態においては内部に配する構成を採る。
【0074】
入力部４１は、所定の被写体を基準姿勢で撮影した画像である１枚以上の第一の画像、所定の被写体を任意の姿勢で撮影した画像である１枚以上の第二の画像、及び所定の被写体とは異なる被写体を任意の姿勢で撮影した画像である１枚以上の第三の画像の入力を受け付ける。モデル記憶部４２１は、後述する図８に示す特徴抽出器７０と、後述する図１０に示す特徴抽出器７０Ａの各々のパラメータの値を記憶する。特徴抽出器７０は、画像の入力を受け、姿勢パラメータ、変換画像及び特徴を出力するニューラルネットワークである。特徴抽出器７０Ａは、特徴抽出器７０から姿勢パラメータ及び変換画像を出力する変換層を除いた構成であり、画像の入力を受け、特徴を出力するニューラルネットワークである。
【0075】
推定部４２２は、特徴抽出器７０により、第二の画像に撮像された所定の被写体の基準姿勢に対する相対的な姿勢を表す姿勢パラメータを推定する。推定部４２２は、推定された姿勢パラメータを用いて、第二の画像を変換することにより、基準姿勢の所定の被写体が撮像されている第四の画像を求めると共に、第四の画像の特徴を抽出する。また、推定部４２２は、第一の画像に対して特徴抽出器７０Ａにより当該画像の特徴を抽出する。また、推定部４２２は、特徴抽出器７０Ａにより、第三の画像の特徴を抽出する。推定部４２２は、抽出した特徴に基づいて、第一の画像の中からアンカーデータとなる画像（アンカー画像）を選択する。このように、推定部４２２は、第一の画像と、第三の画像と、第二の画像から変換された第四の画像とのそれぞれから特徴を抽出する特徴抽出部としての機能と、抽出された特徴に基づいて第一の画像の中からアンカーデータとなる画像を選択する選択部との機能を含む。
【0076】
学習部４２３は、第四の画像の画素値とアンカー画像の画素値との距離の総和が最小となり、かつ、アンカー画像と第三の画像の特徴との距離が遠くなり、かつ、アンカー画像の特徴と第四の画像の特徴との距離が近くなるように、特徴抽出器７０及び特徴抽出器７０Ａのパラメータの値を学習し、モデル記憶部４２１を更新する。
【0077】
演算部４２は、上記の推定部４２２、及び学習部４２３の各処理を、予め定められた終了条件を満たすまで繰り返し行う。
【0078】
図６は、特徴抽出装置５０の構成を示すブロック図である。同図に示す特徴抽出装置５０は、後述の特徴抽出・姿勢推定処理に従って、入力された推定対象の画像に撮像された所定の被写体の、基準姿勢に対する相対的な姿勢を表す姿勢パラメータを推定すると共に、入力された推定対象の画像の被写体を認識する。特徴抽出装置５０は、入力部５１と、演算部５２と、出力部５３とを備える。演算部５２は、モデル記憶部５２１と、推定部５２２と、参照画像データベース（ＤＢ）５２３と、照合部５２４とを備える。なお、モデル記憶部５２１及び参照画像データベース５２３は、特徴抽出装置５０の内部にあっても外部にあっても構わないが、本実施形態においては内部に配する構成を採る。
【0079】
入力部５１は、所定の被写体が撮影された推定対象の画像である第一の画像の入力を受け付ける。モデル記憶部５２１は、特徴学習装置４０によって学習された、特徴抽出器７０のパラメータの値を記憶する。
【0080】
推定部５２２は、特徴抽出器７０により、入力部５１が入力した第一の画像に撮像された所定の被写体の、基準姿勢に対する相対的な姿勢を表す姿勢パラメータを推定し、推定された姿勢パラメータを用いて、その第一の画像を幾何変換することにより、基準姿勢の所定の被写体が撮像されている第二の画像を求めると共に、第二の画像の特徴を抽出する。
【0081】
参照画像データベース５２３は、被写体情報が既知の各参照画像の特徴を記憶している。被写体情報は、例えば、被写体の名称である。参照画像の特徴は、予め特徴抽出器７０又は特徴抽出器７０Ａによって抽出しておくものとする。照合部５２４は、推定部５２２によって抽出された特徴と、参照画像の特徴とを照合することにより、第一の画像の被写体の名称を認識する。
【0082】
出力部５３は、演算部５２により推定された姿勢パラメータ、第二の画像、及び第一の画像の被写体の名称を出力する。
【0083】
特徴学習装置４０及び特徴抽出装置５０の各々は、一例として、図７に示すコンピュータ６０によって実現される。図７は、コンピュータ６０のハードウェア構成を示す図である。コンピュータ６０は、ＣＰＵ６１と、メモリ６２と、プログラム６３を記憶した記憶部６４と、モニタを含む表示部６５と、キーボードやマウスを含む入力部６６とを有する。ＣＰＵ６１、メモリ６２、記憶部６４、表示部６５及び入力部６６は、バス６７を介して互いに接続されている。
【0084】
記憶部６４はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部６４には、コンピュータ６０を特徴学習装置４０又は特徴抽出装置５０として機能させるためのプログラム６３が記憶されている。ＣＰＵ６１は、プログラム６３を記憶部６４から読み出してメモリ６２に展開し、プログラム６３を実行する。なお、プログラム６３をコンピュータ可読媒体に格納して提供してもよい。
【0085】
＜＜特徴抽出器の構成＞＞
図８は、特徴抽出器７０の構成の一例を示す図である。この構成はＣＮＮに基づいており、畳み込み層、プーリング層、全結合層、変換層の４種類の層の組み合わせで構成される。例えば、図８に示す特徴抽出器７０は、変換層７１、畳み込み層７２、プーリング層７３、畳み込み層７４、プーリング層７５、全結合層７６及び全結合層７７を含んで構成されている。
図８は、特徴抽出器７０の構成の一例を示す図である。この構成はＣＮＮに基づいており、畳み込み層、プーリング層、全結合層、変換層の４種類の層の組み合わせで構成される。例えば、図８に示す特徴抽出器７０は、変換層７１、畳み込み層７２、プーリング層７３、畳み込み層７４、プーリング層７５、全結合層７６及び全結合層７７を含んで構成されている。
【0086】
変換層７１は、画像を入力として受け付けると、その姿勢パラメータ、並びに、姿勢パラメータに基づく画像変換を入力画像に適用して得られる姿勢変換画像を出力できるような層であればどんなものでも構わない。例えば、変換層７１として、非特許文献４に記載のＳＴＮを用いることができる。
【0087】
図９は、変換層７１の構成例を示す図である。例えば、図９に示すように、変換層７１は、姿勢パラメータ推定層７１１と、画像変換層７１２とにより構成される。姿勢パラメータ推定層７１１は、変換層７１に入力された画像Ｕから、アフィン変換行列、又は、射影変換行列により表現される姿勢パラメータθを推定する。姿勢パラメータ推定層７１１は、画像Ｕを入力として受け付け、当該画像Ｕに写る物体のアフィン変換行列、又は、射影変換行列の要素を出力するニューラルネットワークにより構成される。画像変換層７１２は、姿勢パラメータ推定層７１１により推定された姿勢パラメータθを画像Ｕに適用することによって姿勢変換画像Ｖを求め、求めた姿勢変換画像Ｖを出力する。このように構成される変換層７１は、入力画像に写る物体が、基準姿勢に対して位置・大きさ・角度の観点でどの程度ずれているかを直接推定することができるため、好適である。姿勢変換画像Ｖは、畳み込み層７２に入力される。
【0088】
もちろん、本実施形態における特徴抽出器７０のニューラルネットワークの構成はこれに限られるものではなく、先の入出力要件を満たす限りどんな構成を採っても構わない。好ましくは、最終層にＬ２正規化層を加える。こうすることによって、特徴量を頑健化できるため、好適である。
【0089】
また、例えば、図８に示した特徴抽出器７０の構成は、畳み込み層及びプーリング層の組み合わせを２回繰り返し、その後全結合層を２層積んだ構造となっているが、この２層の全結合層の代わりに、参考文献２、あるいは、参考文献３などに開示されている大域的プーリング層を用いても構わない。
【0090】
このように、特徴抽出器７０を、全結合が無い構成にすることにより、入力画像のサイズに依らず、常に同じ次元数の特徴量を求めることができるため好適である。
【0091】
以降、簡単のため、図８に示す特徴抽出器７０を用いる場合を例にとり、説明を続ける。
【0092】
＜＜処理概要＞＞
本実施形態による特徴抽出装置５０の演算部５２が実行する情報処理方法は、特徴抽出器７０を用いて特徴及び姿勢を求める特徴抽出・姿勢推定処理を実施する。また、本実施形態の特徴学習装置４０の演算部４２が実行する学習方法は、特徴抽出・姿勢推定処理に用いられる特徴抽出器７０を学習する学習処理を実施する。以降、まず学習処理について詳述し、その後、特徴抽出・姿勢推定処理について詳細に述べる。
本実施形態による特徴抽出装置５０の演算部５２が実行する情報処理方法は、特徴抽出器７０を用いて特徴及び姿勢を求める特徴抽出・姿勢推定処理を実施する。また、本実施形態の特徴学習装置４０の演算部４２が実行する学習方法は、特徴抽出・姿勢推定処理に用いられる特徴抽出器７０を学習する学習処理を実施する。以降、まず学習処理について詳述し、その後、特徴抽出・姿勢推定処理について詳細に述べる。
【0093】
＜＜＜学習処理＞＞＞
学習処理は、特徴抽出装置５０が特徴抽出・姿勢推定処理を行う前に、特徴学習装置４０によって少なくとも一度実施される必要のある処理である。より具体的には、学習処理は、特徴抽出器７０のパラメータの値であるニューラルネットワークの重みを学習用データに基づいて適切に決定するための処理である。なお、本学習処理を実行する上では、先に説明した特徴抽出器７０（ニューラルネットワーク）において、変換層を除いた特徴抽出器７０Ａも用いる。
学習処理は、特徴抽出装置５０が特徴抽出・姿勢推定処理を行う前に、特徴学習装置４０によって少なくとも一度実施される必要のある処理である。より具体的には、学習処理は、特徴抽出器７０のパラメータの値であるニューラルネットワークの重みを学習用データに基づいて適切に決定するための処理である。なお、本学習処理を実行する上では、先に説明した特徴抽出器７０（ニューラルネットワーク）において、変換層を除いた特徴抽出器７０Ａも用いる。
【0094】
図１０は、特徴抽出器７０Ａの構成の一例を示す図である。特徴抽出器７０Ａは、図８に示す特徴抽出器７０から変換層７１を除いたニューラルネットワークの構成である。以降、変換層７１を有するニューラルネットワークにより構成された特徴抽出器７０を変換層付きモデル７０、変換層７１を持たない特徴抽出器７０Ａを変換層無しモデル７０Ａと呼称する。ここで、変換層７１以外のパラメータは、変換層付きモデル７０と変換層無しモデル７０Ａとの両モデルで共通のものを利用する。すなわち、図８、図１０の例では、対応する同じ符号の畳み込み層、全結合層のパラメータは全て同じ値を持つ。
【0095】
本実施形態における学習処理を実行するには、予め学習用画像データを準備しておく必要がある。この学習用画像データは、画像の三つ組みの集合により構成される。この三つ組みとは、ある物体を複数の基準姿勢で写した画像群Ｓａ＝｛Ｉａ１，Ｉａ２，…，ＩａＭ｝、画像Ｉａと同一の被写体を別姿勢で写した画像Ｉｐ、画像Ｉａとは異なる被写体を写した画像Ｉｎの三つからなり、異なる画像の組み合わせからなる三つ組みの集合により学習用画像データが構成されるとする。
【0096】
このような三つ組みの学習用画像データは、次の（ａ）～（ｄ）の要件を満たす画像集合があれば自動的に構成することが可能である。
【0097】
（ａ）１枚以上の画像を含み、各画像は少なくとも一つの物体を写したものであること。
（ｂ）学習用画像データ全体を通して２種類以上の物体を含み、同一種類の物体を写した画像が少なくとも２枚以上存在すること。
（ｃ）全種類の物体に対して、それぞれ基準姿勢となる物体画像が存在・特定可能であり、当該画像は背景が無いこと。
（ｄ）同一種類の物体を写した画像同士が互いに識別可能であること。
（ｂ）学習用画像データ全体を通して２種類以上の物体を含み、同一種類の物体を写した画像が少なくとも２枚以上存在すること。
（ｃ）全種類の物体に対して、それぞれ基準姿勢となる物体画像が存在・特定可能であり、当該画像は背景が無いこと。
（ｄ）同一種類の物体を写した画像同士が互いに識別可能であること。
【0098】
上記（ａ）～（ｄ）の要件が揃ったものであれば、例えば、以下の（１）～（３）の処理により、上記三つ組みを一組構成することができる。
【0099】
（１）基準姿勢となる画像をランダムに複数枚選び、これらを画像群Ｓａとする。
（２）Ｓａと同一の被写体を写した基準姿勢でない画像をランダムに選び、これを画像Ｉｐとする。
（３）画像群Ｓａ及び画像Ｉｐと別の被写体を写した画像をランダムに選び、これを画像Ｉｎとする。
（２）Ｓａと同一の被写体を写した基準姿勢でない画像をランダムに選び、これを画像Ｉｐとする。
（３）画像群Ｓａ及び画像Ｉｐと別の被写体を写した画像をランダムに選び、これを画像Ｉｎとする。
【0100】
（１）～（３）の処理を、所望の組数が揃うまで繰り返せば、学習用画像データを構成可能である。なお、実際には、上記要件を満たすような学習用画像データを準備する手段は本発明の要点とは無関係であり、どのような手段で準備しても構わない。人手によって準備しても構わないし、自動的に準備しても構わない。
【0101】
上記のような学習用画像データが存在するもとで、本実施形態における学習処理は、次の工程により実行される。すなわち、入力部４１が上記の学習用画像データを入力した後、特徴学習装置４０の演算部４２は、以下に示す学習処理を実行する。
【0102】
図１１は、本実施形態における特徴学習装置４０の学習処理の概要を示すフロー図である。まず、ステップＳ２０１において推定部４２２は、画像Ｉｐに対して変換層付きモデル７０を適用し、変換層７１により画像Ｉｐを変換して得られた画像Ｉｐｔと、画像Ｉｐｔの画像特徴量である特徴ｘｐｔを求める。
【0103】
続いてステップＳ２０２において、推定部４２２は、画像群Ｓａ、画像Ｉｎのそれぞれに対して変換層無しモデル７０Ａを適用し、アンカーデータ候補群Ｓａに含まれる全データそれぞれの画像特徴量の集合Ｘａと、画像Ｉｎの画像特徴量である特徴ｘｎを求める。集合Ｘａに含まれる特徴ｘａｉ（ｉ＝１，２，…，Ｍ）は、アンカーデータ候補群Ｓａに含まれるデータＩａｉの画像特徴量である。ステップＳ２０３において、推定部４２２は、画像Ｉｐｔ及び画像群Ｓａを基に、アンカーデータＩａと、その特徴ｘａを選択する。
【0104】
続いてステップＳ２０４において、学習部４２３は、特徴ｘｐｔと特徴ｘａに基づき、アピアランス損失を求める。続いてステップＳ２０５において、学習部４２３は、特徴ｘａ、特徴ｘｐｔ及び特徴ｘｎを基に、特徴損失を求める。続いてステップＳ２０６において、学習部４２３は、アピアランス損失と特徴損失の重み付き和を小さくするように変換層付きモデル７０のパラメータの値を更新し、変換層無しモデル７０Ａにパラメータの値をコピーする。
【0105】
ステップＳ２０７において、学習部４２３は、所定の終了条件が満たされか否かを判定する。学習部４２３が所定の終了条件を満たすと判定するまで、演算部４２は、上記ステップＳ２０１～Ｓ２０６の処理を繰り返す。演算部４２は、学習部４２３が終了条件を満たしたと判定した場合に学習処理を終了する。
【0106】
＜＜＜各処理の処理詳細＞＞＞
推定部４２２は、先に説明した変換層付きモデル７０、変換層無しモデル７０Ａを各画像に対して適用することにより、ステップＳ２０１及びステップＳ２０２の処理を直ちに実行することができる。以降、ステップＳ２０３～Ｓ２０６の各処理の詳細処理について、本実施形態における一例を説明する。
推定部４２２は、先に説明した変換層付きモデル７０、変換層無しモデル７０Ａを各画像に対して適用することにより、ステップＳ２０１及びステップＳ２０２の処理を直ちに実行することができる。以降、ステップＳ２０３～Ｓ２０６の各処理の詳細処理について、本実施形態における一例を説明する。
【0107】
［ステップＳ２０３：アンカー選択処理］
この処理では、推定部４２２は、画像群Ｓａからアンカー画像Ｉａを選択し、さらにその特徴ｘａを選択する。本アンカー選択処理の目的は、画像群Ｓａに含まれる画像Ｉａｉ（ｉ＝１，２，…，Ｍ）の中から、画像Ｉｐに近い見た目を持つ画像をアンカーデータＩａとして選択することである。これを実現するために、本実施形態では、推定部４２２は、下記の式（６）が示す基準に基づいてアンカー画像Ｉａを選択する。
この処理では、推定部４２２は、画像群Ｓａからアンカー画像Ｉａを選択し、さらにその特徴ｘａを選択する。本アンカー選択処理の目的は、画像群Ｓａに含まれる画像Ｉａｉ（ｉ＝１，２，…，Ｍ）の中から、画像Ｉｐに近い見た目を持つ画像をアンカーデータＩａとして選択することである。これを実現するために、本実施形態では、推定部４２２は、下記の式（６）が示す基準に基づいてアンカー画像Ｉａを選択する。
【0108】
【数6】
【0109】
推定部４２２は、画像Ｉａ１，Ｉａ２，・・・，ＩａＭのうち、式（６）により選ばれた画像をアンカー画像Ｉａとして選択する。ｄ（Ｉｉ,Ｉｊ）は、画像Ｉｉと画像Ｉｊの距離を表す距離関数であり、任意の距離関数を用いることができるが、例えばＬ１距離とすればよい。
【0110】
Ｌａｐｐは、画像の画素値の距離を求める関数であり、本実施形態の一例ではアピアランス損失と呼ぶものである。すなわち、式（６）は、画像群Ｓａに含まれる画像Ｉａｉ（ｉ＝１，２，…，Ｍ）のうち、変換後の画像Ｉｐｔに最も見た目が近い画像をアンカー画像Ｉａとして選び出すという処理をしている。
【0111】
変換層付きモデル７０による姿勢推定の精度は、アンカー画像Ｉａと画像Ｉｐとの姿勢ずれが小さいほど良好な傾向がある。同様の着想を提案している非特許文献３は、このような選択処理を経ずに、常に単一のアンカー画像Ｉａを用いる構成を採っている。それがゆえに、アンカー画像Ｉａとの姿勢ずれが大きい画像Ｉｐが入力された場合に、姿勢推定誤差が大きくなるという問題があった。本実施形態によれば、複数の姿勢を持つ画像群Ｓａから、画像Ｉｐに最も近い画像をアンカー画像Ｉａとして選ぶことができるようになり、アンカー画像Ｉａと画像Ｉｐとの姿勢ずれを小さくすることができるようになる。結果として、非特許文献３に開示されている技術に比べ、本実施形態は、姿勢推定精度を改善することが可能になる。
【0112】
アピアランス損失Ｌａｐｐは必ずしも上式の形でなくとも構わず、画像Ｉｐとアンカー画像Ｉａが同じ見えになっているほど小さい値を取り、Ｉｐ＝Ｉａの場合に０となるようなものであれば任意の形態をとって構わない。例えば、利用する距離関数ｄはＬ１距離でなくともよく、例えばＬ２距離などを用いても構わない。また、必ずしも画像中の全画素の距離を求めずともよく、一部領域についてのみ求めても構わない。
以上がステップＳ２０３において推定部４２２が行う処理である。
以上がステップＳ２０３において推定部４２２が行う処理である。
【0113】
［ステップＳ２０４：アピアランス損失計算処理］
この処理では、学習部４２３は、同一の被写体を含むアンカー画像Ｉａ、並びに、画像Ｉｐｔに基づいて、その画像としての見え方の差異であるところのアピアランス損失を求める。本実施形態の一例においては、既にステップＳ２０３においてアピアランス損失Ｌａｐｐの値を求めているので、この値をそのまま利用すればよい。
この処理では、学習部４２３は、同一の被写体を含むアンカー画像Ｉａ、並びに、画像Ｉｐｔに基づいて、その画像としての見え方の差異であるところのアピアランス損失を求める。本実施形態の一例においては、既にステップＳ２０３においてアピアランス損失Ｌａｐｐの値を求めているので、この値をそのまま利用すればよい。
【0114】
アピアランス損失Ｌａｐｐは、変換後の画像Ｉｐｔとアンカー画像Ｉａが同じ見えになっているほど小さい値を取り、Ｉｐｔ＝Ｉａの場合に０となる。すなわち、様々な画像Ｉｐに対してこの値が小さくするように変換層７１のパラメータを学習することによって、どんな姿勢で撮影された被写体であっても、常に基準姿勢時の被写体を撮影したアンカー画像Ｉａに近づけるような姿勢変換を行うことができるようになる。結果として、背景画素を除いた後の姿勢パラメータは、基準姿勢との差異を推定することができるようになる。
以上がステップＳ２０４において学習部４２３が行う処理である。
以上がステップＳ２０４において学習部４２３が行う処理である。
【0115】
［ステップＳ２０５：特徴損失計算処理］
この処理では、学習部４２３は、特徴を学習するために必要な特徴損失を求める。画像認識の観点から言えば、同一の被写体を含むアンカー画像Ｉａ、画像Ｉｐｔの特徴ｘａ、特徴ｘｐｔはベクトルとして互いに近く、また、逆に、異なる被写体を含むアンカー画像Ｉａ、画像Ｉｎの特徴ｘａ、特徴ｘｎはベクトルとして互いに遠くなっている方が好ましい。このような特徴を得ることにより、特徴の近さに基づいて同一被写体を検索したり、あるいは、例えばＫ近傍法などの識別法により被写体の名称を推定したりすることもできるようになる。
この処理では、学習部４２３は、特徴を学習するために必要な特徴損失を求める。画像認識の観点から言えば、同一の被写体を含むアンカー画像Ｉａ、画像Ｉｐｔの特徴ｘａ、特徴ｘｐｔはベクトルとして互いに近く、また、逆に、異なる被写体を含むアンカー画像Ｉａ、画像Ｉｎの特徴ｘａ、特徴ｘｎはベクトルとして互いに遠くなっている方が好ましい。このような特徴を得ることにより、特徴の近さに基づいて同一被写体を検索したり、あるいは、例えばＫ近傍法などの識別法により被写体の名称を推定したりすることもできるようになる。
【0116】
このような特徴を学習するための損失は様々な形態のものが有り得るが、例えば下記の式（７）に示すような特徴損失Ｌｆｅａｔを用いることができる。
【0117】
【数7】
【0118】
特徴損失Ｌｆｅａｔは、式（２）に示すTriplet Lossと同様の形式を持つ関数である。この特徴損失Ｌｆｅａｔは、特徴ｘｐｔが特徴ｘｎよりもＬ２距離の意味で特徴ｘａにｍ以上近ければ最小値である０を取り、そうでなければ、０よりも大きな値を取る。したがって、様々な三つ組みに対してこの値を小さくするように変換層付きモデル７０のパラメータを学習することによって、同一の被写体を撮影した画像ほど近い特徴を出力できるようになるのである。
以上がステップＳ２０５において学習部４２３が行う処理である。
以上がステップＳ２０５において学習部４２３が行う処理である。
【0119】
［ステップＳ２０６：モデルパラメータ更新］
この処理では、学習部４２３は、ステップＳ２０４で求めたアピアランス損失ＬａｐｐとステップＳ２０５で求めた特徴損失Ｌｆｅａｔの重み付き和Ｌを小さくするように、変換層付きモデル７０のパラメータの値を更新する。具体的には、重み付き和Ｌは下記のように定義される。
この処理では、学習部４２３は、ステップＳ２０４で求めたアピアランス損失ＬａｐｐとステップＳ２０５で求めた特徴損失Ｌｆｅａｔの重み付き和Ｌを小さくするように、変換層付きモデル７０のパラメータの値を更新する。具体的には、重み付き和Ｌは下記のように定義される。
【0120】
【数8】
【0121】
λは、アピアランス損失Ｌａｐｐ及び特徴損失Ｌｆｅａｔの二つの損失のバランスを取るパラメータであり、任意の実数値を設定してよい。例えば、λ＝１００などとすればよい。
【0122】
アピアランス損失Ｌａｐｐ、及び特徴損失Ｌｆｅａｔ共に、ニューラルネットワークのパラメータに対して区分的に微分可能であることを鑑みれば、勾配法により学習可能である。例えば、確率的勾配降下法に基づいて学習する場合、変換層付きモデルのあるパラメータをｗとおくと、学習部４２３は、１ステップあたり、以下の式（９）に基づいてパラメータｗの値を更新すればよい。
【0123】
【数9】
【0124】
通常のニューラルネットワークの構成層については、任意のパラメータｗに対する重み付き和Ｌの微分値を、誤差逆伝搬法により計算することが可能である。もちろん、モーメンタム項を利用する、重み減衰を利用するなど、一般的な確率的勾配降下法の改善法を導入しても構わないし、あるいは別の勾配降下法を利用しても構わない。
【0125】
学習部４２３は、上記に基づいて全てのパラメータの値を更新した後、変換層７１を除く全てのパラメータの値を変換層無しモデル７０Ａへとコピーする。
以上がステップＳ１０６において学習部４２３が行う処理である。
以上がステップＳ１０６において学習部４２３が行う処理である。
【0126】
演算部４２は、ステップＳ１０１～ステップＳ１０６までの処理を、終了条件を満たすまで繰り返す。終了条件は任意のものを定めて構わない。例えば、「所定の回数（例えば１００回など）繰り返したら終了」、「誤差の現象が一定の繰り返し回数の間、一定の範囲内に収まっていたら終了」などとすればよい。
以上、本実施形態の一例における学習処理の詳細を説明した。
以上、本実施形態の一例における学習処理の詳細を説明した。
【0127】
＜＜＜特徴抽出・姿勢推定処理＞＞＞
続いて、本実施形態の一例における特徴抽出装置５０が行う情報処理方法の特徴抽出・姿勢推定処理について説明する。
続いて、本実施形態の一例における特徴抽出装置５０が行う情報処理方法の特徴抽出・姿勢推定処理について説明する。
【0128】
学習処理が済んだ変換層付きモデル７０を用いれば、特徴抽出・姿勢推定処理は非常に単純である。具体的には、特徴抽出装置５０の入力部５１は、推定対象の画像の入力を受け付ける。推定部５２２は、特徴学習装置４０が更新したパラメータ値を用いた変換層付きモデル７０に、入力部５１が受け付けた推定対象の画像を入力し、変換層７１が出力した姿勢パラメータ及び背景除去後の画像と、全結合層７７が出力した画像特徴量を得る。その後、推定部５２２は、全てのアンカー候補画像群Ｓａの集合から、画像特徴量、または、画像として、画像Ｉｐに最も近いアンカー画像Ｉａを特定する。変換層７１が出力した姿勢パラメータは、このアンカー画像Ｉａからのずれ（相対的な姿勢）を推定したものである。そこで、推定部５２２は、推定対象の画像の姿勢パラメータとしてさらにこのアンカー画像Ｉａを得ればよい。なお、本実施形態の一例において、姿勢パラメータはアフィン変換行列、あるいは、射影変換行列を想定しているが、両者ともに、当該行列から物体の大きさ、位置（平行移動）、及び角度は容易に求めることが可能である。
【0129】
照合部５２４は、推定部５２２が得た推定対象の画像の画像特徴量と、参照画像データベース５２３に記憶されている参照画像の画像特徴量とを照合し、照合により選択した参照画像に対応付けられた被写体の名称を取得する。出力部５３は、推定対象の画像の姿勢パラメータ、背景除去後の画像、及び、被写体の名称を出力する。
以上が、本実施形態の一例における情報処理方法の特徴抽出・姿勢推定処理である。
以上が、本実施形態の一例における情報処理方法の特徴抽出・姿勢推定処理である。
【0130】
以上の通り、本発明の実施形態により、データの対または三つ組みに対して、それらの内容が近いか遠いかを判断できるようなラベルが得られないような場合においても、データから有効な特徴を抽出することのできる特徴抽出器を学習可能である、という効果が得られる。また、上述した実施形態によれば、その学習された特徴抽出器を用いて、データの特徴を抽出可能である、という効果が得られる。
【0131】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。上述した実施形態においては、特徴学習装置と特徴抽出装置とを別々の装置として構成する場合を例に説明したが、一つの装置として構成してもよい。
【0132】
また、上述した実施形態における情報処理方法及び特徴学習方法を、汎用演算処理装置、記憶装置等を備えたコンピュータやサーバ等により構成して、各処理がプログラムによって実行されるものとしてもよい。このプログラムは記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現しても構わない。
【0133】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【符号の説明】
【0134】
１０…特徴学習装置、１１…入力部、１２…記憶部、１３…演算部、１４…特徴抽出部、１５…選択部、１６…学習部、２０…特徴抽出装置、２１…記憶部、２２…入力部、２３…演算部、２４…出力部、３０…特徴抽出器、４０…特徴学習装置、４１…入力部、４２…演算部、５０…特徴抽出装置、５１…入力部、５２…演算部、５３…出力部、６０…コンピュータ、６１…ＣＰＵ、６２…メモリ、６３…プログラム、６４…記憶部、６５…表示部、６６…入力部、６７…バス、７０…特徴抽出器、７０Ａ…特徴抽出器、４２１…モデル記憶部、４２２…推定部、４２３…学習部、５２１…モデル記憶部、５２２…推定部、５２３…参照画像データベース、５２４…照合部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】