特表2024-541450トレーニング装置、分類装置、トレーニング方法、および分類方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-08
(54)【発明の名称】トレーニング装置、分類装置、トレーニング方法、および分類方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241031BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 350B
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024529952
(86)(22)【出願日】2021-11-30
(85)【翻訳文提出日】2024-05-21
(86)【国際出願番号】 JP2021043739
(87)【国際公開番号】W WO2023100215
(87)【国際公開日】2023-06-08
(81)【指定国・地域】
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【弁理士】
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【弁理士】
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】タイ サンジョン
(72)【発明者】
【氏名】戸田 真人
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096HA09
5L096JA11
5L096KA04
(57)【要約】
特徴抽出部は、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出する。剛体変換部は、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する。再照明部は、変換された構造特徴と変換パラメータとを参照して、変換パラメータで示されるビューで抽出される構造特徴に近似するように、新規ビューの特徴を生成する。クラス予測部は、ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測値を予測する。更新部は、特徴抽出部と再照明部とクラス予測部とのうちの少なくとも１つを更新する。
【特許請求の範囲】
【請求項1】
入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出する１つ以上の特徴抽出手段と、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する剛体変換手段と、
前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成する１つ以上の再照明手段と、
前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行う１つ以上のクラス予測手段と、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する更新手段とを備える
トレーニング装置。
【請求項2】
前記更新手段は、以下の１つ以上の事項を参照して更新処理を実行する請求項１記載のトレーニング装置。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【請求項3】
前記ソースドメイン分類損失、前記ターゲットドメイン分類損失、前記グルーピング損失、および前記変換損失を参照して、マージ損失を計算するマージ損失計算手段を備え、前記更新手段は、前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
請求項２記載のトレーニング装置。
【請求項4】
ソースドメインクラス予測値、ソースドメインの新規ビューの特徴のソースドメインクラス予測値、およびソースドメインクラスラベルデータを参照して、前記ソースドメイン分類損失を計算し、前記ターゲットドメインクラス予測値、変換後の構造特徴のターゲットドメインクラス予測値、およびターゲットドメインクラスラベルデータを参照して、前記ターゲットドメイン分類損失を計算する分類損失計算手段を備える請求項３記載のトレーニング装置。
【請求項5】
前記ソースドメイン構造特徴、変換後の前記ソースドメイン構造特徴、前記ターゲットドメイン構造特徴、変換後の前記ターゲットドメイン構造特徴から、同じクラスラベルを共有する特徴量を含むクラスグループを生成するグルーピング手段と、前記グルーピング手段が生成したクラスグループを参照して、前記グルーピング損失を計算するグルーピング損失計算手段とを備える
請求項３または請求項４記載のトレーニング装置。
【請求項6】
前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴のうちの１つ以上の特徴を参照して、前記変換損失を計算する変換損失計算手段を備える請求項３から請求項５のいずれかに記載のトレーニング装置。
【請求項7】
ターゲットドメインをソースドメインに整合させるためのドメイン整合処理を実行するドメイン整合手段と、ソースドメインと前記ターゲットドメインとの間の距離に応じてドメイン整合損失を計算するドメイン整合損失計算手段とを備え、
前記マージ損失計算手段は、前記ドメイン整合損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記ドメイン整合手段を更新する
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項8】
最終的な分類目標に加えて副次的な目標も満足させるための補助タスクソルバと、補助損失を計算する補助損失計算手段とを備え、
前記マージ損失計算手段は、前記補助損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記補助タスクソルバを更新する
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項9】
ソースドメイン特徴のマップにおける縁領域をマスクする構造特徴マスク手段と、新規ビューの特徴のマップにおける縁領域をマスクする変換特徴マスク手段とを備える
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項10】
入力画像データから構造特徴を抽出する特徴抽出手段と、特徴量からクラス予測値を予測するクラス予測手段とを備え、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類装置。
【請求項11】
１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出し、１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成し、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成し、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行い、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
トレーニング方法。
【請求項12】
更新処理を実行するときに、以下の１つ以上の事項を参照して、１つ以上の特徴抽出手段、１つ以上の再照明手段、および１つ以上のクラス予測手段の少なくとも１つを更新する請求項１１記載のトレーニング方法。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【請求項13】
前記ソースドメイン分類損失、前記ターゲットドメイン分類損失、前記グルーピング損失、および前記変換損失を参照して、マージ損失を計算し、前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
請求項１２記載のトレーニング方法。
【請求項14】
特徴抽出手段を使用して、入力画像データから構造特徴を抽出し、クラス予測手段を使用して、特徴量からクラス予測値を予測し、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類方法。
【請求項15】
トレーニングプログラムが格納されたコンピュータ読み取り可能な記録媒体であって、前記トレーニングプログラムは、コンピュータに、
１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出させ、
１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成させ、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成させ、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行わせ、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新させる。
【請求項16】
前記トレーニングプログラムは、コンピュータに、更新処理を実行するときに、以下の１つ以上の事項を参照して、１つ以上の特徴抽出手段、１つ以上の再照明手段、および１つ以上のクラス予測手段の少なくとも１つを更新させる
請求項１５記載のコンピュータ読み取り可能な記録媒体。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【請求項17】
分類プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、前記分類プログラムは、コンピュータに、
特徴抽出手段を使用して、入力画像データから構造特徴を抽出させ、
クラス予測手段を使用して、特徴量からクラス予測値を予測させ、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トレーニング装置、分類装置、トレーニング方法、および分類方法に関する。
【背景技術】
【0002】
ニューラルネットワークは、膨大な数のパラメータを学習するために、大量のラベル付きデータを必要とする。大量のラベル付きデータを収集するには、費用と時間がかかる。その問題を解決するために、別のドメインの知識を新しいターゲットドメインに移すことが考えられる（例えば、非特許文献１参照）。
【0003】
分類器を例にすると、「ターゲットドメイン」は、分類器が対象とするドメインである。本明細書では、ターゲットドメインは、一例として、実際のＳＡＲ（Synthetic Aperture Radar）画像のセットである。別のドメインを「ソースドメイン」と呼ぶ。ソースドメインは、一例として、ＳＡＲ画像化メカニズムに基づいてシミュレータが自動生成した模擬画像のセットである。しかし、ソースドメインの画像は、他の方法で取得することもできる。例えば、ソースドメインの画像は、数年前に得られた実際のＳＡＲ画像のセットでもよい。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Xiang Xu et al., "d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019
【発明の概要】
【発明が解決しようとする課題】
【0005】
d-SNEの使用により、ソースドメインにおける知識を、ターゲットドメインに転送することが可能になる。対象物をクラス１またはクラス２に分類する分類器を例にする。d-SNEによって、ターゲットドメインの画像における対象物は、ソースドメインの画像における同じカテゴリの対象物の特徴に基づいて、分類されうる。
【0006】
ソースドメインからターゲットドメインへ知識を安全に転送するには、ドメインギャップとクラス内分散という解決すべき２つの課題がある。まず、異なるドメインは、通常、データ収集条件の違いによって、画像解像度などの特性が異なる。このような特性の違いは、ドメインギャップを引き起こす。また、同じドメイン内でも、撮影角度の違いや照明条件などの他の要因によって、同じカテゴリから収集された対象物の画像が大きく異なって見えることがある。これがクラス内分散を引き起こす。未解決のいずれかの課題は、分類器が、テスト段階以降において、未だ扱われていないターゲットドメインの要因を持つ新しいターゲットドメインの画像を分類できなくなる原因となる。
【0007】
d-SNEは、ドメインギャップを縮小する際にクラス内分散を考慮しないため、上記の２つの課題を同時に解決することができない。一例として、画像解像度の違いによるドメインギャップを想定し、画像撮影角度の違いによるクラス内分散を想定する。ニューラルネットワークに基づく分類器は、ソースドメインの画像とターゲットドメインの画像の両方を用いて学習されることによって、ドメインギャップを小さくすることができる。しかし、トレーニング段階で利用可能なターゲットドメインの画像が非常に限られている場合、ソースドメインの画像には存在するがターゲットドメインのトレーニング画像には存在しない要因については、ドメインギャップを適切に最小化することができない。例えば、トレーニング段階では、ターゲットドメインには、クラス１の対象物の画像と、１つまたは２つの撮影角度で撮影されたクラス２の対象物の画像が少数しか含まれていない一方で、ソースドメインには、クラス１の対象物の画像と、様々な撮影角度で撮影されたクラス２の対象物の画像が多数含まれている可能性がある。この場合、ソースドメインには存在するがターゲットドメインには存在しない角度で撮影された画像間のドメインギャップを適切に減らすことができない。テスト段階では、少数のターゲットドメインの学習画像でカバーされていない、未だ扱われていない撮影角度でのターゲットドメインの対象物の画像は、正しく分類されない。これは、それらの撮影角度におけるドメインギャップが最小化されないため、それらの撮影角度において、ソースドメインからターゲットドメインに知識を安全に伝達することができないからである。d-SNEでは、ドメインギャップを最小化する際に、ターゲットドメインの学習画像で使用されている１つまたは２つの角度以外の角度で撮影された画像によるクラス内分散は考慮されない。
【0008】
その結果、未だ扱われていないターゲットドメインの要因を持つ新しい画像を、分類器がどのクラスに分類すべきかを決定することが困難になる。要因の例として、画像の撮影角度が想定される。また、照明条件など、クラス内分散に寄与する他の要因であってもよい。要因の違いが存在する場合、同じカテゴリの画像であっても撮影角度が異なれば、抽出される特徴量は互いに異なる。クラス内分散の最も単純な定義は、同じカテゴリからの特徴量の母平均からの偏差の二乗とすることができる。クラス内分散は、同じカテゴリの画像から抽出された特徴量間の、より複雑な分散として表現することもできる。
【0009】
ドメインギャップは、ドメインＡ（この例では、ターゲットドメイン）とドメインＢ（この例では、ソースドメイン）との間のデータ分布または特性の違いを意味する。例えば、収集されたデータセットはそれぞれ異なる特徴を持つ。特性の一例として、画像の解像度が想定される。特性は、異なるイメージセンサや異なるオブジェクトの背景など、ドメインギャップに寄与する可能性のある他のものでもよい。
【0010】
特性の違いが存在する場合、ドメインＡに属する画像から抽出された平均的な特徴とドメインＢに属する画像から抽出された平均的な特徴とは相違する。ドメインギャップの簡単な定義は、双方の平均値の間の距離として表現しうる。また、ドメインギャップは、異なるドメインのデータ分布間の、より複雑な距離として表現されうる。より具体的には、ドメインギャップは、最大平均不一致としても表すことができる。
【0011】
本発明の目的は、新たな要因が存在する対象領域において、その新たな要因が分類器によるターゲットドメインの学習データでは見たことがないものであっても、分類器が正しく分類することができるトレーニング装置、分類装置、トレーニング方法、および分類方法を提供することである。
【課題を解決するための手段】
【0012】
一態様のトレーニング装置は、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出する１つ以上の特徴抽出手段と、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する剛体変換手段と、変換された構造特徴と変換パラメータとを参照して、変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成する１つ以上の再照明手段と、ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行う１つ以上のクラス予測手段と、ソースドメインのクラス予測値およびソースドメインの正解クラスラベルを参照して計算されたソースドメイン分類損失、ターゲットドメインのクラス予測値およびターゲットドメインの正解クラスラベルを参照して計算されたターゲットドメイン分類損失、ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴を参照して計算される変換損失、ならびにソースドメイン構造特徴、ソースドメインの新しいビューの特徴、ターゲットドメインの構造的特徴およびターゲットドメインの新規ビューの特徴を参照して計算されるグルーピング損失、から計算されるマージ損失を参照して、１つ以上の特徴抽出手段と、１つ以上の再照明手段と、１つ以上のクラス予測手段とのうちの少なくとも１つを更新する更新手段とを含む。
【0013】
一態様の分類装置は、入力画像データから構造特徴を抽出する特徴抽出手段と、特徴量からクラス予測値を予測するクラス予測手段とを備え、特徴抽出手段とクラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
【0014】
一態様のトレーニング方法は、１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出し、１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成し、１つ以上の再照明手段を使用して、変換された構造特徴と変換パラメータとを参照して、変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成し、１つ以上のクラス予測手段を使用して、ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行い、ソースドメインのクラス予測値およびソースドメインの正解クラスラベルを参照して計算されたソースドメイン分類損失、ターゲットドメインのクラス予測値およびターゲットドメインの正解クラスラベルを参照して計算されたターゲットドメイン分類損失、ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴を参照して計算される変換損失、ならびにソースドメイン構造特徴、ソースドメインの新しいビューの特徴、ターゲットドメインの構造的特徴およびターゲットドメインの新規ビューの特徴を参照して計算されるグルーピング損失、から計算されるマージ損失を参照して、１つ以上の特徴抽出手段と、１つ以上の再照明手段と、１つ以上のクラス予測手段とのうちの少なくとも１つを更新する。
【0015】
一態様の分類方法は、特徴抽出手段によって、入力画像データから構造特徴を抽出し、クラス予測手段によって、特徴量からクラス予測値を予測し、特徴抽出手段とクラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
【0016】
一態様のトレーニングプログラムは、コンピュータに、１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出させ、１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成させ、１つ以上の再照明手段を使用して、変換された構造特徴と変換パラメータとを参照して、変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成させ、１つ以上のクラス予測手段を使用して、ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行わせ、ソースドメインのクラス予測値およびソースドメインの正解クラスラベルを参照して計算されたソースドメイン分類損失、ターゲットドメインのクラス予測値およびターゲットドメインの正解クラスラベルを参照して計算されたターゲットドメイン分類損失、ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴を参照して計算される変換損失、ならびにソースドメイン構造特徴、ソースドメインの新しいビューの特徴、ターゲットドメインの構造的特徴およびターゲットドメインの新規ビューの特徴を参照して計算されるグルーピング損失、から計算されるマージ損失を参照して、１つ以上の特徴抽出手段と、１つ以上の再照明手段と、１つ以上のクラス予測手段とのうちの少なくとも１つを更新させる。
【0017】
一態様の分類プログラムは、コンピュータに、特徴抽出手段を使用して、入力画像データから構造特徴を抽出させ、クラス予測手段を使用して、特徴量からクラス予測値を予測させ、特徴抽出手段とクラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
【発明の効果】
【0018】
本発明によれば、分類器が、ターゲットドメインの学習データでは見たことがない要因があっても、その新たな要因が存在するターゲットドメインにおける対象物を正しく分類できるようになる。
【図面の簡単な説明】
【0019】
【図1】第１の実施形態のトレーニング装置の構成例を示すブロック図である。
【図2】第２の実施形態の分類装置の構成例を示すブロック図である。
【図3】構造特徴および構造変換を説明するための説明図である。
【図4】構造特徴を説明するための説明図である。
【図5】第３の実施形態のトレーニング装置の構成例を示すブロック図である。
【図6】ターゲットドメインおよびソースドメインの入力データを説明するための説明図である。
【図7】クロスドメイン位置合わせを説明するための説明図である。
【図8】第３の実施形態のトレーニング装置の動作を示すフローチャートである。
【図9】第４の実施形態の分類装置の構成例を示すブロック図である。
【図10】第５の実施形態のトレーニング装置の構成例を示すブロック図である。
【図11】第５の実施形態のトレーニング装置の動作を示すフローチャートである。
【図12】第６の実施形態のトレーニング装置の構成例を示すブロック図である。
【図13】第６の実施形態のトレーニング装置の動作を示すフローチャートである。
【図14】第７の実施形態のトレーニング装置の構成例を示すブロック図である。
【図15】第７の実施形態のトレーニング装置の動作を示すフローチャートである。
【図16】ＣＰＵを有するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施形態を図面を参照して説明する。以下に説明する各実施形態では、画像として、ＳＡＲ画像が想定される。しかし、画像は、ＳＡＲ画像に限定されない。一例として、ソースドメインおよびターゲットドメインの画像は、例えば、スマートフォンで撮影された画像など、光学的な画像であってもよい。
【0021】
実施形態１．
図１は、第１の実施形態のトレーニング装置の構成例を示すブロック図である。
図１は、第１の実施形態のトレーニング装置の構成例を示すブロック図である。
【0022】
図１に示すトレーニング装置１０は、特徴抽出部１１と、剛体変換部１２と、再照明部１３と、クラス予測部１４と、更新部１５とを備える。図１には、１つの特徴抽出部１１と、１つの剛体変換部１２と、１つの再照明部１３と、１つのクラス予測部１４とが示されているが、複数の特徴抽出部１１、剛体変換部１２、再照明部１３、クラス予測部１４が設けられてもよい。
【0023】
特徴抽出部１１は、入力されたソースドメインの画像データからソースドメインの構造を考慮した特徴（structural features）を抽出し、入力されたターゲットドメインの画像データからターゲットドメインの構造を考慮した特徴を抽出する。
【0024】
剛体変換部１２は、構造特徴を変換パラメータを参照して変換することによって、構造的に変換された特徴を生成する。変換された構造特徴を、「変換された構造特徴（transformed structural features）」ということがある。
【0025】
再照明部１３は、変換された構造特徴と変換パラメータとを参照して、新規ビューにおける入力画像データから抽出された構造特徴に近似するように、変換パラメータで示される新規ビューの特徴を生成する。
【0026】
クラス予測部１４は、構造特徴からクラス予測を行う。
【0027】
更新部１５は、１つ以上の特徴抽出部１１のうちの少なくとも１つ、１つ以上の再照明部１３のうちの少なくとも１つ、および、１つ以上のクラス予測部１４のうちの少なくとも１つを更新する。更新に際して、更新部１５は、以下の（１）～（４）の１つ以上を参照する。
【0028】
（１）ソースドメインクラスの予測値とソースドメイン正解クラスラベルとを参照して計算されたソースドメイン分類損失、
（２）ターゲットドメインクラスの予測値とターゲットドメイン正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
（３）ソースドメインの構造特徴、ソースドメインの新規ビュー特徴、ターゲットドメインの構造特徴、および、ターゲットドメインの新規ビュー特徴と関連する各機能の対応するクラスラベルから少なくとも1つ以上の特徴を参照して計算されたグルーピング損失、
（４）ソースドメインの構造特徴、ソースドメインの新規ビューの特徴、ターゲットドメインの構造特徴、およびターゲットドメインの新規ビュー特徴から少なくとも1つ以上の特徴を参照して計算された変換損失。
（２）ターゲットドメインクラスの予測値とターゲットドメイン正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
（３）ソースドメインの構造特徴、ソースドメインの新規ビュー特徴、ターゲットドメインの構造特徴、および、ターゲットドメインの新規ビュー特徴と関連する各機能の対応するクラスラベルから少なくとも1つ以上の特徴を参照して計算されたグルーピング損失、
（４）ソースドメインの構造特徴、ソースドメインの新規ビューの特徴、ターゲットドメインの構造特徴、およびターゲットドメインの新規ビュー特徴から少なくとも1つ以上の特徴を参照して計算された変換損失。
【0029】
【0030】
図３および図４に示す例では、構造特徴抽出機能１１０は、眺め（ビュー）Ａの画像５００から対象物１２Ａの特徴点Ｐａを抽出する。特徴点Ｐａは、特徴ＰＡを形成する。構造特徴抽出機能１１０は、眺めＢの画像６００から対象物１２Ｂの特徴点Ｐｂを抽出する。特徴点Ｐｂは、特徴ＰＢを形成する。一例として、特徴ＰＡ，ＰＢは、３次元構造の特徴である。なお、構造特徴抽出機能１１０は、特徴抽出部１１によって実現される。例えば、画像５００および画像６００は、ソースドメインに属する。対象物１２Ａ，１２Ｂは、２次元平面に投影され、それぞれ、画像５００，６００を形成する。図３および図４に示す例では、対象物は、車両である。
【0031】
剛体変換部１２と再照明部１３とで構成される特徴変換器は、構造特徴変換を行う。具体的には、構造特徴変換は、眺めＡにおける構造特徴を、眺めＢにおける構造特徴に変換する。
【0032】
特徴点ａ１，ａ２は、隠れていて眺めＡの画像５００から復元できないとする。つまり、特徴点ａ１，ａ２以外の特徴点Ｐａは復元可能である。また、特徴点ｂ１～ｂ５は、隠れていて眺めＢの画像６００から復元できないとする。つまり、特徴点ｂ１～ｂ５以外の特徴点Ｐｂは復元可能である。図３において、１つの特徴点Ｐａにのみ符号が付されいるが、特徴点ａ１，ａ２以外の全ての特徴点Ｐａは復元可能な特徴点である。また、１つの特徴点Ｐｂにのみ符号が付されているが、特徴点ｂ１～ｂ５以外の全ての特徴点Ｐｂは復元可能な特徴点である。
【0033】
剛体変換部１２は、対象物１２Ａの方向が対象物１２Ｂと同じ方向に向くように、全ての特徴点Ｐａをｚ軸に沿って時計回りに回転させる。一例として、図４では、６０°が例示されている。剛体変換によって、特徴点Ｐａ’が得られる。以下、剛体変換部１２によるこの操作を、ビュー変更ということがある。剛体変換部１２が、対象物１２Ａの方向が対象物１２Ｂと同じ方向に向くように特徴点Ｐａを回転させることは一例である。剛体変換部１２は、任意の方向に対象物を移動させることができ、かつ、任意の角度で対象物を回転させることができる。具体的には、剛体変換部１２は、例えば、入力される変換パラメータに従って剛体変換を行う。
【0034】
再照明部１３は、剛体変換部１２から受け取った変換パラメータと同じ変換パラメータに基づいて特徴点Ｐａ’を修正し、変換特徴点Ｐａ’’を生成する。変換特徴点Ｐａ’’は、図３に示すように眺めＡにおける画像５００から抽出できなかった図４に示すような特徴点ａ１，ａ２を復元する。さらに、再照明部１３は、図４に一例として示した特徴点である各点の強度や色などの特性がビュー変更後にどのように変化すべきかを決定する。変換特徴点Ｐａ’’は、上記の新規ビュー特徴に対応する。再照明部は、このような変換を、マッチング損失を最小にすることによって実行するように学習される。マッチング損失は、図４に示すように、今や眺めＢの変換特徴点Ｐａ’’と、眺めＢの画像６００から抽出されるが変換されていない特徴点Ｐｂとの差である。
【0035】
ソースドメイン内の多数の画像ペアを参照することにより、剛体変換部と再照明部とは、任意の入力ビューでの特徴を変換することによって、所望の眺めでの新規ビュー特徴を好適に出力でき、また、所望の眺めでの新規ビュー特徴は、変換を行わずに所望の眺めでの画像から直接抽出された特徴と非常に類似する。ここで、画像５００および画像６００は、ソースドメインからの画像である。構造的な知識は、ターゲットドメインの画像に対して構造特徴抽出部、剛体変換部および再照明部を適用することによって、ソースドメインからターゲットドメインに転送される。ターゲットドメインの構造特徴を変換することによって、ターゲットドメインでは利用できなかった新規ビューでの変換特徴点を作成できる。
【0036】
［本実施形態の技術的効果］
ソースドメインに属するデータは、ターゲットドメインに属するデータと比較して、データサイズが大きい。さらに、ソースドメインに属するデータは、ターゲットドメインに属するデータと比較して、より多くのラベル付きデータを含んでいる。「ラベル付きデータ」は、例えば、「正解ラベル」でラベル付けされたデータである。ラベル付きデータは、トレーニング装置によって、教師付き学習のためにも、半教師付き学習のためにも使用することができる。本実施形態では、外部データセット（すなわち、ソースドメイン）からの構造的知識をターゲットドメインに転送することにより、限られた数のターゲットドメインのデータだけでなく、外部データセットの豊富なデータを用いて、ターゲットドメインにおける一般的なデータに対する分類器を学習することが可能になる。その結果、分類の精度が向上する。
ソースドメインに属するデータは、ターゲットドメインに属するデータと比較して、データサイズが大きい。さらに、ソースドメインに属するデータは、ターゲットドメインに属するデータと比較して、より多くのラベル付きデータを含んでいる。「ラベル付きデータ」は、例えば、「正解ラベル」でラベル付けされたデータである。ラベル付きデータは、トレーニング装置によって、教師付き学習のためにも、半教師付き学習のためにも使用することができる。本実施形態では、外部データセット（すなわち、ソースドメイン）からの構造的知識をターゲットドメインに転送することにより、限られた数のターゲットドメインのデータだけでなく、外部データセットの豊富なデータを用いて、ターゲットドメインにおける一般的なデータに対する分類器を学習することが可能になる。その結果、分類の精度が向上する。
【0037】
実施形態２．
図２は、第２の実施形態の分類装置の構成例を示すブロック図である。
図２は、第２の実施形態の分類装置の構成例を示すブロック図である。
【0038】
図２に示す分類装置６０は、特徴抽出部６１とクラス予測部６４とを備える。
【0039】
特徴抽出部６１は、入力画像データから構造特徴を抽出する。クラス予測部６４は、構造特徴からクラス予測値を予測する。特徴抽出部６１とクラス予測部６４とのうちの少なくとも一方は、トレーニング装置１０によって、剛体変換部１２と再照明部１３を用いて構造特徴が変換して得られた新規ビューの特徴を参照して学習されている。
【0040】
［本実施形態の技術的効果］
本実施形態では、分類装置６０は、例えば、撮影角度のバリエーションが限られたターゲットドメインの学習画像がある場合でも、好ましい分類処理を行うことができる。
本実施形態では、分類装置６０は、例えば、撮影角度のバリエーションが限られたターゲットドメインの学習画像がある場合でも、好ましい分類処理を行うことができる。
【0041】
以下、具体的な実施形態を説明する。
【0042】
【0043】
図５に示すトレーニング装置１０３は、第１特徴抽出部１１１と、第２特徴抽出部１１２と、第１剛体変換部１２１と、第２剛体変換部１２２と、第１再照明部１３１と、第２再照明部１３２と、第１クラス予測部１４１と、第２クラス予測部１４２と、更新部１５０とを備える。
【0044】
図５および他の図において、一方向性の矢印が用いられているが、一方向性の矢印は、データの流れを端的に表すためのものであって、双方向性を排除する意図はない。
【0045】
第１特徴抽出部１１１と第２特徴抽出部１１２とは、それぞれ、図１に示された特徴抽出部１１に対応する。第１剛体変換部１２１と第２剛体変換部１２２とは、それぞれ、図１に示された剛体変換部１２に対応する。第１再照明部１３１と第２再照明部１３２とは、それぞれ、図１に示された再照明部１３に対応する。第１クラス予測部１４１と第２クラス予測部１４２とは、それぞれ、図１に示されたクラス予測部１４に対応する。
【0046】
［特徴抽出部］
第１特徴抽出部１１１と第２特徴抽出部１１２とを、単一のセクションとして構成することができる。第１剛体変換部１２１と第２剛体変換部１２２とを、単一のセクションとして構成することができる。第１再照明部１３１と第２再照明部１３２とを、単一のセクションとして構成することができる。第１クラス予測部１４１と第２クラス予測部１４２とを、単一のセクションとして構成することができる。
第１特徴抽出部１１１と第２特徴抽出部１１２とを、単一のセクションとして構成することができる。第１剛体変換部１２１と第２剛体変換部１２２とを、単一のセクションとして構成することができる。第１再照明部１３１と第２再照明部１３２とを、単一のセクションとして構成することができる。第１クラス予測部１４１と第２クラス予測部１４２とを、単一のセクションとして構成することができる。
【0047】
更新部１５０は、分類損失計算部１５１と、グルーピング部１５２と、グルーピング損失計算部１５３と、変換損失計算部１５４と、マージ損失計算部１５５と、モデル更新部１５６とを含む。
【0048】
第１特徴抽出部１１１には、ソースドメインに属する入力画像データ（ソースドメインの画像データ）ＩＳが入力される。一例として、入力画像データＩＳは、複数の領域を有する画像であってもよい。また、他の例として、入力画像データＩＳは、図６における左側に記載されているような画像のバッチであってもよい。図６における左側に示す例では、入力画像データＩＳは、それぞれが物体を表す４つの画像（ＩＳ１、ＩＳ２、ＩＳ３、ＩＳ４）を含んでいる。図６における左側に示された画像のバッチは、シミュレーションによって得られた画像の集まりである。しかし、ソースドメインの画像は様々な方法で得ることができる。例えば、既存のデータベースから取得することもできる。オンライン上には、科学的利用のために無料または有料で提供されている既存のデータセットが数多く存在する。
【0049】
画像ＩＳ１と画像ＩＳ２との関係は以下の通りである。画像ＩＳ２は、画像ＩＳ１とは異なる角度で撮影されている。一例として、画像ＩＳ２は、画像ＩＳ１とは異なる撮影角度で撮影された画像であるものの画像ＩＳ１と同じ被写体を含む画像、または画像ＩＳ１と同じクラスカテゴリの別の被写体を含む画像であってもよい。また、画像ＩＳ１とＩＳ２とは、同時に撮影されてもよいし、異なるタイミングで撮影されてもよい。
【0050】
同様に、画像ＩＳ４は、画像ＩＳ３とは異なる角度を有している。一例として、画像ＩＳ４は、画像ＩＳ３とは異なる撮影角度で撮影された画像であるものの画像ＩＳ３と同じ被写体を含む画像、または画像ＩＳ３と同じクラスカテゴリの別の被写体を含む画像であってもよい。また、画像ＩＳ３と画像ＩＳ４とは、同時に撮影されてもよいし、異なるタイミングで撮影されてもよい。
【0051】
第１特徴抽出部１１１は、入力されたソースドメインの画像データＩＳから、ソースドメインにおける特徴（ソースドメイン構造特徴）すなわちソースドメイン特徴量ＸＳを抽出する。具体的には、第１特徴抽出部１１１は、ソースドメインに属する画像における対象物の特徴を、ソースドメイン特徴量として抽出する。第１特徴抽出部１１１によって抽出された特徴量（特徴）ＸＳは、第１剛体変換部１２１、第１クラス予測部１４１、グルーピング部１５２、および変換損失計算部１５４に供給される。
【0052】
例えば、第１特徴抽出部１１１は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第１特徴抽出部１１１の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0053】
ソースドメイン特徴量ＸＳは、ベクトルの形で表現されていてもよい。具体的には、一例として、ＸＳは、以下のようなベクトルとして表現されてもよい。ただし、特徴量は、ベクトル以外の形式で表現されてもよい。
【0054】
XS = [xs1, xs2, xs3, xs4] ・・・（式１）
【0055】
ＸＳは４つの成分を持ち、それぞれの入力画像（ＩＳ１、ＩＳ２、ＩＳ３、ＩＳ４）に対応する。なお、特徴量はベクトルで表すことができるので、特徴量を特徴量ベクトルと呼ぶことがある。
【0056】
第２特徴抽出部１１２には、ターゲットドメインに属する入力画像データ（ターゲットドメインの画像データ）ＩＴが入力される。一例として、入力画像データＩＴは、複数の領域を有する画像であってもよい。また、他の例として、入力画像データＩＴは、図６の右側に記載されているような画像のバッチであってもよい。図６の右側に示す例では、入力画像データＩＴは、それぞれが物体を表す４つの画像（ＩＴ１、ＩＴ２、ＩＴ３、ＩＴ４）を含んでいる。
【0057】
画像ＩＴ１と画像ＩＴ２との関係は以下の通りである。画像ＩＴ２は、画像ＩＴ１とは異なる角度で撮影されている。一例として、画像ＩＴ２は、
画像ＩＴ１とは異なる撮影角度で撮影された画像であるものの画像ＩＴ１と同じ被写体を含む画像、または画像ＩＴ１と同じクラスカテゴリの別の被写体を含む画像であってもよい。また、画像ＩＴ１とＩＴ２とは、同時に撮影されてもよいし、異なるタイミングで撮影されてもよい。
画像ＩＴ１とは異なる撮影角度で撮影された画像であるものの画像ＩＴ１と同じ被写体を含む画像、または画像ＩＴ１と同じクラスカテゴリの別の被写体を含む画像であってもよい。また、画像ＩＴ１とＩＴ２とは、同時に撮影されてもよいし、異なるタイミングで撮影されてもよい。
【0058】
同様に、画像ＩＴ４は、画像ＩＴ３とは異なる角度を有している。一例として、画像ＩＴ４は、画像ＩＴ３とは異なる撮影角度で撮影された画像であるものの画像ＩＴ３と同じ被写体を含む画像、または画像ＩＴ３と同じクラスカテゴリの別の被写体を含む画像であってもよい。また、画像ＩＴ３と画像ＩＴ４とは、同時に撮影されてもよいし、異なるタイミングで撮影されてもよい。
【0059】
第２特徴抽出部１１２は、入力されたターゲットドメインの画像データＩＴから、ターゲットドメインにおける特徴すなわち特徴量（ターゲットドメイン特徴量）ＸＴを抽出する。具体的には、第２特徴抽出部１１２は、ターゲットスドメインに属する画像における対象物の特徴を、ターゲットドメイン特徴量として抽出する。第２特徴抽出部１１２によって抽出された特徴量（特徴）ＸＴは、第２剛体変換部１２２、第２クラス予測部１４２、グルーピング部１５２、および変換損失計算部１５４に供給される。
【0060】
例えば、第２特徴抽出部１１２は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第２特徴抽出部１１２の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0061】
ターゲットドメイン特徴量ＸＴは、ベクトルの形で表現されていてもよい。具体的には、一例として、ＸＴは、以下のようなベクトルとして表現されてもよい。ただし、特徴量は、ベクトル以外の形式で表現されてもよい。
【0062】
XT = [xT1, xT2, xT3, xT4] ・・・（式２）
【0063】
ＸＴは４つの成分を持ち、それぞれの入力画像（ＩＴ１、ＩＴ２、ＩＴ３、ＩＴ４）に対応する。なお、特徴量はベクトルで表すことができるので、特徴量を特徴量ベクトルと呼ぶことがある。
【0064】
［剛体変換部］
第１剛体変換部１２１には、構造変換パラメータΘＳが入力され、第１特徴抽出部１１１からソースドメイン特徴量ＸＳが入力される。第１剛体変換部１２１は、ソースドメイン特徴量ＸＳに対して剛体変換を施す。
第１剛体変換部１２１には、構造変換パラメータΘＳが入力され、第１特徴抽出部１１１からソースドメイン特徴量ＸＳが入力される。第１剛体変換部１２１は、ソースドメイン特徴量ＸＳに対して剛体変換を施す。
【0065】
一例として、構造特徴量が３次元位置（例えば、座標）で表される場合、構造変換パラメータΘＳは、回転軸の方向と回転角度の情報を含む。この場合、第１剛体変換部１２１は、以下の演算を実行することによって剛体変換を行う。
【0066】
【数1】
【0067】
式３において、ｘ、ｙ、ｚは、変換前の座標を示す。ｘ’、ｙ’、ｚ’は、変換後の座標を示す。θは、回転角度を示す。式３の行列は、ｚ軸を中心に物体を回転させる。しかし、実施形態では、式３－２または式３－３に示すように、ｘ軸またはｙ軸の周りに対象物を回転させることが可能である。
【0068】
他の例として、構造特徴量がボクセルで表される場合、構造変換パラメータΘＳは、回転軸の方向と回転角度の情報を含む。この場合、第１剛体変換部１２１は、各ボクセルを回転角度だけ回転させることによって剛体変換を行う。
【0069】
上記の例に限られず、種々の剛体変換方法が適用可能である。すなわち、第１剛体変換部１２１は、任意の剛体変換方法によって剛体変換を実行しうる。第１剛体変換部１２１は、変換された構造特徴を得る。
【0070】
第２剛体変換部１２２には、構造変換パラメータΘＴが入力され、第２特徴抽出部１１２からターゲットドメイン特徴量ＸＴが入力される。第２剛体変換部１２２は、ターゲットドメイン特徴量ＸＴに対して剛体変換を施す。
【0071】
ターゲットドメイン特徴量ＸＴを修正するときに、第２剛体変換部１２２は、第１剛体変換部１２１と同様に動作して、剛体変換を実行する。したがって、第２剛体変換部１２２は、第１剛体変換部１２１と同様に、変換された構造特徴を得ることができる。
【0072】
［再照明部］
第１再照明部１３１には、構造変換パラメータΘＳが入力される。また、第１再照明部１３１には、第１剛体変換部１２１から、変換された構造特徴が入力される。第１再照明部１３１は、第１剛体変換部１２１からの変換された構造特徴を修正する。
第１再照明部１３１には、構造変換パラメータΘＳが入力される。また、第１再照明部１３１には、第１剛体変換部１２１から、変換された構造特徴が入力される。第１再照明部１３１は、第１剛体変換部１２１からの変換された構造特徴を修正する。
【0073】
第１再照明部１３１は、各空間位置における、明るさ、ＲＧＢカラー、標準などの特性を計算する。構造特徴が３Ｄ点群の場合には、すべてのｘ，ｙ，ｚ座標が１つの空間位置となり、構造特徴がボクセルの集合の場合には、各ボクセルが１つの空間位置になる。また、各点またはボクセルのプロパティの新しい値は、変換パラメータ、プロパティの元の値、および点またはボクセルの新しい位置に依存する。新しい値は、変換後の特徴点の構造特徴（変換後のソースドメイン構造特徴）に相当する。元の値は、変換前の特徴点の構造特徴に相当する。
【0074】
第１再照明部１３１は、上記の操作によって、ある眺めでの構造特徴に基づいて、他の眺めからの画像から抽出されたかのような構造特徴を得ることができる。
【0075】
例えば、第１再照明部１３１は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第１再照明部１３１の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0076】
第２再照明部１３２には、構造変換パラメータΘＴが入力される。また、第２再照明部１３２には、第２剛体変換部１２２から、変換された構造特徴が入力される。第２再照明部１３２は、第２剛体変換部１２２からの変換された構造特徴を修正する。
【0077】
第２再照明部１３２は、各空間位置における、明るさ、ＲＧＢカラー、標準などの特性を計算する。構造特徴が３Ｄ点群の場合には、すべてのｘ，ｙ，ｚ座標が１つの空間位置となり、構造特徴がボクセルの集合の場合には、各ボクセルが１つの空間位置になる。また、各点またはボクセルのプロパティの新しい値は、変換パラメータ、プロパティの元の値、および点またはボクセルの新しい位置に依存する。新しい値は、変換後の特徴点の構造特徴（変換後のターゲットドメイン構造特徴）に相当する。元の値は、変換前の特徴点の構造特徴に相当する。
【0078】
第２再照明部１３２は、上記の操作によって、ある眺めでの構造特徴に基づいて、他の眺めからの画像から抽出されたかのような構造特徴を得ることができる。
【0079】
例えば、第２再照明部１３２は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第２再照明部１３２の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0080】
［クラス予測部］
第１クラス予測部１４１は、第１特徴量抽出部１１１によって抽出されたソースドメイン特徴量ＸＳと、第１再照明部１３１によって生成された変換後の特徴量（変換後のソースドメイン特徴量）Ｘ’Ｓとから、ソースドメインクラス予測値を予測する。
第１クラス予測部１４１は、第１特徴量抽出部１１１によって抽出されたソースドメイン特徴量ＸＳと、第１再照明部１３１によって生成された変換後の特徴量（変換後のソースドメイン特徴量）Ｘ’Ｓとから、ソースドメインクラス予測値を予測する。
【0081】
具体的には、第１クラス予測部１４１は、ソースドメイン特徴量ＸＳからソースドメインクラス予測値（クラス確率）ＰＳを予測し、変換後のソースドメイン特徴量Ｘ’Ｓから変換後のソースドメインクラス予測値（クラス確率）ＣＰＳを予測する。
【0082】
例えば、第１クラス予測部１４１は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第１クラス予測部１４１の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0083】
変換後のソースドメインクラス予測値ＣＰＳとソースドメインクラス予測値ＰＳとは、分類損失計算部１５１に供給される。
【0084】
例えば、第１クラス予測部１４１は、ソースドメイン特徴ベクトルＸＳの各成分をある閾値と比較して、ソースドメインクラス予測値ＰＳを決定し、変換後のソースドメイン特徴ベクトルＸ’Ｓの各成分を同じ閾値または別の閾値と比較して、変換後のソースドメインクラス予測値ＣＰＳを決定する。
【0085】
具体的な例として、式１で示されるソースドメイン特徴ベクトルＸＳと、変換後のソースドメイン特徴ベクトルＸ’Ｓとから、第１クラス予測部１４１は、ソースドメインクラス予測値ＰＳとソースドメインクラス予測値ＣＰＳとを、以下のように出力してもよい。
【0086】
ＰＳ = [0, 0, 1, 1] ・・・（式４）
ＣＰＳ = [0, 0, 1, 1] ・・・（式５)
ＣＰＳ = [0, 0, 1, 1] ・・・（式５)
【0087】
ＰＳは４つの成分を持ち、それらはソースドメイン特徴ベクトルＸＳの各成分に対応する。同様に、ＣＰＳは４つの成分を持ち、それらは変換後のソースドメイン特徴ベクトルＸ’Ｓのそれぞれの成分に対応する。なお、予測値はベクトルで表現することができるので、予測値を予測ベクトルと呼ぶこともある。
【0088】
第２クラス予測部１４２は、第２特徴量抽出部１１２によって抽出されたターゲットドメイン特徴量ＸＴと、第２再照明部１３２によって生成された変換後の特徴量（変換後のターゲットドメイン特徴量）Ｘ’Ｔとから、ターゲットドメインクラス予測値を予測する。
【0089】
具体的には、第２クラス予測部１４２は、ターゲットドメイン特徴量ＸＴからターゲットドメインクラス予測値（クラス確率）ＰＴを予測し、変換後のターゲットドメイン特徴量Ｘ’Ｔから変換後のターゲットドメインクラス予測値（クラス確率）ＣＰＴを予測する。
【0090】
例えば、第２クラス予測部１４２は、畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、その他のニューラルネットワークや特徴量抽出器のいずれであってもよい。しかし、第２クラス予測部１４２の特定の構成は、本実施形態および以下の実施形態を限定しない。
【0091】
変換後のターゲットドメインクラス予測値ＣＰＴとターゲットドメインクラス予測値ＰＴとは、分類損失計算部１５１に供給される。
【0092】
例えば、第２クラス予測部１４２は、ターゲットドメイン特徴ベクトルＸＴの各成分をある閾値と比較して、ターゲットドメインクラス予測値ＰＴを決定し、変換後のターゲットドメイン特徴ベクトルＸ’Ｔの各成分を閾値または別の閾値と比較して、変換後のターゲットドメインクラス予測値ＣＰＴを決定する。
【0093】
具体的な例として、式２で示されるターゲットドメイン特徴ベクトルＸＴと、変換後のターゲットドメイン特徴ベクトルＸ’Ｔとから、第２クラス予測部１４２は、ターゲットドメインクラス予測値ＰＴとターゲットドメインクラス予測値ＣＰＴとを、以下のように出力してもよい。
【0094】
ＰＴ = [0, 0, 1, 0] ・・・（式６）
ＣＰＴ = [1, 0, 1, 0] ・・・（式７）
ＣＰＴ = [1, 0, 1, 0] ・・・（式７）
【0095】
ＰＴは４つの成分を持ち、それらはターゲットドメイン特徴ベクトルＸＴの各成分に対応する。同様に、ＣＰＴは４つの成分を持ち、
【0096】
［分類損失計算部］
分類損失計算部１５１は、ソースドメインクラス予測値ＰＳと変換後の予測値ＣＰＳのソースドメインクラス予測値とソースドメインクラスラベルデータＹＳを参照して、ソースドメイン分類損失（Loss_classification_S）を計算する。
分類損失計算部１５１は、ソースドメインクラス予測値ＰＳと変換後の予測値ＣＰＳのソースドメインクラス予測値とソースドメインクラスラベルデータＹＳを参照して、ソースドメイン分類損失（Loss_classification_S）を計算する。
【0097】
具体的には、分類損失計算部１５１は、ソースドメインクラス予測値ＰＳ、変換後の特徴量ＣＰＳのソースドメインクラス予測値、およびソースドメインクラスラベルデータＹＳを参照して、ソースドメイン分類損失を計算する。例えば、分類損失計算部１５１は、ＰＳとＹＳとの間の不一致の度合い、ＣＰＳとＹＳとの間の不一致の度合いに応じて、ソースドメインの分類損失を計算する。
【0098】
具体的な例として、ＰＳが式４で与えられ、ＣＰＳが式５で与えられ、ＹＳが以下の式８で与えられる場合を考える。
【0099】
ＹＳ = [0, 0, 1, 1] ・・・（式８）
【0100】
分類損失計算部１５１は、ＰＳの全ての成分がＹＳのそれぞれの対応する成分と一致し、ＣＰＳの全ての成分がＹＳのそれぞれの対応する成分と一致することから、ソースドメインの分類損失を以下のように計算する。
【0101】
Loss_classification_S = 0 ・・・（式９）
【0102】
また、分類損失計算部１５１は、ターゲットドメインクラス予測値ＰＴと変換後の予測値ＣＰＴのターゲットドメインクラス予測値とターゲットドメインクラスラベルデータＹＴを参照して、ターゲットドメイン分類損失（Loss_classification_T）を計算する。
【0103】
具体的には、分類損失計算部１５１は、ターゲットドメインクラス予測値ＰＳ、変換後の特徴量ＣＰＳのターゲットドメインクラス予測値、およびターゲットドメインクラスラベルデータＹＳを参照して、ターゲットドメイン分類損失を計算する。
【0104】
具体的な例として、ＰＴが式６で与えられ、ＣＰＴが式７で与えられ、ＹＴが以下の式１０で与えられる場合を考える。
【0105】
ＹＴ = [0, 0, 1, 1] ・・・（式１０）
【0106】
分類損失計算部１５１は、ＰＴの第４成分とＹＴの第４成分が一致せず、ＣＰＴの第１成分および第４成分がＹ
Ｔの対応する成分と一致しないため、以下のように対象領域の分類損失を計算する。
【0107】
Loss_classification_T = 3 ・・・（式１１）
【0108】
［グルーピング部］
グルーピング部１５２は、ソースドメイン特徴量ＸＳ、変換後のソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン特徴量ＸＴ、変換後のターゲットドメイン特徴量Ｘ’Ｔから、同じクラスラベルを共有する特徴量を含むクラスグループを生成して出力する。
グルーピング部１５２は、ソースドメイン特徴量ＸＳ、変換後のソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン特徴量ＸＴ、変換後のターゲットドメイン特徴量Ｘ’Ｔから、同じクラスラベルを共有する特徴量を含むクラスグループを生成して出力する。
【0109】
クラスグループを、Ｇｒ０およびＧｒ１とすると、Ｇｒ０は、特徴量が同じクラスラベル０を共有するクラスグループである。Ｇｒ１は、特徴量が同じクラスラベル１を共有するクラスグループである。
【0110】
［グルーピング損失計算部］
グルーピング損失計算部１５３は、グルーピング部１５２が生成したクラスグループを参照して、グルーピング損失（Loss_grouping）を計算する。
グルーピング損失計算部１５３は、グルーピング部１５２が生成したクラスグループを参照して、グルーピング損失（Loss_grouping）を計算する。
【0111】
例えば、グルーピング損失計算部１５３は、同一クラスの特徴量を参照して決定されたクラス内メトリクスと、異なるクラスの特徴量を参照して決定されたクラス間メトリクスとに基づいて、グルーピング損失を計算する。
【0112】
具体例として、グルーピング損失計算部１５３は、以下の式を用いてグルーピング損失を計算する。
【0113】
【数2】
【0114】
この式は、クラス内距離の最大値とクラス間距離の最小値の差の平均値に、すべてのクラスグループＧｒのマージンを加えた値を計算する。各クラスグループｇについて、最大クラス内距離は、グループｇ内の任意の２つの特徴値間の最大距離として計算され、最小クラス間距離は、一方の特徴値がグループｇのものであり、他方の特徴値が異なるグループのものである任意の２つの特徴値間の最小距離として計算される。マージンは、各クラスグループにおけるクラス内距離の最大値とクラス間距離の最小値の差の許容最小値を示す。平均は、まずすべてのクラスグループの距離差にマージンを加えた値の合計をとり、その合計をクラスグループの数で割ることによって計算される。
【0115】
具体的には、式１２によるグルーピング損失（Loss_grouping）の計算は、以下のように表すことができる。
【0116】
グルーピング損失計算部１５３は、まず、各クラスグループにおいて、特徴空間内で互いに最も離れている特徴値のペアを見つける。このようなペアは、クラス内ペアと呼ばれてもよい。各クラスのクラス内ペアの特徴量間の最大距離は、式１２の「特徴量空間におけるクラス内距離の最大値」に相当する。
【0117】
グルーピング損失計算部１５３は、特徴量空間において、各クラスグループについて、互いに異なるクラスに属し、かつ互いに最も近い特徴量のペアを見つける。このようなペアは、クラス間ペアと呼ばれることがある。クラス間ペアの特徴量間の距離の最小値は、式１２の「特徴量空間におけるクラス間距離の最小値」に相当する。
【0118】
そして、グルーピング損失計算部１５３は、各クラスグループについて、特徴空間におけるクラス内距離の最大値から特徴空間におけるクラス間距離の最小値を減算する。なお、グルーピング損失は、クラスグループ内の２つの特徴の間の距離または類似性を計算するための任意の方法によって計算されてもよい。例えば、グルーピング損失は、Ｌ１ノルム、Ｌ２ノルム、コサイン類似度、または、学習などを必要とする他の指標であってもよい。
【0119】
グルーピング損失計算部１５３は、マージンを加えてもよい。マージンを加えるとは、特徴空間におけるクラス内距離の最大値が特徴空間におけるクラス間距離の最小値よりも、少なくともある値だけ小さくしたいということである（例えば、マージン＝１とすると、各クラスグループについて、特徴空間におけるクラス内距離の最大値が特徴空間におけるクラス間距離の最小値よりも１単位以上小さくなるようにする。）。
【0120】
なお、グルーピング損失計算部１５３は、各クラスグループについて上記の計算を行った後、すべてのクラスグループに亘る総和を取ってもよい。
【0121】
次に、グルーピング損失計算部１５３は、総和の結果を全クラスグループの数で割る。全てのクラスグループの数は、式１２においてｇで表される。
【0122】
なお、例えば、実特徴量と変換後の特徴量とで別々にグルーピング損失を求めてもよい。「実」は、第１剛体変換部１２１、第１再照明部１３１、第２剛体変換部１２２および第２再照明部１３２を経由しない実特徴量を参照して計算されたグループ化損失を意味する。「変換」は、第１剛体変換部１２１、第１再照明部１３１、第２剛体変換部１２２および第２再照明部１３２が生成した変換特徴量を参照して実特徴量から計算されたグルーピング損失を意味する。
【0123】
換言すれば、グルーピング損失計算部５３は、ＸＳとＸＴの組合からの特徴量に基づいて実特徴量のグルーピング損失を計算してもよい。グルーピング損失計算部５３は、Ｘ’ＳとＸ’Ｔの組合からの特徴量に基づいて変換特徴量の別のグルーピング損失を計算してもよい（変換特徴量のみを含む）。
【0124】
あるいは、グループ損失は、望ましくない特徴が特定の条件に基づいてフィルタリングされた後に計算されてもよい。条件は、第１クラス予測部１４１および第２クラス予測部１４２によって与えられる予測の正しさに依存してもよいし、第１クラス予測部１４１および第２クラス予測部１４２によって与えられる予測の信頼度に依存してもよい。
【0125】
［変換損失計算部］
変換損失計算部１５４は、ソースドメイン特徴量ＸＳ、変換後のソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン特徴量ＸＴ、および変換後のターゲットドメイン特徴量Ｘ’Ｔを参照して、変換損失（Loss_conversion）を計算する。
変換損失計算部１５４は、ソースドメイン特徴量ＸＳ、変換後のソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン特徴量ＸＴ、および変換後のターゲットドメイン特徴量Ｘ’Ｔを参照して、変換損失（Loss_conversion）を計算する。
【0126】
変換損失計算部１５４は、ソースドメイン特徴量ＸＳと対応する変換後のソースドメイン特徴量Ｘ’Ｓとの間の差、およびターゲットドメイン特徴量ＸＴと対応する変換後のターゲットドメイン特徴量Ｘ’Ｔとの間の差に基づいて、変換損失を計算する。
【0127】
例えば、変換損失計算部１５４は、下記の式に基づいて変換損失を計算する。
【0128】
【数3】
【0129】
式１３において、xS1, xS2, xS3, xS4は、それぞれ、ソースドメイン特徴量である。xS1とxS2'とは、同じ眺めからのものである。xS2とxS1'とは、同じ眺めからのものである。xS3とxS4'とは、同じ眺めからのものである。xS4とxS3'とは、同じ眺めからのものである。xT1, xT2, xT3, xT4は、それぞれ、ターゲットドメイン特徴量である。xT1とxT2'とは、同じ眺めからのものである。xT2とxT1'とは、同じ眺めからのものである。xT3とxT4'とは、同じ眺めからのものである。xT4とxT3'とは、同じ眺めからのものである。式１３において、同一ビューの特徴量と同一ドメインにおける特徴量の差分を合計し、変換ロス（Loss_conversion）が算出される。
【0130】
［マージ損失計算部］
マージ損失計算部１５５は、ソースドメイン分類損失（Loss_classification_S）、ターゲットドメイン分類損失（Loss_classification_T）、グルーピング損失（Loss_grouping）、および変換損失（Loss_conversion）を参照して、マージ損失（Loss_merge）を計算する。
マージ損失計算部１５５は、ソースドメイン分類損失（Loss_classification_S）、ターゲットドメイン分類損失（Loss_classification_T）、グルーピング損失（Loss_grouping）、および変換損失（Loss_conversion）を参照して、マージ損失（Loss_merge）を計算する。
【0131】
例えば、マージ損失計算部１５５は、次のようにしてマージ損失を計算する。
【0132】
Loss_merge = αLoss_classification_S + βLoss_classification_T + γLoss_grouping + δLoss_conversion ・・・（式１４）
【0133】
式１４において、α、β、γ、δは、重み係数である。重みは、学習の進捗状況に応じて変化してもよい。例えば、初期の学習反復では、分類損失の重みが大きく、その後、学習反復数の増加に伴って重みが減衰する。また、学習が必要な重みであってもよい。
【0134】
［モデル更新部］
モデル更新部１５６は、マージ損失が収束したか否かを判断する。マージ損失が収束している場合、モデル更新部１５６は、モデルパラメータを記憶媒体に出力する。マージ損失が収束していない場合、モデル更新部１５６は、マージ損失計算部１５５で計算されたマージ損失を参照して、第１特徴抽出部１１１、第２特徴抽出部１１２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２のモデルパラメータを更新する。
モデル更新部１５６は、マージ損失が収束したか否かを判断する。マージ損失が収束している場合、モデル更新部１５６は、モデルパラメータを記憶媒体に出力する。マージ損失が収束していない場合、モデル更新部１５６は、マージ損失計算部１５５で計算されたマージ損失を参照して、第１特徴抽出部１１１、第２特徴抽出部１１２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２のモデルパラメータを更新する。
【0135】
例えば、モデル更新部１５６は、マージ損失が減少するように、モデルパラメータを更新する。一例として、モデル更新部１５６は、勾配バックプロパゲーション法に従ってモデルパラメータを更新する。
【0136】
モデル更新部１５６によって更新されたモデルパラメータは、第１特徴抽出部１１１、第２特徴抽出部１１２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２に供給される。
【0137】
［本実施形態の技術的効果］
本実施形態では、モデル更新部１５６は、ソースドメイン分類損失とターゲットドメイン分類損失と変換損失に加えて、グルーピング損失を参照して、モデルパラメータを更新する。したがって、第３の実施形態では、ソースドメインの特徴とターゲットドメインの特徴は、好ましくは互いに重なり合い、一方で、異なるクラスに属する特徴は、好ましくは、特徴空間において各クラスごとに分離される。
本実施形態では、モデル更新部１５６は、ソースドメイン分類損失とターゲットドメイン分類損失と変換損失に加えて、グルーピング損失を参照して、モデルパラメータを更新する。したがって、第３の実施形態では、ソースドメインの特徴とターゲットドメインの特徴は、好ましくは互いに重なり合い、一方で、異なるクラスに属する特徴は、好ましくは、特徴空間において各クラスごとに分離される。
【0138】
図７は、本実施形態で実現されるクロスドメイン位置合わせを模式的に示す説明図である。トレーニング装置では、グルーピング損失がマージ損失に含まれているため、学習が進むにつれて、図７に示すように、ソースドメインの特徴とターゲットドメインの特徴は好ましくは互いに重なり合い、一方で、異なるクラスに属する特徴は、好ましくは特徴空間においてクラスごとに分離される。すなわち、本実施形態例では、特徴空間におけるクロスドメイン位置合わせが適切に実現される。
【0139】
その結果、対象ドメインのラベル付きデータが少ない場合でも、第２特徴抽出部１１２および第２クラス予測部１４２が適切に学習される。
【0140】
さらに、第１剛体変換部１２１は、構造変換パラメータΘＳに従って、ソースドメイン特徴量ＸＳを修正する。そして、第１再照明部１３１は、第１剛体変換部１２１による変換された構造特徴に基づいて、変換後のソースドメイン特徴量Ｘ’Ｓを生成する。第２剛体変換部１２２は、構造変換パラメータΘＴに従って、ターゲットドメイン特徴量ＸＴを修正する。そして、第２再照明部１３２は、第２剛体変換部１２２による変換された構造特徴に基づいて、変換後のターゲットドメイン特徴量Ｘ’Ｔを生成する。
【0141】
第１再照明部１３１は、ある眺めでの構造特徴に基づいて、構造変換パラメータで示される他の眺めからの画像から抽出されたかのような構造特徴を得ることができる。第２再照明部１３２は、ある眺めでの構造特徴に基づいて、構造変換パラメータで示される他の眺めからの画像から抽出されたかのような構造特徴を得ることができる。
【0142】
したがって、第１クラス予測部１４１および第２クラス予測部１４２が、様々な撮影角度に対して適切なクラス予測を行うことができるように学習することができる。
【0143】
［トレーニング装置の動作］
次に、図８のフローチャートを参照して、トレーニング装置１０３の動作を説明する。
次に、図８のフローチャートを参照して、トレーニング装置１０３の動作を説明する。
【0144】
トレーニング装置１０３は、初期モデルパラメータを受け取る（ステップＳ１００）。初期モデルパラメータは、第１特徴量抽出部１１１、第２特徴量抽出部１１２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２の初期モデルパラメータを含む。受け取った初期モデルパラメータは、第１特徴量抽出部１１１、第２特徴量抽出部１１２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２に供給される。
【0145】
トレーニング装置１０３は、入力されたソースドメインデータを受け取る。すなわち、トレーニング装置１０３は、ソースドメインの画像データＩＳと、画像データＩＳに関連付けられたソースドメインのクラスラベルデータＹＳとを受け取る（ステップＳ１０１Ａ）。
【0146】
第１剛体変換部１２１は、ソースドメイン構造変換パラメータΘＳを受け取る（ステップＳ１０２Ａ）。
【0147】
第１特徴量抽出部１１１は、ソースドメインの画像データＩＳからソースドメイン特徴量ＸＳを抽出する（ステップＳ１１１）。
【0148】
第１剛体変換部１２１は、構造変換パラメータΘＳに基づいて、ソースドメイン特徴量（ソースドメイン構造特徴）ＸＳに対して剛体変換を施す（ステップＳ１２１）。第１再照明部１３１は、構造変換パラメータΘＴに基づいて、第１剛体変換部１２１からの変換された構造特徴を修正する（ステップＳ１３１）。
【0149】
第１クラス予測部１４１は、ソースドメイン特徴量ＸＳからソースドメインクラス予測値（確率）ＰＳを予測する（ステップＳ１４１）。
【0150】
トレーニング装置１０３は、入力されたターゲットドメインデータを受け取る。すなわち、トレーニング装置１０３は、ターゲットドメインの画像データＩＴと、画像データＩＴに関連付けられたターゲットドメインのクラスラベルデータＹＴとを受け取る（ステップＳ１０１Ｂ）。
【0151】
第２剛体変換部１２２は、ターゲットドメイン構造変換パラメータΘＴを受け取る（ステップＳ１０２Ｂ）。
【0152】
第２特徴量抽出部１１２は、ターゲットンの画像データＩＴからターゲットドメイン特徴量ＸＴを抽出する（ステップＳ１１２）。
【0153】
第２剛体変換部１２２は、構造変換パラメータΘＴに基づいて、ターゲットドメイン特徴量ＸＳに対して剛体変換を施す（ステップＳ１２２）。第１再照明部１３１は、構造変換パラメータΘＴに基づいて、第２剛体変換部１２２からの変換された構造特徴を修正する（ステップＳ１３２）。
【0154】
第２クラス予測部１４２は、ターゲットドメイン特徴量ＸＴからターゲットスドメインクラス予測値（確率）ＰＴを予測する（ステップＳ１４２）。
【0155】
分類損失計算部１５１は、変換後のソースドメイン特徴量ＣＰＳのソースドメインクラス予測値ＰＳと、ソースドメインクラスラベルデータＹＳとを参照して、ソースドメイン分類損失（Loss_classification_S）を計算する（ステップＳ１５１）。また、分類損失計算部１５１は、ターゲットドメインクラス予測値ＰＴと、変換後のターゲットドメイン特徴量ＣＰＴのターゲットドメインクラス予測値と、ターゲットドメインクラスラベルデータＹＴとを参照して、ターゲットドメイン分類損失（Loss_classification_T）を計算する（ステップＳ１５１）。
【0156】
グルーピング部１４２は、ソースドメイン構造特徴（ソースドメイン特徴量）ＸＳ、変換されたソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン構造特徴（ターゲットドメイン特徴量）ＸＴ、変換されたターゲットドメイン特徴量Ｘ’Ｔから、各クラスグループが同じクラスラベルを共有する特徴量を含むクラスグループを生成して出力する（ステップＳ１５２）。
【0157】
グルーピング損失計算部１５３は、グルーピング部１５２が生成したクラスグループを参照して、グルーピング損失（Loss_grouping）を計算する（ステップＳ１５３）。変換損失計算部１５４は、ソースドメイン特徴量ＸＳ、変換されたソースドメイン特徴量Ｘ’Ｓ、ターゲットドメイン特徴量ＸＴ、および変換されたターゲットドメイン特徴量Ｘ’Ｔを参照して、変換損失を計算する（ステップＳ１５４）。
【0158】
マージ損失計算部１５５は、ソースドメイン分類損失（Loss_classification_S）、ターゲットドメイン分類損失（Loss_classification_T）、グルーピング損失（Loss_grouping）、および、変換損失（Loss_conversion）を参照して、マージ損失（Loss_merge）を計算する（ステップＳ１５５）。マージ損失計算部１５５は、例えば、式１４を用いてマージ損失を計算する。
【0159】
モデル更新部１５６は、マージ損失が収束したか否かを判定する（ステップＳ１５６）。合算された損失が収束している場合（ステップＳ１５６でYes）、処理はステップＳ１５８に進む。合算した損失が収束していない場合（ステップＳ１５６でNo）、処理はステップＳ１５７に進む。なお、モデル更新部１５６は、例えば、マージ損失を所定の閾値と比較して、マージ損失が収束したか否かを判定する
【0160】
モデル更新部１５６は、マージ損失計算部１５５によって計算されたマージ損失を参照して、第１特徴抽出部１１１、第２特徴抽出部11b、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２のモデルパラメータを更新する（ステップＳ１５７）。
【0161】
モデル更新部１５６は、第１特徴抽出部１１１、第２特徴抽出部11b、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、および第２クラス予測部１４２のモデルパラメータを記憶媒体（図５において図示せず）に格納する。
【0162】
なお、ステップＳ１５１、ステップＳ１５２およびＳ１５３の処理と、ステップＳ１５４の処理との実行順序は、任意である。それらは、どのような順序で実行されてもよい。また、ステップＳ１５１、ステップＳ１５２およびＳ１５３の処理と、ステップＳ１５４の処理とが同時に実行されてもよい。
【0163】
【0164】
図９に示す分類装置７０は、特徴抽出部６１と剛体変換部６２と再照明部６３とクラス予測部６４とを備える。特徴抽出部６１およびクラス予測部６４は、第２の実施形態におけるそれらと同じである。
【0165】
剛体変換部６２は、図５に示された第２剛体変換部１２２と同様に、ターゲットドメイン特徴量ＸＴに対して剛体変換を施す。再照明部６３は、第２再照明部１３２と同様に、ある眺めでの構造特徴に基づいて、他の眺めからの画像から抽出されたかのような構造特徴を得ることができる。
【0166】
剛体変換部６２は、第２剛体変換部１２２と同様に動作する。すなわち、剛体変換部６２は、ターゲットドメイン特徴量ＸＴに対して剛体変換を施す。再照明部６３は、第２再照明部１３２と同様に動作する。すなわち、再照明部６３は、剛体変換部６２からの変換された構造特徴を修正する。
【0167】
［本実施形態の技術的効果］
本実施形態では、分類装置７０は、例えば、撮影角度のバリエーションが限られた学習画像がある場合でも、様々な撮影角度を持つ入力画像に対して適切なクラス予測を行う。ことができる。
本実施形態では、分類装置７０は、例えば、撮影角度のバリエーションが限られた学習画像がある場合でも、様々な撮影角度を持つ入力画像に対して適切なクラス予測を行う。ことができる。
【0168】
実施形態５．
［トレーニング装置の構成］
図１０は、第５の実施形態のトレーニング装置の構成例を示すブロック図である。図１０に示すトレーニング装置１０４は、図５に示された第３の実施形態のトレーニング装置１０３に、ドメイン整合（alignment）部２１１とドメイン整合損失計算部２１２とが追加された構成である。ただし、本実施形態では、マージ損失計算部１５５は、ドメイン整合損失もマージする。ドメイン整合（ドメイン位置合わせ）には様々なオプションを利用可能である。ドメイン整合部２１１は、ソースドメインとターゲットドメインとの間の最大平均不一致度（MMD）を計算するためのカーネルを選択するように実装することができ、ドメイン整合損失計算部２１２は、損失としてＭＭＤを計算する。他の例として、ドメイン整合部２１１をドメイン判別部として実装し、ドメイン整合損失計算部２１２をドメイン混同（domain confusion）損失計算部として実装することも可能である。ここで、後者の実施例を以下に説明する。
［トレーニング装置の構成］
図１０は、第５の実施形態のトレーニング装置の構成例を示すブロック図である。図１０に示すトレーニング装置１０４は、図５に示された第３の実施形態のトレーニング装置１０３に、ドメイン整合（alignment）部２１１とドメイン整合損失計算部２１２とが追加された構成である。ただし、本実施形態では、マージ損失計算部１５５は、ドメイン整合損失もマージする。ドメイン整合（ドメイン位置合わせ）には様々なオプションを利用可能である。ドメイン整合部２１１は、ソースドメインとターゲットドメインとの間の最大平均不一致度（MMD）を計算するためのカーネルを選択するように実装することができ、ドメイン整合損失計算部２１２は、損失としてＭＭＤを計算する。他の例として、ドメイン整合部２１１をドメイン判別部として実装し、ドメイン整合損失計算部２１２をドメイン混同（domain confusion）損失計算部として実装することも可能である。ここで、後者の実施例を以下に説明する。
【0169】
ドメイン整合部２１１は、ターゲットドメインとソースドメインとを整合するためのドメイン整合処理を行う。例えば、ドメイン整合部２１１は、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、他のニューラルネットワーク、または特徴抽出器であってもよい。ただし、ドメイン整合部２１１の具体的な構成は、本実施形態および以下の実施形態に限定されない。
【0170】
例えば、ドメイン判別部としてのドメイン整合部２１１は、特徴量がソースドメインからのものであるかターゲットドメインからのものであるかを示すドメイン予測を行う。ドメイン整合部２１１は、第１特徴量抽出部１１１によって抽出されたソースドメイン特徴量ＸＳと、第２特徴量抽出部１１２によって抽出されたターゲットドメイン特徴量ＸＴとを受け取る。そして、ドメイン整合部２１１は、どのドメインに属するかに関する他の情報を参照することなく、ソースドメイン特徴量ＸＳとターゲットドメイン特徴量ＸＴとを識別する識別処理を行う。例えば、判別処理において、ドメイン整合部２１１は、各特徴について、その特徴がソースドメインからのものである確率を算出し、その特徴がターゲットドメインからのものである確率を算出し、確率の高い方のドメインラベルを特徴の予測ドメインラベルとして割り当てる。そして、判別処理の結果を出力する。なお、変換された特徴が判別処理に関与することも可能である。
【0171】
ソースドメイン特徴量ＸＳに対する識別結果をＤＰSとする。ターゲットドメイン特徴量ＸＴに対する識別結果をＤＰＴとする。
【0172】
ドメイン整合損失計算部２１２は、ソースドメインとターゲットドメインとの間の距離（例えば、ＭＭＤ）に応じてドメイン整合損失を計算する。ドメイン整合損失計算部２１２がドメイン混同損失計算部として動作する場合、ドメイン整合損失計算部２１２は、ＤＰＳとソースドメインラベルデータＤＳとの不一致の度合い、およびＤＰＴとターゲットドメインラベルデータＤＴとの不一致の度合いに応じて、ドメイン整合損失を計算することもできる。不一致の度合いは、例えば、２値交差エントロピー誤差関数を用いて計算される。ドメイン整合損失計算部２１２は、例えば、双方の不一致の度合いの和をドメイン整合損失とする。
【0173】
本実施形態では、マージ損失計算部１５５は、以下のようにドメイン整合損失を計算する。
【0174】
Loss_merge = αLoss_classification_S + βLoss_classification_T + γLoss_grouping +δLoss_conversion - τLoss_domain_alignment ・・・（式１５）
【0175】
式１５において、Loss_domain_alignmentは、ドメイン整合損失を示す。τは、重み係数である。なお、ドメイン整合損失の前の符号はマイナスである。これは、モデル更新部１５６が、抽出された特徴量がドメイン整合部２１１による識別結果の精度を低下させる可能性があるように、第１特徴量抽出部１１１および第２特徴量抽出部１１２のモデルパラメータを更新することを意味する。換言すれば、モデル更新部１５６は、抽出された特徴量がドメイン整合部２１１を混同させる可能性があるように、第１特徴量抽出部１１１および第２特徴量抽出部１１２のモデルパラメータを更新する。
【0176】
学習時に、トレーニング装置１０４は、以下の処理を行う。まず、トレーニング装置１０４は、ドメイン整合部２１１が、ある特徴がソースドメインからのものであるか、ターゲットドメインからのものであるかを識別できるように、ドメイン整合部２１１を学習する。次に、トレーニング装置１０４は、学習したドメイン整合部２１１を混同させる可能性のある特徴量を抽出するように、第１特徴量抽出部１１１および第２特徴量抽出部１１２を学習する。トレーニング装置１０４は、以上の処理を繰り返す。
【0177】
なお、本実施形態では、ソースドメインとターゲットドメインの間のドメインギャップはさらに最小化される。すなわち、構造的知識を、ソースドメインからターゲットドメインに、より正確に伝達することができる。
【0178】
［トレーニング装置の動作］
次に、図１１のフローチャートを参照して、トレーニング装置１０４の動作を説明する。ステップＳ１００～Ｓ１５４の処理およびステップＳＳ１５６～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。
次に、図１１のフローチャートを参照して、トレーニング装置１０４の動作を説明する。ステップＳ１００～Ｓ１５４の処理およびステップＳＳ１５６～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。
【0179】
本実施形態では、ステップＳ２１１で、ドメイン整合部２１１は、判別処理を含む上述のドメイン整合処理を実行する。ドメイン整合損失計算部２１２は、ステップＳ２１２において、ドメイン整合部２１１による整合処理の結果に基づいて、ドメイン整合損失を計算する。
【0180】
ステップＳ１５５Ｂで、マージ損失計算部１５５は、ソースドメイン分類損失（Loss_classification_S）、ターゲットドメイン分類損失（Loss_classification_T）、グルーピング損失（Loss_grouping）、変換損失（Loss_conversion）および、ドメイン整合損失（Loss_domain_alignment）を参照して、マージ損失（Loss_merge）を計算する。マージ損失計算部１５５は、例えば、式１５を用いてマージ損失を計算する。
【0181】
［本実施形態の技術的効果］
「ドメイン混同」（domain confusion）という手法導入されることによって、ソースドメイン、ターゲットドメイン、ターゲットドメインの特徴から生成された変換後のターゲットドメインの特徴である変換後のターゲット間のドメインギャップを小さくすることができる。
「ドメイン混同」（domain confusion）という手法導入されることによって、ソースドメイン、ターゲットドメイン、ターゲットドメインの特徴から生成された変換後のターゲットドメインの特徴である変換後のターゲット間のドメインギャップを小さくすることができる。
【0182】
実施形態６．
［トレーニング装置の構成］
図１２は、第６の実施形態のトレーニング装置の構成例を示すブロック図である。図１２に示すトレーニング装置１０５は、図５に示された第３の実施形態のトレーニング装置１０３に、補助タスクソルバ３１１と補助タスクソルバ３１２と補助損失計算部３２１と補助損失計算部３２２とが追加された構成である。ただし、本実施形態では、マージ損失計算部１５５は、補助損失もマージする。
［トレーニング装置の構成］
図１２は、第６の実施形態のトレーニング装置の構成例を示すブロック図である。図１２に示すトレーニング装置１０５は、図５に示された第３の実施形態のトレーニング装置１０３に、補助タスクソルバ３１１と補助タスクソルバ３１２と補助損失計算部３２１と補助損失計算部３２２とが追加された構成である。ただし、本実施形態では、マージ損失計算部１５５は、補助損失もマージする。
【0183】
機械学習では、画像から抽出した特徴量の質がモデルの性能に大きく影響するので、最終的な分類目標だけでなく、副次的な目標も満足させることによって、より質の高い特徴を抽出できるようにすることが望ましい。
【0184】
本実施形態では、副次的な目標も満足させるための補助タスクを導入する。補助タスクソルバ３１１および補助タスクソルバ３１２は、補助タスクを解決する。補助タスクとして、種々のものが適用可能である。
【0185】
オプション１．
第１のオプションでは、画像から抽出された特徴が与えられると、その特徴から元の画像を復元することができる画像復元タスクが、補助タスクとして想定される。補助損失計算部３２１，３２２は、特徴量を入力とし、その特徴量から再構成された画像を出力する復号ニューラルネットワークで実現可能である。入力画像と再構成画像の間のピクセル単位の強度差を計算します。損失を最小化すると、再構成画像は入力画像とほぼ同じになる。つまり、画像から抽出された特徴は、わずかな情報しか失われていない、元の画像をうまく圧縮したものだということになる。
第１のオプションでは、画像から抽出された特徴が与えられると、その特徴から元の画像を復元することができる画像復元タスクが、補助タスクとして想定される。補助損失計算部３２１，３２２は、特徴量を入力とし、その特徴量から再構成された画像を出力する復号ニューラルネットワークで実現可能である。入力画像と再構成画像の間のピクセル単位の強度差を計算します。損失を最小化すると、再構成画像は入力画像とほぼ同じになる。つまり、画像から抽出された特徴は、わずかな情報しか失われていない、元の画像をうまく圧縮したものだということになる。
【0186】
具体的には、図１２に示すように、ソースドメイン構造特徴ＸＳが第１特徴抽出部１１１から補助タスクソルバ３１１に入力される。変換後のソースドメイン構造特徴Ｘ’Ｓが第１再照明部１３１から補助タスクソルバ３１１に入力される。
【0187】
補助タスクソルバ３１１は、入力画像データ（ソースドメインの画像データ）ＩＳを参照して、ソースドメイン特徴量ＸＳと変換後のソースドメイン構造特徴Ｘ’Ｓから再構成画像を作成する。例えば、補助タスクソルバ３１１は、第１の特徴抽出部１１１からのソースドメイン特徴量xS1と、第１再照明部１３１からの変換後のソースドメイン特徴xS2'とから、２つの再構成画像を生成する。補助タスクソルバ３１１によって生成された２つの再構成画像は、ソースドメインの特徴xS1が抽出された画像と非常によく似ている。特徴xS1とxS2'とは、同じ眺めにある。
【0188】
補助ラベルデータＹ’Ｓが補助損失計算部３２１に入力される。補助ラベルデータＹ’Ｓは、補助損失を計算するために用いられる。本オプションでは、補助ラベルデータＹ’Ｓは、入力画像である。補助損失計算部３２１は、補助ラベルデータＹ’Ｓと再構成画像との差分を計算して、補助損失としてのソースドメイン再構成損失（Loss_reconstruction_S）を得る。
【0189】
図１２に示すように、ターゲットドメイン構造特徴ＸＴが第２特徴抽出部１１２から補助タスクソルバ３１２に入力される。変換後のターゲットドメイン構造特徴Ｘ’Ｔが第２再照明部１３２から補助タスクソルバ３１２に入力される。
【0190】
補助タスクソルバ３１２は、入力画像データ（ターゲットドメインの画像データ）ＩＴを参照して、ターゲットドメイン特徴量ＸＴと変換後のターゲットドメイン構造特徴Ｘ’Ｔから再構成画像を作成する。例えば、補助タスクソルバ３１２は、第２の特徴抽出部１１２からのターゲットドメイン特徴量xT1と、第２再照明部１３２からの変換後のターゲットドメイン特徴xT2'とから、２つの再構成画像を生成する。補助タスクソルバ３１２によって生成された２つの再構成画像は、ターゲットドメインの特徴xT1が抽出された画像と非常によく似ている。特徴xT1とxT2'とは、同じ眺めにある。
【0191】
補助ラベルデータＹ’Ｔが補助損失計算部３２２に入力される。補助ラベルデータＹ’Ｔは、補助損失を計算するために用いられる。本オプションでは、補助ラベルデータＹ’Ｔは、入力画像である。補助損失計算部３２２は、補助ラベルデータＹ’Ｔと再構成画像との差分を計算して、補助損失としてのターゲットドメイン再構成損失（Loss_reconstruction_T）を得る。
【0192】
本オプションでは、マージ損失計算部１５５は、以下のように補助損失を計算する。式１６において、ηおよびξは、重み係数である。
【0193】
Loss_merge = αLoss_classification_S + βLoss_classification_T + γLoss_grouping +δLoss_conversion + ηLoss_reconstruction_S + ξLoss_reconstruction_T ・・・（式１６）
【0194】
オプション２．
第２のオプションでは、画像から抽出された特徴が与えられると、その特徴量から画像の角度を推定することができる角度推定タスクが、補助タスクとして想定される。補助タスクソルバ３２１，３２２は、特徴量を入力とし、［－π，π］（［－１８０゜，１８０゜］）内の角度値を出力する角度推定ニューラルネットワークで実現可能である。
第２のオプションでは、画像から抽出された特徴が与えられると、その特徴量から画像の角度を推定することができる角度推定タスクが、補助タスクとして想定される。補助タスクソルバ３２１，３２２は、特徴量を入力とし、［－π，π］（［－１８０゜，１８０゜］）内の角度値を出力する角度推定ニューラルネットワークで実現可能である。
【0195】
具体的には、図１２に示すように、ソースドメイン構造特徴ＸＳが第１特徴抽出部１１１から補助タスクソルバ３１１に入力される。変換後のソースドメイン構造特徴Ｘ’Ｓが第１再照明部１３１から補助タスクソルバ３１１に入力される。
【0196】
補助タスクソルバ３１１は、ソースドメイン構造特徴ＸＳと変換後のソースドメイン構造特徴Ｘ’Ｓとからソースドメイン角度予測値を予測する。
【0197】
補助ラベルデータＹ’Ｓが補助損失計算部３２１に入力される。補助ラベルデータＹ’Ｓは、補助損失を計算するために用いられる。本オプションでは、補助ラベルデータＹ’Ｓは、入力画像の真の角度である。補助損失計算部３２１は、ソースドメイン角度予測値と真の角度との差分を計算して、補助損失としてのソースドメイン角度予測損失（Loss_angle_prediction_S）を得る。
【0198】
補助損失（角度予測損失）が最小になると、推定された角度は、入力画像の真の角度とほぼ同じになる。これは、画像から抽出された特徴量が、入力画像のクラスの手がかりに加えて、角度の手がかりを持っていることを意味している。このように、より情報量の多い特徴を持つことで、最終的な目標である分類作業を容易にし、分類精度を向上させることができる。
【0199】
図１２に示すように、ターゲットドメイン構造特徴ＸＴが第２特徴抽出部１１２から補助タスクソルバ３１２に入力される。変換後のターゲットドメイン構造特徴Ｘ’Ｔが第２再照明部１３２から補助タスクソルバ３１２に入力される。
【0200】
補助タスクソルバ３１２は、ターゲットドメイン構造特徴ＸＴと変換後のターゲットドメイン構造特徴Ｘ’Ｔとからターゲットドメイン角度予測値を予測する。
【0201】
補助ラベルデータＹ’Ｔが補助損失計算部３２２に入力される。補助ラベルデータＹ’Ｔは、補助損失を計算するために用いられる。本オプションでは、補助ラベルデータＹ’Ｔは、入力画像の真の角度である。補助損失計算部３２２は、ターゲットドメイン角度予測値と真の角度との差分を計算して、補助損失としてのターゲットドメイン角度予測損失（Loss_angle_prediction_T）を得る。
【0202】
本オプションでは、マージ損失計算部１５５は、以下のように補助損失を計算する。式１７において、η’およびξ’は、重み係数である。
【0203】
Loss_merge = αLoss_classification_S + βLoss_classification_T + γLoss_grouping +δLoss_conversion + η'Loss_angle_prediction_S + ξ'Loss_angle_prediction_T ・・・（式１７）
【0204】
オプション３．
第３のオプションでは、変換されたドメインと変換されていないドメインが与えられたときに、ドメインギャップを最小化する変換混同（conversion confusion）タスクが、補助タスクとして想定される。
第３のオプションでは、変換されたドメインと変換されていないドメインが与えられたときに、ドメインギャップを最小化する変換混同（conversion confusion）タスクが、補助タスクとして想定される。
【0205】
本オプションでの「変換混同」の概念は、上記の第５の実施形態における「ドメイン混同」とほぼ同じである。「変換混同」は、「変換判別モジュール」が、変換されたドメインからの特徴と変換されていないドメインからの特徴とを区別するのに非常に優れていると考えられる。ここで、変換されたドメインは、ソースドメインから変換されたとターゲットドメインから変換された特徴とで構成され、変換されていないドメインは、ソースドメインからの変換されていない特徴とターゲットドメインからの変換されていない特徴とで構成される。しかし、本オプションでは、意図的に、「特徴抽出モジュール」が学習される。特徴抽出モジュールは、強力な「変換判別モジュール」でも変換されたドメインか変換されていないドメインかを判別できないほど混ざり合った特徴を抽出する。こうすることで、変換されたドメインと変換されていないドメインとのドメインギャップが最小化される。
【0206】
具体的には、図１２に示すように、ソースドメイン構造特徴ＸＳが第１特徴抽出部１１１から補助タスクソルバ３１１に入力される。変換後のソースドメイン構造特徴Ｘ’Ｓが第１再照明部１３１から補助タスクソルバ３１１に入力される。
【0207】
補助タスクソルバ３１１は、ソースドメイン構造特徴ＸＳを変換するかしないかの判断を行う。具体的には、補助タスクソルバ３１１は、各特徴について、第１剛体変換部１２１および第１再照明部１３１によって変換された確率と、変換されていない確率とを計算し、確率の高い方の変換ラベルを予測値として使用する。
【0208】
補助ラベルデータＹ’Ｓが補助損失計算部３２１に入力される。補助ラベルデータＹ’Ｓは、補助損失を計算するために用いられる。本オプションでは、補助ラベルデータＹ’Ｓは、各特徴に対して、正解変換ラベルデータとして、「変換されたドメイン」または「変換されたドメイン」のいずれかである。補助損失計算部３２１は、補助ラベルデータＹ’Ｓを使用して、予測された変換ラベルと正解データの変換ラベルの対応関係を計算することによって、補助損失としての変換混同損失（Loss_conversion_confusion_S）を得る。変換混同損失を最適化することによって、変換されたドメインと変換されていないドメインとのギャップが最小化される。
【0209】
補助損失（変換混同損失）は、変換予測の正しさである。例えば、予測値は["non-converted", "converted"]であり、正解データラベルは["non-converted", "converted"]である。したがって、補助損失＝１（精度＝100％）である。しかし、この損失を最小限することが望まれる。つまり、予測が間違っていてほしいということが要望される。
【0210】
図１２に示すように、ターゲットドメイン構造特徴ＸＴが第２特徴抽出部１１２から補助タスクソルバ３１２に入力される。変換後のソースドメイン構造特徴Ｘ’Ｔが第２再照明部１３２から補助タスクソルバ３１２に入力される。
【0211】
補助タスクソルバ３１２は、ターゲットドメイン構造特徴ＸＴを変換するかしないかの判断を行う。具体的には、補助タスクソルバ３１２は、各特徴について、第２剛体変換部１２２および第１再照明部１３２によって変換された確率と、変換されていない確率とを計算し、確率の高い方の変換ラベルを予測値として使用する。
【0212】
補助ラベルデータＹ’Ｔが補助損失計算部３２２に入力される。補助ラベルデータＹ’Ｔは補助損失の計算に使用される。本オプションでは、補助ラベルデータＹ’Ｔは、各特徴に対して、正解変換ラベルデータとして、「変換されたドメイン」または「変換されていないドメイン」のいずれかである。補助損失計算部３２２は、補助ラベルデータＹ’Ｔを使用して、予測された変換ラベルと正解データの変換ラベルの対応関係を計算することによって、補助損失としての変換混同損失（Loss_conversion_confusion_T）を得る。
【0213】
本オプションでは、マージ損失計算部１５５は、以下のように変換損失を計算する。式１８において、η’’およびξ’は、重み係数である。
【0214】
Loss_merge = αLoss_classification_S + βLoss_classification_T + γLoss_grouping +δLoss_conversion + η''Loss_conversion_confusion_S + ξ'Loss_conversion_confusion_T ・・・（式１８）
【0215】
オプション１～３によれば、最終的な分類目標だけでなく副次的な目標も満足されるので、より質の高い特徴を抽出できる。
【0216】
［トレーニング装置の動作］
次に、図１３のフローチャートを参照して、トレーニング装置１０５の動作を説明する。ステップＳ１００～Ｓ１５４の処理およびステップＳＳ１５６～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。なお、図１３に示す動作は、主として、上記のオプション１およびオプション２に着目した場合の動作である。
次に、図１３のフローチャートを参照して、トレーニング装置１０５の動作を説明する。ステップＳ１００～Ｓ１５４の処理およびステップＳＳ１５６～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。なお、図１３に示す動作は、主として、上記のオプション１およびオプション２に着目した場合の動作である。
【0217】
ステップＳ３１１で、補助タスクソルバ３１１，３１２は、補助データを作成する。オプション１では、補助データは、再構成画像である。オプション２では、補助データは、角度予測値である。
【0218】
ステップＳ３１２で、補助損失計算部３２１，３２２は、補助損失を計算する。オプション１では、補助損失は、ソースドメイン再構成損失およびターゲットドメイン再構成損失である。オプション２では、補助損失は、ソースドメイン角度予測損失およびターゲットドメイン角度予測損失である。
【0219】
オプション３では、ステップＳ３１１で、補助タスクソルバ３１１，３１２は、構造特徴ＸＳ，ＸＴを変換するかしないかの判断を行う。補助損失計算部３２１，３２２は、変換混同損失を計算する。
【0220】
ステップＳ１５５Ｃで、マージ損失計算部１５５は、ソースドメイン分類損失（Loss_classification_S）、ターゲットドメイン分類損失（Loss_classification_T）、グルーピング損失（Loss_grouping）、変換損失（Loss_conversion）および、補助損失を参照して、マージ損失（Loss_merge）を計算する。マージ損失計算部１５５は、例えば、式１６、式１７または式１８を用いてマージ損失を計算する。
【0221】
実施形態７．
図１４は、第７の実施形態のトレーニング装置の構成例を示すブロック図である。図１０に示すトレーニング装置１０４は、図５に示された第３の実施形態のトレーニング装置１０３に、第１構造特徴マスク部４１１と第１変換特徴マスク部４２１と第２構造特徴マスク部４１２と第２変換特徴マスク部４２２とが追加された構成である。
図１４は、第７の実施形態のトレーニング装置の構成例を示すブロック図である。図１０に示すトレーニング装置１０４は、図５に示された第３の実施形態のトレーニング装置１０３に、第１構造特徴マスク部４１１と第１変換特徴マスク部４２１と第２構造特徴マスク部４１２と第２変換特徴マスク部４２２とが追加された構成である。
【0222】
本実施形態は、構造特徴が、点の座標ではなく、特徴マップで表現されていることを前提とする。構造特徴を、点の座標ではなく、特徴マップとして表現した場合、剛体変換後には、境界部分の情報が失われてしまう。そこで、変換前の特徴量マップと変換後の特徴量マップとを比較可能にするために、境界での情報を落とすマスキングが実施される。これにより、分類の性能を向上させることができる。
【0223】
マスキングなしで剛体変換を行った場合、変換後にマップの境界に欠落した情報が生じる。したがって、変換を経ない構造特徴（非変換特徴）のマップと変換された特徴のマップとを直接比較すると、これらの欠落領域は、常にピクセル単位の差を大きくすることになる。変換後の特徴量マップと非変換後の特徴量マップの両方にマスクを適用することによって、欠落領域による誤差を解消することができる。
【0224】
第１構造特徴マスク部４１１は、ソースドメイン特徴ＸＳのマップにおける縁領域をマスクする。第２構造特徴マスク部４１２は、ターゲットドメイン特徴ＸＴのマップにおける縁領域をマスクする。第１変換特徴マスク部４２１は、第１剛体変換部１２１からの変換された構造特徴のマップにおける縁領域をマスクする。第２変換特徴マスク部４２２は、第２剛体変換部１２２からの変換された構造特徴のマップにおける縁領域をマスクする。
【0225】
［トレーニング装置の動作］
次に、図１５のフローチャートを参照して、トレーニング装置１０６の動作を説明する。ステップＳ１００～Ｓ１１１の処理、ステップＳ１４１～Ｓ１４２の処理およびステップＳＳ１５５～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。本実施形態では、ステップＳ１２１の処理の前に、ステップＳ４１１の処理が実行され、ステップＳ１３１の処理の前に、ステップＳ４２１の処理が実行される。ステップＳ１２２の処理の前に、ステップＳ４１２の処理が実行され、ステップＳ１３２の処理の前に、ステップＳ４２２の処理が実行される。
次に、図１５のフローチャートを参照して、トレーニング装置１０６の動作を説明する。ステップＳ１００～Ｓ１１１の処理、ステップＳ１４１～Ｓ１４２の処理およびステップＳＳ１５５～Ｓ１５８の処理は、図８に示された第３の実施形態のトレーニング装置１０４の動作と同じである。本実施形態では、ステップＳ１２１の処理の前に、ステップＳ４１１の処理が実行され、ステップＳ１３１の処理の前に、ステップＳ４２１の処理が実行される。ステップＳ１２２の処理の前に、ステップＳ４１２の処理が実行され、ステップＳ１３２の処理の前に、ステップＳ４２２の処理が実行される。
【0226】
ステップＳ４１１，Ｓ４１２，Ｓ４２１，Ｓ４２２において、第１構造特徴マスク部４１１、第２構造特徴マスク部４１２、第１変換特徴マスク部４２１および第２変換特徴マスク部４２２は、各マップの縁部に対して上述したマスク処理を実行する。
【0227】
［本実施形態の技術的効果］
本実施形態では、変換損失計算部１５４が計算する変換損失の誤差を低減することができる。
本実施形態では、変換損失計算部１５４が計算する変換損失の誤差を低減することができる。
【0228】
上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
【0229】
上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
【0230】
図１６は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、トレーニング装置および分類装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、コンピュータは、プログラムに従って、図１に示されたトレーニング装置における、特徴抽出部１１、剛体変換部１２、再照明部１３、クラス予測部１４、および更新部１５の機能を実現できる。
【0231】
コンピュータは、プログラムに従って処理を実行することによって、図５，図１０，図１２，図１４に示されたトレーニング装置における、第１特徴抽出部１１１、第２特徴抽出部１１２、第１剛体変換部１２１、第２剛体変換部１２２、第１再照明部１３１、第２再照明部１３２、第１クラス予測部１４１、第２クラス予測部１４２、更新部１５０、ドメイン整合部２１１、ドメイン整合損失計算部２１２、補助タスクソルバ３１１，３１２、補助損失計算部３２１，３２２、第１構造特徴マスク部４１１、第１変換特徴マスク部４２１、第２構造特徴マスク部４１２、および第２変換特徴マスク部４２２の機能を実現できる。
【0232】
【0233】
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、ハードディスク）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ－Ｒ（Compact Disc-Recordable）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ）がある。
【0234】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
【0235】
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
【0236】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
【0237】
（付記１）入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出する１つ以上の特徴抽出手段と、
変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する剛体変換手段と、
前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成する１つ以上の再照明手段と、
前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行う１つ以上のクラス予測手段と、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する更新手段とを備える
トレーニング装置。
変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する剛体変換手段と、
前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成する１つ以上の再照明手段と、
前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行う１つ以上のクラス予測手段と、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する更新手段とを備える
トレーニング装置。
【0238】
（付記２）前記更新手段は、以下の１つ以上の事項を参照して更新処理を実行する
付記１記載のトレーニング装置。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
付記１記載のトレーニング装置。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【0239】
（付記３）前記ソースドメイン分類損失、前記ターゲットドメイン分類損失、前記グルーピング損失、および前記変換損失を参照して、マージ損失を計算するマージ損失計算手段を備え、
前記更新手段は、前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
付記２記載のトレーニング装置。
前記更新手段は、前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
付記２記載のトレーニング装置。
【0240】
（付記４）ソースドメインクラス予測値、ソースドメインの新規ビューの特徴のソースドメインクラス予測値、およびソースドメインクラスラベルデータを参照して、前記ソースドメイン分類損失を計算し、前記ターゲットドメインクラス予測値、変換後の構造特徴のターゲットドメインクラス予測値、およびターゲットドメインクラスラベルデータを参照して、前記ターゲットドメイン分類損失を計算する分類損失計算手段を備える
付記３記載のトレーニング装置。
付記３記載のトレーニング装置。
【0241】
（付記５）前記ソースドメイン構造特徴、変換後の前記ソースドメイン構造特徴、前記ターゲットドメイン構造特徴、変換後の前記ターゲットドメイン構造特徴から、同じクラスラベルを共有する特徴量を含むクラスグループを生成するグルーピング手段と、
前記グルーピング手段が生成したクラスグループを参照して、前記グルーピング損失を計算するグルーピング損失計算手段とを備える
付記３または付記４記載のトレーニング装置。
前記グルーピング手段が生成したクラスグループを参照して、前記グルーピング損失を計算するグルーピング損失計算手段とを備える
付記３または付記４記載のトレーニング装置。
【0242】
（付記６）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴のうちの１つ以上の特徴を参照して、前記変換損失を計算する変換損失計算手段を備える
付記３から付記５のいずれかに記載のトレーニング装置。
付記３から付記５のいずれかに記載のトレーニング装置。
【0243】
（付記７）ターゲットドメインをソースドメインに整合させるためのドメイン整合処理を実行するドメイン整合手段と、
ソースドメインと前記ターゲットドメインとの間の距離に応じてドメイン整合損失を計算するドメイン整合損失計算手段とを備え、
前記マージ損失計算手段は、前記ドメイン整合損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記ドメイン整合手段を更新する
付記１から付記６のいずれかに記載のトレーニング装置。
ソースドメインと前記ターゲットドメインとの間の距離に応じてドメイン整合損失を計算するドメイン整合損失計算手段とを備え、
前記マージ損失計算手段は、前記ドメイン整合損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記ドメイン整合手段を更新する
付記１から付記６のいずれかに記載のトレーニング装置。
【0244】
（付記８）最終的な分類目標に加えて副次的な目標も満足させるための補助タスクソルバと、
補助損失を計算する補助損失計算手段とを備え、
前記マージ損失計算手段は、前記補助損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記補助タスクソルバを更新する
付記１から付記６のいずれかに記載のトレーニング装置。
補助損失を計算する補助損失計算手段とを備え、
前記マージ損失計算手段は、前記補助損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記補助タスクソルバを更新する
付記１から付記６のいずれかに記載のトレーニング装置。
【0245】
（付記９）ソースドメイン特徴のマップにおける縁領域をマスクする構造特徴マスク手段と、
変換された構造特徴のマップにおける縁領域をマスクする変換特徴マスク手段とを備える
付記１から付記６のいずれかに記載のトレーニング装置。
変換された構造特徴のマップにおける縁領域をマスクする変換特徴マスク手段とを備える
付記１から付記６のいずれかに記載のトレーニング装置。
【0246】
（付記１０）入力画像データから構造特徴を抽出する特徴抽出手段と、
特徴量からクラス予測値を予測するクラス予測手段とを備え、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類装置。
特徴量からクラス予測値を予測するクラス予測手段とを備え、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類装置。
【0247】
（付記１１）１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出し、
１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成し、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成し、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行い、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
トレーニング方法。
１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成し、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成し、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行い、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
トレーニング方法。
【0248】
（付記１２）更新処理を実行するときに、以下の１つ以上の事項を参照して、１つ以上の特徴抽出手段、１つ以上の再照明手段、および１つ以上のクラス予測手段の少なくとも１つを更新する
付記１１記載のトレーニング方法。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
付記１１記載のトレーニング方法。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【0249】
（付記１３）前記ソースドメイン分類損失、前記ターゲットドメイン分類損失、前記グルーピング損失、および前記変換損失を参照して、マージ損失を計算し、
前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
付記１２記載のトレーニング方法。
前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
付記１２記載のトレーニング方法。
【0250】
（付記１４）特徴抽出手段を使用して、入力画像データから構造特徴を抽出し、
クラス予測手段を使用して、特徴量からクラス予測値を予測し、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類方法。
クラス予測手段を使用して、特徴量からクラス予測値を予測し、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類方法。
【0251】
（付記１５）トレーニングプログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記トレーニングプログラムは、コンピュータに、
１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出させ、
１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成させ、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成させ、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行わせ、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新させる。
前記トレーニングプログラムは、コンピュータに、
１つ以上の特徴抽出手段を使用して、入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出させ、
１つ以上の剛体変換手段を使用して、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成させ、
１つ以上の再照明手段を使用して、前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成させ、
１つ以上のクラス予測手段を使用して、前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測を行い、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測を行わせ、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新させる。
【0252】
（付記１６）前記トレーニングプログラムは、コンピュータに、
更新処理を実行するときに、以下の１つ以上の事項を参照して、１つ以上の特徴抽出手段、１つ以上の再照明手段、および１つ以上のクラス予測手段の少なくとも１つを更新させる
付記１５記載のコンピュータ読み取り可能な記録媒体。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴とその対応するクラスラベル、ソースドメインの変換された構造特徴とそれらに対応するクラスラベル、前記ターゲットドメイン構造特徴とそれらに対応するクラスラベル、ターゲットドメインの変換された構造特徴とそれらに対応するクラスラベルを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの変換された構造特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの変換された構造特徴を参照して計算された変換損失。
付記１４記載の記録媒体。
更新処理を実行するときに、以下の１つ以上の事項を参照して、１つ以上の特徴抽出手段、１つ以上の再照明手段、および１つ以上のクラス予測手段の少なくとも１つを更新させる
付記１５記載のコンピュータ読み取り可能な記録媒体。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴とその対応するクラスラベル、ソースドメインの変換された構造特徴とそれらに対応するクラスラベル、前記ターゲットドメイン構造特徴とそれらに対応するクラスラベル、ターゲットドメインの変換された構造特徴とそれらに対応するクラスラベルを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの変換された構造特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの変換された構造特徴を参照して計算された変換損失。
付記１４記載の記録媒体。
【0253】
（付記１７）分類プログラムが格納されたコンピュータ読み取り可能な記録媒体であって、
前記分類プログラムは、コンピュータに、
特徴抽出手段を使用して、入力画像データから構造特徴を抽出させ、
クラス予測手段を使用して、特徴量からクラス予測値を予測させ、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
前記分類プログラムは、コンピュータに、
特徴抽出手段を使用して、入力画像データから構造特徴を抽出させ、
クラス予測手段を使用して、特徴量からクラス予測値を予測させ、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている。
【0254】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0255】
１０， １０３－１０６ トレーニング装置
１１ 特徴抽出部
１２ 剛体変換部
１３ 再照明部
１４ クラス予測部
１５ 更新部
６０，７０ 分類装置
６１ 特徴抽出部
６２ 剛体変換部
６３ 再照明部
６４ クラス予測部
１１１ 第１特徴抽出部
１１２ 第２特徴抽出部
１２１ 第１剛体変換部
１２２ 第２剛体変換部
１３１ 第１再照明部
１３２ 第２再照明部
１４１ 第１クラス予測部
１４２ 第２クラス予測部
１５０ 更新部
１５１ 分類損失計算部
１５２ グルーピング部
１５３ グルーピング損失計算部
１５４ 変換損失計算部
１５５ マージ損失計算部
１５６ モデル更新部
２１１ ドメイン整合部
２１２ ドメイン整合損失計算部
３１１，３１２ 補助タスクソルバ
３２１，３２２ 補助損失計算部
４１１ 第１構造特徴マスク部
４１２ 第２構造特徴マスク部
４２１ 第１変換特徴マスク部
４２２ 第２変換特徴マスク部
１１ 特徴抽出部
１２ 剛体変換部
１３ 再照明部
１４ クラス予測部
１５ 更新部
６０，７０ 分類装置
６１ 特徴抽出部
６２ 剛体変換部
６３ 再照明部
６４ クラス予測部
１１１ 第１特徴抽出部
１１２ 第２特徴抽出部
１２１ 第１剛体変換部
１２２ 第２剛体変換部
１３１ 第１再照明部
１３２ 第２再照明部
１４１ 第１クラス予測部
１４２ 第２クラス予測部
１５０ 更新部
１５１ 分類損失計算部
１５２ グルーピング部
１５３ グルーピング損失計算部
１５４ 変換損失計算部
１５５ マージ損失計算部
１５６ モデル更新部
２１１ ドメイン整合部
２１２ ドメイン整合損失計算部
３１１，３１２ 補助タスクソルバ
３２１，３２２ 補助損失計算部
４１１ 第１構造特徴マスク部
４１２ 第２構造特徴マスク部
４２１ 第１変換特徴マスク部
４２２ 第２変換特徴マスク部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-05-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
入力されたソースドメインの画像データからソースドメイン構造特徴を抽出し、入力されたターゲットドメインの画像データからターゲットドメイン構造特徴を抽出する１つ以上の特徴抽出手段と、変換パラメータを参照して構造特徴を剛体変換することによって、変換された構造特徴を生成する剛体変換手段と、
前記変換された構造特徴と前記変換パラメータとを参照して、前記変換パラメータで示されるビューで入力された画像データから抽出される構造特徴に近似するように、新規ビューの特徴を生成する１つ以上の再照明手段と、
前記ソースドメイン構造特徴とソースドメインの新規ビューの特徴からソースドメインのクラス予測値を予測し、前記ターゲットドメイン構造特徴とターゲットドメインの新規ビューの特徴から、ターゲットドメインのクラス予測値を予測する１つ以上のクラス予測手段と、
１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する更新手段とを備える
トレーニング装置。
【請求項2】
前記更新手段は、以下の１つ以上の事項を参照して更新処理を実行する請求項１記載のトレーニング装置。
１）前記クラス予測手段が計算したソースドメインクラスの予測値とソースドメインの正解クラスラベルとを参照して計算されたソースドメイン分類損失、
２）前記クラス予測手段が計算したターゲットドメインクラスの予測値とターゲットドメインの正解クラスラベルとを参照して計算されたターゲットドメイン分類損失、
３）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴と、各々の特徴に対応するクラスラベルとを参照して計算されたグルーピング損失、
４）前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、ターゲットドメインの新規ビューの特徴からの１つ以上の特徴を参照して計算された変換損失。
【請求項3】
前記ソースドメイン分類損失、前記ターゲットドメイン分類損失、前記グルーピング損失、および前記変換損失を参照して、マージ損失を計算するマージ損失計算手段を備え、前記更新手段は、前記マージ損失が収束していない場合に、１つ以上の前記特徴抽出手段と、１つ以上の前記再照明手段と、１つ以上の前記クラス予測手段とのうちの少なくとも１つを更新する
請求項２記載のトレーニング装置。
【請求項4】
ソースドメイン構造特徴の前記ソースドメインクラス予測値、ソースドメインの新規ビューの特徴のソースドメインクラス予測値、およびソースドメインクラスラベルデータを参照して、前記ソースドメイン分類損失を計算し、ターゲットドメイン構造特徴のターゲットドメインクラス予測値、ターゲットドメインの新規ビューの特徴のターゲットドメインクラス予測値、およびターゲットドメインクラスラベルデータを参照して、前記ターゲットドメイン分類損失を計算する分類損失計算手段を備える請求項３記載のトレーニング装置。
【請求項5】
前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴から、同じクラスラベルを共有する特徴量を含むクラスグループを生成するグルーピング手段と、前記グルーピング手段が生成したクラスグループを参照して、前記グルーピング損失を計算するグルーピング損失計算手段とを備える
請求項３または請求項４記載のトレーニング装置。
【請求項6】
前記ソースドメイン構造特徴、ソースドメインの新規ビューの特徴、前記ターゲットドメイン構造特徴、およびターゲットドメインの新規ビューの特徴のうちの１つ以上の特徴を参照して、前記変換損失を計算する変換損失計算手段を備える請求項３から請求項５のいずれかに記載のトレーニング装置。
【請求項7】
ターゲットドメインをソースドメインに整合させるためのドメイン整合処理を実行するドメイン整合手段と、ソースドメインと前記ターゲットドメインとの間の距離に応じてドメイン整合損失を計算するドメイン整合損失計算手段とを備え、
前記マージ損失計算手段は、前記ドメイン整合損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記ドメイン整合手段を更新する
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項8】
最終的な分類目標に加えて副次的な目標も満足させるための補助タスクソルバと、補助損失を計算する補助損失計算手段とを備え、
前記マージ損失計算手段は、前記補助損失を参照して、前記マージ損失を計算し、
前記更新手段は、さらに、前記補助タスクソルバを更新する
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項9】
ソースドメイン特徴のマップにおける縁領域をマスクする構造特徴マスク手段と、新規ビューの特徴のマップにおける縁領域をマスクする変換特徴マスク手段とを備える
請求項１から請求項６のいずれかに記載のトレーニング装置。
【請求項10】
入力画像データから構造特徴を抽出する特徴抽出手段と、特徴量からクラス予測値を予測するクラス予測手段とを備え、
前記特徴抽出手段と前記クラス予測手段とのうちの少なくとも一方は、構造特徴を変換して得られる新規ビューの特徴を参照して学習されている
分類装置。
【国際調査報告】