特許7616396 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7616396訓練装置、訓練方法、及びプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-08

(45)【発行日】2025-01-17

(54)【発明の名称】訓練装置、訓練方法、及びプログラム

(51)【国際特許分類】

G06N 3/096 20230101AFI20250109BHJP

G06N 20/00 20190101ALI20250109BHJP

【ＦＩ】

G06N3/096

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2023541364

(86)(22)【出願日】2021-12-03

(65)【公表番号】

(43)【公表日】2024-01-17

(86)【国際出願番号】 JP2021044388

(87)【国際公開番号】W WO2022153710

(87)【国際公開日】2022-07-21

【審査請求日】2023-07-06

(31)【優先権主張番号】P 2021003115

(32)【優先日】2021-01-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人ＨＡＲＡＫＥＮＺＯＷＯＲＬＤＰＡＴＥＮＴ＆ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】戴岑容

(72)【発明者】

【氏名】戸田真人

【審査官】北川純次

(56)【参考文献】

【文献】国際公開第２０２０／２３５０３３（ＷＯ，Ａ１）

【文献】国際公開第２０２０／０９４０２６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ３／０２－３／１０

Ｇ０６Ｎ２０／００

(57)【特許請求の範囲】

【請求項1】

ソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出する１または複数の特徴抽出手段と、
ソースドメイン特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する１または複数のクラス予測手段と、
ソースドメインクラス予測値を参照してソースドメイン特徴値から１または複数の値をフィルタ除去し、
ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を計算する１または複数のフィルタリング手段と、
ソースドメインクラス予測値を参照して計算されたソースドメイン分類損失、
ターゲットドメインクラス予測値を参照して計算されたターゲットドメイン分類損失、および、
フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算されたグループ損失を参照して、前記１または複数の特徴抽出手段および前記１または複数のクラス予測手段のうちの少なくとも１つを更新するための更新手段と、
を備える訓練装置。

【請求項2】

前記１または複数のフィルタリング手段は、
前記ソースドメインクラス予測値およびソースドメインクラスラベルデータを参照して、前記ソースドメイン特徴値から１または複数の値をフィルタ除去し、
前記ターゲットドメインクラス予測値およびターゲットドメインクラスラベルデータを参照して、前記ターゲットドメイン特徴値から１又は複数の値をフィルタ除去する、請求項１に記載の訓練装置。

【請求項3】

前記１または複数のフィルタリング手段は、前記ソースドメイン分類損失および前記ターゲットドメイン分類損失をさらに参照する、請求項１または２に記載の訓練装置。

【請求項4】

前記更新手段は
フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値から、クラスグループを出力するグループ化手段を備え、
前記クラスグループの各々は同じクラスラベルを共有する特徴値を含む、請求項１から３の何れか１項に記載の訓練装置。

【請求項5】

前記更新手段は、前記クラスグループを参照して前記グループ損失を算出するグループ損失算出手段をさらに備える、請求項４に記載の訓練装置。

【請求項6】

１または複数の特徴抽出手段によって、ソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出することと、
１または複数のクラス予測手段によって、ソースドメイン特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測することと、
ソースドメインクラス予測値を参照してソースドメイン特徴値から１または複数の値をフィルタ除去し、
ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を計算することと、
ソースドメインクラス予測値を参照して計算されたソースドメイン分類損失、
ターゲットドメインクラス予測値を参照して計算されたターゲットドメイン分類損失、および、
フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算されたグループ損失を参照して、前記１または複数の特徴抽出手段および前記１または複数のクラス予測手段のうちの少なくとも１つを更新することと、
を含む訓練方法。

【請求項7】

請求項１に記載の訓練装置としてコンピュータを機能させるためのプログラムであって、前記コンピュータを、前記特徴抽出手段、前記クラス予測手段、前記フィルタリング手段、および前記更新手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、訓練装置、訓練方法、及びプログラムに関する。

【背景技術】

【0002】

ニューラルネットワークなどの機械学習技法はそれらのパラメータをトレーニングするために、大量のラベル付きデータを必要とすることが多い。一方、少量のラベル付きデータしか利用できないことがしばしば生じる。

【0003】

そのような場合に適用可能であり得る、いわゆるドメイン適合技術（domain adaptation techniques）が提案されている（例えば非特許文献１を参照）。ドメイン適応技術は、ターゲットデータセット（ターゲットドメインデータセットと呼ばれることが多い）に加えて、大量の代替的な代表的データセット（ソースドメインデータセットと呼ばれることが多い）を利用する。

【先行技術文献】

【非特許文献】

【0004】

【文献】ＸｉａｎｇＸｕｅｔａｌ．、“ｄ－ＳＮＥ：ＤｏｍａｉｎＡｄａｐｔａｔｉｏｎｕｓｉｎｇＳｔｏｃｈａｓｔｉｃＮｅｉｇｈｂｏｒｈｏｏｄＥｍｂｅｄｄｉｎｇ”、ＰｒｏｃｅｅｄｉｎｇｓｏｆＩＥＥＥｃｏｎｆｅｒｅｎｃｅｏｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎａｎｄｐａｔｔｅｒｎｒｅｃｏｇｎｉｔｉｏｎ．２０１９

【発明の概要】

【発明が解決しようとする課題】

【0005】

非特許文献１で開示されたドメイン適応技術は、外れ値の影響で訓練プロセスが不安定になり、効率的に訓練プロセスを行うことができないという問題がある。

【0006】

本発明は上記課題に鑑みてなされたものであり、その目的の一例は、少量のターゲットドメインラベル付きデータしか利用できない状況であっても、効率的で安定した訓練プロセスを提供することにある。

【課題を解決するための手段】

【0007】

上記の目的を達成するために、訓練装置は、ソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出する１または複数の特徴抽出手段と、ソースドメイン特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する１または複数のクラス予測手段と、ソースドメインクラス予測値を参照してソースドメイン特徴値から１または複数の値をフィルタ除去し、ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を計算する１または複数のフィルタリング手段と、ソースドメインクラス予測値を参照して計算されたソースドメイン分類損失、ターゲットドメインクラス予測値を参照して計算されたターゲットドメイン分類損失、および、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算されたグループ損失を参照して、１または複数の特徴抽出手段および１または複数のクラス予測手段のうちの少なくとも１つを更新するための更新手段と、を備える。

【0008】

上記の目的を達成するために、分類装置は、ターゲットドメインデータからターゲットドメイン特徴値を抽出する特徴抽出手段と、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測するクラス予測手段と、を備え、前記特徴抽出手段および前記クラス予測手段のうちの少なくとも１つは、ソースドメイン特徴値から１または複数の値をフィルタ除去することによって得られるフィルタリングされたソースドメイン特徴値と、ターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって得られるフィルタリングされたターゲットドメイン特徴値とを参照して訓練されている。

【0009】

上記の目的を達成するために、訓練方法は、１または複数の特徴抽出手段によって、ソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出することと、１または複数のクラス予測手段によって、ソースドメイン特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測することと、ソースドメインクラス予測値を参照してソースドメイン特徴値から１または複数の値をフィルタ除去し、ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を計算することと、ソースドメインクラス予測値を参照して計算されたソースドメイン分類損失、ターゲットドメインクラス予測値を参照して計算されたターゲットドメイン分類損失、および、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算されたグループ損失を参照して、１または複数の特徴抽出手段および１または複数のクラス予測手段のうちの少なくとも１つを更新することと、を含む。

【0010】

上記の目的を達成するために、分類方法は、特徴抽出手段により、ターゲットドメインデータからターゲットドメイン特徴値を抽出することと、クラス予測手段により、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測することとを含み、特徴抽出手段およびクラス予測手段のうちの少なくとも１つは、ソースドメイン特徴値から１または複数の値をフィルタ除去することによって得られるフィルタリングされたソースドメイン特徴値と、ターゲットドメイン特徴値から１または複数の値をフィルタ除去することによって得られるフィルタリングされたターゲットドメイン特徴値とを参照して訓練されている。

【0011】

上記目的を達成するために、コンピュータを訓練装置として機能させるためのプログラムであって、コンピュータを特徴抽出手段、クラス予測手段、フィルタリング手段、更新手段として機能させるためのプログラム。

【0012】

上記目的を達成するために、分類装置としてコンピュータを機能させるためのプログラムであって、特徴抽出手段及びクラス予測手段としてコンピュータを機能させるためのプログラム。

【発明の効果】

【0013】

本発明の例示的な態様によれば、少量のターゲットドメインラベル付きデータしか利用できない状況であっても、効率的で安定した訓練プロセスを提供することができる。

【図面の簡単な説明】

【0014】

【図1】図１は、第１の例示的実施形態に係る訓練装置の構成を示すブロック図である。

【図2】図２は、第１の例示的実施形態に係る訓練方法の流れを示すフロー図である。

【図3】図３は、第１の例示的実施形態に係る分類装置の構成を示すブロック図である。

【図4】図４は、第１の例示的実施形態に係る分類方法の流れを示すフロー図である。

【図5】図５は、第２の例示的実施形態に係る訓練装置の構成を示す図である。

【図6】図６は、第２の例示的実施形態における入力データの例を示す図である。

【図7】図７は、第２の例示的実施形態におけるグループ損失を模式的に示す図である。

【図8】図８は、第２の例示的実施形態に係る訓練方法の流れを示すフロー図である。

【図9】図９は、第２の例示的実施形態に係る分類装置の構成を示すブロック図である。

【図10】図１０は、第３の例示的実施形態に係る訓練装置の構成を示すブロック図である。

【図11】図１１は、第４の例示的実施形態に係る訓練装置の構成を示す図である。

【図12】図１２は、第４の例示的実施形態におけるドメイン不変性を模式的に示す図である。

【図13】図１３は、第４の例示的実施形態に係る訓練方法の流れを示すフロー図である。

【図14】図１４は、第５の例示的実施形態に係る訓練装置の構成を示すブロック図である。

【図15】図１５は、各例示的実施形態に係るのハードウェア構成を示す構成図である。

【発明を実施するための形態】

【0015】

＜第１の例示的実施形態＞
以下、本発明に係る第１の例示的実施形態について図面を用いて説明する。第１の例示的実施形態は、後続の例示的実施形態の基礎となる実施形態である。

【0016】

（第１の例示的実施形態の概観）
本例示的実施形態に係る訓練装置（学習装置と呼ぶこともある）は、訓練装置に入力されたデータから特徴量を抽出する特徴抽出部を訓練する（学習する、学習させるとも言う）。また、訓練装置は、特徴値（特徴量とも呼ぶ）に基づいて分類を行うクラス予測部を訓練する。

【0017】

本発明の第１の例示的実施形態に係る分類装置は、学習された特徴抽出部と学習されたクラス予測部を備える。

【0018】

第１の例示的実施形態では、ソースドメインに属するデータと、ターゲットドメインに属するデータとが用いられる。ここで、「ドメイン」とは、単にデータセットを概念的に区別するためのものであり、第１の例示的実施形態を限定するものではない。

【0019】

第１の例示的実施形態では、ソースドメインに属するデータのデータサイズの方がターゲットドメインに属するデータのデータサイズよりも大きい。さらに、ソースドメインに属するデータは、ターゲットドメインに属するデータと比較して、より多くのラベル付きデータを含む。ここで、「ラベル付きデータ」という用語は、「グラウンドトゥルース」とラベル付けされたデータを指す。ラベル付きデータは教師付き学習のために、または半教師付き学習のために訓練装置によって使用することができる。

【0020】

本発明の第１の例示的実施形態に係る分類装置は、ターゲットドメインに属するデータに対して分類を行うことを目的とする。第１の例示的実施形態に係る訓練装置はターゲットドメインに属するデータに対する分類の精度を向上させるために、ターゲットドメインに属するデータだけでなく、ソースドメインに属するデータを用いて訓練プロセスを行う。

【0021】

以上のような処理を行う分類装置では、ソースドメインから得られた知識を、ターゲットドメインでのトレーニングにも用いることになる。したがって、第１の例示的実施形態に係る分類装置は、いわゆるドメイン適応を行う分類装置として表現することができる。

【0022】

訓練装置及び分類装置に入力されるデータの種類は、第１の例示的実施形態を限定しない。ただし、ソースドメインに属するデータと、ターゲットドメインに属するデータとは、同じカテゴリに属することが好ましい。

【0023】

一例として、訓練装置および分類装置に入力される、ソースドメインに属するデータおよびターゲットドメインに属するデータは、映像データ、各種センサで得られたセンシングデータ、数値化された言語データ、または他の種類のデータであってもよい。

【0024】

（訓練装置の構成）
次に、第１の例示的実施形態に係る訓練装置１０の構成について、図１を用いて説明する。図１は、訓練装置１０の構成を示すブロック図である。図１に示すように、訓練装置１０は、特徴抽出部１１と、クラス予測部１２と、フィルタ部（フィルタリング部とも呼ぶ）１３と、更新部１４とを備える。第１の例示的実施形態において、特徴抽出部１１、クラス予測部１２、及びフィルタ部１３の個数は１個でもよいし、２個以上でもよい。

【0025】

特徴抽出部１１は、特許請求の範囲に記載の特徴抽出手段の一例である。クラス予測部１２は、特許請求の範囲に記載のクラス予測手段の一例である。フィルタ部１３は、特許請求の範囲に記載のフィルタリング手段の一例である。更新部１４は、特許請求の範囲に記載の更新手段の一例である。

【0026】

特徴抽出部１１には、ソースドメインデータとターゲットドメインデータとが入力される。ここで、ソースドメインデータはソースドメインに属するデータであり、ターゲットドメインデータは、ターゲットドメインに属するデータである。

【0027】

特徴抽出部１１は、ソースドメインデータからソースドメイン特徴値（ソースドメイン特徴量とも呼ぶ）を抽出する。また、特徴抽出部１１は、ターゲットドメインデータからターゲットドメイン特徴値（ターゲットドメイン特徴量とも呼ぶ）を抽出する。

【0028】

ここで、特徴抽出部１１の数が１である場合、特徴抽出部１１がドメインラベルに基づいて、ソースドメインデータとターゲットドメインデータとを判別できるように、ソースドメインデータとターゲットドメインデータとを判別するための当該ドメインラベルを特徴抽出部１１に入力する構成とすることが好ましい。

【0029】

なお、特徴抽出部１１の具体的な構成は、第１の例示的実施形態を限定するものではない。一例として、特徴抽出部１１はＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）であってもよいし、ＲＮＮ（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ）であってもよいし、他のニューラルネットワークや特徴抽出器であってもよい。また、特徴抽出部１１は、学習によらない技術であってもよい。一例として、特徴抽出部１１はＳＩＦＴ（Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、すなわち、画像中の各特徴値をキーポイント（ｘ，ｙ座標）とし、画像ごとの特徴値をキーポイントの集合とする非学習型の特徴抽出手法として実現できる。また、特徴抽出部１１は、手動で選択／設計された（ルールベースの）特徴抽出方法として実現することができる。

【0030】

クラス予測部１２は特徴抽出部１１により抽出されたソースドメイン特徴値からソースドメインクラス予測値を予測し、当該ソースドメインクラス予測値を出力する。また、クラス予測部１２は特徴抽出部１１により抽出されたターゲットドメイン特徴値からターゲットドメインクラス予測値を予測し、当該ターゲットドメインクラス予測値を出力する。

【0031】

なお、クラス予測部１２の具体的な構成は、第１の例示的実施形態を限定するものではない。一例として、クラス予測部１２は（ｉ）ソースドメイン特徴値をある閾値と比較することによりソースドメインクラス予測値を出力し、（ｉｉ）ターゲットドメイン特徴値を別の閾値と比較することによりターゲットドメインクラス予測値を出力するように構成することができる。

【0032】

フィルタ部１３は、ソースドメインクラス予測値を参照して、ソースドメイン特徴値から１つまたは複数の値をフィルタリング（フィルタ除去）することによって、フィルタリングされたソースドメイン特徴値を計算する。また、フィルタ部１３はターゲットドメインクラス予測値を参照して、ターゲットドメイン特徴値から１つ以上の値をフィルタリング（フィルタ除去）することにより、フィルタリングされたターゲットドメイン特徴値を算出する。

【0033】

なお、フィルタ部１３が採用するフィルタ条件は第１の例示的実施形態を限定するものではないが、以下の構成を採用することができる。

【0034】

フィルタ部１３は、ソースドメインクラスラベルデータを受信してもよい。ここで、ソースドメインクラスラベルデータは、特徴抽出部１１が受信したソースドメインデータに対応付けられたグラウンドトゥルースラベルを示す。次いで、フィルタ部１３は、ソースドメインクラス予測値およびソースドメインクラスラベルデータを参照して、ソースドメイン特徴値から１つまたは複数の値をフィルタリングしてもよい。より具体的には、フィルタ部１３は、ソースドメイン特徴量から、ソースドメインクラスラベルデータと一致しない１つ以上の値をフィルタ除去してもよい。

【0035】

また、フィルタ部１３は、ターゲットドメインクラスラベルデータを受信してもよい。ここで、ターゲットドメインクラスラベルデータは、特徴抽出部１１が受信したターゲットドメインデータに対応付けられたグラウンドトゥルースラベルを示す。そして、フィルタ部１３は、ターゲットドメインクラス予測値及びターゲットドメインクラスラベルデータを参照して、ターゲットドメイン特徴値から１つ以上の値をフィルタリングしてもよい。より具体的には、フィルタ部１３は、ターゲットドメイン特徴値から、ターゲットドメインクラスラベルデータと一致しない１つ以上の値をフィルタ除去してもよい。

【0036】

更新部１４は、ソースドメイン分類損失（ソースドメイン分類ロスとも呼ぶ）、ターゲットドメイン分類損失（ターゲットドメイン分類ロスとも呼ぶ）、及びグループ損失（グルーピング損失、グルーピングロスとも呼ぶ）を参照して、特徴抽出部１１及びクラス予測部１２の少なくとも一方を更新する。一例として、更新部１４は、ソースドメイン分類損失、ターゲットドメイン分類損失およびグループ損失を参照してパラメータを更新し、更新されたパラメータを特徴抽出部１１およびクラス予測部１２に提供する。

【0037】

ソースドメイン分類損失は、ソースドメインクラス予測値を参照して計算され得る。一例として、ソースドメイン分類損失は、ソースドメインクラス予測値およびソースドメインクラスラベルデータを参照して計算されてもよい。

【0038】

ターゲットドメイン分類損失は、ターゲットドメインクラス予測値を参照して計算され得る。一例として、ターゲットドメイン分類損失は、ターゲットドメインクラス予測値およびターゲットドメインクラスラベルデータを参照して、計算されてもよい。

【0039】

グループ損失は、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算され得る。

【0040】

グループ損失を計算するための計算アルゴリズムは第１の例示的実施形態を限定するものではないが、以下の構成例を採用することができる。

【0041】

グループ損失は、同じクラス内のフィルタリングされた特徴値を参照して決定されたクラス内距離（intra class metrics）と、異なるクラス内のフィルタリングされた特徴値を参照して決定されたクラス間距離（inter class metrics）とに基づいて計算され得る。

【0042】

（有利な効果）
第１の例示的実施形態によれば、上述したように、更新部１４は、ソースドメイン分類損失及びターゲットドメイン分類損失に加えて、グループ損失も参照して、特徴抽出部１１及びクラス予測部１２の少なくとも一方を更新する。したがって、第１の例示的実施形態によれば、ターゲットドメインラベル付きデータが少量であっても、特徴抽出部１１及びクラス予測部１２を適切に訓練することができる。

【0043】

また、第１の例示的実施形態によれば、上述したように、フィルタ部１３はフィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を算出し、更新部１４は、ソースドメイン分類損失及びターゲットドメイン分類損失に加えて、グループ損失も参照して、特徴抽出部１１およびクラス予測部１２の少なくとも一方を更新する。ここで、上述したように、グループ損失は、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して取得される。

【0044】

したがって、第１の例示的実施形態によれば、ソースドメイン特徴値およびターゲットドメイン特徴値に含まれ得る外れ値をフィルタ部１３でフィルタ除去することができ、特徴抽出部１１の学習処理を不安定化させることがない。

【0045】

したがって、第１の例示的実施形態に係る訓練装置１０は、ターゲットドメインのラベル付きデータが少量であっても、効率的で安定した訓練プロセスを提供することができる。

【0046】

（訓練装置による訓練方法）
次に、第１の例示的実施形態に係る訓練装置１０の訓練方法について、図２を用いて説明する。図２は、訓練装置１０による訓練方法Ｓ１の流れを示すフロー図である。図２に示すように、訓練装置１０は、特徴抽出ステップＳ１１、クラス予測ステップＳ１２、フィルタステップＳ１３、及び更新ステップＳ１４を実行する。

【0047】

（特徴抽出ステップＳ１１）
特徴抽出ステップＳ１１において、特徴抽出部１１はソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出する。

【0048】

（クラス予測ステップＳ１２）
クラス予測ステップＳ１２において、クラス予測部１２はソース領域特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する。

【0049】

（フィルタステップＳ１３）
フィルタステップＳ１３において、フィルタ部１３は、
ソースドメインクラス予測値を参照してソースドメイン特徴値から１つ以上の値をフィルタリング（フィルタ除去）し、
ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１つ以上の値をフィルタリング（フィルタ除去）することによって、
フィルタリングされたソースドメイン特徴値及びフィルタリングされたターゲットドメイン特徴値を出力する。

【0050】

（更新ステップＳ１４）
更新ステップＳ１４において、更新部は、
ソースドメインクラス予測値を参照して算出されたソースドメイン分類損失、
ターゲットドメインクラス予測値を参照して算出されたターゲットドメイン分類損失、及び、
フィルタリングされたソースドメイン特徴値及びフィルタリングされたターゲットドメイン特徴値を参照して算出されたグループ損失
を参照して、特徴抽出部１１及びクラス予測部１２の少なくとも一方を更新する。

【0051】

（有利な効果）
以上説明した訓練装置１０による訓練方法Ｓ１は、少量のターゲットドメインラベル付きデータしか利用できない場合であっても、効率的で安定した訓練プロセスを提供する。

【0052】

（分類装置の構成）
以下、第１の例示的実施形態に係る分類装置２０の構成について、図３を用いて実施例する。図３は、分類装置２０の構成を示すブロック図である。図３に示すように、分類装置２０は、特徴抽出部１１と、クラス予測部１２とを備える。

【0053】

特徴抽出部１１には、ターゲットドメインデータが入力される。特徴抽出部１１は、ターゲットドメインデータからターゲットドメイン特徴値を抽出する。訓練装置１０について説明したように、特徴抽出部１１及びクラス予測部１２の少なくとも一方は、
ソースドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたソースドメイン特徴値と、
ターゲットドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたターゲットドメイン特徴値とを参照して訓練されている。

【0054】

クラス予測部１２は、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する。

【0055】

分類装置２０によれば、特徴抽出部１１及びクラス予測部１２の少なくとも一方は、（ｉ）ソースドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたソースドメイン特徴値と、（ｉｉ）ターゲットドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたターゲットドメイン特徴値とを参照して訓練されている。

【0056】

したがって、第１の実施例の実施の形態に係る分類装置２０は、ターゲットドメインラベル付きデータが少量であっても、好適な分類処理を提供する。

【0057】

（分類装置による分類方法）
次に、第１の例示的実施形態に係る分類装置２０の分類方法について、図４を用いて説明する。図４は、分類装置２０が行う分類方法Ｓ２を示すフロー図である。図４に示すように、分類装置２０は、特徴抽出ステップＳ１１と、クラス予測ステップＳ１２とを実行する。

【0058】

（特徴抽出ステップＳ１１）
特徴抽出ステップＳ１１において、特徴抽出部１１は、ターゲットドメインデータからターゲットドメイン特徴値を抽出する。訓練装置１０について説明したように、特徴抽出部１１及びクラス予測部１２の少なくとも一方は、
ソースドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたソースドメイン特徴値と、
ターゲットドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタリングされたターゲットドメイン特徴値とを参照して訓練されている。

【0059】

（クラス予測ステップＳ１２）
クラス予測ステップＳ１２において、クラス予測部１２は、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する。

【0060】

第１の例示的実施形態に係る分類装置２０による分類方法は、ターゲットドメインラベル付きデータが少量であっても、好適な分類処理を提供する。

【0061】

＜第２の例示的実施形態＞
以下、第２の例示的実施形態について図面を用いて説明する。なお、第１の例示的実施形態で説明した要素と同一の機能を有する要素には同一の符号を付し、その説明は適宜省略する。また、第２の例示的実施形態の概要は、第１の例示的実施形態の概要と同じであるため、ここでは説明しない。

【0062】

（訓練装置の構成）
次に、例示的実施形態に係る訓練装置１０ａの構成について、図５を用いて説明する。図５は、訓練装置１０ａの構成を示すブロック図である。図５に示すように、訓練装置１０ａは、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、第２のクラス予測部１２ｂ、第１のフィルタ部１３ａ、第２のフィルタ部１３ｂ、及び更新部１４ａを備える。

【0063】

第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂは、特許請求の範囲に記載の特徴抽出手段の一例である。第１のクラス予測部１２ａ及び第２のクラス予測部１２ｂは、請求項に記載のクラス予測手段の一例である。第１のフィルタ部１３ａ及び第２のフィルタ部１３ｂは、特許請求の範囲に記載のフィルタリング手段の一例である。更新部１４ａは、特許請求の範囲に記載の更新手段の一例である。

【0064】

第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは、単一の部分（section）として構成することができる。第１のクラス予測部１２ａと第２のクラス予測部１２ｂとは、単一の部分として構成することができる。第１のフィルタ部１３ａと第２のフィルタ部１３ｂとは、単一の部分として構成することができる。

【0065】

また、更新部１４ａは図５に示すように、グルーピング部１４１と、グループ損失計算部１４２と、第１の分類損失計算部１４３ａと、第２の分類損失計算部１４３ｂと、マージ損失計算部１４４と、モデル更新部１４５とを備える。

【0066】

第１の分類損失計算部１４３ａ、第２の分類損失計算部１４３ｂは、１つの部分（section）として構成することができる。

【0067】

（第１の特徴抽出部）
第１の特徴抽出部１１ａには、ソースドメインに属する入力データＩ^Ｓが入力される。入力データＩ^Ｓの具体例は第２の例示的実施形態を限定しないが、入力データＩ^Ｓは１つまたは複数の入力画像であり得る。より具体的には一例として、入力データＩ^Ｓは複数の領域を有する画像であってもよい。別の例として、入力画像データＩ^Ｓは、図６の左側に示されているような一群の画像（batch of images）であってもよい。図６の左側の例ではインプットデータＩ^Ｓが１０枚の画像の群（batch）を含み、その各々は数字または複数の数字を表している。

【0068】

第１の特徴抽出部１１ａは、ソースドメインデータＩ^Ｓから特徴値（特徴量とも呼ぶ）Ｘ^Ｓを抽出する。第１の特徴抽出部１１ａにより抽出された特徴値Ｘ^Ｓは、第１のクラス予測部１２ａ及び第１のフィルタ部１３ａに供給される。

【0069】

なお、第１の特徴抽出部１１ａの具体的な構成は、第２の例示的実施形態を限定するものではない。一例として、第１の特徴抽出部１１ａは畳み込みニューラルネットワーク（ＣＮＮ）であってもよいし、リカレントニューラルネットワーク（ＲＮＮ）であってもよいし、他のニューラルネットワークまたは特徴抽出器のいずれであってもよい。また、第１の特徴抽出部１１ａは、学習によらない技術であってもよい。一例として、第１の特徴抽出部１１ａは、ＳＩＦＴ（Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、すなわち、画像中の各特徴値をキーポイント（ｘ，ｙ座標）とし、画像ごとの特徴値をキーポイントの集合とする非学習型の特徴抽出手法として実現することができる。また、第１の特徴抽出部１１ａは、手動で選択／設計された（ルールベースの）特徴抽出方法として実現することができる。

【0070】

なお、特徴値Ｘ^Ｓの構造は第２の例示的実施形態を限定するものではないが、特徴値Ｘ^Ｓはベクトルの形式で表現されてもよい。より具体的には一例として、Ｘ^Ｓは以下のようなベクトルとして表現されてもよい。

【0071】

【数1】

ここで、Ｘ^Ｓは、入力画像群Ｉ^Ｓの各画像に対応する１０個の要素を有する。特徴値はベクトルとして表現され得るので、特徴値は特徴ベクトルとも呼ばれ得る。

【0072】

なお、第１の特徴抽出部１１ａは、各画像から、複数の実数からなる１個の特徴値を抽出してもよい。したがって、特徴値を特徴ベクトルと呼ぶこともできる。

【0073】

（第２の特徴抽出部）
同様に、第２の特徴抽出部１１ｂには、ターゲットドメインに属する入力データＩ^Ｔが入力される。入力データＩ^Ｔの具体例は第２の例示的実施形態を限定しないが、入力データＩ^Ｔは１つまたは複数の入力画像であり得る。より具体的には一例として、入力データＩ^Ｔは複数の領域を有する画像であってもよい。別の例として、入力画像データＩ^Ｔは、図６の右側に示されているような一群の画像であってもよい。図６の右側の例において、入力データＩ^Ｔは１０個の画像を含み、それぞれが数字または複数の数字を表している。

【0074】

第２の特徴抽出部１１ｂは、ターゲットドメインデータＩ^Ｔから特徴値Ｘ^Ｔを抽出する。第２の特徴抽出部１１ｂにより抽出された特徴値Ｘ^Ｔは、第２のクラス予測部１２ｂ及び第２のフィルタ部１３ｂに供給される。

【0075】

なお、第２の特徴抽出部１１ｂの具体的な構成は、第２の例示的実施形態を限定するものではない。例えば、第２の特徴抽出部１１ｂはＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ）であってもよいし、ＲＮＮ（ｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ）であってもよいし、他のニューラルネットワークや特徴抽出器であってもよい。また、第２の特徴抽出部１１ｂは、非学習型の技術であってもよい。一例として、第２の特徴抽出部１１ｂは、ＳＩＦＴ（Ｓｃａｌｅ－ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）、すなわち、画像中の各特徴量をキーポイント（ｘ，ｙ座標）とし、画像ごとの特徴量をキーポイントの集合とする非学習型の特徴抽出手法として実現することができる。また、第２の特徴抽出部１１ｂは、手動で選択／設計された（ルールベースの）特徴抽出方法として実現することができる。

【0076】

なお、特徴値Ｘ^Ｔの構造は第２の例示的実施形態を限定するものではないが、特徴値Ｘ^Ｔはベクトルの形式で表現されてもよい。より具体的には一例として、Ｘ^Ｔは以下のようなベクトルとして表現されてもよい。

【0077】

【数2】

ここで、Ｘ^Ｔは、入力画像群Ｉ^Ｔの各画像に対応する１０個の要素を有する。なお、第２の特徴抽出部１１ｂは、各画像から、複数の実数からなる１つの特徴値を抽出してもよい。

【0078】

（第１のクラス予測部）
第１のクラス予測部１２ａは第１の特徴抽出部１１ａにより抽出されたソースドメイン特徴量Ｘ^Ｓから、ソースドメインクラス予測値Ｐ^Ｓを予測する。

【0079】

第１のクラス予測部１２ａにより出力されたソースドメインクラス予測値Ｐ^Ｓは、第１のフィルタ部１３ａ及び第１の分類損失計算部１４３ａに供給される。

【0080】

なお、第１のクラス予測部１２ａの具体的な構成は、第２の例示的実施形態を限定するものではない。一例として、ソースドメイン特徴ベクトルＸ^Ｓのそれぞれの要素を所定の閾値と比較することにより、ソースドメインクラス予測値Ｐ^Ｓの対応する要素を決定する構成を採用することができる。

【0081】

具体例として、（Eq.１）に示すようなソースドメイン特徴ベクトルＸ^Ｓから、第１のクラス予測部１２ａは、ソースドメインクラス予測値Ｐ^Ｓを次のようにして出力してもよい。

【0082】

【数3】

ここで、Ｐ^Ｓは、特徴ベクトルＸ^Ｓの各要素に対応する１０個の構成要素を有する。予測値はベクトルとして表現され得るので、予測値は予測ベクトルと呼ばれ得る。

【0083】

（第２のクラス予測部）
第２のクラス予測部１２ｂは第２の特徴抽出部１１ｂにより抽出されたターゲットドメイン特徴値Ｘ^Ｔから、ターゲットドメインクラス予測値Ｐ^Ｔを予測する。

【0084】

第２のクラス予測部１２ｂにより出力されたターゲットドメインクラス予測値Ｐ^Ｔは、第２のフィルタ部１３ｂ及び第２の分類損失計算部１４３ｂに供給される。

【0085】

なお、第２のクラス予測部１２ｂの具体的な構成は、第２の例示的実施形態を限定するものではない。一例として、ターゲットドメイン特徴ベクトルＸ^Ｔの各要素を所定の閾値と比較することにより、ターゲットドメインクラス予測値Ｐ^Ｔの対応する要素を決定する構成を採用することができる。

【0086】

具体例として、（Eq.１）に示すようなターゲットドメイン特徴ベクトルＸ^Ｓから、第２のクラス予測部１２ｂは、ターゲットドメインクラス予測値Ｐ^Ｔを次のようにして出力してもよい。

【0087】

【数4】

ここで、Ｐ^Ｔは、特徴ベクトルＸ^Ｔの各要素に対応する１０個の要素を有する。

【0088】

（第１のフィルタ部）
第１のフィルタ部１３ａは、ソースドメインクラス予測値Ｐ^Ｓを参照して、ソースドメイン特徴値Ｘ^Ｓから１つ以上の値をフィルタ除去することにより、フィルタリングされたソースドメイン特徴値Ｘ’^Ｓを算出する。

【0089】

第１のフィルタ部１３ａで演算された、フィルタリングされたソースドメイン特徴値Ｘ’^Ｓは、グルーピング部１４１に供給される。

【0090】

なお、第１のフィルタ部１３ａが採用するフィルタ条件は第２の例示的実施形態を限定するものではないが、以下の構成を採用することができる。

【0091】

第１のフィルタ部１３ａは、ソースドメインクラスラベルデータＹ^Ｓを受信してもよい。ここで、ソースドメインクラスラベルデータＹ^Ｓは、ソースドメイン入力データＩ^Ｓに関連付けられ、ソースドメイン入力データＩ^Ｓのグラウンドトゥルースラベルを示す。具体的には、入力データＩ^Ｓが図６の左側に示されるような画像データであるとき、ソースドメインクラスラベルデータＹ^Ｓは、以下のように表現されてもよい。

【0092】

【数5】

ここで、Ｙ^Ｓは、入力画像群Ｉ^Ｓの各画像に対応する１０個の要素を有する。クラスラベルデータはベクトルとして表現することができるので、クラスラベルデータはクラスラベルベクトルと呼ぶことができる。

【0093】

そして、第１のフィルタ部１３ａは、（ｉ）ソースドメインクラス予測ベクトルＰ^Ｓの各要素と、（ｉｉ）ソースドメインクラスラベルベクトルＹ^Ｓの各要素とを用いて、ソースドメイン特徴ベクトルＸ^Ｓから１つ以上の要素をフィルタ除去してもよい。より具体的には、第１のフィルタ部１３ａは、ソースドメイン特徴ベクトルＸ^Ｓから、ソースドメインクラスラベルベクトルＹ^Ｓの対応する要素と一致しない１つまたは複数の要素をフィルタ除去することができる。

【0094】

具体例として、（Eq.３）でＰ^Ｓが与えられ、（Eq.５）でＹ^Ｓが与えられた場合、Ｐ^Ｓの構成要素がＹ^Ｓの対応する要素と一致するため、第１のフィルタ部１３ａは、特徴ベクトルの要素をフィルタ除去しなくてもよい。したがって、この具体例では、第１のフィルタ部１３ａによって算出されるフィルタリングされたソースドメイン特徴ベクトルＸ’^Ｓが以下のように表されてもよい。

【0095】

【数6】

（第２のフィルタ部）
第２のフィルタ部１３ｂは、ターゲットドメインクラス予測値Ｐ^Ｔを参照して、ターゲットドメイン特徴値Ｘ^Ｔから１つ以上の値をフィルタ除去することにより、フィルタリングされたターゲットドメイン特徴値Ｘ’^Ｔを算出する。

【0096】

第２のフィルタ部１３ｂで演算された、フィルタリングされたターゲットドメイン特徴値Ｘ’^Ｔは、グルーピング部１４１に供給される。

【0097】

なお、第２のフィルタ部１３ｂが採用するフィルタ条件は第２の例示的実施形態を限定するものではないが、以下の構成を採用することができる。

【0098】

第２のフィルタ部１３ｂは、ターゲットドメインクラスラベルデータＹ^Ｔを受信してもよい。ここで、ターゲットドメインクラスラベルデータＹ^Ｔはターゲットドメイン入力データＩ^Ｔに対応付けられており、ターゲットドメイン入力データＩ^Ｔのグランドトゥルースラベルを示す。具体的な一例として、入力データＩ^Ｔが図６の左側に示されるような画像データであるとき、ターゲットドメインクラスラベルデータＹ^Ｔは、次のように表現されてもよい。

【0099】

【数7】

ここで、Ｙ^Ｔは、入力画像群Ｉ^Ｔの各画像に対応する１０個の要素を有する。

【0100】

そして、第２のフィルタ部１３ｂは、（ｉ）ターゲットドメインクラス予測ベクトルＰ^Ｔの各要素と、（ｉｉ）ターゲットドメインクラスラベルベクトルＹ^Ｔの各要素とを参照して、ターゲットドメイン特徴ベクトルＸ^Ｔから１つ以上の構成要素をフィルタ除去してもよい。より具体的には、第２のフィルタ部１３ｂは、ターゲットドメイン特徴ベクトルＸ^Ｔから、ターゲットドメインクラスラベルベクトルＹ^Ｔの対応する要素と一致しない１つ以上の要素をフィルタ除去してもよい。

【0101】

具体例として、（Eq.４）でＰ^Ｔが与えられ、（Eq.７）でＹ^Ｔが与えられた場合、Ｐ^Ｔの第２成分はＹ^Ｔの第２成分と一致せず、Ｐ^Ｔの第７成分はＹ^Ｔの第７成分と一致しない。

【0102】

したがって、本具体例では、第２のフィルタ部１３ｂは、ターゲットドメイン特徴ベクトルＸ^Ｔの第２要素及び第７要素をフィルタ除去してもよい。したがって、この具体例では、第２のフィルタ部１３ｂによって算出されるフィルタリングされたターゲットドメイン特徴ベクトルＸ’^Ｔが以下のように表されてもよい。

【0103】

【数8】

ここで、取り消し線は、Ｘ’^Ｔのフィルタ除去された成分を示す。

【0104】

（グルーピング部）
グルーピング部１４１はフィルタリングされたのソースドメイン特徴値Ｘ’^Ｓと、フィルタリングされたのターゲットドメイン特徴値Ｘ’^Ｔとから、クラスグループを生成する。ここで各クラスグループは同じクラスラベルを共有する特徴量を含んでいる。

【0105】

具体例として、（Eq.６）でＸ’^Ｓが与えられ、（Eq.８）でＸ’^Ｔが与えられた場合、グルーピング部１４１は、以下のクラスグループ（Ｇｒ０、Ｇｒ１、Ｇｒ２、Ｇｒ３、Ｇｒ４）を出力する。

【0106】

【数9】

ここで、Ｇｒ０は、特徴値が同じクラスラベル０を共有するクラスグループである。Ｇｒ１は、特徴値が同じクラスラベル１を共有するクラスグループである。同様に、Ｇｒ２、Ｇｒ３、Ｇｒ４はそれぞれ、特徴値が同じクラスラベル２、３、４を共有するクラスグループである。

【0107】

（グループ損失計算部）
グループ損失計算部１４２は、グルーピング部１４１が生成したクラスグループを参照して、グループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を算出する。

【0108】

一例として、グループ損失計算部１４２は、（ｉ）同一クラスの特徴量を参照して決定されたクラス内距離と、（ｉｉ）他クラスの特徴量を参照して決定されたクラス間距離とに基づいて、グループ損失を算出する。

【0109】

具体例として、グループ損失計算部１４２は、以下の数式を用いてグループ損失を算出する。

【0110】

【数10】

ここで、全てのソースドメイン特徴値と全てのターゲットドメイン特徴値との和集合における各特徴値ｘについて、その特徴値ｘの「特徴空間におけるクラス内距離の最大値（maximum of intra-class distance in the feature space）」を、特徴値ｘと同じクラスグループに由来する他の任意の特徴値との間の最大距離として算出し、「特徴空間におけるクラス間距離の最小値（minimum of inter-class distance in the feature space）」を、特徴値ｘとは異なるクラスグループに由来する他の任意の特徴値との間の最小距離として算出する。マージン（margin）は、特徴値の最小クラス間距離から特徴値の最大クラス内距離を差し引いた値の許容最小値を示す。以下、（特徴空間におけるクラス間距離の最大値－特徴空間におけるクラス間距離の最小値＋マージン）によって特徴値ごとに算出される値を「個々のグループ損失（individual grouping loss）」と呼ぶ。全体的なグループ損失は、各ソースドメイン特徴値および各ターゲットドメイン特徴値に対する個々のグループ損失の平均として計算される。平均は最初に、すべてのソースドメイン特徴値およびすべてのターゲットドメイン特徴値についての個々のグループ損失の合計を計算し、次いで、その合計を、ソースドメイン特徴値の数とターゲットドメイン特徴値の数との和で除算することによって計算される。

【0111】

より具体的には、（Eq.１０）によるグループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）の計算は次のように表すことができる。

【0112】

グループ損失計算部１４２はまず、特徴値ｘごとに、その特徴値ｘと同じクラスグループからの他の全ての特徴値のうち、特徴空間においてその特徴値ｘから最も遠い他の特徴値を求めてもよい。このタイプのペアは、クラス内ペアと呼ばれることがある。各特徴値のクラス内ペア間の距離は、（Eq.１０）の「特徴空間におけるクラス内距離の最大値（maximum of intra-class distance in the feature space）」に相当する。

【0113】

そして、グループ損失計算部１４２は、特徴値ｘごとに、その特徴値ｘとは異なるクラス群からの他の全ての特徴値のうち、特徴空間においてその特徴値ｘに最も近い他の特徴値を求めてもよい。このタイプのペアは、クラス間ペアと呼ばれることがある。各特徴量のクラス間ペア間の距離は、（Eq.１０）の「特徴空間におけるクラス間距離の最小値（minimum of inter-class distance in the feature space）」に相当する。

【0114】

そして、グループ損失計算部１４２は特徴量ごとに、（特徴空間におけるクラス間距離の最大値）から（特徴空間におけるクラス間距離の最小値）を減算してもよい。

【0115】

そして、グループ損失計算部１４２は、マージンを加算してもよい。マージンを追加することは、（特徴空間におけるクラス間距離の最小値）よりも小さい（特徴空間におけるクラス間距離の最大値）量を少なくとも一定値にすることを意味する（例えば、マージン＝１の場合、各特徴値について、（特徴空間におけるクラス間距離の最大値）が（特徴空間におけるクラス間距離の最小値）よりも少なくとも１単位小さいことを望む）。

【0116】

以上の計算を特徴値毎に行った後、グループ損失計算部１４２は、Ｘ^ＳとＸ^Ｔとの和集合に含まれる全ての特徴値の和を取り得る。

【0117】

そして、グループ損失計算部１４２は、加算結果を、全ての特徴量の数で除算してもよい。全ての特徴量の数は、（Eq.１０）においてｎと表される。具体的な実施例として、（Eq.９）のクラスグループがある場合、ｎ＝１８とすることができる。

【0118】

（第１クラス分類損失計算部）
第１クラス分類損失計算部１４３ａは、（ｉ）ソースドメインクラス予測値Ｐ^Ｓ、（ｉｉ）ソースドメインクラスラベルデータＹ^Ｓを参照して、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）を算出する。

【0119】

一例として、第１クラス分類損失計算部１４３ａは、Ｐ^ＳとＹ^Ｓとの不一致度に応じて、ソースドメイン分類損失を算出する。

【0120】

具体例として、（Eq.３）によりＰ^Ｓが与えられ、（Eq.５）によりＹ^Ｓが与えられた場合、Ｐ^Ｓの全ての成分がＹ^Ｓの対応する成分とそれぞれ合致するため、第１クラス分類損失計算部１４３ａは、以下のようにソースドメイン分類損失を算出する。

【0121】

【数11】

（第２クラス分類損失計算部）
第２クラス分類損失計算部１４３ｂは、（ｉ）ターゲットドメインクラス予測値Ｐ^Ｔ、（ｉｉ）ターゲットドメインクラスラベルデータＹ^Ｔを参照して、ターゲットドメイン分類損失ロス（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）を算出する。

【0122】

一例として、第２クラス分類損失計算部１４３ｂは、Ｐ^ＴとＹ^Ｔとの不一致度に応じて、ターゲットドメイン分類損失を算出する。

【0123】

具体例として、（Eq.４）でＰ^Ｔが与えられ、（Eq.７）でＹ^Ｔが与えられた場合、Ｐ^Ｔの第２成分がＹ^Ｔの第２成分と一致せず、Ｐ^Ｔの第７成分がＹ^Ｔの第７成分と一致しないため、第２クラス分類損失計算部１４３ｂは、以下のようにターゲットドメイン分類損失ロスを計算する。

【0124】

【数12】

（マージ損失計算部）
マージ損失計算部１４４は、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）、ターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）及びグループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を参照して、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を算出する。

【0125】

一例として、マージ損失計算部１４４は、以下のようにマージ損失を算出する。

【0126】

【数13】

ここで、係数α、β、γは、重み係数を表しているが、これは第２の例示的実施形態を限定するものではない。

【0127】

（モデル更新部１４５）
モデル更新部１４５は、マージ損失が収束したか否かを判定する。マージ損失が収束した場合、モデル更新部１４５は、収束したモデルパラメータを記憶媒体に出力する。モデル更新部１４５は、マージ損失値が収束していない場合、マージ損失計算部１４４が算出したマージ損失を参照して、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂのモデルパラメータを更新する。

【0128】

例えば、モデル更新部１４５は、マージ損失が小さくなるようにモデルパラメータを更新する。なお、モデル更新部１４５が採用する更新方法は第２の例示的実施形態を限定するものではないが、モデル更新部１４５は逆伝播法（back propagation method）に従ってモデルパラメータを更新してもよい。

【0129】

モデル更新部１４５により更新されたモデルパラメータは、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂに供給される。

【0130】

（有利な効果）
第２の例示的実施形態によれば、上述したように、モデル更新部１４５は、ソースドメイン分類損失及びターゲットドメイン分類損失に加えて、グループ損失を参照してモデルパラメータを更新する。したがって、第２の例示的実施形態によれば、少量のターゲットドメインラベル付きデータしか利用できない場合であっても、第２の特徴抽出部１１ｂおよび第２のクラス予測部１２ｂを学習することができる。

【0131】

また、第２の例示的実施形態によれば、上述したように、第１のフィルタ部１３ａ及び第２のフィルタ部１３ｂは、フィルタリングされたソースドメイン特徴量及びフィルタリングされたターゲットドメイン特徴量を算出し、モデル更新部１４５は、ソースドメイン分類損失及びターゲットドメイン分類損失に加えて、グループ損失を参照してモデルパラメータを更新する。ここで、上述したように、グループ損失は、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して取得される。

【0132】

したがって、第２の例示的実施形態によれば、ソースドメイン特徴値およびターゲットドメイン特徴値に含まれ得る外れ値は、第１のフィルタ部１３ａおよび第２のフィルタ部１３ｂによってフィルタ除去され、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部、及び第２のクラス予測部１２ｂの学習処理を不安定にしない。

【0133】

以下、図７を参照して上記の特徴について説明する。図７の上半分は、第１のフィルタ部１３ａ及び第２のフィルタ部１３ｂによるフィルタ処理が行われないときのグループ損失を模式的に示す図である。図７の上半分に示すように、第１のフィルタ部１３ａ及び第２のフィルタ部１３ｂでフィルタ処理を行わないと、誤って分類された外れ値の寄与により、グループ損失が不適切に大きくなる。そのため、このようなグループ損失を用いてモデルを更新する場合、損失が収束せず、トレーニングを適切に行うことができない。

【0134】

一方、図７の下半分は、第１のフィルタ部１３ａ及び第２のフィルタ部１３ｂによってフィルタリングが行われたときのグループ損失を模式的に示す図である。図７の下半分に示すように、第１のフィルタ部１３ａおよび第２のフィルタ部１３ｂでフィルタ処理を行うと、誤って分類された外れ値がグループ損失に寄与しない。このように、グループ損失を用いてモデルを更新することで、損失値が収束し、トレーニングを適切に行うことができる。

【0135】

したがって、第２の例示的実施形態に係る訓練装置１０ａは、ターゲットドメインのラベル付きデータが少量であっても、効率的で安定した訓練プロセスを提供することができる。

【0136】

（訓練装置による訓練方法）
以下、第２の例示的実施形態に係る訓練装置１０ａの訓練方法について、図８を用いて実施例する。図８は、訓練装置１０ａによる訓練方法Ｓ１ａの流れを示すフロー図である。

【0137】

（ステップＳ１００）
ステップＳ１００において、訓練装置１０ａは、初期モデルパラメータを受信する。初期モデルパラメータには、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、第２のクラス予測部１２ｂの初期モデルパラメータが含まれる。このステップで受信された初期モデルパラメータは、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂに供給される。

【0138】

（ステップＳ１０ａ）
ステップＳ１０ａにおいて、訓練装置１０ａは、ソースドメインのデータを受信する。より具体的には、訓練装置１０ａは、ソースドメイン入力データＩ^Ｓおよび入力データＩ^Ｓに関連付けられたソースドメインクラスラベルデータＹ^Ｓを受信する。

【0139】

（ステップＳ１０ｂ）
ステップＳ１０ｂにおいて、訓練装置１０ａは、ターゲットドメインのデータを受信する。より具体的には、訓練装置１０ａは、ターゲットドメイン入力データＩ^Ｔ及び入力データＩ^Ｔに関連付けられたターゲットドメインクラスラベルデータＹ^Ｔを受信する。

【0140】

（ステップＳ１１ａ）
ステップＳ１１ａでは、第１の特徴抽出部１１ａがソースドメインデータＩ^Ｓから特徴値Ｘ^Ｓを抽出する。なお、第１の特徴抽出部１１ａが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0141】

（ステップＳ１１ｂ）
ステップＳ１１ｂでは、第２の特徴抽出部１１ｂがターゲットドメインデータＩ^Ｔから特徴値Ｘ^Ｔを抽出する。なお、第２の特徴抽出部１１ｂが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0142】

（ステップＳ１２ａ）
ステップＳ１２ａにおいて、第１のクラス予測部１２ａは、第１の特徴抽出部１１ａにより抽出されたソースドメイン特徴値Ｘ^Ｓからソースドメインクラス予測値Ｐ^Ｓを予測する。なお、第１のクラス予測部１２ａが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0143】

（ステップＳ１２ｂ）
ステップＳ１２ｂにおいて、第２のクラス予測部１２ｂは、第２の特徴抽出部１１ｂが抽出したターゲットドメイン特徴値Ｘ^Ｔから、ターゲットドメインクラス予測値Ｐ^Ｔを予測する。なお、第２のクラス予測部１２ｂが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0144】

（ステップＳ１３ａ）
ステップＳ１３ａにおいて、第１のフィルタ部１３ａは、ソースドメインクラス予測値Ｐ^Ｓを参照して、ソースドメイン特徴値Ｘ^Ｓから１つ以上の値をフィルタ除去することにより、フィルタリングされたソースドメイン特徴値Ｘ’^Ｓを算出する。なお、第１のフィルタ部１３ａによる具体的なプロセスについては、上述したので、ここでは繰り返し説明しない。

【0145】

（ステップＳ１３ｂ）
ステップＳ１３ｂでは、第２のフィルタ部１３ｂは、ターゲットドメインクラス予測値Ｐ^Ｔを参照して、ターゲットドメイン特徴値Ｘ^Ｔから１つ以上の値をフィルタ除去することにより、フィルタリングされたターゲットドメイン特徴値Ｘ’^Ｔを算出する。なお、第２のフィルタ部１３ｂによる具体的なプロセスについては、上述したので、ここでは繰り返し説明しない。

【0146】

（ステップＳ１４１）
ステップＳ１４１では、グルーピング部１４１がフィルタリングされたソースドメイン特徴値Ｘ’^Ｓとフィルタリングされたターゲットドメイン特徴値Ｘ’^Ｔとから、クラスグループを生成して出力する。ここで、各クラスグループは、同じクラスラベルを共有する特徴量を含む。なお、グルーピング部１４１が行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0147】

（ステップＳ１４２）
ステップＳ１４２において、グループ損失計算部１４２は、グルーピング部１４１が生成したクラスグループを参照して、グループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を算出する。なお、グループ損失計算部１４２が行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0148】

（ステップＳ１４３ａ）
ステップＳ１４３ａにおいて、第１クラス分類損失計算部１４３ａは、ソースドメインクラス予測値Ｐ^Ｓ及びソースドメインクラスラベルデータＹ^Ｓを用いて、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）を算出する。なお、第１クラス分類損失計算部１４３ａが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0149】

（ステップＳ１４３ｂ）
ステップＳ１４３ｂにおいて、第２クラス分類損失計算部１４３ｂは、ターゲットドメインクラス予測値Ｐ^ＴとターゲットドメインクラスラベルデータＹ^Ｔとを用いて、ターゲットドメイン分類損失（Lｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）を算出する。なお、第２クラス分類損失計算部１４３ｂが行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0150】

（ステップＳ１４４）
ステップＳ１４４において、マージ損失計算部１４４は、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）、ターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）及びグループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を参照して、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を算出する。なお、マージ損失計算部１４４が行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0151】

（ステップＳ１４５）
ステップＳ１４５において、モデル更新部１４５は、マージ損失が収束したか否かを判定する。マージ損失が収束している場合（ステップＳ１４５でＹＥＳ）、ステップＳ１４７に進む。マージ損失が収束していない場合（ステップＳ１４５でＮＯ）、ステップＳ１４６に進む。

【0152】

（ステップＳ１４６）
ステップＳ１４６において、モデル更新部１４５は、マージ損失計算部１４４が算出したマージ損失を参照して、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂのモデルパラメータを更新する。

【0153】

（ステップＳ１４７）
ステップＳ１４７において、モデル更新部１４５は、マージ損失計算部１４４が算出したマージ損失を参照して、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂのモデルパラメータを記憶媒体に記憶する。

【0154】

なお、訓練方法Ｓ１ａにおけるステップの順序は、第２の例示的実施形態を限定するものではない。例えば、訓練方法Ｓ１ａにおいて、ステップＳ１４３ａ及びステップＳ１４３ｂは、それぞれ、ステップＳ１３ａ及びステップＳ１３ｂよりも先に実行されてもよい。あるいは、ステップＳ１４３ａおよびステップＳ１４３ｂがステップＳ１４１およびステップＳ１４２の少なくともいずれかの後に実行されてもよい。

【0155】

（有利な効果）
以上説明した訓練装置１０ａによる訓練方法Ｓ１ａは、少量のターゲットドメインラベル付きデータしか利用できない場合であっても、効率的で安定した訓練プロセスを提供する。

【0156】

（分類装置の構成）
次に、第２の例示的実施形態に係る分類装置２０ａの構成について、図９を用いて説明する。図９は、分類装置２０ａの構成を示すブロック図である。図９に示すように、分類装置２０ａは、特徴抽出部１１ｂと、クラス予測部１２ｂとを備える。ここで、特徴抽出部１１ｂは、上述した第２の特徴抽出部１１ｂと同様に構成され、クラス予測部１２ｂは、上述した第２のクラス予測部１２ｂと同様に構成される。

【0157】

分類装置２０ａによれば、特徴抽出部１１ｂ及びクラス予測部１２ｂは、（ｉ）ソースドメイン特徴値から１つ以上の値をフィルタリングして得られるフィルタ除去されたソースドメイン特徴値と、（ｉｉ）ターゲットドメイン特徴値から１つ以上の値をフィルタ除去して得られるフィルタリングされたターゲットドメイン特徴値とを参照して学習されている。

【0158】

したがって、第２の例示的実施形態に係る分類装置２０ａは、ターゲットドメインラベル付きデータが少量であっても、好適な分類処理を提供する。

【0159】

（第２の例示的実施形態における留意点）
（備考１：特徴抽出部について）
一構成例において、第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは、完全に独立していてもよい。すなわち、第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは、モデルパラメータも層（レイヤ）も共有しない。

【0160】

別の例示的な構成では、第１の特徴抽出部１１ａおよび第２の特徴抽出部１１ｂがモデルパラメータのうちの１つまたはいくつかを共有してもよい。すなわち、第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは、１又は幾つかの層を共有していてもよい。

【0161】

一例として、第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂは、辺、角等の低レベル特徴が抽出される最初の幾つかの層を共有してもよい。あるいは、第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは上位の特徴や意味論的な意味（semantic meaning）などの抽象的な特徴が抽出される最後の幾つかの層を共有してもよい。

【0162】

更に別の例示的な構成では、第１の特徴抽出部１１ａおよび第２の特徴抽出部１１ｂがモデルパラメータのすべてを共有してもよい。すなわち、第１の特徴抽出部１１ａと第２の特徴抽出部１１ｂとは、全ての層を共有していてもよい。

【0163】

（備考２：クラス予測部について）
一構成例において、第１のクラス予測部１２ａと第２のクラス予測部１２ｂとは、完全に独立していてもよい。すなわち、第１のクラス予測部１２ａおよび第２のクラス予測部１２ｂは、モデルパラメータおよび層を共用しない。

【0164】

別の例示的な構成では、第１のクラス予測部１２ａおよび第２のクラス予測部１２ｂがモデルパラメータのうちの１つまたはいくつかを共有してもよい。すなわち、第１のクラス予測部１２ａおよび第２のクラス予測部１２ｂは、１つまたはいくつかの層を共有してもよい。

【0165】

更に別の例示的な構成では、第１のクラス予測部１２ａおよび第２のクラス予測部１２ｂがすべてのモデルパラメータを共有してもよい。すなわち、第１のクラス予測部１２ａおよび第２のクラス予測部１２ｂは、全ての層を共有してもよい。

【0166】

（備考３：グループ損失について）
グループ損失の計算は、クラスグループ内の２つの特徴間の距離または類似性を計算するための任意の方法によって達成され得る。グループ損失は、Ｌ１ノルム、Ｌ２ノルム、コサイン類似性、または学習などを必要とする何らかの他の尺度であり得る。

【0167】

また、グループ損失計算部１４２はグループ損失を算出した後、グループ損失を［０，１）以内等のより安全な範囲に再スケーリングされるように、グループ損失を再スケーリングする等の何らかの後処理操作を行ってもよい。具体例として、グループ損失計算部１４２はグループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を以下のように再スケーリングすることにより、後処理された（post-processed）グループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ＿ｐｐ）を算出してもよい。

【0168】

【数14】

この再スケーリングは、以下の問題点に鑑みて行われる。すなわち、高品質の特徴値の場合であっても、損失値が計算される距離は依然として非常に大きくなり得、これは大きな損失値をもたらす。安全な範囲内でグループ損失を再スケーリングするには、単純なクリッピング（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ＞１の場合は１を返し、それ以外の場合はＬｏｓｓ＿ｇｒｏｕｐｉｎｇを返す）、または重みλ （λｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）を使用した単純な線形再ウェイト付けなど、さまざまな方法がある。

【0169】

（備考４：マージ損失について）
マージ損失は、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）、ターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）、およびグループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）などのすべてのサブタスク損失の直接和であり得るか、またはサブタスク損失の加重和であり得る。

【0170】

和における重みは、訓練の進行に従って変化し得る（例えば、初期の訓練反復において、分類損失の重みを高くし、次いで、訓練反復の数が増加することにつれて、当該重みが減衰する）。重みは、学習を必要とする重みであってもよい。

【0171】

（備考５：フィルタリングルールについて）
特徴値をフィルタ除去するかどうかを決定するルールは変化し得る。第１の例として、当該ルールは、第１のクラス予測部１２ａまたは第２のクラス予測部１２ｂによって与えられる予測の正確さに依存し得る。

【0172】

より具体的には、ラベルデータ（特徴の真のラベル）が［０，１，１，１］である一方で、同じバッチの特徴に対するクラス予測部によって与えられる予測が［０，１，０，１］である場合、第３の特徴のみが誤って予測されているので、当該第３の特徴のみがフィルタ部によってフィルタ除去され得る。

【0173】

第２の例として、当該ルールは、予測の信頼度に依存し得る。より具体的には、（ｉ）特徴値の真のラベルが［０，１，１，１］であり、同じバッチの特徴値の予測信頼度が［０．７，０．３］、［０．４５，０．５５］、［０．６，０．４］、［０．２，０．８］であり、（ｉｉ）信頼度の閾値が０．６に設定される場合、モデルは第１の特徴について、閾値よりも大きい０．７の信頼性スコア（特徴がその真のクラス（すなわち、インデックス０）に属することの信頼性を示す）を有し、したがって、特徴値を安全に次のステージに渡すことができると判断する。第２の特徴について、モデルは特徴がその真のクラス（すなわち、インデックス１）に属すべきであると確信しているが、確信度は閾値（０．５５＜０．６）よりも低く、したがって、フィルタ部はこの特徴値を拒絶し得る。第３の特徴について、特徴値がその真のクラス（すなわち、インデックス１）に属するという信頼性は０．４のみであり、したがって、この特徴値も拒絶され得る。信頼度の閾値は、手動で選択されてもよく、または学習を必要とする閾値であってもよい。

【0174】

＜第３の実施形態＞
以下、本発明の第３の例示的実施形態について、図面を用いて詳しく説明する。なお、上記例示的実施形態で説明した要素と同一の機能を有する要素には同一の符号を付し、その説明は適宜省略する。さらに、第３の例示的実施形態の概要は、前述の実施例の実施形態の概要と同じであるので、ここでは説明しない。

【0175】

（訓練装置の構成）
次に、第３の例示的実施形態に係る訓練装置１０ｂの構成について、図１０を用いて説明する。図１０は、訓練装置１０ｂの構成を示すブロック図である。図１０に示すように、第３の例示的実施形態では、第１のフィルタ部１３ａにソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）が入力され、第２のフィルタ部１３ｂにターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）が入力される点が第２の実施の形態と相違する。

【0176】

第３の例示的実施形態では、第１のフィルタ部１３ａがさらに、ソースドメイン分類損失を参照する。また、第２のフィルタ部１３ｂは、ターゲットドメイン分類損失を参照する。

【0177】

一例として、第１のフィルタ部１３ａは、（ｉ）ソースドメインクラス予測ベクトルＰ^Ｓの各要素、（ｉｉ）ソースドメインクラスラベルベクトルＹ^Ｓの各要素、および（ｉｉｉ）ソースドメイン分類損失を参照して、ソースドメイン特徴ベクトルＸ^Ｓから１つまたは複数の要素をフィルタ除去してもよい。

【0178】

同様に、第２のフィルタ部１３ｂは、（ｉ）ターゲットドメインクラス予測ベクトルＰ^Ｔの各要素、（ｉｉ）ターゲットドメインクラスラベルベクトルＹ^Ｔの各要素、（ｉｉｉ）ターゲットドメイン分類損失を参照して、ターゲットドメイン特徴ベクトルＸ^Ｔから１つ以上の要素をフィルタ除去してもよい。

【0179】

また、他の例として、ソースドメイン分類損失が閾値ＴＨ１よりも小さいときには、第１のフィルタ部１３ａは訓練プロセス中にオフに切り替えられてもよい。閾値ＴＨ１は、手動で選択することができる。

【0180】

同様に、ターゲットドメイン分類損失が閾値ＴＨ２よりも小さい場合、第２のフィルタ部１３ｂは訓練プロセス中にオフに切り換えられてもよい。閾値ＴＨ２は、ＴＨ１と同じ値であってもよく、同じ値でなくてもよい。閾値ＴＨ２は、手動で選択することができる。

【0181】

いくつかのトレーニング期間（training epochs）の後、ある特徴が誤って分類されたとしても、そのような特徴は、他の特徴からあまり離れておらず、したがって、考慮される価値がある。誤って分類されたが価値のある特徴がグループ損失の計算において使用される段階を決定するために、上で説明したように、分類損失をガイダンスとして使用することが可能である。

【0182】

（有利な効果）
第３の例示的実施形態によれば、誤って分類されたが価値のある特徴を、訓練プロセスにおいて適切に利用することができる。

【0183】

（分類装置の構成）
第３の例示的実施形態に係る分類装置２０ｂは、第２の例示的実施形態に係る分類装置２０ａと同様の構成を有する。ただし、上述したように、第１のフィルタ部１３ａは訓練プロセスにおいてソースドメイン分類損失をさらに参照し、第２のフィルタ部１３ｂは、第３の例示的実施形態における訓練プロセスにおけるターゲットドメイン分類損失をさらに参照する。

【0184】

したがって、第３の例示的実施形態に係る分類装置２０ｂは、好適な分類処理を提供する。

【0185】

＜第４の実施形態＞
以下、本発明の第４の例示的実施形態について、図面を用いて詳しく説明する。なお、上記例示的実施形態で説明した要素と同一の機能を有する要素には同一の符号を付し、その説明は適宜省略する。さらに、第４の例示的実施形態の概要は、前述の例示的実施形態の概要と同じであるので、ここでは説明しない。

【0186】

（訓練装置の構成）
以下、第４の例示的実施形態に係る訓練装置１０ｃの構成について、図１１を用いて説明する。図１１は、訓練装置１０ｃの構成を示すブロック図である。図１１に示すように、訓練装置１０ｃは、第２の例示的実施形態に係る訓練装置１０ａに含まれる構成要素に加えて、ドメイン判別部１５と、ドメイン損失計算部１６とを備える。

【0187】

（ドメイン判別部）
ドメイン判別部１５は、ターゲットドメインとソースドメインとを判別する判別処理を行う。すなわち、ドメイン判別部１５は、特徴がソースドメインからのものであるか、ターゲットドメインからのものであるかを示すドメイン予測を行う。

【0188】

一例として、ドメイン判別部１５は、以下の処理を行う。ドメイン判別部１５は、第１の特徴抽出部１１ａにより抽出されたソースドメイン特徴値Ｘ^Ｓと、第２の特徴抽出部１１ｂにより抽出されたターゲットドメイン特徴値Ｘ^Ｔとを受け取る。そして、ドメイン判別部１５は当該特徴がどの領域に属するかに関する情報を参照せずに、ソースドメイン特徴値Ｘ^Ｓをターゲットドメイン特徴値Ｘ^Ｔから判別する判別処理を行う。そして、ドメイン判別部１５は、判別処理の結果を出力する。

【0189】

具体例として、（Eq.１）により特徴値Ｘ^Ｓが与えられた場合、ドメイン判別部１５は、特徴値Ｘ^Ｓの判別処理の結果ＤＰ^Ｓを次のように出力してもよい。

【0190】

【数15】

また、具体例として、（eq.２）により特徴値Ｘ^Ｔが与えられた場合、ドメイン判別部１５は、特徴値Ｘ^Ｔの判別処理の結果ＤＰ^Ｔを次のようにして出力してもよい。

【0191】

【数16】

（ドメイン損失計算部）
ドメイン損失計算部１６は、ドメイン判別部１５による判別処理の結果を参照して、ドメイン判別損失を算出して出力する。ドメイン判別損失は、単にドメイン損失と呼ばれることもある。

【0192】

一例として、ドメイン損失計算部１６は、（ｉ）ソースドメインのグランドトゥルースドメインラベルを示すソースドメインラベルデータＤ^Ｓと、（ｉｉ）ターゲットドメインのグランドトゥルースドメインラベルを示すターゲットドメインラベルデータＤ^Ｔとを受け取る。具体的には、ソースドメインラベルデータＤ^Ｓ及びターゲットドメインラベルデータＤ^Ｔは、以下のように表されてもよい。

【0193】

【数17】

【数18】

ドメイン損失計算部１６は、（ｉ）ＤＰ^ＳとＤ^Ｓとの不一致度、（ｉｉ）ＤＰ^ＴとＤ^Ｔとの不一致度に応じて、ドメイン損失を算出する。

【0194】

具体例として、（Eq,１５）でＤＰ^Ｓが与えられ、（Eq.１７）でＤ^Ｓが与えられ、（Eq.１６）でＤＰ^Ｔが与えられ、（Eq.１８）でＤ^Ｔが与えられた場合、ＤＰ^Ｓの２つの成分がＤ^Ｓの対応する成分と異なり、ＤＰ^Ｔの４つの成分がＤ^Ｔの対応する成分と異なるため、ドメイン損失計算部１６は以下のようにドメイン消失（Ｌｏｓｓ＿ｄｏｍａｉｎ）を計算する。

【0195】

【数19】

（マージ損失計算部）
第４の例示的実施形態に係るマージ損失計算部１４４は、ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）、ターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）、グループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）、及びドメイン損失（Ｌｏｓｓ＿ｄｏｍａｉｎ）を参照して、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を算出する。

【0196】

一例として、第４の例示的実施形態に係るマージ損失計算部１４４は、マージ損失を以下のように算出する。

【0197】

【数20】

ここで、係数α、β、γ、δは、重み係数を示している。これらの重み係数の具体的な値は第４の例示的実施形態を限定するものではない。ここで、ドメイン損失の前の符号はマイナスであることに留意されたい。これは、抽出された特徴がドメイン判別部による結果の正確性を低下させるように、モデル更新部１４５が、第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂのモデルパラメータを更新することを意味する。すなわち、モデル更新部１４５は抽出された特徴がドメイン判別部１５を混乱させるように、第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂのモデルパラメータを更新する。

【0198】

また、モデル更新部１４５は、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ及び第２のクラス予測部１２ｂに加えて、ドメイン判別部１５のモデルパラメータを、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を参照して更新してもよい。

【0199】

また、モデル更新部１４５は、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を参照して、第１の特徴抽出部１１ａ、第２の特徴抽出部１１ｂ、第１のクラス予測部１２ａ、及び第２のクラス予測部１２ｂを更新することに加えて、ドメイン損失（Ｌｏｓｓ＿ｄｏｍａｉｎ）を参照してドメイン判別部１５を更新してもよい。

【0200】

（訓練装置による訓練）
訓練装置１０ｃは訓練の観点から、以下の処理を行う。まず、訓練装置１０ｃは、特徴がソースドメインからのものであるか、ターゲットドメインからのものであるかをドメイン判別部１５が判別できるように、ドメイン判別部１５を訓練する。第２に、訓練装置１０ｃは、第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂを、訓練されたドメイン判別部１５が混乱し得る特徴を抽出するように訓練する。

【0201】

上記の処理を反復することによって、訓練装置１０ｃは、十分に訓練されたドメイン判別部１５が、特徴がソースドメインからのものであるか、またはターゲットドメインからのものであるかを判別することができない状況を達成することができる。これは、特徴が非常に良好なドメイン混同特性、すなわちドメイン不変特性を有することを意味する。

【0202】

図１２は、第１の特徴抽出部１１ａ及び第２の特徴抽出部１１ｂが訓練装置１０ｃによる学習によりドメイン不変性を実現するプロセスを模式的に示す図である。図１２に示すように、トレーニングの初期の特徴空間に別々に存在する特徴が、トレーニングの後期の特徴空間においては別々に存在しないようになる。このように、ドメイン不変性が、訓練装置１０ｃによって実行される訓練によって達成される。

【0203】

（有利な効果）
以上説明したように、第４の例示的実施形態によれば、訓練装置１０ｃは、抽出された特徴Ｘ^Ｓ及びＸ^Ｔのドメイン不変性を実現することができる。これは、好ましいターゲットドメインの特性をもたらす。

【0204】

したがって、第４の例示的実施形態によれば、訓練装置１０ｃは、少量のターゲットドメインラベルデータしか利用できない場合であっても、効率的で安定した訓練プロセスを提供する。

【0205】

（訓練装置による訓練方法）
以下、第４の例示的実施形態に係る訓練装置１０ｃの訓練方法について、図１３を用いて説明する。図１３は、訓練装置１０ｃによる訓練方法Ｓ１ｃの流れを示すフロー図である。

【0206】

図１３に示すように、第４の例示的実施形態に係る訓練方法Ｓ１ｃは、第２の例示的実施形態に係る訓練方法Ｓ１ａに含まれる各ステップに加えて、ステップＳ１５及びステップＳ１６を含む。以下では、第４の例示的実施形態に係る訓練方法Ｓ１ｃと、第２の例示的実施形態に係る訓練方法Ｓ１ａとの相違点についてのみ説明する。

【0207】

（ステップＳ１５）
ステップＳ１５において、ドメイン判別部１５は、ターゲットドメインをソースドメインから判別するドメイン判別処理を行う。ドメイン判別部１５が行う具体的な処理については、上述したので、ここでは繰り返さない。

【0208】

（ステップＳ１６）
ステップＳ１６において、ドメイン損失計算部１６は、ドメイン判別部１５による判別処理の結果を参照して、ドメイン判別損失を算出して出力する。ドメイン損失計算部１６が行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0209】

（ステップＳ１４４）
ステップＳ１４４において、第４の例示的実施形態に係るマージ損失計算部１４４は、（ｉ）ソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）、（ｉｉ）ターゲットドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）、（ｉｉｉ）グループ損失（Ｌｏｓｓ＿ｇｒｏｕｐｉｎｇ）、（ｉｖ）ドメイン損失（Ｌｏｓｓ＿ｄｏｍａｉｎ）を参照して、マージ損失（Ｌｏｓｓ＿ｍｅｒｇｅ）を算出する。なお、マージ損失計算部１４４が行う具体的な処理については、上述したので、ここでは繰り返し説明しない。

【0210】

なお、訓練方法Ｓ１ｃにおけるステップの順序は、第４の例示的実施形態を限定するものではない。例えば、訓練方法Ｓ１ｃにおいて、ステップＳ１５及びステップＳ１６は、少なくともステップＳ１３ａ、ステップＳ１３ｂ、ステップＳ１４１及びステップＳ１４２のいずれかの前に実行されてもよい。

【0211】

（有利な効果）
第４の例示的実施形態によれば、訓練方法Ｓ１ｃは、少量のターゲットドメインラベル付きデータしか利用できない場合であっても、効率的で安定した訓練プロセスを提供する。

【0212】

（分類装置の構成）
以下、第４の例示的実施形態に係る分類装置の構成について説明する。第４の例示的実施形態に係る分類装置２０ｃは、図９に示す分類装置２０ａと同様の構成を有する。

【0213】

第４の例示的実施形態によれば、訓練装置１０ｃは、抽出された特徴Ｘ^ＳおよびＸ^Ｔのドメイン不変性を達成する。これは、好ましいターゲットドメインの特性をもたらす。

【0214】

したがって、第４の例示的実施形態に係る分類装置２０ｃは、ターゲットドメインラベル付きデータが少量であっても、好適な分類処理を提供する。

【0215】

（第４の実施例実施形態における留意点）
ドメイン損失を計算するために、クラスラベルは必要ない。したがって、訓練装置１０ｃはラベル付けされたターゲットドメインデータのみを使用する代わりに、（クラスラベルの意味で）ラベル付けされていないターゲットデータを使用することもできる。データがターゲットデータセットからのものである限り、訓練装置１０ｃは、データのドメインラベルが「ターゲット」であることを知ることができる。

【0216】

（クラスラベルの意味で）ラベル付けされていないターゲットデータを含めることによって、上述のドメイン不変特徴をより一般化することができる。特徴は、ラベルデータのすべての部分に対してドメイン不変であるだけでなく、ラベル付けされていないターゲットデータのすべての部分に対してドメイン不変であってもよい。

【0217】

（クラスラベルの意味で）ラベル付けされていないターゲットデータを使用する上記の構成は、制限された量のクラスラベル付けされたターゲットデータが利用可能である状況において、ドメイン不変特性を適切に達成することができる。

【0218】

＜第５の実施形態＞
以下、本発明の第５の例示的実施形態について、図面を用いて詳しく説明する。なお、上記例示的実施形態で説明した要素と同一の機能を有する要素には同一の符号を付し、その説明は適宜省略する。さらに、第５の例示的実施形態の概要は、前述の実施例の実施形態の概要と同じであるので、ここでは説明しない。

【0219】

（訓練装置の構成）
次に、第５の例示的実施形態に係る訓練装置１０ｄの構成について、図１４を用いて説明する。図１４は、訓練装置１０ｄの構成を示すブロック図である。図１４に示すように、第５の例示的実施形態に係る訓練装置１０ｄは、第１のフィルタ部１３ａにソースドメイン分類損失（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｓ）が入力され、第２のフィルタ部１３ｂにターゲットドメイン分類損（Ｌｏｓｓ＿ｃｌａｓｓｉｆｉｃａｔｉｏｎ＿Ｔ）が入力される点で、第４の例示的実施形態に係る訓練装置１０ｃと相違する。

【0220】

すなわち、第５の例示的実施形態に係る訓練装置１０ｄは、第３の例示的実施形態で説明した構成と、第４の例示的実施形態で説明した構成との両方を備える。

【0221】

したがって、第５の例示的実施形態に係る訓練装置１０ｄは、第３の例示的実施形態の構成による効果と、第４の例示的実施形態の構成による効果との両方を奏する。

【0222】

（分類装置の構成）
第５の例示的実施形態に係る分類装置２０ｄは、図９に示す分類装置２０ａと同様の構成を有する。第５の例示的実施形態に係る訓練装置１０ｄは、第３の例示的実施形態で説明した構成と、第４の例示的実施形態で説明した構成との両方を備える。また、第５の例示的実施形態に係る分類装置２０ｄは、訓練装置１０ｄによって訓練された特徴抽出部１１ｂと、クラス予測部１２ｂとを備える。

【0223】

したがって、第５の例示的実施形態に係る分類装置２０ｄは、第３の例示的実施形態に係る分類装置２０ｂによる効果と、第４の例示的実施形態に係る分類装置２０ｃによる効果との両方を奏する。

【0224】

＜ソフトウェアで実現する構成例＞
訓練装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄ及び分類装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄの機能の一部又は全部はＩＣチップ（ｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ）等のハードウェアで実現してもよいし、ソフトウェアで実現してもよい。

【0225】

後者の場合、訓練装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄ及び分類装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄは、例えば、上述した機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。図１５は、このようなコンピュータ（以下、「コンピュータＣ」という）の一例を示す。コンピュータＣは、少なくとも１つのプロセッサＣ１および少なくとも１つのメモリＣ２を含む。メモリＣ２は、コンピュータＣを訓練装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄ及び分類装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄのいずれかとして機能させるためのプログラムＰを記憶する。コンピュータＣでは、プロセッサＣ１がメモリＣ２からプログラムＰを読み出して実行することにより、訓練装置１０，１０ａ，１０ｂ，１０ｃ，１０ｄ及び分類装置２０，２０ａ，２０ｂ，２０ｃ，２０ｄの機能が実現される。

【0226】

プロセッサＣ１としては、例えば、ＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌｓｉｇｎａｌｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（ｍｉｃｒｏｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、ＦＰＵ（ｆｌｏａｔｉｎｇｐｏｉｎｔｎｕｍｂｅｒｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）、ＰＰＵ（ｐｈｙｓｉｃｓｐｒｏｃｅｓｓｉｎｇｕｎｉｔ。メモリＣ２は、一実施例として、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ＳＳＤ（ｓｏｌｉｄｓｔａｔｅｄｒｉｖｅ）、又はこれらの組合せとすることができる。

【0227】

なお、コンピュータＣは、プログラムＰの実行時にプログラムＰがロードされ、各種のデータが一時的に記憶されるＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）をさらに備えていてもよい。また、コンピュータＣは、他の装置との間でデータの送受信を行うための通信インタフェースをさらに備えることができる。また、コンピュータＣは、キーボード、マウス、ディスプレイ、プリンタ等の入出力装置を接続するための入出力インタフェースをさらに備えることができる。

【0228】

プログラムＰは、コンピュータＣが読み取り可能な非一時的な有形の記憶媒体Ｍに格納することができる。記憶媒体Ｍは、一例として、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などである。コンピュータＣは、記憶媒体Ｍを介してプログラムＰを取得することができる。プログラムＰは、伝送媒体を介して伝送されてもよい。伝送媒体は、一例として、通信網、放送波等である。コンピュータＣは、このような伝送媒体を介してもプログラムＰを取得することができる。

【0229】

［補足備考１］
本発明は、前述の例示的実施形態に限定されず、特許請求の範囲内で当業者によって様々な方法で変更され得る。例えば、上記例示的実施形態に開示されている技術的手段を適宜組み合わせて得られる例示的実施形態についても、本発明の技術的範囲に含まれる。

【0230】

［補足備考２］
上述の例示的実施形態の全部または一部は、以下のように表現することもできる。ただし、本発明は以下の例示的態様に限定されない。

【0231】

［補足］
本発明の態様は、以下のように表すこともできる：
（態様１）
ソースドメインデータからソースドメイン特徴値を抽出し、ターゲットドメインデータからターゲットドメイン特徴値を抽出する１または複数の特徴抽出手段と、
ソースドメイン特徴値からソースドメインクラス予測値を予測し、ターゲットドメイン特徴値からターゲットドメインクラス予測値を予測する１または複数のクラス予測手段と、
ソースドメインクラス予測値を参照してソースドメイン特徴値から１または複数の値をフィルタ除去し、
ターゲットドメインクラス予測値を参照してターゲットドメイン特徴値から１または複数の値をフィルタ除去すること
によって、フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を計算する１または複数のフィルタリング手段と、
ソースドメインクラス予測値を参照して計算されたソースドメイン分類損失、
ターゲットドメインクラス予測値を参照して計算されたターゲットドメイン分類損失、および、
フィルタリングされたソースドメイン特徴値およびフィルタリングされたターゲットドメイン特徴値を参照して計算されたグループ損失
を参照して、前記１または複数の特徴抽出手段および前記１または複数のクラス予測手段のうちの少なくとも１つを更新するための更新手段と、
を備える訓練装置。

【0232】

上記構成によれば、少量のターゲットドメインラベル付きデータしか利用できない場合であっても、効率的で安定した訓練プロセスを提供することができる。
（態様２）
前記１または複数のフィルタリング手段は、
前記ソースドメインクラス予測値およびソースドメインクラスラベルデータを参照して、前記ソースドメイン特徴値から１または複数の値をフィルタ除去し、
前記ターゲットドメインクラス予測値およびターゲットドメインクラスラベルデータを参照して、前記ターゲットドメイン特徴値から１又は複数の値をフィルタ除去する、態様１に記載の訓練装置。

【0233】