特許 7501151 モデルの正確性及びロバスト性の推定方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】モデルの正確性及びロバスト性の推定方法及びその装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240611BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2020109856

(22)【出願日】2020-06-25

(65)【公開番号】P2021043950

(43)【公開日】2021-03-18

【審査請求日】2023-03-09

(31)【優先権主張番号】201910842132.1

(32)【優先日】2019-09-06

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジョオン・チャオリアン

(72)【発明者】

【氏名】夏 文升

(72)【発明者】

【氏名】シ・ズチアン

(72)【発明者】

【氏名】孫 俊

【審査官】坂庭 剛史

(56)【参考文献】

【文献】国際公開第２０１７／１８３５４８（ＷＯ，Ａ１）

【文献】特開２０１０－０９２２６６（ＪＰ，Ａ）

【文献】特開２０１８－１６９９９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する方法であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、を含む、方法。

【請求項2】

前記パラメータは、密度比であり、
前記密度比は、前記第２データセットにおけるサンプルの確率密度と前記第１データセットにおけるサンプルの確率密度との比を表す、請求項１に記載の方法。

【請求項3】

シフト補償ネットワーク（ＳＣＮ）に基づいて前記密度比を決定する、請求項２に記載の方法。

【請求項4】

前記シフト補償ネットワークは、第１識別器及び第２識別器を含み、
前記第１識別器の訓練条件は、損失を最大化することであり、
前記第２識別器の訓練条件は、損失を最小化することである、請求項３に記載の方法。

【請求項5】

前記シフト補償ネットワークは、特徴抽出器をさらに含み、
互いに敵対的な方法で前記特徴抽出器と前記第２識別器を訓練する、請求項４に記載の方法。

【請求項6】

前記シフト補償ネットワークの第１識別器の出力に基づいて前記密度比を決定する、請求項５に記載の方法。

【請求項7】

前記第１データセットにおけるサンプルについて、前記モデルの分類結果と前記サンプルのラベルとが同一である場合、前記正確性スコアは１であり、そうでない場合、前記正確性スコアは０である、請求項６に記載の方法。

【請求項8】

前記シフト補償ネットワークは、分類器をさらに含み、
分類損失と第２識別損失との組み合わせ関数を最小化することで、前記分類器及び前記特徴抽出器のパラメータを更新する、請求項５に記載の方法。

【請求項9】

第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する方法であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、
前記モデルの前記第１データセットに対する正確性及び前記モデルの前記第２データセットに対する推定正確性に基づいて、前記モデルのロバスト性を推定するステップと、を含む、方法。

【請求項10】

第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する装置であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するパラメータ計算部と、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算する正確性スコア計算部と、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する重み付け正確性スコア計算部と、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算する推定正確性計算部と、を含む、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人口知能のためのモデルの評価に関し、特にモデルの正確性及びロバスト性の推定方法及びその装置に関する。

【背景技術】

【0002】

深層学習技術の発展に伴い、人工知能（ＡＩ）モデルは、例えば自動運転、顔認識、手書き文字認識、健康管理などの様々なシナリオに幅広く適用されている。実際のシナリオにＡＩモデル（本開示では、「モデル」とも略称される）が適用される場合、モデルの品質は重要である。

【0003】

モデルの品質を表すパラメータは、モデルの正確性を含む。モデルの正確性は、例えば、オブジェクトとなるデータセットについて、モデルの出力結果における正確な出力結果の数と出力結果の総数との比率として定義されている。

【0004】

図１は従来のモデルの正確性の決定方法１０を示すフローチャートである。ステップＳ１０１において、ソースデータセットから選択された訓練セットを用いてモデルを訓練する。ステップＳ１０３において、ソースデータセットから選択されたテストセットを用いてモデルをテストする。ステップＳ１０５において、テスト結果に基づいてモデルの正確性を決定する。ここで、モデルは訓練後のモデルを意味し、テストセットにおけるサンプルはラベルが割り当てられているため、モデルから出力されたテスト結果がラベルに対して正確であるか否かを決定することができる。好ましくは、テストセットにおけるデータは、訓練セットに出現されていないデータである。ソースデータセットは、正確性が最も良いモデルを選択するための検証セットをさらに含んでもよい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。

【0006】

発明者は、モデルの正確性について以下の考えを持っている。図１の説明から分かるように、厳密に言えば、上記のモデルの正確性は、実際に特定のソースデータセットに対するものである。ソースデータセットのデータを用いて訓練されたモデルは、通常、分析すべきターゲットデータセットを処理し、例えばターゲットデータセットにおけるサンプルの分類結果を出力する。実際の応用シナリオでは、通常、ソースデータセットとターゲットデータセットとの間にはデータ偏差がある。これにより、モデルのソースデータセットに対する正確性とモデルのターゲットデータセットに対する正確性とが異なり、通常、正確性が低くなり、例えば前者の正確性が９５％であり、後者の正確性が８０％である。このため、高い正確性を有するモデルを選択するように、モデルを用いて分析すべきターゲットデータセットを処理する前に、各モデルのターゲットデータセットに対する正確性を推定することが望ましい。しかし、ターゲットデータセットは分析対象であり、ラベルが付けされていないため、モデルのターゲットデータセットに対する正確性を直接決定することは困難である。

【0007】

本発明の発明者の発見により、確率密度比に基づいてソースデータセットを用いてモデルのターゲットデータセットに対する正確性を推定することができる。それに応じて、該正確性に基づいてモデルのロバスト性を推定することができる。本開示におけるモデルのロバスト性は、モデルのデータ偏差に対するロバスト性、即ちモデルの汎化能力を意味する。

【0008】

本開示は、モデルの正確性及びロバスト性の推定方法及びその装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の１つの態様では、第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する方法であって、前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、を含む、方法を提供する。

【0010】

本開示の１つの態様では、第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する方法であって、前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、前記モデルの前記第１データセットに対する正確性及び前記モデルの前記第２データセットに対する推定正確性に基づいて、前記モデルのロバスト性を推定するステップと、を含む、方法を提供する。

【0011】

本開示の１つの態様では、分類のためのモデルの総合的なロバスト性を推定する方法であって、複数の第２データセットを提供するステップと、複数の第２データセットの各第２データセットについて、上記の方法を用いてロバスト性を推定するステップと、該第２データセットとモデルを訓練するための第２データセットとの分布偏差を決定するステップと、取得された複数のロバスト性及び複数の分布偏差に基づいて総合的なロバスト性を決定するステップと、を含む、方法を提供する。

【0012】

本開示の１つの態様では、第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する装置であって、前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するパラメータ計算部と、前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算する正確性スコア計算部と、前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する重み付け正確性スコア計算部と、前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算する推定正確性計算部と、を含む、装置を提供する。

【0013】

本開示のもう１つの態様では、第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する装置であって、前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するパラメータ計算部と、前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算する正確性スコア計算部と、前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する重み付け正確性スコア計算部と、前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算する推定正確性計算部と、前記モデルの前記第１データセットに対する正確性及び前記モデルの前記第２データセットに対する推定正確性に基づいて、前記モデルのロバスト性を推定するロバスト性推定部と、を含む、装置を提供する。

【0014】

本開示のもう１つの態様では、プログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記プログラムがコンピュータにより実行される際に、コンピュータに上記の方法を実現させる、記憶媒体を提供する。

【0015】

本開示の方法、装置及び記憶媒体によれば、モデルの正確性及びロバスト性を便利、正確、効果的に推定することができる。

【図面の簡単な説明】

【0016】

本開示の原理及び利点を理解させるために、図面を参照しながら本開示の各実施例を説明する。全ての図面において、同一又は類似の符号で同一又は類似の構成部を示している。ここで説明される図面は、好ましい実施例を例示するためのものであり、全ての可能な実施例ではなく、本開示の範囲を限定するものではない。

【図1】従来のモデルの正確性の決定方法の一例を示すフローチャートである。

【図2】本開示の１つの実施例に係るソースデータセットを用いて訓練された分類のためのモデルのターゲットデータセットに対する推定正確性の推定方法を示すフローチャートである。

【図3】本開示の１つの実施例に係る改善されたシフト補償ネットワークの一例を示す図である。

【図4】本開示の１つの実施例に係る改善されたシフト補償ネットワークの訓練プロセスを示すフローチャートである。

【図5】本開示の１つの実施例に係るソースデータセットに基づいて訓練された分類のためのモデルのロバスト性の推定方法を示すフローチャートである。

【図6】本開示の１つの実施例に係る分類のためのモデルの総合的なロバスト性の推定方法を示すフローチャートである。

【図7】本開示の１つの実施例に係る正確性の推定装置の構成を示すブロック図である。

【図8】本開示の１つの実施例に係るロバスト性の推定装置の構成を示すブロック図である。

【図9】本開示の１つの実施例に係る情報処理装置の一例を示すブロック図である。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。

【0018】

なお、本開示を明確にするために、図面には本開示に密に関連する装置の構成要件又は処理のステップのみが示され、本開示と関係のない細部が省略されている。

【0019】

また、本開示は、図面を参照しながら説明された実施形態に限定されない。本開示では、実施例を互いに組み合わせてもよいし、異なる実施例の特徴を置き換え又は利用してもよいし、実施例における１つ又は複数の特徴を省略してもよい。

【0020】

本発明の原理を説明するために、以下は、まず正確性の表現式を説明する。

【0021】

発明者の検討により、以下の式（１）が分かった。

【数1】

【0022】

ここで、ｘはサンプルであり、分類のためのモデルｆはサンプルｘを処理し、出力された分類結果はｆ（ｘ）であり、ｙはサンプルｘのラベル（即ちサンプルｘの真の分類）であり、Ｄ_Ｔはターゲットデータセットであり、ａｃｃ_{ｔａｒｇｅｔ}はモデルｆのターゲットデータセットに対する推定正確性であり、Ｄ_Ｓはソースデータセットであり、ｒ（ｘ）は確率密度比であり、Ｅ［］は期待値（後述するＥ［］は全て期待値を意味する）であり、即ち、括弧内の表現式の算術平均値である。

【数2】

【0023】

ここで、ｐ（ｘ）はソースデータセットの入力サンプルの確率分布であり、ｑ（ｘ）はターゲットデータセットの入力サンプルの確率分布である。

【数3】

【0024】

式（３）ではｓｉｇｎ（）の関数値を１又は０に設定するが、当業者が分かるように、他の値に設定してもよく、ロバスト性、正確性の計算式をそれに応じて適宜調整してもよい。

【0025】

正確性に加えて、本発明は、正確性に関連するロバスト性にも関する。以下は、本発明に係るロバスト性を説明する。

【0026】

汎化能力を表すロバスト性の概念により、本発明は、ターゲットデータセットＤ_Ｔについてのロバスト性Ｒを式（４）に定義している。

【数4】

【0027】

ここで、ｍｉｎ（）は括弧内の数値から最小値を選択する関数であり、ａｃｃ_{ｓｏｕｒｃｅ}はモデルｆのソースデータセットＤ_Ｓに対する正確性である。

【0028】

モデルｆのソースデータセットＤ_Ｓに対する正確性ａｃｃ_{ｓｏｕｒｃｅ}は、式（５）として表されてもよい。

【数5】

【0029】

式（１）、（４）を参照すると、式（６）を取得することができる。

【数6】

【0030】

以上から分かるように、モデルのソースデータセットに対する第２正確性ａｃｃ_{ｓｏｕｒｃｅ}及び推定正確性ａｃｃ_{ｔａｒｇｅｔ}のうちの小さい正確性と第１正確性との比に基づいて、モデルのロバスト性を決定することができる。

【0031】

本開示の１つの実施例は、ソースデータセット（即ち第１データセット、より具体的には、ソースデータセットから選択されたデータにより構成された訓練セット）を用いて訓練された分類のためのモデルのターゲットデータセット（即ち第２データセット）に対する推定正確性を推定する方法を提供する。以下は、図２を参照しながら該方法を例示的に説明する。

【0032】

図２は本開示の１つの実施例に係るソースデータセットを用いて訓練された分類のためのモデルのターゲットデータセットに対する推定正確性の推定方法２０を示すフローチャートである。

【0033】

ステップＳ２０１において、ソースデータセットにおけるサンプルのターゲットデータセットに出現する可能性を表すパラメータを計算する。一例では、該パラメータは、確率密度比ｒ（ｘ）である。確率密度比について、図２を説明した後にさらに説明する。

【0034】

ステップＳ２０３において、モデルのソースデータセットにおけるサンプルに対する正確性スコアを計算する。一例では、該正確性スコアは、ｓｉｇｎ（ｆ（ｘ），ｙ）であってもよい。

【0035】

ステップＳ２０５において、算出されたパラメータを重みとし、算出された正確性スコアに基づいて、モデルのソースデータセットにおけるサンプルに対する重み付け正確性スコアを計算する。一例では、該重み付け正確性スコアは、ｒ（ｘ）・ｓｉｇｎ（ｆ（ｘ），ｙ）であってもよい。

【0036】

ステップＳ２０７において、重み付け正確性スコアに基づいて、モデルのソースデータセットに対する調整後の正確性を、モデルのターゲットデータセットに対する推定正確性として計算する。一例では、該推定正確性の表現式は、Ｅ_{（ｘ，ｙ）～Ｄｓ}［ｒ（ｘ）・ｓｉｇｎ（ｆ（ｘ），ｙ）］である。なお、推定方法２０では、ターゲットデータセットのサンプルは、ラベルを有しない。

【0037】

推定方法２０は、密度比ｒ（ｘ）を用いる必要がある。確率密度比ｒ（ｘ）が正確になるほど、推定正確性が正確性の真の値に近くなる。本発明では、例えばカーネル密度推定（ＫＤＥ：ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ）、識別式推定（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｅｓｔｉｍａｔｉｏｎ）、ＫＬ重要度推定（ＫＬ ｉｍｐｏｒｔａｎｃｅ ｅｓｔｉｍａｔｉｏｎ）、ＫＭＭ（ｋｅｒｎｅｌ ｍｅａｎ ｍａｔｃｈｉｎｇ）、ミニマックス最適化（ｍｉｎｉｍａｘ ｏｐｔｉｍｉｚａｔｉｏｎ）などの様々な従来方法を用いてｒ（ｘ）を推定してもよい。しかし、これらの方法は、全てのデータを一括的にロードして処理する必要があるため、小さなデータセットにのみ適している。一方、深層学習及びビッグデータの時代では、データセットは通常非常に大きい。従来方法は、このような大きなデータセットを処理することは困難であり、処理できない場合もある。

【0038】

従って、本発明の１つの実施例では、シフト補償ネットワーク（ＳＣＮ）に基づく確率密度比の推定方法を用いて、データセット、特に大きなデータセットについて、確率密度比を推定する。該方法は、反復的に行うものであるため、大きなデータセットを処理することができる。反復ごとに、１つのバッチのデータのみをロードして処理すればよい。

【0039】

シフト補償ネットワークは、特徴抽出器Ｇ、識別器Ｄ及び分類器Ｃを含む。特徴抽出器Ｇは、ソースデータセット及びターゲットデータセットにおけるサンプルから特徴を抽出する。識別器Ｄは、ソースデータセットのサンプルとターゲットデータセットのサンプルとを最大限に区別する。分類器Ｃは、サンプルを分類する。特徴抽出器Ｇ、識別器Ｄ及び分類器Ｃは何れもニューラルネットワークに基づくものである。識別器Ｄの損失は、式（７）のように設定される。

【数7】

【0040】

ここで、Ｄ（）は識別器の出力であり、Ｇ（）は特徴抽出器の出力である。

【0041】

以上から分かるように、識別器Ｄの損失Ｌ_Ｄは、ソースデータセットＤ_ＳのサンプルとターゲットデータセットＤ_Ｔのサンプルとを区別できる対数尤度関数として設計されている。目的として損失Ｌ_Ｄを最大化し、識別器Ｄのネットワークパラメータを最適化すれば、訓練後の識別器Ｄを用いて確率密度比ｒ（ｘ）を決定できることを証明できる。詳細について、式（８）を参照する。

【数8】

【0042】

なお、シフト補償ネットワークは、従来技術であり、対応する分類器Ｃの性能が最も良いモデルを取得するために用いられる場合が多い。分類器Ｃを最適化するプロセスでは、確率密度比を決定し、該確率密度比はシフト因子とも称される。しかし、該シフト因子を決定する目的は分類器Ｃをさらに最適化することであり、モデルの正確性を決定するために用いられることが認識されていない。分類器Ｃの損失Ｌｃは、式（９）、即ち重み付けクロスエントロピー損失関数として設定されている。

【数9】

【0043】

ここで、Ｌ（）はクロスエントロピー損失関数である。

【0044】

シフト補償ネットワークは、好ましくは、ソースデータセットとターゲットデータセットとが１つの特徴空間を共有し、且つサンプルの周波数のみが異なる場合に用いられる。殆どの場合は、ソースデータセットとターゲットデータセットとが同一の特徴空間を完全に共有しない。例えば、手書き文字認識のソースデータセット及びターゲットデータセットは異なる人が書いた文字を含み、人によって書体が異なる。この場合は、ソースデータセットとターゲットデータセットとが特徴空間の一部を共有する場合があるが、大部分を共有しない場合がある。よって、サンプル周波数の変更による共変量シフト（ｃｏｖａｒｉａｔｅ ｓｈｉｆｔ）が発生することだけではなく、特徴の変更による共変量シフトが発生する。従来のシフト補償ネットワークは、このような場合に適用しにくい。

【0045】

このため、本発明は、より正確な確率密度比を取得できる、改善されたシフト補償ネットワークを提供する。以下は図３を参照しながら説明する。

【0046】

図３は本開示の１つの実施例に係る改善されたシフト補償ネットワーク３０を示している。シフト補償ネットワーク３０は、特徴抽出器Ｇ、第１識別器Ｄ、第２識別器Ｄ’、及び分類器Ｃを含む。特徴抽出器Ｇは、ソースデータセットＤ_Ｓ及びターゲットデータセットＤ_Ｔにおけるサンプルxから特徴を抽出する。第１識別器Ｄ及び第２識別器Ｄ’は、何れもソースデータセットのサンプルとターゲットデータセットのサンプルとを最大限に区別する。分類器Ｃはサンプルを分類する。特徴抽出器Ｇ、第１識別器Ｄ、第２識別器Ｄ’及び分類器Ｃは何れもニューラルネットワークに基づくものである。特徴抽出器Ｇは、ソースデータセットとターゲットデータセットとの間のドメイン不変な（ｄｏｍａｉｎ ｉｎｖａｒｉａｎｔ）特徴を抽出できるように訓練されている。このような特徴は、例えば、手書き文字認識における文字自体の特徴であってもよく、書体の特徴ではない。このように、ソースデータセットとターゲットデータセットとは同一の特徴空間を共有することができる。

【0047】

第１識別器Ｄの損失は、同様に式（７）として設定される。また、分類器Ｃの損失Ｌｃは、同様に式（９）に示す重み付きクロスエントロピー損失関数として設定される。正確な確率密度比ｒ（ｘ）を取得するために、互いに敵対的な方法で特徴抽出器Ｇと第２識別器Ｄ’を訓練する。敵対的な訓練では、特徴がソースデータセットからのものであるか、それともターゲットデータセットからのものであるかを第２識別器Ｄ’により区別できないように特徴抽出器Ｄは特徴を最大限に抽出し、一方、第２識別器Ｄ’は、これらの抽出された特徴に基づいて、サンプルがソースデータセットからのものであるか、それともターゲットデータセットからのものであるかを最大限に区別する。このような敵対的な訓練を実現するために、第２識別器Ｄ’の損失は、式（１０）として設定される。

【数10】

【0048】

ここで、Ｄ’（）は第２識別器Ｄ’の出力であり、ｄ_ｘはサンプルｘのドメインラベルを表し、即ち、ｘがソースデータセットからのものである（ｘ～Ｄ_Ｓ）場合、ｄ_ｘ＝１となり、一方、ｘがターゲットデータセットからのものである（ｘ～Ｄ_Ｔ）場合、ｄ_ｘ＝０となる。式（１０）は式（１１）にさらに簡略化されてもよい。

【数11】

【0049】

上記の改善されたニューラルネットワーク（即ちシフト補償ネットワーク３０）及び損失に基づいて、シフト補償ネットワーク３０を訓練する。該訓練プロセスを図４に示す。

【0050】

訓練プロセス４０は、事前訓練ステップＳ４０１及びループステップＳ４０３を含む。ループステップＳ４０３は、第１識別器更新ステップＳ３１、分類器更新ステップＳ３３、判断ステップＳ３５及び第２識別器更新ステップＳ３７を含む。

【0051】

事前訓練ステップにおいて、特徴抽出器Ｇ及び分類器Ｃに対して事前訓練を行う。事前訓練の目的は、ソースデータセットにおけるサンプルを正確に分類できることである。事前訓練ステップは、ソフトマックス（ｓｏｆｔｍａｘ）クロスエントロピー損失関数を最小化することで行われる。例えば、このステップの目的関数は以下のようになる。
（外１）

【0052】

事前訓練は、分類器Ｃが収束するまで反復的に行わる。収束とは、損失関数の値が閾値よりも小さいことを意味してもよいし、分類器Ｃのソースデータセットに対する正確性の前後２回の反復間の変化が閾値よりも小さいことを意味してもよいし、分類器Ｃの重み（パラメータとも称される）の２回の反復間の変化が閾値よりも小さいことを意味してもよい。

【0053】

事前訓練ステップＳ４０１を実行した後に、分類器Ｃが再び収束するまで、ループステップＳ４０３を繰り返して実行する必要がある。ここで、ループステップでは、第１識別器更新ステップ、分類器更新ステップ及び第２識別器更新ステップの実行順序は任意の順序であってもよいが、好ましくは、一旦順序を決定した後に順序を変更しない。即ち、図４におけるループステップＳ４０３に示す実行順序は単なる一例である。

【0054】

第１識別器更新ステップＳ３１において、第１識別器の損失関数を最大化することで、第１識別器Ｄ及び特徴抽出器Ｇのパラメータを更新する。例えば、このステップの目的関数は以下のものであってもよい。
（外２）

【0055】

分類器更新ステップＳ３３において、分類器損失Ｌ_Ｃと第２識別器損失Ｌ_Ｄ’との組み合わせ関数を最小化することで、分類器Ｃ及び特徴抽出器Ｇのパラメータを更新する。例えば、このステップの目的関数は以下のものであってもよい。
（外３）

【0056】

ここで、λはＬ_ＣとＬ_Ｄ’の間の重みを制御するためにハイパーパラメータである。この分類器更新ステップでは、ｒ（ｘ）からの勾配は無視され、即ちｒ（ｘ）は定数として扱われる。

【0057】

判断ステップｓ３５において、分類器Ｃが収束したか否かを決定する。判定結果がＮＯの場合、ステップｓ３７に進む。判定結果がＹＥＳの場合、ループステップを終了し、訓練プロセス４０を終了する。

【0058】

第２識別器更新ステップｓ３７において、第２識別損失Ｌ_Ｄ'を最小化することで、第２識別器Ｄ'を更新する。例えば、このステップの目的関数は以下のものであってもよい。
（外４）

【0059】

訓練ステップが完了した後に、得られた第１識別器Ｄを用いて、式（８）に基づいて確率密度比ｒ（ｘ）を決定してもよい。

【0060】

本開示は、第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する方法をさらに提供する。

【0061】

図５は本開示の１つの実施例に係るソースデータセットに基づいて訓練された分類のためのモデルのロバスト性の推定方法５０を示すフローチャートである。推定方法５０は、ステップＳ２０１、Ｓ２０３、Ｓ２０５、Ｓ２０７及びＳ５０９を含み、ここで、ステップＳ２０１、Ｓ２０３、Ｓ２０５及びＳ２０７の詳細は図２に関する説明を参照してもよい。ステップＳ５０９において、式（６）に従ってモデルのロバスト性を推定し、即ち、モデルのソースデータセットに対する正確性ａｃｃ_{ｓｏｕｒｃｅ}及びモデルのターゲットデータセットに対する推定正確性ａｃｃ_{ｔａｒｇｅｔ}に基づいてモデルのロバスト性Ｒを推定する。

【0062】

本開示は、分類のためのモデルの総合的なロバスト性の推定方法をさらに提供する。図６は本開示の１つの実施例に係る分類のためのモデルの総合的なロバスト性の推定方法６０を示すフローチャートである。

【0063】

ステップＳ６０１において、複数のターゲットデータセット
（外５）

を提供する。

【0064】

ステップＳ６０３において、複数のターゲットデータセットの各ターゲットデータセットについて、推定方法５０を用いてモデルの該ターゲットデータセットに対するロバスト性を推定する。

【0065】

ステップＳ６０５において、複数のターゲットデータセットの各データセットについて、該ターゲットデータセットとモデルを訓練するためのソースデータセットとの分布偏差を決定する。

【0066】

ステップＳ６０７において、取得された複数のロバスト性及び複数の分布偏差に基づいてモデルの総合的なロバスト性Ｒｃを決定する。総合的なロバスト性の式は以下のようになる。

【数12】

【0067】

ここで、
（外６）

は２つのデータセット（Ｄ_ＴｉとＤ_Ｓ）の分布間の差分を表す。差分Ｄ（Ｄ_Ｓ，Ｄ_Ｔｉ）は、
従来の方法、例えばＭＭＤ、ＫＤダイバージェンスなどを用いて計算されてもよい。

【0068】

本開示は、第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性の推定装置をさらに提供する。以下は図７を参照しながら説明する。

【0069】

図７は本開示の１つの実施例に係る正確性の推定装置７０の構成を示すブロック図である。推定装置７０は、パラメータ計算部７１、正確性スコア計算部７３、重み付け正確性スコア計算部７５及び推定正確性計算部７７を含む。パラメータ計算部７１は、第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算する。正確性スコア計算部７３は、モデルの第１データセットにおけるサンプルに対する正確性スコアを計算する。重み付け正確性スコア計算部７５は、パラメータを重みとし、正確性スコアに基づいて、モデルの第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する。推定正確性計算部７７は、重み付け正確性スコアに基づいて、モデルの第１データセットに対する調整後の正確性を、モデルの第２データセットに対する推定正確性として計算する。

【0070】

本開示は、第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する装置をさらに提供する。以下は図８を参照しながら説明する。

【0071】

図８は本開示の１つの実施例に係るロバスト性の推定装置８０の構成を示すブロック図である。推定装置８０は、パラメータ計算部７１、正確性スコア計算部７３、重み付け正確性スコア計算部７５、推定正確性計算部７７及びロバスト性推定部８９を含む。パラメータ計算部７１は、第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算する。正確性スコア計算部７３は、モデルの第１データセットにおけるサンプルに対する正確性スコアを計算する。重み付け正確性スコア計算部７５は、パラメータを重みとし、正確性スコアに基づいて、モデルの第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する。推定正確性計算部７７は、重み付け正確性スコアに基づいて、モデルの第１データセットに対する調整後の正確性を、モデルの第２データセットに対する推定正確性として計算する。ロバスト性推定部８９は、モデルの第１データセットに対する正確性及びモデルの第２データセットに対する推定正確性に基づいて、モデルのロバスト性を推定する。推定装置８０は推定方法５０に対応するため、推定装置８０の詳細は推定方法５０の説明を参照してもよい。

【0072】

本開示は、プログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、プログラムがコンピュータにより実行される際に、コンピュータに上記の方法を実現させる、記憶媒体をさらに提供する。記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。コンピュータは、少なくとも１つのプロセッサを含む。コンピュータは、デスクトップコンピュータ、タブレットコンピュータ、ポータブルコンピュータ、スマートフォン、サーバを含む。

【0073】

本開示の１つの態様では、情報処理装置をさらに提供する。

【0074】

図９は本開示の１つの実施例に係る情報処理装置９００の一例を示すブロック図である。図９において、中央処理部（ＣＰＵ）９０１は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ９０３には、必要に応じて、ＣＰＵ９０１が各種の処理を実行するに必要なデータが記憶されている。

【0075】

ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力インターフェース９０５もバス４０４に接続されている。

【0076】

入力部９０６（キーボード、マウスなどを含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部９０８（例えばハードディスクなどを含む）、通信部９０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネット、ローカルエリアネットワーク、モバイルネットワーク、又はその組み合わせを介して通信処理を実行する。

【0077】

必要に応じて、ドライバ９１０は、入力／出力インターフェース９０５に接続されてもよい。取り外し可能な媒体９１１は、必要に応じてドライバ９１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部９０８にインストールされている。

【0078】

ＣＰＵ９０１は、本発明の正確性又はロバスト性の推定方法のプログラムを実行することができる。

【0079】

本開示の方法、装置、情報処理装置及び記憶媒体は、少なくとも以下の効果の１つを達成することができる。ターゲットデータセットにラベルを付けていない場合（ターゲットデータセットのラベルが未知である場合）、確率密度比に基づいてソースデータセットを用いてモデルのターゲットデータセットに対する正確性、ロバスト性を推定することができる。モデル品質の評価の作業量を軽減することができる。モデルの正確性、ロバスト性を簡単に推定することができる。ターゲットデータセットを処理するためのモデルを選択する際に、該ターゲットデータセットに対する性能が優れているモデルを選別することができる。即ち、本開示の方法、装置及び記憶媒体によれば、モデルの正確性及びロバスト性を便利、正確、効果的に推定することができる。

【0080】

以上は図面を参照しながら本開示の好ましい実施例を説明しているが、上記実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本開示に対して各種の修正（各実施例間の特徴の組み合わせ又は置き換え）、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本開示の保護範囲に含まれるものである。

【0081】

なお、用語「含む」又は「有する」は本明細書において特徴、要素、ステップ又は構成の存在を意味し、他の特徴、要素、ステップ又は構成の存在又は付加を排除することではない。

【0082】

また、本発明の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。

【0083】

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示するが、これらの付記に限定されない。
（付記１）
第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する方法であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、を含む、方法。
（付記２）
前記パラメータは、密度比であり、
前記密度比は、前記第２データセットにおけるサンプルの確率密度と前記第１データセットにおけるサンプルの確率密度との比を表す、付記１に記載の方法。
（付記３）
シフト補償ネットワーク（ＳＣＮ）に基づいて前記密度比を決定する、付記２に記載の方法。
（付記４）
前記シフト補償ネットワークは、第１識別器及び第２識別器を含み、
前記第１識別器の訓練条件は、損失を最大化することであり、
前記第２識別器の訓練条件は、損失を最小化することである、付記３に記載の方法。
（付記５）
前記シフト補償ネットワークは、特徴抽出器をさらに含み、
互いに敵対的な方法で前記特徴抽出器と前記第２識別器を訓練する、付記４に記載の方法。
（付記６）
前記シフト補償ネットワークの第１識別器の出力に基づいて前記密度比を決定する、付記５に記載の方法。
（付記７）
前記第１データセットにおけるサンプルについて、前記モデルの分類結果と前記サンプルのラベルとが同一である場合、前記正確性スコアは１であり、そうでない場合、前記正確性スコアは０である、付記６に記載の方法。
（付記８）
前記シフト補償ネットワークは、分類器をさらに含み、
分類損失と第２識別損失との組み合わせ関数を最小化することで、前記分類器及び前記特徴抽出器のパラメータを更新する、付記５に記載の方法。
（付記９）
前記分類器が収束するまで、前記第１データセットを用いて前記特徴抽出器及び前記分類器に対して事前訓練を行う、付記８に記載の方法。
（付記１０）
前記分類器が再び収束するまで、前記組み合わせ関数を用いて前記分類器を訓練する、付記９に記載の方法。
（付記１１）
前記第２データセットのサンプルは、ラベルが割り当てられていない、付記１に記載の方法。
（付記１２）
第１データセットに基づいて訓練された分類のためのモデルのロバスト性を推定する方法であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するステップと、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算するステップと、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算するステップと、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算するステップと、
前記モデルの前記第１データセットに対する正確性及び前記モデルの前記第２データセットに対する推定正確性に基づいて、前記モデルのロバスト性を推定するステップと、を含む、方法。
（付記１３）
前記モデルの前記第１データセットに対する第１正確性及び前記推定正確性のうちの小さい正確性と前記第１正確性との比に基づいて、前記モデルのロバスト性を決定する、付記１２に記載の方法。
（付記１４）
第１データセットを用いて訓練された分類のためのモデルの第２データセットに対する推定正確性を推定する装置であって、
前記第１データセットにおけるサンプルの第２データセットに出現する可能性を表すパラメータを計算するパラメータ計算部と、
前記モデルの前記第１データセットにおけるサンプルに対する正確性スコアを計算する正確性スコア計算部と、
前記パラメータを重みとし、前記正確性スコアに基づいて、前記モデルの前記第１データセットにおけるサンプルに対する重み付け正確性スコアを計算する重み付け正確性スコア計算部と、
前記重み付け正確性スコアに基づいて、前記モデルの前記第１データセットに対する調整後の正確性を、前記モデルの第２データセットに対する推定正確性として計算する推定正確性計算部と、を含む、装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】