特許 7196933 学習装置および学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】学習装置および学習方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221220BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2020558814

(86)(22)【出願日】2018-12-10

(86)【国際出願番号】 JP2018045321

(87)【国際公開番号】W WO2020121378

(87)【国際公開日】2020-06-18

【審査請求日】2021-05-14

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】坂井 智哉

(72)【発明者】

【氏名】十河 泰弘

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０１１－１２３５７４（ＪＰ，Ａ）

【文献】太田貴大ほか，回帰木を用いた識別器のモールディングによる文字認識の高速化，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2009年12月10日，第109巻, 第344号，pp.1-6，ISSN:0913-5685

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。

【請求項2】

前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
請求項１に記載の学習装置。

【請求項3】

前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
請求項１または請求項２に記載の学習装置。

【請求項4】

前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
請求項３に記載の学習装置。

【請求項5】

前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
請求項１または請求項２に記載の学習装置。

【請求項6】

既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。

【請求項7】

前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
請求項６に記載の学習方法。

【請求項8】

前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
請求項６または請求項７に記載の学習方法。

【請求項9】

前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
請求項８に記載の学習方法。

【請求項10】

コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、未知のタスクを対象とする実数値予測または未知のクラスも対象とする多値分類を可能にする学習装置および学習方法に関する。

【背景技術】

【0002】

未知のタスクまたは未知のクラスに対しても予測を可能とする学習方法として、例えば、非特許文献１に記載されているような属性を用いるゼロショット学習がある。

【0003】

非特許文献１に記載されているようなゼロショット学習では、まず、学習事例がある入出力データと既知タスクまたは既知クラスの補助情報としての属性情報とを用いて予測器が構築される。そして、構築された予測器を用いて、新たなタスクまたは新たなクラスの属性情報を用いて予測が実行される。属性情報は、例えば、タスクやクラスを説明する、単一もしくは複数の連続値またはカテゴリ値である。なお、新たなタスクまたは新たなクラスは、学習事例がないタスクまたはクラスである。新たなタスクまたは新たなクラスを未知タスクまたは未知クラスともいう。

【先行技術文献】

【非特許文献】

【0004】

【文献】B. Romera-Paredes and P. H.S. Torr, "An embarrassingly simple approach to zero-shot learning", Proceedings of the 32nd International Conference on Machine Learning, vol.37, 2015, pp.2152-2161

【発明の概要】

【発明が解決しようとする課題】

【0005】

一般に、ゼロショット学習では、既知タスクまたは既知クラスについて、全てのタスクまたはクラスに関する入出力データと属性情報とを用いて新しい予測器を構築する。すなわち、既存の予測システムを活かすことはしない。予測器を構成するために、計算資源、計算時間、人件費など様々なコストがかかる。また、多数の予測対象がある場合には、予測対象の数に応じて計算資源、計算時間、人件費が増加する。したがって、未知タスクまたは未知クラスのために予測器を新たに構成することが求められるようなゼロショット学習法を導入するためのコストは高い。

【0006】

本発明は、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現することを目的とする。

【課題を解決するための手段】

【0007】

本発明による学習装置は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段とを備える。

【0008】

本発明による学習方法は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。

【0009】

本発明による学習プログラムは、コンピュータに、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、計算された出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する処理とを実行させる。

【発明の効果】

【0010】

本発明によれば、未知タスクまたは未知クラスに対する予測を行う学習装置および学習方法を低コストで実現できる。

【図面の簡単な説明】

【0011】

【図1】学習装置の一実施形態の構成例を示すブロック図である。

【図2】予測部の構成例を示すブロック図である。

【図3】実数値予測を行う予測部を含む学習装置の動作を示すフローチャートである。

【図4】多値分類を行う予測部を含む学習装置の動作を示すフローチャートである。

【図5】属性情報の予測値に対する寄与の程度の表示例を示す説明図である。

【図6】表示されるグラフの一例を示す説明図である。

【図7】ＣＰＵを有するコンピュータの一例を示すブロック図である。

【図8】学習装置の主要部を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態を図面を参照して説明する。

【0013】

学習装置の入力をｘ、学習装置の出力をｙ、各タスクまたはクラスｔに対する予測器をｈ_ｔ、各タスクまたは各クラスの特性を表す属性情報をａ_ｔ で表す。本実施形態の学習装置は、未知タスクまたは未知クラスに対する予測を可能にするために、追加された属性情報と既に運用中の予測器とを用いる。追加された属性情報は、未知タスクまたは未知クラスに対応する属性情報である。また、運用中の予測器は、学習済みの予測器である。なお、一般に、クラスにはラベルが付随する。ラベルは、属性情報に含まれていてもよい。

【0014】

入力は、ｄ次元ベクトルで表される。出力は、スカラ値で表される。出力値のドメイン（終域）は、実数値予測では実数体である。ドメインは、多値分類では離散集合である。

【0015】

既知タスクまたは既知クラスの数がｋ個あるとする。また、各タスクまたはクラスに対応する既に運用中のｋ個の予測器があると仮定する。なお、スカラ値を返すｋ個の個別の予測器が存在してもよいが、ｋ個のスカラ値を出力する一つの予測器が存在してもよい。例えば、前者の場合には、各予測器ｈ_ｔに応じて、属性情報ａ_ｔ として、異なる属性ベクトルが得られているとする。後者の場合には、予測器の各出力次元（次元数ｋは、タスク数またはクラス数に相当）に対して、属性情報ａ_ｔ として、一つの属性ベクトルが得られているとする。なお、属性情報は、ｍ次元の属性ベクトルで表されるとする。

【0016】

運用中の予測器ｈ_ｔは、入力ｘを受けとる。実数値予測を実施する予測器ｈ_ｔは、予測値そのものを出力する関数である。多値分類を実施する予測器ｈ_ｔは、入力ｘがクラスｔに属する度合いを表すスコア（予測スコア）を出力する関数である。多値分類を実施する予測器ｈ_ｔは、スコアが最も高いクラスを予測クラスｙとして出力する。

【0017】

運用中の予測器として、例えば重回帰法や深層学習など任意の統計的学習手法やヒューリスティクスによって、既存のタスクまたは既存のクラスのそれぞれについて、入力ｘと出力ｙとの対応関係を学習した予測器が得られているとする。

【0018】

次に、運用中の予測器ｈ_ｔを活用した未知タスクまたは未知クラスに対する予測法を説明する。以下、ｋ個の個別の予測器が存在する場合を例にする。また、追加された属性情報（未知タスクまたは未知クラスに対応する属性情報）は、あらかじめ取得されている。

【0019】

予測したいテスト入力点に対して、運用中の予測器の出力値を得る。すなわち、テスト入力点に対応するテスト入力データを受けた予測器は、予測値またはスコアを出力値として出力する。そして、得られた出力値と既知の属性ベクトルとの間の対応関係を学習する。例えば、既知の属性ベクトルと、対応する予測器の出力値とを、入出力の組として、既存の任意の学習アルゴリズムに与えて対応関係を得る。利用される学習アルゴリズムは、任意である。学習アルゴリズムの一例として、リッジ回帰、ランダムフォレスト、深層学習が使用可能である。また、ノイズに対して頑健な学習アルゴリズムを用いると、後述する対応関係推論部における、予測器や属性情報に対するノイズの影響が減少する。例えば、対応関係推論部が、フーバー回帰やロバスト・サポートベクトル回帰を用いる場合には、運用中の予測器の誤差や属性情報のノイズに対して頑健な対応関係の学習が可能になる。また、対応関係の推論に決定木や線形モデルを用いると、結果の解釈が容易になる。

【0020】

一つのテスト入力点だけを扱うのではなく、複数のテスト入力点を考慮した予測も可能である。その場合には、一つの既知の属性ベクトルに対して、対応する予測器の出力値が複数得られるので、多値出力関数を学習するアルゴリズムを用いることができる。また、複数のテスト入力点の情報を考慮した様々な正則化を実施することができる。すなわち、誤差関数に制約（事前知識）を表す項を追加することによって性能が向上するエントロピー正則化、多様体正則化、グループ正則化、構造正則化等の学習アルゴリズムを利用することができる。

【0021】

実数値予測の場合には、得られた対応関係を用いて、未知タスクの属性ベクトルに対する予測出力（予測値）を計算できる。多値分類の場合には、得られた対応関係を用いて、既知クラスおよび未知クラスの属性ベクトルに対するすべての予測値を計算してスコアを出力する。そして、スコアが最も高いクラスをテスト入力データに対する予測クラスのラベル（予測クラスラベル）とする。

【0022】

次に、属性情報と運用中の予測器の出力との対応関係を推論する方法を説明する。一例として、線形モデルを用いて、その結果を解釈する方法を説明する。なお、線形モデルは一例であって、他のタイプのモデルが用いられてもよい。

【0023】

正則化としてL1正則化を用いると、パラメータの多くがゼロになり、求めたパラメータの解釈が例えばL2正則化と比べて容易になる。したがって、L1正則化を用いると、予測に有効な属性情報を可視化するときに視認性が向上する。

【0024】

さらに、テストデータ点が複数ある場合には、それらのテストデータ点に対するパラメータベクトルを個別に推定するのではなく、テストデータ点をまとめて取り扱うことが好ましい。パラメータベクトルもまとめてパラメータ行列として扱うときには、そのパラメータ行列に対して正則化を実施することが考えられる。例えば、L_{2,1} 正則化やトレースノルム正則化を適用することができる。そのような処理によって、既知タスクまたは既知クラスのうち、予測値をよく説明するもの数個を選んで、その結果を可視化できる。

【0025】

次に、学習装置の実施形態の構成例を説明する。

【0026】

図１は、学習装置の一実施形態の構成例を示すブロック図である。図１に示すように、学習装置１は、入力部１０と、演算部２０と、出力部４０とを含む。

【0027】

実数値予測が行われるときには、入力部１０は、予測器を入力し、かつ、実数値予測の対象となるテスト入力データと各タスクの属性情報とを入力する。例えば、入力部１０には、各タスクに対応する予測器、および、既知の各タスクの特性が記述された属性情報が既知の属性情報として与えられる。さらに、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知タスクの属性情報とが、テストデータとして与えられる。

【0028】

多値分類が行われるときには、入力部１０は、予測器を入力し、かつ、多値分類の対象となるテスト入力データと各クラスの属性情報とを入力する。例えば、入力部１０には、各クラスに対応する予測器、および、既知の各クラスの特性が記述された属性情報が既知の属性情報として与えられる。また、入力部１０には、それに対する予測結果が望まれるテスト入力データと未知クラスの属性情報とが、テストデータとして与えられる。

【0029】

演算部２０は、予測器記憶部２１と、既知属性記憶部２２と、テストデータ記憶部２３と、予測部２４とを含む。

【0030】

予測部２４は、テストデータ記憶部２３から予測に必要なデータ（すなわち、テスト入力データ）を読み出す。そして、予測部２４は、予測器のテスト入力データに対する出力結果と既知属性記憶部２２に記憶された複数の属性ベクトルとの対応関係を推論する。さらに、予測部２４は、テスト入力データと未知タスクまたは未知クラスの属性情報とについて、推論された対応関係を用いて予測値を算出する。

【0031】

実数値予測が行われているときには、すなわち、実数値予測を行う予測部２４が設けられているときには、出力部４０は、予測部２４が算出した予測値を予測結果（予測出力）として出力する。多値分類が行われているときには、すなわち、多値分類を行う予測部２４が設けられているときには、出力部４０は、予測部２４が計算した予測スコアと予測クラスとを予測結果（予測出力）として出力する。

【0032】

図２は、予測部２４の構成例を示すブロック図である。図２に示すように、予測部２４は、初期化部３１、対応関係推論部３２、対応関係記憶部３３、および予測実行部３４を含む。

【0033】

初期化部３１は、運用中の予測器を予測器記憶部２１から読み出す。また、初期化部３１は、既知タスクまたは既知クラスの属性ベクトルを既知属性記憶部２２から読み出す。さらに、初期化部３１は、予測結果が必要なデータとタスクまたはクラスの属性ベクトルとをテストデータ記憶部２３から読み出す。

【0034】

対応関係推論部３２は、テスト入力データに対する学習済み予測器（運用中の予測器）の出力を得る。そして、対応関係推論部３２は、予測器の出力と既知属性記憶部２２から読み出した複数の属性ベクトルとの対応関係を推論する。対応関係記憶部３３は、推論された対応関係を記憶する。

【0035】

予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する。

【0036】

次に、図３および図４のフローチャートを参照して学習装置１の動作を説明する。図３は、実数値予測を行う予測部２４を含む学習装置１の動作を示すフローチャートである。

【0037】

実数値予測が行われる場合に、入力部１０は、入力された各タスクにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ａ）。入力部１０は、入力された各タスクの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ａ）。入力部１０は、入力されたテスト入力データと入力された未知タスクの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ａ）。テスト入力データは、予測結果が望まれるデータである。

【0038】

予測部２４は、予測器記憶部２１と既知属性記憶部２２とテストデータ記憶部２３とから、予測器と上述したデータとを読み出す（ステップＳ１２）。具体的には、予測部２４において、初期化部３１は、予測器記憶部２１から予測器を読み出す。初期化部３１は、既知属性記憶部２２から既知タスクの属性ベクトルを読み出す。初期化部３１は、テストデータ記憶部２３から、テスト入力データと未知タスクの属性ベクトルとを読み出す。

【0039】

次に、予測部２４は、テスト入力データに対する予測器の出力を得る（ステップＳ１３）。具体的には、予測部２４において、対応関係推論部３２は、予測器記憶部２１から読み出した予測器を用いて、テストデータ記憶部２３から読み出したテスト入力データに対する予測器の出力を得る。

【0040】

次いで、対応関係推論部３２は、推論のための所定のアルゴリズムを用いて、予測器の出力と既知の属性情報との対応関係を推論する（ステップＳ１４）。予測部２４は、所定のアルゴリズムとして、例えば、正則化最小二乗法や、サポートベクトル回帰、ランダムフォレストを利用する。対応関係推論部３２は、推論した対応関係を対応関係記憶部３３に格納する。

【0041】

そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する（ステップＳ１５Ａ）。出力部４０は、計算された予測結果を出力する（ステップＳ１６Ａ）。

【0042】

図４は、多値分類を行う予測部２４を含む学習装置１の動作を示すフローチャートである。

【0043】

多値分類が行われる場合に、入力部１０は、入力された各クラスにおける予測器を予測器記憶部２１に格納する（ステップＳ１１Ｂ）。入力部１０は、入力された各クラスの特性を記述した属性情報を、既知の属性情報として既知属性記憶部２２に格納する（ステップＳ１１Ｂ）。入力部１０は、入力されたテスト入力データと入力された未知クラスの属性情報とを、テストデータとしてテストデータ記憶部２３に格納する（ステップＳ１１Ｂ）。テスト入力データは、予測結果が望まれるデータである。

【0044】

予測部２４は、図３に示されたステップＳ１２～Ｓ１４の処理と同様の処理を実行する。ただし、初期化部３１は、ステップＳ１２の処理で、既知属性記憶部２２から既知クラスの属性ベクトルを読み出す。

【0045】

そして、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測対象となるタスクの属性に対する出力を計算する。具体的には、予測実行部３４は、テストデータ記憶部２３から読み出した属性ベクトルに対する各々の予測器の出力を計算する。すなわち、予測実行部３４は、対応関係記憶部３３に記憶されている対応関係を用いて、予測スコアと予測クラスとを計算する（ステップＳ１５Ｂ）。出力部４０は、計算された予測結果を出力する。なお、予測部２４は、例えば、予測スコアが最も高いクラスを予測クラスとして出力したり、当該予測クラスに対応するラベルを予測ラベルとして出力する。

【0046】

以上に説明したように、本実施形態の学習装置１は、ゼロショット学習に基づく学習を行うが、未知タスクまたは未知クラスに対する予測を行うときに、新たに予測器を生成することはなく、学習済みの既存の予測器を活用する。したがって、低コストで学習装置を得ることができる。

【実施例1】

【0047】

実数値予測を行う予測部２４を含む学習装置１の実施例として、商品需要予測を行う学習装置を説明する。

【0048】

学習装置１において、予測器記憶部２１には、既存の複数種類の商品それぞれに対する需要予測を行う運用中の予測器が記憶される。既知属性記憶部２２には、既存商品に対する、商品名、原材料および栄養成分などを適切な統計量に変換したデータが属性ベクトルとして記憶される。テストデータ記憶部２３には、新商品の属性ベクトルと、予測を行いたい日時や天気の情報とがテストデータとして記憶される。

【0049】

本実施例では、学習装置１は、商品をタスクとして需要を予測する。図３のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の出力と、既知属性記憶部２２から読み出した既知の属性情報とを用いて、商品の属性情報と商品の需要予測値との対応関係を、例えば正則化最小二乗法を用いて推論する。ステップＳ１５Ａでは、予測実行部３４は、推論された対応関係に基づいて、新商品の属性情報に対応する需要予測値を計算する。出力部４０は、計算した需要予測値を出力する。

【実施例2】

【0050】

多値分類を行う予測部２４を含む学習装置１の実施例として、ニュース記事分類を行う学習装置を説明する。

【0051】

本実施例では、予測器記憶部２１には、ニュース配信サイトにおける、ニュース記事が属するカテゴリを予測する予測器が記憶される。既知属性記憶部２２には、カテゴリの特性を示す統計量が属性ベクトルとして記憶される。テストデータ記憶部２３には、新たに追加されたカテゴリの属性情報と新しいニュース記事とが記憶される。

【0052】

図４のフローチャートを参照すると、ステップＳ１４において、対応関係推論部３２は、予測器の予測スコアと既知の属性情報とを用いて、適当な学習アルゴリズムで既知の属性情報と予測スコアとの対応関係を推論する。ステップＳ１５Ｂでは、予測実行部３４は、推論された対応関係に基づいて、新たに追加されたクラスの属性に対する予測スコアを計算する。そして、予測実行部３４は、既知の属性情報の予測スコアおよび新たに計算した予測スコアの中で、最も予測スコアが高い属性情報に対応するカテゴリを予測ラベルとして選択する。出力部４０は、計算した予測ラベルと予測スコアを出力する。

【実施例3】

【0053】

実施形態における出力部４０は、得られた結果を可視化をすることもできる。以下、可視化の実施例を説明する。

【0054】

例えば、対応関係を学習するアルゴリズムとして、解釈が容易になる正則化を線形モデルに加えた学習アルゴリズムを用いることによって、出力部４０は、線形モデルのパラメータを可視化表示することができる。

【0055】

図５は、属性情報の予測値に対する寄与の程度の表示例を示す説明図である。上述したように、対応関係推論部３２の処理において、L1正則化などが用いられる場合には、パラメータの数が削減される。本実施例に当てはめると、予測値に寄与した属性情報のみが選定される。

【0056】

図５において、横軸は属性情報を示す。なお、本実施例では、属性情報は、２０次元の属性ベクトルで表されているとする。横軸の数値は、２０次元の属性ベクトルの各次元に対応する。縦軸は、テスト入力点の番号を示す。白表示は、予測に利用された属性情報に対応する。黒表示は、予測にほとんど利用されなかった（パラメータ値がかなり小さい）属性情報に対応する。学習装置１の使用者は、テスト入力点の予測値に寄与する属性情報がどれであるかを視覚的に把握することができる。

【0057】

なお、出力部４０には、図５に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。

【0058】

また、出力部４０は、得られたパラメータ値を二値化し、二値化されたパラメータ値によって属性情報の利用の有無を表示してもよいが、得られたパラメータ値をそのまま表示してもよい。その場合には、予測に影響する属性情報の影響の程度が視認可能になる。

【0059】

さらに、出力部４０は、利用される正則化およびテスト入力データ点に応じて、属性、パラメータおよび予測値の様々な関係を表示することもできる。

【実施例4】

【0060】

対応関係を学習するアルゴリズムとして決定木のような予測値を計算する過程を解釈しやすいアルゴリズムを予測部２４が用いる場合には、出力部４０は、予測値の計算過程を、グラフで示すことができる。

【0061】

図６は、表示されるグラフの一例を示す説明図である。上述したように、対応関係の推論に決定木や線形モデルを用いると結果の解釈が容易になる。例えば、結果が表示された場合に、結果が視認されやすくなる。本実施例では、対応関係推論部３２の処理において、決定木が用いられる。

【0062】

図６に示す例では、例えば、未知タスクの属性ベクトルとして、属性１から属性５に対応する値が（７、５、４、３、－３）で表されるとき、予測実行部３４が、ノード１、ノード２、ノード５を経由して、予測出力（予測値）として１を返すことが視認される。

【0063】

なお、出力部４０には、図６に例示された表示を行う表示器などが接続されている。また、出力部４０が表示器などを含むと位置づけられてもよい。

【0064】

図７は、ＣＰＵ（Central Processing Unit ）を有するコンピュータの一例を示すブロック図である。コンピュータは、学習装置１に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１に示された学習装置１における演算部２０の各記憶部以外の機能を実現する。また、図２に示された予測部２４における初期化部３１および対応関係推論部３２の機能を実現する。なお、ＣＰＵ１０００に代えて、または、ＣＰＵ１０００とともに、ＧＰＵ（Graphics Processing Unit）が用いられてもよい。

【0065】

記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ－Ｒ（Compact Disc-Recordable ）、ＣＤ－Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。

【0066】

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。

【0067】

メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。また、図１に示された予測器記憶部２１、既知属性記憶部２２、およびテストデータ記憶部２３と、図２に示された対応関係記憶部３３は、メモリ１００２または記憶装置１００１で実現される。

【0068】

図８は、学習装置の主要部を示すブロック図である。図８に示す学習装置１００は、既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段１１０（実施形態では、対応関係推論部３２で実現される。）と、推論された対応関係を用いて、未知タスクまたは未知クラスに対応する属性情報に対する予測出力を計算する予測手段１２０（実施形態では、予測実行部３４で実現される。）とを備える。

【0069】

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。

【0070】

（付記１）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、計算した前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する対応関係推論手段と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する予測手段と
を備える学習装置。

【0071】

（付記２）前記対応関係推論手段は、複数のテスト入力データ点を用いたときに、事前知識を考慮するアルゴリズムを使用する
付記１の学習装置。

【0072】

（付記３）前記対応関係推論手段は、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示する出力部を備える
付記１または付記２の学習装置。

【0073】

（付記４）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を表示する
付記３の学習装置。

【0074】

（付記５）前記対応関係推論手段は、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程をグラフ表示する出力部を備える
付記１または付記２の学習装置。

【0075】

（付記６）既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。

【0076】

（付記７）前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用する
付記６の学習方法。

【0077】

（付記８）前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用し、
前記予測出力に寄与する属性情報を視認可能に表示器に表示する
付記６または付記７の学習方法。

【0078】

（付記９）前記出力部は、前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示する
付記８の学習方法。

【0079】

（付記１０）前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用し、
前記予測出力が計算される過程を表示器にグラフ表示する
付記６または付記７の学習方法。

【0080】

（付記１１）コンピュータに、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算する処理と、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論する処理と、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する処理と
を実行させるための学習プログラム。

【0081】

（付記１２）コンピュータに、
前記対応関係を推論するときに、複数のテスト入力データ点を用いた場合に、事前知識を考慮するアルゴリズムを使用させる
付記１１の学習プログラム。

【0082】

（付記１３）コンピュータに、
前記対応関係を推論するときに、前記予測出力に寄与する属性情報の数を絞るようなアルゴリズムを使用させ、
前記予測出力に寄与する属性情報を視認可能に表示器に表示させる
付記１１または付記１２の学習プログラム。

【0083】

（付記１４）コンピュータに、
前記予測出力に寄与する属性情報の影響の程度を表す数値を前記表示器に表示させる
付記１３の学習プログラム

【0084】

（付記１５）コンピュータに、
前記対応関係を推論するときに、処理結果の解釈が容易化されるアルゴリズムを使用させ、
前記予測出力が計算される過程を表示器にグラフ表示させる
付記１１または付記１２の学習プログラム。

【0085】

（付記１６）コンピュータが、
既知のタスクまたは既知のクラスに対して学習済みの予測器のテスト入力データに対する出力を計算し、
計算された前記出力と未知タスクまたは未知クラスに対応する属性情報との対応関係を推論し、
推論された前記対応関係を用いて、前記未知タスクまたは前記未知クラスに対応する属性情報に対する予測出力を計算する
学習方法。

【符号の説明】

【0086】

１，１００ 学習装置
１０ 入力部
２０ 演算部
２１ 予測器記憶部
２２ 既知属性記憶部
２３ テストデータ記憶部
２４ 予測部
３１ 初期化部
３２ 対応関係推論部
３３ 対応関係記憶部
３４ 予測実行部
４０ 出力部
１１０ 対応関係推論手段
１２０ 予測手段
１０００ ＣＰＵ
１００１ 記憶装置
１００２ メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】