(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】学習装置、学習方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240723BHJP
【FI】
G06N20/00
(21)【出願番号】P 2023502032
(86)(22)【出願日】2021-06-07
(86)【国際出願番号】 JP2021021609
(87)【国際公開番号】W WO2022180870
(87)【国際公開日】2022-09-01
【審査請求日】2023-08-10
(31)【優先権主張番号】P 2021031172
(32)【優先日】2021-02-26
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第30条第2項適用 令和2年6月10日、″http://arxiv.org/abs/2006.05616″
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】谷本 啓
(72)【発明者】
【氏名】坂井 智哉
(72)【発明者】
【氏名】竹之内 高志
(72)【発明者】
【氏名】鹿島 久嗣
【審査官】真木 健彦
(56)【参考文献】
【文献】特開2020-008916(JP,A)
【文献】国際公開第2015/173842(WO,A1)
【文献】米国特許出願公開第2018/0101178(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
(57)【特許請求の範囲】
【請求項1】
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得する学習データ取得手段と、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う学習手段と、
を備える学習装置。
【請求項2】
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う学習手段
を備える学習装置。
【請求項3】
推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行う学習手段
を備える学習装置。
【請求項4】
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得する学習データ取得手段と、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力するモデルの学習を行う学習手段と、
を備える学習装置。
【請求項5】
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得し、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う、
学習方法。
【請求項6】
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う
学習方法。
【請求項7】
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得し、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力する、
学習方法。
【請求項8】
コンピュータに、
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得することと、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行うことと、
を実行させるためのプログラ
ム。
【請求項9】
コンピュータに、
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行うこと
を実行させるためのプログラ
ム。
【請求項10】
コンピュータに、
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得することと、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力することと、
を実行させるためのプログラ
ム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習装置、学習方法およびプログラムに関する。
【背景技術】
【0002】
機械学習における因果関係の候補を提示するなど、学習に関する技術が提案されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
学習により得られたモデルを意思決定に用いることが想定される場合、対象ごとの特性など対象ごとに固定の値と、可変の値とがモデルへの入力となることが考えられる。その場合に、学習時と意思決定時とで可変の値の分布が異なる場合が想定される。このように、可変の値を変更して結果をシミュレートすることを前提としたモデルの学習を行うことが求められ得る。
【0005】
本発明は、上述の課題を解決することのできる学習装置、学習方法およびプログラムを提供することを目的の1つとしている。
【課題を解決するための手段】
【0006】
本発明の第1の態様によれば、学習装置は、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得する学習データ取得手段と、前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う学習手段と、を備える。
【0007】
本発明の第2の態様によれば、学習装置は、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う学習手段を備える。
【0008】
本発明の第3の態様によれば、学習装置は、推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行う学習手段を備える。
【0009】
本発明の第4の態様によれば、学習装置は、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得する学習データ取得手段と、前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力するモデルの学習を行う学習手段と、を備える。
【0010】
本発明の第5の態様によれば、学習方法では、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得し、前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う。
【0011】
本発明の第6の態様によれば、学習方法では、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う。
【0012】
本発明の第7の態様によれば、学習方法では、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得し、前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力する。
【0013】
本発明の第8の態様によれば、プログラムは、コンピュータに、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得することと、前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行ことと、を実行させるためのプログラムである。
【0014】
本発明の第9の態様によれば、プログラムは、コンピュータに、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行ことを実行させるためのプログラムである。
【0015】
本発明の第10の態様によれば、プログラムは、コンピュータに、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得することと、前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力することと、を実行させるためのプログラムである。
【発明の効果】
【0016】
本発明によれば、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【図面の簡単な説明】
【0017】
【
図1】実施形態に係る学習装置の概略構成の例を示す図である。
【
図2】実施形態に係る学習装置が扱うモデルの入出力の第一例を示す図である。
【
図3】実施形態に係る学習装置が扱うモデルの入出力の第二例を示す図である。
【
図4】実施形態に係る学習時と運用時とでのモデルへの入力データの分布の違いを説明するための図である。
【
図5】実施形態に係る学習装置が扱うモデルの入出力の第三例を示す図である。
【
図6】実施形態に係る学習装置が扱うモデルの入出力の第四例を示す図である。
【
図7】実施形態に係る学習装置の構成の第二例を示す図である。
【
図8】実施形態に係る学習装置の構成の第三例を示す図である。
【
図9】実施形態に係る学習装置の構成の第四例を示す図である。
【
図10】実施形態に係る学習装置の構成の第五例を示す図である。
【
図11】実施形態に係る学習方法における処理手順の第一例を示すフローチャートである。
【
図12】実施形態に係る学習方法における処理手順の第二例を示すフローチャートである。
【
図13】実施形態に係る学習方法における処理手順の第三例を示すフローチャートである。
【
図14】実施形態に係る学習方法における処理手順の第四例を示すフローチャートである。
【
図15】少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0019】
図1は、実施形態に係る学習装置の概略構成の例を示す図である。
図1に示す構成で、学習装置100は、通信部110と、表示部120と、操作入力部130と、記憶部180と、制御部190とを備える。記憶部180は、モデル記憶部181を備える。制御部190は、モデル計算部191と、学習データ取得部192と、学習部193とを備える。
【0020】
学習装置100は、モデルの学習を行う。学習装置100は、例えばパソコン(Personal Computer;PC)またはワークステーション(Workstation)などのコンピュータを用いて構成されていてもよい。
通信部110は、他の装置と通信を行う。例えば通信部110が、他の装置から学習データを受信するようにしてもよい。また、モデルが学習装置100の外部にある場合、通信部110が、モデルへの入力データを送信して計算を指示し、モデルの出力を受信するようにしてもよい。
【0021】
表示部120は、例えば液晶パネルまたはLED(Light Emitting Diode、発光ダイオード)パネル等の表示画面を備え、各種画像を表示する。例えば、表示部120が、モデルの出力を表示するようにしてもよい。
操作入力部130は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部130が、モデルの学習開始を指示するユーザ操作を受け付けるようにしてもよい。
【0022】
記憶部180は、各種データを記憶する。記憶部180は、学習装置100が備える記憶デバイスを用いて構成される。
モデル記憶部181は、モデルを記憶する。ただし、学習装置100が学習の対象とするモデルは、モデル記憶部181が記憶するものに限定されない。たとえば、学習装置100が学習の対象とするモデルが、専用のハードウェアを用いて構成されていてもよい。また、学習装置100が学習の対象とするモデルが、学習装置100とは別の装置として構成されていてもよい。
【0023】
制御部190は、学習装置100の各部を制御して各種処理を実行する。制御部190の機能は、例えば、学習装置100が備えるCPU(Central Processing Unit、中央処理装置)が記憶部180からプログラムを読み出して実行することで実行される。
モデル計算部191は、モデルによる計算を実行する。例えば、モデル記憶部181がソフトウェア的に構成されたモデルを記憶している場合、モデル計算部191がモデル記憶部181からモデルのソフトウェアを読み出して演算を実行するようにしてもよい。あるいはモデルが学習装置100の外部の構成となっている場合、モデル計算部191が、通信部110を介してモデルに対して計算の実行を指示するようにしてもよい。
【0024】
学習データ取得部192は、学習データを取得する。例えば、学習データ取得部192が、通信部110を介して他の装置から学習データを取得するようにしてもよい。
学習部193は、モデルの学習を実行する。学習部193が公知の方法を用いてモデルの学習を行うようにしてもよい。
【0025】
学習装置100が扱うモデルについて、モデルによる推定の対象が複数あり、対象ごとの固定値と、対象ごとに値を変更可能な可変項目とがあるものとする。モデルによる推定の対象のそれぞれを推定対象個体と称する。ここでいうモデルによる推定は、出力の正解値を不知のモデルが値を出力することである。ここでいう推定は予測であってもよいが、これに限定されない。例えば、学習装置100が扱うモデルが、対象と可変項目値とに対する予測に用いられてもよいし、対象における可変項目値の評価に用いられてもよいが、これらの用途に限定されない。
推定対象個体ごとの固定値をxと表記し、可変項目値(可変項目の値)をaと表記する。
【0026】
図2は、学習装置100が扱うモデルの入出力の第一例を示す図である。
図2の例で、モデルfは、固定値xと可変項目値aとの入力を受けて推定値を出力する。モデルfを、f(x,a)とも表記する。モデルfが出力する推定値は、固定値xで特定される推定対象個体について可変項目値aが設定されたときの推定値である。この推定値をy^
aと表記する。また、推定対象項目値y
aは、推定値y^
aに対する実際値に該当する。
ここでいう推定対象項目は、モデルが推定結果として出力する対象となる項目、すなわち、アウトカムである。推定対象項目値は、アウトカムに対する実際値(測定値)である。
【0027】
モデルgは、固定値xの入力を受けて推定対象項目基準値を出力する。推定対象項目基準値をy^と表記する。モデルgを、g(x)とも表記する。
推定対象項目基準値y^は、推定対象個体ごとに定まる値であり、推定対象個体ごとの推定対象項目値yaの平均的な値を示す。具体的には、推定対象項目基準値y^は、1つの推定対象個体について、可変項目値aごとに得られる推定対象項目値yaについて、固定値xが与えられたもとでの過去の意思決定者の可変項目値の選択に関して条件付き期待値をとったものの推定値と捉えることができる。推定対象基準値は、アウトカムの基準値である。
モデルgの値を計算するモデル計算部191は、基準値算出手段の例に該当する。すなわち、モデル計算部191は、モデルgを用いて、推定対象個体ごとの固定値xに応じた推定対象項目基準値y^を算出する。
【0028】
学習部193は、例えば、固定値xと、可変項目値aと、推定対象項目値yaとの組み合わせによる学習データのうち、固定値xと、推定対象項目値yaとを用いて、可変項目値aを無視して、モデルgの学習を行う。ここでの可変項目値aを無視することは、可変項目値aをモデルgへの入力として用いないことである。
このように、学習部193が、推定対象項目値yaを正解としてモデルgの学習を行ってもよいことから、モデルgの出力値である推定対象項目基準値y^は、モデルgによる推定対象項目値yaの推定値に該当する。
【0029】
推定対象個体、固定値xおよび可変項目値aは、特定のものに限定されない。また、固定値x、可変項目値aそれぞれのデータ形式は、特定のものに限定されない。
例えば、推定対象個体は小売店等の店舗であり、固定値xは、店舗の所在地など各店舗固有の特性値であってもよい。可変項目値aは、店舗における品揃えなど、店舗ごとに実施可能な行動であってもよい。推定値y^aは、各店舗の売り上げなど、品揃えに応じて店舗ごとに求まる値とすることができる。推定対象項目基準値y^は、例えば、店舗ごとの平均的な売り上げと捉えることができる。
【0030】
あるいは、推定対象個体は人であり、固定値xは、各個人の性別および年齢など各個人固有の特性値であってもよい。可変項目値aは、喫煙の有無など、各個人が実施可能な行動であってもよい。推定値y^aは、各個人の健康の評価値など、個人の行動に応じて個人ごとに求まる値とすることができる。推定対象項目基準値y^は、例えば、各個人に平均的な行動を想定した場合の健康の評価値と捉えることができる。
【0031】
モデルfの使い方の1つとして、推定値f(x,a)=y^aが大きい値になるような可変項目値aを求めるといった使い方が考えられる。例えば、推定値y^aが各店舗の売り上げである場合に、ある店舗において、売り上げy^aが大きくなるような品揃えaを求めることが考えられる。
この場合、推定値y^aが大きいにもかかわらず、実際の値(推定対象項目値ya)が小さいことを避けるようにモデルfの学習を行うことが好ましいと考えられる。そこで、学習部193が、式(1)に示されるERの値が小さいほど評価が高くなる評価関数を用いてモデルfの学習を行うようにしてもよい。
【0032】
【0033】
logは、対数関数を表す。Nは、学習に用いられるサンプルの個数を示す。ここでいうサンプルは、学習データにおける個々のサンプルである。例えば、1つの推定対象個体における固定値xと、その推定対象個体について設定される1つの可変項目値aと、その固定値xかつその可変項目値aの場合の正解である推定対象項目値yとの組み合わせが、1つのサンプルを構成していてもよい。
【0034】
このサンプルを含む学習データを取得する学習データ取得部192は、学習データ取得手段の例に該当する。すなわち、学習データ取得部192は、推定対象個体ごとの固定値xと、可変項目値aと、その固定値xおよびその可変項目値aに応じた推定対象項目値yaとを含む学習データを取得する。
sは、式(2)のように示される。
【0035】
【0036】
ここでのyは、サンプルに含まれる推定対象項目値であり、サンプルによって特定される固定値xおよび可変項目値aに対するモデルfの出力の正解値を示す。
モデルgは、上述したように、固定値xと推定対象項目値yとの関係について学習したモデルである。モデルgの値は、固定値xが定まったときの推定対象項目値yの平均として用いられる。
【0037】
Iは、引数値が真の場合に値が1となり、引数値が偽の場合に値が0となる関数である。したがって、I(y-g(x)≧0)の値は、y≧g(x)の場合に1となり、y<g(x)の場合に0となる。
vは、式(3)のように示される。
【0038】
【0039】
σはシグモイド関数を示す。したがって、vは、0<v<1の値をとり、式(1)の「log(v)」は負の値をとる。すなわち、log(v)<0である。また、f(x,a)-g(x)の値が大きいほど、「log(v)」の値が大きくなる。すなわち、f(x,a)-g(x)の値が大きいほど、「log(v)」は、大きさ|log(v)|が小さい負の値になる。
【0040】
式(2)より、y<g(x)の場合、s=0であり、式(1)の「s log(v)」の値は0になる。一方、y≧g(x)かつf(x,a)<g(x)の場合、「s log(v)」の値は、比較的小さい負の値になり、y≧g(x)かつf(x,a)≧g(x)の場合、「s log(v)」の値は、比較的大きい負の値になる。上記のように、小さい負の値とは、大きさ(絶対値)が大きい負の値であり、大きい負の値とは、大きさ(絶対値)が小さい負の値である。
このように、式(1)の「s log(v)」の値は、y≧g(x)かつf(x,a)<g(x)の場合に比較的小さい負の値になり、それ以外の場合は0または0に近い負の値(比較的大きい負の値)になる。
【0041】
また、式(3)より、1-vは、0<1-v<1の値をとり、式(1)の「log(1-v)」は負の値をとる。また、f(x,a)-g(x)の値が大きいほど、1-vの値が小さくなり、「log(1-v)」の値が小さくなる。すなわち、f(x,a)-g(x)の値が大きいほど、「log(1-v)」は、大きさ|log(1-v)|が大きい負の値になる。
【0042】
式(2)より、y≧g(x)の場合、1-s=0であり、式(1)の「(1-s)(1-log(v))」の値は0になる。一方、y<g(x)かつf(x,a)≧g(x)の場合、「(1-s)(1-log(v))」の値は、比較的小さい負の値になり、y<g(x)かつf(x,a)<g(x)の場合、「(1-s)(1-log(v))」の値は、比較的大きい負の値になる。
このように、式(1)の「(1-s)(1-log(v))」の値は、y<g(x)かつf(x,a)≧g(x)の場合に比較的小さい負の値になり、それ以外の場合は0または0に近い負の値(比較的大きい負の値)になる。
【0043】
したがって、モデルfの学習に用いられるサンプルのうち、「(y≧g(x)かつf(x,a)<g(x))または(y<g(x)かつf(x,a)≧g(x))」となるサンプルの割合が多いほど、ERの値が大きくなる。そこで、学習部193が、ERの値が小さくなるようにモデルf(x,a)の学習を行うことで、f(x,a)≧g(x)の場合は、y≧g(x)であり、f(x,a)<g(x)の場合は、y<g(x)であることが期待される。
【0044】
上述したように、モデルg(x)の出力は推定対象項目値y^として用いられる。したがって、ERの値が小さいほど評価が高くなる評価関数は、推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上である場合、および、推定値y^aが推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが推定対象項目基準値y^未満である場合に評価が高くなる評価関数の例に該当する。
【0045】
推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上である場合、および、推定値y^aが推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが推定対象項目基準値y^未満である場合に評価が高くなる評価関数は、モデルfの学習に用いられるサンプルの個数に対する、推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上であるサンプルの個数と、推定値y^aが推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが推定対象項目基準値y^未満であるサンプルの個数との合計の割合が多いほど評価が高くなる評価関数であってもよい。
【0046】
上記のように、学習部193が、ERの値が小さいほど評価が高くなる評価関数を用いてモデルfの学習を行うようにしてもよい。
例えば、学習部193が、式(4)に示されるLの値が小さいほど評価が高くなる評価関数を用いてモデルfの学習を行うようにしてもよい。
【0047】
【0048】
MSEは、モデルfの出力である評価項目推定値y^aと、正解値である評価項目値yとの平均二乗誤差(Mean Squared Error)を示す。Lの値が小さいほど、評価項目推定値y^aと評価項目値yとの平均二乗誤差が小さく、この点で、モデルfの精度が高い。また、Lの値が小さいほど、ERについて上述したように、f(x,a)≧g(x)の場合は、y≧g(x)であり、f(x,a)<g(x)の場合は、y<g(x)であることが期待される。
【0049】
学習部193が、関数値が小さいほど評価が高い評価関数(すなわち、損失関数)を用いてモデルfの学習を行う場合、Lを項の1つとして含む評価関数、または、Lに正の係数を乗算した項を含む評価関数を用いるようにしてもよい。
学習部193が、関数値が大きいほど評価が高い評価関数を用いてモデルfの学習を行う場合、-Lを項の1つとして含む評価関数、または、Lに負の係数を乗算した項を含む評価関数を用いるようにしてもよい。
Lの値を算出する処理は、式(4)に示す幾何平均を算出する処理に限定されず、例えば、算術平均を算出する処理、または、重み付き平均を算出する処理等であってもよい。
【0050】
ここで、式(5)が成り立つとの知見が得られた。
【0051】
【0052】
「Regret@k」は、推定対象項目値yaを得られる可変項目値aのうち、推定値y^aが最大となる可変項目値aからk番目に大きい可変項目値aの何れか、すなわち、推定値y^aが上位k個の何れかとなる可変項目値aに対応する推定対象項目値yaの平均と、真の上位k個の推定対象項目値yaの平均との間の差を示す。
「|Action Set|」は、可変項目値aの要素数(すなわち、設定可能なパラメタの個数)を示す。
分数の分母の「k」は、Regret@kにおける可変項目値aの個数の「k」を示す。
【0053】
「Uniform MSE」は、可変項目値aが一様分布に従う場合の、推定対象項目値yaと推定値y^aとの平均二乗誤差を示す。
「Top-k Error」は、推定値y^aが上位k個以内であるかどうかと、推定対象項目値yaが上位k個以内であるかどうかとが逆になる可変項目値aの割合を示す。
【0054】
推定値y^aが上位k個以内であるかどうかと、推定対象項目値yaが上位k個以内であるかどうかとが逆になる可変項目値aの個数は、推定値y^aが上位k個以内であり、かつ、推定対象項目値yaが上位k個以内でない可変項目値aの個数と、推定値y^aが上位k個以内でなく、かつ、推定対象項目値yaが上位k個以内である可変項目値aの個数との合計である。
式(4)に示されるLを用いることで、式(5)に基づいて、もし可変項目値ごとの真の推定対象項目値を全て知っていればその上位k個から選択することで得られたはずの評価項目値の平均と推定に基づいて上位k個から選択した場合の平均の差(Regret@k)を近似的に抑えることができる。この「差」を「後悔」(Regret)と称し、「Regret@k」との表記を用いている。
【0055】
学習部193は、まず、学習データを用いてモデルgの学習を行う。学習部193がモデルgの学習を完了した後、モデル計算部191が、学習データのサンプルごとに推定対象項目基準値y^を算出し、学習データ取得部192が、そのサンプルに推定対象項目基準値y^を含めた学習データ生成する。学習部193は、推定対象項目基準値y^を含む学習データを用いて、モデルfの学習を行う。あるいは、学習部193が、モデルfの学習にサンプルを適用する毎に、モデル計算部191が、そのサンプルの場合のモデルgの出力(すなわち、推定対象項目基準値y^)を算出するようにしてもよい。
【0056】
以上のように、モデル計算部191は、推定対象個体ごとの固定値xに応じた推定対象項目基準値y^を算出する。学習データ取得部192は、推定対象個体ごとの固定値xと、可変項目値aと、その固定値xおよびその可変項目値aに応じた推定対象項目値yaとを含む学習データを取得する。モデルfは、前記推定対象個体ごとの固定値xと、可変項目値aとの入力に対して、推定対象項目値yaの推定値y^aを出力する。学習部193は、モデルfの学習を、学習データ取得部192が取得する学習データと、推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上である場合、および、推定値が推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが前記推定対象項目基準値y^未満である場合に評価が高くなる評価関数とを用いて行う。
【0057】
学習部193は、学習手段の例に該当する。式(1)のERの値が小さいほど評価が高くなる評価関数、または、式(4)のLの値が小さいほど評価が高くなる評価関数は、推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上である場合、および、推定値が推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが前記推定対象項目基準値y^未満である場合に評価が高くなる評価関数の例に該当する。
【0058】
上述した、f(x,a)≧g(x)の場合はy≧g(x)であること、および、f(x,a)<g(x)の場合はy<g(x)であることは、推定値y^aが推定対象項目基準値y^以上であり、かつ、推定対象項目値yaが推定対象項目基準値y^以上である場合、および、推定値が推定対象項目基準値y^未満であり、かつ、推定対象項目値yaが前記推定対象項目基準値y^未満である場合の例に該当する。
【0059】
学習装置100によれば、モデルfの出力(推定値y^a)が大きいにもかかわらず、実際の値(推定対象項目値ya)が小さい可能性が小さいと期待される。学習装置100によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0060】
また、モデル計算部191は、モデルgを用いて、推定対象項目基準値y^を算出する。モデルgは、推定対象個体ごとの固定値xと推定対象項目値yとを学習データとして用いた学習によって、推定対象個体ごとの固定値xの入力に対して推定対象項目値yの推定値を出力するモデルの例に該当する。
【0061】
学習装置100によれば、モデルgに固定値xを入力することで推定対象項目基準値y^を算出できる点で、モデルg(x)の学習のほうが、モデルf(x,a)の学習よりも容易に行うことができる。特に、モデルf(x,a)の学習では、学習データの分布p(x,a)以外でも、必要な推定精度を得られるように学習を行うことが要求される。これに対し、モデルg(x)の学習では、可変項目値aの変更が学習に影響しないため、過去のデータの分布について、必要な推定精度を得られるように学習すればよい。
【0062】
また、学習装置100によれば、推定対象項目基準値y^として推定対象項目値yaの平均的な値を得られる点で、推定値y^aとの比較対象、および、推定対象項目値yaとの比較対象として適切な値を得られる。仮に、推定対象項目基準値y^が推定対象項目値yaに対して非常に大きい場合、常にy^>yaとなり比較が無意味になってしまうといったことが考えられる。これに対して、モデル計算部191が推定対象項目基準値y^として推定対象項目値yaの平均的な値を得られることで、上記のような無意味な比較を回避できる。
【0063】
また、学習部193は、推定対象項目値yaが推定対象項目基準値y^以上か、あるいは、推定対象項目値yaが推定対象項目基準値y^未満かに応じた値をとるステップ関数と、推定対象個体ごとの固定値xおよび可変項目値aの入力に対するモデルfの出力(推定値y^a)から推定対象項目基準値y^を減算した差に関して単調かつ微分可能な関数との積を含む前記評価関数を用いる。なお、「差」は、モデルfの出力と推定対象項目基準値y^との差異を表していればよい。以降、同様である。
式(2)の「I(y-g(x)≧0)」の値は、y<g(x)のとき0となり、y≧g(x)のとき1となる。「I(y-g(x)≧0)」は、ステップ関数の例に該当する。
学習装置100によれば、評価関数として上記のように微分可能な関数を用いることで、可変項目値aの入力に関して微分可能な関数を用いることで、誤差逆伝播法(Backpropagation)など公知の学習方法を適用可能である。
【0064】
図3は、学習装置100が扱うモデルの入出力の第二例を示す図である。
図3の例で、モデルφは、固定値xと可変項目値aとの入力を受けて特徴表現を出力する。モデルφをφ(x,a)とも表記する。モデルφが出力する特徴表現は、モデルφへの入力データである固定値xおよび可変項目値aの特徴を示すデータである。この特徴表現をΦと表記する。特徴表現は、実数ベクトルで示されていてもよい。この場合の実数ベクトルを特徴ベクトルとも称する。特徴表現を特徴量とも称する。
モデルhは、特徴表現Φの入力を受けて推定値y^
aを出力する。モデルhを、h(Φ)とも表記する。
モデルφとモデルhとの組み合わせにてモデルfを構成する。
【0065】
図3の例で、学習部193は、モデルφおよびモデルhの学習時と運用時との入力データの分布の違いに対応するように、モデルの学習(特にモデルφの学習)を行う。
図4は、学習時と運用時とでのモデルへの入力データの分布の違いを説明するための図である。
図4は、1つの店舗における商品の品揃えと売り上げの関係の例を示している。
図4のグラフの横軸は、品揃えを示す。図を見易くするために、
図4では、品揃えを1次元で示している。品揃えは、可変項目値aの例に該当する。
図4のグラフの縦軸は、売り上げを示す。売り上げは、推定対象項目値y
aの例に該当する。
【0066】
線L11は、品揃えと売り上げとの実際の関係の例を示す。品揃えと売り上げとの関係の測定データの例が、線L11上の黒丸で示されている。線L12は、品揃えに対する売り上げの測定値を直線近似するモデルの例を示している。
ここで、測定データが測定されたときの品揃えは、店長が好適な品揃えとして考えたものであり、
図4に示すように測定データが、売り上げが高い(大きい)側に偏っている場合について考える。
【0067】
この場合、売り上げが低い(小さい)場合の、品揃えと売り上げとの関係がモデルに反映されておらず、これによりモデルの精度が低いことが考えられる。例えば、店長が、売り上げが高くなるように品揃えを決定しようとして、線L12上に示される点y^a1に基づいて、品揃えa1に決定したものとする。この場合、実際の売り上げは線L11上の点ya1で示される売り上げとなり、店長が見込んだ、点y^a1で示される売り上げよりも大幅に低くなることが考えられる。
【0068】
これに対し、測定データを十分に得られていない入力データについても、測定データに示される関係を反映させることができれば、モデルの精度が高くなると期待される。
そこで、学習部193は、可変項目について一様分布(均等分布)に基づいて乱択(Random Sampling)された一様分布データを用いてモデルφの学習を行う。一様分布データをarandと表記する。
【0069】
学習部193は、学習データに含まれる可変項目値aを用いた場合と、一様分布データarandを用いた場合とで特徴表現Φの分布が同様になるように、モデルφの学習を行う。
学習データに含まれる可変項目値aを用いた場合の特徴表現Φは、学習データのサンプルに含まれる、可変項目値aと固定値xとの組み合わせの入力を受けてモデルφが出力する特徴表現Φである。一様分布データarandを用いた場合の特徴表現Φは、学習データのサンプルに含まれる、可変項目値aと固定値xとの組み合わせから、可変項目値aを一様分布データarandに置き換えた組み合わせの入力を受けてモデルφが出力する特徴表現Φである。
ここでは、一様分布データarandを用いた場合の特徴表現をΦrandと表記して、学習データに含まれる可変項目値aを用いた場合の特徴表現Φと区別する。
【0070】
学習部193は、さらに、学習後のモデルφが、学習データのサンプルに含まれる固定値xおよび可変項目値aの組み合わせの入力を受けて出力する特徴表現Φと、そのサンプルに含まれる推定対象項目値yaとが紐付けられた学習データを用いて、モデルhの学習を行う。
【0071】
モデルφによって学習データに含まれる可変項目値aが、一様分布データarandの場合の特徴表現Φrandと同様の分布を示す特徴表現Φに変換される。これにより、学習部193は、学習データで示される可変項目値aだけでなく、可変項目値aの分布全体について、学習データに含まれる可変項目値aと推定対象項目値yaとの関係をモデルhに反映させるように、モデルhの学習を行うことができる。この点で、モデルφとモデルhとの組み合わせによるモデルfの精度が高いことが期待される。
【0072】
学習データ取得部192が、一様分布データarandを取得する方法は、特定の方法に限定されない。例えば、学習データ取得部192が、可変項目値aの一様分布のモデルが乱択するデータを一様分布データarandとして取得するようにしてもよい。あるいは、学習データ取得部192が、学習装置100のユーザなど人が作成した一様分布データarandを取得するようにしてもよい。
学習データ取得部192に代えて学習部193が一様分布データarandを取得するようにしてもよい。
【0073】
モデルφの学習について、学習部193が、特徴表現Φの分布と特徴表現Φrandの分布との分布間距離が小さくなるように、モデルφの学習を行うようにしてもよい。例えば、学習部193が、特徴表現Φの分布と特徴表現Φrandの分布との分布間距離を含む評価関数を用いて、分布間距離を最小化するように、モデルφの学習を行うようにしてもよい。また、学習部193が、特徴表現Φの分布と特徴表現Φrandの分布との分布間距離が所定の閾値以下になるように、モデルφの学習を行うようにしてもよい。
この場合の分布間距離は、式(6)のように示される。
【0074】
【0075】
DIPM(Integral Probability Metric)は、引数に示される2つの分布の分布間距離を示す。「{φ(x,a)}」は、学習データに含まれる可変項目値aを用いた場合にモデルφが出力する特徴表現Φの集合を示す。「{φ(x,arand)}」は、一様分布データarandを用いた場合にモデルφが出力する特徴表現Φrandの集合を示す。
分布間距離は、2つの分布の一致度合いを示す指標である。学習部193が用いる分布間距離は、特定のものに限定されない。例えば、学習部193が、分布間距離としてMMD(Maximum Mean Discrepancy)またはWasserstein距離を用いるようにしてもよいが、これらに限定されない。
【0076】
以上のように、モデルφは、推定対象個体ごとの固定値xと可変項目値aとの入力に対して特徴表現Φを出力する。学習部193は、モデルφの学習を、推定対象個体ごとの固定値xと学習データに含まれる可変項目値aとの入力に対してモデルφが出力する特徴表現Φの分布と、推定対象個体ごとの固定値と一様分布に基づき乱択された可変項目値arandとの入力に対してモデルφが出力する特徴表現Φrandの分布との分布間距離が小さくなるように行う。
【0077】
学習装置100によって学習済みのモデルφによれば、学習データに含まれる可変項目値aが、一様分布データarandの場合の特徴表現Φrandと同様の分布を示す特徴表現Φに変換される。これにより、学習部193は、学習データで示される可変項目値aだけでなく、可変項目値aの分布全体について、学習データに含まれる可変項目値aと推定対象項目値yaとの関係をモデルhに反映させるように、モデルhの学習を行うことができる。この点で、モデルφとモデルhとの組み合わせによるモデルfの精度が高いことが期待される。
学習装置100によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0078】
図5は、学習装置100が扱うモデルの入出力の第三例を示す図である。
図5の例で、モデルφ
xは、固定値xの入力を受けて特徴表現を出力する。モデルφ
xは、第一モデルの例に該当する。モデルφ
xが出力する特徴表現を、Φ
xと表記する。特徴表現Φ
xは、モデルφ
xへの入力データである固定値xの特徴を示すデータである。特徴表現Φ
xは、第一特徴表現の例に該当する。
モデルφ
xを、φ
x(x)とも表記する。
【0079】
モデルφ
aは、可変項目値aの入力を受けて特徴表現を出力する。モデルφ
aは、第二モデルの例に該当する。モデルφ
aが出力する特徴表現を、Φ
aと表記する。特徴表現Φ
aは、モデルφ
aへの入力データである可変項目値aの特徴を示すデータである。特徴表現Φ
aは、第二特徴表現の例に該当する。
モデルφ
aを、φ
a(a)とも表記する。
図5の例では、モデルhは、特徴表現Φ
xと特徴表現Φ
aとの組み合わせによる特徴表現Φの入力を受けて推定値y^
aを出力する。
モデルφ
xとモデルφ
aとモデルhとの組み合わせにてモデルfを構成する。
【0080】
学習部193は、特徴表現Φxと特徴表現Φaとが確率変数として独立になるように、モデルφxおよびモデルφaのうち少なくとも何れか一方の学習を行う。
これにより、固定値xの値に依存しない特徴表現Φaの分布を得られる。したがって、モデルφaが、測定データでは固定値xとの組み合わせにて得られる可変項目値aから固定値xに依存しない特徴を抽出して特徴表現Φaとして出力すると考えられる。これにより、学習部193は、学習データで示される固定値xごとの可変項目値aだけでなく、可変項目値aの分布全体について、学習データに含まれる可変項目値aと推定対象項目値yaとの関係をモデルhに反映させるように、モデルhの学習を行うことができる。この点で、モデルφxとモデルφaとモデルhとの組み合わせによるモデルfの精度が高いことが期待される。
【0081】
学習部193が、特徴表現Φxと特徴表現Φaとが確率変数として独立になるように、モデルφxおよびモデルφaのうち少なくとも何れか一方の学習を行う方法は、特定の方法に限定されない。例えば、学習部193が、HSIC(Hilbert-Schmidt Independence Criterion、ヒルベルト-シュミット独立基準)が小さくなるように、モデルφxおよびモデルφaのうち少なくとも何れか一方の学習を行うようにしてもよい。さらに例えば、学習部193が、特徴表現Φの分布と特徴表現Φrandの分布との分布間距離を含む評価関数を用いて、分布間距離を最小化するように、モデルφの学習を行うようにしてもよい。また、学習部193が、特徴表現Φの分布と特徴表現Φrandの分布との分布間距離が所定の閾値以下になるように、モデルφの学習を行うようにしてもよい。
この場合のHSICは、式(7)のように示される。
【0082】
【0083】
「HSIC」は、ヒルベルト-シュミット独立基準の値を示す。「{φx(x)}」は、モデルφxが出力する特徴表現Φxの集合を示す。「{φa(a)}」は、モデルφaが出力する特徴表現Φaの集合を示す。
【0084】
以上のように、モデルφxは、推定対象個体ごとの固定値xの入力に対して特徴表現Φxを出力する。モデルφaは、可変項目値aの入力に対して特徴表現Φaを出力する。学習部193は、特徴表現Φxの分布と、特徴表現Φaの分布との独立性の評価指標を含む評価関数を用いて、評価指標が示す独立性が高くなるように、モデルφxまたはモデルφyの少なくとも何れか一方の学習を行う。
【0085】
これにより、固定値xの値に依存しない特徴表現Φaの分布を得られる。したがって、モデルφaが、測定データでは固定値xとの組み合わせにて得られる可変項目値aから固定値xに依存しない特徴を抽出して特徴表現Φaとして出力すると考えられる。これにより、学習部193は、学習データで示される固定値xごとの可変項目値aだけでなく、可変項目値aの分布全体について、学習データに含まれる可変項目値aと推定対象項目値yaとの関係をモデルhに反映させるように、モデルhの学習を行うことができる。この点で、モデルφxとモデルφaとモデルhとの組み合わせによるモデルfの精度が高いことが期待される。
学習装置100によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0086】
図6は、学習装置100が扱うモデルの入出力の第四例を示す図である。
図6の例で、モデルqは、固定値xおよび可変項目値aの入力を受けて、推定値y^aから推定対象項目基準値y^を減算した差に相当する値を出力する。モデルqの出力をr
aと表記する。推定対象項目基準値y^をモデルgの出力「g(x)」で表して、r
aは、式(8)のように示される。
【0087】
【0088】
モデルqを、q(x,a)とも表記する。
図6で「+」で示される加算モデルは、モデルg(x)の出力と、モデルq(x,a)の出力とを足し合わせる。加算モデルの出力は、推定値y^
aに該当する。
モデルgとモデルqと加算モデルとの組み合わせにてモデルfを構成する。
この場合のモデルfは、式(9)のように示される。
【0089】
【0090】
ここで、モデルgは、固定値xが示す推定対象個体ごとの条件下での、推定値y^
aの条件付き平均と捉えることができ、式(10)のように示される。
【数10】
【0091】
「E」は期待値を示す。「a~μ(a|x)」は、可変項目値aの分布が、固定値xに応じた分布(学習データにおける可変項目値aの分布)に従うことを示す。「E[y
a|x]」は、固定値xについて条件付けされた可変項目値aに対する推定対象項目値y
aの期待値を示す。
図6の例で、モデルgは、理想的には、推定値y^
aのうち、推定対象個体ごとの固定値xに基づき可変項目値aには依存しない部分の値を出力するものと捉えることができる。そして、モデルqは、理想的には、推定値y^
aのうち、推定対象個体ごとの固定値xおよび可変項目値aの両方に依存する部分の値を、モデルgの出力に対する補正値として出力するものと捉えることができる。
【0092】
学習データ取得部192は、式(8)に示されるように、学習データのサンプルに含まれる推定対象項目値yaから、そのサンプルにおけるモデルgの出力を減算した値raを算出し、推定対象項目値yaを算出した値raで置き換えた学習データを生成する。
学習部193は、学習データ取得部192が生成した学習データを用いて、式(8)に示されるように、学習データのサンプルに含まれる推定対象項目値yaから、そのサンプルにおけるモデルgの出力を減算した値raを出力するように、モデルqの学習を行う。
【0093】
ここで、固定値x、および、可変項目値aの両方の影響を受けるモデルf全体の学習では、入力データ空間が広く複雑な関数であるため十分なサンプルを得られず高精度に学習を行えないことが考えられる。例えば、
図3を参照して説明したように、学習データに示されない可変項目値aについて、学習データを十分に反映させることができない、といったことが考えられる。
これに対して、モデルgは可変項目値aの入力を受けない。また、モデルqは、固定値xの影響が一定程度予め除外された値r
aを予測することのみが求められることから、モデルfの場合と比較して簡易な関数で表されるモデルで十分な近似精度を得られると考えられる。この点で、学習部193が、モデルgの学習およびモデルqの学習をより高精度に行えると期待される。
ここでいう、関数が簡易であるとは、その関数をニューラルネットワークとして表現した場合のパラメタの二乗和が小さいことであってもよい。また、ここでいう、関数が簡易であるとは、小さい定数ρに関してρ-リプシッツ連続な関数であることであってもよい。
【0094】
また、学習部193は、モデルg、モデルfの学習も教師有り学習で行うことができ、この点でも学習を高精度に行えること、および、学習部193の負荷が比較的小さいことが期待される。
【0095】
学習部193は、まず、学習データを用いてモデルgの学習を行う。学習部193がモデルgの学習を完了した後、モデル計算部191が、学習データのサンプルごとに推定対象項目基準値y^を算出し、学習データ取得部192が、そのサンプルの推定対象項目値yaを差分raに置き換えた学習データを生成する。学習部193は、推定対象項目値yaを差分raに置き換えられた学習データを用いて、モデルqの学習を行う。
【0096】
以上のように、モデル計算部191は、推定対象個体ごとの固定値xに応じた推定対象項目基準値y^を、モデルgを用いて算出する。学習データ取得部192は、推定対象個体ごとの固定値xと、可変項目値aと、その固定値xおよびその可変項目値aに応じた推定対象項目値y^aから推定対象項目基準値y^が減算された差分raとを含む学習データを取得する。学習部193は、学習データ取得部192が取得する学習データを用いて、モデルqの学習を行う。モデルqは、推定対象個体ごとの固定値xと可変項目値aとの入力に対して推定対象項目値y^aから前記推定対象項目基準値y^が減算された差分raの推定値を出力する。
【0097】
モデルqが、固定値xおよび可変項目値aの入力を受けて差分raを出力することで、モデルfが、固定値xおよび可変項目値aの入力を受けて推定対象項目値y^aを出力する場合よりも、固定値xとモデルの出力との相関性が低い(小さい)ことが考えられる。このことから、モデルqでは、モデルfの場合と比較して簡易な関数で表されるモデルで十分な近似精度を得られると考えられる。
【0098】
推定対象項目値y^aに対する固定値xの影響が大きく、可変項目値aの影響が比較的小さい場合、モデルqの仮説空間が特に小さいことが考えられる。可変項目値aの影響が比較的小さい場合の例として、上述した推定対象個体が小売店等の店舗である場合で、推定対象項目値y^aに該当する売り上げに対して店舗の立地等の固定値xの影響が大きく、可変項目値aに該当する品揃えの影響が比較的小さい場合が挙げられる。
【0099】
このように、モデルqの仮説空間が比較的小さいことで、過学習が比較的生じにくいなど、学習部193がモデルqの学習を比較的高精度に行えると期待される。
学習装置100によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0100】
また、学習部193は、差分raを正解として用いる教師有り学習でモデルqの学習を行うことができる。この点でも、学習部193がモデルqの学習を比較的高精度に行えると期待される。
また、上記の、式(8)のように、f(x,a)=g(x)+q(x,a)の形であって、g(x)がデータ分布上でaに関して周辺化した条件付き期待値をとったものを推定するように学習される場合、モデルqがモデルgの推定誤差に対してロバストであると期待される。「データ分布上でaに関して周辺化した条件付き期待値をとったもの」は、式(10)の右辺、すなわち、「Ea~μ(a|x)[ya|x]」を意味する。ここでいうロバストは、モデルgのパラメタ推定誤差が、モデルqのパラメタの推定に及ぼす影響が小さいことである。より具体的には、ここでいうロバストは、モデルgのパラメタの推定値が真の関数を表すパラメタから微小に変化した場合の、モデルqの推定精度の悪化が小さいことである。
【0101】
また、1つの店舗について売り上げが大きくなるように品揃えを決定する用途では、モデルgが出力する推定対象項目基準値y^は不要であり、モデルqが出力する差分raがあればよい。この点で、g(x)の推定精度それ自体は問題にならない。
また、モデルgについても仮説空間が比較的小さいこと、および、教師有り学習で学習を行えることから、学習部193がモデルgの学習を比較的高精度に行えると期待される。この点で、モデル計算部191が、モデルgを用いて、式(8)に基づいて推定値y^aを算出する場合、推定値y^aを高精度に計算できると期待される。
【0102】
学習装置100が、
図2に示されるモデルを用いる学習方法と、
図3に示されるモデルを用いる学習方法と、
図5に示されるモデルを用いる学習方法とのうち何れか1つを行うようにしてもよい。学習装置100が、
図2に示されるモデルを用いる学習方法と、
図3に示されるモデルを用いる学習方法と、
図5に示されるモデルを用いる学習方法とのうち2つ以上を組み合わせて行うようにしてもよい。
【0103】
ここでいう、
図2に示されるモデルを用いる学習方法は、式(1)のERの値が小さくなるようにモデルfの学習を行うことを含む学習方法である。
図3に示されるモデルを用いる学習方法は、特徴表現Φの分布と特徴表現の分布との分布間距離が小さくなるようにモデルφの学習を行うことを含む学習方法である。
図5に示されるモデルを用いる学習方法は、差分r
aを含む学習データを用いてモデルqの学習を行うことを含む学習方法である。
【0104】
学習装置100が、
図2に示されるモデルを用いる学習方法と、
図6に示されるモデルを用いる学習方法とのうち何れか1つを行うようにしてもよい。学習装置100が、
図2に示されるモデルを用いる学習方法と、
図6に示されるモデルを用いる学習方法とを組み合わせて行うようにしてもよい。
ここでいう、
図6に示されるモデルを用いる学習方法は、式(8)に示される差分r
aを含む学習データを用いて、モデルqの学習を行うことを含む学習方法である。
【0105】
学習装置100が学習の対象とするモデルは、特定の方式のモデルに限定されない。
例えば、モデルf、モデルg、モデルφ、モデルh、モデルφx、モデルφa、および、モデルqのうち何れか1つ以上が、ニューラルネットワークを用いて構成されていてもよい。あるいは、モデルf、モデルg、モデルφ、モデルh、モデルφx、モデルφa、および、モデルqのうち何れか1つ以上が、数式、論理式またはこれらの組み合わせにて示されていてもよい。
【0106】
モデルf、モデルg、モデルφ、モデルh、モデルφx、モデルφa、および、モデルqのうち何れか1つ以上を、モデル記憶部181が記憶していてもよい。また、モデルf、モデルg、モデルφ、モデルh、モデルφx、モデルφa、および、モデルqのうち何れか1つ以上が、学習装置100とは別の専用のハードウェアを用いて構成されていてもよい。
【0107】
図7は、実施形態に係る学習装置の構成の第二例を示す図である。
図7に示す構成で、学習装置610は、基準値算出部611と、学習データ取得部612と、学習部613とを備える。
かかる構成で、基準値算出部611は、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する。学習データ取得部612は、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得する。学習部613は、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値の推定値を出力するモデルの学習を、学習データ取得部612が取得する学習データと、推定値が推定対象項目基準値以上であり、かつ、推定対象項目値が推定対象項目基準値以上である場合、および、推定値が推定対象項目基準値未満であり、かつ、推定対象項目値が推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う。
基準値算出部611は、基準値算出手段の例に該当する。学習データ取得部612は、学習データ取得手段の例に該当する。学習部613は、学習手段の例に該当する。
【0108】
学習装置610によれば、モデルが出力する推定値が大きいにもかかわらず、実際の値である推定対象項目値が小さい可能性が小さいと期待される。学習装置610によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0109】
基準値算出部611は、例えば、
図1に示されるモデル計算部191の機能を用いて実行することができる。学習データ取得部612は、例えば、
図1に示される学習データ取得部192の機能を用いて実行することができる。学習部613は、例えば、
図1に示される学習部193の機能を用いて実現することができる。
【0110】
図8は、実施形態に係る学習装置の構成の第三例を示す図である。
図8に示す構成で、学習装置620は、学習部621を備える。
かかる構成で、学習部621は、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、推定対象個体ごとの固定値と学習データに含まれる可変項目値との入力に対してモデルが出力する特徴表現の分布と、推定対象個体ごとの固定値と一様分布に基づき乱択された可変項目値との入力に対してモデルが出力する特徴表現の分布との分布間距離が小さくなるように行う。
学習部621は、学習手段の例に該当する。
【0111】
学習装置620によって学習が行われたモデルによれば、学習データに含まれる可変項目値が、一様分布に基づき乱択された可変項目値の場合の特徴表現と同様の分布を示す特徴表現に変換される。特徴表現の入力を受けて推定対象項目値を出力するモデルの学習に、学習データに基づいて得られる特徴表現を用いることができる。これにより、学習データで示される可変項目値だけでなく、可変項目値の分布全体について、学習データに含まれる可変項目値と推定対象項目値との関係を、特徴表現の入力を受けて推定対象項目値を出力するモデルに反映させるように、学習を行うことができる。学習装置620によれば、この点で、上記の2つのモデルの組み合わせによる、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値を出力するモデルの精度が高いことが期待される。学習装置620によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
学習部621は、例えば、
図1に示される学習部193の機能を用いて実現することができる。
【0112】
図9は、実施形態に係る学習装置の構成の第四例を示す図である。
図9に示す構成で、学習装置630は、学習部631を備える。
かかる構成で、学習部631は、推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、評価指標が示す独立性が高くなるように、第一モデルまたは第二モデルの少なくとも何れか一方の学習を行う。
学習部631は、学習手段の例に該当する。
【0113】
学習装置630によって学習済みの第二モデルよれば、固定値に依存しない特徴表現の分布を得られる。したがって、第二モデルが、測定データで固定値との組み合わせにて得られる可変項目値から固定値に依存しない特徴を抽出して特徴表現として出力すると考えられる。これにより、学習データで示される固定値ごとの可変項目値だけでなく、可変項目値の分布全体について、学習データに含まれる可変項目値と推定対象項目値との関係を、第一特徴表現および第二特徴表現の入力を受けて推定対象項目値を出力するモデルに反映させるように、学習を行うことができる。学習装置630によれば、この点で、第一モデルと、第二モデルと、第一特徴表現および第二特徴表現の入力を受けて推定対象項目値を出力するモデルとの組み合わせによる、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値を出力するモデルの精度が高いことが期待される。
学習装置630によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
学習部631は、例えば、
図1に示される学習部193の機能を用いて実現することができる。
【0114】
図10は、実施形態に係る学習装置の構成の第五例を示す図である。
図10に示す構成で、学習装置640は、基準値算出部641と、学習データ取得部642と、学習部643とを備える。
かかる構成で、基準値算出部641は、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する。学習データ取得部642は、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値から推定対象項目基準値が減算された差分とを含む学習データを取得する。学習部643は、学習データ取得部642が取得する学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値から推定対象項目基準値が減算された差分の推定値を出力するモデルの学習を行う。
基準値算出部641は、基準値算出手段の例に該当する。学習データ取得部642は、学習データ取得手段の例に該当する。学習部643は、学習手段の例に該当する。
【0115】
モデルが、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出することで、固定値および可変項目値の入力を受けて推定対象項目値を出力する場合よりも、固定値とモデルの出力との相関性が低いことが考えられる。このことから、モデルの仮説空間が比較的小さいことが考えられる。
【0116】
このように、モデルの仮説空間が比較的小さいことで、過学習が比較的生じにくいなど、学習部643がモデルの学習を比較的高精度に行えると期待される。学習装置640によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
また、学習部643は、推定対象項目値から推定対象項目基準値が減算された差分を正解として用いる教師有り学習でモデルの学習を行うことができる。この点でも、学習部643がモデルの学習を比較的高精度に行えると期待される。
【0117】
また、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの出力と、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの出力とを合計して、推定値を算出することができる。
この場合、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの学習が、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの推定誤差に対してロバストであることが期待される。
【0118】
また、1つの推定対象個体について、推定対象項目値が大きくなるような可変項目値を決定したいといった用途の場合、実際に推定対象項目値を算出する必要は無く、モデルが出力する差分が大きくなるような可変項目値に決定すればよい。この点で、モデルgの推定誤差は可変項目値の決定性能に直接的には影響しない。
また、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルについても仮説空間が比較的小さいこと、および、教師有り学習で学習を行えることから、このモデルの学習を比較的高精度に行えると期待される。この点で、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの出力と、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの出力とを合計して推定値を算出する場合、推定値を高精度に算出できると期待される。
基準値算出部641は、例えば、
図1に示されるモデル計算部191の機能を用いて実現することができる。学習データ取得部642は、例えば、
図1に示される学習データ取得部192の機能を用いて実現することができる。学習部643は、例えば、
図1に示される学習部193の機能を用いて実現することができる。
【0119】
図11は、実施形態に係る学習方法における処理手順の第一例を示すフローチャートである。
図11に示す学習方法は、基準値を算出すること(ステップS611)と、学習データを取得すること(ステップS612)と、学習を行うこと(ステップS613)とを含む。
基準値を算出すること(ステップS611)では、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する。
学習データを取得すること(ステップS612)では、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得する。
学習を行うこと(ステップS613)では、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値の推定値を出力するモデルの学習を、学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う。
【0120】
図11に示される方法によれば、モデルが出力する推定値が大きいにもかかわらず、実際の値である推定対象項目値が小さい可能性が小さいと期待される。
図11に示される方法によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0121】
図12は、実施形態に係る学習方法における処理手順の第二例を示すフローチャートである。
図12に示す学習方法は、学習を行うこと(ステップS621)を含む。
学習を行うこと(ステップS621)では、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、推定対象個体ごとの固定値と学習データに含まれる可変項目値との入力に対してモデルが出力する特徴表現の分布と、推定対象個体ごとの固定値と一様分布に基づき乱択された可変項目値との入力に対してモデルが出力する特徴表現の分布との分布間距離が小さくなるように行う。
【0122】
図12に示す方法によって学習が行われたモデルによれば、学習データに含まれる可変項目値が、一様分布に基づき乱択された可変項目値の場合の特徴表現と同様の分布を示す特徴表現に変換される。特徴表現の入力を受けて推定対象項目値を出力するモデルの学習に、学習データに基づいて得られる特徴表現を用いることができる。これにより、学習データで示される可変項目値だけでなく、可変項目値の分布全体について、学習データに含まれる可変項目値と推定対象項目値との関係を、特徴表現の入力を受けて推定対象項目値を出力するモデルに反映させるように、学習を行うことができる。
図12に示す方法によれば、この点で、上記の2つのモデルの組み合わせによる、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値を出力するモデルの精度が高いことが期待される。
図12に示す方法によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0123】
図13は、実施形態に係る学習方法における処理手順の第三例を示すフローチャートである。
図13に示す学習方法は、学習を行うこと(ステップS631)を含む。
学習を行うこと(ステップS631)では、推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、評価指標が示す独立性が高くなるように、第一モデルまたは第二モデルの少なくとも何れか一方の学習を行う。
【0124】
図13に示す方法によって学習済みの第二モデルよれば、固定値に依存しない特徴表現の分布を得られる。したがって、第二モデルが、測定データでは固定値との組み合わせにて得られる可変項目値から固定値に依存しない特徴を抽出して特徴表現として出力すると考えられる。これにより、学習データで示される固定値ごとの可変項目値だけでなく、可変項目値の分布全体について、学習データに含まれる可変項目値と推定対象項目値との関係を、第一特徴表現および第二特徴表現の入力を受けて推定対象項目値を出力するモデルに反映させるように、学習を行うことができる。
図13に示す方法によれば、この点で、第一モデルと、第二モデルと、第一特徴表現および第二特徴表現の入力を受けて推定対象項目値を出力するモデルとの組み合わせによる、推定対象個体ごとの固定値と可変項目値との入力に対して推定対象項目値を出力するモデルの精度が高いことが期待される。
図13に示す方法によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
【0125】
図14は、実施形態に係る学習方法における処理手順の第四例を示すフローチャートである。
図14に示す学習方法は、基準値を算出すること(ステップS641)と、学習データを取得すること(ステップS642)と、学習を行うこと(ステップS643)とを含む。
基準値を算出すること(ステップS641)では、推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する。
学習データを取得すること(ステップS642)では、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値から前記推定対象項目基準値が減算された差分とを含む学習データを取得する。
学習を行うこと(ステップS643)では、学習データを用いて、推定対象個体ごとの固定値と可変項目値とを入力に対して前記推定対象項目値から前記推定対象項目基準値が減算された差分の推定値を出力する。
【0126】
図14に示す方法によれば、モデルが、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出することで、固定値および可変項目値の入力を受けて推定対象項目値を出力する場合よりも、固定値とモデルの出力との相関性が低いことが考えられる。このことから、モデルの仮説空間が比較的小さいことが考えられる。
【0127】
このように、モデルの仮説空間が比較的小さいことで、過学習が比較的生じにくいなど、モデルの学習を比較的高精度に行えると期待される。
図14に示す方法によれば、この点で、学習の対象ごとに固定の値と可変の値とがモデルへの入力となる場合に、その入力に対応してモデルの学習を行うことができる。
また、
図14に示す方法によれば、推定対象項目値から推定対象項目基準値が減算された差分を正解として用いる教師有り学習でモデルの学習を行うことができる。この点でも、モデルの学習を比較的高精度に行えると期待される。
【0128】
また、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの出力と、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの出力とを合計して、推定値を算出することができる。
この場合、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの学習が、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの推定誤差に対してロバストであることが期待される。
【0129】
また、1つの推定対象個体について、推定対象項目値が大きくなるような可変項目値を決定したいといった用途の場合、実際に推定対象項目値を算出する必要は無く、モデルが出力する差分が大きくなるような可変項目値に決定すればよい。この点で、モデルgの推定誤差は可変項目値の決定性能に直接的には影響しない。
また、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルについても仮説空間が比較的小さいこと、および、教師有り学習で学習を行えることから、このモデルの学習を比較的高精度に行えると期待される。この点で、固定値および可変項目値の入力を受けて、推定対象項目値から推定対象項目基準値が減算された差分の推定値を算出するモデルの出力と、固定値および可変項目値の入力を受けて推定対象項目基準値を算出するモデルの出力とを合計して推定値を算出する場合、推定値を高精度に算出できると期待される。
【0130】
図15は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図15に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740と、不揮発性記録媒体750とを備える。
【0131】
上記の学習装置100、610、620、630および640のうち何れか1つ以上またはその一部が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。また、インタフェース740は、不揮発性記録媒体750用のポートを有し、不揮発性記録媒体750からの情報の読出、および、不揮発性記録媒体750への情報の書込を行う。
【0132】
学習装置100がコンピュータ700に実装される場合、制御部190およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
【0133】
また、CPU710は、プログラムに従って、記憶部180およびその各部に対応する記憶領域を主記憶装置720に確保する。
通信部110による他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。
表示部120による表示は、インタフェース740が表示装置を有し、CPU710の制御に従って各種画像を表示することで実行される。
操作入力部130によるユーザ操作の受け付けは、インタフェース740が例えばキーボードおよびマウスなどの入力デバイスを有してユーザ操作を受け付け、受け付けたユーザ操作を示す情報をCPU710へ出力することで実行される。
【0134】
学習装置610がコンピュータ700に実装される場合、基準値算出部611、学習データ取得部612、および、学習部613の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
【0135】
また、CPU710は、プログラムに従って、学習装置610が行う処理のための記憶領域を主記憶装置720に確保する。
学習装置610と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。
学習装置610とユーザとのインタラクションは、インタフェース740が入力デバイスおよび出力デバイスを有し、CPU710の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0136】
学習装置620がコンピュータ700に実装される場合、学習部621の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
【0137】
また、CPU710は、プログラムに従って、学習装置620が行う処理のための記憶領域を主記憶装置720に確保する。
学習装置620と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。
学習装置620とユーザとのインタラクションは、インタフェース740が入力デバイスおよび出力デバイスを有し、CPU710の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0138】
学習装置630がコンピュータ700に実装される場合、学習部631の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
【0139】
また、CPU710は、プログラムに従って、学習装置630が行う処理のための記憶領域を主記憶装置720に確保する。
学習装置630と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って動作することで実行される。
学習装置630とユーザとのインタラクションは、インタフェース740が入力デバイスおよび出力デバイスを有し、CPU710の制御に従って出力デバイスにて情報をユーザに提示し、入力デバイスにてユーザ操作を受け付けることで実行される。
【0140】
上述したプログラムのうち何れか1つ以上が不揮発性記録媒体750に記録されていてもよい。この場合、インタフェース740が不揮発性記録媒体750からプログラムを読み出すようにしてもよい。そして、CPU710が、インタフェース740が読み出したプログラムを直接実行するか、あるいは、主記憶装置720または補助記憶装置730に一旦保存して実行するようにしてもよい。
【0141】
なお、学習装置100、610、620、630および640が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【0142】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【0143】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限定されない。
【0144】
(付記1)
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得する学習データ取得手段と、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う学習手段と、
を備える学習装置。
【0145】
(付記2)
前記基準値算出手段は、前記推定対象個体ごとの固定値と前記推定対象項目値とを学習データとして用いた学習によって、前記推定対象個体ごとの固定値の入力に対して前記推定対象項目値の推定値を出力するモデルを用いて、前記推定対象項目基準値を算出する、付記1に記載の学習装置。
【0146】
(付記3)
前記学習手段は、前記推定対象項目値が前記推定対象項目基準値以上か、あるいは、前記推定対象項目値が前記推定対象項目基準値未満かに応じた値をとるステップ関数と、前記推定対象個体ごとの固定値および前記可変項目値の入力に対する前記モデルの出力と前記推定対象項目基準値との差異に関して単調かつ微分可能な関数との積を含む前記評価関数を用いる、
付記1または付記2に記載の学習装置。
【0147】
(付記4)
前記学習手段は、推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う、
付記1から3の何れか一つに記載の学習装置。
【0148】
(付記5)
前記学習手段は、推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行う、
付記1から4の何れか一つに記載の学習装置。
【0149】
(付記6)
前記学習データ取得手段は、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データをさらに取得し、
前記学習手段は、推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力するモデルの学習をさらに行う、
付記1から5の何れか一つに記載の学習装置。
【0150】
(付記7)
前記基準値算出手段は、前記推定対象個体ごとの固定値と前記推定対象項目値とを学習データとして用いた学習によって、前記推定対象個体ごとの固定値の入力に対して前記推定対象項目値の推定値を出力するモデルを用いて、前記推定対象項目基準値を算出する、
付記6に記載の学習装置。
【0151】
(付記8)
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う学習手段
を備える学習装置。
【0152】
(付記9)
推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行う学習手段
を備える学習装置。
【0153】
(付記10)
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出する基準値算出手段と、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得する学習データ取得手段と、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力するモデルの学習を行う学習手段と、
を備える学習装置。
【0154】
(付記11)
前記基準値算出手段は、前記推定対象個体ごとの固定値と前記推定対象項目値とを学習データとして用いた学習によって、前記推定対象個体ごとの固定値の入力に対して前記推定対象項目値の推定値を出力するモデルを用いて、前記推定対象項目基準値を算出する、
付記10に記載の学習装置。
【0155】
(付記12)
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得し、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行う、
学習方法。
【0156】
(付記13)
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行う
学習方法。
【0157】
(付記14)
推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行う
学習方法。
【0158】
(付記15)
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出し、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得し、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力する、
学習方法。
【0159】
(付記16)
コンピュータに、
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、
前記推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値とを含む学習データを取得することと、
前記推定対象個体ごとの固定値と前記可変項目値との入力に対して前記推定対象項目値の推定値を出力するモデルの学習を、前記学習データと、前記推定値が前記推定対象項目基準値以上であり、かつ、前記推定対象項目値が前記推定対象項目基準値以上である場合、および、前記推定値が前記推定対象項目基準値未満であり、かつ、前記推定対象項目値が前記推定対象項目基準値未満である場合に評価が高くなる評価関数とを用いて行うことと、
を実行させるためのプログラムを記憶した記録媒体。
【0160】
(付記17)
コンピュータに、
推定対象個体ごとの固定値と可変項目値との入力に対して特徴表現を出力するモデルの学習を、前記推定対象個体ごとの固定値と学習データに含まれる前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布と、前記推定対象個体ごとの固定値と一様分布に基づき乱択された前記可変項目値との入力に対して前記モデルが出力する前記特徴表現の分布との分布間距離が小さくなるように行うこと
を実行させるためのプログラムを記憶した記録媒体。
【0161】
(付記18)
コンピュータに、
推定対象個体ごとの固定値の入力に対して第一モデルが出力する第一特徴表現の分布と、可変項目値の入力に対して第二モデルが出力する第二特徴表現の分布との独立性の評価指標を含む評価関数を用いて、前記評価指標が示す前記独立性が高くなるように、前記第一モデルまたは前記第二モデルの少なくとも何れか一方の学習を行うこと
を実行させるためのプログラムを記憶した記録媒体。
【0162】
(付記19)
コンピュータに、
推定対象個体ごとの固定値に応じた推定対象項目基準値を算出することと、
推定対象個体ごとの固定値と、可変項目値と、その固定値およびその可変項目値に応じた推定対象項目値と前記推定対象項目基準値との差異とを含む学習データを取得することと、
前記学習データを用いて、推定対象個体ごとの固定値と可変項目値との入力に対して前記推定対象項目値と前記推定対象項目基準値との差異の推定値を出力することと、
を実行させるためのプログラムを記憶した記録媒体。
【符号の説明】
【0163】
100、610、620、630、640 学習装置
110 通信部
120 表示部
130 操作入力部
180 記憶部
181 モデル記憶部
190 制御部
191 モデル計算部
192、612、642 学習データ取得部
193、613、621、631、643 学習部
611、641 基準値算出部
【0164】
この出願は、2021年2月26日に出願された日本国特願2021-031172を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0165】
本発明は、学習装置、学習方法および記録媒体に適用してもよい。