特許 7606808 系列予測モデルを用いてユーザの行動系列を予測する予測装置、プログラム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】系列予測モデルを用いてユーザの行動系列を予測する予測装置、プログラム及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241219BHJP

   G06Q 10/04 20230101ALI20241219BHJP

【ＦＩ】

G06N20/00 130

G06Q10/04

【請求項の数】 10

(21)【出願番号】P 2022039752

(22)【出願日】2022-03-14

(65)【公開番号】P2023134297

(43)【公開日】2023-09-27

【審査請求日】2024-01-17

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】武田 直人

(72)【発明者】

【氏名】西村 康孝

(72)【発明者】

【氏名】南川 敦宣

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０２１／１９８８３８（ＷＯ，Ａ１）

【文献】永塚 光一, 渥美 雅保，文長制御のための条件付き言語モデル，一般社団法人 人工知能学会 第３４回全国大会（２０２０），2020年06月09日

【文献】横山 想一郎, 高橋 遼, 山下倫央, 川村 秀憲，深層学習を用いた言語モデルによる俳句生成におけるトークン単位選択，情報処理学会 研究報告 知能システム（ＩＣＳ） ２０２０－ＩＣＳ，2020年02月09日

【文献】宮澤 和貴, 井上 輝也, 長井隆行，ＧＰＴ－２を用いた人の動作予測，一般社団法人 人工知能学会 第３５回全国大会（２０２１），2021年06月08日

【文献】三林 亮太, 山本 岳洋, 大島裕明，ラップバトルにおけるライムとアンサーを考慮した逆向き生成によるバース生成，第１４回データ工学と情報マネジメントに関するフォーラム，2022年03月03日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｑ １０／０４

(57)【特許請求の範囲】

【請求項1】

データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測する予測装置において、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋めるパディング手段と、
パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する系列予測モデルと
を有することを特徴とする予測装置。

【請求項2】

第1～m（m＜n）のアクションが連続する所定長のトークン列の末尾の第nのトークンがパディングとなる場合、第1～m-1のアクションが連続する所定長のトークン列を入力し、正解となる第2～mのアクションが連続する所定長のトークン列を出力するように訓練する
ことを特徴とする請求項１に記載の予測装置。

【請求項3】

系列予測モデルは、出力データのトークン列と、正解データのトークン列との間の誤差を小さくする第１の損失関数を設定する
ことを特徴とする請求項１又は２に記載の予測装置。

【請求項4】

系列予測モデルは、出力データのトークン列に含まれるパディング数と、正解データのトークン列に含まれるパディング数との間の誤差を小さくする第２の損失関数を設定する
ことを特徴とする請求項３に記載の予測装置。

【請求項5】

第２の損失関数は、ＭＳＥ(Mean Squared Error)である
ことを特徴とする請求項４に記載の予測装置。

【請求項6】

系列予測モデルは、第１の損失関数にパラメータαを乗じ、第２の損失関数にパラメータ１－αを乗じて合わせて設定する
ことを特徴とする請求項４又は５に記載の予測装置。

【請求項7】

トークンは、ユーザのアクション（具体的行動）又はパディングを含む情報単位であり、
系列データに含まれるトークンは、時系列に並んだものである
ことを特徴とする請求項１から６のいずれか１項に記載の予測装置。

【請求項8】

系列予測モデルは、ＧＰＴ(Generative Pre-trained Transformer)である
ことを特徴とする請求項１から７のいずれか１項に記載の予測装置。

【請求項9】

データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測するようにコンピュータを機能させるプログラムにおいて、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋めるパディング手段と、
パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する系列予測モデルと
してコンピュータを機能させることを特徴とするプログラム。

【請求項10】

データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測する装置の予測方法において、
装置は、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋める第１のステップと、
系列予測モデルを用いて、パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する第２のステップと
を実行することを特徴とする予測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、系列予測モデルの技術に関する。特に、ユーザの行動系列を予測する用途に関する。

【背景技術】

【0002】

従来、系列予測モデルとして、ＧＰＴ２(Generative Pre-trained Transformer - 2)モデルがある（例えば非特許文献１参照）。これは、自己教師有りの言語生成モデルであって、大量のコーパスから切り取った単語列（文章）の次の単語(Next word prediction)を予測する。ＧＰＴ２モデルは、任意の単語列を入力すると、次の単語を逐次予測することができ、人間が書いたような文章を生成することができる。例えば「今日は」「良い」という単語列を入力すると、次の単語として最も確率が高い単語「天気」を出力する。次に、「今日は」「良い」「天気」を入力すると、次の単語として最も確率が高い単語「だ」を出力する。
文章：「今日は」「良い」「天気」「だ」

【0003】

図１は、従来技術におけるＧＰＴ２モデルの訓練時のデータ構造を表す説明図である。

【0004】

教師データとして、複数のテキスト（文章）があると想定する。ＧＰＴ２モデルの内部では、以下のように実行される。
（Ｓ１）テキストを単語列に分解し、所定長分の単語を、系列データに詰め込む。
（Ｓ２）その際、所定長よりも単語数が少なかった場合、直ぐ次のテキストの単語を、系列データに詰め込む。
（Ｓ３）テキストの単語を詰め込む途中で、所定長に達した場合、その後の単語は、次の系列データに詰め込む。

【0005】

図１によれば、以下のように実行される。
テキスト１は、10個の単語（0～9）で構成されており、所定長＝14の系列データ１に詰め込む。
ここで、テキスト１の単語数は、所定長よりも少なかったため、系列データ１に、次のテキスト２の単語（0～2）を詰め込む。それでも、系列データ１に空きがあるので、次のテキスト３の単語（0）を詰め込む。途中で切れてしまったテキスト３における残りのトークン（1～5）は、次の系列データ２に詰め込まれる。
このように繰り返して、例えば５つのテキスト１～５は、３つの系列データ1～3に詰め込まれる。

【0006】

図２は、従来技術におけるＧＰＴ２モデルの訓練時の処理を表す説明図である。

【0007】

ＧＰＴ２は、Transformerベースであって、アテンション機構（トークン同士の関連性を示すスコア付け）を有する。各トークンのアテンションは常に、そのトークンよりも前のトークンにかかるような仕組みになっている。これによって、各トークンが、以前のトークンのどこに着目して次の１つのトークンを推定すればよいか、学習することができる。

【0008】

ＧＰＴ２モデルは、図１によって構成した教師データを用いて訓練する。
図２によれば、ＧＰＴ２モデルに入力可能な所定長＝14であるとして、入力データと正解データとを対応付けて訓練する。
入力データ列：0,1,2,3,4,5,6,7,8,9,0,1
正解データ列： 1,2,3,4,5,6,7,8,9,0,1,2
このように、ＧＰＴ２モデルでは、入力データに対して、正解データは、先頭トークンを削除し、末尾トークンを追加したものとする。
これに対して、結果データ列を出力する。
そして、その結果データ列と、正解データ列との差分を、損失関数（一般的にはcross entropy loss）として表現して、訓練を進める。

【0009】

前述した入力データ及び正解データの例によれば、トークン1を生成するためには、トークン0のみに着目すればよい（そもそもトークン1以前に、トークン0しか着目するものがない）。また、トークン3を生成するには、アテンション機構によって、トークン1に着目すればよい（トークン0,2は無視してもよい）というように学習することもできる。

【0010】

このように、図２のＧＰＴ２モデルは、前述した図１の系列データ1～3について、先頭の１トークンを削除し且つ末尾の１トークンを追加しながら、訓練を進めることができる。

【0011】

また、他の従来技術として、ＧＰＴ２モデルでは困難であった文章長を制御する技術もある（例えば非特許文献２参照）。この技術によれば、訓練時に、文章の文頭に「文長を示す値」を追加して訓練する。推定時にも、「文長を示す値」を追加することによって、任意の文章長の文章を生成することができる。

【0012】

更に、文章の予測以外の用途として、ユーザの行動系列を予測する技術もある。この技術によれば、宅内に配置したセンサから、データを常時取得し、ユーザの次の行動を予測する。
宅内のユーザ行動は、一般に、一定時間以上かかるであろう「概念的行動（複雑な行動）」として認識できる。例えば「料理」や「掃除」のようなものである。
また、概念的行動は、複数の単純なアクション（具体的行動）から時系列に構成される。例えば概念的行動「料理」は、例えば以下のようなアクションの連続からなる。
「台所に近づく」->「冷蔵庫を開ける」->「冷蔵庫を閉める」->「コンロを点ける」

【0013】

ここで、ユーザの行動を早期のタイミング(時点t)で、次の行動の系列を予測することができれば、例えば宅内の機器をユーザの行動に先立って最適に制御することができる。例えばユーザの行動に先立って、電気を点けたりすることができる。また、終了時に、ユーザが取らなかった行動（コンロを消していない）を、補完する制御する（コンロを消す）こともできる。

【先行技術文献】

【非特許文献】

【0014】

【文献】A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever. Language Models are Unsupervised Multitask Learners, 2019, pp.1-24.、[online]、［令和４年３月３日検索］、インターネット＜URL:https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf＞

【文献】長塚光一, 渥美雅保 , 文長制御のための条件付き言語モデル, 2020年度人工知能学会全国大会 (JSAI2020), 2020, pp. 1-4

【発明の概要】

【発明が解決しようとする課題】

【0015】

ユーザの行動系列を予測するために、前述したＧＰＴ２を適用することもできる。その場合、ユーザの概念的行動は、ＧＰＴ２のテキストに相当し、ユーザの具体的行動（アクション）は、ＧＰＴ２のトークンに相当する。センサによって観測されたデータであっても、単語列と同等と考えて適用することができる。

【0016】

しかしながら、ユーザの行動系列では、概念的行動毎に終了を判断する必要があるのに対し、ＧＰＴ２をそのまま適用すると、系列データを延々と生成し続けるという課題が生じる。
勿論、非特許文献２のように系列長を同時に学習させることもできるが、ユーザの行動系列の場合、その系列長を予め特定することができない。勿論、系列長を既知として固定することもできるが、多様且つリアルタイムなユーザの行動に適用することは、現実的ではない。

【0017】

即ち、ユーザの行動系列の予測に、ＧＰＴ２のデータ構造をそのまま適用した場合、以下のような課題が生じる。
（１）ユーザの行動系列の予測が正しくできない。
前述した図１のように、複数の系列データを連続して詰め込むこととなる。しかしながら、前後の系列データ同士の間に関連性が無い場合、前段の系列データのトークンから後段の系列データのトークンを予測することとなる。尚、従来技術における言語生成タスクの場合、長大な文章を大量に学習させる場合が多く、前後の系列データの関連性が問題とならない。
（２）ユーザの行動系列における概念的行動の終了を予測できない。
ＧＰＴ２モデルを適用した場合、系列データの終了を認識しないために、延々と系列データを生成し続けてしまう。

【0018】

そこで、本発明によれば、ユーザの行動における概念的行動毎に、系列予測モデルを用いて次のトークンとなる具体的行動を予測することができる予測装置、プログラム及び方法を提供することを目的とする。

【課題を解決するための手段】

【0019】

本発明によれば、データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測する予測装置において、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋めるパディング手段と、
パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する系列予測モデルと
を有することを特徴とする。

【0021】

本発明の予測装置における他の実施形態によれば、
第1～m（m＜n）のアクションが連続する所定長のトークン列の末尾の第nのトークンがパディングとなる場合、第1～m-1のアクションが連続する所定長のトークン列を入力し、正解となる第2～mのアクションが連続する所定長のトークン列を出力するように訓練する
ことも好ましい。

【0022】

本発明の予測装置における他の実施形態によれば、
系列予測モデルは、出力データのトークン列と、正解データのトークン列との間の誤差を小さくする第１の損失関数を設定する
ことも好ましい。

【0023】

本発明の予測装置における他の実施形態によれば、
系列予測モデルは、出力データのトークン列に含まれるパディング数と、正解データのトークン列に含まれるパディング数との間の誤差を小さくする第２の損失関数を設定する
ことも好ましい。

【0024】

本発明の予測装置における他の実施形態によれば、
第２の損失関数は、ＭＳＥ(Mean Squared Error)である
ことも好ましい。

【0025】

本発明の予測装置における他の実施形態によれば、
系列予測モデルは、第１の損失関数にパラメータαを乗じ、第２の損失関数にパラメータ１－αを乗じて合わせて設定する
ことも好ましい。

【0026】

本発明の予測装置における他の実施形態によれば、
トークンは、ユーザのアクション（具体的行動）又はパディングを含む情報単位であり、
系列データに含まれるトークンは、時系列に並んだものである
ことも好ましい。

【0027】

本発明の予測装置における他の実施形態によれば、
系列予測モデルは、ＧＰＴ(Generative Pre-trained Transformer)である
ことも好ましい。

【0028】

本発明によれば、データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測するようにコンピュータを機能させるプログラムにおいて、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋めるパディング手段と、
パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する系列予測モデルと
してコンピュータを機能させることを特徴とする。

【0029】

本発明によれば、データセットは複数の系列データからなり、各系列データは複数のトークンからなり、所定長のトークン列を入力し、次のトークンを予測する装置の予測方法において、
装置は、
複数の系列データの中で最大のトークン数を、系列データの最大長として設定し、
系列データ毎に、最大長に満たない後方にパディングを埋める第１のステップと、
系列予測モデルを用いて、パディングが埋められた系列データ毎に、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練し、次にシフトしたトークン列を予測すると共に、パディングによって１つの系列データの終了を認識する第２のステップと
を実行することを特徴とする。

【発明の効果】

【0030】

本発明における予測装置、プログラム及び方法によれば、ユーザの行動における概念的行動毎に、系列予測モデルを用いて次のトークンとなる具体的行動を予測することができる。

【図面の簡単な説明】

【0031】

【図1】従来技術におけるＧＰＴ２モデルの訓練時のデータ構造を表す説明図である。

【図2】従来技術におけるＧＰＴ２モデルの訓練時の処理を表す説明図である。

【図3】本発明における予測装置の機能構成図である。

【図4】本発明におけるパディング部の説明図である。

【図5】本発明における予測装置の訓練時の処理を表す第１の説明図である。

【図6】本発明における予測装置の訓練時の処理を表す第２の説明図である。

【図7】本発明における予測装置の訓練時の処理を表す第３の説明図である。

【発明を実施するための形態】

【0032】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0033】

図３は、本発明における予測装置の機能構成図である。

【0034】

概念的行動のデータセットは、「系列データ」からなる。また、系列データは、複数の具体的行動（アクション）を含む「トークン」からなる。
本発明の実施形態によれば、ユーザの行動は、宅内に配置されたセンサによって取得可能なものであるとする。ユーザの行動に基づく直近過去のセンサのデータから、そのユーザの次の行動を予測する。例えば、ユーザの位置を検出する位置センサのみならず、冷蔵庫やコンロなどの機器に搭載されたセンサからも、データを取得することができる。

【0035】

図３によれば、１つの概念的行動「料理」について、例えば以下のように、時系列の具体的行動（アクション）からなる。
t1：「台所に近づく」
t2：「冷蔵庫を開ける」
t3：「冷蔵庫を閉める」
t4：「コンロを点ける」
・・・・・・
アクション毎の情報は、センサから取得されたデータである。

【0036】

そして、アクション毎に、「トークン」に含められる。トークンは、アクション又はパディングを含む情報単位となる。
複数のトークンを時系列に並べて、１つの「系列データ」を構成する。系列データは、時系列の複数の具体的行動（アクション）からなる概念的行動を意味する情報単位となる。

【0037】

図３によれば、予測装置１は、パディング部１１と、系列予測モデル１２とを有する。これら機能構成部は、予測装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、予測方法としても理解できる。

【0038】

［パディング部１１］
パディング部１１は、最初に、複数の系列データの中で最大のトークン数を、系列データの最大長として設定する。即ち、パディング部１１は、概念的行動毎に、１つの系列データとして構成する。これによって、全ての系列データのトークン数を統一すると共に、１つの系列データの複数のトークンが、異なる系列データに分割されないようにする。
そして、系列データ毎に、最大長に満たない後方にパディングを埋める。パディングによって、概念的行動の系列の終了を明示する。

【0039】

図４は、本発明におけるパディング部の説明図である。

【0040】

図４によれば、系列データ１～５の中で、系列データ４がデータ長＝17で最も長い。この場合、最大長＝17と設定する。
そして、例えば最大長＝17の系列データ１に、10個のトークン（0～9）を埋め込む。そして、最大長に満たない後方の7個のトークンにパディングを埋める。このようにして、系列データ１～５を用意する。

【0041】

［系列予測モデル１２］
系列予測モデル１２は、パディングが埋められた系列データ毎に、所定長nのトークン列を入力し、次にシフトしたトークン列を予測する。
所定長nは、系列予測モデル１２に入力可能なデータ長であって、前述した最大長以下（n≦max_length）となるものである。所定長nは、系列予測モデルに依存するものである。

【0042】

系列予測モデル１２自体は、ＧＰＴ２モデルであってもよい。本発明によれば、既存の言語生成モデルを、ユーザの行動予測に適用する。

【0043】

系列予測モデル１２は、第1～nの所定長のトークン列を入力し、正解となる第2～n+1の所定長のトークン列を出力するように訓練すると共に、パディングによって１つの系列データの終了を認識する。
本発明によれば、ユーザの概念的行動（系列データ）毎に、その終了を認識することが重要となるが、概念的行動毎に、終了のタイミングが異なる。本発明は、文章のように先出したトークンから延々に予測するものではなく、アクション（具体的行動）単位で、ユーザの次のアクションを予測し、概念的行動毎に異なる行動の終了タイミングまでを予測するものとする。

【0044】

図５は、本発明における予測装置の訓練時の処理を表す第１の説明図である。

【0045】

図５によれば、例えば系列予測モデル１２は、所定長＝14として、以下のように訓練される。
入力データのトークン列：0,1,2,3,4,5,6,7,8,9,10,11,12,13
正解データのトークン列： 1,2,3,4,5,6,7,8,9,10,11,12,13,14
出力データのトークン列： *,*,*,*,*,*,*,*,*, *, *, *, *, *
この場合、正解データの末尾のトークン14を予測するように学習する。

【0046】

系列予測モデル１２は、予測データとしての出力データのトークン列と、正解データのトークン列との間の誤差を小さくする第１の損失関数を設定する。第１の損失関数としては、例えばクロスエントロピー(Cross entropy)誤差であってもよい。
これによって、出力データのトークン列が、正解データのトークン列との誤差が小さくなるように訓練される。

【0047】

図５によれば、トークン14のみを予測するべく訓練しているように見えるが、系列予測モデル１２の内部として、トークン0が入力されただけで、次のトークン1を予測することとができるように学習する。また、トークン0,1が入力されると、次のトークン2を予測することができるように学習する。これを繰り返すと、最終的に、トークン0,1,2,3,4,5,6,7,8,9,10,11,12,13を入力すると、トークン14を予測することができる。

【0048】

図６は、本発明における予測装置の訓練時の処理を表す第２の説明図である。

【0049】

図６によれば、入力データのトークン列の末尾が、パディングとなるものである。
＜系列データのトークン列：0,1,2,3,4,5,6,7,8,9,P,P,P,P＞ 所定長n＝14
入力データのトークン列：0,1,2,3,4,5,6,7,8,P,P,P,P,P
正解データのトークン列： 1,2,3,4,5,6,7,8,9,P,P,P,P,P
出力データのトークン列： *,*,*,*,*,*,*,*,*,*,*,*,*,*

【0050】

ここで、第1～m（m＜n）のアクションが連続する所定長のトークン列の末尾の第nのトークンがパディングとなっている場合、第1～m-1のアクションが連続する所定長のトークン列を入力し、正解となる第2～mのアクションが連続する所定長のトークン列を出力するように訓練する。

【0051】

前述の例によれば、系列データ１におけるアクションのトークン列は、0～9の10個（m=10）であり、所定長n（＝14）よりも短くなるために、末尾がパディングとなっている。この場合、第1～m-1（トークン0～8）のアクションが連続する所定長nのトークン列を入力し、正解となる第2～m（トークン1～9）のアクションが連続する所定長nのトークン列を出力するように訓練する。
これは、系列予測モデル１２に対して、パディング前の最後のトークン9を予測するように訓練することを意味する。最終的に、系列予測モデル１２が、パディングしか予測しなくなった場合に、１つの概念的行動の予測が完了したものとする。

【0052】

＜多く系列データが多くのパディングを多く含む場合の実施形態＞
例えば１つの系列データ（概念的行動）のみが、多くのアクション（具体的行動）を含み、他の系列データは、少ないアクションしか含まない場合がある。本発明によれば、最もアクションが多い系列データの最大長を設定するために、多くの系列データで、パディングばかりを含むデータ構成となってしまう。そのために、結果的に、パディングばかりの予測しかせず、予測精度が低下することとなる。

【0053】

この問題に対して、明示的に生成したパディング数の誤差を示す損失関数を用いる。
系列予測モデル１２は、出力データのトークン列に含まれるパディング数と、正解データのトークン列に含まれるパディング数との間の誤差を小さくする第２の損失関数を設定する。第２の損失関数は、一般的に使用される、ＭＳＥ(Mean Squared Error、平均二乗誤差)であってもよい。

【0054】

図７は、本発明における予測装置の訓練時の処理を表す第３の説明図である。

【0055】

図７によれば、系列予測モデル１２の訓練段階について、正解データのトークン列には、末尾に７個のパディングが含まれている。これに対して、出力データのトークン列には、末尾に４個のパディングしか含まれていない。
この場合、ＭＳＥに基づく第２の損失関数として、以下の損失があると算出する。
｜７－４｜^２＝９
ここで、系列予測モデル１２は、出力データのトークン列のパディング数と、正解データのトークン列のパディング数との間の誤差が小さくなるように訓練する。
これによって、系列データのアクションの長さを正しく予測できたか否かをフィードバックすることができる。

【0056】

また、系列予測モデル１２について、第１の損失関数と第２の損失関数とを乗じて設定することも好ましい。
損失関数＝α・第１の損失関数＋（１－α）第２の損失関数
これによって、パラメータαによって第１の損失関数と第２の損失関数とのトレードオフを考慮して、誤差が最小となるようにする。

【0057】

以上、詳細に説明したように、本発明における予測装置、プログラム及び方法によれば、ユーザの行動における概念的行動毎に、系列予測モデルを用いて次のトークンとなる具体的行動を予測することができる。

【0058】

尚、これにより、「宅内機器から収集されたユーザの行動に基づくビッグデータの利用が促進する」ことから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進するとともに、イノベーションの拡大を図る」に貢献することが可能となる。

【0059】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0060】

１ 予測装置
１１ パディング部
１２ 系列予測モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】