特開 2024-83035 学習装置、推定装置、学習方法、推定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024083035

(43)【公開日】2024-06-20

(54)【発明の名称】学習装置、推定装置、学習方法、推定方法及びプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240613BHJP

【ＦＩ】

A61B5/16 120

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022197313

(22)【出願日】2022-12-09

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(71)【出願人】

【識別番号】502054196

【氏名又は名称】学校法人武蔵野大学

(74)【代理人】

【識別番号】110001634

【氏名又は名称】弁理士法人志賀国際特許事務所

(72)【発明者】

【氏名】小島 圭子

(72)【発明者】

【氏名】岩本 実結

(72)【発明者】

【氏名】中西 崇文

(72)【発明者】

【氏名】岡田 龍太郎

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PR01

4C038PR04

4C038PS00

4C038PS03

(57)【要約】

【課題】感情の推定の精度を向上させること。
【解決手段】本発明の一態様は、所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御部、を備える学習装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御部、
を備える学習装置。

【請求項2】

前記学習では、前記係数画像の画像データと正解データとの組を用いた学習であり、前記学習に用いられる係数画像は、所定の時間にわたって同じ感情を誘起する環境において取得対象から得られた生体時系列を、前記変換関数列に属する関数の重ね合わせで表現するときの重ね合わせの係数を示す画像、である、
請求項１に記載の学習装置。

【請求項3】

前記環境は、前記取得対象が略同一の感情を抱き続ける写真を前記取得対象が見続ける環境である、
請求項２に記載の学習装置。

【請求項4】

前記環境は、前記取得対象が略同一の感情を抱き続ける動画を前記取得対象が見続ける環境である、
請求項２に記載の学習装置。

【請求項5】

前記変換関数列は直交関数系である、
請求項１に記載の学習装置。

【請求項6】

前記重ね合わせの係数は、短時間フーリエ変換によって得られる係数である、
請求項５に記載の学習装置。

【請求項7】

所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御部を備える学習装置、の得た学習済みの感情推定モデルを用いて、推定対象の感情の推定を行う推定部、
を備える推定装置。

【請求項8】

所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御ステップ、
を有する学習方法。

【請求項9】

所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御ステップを有する学習方法、の得た学習済みの感情推定モデルを用いて、推定対象の感情の推定を行う推定ステップ、
を有する推定方法。

【請求項10】

請求項１～６のいずれか一項に記載の学習装置としてコンピュータを機能させるためのプログラム。

【請求項11】

請求項７に記載の推定装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習装置、推定装置、学習方法、推定方法及びプログラムに関する。

【背景技術】

【0002】

従来、人の感情を推定する技術が提案されている（例えば、特許文献１参照）。特許文献１に記載の技術では、Ｗｅｂページから算出される特徴量と、Ｗｅｂページの閲覧期間中に取得されたユーザの生体信号の特徴量とに基づいて、ユーザが持った感情の種類を表す情報を推定結果として出力する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２２２３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、必ずしも推定の精度が良いわけでは無かった。

【0005】

上記事情に鑑み、本発明は、感情の推定の精度を向上させる技術を提供することを目的としている。

【課題を解決するための手段】

【0006】

本発明の一態様は、所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御部、を備える学習装置である。

【0007】

本発明の一態様は、所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御部を備える学習装置、の得た学習済みの感情推定モデルを用いて、推定対象の感情の推定を行う推定部、を備える推定装置である。

【0008】

本発明の一態様は、所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御ステップ、を有する学習方法である。

【0009】

本発明の一態様は、所定の関数列であって属する任意の２つの関数が線形独立な関数列である変換関数列に属する関数の重ね合わせで生体信号の時系列である生体時系列を表現するときの重ね合わせの係数、を示す画像である係数画像の画像データに基づき、前記生体信号を発した人又は動物の感情を推定する数理モデルである感情推定モデルの学習を行う制御ステップを有する学習方法、の得た学習済みの感情推定モデルを用いて、推定対象の感情の推定を行う推定ステップ、を有する推定方法である。

【0010】

本発明の一態様は、上記の学習装置としてコンピュータを機能させるためのプログラムである。

【0011】

本発明の一態様は、上記の推定装置としてコンピュータを機能させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、感情の推定の精度を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態の推定システムの概要を説明する説明図。

【図2】実施形態における実験で得られたスペクトログラムの第１の例を示す図。

【図3】実施形態における実験で得られたスペクトログラムの第２の例を示す図。

【図4】実施形態における実験で得られたスペクトログラムの第３の例を示す図。

【図5】実施形態における実験で得られたスペクトログラムの第４の例を示す図。

【図6】実施形態における学習装置のハードウェア構成の一例を示す図。

【図7】実施形態における学習装置が備える制御部の機能構成の一例を示す図。

【図8】実施形態における学習装置が実行する処理の流れの一例を示すフローチャート。

【図9】実施形態における推定装置のハードウェア構成の一例を示す図。

【図10】実施形態における推定装置が備える制御部の機能構成の一例を示す図。

【図11】実施形態における推定装置が実行する処理の流れの一例を示すフローチャート。

【発明を実施するための形態】

【0014】

（実施形態）
図１は、実施形態の推定システム１００の概要を説明する説明図である。推定システム１００は、学習装置１と、推定装置２と、を備える。学習装置１は、バスで接続されたＣＰＵ（Central Processing Unit）等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。

【0015】

制御部１１は、学習処理を実行する。学習処理は、感情推定モデルの学習を行う。学習は機械学習を意味する。感情推定モデルは、生体信号の時系列である生体時系列を示す画像の画像データに基づいて、生体時系列の生体信号を発した人又は動物の感情を推定する数理モデルである。学習は、生体時系列を示す画像の画像データと正解データとの組を用いた学習である。正解データは、具体的には、感情を示すデータである。感情は、例えば、嬉しい感情や、哀しい感情である。以下、生体時系列を示す画像の画像データと正解データとの学習に用いられる組、を感情推定モデル学習データという。

【0016】

生体信号は、例えば、心拍であってもよいし、脈拍であってもよいし、脳波であってもよいし、呼気又は吸気であってもよいし、発汗であってもよい。生体時系列は、例えばウェアラブル生体センサによって取得される。

【0017】

生体時系列を示す画像は、具体的には、所定の関数列であって属する任意の２つの関数が線形独立な関数列（以下「変換関数列」という。）に属する関数の重ね合わせで生体時系列を表現するときの重ね合わせの係数、を示す画像である。変換関数列は、例えば直交関数系である。

【0018】

このような重ね合わせの係数は、例えば変換対象の生体時系列に対する短時間フーリエ変換によって得られる係数（すなわちフーリエ係数）である。すなわち、このような直交関数系は、例えば、正規直交関数系の三角関数の関数列である。なお、このような場合、生体時系列を示す画像はスペクトログラムである。

【0019】

このように、生体時系列を示す画像とは、具体的には、変換関数列に属する関数の重ね合わせで生体時系列を表現するときの重ね合わせの係数、を示す画像であるので、以下、生体時系列を示す画像を係数画像という。

【0020】

学習に用いられる係数画像が示す重ね合わせ係数を有する生体時系列は、例えば、所定の時間にわたって同じ感情を誘起する環境において取得対象の人又は動物から得られた生体時系列である。所定の時間にわたって同じ感情を誘起する環境は、例えば、取得対象が略同一の感情を抱き続ける写真を取得対象が見続ける環境である。

【0021】

所定の時間にわたって同じ感情を誘起する環境は、例えば、取得対象が略同一の感情を抱き続ける動画を取得対象が見続ける環境であってもよい。所定の時間にわたって同じ感情を誘起する環境は、例えば、取得対象が略同一の感情を抱き続ける音楽を取得対象が聞き続ける環境であってもよい。所定の時間にわたって同じ感情を誘起する環境は、例えば、取得対象が略同一の感情を抱き続ける食事を取得対象が取り続ける環境であってもよい。

【0022】

このように、学習に用いられる係数画像は例えば、所定の時間にわたって同じ感情を誘起する環境において取得対象から得られた生体時系列を、変換関数列に属する関数の重ね合わせで表現するときの重ね合わせの係数を示す画像、である。

【0023】

なお、学習は、感情推定モデルの学習が可能な方法であればどのような機械学習の方法であってもよく、例えば畳み込みニューラルネットワークを用いた学習であってもよい。機械学習の方法は、例えば転移学習であってもよいし、ファインチューニングであってもよいし、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を用いた学習であってもよいし、Attention機構を用いた学習であってもよい。

【0024】

制御部１１は、学習の終了に関する所定の条件（以下「学習終了条件」という。）が満たされるまで学習を行う。すなわち、学習処理は、学習終了条件が満たされるまで行われる。学習終了条件が満たされた時点の感情推定モデルが推定装置２によって用いられる。学習終了条件が満たされた時点の数理モデルとは、いわゆる、学習済みの数理モデルである。そこで以下、学習終了条件が満たされた時点の感情推定モデルを学習済み感情推定モデル、という。

【0025】

学習終了条件は、学習の終了に関する条件であればどのような条件であってもよい。学習終了条件は、例えば、学習による学習対象の更新が所定の回数行われた、という条件である。学習終了条件は、例えば更新による学習対象の変化が所定の変化より小さい、という条件であってもよい。制御部１１による学習における学習対象は、具体的には、感情推定モデルである。

【0026】

なお数理モデルの更新とは学習対象の数理モデルが有するパラメータの値を更新することを意味する。

【0027】

制御部１１は、学習終了条件が満たされた場合に、学習終了条件が満たされた時点の感情推定モデルを学習済み感情推定モデルとして取得する。

【0028】

推定装置２は、学習装置１の得た学習済み感情推定モデルを用い、推定対象から得られた係数画像の画像データに基づき、推定対象の感情を推定する。推定対象から得られた係数画像とは、具体的には、変換関数列に属する関数の重ね合わせで推定対象から得られた生体時系列を表現するときの重ね合わせの係数、を示す係数画像、である。

【0029】

＜係数画像を用いることが奏する効果について＞
上述したように、係数画像は、変換関数列に属する関数の重ね合わせで生体時系列を表現するときの重ね合わせの係数、を示す画像である。したがって、係数画像の方が生体時系列そのものよりも情報量が多い。そのため、学習において係数画像を用いることは、生体時系列を用いるよりも推定の精度の高い学習済み感情推定モデルの取得を可能とする。

【0030】

上述したように、係数画像は例えばスペクトログラムである。取得対象の人の感情が楽しい時に得られた生体時系列と、取得対象の人の感情が悲しい時に得られた生体時系列と、のそれぞれについてスペクトログラムを実験で得たので、ここで数個の例を紹介する。なお、実験において生体時系列の生体信号は、心拍であった。

【0031】

図２は、実施形態における実験で得られたスペクトログラムの第１の例を示す図である。図２の画像Ｇ１は、取得対象の人の感情が楽しい時に得られた心拍の時系列の一例である。横時は時刻を示し、縦軸は心拍を示す。図２の画像Ｇ２は、画像Ｇ１が示す時系列をフーリエ変換して得たスペクトログラムである。横時は時刻を示し、縦軸は周波数を示す。

【0032】

図３は、実施形態における実験で得られたスペクトログラムの第２の例を示す図である。図３の画像Ｇ３は、取得対象の人の感情が悲しい時に得られた心拍の時系列の一例である。横時は時刻を示し、縦軸は心拍を示す。図３の画像Ｇ４は、画像Ｇ３が示す時系列をフーリエ変換して得たスペクトログラムである。横時は時刻を示し、縦軸は周波数を示す。

【0033】

図４は、実施形態における実験で得られたスペクトログラムの第３の例を示す図である。図４の画像Ｇ５は、取得対象の人の感情が楽しい時に得られた心拍の時系列の一例である。横時は時刻を示し、縦軸は心拍を示す。図４の画像Ｇ６は、画像Ｇ５が示す時系列をフーリエ変換して得たスペクトログラムである。横時は時刻を示し、縦軸は周波数を示す。

【0034】

図５は、実施形態における実験で得られたスペクトログラムの第４の例を示す図である。図５の画像Ｇ７は、取得対象の人の感情が楽しい時に得られた心拍の時系列の一例である。横時は時刻を示し、縦軸は心拍を示す。図５の画像Ｇ８は、画像Ｇ７が示す時系列をフーリエ変換して得たスペクトログラムである。横時は時刻を示し、縦軸は周波数を示す。

【0035】

図２～図５のスペクトログラムは、悲しいときの心拍の時系列の方が、周波数が高い傾向にあることを示す。このような傾向は、単に心拍の時系列を見ても得ることが難しい。このように、係数画像は時系列そのものよりも情報量が多い。

【0036】

図６は、実施形態における学習装置１のハードウェア構成の一例を示す図である。図７は、実施形態における学習装置１が備える制御部１１の機能構成の一例を示す図である。

【0037】

学習装置１は、上述したように、バスで接続されたＣＰＵ等のプロセッサ９１とメモリ９２とを備える制御部１１を備え、プログラムを実行する。学習装置１は、プログラムの実行によって制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

【0038】

より具体的には、プロセッサ９１が記憶部１４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９２に記憶させる。プロセッサ９１が、メモリ９２に記憶させたプログラムを実行することによって、学習装置１は、制御部１１、入力部１２、通信部１３、記憶部１４及び出力部１５を備える装置として機能する。

【0039】

制御部１１は、学習装置１が備える各種機能部の動作を制御する。制御部１１は、例えば学習処理を実行する。制御部１１は、例えば学習実行部１１１を備える。学習実行部１１１は、学習処理を実行する。

【0040】

制御部１１は、例えば入力制御部１１２を備える。入力制御部１１２は、入力部１２の動作を制御し、入力部１２に入力された情報を取得する。したがって、例えば入力部１２に感情推定モデル学習データが入力される場合、入力制御部１１２は感情推定モデル学習データを取得する。制御部１１は、例えば通信制御部１１３を備える。通信制御部１１３は、通信部１３の動作を制御し、通信部１３を介した情報の送受信を行う。したがって、例えば通信部１３に感情推定モデル学習データが入力される場合、通信制御部１１３は、感情推定モデル学習データを取得する。

【0041】

制御部１１は、例えば記憶制御部１１４を備える。記憶制御部１１４は、記憶部１４の動作を制御する。記憶制御部１１４は、記憶部１４の動作を制御することで、例えば記憶部１４の記憶する情報を読み出す。制御部１１は、例えば出力制御部１１５を備える。出力制御部１１５は、出力部１５の動作を制御する。

【0042】

入力部１２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部１２は、これらの入力装置を学習装置１に接続するインタフェースとして構成されてもよい。入力部１２は、学習装置１に対する各種情報の入力を受け付ける。入力部１２には、例えばユーザによる学習処理の開始の指示が入力される。入力部１２には、例えば感情推定モデル学習データが入力される。

【0043】

通信部１３は、学習装置１を外部装置に接続するための通信インタフェースを含んで構成される。通信部１３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば感情推定モデル学習データの送信元の装置である。通信部１３は、感情推定モデル学習データの送信元の装置との通信によって、感情推定モデル学習データを取得する。通信部１３は、例えば制御部１１の得た学習済み感情推定モデルを推定装置２に送信する。学習済み感情推定モデルを推定装置２に送信するとは、学習済み感情推定モデルのパラメータ及びハイパーパラメータの値を推定装置２に送信することを意味する。

【0044】

記憶部１４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部１４は学習装置１に関する各種情報を記憶する。記憶部１４は、例えば入力部１２又は通信部１３を介して入力された情報を記憶する。したがって、記憶部１４は、例えば感情推定モデル学習データを記憶する。記憶部１４は、例えば学習処理で生じた各種情報を記憶する。記憶部１４は、例えば感情推定モデルを記憶する。

【0045】

出力部１５は、各種情報を出力する。出力部１５は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示装置を含んで構成される。出力部１５は、これらの表示装置を学習装置１に接続するインタフェースとして構成されてもよい。出力部１５は、例えば入力部１２又は通信部１３に入力された情報を出力する。

【0046】

図８は、実施形態における学習装置１が実行する処理の流れの一例を示すフローチャートである。入力部１２又は通信部１３に１又は複数の感情推定モデル学習データが入力され、入力された１又は複数の感情推定モデル学習データを制御部１１が取得する（ステップＳ１０１）。次に制御部１１は、ステップＳ１０１で取得された１又は複数の感情推定モデル学習データを用いて、学習終了条件が満たされるまで、感情推定モデルの学習が行われる（ステップＳ１０２）。感情推定モデルの学習により、学習済み感情推定モデルが得られる。

【0047】

ステップＳ１０２における学習の一例を説明する。学習では、例えば、ステップＳ１０１で取得された１又は複数の感情推定モデル学習データの１つが選択され、そこに含まれる係数画像に基づいて感情推定モデルが感情を推定することが行われる。学習では次に感情推定モデルの推定の結果と、感情推定モデル学習データの含む正解データとの違いを小さくするように、所定の規則にしたがって感情推定モデルを更新することが、行われる。このような、選択と推定と更新との処理が、学習終了条件が満たされるまで、行われる。なお、選択される感情推定モデル学習データは、既に学習に用いられたもの以外の感情推定モデル学習データから選択される。

【0048】

ステップＳ１０２が学習処理の一例である。

【0049】

図９は、実施形態における推定装置２のハードウェア構成の一例を示す図である。図１０は、実施形態における推定装置２が備える制御部２１の機能構成の一例を示す図である。

【0050】

推定装置２は、バスで接続されたＣＰＵ等のプロセッサ９３とメモリ９４とを備える制御部２１を備え、プログラムを実行する。推定装置２は、プログラムの実行によって制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0051】

より具体的には、プロセッサ９３が記憶部２４に記憶されているプログラムを読み出し、読み出したプログラムをメモリ９４に記憶させる。プロセッサ９３が、メモリ９４に記憶させたプログラムを実行することによって、推定装置２は、制御部２１、入力部２２、通信部２３、記憶部２４及び出力部２５を備える装置として機能する。

【0052】

制御部２１は、推定装置２が備える各種機能部の動作を制御する。制御部２１は、学習済みモデル実行部２１１を備える。学習済みモデル実行部２１１は、学習済み感情推定モデルを実行する。

【0053】

制御部２１は、例えば入力制御部２１２を備える。入力制御部２１２は、入力部２２の動作を制御し、入力部２２に入力された情報を取得する。したがって、例えば入力部２２に学習済み感情推定モデルの実行対象の画像データが入力される場合、入力制御部２１２は学習済み感情推定モデルの実行対象の画像データを取得する。

【0054】

制御部２１は、例えば通信制御部２１３を備える。通信制御部２１３は、通信部２３の動作を制御し、通信部２３を介した情報の送受信を行う。したがって、例えば通信部２３に学習済み感情推定モデルの実行対象の画像データが入力される場合、通信制御部２１３は、学習済み感情推定モデルの実行対象の画像データを取得する。

【0055】

制御部２１は、例えば記憶制御部２１４を備える。記憶制御部２１４は、記憶部２４の動作を制御する。記憶制御部２１４は、記憶部２４の動作を制御することで、例えば記憶部２４の記憶する情報を読み出す。制御部２１は、例えば出力制御部２１５を備える。出力制御部２１５は、出力部２５の動作を制御する。

【0056】

入力部２２は、マウスやキーボード、タッチパネル等の入力装置を含んで構成される。入力部２２は、これらの入力装置を推定装置２に接続するインタフェースとして構成されてもよい。入力部２２は、推定装置２に対する各種情報の入力を受け付ける。入力部２２には、例えばユーザによる学習済み感情推定モデルの開始の指示が入力される。入力部２２には、例えば学習済み感情推定モデルの実行対象の係数画像の画像データが入力される。

【0057】

通信部２３は、推定装置２を外部装置に接続するための通信インタフェースを含んで構成される。通信部２３は、有線又は無線を介して外部装置と通信する。外部装置は、例えば学習済み感情推定モデルの実行対象の画像データの送信元の装置である。通信部２３は、学習済み感情推定モデルの実行対象の画像データの送信元との通信によって、学習済み感情推定モデルの実行対象の画像データを取得する。外部装置は、例えば学習装置１である。通信部２３は、学習装置１との通信によって、学習済み感情推定モデルを取得する。

【0058】

記憶部２４は、磁気ハードディスク装置や半導体記憶装置などのコンピュータ読み出し可能な記憶媒体装置（non-transitory computer-readable recording medium）を用いて構成される。記憶部２４は推定装置２に関する各種情報を記憶する。記憶部２４は、例えば学習済み感情推定モデルを記憶する。記憶部２４は、例えば入力部２２又は通信部２３を介して入力された情報を記憶する。したがって、記憶部２４は、例えば学習済み感情推定モデルの実行対象の画像データを記憶する。記憶部２４は、例えば学習済み感情推定モデルの実行により生じた各種情報を記憶する。

【0059】

出力部２５は、各種情報を出力する。出力部２５は、例えばＣＲＴディスプレイや液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置を含んで構成される。出力部２５は、これらの表示装置を推定装置２に接続するインタフェースとして構成されてもよい。出力部２５は、例えば入力部２２又は通信部２３に入力された情報を出力する。

【0060】

図１１は、実施形態における推定装置２が実行する処理の流れの一例を示すフローチャートである。入力部２２又は通信部２３に学習済み感情推定モデルの実行対象の画像データが入力され、入力された画像データを制御部２１が取得する（ステップＳ２０１）。実行対象の画像データは、具体的には、推定対象の人又は動物から得られた生体時系列を変換関数列に属する関数の重ね合わせで表現するときの重ね合わせの係数、を示す係数画像の画像データである。

【0061】

次に制御部２１は、ステップＳ２０１で取得された画像データに対して学習済み感情推定モデルを実行する（ステップＳ２０２）。より具体的には、制御部２１の備える学習済みモデル実行部２１１が、ステップＳ２０１で取得された画像データに対して学習済み感情推定モデルを実行する。ステップＳ２０２の実行により、推定対象の感情が推定される。次に制御部２１は、出力部２５の動作を制御して、出力部２５にステップＳ２０２で推定された感情、を示す情報を出力させる（ステップＳ２０３）。

【0062】

このようにして制御部２１は推定対象の感情を推定する。

【0063】

＜実験結果＞
なお、係数画像として心拍の時系列のスペクトログラムを用い、機械学習の方法として畳み込みニューラルネットワークを用いた実験では、学習済みの感情推定モデルの推定の精度について、７６．０％という結果が得られた。

【0064】

このように構成された学習装置１は、係数画像の画像データを用いて感情推定モデルの学習を行う。したがって、上述の＜係数画像を用いることが奏する効果について＞で説明したように、学習装置１は、より推定の精度の高い学習済み感情推定モデルの取得が可能である。そのため、学習装置１は感情の推定の精度を向上させることができる。

【0065】

また、このように構成された推定装置２は、学習装置１の得た学習済みの感情推定モデルを用いた推定を行う。そのため、推定装置２は感情の推定の精度を向上させることができる。

【0066】

＜適用例＞
学習装置１の得た学習済みの感情推定モデルは、例えば、画像表示プログラムに用いられてもよい。画像表示プログラムは、スマートフォンやパソコン等の端末装置で実行されるプログラムである。画像表示プログラムは、ユーザから得た生体時系列に基づいて係数画像を生成し、生成した係数画像に基づいてユーザの感情を推定し、推定結果とともに、推定結果に応じた画像を表示するプログラムである。このような場合、画像表示プログラムを実行する装置が推定装置２の一例である。

【0067】

（変形例）
なお、学習装置１の備える入力部１２又は通信部１３には必ずしも係数画像の画像データが正解データとともに入力される必要はない。学習装置１の備える入力部１２又は通信部１３には、係数画像の画像データに代えて生体時系列が正解データとともに入力されてもよい。このような場合、学習装置１の制御部１１は生体時系列から係数画像の画像データを得る。このような場合、学習装置１の制御部１１が得た係数画像の画像データが、正解データとともに感情推定モデル学習データとして、感情推定モデルの学習に用いられる。

【0068】

なお、推定装置２の備える入力部２２又は通信部２３には必ずしも係数画像の画像データが入力される必要はない。推定装置２の備える入力部２２又は通信部２３には、係数画像の画像データに代えて生体時系列が入力されてもよい。このような場合、推定装置２の制御部２１は生体時系列から係数画像の画像データを得る。このような場合、推定装置２の制御部２１は、推定装置２の制御部２１が得た係数画像の画像データに対して学習済み感情推定モデルに入力され、推定対象の感情が推定される。

【0069】

なお、学習装置１及び推定装置２のそれぞれは、ネットワークを介して通信可能に接続された複数台の情報処理装置を用いて実装されてもよい。この場合、制御部１１及び制御部２１が備える各機能部は、複数の情報処理装置に分散して実装されてもよい。

【0070】

なお、学習装置１及び推定装置２の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

【0071】

なお推定装置２の備える制御部２１は、推定部の一例である。

【0072】

その他、本発明の趣旨に逸脱しない範囲で、前記実施形態における構成要素を周知の構成要素に置き換えることは適宜可能であり、また、前記した変形例を適宜組み合わせてもよい。

【符号の説明】

【0073】

１００…推定システム、 １…学習装置、 ２…推定装置、 １１…制御部、 １２…入力部、 １３…通信部、 １４…記憶部、 １５…出力部、 １１１…学習実行部、 １１２…入力制御部、 １１３…通信制御部、 １１４…記憶制御部、 １１５…出力制御部、 ２１…制御部、 ２２…入力部、 ２３…通信部、 ２４…記憶部、 ２５…出力部、 ２１１…学習済みモデル実行部、 ２１２…入力制御部、 ２１３…通信制御部、 ２１４…記憶制御部、 ２１５…出力制御部、 ９１…プロセッサ、 ９２…メモリ、 ９３…プロセッサ、 ９４…メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】