特許 7557491 心理状態の埋め込み情報を生成するモデル、並びに該モデルを用いた評価プログラム、装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】心理状態の埋め込み情報を生成するモデル、並びに該モデルを用いた評価プログラム、装置及び方法

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240919BHJP

   G06N 3/044 20230101ALI20240919BHJP

   G06N 3/045 20230101ALI20240919BHJP

【ＦＩ】

A61B5/16 120

G06N3/044

G06N3/045

【請求項の数】 12

(21)【出願番号】P 2022036927

(22)【出願日】2022-03-10

(65)【公開番号】P2023131915

(43)【公開日】2023-09-22

【審査請求日】2024-01-17

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(74)【代理人】

【識別番号】100141313

【弁理士】

【氏名又は名称】辰巳 富彦

(72)【発明者】

【氏名】石川 雄一

(72)【発明者】

【氏名】小林 直

【審査官】喜々津 徳胤

(56)【参考文献】

【文献】特開２０２１－００５１２２（ＪＰ，Ａ）

【文献】特開２０１８－１８７２８７（ＪＰ，Ａ）

【文献】Y. Ishikawa et al.，"Unsupervised Learning of Domain-Independent User Attributes"，[online]，IEEE，2022年11月09日，pp.119649-119665，[2024年8月29日検索],インターネット＜URL: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9943550＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／００ － ５／３９８

Ｇ０６Ｎ ３／００ － ３／１２６

(57)【特許請求の範囲】

【請求項1】

対象の感覚で捉えられる刺激に係る刺激情報から、当該対象の心理状態に係る情報を生成するコンピュータを機能させる心理状態情報生成モデルであって、
当該刺激情報を受け取り、前の時点で自ら生成した第１隠れ状態情報に対し当該刺激情報を反映させて、新たな第１隠れ状態情報を生成する意識回帰ニューラルネットワーク（ＲＮＮ）セルとしてコンピュータを機能させ、
前記意識ＲＮＮセルは、訓練の際、少なくとも１つの器官ＲＮＮセルであって、当該対象の生理的状態に係る生理的情報と第１隠れ状態情報とを受け取り、前の時点で自ら生成した第２隠れ状態情報に対し当該生理的情報及び第１隠れ状態情報を反映させて、新たな第２隠れ状態情報を生成する器官ＲＮＮセルと接続され、正解の当該生理的情報を含む学習データによって当該器官ＲＮＮセルと合わせて訓練されており、第１隠れ状態情報は、当該対象の心理状態が埋め込まれた心理状態表現情報となっている
ことを特徴とする心理状態情報生成モデル。

【請求項2】

対象の感覚で捉えられる刺激に係る刺激情報から、当該対象の心理状態に係る情報を生成するコンピュータを機能させる心理状態情報生成モデルであって、
当該刺激情報を受け取り、前の時点で自ら生成した第１隠れ状態情報に対し当該刺激情報を反映させて、新たな第１隠れ状態情報を生成する意識ＲＮＮセルと、
当該対象の生理的状態に係る生理的情報と第１隠れ状態情報とを受け取り、前の時点で自ら生成した第２隠れ状態情報に対し当該生理的情報及び第１隠れ状態情報を反映させて、新たな第２隠れ状態情報を生成する、少なくとも１つの器官ＲＮＮセルと
してコンピュータを機能させ、
前記意識ＲＮＮセル及び当該器官ＲＮＮセルは、正解の当該生理的情報を含む学習データによって合わせて訓練されており、第１隠れ状態情報は、当該対象の心理状態が埋め込まれた心理状態表現情報となっている
ことを特徴とする心理状態情報生成モデル。

【請求項3】

前記意識ＲＮＮセルは、当該対象の属性又は特徴を表す対象情報も受け取り、当該対象情報も用いて第１隠れ状態情報を生成し、当該器官ＲＮＮセルも、当該対象情報を受け取り、当該対象情報も用いて第２隠れ状態情報を生成することを特徴とする請求項１又は２に記載の心理状態情報生成モデル。

【請求項4】

受け取った当該対象の識別情報を変換して、当該対象の心的特徴又は機能に係る情報が埋め込まれた心的表現情報を生成し、前記意識ＲＮＮセルへ出力する心的表現生成部であって、前記意識ＲＮＮセル及び当該器官ＲＮＮセルと合わせて訓練された心的表現生成部としてコンピュータを更に機能させ、
前記意識ＲＮＮセルは、受け取った当該心的表現情報も用いて第１隠れ状態情報を生成する
ことを特徴とする請求項１から３のいずれか１項に記載の心理状態情報生成モデル。

【請求項5】

受け取った当該対象の識別情報を変換して、当該対象の該当する器官の状態に係る情報が埋め込まれた器官表現情報を生成し、当該器官ＲＮＮセルへ出力する器官表現生成部であって、前記意識ＲＮＮセル及び当該器官ＲＮＮセルと合わせて訓練された器官表現生成部としてコンピュータを更に機能させ、
当該器官ＲＮＮセルは、受け取った当該器官表現情報も用いて第２隠れ状態情報を生成する
ことを特徴とする請求項１から４のいずれか１項に記載の心理状態情報生成モデル。

【請求項6】

ある時点における当該刺激に係る情報を受け取り、前の時点で自ら生成した第３隠れ状態情報に対し当該刺激に係る情報を反映させて、当該ある時点までの当該刺激に係る情報が埋め込まれた新たな第３隠れ状態情報を生成し、生成した第３隠れ状態情報を、当該刺激情報として前記意識ＲＮＮセルへ出力する刺激ＲＮＮセルとしてコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載の心理状態生成モデル。

【請求項7】

前記意識ＲＮＮセルは、第２隠れ状態情報も受け取り、受け取った第２隠れ状態情報も用いて第１隠れ状態情報を生成することを特徴とする請求項２に記載の心理状態情報生成モデル。

【請求項8】

当該器官ＲＮＮセルは、当該生理的情報を受け取る時点からみて、所定以上に前の時点のうちの最近の時点で生成された第１隠れ状態情報を受け取ることを特徴とする請求項１から７のいずれか１項に記載の心理状態情報生成モデル。

【請求項9】

前記意識ＲＮＮセル及び当該器官ＲＮＮセルはそれぞれ、新たな第１隠れ状態情報及び新たな第２隠れ状態情報を生成するべく、セルに入力される情報に対し所定の処理を施す忘却ゲート、更新ゲート、リセットゲート、入力ゲート及び出力ゲートのうちの少なくとも１つを備えていることを特徴とする請求項１から８のいずれか１項に記載の心理状態情報生成モデル。

【請求項10】

請求項１から９のいずれか１項に記載の心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、該心理状態情報生成モデルで生成された当該心理状態表現情報を取り出す心理状態推定手段と、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定する評価情報決定手段と
してコンピュータを機能させることを特徴とする評価プログラム。

【請求項11】

請求項１から９のいずれか１項に記載の心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、該心理状態情報生成モデルで生成された当該心理状態表現情報を取り出す心理状態推定手段と、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定する評価情報決定手段と
を有することを特徴とする評価装置。

【請求項12】

請求項１から９のいずれか１項に記載の心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、該心理状態情報生成モデルで生成された当該心理状態表現情報を取り出すステップと、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定するステップと
を有することを特徴とする、コンピュータによって実施される評価方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの心理状態を推定する技術に関する。

【背景技術】

【0002】

近年、マーケティングや対人サービス等の分野で、ユーザの心理状態、特に感情を推定する技術が盛んに研究されている。例えば従来の感情推定技術として、以下に示す典型例が挙げられる。

【0003】

（ステップ１）複数の被験者の生理的状態、例えば音声、心拍、血圧や、脳波、さらには顔の表情等の情報を測定し、またこの測定時の感情を公知の手法でラベリングする。
（ステップ２）測定された生理的情報から特徴量を抽出し、これと感情ラベルとのペアを学習データとして訓練を行い、特徴量から感情ラベルを推定する推定器を構築する。
（ステップ３）感情推定対象であるユーザの生理的情報から特徴量を抽出し、これを推定器へ入力して感情ラベルの推定結果を得る。

【0004】

ここでこの典型例に該当する感情推定技術として、例えば非特許文献１は、被験者の音声情報から怒り、嫌悪、恐怖、喜び、悲しみや、驚きといった感情種別の有無を推定する技術を開示している。この技術では、訓練時において、多数の人間に対し上記６つの感情種別と中立、平静とのそれぞれに合わせた発声を行うよう指示し、感情ラベル付きの音声データを収集している。次いで、これらの音声データからパワースペクトログラムを生成して特徴量を抽出し、抽出した特徴量と感情ラベルとのペアを学習データとして訓練を行い、上記６つの感情種別の有無を推定するＳＶＭ（Support Vector Machine）を構築している。

【0005】

また推定時においては、被験者の音声情報を取得し、この音声情報から抽出された特徴量を、構築したＳＶＭへ入力して、この被験者における上記６つの感情種別の有無を推定しているのである。

【先行技術文献】

【非特許文献】

【0006】

【文献】西田健次, 山田亨, 糸山克寿, 中臺一博, 「表情による感情推定と音声による感情推定手法の検討」, 人工知能学会研究会資料 JSAI Technical Report, SIG-Challenge-057-9, ２０２０年１１月

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、非特許文献１に記載されたような従来の感情推定技術には、例えば生理的情報取得（測定）時に収集した感情ラベルの推定しか行うことができないとの問題が存在する。例えば、非特許文献１に開示された技術では、上記６つの感情種別の有無しか推定することができない。したがって例えば、この技術の推定器（ＳＶＭ）に対し２者の会話音声データから得られた特徴量を入力して「話者が相手に好意を抱いているか否か」といったような内容の推定を行うことは不可能となっている。

【0008】

ここで、そのような内容の推定を行うのであれば、多数の音声データと対応した感情ラベル(この場合、相手に好意を持っているか否かを示すラベル)とを収集し、改めて推定器（ＳＶＭ）を訓練し直す必要が生じてしまう。すなわち、訓練時の正解情報の内容に限定された感情の推定であって、訓練時の（粗い）情報粒度の範囲における感情の推定しか行うことができないのである。

【0009】

そこで、本発明は、訓練時の正解情報の内容に限定されない情報であって、情報粒度のより高い心理状態に係る情報を生成可能な心理状態情報生成モデルを提供することを目的とする。また、評価対象に対しより信頼性の高い評価情報を決定可能な、このモデルを用いた評価プログラム、評価装置及び評価方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明によれば、対象の感覚で捉えられる刺激に係る刺激情報から、当該対象の心理状態に係る情報を生成するコンピュータを機能させる心理状態情報生成モデルであって、
当該刺激情報を受け取り、前の時点で自ら生成した第１隠れ状態情報に対し当該刺激情報を反映させて、新たな第１隠れ状態情報を生成する意識回帰ニューラルネットワーク（ＲＮＮ）セルとしてコンピュータを機能させ、
意識ＲＮＮセルは、訓練の際、少なくとも１つの器官ＲＮＮセルであって、当該対象の生理的状態に係る生理的情報と第１隠れ状態情報とを受け取り、前の時点で自ら生成した第２隠れ状態情報に対し当該生理的情報及び第１隠れ状態情報を反映させて、新たな第２隠れ状態情報を生成する器官ＲＮＮセルと接続され、正解の当該生理的情報を含む学習データによって当該器官ＲＮＮセルと合わせて訓練されており、第１隠れ状態情報は、当該対象の心理状態が埋め込まれた心理状態表現情報となっている
ことを特徴とする心理状態情報生成モデルが提供される。

【0011】

本発明によれば、また、対象の感覚で捉えられる刺激に係る刺激情報から、当該対象の心理状態に係る情報を生成するコンピュータを機能させる心理状態情報生成モデルであって、
当該刺激情報を受け取り、前の時点で自ら生成した第１隠れ状態情報に対し当該刺激情報を反映させて、新たな第１隠れ状態情報を生成する意識ＲＮＮセルと、
当該対象の生理的状態に係る生理的情報と第１隠れ状態情報とを受け取り、前の時点で自ら生成した第２隠れ状態情報に対し当該生理的情報及び第１隠れ状態情報を反映させて、新たな第２隠れ状態情報を生成する、少なくとも１つの器官ＲＮＮセルと
してコンピュータを機能させ、
意識ＲＮＮセル及び当該器官ＲＮＮセルは、正解の当該生理的情報を含む学習データによって合わせて訓練されており、第１隠れ状態情報は、当該対象の心理状態が埋め込まれた心理状態表現情報となっている
ことを特徴とする心理状態情報生成モデルが提供される。ここで、意識ＲＮＮセルは、第２隠れ状態情報も受け取り、受け取った第２隠れ状態情報も用いて第１隠れ状態情報を生成することも好ましい。

【0012】

以上に述べた本発明による心理状態情報生成モデルの一実施形態として、意識ＲＮＮセルは、当該対象の属性又は特徴を表す対象情報も受け取り、当該対象情報も用いて第１隠れ状態情報を生成し、当該器官ＲＮＮセルも、当該対象情報を受け取り、当該対象情報も用いて第２隠れ状態情報を生成することも好ましい。

【0013】

また、本発明による心理状態情報生成モデルの他の実施形態として、本心理状態情報生成モデルは、受け取った当該対象の識別情報を変換して、当該対象の心的特徴又は機能に係る情報が埋め込まれた心的表現情報を生成し、前記意識ＲＮＮセルへ出力する心的表現生成部であって、前記意識ＲＮＮセル及び当該器官ＲＮＮセルと合わせて訓練された心的表現生成部としてコンピュータを更に機能させ、意識ＲＮＮセルは、受け取った当該心的表現情報も用いて第１隠れ状態情報を生成することも好ましい。

【0014】

さらに、本発明による心理状態情報生成モデルの更なる他の実施形態として、本心理状態情報生成モデルは、受け取った当該対象の識別情報を変換して、当該対象の該当する器官の状態に係る情報が埋め込まれた器官表現情報を生成し、当該器官ＲＮＮセルへ出力する器官表現生成部であって、前記意識ＲＮＮセル及び当該器官ＲＮＮセルと合わせて訓練された器官表現生成部としてコンピュータを更に機能させ、当該器官ＲＮＮセルは、受け取った当該器官表現情報も用いて第２隠れ状態情報を生成することも好ましい。

【0015】

また、本発明による心理状態情報生成モデルの更なる他の実施形態として、本心理状態情報生成モデルは、ある時点における当該刺激に係る情報を受け取り、前の時点で自ら生成した第３隠れ状態情報に対し当該刺激に係る情報を反映させて、当該ある時点までの当該刺激に係る情報が埋め込まれた新たな第３隠れ状態情報を生成し、生成した第３隠れ状態情報を、当該刺激情報として前記意識ＲＮＮセルへ出力する刺激ＲＮＮセルとしてコンピュータを更に機能させることも好ましい。

【0016】

さらに、以上に述べた本発明による心理状態情報生成モデルにおいて、当該器官ＲＮＮセルは、当該生理的情報を受け取る時点からみて、所定以上に前の時点のうちの最近の時点で生成された第１隠れ状態情報を受け取ることも好ましい。

【0017】

また、以上に述べた本発明による心理状態情報生成モデルにおいて、意識ＲＮＮセル及び当該器官ＲＮＮセルはそれぞれ、新たな第１隠れ状態情報及び新たな第２隠れ状態情報を生成するべく、セルに入力される情報に対し所定の処理を施す忘却ゲート、更新ゲート、リセットゲート、入力ゲート及び出力ゲートのうちの少なくとも１つを備えていることも好ましい。

【0018】

本発明によれば、さらに、
以上に述べた心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、この心理状態情報生成モデルで生成された当該心理状態表現情報を取り出す心理状態推定手段と、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定する評価情報決定手段と
してコンピュータを機能させる評価プログラムが提供される。

【0019】

本発明によれば、また、
以上に述べた心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、この心理状態情報生成モデルで生成された当該心理状態表現情報を取り出す心理状態推定手段と、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定する評価情報決定手段と
を有する評価装置が提供される。

【0020】

本発明によれば、さらに、
以上に述べた心理状態情報生成モデルに対し、評価対象についての当該刺激情報を入力し、この心理状態情報生成モデルで生成された当該心理状態表現情報を取り出すステップと、
取り出された当該心理状態表現情報から、学習済みの評価モデルによって当該評価対象の評価情報を決定するステップと
を有する、コンピュータによって実施される評価方法が提供される。

【発明の効果】

【0021】

本発明の心理状態情報生成モデルによれば、訓練時の正解情報の内容に限定されない情報であって、情報粒度のより高い心理状態に係る情報を生成することができる。また、本発明の評価プログラム、評価装置及び評価方法によれば、評価対象に対しより信頼性の高い評価情報が決定可能となる。

【図面の簡単な説明】

【0022】

【図1】本発明による心理状態情報生成モデルの概念図、及び本発明による心理状態情報生成モデルの一実施形態を示す模式図である。

【図2】本発明による心理状態情報生成モデルの他の実施形態を示す模式図である。

【図3】本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【図4】本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【図5】本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【図6】本発明に係る意識ＲＮＮセル及び器官ＲＮＮセルにおける内部構成の一実施形態を示す機能ブロック図である。

【図7】本発明による評価装置の一実施形態における機能構成を示す機能ブロック図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について、図面を用いて詳細に説明する。

【0024】

［心理状態情報生成モデル］
図１は、本発明による心理状態情報生成モデルの概念図、及び本発明による心理状態情報生成モデルの一実施形態を示す模式図である。

【0025】

図１（Ａ）に示したように、本発明による心理状態情報生成モデルは、人間における生理的状態が発現する機序の一部をモデル化したものである。すなわち、刺激を受け取った「意識」がある心理状態を発現し、この心理状態の影響を受けて脳、心臓や、顔等の「器官」がある生理的状態を発現するといったような機序を仮定し、この仮定に基づいて生成したモデルとなっている。ちなみにこの仮定された機序は、「意識」の発現する場所を特に脳に限定しておらず、あくまで、刺激→心理状態→生理的状態といったような因果関係を規定するものとなっている。

【0026】

ここで具体的に、本発明による心理状態情報生成モデルは、上述したような機序の仮定の下、推定対象（例えば人間）の感覚で捉えられる刺激に係る情報である「刺激情報」から、この推定対象の心理状態に係る情報である「心理状態表現情報」を生成するように、ニューラルネットワーク（Neural Network）アルゴリズムで構築されたモデルとなっている。

【0027】

より具体的には図１（Ｂ）に示したように、本実施形態の心理状態情報生成モデル１Ａは、
（Ａ）「刺激情報」sを受け取り、前の時点で自ら生成した「第１隠れ状態情報」h_cnに対し「刺激情報」sを反映させて、新たな「第１隠れ状態情報」h_cnを生成する意識回帰ニューラルネットワーク（ＲＮＮ）セルである意識セル１０
としてコンピュータを機能させる。

【0028】

またさらに、この意識セル１０は、
（Ｂ１）訓練の際、少なくとも１つの器官ＲＮＮセル（図１（Ｂ）では器官１セル１１及び器官２セル１２）であって、推定対象の生理的状態に係る情報である「生理的情報」bと「第１隠れ状態情報」h_cnとを受け取り、前の時点で自ら生成した「第２隠れ状態情報」h_orに対し「生理的情報」b及び「第１隠れ状態情報」h_cnを反映させて、新たな「生理的情報」bと新たな「第２隠れ状態情報」h_orとを生成する器官ＲＮＮセル（器官１セル１１及び器官２セル１２）と接続され、
（Ｂ２）正解の「生理的情報」bを含む学習データによって、器官ＲＮＮセル（器官１セル１１及び器官２セル１２）と合わせて訓練されている。
またその結果、
（Ｂ３）「第１隠れ状態情報」h_cnは、推定対象の心理状態が埋め込まれた「心理状態表現情報」となっているのである。

【0029】

このように心理状態情報生成モデル１Ａは、推定対象の心理状態を表現する「心理状態表現情報」を生成することができる。ここで、この「心理状態表現情報」（第１隠れ状態情報h_cn）は、本願発明者が、単語分散表現に代表される公知の埋め込み（embedding）技術にヒントを得て創作したものである。具体的に「心理状態表現情報」は、上述したような機序の仮定の下、推定対象の「心理状態」が埋め込まれた、例えば多数の数値（連続値）の羅列である多次元（例えば数十～数百次元）のベクトルデータとすることができる。したがって心理状態情報生成モデル１Ａは、訓練時に収集した感情ラベル（心理状態ラベル）の推定しか行うことができない従来技術と比較すると、訓練時の正解情報の内容に限定されない情報であって、情報粒度のより高い心理状態に係る情報を生成可能となっているのである。

【0030】

また、この「心理状態表現情報」に埋め込まれた推定対象の「心理状態」（mental state）は、上述した機序によれば、刺激を受け取った「意識」が発現する状態であって、「器官」がある生理的状態を発現させる原因となるような状態である。すなわちこの「心理状態」は、感情（emotion）に限定されず、欲求（desire）や信念（belief）等も含む幅広い情報と捉えることができる。したがってこのような「心理状態表現情報」を用いることにより、例えばユーザにおいて発現される種々様々な状態の内容や実施される行動の意図するところを、詳細に説明したり正確に予測したりすることも可能となる。またそれ故「心理状態表現情報」は、ユーザに対しより好適なサービスを提供する事業分野において大いに活用されることが期待される。

【0031】

また勿論、得られた「心理状態表現情報」から、例えば学習済みの感情抽出モデル（感情への翻訳モデル）を用いて、感情（感情ラベルで規定される感情種別）を抽出し、ユーザの感情を推定して、これを提供サービスに生かすことも可能となる。すなわち、「心理状態表現情報」は、多種多様な感情種別に対しても予測力を有する内容の深い情報となっているのである。またさらに言えば「心理状態表現情報」は、例えば従来の離散的な感情種別に限定されない且つ高い情報粒度を備えた情報となっているので、このような「心理状態表現情報」から喜怒哀楽だけでなく例えば購買意欲を推定するモデルを構築し、例えば（その刺激情報を入力した）評価対象のコンテンツに対する喜怒哀楽、及び購買意欲の双方の情報を同時に獲得することも可能となるのである。

【0032】

ちなみに、このような埋め込み表現ベクトルとしての「心理状態表現情報」は、上述した単語分散表現と同様、ベクトル同士の演算が可能になると考えられる。例えば、２つのベクトルの距離（差）を心理状態の類似度の尺度としたり、２つのベクトルの平均を中間的な心理状態の表現としたりして、心理状態に関しさらに有益な情報が導出・生成可能となることも期待されるのである。

【0033】

さらに、心理状態情報生成モデル１Ａは、その訓練時には正解の「生理的情報」bを用いるが、「心理状態表現情報」を生成する（心理状態を推定する）際には、この正解に係る情報である「生理的情報」bを必要としない。すなわち、訓練時に使用する正解に係る情報を用いることなく、上述したような情報粒度のより高い心理状態に係る情報を生成可能となっている。またその結果、「生理的情報」bを収集できない環境・状況においても心理状態を推定することができ、言い換えると、心理状態推定が可能となるシチュエーションの幅がより広くなっているのである。

【0034】

この点、従来技術では、訓練時に使用した正解に係る情報を入手しなければ、感情推定を行うことができなかった。例えば非特許文献１に開示された技術では、感情推定時において、被験者の音声データを実際に取得（測定）して推定器（ＳＶＭ）へ入力することが必要となっている。その結果、例えばマイク等の具備されていない環境・状況ではリアルタイムの感情推定を行うことができず、すなわち、感情推定が可能となるシチュエーションが相当に限定されてしまうのである。

【0035】

また、上記（Ａ）の「刺激情報」sに係る「刺激」には、推定対象（例えば人間）の感覚、例えば視覚や聴覚等で捉えることが可能であって情報化（データ化）することができる事象・事物ならば、種々様々なものが該当する（また、何らかの心理的状態を喚起することが見込まれる事象・事物であることも好ましい）。具体的に「刺激情報」sは、例えば、
（ａ）視認した画像（映像）データの特徴量（例えば、公知の畳み込みネットワークによる画像特徴量）、
（ｂ）聞き取った音声データの特徴量（例えば、公知のメルスペクトルやＭＦＣＣ(Mel Frequency Cepstral Coefficient)）、
（ｃ）読み取った文字・文・文章のデータ（テキストデータ）の特徴量（例えば、公知のk-means法、ＬＤＡ(Latent Dirichlet Allocation)、Word2Vecや、FastTextを用いた特徴量）、
（ｄ）嗅いだ匂いの特徴量（例えば、臭覚官能検査結果を特徴量化したものや、収集した匂い分子における種別毎の濃度や分子構造情報を特徴量化したもの）、
（ｅ）味わった料理の特徴量（例えば、味覚官能検査結果を特徴量化したものや、収集した味覚物質における種別毎の濃度や分子構造情報を特徴量化したもの）や、
（ｆ）（例えばマッサージ等で）受けた振動・押圧データ等の特徴量（例えば、振動パワースペクトルのスペクトログラムを特徴量化したもの）等
とすることができる。勿論、「刺激」を特徴づける情報ならば、上記以外の種々様々な情報が「刺激情報」sとして採用可能である。

【0036】

さらに、例えば動画コンテンツを視聴したユーザの感情（心理的状態）を推定したい場合、使用する「刺激情報」sは、例えば上記（ａ）及び（ｂ）の特徴量を合わせた特徴量とすることも好ましい。

【0037】

また、上記（Ｂ１）及び（Ｂ２）の「生理的情報」bは、人間等の対象に対し種々様々な測定手段を作用させることによって得られる測定データであって、当該対象の所定の器官に係る生理的状態を示した又は反映した測定データから生成される、当該対象の生理的状態を特徴づける情報である。ここで以下、「生理的情報」は、表情や声色等の動的な生体情報も包含する広い意味を持つものとする。具体的に「生理的情報」bは、例えば、（脳に係る）脳波、（心臓に係る）心拍、（心臓若しくは循環器系に係る）血圧、（顔に係る）表情、（発声器官に係る）声色や、（皮膚若しくは汗腺に係る）発汗量等の測定データから生成された特徴量とすることができる。

【0038】

このうち、例えば時点tにおける脳波に係る特徴量（生理的情報b^(t)）として、時間区間[t, t+Δt]での脳波信号のパワースペクトルにおける周波数帯毎の振幅値を採用してもよい。また一般に、脳波は国際10-20法（International 10-20 system）等で取り決められた複数の部位で測定される。したがって、取り決められた各部位における周波数帯毎の振幅値をまとめて脳波に係る特徴量（生理的情報b^(t)）とすることも可能である。

【0039】

さらに、例えば時点tにおける心拍に係る特徴量として、単純に時間区間[t, t+Δt]での心拍数を採用することができる。または、時間区間[t, t+Δt]の間に表れた心拍の間隔を表すIBI（InterBeat Interval）の標準偏差や、隣接するIBIの絶対値が50ミリ秒を超えた割合であるpNN50を、心拍に係る特徴量（生理的情報b^(t)）としてもよい。また、血圧、表情、声色や、発汗量等に係る時点tにおける特徴量（生理的情報b^(t)）としては、これらの測定データ（これらの事象を所定の手法で数値化したデータ）の時間区間[t, t+Δt]における代表値（例えば平均値）を採用することができる。

【0040】

いずれにしても、心理状態情報生成モデル１Ａは、訓練時には「生理的情報」bを用いる必要があるが、推定時（心理状態情報生成生成時）には、多くのケースにおいて現場で取得し易いデータから生成可能な「刺激情報」sだけを用いて「心理状態表現情報」（第１隠れ状態情報h_cn）を生成可能となっている。すなわち、様々なシチュエーションにおいて取り扱いやすいモデルとなっているのである。

【0041】

［モデル構成，心理状態情報生成方法］
以下、本実施形態の心理状態情報生成モデル１Ａの構成について、より詳細に説明を行う。図１（Ｂ）によれば、心理状態情報生成モデル１Ａは、学習済みモデルとして、
（ア）意識ＲＮＮセルとしての意識セル１０
を（コンピュータに搭載されたプログラムの実行によって具現される）機能構成部として備えている。

【0042】

また、心理状態情報生成モデル１Ａは、その訓練時においては、
（イ）第１の器官ＲＮＮセルとしての器官１セル１１、及び
（ウ）第２の器官ＲＮＮセルとしての器官２セル１２
も（コンピュータに搭載されたプログラムの実行によって具現される）機能構成部として備えたモデルとなっている。すなわち、器官１セル１１及び器官２セル１２は、訓練時において意識セル１０と接続され、モデル１Ａにおける訓練用変換部として機能するのである。

【0043】

ここで図１（Ｂ）には、上述した（ア）～（ウ）の機能構成部（図１（Ｂ）の左端側の機能ブロック群）が実行する処理を、時間経過の向きが右向きとなっている時間軸上で展開した様子が示されている。なお、上記（ア）～（ウ）の各々について設定された計３つの時間軸は、それぞれ独自の値をとる時点についての時間軸となっている。

【0044】

また、各時間軸における時点の表記であるが、例えば器官１セル１１に係る時点(t1+1)は、器官１セル１１が時点t1で生理的情報を受け取った後、次に生理的情報を受け取った時点を意味するものとする。ここでその次に受け取った時点は当然、(t1+2)となる。さらに、時点(t1+1)から見て、時点t1は「１つ前の時点」となるのである。また、この時点(t1+1)で処理を行う器官１セル１１を、以後行う説明の便宜上、器官１セル１１(t1+1)と称する場合もある。さらに、意識セル１０や器官２セル１２についても以後、同様の処理時点の表記を行うことし、また、処理時点を含む表記を行う場合もあるとする。

【0045】

以下、上述した各機能構成部について具体的に説明を行う。同じく図１（Ｂ）において、例えば時点tにおける意識セル１０(t)は、時点tにおける刺激情報s^(t)を受け取って、１つ前の時点(t-1)で自ら生成した第１隠れ状態情報h_cn^(t-1)に対し、受け取った刺激情報s^(t)を反映させて、時点tにおける新たな第１隠れ状態情報h_cn^(t)を生成する（この生成処理については、後に図６（Ａ）を用いて具体的に説明する）。

【0046】

ここで、意識セル１０(t)が刺激情報sを受け取る時間間隔、すなわち・・,(t-1),t,(t+1),・・の間隔は、例えば刺激情報sが動画コンテンツ等に係る特徴量である場合、相当に小さい（細かい）ものに設定可能となる。また一般に、この時間間隔は一定値とすることができ、または実際の刺激の状況に合わせて変動値であってもよく、さらに、刺激を受けていない期間に対応したインターバルがあってもよい。

【0047】

次に、訓練時に機能構成部となる器官ＲＮＮセルを説明する。なお本実施形態において器官１セル１１と器官２セル１２とは、互いに異なる器官（生理的状態）に対応しており互いに異なる時間軸上で情報処理を行うのであるが、その処理内容は同様であるので、以下、器官１セル１１についてのみ詳細に説明を行う。

【0048】

同じく図１（Ｂ）において、例えば時点t1における器官１セル１１(t1)は、
（ａ）（現時点t1での推定生理的情報b1^^(t1)を生成するべく）１つ前の時点(t1-1)における生理的情報b^(t1-1)と、
（ｂ）（現時点t1からみて所定以上に前の時点のうちの最近の時点である）時点tにおける新たな第１隠れ状態情報h_cn^(t)と
を受け取り、１つ前の時点(t1-1)で自ら生成した第２隠れ状態情報h_or1^(t1-1)に対し、受け取った生理的情報b^(t1-1)及び第１隠れ状態情報h_cn^(t)を反映させて、時点t1における新たな第２隠れ状態情報h_or^(t1)及び推定生理的情報b1^^(t1)を生成する（この生成処理についても、後に図６（Ｂ）を用いて具体的に説明する）。

【0049】

ここで本実施形態において、上記（ｂ）の第１隠れ状態情報h_cn^(t)は、（器官１セル１１における）時点t1からみて「所定の時間区間」以上前となる（意識セル１０での）時点のうち、最近の時点tに係る情報となっている。これは実際に、外部刺激を受けて何らかの感情等の心理的状態が喚起された場合に、この影響を受けて対応する生理的状態が観測される（発現する）までにはタイムラグが存在することを考慮したものとなっている。なお、このタイムラグは、観測される（発現する）生理的状態（に係る器官）によって異なっていると考えられる。したがって、上記の「所定の時間区間」は、器官ＲＮＮセル毎に、実際に見込まれるタイムラグを考慮して設定されることも好ましい。

【0050】

また、上記（ａ）の生理的情報bを受け取る時間間隔、すなわち・・,(t1-1),t1,(t1+1),・・の間隔は、生理的情報b（に係る器官）によって、可能な値若しくは適切な値が異なっている。例えば実際、数ミリ秒間隔で測定することが望ましい生理的状態（器官）もあれば、数秒間隔でしか測定できない生理的状態（器官）も存在する。

【0051】

したがって本実施形態において、器官１セル１１及び器官２セル１２は、共通する一定のタイミングで、又は同一の若しくは互いに異なる一定の時間間隔をもって、生理的情報bを受け取り第２隠れ状態情報h_or及び推定生理的情報b^を生成してもよいが、それぞれ独自の変動する時間間隔をもって（独自のタイミングで）生理的情報bを受け取り、これらの情報を生成することも好ましい。例えば図１（Ｂ）では、器官１セル１１と器官２セル１２とは、同一の時間間隔をもって、直前に生成された第１隠れ状態情報h_cnを受け取り第２隠れ状態情報h_or及び推定生理的情報b^を生成しているように描かれているが、受け取り・生成のタイミングは、このようなものに限定されないのである。

【0052】

以上、器官ＲＮＮセルの説明を行ったが、本実施形態では、器官ＲＮＮセルは２つとなっている。しかしながら当然、器官ＲＮＮセルは１つであってもよく、又は３つ以上とすることも可能である。例えば、訓練に用いる生理的情報bの種別数だけ器官ＲＮＮセルを設けることも好ましい。

【0053】

さらに、１つの種別の生理的情報bであっても、互いに異なる生理的活動に係るものに分類されるならば、分類されたもの毎に、器官ＲＮＮセルを設定してもよい。例えば、国際10-20法等で取り決められた複数の部位で測定された脳波は、その測定部位によって脳の異なる領域の生理的活動を反映しているとも考えられる。したがって、これらの脳領域を別々の器官として捉え、当該脳領域毎に器官ＲＮＮセルを設定して、これらの器官ＲＮＮセルの各々に対し、対応する測定部位の脳波に係る特徴量（生理的情報b）を入力するようにすることも好ましいのである。

【0054】

＜心理状態情報生成モデルの訓練＞
以下、同じく図１（Ｂ）を用いて、心理状態情報生成モデル１Ａにおける訓練（学習）の一実施形態について説明を行う。

【0055】

本実施形態において心理状態情報生成モデル１Ａは、機能構成部として意識セル１０を備えたモデルであるが、その訓練時には、意識セル１０と、器官１セル１１及び器官２セル１２とを接続し、両者において以上に説明したような情報のやり取り・生成を行えるような構成をとる。

【0056】

この訓練にあたっては最初に、多数の対象（例えば被験者としてのユーザ）の各々に対し所定の刺激を与え、その際に当該対象に対し所定の測定を行い、これにより得られた測定データから生成された所定の生理的情報（時系列データ）Bi（＝[bi^(ti=0), bi^(ti=1), ・・・, bi^(ti=Ti)]）（図１（Ｂ）ではi＝1,2）を、正解データとして準備しておく。すなわち、与えた刺激に係る刺激情報（時系列データ）s（＝[s^(t=1), s^(t=2), ・・・, s^(t=T)]）と、正解データとしての生理的情報（時系列データ）Biとを含む学習データを準備しておくのである。

【0057】

次いで、刺激情報（時系列データ）sを意識セル１０へ入力し、合わせて生理的情報（時系列データ）Biを器官（ｉ）セル（i＝1,2）へ入力する。ここで、その結果として器官（ｉ）セルから出力された推定生理的情報（時系列データ）Bi^（＝[bi^^(ti=1), bi^^(ti=2), ・・・, bi^^(ti=Ti)]）を用いて推定誤差を計算し、この推定誤差を（ＲＮＮの訓練で通常、用いられるものと同様の）通時的誤差逆伝播（Back Propagation Through Time）の仕組みで伝搬させることによって、器官（ｉ）セル（図１（Ｂ）ではi＝1,2）及び意識セル１０内のパラメータ（後述する[Ｔ]の重み行列やバイアスベクトルを決めるパラメータ等）の学習を行うのである。

【0058】

なお訓練に当たり、対象（被験者）の全てについて、器官（ｉ）セル（図１（Ｂ）ではi＝1,2）に対応する全ての生理的情報Biが揃っている必要はない。例えば、器官１セル１１が心臓に対応していて生理的情報として心拍に係るデータを受け取り、一方器官２セル１２が脳に対応していて生理的情報として脳波に係るデータを受け取るような場合に、一部の対象群Ａについては心拍に係るデータのみ、また他の対象群Ｂについては脳波に係るデータしか準備されていない状況であっても、上記のような訓練を実施することが可能である。実際、このような状況の下でも、器官１セル１１及び器官２セル１２はそれぞれ、対象群Ａ及び対象群Ｂのデータで訓練され、一方、意識セル１０は、両器官セルで算出された推定誤差が逆伝播するので、結局、対象群Ａ及び対象群Ｂの両データで訓練されるのである。

【0059】

以上説明したように、心理状態情報生成モデル１Ａは、その訓練時には正解の生理的情報bを用いるが、推定時（心理状態情報生成時）には、この正解に係る情報である生理的情報bを必要としない。すなわち、訓練時に使用する正解に係る情報を用いることなく、上述したような情報粒度のより高い心理状態表現情報を生成可能となっている。またその結果、生理的情報bを収集できない環境・状況においても心理状態を推定することができ、言い換えると、心理状態推定が可能となるシチュエーションの幅がより広くなっているのである。なお、この後説明する心理状態情報生成モデル１Ｂ（図２）及び１Ｃ（図３）も、同様のメリットを有するモデルとなっている。

【0060】

ちなみに、心理状態情報生成モデル１Ａ（さらには、この後説明する心理状態情報生成モデル１Ｂ（図２）及び１Ｃ（図３））は、推定時（心理状態情報生成時）においても意識セル１０及び器官ＲＮＮセル（器官１セル１１，器官２セル１２）を備えたモデルとすることもできる。この場合、上述したメリットは限定されるが、刻々の生理的情報bを推定する（推定生理的情報b^を生成する）ことが可能となるのである。

【0061】

［モデルの他の実施形態］
図２は、本発明による心理状態情報生成モデルの他の実施形態を示す模式図である。

【0062】

図２に示した本実施形態の心理状態情報生成モデル１Ｂは、上述した心理状態情報生成モデル１Ａ（図１（Ｂ））と同様、機能構成部として意識セル１０を備えており、さらに訓練時には、器官１セル１１及び器官２セル１２を、意識セル１０と接続される訓練用変換部として備えた構成となっている。

【0063】

しかしながら心理状態情報生成モデル１Ｂにおける意識セル１０は、心理状態情報生成モデル１Ａの意識セル１０（図１（Ｂ））とは異なり、訓練時及び推定時（心理状態情報生成時）において、正解データに係る対象や推定対象の属性又は特徴を表す対象情報udも（刺激情報sと合わせて）受け取り、この対象情報udも用いて第１隠れ状態情報h_cnを生成する。またこれに合わせ、訓練の際に用いられる器官１セル１１及び器官２セル１２も、同じ対象の対象情報udを受け取り、この対象情報udも用いて第２隠れ状態情報（h_or1, h_or2）と推定生理的情報（b1^, b2^）とを生成するのである。

【0064】

ここで、対象情報udとしては、対象（例えばユーザ）の種々様々な属性又は特徴（例えば性格、嗜好や、所定事項に対する意見内容等）に係るデータとすることができる。例えば、性別のみを表す単純な対象情報udとして、0(女性)又は1(男性)の値をとる1次元ベクトルデータを採用してもよい。また、性別に加えて年齢も表す対象情報udとして、27歳の男性を表す[1, 27]や、60歳の女性を表す[0, 60]といったような２次元ベクトルデータを採用することもできる。さらに、これらに加えて身長及び体重をも表現する４次元ベクトルデータを対象情報udとしてもよい。いずれにしても、対象（ユーザ）の生理的状態に影響を与える可能性のある属性や特徴であれば、対象情報udに含めておく（格納しておく）ことも好ましい。

【0065】

なお、意識セル１０と各器官ＲＮＮセル（器官１セル１１，器官２セル１２）とには、互いに異なる対象情報udを入力することも好ましい。例えば、意識セル１０に対し、年齢及び性別のみを含む２次元ベクトルデータを対象情報udとして入力する一方、器官１セル１１が心臓に係る器官ＲＮＮセルである場合に、これに対し、年齢及び性別に加えて、心拍変動への影響が大きいとされる身長、体重、及び心臓疾患の有無を含む５次元ベクトルデータを、対象情報udとして入力してもよい。また同時に、器官２セル１２が脳に係る器官ＲＮＮセルである場合、この器官２セル１２に対しては、年齢、性別、及び脳疾患の有無を含む３次元ベクトルデータを入力することができる。これにより、対象の属性又は特徴がより適切に反映された、より信頼性の高い心理状態表現情報を生成することも可能となるのである。

【0066】

また、訓練の際、意識セル１０と各器官ＲＮＮセル（器官１セル１１，器官２セル１２）とに入力される対象情報ud、及び他の学習データは、少なくとも学習データの１バッチにおいて、同一対象（例えば同一ユーザ）のものを用いることも好ましい。勿論、多数の対象における各対象の学習データを１つのバッチにまとめ、個々のバッチをもってバッチ学習を行うことも好ましい。この場合、１つの対象（１人のユーザ）に限定されない十分な数の学習データを準備することが可能となる。

【0067】

以上、対象情報udのモデルへの入力について説明したが、例えば、同一の刺激を受けた（例えば同じ動画コンテンツを視聴した）人間であっても、その性別、年齢や性格等によって喚起される感情（心理状態）は異なっており、また、その結果として発現する生理的状態も異なってくると考えられる。この点、心理状態情報生成モデル１Ｂは、上述したように対象の対象情報udも取り込むことによって、当該対象におけるその属性・特徴故の刺激→心理状態→生理的状態の流れをより正確に具現させ、より信頼性の高い心理状態表現情報を生成することも可能となるのである。

【0068】

またこれにより、心理状態情報生成モデル１Ｂを例えば、幅広い対象に対応した、より汎用性の高いモデルに仕立て上げることも可能となる。例えば、同じ動画コンテンツを視聴する複数のユーザについても、ユーザの個々の対象情報ud（例えば年代や性別に係る情報）をモデル１Ｂへ入力することにより、そのユーザの属性（例えば年代や性別）に応じて異なってくるような心理状態を推定する（心理状態表現情報を取得する）ことができるのである。

【0069】

［モデルの他の更なる実施形態］
図３は、本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【0070】

図３に示した本実施形態の心理状態情報生成モデル１Ｃは、上述した心理状態情報生成モデル１Ｂ（図２）と同様、対象情報を受け取り可能な意識セル１０を機能構成部として備えており、さらに訓練時には、器官１セル１１及び器官２セル１２を、意識セル１０と接続される訓練用変換部として備えた構成となっている。

【0071】

しかしながら心理状態情報生成モデル１Ｃの意識セル１０が受け取る対象情報は、心理状態情報生成モデル１Ｂの対象情報ud（図２）とは異なり、心的表現生成部１０ｕから出力された埋め込み情報となっており、この後説明するように、対象の心的特徴又は機能に係る情報が埋め込まれた「心的表現情報」ur_cnと捉えることが可能な有用情報となっている。すなわち、心理状態情報生成モデル１Ｃの意識セル１０は、（正解データに係る対象や推定対象の属性又は特徴を表す）対象情報としての「心的表現情報」ur_cnも受け取り、この情報も用いて第１隠れ状態情報h_cnを生成するのである。

【0072】

ここで心的表現生成部１０ｕは、意識セル１０、器官１セル１１及び器官２セル１２と合わせて訓練された機能構成部であり、時点tにおける心的表現生成部１０ｕ(t)は、
（ａ）対象の識別情報id（本実施形態では、対象を表すone-hotベクトルデータ）を受け取り、
（ｂ）受け取った識別情報idを変換して、具体的には識別情報idに対し心的表現抽出演算子としての学習済みの行列W_u ^CNを作用させて（積算して）、この対象の心的表現情報ur_cnを生成し、
（ｃ）生成した心的表現情報ur_cnを、対象情報として意識セル１０(t)へ出力する。

【0073】

このうち上記（ｂ）の行列W_u ^CN（心的表現抽出演算子）は、訓練時において意識セル１０を介し逆伝播してきた推定誤差によって学習される。これにより、学習済みの行列W_u ^CNの各列、すなわちur_cnには、刺激情報bにより喚起される心理状態に影響を及ぼし得る、対象のパーソナリティや知能といったような心的特徴又は機能に係る情報が反映されることになるのである。

【0074】

また、このようにパーソナリティ情報やそれに関連する情報が多数埋め込まれていることが見込まれる心的表現情報ur_cnは、従来のBig Five等のパーソナリティ指標と比較して、より情報粒度の高いパーソナリティ情報と捉えることができる。したがって例えば、心的表現情報ur_cnを入力としてパーソナリティ種別を出力するパーソナリティ推定モデルを、正解のパーソナリティラベルを用いて構築し、このモデルによって、より精度の高いパーソナリティの判定を行うことも可能となるのである。

【0075】

さらに本実施形態において、心理状態情報生成モデル１Ｃの器官１セル１１は、学習済みの器官表現抽出演算子としての行列W_u ^OR1を備えた器官表現生成部１１ｕから、対象の対応する器官（器官１セル１１に係る器官）の状態に係る情報が埋め込まれた器官表現情報ur_or1を受け取り、この器官表現情報ur_or1も用いて第２隠れ状態情報h_or1と推定生理的情報b1^とを生成する。

【0076】

ここで、器官表現生成部１１ｕは、意識セル１０、器官１セル１１及び器官２セル１２と合わせて訓練された機能構成部であり、時点t1における器官表現生成部１１ｕ(t1)は、
（ａ）対象の識別情報id（本実施形態では、対象を表すone-hotベクトルデータ）を受け取り、
（ｂ）受け取った識別情報idを変換して、具体的には識別情報idに対し、器官表現抽出演算子としての学習済みの行列W_u ^OR1を作用させて（積算して）、この対象の器官表現情報ur_or1を生成し、
（ｃ）生成した器官表現情報ur_or1を、器官１セル１１(t1)へ出力する。

【0077】

このうち上記（ｂ）の行列W_u ^OR1（器官表現抽出演算子）は、訓練時において器官１セル１１を介し逆伝播してきた推定誤差によって学習される。これにより、学習済みの行列W_u ^OR1の各列、すなわちur_or1には、対象の心理状態によって発現する生理的状態であって、当該対象の器官に係る生理的情報に影響を及ぼし得る、当該器官の状態に係る情報（例えば器官が健康である度合い、疾患の有無、程度や、発症リスクの大きさ等）が反映されることになるのである。

【0078】

なお、以上の説明は、器官表現情報ur_or2を器官２セル１２へ出力する器官表現生成部１２ｕにも当てはまるのであり、さらに、複数設定された器官ＲＮＮセルのうちの一部又は全てに対し、器官表現生成部を設け、器官表現情報を入力させることも可能となっている。

【0079】

いずれにしても、このようにして生成された器官表現情報ur_orは、出力先の器官ＲＮＮセルに係る器官の状態を表現している。例えば心臓に係る器官ＲＮＮセルへ出力される器官表現情報ur_orには、対象の心臓疾患リスク等の情報も埋め込まれていることが見込まれる。このように、器官表現情報ur_orは、例えば被験者に対する医療・介護サービスの提供（例えばアドバイスの提供や治療・リハビリの実施等）に役立つ有用情報となっているのである。例えば、器官表現情報ur_orを入力として（又は器官表現情報ur_orのみならず上述した心的表現情報ur_cnも入力として）所定の疾患のリスク値を出力する疾患リスク推定モデルを、正解の疾患リスクラベルを用いて構築し、このモデルによって、より精度の高い疾患リスクの判定を行うことも可能となるのである。

【0080】

なお、このように訓練された学習済みの器官表現生成部（行列W_u ^OR）は、訓練系から取り出して、独立して使用することができる。例えば、器官表現情報ur_orを利用して有用情報を生成するアプリケーション・プログラムに移植されて利用されてもよい。またこのことは、学習済みの心的表現生成部１０ｕ（行列W_u ^CN）についても同様に当てはまる。

【0081】

以上器官表現情報ur_or及び器官表現生成部の説明を行ったが、変更態様として訓練時に、器官ＲＮＮセル（器官１セル１１，器官２セル１２）に対し、器官表現情報ur_orの代わりに、心的表現生成部１０ｕから出力された心的表現情報ur_cnを入力してもよい。ただしこの場合、心的表現生成部１０ｕは器官ＲＮＮセルを介しても推定誤差を受け取るので、その結果、推定時（心理状態情報生成時）に生成される心的表現情報ur_cnの内容の解釈は、以上に述べたものとは異なるものになると考えられる。

【0082】

以上、心理状態情報生成モデル１Ｃにおいても、心的表現情報ur_cnを生成し取り込むことによって、当該対象におけるその心的特徴又は機能故の刺激→心理状態→生理的状態の流れをより正確に具現させ、より信頼性の高い心理状態表現情報を生成することも可能となる。またこれにより、心理状態情報生成モデル１Ｃを例えば、幅広い対象に対応した、より汎用性の高いモデルに仕立て上げることも可能となる。例えば、同じ動画コンテンツを視聴する複数のユーザについても、ユーザの個々の識別情報idをモデル１Ｃへ入力することにより、そのユーザの心的特徴又は機能属性に応じて異なってくるような心理状態を推定する（心理状態表現情報を取得する）ことができるのである。

【0083】

［モデルの更なる他の実施形態］
図４は、本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【0084】

図４に示した本実施形態の心理状態情報生成モデル１Ｄは、以上に述べた心理状態情報生成モデル１Ａ（図１（Ｂ））、１Ｂ（図２）及び１Ｃ（図３）とは異なり、訓練時だけではなく推定時（心理状態情報生成時）においても、意識セル１０、器官１セル１１及び器官２セル１２を機能構成部として備えている。したがって推定時においても、生理的情報bが取り入れられて第２隠れ状態情報が生成され、さらに、刻々の生理的情報bを推定する（推定生理的情報b^を生成する）ことも可能となるのである。

【0085】

ここで心理状態情報生成モデル１Ｄの意識セル１０は、自ら生成した第１隠れ状態情報h_cnを器官ＲＮＮセル（器官１セル１１，器官２セル１２）へ出力するのみならず、各器官ＲＮＮセル（器官１セル１１，器官２セル１２）から第２隠れ状態情報h_orを受け取り、この第２隠れ状態情報h_orも用いて第１隠れ状態情報h_cnを生成するのである。

【0086】

具体的に時点(t+1)における意識セル１０(t+1)は、図４に示したように、
（ａ）刺激情報s^(t+1)及び心的表現情報ur_cnと、
（ｂ）1つ前の時点tで自ら生成した第１隠れ状態情報h_cn(t)と、
（ｃ）（（器官１セル１１の時間軸上において）現時点(t+1)からみて所定以上に前の時点のうちの最近の時点である）時点t1における第２隠れ状態情報h_or1^(t1)と、
（ｄ）（（器官２セル１２の時間軸上において）現時点(t+1)からみて所定以上に前の時点のうちの最近の時点である）時点t2における第２隠れ状態情報h_or2^(t2)と
を受け取り、１つ前の時点tで自ら生成した第１隠れ状態情報h_cn^(t)に対し、受け取った上記情報（ａ）～（ｄ）を反映させて、時点(t+1)における新たな第１隠れ状態情報h_cn^(t+1)を生成する（この生成処理についても、後に図６（Ａ）を用いて具体的に説明する）。

【0087】

ここで本実施形態において、上記（ｃ）及び（ｄ）の第２隠れ状態情報h_or1^(t1)及び第２隠れ状態情報h_or2^(t2)はいずれも、対象の現時点（t1, t2）までの生理状態（の履歴）が埋め込まれた情報となっている。意識セル１０(t+1)は、このような情報をも取り入れて第１隠れ状態情報h_cn^(t+1)、すなわち心理状態表現情報を生成するのである。これは実際に、心理的状態（例えば悲しみ）は、対象の生理的状態（例えば落涙の発生）に影響を与えるとともに、発現した生理的状態（例えば落涙の発生）によって喚起若しくは強化される場合も少なくないことを考慮したものとなっている。これにより、（第２隠れ状態情報h_orの意識セル１０へのルートを適切に選択することが前提とはなるが）実際に即したより信頼性の高い心理状態表現情報を生成することも可能となるのである。

【0088】

また、上記（ｃ）及び（ｄ）の第２隠れ状態情報h_or1^(t1)及び第２隠れ状態情報h_or2^(t2)はいずれも、（意識セル１０における）時点(t+1)からみて「所定の時間区間」以上前となる（各器官ＲＮＮセルでの）時点のうち、最近の時点（t1, t2）に係る情報となっている。これは実際、ある生理的状態が観測されてから（発現してから）その影響を受けて何らかの心理的状態が喚起されるまでにはタイムラグが存在することを考慮したものとなっている。なお、このタイムラグは、観測される（発現する）生理的状態（に係る器官）によって異なっていると考えられる。したがって、上記の「所定の時間区間」は、器官ＲＮＮセル毎に、実際に見込まれるタイムラグを考慮して設定されることも好ましい。

【0089】

以上、意識セル１０が第２隠れ状態情報h_orを受け取り、これも用いて心理状態表現情報を生成する実施形態について説明したが、このような第２隠れ状態情報h_orの流れは当然、心理状態情報生成モデル１Ｄの訓練時においても実行され、この流れのルートにおいても推定誤差を逆伝播させることになる。

【0090】

なお、本実施形態の心理状態情報生成モデル１Ｄは、心的表現情報ur_cnを生成・出力する心的表現生成部１０ｕ、及び器官表現情報ur_orを生成・出力する器官表現生成部（１１ｕ，１２ｕ）を備えているが当然、そのうちの一方又は両方を省略した形態をとることも可能である。また、意識セル１０が対象情報ud（図２）を取り入れて心理状態表現情報（第１隠れ状態情報h_cn）を生成するようにしてもよい。

【0091】

［モデルの更なる他の実施形態］
図５は、本発明による心理状態情報生成モデルにおける更なる他の実施形態を示す模式図である。

【0092】

図５に示した本実施形態の心理状態情報生成モデル１Ｅは、心理状態情報生成モデル１Ｃ（図３）において、刺激ＲＮＮセルである刺激セル１８が、機能構成部として更に設けられた構成を有している。

【0093】

この刺激セル１８（例えば１８(t)）は、ある時点（時点(t)）における刺激に係る情報s（s^(t)）を受け取り、前の時点（時点(t-1)）で自ら生成した第３隠れ状態情報h_s（h_s^(t-1)）に対しこの刺激に係る情報s（s^(t)）を反映させて、当該ある時点（時点(t)）までの刺激に係る情報が埋め込まれた新たな第３隠れ状態情報h_s（h_s^(t)）を生成し、生成した第３隠れ状態情報h_s（h_s^(t)）を「刺激情報」として意識セル１０へ出力する。また、意識セル１０（１０(t)）は、前の時点（時点(t-1)）で自ら生成した第１隠れ状態情報h_cn（h_cn^(t-1)）に対し、受け取った刺激情報としての第３隠れ状態情報h_s（h_s^(t)）及び心的表現情報ur_cnを反映させて、新たな第１隠れ状態情報h_cn（h_cn^(t)）を生成するのである。

【0094】

ここで本実施形態において、刺激セル１８（例えば１８(t)）へ入力される刺激に係る情報s（s^(t)）は、図３に示した刺激情報s（s^(t)）そのものである。これに対し、意識セル１０（１０(t)）へ「刺激情報」として入力されるのは、これ以前の刺激に係る時系列データである情報sを反映させた第３隠れ状態情報h_s（h_s^(t)）となっている。これは実際に、「意識」が発現させる心理状態は、「意識」がその時点までに受けてきた刺激の内容にも依存する場合が少なくないと考えられるところ、そのような場合での心理状態発現の機序を再現しようとしたものとなっているのである。

【0095】

例えば、ユーザが動画コンテンツを視聴して抱く感情は、その瞬間に見たり聞いたりしている映像（画像）や音声だけではなく、それまでに再生された映像や音声の内容全体によって喚起されるものと考えられる。このように、それまでの刺激の履歴が埋め込まれた第３隠れ状態情報h_sを「刺激情報」として意識セル１０へ入力することによって、実際に即したより信頼性の高い心理状態表現情報を生成することも可能となるのである。

【0096】

ここで、心理状態情報生成モデル１Ｅにおける刺激セル１８以外の機能構成部は、心理状態情報生成モデル１Ｃ（図３）と同様にして訓練することができる。一方、刺激セル１８については、第３隠れ状態情報h_sを使って次の時点の刺激に係る情報sを正確に推定することができるように訓練を行ってもよい。すなわち、刺激セル１８は、意識セル１０等とは別に独立して訓練することができるのである。

【0097】

なお、本実施形態の心理状態情報生成モデル１Ｅは、心理状態情報生成モデル１Ｃ（図３）をベースにして、刺激セル１８を付加する形で構築されている。しかしながら勿論、心理状態情報生成モデル１Ａ（図１（Ｂ））、１Ｂ（図２）や、１Ｄ（図４）をベースにして、刺激セル１８を付加することにより、第３隠れ状態情報h_s（刺激情報）を生成可能な心理状態情報生成モデルを構築することも可能となっている。

【0098】

図６は、本発明に係る意識ＲＮＮセル及び器官ＲＮＮセルにおける内部構成の一実施形態を示す機能ブロック図である。なお、以下に説明する構成は、心理状態情報生成モデル１Ａ～１Ｅにおける（刺激セル１８（図５）を含む）いずれのＲＮＮセルにも適用可能なものとなっている。

【0099】

最初に図６（Ａ）には、時点tにおける意識セルＲＮＮセルである意識セル１０(t)の内部構成が示されている。具体的に意識セル１０(t)は、ＲＮＮを構成可能な公知のＧＲＵ（Gated Recurrent Unit）を採用した構成となっており、以下に示す機能構成部（ａ）～（ｆ）を備えている。
（ａ）[Ｔ]：複数の入力ベクトルに重み行列を積算し、さらに積算結果にバイアスベクトルを加算して、得られたベクトルを出力する。なお、図６（Ａ）における２つの[Ｔ]はそれぞれ独立した（互いに異なる）重み行列及びバイアスベクトルを有する。
（ｂ）[σ]：入力ベクトルの各要素をsigmoid関数へ入力し、得られたベクトルを出力する。図２（Ａ）における２つの[σ]は、それぞれリセットゲートr及び更新ゲートuとして機能する。
（ｃ）[○の中に・]：２つの入力ベクトルの要素同士を乗じ、得られたベクトルを出力する。
（ｄ）[－１]：入力ベクトルの各要素に－1を乗じ、得られたベクトルを出力する。
（ｅ）[tanh]：入力ベクトルの各要素をtanh関数へ入力し、得られたベクトル（隠れ状態候補k）を出力する。
（ｆ）［＋］：２つの入力ベクトルの要素同士を足し合わせ、 得られたベクトルを出力する。

【0100】

ここで、更新ゲートu（一方の[σ]）は、入力されたs^(t)や、ur_cn（さらにはh_or(p)^(tp)を変換した情報に基づき、１つ前の（最後の）第１隠れ状態情報h_cn^(t-1)からどれだけの情報を保持し取り込むかを決定する。また、リセットゲートr（他方の[σ]）は、１つ前の（最後の）第１隠れ状態情報h_cn^(t-1)から捨てるべき情報を決定する。意識セル１０(t)は、このような処理によって、対応する刺激の時系列データとなっている刺激情報sを反映した心理状態表現情報（第１隠れ状態情報h_cn^(t)）を生成することが可能となるのである。

【0101】

次いで図６（Ｂ）には、時点tpにおける器官ＲＮＮセルである器官（p）セル（１０+ｐ）(tp)の内部構成が示されている。この器官（p）セル（１０+ｐ）(tp)は、上述した意識セル１０(t)と同様の構成となっており、具体的には上記機能構成部（ａ）～（ｆ）を含むＧＲＵを採用した構成となっている。これにより、器官（p）セル（１０+ｐ）(tp)は、意識セル１０(t)から受け取った心理状態表現情報（第１隠れ状態情報h_cn^(t)）を反映した第２隠れ状態情報（h_or(p)^(tp)）を生成することが可能となるのである。

【0102】

また、器官（p）セル（１０+ｐ）(tp)は、この第２隠れ状態情報（h_or(p)^(tp)）に対し所定の変換処理を施すことによって推定生理的情報b(p)^^(tp)をも生成することができる。ここでこの変換処理には種々の方法が適用可能であるが、例えば、第２隠れ状態情報h_or(p)を入力として、推定生理的情報b(p)^を出力する多層パーセプトロン（Multilayer perceptron, ＭＬＰ）を採用してもよい。

【0103】

なお、図６（Ａ）に示した意識ＲＮＮセル（意識セル１０(t)）においても、図６（Ｂ）に示した器官ＲＮＮセル（器官（p）セル（１０+ｐ）(tp)）においても、内部構成としてＧＲＵ以外の様々なＲＮＮユニットを採用することが可能であり、例えば、入力ゲート、出力ゲート及び忘却ゲートを備えたＬＳＴＭ（Long-Short Term Memory）を採用してもよい。いずれにしても、意識ＲＮＮセル及び少なくとも１つの器官ＲＮＮセルの各々については、新たな隠れ状態情報を生成するべくセルに入力される情報に対し所定の処理を施す忘却ゲート、更新ゲート、リセットゲート、入力ゲート及び出力ゲートのうちの少なくとも１つを備えた構成とすることも好ましいのである。

【0104】

［評価装置，評価プログラム，評価方法］
図７は、本発明による評価装置の一実施形態における機能構成を示す機能ブロック図である。以下、同図を用いて、
（ａ）以上に説明したような心理状態情報生成モデル１Ａ～１Ｅのいずれか（以下、心理状態情報生成モデルと略称）、及び
（ｂ）（例えばＭＬＰで構成された）コンテンツ評価モデル８０
を搭載しており、評価対象であるコンテンツ（例えばＣＭ、映画、テレビ番組、楽曲や、小説等の書籍、さらには選挙演説等）の評価を実施する（例えば５段階の評価値を出力する）コンテンツ評価装置８について説明を行う。

【0105】

図７に示した本実施形態のコンテンツ評価装置８の入力部８０１は、通信機能を備えていて、例えば（ａ）外部のコンテンツ管理サーバ、（ｂ）生理的状態測定機能付き情報端末（コンテンツの視聴が可能な端末）や、（ｃ）コンテンツの被験者による評価結果及び被験者におけるモニタ（体験）中の生理的状態に係る情報を含むコンテンツモニタ結果を管理するモニタ結果管理サーバ等から、心理状態情報生成モデル及びコンテンツ評価モデル８０の訓練に用いるデータを取得し、訓練部８１１へ出力する。また、評価対象コンテンツの情報を心理状態推定部８１２へ出力する。

【0106】

なお、上記のモニタ結果管理サーバから得られるコンテンツモニタ結果は、例えばモニタ（視聴）中に動画コンテンツの再生を複数回中断して、視聴者に対し各中断時点での感情（心理状態）をアンケートで回答させて（例えば、動画コンテンツにどの程度の興味を覚えたか、どの程度楽しめたか等について５段階で評価させて）収集したものとすることができる。

【0107】

また、訓練部８１１は、受け取った訓練に用いるデータから、刺激情報（コンテンツ特徴量）、正解の生理的情報、及び正解の評価情報（例えば評価値）を含む学習データを生成して一先ず学習データ保存部８０２に保存し、ここから適宜読み出した学習データを用いて、心理状態情報生成モデル及びコンテンツ評価モデル８０の訓練を行う。

【0108】

ここでコンテンツ評価モデル８０の訓練は、訓練を施された学習済みの心理状態情報生成モデルから出力される心理状態表現情報を、入力（説明変数）として用いることにより実施される。ちなみに、外部から学習済みの心理状態情報生成モデル及びコンテンツ評価モデル８０を調達する場合、この訓練部８１１は省略可能である。

【0109】

さらに、心理状態推定部８１２は、受け取った評価対象コンテンツの情報から、評価対象の刺激情報（コンテンツ特徴量）を生成し、これを学習済みの心理状態情報生成モデルへ入力して、この心理状態情報生成モデルから、「評価対象に係る心理状態表現情報」（h_cn）、すなわち評価対象コンテンツを体験した被験者が発現させる（と推定される）心理的状態を表現した心理状態表現情報を取り出す。なお、この「評価対象に係る心理状態表現情報」は、本装置８の成果として、通信機能を有する出力部８０３を介し外部の情報処理装置に送信され、そこで利用されてもよい（この場合、本装置８は心理状態情報生成装置としても機能することになる）。

【0110】

また、評価情報決定部８１３は、心理状態推定部８１２で生成された「評価対象に係る心理状態表現情報」を、学習済みのコンテンツ評価モデル８０へ入力して、この評価モデル８０の出力から、評価対象コンテンツに対する評価情報（評価値）を決定する。この決定された評価情報は、本装置８の成果として、通信機能を有する出力部８０３を介し外部の情報処理装置に送信され、そこで利用されてもよく、また、出力部８０３の有するディスプレイに表示されてもよい。

【0111】

ここで、訓練部８１１、心理状態推定部８１２、及び評価情報決定部９３は、本発明による評価方法の一実施形態を実施する主要機能構成部であり、また、本発明による評価プログラムの一実施形態を保存したプロセッサ・メモリ（メモリ機能を備えた演算処理系）の機能と捉えることもできる。またこのことから、コンテンツ評価装置８は、コンテンツ評価の専用装置であってもよいが、本発明による評価プログラムを搭載した、例えばクラウドサーバ、非クラウドのサーバ装置、パーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等とすることも可能である。

【0112】

以上説明したコンテンツ評価装置８によれば、（モデル１Ｄ（図４）を採用した場合を除き）一度搭載したモデルの訓練を行っておけば、新たな評価対象のコンテンツが出る度に被験者の生理的状態を測定する（生理的情報を収集する）ことなく、このコンテンツの評価を実施することができる。また、（モデル１Ｄ（図４）を採用した場合を含め）多様な形式・形態の刺激情報が入力可能であるので、種々様々なコンテンツを評価対象とすることも可能となっている。さらに、評価対象コンテンツの評価情報は、情報粒度の高い心理状態表現情報に基づき生成された情報であり、例えば数個の感情ラベル値から推定されるような従来の評価情報と比較すると、より信頼性の高い情報となっているのである。

【0113】

また、コンテンツ評価の際に入力される、評価対象コンテンツに係る刺激情報は通常、時系列情報となっている。したがって、例えば動画コンテンツを視聴している途中の複数時点において、当該時点での評価情報（評価値）を決定し、これにより、この動画コンテンツにおける高評価部分や低評価部分を特定することも可能となる。さらに、このような特定情報によって、より詳細な評価結果を得ることもでき、その結果、その後のコンテンツの企画や編集がより適切に実施可能となることも期待されるのである。

【0114】

以上詳細に説明したように、本発明によれば、推定対象の心理状態を表現する心理状態表現情報を生成することができる。ここで、この心理状態表現情報は、心理状態の埋め込み情報であり、訓練時の正解情報の内容に限定されない且つ情報粒度のより高い情報となっている。また、このように生成したユーザの心理状態表現情報を用いて、例えばマーケティングの分野において、提供する商品・サービスの詳細な評価を行ったり、各ユーザにとって好適な又は有効なレコメンド等を実施したりすることも可能となる。

【0115】

さらに、例えば子供達に対し質の高い、且つ個々の性格に合った教育を提供するために、当該子供達が受けた教育コンテンツ等の刺激情報から生成された、本発明による心理状態表現情報を活用することもできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標４「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」に貢献することも可能となるのである。

【0116】

また、例えば大人達に対し、環境に害を及ぼさないディーセント・ワーク（働きがいのある人間らしい仕事）や、質の高い、且つ個々の性格に適した仕事を提供するために、当該大人達が体験した評価対象の仕事に係る刺激情報から生成された、本発明による心理状態表現情報を活用することもできる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標８「すべての人々のための包摂的かつ持続可能な経済成長、雇用およびディーセント・ワークを推進する」に貢献することも可能となるのである。

【0117】

またさらに、例えば消費者に対し、当該消費者の性格や生活行動の現状に沿った、持続可能な消費とライフスタイルについての教育を提供するために、当該消費者がその購買活動時に受けた各種情報に係る刺激情報から生成された、本発明による心理状態表現情報やその履歴情報を活用することもできる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標１２「持続可能な消費と生産のパターンを確保する」に貢献することも可能となるのである。

【0118】

上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。上述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0119】

１Ａ、１Ｂ、１Ｃ、１Ｄ、１Ｅ 心理状態情報生成モデル
１０ 意識セル（意識ＲＮＮセル）
１０ｕ 心的表現生成部
１１ 器官１セル（器官ＲＮＮセル）
１１ｕ、１２ｕ 器官表現生成部
１２ 器官２セル（器官ＲＮＮセル）
１８ 刺激セル（刺激ＲＮＮセル）
８ コンテンツ評価装置（評価装置）
８０１ 入力部
８０２ 学習データ保存部
８０３ 出力部
８１１ 訓練部
８１２ 心理状態推定部
８１３ 評価情報決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】