知財求人 - 知財ポータルサイト「IP Force」
特開2024-48666推定介入結果から介入ポリシを決定する介入制御プログラム、装置、システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024048666
(43)【公開日】2024-04-09
(54)【発明の名称】推定介入結果から介入ポリシを決定する介入制御プログラム、装置、システム及び方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240402BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022154710
(22)【出願日】2022-09-28
(71)【出願人】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(74)【代理人】
【識別番号】100141313
【弁理士】
【氏名又は名称】辰巳 富彦
(72)【発明者】
【氏名】徐 文臻
(72)【発明者】
【氏名】石川 雄一
(72)【発明者】
【氏名】レガスピ ロベルト セバスチャン
(72)【発明者】
【氏名】池田 和史
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC12
(57)【要約】 （修正有）
【課題】対象の心理も考慮した介入の制御を実施する介入制御プログラム、システム及び方法を提供する。
【解決手段】介入制御プログラムは、対象に係る対象情報を用いて当該対象への介入を制御するものであり、心理特性情報及び／又は心理状態情報を含む対象情報から、学習済みの介入結果推定モデルを用いて、対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、取得された対象情報及び推定された介入結果情報から、介入及び不介入のうちの何れかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、決定した介入ポリシに基づき介入を制御する介入制御手段として、、コンピュータを機能させる。ここで対象情報は、対象の生理的情報及び／又はコンテキスト情報も含むことも好ましい。また、介入ポリシは、予め設定されたタイミングにおいて介入を実施するか否かに係る介入タイミング情報も含むことも好ましい。
【選択図】図１
【解決手段】介入制御プログラムは、対象に係る対象情報を用いて当該対象への介入を制御するものであり、心理特性情報及び／又は心理状態情報を含む対象情報から、学習済みの介入結果推定モデルを用いて、対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、取得された対象情報及び推定された介入結果情報から、介入及び不介入のうちの何れかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、決定した介入ポリシに基づき介入を制御する介入制御手段として、、コンピュータを機能させる。ここで対象情報は、対象の生理的情報及び／又はコンテキスト情報も含むことも好ましい。また、介入ポリシは、予め設定されたタイミングにおいて介入を実施するか否かに係る介入タイミング情報も含むことも好ましい。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象に係る対象情報を用いて当該対象への介入を制御する介入制御プログラムであって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
してコンピュータを機能させることを特徴とする介入制御プログラム。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
してコンピュータを機能させることを特徴とする介入制御プログラム。
【請求項2】
前記介入ポリシ決定手段は、取得された当該対象情報、及び推定された当該介入結果情報を状態として、介入及び不介入のうちのいずれかを行動とし、少なくとも当該対象による目標行動の実施に係る取得された目標行動実施情報、及び推定された当該介入結果情報に基づき報酬を決定する強化学習アルゴリズムを用いて、当該介入ポリシを決定することを特徴とする請求項１に記載の介入制御プログラム。
【請求項3】
前記介入結果推定手段は、取得された当該対象情報から、当該対象に間接介入を実施した場合の結果に係る間接介入結果情報、及び当該対象に直接介入を実施した場合の結果に係る直接介入結果情報を、当該介入結果情報として推定し、
前記介入ポリシ決定手段は、取得された当該対象情報、並びに推定された当該介入結果情報としての当該間接介入結果情報及び当該直接介入結果情報から、当該介入としての間接介入及び直接介入、並びに不介入のうちのいずれかの選択に係る当該選択情報を含む介入ポリシを決定する
ことを特徴とする請求項１又は２に記載の介入制御プログラム。
前記介入ポリシ決定手段は、取得された当該対象情報、並びに推定された当該介入結果情報としての当該間接介入結果情報及び当該直接介入結果情報から、当該介入としての間接介入及び直接介入、並びに不介入のうちのいずれかの選択に係る当該選択情報を含む介入ポリシを決定する
ことを特徴とする請求項１又は２に記載の介入制御プログラム。
【請求項4】
前記介入制御手段は、当該対象にとっての目標行動に係る課題を間接介入として提示させて、当該課題の提示後の回答結果を取得し、
前記介入制御プログラムは、取得された当該回答結果に基づき、当該間接介入結果情報を推定する当該介入結果推定モデルを訓練するための学習データを生成し、当該学習データを用いて当該介入結果推定モデルを訓練するモデル訓練手段としてコンピュータを更に機能させる
ことを特徴とする請求項３に記載の介入制御プログラム。
前記介入制御プログラムは、取得された当該回答結果に基づき、当該間接介入結果情報を推定する当該介入結果推定モデルを訓練するための学習データを生成し、当該学習データを用いて当該介入結果推定モデルを訓練するモデル訓練手段としてコンピュータを更に機能させる
ことを特徴とする請求項３に記載の介入制御プログラム。
【請求項5】
当該対象情報は、当該対象の生理的情報、及び当該対象の状況、環境若しくは行動に係るコンテキスト情報のうちの少なくとも１つも含むことを特徴とする請求項１又は２に記載の介入制御プログラム。
【請求項6】
当該介入の実施後に取得された当該対象による表現に係る表現情報から、学習済みの受容性推定モデルを用いて、当該対象の当該介入に対する受容性に係る受容性情報を推定する受容性推定手段としてコンピュータを更に機能させ、
前記介入ポリシ決定手段は、推定された当該受容性情報、当該対象による目標行動の実施に係る取得された目標行動実施情報、及び当該介入の実施後に取得された当該対象情報から前記介入結果推定手段によって推定された当該介入結果情報に基づき報酬を決定し、当該報酬を用いて当該介入ポリシを更新する
ことを特徴とする請求項１又は２に記載の介入制御プログラム。
前記介入ポリシ決定手段は、推定された当該受容性情報、当該対象による目標行動の実施に係る取得された目標行動実施情報、及び当該介入の実施後に取得された当該対象情報から前記介入結果推定手段によって推定された当該介入結果情報に基づき報酬を決定し、当該報酬を用いて当該介入ポリシを更新する
ことを特徴とする請求項１又は２に記載の介入制御プログラム。
【請求項7】
前記介入ポリシ決定手段は、予め設定されたタイミングにおいて当該介入を実施するか否かに係る介入タイミング情報も含む介入ポリシを決定することを特徴とする請求項１又は２に記載の介入制御プログラム。
【請求項8】
当該対象の当該心理状態情報は、当該対象の行動主体感（ＳｏＡ, Sense of Agency）の程度に係る情報を含むことを特徴とする請求項１又は２に記載の介入制御プログラム。
【請求項9】
対象に係る対象情報を用いて当該対象への介入を制御する介入制御装置であって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有することを特徴とする介入制御装置。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有することを特徴とする介入制御装置。
【請求項10】
対象に係る対象情報を用いて当該対象への介入を制御する介入制御システムであって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有することを特徴とする介入制御システム。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有することを特徴とする介入制御システム。
【請求項11】
対象に係る対象情報を用いて当該対象への介入を制御する介入制御方法であって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定するステップと、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定するステップと、
決定された介入ポリシに基づき当該介入を制御するステップと
を有することを特徴とする、コンピュータによって実施される介入制御方法。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定するステップと、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定するステップと、
決定された介入ポリシに基づき当該介入を制御するステップと
を有することを特徴とする、コンピュータによって実施される介入制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象の行動変容を介入によって支援する技術に関する。
【背景技術】
【0002】
ユーザの行動変容、例えば禁煙化、歩きスマホの取り止めや、スマホゲームの実施度合いの適正化等を促すべく、ユーザに対し介入、例えばアドバイス情報の提示等、を実施する行動変容支援技術の研究が現在、盛んに進められている。
【0003】
例えば非特許文献１には、強化学習アルゴリズムを用いて、予め設定された各時点においてユーザに対し介入を実施すべきか否かに係る介入ポリシを導出し、この介入ポリシに基づき介入を行うことにより、ユーザの行動変容を支援する技術が開示されている。
【0004】
ここで、この強化学習では、ユーザの現在及び過去のコンテキスト、例えば所在位置や、アプリ画面を読み出した回数等を状態（state）とし、行動提案を配信したか否かを行動（action）とし、報酬（reward）を、近時の身体活動、例えば歩数等の関数に設定している。また、介入ポリシの決定処理を昼間に行い、夜間には、ユーザのアウトプット、例えば介入時点から30分間における歩数等や、介入時点でのユーザのコンテキストを用いて、介入ポリシの更新を実施するスケジュールを提案している。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Liao, P., Greenewald, K., Klasnja, P., and Murphy, S. “Personalized heartsteps: A reinforcement learning algorithm for optimizing physical activity”, Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 4(1), pp.1-22, ＜https://doi.org/10.1145/3381007＞, ２０２０年
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、非特許文献１に開示された技術を含めた従来技術は、介入ポリシを決定するに際し、ユーザの物理的・生理的なコンテキストに着目してはいるものの、ユーザ自身の心理特性や心理状態を何ら考慮していない。したがって、ユーザに適合したより適切な介入ポリシを決定することが依然、困難となっている。
【0007】
実際、ユーザに対しあるタイミングで如何なる介入が有効となるかについては、ユーザ自身の心理特性や心理状態の影響を強く受けることが予想される。しかしながら、その影響の内容や度合いも、ユーザの物理的・生理的なコンテキスト等、他の情報との兼ね合いで変化することも十分に考えられ、ユーザの心理特性や心理状態を如何に考慮するのかが大きな問題となっている。
【0008】
そこで、本発明は、対象の心理も考慮した介入の制御を実施可能な介入制御プログラム、装置、システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本発明によれば、対象に係る対象情報を用いて当該対象への介入を制御する介入制御プログラムであって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
してコンピュータを機能させる介入制御プログラムが提供される。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
してコンピュータを機能させる介入制御プログラムが提供される。
【0010】
ここで上記の対象情報は、当該対象の生理的情報、及び当該対象の状況、環境若しくは行動に係るコンテキスト情報のうちの少なくとも１つも含むことも好ましい。また介入ポリシ決定手段は、予め設定されたタイミングにおいて当該介入を実施するか否かに係る介入タイミング情報も含む介入ポリシを決定することも好ましい。
【0011】
また本発明による介入制御プログラムの一実施形態として、介入ポリシ決定手段は、取得された当該対象情報、及び推定された当該介入結果情報を状態として、介入及び不介入のうちのいずれかを行動とし、少なくとも当該対象による目標行動の実施に係る取得された目標行動実施情報、及び推定された当該介入結果情報に基づき報酬を決定する強化学習アルゴリズムを用いて、当該介入ポリシを決定することも好ましい。
【0012】
さらに、本発明による介入制御プログラムの他の実施形態として、
介入結果推定手段は、取得された当該対象情報から、当該対象に間接介入を実施した場合の結果に係る間接介入結果情報、及び当該対象に直接介入を実施した場合の結果に係る直接介入結果情報を、当該介入結果情報として推定し、
介入ポリシ決定手段は、取得された当該対象情報、並びに推定された当該介入結果情報としての当該間接介入結果情報及び当該直接介入結果情報から、当該介入としての間接介入及び直接介入、並びに不介入のうちのいずれかの選択に係る当該選択情報を含む介入ポリシを決定する
ことも好ましい。
介入結果推定手段は、取得された当該対象情報から、当該対象に間接介入を実施した場合の結果に係る間接介入結果情報、及び当該対象に直接介入を実施した場合の結果に係る直接介入結果情報を、当該介入結果情報として推定し、
介入ポリシ決定手段は、取得された当該対象情報、並びに推定された当該介入結果情報としての当該間接介入結果情報及び当該直接介入結果情報から、当該介入としての間接介入及び直接介入、並びに不介入のうちのいずれかの選択に係る当該選択情報を含む介入ポリシを決定する
ことも好ましい。
【0013】
また、上記の間接介入及び直接介入を取り扱う実施形態において、介入制御手段は、当該対象にとっての目標行動に係る課題を間接介入として提示させて、当該課題の提示後の回答結果を取得し、
本介入制御プログラムは、取得された当該回答結果に基づき、当該間接介入結果情報を推定する当該介入結果推定モデルを訓練するための学習データを生成し、当該学習データを用いて当該介入結果推定モデルを訓練するモデル訓練手段としてコンピュータを更に機能させることも好ましい。
本介入制御プログラムは、取得された当該回答結果に基づき、当該間接介入結果情報を推定する当該介入結果推定モデルを訓練するための学習データを生成し、当該学習データを用いて当該介入結果推定モデルを訓練するモデル訓練手段としてコンピュータを更に機能させることも好ましい。
【0014】
さらに、本発明による介入制御プログラムの更なる他の実施形態として、本介入制御プログラムは、当該介入の実施後に取得された当該対象による表現に係る表現情報から、学習済みの受容性推定モデルを用いて、当該対象の当該介入に対する受容性に係る受容性情報を推定する受容性推定手段としてコンピュータを更に機能させ、
前記介入ポリシ決定手段は、推定された当該受容性情報、当該対象による目標行動の実施に係る取得された目標行動実施情報、及び当該介入の実施後に取得された当該対象情報から前記介入結果推定手段によって推定された当該介入結果情報に基づき報酬を決定し、当該報酬を用いて当該介入ポリシを更新することも好ましい。
前記介入ポリシ決定手段は、推定された当該受容性情報、当該対象による目標行動の実施に係る取得された目標行動実施情報、及び当該介入の実施後に取得された当該対象情報から前記介入結果推定手段によって推定された当該介入結果情報に基づき報酬を決定し、当該報酬を用いて当該介入ポリシを更新することも好ましい。
【0015】
さらに、本発明に係る当該対象の当該心理状態情報は、当該対象の行動主体感（ＳｏＡ, Sense of Agency）の程度に係る情報を含むことも好ましい。
【0016】
本発明によれば、また、対象に係る対象情報を用いて当該対象への介入を制御する介入制御装置であって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有する介入制御装置が提供される。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有する介入制御装置が提供される。
【0017】
本発明によれば、さらに、対象に係る対象情報を用いて当該対象への介入を制御する介入制御システムであって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有する介入制御システムが提供される。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定する介入結果推定手段と、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定する介入ポリシ決定手段と、
決定された介入ポリシに基づき当該介入を制御する介入制御手段と
を有する介入制御システムが提供される。
【0018】
本発明によれば、さらにまた、対象に係る対象情報を用いて当該対象への介入を制御する介入制御方法であって、
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定するステップと、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定するステップと、
決定された介入ポリシに基づき当該介入を制御するステップと
を有する、コンピュータによって実施される介入制御方法が提供される。
当該対象情報は、当該対象の心理特性情報及び心理状態情報のうちの少なくとも１つを含み、
取得された当該対象情報から、学習済みの介入結果推定モデルを用いて、当該対象に介入を実施した場合の結果に係る介入結果情報を推定するステップと、
取得された当該対象情報、及び推定された当該介入結果情報から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む介入ポリシを決定するステップと、
決定された介入ポリシに基づき当該介入を制御するステップと
を有する、コンピュータによって実施される介入制御方法が提供される。
【発明の効果】
【0019】
本発明の介入制御プログラム、装置、システム及び方法によれば、対象の心理も考慮した介入の制御を実施することができる。
【図面の簡単な説明】
【0020】
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【0022】
[介入制御装置・システム]
図１は、本発明による介入制御装置の一実施形態における機能構成を示す機能ブロック図である。なお同機能ブロック図では、介入制御処理に関係しない機能構成部は省略されている。
図１は、本発明による介入制御装置の一実施形態における機能構成を示す機能ブロック図である。なお同機能ブロック図では、介入制御処理に関係しない機能構成部は省略されている。
【0023】
図１に示したスマートフォン１は、本発明による介入制御装置の一実施形態であって、介入実施の対象としての（スマートフォン１の）ユーザにおける
（ａ）静的な心理特性、例えばパーソナリティ、人格や、価値観等、に係る情報である「心理特性情報」、及び
（ｂ）動的な心理状態、例えば感情や、行動主体感（ＳｏＡ, Sense of Agency）等、に係る情報である「心理状態情報」
のうちの少なくとも１つを含むユーザ情報（対象情報）を取得し、このユーザ情報に基づきユーザに対する介入、例えば説得情報の提示を制御して、ユーザの行動変容を促すことの可能な装置となっている。
（ａ）静的な心理特性、例えばパーソナリティ、人格や、価値観等、に係る情報である「心理特性情報」、及び
（ｂ）動的な心理状態、例えば感情や、行動主体感（ＳｏＡ, Sense of Agency）等、に係る情報である「心理状態情報」
のうちの少なくとも１つを含むユーザ情報（対象情報）を取得し、このユーザ情報に基づきユーザに対する介入、例えば説得情報の提示を制御して、ユーザの行動変容を促すことの可能な装置となっている。
【0024】
このようなユーザの心理に係る情報を用いて好適な介入制御を行うべく、スマートフォン１は具体的に、
（Ａ）取得された（「心理特性情報」及び／又は「心理状態情報」を含む）ユーザ情報から、学習済みの「介入結果推定モデル」を用いて、ユーザ（対象）に介入を実施した場合の結果に係る「介入結果情報」を推定する介入結果推定部１１２と、
（Ｂ）取得された（「心理特性情報」及び／又は「心理状態情報」を含む）ユーザ情報、及び推定された「介入結果情報」から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む「介入ポリシ」（介入方略）を決定する介入ポリシ決定部１１３と、
（Ｃ）決定された「介入ポリシ」に基づき当該介入を制御する介入制御部１１６と
を有することを特徴としている。
（Ａ）取得された（「心理特性情報」及び／又は「心理状態情報」を含む）ユーザ情報から、学習済みの「介入結果推定モデル」を用いて、ユーザ（対象）に介入を実施した場合の結果に係る「介入結果情報」を推定する介入結果推定部１１２と、
（Ｂ）取得された（「心理特性情報」及び／又は「心理状態情報」を含む）ユーザ情報、及び推定された「介入結果情報」から、強化学習アルゴリズムを用い、介入及び不介入のうちのいずれかの選択に係る選択情報を含む「介入ポリシ」（介入方略）を決定する介入ポリシ決定部１１３と、
（Ｃ）決定された「介入ポリシ」に基づき当該介入を制御する介入制御部１１６と
を有することを特徴としている。
【0025】
このようにスマートフォン１は、「心理特性情報」及び／又は「心理状態情報」を含むユーザ情報（対象情報）だけでなく、このユーザ情報から推定された「介入結果情報」も用いて、「介入ポリシ」を決定している。ここでこの「介入結果情報」は、ユーザ（対象）が介入を受けたならば、目的とする行動変容を遂げるか否か（例えば、１日あたり8000歩以上の歩行を実施するか否か）に係る推定情報であって、それ故「介入ポリシ」を決定するに当たり非常に有益な情報となっている。スマートフォン１は、このような（ユーザの心理に係る情報から）推定された「介入結果情報」も用いて「介入ポリシ」を決定することにより、ユーザ（対象）の心理も考慮した介入の制御を、ユーザにより適合した形で実施することができるのである。
【0026】
ここで上記のユーザ情報（対象情報）は、さらに
（ｃ）ユーザ（対象）の生理的な現象・状態、例えば心拍数、呼吸のペース、血圧や体温等に係る情報である「生理的情報」、及び
（ｄ）ユーザ（対象）の状況、環境若しくは行動、例えば仕事中／休憩中の別、所在位置や、閲覧したウェブサイトの数等に係る情報であるコンテキスト情報
のうちの少なくとも１つも含むことも好ましい。このような上記（ｃ）や上記（ｄ）の情報も、介入ポリシを決定するに当たり有益な情報となる。
（ｃ）ユーザ（対象）の生理的な現象・状態、例えば心拍数、呼吸のペース、血圧や体温等に係る情報である「生理的情報」、及び
（ｄ）ユーザ（対象）の状況、環境若しくは行動、例えば仕事中／休憩中の別、所在位置や、閲覧したウェブサイトの数等に係る情報であるコンテキスト情報
のうちの少なくとも１つも含むことも好ましい。このような上記（ｃ）や上記（ｄ）の情報も、介入ポリシを決定するに当たり有益な情報となる。
【0027】
なお本願発明者等は、介入ポリシを決定するのに、さらにその前の「介入結果情報」を推定するのに非常に有益な情報として、上記（ｂ）に挙げた行動主体感（ＳｏＡ）に着目している。この行動主体感は、自らの行動によって周囲に影響を与えているという感覚のことであり、介入を受けるユーザの有する行動主体感の度合いは、この介入が奏功するか否かに大きな影響を与えることを実験により確認している。したがって、ユーザ情報（対象情報）は行動主体感に係る情報を含むことがより好ましいのである。
【0028】
また、この後詳細に説明する実施形態においては、介入として、間接介入（自己説得，ＳＰ）及び直接介入（直接説得，ＤＰ）の両方が採用される。この場合、後に詳述するが、介入結果推定部１１２は、「間接介入結果情報」及び「直接介入結果情報」を推定し、一方、介入ポリシ決定部１１３は、推定されたこれらの「間接介入結果情報」及び「直接介入結果情報」も用いて、「間接介入及び直接介入についての介入ポリシ」を決定することになる。
【0029】
ここで直接介入（直接説得，ＤＰ）とは、ユーザ（対象）に対し直接的に、例えば論理的・感情的エビデンスを示して説得（介入）を行うことを指す。例えば典型的な直接介入として、メーカが、安全であること及び楽しいことを強調する、論理的且つ感情的なキャッチフレーズを用いて、消費者に対し宣伝を行うことが挙げられる。
【0030】
一方、間接介入（自己説得，ＳＰ）とは、ユーザ（対象）に対し直接的に説得（介入）を行うのではなく、ユーザの有能感や、やる気を喚起するための環境、状況や、雰囲気を形成していき、ユーザが自ら行動変容の意義を考え、行動を起こすように後押しすることを指す。例えばこの間接介入として、理系科目の勉強が嫌いな子供に対し理系関連のゲームを提供し、このゲームの中で成功体験を積ませることによって、理系科目の勉強へのやる気を引き出すことが挙げられる。
【0031】
従来、例えば上記の非特許文献１に開示された技術もそうであるが、介入として取り扱われるのは、概ね直接介入となっていた。すなわち、間接介入の効果（結果）の推定や、間接介入の介入ポリシの決定は、間接介入の効果の測定が容易ではない事情もあって、ほとんど検討されてこなかった。
【0032】
しかしながら、「自己説得（間接介入）は内的動機付けを喚起しやすく、直接説得（直接介入）よりも行動変容の効果が長く持続する」との研究結果も公表されている（例えば、非特許文献：Damen TGE, Muller BCN, van Baaren RB, Dijksterhuis A, “Re-Examining the Agentic Shift: The Sense of Agency Influences the Effectiveness of (Self)Persuasion”, PLoS(Public Library of Science) ONE 10(6). ＜https://doi.org/10.1371/journal.pone.0128635＞, ２０１５年 を参照）。このような有効な間接介入も取り入れるべく、この後詳細に説明する実施形態においては、間接介入の結果（効果）の測定も含め、間接介入の結果（効果）の推定や、間接介入の介入ポリシの決定も実施している。
【0033】
ちなみに、上記（Ａ）の介入結果推定部１１２、上記（Ｂ）の介入ポリシ決定部１１３、及び上記（Ｃ）の介入制御部１１６のいずれか１つは、別の装置の機能構成部であってもよい。また、上記３つの機能構成部は、各々別の装置の機能構成部とすることも可能である。例えば、介入結果推定部１１２及び介入ポリシ決定部１１３は同じ又は個別のサーバに含まれ、一方、介入制御部１１６は、ユーザインタフェースを有するクライアントに含まれていてもよい。いずれにしてもこの場合、これらの機能構成部（を備えた装置）全体をもって、本発明による介入制御システムを形成することになるのである。
【0034】
［装置機能構成，介入制御プログラム・方法］
同じく図１の機能ブロック図によれば、本発明による介入制御装置の一実施形態としてのスマートフォン１は、通信インタフェース部１０１と、センサ部１０２と、カメラ１０３と、状態・行動情報保存部１０４と、学習データ保存部１０５と、介入コンテンツ保存部１０６と、アンケート保存部１０７と、ユーザインタフェース（ＵＩ）部１０８と、プロセッサ・メモリ（メモリ機能を備えた演算処理系）とを有する。
同じく図１の機能ブロック図によれば、本発明による介入制御装置の一実施形態としてのスマートフォン１は、通信インタフェース部１０１と、センサ部１０２と、カメラ１０３と、状態・行動情報保存部１０４と、学習データ保存部１０５と、介入コンテンツ保存部１０６と、アンケート保存部１０７と、ユーザインタフェース（ＵＩ）部１０８と、プロセッサ・メモリ（メモリ機能を備えた演算処理系）とを有する。
【0035】
ここで、このプロセッサ・メモリは、本発明による介入制御プログラムの一実施形態を保存しており、またコンピュータ機能を有していて、この介入制御プログラムを実行することによって、介入制御処理を実施する。またこのことから、本発明による介入制御装置は勿論、スマートフォンに限定されるものではなく、本発明による介入制御プログラムを搭載した、介入制御処理専用の装置、汎用のクラウドサーバ、非クラウド型サーバ、パーソナルコンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータや、ウェアラブルデバイス、さらにはユーザインタフェースを備えた各種の情報提供装置等であってもよい。
【0036】
さらに、上記のプロセッサ・メモリは、状態・行動情報取得部１１１と、介入結果推定部１１２と、介入ポリシ決定部１１３と、受容性推定部１１４と、モデル訓練部１１５と、介入制御部１１６と、通信制御部１２１とを有する。ここで以上に述べた機能構成部は、プロセッサ・メモリに保存された介入制御プログラムの実行によって具現する機能と捉えることができる。また、図１におけるスマートフォン１の機能構成部間を矢印で接続して示した処理の流れは、本発明による介入制御方法の一実施形態としても理解される。
【0037】
同じく図１の機能ブロック図に示した状態・行動情報取得部１１１は、本実施形態において、対象情報である（ａ）心理特性情報、（ｂ）心理状態情報、（ｃ）生理的情報、及び（ｄ）コンテキスト情報を、
・各種サーバやウェアラブル装置２から（通信インタフェース部１０１及び通信制御部１２１を介して）受信したデータ、
・カメラ１０３から出力された画像データや、
・各種センサを含むセンサ部１０２から出力されたセンサ出力データ等
を用いて生成・取得する。ここで生成・取得されたこれらの情報は、状態・行動情報保存部１０４に保存され、適宜読み出されて使用されてもよい。
・各種サーバやウェアラブル装置２から（通信インタフェース部１０１及び通信制御部１２１を介して）受信したデータ、
・カメラ１０３から出力された画像データや、
・各種センサを含むセンサ部１０２から出力されたセンサ出力データ等
を用いて生成・取得する。ここで生成・取得されたこれらの情報は、状態・行動情報保存部１０４に保存され、適宜読み出されて使用されてもよい。
【0038】
例えば状態・行動情報取得部１１１は、ユーザのパーソナリティ調査結果、行動主体感調査結果、感情調査結果を格納したアンケート調査結果管理サーバから、例えばBig Fiveスコア等のパーソナリティ情報（心理特性情報）、行動主体感（心理状態情報）や、感情（心理状態情報）を取得してもよい。ここで、上記の調査結果は、事前に質問紙を用いた調査若しくはＵＩ部１０８の画面表示によって実施された調査の結果であってもよく、又はＵＩ部１０８の画面表示によってリアルタイムで実施された調査の結果とすることもできる。
【0039】
また状態・行動情報取得部１１１は、ＳＮＳ（Social Networking System）サーバ、コンテンツサーバや、ウェブサーバとのやり取りに係る投稿した若しくは閲覧した投稿データ、閲覧したコンテンツデータや、ウェブページデータ、さらには通信ログに基づき、投稿者・閲覧者としてのユーザのパーソナリティ（心理特性情報）、感情（心理状態情報）や、行動主体感（心理状態情報）を、公知の機械学習アルゴリズムを用いて推定し生成してもよい。さらに、センサ部１０２に含まれるマイクロフォンから得られるユーザの音声データや、カメラ１０３から得られるユーザの顔画像データから、ユーザの感情（心理状態情報）を、公知の機械学習アルゴリズムによって推定し生成することも可能である。
【0040】
また状態・行動情報取得部１１１は、ウェアラブル装置２から得られる、心拍数、呼吸のペース、血圧や体温等の生理・生体的データを用いて生理的情報を生成してもよい。さらに、センサ部１０２に含まれるＧＰＳ（Global Positioning System）測位部から得られる所在位置情報や、スケジュールを管理するスケジュール管理サーバから得られるスケジュール情報及び通信ログ、さらにはウェブサーバとのやり取りに係るウェブページデータ及び通信ログを用いて、仕事中／休憩中の別、所在位置や、閲覧したウェブサイトの数等に係る情報であるコンテキスト情報を生成することもできる。
【0041】
＜介入結果推定手段＞
同じく図１の機能ブロック図において、介入結果推定部１１２は本実施形態では、状態・行動情報取得部１１１から受け取った対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）から、学習済みの介入結果推定モデル（本実施形態では、間接介入結果推定モデル及び直接介入結果推定モデル）を用いて、
（ａ）ユーザ（対象）に間接介入を実施した場合の結果に係る間接介入結果情報、及び
（ｂ）ユーザ（対象）に直接介入を実施した場合の結果に係る直接介入結果情報
を推定し決定する。
同じく図１の機能ブロック図において、介入結果推定部１１２は本実施形態では、状態・行動情報取得部１１１から受け取った対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）から、学習済みの介入結果推定モデル（本実施形態では、間接介入結果推定モデル及び直接介入結果推定モデル）を用いて、
（ａ）ユーザ（対象）に間接介入を実施した場合の結果に係る間接介入結果情報、及び
（ｂ）ユーザ（対象）に直接介入を実施した場合の結果に係る直接介入結果情報
を推定し決定する。
【0042】
ここで、上記（ａ）の間接介入結果情報は、ユーザ（対象）が間接介入（例えば、「毎日のウォーキングを行うことのメリットを５つ挙げてください」との課題を提示する介入）を受けたならば、目的とする行動変容を遂げるか否か（例えば、目標行動である「１日あたり8000歩以上の歩行」を実施するか否か）に係る推定情報であり、例えば行動変容を遂げる確率に相当する0～1のスコアとすることができる。
【0043】
また、上記（ｂ）の直接介入結果情報は、ユーザ（対象）が直接介入（例えば、「毎日8000歩、歩きましょう！」との提案（説得）を提示する介入）を受けたならば、目的とする行動変容を遂げるか否か（例えば、目標行動である「１日あたり8000歩以上の歩行」を実施するか否か）に係る推定情報であり、これも例えば行動変容を遂げる確率に相当する0～1のスコアとすることができる。
【0044】
さらに、介入結果の推定に用いる間接介入結果推定モデル及び直接介入結果推定モデルは、例えば全結合型の深層ニューラルネットワーク（ＤＮＮ, Deep Neural Networks）アルゴリズムを用いて生成された機械学習モデルとすることができる。なお変更態様として、間接介入／直接介入の別を指定する（例えば間接介入ならば1、直接介入ならば0をとる）データを説明変数に含め、入力されたこのデータの値に応じて、間接介入結果情報と直接介入結果情報とを出力し分ける介入結果推定モデルを採用することも可能である。以下、これら間接介入結果推定モデル及び直接介入結果推定モデルの訓練（構築）について説明を行う。
【0045】
＜モデル訓練手段＞
同じく図１の機能ブロック図に示したモデル訓練部１１５は、本実施形態において、上述した間接介入結果推定モデル及び直接介入結果推定モデルを訓練するための学習データを生成し、これらの学習データを用いて、間接介入結果推定モデル及び直接介入結果推定モデルを訓練し構築する。ちなみに本実施形態において、生成された学習データは、学習データ保存部１０５に適宜、保存され、モデル訓練時に、学習データ保存部１０５から読み出されて使用される。
同じく図１の機能ブロック図に示したモデル訓練部１１５は、本実施形態において、上述した間接介入結果推定モデル及び直接介入結果推定モデルを訓練するための学習データを生成し、これらの学習データを用いて、間接介入結果推定モデル及び直接介入結果推定モデルを訓練し構築する。ちなみに本実施形態において、生成された学習データは、学習データ保存部１０５に適宜、保存され、モデル訓練時に、学習データ保存部１０５から読み出されて使用される。
【0046】
ここで本実施形態の学習データの生成については、最初に、後に詳細に説明する介入制御部１１６が、
（ａ）ユーザに対し間接介入及び直接介入を多数回実施し、
（ｂ）各介入実施の直後に、ＵＩ部１０８の画面に質問を表示（若しくは音声で出力）させる形で、アンケート保存部１０７から読み出した、介入の効果（結果）を測定可能なアンケート調査を実施し、
（ｃ）各アンケート調査に対するユーザによる回答結果を取得して、この回答結果を、対応する介入（の実施直後に実施したアンケート調査）に紐づける形でアンケート保存部１０７に保存する。
（ａ）ユーザに対し間接介入及び直接介入を多数回実施し、
（ｂ）各介入実施の直後に、ＵＩ部１０８の画面に質問を表示（若しくは音声で出力）させる形で、アンケート保存部１０７から読み出した、介入の効果（結果）を測定可能なアンケート調査を実施し、
（ｃ）各アンケート調査に対するユーザによる回答結果を取得して、この回答結果を、対応する介入（の実施直後に実施したアンケート調査）に紐づける形でアンケート保存部１０７に保存する。
【0047】
次いで、モデル訓練部１１５が、
（ｄ）状態・行動情報取得部１１１から、上記（ａ）の各介入実施時における対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）を取得し、
（ｅ）アンケート保存部１０７から、対応する介入（の実施直後に実施したアンケート調査）に紐づけられた回答結果を読み出して、上記（ｄ）の取得した各対象情報に対し、この回答結果から決定された結果スコアを正解データとして紐づけたデータを、訓練用の学習データとするのである。
（ｄ）状態・行動情報取得部１１１から、上記（ａ）の各介入実施時における対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）を取得し、
（ｅ）アンケート保存部１０７から、対応する介入（の実施直後に実施したアンケート調査）に紐づけられた回答結果を読み出して、上記（ｄ）の取得した各対象情報に対し、この回答結果から決定された結果スコアを正解データとして紐づけたデータを、訓練用の学習データとするのである。
【0048】
例えば上記（ａ）の介入制御部１１６による間接介入及び直接介入の実施は、例えばMicro randomized trial（事象間の因果関係を探求するフィールド実験の一種）を実行可能な専用のアプリケーション・プログラム（アプリ）を用い、所定期間（例えば2か月間）中に、間接介入及び直接介入を所定の多数回、例えば数百回～数千回、実施し、各介入実施の直後（例えば5分後や1時間後）に上記のアンケート調査を実施するものとしてもよい。ちなみに本実施形態では、間接介入及び直接介入用の多数のコンテンツが、介入コンテンツ保存部１０６に保存されており、介入制御部１１６により適宜読み出されて使用される。
【0049】
次に、図２に示した具体例を用いて、上記（ａ）で実施される間接介入及び直接介入、並びにその直後のアンケート調査の説明を行う。図２（Ａ１）及び（Ａ２）にはそれぞれ、ユーザに対する間接介入コンテンツ、及びその直後のアンケート調査の具体例が示されている。従来、間接介入の効果（結果）の正解値を取得するのは、ユーザの自己説得が本人の内面の活動であって外から把握しづらいことから、困難とされてきた。
【0050】
これに対し本具体例では、間接介入として、図２（Ａ１）に示した「禁煙することのメリットを１０個考えて、重要度の高い順に列記して下さい。」といったような課題を提示している（ＵＩ部１０８の画面に表示している）。次いでその直後のアンケート調査として、図２（Ａ２）に示した「先ほどのお問合せによって、禁煙のメリットを理解できましたか？」及び「本日の喫煙本数に影響すると思われますか？」といったような質問からなるアンケート調査を実施するのである（ＵＩ部１０８の画面に表示する）。
【0051】
このように、目標行動に関する課題（クイズやゲーム等でもよい）を課すことによって、ユーザがこの課題に取り組んだ（例えば目標行動のメリットを考察した）場合に、この取り組み（考察）を、目標行動についての倫理的・感情的な自己説得と見なすことができるのである。そしてその後のアンケート調査に対する回答をもって、この自己説得（取り組み）が行われたか否か、さらにはそれが効果を奏したか否か（その結果がどうであったか）を把握することが可能となる。
【0052】
次に、図２（Ｂ１）及び（Ｂ２）には、ユーザに対する直接介入コンテンツ、及びその直後のアンケート調査の具体例が示されている。本具体例では直接介入として、図２（Ｂ１）に示した「世界禁煙デーのバナー広告」を提示している（ＵＩ部１０８の画面に表示している）。勿論、より直接的な「健康のために禁煙しましょう！」といったような提案やアドバイス等を、直接介入として用いることも可能である。また、このような直接介入直後に実施される図２（Ｂ２）に示したようなアンケート調査によって、このような直接介入の効果（結果）を把握することができるのである。
【0053】
なお以上に説明した具体例では、介入実施の効果（結果）を把握するため、アンケート調査を実施するのであるが、目標行動の内容によっては、アンケート調査によらずに当該効果（結果）を把握することもできる。例えば、介入実施の直後に、センサ部１０２、カメラ１０３やウェアラブル装置２等からの情報を受け取った状態・行動情報取得部１１１によって生成されたユーザ（対象）の行動の分析結果に基づき、実施した介入の効果（結果）を把握することも可能である。ここでこの分析結果は、後に説明する「目標行動実施情報」と同様の情報となる。
【0054】
以下、ユーザ（対象）の対象情報及び介入結果情報を用いて介入ポリシを決定する処理、及びこのユーザ（対象）における介入に対する受容性をモニタリングして、介入ポリシを更新する処理について説明する。
【0055】
＜受容性推定手段＞
同じく図１の機能ブロック図において、受容性推定部１１４は、介入の実施後に取得されたユーザ（対象）による表現に係る表現情報、例えばユーザの顔画像データ（の特徴量）や音声データ（の特徴量）から、学習済みの受容性推定モデルを用いて、ユーザ（対象）のこの介入に対する受容性に係る受容性情報を推定する。
同じく図１の機能ブロック図において、受容性推定部１１４は、介入の実施後に取得されたユーザ（対象）による表現に係る表現情報、例えばユーザの顔画像データ（の特徴量）や音声データ（の特徴量）から、学習済みの受容性推定モデルを用いて、ユーザ（対象）のこの介入に対する受容性に係る受容性情報を推定する。
【0056】
この推定される受容性情報は本実施形態において、「受容性有り」を示す‘1’、 「ニュートラル」を示す‘0’、及び「受容性無し」を示す‘－1’のうちのいずれかの値をとる情報である。ここで後述するように、この受容性の有無（又はその度合い）は本実施形態において、受けた介入に対するユーザの感情がポジティブか、ニュートラルか、又はネガティブかに対応するものとなっている。
【0057】
さらに、受容性の推定に用いる受容性推定モデルは、例えば全結合型のＤＮＮアルゴリズムを用いて生成された機械学習モデルとすることができる。ここで、間接介入／直接介入の別を指定する（例えば間接介入ならば1、直接介入ならば0をとる）データを説明変数に含め、受容性推定にあたって実施された介入が間接介入か直接介入かの識別情報も、このモデルに入力し、それに応じた受容性を推定することも好ましい。
【0058】
また、この受容性推定モデルの訓練（構築）も、上述したモデル訓練部１１５が実施する設定になっていてもよい。具体的には、上述した介入結果推定モデル用の学習データを生成するために実施された、各間接介入及び各直接介入の実施直後（例えば5分後や1時間後）のアンケート調査において、「提示された提案（課題）に対し感じた感情は、ポジティブ、ニュートラル又はネガティブのうちのいずれでしたか？」といった旨の質問をさらに行い、その回答結果から受容性情報の正解データを生成することもできる。さらに、各間接介入及び各直接介入の実施直後に得られた、上記の心理状態情報としての感情推定結果から、受容性情報の正解データを生成してもよい。
【0059】
＜介入ポリシ決定手段＞
図１の機能ブロック図に戻って、介入ポリシ決定部１１３は本実施形態において、
（ａ）介入結果推定部１１２で推定に用いられた対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）、及び
（ｂ）介入結果推定部１１２で推定された介入結果情報（間接介入結果情報及び直接介入結果情報）
から、強化学習アルゴリズムを用いて、
（ｃ）介入及び不介入のうちのいずれかの選択、本実施形態では間接介入、直接介入及び不介入のうちのいずれかの選択に係る選択情報を含む、初期段階の、すなわちオフラインでの介入ポリシ
を決定する。
図１の機能ブロック図に戻って、介入ポリシ決定部１１３は本実施形態において、
（ａ）介入結果推定部１１２で推定に用いられた対象情報（心理特性情報、心理状態情報、生理的情報、及びコンテキスト情報）、及び
（ｂ）介入結果推定部１１２で推定された介入結果情報（間接介入結果情報及び直接介入結果情報）
から、強化学習アルゴリズムを用いて、
（ｃ）介入及び不介入のうちのいずれかの選択、本実施形態では間接介入、直接介入及び不介入のうちのいずれかの選択に係る選択情報を含む、初期段階の、すなわちオフラインでの介入ポリシ
を決定する。
【0060】
ここで使用される強化学習アルゴリズムは本実施形態において、非特許文献１に開示された強化学習アルゴリズムと同様の構成を有し、ＪＩＴＡＩｓ（Just-In-Time Adaptive Intervention）行動変容支援を実施可能なものとなっている。具体的には、上記（ａ）及び（ｂ）の情報を状態（state）Sとし、間接介入、直接介入及び不介入のうちのいずれかを行動Aとして、ユーザ（対象）による目標行動の実施に係る取得された「目標行動実施情報」、及び上記（ｂ）の介入結果情報（間接介入結果情報及び直接介入結果情報）に基づき報酬Rを決定し、決定した報酬Rに基づき介入ポリシπを決定するアルゴリズムとなっている。
【0061】
さらに本実施形態において、上記（ｃ）の介入ポリシは、選択情報に加えて介入タイミング情報も含むものとなっている。ここで介入タイミング情報は、予め設定されたタイミングにおいて介入（本実施形態では間接介入又は直接介入）を実施するか否かに係る情報であってもよい。したがって例えば、1日あたり5つ（例えば8時、12時、15時、18時及び20時）のタイミングが設定されている場合に、（選択情報及びタイミング情報を含む）介入ポリシは、これら5つの各時刻において「間接介入を実施する」、「直接介入を実施する」及び「介入を実施しない」のうちのいずれかを決定可能な（例えばそれぞれの確率を提示する）情報とすることができる。
【0062】
例えばあくまでも仮想例ではあるが、パーソナリティが「知的好奇心が高い」であって、コンテキストが「出社中」であり、「行動主体感が高い」状態にあって、「間接介入の効果が高い」との推定がなされているユーザに対し、昼食時の12時に「間接介入を実施すべき」である、と解釈可能な介入ポリシが出力されるのである。
【0063】
なお、上記の目標行動実施情報は、センサ部１０２、カメラ１０３やウェアラブル装置２等からの情報を受け取った状態・行動情報取得部１１１で生成され、介入ポリシ決定部１１３へ出力される。例えば、設定された目標行動が「１日あたり8000歩以上の歩行を実施する」であれば、状態・行動情報取得部１１１は、センサ部１０２の歩数計からの出力を用いて当日の歩数の8000歩に対する割合（目標達成割合）を算出し、これを目標行動実施情報とすることができる。また設定された目標行動が、例えば「歩きスマホを行わない」であれば、状態・行動情報取得部１１１は、この歩数計からの出力、画面操作ログや、ウェブページ閲覧履歴情報等から、当日の歩行時におけるスマートフォン１の使用時間を算出し、使用時間がゼロ若しくは所定値未満の場合に1となり且つ使用時間が大きくなるほど0に向けてより小さな（1未満の）値をとる目標達成割合を決定し、これを目標行動実施情報としてもよい。
【0064】
さらに目標行動が、例えば「1日あたりのスマホゲーム実施時間を1時間以下とする」、「禁煙する」や、「ダイエットを行い、体重を70kg以下にする」等、その他の種々様々なものに設定される場合であっても、センサ部１０２が（例えばたばこの匂いを検知可能な）匂いセンサや、（例えば喫煙エリアに所定時間滞在していたか否かを判定可能な）ＧＰＳ測位部を備えていたり、通信インタフェース部１０１（通信制御部１２１）が体重計からの情報を受信可能であったり、その他必要な情報を取得可能な機能を発動させておくことによって、種々様々な目標行動実施情報を取得・生成することができるのである。
【0065】
次に、ユーザ（対象）における介入に対する受容性をモニタリングして、介入ポリシを更新するオンライン強化学習について説明する。
【0066】
同じく図１の機能ブロック図において、介入ポリシ決定部１１３は、以下に示した、３つの段階（レイヤ）の報酬（R1, R2, R3）から決定される報酬R（＝R1＋R2＋R3）を用いて適宜、介入ポリシを更新していく。
（ａ）報酬R1：介入の実施後に取得された対象情報から（介入結果推定部１１２で）推定された介入結果情報（間接介入結果情報及び直接介入結果情報）に基づき決定される報酬。いわば介入が好適に実施されたか否かによって決まる報酬。例えば、介入結果情報における0～1のスコア値を、報酬R1とすることができる。
（ｂ）報酬R2：介入の実施後に受容性推定部１１４で推定された受容性情報に基づき決定される報酬。いわば介入がユーザ（対象）に受容されたか否かによって決まる報酬。例えば、「受容性有り」の場合に報酬R2を1とし、「受容性無し」の場合に報酬R2を0とすることができる。
（ｃ）報酬R3：介入の実施後に状態・行動情報取得部１１１で生成された目標行動実施情報に基づき決定される報酬。いわばユーザが目標行動を実施したか否かによって、又は実施した程度によって決まる報酬。例えば、目標行動が実施された場合（例えば介入後3時間以内にたばこを吸わなかった場合）に報酬R3を1とし、目標行動が実施されなかった場合（例えば介入後3時間以内にたばこを吸った場合）に報酬R3を0とすることができる。
（ａ）報酬R1：介入の実施後に取得された対象情報から（介入結果推定部１１２で）推定された介入結果情報（間接介入結果情報及び直接介入結果情報）に基づき決定される報酬。いわば介入が好適に実施されたか否かによって決まる報酬。例えば、介入結果情報における0～1のスコア値を、報酬R1とすることができる。
（ｂ）報酬R2：介入の実施後に受容性推定部１１４で推定された受容性情報に基づき決定される報酬。いわば介入がユーザ（対象）に受容されたか否かによって決まる報酬。例えば、「受容性有り」の場合に報酬R2を1とし、「受容性無し」の場合に報酬R2を0とすることができる。
（ｃ）報酬R3：介入の実施後に状態・行動情報取得部１１１で生成された目標行動実施情報に基づき決定される報酬。いわばユーザが目標行動を実施したか否かによって、又は実施した程度によって決まる報酬。例えば、目標行動が実施された場合（例えば介入後3時間以内にたばこを吸わなかった場合）に報酬R3を1とし、目標行動が実施されなかった場合（例えば介入後3時間以内にたばこを吸った場合）に報酬R3を0とすることができる。
【0067】
次いで介入ポリシ決定部１１３は、上記の報酬R（＝R1＋R2＋R3）に基づき決定・更新した介入ポリシを介入制御部１１６へ出力し、ＵＩ部１０８に、この介入ポリシに合わせて選択された介入コンテンツ（間接介入コンテンツ，直接介入コンテンツ）を提示させる（例えば表示させたり音声で出力させたりする）。さらにこの介入コンテンツの提示と同時に、またその後継続的に、
（ａ）介入結果推定部１１２で推定された介入結果情報（間接介入結果情報及び直接介入結果情報）を取得して、報酬R1を生成し、
（ｂ）受容性推定部１１４で推定された受容性情報を取得して、報酬R2を生成し、
（ｃ）状態・行動情報取得部１１１で生成された目標行動実施情報を取得して、報酬R3を生成し、
（ｄ）報酬R1、R2及びR3から報酬Rを決定して、この報酬Rに基づき、所定の介入ポリシ算定式を用いて、報酬をより高める方向の介入ポリシ（具体的には例えば、設定時点で間接介入、直接介入、不介入のうちのいずれを採用すべきかに係る確率値）を決定し、適宜介入ポリシを更新していく。
（ａ）介入結果推定部１１２で推定された介入結果情報（間接介入結果情報及び直接介入結果情報）を取得して、報酬R1を生成し、
（ｂ）受容性推定部１１４で推定された受容性情報を取得して、報酬R2を生成し、
（ｃ）状態・行動情報取得部１１１で生成された目標行動実施情報を取得して、報酬R3を生成し、
（ｄ）報酬R1、R2及びR3から報酬Rを決定して、この報酬Rに基づき、所定の介入ポリシ算定式を用いて、報酬をより高める方向の介入ポリシ（具体的には例えば、設定時点で間接介入、直接介入、不介入のうちのいずれを採用すべきかに係る確率値）を決定し、適宜介入ポリシを更新していく。
【0068】
＜介入制御手段＞
同じく図１の機能ブロック図において、介入制御部１１６は、介入ポリシ決定部１１３から、決定された介入ポリシを適宜、受け取り、この介入ポリシに応じて、ＵＩ部１０８を介した間接介入及び直接介入の制御を行う。
同じく図１の機能ブロック図において、介入制御部１１６は、介入ポリシ決定部１１３から、決定された介入ポリシを適宜、受け取り、この介入ポリシに応じて、ＵＩ部１０８を介した間接介入及び直接介入の制御を行う。
【0069】
具体的に本実施形態において、介入制御部１１６は、
（ａ）受け取った介入ポリシにおける間接介入の（確率）スコアが、所定閾値（例えば0.3）以上であって、さらに直接介入の（確率）スコア以上であれば、間接介入の実施を決定し、介入コンテンツ保存部１０６から間接介入コンテンツを読み出して、ＵＩ部１０８にこの間接介入コンテンツを提示させ（例えば表示させたり音声で出力させたりし）、
（ｂ）受け取った介入ポリシにおける直接介入の（確率）スコアが、所定閾値（例えば0.3）以上であって、さらに間接介入の（確率）スコアを超えていれば、直接介入の実施を決定し、介入コンテンツ保存部１０６から直接介入コンテンツを読み出して、ＵＩ部１０８にこの直接介入コンテンツを提示させ（例えば表示させたり音声で出力させたりし）、
（ｃ）受け取った介入ポリシにおける直接介入の（確率）スコアも間接介入の（確率）スコアも所定閾値（例えば0.3）未満であれば、介入を実施しない
といった制御を行うのである。
（ａ）受け取った介入ポリシにおける間接介入の（確率）スコアが、所定閾値（例えば0.3）以上であって、さらに直接介入の（確率）スコア以上であれば、間接介入の実施を決定し、介入コンテンツ保存部１０６から間接介入コンテンツを読み出して、ＵＩ部１０８にこの間接介入コンテンツを提示させ（例えば表示させたり音声で出力させたりし）、
（ｂ）受け取った介入ポリシにおける直接介入の（確率）スコアが、所定閾値（例えば0.3）以上であって、さらに間接介入の（確率）スコアを超えていれば、直接介入の実施を決定し、介入コンテンツ保存部１０６から直接介入コンテンツを読み出して、ＵＩ部１０８にこの直接介入コンテンツを提示させ（例えば表示させたり音声で出力させたりし）、
（ｃ）受け取った介入ポリシにおける直接介入の（確率）スコアも間接介入の（確率）スコアも所定閾値（例えば0.3）未満であれば、介入を実施しない
といった制御を行うのである。
【0070】
ここで、介入制御部１１６は本実施形態において、提示する間接介入コンテンツや直接介入コンテンツを、介入コンテンツ保存部１０６から読み出す。その際、その時点で状態・行動情報取得部１１１から取得された、ユーザ（対象）の心理特性情報及び／又は心理状態情報に基づき、ユーザ（対象）にとってより適した間接介入コンテンツや直接介入コンテンツを、多数のコンテンツの中から選択して読み出すことも好ましい。またこの場合、介入コンテンツ保存部１０６は、多数の間接介入コンテンツや直接介入コンテンツを、予め心理特性情報及び／又は心理状態情報の種別毎に分類して（種別のタグを付与した上で）保存・管理していてもよい。
【0071】
これにより、介入先となるユーザ（対象）における心理の特徴や状態に合わせた、より好適な介入が実施可能となる。例えば「行動主体感が高い」状態にあるユーザ（対象）に対し、それに合わせた（行動主体感の高い人がそれを見ることによって行動変容を起こしやすいような）介入コンテンツを選択して表示し、行動変容を促すことも可能となるのである。
【0072】
また介入制御部１１６は、受け取った介入ポリシに介入実施の時刻情報が含まれている場合、実施を決定した種別の介入コンテンツ（すなわち、間接介入コンテンツ又は直接介入コンテンツ）を、この時刻情報が指定する時刻に提示させることになる。勿論、介入ポリシを受け取った時点が介入時点となる設定であれば、受け取った時点で決定した種別の介入を提示させてもよい。
【0073】
なお変更態様として、介入制御部１１６は、生成した介入制御信号を、又は受け取った介入ポリシを、通信制御部１２１及び通信インタフェース部１０１を介して外部の情報提示装置へ送信し、そこでの介入実施や介入制御に利用させてもよい。
【0074】
以上詳細に説明したように、本発明によれば、心理特性情報及び／又は心理状態情報を含む対象情報だけでなく、この対象情報から推定された介入結果情報も用いて、介入ポリシを決定することができる。ここで、この介入結果情報は、対象が介入を受けたならば、目的とする行動変容を遂げるか否かに係る推定情報であって、それ故介入ポリシを決定するに当たり非常に有益な情報となっている。したがって、このような有益な推定された介入結果情報も用いて介入ポリシを決定することにより、対象の心理も考慮した介入の制御を、対象により適合した形で実施することが可能となるのである。
【0075】
また、本発明は、ヘルスケア・医療（例えば禁煙活動、依存症治療や、食事改善等）、リハビリテーション・トレーニング、購買活動や、防災への取り組み等、生活者の行動変容や新たな習慣形成が求められる種々様々な分野において、大いに有用となり得る技術となっている。
【0076】
さらに、例えば子供達に対し質の高い、すなわち子供達の性格や主体性を尊重した教育を提供するために、本発明による介入制御方法を用いて、子供達の勉強への意欲を喚起させる教育行動を実施することもできる。すなわち本発明によれば、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標４「すべての人々に包摂的かつ公平で質の高い教育を提供し、生涯学習の機会を促進する」に貢献することも可能となるのである。
【0077】
またさらに、例えば消費者達に対し、持続可能な消費行動とライフスタイルを提供するため、本発明による介入制御方法を用い、消費者達の心理特性や心理状態に合った、したがって消費者達にとって納得し易い消費行動上のアドバイスや提案を提供することもできる。すなわち本発明によれば、国連が主導するＳＤＧｓの目標１２「持続可能な消費と生産のパターンを確保する」に貢献することも可能となるのである。
【0078】
上述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲における種々の変更、修正及び省略は、当業者によれば容易に行うことができる。上述の説明はあくまで例であって、何ら本発明を制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定されるものにのみ制約される。
【符号の説明】
【0079】
１ スマートフォン（介入制御装置）
１０１ 通信インタフェース部
１０２ センサ部
１０３ カメラ
１０４ 状態・行動情報保存部
１０５ 学習データ保存部
１０６ 介入コンテンツ保存部
１０７ アンケート保存部
１０８ ユーザインタフェース（ＵＩ）部
１１１ 状態・行動情報取得部
１１２ 介入結果推定部
１１３ 介入ポリシ決定部
１１４ 受容性推定部
１１５ モデル訓練部
１１６ 介入制御部
１２１ 通信制御部
２ ウェアラブル装置
１０１ 通信インタフェース部
１０２ センサ部
１０３ カメラ
１０４ 状態・行動情報保存部
１０５ 学習データ保存部
１０６ 介入コンテンツ保存部
１０７ アンケート保存部
１０８ ユーザインタフェース（ＵＩ）部
１１１ 状態・行動情報取得部
１１２ 介入結果推定部
１１３ 介入ポリシ決定部
１１４ 受容性推定部
１１５ モデル訓練部
１１６ 介入制御部
１２１ 通信制御部
２ ウェアラブル装置
【図1】
【図2】