特許 7589832 情報変遷予測装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】情報変遷予測装置、方法およびプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241119BHJP

【ＦＩ】

G06N20/00

【請求項の数】 7

(21)【出願番号】P 2023559259

(86)(22)【出願日】2021-11-10

(86)【国際出願番号】 JP2021041355

(87)【国際公開番号】W WO2023084640

(87)【国際公開日】2023-05-19

【審査請求日】2024-03-08

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】大川 真耶

(72)【発明者】

【氏名】浅見 太一

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２００７－２９９３６５（ＪＰ，Ａ）

【文献】KULKARNI,Bhushan ほか，SLANT+: A Nonlinear Model for Opinion Dynamics in Social Networks，[online]，IEEE，2017年12月18日，pp.931-936，[検索日 2021.12.23], インターネット：＜ＵＲＬ：https://ieeexplore.ieee.org/document/8215580＞

【文献】伊藤寛祥，動的なソーシャルネットワークにおける興味関心の伝搬を考慮した将来予測モデル，[online]，日本データベース学会，2021年04月01日，[検索日 2021.12.23], インターネット：＜ＵＲＬ：https://proceedings-of-deim.github.io/DEIM2021/paper

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

ユーザの未来における発信情報の変遷を予測する情報変遷予測装置であって、
複数の前記ユーザの情報発信に関する相互作用を表す微分方程式により記述された理論モデルを用い、前記ユーザの前記発信情報の変遷を近似する制約付きの第１の学習モデルと、
ソーシャルメディアにおける過去の複数の投稿情報に基づいて前記ユーザの前記発信情報を予測し出力する第２の学習モデルと、
学習時に、前記第１の学習モデルについて、前記第２の学習モデルの出力が反映された前記投稿情報に対する前記発信情報の予測値の尤度と、前記微分方程式により表される制約項とにより定義される総合的な尤度を最小化するパラメータを推定するパラメータ推定処理部と、
予測時に、前記パラメータが設定された学習済の前記第１の学習モデルに、予測対象となる特定ユーザの属性情報および日時を入力し、前記第１の学習モデルから前記特定ユーザの前記日時における前記発信情報の予測結果を取得する予測処理部と、
前記予測結果を出力する出力処理部と
を具備する情報変遷予測装置。

【請求項2】

前記投稿情報を蓄積し管理するサーバ装置から、特定のトピックに関連する前記投稿情報を選択的に取得する投稿情報取得処理部を、さらに備え、
前記パラメータ推定処理部は、取得された前記投稿情報に基づいて前記第２の学習モデルを構築する
請求項１に記載の情報変遷予測装置。

【請求項3】

前記第１の学習モデルは、前記微分方程式により表される前記制約項を含む制約付きニューラルネットワークにより構成され、
前記第２の学習モデルは、前記特定のトピックに関連する前記投稿情報を入力とし、当該投稿情報から前記特定のトピックに関連する前記発信情報を抽出し出力する言語モデルにより構成される、
請求項２に記載の情報変遷予測装置。

【請求項4】

前記パラメータ推定処理部は、正解ラベル付きの前記投稿情報に対する予測値の第１の尤度と、前記第２の学習モデルの出力を正解ラベルとして代用する前記投稿情報に対する予測値の第２の尤度と、前記微分方程式により表される制約項とにより定義される第３の尤度を最小化する前記パラメータを推定する
請求項１に記載の情報変遷予測装置。

【請求項5】

前記第２の尤度および前記制約項は、前記第３の尤度に対する重要度を表すハイパーパラメータにより重み付けされる、
請求項４に記載の情報変遷予測装置。

【請求項6】

ユーザの未来における発信情報の変遷を予測する情報処理装置が実行する情報変遷予測方法であって、
所定の理論モデルを複数の前記ユーザの情報発信に関する相互作用を表す微分方程式により書き換える過程と、
前記ユーザの前記発信情報の変遷を近似する制約付きの第１の学習モデルを生成する過程と、
ソーシャルメディアにおける過去の複数の投稿情報に基づいて前記ユーザの前記発信情報を予測し出力する第２の学習モデルを生成する過程と、
学習時に、前記第１の学習モデルについて、前記第２の学習モデルの出力が反映された前記投稿情報に対する前記発信情報の予測値の尤度と、前記微分方程式により表される制約項とにより定義される総合的な尤度を最小化するパラメータを推定する過程と、
予測時に、前記パラメータが設定された学習済の前記第１の学習モデルに、予測対象となる特定ユーザの属性情報および日時を入力し、前記第１の学習モデルから、予測対象となる前記特定ユーザの前記日時における前記発信情報の予測結果を取得する過程と、
前記予測結果を出力する過程と
を具備する情報変遷予測方法。

【請求項7】

請求項６に記載された前記情報変遷予測方法が具備する前記各過程における各処理を、前記情報処理装置に実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の一態様は、例えば集団の意見の変遷をモデル化して、個人の意見の変遷を予測する情報変遷予測装置、方法およびプログラムに関する。

【背景技術】

【0002】

人は集団において、政策、新製品、スポーツの試合など様々なトピックについて意見を交換しており、このような意見の交換（相互作用）の結果、各人の意見は変化することがある。

【0003】

人の意見の変遷を予測することは、例えばマーケティングや選挙戦略の立案等の幅広い分野において重要なタスクとなる。意見の変遷の予測には一般に予測モデルが用いられる。予測モデルとしては、例えばオピニオンダイナミクスモデルと呼ばれる理論モデルが広く用いられる。この種の理論モデルは、例えばエージェント・ベース・モデルあるいは微分方程式ソルバーを用いて解析される。例えば、相互作用のメカニズムを数式で記述し、事前に定義した相互作用のメカニズムに基づいて個々人の意見の変遷をシミュレートする。

【0004】

オピニオンダイナミクスの理論モデルとしては、例えばDeGroot モデルやBounded confidence model（BCM）がよく知られている。これらの理論モデルの枠組みでは、各個人（以下ユーザｕと呼ぶ）は、時刻ｔごとに特定のトピック（政治、商品、イベントなど）について、－１から１までの連続値で表される意見ｘ_u (t) ∈ [－1, 1] を持っていると仮定する。ここで、－１は最も強い否定的意見を、１は最も強い肯定的意見を、０は中立的意見をそれぞれ表している。以下に各モデルの概要を数式を用いて説明する。

【0005】

DeGroot モデルでは、意見が以下のルールに従って離散時間で変化すると仮定している。

【数1】

【0006】

ここで、ｘ_v (t-1) はユーザｖの一時刻前の意見であり、ａ_uv はユーザｕに対するユーザｖの影響の強さを表すパラメータである。DeGroot モデルは、各ユーザｕのとある時刻ｔにおける意見ｘ_u (t) は直前の時刻ｔ－１における自分自身と他のユーザとの意見の重み付け和で決まるという仮定に基づく。

【0007】

これに対し、Bounded confidence model（BCM）は、同調バイアス（conformity bias）を考慮したモデルである。同調バイアスは、自分とかけ離れた意見を無視するというバイアスである。２人のユーザが十分に近い意見を持っている場合、これらのユーザは相互に影響し合い、より近い意見を持つようになる。そうでない場合、上記各ユーザは相互作用せず、各々のユーザの元の意見が保持される。BCM において、意見の更新ルールは次式で定義される。

【数2】

【0008】

ここで、|Δ| はΔ の絶対値であり、εは意見の差異の閾値を表すパラメータである。また、1{C} は指示関数を示すもので、条件C が真であれば１、そうでなければ０の値を取る。

【0009】

DeGroot モデルやBCM に代表される理論モデルは解釈性が高く、相互作用のメカニズムの設計を行う際に社会科学分野の知識を反映させることができる。しかし、大規模なデータを扱うことが困難であるため、予測精度に限界がある。

【0010】

近年、Twitter （登録商標）を始めとするソーシャル・ネットワーキング・サービス（SNS）や電子掲示板、ブログなどのソーシャルメディアが個人の意見を表現する手段として急速に普及している。これらのソーシャルメディアは、集団における意見の形成を分析するための貴重な情報源となっている。これらのデータを用いて理論モデルのキャリブレーションを行う場合には、手作業でモデルの選択やパラメータの設定を行う必要があり、時間と手間がかかる。

【0011】

一方、最近では、意見の変遷のモデル化および予測にソーシャルメディアの投稿履歴を活用する試みが注目を集めており、特に機械学習モデルに基づいたアプローチが複数提案されている。例えば、非特許文献１には、点過程と呼ばれる確率的生成モデルを用いる手法が記載されている。この手法は、ソーシャルメディアの投稿から推定した意見の変遷の履歴に基づいて、点過程モデルのパラメータを学習する。しかし、相互作用のメカニズムについて特定の仮定を用いているため、柔軟性に欠ける。

【0012】

また、非特許文献２には、深層学習モデルを用いた手法が開示されている。この手法は、ソーシャルメディアの投稿文章からの意見の抽出と個々人の意見の推定をEnd-to-end で行うものである。この手法は、深層学習モデルの活用による柔軟な相互作用のモデル化が可能である。しかしその反面、相互作用のメカニズムに関する事前知識を考慮できないという課題がある。

【先行技術文献】

【非特許文献】

【0013】

【文献】Abir De et al., “Learning and Forecasting Opinion Dynamics in Social Networks.” In Advances in Neural Information Processing Systems 29: Annual Conference on Neural Information Processing Systems 2016.

【文献】Lixing Zhu et al., “Neural opinion dynamics model for the prediction of user-level stance dynamics. ” Information Processing & Management 57, 2 (2020), 102031.

【発明の概要】

【発明が解決しようとする課題】

【0014】

ところで、深層学習の枠組みに社会科学分野の事前知識を導入しようとすると、以下のような課題がある。すなわち、一般に物理法則を考慮したニューラルネットワーク（Physics-informed neural network ）では、教師あり学習によるパラメータ推定が行われる。このため、予測対象の変数について十分な量の観測データが必要となる。「意見」は本来観測不可能なものであり、十分な量の観測データを確保することは通常では困難である。

【0015】

一方、ソーシャルメディア上の投稿に意見の正解ラベルを一つひとつ付与することも考えられる。しかしながら、投稿に対し正解ラベルを一つひとつ付与する作業には、多大な時間とコストがかかる。

【0016】

この発明は上記事情に着目してなされたもので、学習モデルの学習時に社会科学分野の事前知識を取り入れることを可能とし、かつ多くの時間やコストを必要とすることなく大規模なソーシャルメディア投稿データを活用できるようにし、これにより情報の変遷の予測精度の向上を可能にする技術を提供しようとするものである。

【課題を解決するための手段】

【0017】

上記課題を解決するためにこの発明に係る情報変遷予測装置または予測方法の一態様は、所定の理論モデルを複数のユーザの情報発信に関する相互作用を表す微分方程式により書き換えたモデルを用意し、このモデルを用いて前記ユーザの発信情報の変遷を近似する制約付きの第１の学習モデルを生成すると共に、ソーシャルメディアにおける過去の複数の投稿情報に基づいてユーザの前記発信情報を予測し出力する第２の学習モデルを生成する。そして、学習時に、前記第１の学習モデルについて、前記第２の学習モデルの出力が反映された前記投稿情報に対する発信情報の予測値の尤度と、前記微分方程式により表される制約項とにより定義される総合的な尤度を最小化するパラメータを推定する。そして、予測時に、前記パラメータが設定された学習済の前記第１の学習モデルに、予測対象となるユーザの属性情報および日時を入力し、前記第１の学習モデルから予測対象となる前記ユーザの前記日時における発信情報の予測結果を取得するようにしたものである。

【0018】

この発明の一態様によれば、ユーザ間の相互作用を表す微分方程式の制約の下で、かつ第２の学習モデルにより投稿情報から予測される情報が反映された状態で、第１の学習モデルのパラメータが学習される。

【0019】

従って、オピニオンダイナミクスの理論モデルの基盤となっている社会科学分野の事前知識が取り入れられ、しかも過去の多数の投稿情報が活用された状態で、ユーザの未来の発信情報を予測することが可能となる。このため、正解ラベル付けの作業に必要な多大な時間とコストを軽減しつつ、ユーザの未来の発信情報を高い精度で予測することが可能となる。

【発明の効果】

【0020】

すなわちこの発明の一態様によれば、学習モデルの学習時に社会科学分野の事前知識を取り入れることを可能とし、かつ多くの時間やコストを必要とすることなく大規模なソーシャルメディア投稿データを活用できるようにし、これにより情報の変遷の予測精度の向上を可能にした技術を提供することができる。

【図面の簡単な説明】

【0021】

【図1】図１は、この発明の一実施形態に係る情報変遷予測装置を備えるソーシャルメディア・ネットワークシステムの全体構成の一例を示す図である。

【図2】図２は、この発明の一実施形態に係る情報変遷予測装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、この発明の一実施形態に係る情報変遷予測装置のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、図３に示した情報変遷予測装置の制御部により実行されるモデル学習処理の処理手順と処理内容を示すフローチャートである。

【図5】図５は、図３に示した情報変遷予測装置の制御部により実行される意見変遷予測処理の処理手順と処理内容を示すフローチャートである。

【図6】図６は、図３に示した情報変遷予測装置において使用される学習モデルの構成の概要を示す図である。

【図7】図７は、図３に示した情報変遷予測装置が取得するソーシャルメディア投稿履歴情報の一例を示す図である。

【発明を実施するための形態】

【0022】

以下、図面を参照してこの発明に係わる実施形態を説明する。

【0023】

［一実施形態］
（概要）
この発明の一実施形態では、制約付きニューラルネットワークの半教師あり学習法を用いた予測方法について述べる。半教師あり学習を用いた予測方法は、一部だけ意見の正解ラベルが付与されたソーシャルメディアの投稿履歴が与えられた下で、未来の任意の時刻における個々人の意見を予測するものである。

【0024】

なお、教師なし学習法を用いることも可能である。教師なし学習法を用いた予測方法は、意見の正解ラベルが付与されていないソーシャルメディアの投稿履歴に基づいて、未来の任意の時刻における個々人の意見を予測するものである。

【0025】

図６は、この発明の一実施形態において使用される学習モデルの構成の一例を示すものである。同図に示すように、一実施形態で使用する学習モデルは、第１の学習モデルとしての制約付きニューラルネットワークＭＤ１と、第２の学習モデルとしての言語モデルＭＤ２とから構成される。制約付きニューラルネットワークＭＤ１は、意見の時間変化を近似する機能を有する。言語モデルＭＤ２は、ソーシャルメディアの投稿に基づいてユーザ個人の意見を予測する機能を持つ。

【0026】

一実施形態では、上記制約付きニューラルネットワークＭＤ１のパラメータ推定を行う際に、複数のユーザ間における意見の交換の相互作用のメカニズムを表す微分方程式の制約の下でパラメータの学習を行う。

【0027】

（構成例）
（１）システム
図１は、この発明の一実施形態に係るソーシャルメディア・ネットワークシステムの全体構成の一例を示す図である。

【0028】

一実施形態に係るソーシャルメディア・ネットワークシステムは、複数のユーザ端末ＵＴ１～ＵＴｎをネットワークＮＷを介してサーバ装置ＳＶにアクセス可能とし、これにより複数のユーザがサーバ装置ＳＶを介して投稿情報を登録および閲覧可能としたものである。

【0029】

ユーザ端末ＵＴ１～ＵＴｎは、例えばスマートフォンやタブレット型端末、パーソナルコンピュータからなり、上記ソーシャルメディアネットワークを利用するために、ブラウザおよび所定のアプリケーションを備えている。

【0030】

サーバ装置ＳＶは、例えばＷｅｂ上またはクラウド上に配置されるサーバコンピュータからなり、上記ユーザ端末ＵＴ１～ＵＴｎから送信される投稿情報の送受信およびシステム管理を行う。また、サーバ装置ＳＶは、大容量のデータ蓄積装置を有し、各ユーザ端末ＵＴ１～ＵＴｎから送信された投稿情報を上記データ蓄積装置により投稿履歴情報として管理する。

【0031】

ネットワークＮＷは、例えばインターネットを中核とする広域ネットワークと、この広域ネットワークにアクセスするためのアクセスネットワークとを備える。アクセスネットワークとしては、例えば、有線または無線を使用する公衆通信ネットワーク、有線または無線を使用するＬＡＮ（Local Area Network）が使用される。

【0032】

（２）情報変遷予測装置ＰＤ
一実施形態に係るシステムには、ユーザ集合の意見の変遷をモデル化して、任意のユーザの意見の変化を予測するために、情報変遷予測装置ＰＤが設けられている。情報変遷予測装置ＰＤは、例えばパーソナルコンピュータまたはサーバコンピュータからなる。

【0033】

図２および図３は、それぞれ情報変遷予測装置ＰＤのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。

【0034】

情報変遷予測装置ＰＤは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを使用した制御部１を備える。そして、この制御部１に対し、バス８を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、通信インタフェース（以後インタフェースをＩ／Ｆと称する）部４、および入出力Ｉ／Ｆ部５を接続したものとなっている。

【0035】

通信Ｉ／Ｆ部４は、制御部１の制御の下、ネットワークＮＷにより定義される通信プロトコルを使用して、サーバ装置ＳＶとの間でデータ通信を行う。

【0036】

入出力Ｉ／Ｆ部５には、入力デバイス６および出力デバイス７が接続されている。入力デバイス６は、例えばキーボードおよびマウスを備え、情報変遷予測処理に係る種々操作情報を入力するために使用される。出力デバイス７は、例えば表示デバイスを有し、制御部１により生成された予測情報等を表示する。なお、出力デバイス７としては、他にプリンタや外部記憶デバイスが用いられてもよい。

【0037】

プログラム記憶部２は、例えば、記憶媒体としてＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、一実施形態に係る各種制御処理を実行するために必要なアプリケーション・プログラムを格納する。なお、以後ＯＳと各アプリケーション・プログラムとをまとめてプログラムと称する。

【0038】

データ記憶部３は、例えば、記憶媒体として、ＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、一実施形態を実施するために必要な主たる記憶部として、投稿履歴記憶部３１と、言語モデル記憶部３２と、制約付き学習モデル記憶部３３と、パラメータ記憶部３４と、予測情報記憶部３５とを備える。

【0039】

投稿履歴記憶部３１は、サーバ装置ＳＶから取得されたソーシャルメディアの投稿履歴情報を格納するために使用される。

【0040】

言語モデル記憶部３２は、制御部１により生成される言語モデルＭＤ２を格納する。言語モデルＭＤ２は、上記投稿履歴情報に基づいてユーザの意見の変遷を予測するために使用される。

【0041】

制約付き学習モデル記憶部３３は、制約付きニューラルネットワークＭＤ１の構成に関する情報を格納する。制約付きニューラルネットワークＭＤ１は、上記投稿履歴情報に基づいて意見の時間変化を近似する。

【0042】

パラメータ記憶部３４は、制御部１により得られる上記制約付学習モデルの最適化パラメータを、保存するために使用される。

【0043】

予測情報記憶部３５は、制御部１により得られる個人の意見の変化の予測結果を表す情報を、保存するために使用される。

【0044】

制御部１は、一実施形態を実施するために必要な処理機能として、投稿履歴管理処理部１１と、投稿履歴取得処理部１２と、パラメータ推定処理部１３と、予測処理部１４と、予測情報出力処理部１５とを備える。これらの処理部１１～１５は、何れもプログラム記憶部２に格納されたアプリケーション・プログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0045】

なお、上記アプリケーション・プログラムは、プログラム記憶部２に事前に格納しておく以外に、必要時に外部のアプリケーション・サーバ等からダウンロードしてプログラム記憶部２に記憶されるようにしてもよい。

【0046】

投稿履歴管理処理部１１は、情報変遷予測装置ＰＤの入力デバイス６において、例えばシステム管理者がサーバ装置ＳＶの投稿履歴情報に対する各種操作情報を入力した場合に、この操作情報に応じてサーバ装置ＳＶの投稿履歴情報に対する情報操作を行う。情報操作の種類には、例えば情報の登録、修正および削除がある。なお、上記投稿履歴情報に対する情報操作機能は、必ずしも情報変遷予測装置ＰＤが持つ必要はなく、サーバ装置ＳＶに付属する管理端末等が備えていてもよい。

【0047】

投稿履歴取得処理部１２は、制約付きニューラルネットワークＭＤ１および言語モデルＭＤ２から構成される学習モデルを構築する際に、必要となる投稿履歴情報をサーバ装置ＳＶから通信Ｉ／Ｆ部４を介して取得し、取得された投稿履歴情報を投稿履歴記憶部３１に記憶させる処理を行う。

【0048】

パラメータ推定処理部１３は、理論モデルを微分方程式の形に書き換える処理を行い、書き換えられたモデルを用いて制約付きニューラルネットワークＭＤ１を生成する。またパラメータ推定処理部１３は、上記投稿履歴情報を投稿履歴記憶部３１から読み込み、読み込まれた上記投稿履歴情報に基づいて言語モデルＭＤ２を構築する。

【0049】

パラメータ推定処理部１３は、上記微分方程式により定義される制約条件と、上記言語モデルＭＤ２の予測情報とを用いて、制約付きニューラルネットワークＭＤ１のパラメータを推定し、推定されたパラメータをパラメータ記憶部３４に記憶させる。なお、パラメータ推定処理の一例は、動作例において詳しく説明する。

【0050】

予測処理部１４は、制約付き学習モデル記憶部３３に記憶された制約付きニューラルネットワークＭＤ１に対し、パラメータ記憶部３４に記憶された最適化パラメータを設定し、これにより学習済の制約付きニューラルネットワークＭＤ１を構築する。

【0051】

予測処理部１４は、入力デバイス６において入力された予測対象のユーザｕのユーザＩＤおよび予測したい日時ｔを入出力Ｉ／Ｆ部５を介して受け取り、受け取った上記予測対象のユーザｕおよび予測したい日時ｔを上記学習済の制約付きニューラルネットワークＭＤ１に入力する。そして、上記学習済の制約付きニューラルネットワークＭＤ１から出力される値を、予測結果として予測情報記憶部３５に記憶させる。

【0052】

予測情報出力処理部１５は、入力デバイス６により入力された予測結果の出力要求に応じて、予測情報記憶部３５から予測情報を読み出し、読み出された上記予測情報を入出力Ｉ／Ｆ部５を介して出力デバイス７へ出力する処理を行う。

【0053】

（動作例）
次に、以上のように構成された情報変遷予測装置ＰＤの動作例を説明する。

【0054】

（I）モデルの学習処理
図４は、情報変遷予測装置ＰＤの制御部１により実行されるモデル学習処理の処理手順と処理内容の一例を示すフローチャートである。なお、この例では、制約付きニューラルネットワークとして半教師あり学習法を用いる場合を例にとって説明するが、教師なし学習法を用いる場合にも容易に拡張可能である。

【0055】

情報変遷予測装置ＰＤの制御部１は、ステップＳ１０において学習モードが指示されたか否かを判定する。この状態で、例えばシステム管理者が学習モードの実行を指示すると、情報変遷予測装置ＰＤの制御部１は、以下のようにモデル学習処理を実行する。

【0056】

（１）投稿履歴情報の取得
情報変遷予測装置ＰＤの制御部１は、先ず投稿履歴取得処理部１２の制御の下、サーバ装置ＳＶに対しアクセスし、サーバ装置ＳＶからソーシャルメディアの投稿履歴情報を通信Ｉ／Ｆ部４を介して受信する。そして、受信された上記投稿履歴情報を投稿履歴記憶部３１に記憶させる。このとき、例えば取得対象のトピック（例えば政治、商品、イベント）を指定し、指定された上記トピックに関連する投稿情報を選択的に取得するようにしてもよい。図７に取得される投稿履歴情報の一例を示す。

【0057】

解析の対象とするソーシャルメディアの投稿履歴情報は、特定のトピックに関する投稿文章の系列からなり、{(ｕ_i , ｔ_i , ｄ_i )}^I _i=1 で表される。ここでｕ_i はユーザ、ｄ_i は特定のトピックに関するソーシャルメディア上の投稿、ｔ_i は投稿時刻、I はデータ数をそれぞれ示す。ユーザ数をＵとする。

【0058】

ここで、一部の文章について意見の正解ラベルｙ_i が付与されているケースを考える。正解ラベルは、例えば意見のカテゴリｙ_i ∈ {-1 , 0 , 1}、あるいは肯定の度合いを表すスコアｙ_i ∈ {1 , 2 , 3 , 4 , 5 } 等である。例えば、選期間中に政治関連のツイートを収集し、ある政党について肯定的な投稿にｙ_i = 1 、否定的な投稿にｙ_i ＝ -1、中立的な投稿にｙ_i ＝ 0 のラベルを付与することでラベル付きデータを生成する。意見の正解ラベルが付与された投稿文章の履歴をＤs ＝ {(ｕ_i , ｔ_i , ｙ_i )}^Is _i=1 、正解ラベルなしの投稿文章の履歴をＤu ＝ {(ｕ_i , ｔ_i , ｄ_i )}^Iu _i=1 とおく。ここで、Is はラベル付きデータの数、Iu はラベルなしデータの数をそれぞれ示す。

【0059】

（２）学習モデルのパラメータ推定
（２－１）理論モデルの書き換え
情報変遷予測装置ＰＤの制御部１は、パラメータ推定処理部１３の制御の下、先ずステップＳ１１において、オピニオンダイナミクスの理論モデルの基盤となっている社会科学分野の知見を機械学習モデルに導入するため、理論モデルを微分方程式の形で書き換える。例えば、DeGroot モデルやBounded confidence model (BCM) を始めとする理論モデルを、一般的に以下の微分方程式により書き換える。

【数3】

【0060】

ここで、ｔは時刻、ｘ_u (t) は時刻ｔにおけるユーザｕの意見、Λは微分方程式のパラメータである。また、Φ(・) は相互作用のメカニズムを表す関数で、理論モデルの仮定に基づいて設計する。例えば、Bounded confidence model （式(2)）の仮定を用いる場合、Φ(・) は次式で定義される。

【数4】

【0061】

DeGroot モデル（式(1)）を用いる場合、Φ(・) は次式で定義される。

【数5】

【0062】

ここで、ａ_uv はユーザｕとユーザｖの相互作用の強さを表すパラメータである。なお、この例では２つの代表的な理論モデルを例として用いたが、この発明は他の理論モデルにも適用可能である。

【0063】

（２－２）ニューラルネットワークの近似
パラメータ推定処理部１３は、次にステップＳ１２において、意見を表す変数ｘ_u (t) を、時刻ｔ、ユーザｕのＩＤあるいはプロフィールを入力とするニューラルネットワークｆ(・；θ_f ) により以下のように近似する。

【数6】

ここで、θ_f は制約付きニューラルネットのパラメータである。また、ニューラルネットワークの出力を
ｘ_u^ (t) ＝ｆ(・；θ_f )
と定義しておく。

【0064】

（２－３）言語モデルの構築
パラメータ推定処理部１３は、続いてステップＳ１３において言語モデルを構築する。言語モデルはソーシャルメディアの投稿から意見を抽出するために使用されるもので、特定のトピックに関する投稿文章ｄを入力とし、意見ｏ^~ を出力とするモデルであり、以下のように表される。

【数7】

【0065】

ここで、ｇ(・) は言語モデル、θ_g は言語モデルのパラメータである。言語モデルｇ(・) は問題に合わせて自由に設計できる。例えば、言語モデルｇ(・) の設計手法としては、事前学習済みの深層学習モデルをファインチューニングする等のアプローチが考えられる。

【0066】

（２－４）パラメータの推定
学習モードにおいては、次式(8) で定義される尤度Ｌを最小化するような微分方程式のパラメータΛ、制約付きニューラルネットワークＭＤ１のパラメータθ_f 、言語モデルＭＤ２のパラメータθ_g をそれぞれ推定する。

【数8】

【0067】

ここでＬ_s は正解ラベル付きのソーシャルメディア投稿履歴に対する尤度、Ｌ_u は正解ラベルなしの投稿履歴に対する尤度、Ｌ_ode は微分方程式による制約を表す項である。α、λは各項の重要度を表すハイパーパラメータである。

【0068】

式(8) から第一項Ｌ_s (θ_f ；Ｄ_s ) を除けば、上式(8) は教師なし学習における尤度と一致する。式(8) の右辺第一項はニューラルネットワークによる意見の予測値ｘ_u^ (t) と意見の正解ラベルｙ_i との誤差で次のように定義される。

【数9】

【0069】

ここで、Ｌ(・) はクロスエントロピーである。σ(・) は意見の強さと極性（肯定あるいは否定）を表す連続値ｘ_u^ (・) をラベル空間に埋め込む関数であり、意見の正解ラベルが２種類の場合はシグモイド関数を、多クラスの場合はソフトマックス関数をそれぞれ用いる。また、Ｄs ＝ {(ｕ_i , ｔ_i , ｙ_i )}^Is _i=1 は、正解ラベル付きの投稿履歴、Is はラベル付きデータの数である。

【0070】

ラベルなし投稿履歴Ｄu ＝ {(ｕ_i , ｔ_i , ｄ_i )}^Iu _i=1 については、正解ラベルの代わりに言語モデルＭＤ２による予測結果を用いる。具体的には、制約付きニューラルネットワークＭＤ１の出力ｘ_u^ (t) と、言語モデルＭＤ２の出力ｏ^~ との間の二乗誤差を最小化する。

【数10】

なお、この例では、誤差の指標として平均二乗誤差を用いたが、他の誤差関数を用いることもできる。

【0071】

上記式(8) の右辺第三項は次式で定義される。

【数11】

【0072】

ここで、{Τ₁ , …,Τ_J } は予め定義された時間軸上の代表点である。Ｌ_ode はJ 個の代表点における微分方程式の誤差を表す。この例では、誤差の指標として平均二乗誤差を用いたが、他の誤差関数を用いることもできる。上式(11) は、微分方程式（式(3)）の左辺と右辺の差を取って代表点の時刻Τ_J を代入したものである。上記(11) 式の制約項を尤度Ｌに加えることで、出力ｘ_u^ (t) が(3) 式で定義される微分方程式に従うような制約付きニューラルネットワークＭＤ１のパラメータθ_f を学習することができる。

【0073】

また、(11) 式の右辺第一項の微分dｘ_u^ (t) ／dt は、PyTorch 等の深層学習パッケージで実装されている自動微分を用いることで容易に計算することができる。

【0074】

なお、パラメータθ_f の最適化にはどのような手法を用いてもよいが、(11) 式に含まれる微分を効率良く計算するためには、誤差逆伝播法を用いるのがよい。

【0075】

（２－５）パラメータの保存
パラメータ推定処理部１３は、以上のように推定された制約付きニューラルネットワークＭＤ１の最適化パラメータθ_f ^と、言語モデルＭＤ２の最適化パラメータθ_g ^との組を、ステップＳ１５においてパラメータ記憶部３４に記憶させる。

【0076】

（II）予測処理
情報変遷予測装置ＰＤの制御部１は、以上のように構築された学習モデルを用いることで、特定の個人ユーザの未来の発信情報を以下のように予測する。
図５は、情報変遷予測装置ＰＤの制御部１により実行される予測処理の処理手順と処理内容の一例を示すフローチャートである。

【0077】

特定の個人ユーザの未来の発信情報を予測するために、例えばシステム管理者が入力デバイス６において予測モードを指定入力すると、情報変遷予測装置ＰＤの制御部１は上記予測モードの指定入力を入出力Ｉ／Ｆ部５を介して受け取り、予測モードを設定する。

【0078】

（１）予測
予測モードが設定されると、情報変遷予測装置ＰＤの制御部１は、予測処理部１４の制御の下、先ずステップＳ２１において、入力デバイス６において入力される、予測対象となるユーザｕの属性情報、例えばユーザＩＤまたはプロフィールと、予測したい日時ｔを、入出力Ｉ／Ｆ部５を介して受け取る。次に予測処理部１４は、ステップＳ２２において、パラメータ記憶部３４から最適化パラメータθ_f ^を読み込み、読み込まれた上記最適化パラメータθ_f ^を、制約付きニューラルネットワークＭＤ１に設定する。すなわち、学習済の制約付きニューラルネットワークＭＤ１を構築する。

【0079】

予測処理部１４は、続いてステップＳ２３において、上記入力デバイス６から入力された予測対象の個人ユーザｕの識別ＩＤおよび予測したい時刻ｔを、上記学習済の制約付きニューラルネットワークＭＤ１に入力する。そして、予測処理部１４は、上記学習済の制約付きニューラルネットワークＭＤ１から出力される、上記予測対象の個人ユーザｕの予測時刻ｔにおける発信情報の予測結果を受け取り、受け取った上記予測結果を表す情報を予測情報記憶部３５に記憶させる。

【0080】

（２）予測結果の出力
情報変遷予測装置ＰＤの制御部１は、予測情報出力処理部１５の制御の下、ステップＳ２４において、上記予測結果を表す情報を所定のタイミングで自律的に、或いは入力デバイス６からの出力要求の入力に応じて、上記予測情報記憶部３５から読み出す。そして、予測情報出力処理部１５は、読み出された上記予測結果を表す情報の例えば表示データを生成し、生成された表示データを入出力Ｉ／Ｆ部５から出力デバイス７へ出力し、出力デバイス７に表示させる。表示データには、例えば予測対象ユーザｕのユーザＩＤと、予測対象日時ｔと、予測結果を表す情報とが含まれる。

【0081】

かくして、出力デバイス７には、予測対象ユーザｕの予測対象日時ｔにおける発信情報の予測結果が表示される。なお、上記予測結果を表す情報は、出力デバイス７に表示されるだけでなく、出力デバイス７においてプリントアウトされたり、例えばＵＳＢメモリなどの外部記憶媒体に記憶されるようにしてもよく、さらには通信Ｉ／Ｆ部４からネットワークＮＷを介して他のユーザ端末などへ送信されるようにしてもよい。

【0082】

（作用・効果）
以上述べたように一実施形態では、情報発信を行う複数のユーザの相互作用を表す微分方程式を用いて記述された学習モデルを基盤とし、上記ユーザの発信情報の変遷を近似する制約付きニューラルネットワークと、ソーシャルメディアの投稿情報に基づいて上記ユーザの発信情報を予測し出力する言語モデルとを備える。そして、学習時に、上記言語モデルの出力が反映された上記投稿情報に対する上記発信情報の予測値の尤度と、上記微分方程式による制約項とをそれぞれ最小化するパラメータを推定し、予測時に、推定された上記パラメータが設定された学習済の上記制約付きニューラルネットワークに、予測対象となるユーザの属性情報および日時を説明変数として入力し、上記制約付きニューラルネットワークから目的変数として出力される情報を、上記予測対象のユーザの上記日時における発信情報の予測結果として出力するようにしている。

【0083】

従って、一実施形態によれば、制約付きニューラルネットワークと、多数の投稿情報に基づいて発信情報を予測する言語モデルとを組み合わせて学習モデルを構築することで、ユーザ間の相互作用を表す微分方程式の制約の下で、かつソーシャルメディアの多数の投稿情報から予測される発信情報が反映された状態で、学習モデルのパラメータが学習される。

【0084】

このため、オピニオンダイナミクスの理論モデルの基盤となっている社会科学分野の事前知識が取り入れられ、しかも過去の多数の投稿情報が活用された状態で、ユーザの未来の発信情報を予測することが可能となる。すなわち、アノテーションによる多大な時間とコストを必要とすることなく、ユーザの未来の発信情報を高精度に予測することが可能となる。

【0085】

［その他の実施形態］
前記一実施形態では、情報変遷予測装置ＰＤのすべての機能を、ユーザが使用するパーソナルコンピュータ等の端末に持たせた場合を例にとって説明した。しかし、情報変遷予測装置ＰＤのすべての機能、またはその一部の機能をWeb上またはクラウド上に設けられたサーバ装置に備えるようにしてもよい。例えば、学習時におけるパラメータ推定処理機能をサーバ装置に持たせ、端末が予測時に学習済の制約付きニューラルネットワークをサーバ装置からダウンロードして使用する。このようにすると、端末の処理負荷を軽減することができる。

【0086】

その他、第１の学習モデルおよび第２の学習モデルの種類や構成、学習時におけるパラメータ推定処理の処理手順と処理内容、予測時における予測処理の処理手順と処理内容、予測対象となる情報の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

【0087】

以上、この発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点においてこの発明の例示に過ぎない。この発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、この発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。

【0088】

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

【符号の説明】

【0089】

ＰＤ…情報変遷予測装置
ＰＴ１～ＰＴｎ…ユーザ端末
ＳＶ…サーバ装置
ＮＷ…ネットワーク
ＭＤ１…制約付きニューラルネットワーク
ＭＤ２…言語モデル
１…制御部
２…プログラム記憶部
３…データ記憶部
４…通信Ｉ／Ｆ部
５…入出力Ｉ／Ｆ部
６…入力デバイス
７…出力デバイス
８…バス
１１…投稿履歴管理処理部
１２…投稿履歴取得処理部
１３…パラメータ推定処理部
１４…予測処理部
１５…予測情報出力処理部
３１…投稿履歴記憶部
３２…言語モデル記憶部
３３…制約付き学習モデル記憶部
３４…パラメータ記憶部
３５…予測情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】