特開 2024-39333 感情推定プログラム、感情推定方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024039333

(43)【公開日】2024-03-22

(54)【発明の名称】感情推定プログラム、感情推定方法および情報処理装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20240314BHJP

【ＦＩ】

A61B5/16 120

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022143807

(22)【出願日】2022-09-09

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】井手 健太

【テーマコード（参考）】

4C038

【Ｆターム（参考）】

4C038PP03

4C038PS00

4C038PS03

4C038PS05

(57)【要約】

【課題】感情を高精度に推定することを課題とする。
【解決手段】情報処理装置は、人物のバイタルデータから特定された人物の生理反応情報を取得する。情報処理装置は、人物を撮影した映像データから特定された人物の身体的情報を取得する。情報処理装置は、取得した生理反応情報と、身体的情報とを第一の機械学習モデルに入力することで、人物の固有性格を示す心理的特性を生成する。情報処理装置は、生成された心理的特性に基づいて、人物の感情を推定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

コンピュータに、
人物のバイタルデータから特定された人物の生理反応情報を取得し、
前記人物を撮影した映像データから特定された前記人物の身体的情報を取得し、
取得した前記生理反応情報と、前記身体的情報とを第一の機械学習モデルに入力することで、前記人物の固有性格を示す心理的特性を生成し、
生成された前記心理的特性に基づいて、前記人物の感情を推定する、
処理を実行させることを特徴とする感情推定プログラム。

【請求項2】

前記推定する処理は、
前記心理的特性と、前記生理反応情報と、前記身体的情報とを第二の機械学習モデルに入力することで、前記人物の感情を推定する、
ことを特徴とする請求項１に記載の感情推定プログラム。

【請求項3】

前記心理的特性とは、感情および心理状態に関わらず、前記人物が固有に有する特性である、ことを特徴とする請求項１または２に記載の感情推定プログラム。

【請求項4】

前記取得する処理は、
電子機器を利用している人物のバイタルデータに基づいて、前記人物の生理反応情報を生成し、
前記取得する処理は、
前記電子機器を利用している人物を撮影した映像データから特定された前記人物の身体的情報を取得し、
前記生成する処理は、
前記人物の生理反応情報と前記身体的情報とを前記第一の機械学習モデルに入力することで、前記心理的特性を生成し、
前記推定する処理は、
前記心理的特性に基づいて推定される前記人物の感情の変化のパターンに基づいて、前記電子機器を利用している人物の特殊詐欺の発生有無を推定する、
ことを特徴とする請求項１に記載の感情推定プログラム。

【請求項5】

コンピュータが、
人物のバイタルデータから特定された人物の生理反応情報を取得し、
前記人物を撮影した映像データから特定された前記人物の身体的情報を取得し、
取得した前記生理反応情報と、前記身体的情報とを第一の機械学習モデルに入力することで、前記人物の固有性格を示す心理的特性を生成し、
生成された前記心理的特性に基づいて、前記人物の感情を推定する、
処理を実行することを特徴とする感情推定方法。

【請求項6】

人物のバイタルデータから特定された人物の生理反応情報を取得し、
前記人物を撮影した映像データから特定された前記人物の身体的情報を取得し、
取得した前記生理反応情報と、前記身体的情報とを第一の機械学習モデルに入力することで、前記人物の固有性格を示す心理的特性を生成し、
生成された前記心理的特性に基づいて、前記人物の感情を推定する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、感情推定プログラム、感情推定方法および情報処理装置に関する。

【背景技術】

【0002】

近年、ウェアラブル端末などの発達により、心拍数や呼吸数などの生理反応情報の取得が容易になり、生理反応情報を活用した感情推定技術が利用されている。例えば、電話で会話中の対象者の生理反応情報を取得し、取得された生理反応情報から感情を推定し、推定された感情を用いて特殊詐欺を防止する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１０６６８９号公報

【特許文献2】特開２０１９－１５３３０３号公報

【特許文献3】特開２０１３－４６６９１号公報

【特許文献4】米国特許出願公開第２０１４／０３２３８１７号明細書

【特許文献5】米国特許出願公開第２０１３／０２３８３９４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記生理反応情報から推定される感情は、精度が高いとは言い難い。例えば、心理状態と生理反応との連動性には個人差が大きく、不安になると心拍数が早くなる人もいれば、不安になっても心拍数が変化しない人もいるので、生理反応から推定された感情は正確性に欠ける。

【0005】

一つの側面では、感情を高精度に推定することができる感情推定プログラム、感情推定方法および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

第１の案では、感情推定プログラムは、コンピュータに、人物のバイタルデータから特定された人物の生理反応情報を取得し、前記人物を撮影した映像データから特定された前記人物の身体的情報を取得し、取得した前記生理反応情報と、前記身体的情報とを第一の機械学習モデルに入力することで、前記人物の固有性格を示す心理的特性を生成し、生成された前記心理的特性に基づいて、前記人物の感情を推定する、処理を実行させることを特徴とする。

【発明の効果】

【0007】

一実施形態によれば、感情を高精度に推定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施例１にかかる情報処理装置を説明する図である。

【図2】図２は、参考技術を説明する図である。

【図3】図３は、参考技術の問題点を説明する図である。

【図4】図４は、心理的特性の具体例を説明する図である。

【図5】図５は、実施例１にかかるシステム構成を説明する図である。

【図6】図６は、実施例１にかかる情報処理装置の機能構成を示す機能ブロック図である。

【図7】図７は、第１訓練データＤＢを説明する図である。

【図8】図８は、第２訓練データＤＢを説明する図である。

【図9】図９は、第３訓練データＤＢを説明する図である。

【図10】図１０は、被害者の感情の例を示す図である。

【図11】図１１は、犯罪発生時の感情の例を示す図である。

【図12】図１２は、還付金詐欺と感情パターンの関係を示す図である。

【図13】図１３は、オレオレ詐欺と感情パターンの関係を示す図である。

【図14】図１４は、訓練データの生成を説明する図である。

【図15】図１５は、特性推定モデルの機械学習を説明する図である。

【図16】図１６は、感情推定モデルの機械学習を説明する図である。

【図17】図１７は、犯罪リスク推定モデルの機械学習を説明する図である。

【図18】図１８は、心理的特性の推定を説明する図である。

【図19】図１９は、感情の推定を説明する図である。

【図20】図２０は、犯罪リスクの推定を説明する図である。

【図21】図２１は、感情パターンの特定例を説明する図である。

【図22】図２２は、機械学習処理の流れを説明するフローチャートである。

【図23】図２３は、犯罪リスクの推定処理の流れを説明するフローチャートである。

【図24】図２４は、ハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0009】

以下に、本願の開示する感情推定プログラム、感情推定方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【実施例0010】

（情報処理装置の説明）
図１は、実施例１にかかる情報処理装置１０を説明する図である。図１に示す情報処理装置１０は、電話などを用いた特殊詐欺、店舗内での不審者検知、職場での社員のストレス検知などを行う場合に、対象者を撮像した映像や画像などを含む撮像データを用いて感情を高精度に推定するコンピュータ装置の一例である。

【0011】

近年、オレオレ詐欺や還付金詐欺など電話での詐欺被害が大幅に増加している。通話内容の音声を分析し、詐欺被害を未然に防ごうとする手法が提案されている。しかし、犯人の手口もそれに合わせるように複雑化かつ巧妙化するためすぐに手法が適用できなくなる問題がある。このため、犯行手口に依存しない検知方法が求められる。

【0012】

そこで、詐欺全般に共通して被害者に生じる感情の変化（緊張、焦りなど）に着目すると、感情推定によって詐欺に巻き込まれている状態を検知できる。近年では、ウェアラブル端末などの発達により簡易に取得可能なことから、心拍数や呼吸数などの生理反応情報を活用した感情推定技術が存在する。

【0013】

図２は、参考技術を説明する図である。図２に示すように、参考技術では、通話中の対象者が身に着けているウェアラブル端末から生理反応情報を取得し、学習済みの機械学習モデルに生理反応情報を入力して人物の感情を推定する。そして、参考技術では、推定された人物の感情を用いて、特殊詐欺を受けているか否かを判定する。しかし、生理反応情報と感情の連動性については個人差が大きく、生理反応情報のみによる感情推定には限界がある。

【0014】

図３は、参考技術の問題点を説明する図である。なお、図３の左軸は、心拍数を示し、右軸は、心理学で用いられる心理状態（興奮度など）を表す指標であり、数値が高いほど興奮状態であることを示す。図３の（ａ）は、心拍数が下がると、興奮状態が低下して冷静な状態に変化しており、生理反応と心理状態が連動している人物を示している。一方、図３の（ｂ）は、心拍数が下がっても、心理状態に変化はなく、生理反応と心理状態が連動していない人物を示している。

【0015】

このように、個人間で生理反応と心理状態の反応差がある。特に生理反応と心理状態が連動しない人の場合、生理反応のみで感情を推定することは難しいと考えられ、個人特性情報を感情推定の特徴量として利用することを考える。したがって、本実施例では、生理反応を活用した感情推定において上記個人差を吸収した手法を開発することで、精度改善を実現し、高精度な感情推定によって、詐欺検知を実現する。

【0016】

ここで、本実施例において採用する個人特性情報の一例である心理的特性を説明する。図４は、心理的特性の具体例を説明する図である。心理的特性とは、感情および心理状態に関わらず、人物の固有に有する特性である。この心理的特性とは、例えば心配性である，細かいことは気にしない，人を疑う傾向があるなど、人物の性格、個性、特徴に類似する情報でもある。このため、人物自身が認識する心理的特性と、人物に関連する関係者がその人物に抱く心理的特性との２面性があり、本人へのアンケート、関係者へのアンケート、心理的実験などにより特定することができる。

【0017】

本実施例では、図４に示すように、猜疑心と不安特性を用いる。例えば、ユーザＡは、猜疑心（５０）かつ不安特性（２４）が心理的特性であり、ユーザＢは、猜疑心（４４）かつ不安特性（２４）が心理的特性である。

【0018】

なお、猜疑心を表す尺度としては、ＰＯＭＳ２（Profile Of Mood States Second Edition）で用いられる尺度を用いることができる。不安特性については、ＳＴＡＩ（State－Trait Anxiety Inventory）で測定される特性不安尺度を用いることができる。なお、これらの尺度は、算出値そのものを用いてもよく、正規化された値でもよい。もっとも、感情および心理状態に関わらず、人物の固有に有する特性であれば、他の指標を採用することができる。

【0019】

（システム構成）
次に、上記情報処理装置１０を用いた特殊詐欺検知システムについて説明する。図５は、実施例１にかかるシステム構成を説明する図である。図５に示すように、このシステムは、特殊詐欺防止ソリューション１、特殊詐欺グループ２、利用者宅３、自治体４を含む、官民が連携したシステムである。このシステムは、犯罪心理などを用いて訓練された犯罪検知モデルを用いて特殊詐欺をリアルタイムに検出して特殊詐欺の発生を未然に防止し、進化する特殊詐欺の特徴量を訓練して自治体等に効果的な指導を行う特殊詐欺防止システムの一例である。

【0020】

特殊詐欺防止ソリューション１は、企業等が実行するサービスであり、犯罪心理学と機械学習とを融合させた犯罪検知モデルを生成して提供する。この犯罪検知モデルは、犯罪心理学により特定された特殊詐欺発生時の利用者の感情のパターンを訓練したモデルである。例えば、犯罪検知モデルは、利用者の特徴量を示す特徴データの一例であるセンシングデータから利用者の感情を推定する機械学習モデルと、感情のパターンから特殊詐欺の可能性を推定する機械学習モデルを含み、電話中の利用者のリアルタイムな感情から特殊詐欺の可能性を推定する。

【0021】

特殊詐欺グループ２は、利用者宅３に電話をかけて、特殊詐欺などの犯罪を行う犯罪者である。例えば、特殊詐欺グループ２は、オレオレ詐欺、預貯金詐欺、キャッシュカード詐欺、架空料金詐欺、還付金詐欺、金融商品詐欺、ギャンブル詐欺、交際あっせん詐欺などを含む既知の特殊詐欺や、これらの詐欺の組合せや新たな詐欺を含む未知の特殊詐欺を行う。

【0022】

利用者宅３は、例えば高齢者などの利用者の自宅であり、特殊詐欺グループ２による詐欺の対象となっている利用者宅である。この利用者宅３には、情報処理装置１０と、映像や顔画像を撮像するカメラ、音声を集音するマイク、心拍数や呼吸数を測定するミリ波センサ、腕や指に装着して脈波などを測定するウェアラブル端末などを含む非接触型のセンシング端末とが設置されている。また、情報処理装置１０は、特殊詐欺防止ソリューション１によりされた犯罪検知モデル有し、利用者の電子機器（例えば電話機）や各センシング端末と通信可能に接続される。

【0023】

自治体４は、高齢者への指導、講習会などを行い、特殊詐欺の被害を防止する様々な施策を行う。なお、ここで例示した講習会は、自治体４などの地方公共団体等が行う講習会に限らず、民間が提供するサービス、町内会が行う講習会、学校で行われる講習会などが含まれる。

【0024】

このようなシステムにおいて、情報処理装置１０は、人物のバイタルデータから特定された人物の生理反応情報（呼吸数、脈拍、心拍など）を取得する。情報処理装置１０は、人物を撮影した映像データから特定された人物の身体的情報（性別、年齢など）を取得する。そして、情報処理装置１０は、取得した生理反応情報と、身体的情報とを第１の機械学習モデルに入力することで、人物の固有性格を示す心理的特性を生成する。情報処理装置１０は、生成された心理的特性に基づいて、人物の感情を推定する。

【0025】

その後、情報処理装置１０は、通話中に随時推定される心人物の感情の変化のパターンに基づいて、人物に対する特殊詐欺の発生有無を推定する。この結果、情報処理装置１０は、精度が向上した感情推定を用いて、より正確に対象者が特殊詐欺被害に遭っている状態を検知することができる。

【0026】

（機能構成）
図６は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。図６に示すように、情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。

【0027】

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、ウェアラブル端末やミリ波レーダなどのセンシング端末からセンシングデータを受信し、カメラから映像データを受信し、利用者へのアラームやメッセージなどを送信する。

【0028】

記憶部１２は、センシングデータや撮像データなどを含む各種データや、制御部２０が実行するプログラムなどを記憶する処理部の一例であり、例えばメモリやハードディスクなどにより実現される。この記憶部１２は、第１訓練データＤＢ１３、第２訓練データＤＢ１４、第３訓練データＤＢ１５、特性推定モデル１６、感情推定モデル１７、犯罪リスク推定モデル１８を記憶する。

【0029】

第１訓練データＤＢ１３は、特性推定モデル１６の機械学習に用いる第１訓練データを記憶するデータベースである。図７は、第１訓練データＤＢ１３を説明する図である。図７に示すように、第１訓練データＤＢ１３が記憶する第１訓練データは、機械学習時の説明変数となる「身体的情報」および「生理反応情報」と、機械学習時に目的変数となる「心理的特性」とが対応付けられたデータである。

【0030】

ここで記憶される「身体的情報」は、性別、年齢、身長などの人物の身体に関する情報であり、例えば男性を１、女性を０で表すなど数値化した情報を設定する。「生理反応情報」は、人物からセンシング可能なセンシングデータやバイタルデータから特定される情報の一例であり、例えば心拍数や呼吸数などであり、測定値そのままを設定することもでき、正規化した情報を設定することもできる。「心理的特性」は、感情および心理状態に関わらず、人物の固有に有する特性を示し、例えば猜疑心や不安特性を示す尺度などである。図７の例では、「猜疑心の尺度が５０」かつ「不安特性の尺度が２０」である心理的特性を有する「７０代、男性（１）」の心拍数が７０、呼吸数が１３（正規化した値）であることが設定されている。

【0031】

第２訓練データＤＢ１４は、感情推定モデル１７の機械学習に用いる第２訓練データを記憶するデータベースである。図８は、第２訓練データＤＢ１４を説明する図である。図８に示すように、第２訓練データＤＢ１４が記憶する第２訓練データは、機械学習時の説明変数となる「身体的情報」、「生理反応情報」、「心理的特性」と、機械学習時に目的変数となる「感情」とが対応付けられたデータである。

【0032】

ここで記憶される「身体的情報」、「生理反応情報」、「心理的特性」は、図７と同様の情報なので、詳細な説明は省略する。「感情」は、その人物の感情を示す情報であり、「怒る」、「悲しい」などの各感情を数値化した情報を設定することもできる。例えば、「怒る感情」には「０」、「不安な感情」には「１」などを設定する。図８の例では、「猜疑心の尺度が５０」かつ「不安特性の尺度が２０」である心理的特性を有する「７０代、男性（１）」の心拍数が７０、呼吸数が１３（正規化した値）であるとき、感情は「感情Ａ」であることが設定されている。

【0033】

なお、ここで設定される「感情」は、電話中の利用者の表情であり、うれしい、悲しいなどの一般的な指標を採用することもでき、ＰＯＭ２で定義される「怒り～敵意」、「混乱～当惑」、「抑うつ～落込み」、「疲労～無気力」、「緊張～不安」、「活気～活力」、「友好」の７尺度を採用することもできる。

【0034】

第３訓練データＤＢ１５は、犯罪リスク推定モデル１８の機械学習に用いる第３訓練データを記憶するデータベースである。図９は、第３訓練データＤＢ１５を説明する図である。図９に示すように、第３訓練データＤＢ１５が記憶する第３訓練データは、機械学習時の説明変数となる「感情パターン」と、機械学習時に目的変数となる「特殊詐欺」とが対応付けられたデータである。ここで記憶される「感情パターン」は、電話中の利用者の感情の変化のパターンを示し、電話機に対する通話ボタンの応答操作などの所定の操作が検出されてから予め設定された時間内での人物の感情の変化のパターンである。「特殊詐欺」は、その感情パターンと対応付けられる特殊詐欺を特定する情報であり、複数の犯罪行為のうち当該感情パターンに対応する犯罪行為である。図９の例では、感情が感情Ａ、感情Ｂ、感情Ａと変化したときの特殊詐欺が「詐欺ＡＡ」であることが示されている。

【0035】

ここで、実施例１で用いる「感情」について、特殊詐欺グループから電話を受ける利用者（被害者）と、利用者に電話をかける特殊詐欺グループ（加害者）の両側面から説明する。まず、感情を詳細に説明する。図１０は、被害者の感情の例を示す図である。ここでは、一例として、「友好」、「活気～活力」、「混乱～当惑」について説明する。図１０に示すように、各感情は、利用者の状態、利用者の口調や雰囲気、利用者の感情内容に識別される。

【0036】

例えば、感情「友好」の状態は、利用者が対話の相手に、導入や信頼などの注意関心を持つ状態である。この「友好」の状態では、利用者の口調や雰囲気が「丁寧、明るい、同調」となり、利用者の感情内容としては対話の相手に「信頼感を持つ、興味関心を持つ」ことが特徴的である。

【0037】

感情「混乱～当惑」の状態は、利用者が対話の相手に、動揺して心拍変動が発生する状態である。この「混乱～当惑」の状態では、利用者の口調や雰囲気が「丁寧、平坦」となり、利用者の感情内容としては対話の相手に「焦り、欲求を促進させる」ことが特徴的である。

【0038】

感情「活気～活力」の状態は、利用者が対話の相手に、行動促進などの覚醒水準の亢進が発生する状態である。この「活気～活力」の状態では、利用者の口調や雰囲気が「丁寧、平坦」となり、利用者の感情内容としては「行動を移す」ことが特徴的である。

【0039】

次に、被害発生時の加害者の誘導と被害者の感情について説明する。図１１は、犯罪発生時の感情の例を示す図である。図１１に示すように、加害者は、被害者に上記「友好」の感情を抱かせるために「丁寧，明るい，同調」などの口調や雰囲気で、被害者に「信頼感を与える，興味関心を持たせる」ことが目的として「役所ですが、お金が戻ります，書類が届いていませんか」などのキーワードを含む会話を行う。この結果、被害者は、公的機関への無条件の信頼、還付金への期待が発生し、「友好」の感情を持つようになる。

【0040】

また、加害者は、被害者に上記「混乱～当惑」の感情を抱かせるために「丁寧、平坦」などの口調や雰囲気で、被害者に「焦らせる，欲求を促進させる」ことが目的で「払い戻しの期日が過ぎた，特別・あなただけ，通帳とキャッシュカード，ＡＴＭで還付」などのキーワードを含む会話を行う。この結果、被害者は、焦りが生じ、疑いの気持ちが芽生え、説得されることとなり、「混乱～当惑」の感情を持つようになる。

【0041】

また、加害者は、被害者に上記「活気～活力」の感情を抱かせるために「丁寧、平坦」などの口調や雰囲気で、被害者に「通帳などを持ってＡＴＭに向かわせる」ことを目的として「係の者と電話で，指示に従って」などのキーワードを含む会話を行う。この結果、被害者は、ＡＴＭでの操作に不安感を感じ、指示に従おうとし、「活気～活力」の感情を持つようになる。

【0042】

上述したように、加害者は、特殊詐欺ごとに巧みな話術で感情を使い分けて、被害者の感情を誘導することにより、特殊詐欺を行う。つまり、特殊詐欺ごとに、被害者の感情の変化が異なることが多い。そこで、犯罪リスク推定モデル１８の機械学習には、過去の履歴、犯罪心理学の解析、加害者や被害者のアンケートなどにより、「感情パターン」と「特殊詐欺」と対応付けた訓練データを用いる。

【0043】

ここで、一例として、特殊詐欺と感情パターンとの組合せについて説明する。図１２は、還付金詐欺と感情パターンの関係を示す図である。図１２に示すように、還付金詐欺では、犯人が利用者に電話をかけ、「お金が戻ってきますよ」などの興味関心を持たせる話を始め、「払い戻しの期日が過ぎた」などの焦らせる話を行い、最終的に「手数料を払えれば大丈夫です」などの行動を促進させる話を行うことが多い。この場合、利用者の感情は、興味関心の話により「友好」状態となり、焦らせる話により「混乱～当惑」状態となった後、行動を促進させる話により「活気～活力」状態となる。すなわち、「還付金詐欺」では、ポジティブな感情からネガティブの感情への変化が発生する。この結果、「還付金詐欺」には、「友好、混乱～当惑、活気～活力」の感情パターンが対応付けられる。

【0044】

図１３は、オレオレ詐欺と感情パターンの関係を示す図である。図１３に示すように、オレオレ詐欺では、利用者の身内を装う第１の犯人が利用者に電話をかけ、「会社のお金を落とした」などの焦らせる話を始め、途中で上司役の第２の犯人に代わり、「私も負担しますので大丈夫です」などの信頼感を持たせる話を行う。その後、第１の犯人が「お金を振り込んで欲しい」などの焦らせる話を再度行い、第２の犯人が「私が電話でサポートします」などの行動を促進させる話を行うことが多い。この場合、利用者の感情は、焦らせる話により「混乱～当惑」状態となり、信頼感を持たせる話により「友好」状態となり、再度、焦らせる話により「混乱～当惑」状態となった後、行動を促進させる話により「活気～活力」状態となる。すなわち、「オレオレ詐欺」では、ネガティブな感情からポジティブの感情への変化が発生する。この結果、「オレオレ詐欺」には、「混乱～当惑、友好、混乱～当惑、活気～活力」の感情パターンが対応付けられる。

【0045】

図６に戻り、特性推定モデル１６は、犯罪検知モデルに含まれる、心理的特性を推定する機械学習モデルである。具体的には、特性推定モデル１６は、身体的情報と生理反応情報の入力に応じて、心理的特性を出力する第１の機械学習モデルであり、心理的特性を示す各指標に該当する推定値（確率）を出力する多値判定モデルである。なお、特性推定モデル１６には、ニューラルネットワークなどの様々な数理モデルを採用することができる。

【0046】

感情推定モデル１７は、犯罪検知モデルに含まれる、感情を推定する機械学習モデルである。具体的には、感情推定モデル１７は、身体的情報と生理反応情報と心理的特性の入力に応じて、感情を出力する第２の機械学習モデルであり、複数の感情のうち各感情に該当する推定値（確率）を出力する多値判定モデルである。なお、感情推定モデル１７には、ニューラルネットワークなどの様々な数理モデルを採用することができる。

【0047】

犯罪リスク推定モデル１８は、犯罪検知モデルに含まれる、特殊詐欺などの犯罪の発生リスクを推定する機械学習モデルである。具体的には、犯罪リスク推定モデル１８は、少なくとも１つ以上の感情が含まれる感情パターンの入力に応じて犯罪リスクを出力する機械学習モデルであり、複数の犯罪のうち各犯罪の発生リスク（確率）を推定する多値判定モデルである。なお、犯罪リスク推定モデル１８には、ニューラルネットワークなどの様々な数理モデルを採用することができる。

【0048】

制御部２０は、情報処理装置１０全体を司る処理部であり、例えばプロセッサなどにより実現される。この制御部２０は、機械学習部３０、運用部４０、報知部５０を有する。なお、機械学習部３０、運用部４０、報知部５０は、プロセッサが有する電子回路やプロセッサが実行するプロセスなどにより実現される。

【0049】

機械学習部３０は、データ生成部３１、第１訓練部３２、第２訓練部３３、第３訓練部３４を有し、リアルタイムの特殊詐欺の検出に先立って、各種機械学習モデルを生成する処理部である。

【0050】

データ生成部３１は、心理学的実験を行って、機械学習用の各訓練データを生成する処理部である。図１４は、訓練データの生成を説明する図である。図１４に示すように、データ生成部３１は、実験前に被験者に実施したアンケートにより、被験者の心理的特性および被験者の身体的情報を取得する（Ｓ１）。続いて、被験者は、生理反応が測定可能なウェアラブル端末を装着する（Ｓ２）。

【0051】

その後、データ生成部３１は、被験者に対して、詐欺音声などを聞かせるなどの任意の刺激を与え、ウェアラブル端末が測定する刺激前後の生理反応を一定期間記録する（Ｓ３）。また、データ生成部３１は、同様に刺激前後の感情を、被験者へのアンケートによって記録する（Ｓ４）。

【0052】

このようにすることで、データ生成部３１は、被験者ごとに、身体的情報、心理的特性、ある感情、ある感情のときの生理反応情報を関連付けたデータを収集する。そして、データ生成部３１は、「身体的情報、生理反応情報、心理的特性」を対応付けた訓練データを第１訓練データＤＢ１３に格納し、「身体的情報、生理反応情報、心理的特性、感情」を対応付けた訓練データを第２訓練データＤＢ１４に格納する。

【0053】

第１訓練部３２は、第１訓練データＤＢ１３に記憶される第１訓練データを用いた機械学習により、特性推定モデル１６を生成する処理部である。具体的には、第１訓練部３２は、教師有学習により、「身体的情報、生理反応情報」の入力に応じて「心理的特性」を推定する特性推定モデル１６を生成する。

【0054】

図１５は、特性推定モデル１６の機械学習を説明する図である。図１５に示すように、第１訓練部３２は、説明変数「身体的情報（性別：１、年齢：７０）、生理反応情報（心拍数：７０、呼吸数：１３）」と目的変数「心理的特性（猜疑心：５０、不安特性：２０）」とを有する第１訓練データを特性推定モデル１６に入力し、特性推定モデル１６の出力結果を取得する。そして、第１訓練部３２は、特性推定モデル１６の出力結果と目的変数「心理的特性（猜疑心：５０、不安特性：２０）」との誤差が最小化するように、特性推定モデル１６の各種パラメータを更新する。

【0055】

第２訓練部３３は、第２訓練データＤＢ１４に記憶される第２訓練データを用いた機械学習により、感情推定モデル１７を生成する処理部である。具体的には、第２訓練部３３は、教師有学習により、「身体的情報、生理反応情報、心理的特性」の入力に応じて「感情」を推定する感情推定モデル１７を生成する。

【0056】

図１６は、感情推定モデル１７の機械学習を説明する図である。図１６に示すように、第２訓練部３３は、説明変数「身体的情報（性別：１、年齢：７０）、生理反応情報（心拍数：７０、呼吸数：１３）、心理的特性（猜疑心：５０、不安特性：２０）」と目的変数「感情（感情Ａ）」とを有する第２訓練データを感情推定モデル１７に入力し、感情推定モデル１７の出力結果を取得する。そして、第２訓練部３３は、感情推定モデル１７の出力結果と目的変数「感情（感情Ａ）」との誤差が最小化するように、感情推定モデル１７の各種パラメータを更新する。

【0057】

第３訓練部３４は、第３訓練データＤＢ１５に記憶される第３訓練データを用いた機械学習により、犯罪リスク推定モデル１８を生成する処理部である。具体的には、第３訓練部３５は、教師有学習により、感情の時系列変化である「感情パターン」の入力に応じて「特殊詐欺の発生確率」を推定する犯罪リスク推定モデル１８を生成する。

【0058】

図１７は、犯罪リスク推定モデル１８の機械学習を説明する図である。図１７に示すように、第３訓練部３４は、説明変数「感情パターン（感情Ａ→感情Ｂ→感情Ａ）」と目的変数「犯罪ＡＡ」とを有する第３訓練データを犯罪リスク推定モデル１８に入力し、犯罪リスク推定モデル１８の出力結果を取得する。そして、第３訓練部３４は、犯罪リスク推定モデル１８の出力結果と目的変数「犯罪ＡＡ」と誤差が最小化するように、犯罪リスク推定モデル１８の各種パラメータを更新する。

【0059】

運用部４０は、取得部４１、特性推定部４２、感情推定部４３、リスク推定部４４を有し、機械学習部３０により生成された各種機械学習モデルを用いて、利用者の電話内容から特殊詐欺の犯罪リスクを検出する処理部である。すなわち、運用部４０は、既知の特殊詐欺および未知の特殊詐欺の発生リスクをリアルタイムに推定する。

【0060】

取得部４１は、利用者のセンシングデータを取得する処理部である。具体的には、取得部４１は、利用者宅３に設置されるカメラ、利用者宅３に設置されるミリ波レーダ、利用者が装着しているウェアラブル端末から各種センシングデータを取得する。

【0061】

例えば、取得部４１は、固定電話であれば呼び出し音、携帯電話であれば無線通信による通話開始操作などの電話機の操作を検出して通話の開始を検出すると、電話機に装着されたカメラが撮影した映像データを取得する。そして、取得部４１は、既知の画像解析や、画像データから身体的情報を推定する機械学習モデルなどを用いて、取得される映像データから利用者の身体的情報を取得する。

【0062】

また、取得部４１は、通話の開始を検出すると、通話を行っている間、通話中の利用者のウェアラブル端末が測定した生理反応情報を随時取得する。そして、取得部４１は、取得された身体的情報と生理反応情報とを対応付けて、記憶部１２に格納し、特性推定部４２に出力する。

【0063】

特性推定部４２は、取得部４１により取得された身体的情報と生理反応情報とを特性推定モデル１６に入力し、利用者の心理的特性を推定する処理部である。図１８は、心理的特性の推定を説明する図である。図１８に示すように、特性推定部４２は、通話中の利用者の映像データを分析することで取得された利用者の身体的情報と、通話中の利用者の生理反応情報とを、学習済みの特性推定モデル１６に入力する。

【0064】

そして、特性推定部４２は、学習済みの特性推定モデル１６の出力結果に基づき、心理的特性を推定する。例えば、特性推定部４２は、出力結果に含まれる猜疑心の各尺度および推定確率のうち、推定確率が最も高い尺度を猜疑心の推定結果として特定し、出力結果に含まれる不安特性の各尺度および推定確率のうち、推定確率が最も高い尺度を不安特性の推定結果として特定する。そして、特性推定部４２は、取得部４１により取得された身体的情報と生理反応情報と、推定された心理的特性とを、感情推定部４３に出力する。

【0065】

感情推定部４３は、取得部４１により取得された身体的情報と生理反応情報と、特性推定部４２により推定された心理的特性とを、学習済みの感情推定モデル１７に入力することで、利用者の感情を推定する処理部である。

【0066】

図１９は、感情の推定を説明する図である。図１９に示すように、感情推定部４３は、特性推定モデル１６を用いて心理的特性が推定されると、推定された心理的特性と推定に用いられた身体的情報および生理反応情報とを感情推定モデル１７に入力して、感情の推定結果を取得する。そして、感情推定部４３は、感情の推定結果のうち、閾値以上の推定確率である感情もしくは最も推定確率が高い感情を、推定結果と特定する。感情推定部４３は、推定結果を時系列で記憶部１２等に格納する。

【0067】

リスク推定部４４は、感情推定部４３により推定された感情と犯罪リスク推定モデル１８とを用いて、特殊詐欺の発生リスクを推定する処理部である。例えば、リスク推定部４４は、推定された感情を時系列に組み合わせて感情パターンを生成して、学習済みの犯罪リスク推定モデル１８に入力し、特殊詐欺の発生リスクの推定結果を取得する。

【0068】

例えば、リスク推定部４４は、感情推定部４３により推定された人物の感情が所定の期間でネガティブな状態からポジティブな状態に遷移する条件を満たすときに、人物に対する特殊詐欺の電話がされていることを推定する。

【0069】

また、リスク推定部４４は、犯罪リスク推定モデル１８に対して、推定された感情パターンを入力することで、複数の犯罪行為のそれぞれの犯罪行為の発生リスクの大きさを取得し、発生リスクの大きさに基づいて、複数の犯罪行為の中から人物に対する犯罪行為を特定する。例えば、リスク推定部４４は、犯罪リスク推定モデル１８から取得した発生リスクの推定結果において、閾値以上の推定確率である犯罪もしくは最も推定確率が高い犯罪を、推定結果と特定する。リスク推定部４４は、犯罪が検出された場合に、報知部５０に、推定された犯罪に関する情報を出力する。

【0070】

ここで、犯罪リスクの推定について説明する。図２０は、犯罪リスクの推定を説明する図である。図２０に示すように、運用部４０は、電話で会話中の利用者の外見的な情報や内面的な情報として（１）身体的情報と（２）生理反応情報を取得し、（３）感情および心理状態に関わらず人物の固有に有する心理的特性を取得する。運用部４０は、随時取得される（１）、（２）、（３）の各情報を対応付けて感情推定モデル１７に入力して人物の感情を随時推定する。

【0071】

そして、運用部４０は、会話開始から順次推定される各感情に関する情報を用いて感情パターンを生成する。例えば、運用部４０は、会話時間の時系列の順で、「活気～活力」、「混乱～当惑」、「活気～活力」の感情パターンを生成し、犯罪リスク推定モデル１８に入力し、「特殊詐欺推定度：〇％」などの推定結果を取得する。

【0072】

上記感情パターンは、例えば５分間隔などのように予め定めた時間内で推定された感情の情報を用いることで生成される。図２１は、感情パターンの特定例を説明する図である。図２１に示すように、運用部４０は、時刻Ｔ０で電話が開始されると、随時、感情推知を実行することで、Ｔ１で感情Ａを推定、Ｔ２で感情Ｂを推定し、Ｔ３で感情Ａを推定し、Ｔ４で感情Ｃを推定し、Ｔ５で感情Ｂを推定する。

【0073】

この場合、運用部４０は、最初に感情（感情Ａ）が推定されたＴ１を起点として指定時間内に推定された感情Ｂと感情Ｃを用いて、感情Ａと感情Ｂと感情Ａとを含む感情パターン１を生成し、犯罪リスクの推定を実行する。例えば、運用部４０は、感情パターン「感情Ａ、感情Ｂ、感情Ａ」を犯罪リスク推定モデル１８に入力して、「犯罪リスクなし」を推定する。

【0074】

続いて、運用部４０は、Ｔ１の次に感情（感情Ｂ）が推定されたＴ２を起点として指定時間内に推定された感情Ａと感情Ｃを用いて、感情Ｂと感情Ａと感情Ｃとを含む感情パターン２を生成し、犯罪リスクの推定を実行する。例えば、運用部４０は、感情パターン「感情Ｂ、感情Ａ、感情Ｃ」を犯罪リスク推定モデル１８に入力して、「犯罪リスクなし」を推定する。

【0075】

続いて、運用部４０は、Ｔ２の次に感情（感情Ａ）が推定されたＴ３を起点として指定時間内に推定された感情Ｃと感情Ｂを用いて、感情Ａと感情Ｃと感情Ｂとを含む感情パターン３を生成し、犯罪リスクの推定を実行する。例えば、運用部４０は、感情パターン「感情Ａ、感情Ｃ、感情Ｂ」を犯罪リスク推定モデル１８に入力して、「犯罪リスクあり」を推定する。

【0076】

このように、運用部４０は、電話による会話が継続中の間、所定間隔内の感情を用いて感情パターンを生成して、犯罪リスクの推定を繰り返して実行する。なお、図２１で示した感情パターンの生成間隔は一例であり、任意に設定変更することができる。例えば、Ｔ、Ｔ２、Ｔ３を用いて感情パターンを生成し、次は、Ｔ４、Ｔ５、Ｔ６を用いて感情パターンを生成することもできる。

【0077】

図６に戻り、報知部５０は、運用部４０により犯罪リスクの推定された場合に、関係者に報知する処理部である。例えば、報知部５０は、推定確率が閾値以上である「犯罪発生のリスク」が推定された場合に、利用者宅３に設置されるスピーカに対して「電話相手は詐欺グループの可能性があります」などのメッセージを送信したり、利用者の携帯電話やウェアラブル端末を振動させたりして注意を促す。報知部５０は、予め登録されている緊急連絡先に、「〇〇様が電話中で特殊詐欺の可能性があります」などの緊急メッセージを送信することもできる。報知部５０は、警察や自治体へ通報することもできる。

【0078】

（機械学習処理の流れ）
図２２は、機械学習処理の流れを説明するフローチャートである。図２２に示すように、機械学習部３０は、処理開始が指示されると（Ｓ１０１：Ｙｅｓ）、被験者に心理的特性のアンケートを実施して心理的特性を取得する（Ｓ１０２）。

【0079】

続いて、機械学習部３０は、特殊詐欺の音声を被験者に聞かせて生理反応情報を収集し（Ｓ１０３）、音声終了後に、被験者に感情状態のアンケートを実施して、特殊詐欺を経験したときの感情を取得する（Ｓ１０４）。ここで、機械学習部３０は、実験を継続する場合は（Ｓ１０５：Ｎｏ）、Ｓ１０２以降を繰り返す。

【0080】

一方、機械学習部３０は、実験を終了すると（Ｓ１０５：Ｙｅｓ）、実験結果を用いて、特性推定モデル１６用の第１訓練データを生成し（Ｓ１０６）、感情推定モデル１７用の第２訓練データを生成する（Ｓ１０７）。

【0081】

その後、機械学習部３０は、生成した第１訓練データを用いて特性推定モデル１６を生成し（Ｓ１０８）、生成した第２訓練データを用いて感情推定モデル１７を生成し（Ｓ１０９）、予め用意された第３訓練データを用いて犯罪リスク推定モデル１８を生成する（Ｓ１１０）。

【0082】

（推定処理の流れ）
図２３は、犯罪リスクの推定処理の流れを説明するフローチャートである。図２３に示すように、運用部４０は、処理開始が指示されると（Ｓ２０１：Ｙｅｓ）、映像データを取得し（Ｓ２０２）、映像データを分析して、映像に写っている人物の身体的特徴を取得する（Ｓ２０３）。

【0083】

続いて、運用部４０は、映像データに写っている人物のウェアラブル端末から生理反応情報を取得する（Ｓ２０４）。そして、運用部４０は、身体的情報と生理反応情報とを特性推定モデル１６に入力して、人物の心理的特性を推定する（Ｓ２０５）。また、運用部４０は、身体的情報と生理反応情報と心理的特性とを感情推定モデル１７に入力して、人物の感情を推定する（Ｓ２０６）。ここで、運用部４０は、電話開始から所定時間が経過する前は（Ｓ２０７：Ｎｏ）、Ｓ２０２以降を繰り返す。

【0084】

一方、運用部４０は、電話開始から所定時間が経過すると（Ｓ２０７：Ｙｅｓ）、推定された感情を用いて、感情パターンを生成する（Ｓ２０８）。続いて、運用部４０は、感情パターンを犯罪リスク推定モデル１８に入力して犯罪リスクを推定する（Ｓ２０９）。

【0085】

そして、報知部５０は、運用部４０により犯罪リスクを検出された場合に（Ｓ２１０：Ｙｅｓ）、関係者に犯罪リスクを報知する（Ｓ２１１）。その後、運用部４０は、処理を継続する場合（Ｓ２１２：Ｎｏ）、Ｓ２０２以降を実行し、処理を終了する場合（Ｓ２１２：Ｙｅｓ）、犯罪リスクの推定を終了する。なお、Ｓ２１０において報知対象の犯罪リスクが検出されない場合（Ｓ２１０：Ｎｏ）、Ｓ２１１が実行されることなく、Ｓ２１２が実行される。

【0086】

（効果）
上述したように、情報処理装置１０は、映像データ等から推定した身体的特性と生理反応によって心理的特性を推定する。情報処理装置１０は、感情推定では、生理反応情報と個人特性情報（身体的特性情報と心理的特性情報）を特徴量として利用する。情報処理装置１０は、心理的特性を考慮する感情推定モデル１７によって個人差から生じる推定精度への影響を最小化することができ、推定精度を改善できる。

【0087】

また、個人特性情報のなかでも心理的特性情報は、心理学アンケートの実施を必要とし、その取得が困難および高コストであり、従来方法では、個人特性情報と生理反応情報を併用した感情推定は実現されていない。

【0088】

一方、情報処理装置１０は、心理的特性を追加することで、生理反応に基づく感情推定を高精度化し、被害者の感情の変化に着目した正確な詐欺検知を実現することができる。

【0089】

情報処理装置１０は、人物の感情パターンから犯罪を類推することができるので、既知の特殊詐欺および未知の特殊詐欺の犯罪被害を防止することができる。また、情報処理装置１０は、正確な訓練データを用いた正確な推論を行う機械学習モデルを生成することができ、不要な訓練データを用いた場合に比べて、推定処理の高速化を実現することができる。

【0090】

情報処理装置１０は、感情パターンと犯罪との関係性を訓練した犯罪リスク推定モデル１８を用いて、人物に対する犯罪の行為の発生のリスクを推定する。したがって、情報処理装置１０は、新たな犯罪が発生した場合であっても、犯罪に関連した人物の感情パターンから犯罪の発生リスクを推定することができるので、未知の特殊詐欺の犯罪も効果的に防止することができる。

【0091】

情報処理装置１０は、特殊犯罪ごとに、過去の実績や犯罪心理学から得られる感情パターンを生成して、犯罪リスク推定モデル１８に訓練させる。したがって、情報処理装置１０は、過去の実績を訓練しつつ、過去の実績から類推される未知の犯罪時の感情パターンも訓練することができる。

【実施例0092】

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

【0093】

（数値等）
上記実施例で用いたデータセット例、訓練データ例、センサ例、データ数、時間幅、感情の例や数、特殊詐欺の数や種類、感情パターン、特殊詐欺と感情パターンとの組合せ等は、あくまで一例であり、任意に変更することができる。また、各フローチャートで説明した処理の流れも矛盾のない範囲内で適宜変更することができる。

【0094】

（モデルの形態）
上記実施例では、各機械学習モデルとして多値判定モデル（多値分類モデル）を用いる例を説明したが、これに限定されるものではない。例えば、特性推定モデル１６は、生理反応と心理状態が連動するか否かの２値分類モデルを用いることもできる。

【0095】

（感情の推定）
上記実施例では、感情推定モデル１７を用いて人物の感情を推定する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、心理的特性と感情とを対応付けたルールや、心理的特性の変化と感情とを対応付けたルールなどを用いて、心理的特性を用いて感情を推定することができる。

【0096】

（感情の使用例）
上記実施例では、高精度に推定された感情を特殊詐欺の検知に用いる例を説明したが、これに限定されるものではない。例えば、推定された感情は、店舗内での不審者検知、職場での社員のストレス検知などに用いることができる。

【0097】

（特殊詐欺の推定例）
上記実施例では、犯罪リスク推定モデル１８を用いて、感情パターンから特殊詐欺の犯罪リスクを推定する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、感情パターンと特殊詐欺とを対応付けた判定ルールを保持し、判定ルールを用いて、特定された感情パターンに該当する特殊詐欺を推定することができる。

【0098】

（電子機器例）
上記実施例では、利用者宅３の電話中を例にして説明したが、これに限定されるものではない。例えば、情報処理装置１０は、銀行やコンビニエンスストアなどの店舗に設定されるＡＴＭ（Automatic Teller Machine）を利用する利用者に対しても同様のサービスを提供することができる。この場合、情報処理装置１０は、ＡＴＭ周辺に設置されるカメラやマイクからセンシングデータを取得して犯罪リスクを推定し、犯罪リスクが検出されると、店舗内にアナウンスしたり、責任者に通知したりする。

【0099】

（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0100】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、機械学習部３０と運用部４０とを別々のコンピュータ（筐体）で実現することもできる。つまり、機械学習部３０と同様の機能を実行する情報処理装置と、運用部４０と同様の機能を実行する情報処理装置とで実現することもできる。

【0101】

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0102】

（ハードウェア）
図２４は、ハードウェア構成例を説明する図である。図２４に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図２４に示した各部は、バス等で相互に接続される。

【0103】

通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図６に示した機能を動作させるプログラムやＤＢを記憶する。

【0104】

プロセッサ１０ｄは、図６に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図６等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、機械学習部３０と運用部４０と報知部５０等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、機械学習部３０と運用部４０と報知部５０等と同様の処理を実行するプロセスを実行する。

【0105】

このように、情報処理装置１０は、プログラムを読み出して実行することで情報処理方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、上記実施例が同様に適用されてもよい。

【0106】

このプログラムは、インターネットなどのネットワークを介して配布されてもよい。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行されてもよい。