(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-06
(45)【発行日】2022-10-17
(54)【発明の名称】生成装置、生成方法及び生成プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20221007BHJP
【FI】
G06Q50/10
(21)【出願番号】P 2019053759
(22)【出願日】2019-03-20
【審査請求日】2020-12-16
【前置審査】
(73)【特許権者】
【識別番号】319013263
【氏名又は名称】ヤフー株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岩▲瀬▼張 太士
【審査官】山崎 誠也
(56)【参考文献】
【文献】特開2018-068618(JP,A)
【文献】特開2015-032233(JP,A)
【文献】米国特許出願公開第2010/0223581(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付部と、
前記受付部により受け付けられた示唆情報に基づいて、前記対象者の感情に関する情報を生成する生成部と
を有し、
前記生成部は、
複数の前記利用者により登録された示唆情報に基づいて、
当該示唆情報を登録した前記利用者ごとの重みを考慮して前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成装置。
【請求項2】
前記受付部は、
前記示唆情報として、前記利用者が推定する前記対象者の感情を示す情報の登録を受け付け、
前記生成部は、
前記利用者が過去に推定した前記対象者の感情の正解率に応じた重みを考慮して、前記対象者の感情を推定する
ことを特徴とする請求項
1に記載の生成装置。
【請求項3】
前記生成部は、
前記利用者が過去に推定した前記対象者の感情の種別ごとに正解率を推定し、推定した正解率に基づいた重みを考慮して、前記対象者の感情を推定する
ことを特徴とする請求項
2に記載の生成装置。
【請求項4】
前記生成部は、
前記利用者と前記対象者との間の関係性に応じた重みを考慮して、前記対象者の感情を推定する
ことを特徴とする請求項
1~
3のうちいずれか1つに記載の生成装置。
【請求項5】
前記生成部は、
前記利用者が推定した前記対象者の感情の履歴に基づいて、前記対象者が当該利用者に対して恒常的に有する感情を推定し、推定した感情に応じた重みを考慮して、前記対象者の感情を推定する
ことを特徴とする請求項
4に記載の生成装置。
【請求項6】
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付部と、
前記対象者に対して行われた感情の問合せに対する応答と、示唆情報との関係性を学習したモデルを用いて、前記受付部により受け付けられた示唆情報から、前記対象者の感情に関する情報を生成する生成部と
を有し、
前記生成部は、
複数の前記利用者により登録された示唆情報に基づいて、前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成装置。
【請求項7】
前記受付部は、
前記示唆情報として、前記対象者が行った行動を示す情報を受け付ける
ことを特徴とする請求項1
~6のうちいずれか1つに記載の生成装置。
【請求項8】
前記受付部は、
前記示唆情報として、前記対象者が前記利用者に対して行った行動を示す情報を、当該利用者から受け付ける
ことを特徴とする請求項
7に記載の生成装置。
【請求項9】
前記受付部は、
前記示唆情報として、前記利用者が推定する前記対象者の感情を示す情報を受け付ける
ことを特徴とする請求項1~
8のうちいずれか1つに記載の生成装置。
【請求項10】
前記生成部は、
前記利用者ごとに、当該利用者に対する前記対象者の感情を推定する
ことを特徴とする請求項1~9のうちいずれか1つに記載の生成装置。
【請求項11】
前記生成部は、
前記示唆情報が登録された時間帯を考慮して前記対象者の感情を推定する
ことを特徴とする請求項1~10のうちいずれか1つに記載の生成装置。
【請求項12】
前記生成部により生成された情報を、前記利用者に対して提供する第1提供部
をさらに有することを特徴とする請求項1~
11のうちいずれか1つに記載の生成装置。
【請求項13】
前記生成部により生成された情報の内容に応じた態様で、前記利用者からの情報を前記対象者に提供する第2提供部
をさらに有することを特徴とする請求項1~
12のうちいずれか1つに記載の生成装置。
【請求項14】
前記生成部により生成された情報の内容に応じて、前記利用者から前記対象者に対する情報の提供態様を提案する提案部
をさらに有することを特徴とする請求項1~
13のうちいずれか1つに記載の生成装置。
【請求項15】
生成装置が実行する生成方法であって、
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付工程と、
前記受付工程により受け付けられた示唆情報に基づいて、前記対象者の感情に関する情報を生成する生成工程と
を含み、
前記生成工程は、
複数の前記利用者により登録された示唆情報に基づいて、
当該示唆情報を登録した前記利用者ごとの重みを考慮して前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成方法。
【請求項16】
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付手順と、
前記受付手順により受け付けられた示唆情報に基づいて、前記対象者の感情に関する情報を生成する生成手順と
をコンピュータに実行させ、
前記生成手順は、
複数の前記利用者により登録された示唆情報に基づいて、
当該示唆情報を登録した前記利用者ごとの重みを考慮して前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成プログラム。
【請求項17】
生成装置が実行する生成方法であって、
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付工程と、
前記対象者に対して行われた感情の問合せに対する応答と、示唆情報との関係性を学習したモデルを用いて、前記受付工程により受け付けられた示唆情報から、前記対象者の感情に関する情報を生成する生成工程と
を含み、
前記生成工程は、
複数の前記利用者により登録された示唆情報に基づいて、前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成方法。
【請求項18】
感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付手順と、
前記対象者に対して行われた感情の問合せに対する応答と、示唆情報との関係性を学習したモデルを用いて、前記受付手順により受け付けられた示唆情報から、前記対象者の感情に関する情報を生成する生成手順と
をコンピュータに実行させ、
前記生成手順は、
複数の前記利用者により登録された示唆情報に基づいて、前記対象者の感情を推定し、推定した感情に関する情報を生成する
ことを特徴とする生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生成装置、生成方法及び生成プログラムに関する。
【背景技術】
【0002】
近年、利用者の感情を推定する推定技術が知られている。このような技術の一例として、利用者間のコミュニケーション内容に基づいて、グループの感情を推定する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した従来技術では、グループ全体としての感情を推定しているに過ぎず、各利用者の感情を精度良く推定しているとは言えなかった。
【0005】
本願は、上記に鑑みてなされたものであって、各利用者の感情の推定精度を向上させることを目的とする。
【課題を解決するための手段】
【0006】
本願に係る生成装置は、感情の推定対象となる対象者と所定の関連性を有する利用者から、前記対象者が有する感情を示唆する示唆情報の登録を受け付ける受付部と、前記受付部により受け付けられた示唆情報に基づいて、前記対象者の感情に関する情報を生成する生成部とを有することを特徴とする。
【発明の効果】
【0007】
実施形態の一態様によれば、各利用者の感情の推定精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る生成処理の一例を示す図である。
【
図2】
図2は、実施形態に係る生成システムの構成例を示す図である。
【
図3】
図3は、実施形態に係る生成装置の構成例を示す図である。
【
図4】
図4は、実施形態に係る示唆情報記憶部の一例を示す図である。
【
図5】
図5は、実施形態に係る利用者情報記憶部の一例を示す図である。
【
図6】
図6は、実施形態に係る感情情報記憶部の一例を示す図である。
【
図7】
図7は、実施形態に係る生成処理の手順の一例を示すフローチャートである。
【
図8】
図8は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【0009】
以下に本願に係る生成装置、生成方法及び生成プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る生成装置、生成方法及び生成プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0010】
〔1.実施形態〕
図1を用いて、本実施形態の生成装置等により実現される生成処理を説明する。
図1は、実施形態に係る生成処理の一例を示す図である。
図1に示す例において、生成システム1は、端末装置10及び生成装置100を有する。端末装置10と、生成装置100とは、図示しない所定の通信網を介して、有線又は無線により通信可能に接続される。なお、
図1に示す生成システム1は、複数台の端末装置10や、複数台の生成装置100が含まれてもよい。
【0011】
図1に示す端末装置10は、感情の推定対象となる対象者と所定の関連性を有する利用者(例えば、家族、友人、同僚等)によって利用される情報処理装置である。例えば、端末装置10は、デスクトップ型PC(Personal Computer)や、ノート型PCや、タブレット端末や、携帯電話機や、PDA(Personal Digital Assistant)等である。なお、
図1に示す例において、端末装置10は、利用者によって利用されるスマートフォンやタブレット等のスマートデバイスである場合を示す。また、端末装置10は、対象者の感情を示唆する示唆情報を生成装置100に送信する。また、端末装置10は、生成装置100によって提供される、対象者の感情に関する情報(以下、「感情情報」と記載する場合がある)を、ウェブブラウザやアプリケーションにより表示する。また、端末装置10は、生成装置100によって提供される情報の表示処理を実現する制御情報を生成装置100から受け取った場合には、制御情報に従って表示処理を実現する。
【0012】
図1に示す生成装置100は、感情の推定対象となる対象者の感情情報を端末装置10に提供するサーバ装置である。
図1に示す例において、生成装置100は、示唆情報の登録を端末装置10から受け付け、記憶部に格納する。また、生成装置100は、利用者に対する対象者の感情(例えば、「良好」、「不調」)を示す関係情報を記憶部に格納する。例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を肯定的と示唆する示唆情報の割合が所定の閾値以上(例えば、8割以上)である場合、生成装置100は、当該利用者に対する対象者の感情「良好」を示す関係情報を記憶部に格納する。また、例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を否定的と示唆する示唆情報の割合が所定の閾値以上(例えば、8割以上)である場合、生成装置100は、当該利用者に対する対象者の感情「不調」を示す関係情報を記憶部に格納する。
【0013】
また、生成装置100は、利用者が過去に生成装置100に送信した示唆情報が示唆する対象者の感情と、当該示唆情報に対応する時点における対象者の実際の感情(例えば、生体情報等から推定された感情)とが一致する度合(言い換えると、利用者が過去に推定した対象者T1の感情の正解率)を、記憶部に格納する。
【0014】
以下、
図1を用いて、生成装置100が行う提供処理について説明する。以下の説明では、端末装置10を利用する利用者に応じて、端末装置10を端末装置10-1~10-N(Nは任意の自然数)として説明する。例えば、端末装置10-1は、利用者ID「U1」により識別される利用者(利用者U1)により利用される端末装置である。また、以下では、端末装置10-1~10-Nについて、特に区別なく説明する場合には、端末装置10と記載する。また、以下の説明では、対象者T1の感情「怒り(機嫌)」に関する感情情報を生成する例を示す。
【0015】
まず、対象者T1と各利用者との間で、各種接触行為を行う(ステップS11)。なお、
図1の例において、接触行為とは、対象者T1と利用者の直接的な接触(例えば、挨拶、会話など)のみならず、対象者T1の行動(例えば、対象者T1の行動や、対象者T1と他の利用者の直接的な接触など)を利用者が観測する行為も含む概念である。
【0016】
続いて、生成装置100は、端末装置10から示唆情報の登録を受け付ける(ステップS12)。例えば、
図1の例において、生成装置100は、各利用者が対象者T1との接触で得た情報と、当該情報から利用者が推定した対象者T1の感情(以下、「推定感情」と記載する場合がある)とを含む示唆情報の登録を端末装置10から受け付ける。
【0017】
例えば、
図1の例において、生成装置100は、対象者T1の感情に関する情報(示唆種別「感情」)であって、利用者U1が推定した対象者T1の感情の状態「良好」を示す情報と、推定感情「良好」とを含む示唆情報を端末装置10-1から受け付ける。また、
図1の例において、生成装置100は、対象者T1が行った行動(挨拶)に関する情報(示唆種別「行動(挨拶)」)であって、対象者T1の行動の状態「拒絶」を示す情報と、推定感情「怒り」とを含む示唆情報を端末装置10-2から受け付ける。また、
図1の例において、生成装置100は、対象者T1が行った行動(会話)に関する情報であって、対象者T1の行動の状態「通常」を示す情報と、推定感情「良好」とを含む示唆情報を端末装置10-3から受け付ける。
【0018】
なお、
図1の例において、推定感情は、生成装置100が推定した情報であってもよい。例えば、
図1の例において、生成装置100は、受け付けた示唆情報が、対象者T1が行った行動に関する情報である場合、対象者T1の感情と、当該感情と因果関係を有する対象者T1の一連の行動との間の関係性を学習したモデル(例えば、MIL(Multiple Instance Learning)の技術を用いて学習したモデル)を用いて、当該示唆情報に基づき、利用者と接触があった際の対象者T1の感情を推定してもよい。例えば、生成装置100は、対象者T1の発話のトーン(音の調子)や、言葉遣い、発話の速さ、対象者T1の仕草(例えば、対象者T1の行動の特徴や、癖など)などといった対象者T1の時系列順の行動と、その行動を行う前、行動中、若しくは行動後に対象者T1が有していたと推定される感情との間の関係性を学習したモデルを用いてもよい。なお、このようなモデルは、例えば、対象者T1の生体情報等から推定された感情と、対象者T1の一連の行動との間の関係性をMILの技術を用いて学習することで実現され、対象者T1の一連の行動が入力された場合に、その行動を行う前、行動中、若しくは行動後等、一連の行動と何かしらの因果関係を有すると推定される感情を出力することとなる。すなわち、このようなモデルは、感情と一連の行動とを学習データとし、MILの技術を用いた学習を行うことで、入力された一連の行動の全体若しくは一部と因果関係を有する(何かしらの関連性を有する)感情を示す情報を出力するように学習が行われることとなる。
【0019】
続いて、生成装置100は、対象者T1の現在の感情を推定し、感情情報を生成する(ステップS13)。例えば、
図1の例において、生成装置100は、各利用者の対象者T1との関係性を示す関係情報や、各利用者が過去に推定した対象者T1の感情の正解率等を考慮して、対象者T1の感情を推定する。ここで、
図1の例において、ステップS12で受け付けた推定感情が示す対象者T1の感情「怒り(機嫌)」の度合い(以下、「推定感情値」と記載する場合がある)を、「-100(非常に悪い)」から「100(非常に良い)」までの値で示すものとする。この場合、生成装置100は、各推定感情値に対し、対応する利用者の関係情報や正解率に基づく重み付けを行った数値に基づいて、対象者T1の感情を推定する。
【0020】
例えば、
図1の例において、利用者U1の関係情報は「良好」であり、正解率は「80%」であるため、利用者U1と対象者T1の間で円滑な意思の疎通が行われており、利用者U1が対象者T1の感情を高い精度で把握していることが想定される。したがって、生成装置100は、利用者U1の重みを大きくし、利用者U1による推定感情「良好」に対応する推定感情値「80」には、利用者U1の関係情報及び正解率に応じた重み「1.8」を乗算する。
【0021】
一方、利用者U2の関係情報は「不調」であり、正解率は「10%」であるため、利用者U2と対象者T1の間では意思の疎通が行われておらず、利用者U2が対象者T1の感情を把握していないことが想定される。したがって、生成装置100は、利用者U2の重みを小さくし、利用者U2による推定感情「怒り」に対応する推定感情値「-80」には、利用者U1の関係情報及び正解率に応じた重み「0.1」を乗算する。
【0022】
また、利用者U3の関係情報は「良好」であり、利用者U3と対象者T1の間で円滑な意思の疎通が行われていることが想定されるが、正解率が「50%」であり、利用者U3が対象者T1の感情を中程度の精度で把握していると想定される。したがって、生成装置100は、利用者U3の重みを変えず、利用者U3による推定感情「良好」に対応する推定感情値「10」には、重み「1.0」を乗算する。
【0023】
そして、生成装置100は、各利用者に対応する重み付けを行った各推定感情値の平均値「48」に基づき、対象者T1の感情を「良好」と推定し、推定した感情に関する感情情報を生成する。
【0024】
続いて、生成装置100は、感情情報を端末装置10に提供する(ステップS14)。例えば、
図1の例において、生成装置100は、対象者T1の感情が「良好」であることを示す情報を、利用者U1-U3を含む、対象者と所定の関連性を有する各利用者に提供する。
【0025】
なお、生成装置100は、感情情報と共に、対象者T1の感情に応じたメッセージの提供制御及び行動の提案を行ってもよい。例えば、
図1の例において、生成装置100は、対象者T1の感情が「怒り」又は「非常に悪い」とする感情情報を提供する場合、端末装置10から対象者T1が利用する端末装置へのメッセージ(例えば、メール)であって、対象者T1の感情を悪化させる文言(例えば、敬語が使用されていない文言や、弁解に関する文言)を含むメッセージの提供を制御するとともに、対象者T1との接触を避ける旨の提案(例えば、メールの送信を後にする旨の提案)を行う。
【0026】
以上のように、実施形態に係る生成装置100は、対象者と所定の関連性を有する利用者からの示唆情報と、対象者と利用者の関係性に基づき、対象者の感情を推定する。これにより、実施形態に係る生成装置100は、示唆情報の提供元である利用者に対し、グループ内における対象者との関係性に応じて重み付けを変更したうえで対象者の感情を推定することができるため、各利用者の感情の推定精度を向上させることができる。
【0027】
〔2.生成システムの構成〕
次に、上述した生成処理を実現するための生成システム1について
図2を用いて説明する。
図2は、実施形態に係る生成システムの構成例を示す図である。
図2に示すように、実施形態に係る生成システム1は、端末装置10と、生成装置100とを含む。端末装置10及び生成装置100は、ネットワークNを介して有線または無線により相互に通信可能に接続される。なお、ネットワークNは、LAN(Local Area Network)、WAN(Wide Area Network)、電話網(携帯電話網、固定電話網等)、地域IP(Internet Protocol)網、インターネット等の通信ネットワークである。ネットワークNには、有線ネットワークが含まれていてもよいし、無線ネットワークが含まれていてもよい。また、
図2に示す生成システム1には、複数台の端末装置10や、複数台の生成装置100が含まれてもよい。
【0028】
端末装置10は、利用者よって利用される情報処理装置である。端末装置10は、生成装置100によって提供される感情情報に関するコンテンツを、ウェブブラウザやアプリケーションにより表示する。また、端末装置10は、生成装置100によって提供されるコンテンツの表示処理を実現する制御情報を生成装置100から受け取った場合には、制御情報に従って表示処理を実現する。また、端末装置10は、感情の推定対象となる対象者との各種接触行為により利用者が得た示唆情報を生成装置100に送信する。
【0029】
生成装置100は、感情の推定対象となる対象者の感情情報を端末装置10に提供するサーバ装置である。また、生成装置100は、利用者に対する対象者の感情を示す関係情報を管理する。また、生成装置100は、利用者が過去に生成装置100に送信した示唆情報が示唆する対象者の感情と、当該示唆情報に対応する時点における対象者の実際の感情とが一致する度合(正解率)を管理する。なお、生成装置100は、アプリケーションのデータそのものを配信するサーバであってもよい。また、生成装置100は、端末装置10に制御情報を配信する配信装置として機能してもよい。ここで、制御情報は、例えば、JavaScript(登録商標)等のスクリプト言語やCSS(Cascading Style Sheets)等のスタイルシート言語により記述される。なお、生成装置100から配信されるコンテンツに関するアプリケーションそのものを制御情報とみなしてもよい。生成装置100の構成は後述する。
【0030】
〔3.生成装置の構成〕
次に、
図3を用いて、生成装置100の構成について説明する。
図3は、実施形態に係る生成装置の構成例を示す図である。
図3に示すように、生成装置100は、通信部110と、記憶部120と、制御部130とを有する。
【0031】
(通信部110について)
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部110は、ネットワークNと有線または無線で接続され、端末装置10等との間で情報の送受信を行う。
【0032】
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
図3に示すように、記憶部120は、示唆情報記憶部121と、利用者情報記憶部122と、感情情報記憶部123とを有する。
【0033】
(示唆情報記憶部121について)
示唆情報記憶部121は、対象者の感情を示唆する示唆情報を格納する。ここで、
図4を用いて、示唆情報記憶部121が格納する示唆情報の一例を説明する。
図4は、実施形態に係る示唆情報記憶部の一例を示す図である。
図4の例では、示唆情報記憶部121は、「対象者ID」、「利用者ID」、「示唆種別」、「状態」、「推定感情」、「登録日時」といった項目を有する。
【0034】
「対象者ID」は、対象者を識別するための識別情報を示す。「利用者ID」は、利用者を識別するための識別情報を示す。「示唆種別」は、利用者が対象者との接触で得た示唆情報の種別を示し、示唆情報が対象者の感情に関する情報であることを示す「感情」や、示唆情報が対象者の行動(例えば、対象者と利用者の間で行われた挨拶、会話など)に関する情報であることを示す「行動」などといった情報が格納される。
【0035】
「状態」は、対象者の感情や行動の状態を示す。「推定感情」は、利用者が推定した対象者の感情を示す。「登録日時」は、示唆情報が端末装置10から送信された日時を示す。
【0036】
すなわち、
図4では、利用者「U1」により、示唆種別「感情」、状態「良好」、推定感情「良好」であり、対象者「T1」の感情を示唆する示唆情報が「日時#11」に送信されたことを示す。
【0037】
(利用者情報記憶部122について)
利用者情報記憶部122は、利用者に関する利用者情報を格納する。ここで、
図5を用いて、利用者情報記憶部122が格納する利用者情報の一例を説明する。
図5は、実施形態に係る利用者情報記憶部の一例を示す図である。
図5の例では、利用者情報記憶部122は、「利用者ID」、「対象者ID」、「関係情報」、「正解率」といった項目を有する。
【0038】
「利用者ID」は、利用者を識別するための識別情報を示す。「対象者ID」は、対象者を識別するための識別情報を示す。「関係情報」は、利用者に対する対象者の感情を示す。例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を肯定的と示唆する示唆情報の割合が所定の閾値以上である場合、生成装置100は、当該利用者に対する対象者の感情「良好」を示す関係情報を記憶部に格納する。また、例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を否定的と示唆する示唆情報の割合が所定の閾値以上である場合、生成装置100は、当該利用者に対する対象者の感情「不調」を示す関係情報を記憶部に格納する。
【0039】
「正解率」は、利用者が過去に推定した対象者の感情(例えば、生成装置100に送信した示唆情報含まれる推定感情)のうち、対象者の実際の感情と一致したものの割合(正解率)を示す。なお、「正解率」の項目には、時間帯ごとの正解率が格納されてもよい。例えば、
図5の例において、「正解率」の項目には、午前(例えば、6時―12時)の時間帯において利用者が推定した対象者の感情の正解率、並びに、午後(例えば、12時―18時)の時間帯において利用者が推定した対象者の感情の正解率が格納される。
【0040】
なお、対象者の実際の感情とは、対象者が利用する端末装置等により取得された対象者の生体情報等から推定された感情であってもよいし、後述する制御部130が推定した対象者の感情であってもよい。
【0041】
すなわち、
図5では、利用者「U1」に対する、対象者「T1」の感情が「良好」であり、午前の時間帯において利用者「U1」が推定した対象者「T1」の感情の正解率が「80%」、午後の時間帯において利用者「U1」が推定した対象者「T1」の感情の正解率が「20%」であることを示す。
【0042】
(感情情報記憶部123について)
感情情報記憶部123は、対象者の感情に関する感情情報を格納する。ここで、
図5を用いて、感情情報記憶部123が格納する感情情報の一例を説明する。
図6は、実施形態に係る感情情報記憶部の一例を示す図である。
図6の例では、利用者情報記憶部122は、「対象者ID」、「平均値」、「推定感情」、「日時」といった項目を有する。
【0043】
「対象者ID」は、対象者を識別するための識別情報を示す。「平均値」は、各利用者が推定した対象者の感情(示唆情報に含まれる推定感情)示す対象者の感情の度合い(推定感情値)の平均値を示す。「推定感情」は、「平均値」に格納された値に基づいて推定される対象者の感情を示す。「日時」は、「推定感情」が推定された日時を示す。
【0044】
すなわち、
図5では、各利用者が推定した対象者「T1」の感情が示す対象者「T1」の感情の度合いの平均値が「48」であり、平均値に基づき、日時「日時#21」に対象者「T1」の感情が「良好」と推定されたことを示す。
【0045】
(制御部130について)
制御部130は、コントローラ(controller)であり、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、生成装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、コントローラであり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。実施形態に係る制御部130は、
図3に示すように、受付部131と、生成部132と、提供部133と、提案部134とを有し、以下に説明する情報処理の機能や作用を実現または実行する。
【0046】
(受付部131について)
受付部131は、感情の推定対象となる対象者と所定の関連性を有する利用者から、対象者が有する感情を示唆する示唆情報の登録を受け付ける。例えば、
図1の例において、受付部131は、各利用者が対象者T1との接触で得た情報を含む示唆情報を端末装置10から受け付け、示唆情報記憶部121に格納する。
【0047】
また、受付部131は、示唆情報として、対象者が行った行動を示す情報を受け付けてもよい。例えば、
図1の例において、受付部131は、対象者T1が行った行動(挨拶)に関する情報であって、対象者T1の行動の状態「拒絶」を示す情報を含む示唆情報を端末装置10-2から受け付ける。
【0048】
また、受付部131は、示唆情報として、対象者が利用者に対して行った行動を示す情報を、当該利用者から受け付けてもよい。例えば、
図1の例において、受付部131は、対象者T1が各利用者に対して行った挨拶や会話といった行動に関する情報を含む示唆情報を端末装置10から受け付ける。
【0049】
また、受付部131は、示唆情報として、利用者が推定する対象者の感情を示す情報を受け付けてもよい。例えば、
図1の例において、受付部131は、対象者T1の感情に関する情報であって、利用者U1が推定した対象者T1の感情の状態「良好」を示す情報を含む示唆情報を端末装置10-1から受け付ける。
【0050】
また、受付部131は、示唆情報として、利用者が推定する対象者の感情を示す情報の登録を受け付けてもよい。例えば、
図1の例において、受付部131は、各利用者が対象者T1との接触で得た情報から利用者が推定した対象者T1の感情(推定感情)を含む示唆情報を端末装置10から受け付ける。
【0051】
(生成部132について)
生成部132は、受付部131により受け付けられた示唆情報に基づいて、対象者の感情に関する情報を生成する。例えば、
図1の例において、生成部132は、受付部131が端末装置10から受け付けた示唆情報に基づいて対象者T1の感情情報を生成し、感情情報記憶部123に格納する。
【0052】
また、生成部132は、複数の利用者により登録された示唆情報に基づいて、対象者の感情を推定し、推定した感情に関する情報を生成してもよい。例えば、
図1の例において、生成部132は、端末装置10-1~10-3から受け付けた示唆情報に基づいて、対象者T1の感情を推定し、感情情報を生成する。
【0053】
また、生成部132は、示唆情報を登録した利用者ごとの重みを考慮して、対象者の感情を推定してもよい。例えば、
図1の例において、生成部132は、各利用者から受け付けた推定感情に対し、利用者情報記憶部122に格納された利用者情報に基づく重み付けを行い、対象者T1の感情を推定する。
【0054】
また、生成部132は、利用者が過去に推定した対象者の感情の正解率に応じた重みを考慮して、対象者の感情を推定してもよい。例えば、
図1の例において、生成部132は、過去に推定した対象者T1の感情の正解率が高い(例えば、正解率が8割以上)利用者U1(端末装置10-1から受け付けた示唆情報)の重みを大きくし、対象者T1の感情を推定する。また、
図1の例において、生成部132は、過去に推定した対象者T1の感情の正解率が低い(例えば、正解率が2割以下)利用者U2(端末装置10-2から受け付けた示唆情報)の重みを小さくし、対象者T1の感情を推定する。
【0055】
また、生成部132は、利用者が過去に推定した対象者の感情の種別ごとに正解率を推定し、推定した正解率に基づいた重みを考慮して、対象者の感情を推定してもよい。例えば、生成部132は、利用者が過去に推定した対象者の「怒り」や、「悲しい」、「明るい」、「楽しい」といった感情の種別ごとの正解率を推定する。そして、例えば、対象者の感情「怒り」の推定に関して、利用者が高い正解率を示すと推定された場合、生成部132は、当該利用者が利用する端末装置10から、対象者の「怒り」の感情を示唆する示唆情報を受け付けた際、当該示唆情報の重みを大きくし、対象者の感情を推定する。
【0056】
なお、生成部132は、対象者の否定的な感情(例えば、「怒り」や、「悲しい」など)及び肯定的な感情(例えば、「明るい」や、「楽しい」など)などといった区分ごとに、利用者の正解率を推定してもよい。
【0057】
また、生成部132は、利用者と対象者との間の関係性に応じた重みを考慮して、対象者の感情を推定してもよい。例えば、
図1の例において、生成部132は、利用者情報記憶部122を参照し、対象者T1との関係性(関係情報)が「良好」である利用者U1の重みを大きくし、対象者T1の感情を推定する。また、
図1の例において、生成部132は、対象者T1との関係性が「不調」である利用者U2の重みを小さくし、対象者T1の感情を推定する。
【0058】
また、生成部132は、利用者が推定した対象者の感情の履歴に基づいて、対象者が当該利用者に対して恒常的に有する感情を推定し、推定した感情に応じた重みを考慮して、対象者の感情を推定してもよい。例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を肯定的と示唆する示唆情報の割合が所定の閾値以上(例えば、8割以上)である場合、生成部132は、当該利用者に対する対象者の恒常的な感情を「良好」と推定する。また、例えば、利用者が過去に生成装置100に送信した示唆情報のうち、対象者の感情を否定的と示唆する示唆情報の割合が所定の閾値以上(例えば、8割以上)である場合、生成部132は、当該利用者に対する対象者の恒常的な感情を「不調」と推定する。
【0059】
また、生成部132は、利用者ごとに、当該利用者に対する対象者の感情を推定してもよい。例えば、生成部132は、各端末装置10から受け付けられた示唆情報のうち、各示唆情報に基づき推定した感情とは異なる感情を示唆する示唆情報を用いて、当該示唆情報を送信した利用者に対する対象者の感情を推定する。例えば、
図1の例において、生成部132は、各端末装置10から受け付けられた示唆情報に基づいて、利用者U1及びU3に対する対象者T1の感情(推定感情)を「良好」と推定する。一方で、生成部132は、利用者U2に対する対象者T1の感情を、端末装置10-2から受け付けられた示唆情報に基づいて、「不調」と推定する。
【0060】
また、生成部132は、示唆情報が登録された時間帯を考慮して対象者の感情を推定してもよい。例えば、生成部132は、示唆情報に基づいて生成部132が推定した対象者の過去の感情や、生体情報等から推定された対象者の過去の感情に基づいて、時間帯(例えば、朝(6時―10時)や、夜(18時―24時)など)ごとに、対象者が有する感情の傾向を推定する。そして、例えば、朝の時間帯に対象者が感情「怒り」を有する傾向が強いと推定した場合、生成部132は、朝の時間帯に受け付けられた示唆情報のうち、対象者の感情「怒り」を示唆する示唆情報の重みを大きくし、対象者の感情を推定する。
【0061】
また、生成部132は、過去に登録された示唆情報の履歴と、対象者の感情との間の関係性を学習したモデルを用いて、受付部131により受け付けられた示唆情報から、対象者の感情に関する情報を生成してもよい。例えば、生成部132は、対象者の感情と、当該感情と因果関係を有する示唆情報との間の関係性を学習したモデル(例えば、MILの技術を用いて学習したモデル)を用いて、受付部131により受け付けられた示唆情報から、対象者の感情に関する情報を生成する。
【0062】
また、生成部132は、対象者の行動履歴から推定された当該対象者の感情と、示唆情報との関係性を学習したモデルを用いて、対象者の感情に関する情報を生成してもよい。例えば、生成部132は、対象者の行動履歴から推定された当該対象者の感情と、当該感情と因果関係を有する示唆情報との間の関係性を学習したモデル(例えば、MILの技術を用いて学習したモデル)を用いて、受付部131により受け付けられた示唆情報から、対象者の感情に関する情報を生成する。
【0063】
また、生成部132は、対象者に対して行われた感情の問合せに対する応答と、示唆情報との関係性を学習したモデルを用いて、対象者の感情に関する情報を生成してもよい。例えば、生成部132は、対象者に対する問い合わせによって得られた対象者の感情と、当該感情と因果関係を有する示唆情報との間の関係性を学習したモデル(例えば、MILの技術を用いて学習したモデル)を用いて、受付部131により受け付けられた示唆情報から、対象者の感情に関する情報を生成する。
【0064】
(提供部133について)
提供部133は、生成部132により生成された情報を、利用者に対して提供する。例えば、
図1の例において、提供部133は、対象者T1の感情が「良好」であることを示す情報を、利用者U1-U3を含む、対象者と所定の関連性を有する各利用者に提供する。
【0065】
また、提供部133は、生成部132により生成された情報の内容に応じた態様で、利用者からの情報を対象者に提供してもよい。例えば、
図1の例において、提供部133は、対象者T1の感情が「怒り」又は「非常に悪い」とする感情情報を提供する場合、端末装置10から対象者T1が利用する端末装置へのメッセージ(例えば、メール)であって、対象者T1の感情を悪化させる文言(例えば、敬語が使用されていない文言や、弁解に関する文言)を含むメッセージの提供を制御する。
【0066】
(提案部134について)
提案部134は、生成部132により生成された情報の内容に応じて、利用者から対象者に対する情報の提供態様を提案する。例えば、
図1の例において、提案部134は、対象者T1の感情が「怒り」又は「非常に悪い」とする感情情報を提供する場合、対象者T1との接触を避ける旨の提案(例えば、メールの送信を後にする旨の提案)を行う。
【0067】
〔4.生成処理のフロー〕
ここで、
図7を用いて、実施形態に係る生成装置100の生成処理の手順について説明する。
図7は、実施形態に係る生成処理の手順の一例を示すフローチャートである。
【0068】
図7に示すように、生成装置100は、示唆情報を受け付ける(ステップS101)。例えば、
図1の例において、生成装置100は、各利用者が対象者T1との接触で得た情報と、当該情報から利用者が推定した対象者T1の感情とを含む示唆情報の登録を端末装置10から受け付ける。
【0069】
続いて、生成装置100は、対象者の感情の推定及び感情情報の生成を行う(ステップS102)。例えば、
図1の例において、生成装置100は、各利用者の対象者T1との関係性を示す関係情報や、各利用者が過去に推定した対象者T1の感情の正解率等を考慮して、示唆情報に基づき対象者T1の感情を推定し、感情情報を生成する。
【0070】
続いて、生成装置100は、感情情報の提供、利用者からの情報の提供制御、並びに、行動の提案を行い(ステップS103)、処理を終了する。例えば、
図1の例において、生成装置100は、対象者T1の感情が「良好」であることを示す情報を、利用者U1-U3を含む、対象者と所定の関連性を有する各利用者に提供する。また、生成装置100は、対象者T1の感情に応じて、対象者T1が利用する端末装置へのメッセージの提供を制御するとともに、対象者T1に対する行動の提案を行う。
【0071】
〔5.変形例〕
上述の実施形態は一例を示したものであり、種々の変更及び応用が可能である。
【0072】
〔5-1.対象者に対する情報の提供について〕
上述の実施形態において、生成装置100が、対象者の感情に関する感情情報を利用者に提供する例を示したが、生成装置100の機能はこのような構成に限定されない。例えば、生成装置100は、感情情報の内容に応じた情報を対象者に提供してもよい。例えば、生成装置100は、感情情報が対象者の感情「怒り」を示す場合、対象者が利用する端末装置等に、「少し落ち着きましょう」といったメッセージや、対象者の心を落ち着かせる効果のある動画、画像、音声等を提供する。
【0073】
〔5-2.対象者の感情の推定について〕
上述の実施形態において、生成装置100が、複数の利用者から示唆情報を受け付け、対象者の感情を推定する例を示したが、生成装置100の機能はこのような構成に限定されない。例えば、生成装置100は、一人の利用者から受け付けた示唆情報に基づいて、対象者の感情を推定してもよい。また、生成装置100が、推定する感情は、あくまで例示であり、任意の態様の感情を推定可能である。
【0074】
〔6.効果〕
上述してきたように、実施形態に係る生成装置100は、受付部131と、生成部132と、提供部133と、提案部134とを有する。受付部131は、感情の推定対象となる対象者と所定の関連性を有する利用者から、対象者が有する感情を示唆する示唆情報の登録を受け付ける。生成部132は、受付部131により受け付けられた示唆情報に基づいて、対象者の感情に関する情報を生成する。提供部133は、生成部132により生成された情報を、利用者に対して提供する。提案部134は、生成部132により生成された情報の内容に応じて、利用者から対象者に対する情報の提供態様を提案する。
【0075】
これにより、実施形態に係る生成装置100は、対象者と所定の関連性を有する利用者から受け付けた示唆情報に基づいて対象者の感情に関する情報を生成するため、各利用者の感情の推定精度を向上させることができる。
【0076】
また、実施形態に係る生成装置100において、例えば、受付部131は、示唆情報として、対象者が行った行動を示す情報を受け付ける。また、受付部131は、示唆情報として、対象者が利用者に対して行った行動を示す情報を、当該利用者から受け付ける。また、受付部131は、示唆情報として、利用者が推定する対象者の感情を示す情報を受け付ける。
【0077】
これにより、実施形態に係る生成装置100は、示唆情報として対象者に関する各種情報を受け付け、感情に関する情報を生成するため、対象者の感情の推定精度を向上させることができる。
【0078】
また、実施形態に係る生成装置100において、例えば、生成部132は、複数の利用者により登録された示唆情報に基づいて、対象者の感情を推定し、推定した感情に関する情報を生成する。また、生成部132は、示唆情報を登録した利用者ごとの重みを考慮して、対象者の感情を推定する。
【0079】
これにより、実施形態に係る生成装置100は、複数の利用者により登録された示唆情報の重みを考慮して対象者の感情を推定するため、対象者の感情の推定精度を向上させることができる。
【0080】
また、実施形態に係る生成装置100において、例えば、受付部131は、示唆情報として、利用者が推定する対象者の感情を示す情報の登録を受け付ける。そして、生成部132は、利用者が過去に推定した対象者の感情の正解率に応じた重みを考慮して、対象者の感情を推定する。また、生成部132は、利用者が過去に推定した対象者の感情の種別ごとに正解率を推定し、推定した正解率に基づいた重みを考慮して、対象者の感情を推定する。また、生成部132は、利用者と対象者との間の関係性に応じた重みを考慮して、対象者の感情を推定する。また、生成部132は、利用者が推定した対象者の感情の履歴に基づいて、対象者が当該利用者に対して恒常的に有する感情を推定し、推定した感情に応じた重みを考慮して、対象者の感情を推定する。
【0081】
これにより、実施形態に係る生成装置100は、各種の重みを考慮して対象者の感情を推定できるため、対象者の感情の推定精度を向上させることができる。
【0082】
また、実施形態に係る生成装置100において、例えば、生成部132は、利用者ごとに、当該利用者に対する対象者の感情を推定する。
【0083】
これにより、実施形態に係る生成装置100は、利用者ごとに対象者の感情を推定できるため、利便性を向上させることができる。
【0084】
また、実施形態に係る生成装置100において、例えば、生成部132は、示唆情報が登録された時間帯を考慮して対象者の感情を推定する。
【0085】
これにより、実施形態に係る生成装置100は、時間帯を考慮して対象者の感情を推定するため、対象者の感情の推定精度を向上させることができる。
【0086】
また、実施形態に係る生成装置100において、例えば、生成部132は、過去に登録された示唆情報の履歴と、対象者の感情との間の関係性を学習したモデルを用いて、受付部131により受け付けられた示唆情報から、対象者の感情に関する情報を生成する。また、生成部132は、対象者の行動履歴から推定された当該対象者の感情と、示唆情報との関係性を学習したモデルを用いて、対象者の感情に関する情報を生成する。また、生成部132は、対象者に対して行われた感情の問合せに対する応答と、示唆情報との関係性を学習したモデルを用いて、対象者の感情に関する情報を生成する。
【0087】
これにより、実施形態に係る生成装置100は、対象者に応じたモデルを用いて対象者の感情を推定するため、対象者の感情の推定精度を向上させることができる。
【0088】
また、実施形態に係る生成装置100において、例えば、提供部133は、生成部132により生成された情報の内容に応じた態様で、利用者からの情報を対象者に提供する。
【0089】
これにより、実施形態に係る生成装置100は、対象者の感情に応じた態様で利用者からの情報を対象者に提供するため、利便性を向上させることができる。
【0090】
〔7.ハードウェア構成〕
また、上述してきた各実施形態に係る生成装置100は、例えば
図8に示すような構成のコンピュータ1000によって実現される。以下、生成装置100を例に挙げて説明する。
図8は、生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、ROM1200、RAM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
【0091】
CPU1100は、ROM1200又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1200は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
【0092】
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス1500は、通信網500(実施形態のネットワークNに対応する)を介して他の機器からデータを受信してCPU1100へ送り、また、通信網500を介してCPU1100が生成したデータを他の機器へ送信する。
【0093】
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、入出力インターフェイス1600を介して生成したデータを出力装置へ出力する。
【0094】
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1300を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1300上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0095】
例えば、コンピュータ1000が生成装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1300上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、生成装置100の記憶装置内の各データが格納される。コンピュータ1000のCPU1100は、これらのプログラムを記録媒体1800から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0096】
〔8.その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0097】
また、上述した生成装置100は、機能によっては外部のプラットフォーム等をAPI(Application Programming Interface)やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。
【0098】
また、特許請求の範囲に記載した「部」は、「手段」や「回路」などに読み替えることができる。例えば、受付部は、受付手段や受付回路に読み替えることができる。
【符号の説明】
【0099】
10 端末装置
100 生成装置
110 通信部
120 記憶部
121 示唆情報記憶部
122 利用者情報記憶部
123 感情情報記憶部
130 制御部
131 受付部
132 生成部
133 提供部
134 提案部