IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ NECソリューションイノベータ株式会社の特許一覧

特開2023-73620感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体
<>
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図1
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図2
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図3
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図4
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図5
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図6
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図7
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図8
  • 特開-感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023073620
(43)【公開日】2023-05-26
(54)【発明の名称】感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体
(51)【国際特許分類】
   G06F 3/01 20060101AFI20230519BHJP
   A61B 5/16 20060101ALI20230519BHJP
【FI】
G06F3/01 510
A61B5/16 120
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021186183
(22)【出願日】2021-11-16
(71)【出願人】
【識別番号】000232092
【氏名又は名称】NECソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】藤崎 良祐
(72)【発明者】
【氏名】高橋 茂太
【テーマコード(参考)】
4C038
5E555
【Fターム(参考)】
4C038PP03
4C038PS00
4C038PS05
5E555AA48
5E555AA61
5E555BA02
5E555BA04
5E555BB02
5E555BB04
5E555BC04
5E555CB64
5E555CB67
5E555CB69
5E555DD06
5E555EA05
5E555FA00
(57)【要約】      (修正有)
【課題】対象者の感情の動きを推定可能な装置、方法、プログラム及び記録媒体を提供する。
【解決手段】動き推定装置10は、ベクトル変換情報を含む記憶部17、対象者の感情情報を取得する感情情報取得部11、ベクトル変換情報及び感情情報に基づき第1の所定期間における基準感情ベクトルを算出する基準感情ベクトル算出部12、ベクトル変換情報及び感情情報に基づき第2の所定期間における比較感情ベクトルを算出する比較感情ベクトル算出部13、基準感情ベクトルと比較感情ベクトルとに基づき差分感情ベクトルを算出する差分感情ベクトル算出部14、ベクトル変換情報及び差分感情ベクトルに基づき第1の所定期間と第2の所定期間との間における、対象者の感情の動きを推定する推定部15及び対象者の感情の動きを出力する出力部16を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
記憶部、感情情報取得部、基準感情ベクトル算出部、比較感情ベクトル算出部、差分感情ベクトル算出部、推定部、及び出力部を含み、
前記記憶部は、ベクトル変換情報を含み、
前記感情情報取得部は、対象者の感情情報を取得し、
前記基準感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
前記差分感情ベクトル算出部は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定部は、前記ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力部は、前記対象者の感情の動きを出力する、感情の動き推定装置。
【請求項2】
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間において、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間において、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、請求項1記載の推定装置。
【請求項3】
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間において、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間において、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、請求項1又は2記載の推定装置。
【請求項4】
前記感情情報は、優先感情情報を含み、
前記優先感情情報は、感情の種類と、優先度とが紐づけられた情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間において、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間において、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、請求項1から3のいずれか一項に記載の推定装置。
【請求項5】
前記感情情報が、対象者の識別情報を含み、
前記記憶部が、前記対象者の識別情報と、前記基準感情ベクトルとを紐づけて記憶する、請求項1から4のいずれか一項に記載の推定装置。
【請求項6】
検知部を含み、
前記検知部は、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知し、
前記推定部は、前記検知部により対象者の感情の現れ方の違いが検知された場合に、前記対象者の感情の動きを推定する、請求項1から5のいずれか一項に記載の推定装置。
【請求項7】
感情情報取得工程、基準感情ベクトル算出工程、比較感情ベクトル算出工程、差分感情ベクトル算出工程、推定工程、及び出力工程を含み、
前記感情情報取得工程は、対象者の感情情報を取得し、
前記基準感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出工程は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定工程は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力工程は、前記対象者の感情の動きを出力する、感情の動き推定方法。
【請求項8】
コンピュータに、感情情報取得手順、基準感情ベクトル算出手順、比較感情ベクトル算出手順、差分感情ベクトル算出手順、推定手順、及び出力手順を実行させるためのプログラムであって、
前記感情情報取得手順は、対象者の感情情報を取得し、
前記基準感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出手順は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定手順は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力手順は、前記対象者の感情の動きを出力する、プログラム。
【請求項9】
請求項8記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、感情の動き推定装置、感情の動き推定方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
対面でコミュニケーションをとる場合、些細な表情やしぐさの違いから、相手の様子が普段と異なる場合はそれを察知することができるが、リモートによるカメラ等を介したコミュニケ-ションでは、相手の表情や感情の機微が分かりづらい。そこで、コミュニケーションを行う相手の表情等から感情を推定する技術が知られている(特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-133447号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、感情の現れ方には個人差があり、一律の基準で感情を推定しても、普段の状態と異なるかどうか、すなわち、対象者個人の感情がどのように変化したのかについてはわからないという問題があった。
【0005】
そこで、本発明は、対象者の感情の動きを推定可能な装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の感情の動き推定装置は、
記憶部、感情情報取得部、基準感情ベクトル算出部、比較感情ベクトル算出部、差分感情ベクトル算出部、推定部、及び出力部を含み、
前記記憶部は、ベクトル変換情報を含み、
前記感情情報取得部は、対象者の感情情報を取得し、
前記基準感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
前記差分感情ベクトル算出部は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定部は、前記ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力部は、前記対象者の感情の動きを出力する。
【0007】
本発明の感情の動き推定方法は、
感情情報取得工程、基準感情ベクトル算出工程、比較感情ベクトル算出工程、差分感情ベクトル算出工程、推定工程、及び出力工程を含み、
前記感情情報取得工程は、対象者の感情情報を取得し、
前記基準感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出工程は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定工程は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力工程は、前記対象者の感情の動きを出力する。
【0008】
本発明のプログラムは、コンピュータに、感情情報取得手順、基準感情ベクトル算出手順、比較感情ベクトル算出手順、差分感情ベクトル算出手順、推定手順、及び出力手順を実行させるためのプログラムであって、
前記感情情報取得手順は、対象者の感情情報を取得し、
前記基準感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出手順は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定手順は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力手順は、前記対象者の感情の動きを出力する、プログラムである。
【発明の効果】
【0009】
本発明によれば、対象者の感情の動きを推定できる。
【図面の簡単な説明】
【0010】
図1図1は、実施形態1の動き推定装置の一例の構成を示すブロック図である。
図2図2は、実施形態1の動き推定装置のハードウェア構成の一例を示すブロック図である。
図3図3は、実施形態1の動き推定装置における処理の一例を示すフローチャートである。
図4図4は、実施形態1の動き推定装置における推定部による感情の動きの推定に関する説明図である。
図5図5は、実施形態2の動き推定装置の一例の構成を示すブロック図である。
図6図6は、実施形態2の動き推定装置における処理の一例を示すフローチャートである。
図7図7は、実施形態2の動き推定装置における検知部の一例の構成を示すブロック図である。
図8図8は、実施形態2の動き推定装置における検知部のハードウェア構成の一例を示すブロック図である。
図9図9は、実施形態2の動き推定装置における処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0012】
[実施形態1]
図1は、本実施形態の感情の動き推定装置10の一例の構成を示すブロック図である。図1に示すように、本装置10は、感情情報取得部11、基準感情ベクトル算出部12、比較感情ベクトル算出部13、差分感情ベクトル算出部14、推定部15、出力部16、及び記憶部17を含む。
【0013】
本装置10は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置10は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。本装置10は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置10は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。本装置10は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0014】
図2に、本装置10のハードウェア構成のブロック図を例示する。本装置10は、例えば、CPU101、メモリ102、バス103、記憶装置104、入力装置106、表示装置107、通信デバイス108等を含む。本装置10の各部は、それぞれのインタフェース(I/F)により、バス103を介して相互に接続されている。
【0015】
CPU101は、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、本装置10の全体の制御を担う。本装置10において、CPU101により、例えば、本発明のプログラム105やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、CPU101が、感情情報取得部11、基準感情ベクトル算出部12、比較感情ベクトル算出部13、差分感情ベクトル算出部14、推定部15、及び出力部16として機能する。本装置10は、演算装置として、CPUを備えるが、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、CPUとこれらとの組合せを備えてもよい。
【0016】
バス103は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。本装置10は、例えば、バス103に接続された通信デバイス108により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0017】
メモリ102は、例えば、メインメモリ(主記憶装置)が挙げられる。CPU101が処理を行う際には、例えば、後述する記憶装置104に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ102が読み込み、CPU101は、メモリ102からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ102は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0018】
記憶装置104は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置104には、本発明のプログラム105を含む動作プログラムが格納されている。記憶装置104は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。記憶装置104は、記憶部17として機能し、ベクトル変換情報171を含む。
【0019】
ベクトル変換情報171は、感情情報を二次元座標上に表すための基準となる情報であり、例えば、二次元座標上において、原点を感情の波がない状態(平常状態)とし、感情の種類を前記原点からの角度と紐づけ、感情の強度(スコア)を原点からの距離と紐づけた情報があげられる。本装置10は、ベクトル変換情報171を用いて、対象者の感情について、その種類を原点からの角度、その強度(スコア)を原点からの距離に変換できる。前記二次元座標における感情の種類と原点からの角度との紐づけは、特に制限されず、任意とできるが、例えば、ラッセルの感情円環モデルを利用することが好ましい。
【0020】
ラッセルの感情円環モデルとは、一方の軸に感情価(快-不快)、前記一方の軸に直交する他方の軸に覚醒(覚醒-非覚醒)をとり、ヒトの感情を円環上に示したモデルである。ラッセルの感情円環モデルにおいては、例えば、感情価及び覚醒のレベルが、中心(軸の交点)からみてどの方向に位置するかが感情の種類を、中心からの距離が感情の強さを表す。ラッセルの感情円環モデルによれば、例えば、感情価及び覚醒度に基づいて、感情を注意、興奮、元気、幸せ、満足、晴朗、くつろぎ、落ち着いた、疲れ、無気力、憂うつ、悲しみ、心配、重圧、神経質、緊張に分類できる。そこで、例えば、ラッセルの感情円環モデルにおける感情価の軸と覚醒度の軸との交点を前記原点とし、後述する感情推定エンジンにより推定される感情の種類及びラッセルの感情円環モデル上における感情の種類、並びに前記感情推定エンジンにより推定される感情のスコア及び前記原点からの距離をそれぞれ紐づけ、ベクトル変換情報171として記憶しておくことで、対象者の感情を二次元座標上に容易に表すことが可能となる。
【0021】
本装置10において、メモリ102及び記憶装置104は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、本装置10によって生成した情報、本装置10が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ102及び記憶装置104は、例えば、後述する対象者の感情情報、対象者の識別情報、対象者の属性情報、スコアの閾値等からなる群から選択された少なくとも一つの情報を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ102及び記憶装置104以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0022】
本装置10は、例えば、さらに、入力装置106、ディスプレイ107を備える。入力装置106は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。ディスプレイ107は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態1において、入力装置106とディスプレイ107とは、別個に構成されているが、入力装置106とディスプレイ107とは、タッチパネルディスプレイのように、一体として構成されてもよい。また、本装置10は、例えば、入力装置106として、カメラ等の撮像装置を備え、CPU101が前記撮像装置を制御して画像を取得してもよい。
【0023】
つぎに、本実施形態の感情の動き推定方法の一例を、図3のフローチャートに基づき説明する。本実施形態の動き推定方法は、例えば、図1又は図2の動き推定装置10を用いて、次のように実施する。なお、本実施形態の動き推定方法は、図1又は図2の動き推定装置10の使用には限定されない。
【0024】
まず、感情情報取得部11により、対象者の感情情報を取得する(S1、感情情報取得工程)。前記感情情報は、例えば、対象者の感情と、対象者の識別情報とを含む。前記対象者の識別情報は、前記対象者を識別可能な情報であり、例えば、対象者の氏名;対象者を撮像した画像;対象者の端末のID;対象者がリモート会議で使用したユーザーネーム又はID;等の情報があげられる。感情情報取得部11は、通信回線網を介して前記感情推定エンジンから前記感情情報を取得してもよいし、感情推定エンジンが推定した感情情報が記録された外部のデータベースから前記感情情報を取得してもよい。後者の場合、感情情報取得部11は、例えば、後述する感情関連情報を取得し、前記感情関連情報に基づき、対象者の感情を推定して前記対象者の感情情報を取得してもよい。この場合、感情情報取得部11は、例えば、感情推定部ともいう。
【0025】
前記対象者の感情は、例えば、対象者の感情関連情報に基づき、前記対象者の感情を推定した情報である。前記感情関連情報は、例えば、対象者の感情に関連して対象者に現れる状態の情報であり、対象者の表情等の画像情報;有声音及び無声音等の発声情報;発話内容等のテキスト情報;血圧、心拍数等のバイタルデータ情報;等があげられる。前記感情情報は、例えば、前記対象者の感情関連情報に基づき、公知の感情推定エンジンにより推定した情報があげられる。前記感情推定エンジンの具体例としては、特に制限されず、例えば、Affdex、Microsoft Azure Face API、Amazon Rekognition、Realeyes、User Local 表情推定AI等の表情等の画像情報に基づいて感情を推定するもの;STEmotion、Empath、BeyondVerbal社の感情推定ソフトウェア、IBM Watson Tone Analyzer、User Local 音声感情認識AI等の音声情報に基づいて感情を推定するもの;User Local テキスト感情認識AI等のテキスト情報に基づいて自然言語処理にて感情を推定するもの;NEC 感情分析ソリューション等のバイタルデータに基づいて感情を推定するもの;等があげられる。前記感情推定エンジンは、例えば、1種類であってもよいし、2種類以上を併用してもよい。なお、前記感情推定エンジンは、例えば、本装置10外部の構成であってもよいし、本装置10の構成であってもよい。
【0026】
前記感情情報は、例えば、スコア情報を含んでもよい。前記スコア情報は、例えば、対象者の感情の種類ごとに、感情の程度を示すスコアを含む情報である。前記スコアは、例えば、前記対象者の感情関連情報に基づいて、前記感情推定エンジンにより算出されたスコアがあげられる。前記スコアは、例えば、定性的(例えば、その感情が発生したか否か)な情報でもよいし、定量的(例えば、その感情がどの程度発生したか)の情報でもよいし、感情ごとの発生確率の情報でもよい。また、前記スコアは、例えば、感情の種類ごとの絶対評価でもよいし、他の感情との相対評価(その感情が他の感情と比較して強いか、弱いか)でもよい。
【0027】
また、前記感情情報は、例えば、その他の情報を含んでもよい。前記その他の情報は、例えば、優先感情情報、対象者の属性情報、感情が推定された日時の情報、感情が推定された場所等の情報、感情が推定された状況の情報等があげられる。前記優先感情情報は、例えば、感情の種類と、優先度とが紐づけられた情報である。前記優先度は、例えば、感情の種類ごとの重みを示す情報であり、特に制限されず、任意に設定できる。前記属性情報は、例えば、対象者の性別、年齢、所属、組織におけるポジション等の情報があげられる。前記対象者の属性情報は、例えば、前述の対象者の識別情報と互いに紐づけられていてもよい。前記感情が推定された日時、場所、状況の情報とは、例えば、前記感情が推定される基準となる感情関連情報が取得された日時、場所、状況の情報等があげられる。具体的に、前記感情関連情報として、前記対象者が実施したリモート会議の動画情報に基づいて前記対象者の感情が推定されている場合、前記日時の情報とは、例えば、リモート会議が実施された時間であり、前記場所の情報とは、例えば、リモート会議を特定する情報であり、前記状況の情報とは、例えば、リモート会議の参加者の情報、リモート会議の議題の情報等があげられる。前記感情情報が前記その他の情報を含む場合、例えば、前記感情情報と前記その他の情報とは、互いに紐づけられていることが好ましい。
【0028】
感情情報取得部11は、例えば、対象者の1種類の感情についての感情情報を取得してもよいし、2種以上の感情についての感情情報を取得してもよい。後者の場合、感情情報取得部11は、例えば、感情の種類ごとに前記対象者の感情情報を取得できる。前記感情の種類は、特に制限されず、例えば、前記感情推定エンジンにより推定可能な感情があげられる。前記感情の種類の具体例としては、joy(喜び)、anger(怒り)、sadness(悲しみ)、fear(恐れ)、disgust(嫌悪感)、contempt(軽蔑)、surprise(驚き)等があげられる。また、前記感情の種類は、例えば、前記ラッセルの感情円環モデルに示される複数の感情であってもよい。
【0029】
つぎに、基準感情ベクトル算出部12は、前記ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出する(S2、基準感情ベクトル算出工程)。前記第1の所定期間は、例えば、対象者の普段の状態とみなす期間である。前記普段の状態は、例えば、通常の感情ともいう。基準感情ベクトル算出部12は、例えば、取得した感情情報のうち、第1の所定期間における感情の種類と感情のスコアとを、ベクトル変換情報に基づき、原点からの角度と距離とに変換して、第1の所定期間における仮基準感情ベクトルを算出する。そして、前記第1の所定期間における各仮基準感情ベクトルを合成し、基準感情ベクトルを算出する。また、基準感情ベクトル算出部12は、例えば、前記仮基準感情ベクトルを合成して合成仮基準感情ベクトルを算出し、前記合成仮基準感情ベクトルを、合成した仮基準感情ベクトルの数で割った、合成仮基準感情ベクトルの平均を、前記基準感情ベクトルとして算出してもよい。前記第1の所定期間は、特に制限されず、例えば後述する第2の所定期間よりも長い期間があげられ、その単位は、例えば、年単位でもよいし、月単位でもよいし、週単位でもよいし、日単位でもよい。前記第1の所定期間の具体例としては、例えば、5年、3年、1年、6か月、3か月、1か月、2週間、3日等があげられる。前記基準感情ベクトルは、例えば、対象者の普段の感情ベクトルともいう。
【0030】
また、基準感情ベクトル算出部12は、例えば、感情情報が含むすべての感情について、前記基準感情ベクトルを算出してもよいし、条件を満たす感情を抽出し、抽出した感情について前記基準感情ベクトルを算出してもよい。前記条件は、特に制限されず、例えば、前記第1の所定期間における単位時間当たりのスコアが閾値を超える感情でもよいし、前記第1の所定期間における単位時間あたりのスコアが最も高い感情でもよいし、前記第1の所定期間における単位時間あたりの前記優先度が最も高い感情でもよい。前記単位時間は、特に制限されず、任意の単位が設定でき、例えば、時間単位、イベント単位等があげられる。前記単位時間が時間単位の場合、例えば、10分、30分、1時間等があげられる。前記単位時間がイベント単位の場合、例えば、イベントの発生回数単位でもよいし、イベントの区切りごとの単位(例えば、小学校の授業の1コマ(45分)等)でもよい。前記イベントは、特に制限されず、例えば、ウェブ会議等のミーティング;学校の授業;セミナー;等があげられる。前記条件に基づいて抽出された感情は、例えば、代表感情ともいう。
【0031】
記憶部17は、例えば、前記基準感情ベクトルと、前記対象者の識別情報とを紐づけて記憶してもよい。これにより、例えば、対象者それぞれにおける基準感情ベクトル、すなわち、対象者個人の普段の感情を表すデータベースが作成できる。
【0032】
つぎに、比較感情ベクトル算出部13は、前記ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出する(S3、比較感情ベクトル算出工程)。前記第2の所定期間は、例えば、対象者の感情の違いを検定(例えば、検討、調査、試験、確認ともいう)する期間である。比較感情ベクトル算出部13は、例えば、取得した感情情報のうち、第2の所定期間における感情の種類と感情のスコアとを、ベクトル変換情報に基づき、原点からの角度と距離とに変換し、第2の所定期間における感情ベクトルを算出する。そして、前記第2の所定期間における各感情ベクトルを合成し、比較感情ベクトルを算出する。また、比較感情ベクトル算出部13は、例えば、前記仮比較感情ベクトルを合成して合成仮比較感情ベクトルを算出し、前記合成仮比較感情ベクトルを、合成した仮比較感情ベクトルの数で割った、合成仮比較感情ベクトルの平均を、前記比較感情ベクトルとして算出してもよい。前記第2の所定期間は、特に制限されず、例えば、前記第1の所定期間よりも短い期間があげられ、その単位は、例えば、年単位でもよいし、月単位でもよいし、週単位でもよいし、日単位でもよい。前記第2の所定期間の具体例としては、例えば、5年、3年、1年、6か月、3か月、1か月、2週間、3日、1日、半日等があげられる。前記比較感情ベクトルは、例えば、対象者の現在の感情ベクトルともいう。
【0033】
比較感情ベクトル算出部13は、例えば、感情情報が含むすべての感情について、前記比較感情ベクトルを算出してもよいし、条件を満たす感情を抽出し、抽出した感情について前記比較感情ベクトルを算出してもよい。前記条件は、特に制限されず、例えば、前記第2の所定期間における単位時間当たりのスコアが閾値を超える感情でもよいし、前記第2の所定期間における単位時間あたりのスコアが最も高い感情でもよいし、前記第2の所定期間における単位時間あたりの前記優先度が最も高い感情でもよい。前記単位時間は、特に制限されず、任意の単位が設定でき、例えば、時間単位、イベント単位等があげられる。前記単位時間が時間単位の場合、例えば、10分、30分、1時間等があげられる。前記単位時間がイベント単位の場合、例えば、イベントの発生回数単位でもよいし、イベントの区切りごとの単位(例えば、小学校の授業の1コマ(45分)等)でもよい。前記イベントは、特に制限されず、例えば、ウェブ会議等のミーティング;学校の授業;セミナー;等があげられる。前記条件に基づいて抽出された感情は、例えば、代表感情ともいう。
【0034】
つぎに、差分感情ベクトル算出部14により、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出する(S4、差分感情ベクトル算出工程)。差分感情ベクトル算出部14による差分感情ベクトルの算出は、例えば、通常のベクトル計算手法が利用できる。前記差分感情ベクトルは、例えば、対象者の普段の感情と、現在の感情との差分を意味するため、普段との違いを表す感情ベクトルともいう。
【0035】
つぎに、推定部15により、前記ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定する(S5、感情推定工程)。具体的に、推定部15は、例えば、前記差分感情ベクトルの向きを、前記ベクトル変換情報の二次元座標上における対応する感情の向きと比較し、前記対象者の感情の種類がどのように変化したかを推定できる。また、前記差分感情ベクトルの長さは、例えば、感情の動きの程度(量)と対応するため、推定部15は、前記差分感情ベクトルの長さに基づいて対象者の感情の動きの量を推定できる。また、推定部15による処理はこれには限定されず、例えば、推定部15は、前記二次元座標上において、原点を挟んで対極に位置する2つの感情を結び、且つ原点を通る軸を作成し、前記軸と前記差分感情ベクトルを比較することにより、対象者の感情の動きを推定してもよい。この場合、推定部15は、前記二次元座標上の前記軸と比較した前記差分感情ベクトルの向き、及び、前記二次元座標上における前記差分感情ベクトルの長さから、対象者の感情の動きを推定できる。
【0036】
図4を用いて、推定部15による感情の動きの推定の具体例を説明する。図4は、ベクトル変換情報171の具体例を示す図であり、ベクトル変換情報171が含む二次元座標1711上に、基準感情ベクトル121、比較感情ベクトル131、差分感情ベクトル141の一例を示す。なお、ベクトル変換情報171、基準感情ベクトル121、比較感情ベクトル131、差分感情ベクトル141は、図4に示す具体例には限定されない。推定部15は、例えば、図4に示すように、まず、二次元座標上1711において、対極に位置する感情である元気-憂うつを結び、原点を通る軸1712を作成する。軸1712は、例えば、対象者の感情が、元気であるか憂うつなのかを表す軸であるため、対象者の元気度を示す元気度軸ともいえる。差分感情ベクトル141が、図4の具体例に示す向き及び長さである場合、推定部15は、例えば、元気度軸1712に対する差分感情ベクトル141の向きから、対象者の感情が憂うつな方向に変化した、すなわち、元気がなくなったこと、またその長さから変化の程度を推定できる。なお、説明の便宜上、軸1712を元気-憂うつを結ぶ元気度軸として説明したが、推定部15による処理はこれには限定されず、例えば、興奮-無気力、幸せ-悲しみ等の、原点を挟んで対極に位置する任意の感情を結ぶ軸を作成し、各軸と差分感情ベクトルと比較して、対象者の感情の動きを推定できる。また、推定部15は、例えば、一種類の軸1712に基づいて対象者の感情の動きを推定してもよいし、二種類以上の軸1712に基づいて対象者の感情の動きを推定してもよい。
【0037】
そして、出力部16により、推定した対象者の感情の動きを出力し(S6、出力工程)、処理を終了する(END)。出力部16は、例えば、前記基準感情ベクトル、比較感情ベクトル、及び差分感情ベクトルをあわせて出力してもよい。
【0038】
なお、本実施形態においては、S2をS3よりも先に実施しているが、本発明の感情の動き推定方法はこれに限定されない。S2及びS3は、例えば、S4よりも上流の工程で実施されていればよく、S3の後にS2を実施してもよいし、S2とS3を同時に実施してもよい。
【0039】
本実施形態の動き推定装置10によれば、例えば、基準感情ベクトルと比較感情ベクトルとの差分感情ベクトルに基づき、対象者の感情の動きを推定できる。このため、本実施形態の動き推定装置10によれば、個人の普段の感情の状態を考慮して、感情の動きがどのように変化したかを推定できる。また、これにより、例えば、対象者の元気度がどのように変化したか等の、対象者の状態、特に精神状態の変化を推定できる。このため、本発明の感情の動き推定装置は、例えば、対象者の状態推定装置ともいう。
【0040】
[実施形態2]
本実施形態は、実施形態1の推定装置10の構成に加えて、検知部を備える以外は、実施形態1の推定装置10と同様であり、その説明を援用できる。本実施形態の推定装置は、検知部を備え、前記検知部は、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知し、前記推定部は、前記検知部により対象者の感情の現れ方の違いが検知された場合に、前記対象者の感情の動きを推定する。
【0041】
図5は、本実施形態の推定装置10Aの一例の構成を示すブロック図である。図5に示すように、推定装置10Aは、実施形態1の推定装置10の構成に加えて、検知部17を備える。推定装置10Aのハードウェア構成は、図2の推定装置10のハードウェア構成において、CPU101が、図1の推定装置10の構成に代えて、図5の推定装置10Aの構成を備える以外は同様である。
【0042】
つぎに、本実施形態の推定方法について、図6のフローチャートを用いて説明する。本実施形態の推定方法は、例えば、図5に示す本実施形態の推定装置10Aを用いて実施できる。なお、本発明の推定方法は、推定装置10Aの使用に限定されない。
【0043】
まず、前記実施形態1の違い推定方法におけるS1と同様にして、S1を実施し、対象者の感情情報を取得する。
【0044】
つぎに、検知部21により、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知する(S11、検知工程)。検知部21は、例えば、前記第1の所定期間における感情情報に対し、第2の所定期間における感情情報を比較し、第2の所定期間における感情情報が異常値を含むか否かにより、対象者の感情の現れ方の違いを検知できる。なお、検知部21による処理は、これには制限されず、後述する具体例に記載の各工程により違いを検知してもよい。
【0045】
つぎに、対象者の現在の感情の現れ方が普段と異ならないと判定した場合(S11、No)、処理を終了する(END)。また、この場合、図示していないが、例えば、出力部16により、対象者の感情の現れ方に異常はないと出力してもよい。一方、対象者の現在の感情の現れ方が普段と異なると判定した場合(S11、YES)、前記実施形態1の動き推定方法におけるS2~S6と同様にして、S2~S6を実施する。
【0046】
本発明の推定装置によれば、対象者の現在の感情の現れ方が普段と異なると判定した場合に、前記推定部により対象者の感情の動きを推定できる。
【0047】
[実施形態3]
具体的に、実施形態2の推定装置10Aにおける検知部21について、図を用いて説明する。図7は、検知部21の一例の構成を示すブロック図である。図7に示すように、検知部21は、例えば、感情情報取得部211、基準感情計数部212、感情計数部213、異常値検出部214、判定部215、及び出力部216を含む。検知部21は、例えば、感情の違い検知装置21ともいい、検知部21による処理については、例えば、感情の違い検知方法ともいう。検知部21は、例えば、推定装置10Aが含む装置でもよいが、推定装置10Aとは別個の装置でもよい。後者の場合、検知部21(感情の違い検知装置21)と、推定装置10Aとは、互いに通信可能である。前記通信は、例えば、有線でも無線でもよい。
【0048】
検知部21(検知装置21)は、例えば、前記各部を含む1つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、検知装置21は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、WWW(World Wide Web)、電話回線、LAN(Local Area Network)、SAN(Storage Area Network)、DTN(Delay Tolerant Networking)、LPWA(Low Power Wide Area)、L5G(ローカル5G)、等があげられる。無線通信としては、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ローカル5G、LPWA等が挙げられる。前記無線通信としては、各装置が直接通信する形態(Ad Hoc通信)、インフラストラクチャ(infrastructure通信)、アクセスポイントを介した間接通信等であってもよい。検知装置21は、例えば、システムとしてサーバに組み込まれていてもよい。また、検知装置21は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ(PC、例えば、デスクトップ型、ノート型)、スマートフォン、タブレット端末等であってもよい。検知装置21は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0049】
図8に、検知装置21のハードウェア構成のブロック図を例示する。検知装置21は、例えば、CPU201、メモリ202、バス203、記憶装置204、入力装置206、表示装置207、通信デバイス208等を含む。検知装置21の各部は、それぞれのインタフェース(I/F)により、バス203を介して相互に接続されている。
【0050】
CPU201は、コントローラ(システムコントローラ、I/Oコントローラ等)等により、他の構成と連携動作し、検知装置21の全体の制御を担う。検知装置21において、CPU201により、例えば、本発明のプログラム205やその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、CPU201が、感情情報取得部211、基準感情計数部212、感情計数部213、異常値検出部214、判定部215、及び出力部216として機能する。検知装置21は、演算装置として、CPUを備えるが、GPU(Graphics Processing Unit)、APU(Accelerated Processing Unit)等の他の演算装置を備えてもよいし、CPUとこれらとの組合せを備えてもよい。
【0051】
バス203は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置(外部データベース等)、プリンター、外部入力装置、外部表示装置、外部撮像装置等があげられる。検知装置21は、例えば、バス203に接続された通信デバイス208により、外部ネットワーク(前記通信回線網)に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0052】
メモリ202は、例えば、メインメモリ(主記憶装置)が挙げられる。CPU201が処理を行う際には、例えば、後述する記憶装置204に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ202が読み込み、CPU201は、メモリ202からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、RAM(ランダムアクセスメモリ)である。また、メモリ202は、例えば、ROM(読み出し専用メモリ)であってもよい。
【0053】
記憶装置204は、例えば、前記メインメモリ(主記憶装置)に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置204には、本発明のプログラム205を含む動作プログラムが格納されている。記憶装置204は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、HD(ハードディスク)、CD-ROM、CD-R、CD-RW、MO、DVD、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置104は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ(HDD)、及びソリッドステートドライブ(SSD)であってもよい。検知装置21が前記記憶部を含む場合、例えば、記憶装置204は、前記記憶部として機能する。記憶装置204は、例えば、ベクトル変換情報171を記憶していてもよい。
【0054】
検知装置21において、メモリ202及び記憶装置204は、ログ情報、外部データベース(図示せず)や外部の装置から取得した情報、検知装置21によって生成した情報、検知装置21が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ202及び記憶装置204は、例えば、後述する対象者の感情情報、対象者の識別情報、対象者の属性情報、基準感情発生回数、感情発生回数、スコアの閾値等からなる群から選択された少なくとも一つの情報を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ202及び記憶装置204以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0055】
検知装置21は、例えば、さらに、入力装置206、ディスプレイ207を備える。入力装置206は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス;キーボード;カメラ、スキャナ等の撮像手段;ICカードリーダ、磁気カードリーダ等のカードリーダ;マイク等の音声入力手段;等があげられる。ディスプレイ207は、例えば、LEDディスプレイ、液晶ディスプレイ等の表示装置があげられる。本実施形態において、入力装置206とディスプレイ207とは、別個に構成されているが、入力装置206とディスプレイ207とは、タッチパネルディスプレイのように、一体として構成されてもよい。また、検知装置21は、例えば、入力装置206として、カメラ等の撮像装置を備え、CPU201が前記撮像装置を制御して画像を取得してもよい。
【0056】
つぎに、本実施形態の感情の動き推定方法の一例を、図9のフローチャートに基づき説明する。本実施形態の動き推定方法は、例えば、図7又は図8の違い検知装置21を含む動き推定装置10Aを用いて、次のように実施する。なお、本実施形態の動き推定方法は、図7又は図8の違い検知装置21を含む動き推定装置10Aの使用には限定されない。
【0057】
まず、感情情報取得部211により、対象者の感情情報を取得する(S21、感情情報取得工程)。前記感情情報は、例えば、前述の通りである。感情情報取得部211は、例えば、前記実施形態1の動き推定装置10における感情情報取得部11と同様であり、その記載を援用できる。また、例えば、実施形態1のS1工程で取得した前記感情情報を利用してもよい。
【0058】
つぎに、基準感情計数部212は、前記感情情報に基づき、基準感情発生回数を計数する(S22、基準感情計数工程)。前記基準感情発生回数は、第1の所定期間における、単位時間あたりの前記対象者の感情の発生回数である。前記第1の所定期間は、例えば、対象者の普段の状態とみなす期間である。前記普段の状態は、例えば、通常の感情ともいう。前記単位時間は、特に制限されず、任意の単位が設定でき、例えば、時間単位、イベント単位等があげられる。前記単位時間が時間単位の場合、例えば、10分、30分、1時間等があげられる。前記単位時間がイベント単位の場合、例えば、イベントの発生回数単位でもよいし、イベントの区切りごとの単位(例えば、小学校の授業の1コマ(45分)等)でもよい。前記イベントは、特に制限されず、例えば、ウェブ会議等のミーティング;学校の授業;セミナー;等があげられる。基準感情計数部212は、例えば、感情情報取得部211が取得した前記対象者の感情情報のうち、前記第1の所定期間において、単位時間あたりに発生した感情すべてを計数してもよいし、所定の条件を満たす感情のみを計数してもよい。前記所定の条件とは、例えば、前記感情情報が含む感情ごとのスコアが、任意の閾値を超えた場合等があげられる。この場合、基準感情計数部212は、例えば、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記基準感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数する。前記閾値は、例えば、感情の種類ごとに任意の値を設定できる。前記閾値を超えるスコアを有する感情を計数することにより、例えば、感情の推定に利用した感情推定エンジンの精度の影響が抑制され、より精度よく基準感情発生回数を計数できる。基準感情計数部212は、例えば、第1の所定期間における、単位時間あたりの前記対象者の感情の発生回数から、異常値を除去したデータを、前記基準感情発生回数としてもよい。前記第1の所定期間は、特に制限されず、例えば後述する第2の所定期間よりも長い期間があげられ、その単位は、例えば、年単位でもよいし、月単位でもよいし、週単位でもよいし、日単位でもよい。前記第1の所定期間の具体例としては、例えば、5年、3年、1年、6か月、3か月、1か月、2週間、3日等があげられる。
【0059】
検知装置21が前記記憶部を含む場合、前記記憶部は、例えば、前記基準感情発生回数と、前記対象者の識別情報とを紐づけて記憶してもよい。これにより、例えば、対象者それぞれにおける基準感情発生回数、すなわち、対象者個人の普段の感情を表すデータベースが作成できる。
【0060】
つぎに、感情計数部213は、前記感情情報に基づき、感情発生回数を計数する(S23、感情計数工程)。前記感情発生回数は、第2の所定期間における、単位時間あたりの前記対象者の感情の発生回数である。前記第2の所定期間は、例えば、対象者の感情の違いを検定(例えば、検討、調査、試験、確認ともいう)する期間である。前記単位時間は、特に制限されず、任意の単位が設定でき、例えば、時間単位、イベント単位等があげられる。前記単位時間が時間単位の場合、例えば、10分、30分、1時間等があげられる。前記単位時間がイベント単位の場合、例えば、イベントの発生回数単位でもよいし、イベントの区切りごとの単位(例えば、小学校の授業の1コマ(45分)等)でもよい。前記イベントは、特に制限されず、例えば、ウェブ会議等のミーティング;学校の授業;セミナー;等があげられる。具体的に、感情計数部213は、例えば、感情情報取得部211が取得した前記対象者の感情情報のうち、前記第2の所定期間において、単位時間あたりに発生した感情すべてを計数してもよいし、所定の条件を満たす感情のみを計数してもよい。前記所定の条件とは、例えば、前記感情情報が含む感情ごとのスコアが、任意の閾値を超えた場合等があげられる。この場合、感情計数部213は、例えば、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数する。前記閾値は、例えば、感情の種類ごとに任意の値を設定できる。前記閾値を超えるスコアを有する感情を計数することにより、例えば、感情の推定に利用した感情推定エンジンの精度の影響が抑制され、より精度よく感情発生回数を計数できる。前記第2の所定期間は、特に制限されず、例えば、前記第1の所定期間よりも短い期間があげられ、その単位は、例えば、年単位でもよいし、月単位でもよいし、週単位でもよいし、日単位でもよい。前記第2の所定期間の具体例としては、例えば、5年、3年、1年、6か月、3か月、1か月、2週間、3日、1日、半日等があげられる。
【0061】
つぎに、異常値検出部214により、前記基準感情発生回数に対し、前記感情発生回数が異常値を含むか否かを検出する(S24、異常値検出工程)。異常値検出部214は、例えば、基準感情発生回数を訓練データ、感情発生回数を検証データとした統計的手法に基づく公知の異常値検知手法を利用して異常値を検出できる。前記異常値検知手法は、例えば、統計モデルに基づく異常値検知手法でもよいし、データ間の距離に基づく異常値検知手法でもよい。異常値検知手法の具体例としては、正規分布、混合正規分布、ホテリング理論、k近傍法、局所外れ値因子法(LOF法)、主成分分析(Principal Component Analysis:PCA)、時系 列データ、One-Class Support Vector Machine(OCSVM)等があげられ、LOF法、OCSVMにより検出することが好ましい。
【0062】
つぎに、判定部215により、前記感情発生回数に異常値が含まれるか否かを判定する(S25(S25A、S25B、S25C)、判定工程)。判定部215は、前記感情発生回数に異常値が含まれるか否かを判定する(S25A)。前記感情発生回数に異常値が含まれる場合、判定部215は、対象者の現在の感情の現れ方が普段と異なると判定する(S25B)。判定部215は、例えば、前記感情発生回数に含まれる異常値の数が閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定してもよいし、前記感情発生回数に含まれる異常値の割合が閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定してもよいし、前記感情発生回数に含まれる異常値において、少なくとも一つの異常値のスコアが閾値を超える場合に対象者の現在の感情の現れ方が普段と異なると判定してもよい。
【0063】
そして、判定部215により、対象者の現在の感情の現れ方が普段と異なると判定された場合(S25A、YES)、出力部216により、対象者の感情の現れ方が通常と異なることを出力する(S26、出力工程)。S26において、出力部216は、例えば、異常値が検出された感情の種類、前記感情のスコア等の情報をあわせて出力してもよい。そして、前記S21で取得した感情情報に基づき、動き推定装置10Aの基準感情ベクトル算出部12、比較感情ベクトル算出部13、差分感情ベクトル算出部14、推定部15、及び出力部16により、前記実施形態1の動き推定方法におけるS2~S6と同様にして、S2~S6を実施し、処理を終了する(END)。
【0064】
前記感情発生回数に異常値が含まれない場合、すなわち、判定部215により、対象者の現在の感情の現れ方が普段と異ならないと判定された場合(S25A、NO)、出力部216により、対象者の感情の現れ方に異常はないと出力し(S26、出力工程)、処理を終了してもよい(END)。
【0065】
なお、本実施形態においては、S22をS23よりも先に実施しているが、本発明の動き推定方法はこれに限定されない。S22及びS23は、S24よりも上流の工程で実施されていればよく、例えば、S23の後にS222を実施してもよいし、S22とS23を同時に実施してもよい。
【0066】
本実施形態の違い検知装置によれば、例えば、基準感情発生回数に対し、感情発生回数を比較することで、対象者の普段の感情の現れ方と、現在の感情の現れ方とを比較できる。このため、本実施形態の違い検知装置によれば、対象者の感情の現れ方が普段と異なるか否かを判別することができる。したがって、違い検知部として本実施形態の違い検知装置を含む動き推定装置によれば、対象者の現在の感情の現れ方が普段と異なると判定した場合に、前記推定部により対象者の感情の動きを推定できる。
【0067】
[実施形態4]
本実施形態のプログラムは、前述の感情の動き推定方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、感情情報取得手順、基準感情ベクトル算出手順、比較感情ベクトル算出手順、差分感情ベクトル算出手順、推定手順、及び出力手順を実行させるためのプログラムである。
【0068】
前記感情情報取得手順は、対象者の感情情報を取得し、
前記基準感情ベクトル算出手順は、前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出手順は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定手順は、前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力手順は、前記対象者の感情の動きを出力する。
【0069】
また、本実施形態のプログラムは、コンピュータを、感情情報取得手順、基準感情ベクトル算出手順、比較感情ベクトル算出手順、差分感情ベクトル算出手順、推定手順、及び出力手順として機能させるプログラムということもできる。
【0070】
本実施形態のプログラムは、前記本発明の動き推定装置及び動き推定方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク(HD)、光ディスク、フロッピー(登録商標)ディスク(FD)等があげられる。
【0071】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0072】
<付記>
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
(付記1)
記憶部、感情情報取得部、基準感情ベクトル算出部、比較感情ベクトル算出部、差分感情ベクトル算出部、推定部、及び出力部を含み、
前記記憶部は、ベクトル変換情報を含み、
前記感情情報取得部は、対象者の感情情報を取得し、
前記基準感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、前記ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
前記差分感情ベクトル算出部は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定部は、前記ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力部は、前記対象者の感情の動きを出力する、感情の動き推定装置。
(付記2)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記1記載の推定装置。
(付記3)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記1又は2記載の推定装置。
(付記4)
前記感情情報は、優先感情情報を含み、
前記優先感情情報は、感情の種類と、優先度とが紐づけられた情報であり、
前記基準感情ベクトル算出部は、
前記第1の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出部は、
前記第2の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記1から3のいずれかに記載の推定装置。
(付記5)
前記感情情報が、対象者の識別情報を含み、
前記記憶部が、前記対象者の識別情報と、前記基準感情ベクトルとを紐づけて記憶する、付記1から4のいずれかに記載の推定装置。
(付記6)
検知部を含み、
前記検知部は、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知し、
前記推定部は、前記検知部により対象者の感情の現れ方の違いが検知された場合に、前記対象者の感情の動きを推定する、付記1から5のいずれかに記載の推定装置。
(付記7)
前記検知部は、感情情報取得部、基準感情計数部、感情計数部、異常値検出部、判定部、及び出力部を含み、
前記感情情報取得部は、対象者の感情情報を取得し、
前記感情情報は、対象者の感情と、対象者の識別情報とを含み、
前記基準感情計数部は、前記感情情報に基づき、基準感情発生回数を計数し、
前記基準感情発生回数は、第1の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記感情計数部は、前記感情情報に基づき、感情発生回数を計数し、
前記感情発生回数は、第2の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記異常値検出部は、前記基準感情発生回数に対し、前記感情発生回数が異常値を含むか否かを検出し、
前記判定部は、前記感情発生回数に異常値が含まれる場合、対象者の現在の感情の現れ方が普段と異なると判定し、
出力部は、前記判定結果を出力する、付記6記載の感情の推定装置。
(付記8)
記憶部を含み、
前記記憶部は、前記対象者の識別情報と、前記基準感情発生回数とを紐づけて記憶し、
前記判定部は、前記記憶された基準感情発生回数と、前記感情発生回数とに差があるか否かを判定する、付記7記載の推定装置。
(付記9)
前記感情情報取得部は、感情の種類ごとに、前記対象者の感情情報を取得し、
前記基準感情計数部は、感情の種類ごとに、前記基準感情発生回数を計数し、
前記感情計数部は、感情の種類ごとに、前記感情発生回数を計数する、付記7又は8記載の推定装置。
(付記10)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情計数部は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記基準感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数し、
前記感情計数部は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数する、付記7から9のいずれかに記載の推定装置。
(付記11)
前記判定部は、前記感情発生回数に含まれる異常値の数が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記7から10のいずれかに記載の推定装置。
(付記12)
前記判定部は、前記感情発生回数に含まれる異常値の割合が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記7から10のいずれかに記載の推定装置。
(付記13)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記判定部は、前記感情発生回数に含まれる異常値において、少なくとも一つの異常値のスコアが閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記7から10のいずれかに記載の推定装置。
(付記14)
感情情報取得工程、基準感情ベクトル算出工程、比較感情ベクトル算出工程、差分感情ベクトル算出工程、推定工程、及び出力工程を含み、
前記感情情報取得工程は、対象者の感情情報を取得し、
前記基準感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出工程は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定工程は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力工程は、前記対象者の感情の動きを出力する、感情の動き推定方法。
(付記15)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出工程は、
前記第1の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、
前記第2の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記14記載の推定方法。
(付記16)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出工程は、
前記第1の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、
前記第2の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記14又は15記載の推定方法。
(付記17)
前記感情情報は、優先感情情報を含み、
前記優先感情情報は、感情の種類と、優先度とが紐づけられた情報であり、
前記基準感情ベクトル算出工程は、
前記第1の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出工程は、
前記第2の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記14から16のいずれかに記載の推定方法。
(付記18)
記憶工程を含み、
前記感情情報が、対象者の識別情報を含み、
前記記憶工程が、前記対象者の識別情報と、前記基準感情ベクトルとを紐づけて記憶する、付記14から17のいずれかに記載の推定方法。
(付記19)
検知工程を含み、
前記検知工程は、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知し、
前記推定工程は、前記検知工程により対象者の感情の現れ方の違いが検知された場合に、前記対象者の感情の動きを推定する、付記14から18のいずれかに記載の推定方法。
(付記20)
前記検知工程は、感情情報取得工程、基準感情計数工程、感情計数工程、異常値検出工程、判定工程、及び出力工程を含み、
前記感情情報取得工程は、対象者の感情情報を取得し、
前記感情情報は、対象者の感情と、対象者の識別情報とを含み、
前記基準感情計数工程は、前記感情情報に基づき、基準感情発生回数を計数し、
前記基準感情発生回数は、第1の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記感情計数工程は、前記感情情報に基づき、感情発生回数を計数し、
前記感情発生回数は、第2の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記異常値検出工程は、前記基準感情発生回数に対し、前記感情発生回数が異常値を含むか否かを検出し、
前記判定工程は、前記感情発生回数に異常値が含まれる場合、対象者の現在の感情の現れ方が普段と異なると判定し、
出力工程は、前記判定結果を出力する、付記19記載の感情の推定方法。
(付記21)
記憶工程を含み、
前記記憶工程は、前記対象者の識別情報と、前記基準感情発生回数とを紐づけて記憶し、
前記判定工程は、前記記憶された基準感情発生回数と、前記感情発生回数とに差があるか否かを判定する、付記20記載の推定方法。
(付記22)
前記感情情報取得工程は、感情の種類ごとに、前記対象者の感情情報を取得し、
前記基準感情計数工程は、感情の種類ごとに、前記基準感情発生回数を計数し、
前記感情計数工程は、感情の種類ごとに、前記感情発生回数を計数する、付記20又は21記載の推定方法。
(付記23)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情計数工程は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記基準感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数し、
前記感情計数工程は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数する、付記20から22のいずれかに記載の推定方法。
(付記24)
前記判定工程は、前記感情発生回数に含まれる異常値の数が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記20から23のいずれかに記載の推定方法。
(付記25)
前記判定工程は、前記感情発生回数に含まれる異常値の割合が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記20から23のいずれかに記載の推定方法。
(付記26)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記判定工程は、前記感情発生回数に含まれる異常値において、少なくとも一つの異常値のスコアが閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記20から23のいずれかに記載の推定方法。
(付記27)
コンピュータに、感情情報取得手順、基準感情ベクトル算出手順、比較感情ベクトル算出手順、差分感情ベクトル算出手順、推定手順、及び出力手順を実行させるためのプログラムであって、
前記感情情報取得手順は、対象者の感情情報を取得し、
前記基準感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第1の所定期間における基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、ベクトル変換情報及び前記感情情報に基づき、第2の所定期間における比較感情ベクトルを算出し、
差分感情ベクトル算出手順は、前記基準感情ベクトルと、前記比較感情ベクトルとに基づき、差分感情ベクトルを算出し、
前記推定手順は、ベクトル変換情報及び前記差分感情ベクトルに基づき、第1の所定期間と、第2の所定期間との間における、対象者の感情の動きを推定し、
前記出力手順は、前記対象者の感情の動きを出力する、プログラム。
(付記28)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出手順は、
前記第1の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、
前記第2の所定期間における、単位時間ごとに前記スコアが閾値を超える感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記27記載のプログラム。
(付記29)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情ベクトル算出手順は、
前記第1の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、
前記第2の所定期間における、単位時間ごとに前記スコアが最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記27又は28記載のプログラム。
(付記30)
前記感情情報は、優先感情情報を含み、
前記優先感情情報は、感情の種類と、優先度とが紐づけられた情報であり、
前記基準感情ベクトル算出手順は、
前記第1の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮基準感情ベクトルを算出し、
前記仮基準感情ベクトルに基づいて前記基準感情ベクトルを算出し、
前記比較感情ベクトル算出手順は、
前記第2の所定期間における、単位時間ごとに優先度が最も高い感情を抽出し、
前記ベクトル変換情報に基づき、抽出した感情について仮比較感情ベクトルを算出し、
前記仮比較感情ベクトルに基づいて前記比較感情ベクトルを算出する、付記27から29のいずれかに記載のプログラム。
(付記31)
コンピュータに、記憶手順を実行させ、
前記感情情報が、対象者の識別情報を含み、
前記記憶手順が、前記対象者の識別情報と、前記基準感情ベクトルとを紐づけて記憶する、付記27から30のいずれかに記載のプログラム。
(付記32)
コンピュータに、検知手順を実行させ、
前記検知手順は、前記感情情報に基づいて、対象者の感情の現れ方の違いを検知し、
前記推定手順は、前記検知手順により対象者の感情の現れ方の違いが検知された場合に、前記対象者の感情の動きを推定する、付記27から31のいずれかに記載のプログラム。
(付記33)
前記検知手順は、感情情報取得手順、基準感情計数手順、感情計数手順、異常値検出手順、判定手順、及び出力手順を含み、
前記感情情報取得手順は、対象者の感情情報を取得し、
前記感情情報は、対象者の感情と、対象者の識別情報とを含み、
前記基準感情計数手順は、前記感情情報に基づき、基準感情発生回数を計数し、
前記基準感情発生回数は、第1の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記感情計数手順は、前記感情情報に基づき、感情発生回数を計数し、
前記感情発生回数は、第2の所定期間における、単位時間あたりの前記対象者の感情の発生回数であり、
前記異常値検出手順は、前記基準感情発生回数に対し、前記感情発生回数が異常値を含むか否かを検出し、
前記判定手順は、前記感情発生回数に異常値が含まれる場合、対象者の現在の感情の現れ方が普段と異なると判定し、
出力手順は、前記判定結果を出力する、付記32記載の感情のプログラム。
(付記34)
記憶手順を含み、
前記記憶手順は、前記対象者の識別情報と、前記基準感情発生回数とを紐づけて記憶し、
前記判定手順は、前記記憶された基準感情発生回数と、前記感情発生回数とに差があるか否かを判定する、付記33記載のプログラム。
(付記35)
前記感情情報取得手順は、感情の種類ごとに、前記対象者の感情情報を取得し、
前記基準感情計数手順は、感情の種類ごとに、前記基準感情発生回数を計数し、
前記感情計数手順は、感情の種類ごとに、前記感情発生回数を計数する、付記33又は34記載のプログラム。
(付記36)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記基準感情計数手順は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記基準感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数し、
前記感情計数手順は、感情の種類ごとに、前記スコアが閾値を超えるか否かを判定し、前記感情発生回数として、前記閾値を超えるスコアを有する感情の発生回数を計数する、付記33から35のいずれかに記載のプログラム。
(付記37)
前記判定手順は、前記感情発生回数に含まれる異常値の数が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記33から36のいずれかに記載のプログラム。
(付記38)
前記判定手順は、前記感情発生回数に含まれる異常値の割合が、閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記33から36のいずれかに記載のプログラム。
(付記39)
前記感情情報は、スコア情報を含み、
前記スコア情報は、感情の種類ごとに、感情の程度を示すスコアを含む情報であり、
前記判定手順は、前記感情発生回数に含まれる異常値において、少なくとも一つの異常値のスコアが閾値を超える場合に、対象者の現在の感情の現れ方が普段と異なると判定する、付記33から36のいずれかに記載のプログラム。
(付記40)
付記27から39のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0073】
本発明によれば、基準感情ベクトルと比較感情ベクトルとの差分感情ベクトルに基づき、対象者の感情の動きを推定できる。このため、本発明の推定装置によれば、個人の普段の感情の状態を考慮して、感情の動きがどのように変化したかを推定できる。また、これにより、例えば、対象者の元気度がどのように変化したか等の、対象者の状態、特に精神状態の変化を推定できる。このため、本発明は、例えば、リモートワークやリモート授業における人材管理、健康管理等の分野において特に有用である。
【符号の説明】
【0074】
10、10A 動き推定装置
11 感情情報取得部
12 基準感情ベクトル算出部
13 感情ベクトル算出部
14 差分感情ベクトル算出部
15 推定部
16 出力部
17 記憶部
101 CPU
102 メモリ
103 バス
104 記憶装置
105 プログラム
106 入力装置
107 表示装置
108 通信デバイス
21 検知部(違い検知装置)
211 感情情報取得部
212 基準感情計数部
213 感情計数部
214 異常値検知部
215 判定部
216 出力部
201 CPU
202 メモリ
203 バス
204 記憶装置
205 プログラム
206 入力装置
207 表示装置
208 通信デバイス

図1
図2
図3
図4
図5
図6
図7
図8
図9