特開 2024-123827 評価装置、評価方法及び評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024123827

(43)【公開日】2024-09-12

(54)【発明の名称】評価装置、評価方法及び評価プログラム

(51)【国際特許分類】

   G16H 50/30 20180101AFI20240905BHJP

   G06Q 10/06 20230101ALI20240905BHJP

【ＦＩ】

G16H50/30

G06Q10/06

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023031558

(22)【出願日】2023-03-02

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】張 維烝

(72)【発明者】

【氏名】吉田 徳太郎

【テーマコード（参考）】

5L010

5L049

5L099

【Ｆターム（参考）】

5L010AA06

5L049AA06

5L099AA15

(57)【要約】

【課題】評価対象者の負担を軽減しながら、評価対象者の心理的な負担に対する評価の精度向上を図る。
【解決手段】評価サーバ１０は、心理的な負担の程度を把握するための質問に対するユーザの回答と、回答中のユーザの音声データ、回答中のユーザの表情及び動作を撮像した画像データ、及び／または、前記対象者の性別、年代、職種及び／または性格を取得する取得部１３２と、質問に対するユーザの回答の内容を認識する認識部１３３と、回答中のユーザの音声データ、及び／または、回答中のユーザの表情及び動作を撮像した画像データを基に、回答中のユーザの感情を分析する分析部１３４と、認識部１３３による認識結果と、分析部１３４による分析結果とを基に、ユーザの心理的な負担の程度を評価する評価部１３５と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

心理的な負担の程度を把握するための質問に対する評価対象者の回答と、回答中の前記評価対象者の音声データ、及び／または、回答中の前記評価対象者の表情及び動作を撮像した画像データを取得する取得部と、
前記質問に対する前記評価対象者の回答の内容を認識する認識部と、
前記回答中の評価対象者の音声データ、前記回答中の評価対象者の表情及び動作を撮像した画像データ、及び／または、前記回答中の評価対象者の性別、年代、職種及び／または性格を基に、前記回答中の評価対象者の感情を分析する分析部と、
前記認識部による認識結果と、前記分析部による分析結果とを基に、前記評価対象者の心理的な負担の程度を評価する評価部と、
を有することを特徴とする評価装置。

【請求項2】

前記認識部は、前記回答中の評価対象者の音声データに対して音声認識を行い、前記質問に対する前記評価対象者の回答の内容を認識することを特徴とする請求項１に記載の評価装置。

【請求項3】

前記分析部は、対象者の音声データ、前記対象者の表情及び動作を撮像した画像データ、及び／または、前記対象者の性別、年代、職種及び／または性格が入力されると、前記対象者の感情の種別を出力する機械学習モデルを用いて、前記回答中の評価対象者の感情を分析することを特徴とする請求項１に記載の評価装置。

【請求項4】

前記分析部は、前記対象者の各属性に対応する教師データを用いてそれぞれ学習させた複数の機械学習モデルのうち、前記評価対象者の属性に対応する前記機械学習モデルを用いて、前記回答中の評価対象者の感情を分析することを特徴とする請求項３に記載の評価装置。

【請求項5】

前記評価部は、
前記質問ごとに、前記質問に対する回答とスコアとの対応表を参照して、前記認識部によって認識された前記評価対象者の回答の内容を基に、第１のスコアリングを行い、
前記質問ごとに、前記感情の種別とスコアとの対応表を参照して、前記機械学習モデルが出力した各質問の前記評価対象者の感情の種別を基に、第２のスコアリングを行い、
前記第１のスコアリング結果と前記第２のスコアリング結果との統合結果を基に、前記評価対象者の心理的な負担の程度を評価することを特徴とする請求項３に記載の評価装置。

【請求項6】

前記機械学習モデルは、前記評価対象者の感情の種別として、怒り、悲しい、感情がない、落ち着く、嬉しい、のいずれかを出力することを特徴とする請求項３に記載の評価装置。

【請求項7】

前記評価部による評価結果を蓄積する記憶部と、
蓄積された前記評価対象者の評価結果を参照し、所定回数以上、所定の項目のスコアが、前記心理的な負担の程度が悪いとされる範囲内に該当した場合、医療受診を勧めるレコメンド情報を、前記評価対象者が使用する端末に通知する通知部と、
を有することを特徴とする請求項１に記載の評価装置。

【請求項8】

評価装置が実行する評価方法であって、
心理的な負担の程度を把握するための質問に対する評価対象者の回答と、回答中の前記評価対象者の音声データ、及び／または、回答中の前記評価対象者の表情及び動作を撮像した画像データを取得する工程と、
前記質問に対する前記評価対象者の回答の内容を認識する工程と、
前記回答中の評価対象者の音声データ、及び／または、前記回答中の評価対象者の表情及び動作を撮像した画像データを基に、前記回答中の評価対象者の感情を分析する工程と、
前記認識する工程における認識結果と、前記分析する工程における分析結果とを基に、前記評価対象者の心理的な負担の程度を評価する工程と、
を含んだことを特徴とする評価方法。

【請求項9】

心理的な負担の程度を把握するための質問に対する評価対象者の回答と、回答中の前記評価対象者の音声データ、及び／または、回答中の前記評価対象者の表情及び動作を撮像した画像データを取得するステップと、
前記質問に対する前記評価対象者の回答の内容を認識するステップと、
前記回答中の評価対象者の音声データ、及び／または、前記回答中の評価対象者の表情及び動作を撮像した画像データを基に、前記回答中の評価対象者の感情を分析するステップと、
前記認識するステップにおける認識結果と、前記分析するステップにおける分析結果とを基に、前記評価対象者の心理的な負担の程度を評価するステップと、
を実行させることを特徴とする評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価装置、評価方法及び評価プログラムに関する。

【背景技術】

【0002】

厚生労働省令で定めるところにより、事業者は、労働者に対し、医師、保健師等による心理的な負担の程度を把握するための検査（ストレスチェック）を行わなければならないことが定められている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】厚生労働省, ストレスチェック制度に関する法令, ［令和５年２月１７日検索］，インターネット＜ＵＲＬ：https://www.mhlw.go.jp/content/11300000/000544659.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

このため、各社より、ストレスチェックサービスが提供されている。しかしながら、従来のストレスチェックサービスは、アンケート方式を採用しているため、設問内容を確認して、回答を記入すること自体が、ユーザの負担となっていた。

【0005】

本発明は、上記に鑑みてなされたものであって、評価対象者の負担を軽減しながら、評価対象者の心理的な負担に対する評価の精度向上を図ることができる評価装置、評価方法及び評価プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明の評価装置は、心理的な負担の程度を把握するための質問に対する評価対象者の回答と、回答中の前記評価対象者の音声データ、及び／または、回答中の前記評価対象者の表情及び動作を撮像した画像データを取得する取得部と、前記質問に対する前記評価対象者の回答の内容を認識する認識部と、前記回答中の評価対象者の音声データ、前記回答中の評価対象者の表情及び動作を撮像した画像データ、及び／または、前記対象者の性別、年代、職種及び／または性格を基に、前記回答中の評価対象者の感情を分析する分析部と、前記認識部による認識結果と、前記分析部による分析結果とを基に、前記評価対象者の心理的な負担の程度を評価する評価部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、評価対象者の負担を軽減しながら、評価対象者の心理的な負担に対する評価の精度向上を図ることができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態１に係る処理システムの構成の一例を示すブロック図である。

【図2】図２は、図１に示す評価サーバ１０の構成の一例を模式的に示す図である。

【図3】図３は、質問データが含む質問及び選択肢の一例を示す図である。

【図4】図４は、項目データの項目例を示す図である。

【図5】図５は、回答採点表のデータ構成の一例を示す図である。

【図6】図６は、感情採点表のデータ構成の一例を示す図である。

【図7】図７は、感情採点表のデータ構成の一例を示す図である。

【図8】図８は、ユーザ端末の画面の一例を示す図である。

【図9】図９は、ユーザ端末の画面の一例を示す図である。

【図10】図１０は、第１のスコアリング結果を例示する図である。

【図11】図１１は、第２スコアリング結果を例示する図である。

【図12】図１２は、評価結果の可視化情報の一例を示す図である。

【図13】図１３は、実実施の形態１に係る評価処理の処理手順を示すフローチャートである。

【図14】図１４は、実施の形態１に係る処理システムの他の構成の一例を示すブロック図である。

【図15】図１５は、実施の形態１に係る評価処理の他の処理手順を示すフローチャートである。

【図16】図１６は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る評価装置、評価方法及び評価プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る評価装置、評価方法及び評価プログラムが限定されるものではない。

【0010】

［実施の形態１］
まず、実施の形態１について説明する。実施の形態１では、評価対象者の心理的な負担（ストレス）の程度を把握するための質問を評価対象者に提供し、評価対象者のストレスの程度を評価するシステムを例に説明する。

【0011】

実施の形態１における評価システムでは、質問に対して、評価対象者がそのまま声で回答できるとともに、評価対象者の回答の内容とともに、評価対象者が発する音声及び表情に基づいた感情分析結果も用いて、ユーザのストレスの程度を評価する。

【0012】

［処理システム］
実施の形態１における処理システムについて説明する。図１は、実施の形態１に係る処理システムの構成の一例を示すブロック図である。

【0013】

図１に示す実施の形態１に係る評価システム１００は、評価対象者であるユーザ（例えば、労働者）の心理的な負担（ストレス）の程度を把握するための検査（ストレスチェック）を実施し、ユーザのストレスの程度を評価するシステムである。

【0014】

評価システム１００は、ユーザが使用するユーザ端末２０、ユーザ端末２０と通信を行いストレスチェックに関する各処理を実行する評価サーバ１０（評価装置）、及び、評価サーバ１０と通信を行う管理サーバ３０を有する。

【0015】

ユーザ端末２０は、ノートＰＣ（Personal Computer）等の情報処理装置電子や、タブレット、スマートフォン等のスマートデバイスである。ユーザ端末２０は、ユーザの音声の入力を受け付ける入力デバイス、及び、ユーザ端末２０を使用するユーザの表情及び動作を撮像する撮像デバイスを有する。ユーザ端末２０は、ネットワーク（不図示）を介して、評価サーバ１０に接続する。

【0016】

ユーザ端末２０は、評価サーバ１０から、ストレスチェックのための質問及びその選択肢を受信する。そして、例えば、ユーザ端末２０は、ストレスチェックのための質問及びその選択肢を、音声出力及び／または表示出力する。ユーザ端末２０は、質問に対する回答のためにユーザが発した音声データ、及び、回答中のユーザの表情及び動作を撮像した画像データ、ユーザの操作により入力を受け付けた指示情報等を、各質問の識別情報と対応付けて、評価サーバ１０に送信する。ユーザ端末２０は、評価サーバ１０から、ユーザのストレスチェックの評価結果を受信し、例えば、画面に表示出力する。

【0017】

評価サーバ１０は、ユーザ端末２０にストレスチェックのための質問を送信し、その回答を、音声データ及び／または指示情報の形式でユーザ端末２０から受信する。評価サーバ１０は、ストレスチェック中のユーザの表情及び動作を撮像した画像データをユーザ端末２０から受信する。評価サーバ１０が受信した、音声データ、指示情報、及び／または画像データには、各質問の識別情報と対応付けられる。

【0018】

評価サーバ１０は、音声認識処理を行い、ユーザが選択した選択肢を判別する。そして、評価サーバ１０は、ストレスチェック中のユーザの音声データ及びユーザの表情及び動作を撮像した画像データ、及び、画像データを基に分類されたユーザの表情を基に、質問ごとに、その質問の出力及び回答の間の、ユーザの感情分析を行う。

【0019】

評価サーバ１０は、ユーザが選択した選択肢を基に、採点ルールにしたがって、ストレスに関する各項目の評価点を採点（スコアリング）して、第１のスコアリング結果を取得する。評価サーバ１０は、ユーザの感情分析結果を基に、採点ルールにしたがって、ストレスに関する各項目の評価点を採点して、第２のスコアリング結果を取得する。評価サーバ１０は、第１のスコアリング結果及び第２のスコアリング結果を統合して、ユーザのストレスの程度を評価する。

【0020】

評価サーバ１０は、ユーザに対する評価結果を、ユーザ端末２０に送信する。また、評価サーバ１０は、ユーザの同意を得ている場合には、管理サーバ３０に、ユーザの評価結果を送信する。

【0021】

そして、評価サーバ１０は、ユーザの評価結果を蓄積し、所定回数以上、悪い（健康状態が心配される要素を含む）結果が続いた場合に、医療受診を勧めるレコメンド情報を、ユーザ端末２０に通知する。例えば、所定回数以上、全項目のスコアが、ストレスの程度が悪いとされる範囲内に該当した場合、評価サーバ１０がレコメンド情報を通知する。また、所定回数以上、所定の項目、例えば、ストレスによっておこる心身の反応（後述）のスコアが、心身の状態が悪いとされる範囲に該当した場合、評価サーバ１０がレコメンド情報を通知する。

【0022】

管理サーバ３０は、例えば、厚生労働省が管轄する、ストレスチェックに関する統計情報を管理するサーバ、ユーザの事業主が提携する産業医が接続するサーバ、ユーザを雇用する事業者のサーバ等である。

【0023】

［評価サーバ］
次に、評価サーバ１０について説明する。図２は、図１に示す評価サーバ１０の構成の一例を模式的に示す図である。評価サーバ１０は、通信部１１、記憶部１２及び制御部１３を有する。

【0024】

通信部１１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した外部の装置と制御部１３との通信を制御する。例えば、通信部１１は、ユーザ端末２０との間で行われる通信、及び、管理サーバ３０との間で行われる通信を制御する。

【0025】

記憶部１２は、制御部１３による各種処理に必要なデータおよびプログラムを格納する。例えば、記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、又は、ハードディスク、光ディスク等の記憶装置などである。記憶部１２は、質問データ１２１、項目データ１２２、回答採点表１２３、感情採点表１２４、評価用データ１２５、及び、評価結果データベース（ＤＢ）１２６を記憶する。

【0026】

質問データ１２１は、ユーザのストレスの程度を把握するための質問群を含む。質問データ１２１は、例えば、職業性ストレス簡易調査票（57項目）（参照文献１）を基に設定される。
参照文献１：厚生労働省, 職業性ストレス簡易調査票（57 項目）, ［令和５年２月１７日検索］，インターネット＜ＵＲＬ：https://www.mhlw.go.jp/bunya/roudoukijun/anzeneisei12/dl/stress-check_j.pdf＞

【0027】

職業性ストレス簡易調査（参考文献１）を例として説明する。図３は、質問データ１２１が含む質問及び選択肢の一例である。

【0028】

例えば、質問データ１２１は、ユーザの仕事についての質問Ａ（図３）を含み、質問Ａの各質問の回答として、例えば、「そうだ」、「まあそうだ」、「ややちがう」、「ちがう」の４つの選択肢を含む。また、質問データ１２１は、ユーザの状態についての質問Ｂを含み、質問Ｂの各質問の回答として、「ほとんどなかった」、「ときどきあった」、「しばしばあった」、「ほとんどいつもあった」の４つの選択肢を含む。また、質問データ１２１は、ユーザの周りの人々についての質問Ｃを含み、質問Ｃの各質問の回答として、「非常に」、「かなり」、「多少」、「全くない」の４つの選択肢を含む。また、質問データ１２１は、ユーザの満足度についての質問Ｄを含み、質問Ｄの各質問の回答として、「満足」、「まあ満足」、「やや不満足」、「不満足」の４つの選択肢を含む。

【0029】

項目データ１２２は、ユーザのストレスの程度を評価する際の評価項目群を有する。図４は、項目データ１２２の項目例を示す図である。

【0030】

職業性ストレス簡易調査（参考文献１）を例とした場合、図４に示すように、ストレスの程度を評価する項目として、ストレスの原因と考えられる因子（第１群）である９項目、ストレスによっておこる心身の反応（第２群）である６項目、ストレス反応に影響を与える他の因子（第３群）である４項目が設定されている。これらの各項目について、評価部１３５（後述）がスコアリングを行う。

【0031】

回答採点表１２３は、質問ごとに、質問に対する回答と、ストレスの程度を数値化したスコアとを対応付けた表である。回答採点表１２３は、予め設定される。回答採点表１２３は、属性（例えば、性別、年代、職種、性格等）に応じてそれぞれ設定されてもよい。図５は、回答採点表１２３のデータ構成の一例を示す図である。なお、属性に関する情報は、例えば、本評価システムの初回利用時に、簡単なプロフィールをユーザに入力させることで取得することができる。

【0032】

職業性ストレス簡易調査（参考文献１）を例とした場合、回答採点表Ｔ１は、職業性ストレス簡易調査（参考文献１）の質問ごとに、各選択肢のスコアを対応付けて記憶する。

【0033】

例えば、図５の項目「心理的な仕事の負担（量）」については、この項目に対応する質問項目番号と、回答となる各選択肢に対応するスコアとが記載される。なお、採点表は、上段にスコア、下段に全体に対する比率が記載される。評価部１３５（後述）は、回答採点表１２３を参照し、ユーザが回答した各質問の選択肢が、どのスコアとなるかを判別して、ユーザの回答についての第１のスコアリングを行う。

【0034】

感情採点表１２４は、質問ごとに、感情の種別と、ストレスの程度を数値化したスコアとを対応づけた表である。感情採点表１２４は、予め設定される。感情採点表１２４は、属性（例えば、性別、年代、職種、病歴、性格等）に応じてそれぞれ設定されてもよい。図６及び図７は、感情採点表１２４のデータ構成の一例を示す図である。

【0035】

職業性ストレス簡易調査（参考文献１）を例とした場合、回答採点表Ｔ２－１，Ｔ２－２は、職業性ストレス簡易調査（参考文献１）の質問ごとに、各感情の種別（例えば、怒り、悲しい、感情がない、落ち着く、嬉しい）を対応付けて記憶する。感情の種別は、質問ごとに、感情分析モデル１３４１（後述）から出力されたものである。

【0036】

例えば、図６の項目「心理的な仕事の負担（量）」については、この項目に対応する質問項目番号と、各感情の種別に対応するスコアとが記載される。なお、採点表は、上段にスコア、下段に全体に対する比率が記載される。評価部１３５（後述）は、感情採点表１２４を参照し、回答中のユーザの感情の種別が、どのスコアとなるかを判別して、ユーザの感情についての第２のスコアリングを行う。

【0037】

評価用データ１２５は、評価部１３５によるユーザのストレスの評価時に用いるデータである。第１のスコアリング結果と第２のスコアリング結果とを統合して、ユーザのストレスの程度を評価する場合、評価用データ１２５は、第１のスコアリングの割合と、第２のスコアリングの割合とを記憶する。具体的には、評価用データ１２５は、第１のスコアリングの割合は７０％であり、第２のスコアリングの割合は３０％とした統合ルールを記憶する。

【0038】

評価結果ＤＢ１２６は、評価部１３５によるユーザのストレスの程度に対する評価結果を蓄積する。評価結果ＤＢ１２６は、ユーザの識別情報及びストレスチェック時を示す時間情報を、各評価結果に対応づけて、各評価結果を記憶する。

【0039】

制御部１３は、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する。ここで、制御部１３は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路である。制御部１３は、質問送信部１３１、取得部１３２、認識部１３３、分析部１３４、評価部１３５、可視化部１３６及び通知部１３７を有する。

【0040】

質問送信部１３１は、質問データ１２１を参照し、ユーザ端末２０に、ユーザのストレスの程度を把握するための質問と、その質問に対する選択肢とを送信する。

【0041】

ここで、ストレスチェック時にユーザ端末２０に表示される画面について説明する。図８及び図９は、ユーザ端末２０の画面の一例を示す図である。

【0042】

図８及び図９に示すメニュー画面Ｍ１，Ｍ２に例示するように、ユーザ端末２０には、ストレスチェックのための質問欄Ｆ１と、その選択肢Ｃ１～Ｃ４が表示される。この際、メニュー画面Ｍ１，Ｍ２には、キャラクター画像Ｑ１または実際の人物の録画画像Ｑ２が質問者として表示され、質問者が質問するイメージで、質問欄Ｆ１に質問が順次表示される。ユーザは、キャラクター画像Ｑ１または録画画像Ｑ２のいずれかを選択できる。また、質問は、ユーザ端末２０から音声で出力されてもよい。

【0043】

マイクオンの場合、ユーザが選択肢の番号や文言等を発声すると、ユーザ端末２０は、回答中のユーザの音声データを取得し、取得した音声データを、質問の識別情報と対応付けて評価サーバ１０に送信する。カメラオンの場合、ユーザ端末２０は、回答中のユーザの表情及び動作の画像を撮像し、取得した画像データを、質問の識別情報と対応付けて、評価サーバ１０に送信する。

【0044】

なお、メニュー画面Ｍ２には、ユーザ自身の画像が表示される。そして、ユーザは、カメラオフのボタンＢ１や、マイクオフボタンＢ２を選択することも可能である。マイクオフの際には、ユーザは、マウス操作やタッチパネルへのタッチ等を行い、選択肢Ｃ１～Ｃ４のいずれかを選択すればよい。また、機能Ａ～Ｃ欄には、ユーザの名前、部署等の情報が表示される。

【0045】

取得部１３２は、ユーザ端末２０から送信された音声データ及び／または画像データを受信し、ストレスの程度を把握するための質問に対するユーザの回答、回答中のユーザの音声データ、及び／または、回答中のユーザの画像データを取得する。取得部１３２は、ユーザ端末２０から、質問の識別情報と、選択肢とを示すデータを受信した場合、受信したデータを、質問に対するユーザの回答として取得する。

【0046】

認識部１３３は、質問に対するユーザの回答の内容を認識する。認識部１３３は、例えば、取得部１３２が、質問の識別情報と、選択肢とを示すデータを取得した場合、このデータを基に、質問に対してユーザが選択した選択肢を認識する。

【0047】

取得部１３２が、回答中のユーザの音声データを取得した場合、認識部１３３は、音声認識モデル１３３１を用いて、回答中のユーザの音声データに対して音声認識を行い、質問に対するユーザの回答の内容を認識する。音声認識モデル１３３１は、入力された音声データの音声を識別してテキストデータに変換するよう学習された機械学習モデルである。認識部１３３は、音声認識モデル１３３１が変換したテキストデータから、質問に対してユーザが選択した選択肢を認識する。なお、音声認識モデル１３３１は、言語の種類に応じてそれぞれ設けられてもよい。認識部１３３は、ユーザの使用言語に対応するモデルを選択して、音声認識を行う。また、認識部１３３は、ユーザの使用言語が、対応言語でない場合には、対応言語に翻訳した後に、音声認識を行えばよい。

【0048】

分析部１３４は、回答中のユーザの音声データ、回答中のユーザの表情及び動作の画像データ、及び／または、回答中のユーザの属性情報（例えば、性別、年代、職種、性格等）を基に、回答中のユーザの感情を分析する。分析部１３４は、感情分析モデル１３４１（機械学習モデル）を用いて、回答中のユーザの感情を分析する。

【0049】

感情分析モデル１３４１は、対象者の音声データ、対象者の表情及び動作の画像データ、及び／または、ユーザの属性情報（例えば、性別、年代、職種、性格等）が入力されると、該対象者の感情の種別を出力するように、教師データを用いて学習された機械学習モデルである。感情分析モデル１３４１は、例えば、音声データに対する自然言語処理モデル、音声データに対する音声音響処理（例えば、感情分類処理、笑い声区間検出処理等）を行う音声音響処理モデル、画像データに対する画像処理（例えば、年齢分類や表情分類等）を行う画像処理モデル、各モデルの結果を統合する統合モデルを有する。感情分析モデル１３４１として、例えば、MediaGnosis（登録商標）を適用する。統合モデルは、ユーザの属性情報を基に、各モデルの結果を統合して、ユーザの感情の種別を出力する。

【0050】

実施の形態１では、感情分析モデル１３４１が出力する感情の種別を、怒り、悲しい、感情がない、落ち着く、嬉しい、の５つを例として説明する。もちろん、感情分析モデル１３４１は、これに限らず、例えば、憂鬱、疲れ、元気、安心、感動、共感、緊張などの感情の種別を出力してもよい。

【0051】

感情分析モデル１３４１は、単数のモデルに限らず、対象者の各属性に対応する教師データを用いてそれぞれ学習させた複数のモデルであってもよい。例えば、感情分析モデル１３４１は、対象者の属性（年齢、性別、職種、性格等）に応じた学習済みのモデルを複数有する。また、感情分析モデル１３４１は、対象者の顔の向き（上下左右、傾きなど）に応じた学習済みのモデルを複数有してもよい。分析部１３４は、複数のモデルのうち、ユーザの属性や顔の向きに対応するモデルを用いて、回答中のユーザ感情を分析する。

【0052】

評価部１３５は、認識部１３３による認識結果と、分析部１３４による分析結果とを基に、ユーザのストレスの程度を評価する。

【0053】

まず、評価部１３５は、回答採点表１２３を参照して、認識部１３３によって認識されたユーザの回答の内容を基に、第１のスコアリングを行う。

【0054】

図１０は、第１のスコアリング結果を例示する図である。評価部１３５は、回答採点表１２３を参照して、ユーザが選択した選択肢のスコアを質問ごとに取得し、項目別に合算する。そして、評価部１３５は、第１～第３群ごとにスコアを合算し、さらに、全項目のスコアを合算して（欄Ｃ１１参照）、取得した各スコアを第１のスコアリング結果とする。

【0055】

そして、評価部１３５は、感情採点表１２４を参照して、感情分析モデル１３４１が出力した、各質問のユーザの感情の種別を基に、第２のスコアリングを行う。

【0056】

図１１は、第２のスコアリング結果を例示する図である。評価部１３５は、感情採点表１２４を参照して、各質問のユーザの感情の種別に対応するスコアを質問ごとに取得し、項目別に合算する。そして、評価部１３５は、第１～第３群ごとにスコアを合算し、さらに、全項目のスコアを合算して（欄Ｃ２１参照）、取得した各スコアを第２のスコアリング結果とする。

【0057】

評価部１３５は、第１のスコアリング結果と第２のスコアリング結果との統合結果を基に、ユーザのストレスの程度を評価する。例えば、評価部１３５は、評価用データ１２５に記載された割合で、第１のスコアリング結果と第２のスコアリング結果とを統合する。そして、評価部１３５は、ユーザのストレスの程度を、統合後の各項目のスコアを基に、例えば、低い、やや低い、普通、やや高い、高い、の５段階で評価する。

【0058】

可視化部１３６は、評価部１３５による評価結果を可視化した可視化情報を生成し、生成した可視化情報をユーザ端末２０に送信する。

【0059】

図１２は、評価結果の可視化情報の一例を示す図である。図１２に示すように、可視化部１３６は、第１～第３群ごとに、各項目に対応付けて、各項目の段階をグラフ化した可視化情報を生成する。これによって、ユーザ端末２０には、図１２に示すグラフが第１～第３群ごとに表示される。或いは、可視化部１３６は、第１～第３群ごとに、各項目とその段階とを対応付けたテーブルを生成してもよい。

【0060】

通知部１３７は、評価結果ＤＢ１２６に蓄積された評価結果を参照し、ユーザの評価結果が、所定回数以上、所定の項目のスコアが、ストレスの程度が悪いとされる範囲内に該当した場合、該ユーザが使用するユーザ端末２０に、医療受診を勧めるレコメンド情報を通知する。

【0061】

［評価処理］
次に、実施の形態１に係る評価処理について説明する。図１３は、実施の形態１に係る評価処理の処理手順を示すフローチャートである。

【0062】

評価サーバ１０は、ユーザ端末２０からストレスチェックの開始を受け付けると、ストレスの程度を把握するための質問及びその選択肢をユーザ端末２０に送信する（ステップＳ１）。評価サーバ１０は、ユーザ端末２０から、質問ごとに、ストレスの程度を把握するための質問に対するユーザの回答、回答中のユーザの音声データ、及び／または、回答中のユーザの画像データを受信し（ステップＳ２）、取得する。なお、質問及び選択肢の送信処理と、回答、音声データ及び／または画像データの受信処理は、ユーザ端末２０から停止指示がない限り、全質問が終了するまで繰り返される。

【0063】

評価サーバ１０は、ストレスの程度を把握するための質問に対するユーザの回答、及び／または、回答中のユーザの音声データを基に、質問に対してユーザが選択した選択肢を認識する（ステップＳ３）。

【0064】

評価サーバ１０は、回答中のユーザの音声データ、及び／または、回答中のユーザの表情及び動作の画像データを基に、回答中のユーザの感情を分析する（ステップＳ４）。

【0065】

評価サーバ１０は、認識部１３３による認識結果と、分析部１３４による分析結果とを基に、ユーザのストレスの程度を評価する（ステップＳ５）。評価サーバ１０は、ステップＳ５における評価結果を可視化した可視化情報を生成し（ステップＳ６）、生成した可視化情報をユーザ端末２０に送信し（ステップＳ７）、ユーザ端末２０に表示させる（ステップＳ８）。また、評価サーバ１０は、ユーザの同意を得ている場合には、管理サーバ３０に、ステップＳ５における評価結果を送信する（ステップＳ９）。

【0066】

評価サーバ１０は、該ユーザに、医療受診を勧めるレコメンド情報を通知するか否かを判定する（ステップＳ１０）。例えば、該ユーザの評価結果が、所定回数以上、所定の項目のスコアが、ストレスの程度が悪いとされる範囲内に該当した場合、評価サーバ１０は、該ユーザに、レコメンド情報を通知することを判定する（ステップＳ１０）。

【0067】

レコメンド情報を通知すると判定した場合（ステップＳ１０：Ｙｅｓ）、評価サーバ１０は、該ユーザが使用するユーザ端末２０に、医療受診を勧めるレコメンド情報を通知する（ステップＳ１１）。レコメンド情報を通知しないと判定した場合（ステップＳ１０：Ｎｏ）、処理を終了する。

【0068】

［実施の形態１の効果］
このように、実施の形態１に係る評価システム１００によれば、ユーザ自身の回答の内容のみならず、ユーザの回答時の感情分析結果も用いてユーザのストレスの程度を評価するため、ストレス評価の精度向上を図ることができる。

【0069】

また、評価システム１００では、ユーザは、自分で回答を記入する入力操作を行わずとも、質問に対して、そのまま音声で回答するのみで足りる。したがって、評価システムでは、質問に対して、ユーザがそのまま声で回答するのみでよい。このため、評価システム１００によれば、ユーザは、設問内容に対する回答を記入する必要がないため、ストレスチェック実施時のユーザの負担を軽減することができる。

【0070】

なお、実施の形態１では、ユーザは、自身で回答方法を選択できる。例えば、マイクオンを設定した場合、回答方法は、音声での回答、ユーザ自身による選択肢の選択指示のいずれでもよい。また、マイクオフを選択した場合には、ユーザ自身による選択肢の選択指示を行えばよい。このように、ユーザは、ユーザ自身で回答方法を柔軟に設定することができる。

【0071】

また、ユーザがマイクオン及びカメラオフとした場合には、分析部１３４は、ユーザの音声データのみを用いて、感情分析を行う。また、ユーザがマイクオフ及びカメラオンとした場合には、分析部１３４は、ユーザの画像データのみを用いて、感情分析を行う。

【0072】

また、評価サーバ１０は、ユーザ端末２０に表示させるメニュー画面Ｍ１，Ｍ２において、ユーザの質問に対する回答の総合結果に応じて、キャラクター画像Ｑ１または録画画像Ｑ２の人物の表情を変更してもよい。

【0073】

例えば、キャラクター画像Ｑ１の場合、事前に複数の表情の画像を生成しておく。録画画像Ｑ２の場合には、事前に複数パータンの人物の表情を録画しておく。そして、評価サーバ１０は、各表情を、ストレスの程度に応じて分類しておく。具体的には、評価サーバ１０は、スコアの範囲ごとに、表情を対応付ける。評価サーバ１０は、ストレスの程度が高いと考えられるスコアの範囲には、心配そうな表情を対応付ける。評価サーバ１０は、ストレスの程度が低いと考えられるスコアの範囲には、楽しそうな表情を対応付ける。

【0074】

ストレスチェックの際には、評価サーバ１０は、初期設定の表情でキャラクター画像Ｑ１または録画画像Ｑ２の人物を表示する。そして、評価サーバ１０は、一つ前の質問までのスコアの合算値を求め、求めたスコアに応じて、キャラクター画像Ｑ１または録画画像Ｑ２の人物の表情を決定し、メニュー画面Ｍ１，Ｍ２に表示する。例えば、評価サーバ１０は、ユーザのスコアが、ストレスの程度が高い範囲に該当する場合、心配そうな表情のキャラクター画像Ｑ１をメニュー画面Ｍ１に表示させる。

【0075】

［実施の形態１の変形例１］
また、実施の形態１に係る評価システム１００は、法令に定められた年に１度のストレスチェック実施以外にも、適用可能である。評価システム１００では、例えば、日々の始業前に、ユーザへの質問及びその回答を取得することで、ユーザのストレスの程度を日常的に評価してもよい。

【0076】

この場合、評価システム１００は、職業性ストレス簡易調査票（57項目）の全ての質問ではなく、例えば、各項目の代表質問のみをユーザ端末２０に送信し、代表質問に対するユーザの回答を取得してもよい。また、評価システム１００は、職業性ストレス簡易調査票（57項目）の全項目ではなく、所定の項目の質問のみをユーザ端末２０に送信し、この項目の質問に対するユーザの回答を取得してもよい。

【0077】

質問は、例えば、職業性ストレス簡易調査票（57項目）の中から予め抽出するほか、ユーザ或いは事業者等が選択した項目の質問に限ってもよい。また、質問は、ランダムに選択されてもよい。

【0078】

この場合、ユーザは、日常的に、自分のストレスの程度を把握でき、担当する業務の量や、業務の進行等に役立てることができる。また、例えば、業務の満足度に関する質問をユーザに継続的に行うことで、ユーザが、自分の業務に満足しているかを客観的に把握することができる。また、ユーザの許可を得られた場合には、日々のユーザのストレスの評価結果を、人事担当部門に通知し、勤務環境の改善等に役立てることも可能である。そして、ユーザの許可を得られた場合には、日々のユーザのストレスの評価結果を、ユーザの勤退データと関連付けることで、ユーザの勤務環境の裏付けとすることもできる。

【0079】

［実施の形態１の変形例２］
図１４は、実施の形態１に係る処理システムの他の構成の一例を示すブロック図である。図１５は、実施の形態１に係る評価処理の他の処理手順を示すフローチャートである。

【0080】

図１４の評価システム１００Ａは、オンライン診療の際に、患者（ユーザ）のストレスの程度を評価するシステムである。

【0081】

図１５に示すように、医師が使用する端末４０は、医師から選択されたユーザへの質問を、評価サーバ１０を介してユーザ端末２０に送信する（ステップＳ１１－１，Ｓ１１－２）。なお、この質問は、評価サーバ１０が通知した所定のオンライン診療用の質問から医師が選択した質問である。また、評価サーバ１０は、所定のオンライン診療用の質問をユーザ端末２０に送信してもよい。オンライン診療用の質問は、職業性ストレス簡易調査票（57項目）から選択されてもよく、例えば、職業性ストレス簡易調査票（57項目）第２群の項目の質問を中心に設定される。もちろん、職業性ストレス簡易調査票（57項目）の内容に限らない。

【0082】

評価サーバ１０は、ユーザ端末２０から、質問ごとに、質問に対するユーザの回答、回答中のユーザの音声データ、及び／または、回答中のユーザの画像データを受信する（ステップＳ１２）。

【0083】

評価サーバ１０は、ステップＳ３～ステップＳ６と同様に、ステップＳ１３～ステップＳ１６処理を行うことで、ユーザのストレスの程度を評価し、評価結果を端末４０に送信する（ステップＳ１７）。端末４０は、ユーザのストレスに対する評価結果を表示出力する（ステップＳ１８）。ユーザ端末２０と端末４０とは、オンライン診療のための通信を行う（ステップＳ１９）。なお、ステップＳ１１～ステップＳ１８は、オンライン診療前に限らず、オンライン診療中に実行されてもよい。

【0084】

このように、医師は、端末４０に表示出力されたユーザのストレスに関する評価結果を診療前或いは診療中に参照しながら、オンライン診療を行うことができる。これによって、医師は、オンラインでの診察でも、患者のストレスの程度を把握することで、円滑な診療を行うことができる。

【0085】

そして、評価サーバ１０は、日ごろから収集したデータを診療に役立てるよう、医師側に蓄積した評価結果を送信してもよい。すなわち、評価サーバ１０は、患者の診療時に、蓄積したこの患者のストレスの程度に関する評価結果の全て或いは一部を、医師が使用する端末４０に送信してもよい。例えば、評価サーバ１０は、診察対象の患者について、所定期間以上、第２群のスコアが、心身の状態が悪いとされる範囲に該当した場合、心身の状態が悪い期間が所定期間以上継続していることを、端末４０に通知する。この場合、医師は、端末４０に表示出力された患者の心身の状態を参照しながら、状態が悪い部位等を効率的に問診することができる。

【0086】

実施の形態１及び実施の形態１の変形例１，２に示すように、評価サーバ１０が実行するストレスの程度に対する評価は、労働安全衛生法に基づく定期的なストレスチェック以外にも、ユーザの日常業務におけるメンタル状態のチェックや、医師によるオンライン診断の際の事前問診等、メンタルヘルスケア全般に適用可能である。

【0087】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0088】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0089】

［プログラム］
また、上記実施形態において説明した評価サーバ１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態における評価サーバ１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0090】

図１６は、プログラムを実行するコンピュータを示す図である。図１６に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0091】

メモリ１０１０は、図１６に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１６に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0092】

ここで、図１６に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0093】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0094】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0095】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0096】

１０ 評価サーバ
１１ 通信部
１２ 記憶部
１３ 制御部
２０ ユーザ端末
３０ 管理サーバ
４０ 端末
１２１ 質問データ
１２２ 項目データ
１２３ 回答採点表
１２４ 感情採点表
１２５ 評価用データ
１２６ 評価結果データベース（ＤＢ）
１３１ 質問送信部
１３２ 取得部
１３３ 認識部
１３４ 分析部
１３５ 評価部
１３６ 可視化部
１３７ 通知部
１３３１ 音声認識モデル
１３４１ 感情分析モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】