ホーム > 特許ランキング > 株式会社ディーエスブランド
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175504
(43)【公開日】2022-11-25
(54)【発明の名称】情報処理装置、プログラム及び情報処理方法
(51)【国際特許分類】
G06Q 10/06 20120101AFI20221117BHJP
G16Y 20/40 20200101ALI20221117BHJP
G16Y 40/20 20200101ALI20221117BHJP
【ＦＩ】
G06Q10/06
G16Y20/40
G16Y40/20
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2021081915
(22)【出願日】2021-05-13
(11)【特許番号】
(45)【特許公報発行日】2022-01-28
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＴＨＵＮＤＥＲＢＯＬＴ
(71)【出願人】
【識別番号】508322428
【氏名又は名称】株式会社ディーエスブランド
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】田坂 将一
(72)【発明者】
【氏名】川中 豊
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA06
5L049AA10
(57)【要約】
【課題】より適切なメンタルケアを可能とする技術を提供すること。
【解決手段】本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、判定ステップと、受付ステップと、表示制御ステップとを実行するように構成される。判定ステップでは、第１ユーザの顔画像に基づき、第１ユーザの感情を判定する。受付ステップでは、第１感情情報を受け付ける。第１感情情報は、ユーザによって自己の感情が評価された自己評価結果を含む。表示制御ステップでは、判定ステップにおける判定結果と、自己評価結果の乖離が閾値以上である場合、通知情報７を表示する。
【選択図】図１
【解決手段】本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、判定ステップと、受付ステップと、表示制御ステップとを実行するように構成される。判定ステップでは、第１ユーザの顔画像に基づき、第１ユーザの感情を判定する。受付ステップでは、第１感情情報を受け付ける。第１感情情報は、ユーザによって自己の感情が評価された自己評価結果を含む。表示制御ステップでは、判定ステップにおける判定結果と、自己評価結果の乖離が閾値以上である場合、通知情報７を表示する。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理装置であって、
判定ステップと、受付ステップと、表示制御ステップとを実行するように構成され、
前記判定ステップでは、第１ユーザの顔画像に基づき、前記第１ユーザの感情を判定し、
前記受付ステップでは、第１感情情報を受け付け、
前記第１感情情報は、前記ユーザによって自己の前記感情が評価された自己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記自己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
判定ステップと、受付ステップと、表示制御ステップとを実行するように構成され、
前記判定ステップでは、第１ユーザの顔画像に基づき、前記第１ユーザの感情を判定し、
前記受付ステップでは、第１感情情報を受け付け、
前記第１感情情報は、前記ユーザによって自己の前記感情が評価された自己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記自己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項2】
請求項１に記載の情報処理装置において、
前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、
前記自己評価結果は、前記感情が数値化された、
もの。
前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、
前記自己評価結果は、前記感情が数値化された、
もの。
【請求項3】
請求項１又は請求項２に記載の情報処理装置において、
前記受付ステップでは、第２感情情報を受け付け、
前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
前記受付ステップでは、第２感情情報を受け付け、
前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項4】
請求項３に記載の情報処理装置において、
前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、
もの。
前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項5】
請求項４に記載の情報処理装置において、
選択ステップをさらに実行するように構成され、
前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
選択ステップをさらに実行するように構成され、
前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項6】
プログラムであって、
コンピュータに、請求項１～請求項５の何れか１つに記載の情報処理装置の各ステップを実行させる、
もの。
コンピュータに、請求項１～請求項５の何れか１つに記載の情報処理装置の各ステップを実行させる、
もの。
【請求項7】
情報処理装置が実行する情報処理方法であって、
請求項１～請求項６の何れか１つに記載の情報処理システムの各ステップを備える、
方法。
請求項１～請求項６の何れか１つに記載の情報処理システムの各ステップを備える、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
従来より、作業者の表情等を撮像して作業者の健康状態を判定する技術が知られている。特許文献１には、作業者の顔を撮像することで作業者の状態を判定するシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－２２８９５７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、外見からは良好な健康状態と判断されていても、実際には不調であることもあり、外面と内面との乖離が大きい場合、管理者は適切なメンタルケアができないことがある。
【0005】
本発明では上記事情を鑑み、より適切なメンタルケアを可能とする技術を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理装置が提供される。この情報処理装置は、判定ステップと、受付ステップと、表示制御ステップとを実行するように構成される。判定ステップでは、第１ユーザの顔画像に基づき、第１ユーザの感情を判定する。受付ステップでは、第１感情情報を受け付ける。第１感情情報は、ユーザによって自己の感情が評価された自己評価結果を含む。表示制御ステップでは、判定ステップにおける判定結果と、自己評価結果の乖離が閾値以上である場合、通知情報７を表示する。
【0007】
これにより、より適切なメンタルケアを可能とする技術を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係る情報処理システム１の構成概要を示す図である。
【図2】情報処理装置３のハードウェア構成を示すブロック図である。
【図3】情報処理装置３の機能を示す機能ブロック図である。
【図4】情報処理装置３による情報処理の一例を示すアクティビティ図である。
【図5】第１ユーザ端末２及び第２ユーザ端末４に表示される画面の一例を示す図である。
【図6】第１ユーザ端末２及び第２ユーザ端末４に表示される画面の一例を示す図である。
【図7】感情の要素の一例を示す図である。
【図8】判定部３３１による判定結果の一例を示す図である。
【図9】感情と、点数とが対応付けられたデータベースの一例を示す図である。
【図10】第１ユーザ端末２に表示される画面の一例を示す図である。
【図11】通知情報７の一例を示す図である。
【図12】第２ユーザ端末４に表示される画面の一例を示す図である。
【図13】自己評価結果と、他己評価結果との一致度の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．ハードウェア構成
本節では、本実施形態のハードウェア構成について説明する。図１は、本実施形態に係る情報処理システム１の構成概要を示す図である。
本節では、本実施形態のハードウェア構成について説明する。図１は、本実施形態に係る情報処理システム１の構成概要を示す図である。
【0014】
１．１ 情報処理システム１
情報処理システム１は、第１ユーザ端末２と、情報処理装置３と、複数の第２ユーザ端末４（第２ユーザ端末４－１～第２ユーザ端末４－Ｎ）とを備え、これらが電気通信回線を通じて通信可能に構成されている。情報処理装置３は、第１ユーザ端末２と、第２ユーザ端末４－１～第２ユーザ端末４－Ｎのそれぞれと、インターネット等のネットワークを介して相互に通信可能となっている。これらの構成要素についてさらに説明する。
情報処理システム１は、第１ユーザ端末２と、情報処理装置３と、複数の第２ユーザ端末４（第２ユーザ端末４－１～第２ユーザ端末４－Ｎ）とを備え、これらが電気通信回線を通じて通信可能に構成されている。情報処理装置３は、第１ユーザ端末２と、第２ユーザ端末４－１～第２ユーザ端末４－Ｎのそれぞれと、インターネット等のネットワークを介して相互に通信可能となっている。これらの構成要素についてさらに説明する。
【0015】
１．２ 第１ユーザ端末２
第１ユーザ端末２は、感情の自己評価を行う第１ユーザが操作するものであり、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて情報処理装置３及び第２ユーザ端末４にアクセス可能なものであれば、その形態は問わない。
第１ユーザ端末２は、感情の自己評価を行う第１ユーザが操作するものであり、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて情報処理装置３及び第２ユーザ端末４にアクセス可能なものであれば、その形態は問わない。
【0016】
第１ユーザ端末２は、表示部と、入力部と、通信部と、記憶部と、制御部と、撮像部とを有し、これらの構成要素が第１ユーザ端末２の内部において通信バスを介して電気的に接続されている。
【0017】
表示部及び入力部は、例えば、第１ユーザ端末２の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。入力部は、表示部と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。
【0018】
撮像部は、撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅｓ）イメージセンサー又はＣＭＯＳ（Ｃｏｍｐｌｅｔｅｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーと、レンズ等の光学素子とを組み合わせたカメラ等を備える。さらに、撮像部は、畳み込みニューラルネットワークを用いた画像認識プロセッサ等を備え、ユーザの顔を認識可能である。撮像部は、複数のカメラを用いることも可能である。撮像素子は、撮像部の有するレンズから入ってきた光を電気信号に変換する電子部品である。撮像部の撮像素子の数、大きさ等の技術仕様は、限定されない。
【0019】
通信部、記憶部及び制御部の具体的な説明については、次に説明する情報処理装置３における通信部３１、記憶部３２及び制御部３３の記載を参照されたい。
【0020】
１．３ 情報処理装置３
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
図２は、情報処理装置３のハードウェア構成を示すブロック図である。情報処理装置３は、通信部３１と、記憶部３２と、制御部３３とを有し、これらの構成要素が情報処理装置３の内部において通信バス３０を介して電気的に接続されている。各構成要素についてさらに説明する。
【0021】
（通信部３１）
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
通信部３１は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ等のモバイル通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
【0022】
（記憶部３２）
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
記憶部３２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部３３によって実行される情報処理装置３に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。また、これらの組合せであってもよい。
【0023】
（制御部３３）
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部（図３参照）として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
制御部３３は、情報処理装置３に関連する全体動作の処理・制御を行う。制御部３３は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部３３は、記憶部３２に記憶された所定のプログラムを読み出すことによって、情報処理装置３に係る種々の機能を実現する。すなわち、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部（図３参照）として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部３３は単一であることに限定されず、機能ごとに複数の制御部３３を有するように実施してもよい。またそれらの組合せであってもよい。
【0024】
１．４ 第２ユーザ端末４
第２ユーザ端末４は、同じ組織に属する作業員である第２ユーザが操作するものである。第２ユーザ端末４は、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて第１ユーザ端末２及び情報処理装置３にアクセス可能なものであれば、その形態は問わない。
第２ユーザ端末４は、同じ組織に属する作業員である第２ユーザが操作するものである。第２ユーザ端末４は、スマートフォン、タブレット端末、コンピュータ、その他電気通信回線を通じて第１ユーザ端末２及び情報処理装置３にアクセス可能なものであれば、その形態は問わない。
【0025】
第２ユーザ端末４は、表示部と、入力部と、通信部と、記憶部と、制御部と、撮像部とを有し、これらの構成要素が外部の第２ユーザ端末４の内部において通信バスを介して電気的に接続されている。各構成要素の説明は第１ユーザ端末２及び情報処理装置３の記載を参照されたい。
【0026】
２．機能構成
本節では、本実施形態の機能構成について説明する。図３は、情報処理装置３の機能を示す機能ブロック図である。前述の通り、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。
本節では、本実施形態の機能構成について説明する。図３は、情報処理装置３の機能を示す機能ブロック図である。前述の通り、ソフトウェア（記憶部３２に記憶されている）による情報処理がハードウェア（制御部３３）によって具体的に実現されることで、制御部３３に含まれる各機能部として実行されうる。
【0027】
具体的には、情報処理装置３（制御部３３）は、各機能部として、判定部３３１と、受付部３３２と、表示制御部３３３と、選択部３３４とを備える。
【0028】
（判定部３３１）
判定部３３１は、判定ステップを実行可能に構成される。判定ステップにおいて、判定部３３１は、受付部３３２が取得した種々の情報どうしを比較して所定の条件を満たすか否かを判定する。例えば、判定部３３１は、受付部３３２が取得した種々のデータと、記憶部３２に予め記憶された条件とを比較して、これを満たすか否かを判定することができる。判定部３３１の判定結果に基づいて、情報処理装置３が異なる処理を実行することができる。具体的な例については次節でさらに詳述する。
判定部３３１は、判定ステップを実行可能に構成される。判定ステップにおいて、判定部３３１は、受付部３３２が取得した種々の情報どうしを比較して所定の条件を満たすか否かを判定する。例えば、判定部３３１は、受付部３３２が取得した種々のデータと、記憶部３２に予め記憶された条件とを比較して、これを満たすか否かを判定することができる。判定部３３１の判定結果に基づいて、情報処理装置３が異なる処理を実行することができる。具体的な例については次節でさらに詳述する。
【0029】
（受付部３３２）
受付部３３２は、受付ステップを実行可能に構成される。受付部３３２は、通信部３１又は記憶部３２を介して情報を受け付け、これを作業メモリに読出可能に構成される。特に、受付部３３２は、第１ユーザ端末２からネットワーク及び通信部３１を介して種々の情報を受け付けるように構成される。本実施形態では、受付部３３２が受け付けた種々の情報は、記憶部３２に記憶されるものとして説明する。
受付部３３２は、受付ステップを実行可能に構成される。受付部３３２は、通信部３１又は記憶部３２を介して情報を受け付け、これを作業メモリに読出可能に構成される。特に、受付部３３２は、第１ユーザ端末２からネットワーク及び通信部３１を介して種々の情報を受け付けるように構成される。本実施形態では、受付部３３２が受け付けた種々の情報は、記憶部３２に記憶されるものとして説明する。
【0030】
特に、受付部３３２は、第１ユーザの顔画像と、第１感情情報５１と、第２感情情報５２とを受け付ける。
【0031】
（表示制御部３３３）
表示制御部３３３は、表示制御ステップを実行可能に構成される。表示制御ステップにおいて、表示制御部３３３は、記憶部３２に記憶された種々の情報又はこれらを含む画面等を、第１ユーザ端末２で視認可能な態様で表示させる。具体的には、表示制御部３３３は、画面、画像、アイコン、メッセージ等の視覚情報を、第１ユーザ端末２の表示部に表示させるように制御する。表示制御部３３３は、視覚情報を第１ユーザ端末２に表示させるためのレンダリング情報だけを生成してもよい。
表示制御部３３３は、表示制御ステップを実行可能に構成される。表示制御ステップにおいて、表示制御部３３３は、記憶部３２に記憶された種々の情報又はこれらを含む画面等を、第１ユーザ端末２で視認可能な態様で表示させる。具体的には、表示制御部３３３は、画面、画像、アイコン、メッセージ等の視覚情報を、第１ユーザ端末２の表示部に表示させるように制御する。表示制御部３３３は、視覚情報を第１ユーザ端末２に表示させるためのレンダリング情報だけを生成してもよい。
【0032】
特に、表示制御部３３３は、通知情報７を表示させる。詳細は後述する。
【0033】
（選択部３３４）
選択部３３４は、選択ステップを実行する。選択ステップにおいて、選択部３３４は、自己評価結果と、複数の第２ユーザによる他己評価結果それぞれとの一致度が閾値以上の第２ユーザを選択する。詳細については、後述する。
選択部３３４は、選択ステップを実行する。選択ステップにおいて、選択部３３４は、自己評価結果と、複数の第２ユーザによる他己評価結果それぞれとの一致度が閾値以上の第２ユーザを選択する。詳細については、後述する。
【0034】
３．情報処理の詳細
第３節では、アクティビティ図を参照しながら、情報処理装置３が実行する情報処理方法について説明する。下記に示す通り、情報処理方法は、情報処理システム１の各ステップを備える。以下、出退勤時に第１ユーザの感情の判定を行う場合を例に説明する。
第３節では、アクティビティ図を参照しながら、情報処理装置３が実行する情報処理方法について説明する。下記に示す通り、情報処理方法は、情報処理システム１の各ステップを備える。以下、出退勤時に第１ユーザの感情の判定を行う場合を例に説明する。
【0035】
図４は、情報処理装置３による情報処理の一例を示すアクティビティ図である。なお、以下の処理の順番は適宜入れ替えることができ、複数の処理が同時に実行されてもよいし、その全ての処理を実行しなくてもよい。
【0036】
図５及び図６は、第１ユーザ端末２及び第２ユーザ端末４に表示される画面の一例を示す図である。第１ユーザは、出勤を行う際、図５で示される画面を操作することで出勤時刻を情報処理装置３に送信可能である。第１ユーザによって出勤ボタン６１が押下されると、図６で示される画面が表示されるともに、第１ユーザ端末２の撮像部は、ユーザの顔を撮影及び認識を実行する。撮影された顔画像は、第１ユーザ端末２の通信部を介して情報処理装置３に送信される。
【0037】
続いて、受付部３３２は、ネットワーク及び通信部３１を介して顔画像を受け付ける（Ａ１０１）。また、判定部３３１は、第１ユーザの顔画像に基づき、第１ユーザの感情を判定する（Ａ１０２）。具体的には例えば、判定部３３１は、顔画像に基づき、複数の要素からなる感情として認識した後、予め定められた評価基準に基づき、一次元の数値に置き換えて感情を判定する。
【0038】
図７は、感情の要素の一例を示す図である。図７で示されるように、顔画像に基づき認識可能な感情は「ポジティブ」及び「ネガティブ」のいずれかの種別に大別され、「ポジティブ」の感情には、「嬉しい」及び「落ち着いている」との要素を含み、「ネガティブ」の感情には、「怒る」、「恐れ」、「悲しい」、「嫌悪感」、「混乱」及び「驚き」の要素が含まれる。
【0039】
図８は、判定部３３１による判定結果の一例を示す図である。判定部３３１は、顔画像に含まれる顔の表情に応じて予め定められた要素に分類する。このとき、図８で示されるように、判定部３３１は、第１ユーザの顔の表情に応じて、第１ユーザの感情を、複数の要素を包含するものとして分類可能である。図８の例では、判定部３３１は、顔画像から認識される感情の要素として、「嬉しい」が１５％、「落ち着いている」が５５％、「怒る」が１０％、「恐れ」が１０％、「悲しい」が５％、「混乱」が５％含まれるものと認定する。
【0040】
図９は、第１ユーザの気分と、点数とが対応付けられたデータベースの一例を示す図である。図９に示されるように、記憶部３２は、第１ユーザの感情を気分で表し、気分の良し悪しに応じて１点から６点までの点数が対応付けて記憶する。具体的には、第１ユーザの気分が「大変良い」場合は１点、「良い」場合は３点、「やや良い」場合は４点、「やや悪い」場合は５点、「悪い」場合は６点が対応付けられて記憶される。以下、点数が低いほどよりポジティブな感情を示すものとして、さらに説明を続ける。
【0041】
ここで、判定部３３１が、第１ユーザの感情をスコアで表す場合の評価基準は、例えば、以下である。
（１）顔画像から認識される前記要素の種別として、「ポジティブ」に分類される各要素の割合を合算して７０％以上である場合、１点と判定する。
（２）「落ち着いている」の割合が７０％以上の場合、２点と判定する。
（３）「ネガティブ」に分類される各要素の割合を合算して７０％以上である場合、６点と判定する。
（４）「ネガティブ」に分類される各要素の割合を合算して６０％以上である場合、５点と判定する。
（５）「ネガティブ」に分類される各要素の割合を合算して５０％以上である場合、４点と判定する。
（６）上記（１）から（５）までのいずれにも該当しない場合、３点と判定する。
なお、図８の例において、上記の評価基準に照らして判定が行われる場合、上記（１）から（５）までのいずれにも該当しないため、判定結果は３点である。このように、判定部３３１は、ユーザの顔画像に基づき、ユーザの感情を数値化することで判定する。
（１）顔画像から認識される前記要素の種別として、「ポジティブ」に分類される各要素の割合を合算して７０％以上である場合、１点と判定する。
（２）「落ち着いている」の割合が７０％以上の場合、２点と判定する。
（３）「ネガティブ」に分類される各要素の割合を合算して７０％以上である場合、６点と判定する。
（４）「ネガティブ」に分類される各要素の割合を合算して６０％以上である場合、５点と判定する。
（５）「ネガティブ」に分類される各要素の割合を合算して５０％以上である場合、４点と判定する。
（６）上記（１）から（５）までのいずれにも該当しない場合、３点と判定する。
なお、図８の例において、上記の評価基準に照らして判定が行われる場合、上記（１）から（５）までのいずれにも該当しないため、判定結果は３点である。このように、判定部３３１は、ユーザの顔画像に基づき、ユーザの感情を数値化することで判定する。
【0042】
その後、表示制御部３３３は、判定部３３１により判定された点数と対応する感情の種別を第１ユーザ端末２に強調表示させて表示する。図１０は、第１ユーザ端末２に表示される画面の一例を示す図である。図１０の例では、判定部３３１に判定された感情として「やや良い」が表示制御部３３３は、複数種類の感情それぞれと対応する第１感情評価ボタン６２を表示させる。前述の感情それぞれと対応する第１感情評価ボタン６２を強調表示させる態様で表示させる。ユーザは、第１感情評価ボタン６２を押下することで、自己の感情を自己評価可能である。第１ユーザが第１ユーザ端末２に表示された複数の第１感情評価ボタン６２のうちいずれか一つを選択すると、選択された感情の種別が第１感情情報５１として情報処理装置３に送信する。すなわち、第１感情情報５１は、ユーザによって自己の感情が評価された自己評価結果を含む。ここで、第１感情評価ボタン６２及び後述する第２感情評価ボタン６３と対応する感情の種別は、それぞれ図９で示される点数と対応する。すなわち、自己評価結果は、感情が数値化されたものである。
【0043】
その後、受付部３３２は、第１感情情報５１を受け付ける（Ａ１０３）。また、表示制御部３３３は、判定部３３１における判定結果と、自己評価結果の乖離が閾値以上である場合、通知情報７を表示する（Ａ１０４）。例えば、判定部３３１における判定結果と、第１ユーザによる自己評価結果との差が２点以上である場合、通知情報７を表示する。図１１は、通知情報７の一例を示す図である。この場合、判定部３３１における判定結果の点数が１点であって、第１ユーザによる自己評価結果に係る点数が３点である場合、両者の点数差は２点であるため、通知情報７が表示される。このように、第１ユーザの顔の表情に基づき導き出された評価結果と、第１ユーザによる自己評価結果との差が閾値以上の場合、ユーザに対して通知を行い、メンタルケアを図ることが可能となる。
【0044】
４．他己評価機能
第４節では、第２ユーザが他のユーザである第１ユーザの感情に対して評価可能な例を説明する。図１２は、第２ユーザ端末４に表示される画面の一例を示す図である。なお、第２ユーザは、退勤打刻時にその日一日における他のユーザの感情を評価するものとして説明する。
第４節では、第２ユーザが他のユーザである第１ユーザの感情に対して評価可能な例を説明する。図１２は、第２ユーザ端末４に表示される画面の一例を示す図である。なお、第２ユーザは、退勤打刻時にその日一日における他のユーザの感情を評価するものとして説明する。
【0045】
図１２に示されるように、第２ユーザ端末４において、第２ユーザは、第１ユーザの感情を評価可能である。具体的には、第２ユーザは、第２ユーザ端末４に表示される第２感情評価ボタン６３のうちいずれか一つを選択することで第１ユーザの感情を評価する。このとき、第１ユーザの感情を評価可能な第２ユーザは、第１ユーザと同じ部署に所属する者など、第１ユーザと業務上接点を有すると考えられる人物であることが好ましい。第２感情評価ボタン６３が選択されると、選択結果は、第２感情情報５２として、第２ユーザ端末４の通信部を介して情報処理装置３に送信される。この場合、第２感情情報５２は、第１ユーザとは異なる他の第２ユーザによって第１ユーザの感情が評価された他己評価結果を含む。また、第１ユーザを評価する第２ユーザが複数である場合、第２感情情報５２は、第１ユーザとは異なる複数の第２ユーザによって感情が評価された複数の他己評価結果の平均を含む。
【0046】
続いて、Ａ１０３において、受付部３３２は、ネットワーク及び通信部３１を介して第２感情情報５２を受け付ける。その後、Ａ１０４では、表示制御部３３３は、判定部３３１における判定結果と、他己評価結果の乖離が閾値以上である場合、通知情報７を表示する。第１ユーザを評価する第２ユーザが複数である場合、表示制御部３３３は、判定部３３１における判定結果と、他己評価結果の平均の乖離が閾値以上である場合、通知情報７を表示する。
【0047】
５．第２ユーザの選択処理
第１ユーザの感情を評価可能な第２ユーザは、特定の条件の下に選択されてもよい。具体的には、選択部３３４は、第１ユーザによる自己評価結果と、複数の第２ユーザによる他己評価結果それぞれとの一致度が閾値以上の第２ユーザを選択する。具体的には例えば、選択部３３４は、第１ユーザによる自己評価結果の点数と、第２ユーザによる評価結果の点数との差の平均が１未満である第２ユーザを選択する。
第１ユーザの感情を評価可能な第２ユーザは、特定の条件の下に選択されてもよい。具体的には、選択部３３４は、第１ユーザによる自己評価結果と、複数の第２ユーザによる他己評価結果それぞれとの一致度が閾値以上の第２ユーザを選択する。具体的には例えば、選択部３３４は、第１ユーザによる自己評価結果の点数と、第２ユーザによる評価結果の点数との差の平均が１未満である第２ユーザを選択する。
【0048】
図１３は、自己評価結果と、他己評価結果との一致度の一例を示す図である。図１３の例では、第１ユーザによる自己評価結果の点数と、第２ユーザそれぞれによる評価結果の点数との差と、一定期間における前記差の平均が示される。図１３の例によれば、前記差の平均が１未満である「谷口瑛太」「安部剛」が第１ユーザに対して評価可能となる。この場合、表示制御部３３３は、判定部３３１における判定結果と、選択された第２ユーザによる他己評価結果の乖離が閾値以上である場合、通知情報７を表示する。
【0049】
６．その他
本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
本実施形態に係る情報処理システム１に関して、以下のような態様を採用してもよい。
【0050】
（１）本実施形態の態様は、プログラムであってもよい。プログラムは、コンピュータに、情報処理装置３の各ステップを実行させる。
（２）本実施形態では、参照情報５がルックアップテーブル等のデータベースであるものとし、それに含まれる詳細な項目を説明したが、あくまでも一例でありこの限りではない。さらに、参照情報５は、そもそもルックアップテーブル等のデータベースに限定されず、複数の情報を数学的に関係づけた数理モデルでもよいし、さらに好ましくは、複数の情報の相関性を予め機械学習させた学習済みモデルであってもよい。
（３）本実施形態では、第１ユーザ及び第２ユーザの出退勤時に感情の評価を行うことを例に説明したがこれに限らず、予め設定された任意のタイミングで、ユーザの感情を評価可能でもよい。
（２）本実施形態では、参照情報５がルックアップテーブル等のデータベースであるものとし、それに含まれる詳細な項目を説明したが、あくまでも一例でありこの限りではない。さらに、参照情報５は、そもそもルックアップテーブル等のデータベースに限定されず、複数の情報を数学的に関係づけた数理モデルでもよいし、さらに好ましくは、複数の情報の相関性を予め機械学習させた学習済みモデルであってもよい。
（３）本実施形態では、第１ユーザ及び第２ユーザの出退勤時に感情の評価を行うことを例に説明したがこれに限らず、予め設定された任意のタイミングで、ユーザの感情を評価可能でもよい。
【0051】
さらに、次に記載の各態様で提供されてもよい。
前記情報処理装置において、前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、前記自己評価結果は、前記感情が数値化された、もの。
前記情報処理装置において、前記受付ステップでは、第２感情情報を受け付け、前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、もの。
前記情報処理装置において、前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、もの。
前記情報処理装置において、選択ステップをさらに実行するように構成され、前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、もの。
プログラムであって、コンピュータに、前記情報処理装置の各ステップを実行させる、もの。
情報処理装置が実行する情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
もちろん、この限りではない。
前記情報処理装置において、前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、前記自己評価結果は、前記感情が数値化された、もの。
前記情報処理装置において、前記受付ステップでは、第２感情情報を受け付け、前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、もの。
前記情報処理装置において、前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、もの。
前記情報処理装置において、選択ステップをさらに実行するように構成され、前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、もの。
プログラムであって、コンピュータに、前記情報処理装置の各ステップを実行させる、もの。
情報処理装置が実行する情報処理方法であって、前記情報処理システムの各ステップを備える、方法。
もちろん、この限りではない。
【0052】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0053】
１ ：情報処理システム
２ ：第１ユーザ端末
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：判定部
３３２ ：受付部
３３３ ：表示制御部
３３４ ：選択部
４ ：第２ユーザ端末
５ ：参照情報
５１ ：第１感情情報
５２ ：第２感情情報
６１ ：出勤ボタン
６２ ：第１感情評価ボタン
６３ ：第２感情評価ボタン
７ ：通知情報
２ ：第１ユーザ端末
３ ：情報処理装置
３０ ：通信バス
３１ ：通信部
３２ ：記憶部
３３ ：制御部
３３１ ：判定部
３３２ ：受付部
３３３ ：表示制御部
３３４ ：選択部
４ ：第２ユーザ端末
５ ：参照情報
５１ ：第１感情情報
５２ ：第２感情情報
６１ ：出勤ボタン
６２ ：第１感情評価ボタン
６３ ：第２感情評価ボタン
７ ：通知情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【手続補正書】
【提出日】2021-11-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置であって、
判定ステップと、受付ステップと、表示制御ステップとを実行するように構成され、
前記判定ステップでは、第１ユーザの顔画像に基づき、前記第１ユーザの感情を判定し、
前記受付ステップでは、第１感情情報と、第２感情情報とを受け付け、
前記第１感情情報は、前記第１ユーザによって自己の前記感情が評価された自己評価結果を含み、
前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記自己評価結果の乖離が閾値以上である場合、通知情報を表示するとともに、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報を表示する、
もの。
判定ステップと、受付ステップと、表示制御ステップとを実行するように構成され、
前記判定ステップでは、第１ユーザの顔画像に基づき、前記第１ユーザの感情を判定し、
前記受付ステップでは、第１感情情報と、第２感情情報とを受け付け、
前記第１感情情報は、前記第１ユーザによって自己の前記感情が評価された自己評価結果を含み、
前記第２感情情報は、前記第１ユーザとは異なる他の第２ユーザによって前記第１ユーザの感情が評価された他己評価結果を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記自己評価結果の乖離が閾値以上である場合、通知情報を表示するとともに、前記判定ステップにおける判定結果と、前記他己評価結果の乖離が閾値以上である場合、通知情報を表示する、
もの。
【請求項2】
請求項１に記載の情報処理装置において、
前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、
前記自己評価結果は、前記感情が数値化された、
もの。
前記判定ステップでは、前記第１ユーザの顔画像に基づき、前記第１ユーザの前記感情を数値化することで判定し、
前記自己評価結果は、前記感情が数値化された、
もの。
【請求項3】
請求項１又は請求項２に記載の情報処理装置において、
前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、
もの。
前記第２感情情報は、前記第１ユーザとは異なる複数の第２ユーザによって前記感情が評価された複数の前記他己評価結果の平均を含み、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、前記平均の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項4】
請求項１～請求項３の何れか１つに記載の情報処理装置において、
選択ステップをさらに実行するように構成され、
前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
選択ステップをさらに実行するように構成され、
前記選択ステップでは、前記自己評価結果と、前記複数の第２ユーザによる前記他己評価結果それぞれとの一致度が閾値以上の前記第２ユーザを選択し、
前記表示制御ステップでは、前記判定ステップにおける判定結果と、選択された前記第２ユーザによる前記他己評価結果の乖離が閾値以上である場合、通知情報７を表示する、
もの。
【請求項5】
プログラムであって、
コンピュータに、請求項１～請求項４の何れか１つに記載の情報処理装置の各ステップを実行させる、
もの。
コンピュータに、請求項１～請求項４の何れか１つに記載の情報処理装置の各ステップを実行させる、
もの。
【請求項6】
情報処理装置が実行する情報処理方法であって、
請求項１～請求項４の何れか１つに記載の情報処理装置の各ステップを備える、
方法。
請求項１～請求項４の何れか１つに記載の情報処理装置の各ステップを備える、
方法。