特開 2023-183280 電子機器、電子機器の制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023183280

(43)【公開日】2023-12-27

(54)【発明の名称】電子機器、電子機器の制御方法及び制御プログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20231220BHJP

   G06Q 10/04 20230101ALI20231220BHJP

   G06Q 10/10 20230101ALI20231220BHJP

【ＦＩ】

A61B5/16 120

G06Q10/04

G06Q10/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022096811

(22)【出願日】2022-06-15

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】230118913

【弁護士】

【氏名又は名称】杉村 光嗣

(74)【代理人】

【識別番号】100132045

【弁理士】

【氏名又は名称】坪内 伸

(74)【代理人】

【識別番号】100195534

【弁理士】

【氏名又は名称】内海 一成

(72)【発明者】

【氏名】▲高▼野 楓子

(72)【発明者】

【氏名】宮崎 淳吾

【テーマコード（参考）】

4C038

5L049

【Ｆターム（参考）】

4C038PP03

4C038PR01

4C038PR04

4C038PS00

5L049AA04

5L049AA11

(57)【要約】

【課題】対象者の内部状態の推定精度を向上できる電子機器、電子機器の制御方法及び制御プログラムを提供する。
【解決手段】電子機器１は、対象者に対して提示する提示情報を出力する出力部４０と、対象者に関する対象者情報を取得する取得部３０と、提示情報と対象者情報とに基づいて対象者の内部状態を推定する制御部１０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象者に対して提示する提示情報を出力する出力部と、
前記対象者に関する対象者情報を取得する取得部と、
前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する制御部と
を備える、電子機器。

【請求項2】

前記制御部は、前記提示情報に含まれる対象者に対する刺激に関する刺激情報に基づいて前記対象者の内部状態を推定する、請求項１に記載の電子機器。

【請求項3】

前記制御部は、
前記提示情報に含まれる刺激を調整する刺激調整情報を生成し、
前記提示情報を前記刺激調整情報に基づいて調整した調整済提示情報を前記出力部に出力させ、
前記調整済提示情報が出力された場合に対応する前記対象者情報に基づいて、前記対象者の内部状態を推定する、請求項１に記載の電子機器。

【請求項4】

前記制御部は、前記提示情報に含まれる刺激を計測した刺激計測情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する、請求項１に記載の電子機器。

【請求項5】

前記制御部は、前記対象者の内部状態の推定結果に基づいて、前記出力部に警報又は通知の少なくとも１つを出力させるか決定する、請求項１から４までのいずれか一項に記載の電子機器。

【請求項6】

対象者に対して提示する提示情報を出力し、
前記対象者に関する対象者情報を取得し、
前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する、
電子機器の制御方法。

【請求項7】

電子機器に、対象者に対して提示する提示情報を出力させ、
前記電子機器に、前記対象者に関する対象者情報を取得させ、
前記電子機器に、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定させる、
電子機器の制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、電子機器、電子機器の制御方法及び制御プログラムに関する。

【背景技術】

【0002】

非同期遠隔会議において、映像、音声情報に加え、使用者の音声、表情・動作、生体情報のデータから抽出した多様な心理状態推定情報を遠隔地の対話相手に表示するシステムが知られている（例えば特許文献１等参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２６２０１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

対象者の内部状態の推定精度の向上が求められる。

【0005】

本開示は、対象者の内部状態の推定精度を向上できる電子機器、電子機器の制御方法及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一実施形態に係る電子機器は、出力部と、取得部と、制御部とを備える。前記出力部は、対象者に対して提示する提示情報を出力する。前記取得部は、前記対象者に関する対象者情報を取得する。前記制御部は、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する。

【0007】

本開示の一実施形態に係る電子機器の制御方法は、対象者に対して提示する提示情報を出力し、前記対象者に関する対象者情報を取得し、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する。

【0008】

本開示の一実施形態に係る電子機器の制御プログラムは、電子機器に、対象者に対して提示する提示情報を出力させる。前記制御プログラムは、前記電子機器に、前記対象者に関する対象者情報を取得させる。前記制御プログラムは、前記電子機器に、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定させる。

【発明の効果】

【0009】

本開示に係る電子機器、電子機器の制御方法及び制御プログラムによれば、対象者の内部状態の推定精度が高められ得る。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る電子機器の概略構成を示すブロック図である。

【図2】内部状態と生体情報との関係を示すモデルの一例を示す図である。

【図3】刺激情報に基づいて内部状態を推定する制御方法の手順例を示すフローチャートである。

【図4】刺激を調整して内部状態を推定する制御方法の手順例を示すフローチャートである。

【図5】刺激を計測して内部状態を推定する制御方法の手順例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面を参照して、本開示を適用した電子機器１（図１参照）の実施形態が説明される。以下の説明は、本開示を適用した電子機器１の制御方法及び制御プログラムの実施形態の説明を兼ね得る。

【0012】

本開示において、「電子機器１」とは、電力により駆動する機器であってよい。一実施形態に係る電子機器１は、例えば対象者の感情又は集中度等の、対象者の内部状態を推定する。ここで、「対象者」は、一実施形態に係る電子機器１によって内部状態が推定される対象となる者（典型的には人間）であってよい。また、本開示において、「ユーザ」は、一実施形態に係る電子機器１を使用する者（典型的には人間）であってよい。「ユーザ」は、「対象者」と同じ者であってよいし、異なる者であってもよい。また、「ユーザ」及び「対象者」は、人間であってもよいし、人間以外の動物であってもよい。

【0013】

一実施形態に係る電子機器１は、各種の機器としてよい。例えば、一実施形態に係る電子機器１は、専用に設計された端末の他、汎用のスマートフォン、タブレット、ファブレット、ノートパソコン（ノートＰＣ）、コンピュータ、又はサーバなどのように、任意の機器としてよい。また、一実施形態に係る電子機器１は、例えば携帯電話又はスマートフォンのように、他の機器と通信を行う機能を有してもよい。ここで、上述の「他の機器」は、例えば携帯電話又はスマートフォンのような機器であってもよいし、例えば基地局、サーバ、専用端末、又はコンピュータのように、任意の機器であってもよい。また、本開示における「他の機器」は、電力によって駆動される機器又は装置等であってよい。一実施形態に係る電子機器１は、他の機器と有線及び／又は無線によって通信可能に構成されてよい。

【0014】

以下、電子機器１がオンライン会議に接続するサーバ又は端末等の機器である場合の実施形態の一例が説明される。この場合、電子機器１は、オンライン会議の画像又は音声等のコンテンツに含まれる、コンテンツの視聴者に対する刺激を考慮して、オンライン会議の参加者の所定の内部状態（例えば、所定の心理状態、感情又は集中度等）を推定してよい。電子機器１は、オンライン会議の主催者若しくはファシリテータ、又は、参加者自身に対して、参加者の内部状態の推定結果を通知したり参加者の内部状態の推定結果に基づく警報を出力したりしてよい。

【0015】

電子機器１が提供するオンライン会議の画像又は音声等のコンテンツは、提示情報とも称される。提示情報に含まれる、提示情報の視聴者に対する刺激に関する情報は、刺激情報とも称される。

【0016】

（電子機器１の構成例）
図１に示されるように、一実施形態に係る電子機器１は、制御部１０、記憶部２０、取得部３０、及び出力部４０を含んで構成されてよい。また、制御部１０は、図１に示されるように、刺激調整部１２及び刺激計測部１４を含んで構成されてよい。一実施形態に係る電子機器１は、図１に示される全ての機能部を含んでもよいし、図１に示される機能部の少なくとも一部を含まなくてもよい。例えば、一実施形態に係る電子機器１は、図１に示される制御部１０のみを備えてもよい。この場合、一実施形態に係る電子機器１は、外部機器として用意される、記憶部２０、取得部３０、及び出力部４０等に接続されるように構成されてよい。

【0017】

制御部１０は、電子機器１を構成する各機能部をはじめとして、電子機器１の全体を制御及び／又は管理する。制御部１０は、種々の機能を実行するための制御及び処理能力を提供するために、例えばＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）のような、少なくとも１つのプロセッサを含んでよい。制御部１０は、まとめて１つのプロセッサで実現してもよいし、いくつかのプロセッサで実現してもよいし、それぞれ個別のプロセッサで実現してもよい。プロセッサは、単一の集積回路として実現されてよい。集積回路は、ＩＣ（Integrated Circuit）ともいう。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。

【0018】

制御部１０は、１以上のプロセッサ及びメモリを含んでもよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。制御部１０は、１つ又は複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってもよい。制御部１０は、電子機器１の各構成要素の動作を制御する。

【0019】

制御部１０は、例えば、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、制御部１０は、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。制御部１０に含まれる刺激調整部１２及び刺激計測部１４の少なくともいずれかは、ソフトウェア及びハードウェア資源の少なくとも一方を含んで構成されてよい。また、一実施形態に係る電子機器１において、刺激調整部１２及び刺激計測部１４の少なくともいずれかは、ソフトウェアとハードウェア資源とが協働した具体的手段によって構成されてもよい。

【0020】

刺激調整部１２は、提示情報に含まれる刺激を調整する。刺激調整部１２は、提示情報に含まれる刺激を強めたり弱めたりしてよい。刺激調整部１２は、提示情報に刺激を追加してよい。刺激計測部１４は、提示情報に含まれる刺激を計測する。

【0021】

刺激は、文字若しくは記号又は図形等を含む所定の画像を表示することによって提示されてよい。所定の画像は、静止画又は動画を含んでよい。所定の画像は、例えばタイマーの画像等を含んでよい。刺激は、表示を変化させることによって提示されてよい。例えば画面の少なくとも一部の表示輝度を明るくしたり暗くしたりすることによって刺激が提示されてよい。また、画面の少なくとも一部の表示を点滅させることによって刺激が提示されてよい。

【0022】

刺激は、所定の音声を出力することによって提示されてよい。所定の音声は、例えばブザー又はチャイム等の警告音又は通知音を含んでよい。刺激は、音声を変化させることによって提示されてよい。例えば音量を大きくしたり小さくしたりすることによって刺激が提示されてよい。また、音声の周波数を変化させることによって刺激が提示されてよい。また、刺激調整部１２は、会議等での音声が一時的に途切れた時間、又は、音声等の音量が所定値以下になった時間を、刺激として定義してもよい。また、刺激調整部１２は、会議等での笑い声又は怒鳴り声等の特定の感情に関連した音声を、刺激として定義してもよい。

【0023】

記憶部２０は、各種の情報を記憶する。記憶部２０は、例えば制御部１０において実行されるプログラム、及び、制御部１０において実行された処理の結果等を記憶してよい。また、記憶部２０は、制御部１０のワークメモリとして機能してよい。記憶部２０は、図１に示されるように、制御部１０に有線及び／又は無線で接続されてよい。記憶部２０は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）の少なくとも一方を含んでもよい。記憶部２０は、例えば半導体メモリ等を含んで構成され得るが、これに限定されず、任意の記憶装置を含んで構成されてよい。例えば、記憶部２０は、一実施形態に係る電子機器１に挿入されたメモリカード等の記憶媒体として構成されてもよい。記憶部２０は、制御部１０として用いられるＣＰＵの内部メモリであってもよいし、制御部１０に別体として接続されるメモリであってもよい。

【0024】

取得部３０は、対象者に関する情報を取得可能に構成される。対象者に関する情報は、対象者情報とも称される。取得部３０は、対象者情報を制御部１０に出力する。

【0025】

取得部３０は、対象者情報として、例えば対象者の顔又は身体等を撮影するカメラを含んで構成されてよい。カメラは、ＣＣＤ（Charge Coupled Device Image Sensor）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のように、光電変換を行う撮像素子を含んで構成されてよい。カメラは、可視光カメラであってもよいし、赤外カメラ等の他の種々のカメラであってもよい。

【0026】

対象者がオンライン会議の参加者である場合、取得部３０は、オンライン会議に接続する端末を利用する参加者の画像を取得する。一実施形態において、取得部３０は、例えば対象者を所定時間ごと（例えば秒間３０フレーム）の静止画として撮像してもよい。また、取得部３０は、例えば対象者を連続した動画として撮像してもよい。取得部３０は、ＲＧＢデータ、及び／又は、赤外線データなどの各種のデータ形態で対象者の画像を取得してよい。

【0027】

取得部３０は、オンライン会議の参加者を撮像するために、例えば端末のインカメラとして構成されてよい。取得部３０は、端末に接続されるカメラとして構成されてよい。

【0028】

取得部３０は、撮像した参加者の画像を制御部１０に出力する。取得部３０は、図１に示されるように、制御部１０に有線及び／又は無線で接続されてよい。制御部１０は、取得部３０で取得した画像から、例えば対象者の視線方向又は視点等の動きを解析してよい。取得部３０は、対象者を撮影した画像から対象者の視線方向又は視点等の動きを解析した結果を対象者情報として制御部１０に出力してよい。

【0029】

取得部３０は、対象者情報として、例えば対象者の心拍数、血圧、呼吸数、体温又は発汗量等の種々の生体情報を検出するセンサを含んで構成されてよい。取得部３０は、対象者情報として、対象者の手、指、身体、足又は頭等の動き情報を取得する動き取得部、又は、対象者から発せられた音声情報を取得する音声取得部等を含んでよい。

【0030】

取得部３０は、ユーザ又は対象者から入力デバイスによって入力される情報又はデータを取得可能に構成されてよい。取得部３０は、他の機器との通信によって情報又はデータを取得可能に構成されてよい。

【0031】

出力部４０は、電子機器１がオンライン会議のクライアントとして機能する場合、オンライン会議の参加者に対して会議の音声又は画像等の会議内容を出力してよい。また、出力部４０は、制御部１０から出力される、例えば警報信号等の所定の信号に基づいて、電子機器１のユーザ等に注意を促すための所定の警報を出力してよい。このため、図１に示されるように、出力部４０は、制御部１０に有線及び／又は無線で接続されてよい。出力部４０は、例えば音、音声、光、文字、映像、又は振動等の、ユーザの聴覚、視覚、又は触覚の少なくともいずれかを刺激する態様で所定の警報を出力してよい。

【0032】

出力部４０は、例えばブザー又はスピーカ等の音声出力デバイスを含んで構成されてよい。出力部４０は、ＬＥＤ（Light Emitting Diode）等の発光デバイス、ＬＣＤ（Liquid Crystal Display）等の表示デバイス、又は、バイブレータ等の触感呈示デバイス等の種々の出力デバイスの少なくともいずれかを含んで構成されてよい。

【0033】

一実施形態において、出力部４０は、例えば対象者の内部状態として対象者自身の集中度が所定の閾値以下に低下していると推定された場合に、対象者自身の集中度が低下していることに対応する警報を出力してよい。例えば、一実施形態において、視覚情報を出力する出力部４０は、対象者の集中度が低下していることを発光又は所定の表示等によって対象者自身に報知してよい。また、一実施形態において、聴覚情報を出力する出力部４０は、対象者の集中度が低下していることを所定の音又は音声等によって対象者自身に報知してよい。また、一実施形態において、触覚情報を出力する出力部４０は、対象者の集中度が低下していることを所定の振動等によって対象者自身に報知してよい。このようにして、対象者自身は、例えばオンライン会議に対する集中度が低下している旨を知ることができる。

【0034】

出力部４０は、対象者としてのオンライン会議の参加者の集中度が所定の閾値以下に低下したと推定された場合に、オンライン会議の主催者若しくはファシリテータ、又は、他の参加者に対して、集中度が低下している参加者が存在することを報知してよい。出力部４０は、種々の態様で、集中度が低下している参加者が存在することを報知してよい。

【0035】

（内部状態の推定動作例）
一実施形態に係る電子機器１による対象者の内部状態の推定動作の一例が以下説明される。

【0036】

一実施形態に係る電子機器１は、自己符号化器（auto encoder）を用いて、対象者としてオンライン会議の参加者の画像等に基づく機械学習を行うことによって、参加者の集中度等のような内部状態を推定する。自己符号化器は、ニューラルネットワークのアーキテクチャの１つである。自己符号化器は、エンコーダ及びデコーダを含むニューラルネットワークであってよい。一実施形態に係る電子機器１において、制御部１０は、自己符号化器としての機能を含んでよい。すなわち、一実施形態に係る電子機器１の制御部１０は、エンコーダ及びデコーダとしての機能を備えてよい。

【0037】

図２に示されるように、一実施形態に係る電子機器１において自己符号化器として機能するニューラルネットワークは、深層生成モデル５０として表され得る。深層生成モデル５０は、対象者の集中度又は感情等の内部状態を表す情報Ｙに対応するブロック５１と、観測ノイズ等のノイズを表す情報Ｅに対応するブロック５２と、対象者が受ける刺激を表す情報Ｓに対応するブロック５３と、対象者の生体情報等の対象者情報を含む、対象者の応答を表す情報Ｘに対応するブロック５４とを備える。ブロック５４は、ブロック５１、５２及び５３から影響を受ける。つまり、対象者の応答を表す情報Ｘは、対象者の内部状態を表す情報Ｙ、ノイズを表す情報Ｅ、及び対象者が受ける刺激を表す情報Ｓに起因して生じる。

【0038】

制御部１０は、深層生成モデル５０で表される因果関係を用いて、対象者の応答を表す情報Ｘ、対象者が受ける刺激を表す情報Ｓ、及びノイズを表す情報Ｅに基づいて、対象者の内部状態を表す情報Ｙを推定できる。制御部１０は、深層生成モデル５０で表される因果関係を利用して対象者の内部状態を表す情報Ｙを推定するための学習済みモデルを、機械学習を実行することによって生成してよい。

【0039】

本実施形態において、制御部１０は、対象者情報と対象者の仮の内部状態とに基づいて対象者に関する未知の情報を推定し、未知の情報の推定結果に基づいて対象者情報を再構成するモデルを用いるとする。制御部１０は、モデルに入力する仮の内部状態を種々の状態に設定し、モデルで再構成された生体情報がモデルに入力した元の生体情報を再現する度合いが最も高くなるときに設定していた仮の内部状態を、対象者の内部状態として推定してよい。制御部１０は、上述した例に限られず、他の態様のモデルを用いて対象者の内部状態を推定してよい。

【0040】

例えば、制御部１０は、対象者の内部状態が所定の状態になる状況を意図的に生成し、所定の状態を表す情報を、対象者の内部状態を表す情報Ｙとして取得してよい。制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容のみに完全に集中している状態を意図的に生成してよい。また、制御部１０は、例えば、対象者としてのオンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態を意図的に生成してもよい。内部状態を示す情報Ｙは、例えば、集中している状態においてＹ＝０となり、集中していない状態においてＹ＝１となるように設定されてよい。

【0041】

オンライン会議の参加者がオンライン会議の内容に完全には集中できていない状態は、参加者がオンライン会議以外のタスクに注意を奪われている状態であるとしてよい。例えば、参加者がオンライン会議以外のタスクとして所定の暗算等のオンライン会議と無関係な作業を同時に行う状態が生成されてよい。作業の複雑さを調整することによって、参加者がオンライン会議の内容に集中できていない状態の度合いが調整されてもよい。作業の複雑さは、例えば暗算の問題の難易度によって調整され得る。例えば、オンライン会議の参加者がオンライン会議中に非常に簡単な暗算を同時に行う状態は、参加者が完全にはオンライン会議の内容に集中していないものの参加者の集中度が比較的高い状態であるとされてよい。また、参加者がオンライン会議中に相当複雑な暗算を同時に行う状態は、参加者の集中度が比較的低い状態であるとされてよい。

【0042】

制御部１０は、対象者の内部状態が所定の状態になる状況における対象者情報を、対象者の応答を表す情報Ｘとして取得してよい。制御部１０は、対象者が受ける所定の刺激を意図的に生成し、所定の刺激を表す情報を、対象者が受ける刺激を表す情報Ｓとして取得してよい。制御部１０は、ノイズを表す情報Ｅとして、白色ノイズ等の種々のノイズを表す情報を取得してよい。制御部１０は、取得した情報を教師データとして学習することによって学習済みモデルを生成してよい。

【0043】

上述したように、制御部１０は、種々の内部状態を示す情報Ｙに基づいてモデルで再構成される対象者情報が、モデルに入力された元の対象者情報を再現した度合いに応じて、内部状態を示す情報Ｙの妥当性を判断してよい。例えば、ある内部状態を示す情報Ｙ１に基づいて再構成された対象者情報が、元の対象者情報を再現する度合いが高い場合、内部状態を示す情報Ｙ１の妥当性が高い（すなわち正解に近い）と判断してよい。一方、ある内部状態を示す情報Ｙ２に基づいて再構成された対象者情報が、元の対象者情報を再現する度合いが低い場合、内部状態を示す情報Ｙ２の妥当性が低い（すなわち正解から遠い）と判断してよい。

【0044】

＜刺激を考慮した内部情報の推定＞
上述したように、対象者が刺激を受けた場合、対象者情報は刺激の影響で変化し得る。また、生体情報に対して刺激が及ぼす影響は、対象者の内部状態に応じて、大きくなったり小さくなったりし得る。本実施形態に係る電子機器１の制御部１０は、対象者に対して与えられる刺激を考慮した深層生成モデル５０を用いて対象者の内部状態を推定する。以下、オンライン会議の参加者を対象者として、参加者がオンライン会議で提示される情報から受ける刺激を考慮して参加者の内部状態を推定する動作例が説明される。

【0045】

本実施形態に係る電子機器１は、オンライン会議を提供するホストに接続されるクライアントであるとする。ホストは、サーバ装置又はクラウドシステムとして構成されてよい。電子機器１は、ホストからオンライン会議の内容を取得し、電子機器１からオンライン会議に参加している参加者に対してオンライン会議の内容を提示する。電子機器１は、オンライン会議の内容として、他の参加者が発言する音声、他の参加者の映像、及び、共有される画像等の情報を提示する。電子機器１が提示するオンライン会議の内容等の情報は、提示情報に含まれる。

【0046】

オンライン会議の内容は、参加者に対して刺激を与える内容を含み得る。参加者は、例えば、参加者自身が想定している内容と異なる内容が提示された場合に刺激を受け得る。参加者に対して刺激を与え得る内容として、例えば会議中に想定外に生じた発言若しくは笑い声、又は、誰も発言しない無音の期間等が挙げられる。

【0047】

制御部１０は、オンライン会議の開催中に対象者を対象者として、対象者の内部状態を推定してよい。制御部１０は、対象者情報とオンライン会議の内容とに基づいて対象者の内部状態を推定できる。オンライン会議の内容から対象者が受けた刺激は、対象者情報に影響を及ぼし得る。また、対象者の内部状態に応じて、刺激による対象者情報への影響の大きさが異なり得る。つまり、ある内容が対象者に対してどの程度の刺激を与えるかは、対象者の内部状態に応じて定まる。制御部１０は、対象者に対して刺激を与え得る内容が提示情報に含まれる場合に、その刺激が対象者情報に及ぼした影響に基づいて対象者の内部状態を推定できる。

【0048】

制御部１０は、対象者に対して刺激を与え得る内容を提示情報から抽出する。対象者に対して刺激を与え得る内容を表す情報は、刺激情報に含まれる。制御部１０は、対象者情報を取得する。制御部１０は、対象者が刺激を受けた可能性がある場合に、その刺激の影響が現れた可能性がある期間の生体情報を抽出する。

【0049】

制御部１０は、対象者の仮の内部状態として複数の状態を生成する。制御部１０は、対象者の仮の内部状態として生成した複数の状態のそれぞれを適用したモデルに対象者の刺激情報と抽出した生体情報とを入力し、各モデルで再構成された生体情報を取得する。

【0050】

制御部１０は、再構成された生体情報の再現度が高いほど、仮の内部状態を対象者の内部状態として推定することの妥当性が高いと判定してよい。制御部１０は、各モデルで再構成された生体情報の再現度を比較し、再現度が最も高くなったモデルに適用されていた仮の内部状態を、対象者の内部状態として推定してよい。

【0051】

例えば、制御部１０は、対象者の内部状態を示す情報Ｙとして対象者の集中度を用いてよい。この場合、制御部１０は、集中度の値を複数の値に仮定してよい。集中度の値を仮定した値は、仮定値とも称される。制御部１０は、複数の仮定値のそれぞれを適用したモデルに対象者の刺激情報と抽出した生体情報とを入力し、各モデルで再構成された生体情報を取得する。制御部１０は、再現度が最も高くなったモデルに適用されていた仮定値を、参加者の集中度の値として推定してよい。

【0052】

対象者の内部状態は、対象者の感情を含んでよい。対象者の感情は、対象者の集中度を含んでよい。対象者の感情は、集中度に限られず、例えば喜怒哀楽等で示されてよい。対象者の感情は、例えば、喜怒哀楽のそれぞれの度合いを組み合わせた指標によって示されてもよい。対象者の感情は、快感若しくは不快感の度合い、又は、安心感若しくは不安感の度合い等によって示されてもよい。対象者の感情を示す情報は、感情ラベルとも称される。対象者の内部状態は、対象者のオンライン会議に対する意欲を含んでもよい。対象者の内部状態は、オンライン会議に対する対象者の理解度を含んでもよい。

【0053】

制御部１０は、仮の内部状態を、対象者の集中度又は感情等の複数のパラメータの組み合わせとして生成してよい。制御部１０は、各パラメータについて想定される全ての値を総当たりで組み合わせた仮の内部状態をモデルに適用してよい。制御部１０は、各パラメータについて想定される値の数を適宜設定し、各パラメータで設定した数の仮定値を組み合わせた仮の内部状態をモデルに適用してよい。制御部１０は、各パラメータの値の組み合わせを何パターンかに絞って生成し、生成した各組み合わせの仮の内部状態をモデルに適用してよい。制御部１０は、モデルに適用した仮の内部状態それぞれについて対象者情報を再構成し、再現度に基づいて対象者の内部状態の推定結果を示す仮の内部状態を決定してよい。

【0054】

制御部１０は、対象者の内部状態の推定結果を、対象者又はユーザ等に対して出力してよい。例えば、オンライン会議のファシリテータは、各対象者の内部状態の推定結果に基づいて各対象者の集中度、意欲又は理解度等を把握することによって、オンライン会議の進行を調整できる。

【0055】

制御部１０は、対象者の内部状態の推定結果に基づいて、対象者又はユーザ等に対して警報を出力してよい。制御部１０は、対象者の内部状態の推定結果が警報条件を満たした場合に警報を出力してよい。警報条件は、例えば対象者の集中度が判定閾値以上になっていることを含んでよい。警報条件は、例えば対象者の感情ラベルの値が判定範囲外になっていることを含んでよい。制御部１０は、例えば対象者の集中度が低下していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の集中度を高めるための施策を促す警報を出力してよい。制御部１０は、例えば対象者の感情が悪化していると推定された場合に警報条件が満たされたと判定し、対象者又はユーザ等に対して、対象者の感情を改善するための施策を促す警報を出力してよい。制御部１０は、出力部４０によって警報を出力してよい。

【0056】

＜制御方法の手順例＞
電子機器１の制御部１０は、図３に例示されるフローチャートの手順を含む、電子機器１の制御方法を実行してもよい。電子機器１の制御方法は、制御部１０を構成するプロセッサに実行させる、電子機器１の制御プログラムとして実現されてもよい。電子機器１の制御プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

【0057】

オンライン会議のクライアントとして機能する電子機器１の制御部１０は、刺激を含む提示情報を出力部４０から出力する（ステップＳ１）。制御部１０は、対象者情報を取得する（ステップＳ２）。制御部１０は、提示情報に含まれる刺激に関する刺激情報を取得する（ステップＳ３）。

【0058】

制御部１０は、刺激情報及び対象者情報に基づいて対象者の内部状態を推定する（ステップＳ４）。制御部１０は、対象者の内部状態の推定結果が警報条件を満たすか判定する（ステップＳ５）。制御部１０は、警報条件が満たされる場合（ステップＳ５：ＹＥＳ）、出力部４０によって警報を出力する（ステップＳ６）。制御部１０は、警報条件が満たされない場合（ステップＳ５：ＮＯ）、ステップＳ６の手順をスキップしてステップＳ７の手順に進む。制御部１０は、推定結果を出力する（ステップＳ７）。制御部１０は、ステップＳ７の手順の実行後、図３のフローチャートの手順の実行を終了する。

【0059】

制御部１０は、ステップＳ６の警報の出力手順の後に、ステップＳ７の推定結果の出力手順を省略してもよい。制御部１０は、ステップＳ５の警報条件の判定手順及びステップＳ６の警報の出力手順を実行せずに、推定結果を出力してもよい。

【0060】

＜小括＞
以上述べてきたように、対象者の内部状態は、対象者が受けた刺激の影響を受け得る。本実施形態に係る電子機器１の制御部１０は、対象者が受けた刺激を考慮して、対象者の内部状態を推定できる。刺激を考慮しない場合と比べて、対象者の内部状態の推定精度が向上され得る。

【0061】

（他の実施形態）
以下、他の実施形態が説明される。

【0062】

＜刺激の調整＞
上述してきた実施形態において、電子機器１の制御部１０は、刺激を含む提示情報を出力する。制御部１０は、提示情報に含まれる刺激を調整し、調整した刺激に基づいて対象者の内部状態を推定してよい。制御部１０は、刺激調整部１２によって、刺激を調整する情報を生成してよい。刺激を調整する情報は、刺激調整情報とも称される。制御部１０は、刺激調整情報を提示情報に加えた情報を出力部４０に出力させてよい。刺激調整情報を提示情報に加えた情報は、調整済提示情報とも称される。

【0063】

制御部１０は、例えば、オンライン会議の内容として表示している画面に含まれる、オンライン会議の経過時間を表示するタイマーを大きくする指示を、刺激調整情報として生成してよい。制御部１０は、タイマーを大きくした画面を出力部４０に表示させる。対象者としてのオンライン会議の参加者は、タイマーの変化に気づいた場合、タイマーに対する操作を入力したりタイマーを注視したりし得る。つまり、対象者情報が変化し得る。

【0064】

制御部１０は、例えば、オンライン会議の音量を徐々に小さくする指示を、刺激調整情報として生成してよい。制御部１０は、音量を小さくした音声を出力部４０に出力させる。対象者としてのオンライン会議の参加者は、音量の変化に気づいた場合、音量を調整する操作を入力したりスピーカに耳を近づけたりし得る。つまり、対象者情報が変化し得る。

【0065】

制御部１０は、刺激調整情報と対象者情報とに基づいて対象者の内部状態を推定できる。制御部１０は、調整された刺激に対する対象者の反応に基づいて、例えば、対象者の集中度を推定できる。仮に、調整された刺激に対して対象者が反応した場合、制御部１０は、対象者がオンライン会議の画面又は音声に集中できている状態として、対象者の内部状態を推定できる。逆に、調整された刺激に対する対象者の反応が少ない場合、制御部１０は、対象者がオンライン会議の画面又は音声に集中できていない状態として、対象者の内部状態を推定できる。制御部１０は、刺激に対して対象者が反応した時間に基づいて、対象者の内部状態を推定してもよい。

【0066】

制御部１０は、図４に例示されるフローチャートの手順を含む、電子機器１の制御方法を実行してもよい。電子機器１の制御方法は、制御部１０を構成するプロセッサに実行させる、電子機器１の制御プログラムとして実現されてもよい。電子機器１の制御プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

【0067】

オンライン会議のクライアントとして機能する電子機器１の制御部１０は、刺激調整情報を生成する（ステップＳ１１）。制御部１０は、刺激調整情報を提示情報に加えた調整済提示情報を出力する（ステップＳ１２）。制御部１０は、調整した刺激に対応する対象者情報を取得する（ステップＳ１３）。

【0068】

制御部１０は、刺激調整情報及び対象者情報に基づいて対象者の内部状態を推定する（ステップＳ１４）。制御部１０は、対象者の内部状態の推定結果が警報条件を満たすか判定する（ステップＳ１５）。制御部１０は、警報条件が満たされる場合（ステップＳ１５：ＹＥＳ）、出力部４０によって警報を出力する（ステップＳ１６）。制御部１０は、警報条件が満たされない場合（ステップＳ１５：ＮＯ）、ステップＳ１６の手順をスキップしてステップＳ１７の手順に進む。制御部１０は、推定結果を出力する（ステップＳ１７）。制御部１０は、ステップＳ１７の手順の実行後、図４のフローチャートの手順の実行を終了する。

【0069】

制御部１０は、ステップＳ１６の警報の出力手順の後に、ステップＳ１７の推定結果の出力手順を省略してもよい。制御部１０は、ステップＳ１５の警報条件の判定手順及びステップＳ１６の警報の出力手順を実行せずに、推定結果を出力してもよい。

【0070】

＜刺激の計測＞
上述してきた実施形態において、電子機器１の制御部１０は、刺激を含む提示情報を出力する。制御部１０は、刺激計測部１４によって、提示情報に含まれる刺激を計測してよい。計測された刺激に関する情報は、刺激計測情報とも称される。制御部１０は、刺激計測情報に基づいて対象者の内部状態を推定してよい。

【0071】

制御部１０は、例えば、オンライン会議の音声に含まれる、突発的な笑い声等の想定外の音声、又は、参加者が無言になっている状態等の特徴的な音声を計測してよい。対象者としてのオンライン会議の参加者は、特徴的な音声に反応して何らかの動作をし得る。例えば、参加者は、笑い声につられて笑ったり無音の状態に戸惑ったりし得る。参加者の反応は、参加者の表情、発生、又は視線の動き等に現れ得る。つまり、対象者情報が変化し得る。

【0072】

制御部１０は、例えば、オンライン会議の画像に含まれる、表示内容の変化、又は、他の参加者の反応等の特徴的な表示を計測してよい。対象者としてのオンライン会議の参加者は、特徴的な表示に反応して何らかの動作をし得る。参加者の反応は、参加者の表情、発生、又は視線の動き等に現れ得る。つまり、対象者情報が変化し得る。

【0073】

制御部１０は、オンライン会議に含まれる特徴的な音声又は表示が発生してから対象者が反応するまでの時間を計測してもよい。

【0074】

制御部１０は、刺激計測情報と対象者情報とに基づいて対象者の内部状態を推定できる。制御部１０は、計測された刺激に対する対象者の反応に基づいて、例えば、対象者の集中度を推定できる。仮に、計測された刺激に対して対象者が反応した場合、制御部１０は、対象者がオンライン会議の画面又は音声に集中できている状態として、対象者の内部状態を推定できる。逆に、調整された刺激に対する対象者の反応が少ない場合、制御部１０は、対象者がオンライン会議の画面又は音声に集中できていない状態として、対象者の内部状態を推定できる。制御部１０は、刺激に対して対象者が反応した時間に基づいて、対象者の内部状態を推定してもよい。

【0075】

制御部１０は、図５に例示されるフローチャートの手順を含む、電子機器１の制御方法を実行してもよい。電子機器１の制御方法は、制御部１０を構成するプロセッサに実行させる、電子機器１の制御プログラムとして実現されてもよい。電子機器１の制御プログラムは、非一時的なコンピュータ読み取り可能な媒体に格納されてよい。

【0076】

オンライン会議のクライアントとして機能する電子機器１の制御部１０は、提示情報を出力する（ステップＳ２１）。制御部１０は、対象者情報を取得する（ステップＳ２２）。制御部１０は、提示情報に含まれる刺激を計測して刺激計測情報を生成する（ステップＳ２３）。

【0077】

制御部１０は、刺激計測情報及び対象者情報に基づいて対象者の内部状態を推定する（ステップＳ２４）。制御部１０は、対象者の内部状態の推定結果が警報条件を満たすか判定する（ステップＳ２５）。制御部１０は、警報条件が満たされる場合（ステップＳ２５：ＹＥＳ）、出力部４０によって警報を出力する（ステップＳ２６）。制御部１０は、警報条件が満たされない場合（ステップＳ２５：ＮＯ）、ステップＳ２６の手順をスキップしてステップＳ２７の手順に進む。制御部１０は、推定結果を出力する（ステップＳ２７）。制御部１０は、ステップＳ２７の手順の実行後、図５のフローチャートの手順の実行を終了する。

【0078】

制御部１０は、ステップＳ２６の警報の出力手順の後に、ステップＳ２７の推定結果の出力手順を省略してもよい。制御部１０は、ステップＳ２５の警報条件の判定手順及びステップＳ２６の警報の出力手順を実行せずに、推定結果を出力してもよい。

【0079】

＜内部状態推定の実行主体の例＞
上述してきたように、本開示の一実施形態に係る電子機器１は、オンライン会議に参加するための端末として構成される。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末によって実行される。

【0080】

ここで、オンライン会議は、ネットワーク等を経由して接続されるサーバ装置又はクラウドシステムによって開催され得る。本開示の一実施形態に係る電子機器１は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムとして構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、端末に対してオンライン会議を提供するサーバ装置又はクラウドシステムによって実行されてよい。

【0081】

言い換えれば、本開示の一実施形態に係る電子機器１は、オンライン会議のホストとなる機器として構成されてよい。また、本開示の一実施形態に係る予測モデル生成方法又は内部状態推定方法は、オンライン会議のホストとなる機器によって実行されてもよい。

【0082】

オンライン会議を提供するサーバ装置、クラウドシステム、又は、ホスト機器は、内部状態の推定結果を端末に出力してもよいし、内部状態の推定結果に基づく警報を端末に出力してもよい。

【0083】

本開示の内容は、当業者であれば本開示に基づき種々の変形及び改変を行うことができる。したがって、これらの変形及び改変は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段又は各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段又は各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段又は各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。

【0084】

本開示の一実施形態に係る電子機器１は、例えば、移動体に搭載されてもよい。移動体は、例えば車両、船舶、又は航空機等を含んでよい。本開示の一実施形態に係る電子機器１は、移動体に搭載される場合、乗用車のような移動体に搭乗している者（運転者又は同乗者）の所定の内部状態（例えば所定の心理状態、感情又は集中度等）を推定できる。電子機器１は、移動体を運転する運転者の内部状態として、運転者の運転時の感情又は集中度等の内部状態を推定してよい。電子機器１は、移動体に搭載される端末と通信可能に接続されるサーバ装置又はクラウドシステムとして構成されてもよい。

【0085】

車両は、例えば自動車、産業車両、鉄道車両、生活車両、又は滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、又はトロリーバス等を含んでよい。産業車両は、例えば農業又は建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフト又はゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、又は芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、又はロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット(personal watercraft(PWC))、ボート、又はタンカー等を含んでよい。航空機は、例えば固定翼機又は回転翼機等を含んでよい。また、本開示の「ユーザ」及び「対象者」は、車両又は航空機等の移動体を運転している者であってよいし、移動体を運転していない同乗者であってもよい。

【0086】

一実施形態において、（１）電子機器は、対象者に対して提示する提示情報を出力する出力部と、前記対象者に関する対象者情報を取得する取得部と、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する制御部とを備える。

【0087】

（２）上記（１）の電子機器において、前記制御部は、前記提示情報に含まれる対象者に対する刺激に関する刺激情報に基づいて前記対象者の内部状態を推定してよい。

【0088】

（３）上記（１）又は（２）の電子機器において、前記制御部は、前記提示情報に含まれる刺激を調整する刺激調整情報を生成してよい。前記制御部は、前記提示情報を前記刺激調整情報に基づいて調整した調整済提示情報を前記出力部に出力させてよい。前記制御部は、前記調整済提示情報が出力された場合に対応する前記対象者情報に基づいて、前記対象者の内部状態を推定してよい。

【0089】

（４）上記（１）から（３）までのいずれか１つの電子機器において、前記制御部は、前記提示情報に含まれる刺激を計測した刺激計測情報と前記対象者情報とに基づいて前記対象者の内部状態を推定してよい。

【0090】

（５）上記（１）から（４）までのいずれか１つの電子機器において、前記制御部は、前記対象者の内部状態の推定結果に基づいて、前記出力部に警報又は通知の少なくとも１つを出力させるか決定してよい。

【0091】

一実施形態において、（６）電子機器の制御方法は、対象者に対して提示する提示情報を出力し、前記対象者に関する対象者情報を取得し、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定する。

【0092】

一実施形態において、（７）電子機器の制御プログラムは、電子機器に、対象者に対して提示する提示情報を出力させ、前記対象者に関する対象者情報を取得させ、前記提示情報と前記対象者情報とに基づいて前記対象者の内部状態を推定させる。

【符号の説明】

【0093】

１ 電子機器（１０：制御部、１２：刺激調整部、１４：刺激計測部、２０：記憶部、３０：取得部、４０：出力部）
５０ 深層生成モデル（５１～５４：ブロック）

【図1】

【図2】

【図3】

【図4】

【図5】