(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025060218
(43)【公開日】2025-04-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06F 16/906 20190101AFI20250403BHJP
G06Q 50/10 20120101ALI20250403BHJP
【FI】
G06F16/906
G06Q50/10
【審査請求】有
【請求項の数】23
【出願形態】OL
(21)【出願番号】P 2023170806
(22)【出願日】2023-09-29
(71)【出願人】
【識別番号】000002853
【氏名又は名称】ダイキン工業株式会社
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】鈴木 晴菜
(72)【発明者】
【氏名】足利 朋義
(72)【発明者】
【氏名】大賀 隆寛
(72)【発明者】
【氏名】濱村 航明
(72)【発明者】
【氏名】今井 洋輔
(72)【発明者】
【氏名】割澤 伸一
(72)【発明者】
【氏名】伴 祐樹
(72)【発明者】
【氏名】胡 献引
【テーマコード(参考)】
5B175
5L049
5L050
【Fターム(参考)】
5B175FA03
5B175GA04
5B175HA01
5L049CC11
5L050CC11
(57)【要約】
【課題】空間を制御するための情報を出力する情報処理装置を提供する。
【解決手段】複数の参加者により形成される場の雰囲気に関する情報を出力する制御部を有する情報処理装置が、参加者個人の状態に関する情報、参加者同士の相互作用に関する情報、及び場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて、場の雰囲気に関する情報を推定するためのモデルである。
【選択図】
図4
【特許請求の範囲】
【請求項1】
複数の参加者により形成される場の雰囲気に関する情報を出力する制御部を有する情報処理装置であって、
前記制御部は、
前記参加者個人の状態に関する情報、前記参加者同士の相互作用に関する情報、及び前記場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、
前記雰囲気推定モデルは、前記状態に関する情報及び前記相互作用に関する情報に基づいて、前記場の雰囲気に関する情報を推定するためのモデルである、
情報処理装置。
【請求項2】
前記制御部は、
前記状態に関する情報及び前記相互作用に関する情報に基づいて前記場の雰囲気を示す指標を推定し、
前記場の雰囲気を示す指標に基づいて前記場が形成される空間における温冷感に関する補正値を出力する、
請求項1に記載の情報処理装置。
【請求項3】
前記制御部は、
前記状態に関する情報及び前記相互作用に関する情報に基づいて前記場の雰囲気を示す指標を推定し、
前記場の雰囲気を示す指標に基づいて前記場が形成される空間を制御する、
請求項1に記載の情報処理装置。
【請求項4】
前記制御部は、
前記状態に関する情報及び前記相互作用に関する情報に基づいて前記場の雰囲気を示す指標を推定し、
前記場の雰囲気を示す指標に基づいて前記場が形成される空間における温冷感に関する補正値を推定し、
前記温冷感に関する補正値に基づいて前記空間を制御する、
請求項1に記載の情報処理装置。
【請求項5】
前記状態に関する情報は、前記参加者の生体情報である、
請求項1から4のいずれかに記載の情報処理装置。
【請求項6】
前記生体情報は、前記参加者の感情に関する生体情報である、
請求項5に記載の情報処理装置。
【請求項7】
前記相互作用に関する情報は、前記参加者の間のコミュニケーションに関する情報である、
請求項1から4のいずれかに記載の情報処理装置。
【請求項8】
前記コミュニケーションに関する情報は、前記参加者の間で意思疎通する行動に関する情報である、
請求項7に記載の情報処理装置。
【請求項9】
前記制御部は、
教師あり機械学習によって前記場の雰囲気を推定する、
請求項1から4のいずれかに記載の情報処理装置。
【請求項10】
前記場の雰囲気を評価した評価値は、前記場の雰囲気の主観申告又は客観評価である、
請求項1から4のいずれかに記載の情報処理装置。
【請求項11】
前記場の雰囲気の主観申告は、アンケート手法を用いてあらかじめ実験的に取得した前記場の雰囲気に関する指標である、
請求項10に記載の情報処理装置。
【請求項12】
前記制御部は、
学習済みの雰囲気推定モデルに基づいて前記場の雰囲気を示す指標を推定する、
請求項1から4のいずれかに記載の情報処理装置。
【請求項13】
前記雰囲気推定モデルは、前記状態に関する情報及び前記相互作用に関する情報を入力とし、前記場の雰囲気を評価した評価値を正解データとして、前記場の雰囲気を示す指標の推定値を出力する、
請求項12に記載の情報処理装置。
【請求項14】
前記雰囲気推定モデルは、前記参加者の属性に関する情報をさらに入力とする、
請求項13に記載の情報処理装置。
【請求項15】
前記制御部は、
前記参加者から前記場の雰囲気に関するフィードバック情報を取得し、
前記フィードバック情報に基づいて前記雰囲気推定モデルを更新する、
請求項12に記載の情報処理装置。
【請求項16】
前記フィードバック情報は、前記場の雰囲気を評価した評価値を含む、
請求項15に記載の情報処理装置。
【請求項17】
前記制御部は、
学習済みの温熱指標推定モデルに基づいて前記温冷感に関する補正値を推定する、
請求項2又は4に記載の情報処理装置。
【請求項18】
前記温熱指標推定モデルは、前記状態に関する情報及び前記相互作用に関する情報に基づいて推定された前記場の雰囲気を示す指標を入力として、前記温冷感に関する補正値の推定値を出力する、
請求項17に記載の情報処理装置。
【請求項19】
前記温熱指標推定モデルは、前記参加者の属性に関する情報をさらに入力とする、
請求項18に記載の情報処理装置。
【請求項20】
前記制御部は、
前記参加者から前記場の温冷感に関するフィードバック情報を取得し、
前記フィードバック情報に基づいて前記温熱指標推定モデルを更新する、
請求項17に記載の情報処理装置。
【請求項21】
前記フィードバック情報は、前記場の温冷感を評価した評価値を含む、
請求項20に記載の情報処理装置。
【請求項22】
複数の参加者により形成される場の雰囲気に関する情報を出力する情報処理装置が有する制御部が、
前記参加者個人の状態に関する情報、前記参加者同士の相互作用に関する情報、及び前記場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、
前記雰囲気推定モデルは、前記状態に関する情報及び前記相互作用に関する情報に基づいて、前記場の雰囲気に関する情報を推定するためのモデルである、
情報処理方法。
【請求項23】
複数の参加者により形成される場の雰囲気に関する情報を出力する情報処理装置が有する制御部に、
前記参加者個人の状態に関する情報、前記参加者同士の相互作用に関する情報、及び前記場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶する処理を実行させ、
前記雰囲気推定モデルは、前記状態に関する情報及び前記相互作用に関する情報に基づいて、前記場の雰囲気に関する情報を推定するためのモデルである、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
複数の参加者により形成される場の雰囲気を推定する技術が知られている。例えば、特許文献1には、複数の構成員を含んだ場を撮影した画像と場の音声を収録した音声から、各構成員の行動と感情を分析し、一の構成員の行動後に他の構成員の不快度が上がった場合、および、複数の構成員の相互関係が希薄な場合に、場の雰囲気が悪いと推測する雰囲気推測装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、場の雰囲気に応じて場が形成される空間を制御することを考慮していない。
【0005】
本開示は、場が形成される空間を制御するための情報を出力する技術を提供する。
【課題を解決するための手段】
【0006】
本開示の第1の態様に係る情報処理装置は、複数の参加者により形成される場の雰囲気に関する情報を出力する制御部を有する情報処理装置であって、制御部は、参加者個人の状態に関する情報、参加者同士の相互作用に関する情報、及び場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて、場の雰囲気に関する情報を推定するためのモデルである。
【0007】
本開示の第1の態様によれば、場が形成される空間を制御するための情報を出力することができる。
【0008】
本開示の第2の態様は、第1の態様に係る情報処理装置であって、制御部は、状態に関する情報及び相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて場が形成される空間における温冷感に関する補正値を出力する。
【0009】
本開示の第2の態様によれば、場が形成される空間における温冷感に関する補正値を出力することができる。
【0010】
本開示の第3の態様は、第1の態様に係る情報処理装置であって、制御部は、状態に関する情報及び相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて場が形成される空間を制御する。
【0011】
本開示の第3の態様によれば、場の雰囲気に応じて場が形成される空間を制御することができる。
【0012】
本開示の第4の態様は、第1の態様に係る情報処理装置であって、制御部は、状態に関する情報及び相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて場が形成される空間における温冷感に関する補正値を推定し、温冷感に関する補正値に基づいて空間を制御する。
【0013】
本開示の第4の態様によれば、場の雰囲気に応じて場が形成される空間を制御することができる。
【0014】
本開示の第5の態様は、第1の態様から第4の態様のいずれかに係る情報処理装置であって、状態に関する情報は、参加者の生体情報である。
【0015】
本開示の第6の態様は、第5の態様に係る情報処理装置であって、生体情報は、参加者の感情に関する生体情報である。
【0016】
本開示の第7の態様は、第1の態様から第6の態様のいずれかに係る情報処理装置であって、相互作用に関する情報は、参加者の間のコミュニケーションに関する情報である。
【0017】
本開示の第8の態様は、第7の態様に係る情報処理装置であって、コミュニケーションに関する情報は、参加者の間で意思疎通する行動に関する情報である。
【0018】
本開示の第9の態様は、第1の態様から第8の態様のいずれかに係る情報処理装置であって、制御部は、教師あり機械学習によって場の雰囲気を推定する。
【0019】
本開示の第10の態様は、第1の態様から第9の態様のいずれかに係る情報処理装置であって、場の雰囲気を評価した評価値は、場の雰囲気の主観申告又は客観評価である。
【0020】
本開示の第11の態様は、第10の態様に係る情報処理装置であって、場の雰囲気の主観申告は、アンケート手法を用いてあらかじめ実験的に取得した場の雰囲気に関する指標である。
【0021】
本開示の第12の態様は、第1の態様から第11の態様のいずれかに係る情報処理装置であって、制御部は、学習済みの雰囲気推定モデルに基づいて場の雰囲気を示す指標を推定する。
【0022】
本開示の第13の態様は、第12の態様に係る情報処理装置であって、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報を入力とし、場の雰囲気を評価した評価値を正解データとして、場の雰囲気を示す指標の推定値を出力する。
【0023】
本開示の第14の態様は、第13の態様に係る情報処理装置であって、雰囲気推定モデルは、参加者の属性に関する情報をさらに入力とする。
【0024】
本開示の第15の態様は、第12の態様から第14の態様のいずれかに係る情報処理装置であって、制御部は、参加者から場の雰囲気に関するフィードバック情報を取得し、フィードバック情報に基づいて雰囲気推定モデルを更新する。
【0025】
本開示の第16の態様は、第15の態様に係る情報処理装置であって、フィードバック情報は、場の雰囲気を評価した評価値を含む。
【0026】
本開示の第17の態様は、第2の態様又は第4の態様に係る情報処理装置であって、制御部は、学習済みの温熱指標推定モデルに基づいて温冷感に関する補正値を推定する。
【0027】
本開示の第18の態様は、第17の態様に係る情報処理装置であって、温熱指標推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて推定された場の雰囲気を示す指標を入力として、温冷感に関する補正値の推定値を出力する。
【0028】
本開示の第19の態様は、第18の態様に係る情報処理装置であって、温熱指標推定モデルは、参加者の属性に関する情報をさらに入力とする。
【0029】
本開示の第20の態様は、第17の態様から第19の態様のいずれかに係る情報処理装置であって、制御部は、参加者から場の温冷感に関するフィードバック情報を取得し、フィードバック情報に基づいて温熱指標推定モデルを更新する。
【0030】
本開示の第21の態様は、第20の態様に係る情報処理装置であって、フィードバック情報は、場の温冷感を評価した評価値を含む。
【0031】
本開示の第22の態様に係る情報処理方法は、複数の参加者により形成される場の雰囲気に関する情報を出力する情報処理装置が有する制御部が、参加者個人の状態に関する情報、参加者同士の相互作用に関する情報、及び場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて、場の雰囲気に関する情報を推定するためのモデルである。
【0032】
本開示の第23の態様に係るプログラムは、複数の参加者により形成される場の雰囲気に関する情報を出力する情報処理装置が有する制御部に、参加者個人の状態に関する情報、参加者同士の相互作用に関する情報、及び場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶する処理を実行させ、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて、場の雰囲気に関する情報を推定するためのモデルである。
【図面の簡単な説明】
【0033】
【
図1】参加者個人の感情と参加者同士のコミュニケーション状態との関係の一例を示す図である。
【
図2】空間制御システムの全体構成の一例を示すブロック図である。
【
図3】推定装置のハードウェア構成の一例を示すブロック図である。
【
図4】空間制御方法の一例を示すフローチャートである。
【
図6】サポートベクターマシンの学習データの一例を示す図である。
【
図7】畳み込みニューラルネットワークの学習データの一例を示す図である。
【
図8】場の雰囲気と温冷感との関係の一例を示す図である。
【発明を実施するための形態】
【0034】
以下、本開示の各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0035】
[実施形態]
本開示の一実施形態は、複数の参加者により場が形成される空間を制御する空間制御システムである。空間制御システムは、場の雰囲気を評価した評価値を正解データとして、場を形成する参加者個人の状態に関する情報及び参加者同士の相互作用に関する情報に基づいて場の雰囲気を推定する。また、空間制御システムは、場の雰囲気を示す指標に基づいて温冷感に関する補正値を推定する。さらに、空間制御システムは、温冷感に関する補正値に基づいて空間を制御する。
【0036】
例えば、複数の参加者が集まって会話を行う場においては、各参加者にとって発言しやすい雰囲気の場を提供することが求められる。例えば、アイデア創出を目的とする会議では、参加者がアイデアを持っていたとしても、場が発言しにくい雰囲気であると発言を躊躇し、参加者間でアイデアを円滑に共有することができないことがある。そのため、複数の参加者により形成される場の雰囲気を推定可能な技術が求められている。
【0037】
また、場の雰囲気によって参加者がもつ温冷感に変化が生じると考えられる。例えば、会議が白熱していると参加者は実際の室温よりも暑く感じることがある。また、例えば、お互いが緊張し合っている会議では参加者は実際の室温よりも寒く感じることがある。そのため、場の雰囲気を考慮した温冷感を推定し、適切に空間を制御する技術が求められている。
【0038】
場の雰囲気は、参加者個人の感情及び参加者同士のコミュニケーションの両方を検知することにより精度よく推定できる。
図1は、参加者個人の感情と参加者同士のコミュニケーション状態との関係の一例を示す図である。
図1は、4人の参加者A~Dの感情及び参加者間のコミュニケーション状態を示している。なお、
図1では、参加者の感情を喜怒哀楽の4感情に分類して示している。また、参加者間を繋ぐ矢印が太いほどコミュニケーションが活発であることを示している。
【0039】
図1に示されるように、参加者Bは喜びの感情を示しており、参加者A及び参加者Dとのコミュニケーションが活発である。この場合、参加者Bにとっては話しやすい雰囲気であると推定できる。参加者Aは哀しみの感情を示しているが、参加者B及び参加者Dとのコミュニケーションは活発である。この場合、参加者Aにとってはやや話しやすい雰囲気であると推定できる。参加者Cは喜びの感情を示しているが、他の参加者A,B,Dとのコミュニケーションは不活発である。この場合、参加者Cにとっては話しにくい雰囲気であると推定できる。
【0040】
本実施形態は、複数の参加者により場が形成される空間を制御するための情報を出力することを目的とする。一例として、本実施形態では、複数の参加者により形成される場の雰囲気を示す指標を出力する。また、一例として、本実施形態では、場の雰囲気を示す指標に基づいて温冷感に関する補正値を出力する。さらに、一例として、本実施形態では、温冷感に関する補正値に基づいて空間を制御するための制御信号を出力する。
【0041】
一の側面では、参加者は場の雰囲気を示す指標を参照することで、適切に空間を制御するための行動を選択することができる。例えば、場の雰囲気が活発であるとき(又は不活発であるとき)、参加者は空気調和装置の設定温度を下げる行動(又は設定温度を上げる行動)を選択することができる。また、例えば、温冷感に関する補正値が正の値であるとき(又は負の値であるとき)、参加者は空気調和装置の設定温度を下げる行動(又は設定温度を上げる行動)を選択することができる。
【0042】
他の側面では、場の雰囲気に応じて適切に空間を自動的に制御することができる。例えば、場の雰囲気が活発になると(又は不活発になると)、空気調和装置の設定温度を自動的に下げる(又は設定温度を自動的に上げる)制御を行うことができる。また、例えば、温冷感に関する補正値が正の値になると(又は負の値になると)、空気調和装置の設定温度を自動的に下げる(又は設定温度を自動的に上げる)制御を行うことができる。
【0043】
<全体構成>
図2は、本実施形態における空間制御システムの全体構成を示すブロック図である。
図2に示されるように、本実施形態における空間制御システム1000は、推定装置10及び空間制御装置20を含む。空間制御システム1000は、複数の参加者1(1-1~1-3)が存在する空間2に設置された設備機器を制御する制御システムである。空間2には、個人状態情報を取得するセンサ3-1、及び相互作用情報を取得するセンサ3-2が設置されている。
【0044】
センサ3-1は、各参加者1の状態を測定する電子機器である。センサ3-1は、例えば、各参加者1に装着されたウェラブルデバイス、又は各参加者1を撮影するビデオカメラ等を含んでもよい。センサ3-1は、測定可能な情報の種類に応じて、複数設置されていてもよい。
【0045】
センサ3-2は、複数の参加者1の間の相互作用に関する情報を測定する電子機器である。センサ3-2は、例えば、ビデオカメラ、マイクロフォン又はモーションセンサ等を含んでもよい。センサ3-2は、測定可能な情報の種類に応じて、複数設置されていてもよい。
【0046】
個人状態情報は、各参加者1の状態を示す情報である。個人状態情報の一例は、各参加者1の状態を観測することで取得可能な生体情報である。生体情報は、各参加者1の感情に関する生体情報であってもよい。感情に関する生体情報とは、感情の推定に用いることができる生体情報を意味する。
【0047】
具体的には、個人状態情報は、心電に関する情報、呼吸に関する情報、皮膚電位に関する情報、顔表情に関する情報、瞳孔径に関する情報、視線に関する情報、皮膚温に関する情報のうち少なくとも1つを含む。
【0048】
心電に関する情報は、例えば、心拍数、心電図波形の低周波成分(LF; Low Frequency)、心電図波形の高周波成分(HF; High Frequency)、副交感神経指標(CVI; Cardiac vagal index)、交感神経指標(CSI; Cardiac Sympathetic Index)等を含む。呼吸に関する情報は、例えば、呼吸頻度、呼吸深さ等を含む。顔表情に関する情報は、例えば、画像に基づく表情認識における所定の感情(例えば、ハッピー)の割合等を含む。視線に関する情報は、例えば、視線位置が顔、身体、背景等のどこにあるかを示すラベルを含む。視線位置は、例えば、アイトラッキング技術により取得することができる。
【0049】
相互作用情報は、複数の参加者1の間の相互作用を示す情報である。相互作用情報の一例は、複数の参加者1の間のコミュニケーションに関する情報である。コミュニケーションに関する情報は、複数の参加者1の間で意思疎通する行動に関する情報である。意思疎通する行動は、例えば、会話でもよいし、身体言語でもよい。
【0050】
具体的には、相互作用情報は、姿勢に関する情報、会話に関する情報、視線に関する情報、視線の相対位置に関する情報、心電に関する特徴量の同調度、呼吸に関する特徴量の同調度、皮膚電位の同調度、姿勢角度の同調度のうち少なくとも一つを含む。
【0051】
姿勢に関する情報は、例えば、身体の前傾角度等を含む。会話に関する情報は、例えば、発話量割合、会話順序、会話中のキーワード等を含む。視線の相対位置に関する情報は、例えば、視線位置がどの参加者に向いているかを示すラベルを含む。特徴量の同調度は、例えば、複数の参加者1の間の特徴量の同調率等を含む。同調度は、例えば、動的時間伸縮法(DTW; Dynamic Time Warping)、ユークリッド距離、コサイン類似度等を用いて計算することができる。姿勢角度の同調度は、例えば、複数の参加者1の間の姿勢の連動状態を含む。
【0052】
推定装置10は、空間2に形成される場の雰囲気を示す指標、及び空間2における温冷感に関する補正値を推定するパーソナルコンピュータ、サーバ又はワークステーション等の情報処理装置である。推定装置10は、センサ3-1により取得された個人状態情報、及びセンサ3-2により取得された相互作用情報を取得し、温冷感に関する補正値を空間制御装置20に出力する。推定装置10は、場の雰囲気を示す指標又は温冷感に関する補正値を空間2に設置されたディスプレイ又はスピーカ等に出力してもよい。
【0053】
場の雰囲気を示す指標は、場における話しやすさを示す指標である。場の雰囲気は、例えば、場の雰囲気の主観申告、場の雰囲気の客観評価、グループフロー度、及び総コミュニケーション量等を含む。場の雰囲気の主観申告は、アンケート手法を用いてあらかじめ実験的に取得した場の雰囲気に関する指標である。場の雰囲気の客観評価は、場の雰囲気の第三者評価、又は発話量等の客観データに基づいて場の雰囲気を評価した結果である。
【0054】
アンケート手法は、例えば、リッカート尺度、ビジュアル・アナログ・スケール(VAS; Visual Analogue Scale)、ヌーメリック・レイティング・スケール(Numeric Rating Scale)、フェイススケール、セマンティック・ディファレンシャル法(Semantic Differential Method)等である。
【0055】
リッカート尺度は、アンケートにより所定数の段階で評価値を与える手法である。例えば、参加者又は参加者以外の第三者が、場を撮影した動画を再生しながら、所定の時間間隔で評価値を入力することで、話しやすさの評価値を計算することができる。話しやすさの評価値は、例えば、「話しにくい」を1とし、「話しやすい」を5とする5段階の評価値である。
【0056】
グループフロー度は、心理学におけるフロー理論に基づく指標である。グループフロー度は、グループがフロー状態に近いほど高い値を示す。フロー状態は、課題に対して高い集中力を発揮している状態である。
【0057】
温冷感に関する補正値は、例えば、温熱指標補正値である。温熱指標補正値は、温熱指標を補正するための値である。温熱指標は、例えば、予測平均温冷感申告(PMV; Predicted Mean Vote)、標準新有効温度(SET*; Standard New Effective Temperature)等を含む。温熱指標は、温度、湿度、放射、気流、活動量、着衣量からなる温熱環境6要素に基づいて算出される。
【0058】
温熱指標補正値は、場の雰囲気を考慮したときの温熱指標と場の雰囲気を考慮しないときの温熱指標との差分を示す値である。例えば、温熱指標補正値が+1である場合、場の雰囲気を考慮したときの温熱指標は場の雰囲気を考慮しないときの温熱指標より1単位大きくなることを意味する。
【0059】
なお、推定装置10は、各参加者1の属性に関する参加者情報を取得してもよい。参加者情報は、例えば、会議のシーンを示す情報、年齢、性別、体格、参加者の位置関係等のうち少なくとも一つを含む。
【0060】
推定装置10は、学習済みの雰囲気推定モデル11及び学習済みの温熱指標推定モデル12を備える。推定装置10は、空間2からのフィードバック情報を取得し、雰囲気推定モデル11及び温熱指標推定モデル12を更新してもよい。
【0061】
雰囲気推定モデル11は、場の雰囲気を評価した評価値を正解データとして、個人状態情報及び相互作用情報に基づいて場の雰囲気を示す指標を推定するモデルである。雰囲気推定モデル11は、さらに参加者情報に基づいて場の雰囲気を示す指標を推定してもよい。
【0062】
温熱指標推定モデル12は、場の雰囲気を示す指標に基づいて温冷感に関する補正値を推定するモデルである。温熱指標推定モデル12は、さらに参加者情報に基づいて温冷感に関する補正値を推定してもよい。
【0063】
雰囲気推定モデル11及び温熱指標推定モデル12は、例えば、機械学習に基づくモデルでもよいし、ルールベースに基づくモデルでもよい。機械学習は、例えば、教師あり機械学習でもよい。機械学習に基づくモデルは、例えば、狭義の機械学習に基づく分類器又は深層学習に基づく分類器等を含む。狭義の機械学習とは、深層学習を除く機械学習を意味している。
【0064】
狭義の機械学習に基づく分類器は、一例として、サポートベクターマシン、ランダムフォレスト等が挙げられる。深層学習に基づく分類器は、一例として、畳み込みニューラルネットワーク(CNN; Convolutional Neural Network)、長期短期記憶(LSTM; Long Short Term Memory)等が挙げられる。ルールベースに基づくモデルは、統計学的分析手法、数式モデル、マップ、テーブル、パターン等を含む。
【0065】
フィードバック情報は、空間2で制御が行われた後に、参加者1又は参加者1以外の第三者が場の雰囲気を評価した評価値、又は参加者1が場の温冷感を評価した評価値を含む。場の雰囲気を評価した評価値は、参加者1により入力された場の雰囲気の主観申告、又は第三者により入力された場の雰囲気の客観評価を含む。場の温冷感を評価した評価値は、参加者1により入力された温冷感の主観申告を含む。フィードバック情報は、空間2で制御が行われた後に、センサ3-2で観測されたコミュニケーション量を含んでもよい。
【0066】
フィードバック情報に含まれる場の雰囲気を評価した評価値及びコミュニケーション量は、雰囲気推定モデル11の更新に用いられる。フィードバック情報に含まれる温冷感を評価した評価値は、温熱指標推定モデル12の更新に用いられる。
【0067】
空間制御装置20は、推定装置10により出力された温冷感に関する補正値に基づいて、空間2を制御する設備機器である。空間制御装置20は、空気調和(室温又は湿度等)、気流制御、照明制御、香り制御、音響制御又は映像制御等の機能のうち少なくとも1つを有する。空間制御装置20は、制御対象ごとに複数の設備機器を含んでもよい。空間制御装置20は、参加者1の操作に従って空間2を制御してもよい。
【0068】
なお、
図2に示した空間制御システム1000の全体構成は一例であって、用途や目的に応じて様々なシステム構成例があり得る。例えば、推定装置10及び空間制御装置20の1つ以上が、空間制御システム1000に複数台含まれていてもよい。例えば、推定装置10は、複数台のコンピュータにより実現してもよいし、クラウドコンピューティングのサービスとして実現してもよい。また、例えば、推定装置10が備えるべき機能を、空間制御装置20が備える制御部に実装することで、1台の空間制御装置20からなる空間制御システム1000を構成してもよい。
図2に示す推定装置10、空間制御装置20のような装置の区分は一例である。
【0069】
<ハードウェア構成>
図3は、本実施形態における推定装置のハードウェア構成の一例を示すブロック図である。
図3に示されているように、推定装置10は、プロセッサ101、メモリ102、補助記憶装置103、操作装置104、表示装置105、通信装置106、ドライブ装置107を有する。推定装置10の各ハードウェアは、バス108を介して相互に接続されている。
【0070】
プロセッサ101は、CPU(Central Processing Unit)等の各種演算デバイスを有する。プロセッサ101は、補助記憶装置103にインストールされている各種プログラムをメモリ102上に読み出して実行する。
【0071】
メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等の主記憶デバイスを有する。プロセッサ101とメモリ102とは、いわゆるコンピュータ(以下、「制御部」ともいう)を形成し、プロセッサ101が、メモリ102上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0072】
補助記憶装置103(以下、「記憶部」ともいう)は、各種プログラムや、各種プログラムがプロセッサ101によって実行される際に用いられる各種データを格納する。
【0073】
操作装置104は、推定装置10のユーザが各種操作を行うための操作デバイスである。表示装置105は、推定装置10により実行される各種処理の処理結果を表示する表示デバイスである。
【0074】
通信装置106は、不図示のネットワークを介して外部装置と通信を行うための通信デバイスである。
【0075】
ドライブ装置107は、記憶媒体109をセットするためのデバイスである。ここでいう記憶媒体109には、CD-ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記憶する媒体が含まれる。また、記憶媒体109には、ROM、フラッシュメモリ等のように情報を電気的に記憶する半導体メモリ等が含まれていてもよい。
【0076】
なお、補助記憶装置103にインストールされる各種プログラムは、例えば、配布された記憶媒体109がドライブ装置107にセットされ、記憶媒体109に記憶された各種プログラムがドライブ装置107により読み出されることでインストールされる。あるいは、補助記憶装置103にインストールされる各種プログラムは、通信装置106を介してネットワークからダウンロードされることで、インストールされてもよい。
【0077】
<空間制御方法の流れ>
図4は、本実施形態における空間制御システム1000が実行する空間制御方法の流れの一例を示すフローチャートである。
【0078】
ステップS1において、推定装置10の制御部は、雰囲気推定モデル11を生成する。具体的には、制御部は、まず、雰囲気推定モデル11を生成するための学習データを生成する。次に、制御部は、学習データに基づいて、雰囲気推定モデル11を生成する。そして、制御部は、雰囲気推定モデル11を記憶部に記憶する。
【0079】
図5は、学習データの一例を示す図である。
図5に示されるように、本実施形態における学習データは、データ項目として、個人状態情報、相互作用情報、参加者情報及び正解データを有するデータセットである。
【0080】
個人状態情報は、例えば、心電に関する情報、呼吸に関する情報、皮膚電位に関する情報、顔表情に関する情報、瞳孔径に関する情報、視線に関する情報、皮膚温に関する情報等のうち少なくとも1つを含む。
【0081】
相互作用情報は、例えば、姿勢に関する情報、会話に関する情報、視線に関する情報、視線の相対位置に関する情報、心電に関する特徴量の同調度、呼吸に関する特徴量の同調度、皮膚電位の同調度、姿勢角度の同調度等のうち少なくとも一つを含む。
【0082】
参加者情報は、例えば、会議のシーンを示す情報、年齢、性別、体格、参加者の位置関係等のうち少なくとも一つを含む。なお、参加者情報は、学習データに含まれなくてもよい。
【0083】
正解データは、場の雰囲気を評価した評価値である。場の雰囲気を評価した評価値は、例えば、場の雰囲気の主観申告、場の雰囲気の客観評価等のうち少なくとも一つを含む。
【0084】
雰囲気推定モデル11がサポートベクターマシンである場合、例えば、以下のようにして雰囲気推定モデル11を生成することができる。まず、実験により学習データを収集する。実験では、例えば、4人1組で20分間のアイスブレイク試験を行い、各参加者の生体情報及び話しやすさの主観申告を取得する。
【0085】
次に、取得した生体情報及び主観申告を2分間隔で平均する。続いて、アイスブレイク時の録画を再生し、各参加者が2分間隔で話しやすさを5段階で評価する。そして、生体情報及び主観申告を説明変数とし、話しやすさの評価値を目的変数として、教師あり機械学習アルゴリズムに従って、雰囲気推定モデル11のモデルパラメータを学習する。
【0086】
図6は、サポートベクターマシンの学習データの一例を示す図である。
図6に示されるように、学習データは、データ項目として、被験者を示す識別情報、心拍数、呼吸数、姿勢、視線、話しやすさ等を含むデータセットである。心拍数、呼吸数、姿勢、視線等は説明変数に相当し、話しやすさは目的変数に相当する。
図6に示す学習データの各項目は、2分間隔で平均した値である。
【0087】
雰囲気推定モデル11が畳み込みニューラルネットワークである場合、例えば、以下のようにして雰囲気推定モデル11を生成することができる。まず、実験により学習データを収集する。実験では、例えば、4人1組で20分間のアイスブレイク試験を行い、各参加者の生体情報及び話しやすさの主観申告を取得する。
【0088】
次に、2分間の時系列画像データを参加者ごとにサンプリングする。また、各サンプルに対応する生体情報及び主観申告に基づいて、参加者ごとに特徴データを生成する。特徴データは、特徴軸と時間軸とをもつ二次元データである。続いて、アイスブレイク時の録画を再生し、各参加者が2分間隔で話しやすさを5段階で評価する。そして、参加者ごとの特徴データを入力とし、話しやすさの推定値を出力する畳み込みニューラルネットワークのモデルパラメータを学習する。
【0089】
なお、畳み込みニューラルネットワークに入力する特徴データは、2人以上の参加者の全組み合わせである。2人又は3人の参加者の組み合わせを入力する場合、他の参加者に対応する特徴データは、0に設定すればよい。
【0090】
図7は、畳み込みニューラルネットワークの学習データの一例を示す図である。
図7に示されるように、学習データは、特徴データ及び正解データを含むデータセットである。特徴データは参加者ごとの二次元データであり、特徴軸と時間軸とを有する。特徴軸は各説明変数に対応する。時間軸は各サンプルに対応する。説明変数は、心拍数、呼吸数、皮膚電位の等張成分(Tonic成分)、皮膚電位の相動的成分(Phasic成分)、姿勢、視線先、視線先の相対位置、瞳孔、顔表情を含む。話しやすさは、2分間隔で平均した値である。
【0091】
ステップS2において、推定装置10の制御部は、温熱指標推定モデル12を生成する。具体的には、制御部は、まず、温熱指標推定モデル12を生成するための学習データを生成する。次に、制御部は、学習データに基づいて、温熱指標推定モデル12を生成する。そして、制御部は、温熱指標推定モデル12を記憶部に記憶する。
【0092】
温熱指標推定モデル12は、例えば、以下のようにして生成することができる。まず、実験により学習データを収集する。実験では、例えば、4人1組で20分間のアイスブレイク試験を行い、各参加者の生体情報及び主観申告を取得する。主観申告は、温冷感及び話しやすさを対象とする。温冷感の主観申告は、例えば、「暑い」~「寒い」を回答するVASでもよい。話しやすさの主観申告は、「話しやすい」~「話しにくい」を5段階で評価してもよい。
【0093】
次に、4人1組のグループにおける話しやすさの平均値及び温冷感の平均値について、相関分析を行う。そして、話しやすさの推定値を入力とし、温熱指標補正値を出力する温熱指標推定モデル12を生成する。
【0094】
図8は、場の雰囲気と温冷感との関係の一例を示す図である。
図8に示されるように、アイスブレイク試験の前後で、場全体(4人の平均)の話しやすさが上昇した。また、アイスブレイク試験の前後で、場全体の温冷感が上昇した。
図8に示した例によれば、場の話しやすさが上昇すると、場の温冷感が上昇する関係があることがわかる。
【0095】
ステップS3において、推定装置10の制御部は、センサ3-1から観測データを取得する。次に、制御部は、センサ3-1の観測データに基づいて、各参加者1に関する個人状態情報を生成する。
【0096】
ステップS4において、推定装置10の制御部は、センサ3-2から観測データを取得する。次に、制御部は、センサ3-2の観測データに基づいて、複数の参加者1の間の相互作用情報を生成する。
【0097】
ステップS5において、推定装置10の制御部は、ステップS3で取得した個人状態情報及びステップS4で取得した相互作用情報に基づいて、場の雰囲気を推定する。具体的には、制御部は、まず、記憶部から雰囲気推定モデル11を読み出す。次に、制御部は、個人状態情報及び相互作用情報を雰囲気推定モデル11に入力する。雰囲気推定モデル11は、入力された個人状態情報及び相互作用情報に基づいて、場の雰囲気を示す指標を推定し、その推定値を出力する。制御部は、雰囲気推定モデル11から出力された場の雰囲気を示す指標を取得する。
【0098】
推定装置10の制御部は、場の雰囲気を示す指標を空間2に出力してもよい。例えば、制御部は、場の雰囲気を示す指標を、空間2に設置されたディスプレイ等に表示してもよい。場の雰囲気を示す指標を表示する態様は、どのようなものでもよいが、例えば、場の雰囲気を示す指標を100分率で示した数値を表示してもよい。このとき、場の雰囲気を示す指標に応じて数字の色、フォント、太さ等を変化させてもよい。
【0099】
また、例えば、一端を「話しにくい」とし、他端を「話しやすい」とするインジケータで、場の雰囲気を示す指標を表示してもよい。このインジケータは、例えば、「話しにくい」方の端から「話しやすい」方の端へ伸びるバーを表示し、その先端が場の雰囲気を示す指標を示してもよい。この場合、バーの色又は形状を場の雰囲気を示す指標に応じて変化させてもよい。
【0100】
ステップS6において、推定装置10の制御部は、ステップS5で取得した場の雰囲気を示す指標に基づいて、温熱指標補正値を推定する。具体的には、制御部は、まず、記憶部から温熱指標推定モデル12を読み出す。次に、制御部は、場の雰囲気を示す指標を温熱指標推定モデル12に入力する。温熱指標推定モデル12は、入力された場の雰囲気を示す指標に基づいて、温熱指標補正値を推定し、その推定値を出力する。制御部は、温熱指標推定モデル12から出力された温熱指標補正値を取得する。
【0101】
ステップS7において、推定装置10の制御部は、ステップS6で取得した温熱指標補正値に基づいて、空間2を制御するための制御信号を生成する。次に、制御部は、制御信号を空間制御装置20に送信する。空間制御装置20は、推定装置10から制御信号を受信する。そして、空間制御装置20は、制御信号に従って空間2を制御する。
【0102】
制御信号の内容は、空間制御装置20の機能により異なる。例えば、空間制御装置20が温熱指標補正値に基づいて空気調和を行う機能を有する場合、推定装置10の制御部は、温熱指標補正値を含む制御信号を空間制御装置20に送信する。制御信号に含める温熱指標補正値は、ステップS6で取得した温熱指標補正値である。
【0103】
また、例えば、空間制御装置20が温熱指標に基づいて空気調和を行う機能を有する場合、推定装置10の制御部は、温熱指標を含む制御信号を空間制御装置20に送信する。制御信号に含める温熱指標は、場の雰囲気を考慮せずに温熱環境6要素から算出した温熱指標を、ステップS6で取得した温熱指標補正値に基づいて補正した値である。
【0104】
また、例えば、空間制御装置20が目標温度に基づいて空気調和を行う機能を有する場合、推定装置10の制御部は、目標温度を含む制御信号を空間制御装置20に送信する。制御信号に含める目標温度は、ステップS6で取得した温熱指標補正値を所定の規則に従って変換した値である。温熱指標補正値と目標温度の対応は予め設定し記憶部等に記憶しておけばよい。例えば、温熱指標補正値が+1である場合、目標温度を1℃下げる等の規則を定めておけばよい。
【0105】
ステップS8において、推定装置10の制御部は、フィードバック情報を取得する。フィードバック情報は、場の雰囲気を評価した評価値又は場の温冷感を評価した評価値の少なくとも一方を含んでいればよい。その後、制御部は、ステップS1に処理を戻す。
【0106】
2回目以降のステップS1では、推定装置10の制御部は、直前のステップS8で取得されたフィードバック情報に基づいて、雰囲気推定モデル11を更新する。この場合、フィードバック情報には、場の雰囲気を評価した評価値が含まれている必要がある。
【0107】
また、2回目以降のステップS2では、推定装置10の制御部は、直前のステップS8で取得されたフィードバック情報に基づいて、温熱指標推定モデル12を更新する。この場合、フィードバック情報には、場の温冷感を評価した評価値が含まれている必要がある。
【0108】
<まとめ>
以上、本開示の各実施形態によれば、場が形成される空間を制御するための情報を出力することができる。本実施形態における推定装置10は、参加者個人の状態に関する情報、参加者同士の相互作用に関する情報、及び場の雰囲気を評価した評価値を含むデータセットに基づいて生成された雰囲気推定モデルを記憶部に記憶し、雰囲気推定モデルは、状態に関する情報及び相互作用に関する情報に基づいて、場の雰囲気に関する情報を出力する。参加者は、場の雰囲気に関する情報を考慮して、場が形成される空間の環境等を制御することができる。したがって、本実施形態によれば、場が形成される空間を制御するための情報を出力することができる。
【0109】
本実施形態における推定装置10は、参加者個人の状態に関する情報及び参加者同士の相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて空間における温冷感に関する補正値を出力する。例えば、推定装置10は、温熱指標補正値を含む制御信号を空間制御装置20に送信し、空間制御装置20は制御信号に従って空間の環境等を制御する。したがって、本実施形態によれば、場が形成される空間を制御するための情報を出力することができる。
【0110】
本実施形態における推定装置10は、参加者個人の状態に関する情報及び参加者同士の相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて場が形成される空間を制御する。例えば、推定装置10は、空間を制御するための制御信号を空間制御装置20に送信する。したがって、本実施形態によれば、場が形成される空間を制御するための情報を出力することができる。
【0111】
本実施形態における推定装置10は、参加者個人の状態に関する情報及び参加者同士の相互作用に関する情報に基づいて場の雰囲気を示す指標を推定し、場の雰囲気を示す指標に基づいて空間における温冷感に関する補正値を推定し、温冷感に関する補正値に基づいて場が形成される空間を制御する。例えば、推定装置10は、空間を制御するための制御信号を空間制御装置20に送信する。したがって、本実施形態によれば、場が形成される空間を制御するための情報を出力することができる。
【0112】
本実施形態における推定装置10は、場の雰囲気を示す指標又は場が形成される空間における温冷感に関する補正値を表示してもよい。場の雰囲気を示す指標又は温冷感に関する補正値を参照した参加者は、場の雰囲気又は温冷感に応じた行動を取ることができる。例えば、参加者は、空調の設定温度の変更、飲食、窓の開閉、運動の開始又は終了等を行うことができる。したがって、本実施形態によれば、参加者に対して空間を制御するための行動変容を促すことができる。
【0113】
[補足]
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるCPU(Central Processing Unit)又はGPU(Graphics Processing Unit)のようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)や従来の回路モジュール等の機器を含むものとする。
【0114】
以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。
【符号の説明】
【0115】
1 参加者
2 空間
3 センサ
10 推定装置
11 雰囲気推定モデル
12 温熱指標推定モデル
20 空間制御装置
1000 空間制御システム