ホーム > 特許ランキング > ソフトバンク株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022081282
(43)【公開日】2022-05-31
(54)【発明の名称】情報処理装置、情報処理プログラム及び情報処理システム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20220524BHJP
G06Q 10/04 20120101ALI20220524BHJP
【ＦＩ】
G06Q50/10
G06Q10/04
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2020192726
(22)【出願日】2020-11-19
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】金 容範
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】金田 麟太郎
(72)【発明者】
【氏名】小林 宏暢
(72)【発明者】
【氏名】田口 正雄
(72)【発明者】
【氏名】河野 肇
(72)【発明者】
【氏名】山口 崇行
(72)【発明者】
【氏名】稲澤 宏典
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA04
5L049CC11
(57)【要約】 （修正有）
【課題】空間の快適さの推定精度を向上させる情報処理装置、情報処理プログラム及び情報処理システムを提供する。
【解決手段】複数の空調装置と、複数のセンサ装置と、複数の端末装置と、情報処理装置とが所定のネットワークＮを介して、有線又は無線により通信可能に接続された情報処理システムにおいて、情報処理装置１００は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する推定部１３２を備える。
【選択図】図３
【解決手段】複数の空調装置と、複数のセンサ装置と、複数の端末装置と、情報処理装置とが所定のネットワークＮを介して、有線又は無線により通信可能に接続された情報処理システムにおいて、情報処理装置１００は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する推定部１３２を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記撮影装置によって撮影不可能な空間における前記人物にとっての空間の快適さを推定する推定部、
を備える情報処理装置。
を備える情報処理装置。
【請求項2】
前記推定部は、
前記撮影装置として、赤外線カメラによって撮影可能な空間で撮影されたサーマル画像のうち前記人物領域に関する情報に基づいて、前記赤外線カメラによって撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項１に記載の情報処理装置。
前記撮影装置として、赤外線カメラによって撮影可能な空間で撮影されたサーマル画像のうち前記人物領域に関する情報に基づいて、前記赤外線カメラによって撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項１に記載の情報処理装置。
【請求項3】
前記撮影不可能な空間に設置された環境センサによって検出された温度および湿度に関する環境情報を取得する取得部をさらに備え、
前記推定部は、
前記取得部によって取得された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項１または２に記載の情報処理装置。
前記推定部は、
前記取得部によって取得された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項１または２に記載の情報処理装置。
【請求項4】
前記推定部は、
前記人物の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項３に記載の情報処理装置。
前記人物の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項３に記載の情報処理装置。
【請求項5】
前記取得部は、
前記人物の位置情報を取得し、
前記推定部は、
前記取得部によって取得された位置情報に基づいて前記人物の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項４に記載の情報処理装置。
前記人物の位置情報を取得し、
前記推定部は、
前記取得部によって取得された位置情報に基づいて前記人物の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、前記撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
請求項４に記載の情報処理装置。
【請求項6】
前記画像を前記撮影装置から取得する取得部と、
前記画像に関する画像情報と前記人物を識別可能な情報とを対応付けて記憶する記憶部と、
をさらに備える請求項１～５のいずれか１項に記載の情報処理装置。
前記画像に関する画像情報と前記人物を識別可能な情報とを対応付けて記憶する記憶部と、
をさらに備える請求項１～５のいずれか１項に記載の情報処理装置。
【請求項7】
前記取得部は、
２以上の異なる前記撮影装置それぞれから撮影時刻の異なる２以上の前記画像をそれぞれ取得し、
前記記憶部は、
前記２以上の前記画像のうち、撮影時刻が最も新しい前記画像に関する画像情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６に記載の情報処理装置。
２以上の異なる前記撮影装置それぞれから撮影時刻の異なる２以上の前記画像をそれぞれ取得し、
前記記憶部は、
前記２以上の前記画像のうち、撮影時刻が最も新しい前記画像に関する画像情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６に記載の情報処理装置。
【請求項8】
前記記憶部は、
前記画像情報として、前記人物領域に関する情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６または７に記載の情報処理装置。
前記画像情報として、前記人物領域に関する情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６または７に記載の情報処理装置。
【請求項9】
前記推定部は、
前記人物領域に関する情報として、前記人物の身体の部位ごとの部位領域に関する情報に基づいて、前記人物の着衣量に関する情報を推定し、
前記記憶部は、
前記人物の着衣量に関する情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６～８のいずれか１項に記載の情報処理装置。
前記人物領域に関する情報として、前記人物の身体の部位ごとの部位領域に関する情報に基づいて、前記人物の着衣量に関する情報を推定し、
前記記憶部は、
前記人物の着衣量に関する情報と前記人物を識別可能な情報とを対応付けて記憶する、
請求項６～８のいずれか１項に記載の情報処理装置。
【請求項10】
前記記憶部は、
前記人物を識別可能な情報として、前記人物のアイテム認証処理に用いられるアイテム認証用情報または前記人物の生体認証処理に用いられる生体認証用情報と前記画像情報とを対応付けて記憶する、
請求項６～９のいずれか１項に記載の情報処理装置。
前記人物を識別可能な情報として、前記人物のアイテム認証処理に用いられるアイテム認証用情報または前記人物の生体認証処理に用いられる生体認証用情報と前記画像情報とを対応付けて記憶する、
請求項６～９のいずれか１項に記載の情報処理装置。
【請求項11】
前記推定部は、
認証装置から取得したアイテム認証用情報または生体認証用情報と、前記記憶部に記憶された前記人物を識別可能な情報とを照合することによって、前記撮影装置によって撮影不可能な空間に存在する人物を特定し、特定した前記人物にとっての空間の快適さを推定する、
請求項６～１０のいずれか１項に記載の情報処理装置。
認証装置から取得したアイテム認証用情報または生体認証用情報と、前記記憶部に記憶された前記人物を識別可能な情報とを照合することによって、前記撮影装置によって撮影不可能な空間に存在する人物を特定し、特定した前記人物にとっての空間の快適さを推定する、
請求項６～１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記推定部によって推定された空間の快適さに基づいて、前記撮影装置によって撮影不可能な空間の空調を制御する空調制御部、
をさらに備える請求項１～１１のいずれか１項に記載の情報処理装置。
をさらに備える請求項１～１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記推定部によって推定された空間の快適さに基づいて、前記人物が快適に過ごせる場所に関する情報を前記人物に対して提供する提供部、
をさらに備える請求項１～１２のいずれか１項に記載の情報処理装置。
をさらに備える請求項１～１２のいずれか１項に記載の情報処理装置。
【請求項14】
前記提供部は、
前記人物が快適に過ごせる場所を視認可能に表示した地図情報を前記人物によって視認可能な端末装置の画面に表示する、
請求項１３に記載の情報処理装置。
前記人物が快適に過ごせる場所を視認可能に表示した地図情報を前記人物によって視認可能な端末装置の画面に表示する、
請求項１３に記載の情報処理装置。
【請求項15】
撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記撮影装置によって撮影不可能な空間における前記人物にとっての空間の快適さを推定する推定手順、
をコンピュータに実行させることを特徴とする情報処理プログラム。
をコンピュータに実行させることを特徴とする情報処理プログラム。
【請求項16】
撮影装置と、情報処理装置とを含む情報処理システムであって、
前記撮影装置は、前記撮影装置によって撮影可能な空間で人物を含む画像を撮影し、
前記情報処理装置は、
前記画像のうち人物が撮像された領域である人物領域に関する情報であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記撮影装置によって撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
情報処理システム。
前記撮影装置は、前記撮影装置によって撮影可能な空間で人物を含む画像を撮影し、
前記情報処理装置は、
前記画像のうち人物が撮像された領域である人物領域に関する情報であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記撮影装置によって撮影不可能な空間における前記人物にとっての空間の快適さを推定する、
情報処理システム。
【請求項17】
前記情報処理システムは、環境センサをさらに備え、
前記環境センサは、前記撮影装置によって撮影不可能な空間の温度および湿度を検出し、
前記情報処理装置は、
前記撮影不可能な空間の温度および湿度に関する環境情報に基づいて、前記人物にとっての空間の快適さを推定する、
請求項１６に記載の情報処理システム。
前記環境センサは、前記撮影装置によって撮影不可能な空間の温度および湿度を検出し、
前記情報処理装置は、
前記撮影不可能な空間の温度および湿度に関する環境情報に基づいて、前記人物にとっての空間の快適さを推定する、
請求項１６に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理プログラム及び情報処理システムに関する。
【背景技術】
【0002】
従来、利用者にとって快適な空間を提供するための技術が知られている。例えば、全館空調装置により空調される部屋の温度を空調目標温度に制御する。また、温度センサにより個別空調装置が設置されている部屋の室温を検出して、検出した室温に応じて個別空調装置が設置されている部屋の室温を全館空調装置により空調される部屋と同じ空調目標温度に制御する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１３－６４５３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
空間の快適さの推定精度を向上させる技術が求められている。
【課題を解決するための手段】
【0005】
実施形態に係る情報処理装置は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記撮影装置によって撮影不可能な空間における前記人物にとっての空間の快適さを推定する推定部、を備える。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下に、本願に係る情報処理装置、情報処理プログラム及び情報処理システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理プログラム及び情報処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0008】
〔１．第１の実施形態〕
〔１－１．はじめに〕
従来、人の暑さ寒さに関する温熱環境における快適さに基づいて空調制御する技術が知られている。例えば、空間の快適さを評価する指標として、人体の熱収支に影響する６つの要素からなるＰＭＶ（Predicted Mean Vote）が知られている。ＰＭＶは、温度［℃］、湿度［％］、（熱）放射［℃］、気流［m/s］の４つの環境要素と、着衣量［clo］、代謝量（活動量）［met］の２つの人的要素から算出される。ここで、温度、湿度、放射、気流の４つの環境要素は、空間に対するセンシングによって得ることができる。一方、着衣量、代謝量（活動量）の２つの人的要素は、外気温などから推定される推定値が用いられるのが一般的であった。そのため、従来の手法に基づいて算出されたＰＭＶ値は、必ずしも実際に人が感じている空間の快適さを反映しているとは限らなかった。すなわち、従来は、空間の快適さを精度よく推定できるとは限らなかった。
〔１－１．はじめに〕
従来、人の暑さ寒さに関する温熱環境における快適さに基づいて空調制御する技術が知られている。例えば、空間の快適さを評価する指標として、人体の熱収支に影響する６つの要素からなるＰＭＶ（Predicted Mean Vote）が知られている。ＰＭＶは、温度［℃］、湿度［％］、（熱）放射［℃］、気流［m/s］の４つの環境要素と、着衣量［clo］、代謝量（活動量）［met］の２つの人的要素から算出される。ここで、温度、湿度、放射、気流の４つの環境要素は、空間に対するセンシングによって得ることができる。一方、着衣量、代謝量（活動量）の２つの人的要素は、外気温などから推定される推定値が用いられるのが一般的であった。そのため、従来の手法に基づいて算出されたＰＭＶ値は、必ずしも実際に人が感じている空間の快適さを反映しているとは限らなかった。すなわち、従来は、空間の快適さを精度よく推定できるとは限らなかった。
【0009】
そこで、本願発明に係る発明者らは、機械学習モデルを用いて、ＲＧＢカメラ、赤外線カメラ等の撮影装置により撮影された画像、および環境センサによって検出された空間の温度や湿度などの環境に関する情報（以下、環境情報ともいう）から空間の快適さを推定する技術（以下、提案技術ともいう）を提案している。具体的には、提案技術は、空間を撮像した画像に含まれる人物が撮像された領域（以下、人物領域ともいう）に関する情報に基づいて空間の快適さを推定する。例えば、提案技術は、個々の人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて空間の快適さを推定する。このように、提案技術は、姿勢推定処理を用いることにより、画像の中から人物領域を精緻に特定することができるので、推定対象となる人物の着衣量や代謝量（活動量）に関する情報を精度よく推定することができる。また、提案技術は、着衣量や代謝量（活動量）といった２つの人的要素を精度よく推定することができるため、空間の快適さの推定精度を向上させることができる。
【0010】
ここで、姿勢推定処理は、動画や静止画から人物の姿勢を推定し、人物領域を特定する処理であってよい。姿勢推定処理は、任意の公知技術により実現されてよい。例えば、姿勢推定処理は、姿勢推定（Pose Estimation）の技術（以下、姿勢推定技術ともいう）を用いた画像の処理により実現されてよい。例えば、姿勢推定処理は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢（骨格）を推定する姿勢推定技術により実現されてよい。なお、１枚の画像に複数の人物が写っている場合には、姿勢推定処理により、複数の人物について特徴点を検出して、複数の人物の姿勢を推定してもよい。すなわち、情報処理装置１００は、複数の人物について、それぞれの人物が所在する空間の快適さをそれぞれ推定してもよい。
【0011】
例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴を示す特徴点（キーポイントともいう）を推定し、特徴点を結んだ人物の姿勢を検出するものがある。例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出するものがある。このように、姿勢推定技術を用いると、画像中の人物の身体の関節点や骨格モデルを推定することができるので、画像中の人物の身体の部位を精緻に推定することができる。例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の３０種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目（右、左）、耳（右、左）、鼻、首、肩（右、中央、左）、肘（右、左）、背骨、手首（右、左）、手（右、左）、親指（右、左）、手先（右、左）、腰（右、中央、左）、膝（右、左）、足首（右、左）、足（右、左）を特定することができる。
【0012】
また、姿勢推定モデルの一例として、ＤｅｎｓｅＰｏｓｅ（参考ＵＲＬ：http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html）が知られている。ＤｅｎｓｅＰｏｓｅは、２次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する３次元身体表面モデルを生成する技術である。より具体的には、ＤｅｎｓｅＰｏｓｅは、ＲＧＢ画像を入力として、ＲＧＢ画像中の人物の３次元表面のＵＶ座標を推定する技術である。ＤｅｎｓｅＰｏｓｅを用いると、２次元の画像に写る人物領域から３次元身体表面のＵＶ座標を推定することができるので、２次元の画像に写る人物領域の各人体パーツ（人物の身体の部位）を精緻に推定することができる。ＤｅｎｓｅＰｏｓｅを用いると、画像中の人物の身体の２４種類の部位を推定することができる。具体的には、ＤｅｎｓｅＰｏｓｅを用いると、ＲＧＢ画像から、画像中の人物の身体の部位として、頭（左、右）、首、胴体、腕（左、右／上、前／前、後）、脚（左、右／太もも、ふくらはぎ／前、後）、手（左、右）、足（左、右）を特定することができる。
【0013】
しかしながら、一般的に、プライバシーに配慮する必要がある場所（トイレや脱衣所など）には、ＲＧＢカメラや赤外線カメラといった撮影装置を設置することが困難な場合がある。そのため、上記の提案技術では、プライバシーに配慮する必要がある場所（以下、プライバシーな空間ともいう）を撮影した画像の入手が難しいため、プライバシーな空間の快適さを推定するのが困難な場合があった。また、上記の提案技術では、ＲＧＢカメラ、赤外線カメラ等の撮影装置および環境センサを同じ場所に設置する必要があった。そのため、上記の提案技術では、快適さを推定する対象となる各空間にＲＧＢカメラや赤外線カメラといった高額な機材をそれぞれ設置するのに高額な機材費用を要し、コストが増加するという課題があった。
【0014】
これに対し、実施形態に係る情報処理装置１００は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する。このように、情報処理装置１００は、例えば、撮影装置が設置されない場所における空間の快適さを推定するために、撮影装置が設置されない場所の近くの撮影装置が設置されている場所で撮影された画像に関する画像情報を利用する。例えば、施設内の人物は自由に移動することができることから、情報処理装置１００は、施設の出入口などに設置された撮影装置の画像情報をその後の施設内での快適さを推定するための情報として利用する。
【0015】
これにより、情報処理装置１００は、撮影装置が設置されない場所における空間の快適さを精度よく推定することができる。また、情報処理装置１００は、利用者のプライバシーを保護するため撮影装置を設置することができない場所（トイレや脱衣所など）における空間の快適さを精度よく推定することができる。すなわち、情報処理装置１００は、撮影装置によって撮影不可能な場所における空間の快適さの推定精度を向上させることができる。また、情報処理装置１００は、ＲＧＢカメラや赤外線カメラといった撮影装置の設置台数を減らすことができる。したがって、情報処理装置１００は、空間の快適さを精度よく推定するためのコストを抑えることができる。
【0016】
ここで、撮影装置によって撮影可能な空間とは、例えば、撮影装置が設置されている空間のうち、撮影装置によって撮影可能な空間であってよい。一方、撮影装置によって撮影不可能な空間とは、例えば、撮影装置の死角となるため撮影装置による撮影が不可能な空間や、撮影装置が設置されないため撮影装置による撮影が不可能な空間のことであってよい。つまり、撮影措置によって撮影不可能な空間とは、必ずしも撮影ができないわけではない（撮影装置があれば撮影は可能な）空間であってよい。例えば、撮影装置によって撮影不可能な空間の一例として、利用者のプライバシーを保護するため、撮影装置が設置されない空間（トイレや脱衣所、更衣室など）がある。なお、本開示において撮影装置は画像を取得することができる装置であれば特に限定されない。例えば、撮影装置は、静止画を取得するカメラであってもよいし、動画を取得し、フレームの一部を静止画として取得するビデオカメラであってもよい。また、例えば、撮影装置は、静止画と動画の両方を取得可能な機能を有し、適宜これらの機能を切換えつつ、静止画を取得するような撮影モジュールであってもよい。
【0017】
また、人物領域は、情報処理装置１００が推定対象の人物を特定可能な領域であれば、任意の領域であってよい。例えば、人物領域は、人物を示す領域に加えて、その人物の周囲の空間を示す領域を含んでもよい。例えば、人物領域は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含んでもよい。例えば、人物領域は、人物の周囲に存在する家具等を示す領域を含んでもよい。なお、以下では、空間に所在する人物のことを「利用者」と記載する場合がある。
【0018】
〔１－２．情報処理システムの構成〕
まず、図１を用いて、第１の実施形態に係る情報処理システム１の構成について説明する。図１は、第１の実施形態に係る情報処理システム１の構成例を示す図である。情報処理システム１には、空調装置１０と、ＲＧＢカメラ２０と、赤外線カメラ３０と、環境センサ４０と、認証装置５０と、情報処理装置１００とが含まれてよい。空調装置１０と、ＲＧＢカメラ２０と、赤外線カメラ３０と、環境センサ４０と、認証装置５０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の空調装置１０と、任意の数のＲＧＢカメラ２０と、任意の数の赤外線カメラ３０と、任意の数の環境センサ４０と、任意の数の認証装置５０と、任意の数の情報処理装置１００とが含まれてもよい。ＲＧＢカメラ２０および赤外線カメラ３０は、撮影装置の一例であってよい。
まず、図１を用いて、第１の実施形態に係る情報処理システム１の構成について説明する。図１は、第１の実施形態に係る情報処理システム１の構成例を示す図である。情報処理システム１には、空調装置１０と、ＲＧＢカメラ２０と、赤外線カメラ３０と、環境センサ４０と、認証装置５０と、情報処理装置１００とが含まれてよい。空調装置１０と、ＲＧＢカメラ２０と、赤外線カメラ３０と、環境センサ４０と、認証装置５０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の空調装置１０と、任意の数のＲＧＢカメラ２０と、任意の数の赤外線カメラ３０と、任意の数の環境センサ４０と、任意の数の認証装置５０と、任意の数の情報処理装置１００とが含まれてもよい。ＲＧＢカメラ２０および赤外線カメラ３０は、撮影装置の一例であってよい。
【0019】
空調装置１０は、空間の空気の温度や湿度などを調整する装置である。例えば、空調装置１０は、情報処理装置１００による空調制御の対象となる各空間に設置されたエアコンであってよい。例えば、空調装置１０は、情報処理装置１００による空調制御の対象となる空間における場所（例えば、部屋）ごとに設置されたエアコンであってよい。また、空調装置１０は、ＩｏＴ（Internet of Things）技術により、他の装置と通信可能であってよい。空調装置１０は、情報処理装置１００の制御に従って制御対象となる空間の空調を調整することができる。具体的には、まず、空調装置１０は、情報処理装置１００から空調の制御に関する制御情報を受信してよい。例えば、空調装置１０は、情報処理装置１００から空調に設定する設定温度や設定湿度に関する情報を受信してよい。続いて、空調装置１０は、情報処理装置１００から受信した制御情報に従って、空間の空調を調整してよい。例えば、空調装置１０は、設定温度や設定湿度に関する情報を受信すると、空間の温度や湿度が、設定温度や設定湿度に保たれるように空調を調整してよい。
【0020】
ＲＧＢカメラ２０は、空間のＲＧＢ画像を取得する装置である。具体的には、ＲＧＢカメラ２０は、ＲＧＢカメラ２０によって撮影可能な空間のＲＧＢ画像を取得してよい。例えば、ＲＧＢカメラ２０は、撮影可能な空間において新たな人物を検出する度にＲＧＢ画像を取得してよい。例えば、ＲＧＢカメラ２０は、常時ＲＧＢ画像を取得してもよい。また、ＲＧＢカメラ２０は、情報処理装置１００による空調制御の対象となる空間に設置されてよい。例えば、ＲＧＢカメラ２０は、情報処理装置１００による空調制御の対象となる施設（例えば、多数のオフィスが入居しているビルや商業施設など）の入口や出口に設置されてよい。また、ＲＧＢカメラ２０は、赤外線カメラ３０と同じ空間を撮影してよい。また、ＲＧＢカメラ２０は、ＩｏＴ技術により、他の装置と通信可能であってよい。例えば、ＲＧＢカメラ２０は、ＲＧＢ画像を取得すると、取得したＲＧＢ画像を情報処理装置１００に送信してよい。
【0021】
赤外線カメラ３０は、空間のサーマル画像を取得する装置である。具体的には、赤外線カメラ３０は、赤外線カメラ３０によって撮影可能な空間のサーマル画像を取得してよい。例えば、赤外線カメラ３０は、撮影可能な空間において新たな人物を検出する度にサーマル画像を取得してよい。例えば、赤外線カメラ３０は、常時サーマル画像を取得してもよい。また、赤外線カメラ３０は、情報処理装置１００による空調制御の対象となる空間に設置されてよい。例えば、赤外線カメラ３０は、情報処理装置１００による空調制御の対象となる施設の入口や出口に設置されてよい。また、赤外線カメラ３０は、ＲＧＢカメラ２０と同じ空間を撮影してよい。また、赤外線カメラ３０は、ＩｏＴ技術により、他の装置と通信可能であってよい。例えば、赤外線カメラ３０は、サーマル画像を取得すると、取得したサーマル画像を情報処理装置１００に送信してよい。
【0022】
環境センサ４０は、空間の温度や湿度などの環境に関する環境情報を取得するセンサ装置である。具体的には、環境センサ４０は、環境センサ４０が設置された空間の温度や湿度を検出してよい。環境センサ４０は、ＵＳＢ型の環境センサであってよい。また、環境センサ４０は、情報処理装置１００による空調制御の対象となる空間に少なくとも１以上設置されてよい。例えば、環境センサ４０は、情報処理装置１００による空調制御の対象となる施設に数メートルおきに設置されてよい。また、環境センサ４０は、ＩｏＴ技術により、他の装置と通信可能であってよい。例えば、環境センサ４０は、空間の温度や湿度を検出すると、検出した空間の温度や湿度に関する情報を情報処理装置１００に送信してよい。なお、環境センサ４０が取得する環境情報は、後述する快適さの判定において利用可能な情報であればよく、上記の例に限定されない。例えば、環境センサ４０は、環境情報として気圧や照度などの任意の情報を取得してよい。
【0023】
認証装置５０は、利用者の個人認証を行う装置である。認証装置５０は、情報処理装置１００による空調制御の対象となる空間の入口や出口に設置されてよい。認証装置５０は、センサを用いて利用者の個人認証情報を取得してよい。続いて、認証装置５０は、個人認証情報を取得すると、あらかじめ記憶された個人認証情報と取得した個人認証情報とを照合して、個人認証を行う。また、認証装置５０は、ＩｏＴ技術により、他の装置と通信可能であってよい。例えば、認証装置５０は、情報処理装置１００にあらかじめ記憶された個人認証情報を情報処理装置１００から取得してよい。また、認証装置５０は、個人認証を行った場合、個人認証の認証結果を情報処理装置１００に送信してよい。例えば、認証装置５０は、個人認証に成功した場合、個人認証に成功したことを示す情報とともに、個人認証に成功した利用者を識別可能な情報（例えば、利用者ＩＤ）を情報処理装置１００に送信してよい。
【0024】
第１の実施形態に係る認証装置５０は、顔認証装置である。顔認証装置である認証装置５０は、個人認証情報の一例として、ＲＧＢカメラを用いて利用者の顔画像情報を取得してよい。続いて、認証装置５０は、利用者の顔画像情報を取得すると、あらかじめ記憶された顔画像情報と取得した顔画像情報とを照合して、顔認証を行う。例えば、顔認証装置は、ＲＧＢカメラ２０から取得した画像に基づいて、利用者の顔画像情報を取得してよい。また、認証装置５０は、顔認証に成功した場合、顔認証に成功したことを示す認証情報とともに、顔認証に成功した利用者を識別可能な利用者の顔画像情報を情報処理装置１００に送信してよい。
【0025】
情報処理装置１００は、第１の実施形態に係る情報処理を実行する情報処理装置である。具体的には、情報処理装置１００は、人物領域に関する情報が入力情報として入力された場合に、利用者にとっての空間の快適さを出力情報として出力するよう学習された機械学習モデル（以下、快適さ推定モデルともいう）を用いて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、撮影装置によって撮影可能な空間で撮影された人物領域に関する情報を快適さ推定モデルに入力して、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを快適さ推定モデルの出力情報として出力してよい。
【0026】
また、情報処理装置１００は、空調装置１０を制御する制御装置である。具体的には、情報処理装置１００は、推定した空間の快適さに基づいて、利用者が所在する場所に設置された空調装置１０を制御してよい。例えば、情報処理装置１００は、推定した空間の快適さが「寒い」である場合には、その場所における温度を高くするように空調装置１０を制御してよい。また、情報処理装置１００は、推定した空間の快適さが「普通」である場合には、その場所における温度を保つように空調装置１０を制御してよい。また、情報処理装置１００は、推定した空間の快適さが「暑い」である場合には、その場所における温度を低くするように空調装置１０を制御してよい。
【0027】
〔１－３．情報処理の概要〕
次に、図２を用いて、第１の実施形態に係る情報処理の概要について説明する。図２は、第１の実施形態に係る情報処理の概要を説明するための図である。図２に示す符号Ｐ１１～Ｐ１６は、情報処理装置１００による空調制御の対象となる建物における６つの場所をそれぞれ示している。以下では、「Ｐ１＊」（＊＝１～６）で示す場所を、「場所Ｐ１＊」（＊＝１～６）と記載する場合がある。
次に、図２を用いて、第１の実施形態に係る情報処理の概要について説明する。図２は、第１の実施形態に係る情報処理の概要を説明するための図である。図２に示す符号Ｐ１１～Ｐ１６は、情報処理装置１００による空調制御の対象となる建物における６つの場所をそれぞれ示している。以下では、「Ｐ１＊」（＊＝１～６）で示す場所を、「場所Ｐ１＊」（＊＝１～６）と記載する場合がある。
【0028】
図２には、利用者Ｕ１が、情報処理装置１００による空調制御の対象となる建物（空間の一例）の中の場所Ｐ１１～場所Ｐ１６を順番に移動する場合が例示されている。例えば、利用者Ｕ１は、建物の入口付近のエントランスである場所Ｐ１１から場所Ｐ１１に続く廊下である場所Ｐ１２へ移動する。その後、利用者Ｕ１は、廊下である場所Ｐ１２から場所Ｐ１２の奥に位置する共有スペースである場所Ｐ１３に移動する。その後、利用者Ｕ１は、共有スペースである場所Ｐ１３から場所Ｐ１３に隣接する第１会議室である場所Ｐ１４へ移動する。その後、利用者Ｕ１は、第１会議室である場所Ｐ１４から場所Ｐ１４に隣接する執務室である場所Ｐ１５へ移動する。その後、利用者Ｕ１は、執務室である場所Ｐ１５から場所Ｐ１５に隣接する第２会議室である場所Ｐ１６へ移動する。
【0029】
また、図２に示すチェックの印は、ＲＧＢカメラ２０、赤外線カメラ３０、または環境センサ４０が設置されている場所を示す。例えば、場所Ｐ１１と場所Ｐ１４と場所Ｐ１６は、ＲＧＢカメラ２０、赤外線カメラ３０、および環境センサ４０が設置されている場所であることを示す。一方、場所Ｐ１２と場所Ｐ１３と場所Ｐ１５は、ＲＧＢカメラ２０および赤外線カメラ３０が設置されておらず、環境センサ４０のみが設置されている場所であることを示す。なお、図示は省略するが、場所Ｐ１１には、顔認証装置である認証装置５０が設置されているものとする。また、以下の説明において、ＲＧＢカメラ２０および赤外線カメラ３０等の撮影装置を単に「カメラ」と呼称する場合がある。
【0030】
また、以下では、ＲＧＢカメラ２０が設置された空間に応じて、ＲＧＢカメラ２０をＲＧＢカメラ２０－＊（＊＝１、４、６）のように区別して説明する場合がある。例えば、ＲＧＢカメラ２０－１は、場所Ｐ１１に設置されているＲＧＢカメラ２０である。また、例えば、ＲＧＢカメラ２０－４は、場所Ｐ１４に設置されているＲＧＢカメラ２０である。また、以下では、ＲＧＢカメラ２０－＊（＊＝１、４、６）について、特に区別なく説明する場合には、ＲＧＢカメラ２０と記載する。
【0031】
また、以下では、赤外線カメラ３０が設置された空間に応じて、赤外線カメラ３０を赤外線カメラ３０－＊（＊＝１、４、６）のように区別して説明する場合がある。例えば、赤外線カメラ３０－１は、場所Ｐ１１に設置されている赤外線カメラ３０である。また、例えば、赤外線カメラ３０－４は、場所Ｐ１４に設置されている赤外線カメラ３０である。また、以下では、赤外線カメラ３０－＊（＊＝１、４、６）について、特に区別なく説明する場合には、赤外線カメラ３０と記載する。
【0032】
また、以下では、環境センサ４０が設置された空間に応じて、環境センサ４０を環境センサ４０－＊（＊＝１～６）のように区別して説明する場合がある。例えば、環境センサ４０－１は、場所Ｐ１１に設置されている環境センサ４０である。また、例えば、環境センサ４０－２は、場所Ｐ１２に設置されている環境センサ４０である。また、以下では、環境センサ４０－＊（＊＝１～６）について、特に区別なく説明する場合には、環境センサ４０と記載する。
【0033】
また、以下では、認証装置５０が設置された空間に応じて、認証装置５０を認証装置５０－＊（＊＝１）のように区別して説明する場合がある。例えば、認証装置５０－１は、場所Ｐ１１に設置されている認証装置５０である。また、以下では、認証装置５０－＊（＊＝１）について、特に区別なく説明する場合には、認証装置５０と記載する。
【0034】
まず、図２では、利用者Ｕ１が、カメラが設置されている場所Ｐ１１を訪れる。このとき、情報処理装置１００は、利用者Ｕ１の顔認証が成功したという認証情報とともに利用者Ｕ１を識別する利用者ＩＤ「Ｕ１」および利用者Ｕ１の顔画像情報＃１１を場所Ｐ１１に設置された認証装置５０－１から取得してよい。
【0035】
続いて、情報処理装置１００は、認証装置５０－１から認証情報を取得すると、場所Ｐ１１に設置されたＲＧＢカメラ２０－１によって撮影されたＲＧＢ画像＃１１をＲＧＢカメラ２０－１から取得してよい。続いて、情報処理装置１００は、ＲＧＢ画像＃１１に新たに写り込んだ人物（の領域）を利用者ＩＤ「Ｕ１」で識別される利用者Ｕ１であると特定してよい。
【0036】
また、情報処理装置１００は、ＲＧＢ画像＃１１を取得すると、ＲＧＢ画像＃１１に関する画像情報（以下、ＲＧＢ画像情報＃１１ともいう）を生成してよい。例えば、情報処理装置１００は、ＲＧＢ画像＃１１を取得すると、姿勢推定処理によってＲＧＢ画像＃１１のうち利用者Ｕ１の人物領域Ｒ１１を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１１を特定すると、ＲＧＢ画像情報＃１１の一例として、学習モデルＭ１を用いて、人物領域Ｒ１１の特徴を示す特徴ベクトルＶ１１を生成してよい。
【0037】
また、情報処理装置１００は、場所Ｐ１１に設置された赤外線カメラ３０－１によって撮影されたサーマル画像＃１１を赤外線カメラ３０－１から取得してよい。情報処理装置１００は、サーマル画像＃１１を取得すると、サーマル画像＃１１に関する画像情報（以下、サーマル画像情報＃１１ともいう）を生成してよい。例えば、情報処理装置１００は、サーマル画像＃１１を取得すると、姿勢推定処理に基づいてサーマル画像＃１１のうち利用者Ｕ１の人物領域Ｒ１２を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１２を特定すると、サーマル画像情報＃１１の一例として、学習モデルＭ２を用いて、人物領域Ｒ１２の特徴を示す特徴ベクトルＶ１２を生成してよい。
【0038】
また、情報処理装置１００は、ＲＧＢ画像情報＃１１（特徴ベクトルＶ１１）およびサーマル画像情報＃１１（特徴ベクトルＶ１２）を生成すると、ＲＧＢ画像情報＃１１（特徴ベクトルＶ１１）とサーマル画像情報＃１１（特徴ベクトルＶ１２）と認証装置５０－１から取得した利用者Ｕ１の顔画像情報＃１１とを対応付けて記憶してよい。
【0039】
また、情報処理装置１００は、場所Ｐ１１に設置された環境センサ４０－１によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１１ともいう）を環境センサ４０－１から取得してよい。情報処理装置１００は、環境情報＃１１を取得すると、学習モデルＭ３を用いて、環境情報＃１１の特徴を示す特徴ベクトルＶ１３を生成してよい。
【0040】
また、情報処理装置１００は、環境情報＃１１を取得すると、環境センサ４０－１を識別するセンサＩＤ「４０－１」と環境情報＃１１と環境情報＃１１の取得時刻とを対応付けて記憶してよい。
【0041】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置されている場所Ｐ１１における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ１１と特徴ベクトルＶ１２と特徴ベクトルＶ１３を快適さ推定モデルＭ４に入力して、カメラが設置されている場所Ｐ１１における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0042】
次に、図２では、利用者Ｕ１が、カメラが設置されている場所Ｐ１１からカメラが設置されていない場所Ｐ１２へ移動してよい。このとき、情報処理装置１００は、場所Ｐ１２に設置された環境センサ４０－２によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１２ともいう）を環境センサ４０－２から取得してよい。情報処理装置１００は、環境情報＃１２を取得すると、学習モデルＭ３を用いて、環境情報＃１２の特徴を示す特徴ベクトルＶ２３を生成してよい。また、情報処理装置１００は、環境情報＃１２を取得すると、環境センサ４０－２を識別するセンサＩＤ「４０－２」と環境情報＃１２と環境情報＃１２の取得時刻とを対応付けて記憶してよい。
【0043】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置されていない場所Ｐ１２における利用者Ｕ１にとっての空間の快適さを推定してよい。具体的には、情報処理装置１００は、カメラが設置されている場所Ｐ１１における人物領域Ｒ１１の特徴を示す特徴ベクトルＶ１１および人物領域Ｒ１２の特徴を示す特徴ベクトルＶ１２を用いて、カメラが設置されていない場所Ｐ１２における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ１１と特徴ベクトルＶ１２と特徴ベクトルＶ２３を快適さ推定モデルＭ４に入力して、カメラが設置されていない場所Ｐ１２における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0044】
このように、情報処理装置１００は、カメラが設置されていない場所Ｐ１２の近くのカメラが設置されている場所Ｐ１１における利用者Ｕ１のＲＧＢ画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所Ｐ１２における利用者Ｕ１にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所Ｐ１２とカメラが設置されている場所Ｐ１１は距離が近いので、場所Ｐ１１と場所Ｐ１２における利用者Ｕ１の着衣量や代謝量（活動量）に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置１００は、カメラが設置されない場所Ｐ１２における利用者Ｕ１にとっての空間の快適さを精度よく推定することができる。
【0045】
次に、図２では、利用者Ｕ１が、カメラが設置されていない場所Ｐ１２からカメラが設置されていない場所Ｐ１３へ移動する。このとき、情報処理装置１００は、場所Ｐ１３に設置された環境センサ４０－３によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１３ともいう）を環境センサ４０－３から取得してよい。情報処理装置１００は、環境情報＃１３を取得すると、学習モデルＭ３を用いて、環境情報＃１３の特徴を示す特徴ベクトルＶ３３を生成してよい。また、情報処理装置１００は、環境情報＃１３を取得すると、環境センサ４０－３を識別するセンサＩＤ「４０－３」と環境情報＃１３と環境情報＃１３の取得時刻とを対応付けて記憶してよい。
【0046】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置されていない場所Ｐ１３における利用者Ｕ１にとっての空間の快適さを推定してよい。具体的には、情報処理装置１００は、カメラが設置されている場所Ｐ１１における人物領域Ｒ１１の特徴を示す特徴ベクトルＶ１１および人物領域Ｒ１２の特徴を示す特徴ベクトルＶ１２を用いて、カメラが設置されていない場所Ｐ１３における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ１１と特徴ベクトルＶ１２と特徴ベクトルＶ３３を快適さ推定モデルＭ４に入力して、カメラが設置されていない場所Ｐ１３における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0047】
このように、情報処理装置１００は、カメラが設置されていない場所Ｐ１３の近くのカメラが設置されている場所Ｐ１１における利用者Ｕ１のＲＧＢ画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所Ｐ１３における利用者Ｕ１にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所Ｐ１３とカメラが設置されている場所Ｐ１１は距離が近いので、場所Ｐ１１と場所Ｐ１３における利用者Ｕ１の着衣量や代謝量（活動量）に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置１００は、カメラが設置されない場所Ｐ１３における利用者Ｕ１にとっての空間の快適さを精度よく推定することができる。
【0048】
次に、図２では、利用者Ｕ１が、カメラが設置されていない場所Ｐ１３からカメラが設置されている場所Ｐ１４へ移動する。このとき、情報処理装置１００は、場所Ｐ１４に設置されたＲＧＢカメラ２０－４によって撮影されたＲＧＢ画像＃１４をＲＧＢカメラ２０－４から取得してよい。続いて、情報処理装置１００は、ＲＧＢ画像＃１４を取得すると、ＲＧＢ画像＃１４に含まれる利用者Ｕ１の顔画像情報と認証装置５０－１から取得した利用者Ｕ１の顔画像情報＃１１とを照合して、ＲＧＢ画像＃１４に含まれる利用者Ｕ１を特定してよい。
【0049】
また、情報処理装置１００は、ＲＧＢ画像＃１４を取得すると、ＲＧＢ画像＃１４に関する画像情報（以下、ＲＧＢ画像情報＃１４ともいう）を生成してよい。例えば、情報処理装置１００は、ＲＧＢ画像＃１４を取得すると、姿勢推定処理によってＲＧＢ画像＃１４のうち利用者Ｕ１の人物領域Ｒ１４を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１４を特定すると、ＲＧＢ画像情報＃１４の一例として、学習モデルＭ１を用いて、人物領域Ｒ１４の特徴を示す特徴ベクトルＶ４１を生成してよい。
【0050】
また、情報処理装置１００は、場所Ｐ１４に設置された赤外線カメラ３０－４によって撮影されたサーマル画像＃１４を赤外線カメラ３０－４から取得してよい。情報処理装置１００は、サーマル画像＃１４を取得すると、サーマル画像＃１４に関する画像情報（以下、サーマル画像情報＃１４ともいう）を生成してよい。例えば、情報処理装置１００は、サーマル画像＃１４を取得すると、姿勢推定処理に基づいてサーマル画像＃１４のうち利用者Ｕ１の人物領域Ｒ１５を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１５を特定すると、サーマル画像情報＃１４の一例として、学習モデルＭ２を用いて、人物領域Ｒ１５の特徴を示す特徴ベクトルＶ４２を生成してよい。
【0051】
また、情報処理装置１００は、ＲＧＢ画像情報＃１４（特徴ベクトルＶ４１）およびサーマル画像情報＃１４（特徴ベクトルＶ４２）を生成すると、利用者Ｕ１の画像情報＃１と対応付けて記憶したＲＧＢ画像情報＃１１（特徴ベクトルＶ１１）とサーマル画像情報＃１１（特徴ベクトルＶ１２）を削除してよい。続いて、情報処理装置１００は、ＲＧＢ画像情報＃１４（特徴ベクトルＶ４１）とサーマル画像情報＃１４（特徴ベクトルＶ４２）と認証装置５０－１から取得した利用者Ｕ１の顔画像情報＃１１とを対応付けて記憶してよい。
【0052】
このように、情報処理装置１００は、ＲＧＢ画像情報やサーマル画像情報を取得する度に、利用者の顔画像情報と対応付けて記憶するＲＧＢ画像情報やサーマル画像情報を更新してよい。
【0053】
また、情報処理装置１００は、場所Ｐ１４に設置された環境センサ４０－４によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１４ともいう）を環境センサ４０－４から取得してよい。情報処理装置１００は、環境情報＃１４を取得すると、学習モデルＭ３を用いて、環境情報＃１４の特徴を示す特徴ベクトルＶ４３を生成してよい。
【0054】
また、情報処理装置１００は、環境情報＃１４を取得すると、環境センサ４０－４を識別するセンサＩＤ「４０－４」と環境情報＃１４と環境情報＃１４の取得時刻とを対応付けて記憶してよい。
【0055】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置されている場所Ｐ１４における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ４１と特徴ベクトルＶ４２と特徴ベクトルＶ４３を快適さ推定モデルＭ４に入力して、カメラが設置されている場所Ｐ１４における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0056】
次に、図２では、利用者Ｕ１が、カメラが設置されている場所Ｐ１４からカメラが設置されていない場所Ｐ１５へ移動する。このとき、情報処理装置１００は、場所Ｐ１５に設置された環境センサ４０－５によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１５ともいう）を環境センサ４０－５から取得してよい。情報処理装置１００は、環境情報＃１５を取得すると、学習モデルＭ３を用いて、環境情報＃１５の特徴を示す特徴ベクトルＶ５３を生成してよい。また、情報処理装置１００は、環境情報＃１５を取得すると、環境センサ４０－５を識別するセンサＩＤ「４０－５」と環境情報＃１５と環境情報＃１５の取得時刻とを対応付けて記憶してよい。
【0057】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置されていない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを推定してよい。具体的には、情報処理装置１００は、カメラが設置されている場所Ｐ１４における人物領域Ｒ１４の特徴を示す特徴ベクトルＶ４１および人物領域Ｒ１５の特徴を示す特徴ベクトルＶ４２を用いて、カメラが設置されていない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ４１と特徴ベクトルＶ４２と特徴ベクトルＶ５３を快適さ推定モデルＭ４に入力して、カメラが設置されていない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0058】
このように、情報処理装置１００は、カメラが設置されていない場所Ｐ１５の近くのカメラが設置されている場所Ｐ１４における利用者Ｕ１のＲＧＢ画像情報やサーマル画像情報に基づいて、カメラが設置されていない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを推定する。ここで、カメラが設置されていない場所Ｐ１５とカメラが設置されている場所Ｐ１４は距離が近いので、場所Ｐ１４と場所Ｐ１５における利用者Ｕ１の着衣量や代謝量（活動量）に関する情報はほとんど同じとみなすことができる。したがって、情報処理装置１００は、カメラが設置されない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを精度よく推定することができる。
【0059】
また、情報処理装置１００は、利用者Ｕ１の最新のＲＧＢ画像情報やサーマル画像情報に基づいて、利用者Ｕ１にとっての空間の快適さを推定することができる。そのため、情報処理装置１００は、利用者Ｕ１の着衣量や代謝量（活動量）に関する情報が時間経過とともに変化する場合であっても、利用者Ｕ１の最新の着衣量や代謝量（活動量）に関する情報に基づいて、利用者Ｕ１にとっての空間の快適さを推定することができる。したがって、情報処理装置１００は、カメラが設置されない場所Ｐ１５における利用者Ｕ１にとっての空間の快適さを精度よく推定することができる。
【0060】
次に、図２では、利用者Ｕ１が、カメラが設置されていない場所Ｐ１５からカメラが設置されている場所Ｐ１６へ移動する。このとき、情報処理装置１００は、場所Ｐ１６に設置されたＲＧＢカメラ２０－６によって撮影されたＲＧＢ画像＃１６をＲＧＢカメラ２０－６から取得してよい。続いて、情報処理装置１００は、ＲＧＢ画像＃１６を取得すると、ＲＧＢ画像＃１６に含まれる利用者Ｕ１の顔画像情報と認証装置５０－１から取得した利用者Ｕ１の顔画像情報＃１１とを照合して、ＲＧＢ画像＃１６に含まれる利用者Ｕ１を特定してよい。
【0061】
また、情報処理装置１００は、ＲＧＢ画像＃１６を取得すると、ＲＧＢ画像＃１６に関する画像情報（以下、ＲＧＢ画像情報＃１６ともいう）を生成してよい。例えば、情報処理装置１００は、ＲＧＢ画像＃１６を取得すると、姿勢推定処理によってＲＧＢ画像＃１６のうち利用者Ｕ１の人物領域Ｒ１６を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１６を特定すると、ＲＧＢ画像情報＃１６の一例として、学習モデルＭ１を用いて、人物領域Ｒ１６の特徴を示す特徴ベクトルＶ６１を生成してよい。
【0062】
また、情報処理装置１００は、場所Ｐ１６に設置された赤外線カメラ３０－６によって撮影されたサーマル画像＃１６を赤外線カメラ３０－６から取得してよい。情報処理装置１００は、サーマル画像＃１６を取得すると、サーマル画像＃１６に関する画像情報（以下、サーマル画像情報＃１６ともいう）を生成してよい。例えば、情報処理装置１００は、サーマル画像＃１６を取得すると、姿勢推定処理に基づいてサーマル画像＃１６のうち利用者Ｕ１の人物領域Ｒ１７を特定してよい。続いて、情報処理装置１００は、人物領域Ｒ１７を特定すると、サーマル画像情報＃１６の一例として、学習モデルＭ２を用いて、人物領域Ｒ１７の特徴を示す特徴ベクトルＶ６２を生成してよい。
【0063】
また、情報処理装置１００は、ＲＧＢ画像情報＃１６（特徴ベクトルＶ６１）およびサーマル画像情報＃１６（特徴ベクトルＶ６２）を生成すると、利用者Ｕ１の画像情報＃１と対応付けて記憶したＲＧＢ画像情報＃１４（特徴ベクトルＶ４１）およびサーマル画像情報＃１４（特徴ベクトルＶ４２）を削除してよい。続いて、情報処理装置１００は、ＲＧＢ画像情報＃１６（特徴ベクトルＶ６１）とサーマル画像情報＃１６（特徴ベクトルＶ６２）と認証装置５０－１から取得した利用者Ｕ１の顔画像情報＃１１とを対応付けて記憶してよい。
【0064】
このように、情報処理装置１００は、ＲＧＢ画像情報やサーマル画像情報を取得する度に、利用者の顔画像情報と対応付けて記憶するＲＧＢ画像情報やサーマル画像情報を更新する。
【0065】
また、情報処理装置１００は、場所Ｐ１６に設置された環境センサ４０－６によって検出されたその時の温度および湿度に関する環境情報（以下、環境情報＃１６ともいう）を環境センサ４０－６から取得してよい。情報処理装置１００は、環境情報＃１６を取得すると、学習モデルＭ３を用いて、環境情報＃１６の特徴を示す特徴ベクトルＶ６３を生成してよい。
【0066】
また、情報処理装置１００は、環境情報＃１６を取得すると、環境センサ４０－６を識別するセンサＩＤ「４０－６」と環境情報＃１６と環境情報＃１６の取得時刻とを対応付けて記憶してよい。
【0067】
続いて、情報処理装置１００は、快適さ推定モデルＭ４を用いて、カメラが設置された場所Ｐ１６における利用者Ｕ１にとっての空間の快適さを推定してよい。例えば、情報処理装置１００は、特徴ベクトルＶ６１と特徴ベクトルＶ６２と特徴ベクトルＶ６３を快適さ推定モデルＭ４に入力して、カメラが設置された場所Ｐ１６における利用者Ｕ１にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0068】
〔１－４．情報処理装置の構成〕
次に、図３を用いて、第１の実施形態に係る情報処理装置１００の構成について説明する。図３は、第１の実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図３を用いて、第１の実施形態に係る情報処理装置１００の構成について説明する。図３は、第１の実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0069】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、空調装置１０やＲＧＢカメラ２０や赤外線カメラ３０や環境センサ４０との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、空調装置１０やＲＧＢカメラ２０や赤外線カメラ３０や環境センサ４０との間で情報の送受信を行う。
【0070】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部１２０は、各種の学習モデルに関する情報を記憶してよい。例えば、記憶部１２０は、各種の学習モデルとして、学習モデルＭ１～Ｍ３および快適さ推定モデルＭ４に関する情報を記憶してよい。例えば、記憶部１２０は、各種の学習モデルの接続係数に関する情報を記憶してよい。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。例えば、記憶部１２０は、各種の学習モデルに関する情報を記憶してよい。例えば、記憶部１２０は、各種の学習モデルとして、学習モデルＭ１～Ｍ３および快適さ推定モデルＭ４に関する情報を記憶してよい。例えば、記憶部１２０は、各種の学習モデルの接続係数に関する情報を記憶してよい。
【0071】
(利用者情報記憶部１２１)
利用者情報記憶部１２１は、利用者に関する各種の情報を記憶してよい。ここで、図４を用いて、第１の実施形態に係る利用者情報記憶部１２１の一例について説明する。図４は、第１の実施形態に係る利用者情報記憶部１２１の一例を示す図である。
利用者情報記憶部１２１は、利用者に関する各種の情報を記憶してよい。ここで、図４を用いて、第１の実施形態に係る利用者情報記憶部１２１の一例について説明する。図４は、第１の実施形態に係る利用者情報記憶部１２１の一例を示す図である。
【0072】
図４に示す例では、利用者情報記憶部１２１は、ＲＧＢカメラ２０によって撮影可能な空間で撮影されたＲＧＢ画像に関するＲＧＢ画像情報と、顔認証装置である認証装置５０から取得した利用者の顔画像情報とを対応付けて記憶してよい。例えば、利用者情報記憶部１２１は、ＲＧＢ画像情報の一例として、ＲＧＢ画像に含まれる利用者の人物領域Ｒ１の特徴を示す特徴ベクトルＶ１と利用者の顔画像情報とを対応付けて記憶してよい。
【0073】
また、利用者情報記憶部１２１は、赤外線カメラ３０によって撮影可能な空間で撮影されたサーマル画像に関するサーマル画像情報と、顔認証装置である認証装置５０から取得した利用者の顔画像情報とを対応付けて記憶してよい。例えば、利用者情報記憶部１２１は、サーマル画像情報の一例として、サーマル画像に含まれる利用者の人物領域Ｒ２の特徴を示す特徴ベクトルＶ２と利用者の顔画像情報とを対応付けて記憶してよい。
【0074】
また、利用者情報記憶部１２１は、撮影時刻が異なる２以上の画像のうち、撮影時刻が最も新しい画像に関する画像情報と利用者を識別可能な情報とを対応付けて記憶してよい。
【0075】
なお、図４では、利用者を識別可能な情報の一例として、顔認証装置である認証装置５０から取得した利用者の顔認証用の顔画像情報と画像情報を対応付けて記憶する例について説明したが、利用者を識別可能な情報は利用者の顔画像情報に限られない。例えば、利用者情報記憶部１２１は、利用者を識別可能な情報の一例として、指紋認証や虹彩認証などの利用者の生体認証処理に用いられる生体認証用情報（指紋認証用情報や虹彩認証用情報など）と画像情報とを対応付けて記憶してよい。また、利用者情報記憶部１２１は、利用者を識別可能な情報の一例として、ＩＣカード認証などの利用者のアイテム認証処理に用いられるアイテム認証用情報（ＩＣカード認証用情報など）と画像情報とを対応付けて記憶してよい。
【0076】
(環境情報記憶部１２２)
環境情報記憶部１２２は、環境センサによって検出された環境情報を記憶してよい。ここで、図５を用いて、第１の実施形態に係る環境情報記憶部１２２の一例について説明する。図５は、第１の実施形態に係る環境情報記憶部１２２の一例を示す図である。図５に示す例では、環境情報記憶部１２２は、環境センサを識別可能なセンサＩＤと、環境情報が検出された時刻と、環境情報とを対応づけて記憶してよい。また、環境情報記憶部１２２は、所定時間ごとに環境センサによって検出された環境情報のログを記憶してよい。
環境情報記憶部１２２は、環境センサによって検出された環境情報を記憶してよい。ここで、図５を用いて、第１の実施形態に係る環境情報記憶部１２２の一例について説明する。図５は、第１の実施形態に係る環境情報記憶部１２２の一例を示す図である。図５に示す例では、環境情報記憶部１２２は、環境センサを識別可能なセンサＩＤと、環境情報が検出された時刻と、環境情報とを対応づけて記憶してよい。また、環境情報記憶部１２２は、所定時間ごとに環境センサによって検出された環境情報のログを記憶してよい。
【0077】
（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0078】
制御部１３０は、取得部１３１と、推定部１３２と、空調制御部１３３とを機能部として有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0079】
（取得部１３１）
取得部１３１は、利用者を識別する利用者ＩＤと顔認証に用いられる利用者の顔画像情報を取得してよい。例えば、取得部１３１は、利用者ＩＤと利用者の顔画像情報を顔認証装置である認証装置５０から取得してよい。取得部１３１は、利用者ＩＤと利用者の顔画像情報を取得すると、利用者ＩＤと利用者の顔画像情報とを対応付けて利用者情報記憶部１２１に記憶してよい。
取得部１３１は、利用者を識別する利用者ＩＤと顔認証に用いられる利用者の顔画像情報を取得してよい。例えば、取得部１３１は、利用者ＩＤと利用者の顔画像情報を顔認証装置である認証装置５０から取得してよい。取得部１３１は、利用者ＩＤと利用者の顔画像情報を取得すると、利用者ＩＤと利用者の顔画像情報とを対応付けて利用者情報記憶部１２１に記憶してよい。
【0080】
また、取得部１３１は、利用者の顔認証が成功したという認証情報とともに利用者を識別する利用者ＩＤおよび利用者の顔画像情報を認証装置５０から取得してよい。
【0081】
また、取得部１３１は、ＲＧＢカメラ２０によって撮影可能な空間で撮影されたＲＧＢ画像をＲＧＢカメラ２０から取得してよい。例えば、取得部１３１は、ＲＧＢカメラ２０によって撮影可能な空間の一例として、ＲＧＢカメラ２０が設置された場所で撮影されたＲＧＢ画像をＲＧＢカメラ２０から取得してよい。
【0082】
また、取得部１３１は、２以上の異なるＲＧＢカメラ２０それぞれから撮影時刻の異なる２以上の画像をそれぞれ取得してよい。例えば、取得部１３１は、異なる場所に設置された２以上の異なるＲＧＢカメラ２０それぞれから移動中の利用者を撮像したＲＧＢ画像を取得してよい。
【0083】
また、取得部１３１は、赤外線カメラ３０によって撮影可能な空間で撮影されたサーマル画像を赤外線カメラ３０から取得してよい。例えば、取得部１３１は、赤外線カメラ３０によって撮影可能な空間の一例として、赤外線カメラ３０が設置された場所で撮影されたサーマル画像を赤外線カメラ３０から取得してよい。
【0084】
また、取得部１３１は、２以上の異なる赤外線カメラ３０それぞれから撮影時刻の異なる２以上のサーマル画像をそれぞれ取得してよい。例えば、取得部１３１は、異なる場所に設置された２以上の異なる赤外線カメラ３０それぞれから移動中の利用者を撮像したサーマル画像を取得してよい。
【0085】
また、取得部１３１は、撮影装置によって撮影不可能な空間に設置された環境センサ４０によって検出された温度および湿度に関する環境情報を環境センサ４０から取得してよい。例えば、取得部１３１は、撮影不可能な空間の一例として、撮影装置が設置されていない場所に設置された環境センサ４０によって検出された温度および湿度に関する環境情報を環境センサ４０から取得してよい。取得部１３１は、環境情報を取得すると、環境センサ４０を識別するセンサＩＤと、取得した環境情報と、環境情報の取得時刻とを対応付けて環境情報記憶部１２２に記憶してよい。
【0086】
また、取得部１３１は、撮影装置によって撮影可能な空間に設置された環境センサ４０によって検出された温度および湿度に関する環境情報を環境センサ４０から取得してよい。例えば、取得部１３１は、撮影可能な空間の一例として、撮影装置が設置されている場所に設置された環境センサ４０によって検出された温度および湿度に関する環境情報を環境センサ４０から取得してよい。取得部１３１は、環境情報を取得すると、環境センサ４０を識別するセンサＩＤと、取得した環境情報と、環境情報の取得時刻とを対応付けて環境情報記憶部１２２に記憶してよい。
【0087】
また、取得部１３１は、各種の機械学習モデル（以下、「学習モデル」と記載する場合がある）に関する情報を外部の情報処理装置から取得してよい。具体的には、取得部１３１は、学習モデルの一例として、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルＶ１を出力情報として出力する学習モデルＭ１を取得してよい。例えば、取得部１３１は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）画像から画像に写っている物体名（クラス）を推定するよう学習された学習モデルＭ１を取得してよい。例えば、取得部１３１は、畳み込みニューラルネットワークである学習モデルＭ１を取得してよい。例えば、取得部１３１は、Ｒｅｓｎｅｔ５０である学習モデルＭ１を取得してよい。例えば、取得部１３１は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す２０４８次元の特徴ベクトルＶ１を出力情報として出力する機械学習モデルＭ１を取得してよい。続いて、取得部１３１は、学習モデルＭ１を取得すると、学習モデルＭ１に関する情報と学習モデルＭ１を識別する識別情報「Ｍ１」とを対応付けて記憶部１２０に格納してよい。
【0088】
また、取得部１３１は、学習モデルの一例として、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルＶ２を出力情報として出力する学習モデルＭ２を取得してよい。例えば、取得部１３１は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）サーマル画像からサーマル画像に写っている物体名（クラス）を推定するよう学習された学習モデルＭ２を取得してよい。例えば、取得部１３１は、畳み込みニューラルネットワークである学習モデルＭ２を取得してよい。例えば、取得部１３１は、Ｒｅｓｎｅｔ５０である学習モデルＭ２を取得してよい。例えば、取得部１３１は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す２０４８次元の特徴ベクトルＶ２を出力情報として出力する機械学習モデルＭ２を取得してよい。続いて、取得部１３１は、学習モデルＭ２を取得すると、学習モデルＭ２に関する情報と学習モデルＭ２を識別する識別情報「Ｍ２」とを対応付けて記憶部１２０に格納してよい。
【0089】
また、取得部１３１は、学習モデルの一例として、環境情報が入力情報として入力された場合に、環境情報の特徴を示す特徴ベクトルＶ３を出力情報として出力する学習モデルＭ３を取得してよい。具体的には、例えば、取得部１３１は、環境情報として空間の温度および湿度に関する情報が入力情報として入力された場合に、空間の温度および湿度に関する情報の特徴を示す特徴ベクトルＶ３を出力情報として出力する学習モデルＭ３を取得してよい。例えば、取得部１３１は、環境情報から環境情報の特徴を示す特徴ベクトルを推定するよう学習された学習モデルＭ３を取得してよい。例えば、取得部１３１は、ニューラルネットワークである学習モデルＭ３を取得してよい。例えば、取得部１３１は、環境情報が入力情報として入力された場合に、環境情報の特徴を示す２０４８次元の特徴ベクトルＶ３を出力情報として出力する機械学習モデルＭ３を取得してよい。続いて、取得部１３１は、学習モデルＭ３を取得すると、学習モデルＭ３に関する情報と学習モデルＭ３を識別する識別情報「Ｍ３」とを対応付けて記憶部１２０に格納してよい。
【0090】
また、取得部１３１は、学習モデルの一例として、空間に所在する人物の特徴を示す特徴ベクトルＶ４が入力情報として入力された場合に、人物にとっての空間の快適さを出力情報として出力する快適さ推定モデルＭ４を取得してよい。例えば、取得部１３１は、特徴ベクトルＶ４が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルＶ４が分類される確率を出力情報として出力するよう学習された快適さ推定モデルＭ４を取得してよい。例えば、取得部１３１は、特徴ベクトルＶ４が入力情報として入力された場合に、「寒い」カテゴリに分類される確率と「暑い」カテゴリに分類される確率と「普通」カテゴリに分類される確率を出力情報として出力する快適さ推定モデルＭ４を取得してよい。
【0091】
なお、快適さを示すカテゴリは、任意の分類であってよく、上記の例に限定されない。例えば、快適さの分類は、「涼しい」、「暖かい」など他の分類を含んでよい。また、取得部１３１は、特徴ベクトルＶ４が入力情報として入力された場合に、特徴ベクトルＶ４が分類される快適さのカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルＭ４を取得してよい。例えば、取得部１３１は、特徴ベクトルＶ４が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルＶ４が分類される確率が最も高いカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルＭ４を取得してよい。続いて、取得部１３１は、快適さ推定モデルＭ４を取得すると、快適さ推定モデルＭ４に関する情報と快適さ推定モデルＭ４を識別する識別情報「Ｍ４」とを対応付けて記憶部１２０に格納してよい。
【0092】
（推定部１３２）
推定部１３２は、空間に所在する利用者を特定してよい。具体的には、推定部１３２は、撮影装置によって撮影可能な空間に所在する利用者を特定してよい。推定部１３２は、撮影装置によって撮影可能な空間の一例として、撮影装置が設置されている場所に所在する利用者を特定してよい。例えば、推定部１３２は、認証装置５０から認証情報を取得すると、ＲＧＢカメラ２０によって撮影されたＲＧＢ画像とＲＧＢカメラ２０によって所定時間前（例えば、５分前）に撮影されたＲＧＢ画像´をＲＧＢカメラ２０から取得してよい。続いて、推定部１３２は、ＲＧＢ画像とＲＧＢ画像´を取得すると、取得したＲＧＢ画像とＲＧＢ画像´を比較して、ＲＧＢ画像´に写っていない人物であってＲＧＢ画像に写っている人物（つまり、ＲＧＢ画像に新たに写り込んだ人物）を認証装置５０によって認証された利用者であると特定してよい。
推定部１３２は、空間に所在する利用者を特定してよい。具体的には、推定部１３２は、撮影装置によって撮影可能な空間に所在する利用者を特定してよい。推定部１３２は、撮影装置によって撮影可能な空間の一例として、撮影装置が設置されている場所に所在する利用者を特定してよい。例えば、推定部１３２は、認証装置５０から認証情報を取得すると、ＲＧＢカメラ２０によって撮影されたＲＧＢ画像とＲＧＢカメラ２０によって所定時間前（例えば、５分前）に撮影されたＲＧＢ画像´をＲＧＢカメラ２０から取得してよい。続いて、推定部１３２は、ＲＧＢ画像とＲＧＢ画像´を取得すると、取得したＲＧＢ画像とＲＧＢ画像´を比較して、ＲＧＢ画像´に写っていない人物であってＲＧＢ画像に写っている人物（つまり、ＲＧＢ画像に新たに写り込んだ人物）を認証装置５０によって認証された利用者であると特定してよい。
【0093】
あるいは、推定部１３２は、ＲＧＢカメラ２０によって撮影されたＲＧＢ画像をＲＧＢカメラ２０から取得してよい。続いて、推定部１３２は、ＲＧＢ画像を取得すると、利用者情報記憶部１２１に記憶された顔画像情報とＲＧＢ画像を照合して、利用者情報記憶部１２１に記憶された顔画像情報によって識別される利用者がＲＧＢ画像に含まれるか否かを判定してよい。
【0094】
また、推定部１３２は、撮影装置によって撮影不可能な空間に所在する利用者を特定してよい。推定部１３２は、撮影装置によって撮影不可能な空間の一例として、撮影装置が設置されていない場所に所在する利用者を特定してよい。より具体的には、推定部１３２は、撮影装置によって撮影不可能な空間の入口に設置された認証装置５０から取得した認証用情報と、利用者情報記憶部１２１に記憶された利用者を識別可能な認証用情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する利用者を特定してよい。例えば、推定部１３２は、撮影装置によって撮影不可能な空間の入口に設置された顔認証装置である認証装置５０から取得した顔画像情報と、利用者情報記憶部１２１に記憶された利用者の顔画像情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する利用者を特定してよい。
【0095】
また、推定部１３２は、ＲＧＢ画像に関するＲＧＢ画像情報を生成してよい。例えば、推定部１３２は、取得部１３１によってＲＧＢ画像が取得されると、姿勢推定処理によって取得部１３１によって取得されたＲＧＢ画像のうち利用者の人物領域Ｒ１を特定してよい。続いて、推定部１３２は、人物領域Ｒ１を特定すると、ＲＧＢ画像情報の一例として、人物領域Ｒ１に関する情報を生成してよい。例えば、推定部１３２は、人物領域Ｒ１を特定すると、記憶部１２０から学習モデルＭ１に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ１に関する情報を取得すると、人物領域Ｒ１に関する情報の一例として、学習モデルＭ１を用いて、人物領域Ｒ１の特徴を示す特徴ベクトルＶ１を生成してよい。
【0096】
また、推定部１３２は、サーマル画像に関するサーマル画像情報を生成してよい。具体的には、推定部１３２は、取得部１３１によってサーマル画像が取得されると、姿勢推定処理によって取得部１３１によって取得されたサーマル画像のうち利用者の人物領域Ｒ２を特定してよい。例えば、推定部１３２は、同じ空間を撮影したＲＧＢ画像とサーマル画像とを重ね合わせて、ＲＧＢ画像に対する姿勢推定処理に基づいて特定された人物領域Ｒ１と重複するサーマル画像の領域をサーマル画像の人物領域Ｒ２として特定してよい。続いて、推定部１３２は、人物領域Ｒ２を特定すると、サーマル画像情報の一例として、人物領域Ｒ２に関する情報を生成してよい。例えば、推定部１３２は、人物領域Ｒ２を特定すると、記憶部１２０から学習モデルＭ２に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ２に関する情報を取得すると、人物領域Ｒ２に関する情報の一例として、学習モデルＭ２を用いて、人物領域Ｒ２の特徴を示す特徴ベクトルＶ２を生成してよい。
【0097】
また、推定部１３２は、ＲＧＢ画像情報およびサーマル画像情報を生成すると、生成したＲＧＢ画像情報およびサーマル画像情報と利用者の顔画像情報を対応付けて利用者情報記憶部１２１に記憶してよい。例えば、推定部１３２は、人物領域Ｒ１の特徴を示す特徴ベクトルＶ１と人物領域Ｒ２の特徴を示す特徴ベクトルＶ２を生成すると、生成した特徴ベクトルＶ１および特徴ベクトルＶ２と利用者の顔画像情報を対応付けて利用者情報記憶部１２１に記憶してよい。
【0098】
また、推定部１３２は、環境情報の特徴を示す特徴ベクトルＶ３を生成してよい。具体的には、推定部１３２は、取得部１３１によって環境情報が取得されると記憶部１２０から学習モデルＭ３に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ３に関する情報を取得すると、学習モデルＭ３を用いて、取得部１３１によって取得された環境情報の特徴を示す特徴ベクトルＶ３を生成してよい。例えば、推定部１３２は、撮影装置が設置されている場所における環境情報の特徴を示す特徴ベクトルＶ３を生成してよい。また、推定部１３２は、撮影装置が設置されていない場所における環境情報の特徴を示す特徴ベクトルＶ３´を生成してよい。
【0099】
また、推定部１３２は、快適さ推定モデルＭ４を用いて、利用者にとっての空間の快適さを推定してよい。具体的には、推定部１３２は、快適さ推定モデルＭ４を用いて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。推定部１３２は、撮影装置によって撮影不可能な空間の一例として、撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。より具体的には、推定部１３２は、ＲＧＢカメラ２０が設置された場所における人物領域Ｒ１の特徴を示す特徴ベクトルＶ１および赤外線カメラ３０が設置された場所における人物領域Ｒ２の特徴を示す特徴ベクトルＶ２を用いて、撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。例えば、推定部１３２は、ＲＧＢカメラ２０が設置された場所における特徴ベクトルＶ１と、赤外線カメラ３０が設置された場所における特徴ベクトルＶ２と、撮影装置が設置されていない場所における環境情報の特徴を示す特徴ベクトルＶ３´を快適さ推定モデルＭ４に入力して、撮影装置が設置されていない場所における利用者にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0100】
より具体的には、推定部１３２は、特徴ベクトルＶ１、特徴ベクトルＶ２、および特徴ベクトルＶ３´を生成すると、生成した特徴ベクトルＶ１、特徴ベクトルＶ２、および特徴ベクトルＶ３´に基づいて、特徴ベクトルＶ１、特徴ベクトルＶ２、および特徴ベクトルＶ３´の特徴を示す特徴マップＭＰ１´を生成してよい。続いて、推定部１３２は、特徴マップＭＰ１´を生成すると、特徴マップＭＰ１´に対する最大値プーリングにより、特徴マップＭＰ１´から特徴マップＭＰ１´の特徴を示す特徴ベクトルＶ４´を生成してよい。例えば、推定部１３２は、最大値プーリングにより、特徴マップＭＰ１´の特徴を示す２０４８次元の特徴ベクトルＶ４´を生成してよい。続いて、推定部１３２は、特徴ベクトルＶ４´を生成すると、快適さ推定モデルＭ４を用いて、特徴ベクトルＶ４´から撮影装置が設置されていない場所における利用者にとっての空間の快適さを推定してよい。
【0101】
例えば、推定部１３２は、特徴ベクトルＶ４´を快適さ推定モデルＭ４の入力情報として入力してよい。続いて、推定部１３２は、撮影装置が設置されていない場所における利用者にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。例えば、推定部１３２は、特徴ベクトルＶ４´が快適さ推定モデルＭ４の入力情報として入力された場合に、快適さを示す３つのカテゴリのうち特徴ベクトルＶ４´が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。例えば、推定部１３２は、特徴ベクトルＶ４´が入力情報として入力された場合に、空間の温度が低いことを示す「寒い」カテゴリと、空間の温度が高いことを示す「暑い」カテゴリと、空間の温度がちょうどよいことを示す「普通」カテゴリのうち、特徴ベクトルＶ４´が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。
【0102】
また、推定部１３２は、快適さ推定モデルＭ４を用いて、撮影装置によって撮影可能な空間における利用者にとっての空間の快適さを推定してよい。推定部１３２は、撮影装置によって撮影可能な空間の一例として、撮影装置が設置されている場所における利用者にとっての空間の快適さを推定してよい。例えば、推定部１３２は、ＲＧＢカメラ２０が設置された場所における特徴ベクトルＶ１と、赤外線カメラ３０が設置された場所における特徴ベクトルＶ２と、撮影装置が設置されている場所における環境情報の特徴を示す特徴ベクトルＶ３を快適さ推定モデルＭ４に入力して、撮影装置が設置されている場所における利用者にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。
【0103】
より具体的には、推定部１３２は、特徴ベクトルＶ１～特徴ベクトルＶ３を生成すると、生成した特徴ベクトルＶ１～特徴ベクトルＶ３に基づいて、特徴ベクトルＶ１～特徴ベクトルＶ３の特徴を示す特徴マップＭＰ１を生成してよい。続いて、推定部１３２は、特徴マップＭＰ１を生成すると、特徴マップＭＰ１に対する最大値プーリングにより、特徴マップＭＰ１から特徴マップＭＰ１の特徴を示す特徴ベクトルＶ４を生成してよい。例えば、推定部１３２は、最大値プーリングにより、特徴マップＭＰ１の特徴を示す２０４８次元の特徴ベクトルＶ４を生成してよい。続いて、推定部１３２は、特徴ベクトルＶ４を生成すると、快適さ推定モデルＭ４を用いて、特徴ベクトルＶ４から撮影装置が設置されている場所における利用者にとっての空間の快適さを推定してよい。
【0104】
例えば、推定部１３２は、特徴ベクトルＶ４を快適さ推定モデルＭ４の入力情報として入力してよい。続いて、推定部１３２は、撮影装置が設置されている場所における利用者にとっての空間の快適さを快適さ推定モデルＭ４の出力情報として出力してよい。例えば、推定部１３２は、特徴ベクトルＶ４が快適さ推定モデルＭ４の入力情報として入力された場合に、快適さを示す３つのカテゴリのうち特徴ベクトルＶ４が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。例えば、推定部１３２は、特徴ベクトルＶ４が入力情報として入力された場合に、空間の温度が低いことを示す「寒い」カテゴリと、空間の温度が高いことを示す「暑い」カテゴリと、空間の温度がちょうどよいことを示す「普通」カテゴリのうち、特徴ベクトルＶ４が分類される確率が最も高いカテゴリのラベルを出力情報として出力してよい。
【0105】
（空調制御部１３３）
空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、空間の空調を制御してよい。具体的には、空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、撮影装置によって撮影不可能な空間の空調を制御してよい。例えば、空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、利用者が所在する空間を空調する空調装置１０を制御してよい。例えば、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「寒い」カテゴリである場合には、利用者が所在する空間の温度を高くするように利用者が所在する空間に設置された空調装置１０を制御してよい。また、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「普通」カテゴリである場合には、利用者が所在する空間の温度を保つように利用者が所在する空間に設置された空調装置１０を制御してよい。また、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「暑い」カテゴリである場合には、利用者が所在する空間の温度を低くするように利用者が所在する空間に設置された空調装置１０を制御してよい。
空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、空間の空調を制御してよい。具体的には、空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、撮影装置によって撮影不可能な空間の空調を制御してよい。例えば、空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、利用者が所在する空間を空調する空調装置１０を制御してよい。例えば、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「寒い」カテゴリである場合には、利用者が所在する空間の温度を高くするように利用者が所在する空間に設置された空調装置１０を制御してよい。また、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「普通」カテゴリである場合には、利用者が所在する空間の温度を保つように利用者が所在する空間に設置された空調装置１０を制御してよい。また、空調制御部１３３は、推定部１３２によって推定された空間の快適さが「暑い」カテゴリである場合には、利用者が所在する空間の温度を低くするように利用者が所在する空間に設置された空調装置１０を制御してよい。
【0106】
また、空調制御部１３３は、撮影装置によって撮影不可能な空間と同様に、推定部１３２によって推定された空間の快適さに基づいて、撮影装置によって撮影可能な空間の空調を制御してよい。
【0107】
〔１－５．変形例〕
上述した第１の実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
上述した第１の実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
【0108】
〔１－５－１．快適さ推定モデル〕
第１の実施形態では、推定部１３２が画像のうち人物領域に関する情報のみに基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定する例について説明した。しかしながら、推定部１３２は、姿勢推定処理を施す前の画像（人物領域以外の領域を含む画像）に関する情報に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。例えば、推定部１３２は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含む画像に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。
第１の実施形態では、推定部１３２が画像のうち人物領域に関する情報のみに基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定する例について説明した。しかしながら、推定部１３２は、姿勢推定処理を施す前の画像（人物領域以外の領域を含む画像）に関する情報に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。例えば、推定部１３２は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含む画像に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。
【0109】
より具体的には、推定部１３２は、取得部１３１によって利用者が撮像されたＲＧＢ画像が取得されると、撮影装置によって撮影不可能な空間で取得された環境情報に基づいてＲＧＢ画像を補正してよい。例えば、推定部１３２は、撮影装置によって撮影不可能な空間に設置された環境センサ４０によって取得された温度および湿度に関する情報に基づいて、ＲＧＢ画像を補正してよい。すなわち、推定部１３２は、撮影装置によって撮影不可能な空間における温度および湿度に関する情報に基づいて補正されたＲＧＢ画像を生成してよい。
【0110】
続いて、推定部１３２は、補正されたＲＧＢ画像を生成すると、姿勢推定処理によって補正されたＲＧＢ画像のうち利用者の人物領域Ｒ１´を特定してよい。続いて、推定部１３２は、人物領域Ｒ１´を特定すると、補正されたＲＧＢ画像情報の一例として、人物領域Ｒ１´に関する情報を生成してよい。例えば、推定部１３２は、人物領域Ｒ１´を特定すると、記憶部１２０から学習モデルＭ１に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ１に関する情報を取得すると、人物領域Ｒ１´に関する情報の一例として、学習モデルＭ１を用いて、人物領域Ｒ１´の特徴を示す特徴ベクトルＶ１´を生成してよい。
【0111】
また、推定部１３２は、補正されたＲＧＢ画像を生成すると、記憶部１２０から学習モデルＭ１に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ１に関する情報を取得すると、補正されたＲＧＢ画像情報の一例として、補正されたＲＧＢ画像の特徴を示す特徴ベクトルＶ５を生成してよい。例えば、推定部１３２は、学習モデルＭ１を用いて、補正されたＲＧＢ画像から、補正されたＲＧＢ画像の特徴を示す特徴ベクトルＶ５を生成してよい。
【0112】
また、推定部１３２は、取得部１３１によって利用者が撮像されたサーマル画像が取得されると、撮影装置によって撮影不可能な空間で取得された環境情報に基づいてサーマル画像を補正してよい。例えば、推定部１３２は、撮影装置によって撮影不可能な空間に設置された環境センサ４０によって取得された温度および湿度に関する情報に基づいて、サーマル画像を補正してよい。すなわち、推定部１３２は、撮影装置によって撮影不可能な空間における温度および湿度に関する情報に基づいて補正されたサーマル画像を生成してよい。
【0113】
続いて、推定部１３２は、補正されたサーマル画像を生成すると、補正されたサーマル画像のうち利用者の人物領域Ｒ２´を特定してよい。続いて、推定部１３２は、人物領域Ｒ２´を特定すると、補正されたサーマル画像情報の一例として、人物領域Ｒ２´に関する情報を生成してよい。例えば、推定部１３２は、人物領域Ｒ２´を特定すると、記憶部１２０から学習モデルＭ２に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ２に関する情報を取得すると、人物領域Ｒ２´に関する情報の一例として、学習モデルＭ２を用いて、人物領域Ｒ２´の特徴を示す特徴ベクトルＶ２´を生成してよい。
【0114】
また、推定部１３２は、補正されたサーマル画像を生成すると、記憶部１２０から学習モデルＭ２に関する情報を取得してよい。続いて、推定部１３２は、学習モデルＭ２に関する情報を取得すると、補正されたサーマル画像情報の一例として、補正されたサーマル画像の特徴を示す特徴ベクトルＶ６を生成してよい。例えば、推定部１３２は、学習モデルＭ２を用いて、補正されたサーマル画像から、補正されたサーマル画像の特徴を示す特徴ベクトルＶ６を生成してよい。
【0115】
また、推定部１３２は、学習モデルＭ３を用いて、撮影装置によって撮影不可能な空間における温度および湿度に関する情報の特徴を示す特徴ベクトルＶ３´を生成してよい。
【0116】
また、推定部１３２は、特徴ベクトルＶ１´～特徴ベクトルＶ３´および特徴ベクトルＶ５～特徴ベクトルＶ６を生成すると、特徴ベクトルＶ１´～特徴ベクトルＶ３´および特徴ベクトルＶ５～特徴ベクトルＶ６に基づく特徴マップＭＰ２を生成してよい。続いて、推定部１３２は、特徴マップＭＰ２に対して最大値プーリング処理を行って、快適さ推定モデルＭ５の入力情報として、特徴マップＭＰ２の特徴を示す特徴ベクトルＶ７を生成してよい。
【0117】
また、取得部１３１は、空間に所在する利用者の特徴を示す特徴ベクトルＶ７が入力情報として入力された場合に、利用者にとっての空間の快適さを出力情報として出力する快適さ推定モデルＭ５を取得してよい。例えば、取得部１３１は、特徴ベクトルＶ７が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルＶ７が分類される確率を出力情報として出力するよう学習された快適さ推定モデルＭ５を取得してよい。例えば、取得部１３１は、特徴ベクトルＶ７が入力情報として入力された場合に、「寒い」カテゴリに分類される確率と「暑い」カテゴリに分類される確率と「普通」カテゴリに分類される確率を出力情報として出力する快適さ推定モデルＭ５を取得してよい。
【0118】
推定部１３２は、特徴ベクトルＶ７を生成すると、取得部１３１によって取得された快適さ推定モデルＭ５に特徴ベクトルＶ７を入力してよい。続いて、推定部１３２は、快適さ推定モデルＭ５の出力情報として、空間の快適さの状態を示すクラス情報を出力してよい。
【0119】
〔１－５－２．着衣量に関する情報〕
また、第１の実施形態では、利用者情報記憶部１２１が、人物領域に関する情報の一例として、ＲＧＢ画像に含まれる利用者の人物領域Ｒ１の特徴を示す特徴ベクトルＶ１と利用者の顔画像情報とを対応付けて記憶する例について説明したが、これに限られない。
具体的には、利用者情報記憶部１２１は、人物領域に関する情報の一例として、利用者の着衣量に関する情報と利用者の顔画像情報とを対応付けて記憶してよい。
また、第１の実施形態では、利用者情報記憶部１２１が、人物領域に関する情報の一例として、ＲＧＢ画像に含まれる利用者の人物領域Ｒ１の特徴を示す特徴ベクトルＶ１と利用者の顔画像情報とを対応付けて記憶する例について説明したが、これに限られない。
具体的には、利用者情報記憶部１２１は、人物領域に関する情報の一例として、利用者の着衣量に関する情報と利用者の顔画像情報とを対応付けて記憶してよい。
【0120】
より具体的には、取得部１３１は、ＲＧＢ画像のうち姿勢推定処理に基づいて特定された利用者の身体の部位ごとの部位領域に関する情報から利用者の着衣量に関する情報を推定するよう学習された学習モデルＭ６を取得してよい。例えば、取得部１３１は、学習用の画像と学習用の画像に含まれる利用者の着衣量に関する情報との組み合わせに基づいて、任意の画像から任意の画像に含まれる利用者の着衣量に関する情報を推定する学習モデルＭ６を取得してよい。
【0121】
また、推定部１３２は、人物領域に関する情報の一例として、利用者の身体の部位ごとの部位領域に関する情報に基づいて、利用者の着衣量に関する情報を推定してよい。より具体的には、推定部１３２は、ＲＧＢ画像のうち姿勢推定処理に基づいて利用者の身体の部位ごとの部位領域をそれぞれ特定してよい。続いて、推定部１３２は、利用者の各部位領域を特定すると、各部位領域を切り抜くプログラムを用いて、利用者の部位領域をパーツごとに切り抜いた部位領域画像を生成してよい。続いて、推定部１３２は、部位領域画像を生成すると、取得部１３１によって取得された学習モデルＭ６を用いて、部位領域に関する情報から利用者の着衣量に関する情報を推定してよい。
【0122】
例えば、推定部１３２は、学習モデルＭ６を用いて、人物領域と部位領域画像が結合された結合画像が入力情報として入力された場合に、結合画像が各クラスに分類される確率を出力してよい。続いて、推定部１３２は、出力された各クラスの確率値と各クラスの着衣量を示すｃｌｏ値とに基づいて、結合画像に含まれる人物の着衣量に関する情報を推定してよい。例えば、推定部１３２は、出力された各クラスの確率値と各クラスのｃｌｏ値とをそれぞれ掛け合わせた値を加算した値を推定着衣量として算出してよい。推定部１３２は、利用者の着衣量に関する情報として、推定着衣量を算出してよい。推定部１３２は、推定着衣量を算出すると、利用者の推定着衣量と利用者の顔画像情報とを対応付けて利用者情報記憶部１２１に記憶してよい。
【0123】
〔１－５－３．端末装置の位置情報〕
また、第１の実施形態では、利用者情報記憶部１２１が、利用者を識別可能な情報の一例として、利用者の顔画像情報と画像情報を対応付けて記憶する例について説明したが、これに限られない。具体的には、利用者情報記憶部１２１は、利用者を識別可能な情報の一例として、利用者によって利用される端末装置（スマートフォンなど）の位置情報と画像情報を対応付けて記憶してよい。
また、第１の実施形態では、利用者情報記憶部１２１が、利用者を識別可能な情報の一例として、利用者の顔画像情報と画像情報を対応付けて記憶する例について説明したが、これに限られない。具体的には、利用者情報記憶部１２１は、利用者を識別可能な情報の一例として、利用者によって利用される端末装置（スマートフォンなど）の位置情報と画像情報を対応付けて記憶してよい。
【0124】
より具体的には、取得部１３１は、利用者を識別可能な情報の一例として、利用者の位置情報を取得してよい。例えば、取得部１３１は、利用者によって利用される端末装置（スマートフォンなど）の位置情報を取得してよい。例えば、取得部１３１は、ＧＰＳ（Global Positioning System）に代表されるＧＮＳＳ（Global Navigation Satellite System）、ＷｉＦｉ（登録商標）測位、磁気測位、ＢＬＥ（Bluetooth（登録商標） Low Energy）測位、ビーコン測位等を用いて、利用者の位置情報を取得してよい。取得部１３１は、利用者の位置情報を取得すると、利用者の位置情報と画像情報とを対応付けて記憶部１２０に記憶してよい。
【0125】
また、推定部１３２は、利用者の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。例えば、推定部１３２は、取得部１３１によって取得された位置情報に基づいて利用者の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定してよい。
【0126】
これにより、情報処理装置１００は、例えば、利用者の現在位置から最寄りの環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置１００は、撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
【0127】
〔２．第２の実施形態〕
〔２－１．はじめに〕
第１の実施形態に係る情報処理装置１００と同様に、第２の実施形態に係る情報処理装置１００Ａは、施設の出入口などに設置された撮影装置の画像情報に基づいて推定された着衣量や代謝量（活動量）に関する情報をその後の施設内での快適さを推定する情報として利用する。また、情報処理装置１００Ａは、施設内に設置された撮影装置によって人物が撮影される度に、その人物の着衣量や代謝量（活動量）に関する情報を更新する。
〔２－１．はじめに〕
第１の実施形態に係る情報処理装置１００と同様に、第２の実施形態に係る情報処理装置１００Ａは、施設の出入口などに設置された撮影装置の画像情報に基づいて推定された着衣量や代謝量（活動量）に関する情報をその後の施設内での快適さを推定する情報として利用する。また、情報処理装置１００Ａは、施設内に設置された撮影装置によって人物が撮影される度に、その人物の着衣量や代謝量（活動量）に関する情報を更新する。
【0128】
これにより、情報処理装置１００Ａは、利用者がこれから移動する場所における空間の快適さをあらかじめ推定することができる。例えば、情報処理装置１００Ａは、利用者がこれから移動する可能性のある複数の場所それぞれの空間の快適さをあらかじめ推定することができる。そして、情報処理装置１００Ａは、推定した空間の快適さに基づいて、利用者が最も快適に過ごせる場所に関する情報を利用者に対して提供することができる。また、情報処理装置１００Ａは、推定した空間の快適さに基づいて、利用者が特定の場所に移動する前に、事前に特定の場所の空調の状態を最適に制御することができる。
【0129】
〔２－２．情報処理装置の構成〕
次に、図６を用いて、第２の実施形態に係る情報処理装置１００Ａの構成について説明する。図６は、第２の実施形態に係る情報処理装置１００Ａの構成例を示す図である。図６に示すように、情報処理装置１００Ａは、提供部１３４Ａをさらに備える点が情報処理装置１００と異なる。
次に、図６を用いて、第２の実施形態に係る情報処理装置１００Ａの構成について説明する。図６は、第２の実施形態に係る情報処理装置１００Ａの構成例を示す図である。図６に示すように、情報処理装置１００Ａは、提供部１３４Ａをさらに備える点が情報処理装置１００と異なる。
【0130】
（提供部１３４Ａ）
提供部１３４Ａは、推定部１３２によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を利用者に対して提供してよい。具体的には、提供部１３４Ａは、推定部１３２によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を生成してよい。続いて、提供部１３４Ａは、利用者が快適に過ごせる場所に関する情報を生成すると、生成した情報を利用者に対して提供してよい。
提供部１３４Ａは、推定部１３２によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を利用者に対して提供してよい。具体的には、提供部１３４Ａは、推定部１３２によって推定された空間の快適さに基づいて、利用者が快適に過ごせる場所に関する情報を生成してよい。続いて、提供部１３４Ａは、利用者が快適に過ごせる場所に関する情報を生成すると、生成した情報を利用者に対して提供してよい。
【0131】
〔２－３．情報処理の概要〕
次に、図７－図８を用いて、第２の実施形態に係る情報処理の概要について説明する。まず、図７を用いて説明する。図７は、第２の実施形態に係る情報処理の概要を説明するための図である。図７に示す符号Ｐ２１～Ｐ２５は、情報処理装置１００Ａによる空調制御の対象となるフロアＦ２における５つの場所をそれぞれ示している。以下では、「Ｐ２＊」（＊＝１～５）で示す場所を、「場所Ｐ２＊」（＊＝１～５）と記載する場合がある。
次に、図７－図８を用いて、第２の実施形態に係る情報処理の概要について説明する。まず、図７を用いて説明する。図７は、第２の実施形態に係る情報処理の概要を説明するための図である。図７に示す符号Ｐ２１～Ｐ２５は、情報処理装置１００Ａによる空調制御の対象となるフロアＦ２における５つの場所をそれぞれ示している。以下では、「Ｐ２＊」（＊＝１～５）で示す場所を、「場所Ｐ２＊」（＊＝１～５）と記載する場合がある。
【0132】
図７では、情報処理装置１００Ａが、撮影装置が設置されている場所Ｐ１１にいる利用者Ｕ１に対して、利用者Ｕ１がこれから移動する場所の候補である４つの場所Ｐ２２～場所Ｐ２５の中から、利用者Ｕ１が最も快適に過ごせる場所に関する情報を提供する。
【0133】
具体的には、推定部１３２は、撮影装置が設置されている場所Ｐ１１におけるＲＧＢ画像情報およびサーマル画像情報に基づいて、撮影装置が設置されていない場所Ｐ２２～場所Ｐ２５それぞれにおける利用者Ｕ１にとっての空間の快適さを推定してよい。提供部１３４Ａは、推定部１３２によって推定された場所Ｐ２２～場所Ｐ２５の快適さを比較して、場所Ｐ２２～場所Ｐ２５の中から利用者Ｕ１が最も快適に過ごせる場所を選択してよい。例えば、提供部１３４Ａは、利用者Ｕ１が最も快適に過ごせる場所として、推定部１３２によって推定された場所Ｐ２２～場所Ｐ２５の中から、空間の温度がちょうどよいことを示す「普通」カテゴリのラベルが出力された場所を選択してよい。提供部１３４Ａは、利用者Ｕ１が最も快適に過ごせる場所を選択すると、利用者Ｕ１に対して、選択した場所に関する情報を提供してよい。
【0134】
次に、図８を用いて説明する。図８は、第２の実施形態に係る情報処理の概要を説明するための図である。図８に示すように、提供部１３４Ａは、人物が快適に過ごせる場所を視認可能に表示した地図情報を人物によって視認可能な端末装置の画面に表示してよい。
【0135】
〔３．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、推定部１３２を備える。推定部１３２は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する。また、推定部１３２は、撮影装置として、赤外線カメラによって撮影可能な空間で撮影されたサーマル画像のうち人物領域に関する情報に基づいて、赤外線カメラによって撮影不可能な空間における人物にとっての空間の快適さを推定する。
上述してきたように、実施形態に係る情報処理装置１００は、推定部１３２を備える。推定部１３２は、撮影装置によって撮影可能な空間で撮影された画像のうち人物が撮像された領域である人物領域に関する情報であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、撮影装置によって撮影不可能な空間における人物にとっての空間の快適さを推定する。また、推定部１３２は、撮影装置として、赤外線カメラによって撮影可能な空間で撮影されたサーマル画像のうち人物領域に関する情報に基づいて、赤外線カメラによって撮影不可能な空間における人物にとっての空間の快適さを推定する。
【0136】
このように、情報処理装置１００は、例えば、撮影装置が設置されない場所における空間の快適さを推定するために、撮影装置が設置されている近くの場所で撮影された画像に関する画像情報を代替して利用する。これにより、情報処理装置１００は、撮影装置が設置されない場所における空間の快適さを精度よく推定することができる。また、情報処理装置１００は、利用者のプライバシーを保護するため撮影装置を設置することができない場所（トイレや脱衣所など）における空間の快適さを精度よく推定することができる。すなわち、情報処理装置１００は、撮影装置によって撮影不可能な場所における空間の快適さの推定精度を向上させることができる。また、情報処理装置１００は、ＲＧＢカメラや赤外線カメラといった撮影装置の設置台数を減らすことができる。したがって、情報処理装置１００は、空間の快適さを精度よく推定するためのコストを抑えることができる。
【0137】
また、情報処理装置１００は、取得部１３１をさらに備える。取得部１３１は、撮影不可能な空間に設置された環境センサによって検出された温度および湿度に関する環境情報を取得する。推定部１３２は、取得部１３１によって取得された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。
【0138】
これにより、情報処理装置１００は、撮影装置によって撮影不可能な空間における環境要素を精度よく推定することができる。したがって、情報処理装置１００は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
【0139】
また、推定部１３２は、人物の位置から所定範囲内に位置する環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。具体的には、取得部１３１は、人物の位置情報を取得する。推定部１３２は、取得部１３１によって取得された位置情報に基づいて人物の位置から所定範囲内に位置する環境センサを特定し、特定した環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における人物にとっての空間の快適さを推定する。
【0140】
これにより、情報処理装置１００は、例えば、利用者の現在位置から最寄りの環境センサによって検出された温度および湿度に関する環境情報に基づいて、撮影不可能な空間における利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置１００は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さを精度よく推定することができる。
【0141】
また、情報処理装置１００は、記憶部１２０をさらに備える。取得部１３１は、画像を撮影装置から取得する。記憶部１２０は、画像に関する画像情報と人物を識別可能な情報とを対応付けて記憶する。
【0142】
これにより、情報処理装置１００は、撮影装置によって撮影不可能な空間の快適さを推定するために、撮影装置によって撮影可能な空間で撮影された画像をいつでも利用することができる。
【0143】
また、取得部１３１は、２以上の異なる撮影装置それぞれから撮影時刻の異なる２以上の画像をそれぞれ取得する。記憶部１２０は、２以上の画像のうち、撮影時刻が最も新しい画像に関する画像情報と人物を識別可能な情報とを対応付けて記憶する。
【0144】
これにより、情報処理装置１００は、利用者の最新のＲＧＢ画像情報やサーマル画像情報に基づいて、利用者にとっての空間の快適さを推定することができる。そのため、情報処理装置１００は、利用者の着衣量や代謝量（活動量）に関する情報が時間経過とともに変化する場合であっても、利用者の最新の着衣量や代謝量（活動量）に関する情報に基づいて、利用者にとっての空間の快適さを推定することができる。したがって、情報処理装置１００は、撮影装置によって撮影不可能な空間における利用者にとっての空間の快適さをより精度よく推定することができる。
【0145】
また、記憶部１２０は、画像情報として、人物領域に関する情報と人物を識別可能な情報とを対応付けて記憶する。また、推定部１３２は、人物領域に関する情報として、人物の身体の部位ごとの部位領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。記憶部１２０は、人物の着衣量に関する情報と人物を識別可能な情報とを対応付けて記憶する。
【0146】
これにより、情報処理装置１００は、個々の利用者の快適さを推定するための快適環境情報に関するデータベースを構築することができる。
【0147】
また、記憶部１２０は、人物を識別可能な情報として、人物のアイテム認証処理に用いられるアイテム認証用情報または人物の生体認証処理に用いられる生体認証用情報と画像情報とを対応付けて記憶する。また、推定部１３２は、認証装置から取得したアイテム認証用情報または生体認証用情報と、記憶部１２０に記憶された人物を識別可能な情報とを照合することによって、撮影装置によって撮影不可能な空間に存在する人物を特定し、特定した人物にとっての空間の快適さを推定する。
【0148】
これにより、情報処理装置１００は、撮影装置によって撮影不可能な空間に所在する利用者を特定することができる。
【0149】
また、情報処理装置１００は、空調制御部１３３をさらに備える。空調制御部１３３は、推定部１３２によって推定された空間の快適さに基づいて、撮影装置によって撮影不可能な空間の空調を制御する。
【0150】
これにより、情報処理装置１００は、撮影装置によって撮影不可能な空間の空調を快適に制御することができる。
【0151】
また、情報処理装置１００Ａは、提供部１３４Ａをさらに備える。提供部１３４Ａは、推定部１３２によって推定された空間の快適さに基づいて、人物が快適に過ごせる場所に関する情報を人物に対して提供する。
【0152】
これにより、情報処理装置１００Ａは、推定した空間の快適さに基づいて、利用者が最も快適に過ごせる場所に関する情報を利用者に対して提供することができる。また、情報処理装置１００Ａは、推定した空間の快適さに基づいて、利用者が特定の場所に移動する前に、事前に特定の場所の空調の状態を最適に制御することができる。
【0153】
また、提供部１３４Ａは、人物が快適に過ごせる場所を視認可能に表示した地図情報を人物によって視認可能な端末装置の画面に表示する。
【0154】
これにより、情報処理装置１００は、利用者が最も快適に過ごせる場所に関する情報の提供を受ける利用者のユーザビリティを向上させることができる。
【0155】
〔４．ハードウェア構成〕
また、上述してきた第１の実施形態に係る情報処理装置１００または第２の実施形態に係る情報処理装置１００Ａは、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００または情報処理装置１００Ａの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた第１の実施形態に係る情報処理装置１００または第２の実施形態に係る情報処理装置１００Ａは、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００または情報処理装置１００Ａの機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0156】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0157】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0158】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0159】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0160】
例えば、コンピュータ１０００が第１の実施形態に係る情報処理装置１００または第２の実施形態に係る情報処理装置１００Ａとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０または制御部１３０Ａの機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0161】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0162】
〔５．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0163】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0164】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0165】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。
【符号の説明】
【0166】
１ 情報処理システム
１０ 空調装置
２０ ＲＧＢカメラ
３０ 赤外線カメラ
４０ 環境センサ
５０ 認証装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 利用者情報記憶部
１２２ 環境情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 空調制御部
１Ａ 情報処理システム
１００Ａ 情報処理装置
１３０Ａ 制御部
１３４Ａ 提供部
１０ 空調装置
２０ ＲＧＢカメラ
３０ 赤外線カメラ
４０ 環境センサ
５０ 認証装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１２１ 利用者情報記憶部
１２２ 環境情報記憶部
１３０ 制御部
１３１ 取得部
１３２ 推定部
１３３ 空調制御部
１Ａ 情報処理システム
１００Ａ 情報処理装置
１３０Ａ 制御部
１３４Ａ 提供部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】