ホーム > 特許ランキング > ソフトバンク株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022046326
(43)【公開日】2022-03-23
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220315BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】有
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2020152308
(22)【出願日】2020-09-10
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】堀 隆之
(72)【発明者】
【氏名】金 容範
(72)【発明者】
【氏名】鈴木 裕真
(72)【発明者】
【氏名】金田 麟太郎
(72)【発明者】
【氏名】小林 宏暢
(72)【発明者】
【氏名】田口 正雄
(72)【発明者】
【氏名】河野 肇
(72)【発明者】
【氏名】山口 崇行
(72)【発明者】
【氏名】稲澤 宏典
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096EA35
5L096FA09
5L096FA67
5L096FA69
5L096GA30
5L096HA11
5L096JA11
5L096KA04
(57)【要約】
【課題】空間の快適さの推定精度を向上させる。
【解決手段】本願に係る情報処理装置は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する推定部、を備える。
【選択図】図１
【解決手段】本願に係る情報処理装置は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する推定部、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像のうち人物が撮像された領域である人物領域であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する推定部、
を備える情報処理装置。
を備える情報処理装置。
【請求項2】
前記推定部は、
前記人物領域に関する情報として、前記画像から検出された前記人物の身体の関節の位置を示す関節点に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１に記載の情報処理装置。
前記人物領域に関する情報として、前記画像から検出された前記人物の身体の関節の位置を示す関節点に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１に記載の情報処理装置。
【請求項3】
前記推定部は、
前記人物領域に関する情報として、２以上の前記関節点を連結して生成される前記人物の身体の骨格を示す骨格モデルに関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項２に記載の情報処理装置。
前記人物領域に関する情報として、２以上の前記関節点を連結して生成される前記人物の身体の骨格を示す骨格モデルに関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項２に記載の情報処理装置。
【請求項4】
前記推定部は、
前記人物領域に関する情報として、前記人物の身体の部位ごとの部位領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～３のいずれか１項に記載の情報処理装置。
前記人物領域に関する情報として、前記人物の身体の部位ごとの部位領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
前記推定部は、
前記部位領域に関する情報を用いて推定された前記人物の着衣量に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項４に記載の情報処理装置。
前記部位領域に関する情報を用いて推定された前記人物の着衣量に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項４に記載の情報処理装置。
【請求項6】
前記推定部は、
第１学習モデルを用いて、前記部位領域に関する情報から前記人物の着衣量に関する情報を推定する、
請求項４または５に記載の情報処理装置。
第１学習モデルを用いて、前記部位領域に関する情報から前記人物の着衣量に関する情報を推定する、
請求項４または５に記載の情報処理装置。
【請求項7】
学習用の画像と当該学習用の画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意の画像から当該任意の画像に含まれる人物の着衣量に関する情報を推定する前記第１学習モデルを生成する生成部をさらに備える、
請求項６に記載の情報処理装置。
請求項６に記載の情報処理装置。
【請求項8】
前記推定部は、
第２学習モデルを用いて、赤外線カメラで撮影されたサーマル画像のうち前記人物領域に関する情報から前記人物の着衣量に関する情報を推定する、
請求項４～７のいずれか１項に記載の情報処理装置。
第２学習モデルを用いて、赤外線カメラで撮影されたサーマル画像のうち前記人物領域に関する情報から前記人物の着衣量に関する情報を推定する、
請求項４～７のいずれか１項に記載の情報処理装置。
【請求項9】
学習用のサーマル画像と当該学習用のサーマル画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意のサーマル画像から当該任意のサーマル画像に含まれる人物の着衣量に関する情報を推定する前記第２学習モデルを生成する生成部をさらに備える、
請求項８に記載の情報処理装置。
請求項８に記載の情報処理装置。
【請求項10】
前記推定部は、
前記人物領域に関する情報として、前記人物領域の特徴を示す特徴ベクトルに基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～９のいずれか１項に記載の情報処理装置。
前記人物領域に関する情報として、前記人物領域の特徴を示す特徴ベクトルに基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～９のいずれか１項に記載の情報処理装置。
【請求項11】
前記推定部は、
赤外線カメラで撮影されたサーマル画像のうち前記人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１０のいずれか１項に記載の情報処理装置。
赤外線カメラで撮影されたサーマル画像のうち前記人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記推定部は、
ＲＧＢカメラで撮影された前記人物を含むＲＧＢ画像に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１１のいずれか１項に記載の情報処理装置。
ＲＧＢカメラで撮影された前記人物を含むＲＧＢ画像に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記推定部は、
赤外線カメラで撮影された前記人物を含むサーマル画像に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１２のいずれか１項に記載の情報処理装置。
赤外線カメラで撮影された前記人物を含むサーマル画像に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１２のいずれか１項に記載の情報処理装置。
【請求項14】
前記推定部は、
前記人物が所在する空間の温度および湿度に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１３のいずれか１項に記載の情報処理装置。
前記人物が所在する空間の温度および湿度に関する情報に基づいて、前記人物が所在する空間の快適さを推定する、
請求項１～１３のいずれか１項に記載の情報処理装置。
【請求項15】
前記推定部によって推定された空間の快適さに基づいて、前記人物が所在する空間の空調を制御する空調制御部をさらに備える、
請求項１～１４のいずれか１項に記載の情報処理装置。
請求項１～１４のいずれか１項に記載の情報処理装置。
【請求項16】
情報処理装置が実行するプログラムにより実現される情報処理方法であって、
画像のうち人物が撮像された領域である人物領域であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する推定工程、
を含む情報処理方法。
画像のうち人物が撮像された領域である人物領域であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する推定工程、
を含む情報処理方法。
【請求項17】
画像のうち人物が撮像された領域である人物領域であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する推定手順、
を含む情報処理プログラム。
を含む情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、利用者にとって快適な空間を提供するための技術が知られている。例えば、利用者が利用する空間を撮像した画像データから抽出された利用者の首部周辺の開放状態に基づいて利用者の着衣量を推定する。そして、空調設備が、推定した利用者の着衣量に応じて空間の環境を調整する技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００９－１９２１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
空間の快適さの推定精度を向上させる技術が求められている。
【課題を解決するための手段】
【0005】
実施形態に係る情報処理装置は、画像のうち人物が撮像された領域である人物領域であって、前記人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、前記人物が所在する空間の快適さを推定する推定部、を備える。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下に、本願に係る情報処理装置、情報処理方法及び情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法及び情報処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
【0008】
（実施形態）
〔１．はじめに〕
従来、人の暑さ寒さに関する温熱環境における快適さに基づいて空調制御する技術が知られている。例えば、空間の快適さを評価する指標として、人体の熱収支に影響する６つの要素からなるＰＭＶ（Predicted Mean Vote）が知られている。ＰＭＶは、温度［℃］、湿度［％］、（熱）放射［℃］、気流［m/s］の４つの環境要素と、着衣量［clo］、代謝量（活動量）［met］の２つの人的要素から算出される。ここで、温度、湿度、放射、気流の４つの環境要素は、空間に対するセンシングによって得ることができる。一方、着衣量、代謝量（活動量）の２つの人的要素は、外気温などから推定される推定値が用いられるのが一般的であった。そのため、従来の手法に基づいて算出されたＰＭＶ値は、必ずしも実際に人が感じている空間の快適さを反映しているとは限らなかった。すなわち、従来は、空間の快適さを精度よく推定できるとは限らなかった。
〔１．はじめに〕
従来、人の暑さ寒さに関する温熱環境における快適さに基づいて空調制御する技術が知られている。例えば、空間の快適さを評価する指標として、人体の熱収支に影響する６つの要素からなるＰＭＶ（Predicted Mean Vote）が知られている。ＰＭＶは、温度［℃］、湿度［％］、（熱）放射［℃］、気流［m/s］の４つの環境要素と、着衣量［clo］、代謝量（活動量）［met］の２つの人的要素から算出される。ここで、温度、湿度、放射、気流の４つの環境要素は、空間に対するセンシングによって得ることができる。一方、着衣量、代謝量（活動量）の２つの人的要素は、外気温などから推定される推定値が用いられるのが一般的であった。そのため、従来の手法に基づいて算出されたＰＭＶ値は、必ずしも実際に人が感じている空間の快適さを反映しているとは限らなかった。すなわち、従来は、空間の快適さを精度よく推定できるとは限らなかった。
【0009】
これに対し、一実施形態に係る情報処理装置１００は、人物が所在する空間を撮像した画像のうち人物が撮像された領域である人物領域であって、人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。具体的には、情報処理装置１００は、人物が所在する空間をＲＧＢカメラで撮像したＲＧＢ画像のうち姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物の着衣量に関する情報を推定することができる。続いて、情報処理装置１００は、推定された人物の着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。なお、人物領域は、情報処理装置１００が推定対象の人物を特定可能な領域であれば、任意の領域であってよい。例えば、人物領域は、人物を示す領域に加えて、その人物の周囲の空間を示す領域を含んでもよい。例えば、人物領域は、人物が撮像された領域に加えて、その人物の周囲の空間が撮像された領域を含んでもよい。例えば、人物領域は、人物の周囲に存在する家具等を示す領域を含んでもよい。
【0010】
ここで、情報処理装置１００は、人物の着衣量に関する情報として、人物の着衣量そのものを推定してもよい。例えば、情報処理装置１００は、着衣量の値として着衣による人の快適さを示す公知の指標であるｃｌｏ値を推定してもよい。また、情報処理装置１００は、人物の着衣量に関する情報として、人物の着衣量に相当する着衣量以外の他の物理量を推定してもよい。例えば、情報処理装置１００は、人物の着衣量に関する情報として、ＲＧＢ画像のうち姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルを推定してもよい。なお、以下では、ＲＧＢ画像のことを単に「画像」と記載する場合がある。また、画像は、動画の一部であってもよい。すなわち、情報処理装置１００は、人物が所在する空間を撮像した動画に基づいて人物が所在する空間の快適さを推定してもよい。
【0011】
ここで、姿勢推定処理は、動画や静止画から人物の姿勢を推定し、人物領域を特定する処理であってよい。姿勢推定処理は、任意の公知技術により実現されてよい。例えば、姿勢推定処理は、姿勢推定（Pose Estimation）の技術（以下、姿勢推定技術ともいう）を用いた画像の処理により実現されてよい。例えば、姿勢推定処理は、姿勢推定モデルと呼ばれる深層学習モデルを用いて、動画や静止画から人物や動物の姿勢（骨格）を推定する姿勢推定技術により実現されてよい。なお、１枚の画像に複数の人物が写っている場合には、姿勢推定処理により、複数の人物について特徴点を検出して、複数の人物の姿勢を推定してもよい。すなわち、情報処理装置１００は、複数の人物について、それぞれの人物が所在する空間の快適さをそれぞれ推定してもよい。
【0012】
例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴を示す特徴点（キーポイントともいう）を推定し、特徴点を結んだ人物の姿勢を検出するものがある。例えば、姿勢推定モデルの一例として、画像に含まれる人物の身体の特徴点として、人物の身体の関節の位置を示す関節点を推定し、関節点を連結して生成される人物の身体の骨格を示す骨格モデルを人物の姿勢として検出するものがある。このように、姿勢推定技術を用いると、画像中の人物の身体の関節点や骨格モデルを推定することができるので、画像中の人物の身体の部位を精緻に推定することができる。例えば、特徴点を検出するタイプの姿勢推定モデルの中には、画像中の人物の身体の３０種類の部位を推定可能なものがある。具体的には、特徴点を検出するタイプの姿勢推定モデルを用いると、画像中の人物の身体の部位として、頭、目（右、左）、耳（右、左）、鼻、首、肩（右、中央、左）、肘（右、左）、背骨、手首（右、左）、手（右、左）、親指（右、左）、手先（右、左）、腰（右、中央、左）、膝（右、左）、足首（右、左）、足（右、左）を特定することができる。
【0013】
また、姿勢推定モデルの一例として、ＤｅｎｓｅＰｏｓｅ（参考ＵＲＬ：http://openaccess.thecvf.com/content_cvpr_2018/html/Guler_DensePose_Dense_Human_CVPR_2018_paper.html）が知られている。ＤｅｎｓｅＰｏｓｅは、２次元の画像中の人物の人物領域を検出し、検出した人物領域に対応する３次元身体表面モデルを生成する技術である。より具体的には、ＤｅｎｓｅＰｏｓｅは、ＲＧＢ画像を入力として、ＲＧＢ画像中の人物の３次元表面のＵＶ座標を推定する技術である。ＤｅｎｓｅＰｏｓｅを用いると、２次元の画像に写る人物領域から３次元身体表面のＵＶ座標を推定することができるので、２次元の画像に写る人物領域の各人体パーツ（人物の身体の部位）を精緻に推定することができる。ＤｅｎｓｅＰｏｓｅを用いると、画像中の人物の身体の２４種類の部位を推定することができる。具体的には、ＤｅｎｓｅＰｏｓｅを用いると、ＲＧＢ画像から、画像中の人物の身体の部位として、頭（左、右）、首、胴体、腕（左、右／上、前／前、後）、脚（左、右／太もも、ふくらはぎ／前、後）、手（左、右）、足（左、右）を特定することができる。
【0014】
このように、情報処理装置１００は、上述したような姿勢推定技術を用いることにより、画像の中から人物が撮像された領域である人物領域をより精緻に特定することができる。これにより、情報処理装置１００は、画像の中から人物領域を精緻に特定したうえで、特定された人物領域の特徴に基づいて、推定対象となる人物の着衣量に関する情報を推定することができる。すなわち、情報処理装置１００は、推定対象となる人物の着衣量に関する情報の推定精度を向上させることができる。また、情報処理装置１００は、より精度の高い着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度を向上させることができる。
【0015】
また、一般的に、複数種の着衣が着用される場合が多く、着衣の種類や形状によって、風通しや保温力が異なる場合が多い。すなわち、着衣の種類や形状によっては、同じ空間に所在しているとしても、快適さが異なる場合がある。
【0016】
これに対し、一実施形態に係る情報処理装置１００は、画像のうち姿勢推定処理に基づいて特定された人物の身体の部位ごとの部位領域に関する情報に基づいて、人物の着衣量に関する情報を推定してもよい。これにより、情報処理装置１００は、上半身、腕、下半身など人物の身体の部位ごとの画像の特徴に基づいて人物の着衣の種別を判定し、着衣の種別に応じた着衣量に関する情報を推定することができる。すなわち、情報処理装置１００は、着衣量に関する情報の推定精度をさらに向上させることができる。また、情報処理装置１００は、より精度の高い着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度をさらに向上させることができる。
【0017】
また、一般的に、代謝量は人それぞれ異なるため、同じ服装でも人によって保温量が異なる場合がある。すなわち、同じ服装の人物が同じ空間に所在しているとしても、代謝量の違いによっては、人によって快適さが異なる場合がある。
【0018】
これに対し、一実施形態に係る情報処理装置１００は、人物が所在する空間を赤外線カメラで撮像したサーマル画像のうち人物が撮像された領域である人物領域であって、人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定してよい。具体的には、情報処理装置１００は、サーマル画像のうち姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物の代謝量（活動量）に関する情報を推定してよい。続いて、情報処理装置１００は、推定された人物の代謝量（活動量）に関する情報に基づいて、人物が所在する空間の快適さを推定してよい。
【0019】
ここで、情報処理装置１００は、人物の代謝量（活動量）に関する情報として、人物の代謝量（活動量）そのものを推定してもよい。また、情報処理装置１００は、人物の代謝量（活動量）に関する情報として、人物の代謝量（活動量）に相当する代謝量（活動量）以外の他の物理量を推定してもよい。例えば、情報処理装置１００は、人物の代謝量（活動量）に関する情報として、サーマル画像のうち姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルを推定してもよい。
【0020】
このように、情報処理装置１００は、代謝量と関連のあるサーマル画像に基づいて、人物の着衣量に関する情報を推定する。これにより、情報処理装置１００は、着衣の種別のみならず、人ごとに異なる代謝量を考慮することができるため、着衣量に関する情報の推定精度をより向上させることができる。また、情報処理装置１００は、姿勢推定技術を用いることにより、サーマル画像の中から人物が撮像された領域である人物領域をより精緻に特定することができる。これにより、情報処理装置１００は、サーマル画像の中から人物領域を精緻に特定したうえで、特定された人物領域の特徴に基づいて、推定対象となる人物の代謝量（活動量）に関する情報を推定することができる。すなわち、情報処理装置１００は、推定対象となる人物の代謝量（活動量）に関する情報の推定精度を向上させることができる。また、情報処理装置１００は、より精度の高い代謝量（活動量）に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度を向上させることができる。
【0021】
〔２．情報処理の概要〕
ここから、図１を用いて、実施形態に係る情報処理の概要について説明する。図１は、実施形態に係る情報処理の概要を説明するための図である。図１は、情報処理装置１００が、空間の快適さを推定する機械学習モデル（以下、快適さ推定モデルＭ６と記載する）を用いて、利用者が所在するオフィスＯ１（空間の一例）を撮像したＲＧＢ画像Ｇ１、サーマル画像Ｇ２、ＲＧＢ画像Ｇ１のうち姿勢推定処理に基づいて特定された人物領域Ｇ３、サーマル画像Ｇ２のうち姿勢推定処理に基づいて特定された人物領域Ｇ４、およびオフィスＯ１内の温度および湿度から、オフィスＯ１の快適さを推定する例を示している。
ここから、図１を用いて、実施形態に係る情報処理の概要について説明する。図１は、実施形態に係る情報処理の概要を説明するための図である。図１は、情報処理装置１００が、空間の快適さを推定する機械学習モデル（以下、快適さ推定モデルＭ６と記載する）を用いて、利用者が所在するオフィスＯ１（空間の一例）を撮像したＲＧＢ画像Ｇ１、サーマル画像Ｇ２、ＲＧＢ画像Ｇ１のうち姿勢推定処理に基づいて特定された人物領域Ｇ３、サーマル画像Ｇ２のうち姿勢推定処理に基づいて特定された人物領域Ｇ４、およびオフィスＯ１内の温度および湿度から、オフィスＯ１の快適さを推定する例を示している。
【0022】
まず、情報処理装置１００は、オフィスＯ１に設置されたＲＧＢカメラから、利用者が所在するオフィスＯ１（空間の一例）を撮像したＲＧＢ画像Ｇ１を取得する。情報処理装置１００は、ＲＧＢ画像Ｇ１を取得すると、学習モデルＭ１を用いて、ＲＧＢ画像Ｇ１から、ＲＧＢ画像Ｇ１の特徴を示す特徴ベクトルＶ１を生成する。
【0023】
ここで、学習モデルＭ１は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、学習モデルＭ１は、学習済みの畳み込みニューラルネットワークであってよい。例えば、学習モデルＭ１は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）画像と画像に写っている物体名（クラス）とのセットデータを学習済みのＲｅｓｎｅｔ５０であってよい。例えば、学習モデルＭ１は、ＲＧＢ画像Ｇ１が入力情報として入力された場合に、ＲＧＢ画像Ｇ１の特徴を示す２０４８次元の特徴ベクトルＶ１を出力情報として出力する機械学習モデルであってよい。
【0024】
また、情報処理装置１００は、オフィスＯ１に設置された赤外線カメラから、利用者が所在するオフィスＯ１を撮像したサーマル画像Ｇ２を取得する。例えば、赤外線カメラとＲＧＢカメラは、オフィスＯ１の同じ位置に設置されてもよい。すなわち、サーマル画像Ｇ２はＲＧＢ画像Ｇ１と同じ場面を撮像した画像であるものとする。情報処理装置１００は、サーマル画像Ｇ２を取得すると、学習モデルＭ２を用いて、サーマル画像Ｇ２から、サーマル画像Ｇ２の特徴を示す特徴ベクトルＶ２を生成する。
【0025】
ここで、学習モデルＭ２は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、学習モデルＭ２は、学習済みの畳み込みニューラルネットワークであってよい。例えば、学習モデルＭ２は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）サーマル画像とサーマル画像に写っている物体名（クラス）とのセットデータを学習済みのＲｅｓｎｅｔ５０であってよい。例えば、学習モデルＭ２は、サーマル画像Ｇ２が入力情報として入力された場合に、サーマル画像Ｇ２の特徴を示す２０４８次元の特徴ベクトルＶ２を出力情報として出力する機械学習モデルであってよい。
【0026】
また、情報処理装置１００は、ＲＧＢ画像Ｇ１を取得すると、姿勢推定処理に基づいてＲＧＢ画像Ｇ１のうち利用者が撮像された領域である人物領域Ｇ３を特定する。情報処理装置１００は、人物領域Ｇ３を特定すると、学習モデルＭ３を用いて、人物領域Ｇ３から、人物領域Ｇ３の特徴を示す特徴ベクトルＶ３を生成する。また、情報処理装置１００は、ＲＧＢ画像Ｇ１に複数の利用者が写っている場合は、ＲＧＢ画像Ｇ１のうち複数の利用者それぞれの人物領域を特定してよい。続いて、複数の人物領域それぞれについて、学習モデルＭ３を用いて、複数の人物領域それぞれの特徴を示す特徴ベクトルを生成してよい。
【0027】
ここで、学習モデルＭ３は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、学習モデルＭ３は、上述した学習モデルＭ１と同様の機械学習モデルであってもよい。
【0028】
また、情報処理装置１００は、サーマル画像Ｇ２を取得すると、姿勢推定処理に基づいてサーマル画像Ｇ２のうち利用者が撮像された領域である人物領域Ｇ４を特定する。より具体的には、情報処理装置１００は、ＲＧＢ画像Ｇ１とサーマル画像Ｇ２とを重ね合わせて、ＲＧＢ画像Ｇ１に対する姿勢推定処理に基づいて特定された人物領域Ｇ３と重複するサーマル画像Ｇ２の領域を人物領域Ｇ４として特定する。情報処理装置１００は、人物領域Ｇ４を特定すると、学習モデルＭ４を用いて、人物領域Ｇ４から、人物領域Ｇ４の特徴を示す特徴ベクトルＶ４を生成する。また、情報処理装置１００は、サーマル画像Ｇ２に複数の利用者が写っている場合は、人物領域Ｇ４を特定したのと同様にＲＧＢ画像Ｇ１とサーマル画像Ｇ２とを重ね合わせることにより、サーマル画像Ｇ２のうち複数の利用者それぞれが撮像された領域である人物領域それぞれを特定してよい。続いて、複数の人物領域それぞれについて、学習モデルＭ４を用いて、複数の人物領域それぞれの特徴を示す特徴ベクトルを生成してよい。
【0029】
ここで、学習モデルＭ４は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、学習モデルＭ４は、上述した学習モデルＭ２と同様の機械学習モデルであってもよい。
【0030】
また、情報処理装置１００は、オフィスＯ１に設置された環境センサから、オフィスＯ１内の温度および湿度に関する情報を取得する。情報処理装置１００は、オフィスＯ１内の温度および湿度に関する情報を取得すると、学習モデルＭ５を用いて、温度および湿度に関する情報から、温度および湿度に関する情報の特徴を示す特徴ベクトルＶ５を生成する。
【0031】
ここで、学習モデルＭ５は、温度および湿度に関する情報が入力情報として入力された場合に、温度および湿度に関する情報の特徴を示す特徴ベクトルを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、学習モデルＭ５は、ニューラルネットワークであってよい。例えば、学習モデルＭ５は、温度および湿度に関する情報が入力情報として入力された場合に、温度および湿度に関する情報の特徴を示す２０４８次元の特徴ベクトルＶ５を出力情報として出力する機械学習モデルであってよい。
【0032】
続いて、情報処理装置１００は、５つの特徴ベクトルＶ１～Ｖ５を生成すると、５つの特徴ベクトルＶ１～Ｖ５に基づいて、５つの特徴ベクトルＶ１～Ｖ５の特徴を示す特徴マップＭＰ１を生成する。続いて、情報処理装置１００は、生成した特徴マップＭＰ１に対する最大値プーリングにより、特徴マップＭＰ１から特徴マップＭＰ１の特徴を示す特徴ベクトルＶ６を生成する。例えば、情報処理装置１００は、最大値プーリングにより、特徴マップＭＰ１の特徴を示す２０４８次元の特徴ベクトルＶ６を生成してもよい。続いて、情報処理装置１００は、特徴ベクトルＶ６を生成すると、快適さ推定モデルＭ６を用いて、特徴ベクトルＶ６から、オフィスＯ１の快適さＣ１を推定する。
【0033】
ここで、快適さ推定モデルＭ６は、特徴ベクトルＶ６が入力情報として入力された場合に、空間の快適さを出力情報として出力するよう学習された機械学習モデルであればどのような学習モデルであってもよい。例えば、快適さ推定モデルＭ６は、例えば、快適さ推定モデルＭ６は、特徴ベクトルＶ６が入力情報として入力された場合に、「寒い」に分類される確率が８０％、「暑い」に分類される確率が１０％、「普通」に分類される確率が１０％であるという出力情報を出力する学習モデルであってよい。また、例えば、快適さ推定モデルＭ６は、入力情報を各クラスに分類するよう学習されたニューラルネットワークであってよい。また、例えば、快適さ推定モデルＭ６は、特徴ベクトルＶ６が入力情報として入力された場合に、特徴ベクトルＶ６が分類される確率が最も高いクラスを示す情報を出力情報として出力する学習モデルであってよい。例えば、上記の例では、快適さ推定モデルＭ６は、特徴ベクトルＶ６が入力情報として入力された場合に、「寒い」に分類される確率が８０％で最も高いので、「寒い」というラベルを出力情報として出力する学習モデルであってよい。なお、快適さの分類は、任意の分類であってよく、上記の例に限定されない。例えば、快適さの分類は、「涼しい」、「暖かい」など他の分類を含んでよい。
【0034】
〔３．情報処理システムの構成〕
次に、図２を用いて、実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１には、空調装置１０と、センサ装置２０と、情報処理装置１００とが含まれてよい。空調装置１０と、センサ装置２０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の空調装置１０と任意の数のセンサ装置２０と任意の数の情報処理装置１００とが含まれてもよい。
次に、図２を用いて、実施形態に係る情報処理システムの構成について説明する。図２は、実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１には、空調装置１０と、センサ装置２０と、情報処理装置１００とが含まれてよい。空調装置１０と、センサ装置２０と、情報処理装置１００とは所定のネットワークＮを介して、有線または無線により通信可能に接続されてよい。なお、情報処理システム１には、任意の数の空調装置１０と任意の数のセンサ装置２０と任意の数の情報処理装置１００とが含まれてもよい。
【0035】
空調装置１０は、空間の空気の温度や湿度などを調整する装置である。例えば、空調装置１０は、情報処理装置１００による空調制御の対象となる各空間に設置されたエアコンであってよい。また、空調装置１０は、ＩｏＴ（Internet of Things）技術により、他の装置と通信可能であってよい。空調装置１０は、情報処理装置１００の制御に従って制御対象となる空間の空調を調整することができる。具体的には、まず、空調装置１０は、情報処理装置１００から空調の制御に関する制御情報を受信してよい。例えば、空調装置１０は、情報処理装置１００から空調に設定する設定温度や設定湿度に関する情報を受信してよい。続いて、空調装置１０は、情報処理装置１００から受信した制御情報に従って、空間の空調を調整してよい。例えば、空調装置１０は、設定温度や設定湿度に関する情報を受信すると、空間の温度や湿度が、設定温度や設定湿度に保たれるように空調を調整してよい。
【0036】
なお、図２に示すように、空調装置１０が設置された空間に応じて、空調装置１０を空調装置１０－１～１０－２のように区別して説明する場合がある。例えば、空調装置１０－１は、会議室Ｒ１１に設置されている空調装置１０である。また、例えば、空調装置１０－２は、会議室Ｒ２１に設置されている空調装置１０である。また、以下では、空調装置１０－１～１０－２について、特に区別なく説明する場合には、空調装置１０と記載する。
【0037】
センサ装置２０は、空間の物理的な状態や空間に存在する利用者の物理的な状態を検知する装置である。センサ装置２０は、空間の物理的な状態や空間に存在する利用者の物理的な状態を示す情報をセンサ情報として取得してよい。例えば、センサ装置２０は、画像センサであってよい。例えば、センサ装置２０は、ＲＧＢカメラであってよい。すなわち、センサ装置２０は、例えば、空間に存在する利用者を被写体として含むＲＧＢ画像をセンサ情報として取得してよい。また、例えば、センサ装置２０は、赤外線カメラであってよい。すなわち、センサ装置２０は、例えば、空間に存在する利用者を被写体として含むサーマル画像をセンサ情報として取得してよい。また、センサ装置２０は、環境センサであってよい。例えば、センサ装置２０は、ＵＳＢ型の環境センサであってよい。すなわち、センサ装置２０は、例えば、空間の温度や湿度に関する情報をセンサ情報として取得してよい。また、センサ装置２０は、取得したセンサ情報を情報処理装置１００に送信する。
【0038】
なお、図２に示すように、センサ装置２０が設置された空間に応じて、センサ装置２０をセンサ装置２０－１～２０－２のように区別して説明する場合がある。例えば、センサ装置２０－１は、会議室Ｒ１１に設置されている環境センサである。また、例えば、センサ装置２０－２は、会議室Ｒ２１に設置されている環境センサである。また、以下では、センサ装置２０－１～２０－２について、特に区別なく説明する場合には、センサ装置２０と記載する。
【0039】
情報処理装置１００は、図１を用いて説明した情報処理を実行する情報処理装置である。すなわち、情報処理装置１００は、快適さ推定モデルＭ６を用いて、利用者が所在する空間の快適さを推定することができる。具体的には、情報処理装置１００は、例えば、快適さ推定モデルＭ６を用いて、利用者が所在する空間を撮像したＲＧＢ画像、サーマル画像、ＲＧＢ画像のうち姿勢推定処理に基づいて特定された人物領域、サーマル画像のうち姿勢推定処理に基づいて特定された人物領域、および利用者が所在する空間の温度および湿度から、利用者が所在する空間の快適さを推定することができる。
【0040】
また、情報処理装置１００は、空調装置１０を制御する制御装置である。具体的には、情報処理装置１００は、推定した空間の快適さに基づいて、利用者が所在する空間を空調する空調装置１０を制御してよい。例えば、情報処理装置１００は、推定した空間の快適さが「寒い」である場合には、その空間の温度を高くするように空調装置１０を制御してよい。また、情報処理装置１００は、推定した空間の快適さが「普通」である場合には、その空間の温度を保つように空調装置１０を制御してよい。また、情報処理装置１００は、推定した空間の快適さが「暑い」である場合には、その空間の温度を低くするように空調装置１０を制御してよい。
【0041】
〔４．情報処理装置の構成〕
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
次に、図３を用いて、実施形態に係る情報処理装置１００の構成について説明する。図３は、実施形態に係る情報処理装置１００の構成例を示す図である。情報処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有してよい。なお、情報処理装置１００は、情報処理装置１００の管理者等から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示させるための表示部（例えば、液晶ディスプレイ等）を有してもよい。
【0042】
（通信部１１０）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、空調装置１０やセンサ装置２０との間で情報の送受信を行う。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、空調装置１０やセンサ装置２０との間で情報の送受信を行う。
【0043】
（記憶部１２０）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0044】
記憶部１２０は、センサ装置２０によって検出されたセンサ情報を記憶してよい。例えば、記憶部１２０は、利用者が所在する空間を撮像したＲＧＢ画像およびサーマル画像と空間を識別する識別情報とを対応付けて記憶してよい。また、記憶部１２０は、利用者が所在する空間の温度および湿度に関する情報と空間を識別する識別情報とを対応付けて記憶してよい。
【0045】
また、記憶部１２０は、各種の学習モデルに関する情報を記憶してよい。例えば、記憶部１２０は、学習モデルＭ１～Ｍ５に関する情報を記憶してよい。また、記憶部１２０は、快適さ推定モデルＭ６に関する情報を記憶してよい。例えば、記憶部１２０は、各種の学習モデルの接続係数に関する情報を記憶してよい。
【0046】
（制御部１３０）
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
制御部１３０は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。
【0047】
制御部１３０は、取得部１３１と、生成部１３２と、推定部１３３と、空調制御部１３４とを機能部として有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図３に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、各機能部は、制御部１３０の機能を示したものであり、必ずしも物理的に区別されるものでなくともよい。
【0048】
（取得部１３１）
取得部１３１は、利用者が所在する空間に設置されたＲＧＢカメラから、利用者が所在する空間を撮像したＲＧＢ画像を取得する。取得部１３１は、ＲＧＢ画像を取得すると、取得したＲＧＢ画像と空間を識別する識別情報とを対応付けて記憶部１２０に格納する。
取得部１３１は、利用者が所在する空間に設置されたＲＧＢカメラから、利用者が所在する空間を撮像したＲＧＢ画像を取得する。取得部１３１は、ＲＧＢ画像を取得すると、取得したＲＧＢ画像と空間を識別する識別情報とを対応付けて記憶部１２０に格納する。
【0049】
また、取得部１３１は、利用者が所在する空間に設置された赤外線カメラから、利用者が所在する空間を撮像したサーマル画像を取得する。取得部１３１は、サーマル画像を取得すると、取得したサーマル画像と空間を識別する識別情報とを対応付けて記憶部１２０に格納する。
【0050】
また、取得部１３１は、利用者が所在する空間に設置された環境センサ（センサ装置２０の一例）から、利用者が所在する空間内の温度および湿度に関する情報を取得する。取得部１３１は、取得した温度および湿度に関する情報と空間を識別する識別情報とを対応付けて記憶部１２０に格納してよい。
【0051】
（生成部１３２）
生成部１３２は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ１を生成する。例えば、生成部１３２は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）画像から画像に写っている物体名（クラス）を推定するよう学習された学習モデルＭ１を生成する。例えば、生成部１３２は、畳み込みニューラルネットワークである学習モデルＭ１を生成する。例えば、生成部１３２は、Ｒｅｓｎｅｔ５０である学習モデルＭ１を生成する。例えば、生成部１３２は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す２０４８次元の特徴ベクトルを出力情報として出力する機械学習モデルＭ１を生成する。
生成部１３２は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ１を生成する。例えば、生成部１３２は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）画像から画像に写っている物体名（クラス）を推定するよう学習された学習モデルＭ１を生成する。例えば、生成部１３２は、畳み込みニューラルネットワークである学習モデルＭ１を生成する。例えば、生成部１３２は、Ｒｅｓｎｅｔ５０である学習モデルＭ１を生成する。例えば、生成部１３２は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す２０４８次元の特徴ベクトルを出力情報として出力する機械学習モデルＭ１を生成する。
【0052】
また、生成部１３２は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ２を生成する。例えば、生成部１３２は、ＩｍａｇｅＮｅｔ等の画像データベースに登録されている多数の（例えば、１０００万枚を超える）サーマル画像からサーマル画像に写っている物体名（クラス）を推定するよう学習された学習モデルＭ２を生成する。例えば、生成部１３２は、畳み込みニューラルネットワークである学習モデルＭ２を生成する。例えば、生成部１３２は、Ｒｅｓｎｅｔ５０である学習モデルＭ２を生成する。例えば、生成部１３２は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す２０４８次元の特徴ベクトルを出力情報として出力する機械学習モデルＭ２を生成する。
【0053】
また、生成部１３２は、ＲＧＢ画像が入力情報として入力された場合に、ＲＧＢ画像の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ３を生成する。例えば、生成部１３２は、上述した学習モデルＭ１と同様の学習モデルＭ３を生成する。
【0054】
また、生成部１３２は、サーマル画像が入力情報として入力された場合に、サーマル画像の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ６を生成する。例えば、生成部１３２は、上述した学習モデルＭ２と同様の学習モデルＭ４を生成する。
【0055】
また、生成部１３２は、空間の温度および湿度に関する情報が入力情報として入力された場合に、空間の温度および湿度に関する情報の特徴を示す特徴ベクトルを出力情報として出力する学習モデルＭ５を生成する。例えば、生成部１３２は、空間の温度および湿度に関する情報から空間の温度および湿度に関する情報の特徴を示す特徴ベクトルを推定するよう学習された学習モデルＭ５を生成する。例えば、生成部１３２は、ニューラルネットワークである学習モデルＭ５を生成する。例えば、生成部１３２は、温度および湿度に関する情報が入力情報として入力された場合に、温度および湿度に関する情報の特徴を示す２０４８次元の特徴ベクトルを出力情報として出力する機械学習モデルＭ５を生成する。
【0056】
また、生成部１３２は、利用者が所在する空間を撮像したＲＧＢ画像から、利用者が所在する空間を撮像したＲＧＢ画像の特徴を示す特徴ベクトルＶ１を生成する。具体的には、生成部１３２は、記憶部１２０を参照して、取得部１３１によって取得されたＲＧＢ画像を取得する。続いて、生成部１３２は、ＲＧＢ画像を取得すると、学習モデルＭ１を用いて、利用者が所在する空間を撮像したＲＧＢ画像から利用者が所在する空間を撮像したＲＧＢ画像の特徴を示す特徴ベクトルＶ１を生成する。
【0057】
また、生成部１３２は、利用者が所在する空間を撮像したサーマル画像から、利用者が所在する空間を撮像したサーマル画像の特徴を示す特徴ベクトルＶ２を生成する。具体的には、例えば、生成部１３２は、記憶部１２０を参照して、取得部１３１によって取得されたサーマル画像を取得してよい。続いて、生成部１３２は、サーマル画像を取得すると、学習モデルＭ２を用いて、利用者が所在する空間を撮像したサーマル画像から利用者が所在する空間を撮像したサーマル画像の特徴を示す特徴ベクトルＶ２を生成する。
【0058】
また、生成部１３２は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルＶ３を生成する。具体的には、例えば、生成部１３２は、記憶部１２０を参照して、利用者が所在する空間を撮像したＲＧＢ画像を取得してよい。続いて、生成部１３２は、ＲＧＢ画像を取得すると、姿勢推定処理に基づいてＲＧＢ画像のうち利用者が撮像された領域である人物領域を特定する。続いて、生成部１３２は、人物領域を特定すると、学習モデルＭ３を用いて、人物領域から、人物領域の特徴を示す特徴ベクトルＶ３を生成する。また、生成部１３２は、ＲＧＢ画像に複数の利用者が写っている場合は、ＲＧＢ画像のうち複数の利用者それぞれが撮像された領域である人物領域それぞれを特定してよい。続いて、複数の人物領域それぞれについて、学習モデルＭ３を用いて、複数の人物領域それぞれの特徴を示す特徴ベクトルを生成してよい。
【0059】
また、生成部１３２は、サーマル画像のうち人物が撮像された領域である人物領域であって、人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルＶ４を生成する。具体的には、例えば、生成部１３２は、記憶部１２０を参照して、利用者が所在する空間を撮像したサーマル画像を取得してよい。続いて、生成部１３２は、サーマル画像を取得すると、姿勢推定処理に基づいてサーマル画像のうち利用者が撮像された領域である人物領域を特定する。より具体的には、生成部１３２は、同じ空間を撮影したＲＧＢ画像とサーマル画像とを重ね合わせて、ＲＧＢ画像に対する姿勢推定処理に基づいて特定された人物領域と重複するサーマル画像の領域をサーマル画像の人物領域として特定する。続いて、生成部１３２は、サーマル画像の人物領域を特定すると、学習モデルＭ４を用いて、サーマル画像の人物領域から、サーマル画像の人物領域の特徴を示す特徴ベクトルＶ４を生成する。また、生成部１３２は、サーマル画像に複数の利用者が写っている場合は、ＲＧＢ画像とサーマル画像とを重ね合わせることにより、サーマル画像のうち複数の利用者それぞれが撮像された領域である人物領域それぞれを特定してよい。続いて、複数の人物領域それぞれについて、学習モデルＭ４を用いて、複数の人物領域それぞれの特徴を示す特徴ベクトルを生成してよい。
【0060】
また、生成部１３２は、温度および湿度に関する情報の特徴を示す特徴ベクトルＶ５を生成する。具体的には、例えば、生成部１３２は、記憶部１２０を参照して、利用者が所在する空間の温度および湿度に関する情報を取得してよい。続いて、生成部１３２は、温度および湿度に関する情報を取得すると、学習モデルＭ５を用いて、温度および湿度に関する情報から、温度および湿度に関する情報の特徴を示す特徴ベクトルＶ５を生成する。
【0061】
また、生成部１３２は、利用者が所在する空間の快適さを推定する快適さ推定モデルＭ６を生成する。具体的には、例えば、生成部１３２は、利用者が所在する空間の特徴を示す５つの特徴ベクトルＶ１～Ｖ５を生成すると、５つの特徴ベクトルＶ１～Ｖ５に基づいて、５つの特徴ベクトルＶ１～Ｖ５の特徴を示す特徴マップＭＰ１を生成してよい。続いて、生成部１３２は、生成した特徴マップＭＰ１に対する最大値プーリングにより、特徴マップＭＰ１から特徴マップＭＰ１の特徴を示す特徴ベクトルＶ６を生成してよい。例えば、生成部１３２は、最大値プーリングにより、特徴マップＭＰ１の特徴を示す２０４８次元の特徴ベクトルＶ６を生成してもよい。このようにして、生成部１３２は、利用者が所在する空間の特徴を示す特徴ベクトルＶ６を生成することができる。
【0062】
同様にして、生成部１３２は、利用者が所在する多数の空間について、それぞれ空間の特徴を示す５つの特徴ベクトルＶ１～Ｖ５を生成し、生成した５つの特徴ベクトルＶ１～Ｖ５に基づいて、それぞれの空間の特徴を示す特徴ベクトルＶ６を多数生成してよい。続いて、生成部１３２は、利用者が所在する空間の特徴を示す特徴ベクトルＶ６を多数生成すると、生成した多数の特徴ベクトルＶ６に基づいて、それぞれの特徴ベクトルＶ６から利用者が所在するそれぞれの空間の快適さを推定するよう快適さ推定モデルＭ６を学習させてよい。このようにして、生成部１３２は、利用者が所在する空間の特徴を示す特徴ベクトルＶ６から利用者が所在する空間の快適さを推定するよう学習された快適さ推定モデルＭ６を生成することができる。例えば、生成部１３２は、特徴ベクトルＶ６が入力情報として入力された場合に、空間の快適さを出力情報として出力するよう学習された快適さ推定モデルＭ６を生成することができる。
【0063】
例えば、生成部１３２は、特徴ベクトルＶ６が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルＶ６が分類される確率を出力情報として出力するよう学習された快適さ推定モデルＭ６を生成する。例えば、生成部１３２は、特徴ベクトルＶ６が入力情報として入力された場合に、「寒い」カテゴリに分類される確率と「暑い」カテゴリに分類される確率と「普通」カテゴリに分類される確率を出力情報として出力する快適さ推定モデルＭ６を生成してよい。なお、快適さを示すカテゴリは、任意の分類であってよく、上記の例に限定されない。例えば、快適さの分類は、「涼しい」、「暖かい」など他の分類を含んでよい。また、生成部１３２は、特徴ベクトルＶ６が入力情報として入力された場合に、特徴ベクトルＶ６が分類される快適さのカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルＭ６を生成してよい。例えば、生成部１３２は、特徴ベクトルＶ６が入力情報として入力された場合に、快適さを示す各カテゴリに特徴ベクトルＶ６が分類される確率が最も高いカテゴリのラベルを出力情報として出力するよう学習された快適さ推定モデルＭ６を生成してよい。
【0064】
（推定部１３３）
推定部１３３は、ＲＧＢカメラで撮影された人物を含むＲＧＢ画像に関する情報に基づいて、人物が所在する空間の快適さを推定する。具体的には、例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ１に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定してよい。
推定部１３３は、ＲＧＢカメラで撮影された人物を含むＲＧＢ画像に関する情報に基づいて、人物が所在する空間の快適さを推定する。具体的には、例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ１に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定してよい。
【0065】
また、推定部１３３は、赤外線カメラで撮影された人物を含むサーマル画像に関する情報に基づいて、人物が所在する空間の快適さを推定する。具体的には、例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ２に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定してよい。
【0066】
また、推定部１３３は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。具体的には、例えば、推定部１３３は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢を推定する姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定してよい。また、推定部１３３は、人物領域に関する情報として、人物領域の特徴を示す特徴ベクトルに基づいて、人物が所在する空間の快適さを推定してよい。例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ３に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定してよい。
【0067】
例えば、推定部１３３は、人物領域に関する情報として、画像から検出された人物の身体の関節の位置を示す関節点に関する情報に基づいて、人物が所在する空間の快適さを推定する。また、例えば、推定部１３３は、人物領域に関する情報として、２以上の前記関節点を連結して生成される前記人物の身体の骨格を示す骨格モデルに関する情報に基づいて、前記人物が所在する空間の快適さを推定する。
【0068】
また、推定部１３３は、赤外線カメラで撮影されたサーマル画像のうち人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ４に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定する。
【0069】
また、推定部１３３は、人物が所在する空間の温度および湿度に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、生成部１３２によって生成された快適さ推定モデルＭ６を用いて、生成部１３２によって生成された特徴ベクトルＶ５に基づいて生成された特徴ベクトルＶ６から利用者が所在する空間の快適さを推定する。
【0070】
（空調制御部１３４）
空調制御部１３４は、推定部１３３によって推定された空間の快適さに基づいて、人物が所在する空間を空調する空調装置を制御する。例えば、空調制御部１３４は、推定部１３３によって推定された空間の快適さに基づいて、利用者が所在する空間を空調する空調装置を制御する。例えば、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「寒い」カテゴリである場合には、利用者が所在する空間の温度を高くするように利用者が所在する空間に設置された空調装置１０を制御する。また、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「普通」カテゴリである場合には、利用者が所在する空間の温度を保つように利用者が所在する空間に設置された空調装置１０を制御する。また、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「暑い」カテゴリである場合には、利用者が所在する空間の温度を低くするように利用者が所在する空間に設置された空調装置１０を制御する。
空調制御部１３４は、推定部１３３によって推定された空間の快適さに基づいて、人物が所在する空間を空調する空調装置を制御する。例えば、空調制御部１３４は、推定部１３３によって推定された空間の快適さに基づいて、利用者が所在する空間を空調する空調装置を制御する。例えば、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「寒い」カテゴリである場合には、利用者が所在する空間の温度を高くするように利用者が所在する空間に設置された空調装置１０を制御する。また、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「普通」カテゴリである場合には、利用者が所在する空間の温度を保つように利用者が所在する空間に設置された空調装置１０を制御する。また、空調制御部１３４は、推定部１３３によって推定された空間の快適さが「暑い」カテゴリである場合には、利用者が所在する空間の温度を低くするように利用者が所在する空間に設置された空調装置１０を制御する。
【0071】
〔５．情報処理のフロー〕
次に、図４を用いて、実施形態に係る情報処理の手順について説明する。図４は、実施形態に係る情報処理手順を示すフローチャートである。センサ装置２０は、センサ装置２０が設置された空間の環境をモニタリングする。具体的には、例えば、センサ装置２０は、オフィスの部屋や会議室など、利用者が所在する空間の環境をモニタリングしてよい。例えば、ＲＧＢカメラであるセンサ装置２０は、利用者が所在する空間のＲＧＢ画像を取得してよい。また、赤外線カメラであるセンサ装置２０は、利用者が所在する空間のサーマル画像を取得してよい。また、ＵＳＢ型の環境センサであるセンサ装置２０は、空間の温度および湿度に関する情報（以下、環境センサ情報ともいう）を取得してよい。センサ装置２０は、取得したＲＧＢ画像、サーマル画像、および環境センサ情報を情報処理装置１００に送信する。
次に、図４を用いて、実施形態に係る情報処理の手順について説明する。図４は、実施形態に係る情報処理手順を示すフローチャートである。センサ装置２０は、センサ装置２０が設置された空間の環境をモニタリングする。具体的には、例えば、センサ装置２０は、オフィスの部屋や会議室など、利用者が所在する空間の環境をモニタリングしてよい。例えば、ＲＧＢカメラであるセンサ装置２０は、利用者が所在する空間のＲＧＢ画像を取得してよい。また、赤外線カメラであるセンサ装置２０は、利用者が所在する空間のサーマル画像を取得してよい。また、ＵＳＢ型の環境センサであるセンサ装置２０は、空間の温度および湿度に関する情報（以下、環境センサ情報ともいう）を取得してよい。センサ装置２０は、取得したＲＧＢ画像、サーマル画像、および環境センサ情報を情報処理装置１００に送信する。
【0072】
情報処理装置１００は、ＲＧＢ画像、サーマル画像、および環境センサ情報をセンサ装置２０から取得する。続いて、情報処理装置１００は、快適さ推定モデルＭ６の入力情報を生成する。具体的には、例えば、情報処理装置１００は、学習モデルＭ１を用いて、ＲＧＢ画像の特徴を示す特徴ベクトルＶ１を生成する。また、情報処理装置１００は、学習モデルＭ２を用いて、サーマル画像の特徴を示す特徴ベクトルＶ２を生成する。また、情報処理装置１００は、学習モデルＭ３を用いて、ＲＧＢ画像のうち人物が撮像された領域である人物領域であって、姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルＶ３を生成する。また、情報処理装置１００は、学習モデルＭ４を用いて、サーマル画像のうち人物が撮像された領域である人物領域であって、姿勢推定処理に基づいて特定された人物領域の特徴を示す特徴ベクトルＶ４を生成する。また、情報処理装置１００は、学習済みのニューラルネットワークＭ５を用いて、環境センサ情報として取得した空間の温度および湿度の特徴を示す特徴ベクトルＶ５を生成する。
【0073】
情報処理装置１００は、５つの特徴ベクトルＶ１～Ｖ５を生成すると、５つの特徴ベクトルＶ１～Ｖ５に基づく特徴マップＭＰ１を生成する。続いて、情報処理装置１００は、特徴マップＭＰ１に対して最大値プーリング処理を行って、快適さ推定モデルＭ６の入力情報として、特徴マップＭＰ１の特徴を示す特徴ベクトルＶ６を生成する。情報処理装置１００は、特徴ベクトルＶ６を生成すると、快適さ推定モデルＭ６に特徴ベクトルＶ６を入力する。続いて、情報処理装置１００は、快適さ推定モデルＭ６の出力情報として、空間の快適さの状態を示すクラス情報を出力する。
【0074】
例えば、情報処理装置１００は、快適さ推定モデルＭ６から「寒い」状態であることを示すクラス情報が出力された場合には、空間の温度を上げるようその空間に設置された空調装置１０を制御してよい。また、情報処理装置１００は、快適さ推定モデルＭ６から、快適さが「普通」の状態であることを示すクラス情報が出力された場合には、空間の空調をそのままの状態に保つようその空間に設置された空調装置１０を制御してよい。また、情報処理装置１００は、快適さ推定モデルＭ６から「暑い」状態であることを示すクラス情報が出力された場合には、空間の温度を下げるようその空間に設置された空調装置１０を制御してよい。
【0075】
このように、情報処理システム１は、環境モニタリングと、快適さ推定モデルを用いた快適さの推定と、推定結果に基づく空調制御という処理のサイクルを繰り返すことで、空間に所在する利用者にとって快適な空調制御を自動的に実現することができる。すなわち、情報処理システム１は、利用者がリモコン等を用いて手動的に空調を制御する手間を省いて、空間に所在する利用者にとって快適な空調制御を自動的に実現することができる。
【0076】
〔６．変形例〕
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
上述した実施形態に係る情報処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理システム１の他の実施形態について説明する。なお、実施形態と同一部分には、同一符号を付して説明を省略する。
【0077】
〔６－１．第１の変形例〕
まず、図５～図７を用いて、第１の変形例について説明する。第１の変形例では、推定部１３３は、画像のうち姿勢推定処理に基づいて特定された人物の身体の部位ごとの部位領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。
まず、図５～図７を用いて、第１の変形例について説明する。第１の変形例では、推定部１３３は、画像のうち姿勢推定処理に基づいて特定された人物の身体の部位ごとの部位領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。
【0078】
まず、図５を用いて、第１の変形例に係る画像の前処理について説明する。図５は、第１の変形例に係る画像の前処理について説明するための図である。図５の左側は、３人の利用者Ｕ１～Ｕ３が所在するオフィス空間のＲＧＢ画像Ｇ１を示す。生成部１３２は、ＲＧＢ画像Ｇ１を取得すると、姿勢推定処理に基づいて３人の利用者Ｕ１～Ｕ３それぞれの人物領域を特定する。続いて、生成部１３２は、特定したそれぞれの人物領域に基づいて画像の前処理を行う。
【0079】
図５に示す例では、３人のうち利用者Ｕ１の人物領域に焦点をあてて説明する。図５の右側は、生成部１３２による前処理後の画像の組を示す。具体的には、例えば、生成部１３２は、ＲＧＢ画像Ｇ１を取得すると、姿勢推定処理に基づいてＲＧＢ画像Ｇ１のうち利用者Ｕ１の人物領域Ｇ１１を特定する。ここで、人物領域Ｇ１１は、利用者Ｕ１の身体の各部位が組み合わされた利用者Ｕ１の身体全体の領域Ｐ１１である。また、生成部１３２は、姿勢推定処理に基づいてＲＧＢ画像Ｇ１のうち利用者Ｕ１の身体の部位ごとの部位領域Ｐ１２～Ｐ１６をそれぞれ特定する。生成部１３２は、利用者Ｕ１の各部位領域Ｐ１２～Ｐ１６を特定すると、各部位領域Ｐ１２～Ｐ１６を切り抜くプログラムを用いて、利用者Ｕ１の部位領域Ｐ１２～Ｐ１６をパーツごとに切り抜いた部位領域画像を生成する。図５に示す例では、生成部１３２は、利用者Ｕ１の人物領域Ｇ１１と利用者Ｕ１の５つの部位領域Ｐ１２～Ｐ１６をそれぞれ含む部位領域画像Ｇ１２～Ｇ１６の合計６つの画像を生成する。また、生成部１３２は、生成した６つの画像を１組の学習データＤＳ１１とする。
【0080】
なお、図示しないが、生成部１３２は、ＲＧＢ画像Ｇ１に含まれる他の利用者Ｕ２についても、利用者Ｕ２の人物領域と利用者Ｕ２の部位領域画像を生成して、生成した複数の画像を１組の学習データＤＳ１２とする。また、生成部１３２は、ＲＧＢ画像Ｇ１に含まれる他の利用者Ｕ３についても、利用者Ｕ３の人物領域と利用者Ｕ３の部位領域画像を生成して、生成した複数の画像を１組の学習データＤＳ１３とする。
【0081】
次に、図６を用いて、第１の変形例に係る着衣量のクラスとｃｌｏ値について説明する。図６は、第１の変形例に係る着衣パターンのクラスとｃｌｏ値について説明するための図である。図６は、既存の文献を基に、着衣のパターンを示すクラスとそのｃｌｏ値を定義した表１２１を示す。ここで、ｃｌｏ値は、着衣量に相当する。生成部１３２は、前処理で生成した学習データＤＳ１１に対して、学習データＤＳ１１に対応する着衣パターンのｃｌｏ値をラベル付けしたデータセットを生成する。例えば、学習データＤＳ１１に対応する着衣パターンが「半袖＋長ズボン」である場合、生成部１３２は、学習データＤＳ１１に対して「半袖＋長ズボン」クラスのｃｌｏ値である「０．４」をラベル付けしたデータセットを生成する。
【0082】
次に、図７を用いて、第１の変形例に係る第１学習モデルの生成処理について説明する。図７は、第１の変形例に係る第１学習モデルの生成処理について説明するための図である。図７に示す例では、生成部１３２は、学習データＤＳ１１にｃｌｏ値をラベル付けしたデータセットを用いて、部位領域に関する情報から人物の着衣量に関する情報を推定するよう学習された第１学習モデルＭ７を生成する。例えば、生成部１３２は、学習データＤＳ１１の画像を結合させて、画像分類モデルである第１学習モデルＭ７に入力する。生成部１３２は、結合された学習データＤＳ１１の画像が各クラスに分類される確率を出力するよう第１学習モデルＭ７を学習させる。このようにして、生成部１３２は、学習用の画像と学習用の画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意の画像から任意の画像に含まれる人物の着衣量に関する情報を推定する第１学習モデルを生成する。
【0083】
推定部１３３は、学習済みの第１学習モデルＭ７を用いて、部位領域に関する情報から人物の着衣量に関する情報を推定する。例えば、推定部１３３は、学習済みの第１学習モデルＭ７を用いて、人物領域と部位領域画像が結合された結合画像が入力情報として入力された場合に、結合画像が各クラスに分類される確率を出力する。続いて、推定部１３３は、出力された各クラスの確率値と各クラスのｃｌｏ値とに基づいて、結合画像に含まれる人物の着衣量に関する情報を推定する。例えば、推定部１３３は、出力された各クラスの確率値と各クラスのｃｌｏ値とをそれぞれ掛け合わせた値を加算した値を推定着衣量として算出する。
【0084】
続いて、推定部１３３は、人物領域に関する情報として、人物の身体の部位ごとの部位領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、部位領域に関する情報を用いて推定された人物の着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、推定着衣量として算出した値を快適さ推定モデルＭ６の入力として用いて、人物が所在する空間の快適さを推定する。
【0085】
〔６－２．第２の変形例〕
次に、第２の変形例について説明する。第２の変形例では、サーマル画像のうち姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。
次に、第２の変形例について説明する。第２の変形例では、サーマル画像のうち姿勢推定処理に基づいて特定された人物領域に関する情報に基づいて、人物の着衣量に関する情報を推定する。
【0086】
ここで、図８を用いて、第２の変形例に係るサーマル画像の前処理について説明する。図８は、第２の変形例に係るサーマル画像の前処理について説明するための図である。図８の左側は、図５の左側に示したＲＧＢ画像Ｇ１に対応するサーマル画像Ｇ２を示す。生成部１３２は、サーマル画像Ｇ２を取得すると、姿勢推定処理に基づいて３人の利用者Ｕ１～Ｕ３それぞれの人物領域を特定する。続いて、生成部１３２は、特定したそれぞれの人物領域に基づいてサーマル画像の前処理を行う。図８の右側は、３人のうち利用者Ｕ１の人物領域に焦点をあてた画像Ｇ２１を示す。生成部１３２は、サーマル画像Ｇ２とＲＧＢ画像Ｇ１を重ね合わせて、ＲＧＢ画像Ｇ１のうち姿勢推定処理に基づいて特定された利用者Ｕ１の人物領域Ｇ１１に対応する領域をサーマル画像Ｇ２の利用者Ｕ１の人物領域Ｇ２１として特定する。ここで、人物領域Ｇ２１は、利用者Ｕ１の身体の各部位が組み合わされた利用者Ｕ１の身体全体の領域Ｐ２１に相当する。
【0087】
続いて、生成部１３２は、サーマル画像Ｇ２に基づいて、サーマル画像Ｇ２のうち人物領域Ｇ２１の表面温度と人物領域Ｇ２１以外の領域（空間）の温度である外気温を取得する。図８に示す例では、生成部１３２は、人物領域Ｇ２１の表面温度として３５℃を、外気温として２８℃を取得する。続いて、生成部１３２は、次式に示す着衣量算出式「5.5(Ts-Ta)/Q（Ts:人体の表面温度、Ta: 空間の外気温、Q:空間の外気温より求められるGaggeらの代謝量(参考文献の図４のグラフ参照)）」を用いて、取得した表面温度と外気温から、利用者Ｕ１の着衣量を算出する（参考文献ＵＲＬ：https://www.jstage.jst.go.jp/article/jhej1951/28/3/28_3_216/_pdf）。図８に示す例では、生成部１３２は、着衣量算出式から、利用者Ｕ１の着衣量を「０．４２」と算出する。
【0088】
続いて、生成部１３２は、着衣量算出式に基づいて算出した着衣量の値「０．４２」を正解ラベルとして、前処理で生成した１組の学習データＤＳ１１と結び付ける。続いて、生成部１３２は、第１学習モデルＭ７を用いて、学習データＤＳ１１から推定された着衣量の値「０．３８」と正解ラベルの値「０．４２」とが近づくように、第１学習モデルＭ７を学習させる。
【0089】
上述したように、生成部１３２は、学習用のサーマル画像と学習用のサーマル画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意のサーマル画像から任意のサーマル画像に含まれる人物の着衣量に関する情報を推定する第２学習モデルを生成する。推定部１３３は、第２学習モデルを用いて、赤外線カメラで撮影されたサーマル画像のうち人物領域に関する情報から人物の着衣量に関する情報を推定する。
【0090】
〔７．効果〕
上述してきたように、実施形態に係る情報処理装置１００は、推定部１３３を備える。推定部１３３は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、人物領域に関する情報として、画像から検出された人物の身体の関節の位置を示す関節点に関する情報に基づいて、人物が所在する空間の快適さを推定する。また、例えば、推定部１３３は、人物領域に関する情報として、２以上の前記関節点を連結して生成される前記人物の身体の骨格を示す骨格モデルに関する情報に基づいて、前記人物が所在する空間の快適さを推定する。
上述してきたように、実施形態に係る情報処理装置１００は、推定部１３３を備える。推定部１３３は、画像のうち人物が撮像された領域である人物領域であって、人物の姿勢に基づいて特定された人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、人物領域に関する情報として、画像から検出された人物の身体の関節の位置を示す関節点に関する情報に基づいて、人物が所在する空間の快適さを推定する。また、例えば、推定部１３３は、人物領域に関する情報として、２以上の前記関節点を連結して生成される前記人物の身体の骨格を示す骨格モデルに関する情報に基づいて、前記人物が所在する空間の快適さを推定する。
【0091】
このように、情報処理装置１００は、姿勢推定技術を用いることにより、画像の中から人物が撮像された領域である人物領域をより精緻に特定することができる。これにより、情報処理装置１００は、画像の中から推定対象である人物の人物領域を精緻に特定したうえで、精緻に特定された人物領域の特徴に基づいて、推定対象となる人物の着衣量に関する情報を推定することができる。すなわち、情報処理装置１００は、推定対象となる人物の着衣量に関する情報の推定精度を向上させることができる。また、情報処理装置１００は、より精度の高い着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度を向上させることができる。
【0092】
また、推定部１３３は、人物領域に関する情報として、人物の身体の部位ごとの部位領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。例えば、推定部１３３は、部位領域に関する情報を用いて推定された人物の着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定する。また、推定部１３３は、第１学習モデルを用いて、部位領域に関する情報から人物の着衣量に関する情報を推定する。生成部１３２は、学習用の画像と学習用の画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意の画像から任意の画像に含まれる人物の着衣量に関する情報を推定する第１学習モデルを生成する。
【0093】
これにより、情報処理装置１００は、上半身、腕、下半身など人物の身体の部位ごとの画像の特徴に基づいて人物の着衣の種別を判定し、着衣の種別に応じた着衣量に関する情報を推定することができる。すなわち、情報処理装置１００は、着衣量に関する情報の推定精度をより向上させることができる。また、情報処理装置１００は、より精度の高い着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度をより向上させることができる。
【0094】
また、推定部１３３は、第２学習モデルを用いて、赤外線カメラで撮影されたサーマル画像のうち人物領域に関する情報から人物の着衣量に関する情報を推定する。生成部１３２は、学習用のサーマル画像と学習用のサーマル画像に含まれる人物の着衣量に関する情報との組み合わせに基づいて、任意のサーマル画像から任意のサーマル画像に含まれる人物の着衣量に関する情報を推定する第２学習モデルを生成する。
【0095】
一般的に、代謝量は人それぞれ異なるため、同じ服装でも人によって保温量が異なる。そこで、着衣量に関する情報の推定には、人ごとに異なる代謝量を考慮することがより望ましい。そこで、情報処理装置１００は、代謝量と関連のあるサーマル画像に基づいて、人物の着衣量に関する情報を推定する。これにより、情報処理装置１００は、着衣の種別のみならず、人ごとに異なる代謝量を考慮することができるため、着衣量に関する情報の推定精度をより向上させることができる。また、情報処理装置１００は、より精度の高い着衣量に関する情報に基づいて、人物が所在する空間の快適さを推定することができる。したがって、情報処理装置１００は、空間の快適さの推定精度をより向上させることができる。
【0096】
また、推定部１３３は、人物領域に関する情報として、人物領域の特徴を示す特徴ベクトルに基づいて、人物が所在する空間の快適さを推定する。
【0097】
これにより、情報処理装置１００は、画像の特徴が圧縮された特徴ベクトルを用いることができるので、画像をそのまま入力として用いる場合と比べて、空間の快適さの推定精度を向上させることができる。
【0098】
また、推定部１３３は、赤外線カメラで撮影されたサーマル画像のうち人物領域に関する情報に基づいて、人物が所在する空間の快適さを推定する。
【0099】
このように、情報処理装置１００は、姿勢推定技術を用いることにより、サーマル画像の中から人物が撮像された領域である人物領域をより精緻に特定することができる。これにより、情報処理装置１００は、サーマル画像の中から推定対象である人物の人物領域を精緻に特定したうえで、精緻に特定された人物領域の特徴に基づいて、推定対象となる人物の代謝量（活動量）に関する情報を推定することができる。すなわち、情報処理装置１００は、推定対象となる人物の代謝量（活動量）に関する情報の推定精度を向上させることができる。
【0100】
また、推定部１３３は、ＲＧＢカメラで撮影された人物を含むＲＧＢ画像に関する情報に基づいて、人物が所在する空間の快適さを推定する。また、推定部１３３は、赤外線カメラで撮影された人物を含むサーマル画像に関する情報に基づいて、人物が所在する空間の快適さを推定する。
【0101】
これにより、情報処理装置１００は、人物が所在する空間全体の状態に基づいて人物が所在する空間の快適さを推定することができるので、空間の快適さの推定精度を向上させることができる。
【0102】
また、推定部１３３は、人物が所在する空間の温度および湿度に関する情報に基づいて、人物が所在する空間の快適さを推定する。
【0103】
これにより、情報処理装置１００は、環境モニタリングの結果に基づいて人物が所在する空間の快適さを推定することができるので、空間の快適さの推定精度をより向上させることができる。
【0104】
また、情報処理装置１００は、空調制御部１３４をさらに備える。空調制御部１３４は、推定部１３３によって推定された空間の快適さに基づいて、人物が所在する空間の空調を制御する。
【0105】
これにより、情報処理装置１００は、環境モニタリングと、快適さ推定モデルを用いた快適さの推定と、推定結果に基づく空調制御という処理のサイクルを繰り返すことで、空間に所在する利用者にとって快適な空調制御を自動的に実現することができる。すなわち、情報処理装置１００は、利用者がリモコン等を用いて手動的に空調を制御する手間を省いて、空間に所在する利用者にとって快適な空調制御を自動的に実現することができる。
【0106】
〔８．ハードウェア構成〕
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
また、上述してきた実施形態に係る情報処理装置１００は、例えば図９に示すような構成のコンピュータ１０００によって実現される。図９は、情報処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
【0107】
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
【0108】
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
【0109】
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
【0110】
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【0111】
例えば、コンピュータ１０００が実施形態に係る情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
【0112】
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【0113】
〔９．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
【0114】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0115】
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0116】
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、推定部は、推定手段や推定回路に読み替えることができる。
【符号の説明】
【0117】
１ 情報処理システム
１０ 空調装置
２０ センサ装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 空調制御部
１０ 空調装置
２０ センサ装置
１００ 情報処理装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 生成部
１３３ 推定部
１３４ 空調制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】