知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024176119
(43)【公開日】2024-12-19
(54)【発明の名称】推定システム、推定方法及びプログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20241212BHJP
G01V 8/10 20060101ALI20241212BHJP
【ＦＩ】
G06T7/20 300Z
G01V8/10 S
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023094382
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】浦 千人
(72)【発明者】
【氏名】古賀 達雄
(72)【発明者】
【氏名】金森 圭太
(72)【発明者】
【氏名】伊藤 和雄
【テーマコード（参考）】
2G105
5L096
【Ｆターム（参考）】
2G105AA01
2G105BB16
2G105CC04
2G105DD01
2G105EE06
2G105GG03
2G105HH01
2G105HH04
5L096CA18
5L096DA02
5L096FA35
5L096FA67
5L096FA69
5L096HA02
(57)【要約】
【課題】赤外線センサの検知領域に人が存在しない場合であっても人の動作を推定する。
【解決手段】推定システム１は、第１推定部２３２と、第２推定部２３３と、を備える。第１推定部２３２は、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定部２３３は、第１推定部２３２による推定結果に基づいて、推定結果に関連する人の動作を推定する。
【選択図】図１
【解決手段】推定システム１は、第１推定部２３２と、第２推定部２３３と、を備える。第１推定部２３２は、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定部２３３は、第１推定部２３２による推定結果に基づいて、推定結果に関連する人の動作を推定する。
【選択図】図１
【特許請求の範囲】
【請求項1】
赤外線センサによって取得された検知領域の温度分布情報に基づいて、前記検知領域に存在する熱源となる物体に関する推定を行う第１推定部と、
前記第１推定部による推定結果に基づいて、前記推定結果に関連する人の動作を推定する第２推定部と、
を備える、
推定システム。
前記第１推定部による推定結果に基づいて、前記推定結果に関連する人の動作を推定する第２推定部と、
を備える、
推定システム。
【請求項2】
前記第１推定部は、時系列に沿った複数の前記温度分布情報に基づいて、前記検知領域に存在する人の姿勢を時系列に沿って推定し、
前記第２推定部は、前記第１推定部による時系列に沿った前記人の姿勢の推定結果に基づいて、前記検知領域に存在する前記人の動作を推定する、
請求項１に記載の推定システム。
前記第２推定部は、前記第１推定部による時系列に沿った前記人の姿勢の推定結果に基づいて、前記検知領域に存在する前記人の動作を推定する、
請求項１に記載の推定システム。
【請求項3】
前記第１推定部は、前記温度分布情報に基づいて、前記検知領域に存在する人の姿勢の推定と、前記検知領域に存在する前記熱源となる物に関する推定とを行い、
前記第２推定部は、前記第１推定部による前記人の姿勢の推定結果と、前記熱源となる物に関する推定結果とに基づいて、前記検知領域に存在する前記人の動作を推定する、
請求項１に記載の推定システム。
前記第２推定部は、前記第１推定部による前記人の姿勢の推定結果と、前記熱源となる物に関する推定結果とに基づいて、前記検知領域に存在する前記人の動作を推定する、
請求項１に記載の推定システム。
【請求項4】
前記赤外線センサとしての第１赤外線センサと、前記第１赤外線センサとは別の位置に配置された第２赤外線センサとがあり、
前記第１推定部は、前記第１赤外線センサによって取得された第１温度分布情報と、前記第２赤外線センサによって取得された第２温度分布情報とに基づいて、前記第１赤外線センサの第１検知領域及び前記第２赤外線センサの第２検知領域の両方に存在する熱源となる物体に関する推定を行い、
前記第２推定部は、前記第１推定部による前記第１検知領域及び前記第２検知領域の両方に存在する前記物体に関する推定結果に基づいて、前記推定結果に関係する人の動作を推定する、
請求項１～３のいずれか１項に記載の推定システム。
前記第１推定部は、前記第１赤外線センサによって取得された第１温度分布情報と、前記第２赤外線センサによって取得された第２温度分布情報とに基づいて、前記第１赤外線センサの第１検知領域及び前記第２赤外線センサの第２検知領域の両方に存在する熱源となる物体に関する推定を行い、
前記第２推定部は、前記第１推定部による前記第１検知領域及び前記第２検知領域の両方に存在する前記物体に関する推定結果に基づいて、前記推定結果に関係する人の動作を推定する、
請求項１～３のいずれか１項に記載の推定システム。
【請求項5】
前記第２推定部は、前記第１推定部による前記推定結果と、人を検知する人検知部の検知結果、人の位置情報、及び可視光カメラの撮像画像の少なくとも１つとに基づいて、前記推定結果に関係する前記人の動作を推定する、
請求項１～３のいずれか１項に記載の推定システム。
請求項１～３のいずれか１項に記載の推定システム。
【請求項6】
前記第１推定部は、
前記検知領域に存在する前記熱源となる物体の放射率を推定し、
推定した前記物体の前記放射率と、物質と放射率とが関連付けられた放射率情報とに基づいて、前記検知領域に存在する前記熱源となる物体の種類を推定し、
前記第２推定部は、少なくとも前記第１推定部にて推定された前記熱源となる物体の種類に基づいて、前記推定結果に関係する前記人の動作を推定する、
請求項１～３のいずれか１項に記載の推定システム。
前記検知領域に存在する前記熱源となる物体の放射率を推定し、
推定した前記物体の前記放射率と、物質と放射率とが関連付けられた放射率情報とに基づいて、前記検知領域に存在する前記熱源となる物体の種類を推定し、
前記第２推定部は、少なくとも前記第１推定部にて推定された前記熱源となる物体の種類に基づいて、前記推定結果に関係する前記人の動作を推定する、
請求項１～３のいずれか１項に記載の推定システム。
【請求項7】
前記第１推定部は、前記温度分布情報に基づいて、前記検知領域の温度分布のヒストグラムの平坦化を行ったうえで前記検知領域の熱画像を生成し、前記検知領域に存在する前記熱源となる物体に関する推定を行う、
請求項１～３のいずれか１項に記載の推定システム。
請求項１～３のいずれか１項に記載の推定システム。
【請求項8】
１以上のプロセッサによって実行される推定方法であって、
赤外線センサによって取得された検知領域の温度分布情報に基づいて、前記検知領域に存在する熱源となる物体に関する推定を行う第１推定ステップと、
前記第１推定ステップでの推定結果に基づいて、前記推定結果に関する人の動作を推定する第２推定ステップと、
を有する、
推定方法。
赤外線センサによって取得された検知領域の温度分布情報に基づいて、前記検知領域に存在する熱源となる物体に関する推定を行う第１推定ステップと、
前記第１推定ステップでの推定結果に基づいて、前記推定結果に関する人の動作を推定する第２推定ステップと、
を有する、
推定方法。
【請求項9】
請求項８に記載の推定方法を、１以上のプロセッサに実行させるための、
プログラム。
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に推定システム、推定方法及びプログラムに関し、より詳細には、赤外線センサを用いる推定システム、推定方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、画像処理装置が開示されている。特許文献１の画像処理装置は、センサ部で熱画像を計測し、熱画像から人の姿勢を推定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平６－１１７８３６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、特許文献１の画像処理装置では、センサ部の検知領域に人が存在しない場合に人に関する検知ができないという問題がある。
【0005】
本開示は上記事由に鑑みてなされており、赤外線センサの検知領域に人が存在しない場合であっても人の動作を推定することができる推定システム、推定方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る推定システムは、第１推定部と、第２推定部と、を備える。前記第１推定部は、赤外線センサによって取得された検知領域の温度分布情報に基づいて、前記検知領域に存在する熱源となる物体に関する推定を行う。前記第２推定部は、前記第１推定部による推定結果に基づいて、前記推定結果に関連する人の動作を推定する。
【0007】
本開示の一態様に係る推定方法は、１以上のプロセッサによって実行される推定方法である。前記推定方法は、第１推定ステップと、第２推定ステップと、を有する。前記第１推定ステップでは、赤外線センサによって取得された検知領域の温度分布情報に基づいて、前記検知領域に存在する熱源となる物体に関する推定を行う。前記第２推定ステップでは、前記第１推定ステップでの推定結果に基づいて、前記推定結果に関する人の動作を推定する。
【0008】
本開示の一態様に係るプログラムは、前記推定方法を、１以上のプロセッサに実行させるためのプログラムである。
【発明の効果】
【0009】
本開示の上記態様に係る推定システム、推定方法及びプログラムによれば、赤外線センサの検知領域に人が存在しない場合であっても人の動作を推定することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、本開示に関する好ましい各実施形態について図面を参照しつつ詳細に説明する。なお、以下に説明する各実施形態においてに共通する要素には同一符号を付しており、共通する要素についての重複する説明は省略する場合がある。以下の各実施形態は、本開示の様々な実施形態の一つに過ぎない。各実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、各実施形態（各変形例を含む）は、適宜組み合わせて実現されてもよい。
【0012】
【0013】
図１に示すように、実施形態１の推定システム１は、施設１００に設けられる。推定システム１は、施設１００内にいる人の動作を推定するシステムである。なお、実施形態１では、施設１００がオフィスである場合を想定する。なお、本開示でいう「施設」は、居住用途で用いられる住宅施設、並びに店舗、オフィス、福祉施設、教育施設、病院及び工場等の非住宅施設を含む。非住宅施設には、飲食店、遊技場、ホテル、旅館、幼稚園、保育所及び公民館等も含む。つまり、施設１００は、マンション等の住宅施設であってもよいし、オフィス等の非住宅施設であってもよい。さらに、施設１００は、例えば、低層階が店舗で高層階が住戸というように、住宅施設と非住宅施設とが混在する態様の施設も含む。
【0014】
推定システム１は、第１推定部２３２と、第２推定部２３３と、を備える。
【0015】
第１推定部２３２は、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。なお、本開示でいう「熱源となる物体」は、人、及び放熱又は発熱する物を含む。また、本開示でいう「物」は、人を含まない意図である。
【0016】
第２推定部２３３は、第１推定部２３２による推定結果に基づいて、第１推定部２３２による推定結果に関連する人の動作を推定する。
【0017】
例えば、椅子に座ってパーソナルコンピュータを使った業務を行っていた人が、トイレに行く等の理由で離席した場合、離席した人が使用していたパーソナルコンピュータの液晶ディスプレイ等の表示部、及び椅子等には、離席した人の使用による熱が残っている。例えば離席した人が使用していた表示部及び椅子が赤外線センサ３の検知領域に存在している場合、第１推定部２３２は、検知領域に存在する熱源となる物体が表示部及び椅子であることを推定する。そして、第２推定部２３３は、検知領域に存在する熱源となる物体が表示部及び椅子であるという推定結果に基づいて、表示部及び椅子に関連する人の動作を推定する。例えば第２推定部２３３は、表示部及び椅子の温度に基づいて、人が作業中である又は人が離席中であるという人の動作を推定する。つまり、実施形態１に係る推定システム１によれば、赤外線センサ３の検知領域に人が存在しない場合であっても、検知領域に存在する熱源となる物体に関連する人の動作を推定することができる。
【0018】
【0019】
（２．１）推定システムの構成
図１に示すように、推定システム１は、推定装置２と、赤外線センサ３と、を備える。
図１に示すように、推定システム１は、推定装置２と、赤外線センサ３と、を備える。
【0020】
（２．２）赤外線センサの構成
赤外線センサ３は、施設１００の壁又は天井等の造営材に直接的又は間接的に設置される。実施形態１では、赤外線センサ３が、赤外線センサ３が取得した温度分布情報に基づいて、熱画像Ｇ１（図２参照）を生成する赤外線カメラである場合を例示する。
赤外線センサ３は、施設１００の壁又は天井等の造営材に直接的又は間接的に設置される。実施形態１では、赤外線センサ３が、赤外線センサ３が取得した温度分布情報に基づいて、熱画像Ｇ１（図２参照）を生成する赤外線カメラである場合を例示する。
【0021】
赤外線センサ３は、レンズ等の光学系部品と、熱画像撮像素子（又は複数の赤外線検出部）と、熱画像生成部と、を有する。複数の赤外線検出部は、例えば２次元アレイ状に配置されている。
【0022】
赤外線センサ３は、赤外線センサ３の検知領域に存在する物体が発する遠赤外線等の赤外線を、光学系部品を介して複数の赤外線検出部が検出することで、赤外線センサ３の検知領域の温度分布情報を取得する。また、実施形態１の赤外線センサ３は、時系列に沿った複数の温度分布情報を取得する。「温度分布情報」は、赤外線センサ３の検知領域の温度分布を示す情報である。より具体的には、「温度分布情報」は、複数の赤外線検出部の各々が検出した赤外線の情報（つまり温度の情報）と、２次元での配置情報とが対応付けられた情報である。
【0023】
赤外線センサ３の熱画像生成部は、検知領域の温度分布情報に基づいて、２次元の熱画像Ｇ１（図２参照）を生成する。つまり、熱画像Ｇ１は、赤外線センサ３の検知領域の温度分布情報に基づく熱画像である。本開示でいう「熱画像」は、熱画像データを意味し、静止画（フレーム）、動画及びコマ送りの熱画像を含み得る。本実施形態では、赤外線センサ３が生成する熱画像Ｇ１は、時系列に沿った複数のフレームを含む動画である場合を想定する。言い換えると、赤外線センサ３が生成する熱画像Ｇ１は、時系列に沿った複数の温度情報に対応する複数のフレームを含む動画である。
【0024】
図２は、赤外線センサ３によって生成される熱画像Ｇ１の例を示す。なお、図２では、赤外線センサ３によって生成される熱画像Ｇ１の温度分布（つまり赤外線センサ３の検知領域の温度分布）の例をドットハッチングの密度で示している。図２の例では、ドットハッチングの密度が小さくなる程、温度が高い。図２中のドットハッチングが付されていない部分は熱画像Ｇ１内で最も温度が高い部分である。
【0025】
赤外線センサ３は、生成した熱画像Ｇ１を、推定装置２に送信する。
【0026】
（２．３）推定装置の構成
推定装置２は、通信部２１と、記憶部２２と、処理部２３と、を備える。
推定装置２は、通信部２１と、記憶部２２と、処理部２３と、を備える。
【0027】
通信部２１は、赤外線センサ３と通信可能に構成された通信インタフェースを含む。通信部２１は、赤外線センサ３から熱画像Ｇ１を受信する。
【0028】
記憶部２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の半導体メモリである。なお、記憶部２２は、半導体メモリに限らず、ハードディスクドライブ等であってもよい。例えば、記憶部２２は、例えば施設１００の空間情報を記憶している。空間情報は、施設１００の寸法設計情報、施設１００のＢＩＭ（Building Information Modeling）データ等の３次元モデルデータ、赤外線センサ３の位置情報、及びオフィスで働く人の座席の位置情報を含む。
【0029】
処理部２３は、取得部２３１と、第１推定部２３２と、第２推定部２３３と、を有する。
【0030】
取得部２３１は、通信部２１が赤外線センサ３から受信した熱画像Ｇ１を取得する。言い換えると、取得部２３１は、通信部２１を介して、赤外線センサ３が取得した赤外線センサ３の検知領域の温度分布情報を取得する。
【0031】
第１推定部２３２は、取得部２３１によって取得された熱画像Ｇ１に基づいて、赤外線センサ３の検知領域に存在する熱源となる物体に関する推定を行う。言い換えると、第１推定部２３２は、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、赤外線センサ３の検知領域に存在する熱源となる物体に関する推定を行う。以下の説明において、第１推定部２３２が行う推定のことを第１推定処理（第１推定ステップ）と呼ぶことがある。
【0032】
第１推定部２３２は、熱画像Ｇ１に対して物体検出処理を行うことで、熱画像Ｇ１のうち熱源となる物体に対応する画像が含まれる領域Ｒ０（図２参照）を検出する。図２は、第１推定部２３２が、領域Ｒ１と領域Ｒ２とを検出した例を示す。領域Ｒ１は、赤外線センサ３の検知領域に存在する人に対応する画像Ｇ１１を含む領域である。また、領域Ｒ２は、検知領域に存在する例えば液晶ディスプレイである表示部に対応する画像Ｇ１２を含む領域である。物体検出処理を行い熱源となる物体に対応する画像が含まれる領域Ｒ０を検出することで、例えば画像セグメンテーション及び骨格推定処理等の画像解析処理の精度を向上させることができる。
【0033】
第１推定部２３２は、物体検出処理として差分検出処理を行う。差分検出処理は、例えば、背景差分を用いて領域Ｒ０を検出する処理、又はフレーム間差分を用いて人に対応する画像Ｇ１１の動き量を導出することで領域Ｒ０を検出する処理である。
【0034】
実施形態１の第１推定部２３２は、熱画像Ｇ１の領域Ｒ０に対して画像セグメンテーション及び骨格推定処理等を行うことで領域Ｒ０に含まれる熱源となる物体に関する推定を行う。
【0035】
画像セグメンテーションは、画素毎に画素が人を構成しているのか否か、画素が背景を構成しているのか否か、及び画素が人以外の他の物体を構成しているのか否かを判別する処理である。第１推定部２３２は、機械学習によって生成された学習済モデルを用いて画像セグメンテーションを行う。学習済モデルは、例えば、複数の教師データを用いた教師あり学習によって生成されている。複数の教師データは、例えば、赤外線センサ３の検知領域に熱源となる物体が存在する状況を撮像して生成された複数の熱画像である。第１推定部２３２は、赤外線センサ３が生成した熱画像Ｇ１を学習済モデルの入力とすることで、学習済モデルの出力として、検知領域に存在する熱源となる物体の種類に関する情報を得ることができる。なお、機械学習のアルゴリズムは、一例として、ニューラルネットワークである。
【0036】
骨格推定処理は、熱画像Ｇ１の領域Ｒ１のうちから、人の顔、首、肩、手、及び足等の主要部位を検出し、それらの部位を繋ぐことで人の骨格を推定する処理である。第１推定部２３２は、機械学習によって生成された学習済モデルを用いて骨格推定処理を行う。学習済モデルは、例えば、複数の教師データを用いた教師あり学習によって生成されている。複数の教師データは、例えば、検知領域に人が存在する状況を撮像した複数の熱画像である。第１推定部２３２は、赤外線センサ３が生成した熱画像Ｇ１を学習済モデルの入力とすることで、例えば学習済モデルの出力として、検知領域に存在する人の姿勢の情報を得ることができる。つまり、実施形態１の第１推定部２３２は、赤外線センサ３によって取得された温度分布情報に基づいて、赤外線センサ３の検知領域に存在する人の姿勢を推定することができる。なお、機械学習のアルゴリズムは、一例として、ニューラルネットワークである。
【0037】
例えば、実施形態１の第１推定部２３２は、時系列に沿った複数のフレーム（つまり、フレームの時系列データ）を含む熱画像Ｇ１に基づいて、赤外線センサ３の検知領域に存在する人の姿勢を時系列に沿って推定する。言い換えると、第１推定部２３２は、時系列に沿った複数の温度分布情報熱に基づいて、赤外線センサ３の検知領域に存在する人の姿勢を時系列に沿って推定する。第１推定部２３２は、例えば骨格推定処理を行い、赤外線センサ３の検知領域に存在する人の姿勢を時系列に沿って推定する。
【0038】
また、例えば、実施形態１の第１推定部２３２は、熱画像Ｇ１に基づいて、赤外線センサ３の検知領域に存在する人の姿勢の推定と、検知領域に存在する熱源となる物に関する推定とを行う。言い換えると、第１推定部２３２は、温度分布情報に基づいて、赤外線センサ３の検知領域に存在する人の姿勢の推定と、検知領域に存在する熱源となる物に関する推定とを行う。第１推定部２３２は、例えば骨格推定処理を行い赤外線センサ３の検知領域に存在する人の姿勢を推定し、例えば画像セグメンテーションを行い検知領域に存在する熱源となる物の種類を推定する。
【0039】
また、例えば、第１推定部２３２は、温度分布情報に基づいて、検知領域の温度分布のヒストグラムの平坦化を行ったうえで、検知領域の熱画像を生成（又は変換）し、検知領域に存在する熱源となる物体に関する推定を行う。ヒストグラムの平坦化が行われた後の熱画像に基づいて、第１推定部２３２が検知領域に存在する熱源となる物体に関する推定を行うことで、第１推定部２３２が行う推定の推定精度の向上を図ることができる。
【0040】
上述のように、第２推定部２３３は、第１推定部２３２による推定結果に基づいて、第１推定処理の推定結果に関連する人の動作を推定する。以下の説明において、第２推定部２３３が行う推定のことを第２推定処理（第２推定ステップ）と呼ぶことがある。なお、「推定結果に関連する人」は、赤外線センサ３の検知領域に存在する人、赤外線センサ３の検知領域に存在する熱源となる物を所持又は使用等する人、及び赤外線センサ３の検知領域に存在する熱源となる物の近傍にいる人等を含む。「熱源となる物の近傍」は、熱源となる物からの直線距離が所定距離以内であることをいう。所定距離は、例えば１ｍである。ただし、所定距離は、任意に設定可能であってもよく、所定距離は、例えば２ｍであってもよい。
【0041】
例えば、第２推定部２３３は、第１推定部２３２による時系列に沿った人の姿勢の推定結果に基づいて、赤外線センサ３の検知領域に存在する人の動作を推定する。例えば検知領域に存在する人が椅子に座って両手を前に出しているような姿勢を所定時間続けていると第１推定部２３２に推定されている場合に、第２推定部２３３は、検知領域に存在する人がパーソナルコンピュータを使用していると推定する。実施形態１の推定システム１によれば、時系列に沿った人の姿勢の推定結果に基づいて、検知領域に存在する人の動作を推定するため、第２推定部２３３が行う推定の推定精度の向上を図ることができる。
【0042】
例えば、第２推定部２３３は、第１推定部２３２による人の姿勢の推定結果と、熱源となる物に関する推定結果とに基づいて、検知領域に存在する人の動作を推定する。例えば第１推定処理にて、検知領域に存在する人が椅子に座って両手を前に出しているような姿勢をしていると推定され、かつ、人の顔が検知領域に存在する表示部を向いていると推定された場合、第２推定部２３３は、検知領域に存在する人がパーソナルコンピュータを使用していると推定する。また、例えば、第１推定処理にて、検知領域に存在する人が、両手を前に出してキーボードに手を乗せていると推定された場合、第２推定部２３３は、検知領域に存在する人がパーソナルコンピュータを使用していると推定する。実施形態１の推定システム１によれば、第１推定部２３２による人の姿勢の推定結果と、熱源となる物に関する推定結果とに基づいて、検知領域に存在する人の動作を推定するため、第２推定部２３３が行う推定の推定精度の向上を図ることができる。
【0043】
実施形態１の第２推定部２３３は、機械学習によって生成された学習済モデルを用いて第２推定処理を行う。学習済モデルは、例えば、複数の教師データを用いた教師あり学習によって生成されている。複数の教師データは、例えば、第１推定部２３２による第１推定処理の推定結果である。第２推定部２３３は、第１推定部２３２による第１推定処理の推定結果を学習済モデルの入力とすることで、例えば学習済モデルの出力として、赤外線センサ３の検知領域に存在する人の動作の情報を得ることができる。つまり、実施形態１の第２推定部２３３は、第１推定部２３２による第１推定処理の推定結果に基づいて、赤外線センサ３の検知領域に存在する人の動作を推定することができる。なお、機械学習のアルゴリズムは、一例として、ニューラルネットワークである。
【0044】
【0045】
まず、推定システム１は、温度分布情報を取得する（Ｓ１）。より具体的には、赤外線センサ３が、赤外線センサ３の検知領域の温度分布情報を取得する。
【0046】
次に、推定システム１は、熱画像Ｇ１を生成する（Ｓ２）。より具体的には、赤外線センサ３が、検知領域の温度分布情報に基づく熱画像Ｇ１を生成する。
【0047】
次に、推定システム１は、第１推定処理（第１推定ステップ）を行う（Ｓ３）。より具体的には、第１推定部２３２が、物体検出処理、画像セグメンテーション、及び骨格推定処理等の処理を行い、赤外線センサ３の検知領域に存在する熱源となる物体に関する推定を行う。
【0048】
次に、推定システム１は、第２推定処理（第２推定ステップ）を行う（Ｓ４）。より具体的には、第２推定部２３３が、第１推定部２３２による推定結果に基づいて、推定結果に関連する人の動作を推定する。
【0049】
図３に示すフローチャートは、一例に過ぎず、処理が適宜追加又は削除されてもよい。
【0050】
（４）変形例
以下、実施形態１の変形例を列挙する。
以下、実施形態１の変形例を列挙する。
【0051】
（４．１）変形例１
第１推定部２３２は、熱画像Ｇ１に基づいて、赤外線センサ３の検知領域に存在する熱源となる物体の放射率を推定してもよい。そして、第１推定部２３２は、推定した物体の放射率と、例えば記憶部２２にあらかじめ記憶される放射率情報とに基づいて、検知領域に存在する熱源となる物体の種類を推定する。「放射率情報」は、物質と放射率とが関連付けられた情報である。物質は、例えば物体表面の材質であってもよい。放射率情報は、例えば人体と人体の概ねの放射率とが関係付けられた情報、及び液晶ディスプレイと液晶ディスプレイの概ねの放射率とが関係付けられた情報等を含む。
第１推定部２３２は、熱画像Ｇ１に基づいて、赤外線センサ３の検知領域に存在する熱源となる物体の放射率を推定してもよい。そして、第１推定部２３２は、推定した物体の放射率と、例えば記憶部２２にあらかじめ記憶される放射率情報とに基づいて、検知領域に存在する熱源となる物体の種類を推定する。「放射率情報」は、物質と放射率とが関連付けられた情報である。物質は、例えば物体表面の材質であってもよい。放射率情報は、例えば人体と人体の概ねの放射率とが関係付けられた情報、及び液晶ディスプレイと液晶ディスプレイの概ねの放射率とが関係付けられた情報等を含む。
【0052】
第２推定部２３３は、少なくとも第１推定部２３２にて推定された熱源となる物体の種類に基づいて、第１推定部２３２による推定結果に関係する人の動作を推定する。例えば、第２推定部２３３は、第１推定部２３２にて推定された物体の種類と、第１推定部２３２にて推定された人の姿勢とに基づいて、第１推定部２３２による推定結果に関係する人の動作を推定する。
【0053】
第１推定部２３２が放射率を推定したうえで、推定した放射率に基づいて検知領域に存在する熱源となる物体の種類を推定することで、第１推定処理の精度の向上を図ることができる。
【0054】
（４．２）他の変形例
実施形態１に係る推定装置２と同等の機能は、推定方法、プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る推定方法は、１以上のプロセッサによって実行される推定方法である。推定方法は、第１推定ステップと、第２推定ステップと、を有する。第１推定ステップでは、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定ステップでは、第１推定ステップでの推定結果に基づいて、推定結果に関する人の動作を推定する。一態様に係るプログラムは、上記の推定方法を、１以上のプロセッサに実行させるためのプログラムである。
実施形態１に係る推定装置２と同等の機能は、推定方法、プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。一態様に係る推定方法は、１以上のプロセッサによって実行される推定方法である。推定方法は、第１推定ステップと、第２推定ステップと、を有する。第１推定ステップでは、赤外線センサ３によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定ステップでは、第１推定ステップでの推定結果に基づいて、推定結果に関する人の動作を推定する。一態様に係るプログラムは、上記の推定方法を、１以上のプロセッサに実行させるためのプログラムである。
【0055】
本開示における推定システム１又は推定方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における推定システム１又は推定方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１又は複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１又は複数の電子回路で構成される。
【0056】
また、推定システム１における複数の機能が、１つの筐体内に集約されていることは推定システム１に必須の構成ではなく、推定システム１の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、推定システム１の少なくとも一部の機能、例えば、推定装置２の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【0057】
実施形態１において、複数の装置に分散されている推定システム１の少なくとも一部の機能が、１つの筐体内に集約されていてもよい。例えば、推定装置２と赤外線センサ３とに分散されている推定システム１の一部の機能が、１つの筐体内に集約されていてもよい。
【0058】
実施形態１では、赤外線センサ３は赤外線カメラである場合を例示した。しかし、赤外線センサ３は検知領域の温度分布情報を取得できればよい。例えば赤外線センサ３は、取得した温度分布情報を推定装置２に送信すればよい。そして、推定装置２は、受信した温度分布情報に基づく熱画像Ｇ１を生成し、熱画像Ｇ１を用いて赤外線センサ３の検知領域に存在する物体に関する人の動作を推定する。
【0059】
赤外線センサ３は、広角レンズ、魚眼レンズ、又は光軸の向きが異なる複数のレンズで構成された複眼レンズ等の比較的広範囲を撮像可能なレンズを備えた赤外線センサであってもよい。赤外線センサ３が比較的広範囲を撮像可能なレンズを備えた赤外線センサである場合、赤外線センサ３は、例えば施設１００の天井等に設置され、フロアの概ね全域を検知領域とするように配置されてもよい。
【0060】
実施形態１では、第１推定部２３２が物体検出処理として差分検出処理を行う場合を例示した。しかし、第１推定部２３２は、機械学習によって生成された学習済モデルを用いる物体検出処理を行ってもよい。学習済モデルは、例えば、複数の教師データを用いた教師あり学習によって生成されている。複数の教師データは、例えば、赤外線センサ３の検知領域に人が存在する状況を撮像した複数の熱画像である。第１推定部２３２は、赤外線センサ３が生成した熱画像Ｇ１を学習済モデルの入力とすることで、学習済モデルの出力として、赤外線センサ３の検知領域（又は熱画像Ｇ１）に人が存在しているか否かの情報を得ることができる。なお、機械学習のアルゴリズムは、一例として、ニューラルネットワークである。
【0061】
実施形態１では、機械学習のアルゴリズムは一例としてニューラルネットワークである場合を例示した。ただし、機械学習のアルゴリズムは、ニューラルネットワークに限定されず、例えば、ＸＧＢ（eXtreme Gradient Boosting）回帰、ランダムフォレスト（Random Forest）、決定木（decision tree）、ロジスティック回帰（Logistic Regression）、サポートベクターマシン（SVM：Support vector machine）、単純ベイズ（Naive Bayes）分類器、又はｋ近傍法（k-nearest neighbors）等であってもよい。さらに、機械学習のアルゴリズムは、例えば、混合ガウスモデル（GMM：Gaussian Mixture Model）、又はｋ平均法（k-means clustering）等であってもよい。
【0062】
学習済みモデルは、追加の学習を行うことで学習済みモデルを更新してもよい。
【0063】
なお、第１推定部２３２が、機械学習によって生成された学習済モデルを用いて第１推定処理を行うことは必須ではない。例えば、第１推定部２３２は、予め設定された手法（ルール）に基づいて、第１推定処理を行ってもよい。
【0064】
また、第２推定部２３３が、機械学習によって生成された学習済モデルを用いて第２推定処理を行うことは必須ではない。例えば、第２推定部２３３は、予め設定された手法（ルール）に基づいて、第２推定処理を行ってもよい。
【0065】
（実施形態２）
図４に示すように、実施形態２に係る推定システム１Ａは、赤外線センサ３とは別種類の検知部４を更に備える点で、実施形態１に係る推定システム１と相違する。
図４に示すように、実施形態２に係る推定システム１Ａは、赤外線センサ３とは別種類の検知部４を更に備える点で、実施形態１に係る推定システム１と相違する。
【0066】
検知部４は、例えば着座センサ又は人感センサ等の人検知部である。検知部４は、赤外線センサ３の検知領域に存在する人を検知する。例えば着座センサである検知部４は、赤外線センサ３の検知領域に存在する椅子に配置される。検知部４は、例えば人が椅子に座っている場合に、人が椅子に座っていることを示す着座情報を、推定装置２に送信する。
【0067】
第２推定部２３３は、第１推定部２３２による推定結果と、人を検知する人検知部である検知部４の検知結果とに基づいて、第１推定部２３２による推定結果に関する人の動作を推定する。例えば、赤外線センサ３の検知領域に存在する液晶ディスプレイ等の表示部が動作していると第１推定部２３２が推定し、人が着座していることを検知部４が検知している場合に、第２推定部２３３は、椅子に着座している人がパーソナルコンピュータを使用していると推定する。
【0068】
なお、検知部４は、可視光カメラであってもよい。可視光カメラである検知部４は、赤外線センサ３の検知領域に存在する人を検知する。
【0069】
第２推定部２３３は、第１推定部２３２による推定結果と、可視光カメラである検知部４の検知結果とに基づいて、第１推定部２３２による推定結果に関する人の動作を推定する。例えば、赤外線センサ３の検知領域に存在する液晶ディスプレイ等の表示部が動作していると第１推定部２３２が推定し、赤外線センサ３の検知領域に人が存在することを検知部４が検知している場合に、第２推定部２３３は、可視光カメラである検知部が検知している人がパーソナルコンピュータを使用していると推定する。
【0070】
また、第２推定部２３３は、第１推定部２３２による推定結果と、人の位置情報とに基づいて、第１推定部２３２による推定結果に関する人の動作を推定する。人の位置情報は、例えば施設１００に設けられるローカル測位システム（ＬＰＳ：Local Positioning System）である測位システム等が取得する人の位置情報である。
【0071】
例えば、赤外線センサ３の検知領域に存在する液晶ディスプレイ等の表示部が動作していると第１推定部２３２が推定し、赤外線センサ３の検知領域に人が存在することを位置情報が示している場合に、第２推定部２３３は、赤外線センサ３の検知領域に存在している人がパーソナルコンピュータを使用していると推定する。
【0072】
つまり、実施形態２に係る第２推定部２３３は、第１推定部２３２による推定結果と、人を検知する人検知部（検知部４）の検知結果、人の位置情報、及び可視光カメラ（検知部４）の撮像画像の少なくとも１つとに基づいて、第１推定部２３２による推定結果に関係する人の動作を推定する。第１推定部２３２の推定結果と、赤外線センサ３とは別の検知部４の検知結果又は人の位置情報とを用いることで、第２推定部２３３による推定の推定精度の向上を図ることができる。また、第１推定部２３２の処理負担の低減を図ることができる。
【0073】
（実施形態３）
図５に示すように、実施形態３に係る推定システム１Ｂは、第１赤外線センサ３Ａと第２赤外線センサ３Ｂとを備える点で、実施形態１に係る推定システム１及び実施形態２に係る推定システム１Ａと相違する。
図５に示すように、実施形態３に係る推定システム１Ｂは、第１赤外線センサ３Ａと第２赤外線センサ３Ｂとを備える点で、実施形態１に係る推定システム１及び実施形態２に係る推定システム１Ａと相違する。
【0074】
第１赤外線センサ３Ａは、例えば実施形態１の赤外線センサ３である。第２赤外線センサ３Ｂは、第１赤外線センサ３Ａとは別の位置に配置される。第２赤外線センサ３Ｂは、第１赤外線センサ３Ａの検知領域に存在する物体を、第２赤外線センサ３Ｂの検知領域に含むように設置されている。つまり、第１赤外線センサ３Ａと第２赤外線センサ３Ｂとは、所定位置にある物体を、それぞれ別角度から同じタイミングで検知領域に含むように設置されている。言い換えると、第１赤外線センサ３Ａの検知領域に存在する物体は、第２赤外線センサ３Ｂの検知領域にも存在する。なお、実施形態３の第２赤外線センサ３Ｂは、赤外線センサ３同様に赤外線カメラである。
【0075】
第１推定部２３２は、第１赤外線センサ３Ａによって生成された熱画像Ｇ１と、第２赤外線センサ３Ｂによって生成された熱画像とに基づいて、第１赤外線センサ３Ａの第１検知領域及び第２赤外線センサ３Ｂの第２検知領域の両方に存在する熱源となる物体に関する推定を行う。言い換えると、第１推定部２３２は、第１赤外線センサ３Ａによって取得された第１温度分布情報と、第２赤外線センサ３Ｂによって取得された第２温度分布情報とに基づいて、第１赤外線センサ３Ａの第１検知領域及び第２赤外線センサ３Ｂの第２検知領域の両方に存在する熱源となる物体に関する推定を行う。
【0076】
第２推定部２３３は、第１推定部２３２による第１検知領域及び前記第２検知領域の両方に存在する物体に関する推定結果に基づいて、第１推定部２３２による推定結果に関係する人の動作を推定する。
【0077】
実施形態３の推定システム１Ｂによれば、第１推定部２３２が別の位置に配置された２つの赤外線センサによって生成された２つの熱画像に基づいて第１推定処理を行うため、第１推定処理の推定精度の向上を図ることができる。また、第１推定部２３２による第１推定処理の推定精度が向上することで、第２推定部２３３による第２推定処理の推定精度の向上を図ることができる。
【0078】
（まとめ）
以上述べた実施形態から明らかなように、第１の態様に係る推定システム（１；１Ａ；１Ｂ）は、第１推定部（２３２）と、第２推定部（２３３）と、を備える。第１推定部（２３２）は、赤外線センサ（３）によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定部（２３３）は、第１推定部（２３２）による推定結果に基づいて、推定結果に関連する人の動作を推定する。
以上述べた実施形態から明らかなように、第１の態様に係る推定システム（１；１Ａ；１Ｂ）は、第１推定部（２３２）と、第２推定部（２３３）と、を備える。第１推定部（２３２）は、赤外線センサ（３）によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定部（２３３）は、第１推定部（２３２）による推定結果に基づいて、推定結果に関連する人の動作を推定する。
【0079】
この態様によれば、赤外線センサ（３）の検知領域に人が存在しない場合であっても、検知領域に存在する熱源となる物体に関連する人の動作を推定することができる。
【0080】
第２の態様に係る推定システム（１；１Ａ；１Ｂ）では、第１の態様において、第１推定部（２３２）は、時系列に沿った複数の温度分布情報に基づいて、検知領域に存在する人の姿勢を時系列に沿って推定する。第２推定部（２３３）は、第１推定部（２３２）による時系列に沿った人の姿勢の推定結果に基づいて、検知領域に存在する人の動作を推定する。
【0081】
この態様によれば、第２推定部（２３３）が行う推定の推定精度の向上を図ることができる。
【0082】
第３の態様に係る推定システム（１；１Ａ；１Ｂ）では、第１又は第２の態様において、第１推定部（２３２）は、温度分布情報に基づいて、検知領域に存在する人の姿勢の推定と、検知領域に存在する熱源となる物に関する推定とを行う。第２推定部（２３３）は、第１推定部（２３２）による人の姿勢の推定結果と、熱源となる物に関する推定結果とに基づいて、検知領域に存在する人の動作を推定する。
【0083】
この態様によれば、第２推定部（２３３）が行う推定の推定精度の向上を図ることができる。
【0084】
第４の態様に係る推定システム（１Ｂ）では、第１から第３のいずれか１つの態様において、赤外線センサ（３）としての第１赤外線センサ（３Ａ）と、第１赤外線センサ（３Ａ）とは別の位置に配置された第２赤外線センサ（３Ｂ）とがある。第１推定部（２３２）は、第１赤外線センサ（３Ａ）によって取得された第１温度分布情報と、第２赤外線センサ（３Ｂ）によって取得された第２温度分布情報とに基づいて、第１赤外線センサ（３Ａ）の第１検知領域及び第２赤外線センサ（３Ｂ）の第２検知領域の両方に存在する熱源となる物体に関する推定を行う。第２推定部（２３３）は、第１推定部（２３２）による第１検知領域及び第２検知領域の両方に存在する物体に関する推定結果に基づいて、推定結果に関係する人の動作を推定する。
【0085】
この態様によれば、第１推定部（２３２）による推定の推定精度、及び、第２推定部（２３３）による推定の推定精度の向上を図ることができる。
【0086】
第５の態様に係る推定システム（１Ａ）では、第１から第４のいずれか１つの態様において、第２推定部（２３３）は、第１推定部（２３２）による推定結果と、人を検知する人検知部（検知部４）の検知結果、人の位置情報、及び可視光カメラ（検知部４）の撮像画像の少なくとも１つとに基づいて、推定結果に関係する人の動作を推定する。
【0087】
この態様によれば、第２推定部（２３３）による推定の推定精度の向上を図ることができる。また、第１推定部（２３２）の処理負担の低減を図ることができる。
【0088】
第６の態様に係る推定システム（１；１Ａ；１Ｂ）では、第１から第５のいずれか１つの態様において、第１推定部（２３２）は、検知領域に存在する熱源となる物体の放射率を推定する。第１推定部（２３２）は、推定した物体の放射率と、物質と放射率とが関連付けられた放射率情報とに基づいて、検知領域に存在する熱源となる物体の種類を推定する。第２推定部（２３３）は、少なくとも第１推定部（２３２）にて推定された熱源となる物体の種類に基づいて、推定結果に関係する人の動作を推定する。
【0089】
この態様によれば、第１推定部（２３２）による推定精度の向上を図ることができる。
【0090】
第７の態様に係る推定システム（１；１Ａ；１Ｂ）では、第１から第６のいずれか１つの態様において、第１推定部（２３２）は、温度分布情報に基づいて、検知領域の温度分布のヒストグラムの平坦化を行ったうえで検知領域の熱画像を生成し、検知領域に存在する熱源となる物体に関する推定を行う。
【0091】
この態様によれば、第１推定部（２３２）が行う推定の推定精度の向上を図ることができる。
【0092】
第１の態様以外の構成については、推定システムに必須の構成ではなく、適宜省略可能である。
【0093】
第８の態様に係る推定方法は、１以上のプロセッサによって実行される推定方法である。推定方法は、第１推定ステップと、第２推定ステップと、を有する。第１推定ステップでは、赤外線センサ（３）によって取得された検知領域の温度分布情報に基づいて、検知領域に存在する熱源となる物体に関する推定を行う。第２推定ステップでは、第１推定ステップでの推定結果に基づいて、推定結果に関する人の動作を推定する。
【0094】
この態様によれば、赤外線センサ（３）の検知領域に人が存在しない場合であっても、検知領域に存在する熱源となる物体に関連する人の動作を推定することができる。
【0095】
第９の態様に係るプログラムは、第８の態様に係る推定方法を、１以上のプロセッサに実行させるためのプログラムである。
【0096】
この態様によれば、赤外線センサ（３）の検知領域に人が存在しない場合であっても、検知領域に存在する熱源となる物体に関連する人の動作を推定することができる。
【符号の説明】
【0097】
１ 推定システム
１Ａ 推定システム
１Ｂ 推定システム
２３２ 第１推定部
２３３ 第２推定部
３ 赤外線センサ
３Ａ 第１赤外線センサ（赤外線センサ）
３Ｂ 第２赤外線センサ
１Ａ 推定システム
１Ｂ 推定システム
２３２ 第１推定部
２３３ 第２推定部
３ 赤外線センサ
３Ａ 第１赤外線センサ（赤外線センサ）
３Ｂ 第２赤外線センサ
【図1】
【図2】
【図3】
【図4】
【図5】