特許 7588353 人物分析システム、人物分析方法、及び、人物分析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-14

(45)【発行日】2024-11-22

(54)【発明の名称】人物分析システム、人物分析方法、及び、人物分析プログラム

(51)【国際特許分類】

   G01S 13/89 20060101AFI20241115BHJP

   G01S 13/34 20060101ALI20241115BHJP

【ＦＩ】

G01S13/89

G01S13/34

【請求項の数】 12

(21)【出願番号】P 2022207036

(22)【出願日】2022-12-23

(65)【公開番号】P2024090863

(43)【公開日】2024-07-04

【審査請求日】2024-09-09

【新規性喪失の例外の表示】特許法第３０条第２項適用 令和４年１０月１７日より、パナソニックコネクト株式会社内カスタマーエクスペリエンスセンターにて、人物分析システムのデモンストレーション・アプリケーションを公開

【早期審査対象出願】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】大野 耕祐

(72)【発明者】

【氏名】安木 慎

(72)【発明者】

【氏名】野口 浩

【審査官】藤脇 昌也

(56)【参考文献】

【文献】特開２０１９－２０７１６４（ＪＰ，Ａ）

【文献】特開２０２０－１５６６６８（ＪＰ，Ａ）

【文献】特開２０１５－２１３２５１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／３７９４６２（ＵＳ，Ａ１）

【文献】特開２０１０－２４９８７６（ＪＰ，Ａ）

【文献】特開２００９－９３３２２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／２９１６１５（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１８８５６８（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１０４５７０９４（ＣＮ，Ａ）

【文献】国際公開第２０１０／１３５７２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００ － ７／４２

１３／００ － １３／９５

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０８Ｂ １／００ － ３１／００

(57)【特許請求の範囲】

【請求項1】

監視エリアに少なくとも１つ設置され、レーダ方式によって前記監視エリアを観測した結果を含む観測データを出力するレーダ装置と、
前記観測データに基づいて、前記監視エリアに存在する各人物の位置を検出する第１の処理と、検出した前記各人物の行動を推定する第２の処理とを実行し、前記監視エリアに対応するエリアマップを表示すると共に、前記エリアマップに前記各人物の位置と行動の種類とを示すピクトグラムを所定の表示装置に表示する人物分析装置と、を備え、
前記人物分析装置は、前記各人物の行動が予め設定された行動に該当する場合に、前記ピクトグラムを前記表示装置に表示させる、
人物分析システム。

【請求項2】

前記人物分析装置は、
前記観測データに基づいて、３次元の点群データを生成し、
前記第１の処理では、前記点群データの分布に基づいて、前記各人物の位置を検出し、
前記第２の処理では、前記点群データの時間変化に基づいて、前記各人物の行動を推定する、
請求項１に記載の人物分析システム。

【請求項3】

前記第１の処理は、前記点群データを入力した場合に人物が存在する位置が出力されるように予め学習された第１のニューラルネットワークを用いて、前記各人物の位置を検出し、
前記第２の処理は、前記点群データの時間変化を入力した場合に人物の行動が出力されるように予め学習された第２のニューラルネットワークを用いて、前記各人物の行動を推定する、
請求項２に記載の人物分析システム。

【請求項4】

前記点群データは、少なくとも、各点の３次元の座標を示す座標情報と、各点の移動の方向及び速度を示す動き情報とを含み、
前記第２の処理は、少なくとも前記動き情報を前記第２のニューラルネットワークに入力することにより、人物の行動を推定する、
請求項３に記載の人物分析システム。

【請求項5】

前記人物分析装置は、
前記第１の処理では、前記点群データの分布に基づいて、人物の姿勢及び向きをさらに検出し、
推定した前記人物の行動と、検出した前記人物の姿勢及び向きとに基づいて、前記人物の行動の適否を判定し、
前記ピクトグラムと、前記人物の行動の適否の判定結果を示す情報とを一緒に表示する、
請求項２から請求項４のいずれか１項に記載の人物分析システム。

【請求項6】

前記人物分析装置は、
前記点群データ及び前記観測データに基づいて、人物のバイタルを推定し、
推定した前記人物の行動と、検出した前記人物の姿勢と、推定した前記人物のバイタルとに基づいて、前記人物の体調を判定し、
前記ピクトグラムと、前記人物の体調の判定結果を示す情報とを一緒に表示する、
請求項２から請求項４のいずれか１項 に記載の人物分析システム。

【請求項7】

前記第２のニューラルネットワークは、行動の種類毎に当該行動の推定の確からしさを示すスコアを出力するようになっており、
前記人物分析装置は、
前記スコアが所定の閾値以上である行動が複数存在する場合、当該複数の前記ピクトグラムを一緒に表示する、
請求項３に記載の人物分析システム。

【請求項8】

前記人物分析装置は、
前記複数の行動のうち最もスコアの高い行動を示す前記ピクトグラムを、他の行動を示す前記ピクトグラムと異なる色又は明度にて表示する、
請求項７に記載の人物分析システム。

【請求項9】

前記第２のニューラルネットワークは、行動の種類毎に当該行動の推定の確からしさを示すスコアを出力するようになっており、
前記人物分析装置は、
前記スコアが所定の閾値以上である行動が存在しない場合、前記スコアの上位から１又は複数の前記ピクトグラムを、前記スコアが所定の閾値以上である場合に表示される前記ピクトグラムと異なる色又は明度にて表示する、
請求項３に記載の人物分析システム。

【請求項10】

前記人物分析装置は、
検出した各人物の位置に基づいて前記各人物の他の人物との粗密を特定し、前記ピクトグラムと共に、当該人物の粗密を示す情報を一緒に表示する、
請求項２から請求項４のいずれか１項 に記載の人物分析システム。

【請求項11】

情報処理装置において、監視エリアに少なくとも１つ設置されたレーダ装置から、レーダ方式によって前記監視エリアを観測した結果を含む観測データを取得し、
前記観測データに基づいて、前記監視エリアに存在する各人物の位置を検出する第１の処理と、検出した前記各人物の行動を推定する第２の処理とを実行し、
前記監視エリアに対応するエリアマップを所定の表示装置に表示させると共に、前記各人物の行動が予め設定された行動に該当する場合に、前記各人物の位置と行動の種類とを示すピクトグラムを前記エリアマップに表示させる、
人物分析方法。

【請求項12】

請求項１１に記載の人物分析方法をコンピュータに実行させる、
人物分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人物分析システム、人物分析方法、及び、人物分析プログラムに関する。

【背景技術】

【0002】

プライバシーを保護しつつ部屋に存在する人物を検出可能なセンサとして、マイクロ波を利用して人物を検知するセンサが知られている。特許文献１には、ＦＭＣＷ（Frequency Modulated Continuous Wave）センサを利用して、生成したビート信号の周波数スペクトルにおける全周波数成分中の少なくとも一部の周波数成分の強度和を算出し、その強度和が所定の値よりも小さい場合に部屋内に物体が存在すると判定し、また、生成したビート信号のスペクトル分布によって、人物の位置を検出し、人物の状態（例えば人物が転倒している状態）を推定することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１３８７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、複数の人物のそれぞれの行動（つまり人物が何を行っているのか）を推定することは開示されていない。

【0005】

本開示の目的は、電波を照射して人物を検出するセンサを用いて、複数の人物のそれぞれについて位置の検出と行動の推定とを行うための技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様に係る人物分析システムは、監視エリアに少なくとも１つ設置され、レーダ方式によって前記監視エリアを観測した結果を含む観測データを出力するレーダ装置と、前記観測データに基づいて、前記監視エリアに存在する各人物の位置を検出する第１の処理と、検出した前記各人物の行動を推定する第２の処理とを実行し、前記監視エリアに対応するエリアマップを表示すると共に、前記エリアマップに前記各人物の位置と行動の種類とを示すピクトグラムを所定の表示装置に表示する人物分析装置と、を備え、前記人物分析装置は、前記各人物の行動が予め設定された行動に該当する場合に、前記ピクトグラムを前記表示装置に表示させる。

【0007】

本開示の一態様に係る人物分析方法は、情報処理装置において、監視エリアに少なくとも１つ設置されたレーダ装置から、レーダ方式によって前記監視エリアを観測した結果を含む観測データを取得し、前記観測データに基づいて、前記監視エリアに存在する各人物の位置を検出する第１の処理と、検出した前記各人物の行動を推定する第２の処理とを実行し、前記監視エリアに対応するエリアマップを所定の表示装置に表示させると共に、前記各人物の行動が予め設定された行動に該当する場合に、前記各人物の位置と行動の種類とを示すピクトグラムを前記エリアマップに表示させる。

【0008】

本開示の一態様に係る人物分析プログラムは、上記の人物分析方法をコンピュータに実行させる。

【0009】

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、レーダ方式によって前記監視エリアを観測した結果を用いて、監視エリアに存在する各人物の予め設定された行動について、各人物の位置と行動の種類とを示すピクトグラムの表示により、各人物がどの位置でどのような行動をとっているかを一目で確認できる。

【図面の簡単な説明】

【0011】

【図1】本実施の形態に係る人物分析システムの構成例を示す図

【図2】本実施の形態に係る表示装置の表示例を示す図

【図3】本実施の形態に係る人物分析装置の構成例を示す図

【図4】本実施の形態に係る各データに含まれる情報の一例を示す図

【図5】本実施の形態に係る人物の行動の適否を分析する例を説明するための図

【図6】本実施の形態に係る人物の体調を分析する例を説明するための図

【図7】本実施の形態に係る指定された行動を表示する例を説明するための図

【図8】本実施の形態に係る行動の推定精度の表示例を説明するための図

【図9】本実施の形態に係る行動の適否の表示条件を設定するための画面の例を示す図

【図10】本実施の形態に係る体調の表示条件を設定するための画面の例を示す図

【図11】本実施の形態に係る用途を選択するための画面の例を示す図

【図12】本実施の形態に係る検知感度を設定するための画面の例を示す図

【図13】本開示に係る人物分析装置の機能ブロックをコンピュータプログラムにより実現する情報処理装置（コンピュータ）のハードウェア構成例を示す図

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0013】

（本実施の形態）
＜人物分析システムの構成＞
図１は、本実施の形態に係る人物分析システム１０の構成例を示す図である。図２は、本実施の形態に係る表示装置５０の表示例を示す図である。

【0014】

図１に示すように、人物分析システム１０は、レーダ装置１１、サーモセンサ１２、環境センサ１３、人物分析装置２０、入力装置４０、及び、表示装置５０を含んで構成される。

【0015】

人物分析装置２０は、通信ネットワーク１４を通じて、レーダ装置１１、サーモセンサ１２及び環境センサ１３の少なくとも１つとデータを送受信できてよい。通信ネットワーク１４の例として、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、インターネット、又は、ＶＰＮ（Virtual Private Network）等が挙げられる。

【0016】

人物分析装置２０には、入力装置４０及び表示装置５０が接続される。入力装置４０の例として、キーボード、マウス、タッチパッド、マイク、又は、タブレット端末等が挙げられる。表示装置５０の例として、液晶ディスプレイ、有機ＥＬディスプレイ、又は、タブレット端末等が挙げられる。

【0017】

レーダ装置１１は、レーダ方式のセンサの一例であり、監視エリア１に少なくとも１つ設置される。レーダ装置１１は、電波（レーダ）を照射してその反射波を受信することにより、監視エリア１に存在する人物２又は物体（図示しない）の位置等を観測し、その観測した結果を含む観測データを生成する。例えば、レーダ装置１１は、レーダ方式としてミリ波帯（例えば６０ＧＨｚ帯又は７９ＧＨｚ帯）に広帯域（例えば７ＭＨｚ）の信号をＦＭＣＷ（Frequency Modulated Continuous Wave）変調した電波（レーダ）を、ＭＩＭＯ（Multi Input Multi Output）アンテナを用いて送信する。そして、レーダ装置１１は、その送信した電波が人物又は物体に反射された反射波を、ＭＩＭＯアンテナを用いて受信する。レーダ装置１１は、送信した信号と受信した信号との差分信号に基づいて、観測データの一例であるビート信号を生成する。ビート信号は、ＩＱ（In-phase / Quadrature-phase）データとして構成されてよい。レーダ装置１１は、ＩＱデータを人物分析装置２０に送信する。なお、レーダ装置１１は、ＬｉＤＡＲ（Light Detection And Ranging）であってもよい。

【0018】

サーモセンサ１２は、監視エリア１に少なくも１つ設置される。サーモセンサ１２は、物体から放射される赤外線を測定することにより、監視エリア１に存在する各人物２の体温を測定し、その測定した結果を含むサーモデータを生成する。サーモセンサ１２は、生成したサーモデータを人物分析装置２０に送信する。

【0019】

環境センサ１３は、監視エリア１に少なくとも１つ設置される。環境センサ１３は、例えば、監視エリア１の照度、監視エリア１の照度及び照明色、監視エリア１の気温及び湿度、監視エリア１の騒音の大きさ、及び、監視エリア１の匂いの種類うちの少なくとも１つを測定し、その測定した結果を含む環境データを生成する。環境センサ１３は、生成した環境データを人物分析装置２０に送信する。なお、測定対象毎に環境センサ１３が異なってもよいし、複数の測定対象を１つの環境センサ１３が測定してもよい。

【0020】

人物分析装置２０は、レーダ装置１１から受信した観測データに基づいて、監視エリア１に存在する各人物２の位置を検出する第１の処理と、検出した各人物２の行動を推定する第２の処理とを実行し、各人物２の位置と行動とを示す情報を表示装置５０に表示する。例えば、図２に示すように、人物分析装置２０は、監視エリア１に対応するエリアマップ５１を表示すると共に、エリアマップ５１における検出した人物２の位置に、推定した人物２の行動を示すピクトグラム６０を表示する。これにより、表示装置５０を確認しているユーザは、監視エリア１に存在する各人物２がどの位置でどのような行動をとっているかを一目で確認できる。なお、人物分析装置２０の詳細と、図２に例示する表示装置５０に表示される情報の詳細については後述する。

【0021】

以下では、「監視エリア」が倉庫であり、「人物」が倉庫で働く作業者であり、「行動」が倉庫で作業者が行う代表的な作業である場合の一例を説明する。また、行動の種類として、荷物を運搬する作業（以下「運搬」と称する）と、荷物を収集する作業（以下「収集」と称する）と、荷物を梱包する作業（以下「梱包」と称する）と、荷物を検品する作業（以下「検品」と称する）とを一例に挙げて説明する。

【0022】

この場合、図２に示すように、人物分析装置２０は、倉庫のエリアマップ５１の人物２が存在する位置に、当該人物２の行動を示すピクトグラム６０を表示する。例えば、人物分析装置２０は、ある人物２の行動を「運搬」と推定した場合、倉庫のエリアマップ５１の当該人物２が存在する位置に、「運搬」を示すピクトグラム６０Ａを表示する。人物分析装置２０は、ある人物２の行動を「収集」と推定した場合、倉庫のエリアマップ５１の当該人物２が存在する位置に、「収集」を示すピクトグラム６０Ｂを表示する。人物分析装置２０は、ある人物２の行動を「梱包」と特定した場合、倉庫のエリアマップ５１の当該人物２が存在する位置に、「梱包」を示すピクトグラム６０Ｃを表示する。人物分析装置２０は、ある人物の行動２を「検品」と特定した場合、倉庫のエリアマップ５１の当該人物が存在する位置に、「検品」を示すピクトグラム６０Ｄを表示する。

【0023】

これにより、表示装置５０を確認しているユーザは、表示装置５０に表示されているピクトグラム６０を見て、倉庫で働いている各人物２がどの位置でどのような行動をとっているかを容易に確認できる。なお、人物２の行動を示すピクトグラム６０は、これに限らず、例えば、人物に対応したアバターを設定して、その人物の動作を示すアニメーションにより表示されるようにしてもよい。

【0024】

なお、監視エリア１は、倉庫に限られず、例えば、工場、店舗、病院、コンビニエンスストア、デパート、オフィス、学校、自宅、又は、部屋等であってよい。また、行動の種類は、監視エリア１において人物が行う代表的なものであればどのようなものであってもよく、監視エリア１が異なる場合は行動の種類も異なってよい。

【0025】

以下、本実施の形態に係る人物分析システム１０についてより詳しく説明する。

【0026】

＜人物分析装置の構成＞
図３は、本実施の形態に係る人物分析装置２０の構成例を示す図である。図４は、本実施の形態に係る各データに含まれる情報の一例を示す図である。

【0027】

人物分析装置２０は、機能として、ＩＱデータ格納部２１、サーモデータ格納部２２、環境データ格納部２３、点群データ生成部２４、点群データ格納部２５、物標データ生成部２６、物標データ格納部２７、行動データ生成部２８、行動データ格納部２９、バイタルデータ生成部３０、バイタルデータ格納部３１、及び、データ分析部３２を備える。人物分析装置２０は、図１３に示すように少なくともプロセッサ１００１及びメモリ１００２を備え、上記した人物分析装置２０が備える機能は、プロセッサ１００１がメモリ１００２から所定のコンピュータプログラムを読み出して実行することにより、実現されてよい。

【0028】

ＩＱデータ格納部２１は、レーダ装置１１から定期的に送信されるＩＱデータを格納する。

【0029】

サーモデータ格納部２２は、サーモセンサ１２から定期的に送信されるサーモデータを格納する。サーモデータは、図４に示すように、測定された時刻と、各人物２を識別するための人物ＩＤと、測定された各人物２の体温とを含んでよい。

【0030】

環境データ格納部２３は、環境センサ１３から定期的に送信される環境データを格納する。環境データは、図４に示すように、測定された時刻と、測定された位置と、照明の照度及び照明色を示す情報と、気温及び湿度と、騒音の大きさと、及び、匂いの種類とのうちの少なくとも１つを含んでよい。

【0031】

＜点群データ生成部＞
点群データ生成部２４は、ＩＱデータ格納部２１内のＩＱデータを用いて３次元の点群データを生成し、点群データ格納部２５に格納する。点群データは、図４に示すように、測定された時刻及びフレーム番号と、当該点群データを測定した位置（つまりレーダ装置１１の位置）と、各点の位置座標（ｘ，ｙ，ｚ）と、各点の反射強度と、各点の移動方向及び移動速度とを含んでよい。点群データに含まれる各点は、反射強度が所定の閾値以上である点（つまりノイズでないと推定される点）、又は、移動速度が所定の閾値以上である動作点であってよい。１つの点は、人物２又は物体（図示しない）の表面の反射点の位置座標（ｘ，ｙ，ｚ）を示す。点の移動方向及び移動速度は、変調された電波を照射して反射波を複数の方向から捉えることを一定時間繰り返し、ドップラー速度を測定することにより求めることができる。また、レーダ装置１１にＬｉＤＡＲを用いる場合、点の移動速度は、レーザーを変調してドップラー速度を測定することにより求めることができる。なお、各点の位置座標を含む情報は、座標情報と表現されてもよい。各点の移動方向及び移動速度を含む情報は、動き情報と表現されてもよい。

【0032】

＜物標データ生成部＞
物標データ生成部２６は、点群データ格納部２５内の点群データを用いて、倉庫内における各人物が存在する位置と、各人物２の姿勢及び向きと、各人物２の粗密とを検出する。物標データ生成部２６は、その検出結果に基づいて物標データを生成し、物標データ格納部２７に格納する。物標データは、図４に示すように、測定された時刻と、人物２を識別するための人物ＩＤと、当該人物２の倉庫内における位置座標（ｘ，ｙ，ｚ）と、当該人物２の姿勢と、当該人物２の向きと、当該人物２の粗密とを含んでよい。人物２の粗密は、当該人物２と他の人物２との距離を示す指標である。本実施の形態では、姿勢の種類として、「立居」、「座位」、及び、「臥位」を一例に挙げて説明する。また、本実施の形態では、向きの種類として、「前」、「横」、「斜め」を一例に挙げて説明する。また、本実施の形態では、粗密の種類として、「一人」、「複数遠隔」、「複数近接」を一例に挙げて説明する。粗密「一人」は、当該人物２から所定距離の範囲内に他の人物２が存在しないことを示す。粗密「複数遠隔」は、当該人物２から所定距離の範囲内に他の人物２が存在するものの当該他の人物２までの距離が所定の閾値以上であることを示す。粗密「複数近接」は、当該人物２の所定距離の範囲内に他の人物２が存在し、当該他の人物２までの距離が所定の閾値未満であることを示す。

【0033】

例えば、物標データ生成部２６は、３Ｄ点群用のＤＮＮ（Deep Neural Network）に点群データを入力し、その３Ｄ点群用のＤＮＮからの出力結果に基づいて各人物２の位置座標と姿勢と向きとを推定する。３Ｄ点群用のＤＮＮは、点群データと、その点群データが示す点群の分布の場合に正解となる人物２の位置座標と姿勢と向きとを対応付けた複数の教師データを用いて予め学習させたものであってよい。３Ｄ点群用のＤＮＮの例として、ＰｏｉｎｔＮｅｔ、ＶｏｘｅｌＮｅｔ、又は、ＰｏｉｎｔＰｉｌｌａｒｓ等が挙げられる。物標データ生成部２６の処理は、第１の処理と読み替えられてもよい。３Ｄ点群用のＤＮＮは、第１のニューラルネットワークと読み替えられてもよい。物標データ生成部２６は、推定した位置座標と姿勢と向きとを物標データに含める。

【0034】

物標データ生成部２６は、推定した各位置座標に存在する各人物２に対して人物ＩＤを付与し、その人物ＩＤを物標データに含めてよい。物標データ生成部２６は、推定した各人物２の位置座標から各人物２間の距離を算出し、その算出した距離に基づいて、各人物２の粗密を判定してよい。そして、物標データ生成部２６は、その粗密の判定結果を物標データに含めてよい。

【0035】

＜行動データ生成部＞
行動データ生成部２８は、物標データ格納部２７内の物標データと点群データ格納部２５内の点群データとを用いて、人物２の行動を推定する。行動データ生成部２８は、その推定結果に基づいて行動データを生成し、行動データ格納部２９に格納する。例えば、図４に示すように、行動データは、測定された時刻と、人物２を識別するための人物ＩＤと、当該人物２の推定した行動と、当該推定の確からしさ（例えば推定精度又は尤度）を示すスコアとを含んでよい。本実施の形態では、スコアは、大きいほどその推定した行動が正解である可能性が高く、小さいほどその推定した行動が正解である可能性が低いことを示す。また、本実施の形態では、行動の種類として、上述したように、「運搬」、「収集」、「梱包」、及び、「検品」を一例として挙げる。

【0036】

例えば、行動データ生成部２８は、物標データに基づいて人物２の位置及び人物の身体の部位（例えば手、腕、頭、脚等）を特定し、当該人物２の点群データの各部位に相当する部分の疑似画像データを生成する。そして、行動データ生成部２８は、疑似画像データを時系列に、再帰型のＤＮＮに入力し、その再帰型のＤＮＮからの出力結果に基づいて人物２の行動の種類を推定する。例えば、再帰型のＤＮＮは、出力結果として行動の種類毎のスコアを出力し、行動データ生成部２８は、出力されたスコアが最も高い行動の種類を、その人物２の行動と推定する。

【0037】

再帰型のＤＮＮは、疑似画像データの時間変化と、その疑似画像データの時間変化の場合に正解となる人物の行動とを対応付けた複数の教師データを用いて予め学習させたものであってよい。再帰型のＤＮＮの例として、ＬＳＴＭ（Long Short Term Memory）、又は、ＧＲＵ（Gated Recurrent Unit）等が挙げられる。行動データ生成部２８の処理は、第２の処理と読み替えられてもよい。再帰型のＤＮＮは、第２のニューラルネットワークと読み替えられてもよい。

【0038】

＜バイタルデータ生成部＞
バイタルデータ生成部３０は、物標データ格納部２７内の物標データとＩＱデータ格納部２１内のＩＱデータとを用いて、人物２のバイタルを推定する。バイタルデータ生成部３０は、その推定結果に基づいてバイタルデータを生成し、バイタルデータ格納部３１に格納する。バイタルデータは、図４に示すように、測定された時刻と、人物２を識別するための人物ＩＤと、推定した呼吸数と、推定した心拍数と、当該推定の確からしさ（例えば推定精度又は尤度）を示すスコアとを含んでよい。

【0039】

例えば、バイタルデータ生成部３０は、物標データに基づいて各人物２の位置を特定し、その特定した位置に存在する人物２の胸部を特定する。そして、バイタルデータ生成部３０は、ＩＱデータの当該胸部に相当する部分の位相情報の時間変化に基づいて、人物２の体表の僅かな周期運動を算出し、その周期運動に基づいて、呼吸数及び心拍数を推定する。バイタルデータ生成部３０は、スペクトラム解析及び／又は深層学習解析を行うことにより、当該呼吸数及び心拍数の推定を行ってよい。

【0040】

例えば、バイタルデータ生成部３０は、ＩＱデータに関するＳＮ比（signal-noise ratio）に基づいて、推定した呼吸数及び／又は心拍数のスコアを算出してよい。例えば、バイタルデータ生成部３０は、ＳＮ比が大きいほどスコアを大きくし、ＳＮ比が小さいほどスコアを小さくする。ＳＮ比が小さい場合、ノイズ成分が大きく、推定精度が低下し得るためである。バイタルデータ生成部３０は、算出したスコアをバイタルデータに含める。

【0041】

なお、バイタルデータ生成部３０は、同様の方法により、血圧等を推定してもよい。この場合、図４に示すバイタルデータは、血圧等を含んでよい。

【0042】

＜データ分析部＞
データ分析部３２は、物標データ格納部２７内の物標データと、行動データ格納部２９内の行動データと、バイタルデータ格納部３１内のバイタルデータとの少なくとも１つを用いて、各人物２について様々な分析を行う。さらに、データ分析部３２は、当該分析を行う際に、さらにサーモデータ格納部２２内のサーモデータ、及び／又は、環境データ格納部２３内の環境データを用いてもよい。次に、データ分析部３２による分析例について説明する。

【0043】

＜行動の適否の分析＞
図５は、本実施の形態に係る人物２の行動の適否を分析する例を説明するための図である。

【0044】

データ分析部３２は、行動データ格納部２９内の行動データから、人物２の行動を特定する。データ分析部３２は、物標データ格納部２７内の物標データから、人物２の姿勢及び向きを特定する。データ分析部３２は、その特定した行動に対する、特定した姿勢及び向きに基づいて、人物２のその行動の適否を判定する。

【0045】

例えば、人物２が行動「梱包」を行う際の理想的な姿勢及び向きは、それぞれ、「立居」及び「前」であるとする。この場合、データ分析部３２は、例えば、以下の（Ａ１）から（Ａ３）の処理を行う。

【0046】

（Ａ１）データ分析部３２は、人物２の行動を「梱包」と特定し、当該人物の姿勢を「立居」と特定し、当該人物２の向きを「前」と特定した場合、当該行動に対する上述した理想的な姿勢及び向きと一致するので、当該人物２の行動を「適切」と判定する。そして、データ分析部３２は、図５（ａ）に示すように、当該人物２の行動「梱包」を示すピクトグラム６０Ｃと共に、行動が「適切」ことを示す「〇」マーク６１Ａを表示する。

【0047】

（Ａ２）データ分析部３２は、人物２の行動を「梱包」と特定し、当該人物２の姿勢を「立居」と特定し、当該人物２の向きを「斜め」と特定した場合、当該行動に対する上述した理想的な姿勢と一致するものの理想的な向きとは一致しないので、当該人物２の行動を「やや不適切」と判定する。そして、データ分析部３２は、図５（ｂ）に示すように、当該人物２の行動「梱包」を示すピクトグラム６０Ｃと共に、行動が「やや不適切」ことを示す「△」マーク６１Ｂを表示する。このとき、データ分析部３２は、当該人物２の行動「梱包」を示すピクトグラム６０Ｃの色を、行動が「やや不適切」ことに予め対応付けられた色で表示してよい。

【0048】

（Ａ３）データ分析部３２は、人物２の行動を「梱包」と特定し、当該人物２の姿勢を「座位」と特定し、当該人物２の向きを「斜め」と特定した場合、当該行動に対する上述した理想的な姿勢及び理想的な向きのいずれとも一致しないので、当該人物２の行動を「不適切」と判定する。そして、データ分析部３２は、図５（ｃ）に示すように、当該人物２の行動「梱包」を示すピクトグラム６０Ｃと共に、行動が「不適切」ことを示す「×」マーク６１Ｃを表示する。このとき、データ分析部３２は、この人物２の行動「梱包」を示すピクトグラム６０Ｃの色を、行動が「不適切」ことに予め対応付けられた色で表示してよい。

【0049】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０及びマーク６１を見て、倉庫で働いている各人物２がどの位置でどのような行動をとっているか、及び、各人物２が適切な行動をとっているかどうかを容易に確認できる。

【0050】

なお、「ピクトグラム」という表現は一例であり、行動の種類を区別できるものであれば、イラスト、写真、シンボル又は記号等、どのようなものであってもよい。また、「マーク」という表現は一例であり、行動の適否を区別できるものであれば、文字、数字、記号、模様又はピクトグラム等、どのようなものであってもよい。

【0051】

＜体調の分析＞
図６は、本実施の形態に係る人物２の体調を分析する例を説明するための図である。

【0052】

データ分析部３２は、行動データ格納部２９内の行動データから、人物２の行動を特定する。データ分析部３２は、物標データ格納部２７内の物標データから、人物２の姿勢を特定する。データ分析部３２は、バイタルデータ格納部３１内のバイタルデータから、人物２の呼吸数の時間変化と、人物２の心拍数の時間変化とを特定する。データ分析部３２は、その特定した行動に対する、特定した姿勢と、特定した呼吸数の時間変化及び心拍数の時間変化とに基づいて、人物のその行動時における体調を判定する。

【0053】

例えば、人物２が行動「検品」を行う際の通常の姿勢は「立居」であり、通常の呼吸数及び心拍数の時間変化は比較的小さい（つまり安定している）とする。ここで、呼吸数の時間変化が比較的小さいとは、呼吸数が所定時間において所定の正常な範囲内（例えば上限閾値と下限閾値の間）に収まっていることであり、呼吸数の時間変化が比較的大きいとは、呼吸数が正常な範囲内に収まっていない（例えば上限閾値よりも大きい又は下限閾値よりも小さい）時があることであってよい。同様に、心拍数の時間変化が比較的小さいとは、心拍数が所定時間において所定の正常な範囲内（例えば上限閾値と下限閾値の間）に収まっていることであり、心拍数の時間変化が比較的大きいとは、心拍数が正常な範囲内に収まっていない（例えば上限閾値よりも大きい又は下限閾値よりも小さい）時があることであってよい。この場合、データ分析部３２は、例えば、以下の（Ｂ１）から（Ｂ３）の処理を行う。

【0054】

（Ｂ１）データ分析部３２は、人物２の行動を「検品」と特定し、当該人物２の姿勢を「立居」と特定し、当該人物２の呼吸数及び心拍数の時間変化を比較的小さい（つまり安定している）と特定した場合、当該行動に対する上述した通常の姿勢と一致し、当該行動に対する上述した通常の呼吸数及び心拍数に適合するので、当該人物２の体調を「正常」と判定する。そして、データ分析部３２は、当該人物２の行動「検品」を示すピクトグラム６０Ｄと共に、体調が「正常」であることを示す「◎」マーク６２Ａを表示する。

【0055】

（Ｂ２）データ分析部３２は、人物２の行動を「検品」と特定し、当該人物２の姿勢を「立居」と特定し、当該人物２の呼吸数の時間変化を比較的小さい（つまり安定している）と特定し、当該人物２の心拍数の時間変化を比較的大きい（例えば心拍数が上昇と下降を繰り返しており不安定である）と特定した場合、当該行動に対する上述した通常の姿勢と一致し、当該行動に対する上述した通常の呼吸数と適合するものの、当該行動に対する上述した通常の心拍数に適合しないので、当該人物２の体調を「休憩が必要」と判定する。そして、データ分析部３２は、当該人物２の行動「検品」を示すピクトグラム６０Ｄと共に、体調が「休憩が必要」であることを示す「☆」マーク６２Ｂを表示する。このとき、データ分析部３２は、人物のピクトグラム６０Ｄの色を、「休憩が必要」であることに予め対応付けられた色で表示してよい。

【0056】

（Ｂ３）データ分析部３２は、人物２の行動を「検品」と特定し、当該人物２の姿勢を「座位」と特定し、当該人物２の呼吸数の時間変化が比較的大きい（例えば呼吸数が急上昇しており不安定である）と特定し、当該人物２の心拍数の時間変化が比較的大きい（例えば心拍数が急上昇しており不安定である）と特定した場合、当該行動に対する上述した通常の姿勢と一致せず、当該行動に対する上述した通常の呼吸数及び心拍数のいずれにも適合しないので、当該人物２の体調を「救護が必要」と判定する。そして、データ分析部３２は、当該人物２の行動「検品」を示すピクトグラム６０Ｄと共に、体調が「救護が必要」であることを示す「！」マーク６２Ｃを表示する。このとき、データ分析部３２は、人物２のピクトグラム６０Ｄの色を、「救護が必要」であることに予め対応付けられた色で表示してよい。

【0057】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０及びマーク６２を見て、倉庫で働いている各人物がどの位置でどのような行動をとっているか、及び、各人物がどのような体調であるかを容易に確認できる。

【0058】

なお、「マーク」という表現は一例であり、体調を区別できるものであれば、文字、数字、記号、模様又はピクトグラム等、どのようなものであってもよい。

【0059】

＜設定された行動の表示＞
図７は、本実施の形態に係る設定された行動を表示する例を説明するための図である。

【0060】

ユーザは、入力装置４０を通じて、行動に関する表示条件をデータ分析部３２に予め設定する。データ分析部３２は、行動データ格納部２９内の行動データから人物２の行動を特定する。データ分析部３２は、特定した当該行動が、上記で設定された表示条件に適合する場合、当該行動を示すピクトグラム６０を表示し、特定した当該行動が、上記で設定された表示条件に適合しない場合、当該行動を示すピクトグラム６０を表示しない。以下、具体例を説明する。

【0061】

例えば、ユーザは、入力装置４０を通じて、表示条件として、行動「検品」を表示し、他の行動を表示しないとする設定を行う。そして、データ分析部３２は、図７（ａ）に示すように第１の人物２の行動を「収集」と推定し、図７（ｂ）に示すように第２の人物２の行動を「梱包」と推定し、図７（ｃ）に示すように第３の人物２の行動を「検品」と推定したとする。

【0062】

この場合、図７（ｃ）に示すように、データ分析部３２は、行動を「検品」と推定した第３の人物２について行動「検品」を示すピクトグラム６０Ｄをエリアマップ５１に表示し、図７（ａ）及び（ｂ）に示すように、行動を「収集」と推定した第１の人物２と、行動を「梱包」と推定した第２の人物とについては、ピクトグラム６０をエリアマップ５１に表示しない。

【0063】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０を見て、当該ユーザが表示条件として設定した行動を行っている各人物２がどの位置に存在するかを容易に確認できる。例えば、監視エリア１に多数の人物２が存在し、エリアマップ５１の表示が煩雑になる場合、この設定により、表示の煩雑さを解消できる。

【0064】

＜行動の推定精度の表示＞
図８は、本実施の形態に係る行動の推定精度の表示例を説明するための図である。

【0065】

データ分析部３２は、行動データ格納部２９内の行動データから人物２の行動を特定する。データ分析部３２は、特定した行動を示すピクトグラム６０を表示装置５０に表示する。

【0066】

このとき、データ分析部３２は、行動データにスコアが所定の閾値以上である行動が複数存在する場合、当該複数の行動のそれぞれを示すピクトグラム６０を一緒に表示してよい。加えて、データ分析部３２は、当該複数のピクトグラム６０のうち、最もスコアの高い行動を示すピクトグラム６０を、他の行動を示すピクトグラム６０と異なる色又は明度にて表示してよい。

【0067】

また、データ分析部３２は、行動データにスコアが所定の閾値以上である行動が存在しない場合、スコアの上位から１又は複数の行動を示すピクトグラム６０を、スコアが所定の閾値以上である場合に表示されるピクトグラム６０と異なる色又は明度にて表示してよい。以下、具体例を説明する。

【0068】

例えば、図８（ａ）に示すように、行動データ格納部２９内のある人物の行動データにおいて、行動「運搬」のスコアが０．８であり、行動「収集」のスコアが０．７であり、人物２の粗密が「一人」であったとする。この場合、行動「運搬」のスコアと行動「収集」のスコアはいずれも所定の閾値（例えば０．７）以上であり、どちらが正解であるか判別が難しい。この場合、図８（ａ）に示すように、データ分析部３２は、行動「運搬」を示すピクトグラム６０Ａと、行動「収集」を示すピクトグラム６０Ｂとの両方をエリアマップ５１に表示させてよい。そして、データ分析部３２は、スコアが比較的高い方の行動「運搬」を示すピクトグラム６０Ａの明度を低く（濃く）、スコアが比較的低い方の行動「収集」を示すピクトグラム６０Ｂの明度を高く（薄く）表示してよい。また、データ分析部３２は、行動を示すピクトグラム６０と共に、人物２の粗密が「一人」であることを示すピクトグラム６３Ａを一緒に表示させてよい。

【0069】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０を見て、各人物２の行動の推定精度を容易に確認できる。

【0070】

例えば、図８（ｂ）に示すように、行動データ格納部２９内のある人物２の行動データにおいて、行動「運搬」のスコアが０．８であり、行動「収集」のスコアが０．７であり、人物２の粗密が「複数遠隔」であったとする。この場合、行動「運搬」のスコアと行動「収集」のスコアはいずれも所定の閾値（例えば０．７）以上であり、どちらが正解であるか判別が難しい。この場合、図８（ｂ）に示すように、データ分析部３２は、行動「運搬」を示すピクトグラム６０Ａと、行動「収集」を示すピクトグラム６０Ｂとを一緒にエリアマップ５１に表示させてよい。そして、データ分析部３２は、スコアが比較的高い方の行動「運搬」を示すピクトグラム６０Ａの明度を低く（濃く）、スコアが比較的低い方の行動「収集」を示すピクトグラム６０Ｂの明度を高く（薄く）表示してよい。また、データ分析部３２は、行動を示すピクトグラム６０と共に、人物２の粗密が「複数遠隔」であることを示すピクトグラム６３Ｂを一緒に表示させてよい。

【0071】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０を見て、当該人物２の行動の推定精度を容易に確認できる。また、ユーザは、人物２の粗密が「複数遠隔」であることを示すピクトグラム６３Ｂを見て、人物２の粗密が「一人」であることを示すピクトグラム６３Ａが表示されている場合と比較して、行動の推定精度が低い可能性があると想定できる。

【0072】

例えば、図８（ｃ）に示すように、行動データ格納部２９内の行動データにおいて、行動「運搬」のスコアが０．６であり、行動「収集」のスコアが０．５であり、人物２の粗密が「複数近接」であったとする。この場合、行動「運搬」のスコアと行動「収集」のスコアはいずれも所定の閾値（例えば０．７）未満であり、どちらが正解であるか判別が難しく、どちらも正解でない可能性もある。この場合、図８（ｃ）に示すように、データ分析部３２は、スコアの上位から２つの、行動「運搬」を示すピクトグラム６０Ａと、行動「収集」を示すピクトグラム６０Ｂとを一緒にエリアマップ５１に表示させてよい。そして、データ分析部３２は、どちらのスコアも比較的低いので、行動「運搬」を示すピクトグラム６０Ａと、行動「収集」を示すピクトグラム６０Ｂとの両方の明度を低く（薄く）表示してよい。また、データ分析部３２は、行動を示すピクトグラム６０と共に、人物２の粗密が「複数近接」であることを示すピクトグラム６３Ｃを一緒に表示させてよい。

【0073】

これにより、ユーザは、表示装置５０に表示されているピクトグラム６０を見て、当該人物の行動の推定精度を容易に確認できる。また、ユーザは、人物２の粗密が「複数近接」であることを示すピクトグラム６３Ｃを見て、人物の粗密が「一人」又は「複数遠隔」であることを示すピクトグラム６３Ａ、６３Ｂが表示されている場合と比較して、行動の推定精度が低い可能性があると想定できる。

【0074】

＜行動の適否の表示設定画面＞
図９は、本実施の形態に係る行動の適否の表示条件を設定するための画面の例を示す図である。

【0075】

データ分析部３２は、図９に示すように、行動の適否の表示条件を設定するための画面（以下、行動の適否の表示設定画面１００と称する）を表示装置５０に表示してよい。行動の適否の表示設定画面１００は、行動の選択領域１０１と、姿勢の選択領域１０２と、向きの選択領域１０３と、粗密の選択領域１０４と、時間の選択領域１０５と、ピクトグラム及びマークのセットの選択領域１０６と、を含む。

【0076】

例えば、ユーザが、入力装置４０を通じて、図９（ａ）に示すように、行動の選択領域１０１Ａにて「梱包」を選択し、姿勢の選択領域１０２Ａにて「立居」を選択し、向きの選択領域１０３Ａにて「前」を選択し、粗密の選択領域１０４Ａにて「一人」を選択し、時間の選択領域１０５Ａにて「５秒」を選択し、ピクトグラム及びマークのセットの選択領域１０６Ａにて「梱包」を示すピクトグラム６０Ｃと行動が「適切」を示す「〇」マーク６１Ａとのセットとを選択したとする。この場合、データ分析部３２は、図５（ａ）に示すように、ある人物について、行動を「梱包」と特定し、姿勢を「立位」と特定し、向きを「前」と特定し、人物２の粗密を「一人」と特定した状態が「５秒」以上継続した場合、当該図９（ａ）の表示条件に従って、行動「梱包」を示すピクトグラム６０Ｃと行動が「適切」を示す「〇」マーク６１Ａとを一緒に表示する。

【0077】

例えば、ユーザが、入力装置４０を通じて、図９（ｂ）に示すように、行動の選択領域１０１Ｂにて「梱包」を選択し、姿勢の選択領域１０２Ｂにて「立居」を選択し、向きの選択領域１０３Ｂにて「斜め」を選択し、粗密の選択領域１０４Ｂにて「一人」を選択し、時間の選択領域１０５Ｂにて「５秒」を選択し、ピクトグラム及びマークのセットの選択領域１０６Ｂにて「梱包」を示すピクトグラム６０Ｃと行動が「やや不適切」を示す「△」マーク６１Ｂとのセットを選択したとする。この場合、データ分析部３２は、図５（ｂ）に示すように、ある人物２について、行動を「梱包」と特定し、姿勢を「立位」と特定し、向きを「斜め」と特定し、人物２の粗密を「一人」と特定した状態が「５秒」以上継続した場合、当該図９（ｂ）の表示条件に従って、行動「梱包」を示すピクトグラム６０Ｃと行動が「やや不適切」を示す「△」マーク６１Ｂとを一緒に表示する。

【0078】

このように、ユーザは、行動の適否の表示条件を任意に設定できる。

【0079】

＜体調の表示設定画面＞
図１０は、本実施の形態に係る体調の表示条件を設定するための画面の例を示す図である。

【0080】

データ分析部３２は、図１０に示すように、体調の表示条件を設定するための画面（以下、体調の表示設定画面１２０と称する）を表示装置５０に表示してよい。

【0081】

体調の表示設定画面１２０には、バイタルの選択領域１２１と、バイタルの状態の選択領域１２２と、姿勢の選択領域１２３と、時間の選択領域１２４と、ピクトグラム及びマークのセットの選択領域１２５とが表示される。図１０に示すように、バイタルの選択領域１２１とバイタルの状態の選択領域１２２とのセットは、２つ以上設けられてもよい。

【0082】

例えば、ユーザが、入力装置４０を通じて、図１０（ａ）に示すように、１つ目のセットのバイタルの選択領域１２１Ａにて「呼吸数」を選択し、１つ目のセットのバイタルの状態の選択領域１２２Ａにて「安定」を選択し、２つ目のセットのバイタルの選択領域１２１Ｂにて「心拍数」を選択し、２つ目のセットのバイタルの状態の選択領域１２２Ｂにて「安定」を選択し、姿勢の選択領域１２３Ａにて「立居」を選択し、時間の選択領域１２４Ａにて「１０秒」を選択し、ピクトグラム及びマークのセットの選択領域１２５Ａにて「検品」を示すピクトグラム６０Ｄと「正常」を示す「◎」マーク６２Ａとのセットとを選択したとする。この場合、データ分析部３２は、図６（ａ）に示すように、ある人物について、行動を「検品」と特定し、姿勢を「立居」と特定し、呼吸数の時間変化を「安定している」と特定し、心拍数の時間変化を「安定している」と特定した状態が「１０秒」以上継続した場合、当該図１０（ａ）の表示条件に従って、行動「検品」を示すピクトグラム６０Ｄと体調が「正常」であることを示す「◎」マーク６２Ａとを一緒に表示する。

【0083】

例えば、ユーザが、入力装置４０を通じて、図１０（ｂ）に示すように、１つ目のセットのバイタルの選択領域１２１Ｃにて「呼吸数」を選択し、１つ目のセットのバイタルの状態の選択領域１２２Ｃにて「安定」を選択し、２つ目のセットのバイタルの選択領域１２１Ｄにて「心拍数」を選択し、２つ目のセットのバイタルの状態の選択領域１２２Ｄにて「不安定」を選択し、姿勢の選択領域１２３Ｂにて「立居」を選択し、時間の選択領域１２４Ｂにて「１０秒」を選択し、ピクトグラム及びマークのセットの選択領域１２５Ｂにて「検品」を示すピクトグラム６０Ｄと「休憩が必要」を示す「☆」マーク６２Ｂとのセットとを選択したとする。この場合、データ分析部３２は、図６（ｂ）に示すように、ある人物について、行動を「検品」と特定し、姿勢を「立居」と特定し、呼吸数の時間変化を「安定している」と特定し、心拍数の時間変化を「不安定である」と特定した状態が「１０秒」以上継続した場合、当該図１０（ｂ）の表示条件に従って、行動「検品」を示すピクトグラム６０Ｄと体調が「休憩が必要」であることを示す「☆」マーク６２Ｂとを一緒に表示する。

【0084】

なお、状態「安定」を選択する代わりに、「安定」に対応するバイタル値の範囲（例えば範囲の上限閾値と下限閾値）が入力されてもよい。また、状態「不安定」を選択する代わりに、不安定と判定する上限閾値と下限閾値が入力されてもよい。この場合、バイタル値が、上限閾値よりも大きい場合、又は、下限閾値よりも小さい場合、不安定と判定されてよい。

【0085】

このように、ユーザは、体調の表示条件を任意に設定できる。

【0086】

＜用途の選択画面＞
図１１は、本実施の形態に係る用途を選択するための画面の例を示す図である。

【0087】

データ分析部３２は、図１１に示すように、人物分析システム１０の用途を選択するための画面（以下、用途選択画面１４０と称する）を表示装置５０に表示してよい。

【0088】

用途選択画面１４０には、用途の選択リスト１４１が表示される。各用途には、その用途に適した上述した表示条件が予め対応付けられている。

【0089】

例えば、ユーザが、入力装置４０を通じて、図１１に示すように、用途の選択リスト１４１から１つの用途を選択すると、データ分析部３２は、その選択された用途に予め対応付けられている表示条件を読み出して設定する。

【0090】

これにより、ユーザは、より簡単に表示条件を設定できる。

【0091】

＜検知感度の設定画面＞
図１２は、本実施の形態に係る検知感度を設定するための画面の例を示す図である。

【0092】

データ分析部３２は、行動の検知感度を選択するための画面（以下、検知感度選択画面１６０と称する）を表示装置５０に表示する。

【0093】

検知感度選択画面１６０には、検知感度の高さの選択リスト１６１が表示される。例えば、図１２に示すように、検知感度を「高い」、「通常」、「低い」の３つから選択可能な選択リスト１６１が表示される。

【0094】

データ分析部３２は、選択された検知感度の高さに応じて、図７に示す表示対象として設定された行動に対する、行動を示すピクトグラム６０の表示の感度を決定する。

【0095】

例えば、ユーザが、入力装置４０を通じて、検知感度の選択リスト１６１から検知感度「高い」を選択した場合、当該検知感度「高い」に予め対応付けられている第１の閾値を、表示対象として設定された行動のスコアに対する閾値として設定する。

【0096】

例えば、ユーザが、入力装置４０を通じて、検知感度の選択リスト１６１から検知感度「通常」を選択した場合、当該検知感度「通常」に予め対応付けられている第２の閾値を、表示対象として設定された行動のスコアに対する閾値として設定する。

【0097】

例えば、ユーザが、入力装置４０を通じて、検知感度の選択リスト１６１から検知感度「低い」を選択した場合、当該検知感度「低い」に予め対応付けられている第３の閾値を、表示対象として設定された行動のスコアに対する閾値として設定する。

【0098】

ここで、第１の閾値は第２の閾値よりも小さく、第２の閾値は第３の閾値よりも小さい。

【0099】

これにより、例えば、検知感度「高い」が選択された場合、データ分析部３２は、行動のスコアが比較的低い場合（例えば第２の閾値よりも小さいが第１の閾値より大きいスコア）でも、図７に示す設定された行動の表示において、当該行動を示すピクトグラム６０を表示すると判定する。つまり、検知感度が高いほど、設定された行動を示すピクトグラム６０が表示されやすくなり、検知感度が低いほど、設定された行動を示すピクトグラム６０が表示されにくくなる。

【0100】

このように、ユーザは、人物２の行動に関する検知感度を任意に設定できる。すなわち、ユーザは、行動を示すピクトグラム６０の表示の感度を任意に設定できる。

【0101】

＜人物の心的状態の推定＞
データ分析部３２は、行動データ格納部２９内の行動データと、バイタルデータ格納部３１内のバイタルデータとに基づいて、人物２の心的状態を推定してもよい。例えば、データ分析部３２は、行動データから姿勢を「立位」と特定し、バイタルデータから心拍数の急上昇を特定した場合、その人物２の心的状態を「高ストレス」と推定してよい。さらに、データ分析部３２は、人物２の心的状態を推定する際、サーモデータ及び環境データの少なくとも１つを使用して推定精度を高めてもよい。例えば、データ分析部３２は、サーモデータから人物２の体温の急上昇を特定し、環境データから倉庫内の気温が不快に感じる気温（例えば所定の閾値以上の気温）であることを特定した場合、その人物２の心的状態が「高ストレス」であるとした推定精度を、サーモデータ及び環境データを使用しないで心的状態を「高ストレス」とした場合の推定精度よりも、高く算出してよい。

【0102】

このように、レーダ装置１１から得られる情報だけでなく、サーモセンサ１２又は環境センサ１３といったレーダ装置１１とは異なる他のセンサから得られる情報も用いて、人物２の心的状態を推定することにより、その推定精度を高めることができる。なお、人物２の心的状態の例として、上記の「ストレス」の高低に加えて、「眠気」の高低、「緊張」の高低、「リラックス」の高低等が挙げられる。

【0103】

（ハードウェア構成）
上述した人物分析装置２０の機能ブロックは、コンピュータプログラムにより実現され得る。

【0104】

図１３は、本開示に係る人物分析装置２０の機能ブロックをコンピュータプログラムにより実現する情報処理装置（コンピュータ）のハードウェア構成例を示す図である。

【0105】

情報処理装置１０００は、プロセッサ１００１、メモリ１００２、ストレージ１００３、入力Ｉ／Ｆ（Interface）１００４、出力Ｉ／Ｆ１００５、通信Ｉ／Ｆ１００６、ＧＰＵ（Graphics Processing Unit）１００７、読取Ｉ／Ｆ１００８、及び、バス１００９を備える。

【0106】

プロセッサ１００１、メモリ１００２、ストレージ１００３、入力Ｉ／Ｆ１００４、出力Ｉ／Ｆ１００５、通信Ｉ／Ｆ１００６、ＧＰＵ（Graphics Processing Unit）１００７、及び、読取Ｉ／Ｆ１００８は、バス１００９に接続され、バス１００９を介して双方向にデータを送受信できる。

【0107】

プロセッサ１００１は、メモリ１００２に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ１００１の例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、コントローラ、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及び、ＦＰＧＡ（Field-Programmable Gate Array）が挙げられる。

【0108】

メモリ１００２は、情報処理装置１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ１００２は、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）を含んでよい。

【0109】

ストレージ１００３は、不揮発性記憶媒体で構成され、情報処理装置１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ１００３の例として、ＨＤＤ（Hard Disk Drive）、及び、ＳＳＤ（Solid State Drive）が挙げられる。

【0110】

入力Ｉ／Ｆ１００４は、ユーザからの入力を受け付ける入力装置４０が接続され、入力装置４０から受信したデータをプロセッサ１００１へ送信する。

【0111】

出力Ｉ／Ｆ１００５は、表示装置５０が接続され、プロセッサ１００１から受信したデータを表示装置５０へ送信する。

【0112】

通信Ｉ／Ｆ１００６は、通信ネットワーク１４に接続され、他の装置と通信ネットワーク１４を介してデータを送受信する。通信Ｉ／Ｆ１００６は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。無線通信の例として、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇが挙げられる。

【0113】

ＧＰＵ１００７は、画像描写を高速に処理する装置である。なお、ＧＰＵ１００７は、ＡＩ（Artificial Intelligence）の処理（例えばディープラーニングの処理）に利用されてもよい。

【0114】

読取Ｉ／Ｆ１００８は、外部記憶媒体が接続され、外部記憶媒体からデータを読み取る。外部記憶媒体の例として、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、及び、ＵＳＢ（Universal Serial Bus）メモリが挙げられる。

【0115】

なお、人物分析装置２０の機能ブロックは、集積回路であるＬＳＩとして実現されてもよい。これらの機能ブロックは、個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

【0116】

（本開示のまとめ）
以上の実施の形態の記載により、下記の技術が開示される。

【0117】

＜技術１＞
人物分析システム１０は、監視エリア１に少なくとも１つ設置され、レーダ方式によって前記監視エリア１を観測した結果を含む観測データを出力するレーダ装置１１と、前記観測データに基づいて、前記監視エリア１に存在する各人物２の位置を検出する第１の処理（例えば物標データ生成部２６の処理）と、検出した前記各人物２の行動を推定する第２の処理（例えば行動データ生成部２８の処理）とを実行し、前記各人物２の位置と行動とを示す情報を所定の表示装置５０に表示する人物分析装置２０と、を備える。
これにより、プライバシーを保護しつつ、監視エリア１における各人物２が存在する位置と各人物２の行動とを表示することができる。

【0118】

＜技術２＞
技術１に記載の人物分析システム１０において、前記人物分析装置２０は、前記観測データに基づいて、３次元の点群データを生成し、前記第１の処理では、前記点群データの分布に基づいて、前記各人物２の位置を検出し、前記第２の処理では、前記点群データの時間変化に基づいて、前記各人物２の行動を推定する。
これにより、第１の処理により各人物２の位置を検出し、第２の処理により各人物２の行動を推定することができる。

【0119】

＜技術３＞
技術１又は技術２に記載の人物分析システム１０において、前記第１の処理は、前記点群データを入力した場合に人物２が存在する位置が出力されるように予め学習された第１のニューラルネットワークを用いて、前記各人物２の位置を検出し、前記第２の処理は、前記点群データの時間変化を入力した場合に人物２の行動が出力されるように予め学習された第２のニューラルネットワークを用いて、前記各人物２の行動を推定する。
これにより、第１のニューラルネットワークを用いて各人物２の位置を検出し、第２のニューラルネットワークを用いて各人物２の行動を推定することができる。

【0120】

＜技術４＞
技術１から技術３のいずれか１項に記載の人物分析システム１０において、前記点群データは、少なくとも、各点の３次元の座標を示す座標情報と、各点の移動の方向及び速度を示す動き情報とを含み、前記第２の処理は、少なくとも前記動き情報を前記第２のニューラルネットワークに入力することにより、人物２の行動を推定する。
このように、動き情報を用いて人物２の行動を推定することにより、行動の推定精度が向上する。

【0121】

＜技術５＞
技術２から技術４のいずれか１項に記載の人物分析システム１０において、前記人物分析装置２０は、前記監視エリア１に対応するエリアマップ５１を表示すると共に、前記エリアマップ５１における検出した人物２の位置に、推定した当該人物２の行動を示すピクトグラム６０を表示する。
これにより、ユーザは、表示された行動を示すピクトグラム６０を見て、各人物２がどの位置でどのような行動を行っているのかを容易に確認できる。

【0122】

＜技術６＞
技術２から技術５のいずれか１項に記載の人物分析システム１０において、前記人物分析装置２０は、前記第１の処理では、前記点群データの分布に基づいて、人物２の姿勢及び向きをさらに検出し、推定した前記人物２の行動と、検出した前記人物２の姿勢及び向きとに基づいて、前記人物２の行動の適否を判定し、前記人物２の行動を示すピクトグラム６０と、前記人物２の行動の適否の判定結果を示す情報とを一緒に表示する。
これにより、ユーザは、表示された行動を示すピクトグラム６０と適否の判定結果を示す情報とを見て、各人物２がどの位置でどのような行動を行っているのか、及び、各人物２は適切な行動をとっているかどうかを容易に確認できる。

【0123】

＜技術７＞
技術２から技術６のいずれか１項に記載の人物分析システム１０において、前記人物分析装置２０は、前記点群データ及び前記観測データに基づいて、人物２のバイタルを推定し、推定した前記人物２の行動と、検出した前記人物２の姿勢と、推定した前記人物２のバイタルとに基づいて、前記人物の体調を判定し、前記人物２の行動を示すピクトグラム６０と、前記人物の体調の判定結果を示す情報とを一緒に表示する。
これにより、ユーザは、表示された行動を示すピクトグラム６０と体調の判定結果を示す情報とを見て、各人物２がどの位置でどのような行動を行っているのか、及び、各人物の体調はどうであるかを容易に確認できる。

【0124】

＜技術８＞
技術２から技術７のいずれか１項に記載の人物分析システム１０において、前記人物分析装置２０は、推定した前記人物２の行動が、予め設定された行動の表示条件に適合する場合、前記人物２の行動を示すピクトグラム６０を表示し、推定した前記人物２の行動が、前記表示条件に適合しない場合、前記人物２の行動を示すピクトグラム６０を表示しない。
これにより、ユーザによって予め設定された表示条件に適合しないピクトグラム６０は表示されなくなり、表示条件に適合するピクトグラム６０が表示されるので、ユーザは、表示条件に適合する行動を行っている人物を素早く認識できる。

【0125】

＜技術９＞
技術３に記載の人物分析システム１０において、前記第２のニューラルネットワークは、行動の種類毎に当該行動の推定の確からしさを示すスコアを出力するようになっており、前記人物分析装置２０は、前記スコアが所定の閾値以上である行動が複数存在する場合、当該複数の行動のそれぞれを示すピクトグラム６０を一緒に表示する。
これにより、ユーザは、表示された複数のピクトグラム６０を見て、人物２が、複数のピクトグラム６０が示すいずれかの行動をとっている可能性が高いことを認識できる。

【0126】

＜技術１０＞
技術９に記載の人物分析システム１０において、前記人物分析装置２０は、前記複数の行動のうち最もスコアの高い行動を示すピクトグラム６０を、他の行動を示すピクトグラム６０と異なる色又は明度にて表示する。
これにより、ユーザは、表示された複数のピクトグラム６０のうち、いずれのピクトグラム６０の推定精度が高いかを一目で確認できる。

【0127】

＜技術１１＞
技術３に記載の人物分析システム１０において、前記第２のニューラルネットワークは、行動の種類毎に当該行動の推定の確からしさを示すスコアを出力するようになっており、前記人物分析装置２０は、前記スコアが所定の閾値以上である行動が存在しない場合、前記スコアの上位から１又は複数の行動を示すピクトグラム６０を、前記スコアが所定の閾値以上である場合に表示されるピクトグラム６０と異なる色又は明度にて表示する。
これにより、ユーザは、表示された複数のピクトグラム６０を見て、当該ピクトグラム６０が示す行動の推定精度が低い可能性があることを一目で確認できる。

【0128】

＜技術１２＞
技術１から技術１１のいずれか１項に記載の人物分析システム１０において、前記人物分析装置２０は、検出した各人物２の位置に基づいて前記各人物２の他の人物２との粗密を特定し、前記人物２の行動を示すピクトグラム６０と共に、当該人物２の粗密を示す情報を一緒に表示する。
これにより、ユーザは、表示されたピクトグラム６０と人物の粗密を示す情報とを見て、ピクトグラムが示す行動の推定精度の高低を把握できる。

【0129】

＜技術１３＞
人物分析方法は、監視エリア１に少なくとも１つ設置されたレーダ装置１１から、レーダ方式によって前記監視エリア１を観測した結果を含む観測データを取得し、前記観測データに基づいて、前記監視エリア１に存在する各人物２の位置を検出する第１の処理（例えば物標データ生成部２６の処理）と、検出した前記各人物２の行動を推定する第２の処理（例えば行動データ生成部２８の処理）とを実行し、前記各人物２の位置と行動とを示す情報を所定の表示装置５０に表示する。
これにより、プライバシーを保護しつつ、監視エリア１における各人物２が存在する位置と各人物２の行動とを表示することができる。

【0130】

＜技術１４＞
人物分析プログラムは、技術１３に記載の人物分析方法をコンピュータに実行させる。
これにより、プライバシーを保護しつつ、監視エリア１における各人物２が存在する位置と各人物２の行動とを表示することができる。

【0131】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0132】

本開示の技術は、プライバシーを保護しつつ人物の位置及び行動等を分析する際に有用である。

【符号の説明】

【0133】

１ 監視エリア
２ 人物
１０ 人物分析システム
１１ レーダ装置
１２ サーモセンサ
１３ 環境センサ
１４ 通信ネットワーク
２０ 人物分析装置
２１ ＩＱデータ格納部
２２ サーモデータ格納部
２３ 環境データ格納部
２４ 点群データ生成部
２５ 点群データ格納部
２６ 物標データ生成部
２７ 物標データ格納部
２８ 行動データ生成部
２９ 行動データ格納部
３０ バイタルデータ生成部
３１ バイタルデータ格納部
３２ データ分析部
４０ 入力装置
５０ 表示装置
５１ エリアマップ
６０、６０Ａ、６０Ｂ、６０Ｃ、６０Ｄ ピクトグラム
６１、６１Ａ、６１Ｂ、６１Ｃ マーク
６２、６２Ａ、６２Ｂ、６２Ｃ マーク
６３Ａ、６３Ｂ、６３Ｃ ピクトグラム
１００ 行動の適否の表示設定画面
１０１ 行動の選択領域
１０２ 姿勢の選択領域
１０３ 向きの選択領域
１０４ 粗密の選択領域
１０５ 時間の選択領域
１０６ ピクトグラム及びマークのセットの選択領域
１２０ 体調の表示設定画面
１２１、１２１Ａ、１２１Ｂ バイタルの選択領域
１２２、１２２Ａ、１２２Ｂ バイタルの状態の選択領域
１２３ 姿勢の選択領域
１２４ 時間の選択領域
１２５ ピクトグラム及びマークのセットの選択領域
１４０ 用途選択画面
１４１ 用途の選択リスト
１６０ 検知感度選択画面
１６１ 検知感度の高さの選択リスト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】