特開 2023-132846 監視システム、監視ソフトウエア及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023132846

(43)【公開日】2023-09-22

(54)【発明の名称】監視システム、監視ソフトウエア及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230914BHJP

   G08B 21/02 20060101ALI20230914BHJP

   G08B 25/04 20060101ALI20230914BHJP

   G08B 25/00 20060101ALI20230914BHJP

【ＦＩ】

H04N7/18 D

G08B21/02

G08B25/04 K

G08B25/00 510M

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022038403

(22)【出願日】2022-03-11

(71)【出願人】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】森田 翔治

(72)【発明者】

【氏名】安達 和隆

【テーマコード（参考）】

5C054

5C086

5C087

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC01

5C054FC12

5C054GB14

5C054HA19

5C086AA22

5C086BA01

5C086BA07

5C086CA28

5C086CB36

5C086DA08

5C086DA33

5C086EA40

5C086EA45

5C086FA06

5C086FA11

5C086FA18

5C087AA11

5C087AA19

5C087AA37

5C087AA44

5C087AA51

5C087DD03

5C087DD29

5C087DD30

5C087EE08

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG09

5C087GG46

5C087GG70

5C087GG83

(57)【要約】

【課題】人物誤検出率を低減可能な監視システム、監視ソフトウエア及び監視方法を提供する。
【解決手段】記憶装置と、撮影装置と、前記撮影装置によって生成された撮影画像を取得する演算装置と、を備える監視システムであって、前記演算装置は、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理と、前記判定処理の結果が不動体である場合、当該不動体の候補を前記記憶装置に不動体の一つとして記憶する記憶処理と、前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合処理と、前記照合処理の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視処理と、を行い、前記照合処理の結果、一致する前記不動体がある場合、前記動体の候補の監視を行わない。
【選択図】図１

【特許請求の範囲】

【請求項1】

記憶装置と、
撮影画像を生成する撮影装置と、
前記撮影装置によって生成された前記撮影画像を取得する演算装置と、を備える監視システムであって、
前記演算装置は、さらに、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理と、
前記判定処理の結果が不動体である場合、当該不動体の候補を前記記憶装置に不動体の一つとして記憶する記憶処理と、
前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合処理と、
前記照合処理の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視処理と、を行い、
前記照合処理の結果、一致する前記不動体がある場合、前記動体の候補の監視を行わない、
ことを特徴とする監視システム。

【請求項2】

前記演算装置は、さらに、前記記憶装置に記憶された前記不動体の数が所定値に達した場合、記憶された前記不動体のうち最も古いものを削除する、ことを特徴とする請求項１に記載の監視システム。

【請求項3】

前記演算装置は、さらに、前記判定処理の結果、動体であると判定された前記不動体の候補と、前記照合処理の結果、動体であると判定された前記動体の候補とを、それぞれ、前記記憶装置に動体の一つとして記憶する第２の記憶処理を行い、
前記判定処理では、前記不動体の候補を、前記記憶装置に記憶された一又は複数の前記動体と照合する第２の照合処理を行い、
前記第２の照合処理の結果、一致する前記動体がない場合、前記不動体の候補を不動体であると判定し、
前記第２の照合処理の結果、一致する前記動体がある場合、前記不動体の候補を動体であると判定する、ことを特徴とする請求項１又は２記載の監視システム。

【請求項4】

前記演算装置は、さらに、前記記憶装置に記憶された前記動体の数が所定値に達した場合、記憶された前記動体のうち最も古いものを削除する、ことを特徴とする請求項３に記載の監視システム。

【請求項5】

前記演算装置は、前記判定処理の結果が不動体である場合、前記不動体の候補の監視を行わず、
前記判定処理の結果が動体である場合、前記不動体の候補を動体であると判定し、当該動体の監視を行う、ことを特徴とする請求項１～４のいずれかに記載の監視システム。

【請求項6】

前記演算装置は、さらに、前記撮影画像内において姿勢推定された物体を検出する検出処理と、
前記検出処理によって検出された前記物体が動体の候補又は不動体の候補のいずれであるかを判定する１次判定処理と、を行う、ことを特徴とする請求項１～５のいずれかに記載の監視システム。

【請求項7】

記憶装置と、撮影画像を生成する撮影装置と、に接続される演算装置上で動作する監視ソフトウエアであって、
前記演算装置に、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理と、
前記判定処理の結果が不動体である場合、当該不動体の候補を前記記憶装置に不動体の一つとして記憶する記憶処理と、
前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合処理と、
前記照合処理の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視処理と、を実行させ、
前記照合処理の結果、一致する前記不動体がある場合、前記動体の候補の監視を行う処理を実行させない、
ことを特徴とする監視ソフトウエア。

【請求項8】

撮影装置によって生成された撮影画像を取得する画像取得工程と、
前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定工程と、
前記判定工程の結果が不動体である場合、当該不動体の候補を記憶装置に不動体の一つとして記憶する記憶工程と、
前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合工程と、
前記照合工程の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視工程と、を有する、
ことを特徴とする監視方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システム、監視ソフトウエア及び監視方法に関する。

【背景技術】

【0002】

特許文献１には、カメラが撮影した画像を分析することにより被介護者の体勢と寝具の高さとを検出し、それらに基づいて被介護者が危険な態勢であるかを判断し、危険な態勢であると判断された場合にその旨を報知する危険検出装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１０３８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

撮影された画像において人をその姿勢とともに検出する姿勢推定技術は、人でない物を人と誤認識することがある。このような人物誤検出は、ＴＯＦカメラ等による３Ｄ距離情報に基づいて平面の人物（物でもよい）を除去したり、フレーム間差分により不動体を除去したりすることによって、ある程度は低減することは可能である。しかしながら、平面人物除去では椅子等の立体物を誤検出した場合を除去できず、また、フレーム間差分では椅子等の立体物の前を何かが横切るなどして差分が発生する場合を除去できない。これらのような場合は、人以外の物を誤って継続して監視することになってしまう。

【0005】

したがって、撮影画像において姿勢推定技術等を用いて人物を検出する監視システムでは、人物誤検出率を低減するという点で改善の余地があった。

【0006】

本発明は、上記現状に鑑みてなされたものであり、人物誤検出率を低減可能な監視システム、監視ソフトウエア及び監視方法を提供することを目的とするものである。

【課題を解決するための手段】

【0007】

上述した課題を解決し、目的を達成するために、（１）本開示の第１の態様に係る監視システムは、記憶装置と、撮影画像を生成する撮影装置と、前記撮影装置によって生成された前記撮影画像を取得する演算装置と、を備える監視システムであって、前記演算装置は、さらに、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理と、前記判定処理の結果が不動体である場合、当該不動体の候補を前記記憶装置に不動体の一つとして記憶する記憶処理と、前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合処理と、前記照合処理の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視処理と、を行い、前記照合処理の結果、一致する前記不動体がある場合、前記動体の候補の監視を行わない。

【0008】

（２）上記（１）に記載の監視システムにおいて、前記演算装置は、さらに、前記記憶装置に記憶された前記不動体の数が所定値に達した場合、記憶された前記不動体のうち最も古いものを削除してもよい。

【0009】

（３）上記（１）又は（２）に記載の監視システムにおいて、前記演算装置は、さらに、前記判定処理の結果、動体であると判定された前記不動体の候補と、前記照合処理の結果、動体であると判定された前記動体の候補とを、それぞれ、前記記憶装置に動体の一つとして記憶する第２の記憶処理を行ってもよく、前記判定処理では、前記不動体の候補を、前記記憶装置に記憶された一又は複数の前記動体と照合する第２の照合処理を行ってもよく、前記第２の照合処理の結果、一致する前記動体がない場合、前記不動体の候補を不動体であると判定してもよく、前記第２の照合処理の結果、一致する前記動体がある場合、前記不動体の候補を動体であると判定してもよい。

【0010】

（４）上記（３）に記載の監視システムにおいて、前記演算装置は、さらに、前記記憶装置に記憶された前記動体の数が所定値に達した場合、記憶された前記動体のうち最も古いものを削除してもよい。

【0011】

（５）上記（１）～（４）のいずれかに記載の監視システムにおいて、前記演算装置は、前記判定処理の結果が不動体である場合、前記不動体の候補の監視を行わなくてもよく、前記判定処理の結果が動体である場合、前記不動体の候補を動体であると判定し、当該動体の監視を行ってもよい。

【0012】

（６）上記（１）～（５）のいずれかに記載の監視システムにおいて、前記演算装置は、さらに、前記撮影画像内において姿勢推定された物体を検出する検出処理と、前記検出処理によって検出された前記物体が動体の候補又は不動体の候補のいずれであるかを判定する１次判定処理と、を行ってもよい。

【0013】

（７）また、本開示の第２の態様に係る監視ソフトウエアは、記憶装置と、撮影画像を生成する撮影装置と、に接続される演算装置上で動作する監視ソフトウエアであって、前記演算装置に、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理と、前記判定処理の結果が不動体である場合、当該不動体の候補を前記記憶装置に不動体の一つとして記憶する記憶処理と、前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合処理と、前記照合処理の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視処理と、を実行させ、前記照合処理の結果、一致する前記不動体がある場合、前記動体の候補の監視を行う処理を実行させない。

【0014】

（８）上記（７）に記載の監視ソフトウエアにおいて、前記演算装置に、さらに、前記記憶装置に記憶された前記不動体の数が所定値に達した場合、記憶された前記不動体のうち最も古いものを削除する処理を実行させてもよい。

【0015】

（９）上記（７）又は（８）に記載の監視ソフトウエアにおいて、前記演算装置に、さらに、前記判定処理の結果、動体であると判定された前記不動体の候補と、前記照合処理の結果、動体であると判定された前記動体の候補とを、それぞれ、前記記憶装置に動体の一つとして記憶する第２の記憶処理を実行させてもよく、前記判定処理では、前記不動体の候補を、前記記憶装置に記憶された一又は複数の前記動体と照合する第２の照合処理を実行させてもよく、前記第２の照合処理の結果、一致する前記動体がない場合、前記不動体の候補を不動体であると判定する処理を実行させてもよく、前記第２の照合処理の結果、一致する前記動体がある場合、前記不動体の候補を動体であると判定する処理を実行させてもよい。

【0016】

（１０）上記（９）に記載の監視ソフトウエアにおいて、前記演算装置に、さらに、前記記憶装置に記憶された前記動体の数が所定値に達した場合、記憶された前記動体のうち最も古いものを削除する処理を実行させてもよい。

【0017】

（１１）上記（７）～（１０）のいずれかに記載の監視ソフトウエアにおいて、前記演算装置に、前記判定処理の結果が不動体である場合、前記不動体の候補の監視を行う処理を実行させなくてもよく、前記判定処理の結果が動体である場合、前記不動体の候補を動体であると判定し、当該動体の監視を行う処理を実行さてもよい。

【0018】

（１２）上記（７）～（１１）のいずれかに記載の監視ソフトウエアにおいて、前記演算装置に、さらに、前記撮影画像内において姿勢推定された物体を検出する検出処理と、前記検出処理によって検出された前記物体が動体の候補又は不動体の候補のいずれであるかを判定する１次判定処理と、を実行させてもよい。

【0019】

（１３）また、本開示の第３の態様に係る監視方法は、撮影装置によって生成された撮影画像を取得する画像取得工程と、前記撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定工程と、前記判定工程の結果が不動体である場合、当該不動体の候補を記憶装置に不動体の一つとして記憶する記憶工程と、前記撮影画像内において動体の候補が検出された際、当該動体の候補を、前記記憶装置に記憶された一又は複数の前記不動体と照合する照合工程と、前記照合工程の結果、一致する前記不動体がない場合、前記動体の候補を動体であると判定し、当該動体の監視を行う監視工程と、を有する。

【0020】

（１４）上記（１３）に記載の監視方法において、さらに、前記記憶装置に記憶された前記不動体の数が所定値に達した場合、記憶された前記不動体のうち最も古いものを削除する工程を有してもよい。

【0021】

（１５）上記（１３）又は（１４）に記載の監視方法において、さらに、前記判定工程の結果、動体であると判定された前記不動体の候補と、前記照合工程の結果、動体であると判定された前記動体の候補とを、それぞれ、前記記憶装置に動体の一つとして記憶する第２の記憶処理を行う工程を有してもよく、前記判定工程では、前記不動体の候補を、前記記憶装置に記憶された一又は複数の前記動体と照合する第２の照合処理を行ってもよく、前記第２の照合処理の結果、一致する前記動体がない場合、前記不動体の候補を不動体であると判定してもよく、前記第２の照合処理の結果、一致する前記動体がある場合、前記不動体の候補を動体であると判定してもよい。

【0022】

（１６）上記（１５）に記載の監視方法において、さらに、前記記憶装置に記憶された前記動体の数が所定値に達した場合、記憶された前記動体のうち最も古いものを削除する工程を有してもよい。

【0023】

（１７）上記（１３）～（１６）のいずれかに記載の監視方法において、さらに、前記判定工程の結果が動体である場合、前記不動体の候補を動体であると判定し、当該動体の監視を行う工程を有してもよい。

【0024】

（１８）上記（１３）～（１７）のいずれかに記載の監視方法において、さらに、前記撮影画像内において姿勢推定された物体を検出する検出工程と、前記検出工程によって検出された前記物体が動体の候補又は不動体の候補のいずれであるかを判定する１次判定工程と、を有してもよい。

【発明の効果】

【0025】

本開示によれば、人物誤検出率を低減可能な監視システム、監視ソフトウエア及び監視方法を提供することができる。

【図面の簡単な説明】

【0026】

【図1】実施形態１に係る監視システムの構成を示す模式図である。

【図2】実施形態１に係る監視システムの演算装置による不動体を記憶する処理を説明するフローチャートである。

【図3】実施形態１に係る監視システムの演算装置による記憶処理の具体例を説明するフローチャートである。

【図4】撮影画像において検出された不動体の候補の例を示す模式図である。

【図5】実施形態１に係る監視システムの記憶装置に既に記憶されている不動体の例を示す模式図である。

【図6】ＩｏＵを用いた面積一致率の算出方法を説明するための模式図である。

【図7】実施形態１に係る監視システムの演算装置による動体の候補の照合処理を説明するフローチャートである。

【図8】実施形態１に係る監視システムの演算装置による照合処理の具体例を説明するフローチャートである。

【図9】人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、椅子に掛けられた上着が誤って検出された場面を示す。

【図10】人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、誤検出された上着と重なりつつ人が移動する場面を示す。

【図11】人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、誤検出された上着の横を人が通過した場面を示す。

【図12】実施形態２に係る監視システムの演算装置による処理を説明するフローチャートである。

【図13】実施形態２に係る監視システムの演算装置による監視処理の具体例を説明するフローチャートである。

【0027】

以下、図面を参照して、本開示に係る監視システム、監視ソフトウエア及び監視方法の実施形態を詳細に説明する。本開示に係る監視システム、監視ソフトウエア及び監視方法の監視対象は、動体であれば特に限定されないが、以下では人を対象とした例について説明を行う。

【0028】

なお、以下の説明において、同一又は同様の機能を有する構成についての繰り返しの説明は適宜省略する。

【0029】

（実施形態１）
まず、実施形態１に係る監視システムの概要について説明する。本実施形態に係る監視システムでは、過去に誤って検出された人でない不動体の画像パターンを登録しておき、それ以降に検出された動体の画像パターンを登録パターンと照合し、一致する登録パターンが存在する場合は、その動体を監視対象としないこととする。これにより、誤って動体と検出された物（例えば人でない物）を監視対象から除去することができる。

【0030】

図１は、実施形態１に係る監視システムの構成を示す模式図である。

【0031】

本実施形態に係る監視システム１００は、老人介護施設や病院等の施設で用いられる。監視システム１００は、撮影画像から居住者や入院患者等の被監視者を動体として検出し、その監視を行うシステムである。図１に示すように、本実施形態に係る監視システム１００は、記憶装置１０と、撮影画像を生成する撮影装置２０と、撮影装置２０によって生成された撮影画像を取得する演算装置３０と、を備えている。

【0032】

撮影装置２０は、被監視者の居室に設けられて、居室領域内の被監視者を撮影するカメラである。撮影装置２０は、撮影画像、例えば赤外線画像を生成し、生成した撮影画像を通信ネットワークを介して演算装置３０へ送信する。撮影画像は、動画である。撮影装置２０による撮影及び撮影画像の生成は、常時連続して行われてもよいし、被監視者が撮影範囲に入ったことに応じて行われてもよい。

【0033】

なお、居室領域とは、被監視者が居住、入院、長期滞在等を行う領域である。被監視者が一人で滞在する部屋（個室）、及び被監視者が複数人で滞在する部屋の両方が、居室領域に含まれる。施設が居室領域を複数備える場合、居室領域毎に撮影装置２０が設けられてもよいし、一部の居室領域に撮影装置２０が設けられてもよい。

【0034】

また、撮影装置２０は、施設の共有領域に設けられてもよく、共有領域内の被監視者を撮影してもよい。共有領域とは、被監視者の進入、通行、滞在が許容された領域であって、居室を除く領域であり、例えば、通路、食堂、リハビリ室、レクリエーション室、面会エリア等が挙げられる。一つの共有領域に複数の撮影装置２０が設けられてもよい。

【0035】

演算装置３０は、コンピュータであって、施設の事務室等に配置される。演算装置３０は、撮影装置２０により生成された撮影画像を解析して、撮影画像に写っている被監視者が動体である場合に監視を行う。

【0036】

演算装置３０は、通信部、表示部（表示装置）、入力部及び制御部を備えていてもよい。

【0037】

通信部は、通信ネットワーク等を介して撮影装置２０及び記憶装置１０とデータの送受信を行う機構である。

【0038】

表示部は、種々の画面を表示して施設のスタッフに情報を提示する機構であり、具体的には、例えば、液晶ディスプレイ装置等が挙げられる。

【0039】

入力部は、操作入力を受け付ける機構であり、具体的には、例えば、キーボードやマウス等が挙げられる。

【0040】

制御部は、演算装置３０の動作を制御する機構であり、後述する各種処理を実行する。実際には、各処理に対応するプログラム、例えば監視プログラムをＲＯＭや不揮発性メモリに記憶しておき、それらプログラムをＣＰＵにロードして実行することにより、各処理が実行される。

【0041】

なお、監視プログラムは、監視システム１００に予め導入されてもよいし、汎用ＯＳ上で動作可能なアプリケーションプログラムとして、コンピュータ読み取り可能な記録媒体に記録して、又は、ネットワークを介して、利用者に提供されてもよい。

【0042】

記憶装置１０は、データを記憶するデバイスであり、ＨＤＤや不揮発性ＲＡＭ、ＲＯＭといった記憶デバイスで構成される。記憶装置１０は、演算装置３０（制御部）で実行されるプログラムの記憶や、制御部の動作に際してデータの一時記憶等に用いられる。

【0043】

続いて、図２～図１１を用いて、演算装置３０による処理について説明する。演算装置３０は、不動体を記憶（登録）する処理と、動体の候補を記憶された不動体と照合する処理とを行うことを主な特徴としている。

【0044】

まず、不動体を記憶する処理について説明する。図２は、実施形態１に係る監視システムの演算装置による不動体を記憶する処理を説明するフローチャートである。

【0045】

図２に示すように、演算装置３０は、まず、撮影装置２０によって生成された撮影画像を取得し（Ｓ１０）、撮影画像内において不動体の候補が検出された際、当該不動体の候補が動体又は不動体のいずれであるかを判定する判定処理を行う（Ｓ１１）。この判定処理は、当該不動体の候補を、記憶装置１０に記憶された過去の動体の履歴と照合することよって実行されてもよい。この照合処理については実施形態２で第２の照合処理として詳述する。

【0046】

なお、ここで、「不動体の候補」とは、判定処理の前に少なくとも一度、不動体として検出された物を意味し、例えば、判定処理の前にフレーム間差分によって検出された不動体等が挙げられる。

【0047】

判定処理の結果が不動体である場合（Ｓ１２：不動体）、演算装置３０は、当該不動体の候補を記憶装置１０に不動体の一つとして記憶（登録）する記憶処理を行う（Ｓ１３）。記憶装置１０に登録する情報としては、例えば、当該不動体の撮影画像、当該不動体の姿勢座標、当該不動体を撮影した時の撮影装置２０の角度（向き）等が挙げられる。

【0048】

以上の結果、除去すべき不動体（例えば人でない物）の画像パターンを記憶装置１０に登録することができる。

【0049】

なお、後述するように、演算装置３０は、判定処理の結果が不動体である場合、当該不動体の候補と、既に記憶装置１０に記憶されている各不動体との一致率（例えば、面積一致率）を算出し、算出した一致率に応じて当該不動体の候補を記憶装置１０に記憶するか否かを判定してもよい。例えば、一致率が所定の閾値以上の不動体が存在する場合は、不動体の候補を記憶装置１０に記憶せず、一致率が上記閾値以上の不動体が存在しない場合は、不動体の候補を不動体の一つとして記憶装置１０に記憶してもよい。

【0050】

また、図２に示すように、判定処理の結果が不動体である場合、演算装置３０は、その不動体の候補の監視を行わなくてもよい（Ｓ１４）。他方、判定処理の結果が動体である場合（Ｓ１２：動体）、演算装置３０は、不動体の候補を動体であると判定し、当該動体の監視を行なってもよい（Ｓ１５）。

【0051】

演算装置３０は、図３に示すフローに従って記憶処理を実行してもよい。図３は、実施形態１に係る監視システムの演算装置による記憶処理の具体例を説明するフローチャートである。図４は、撮影画像において検出された不動体の候補の例を示す模式図である。

【0052】

この場合、図４に示すように、演算装置３０は、まず、不動体の候補の当該撮影画像内における面積領域４１を算出する（Ｓ２０）。詳細には、姿勢推定された部位（骨格点）を全て内包する最小の回転矩形の座標を求める。図４には、椅子に掛けられた上着（立体物）を誤って検出した例が示されている。

【0053】

図５は、実施形態１に係る監視システムの記憶装置に既に記憶されている不動体の例を示す模式図である。図６は、ＩｏＵを用いた面積一致率の算出方法を説明するための模式図である。

【0054】

次に、演算装置３０は、算出した不動体の候補の面積領域４１と、図５に示すように記憶装置１０に既に記憶されている各不動体の面積領域４２との間の面積一致率を算出する（Ｓ２１）。図５には、壁に掛けられたポスターの人（平面）が不動体として記憶装置１０に記憶されている例が示されている。面積一致率としては、例えば、図６に示すように、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ）を用いることができる。

【0055】

その結果、面積一致率が所定の閾値（例えば５０％）以上の不動体が存在する場合は（Ｓ２２：Ｙｅｓ）、演算装置３０は、不動体の候補を記憶装置１０に記憶せずに記憶処理を終了し（Ｓ２３）、存在しない場合は（Ｓ２２：Ｎｏ）、演算装置３０は、不動体の候補を不動体の一つとして記憶装置１０に記憶する（Ｓ２４）。図４～図６に示した例では、誤検出された上着の面積領域４１と、登録済みのポスターの人の面積領域４２との間の面積領域が０％であることから、記憶装置１０にこれ以外の不動体が存在しない場合は、誤検出された上着が不動体として記憶装置１０に記憶されることになる。

【0056】

演算装置３０は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ， Ｆｉｒｓｔ Ｏｕｔ）方式で記憶処理を行ってもよく、Ｓ２４にて不動体を記憶した結果、記憶装置１０に記憶された不動体の数（件数）が所定値（例えば５０件）に達した場合（Ｓ２５：Ｙｅｓ）、記憶装置１０に記憶された最も古い不動体を削除してもよい（Ｓ２６）。他方、記憶装置１０に記憶された不動体の数（件数）が所定値（例えば５０件）未満である場合は、削除せずにそのまま記憶処理を終了してもよい。

【0057】

次に、動体の候補を記憶された不動体と照合する処理について説明する。図７は、実施形態１に係る監視システムの演算装置による動体の候補の照合処理を説明するフローチャートである。

【0058】

図７に示すように、演算装置３０は、撮影画像内において動体の候補が検出された際、当該動体の候補を、記憶装置１０に記憶された一又は複数の不動体と照合する照合処理を行う（Ｓ３０）。この照合処理は、後述するように、当該動体の候補の撮影画像と、照合対象の不動体の撮影画像との差分をとることよって実行されてもよい。

【0059】

なお、ここで、「動体の候補」とは、照合処理の前に少なくとも一度、動体として検出された物を意味し、例えば、照合処理の前にフレーム間差分によって検出された動体等が挙げられる。

【0060】

そして、照合処理の結果、一致する不動体がない場合（Ｓ３１：Ｎｏ）、演算装置３０は、動体の候補を動体であると判定し、当該動体の監視を行う監視処理を行う（Ｓ３２）。他方、照合処理の結果、一致する不動体がある場合（Ｓ３１：Ｙｅｓ）、演算装置３０は、動体の候補の監視を行わない（Ｓ３３）。これにより、動体の候補として、誤って不動体が検出された場合（例えば誤検出した人でない立体物を人等が横切ることによって動体の候補として検出された場合）であっても、当該不動体が記憶装置１０に登録されていれば、動体（人）ではないとして監視対象から除去することができる。したがって、監視システム１００による人物誤検出率が低減する。

【0061】

ここで、照合処理において動体の候補が記憶装置１０に記憶された不動体と一致する場合とは、両者（両者の撮影画像）が必ずしも完全に一致する必要はなく、両者の撮影画像の差分が所定の閾値以下である場合であってもよい。すなわち、演算装置３０は、動体の候補の撮影画像と、照合対象の不動体の撮影画像との差分が、所定の閾値以下である場合は一致する不動体があると判定し、所定の閾値を超える場合は一致する不動体がないと判定してもよい。

【0062】

また、このとき、照合対象となる不動体は、記憶装置１０に記憶された全ての不動体であってもよし、記憶装置１０に記憶された少なくとも一部の不動体、例えば、動体の候補と面積領域の一致率が所定の閾値以上である不動体であってもよい。

【0063】

演算装置３０は、図８に示すフローに従って照合処理を実行してもよい。図８は、実施形態１に係る監視システムの演算装置による照合処理の具体例を説明するフローチャートである。まず、人ではない不動体が誤って動体の候補として検出される具体例について説明する。図９は、人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、椅子に掛けられた上着が誤って検出された場面を示す。図１０は、人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、誤検出された上着と重なりつつ人が移動する場面を示す。図１１は、人ではない不動体が誤って動体の候補として検出される場合を例示した模式図であり、誤検出された上着の横を人が通過した場面を示す。

【0064】

図９に示すように、椅子に掛けられた上着（立体物）を誤って人として検出した場合、そのままであれば、上着は不動体であることから、監視対象から除去することができる。しかしながら、図１０及び図１１に示すように、人が誤検出された上着と重なりつつ移動する、すなわち上着の少なくとも一部が隠れると、フレーム間差分が発生し、その結果、上着が動体の候補として検出されてしまう。このような場合は、平面人物除去やフレーム間差分では監視対象から除去できなかったが、本実施形態に係る照合処理によって不動体として除去することができる。

【0065】

図８に示す照合処理では、図１１に示したように、演算装置３０は、まず、動体の候補の当該撮影画像内における面積領域４３を算出する（Ｓ４０）。詳細には、姿勢推定された部位（骨格点）を全て内包する最小の回転矩形の座標を求める。

【0066】

次に、演算装置３０は、算出した動体の候補の面積領域４３と、記憶装置１０に記憶されている各不動体の面積領域との間の面積一致率を算出する（Ｓ４１）。記憶装置１０に記憶されている不動体とは、例えば、上述の図４に示した椅子に掛けられた上着や図５に示したポスターの人等が該当する。面積一致率としては、例えば、ＩｏＵを用いることができる。

【0067】

次に、演算装置３０は、記憶装置１０に記憶されている不動体のうち、面積一致率が所定の閾値（例えば２５％）以上の不動体を抽出する（Ｓ４２）。図１１に示した例では、図５に示したポスターの人との間の面積一致率は０％であることから抽出されず、図４に示した上着との間の面積一致率は８０％程度であることから抽出されることになる。

【0068】

このとき、抽出される不動体は、撮影時の撮影装置２０の角度が、動体の候補の撮影時の撮影装置２０の角度と一致するもの（例えば、両角度の差が所定の閾値以内である場合）に限定されてもよい。すなわち、撮影時の撮影装置２０の角度が動体の候補と一致しない不動体については、次のステップＳ４３以降の処理対象から排除してもよい。

【0069】

次に、演算装置３０は、動体の候補の当該撮影画像と、抽出した各不動体の当該撮影画像との差分を算出する（Ｓ４３）。詳しくは、撮影画像内における動体の候補の面積領域と、撮影画像内における不動体の面積領域との間で輝度値の差分を算出する。

【0070】

その結果、全ての差分が所定の閾値以下である場合は（Ｓ４４：Ｙｅｓ）、演算装置３０は、一致する不動体があると判定して照合処理を終了し（Ｓ４５）、当該閾値を超える差分が１つでも存在する場合は（Ｓ４４：Ｎｏ）、演算装置３０は、一致する不動体がないと判定して照合処理を終了する（Ｓ４６）。

【0071】

図１１に示した例では、面積領域４３と図４に示した上着の面積領域４１との間の差分が閾値以下であるため、一致する不動が存在する、すなわち、図１１に示した上着は、不動体と判定され、監視対象から外れることになる。

【0072】

本実施形態において、動体の監視処理を行う場合、演算装置３０は、その動体の行動を撮影画像から検知し、その検知結果に基づいて被監視者が危険であるかを判断してもよい。そして、危険であると判断した場合に発報装置を発動させ、その旨を施設の管理者に報知してもよい。なお、撮影画像から動体の行動を検知する手法としては、例えば、機械学習による行動検出モデルを用いることができる。

【0073】

発報装置は、施設のスタッフ等へ被監視者が危険状態にあることを報知する装置であり、施設のスタッフルームやナースステーション等に配置される。発報装置は、液晶ディスプレイ装置、スタッフが携帯する情報端末（スマートフォンやタブレット等）、音声を発するスピーカーや、光を発するライト等であってもよい。発報装置は、危険状態にあると判定された被監視者について、スタッフに対して発報を行う。発報は、発報装置の表示部への画面表示や、音声、発光、振動等により行われてもよい。

【0074】

以上、説明したように、本実施形態に係る監視システム１００によれば、人物誤検出率を低減することができる。

【0075】

（実施形態２）
実施形態２に係る監視システムは、演算装置３０が、判定処理の前に撮影画像から動体又は不動体の候補を検出する処理と、動体と判定された物体を記憶（登録）する処理と、をさらに行い、かつ判定処理において不動体の候補を記憶された動体と照合する処理を行う点で実施形態１に係る監視システムと異なっている。

【0076】

また、本実施形態では、撮影装置２０は、関節の３次元座標の取得のため、画像センサに加えて、ＦＯＴカメラ等の深度センサを備えている。深度センサは、被写体の位置及び奥行き（深度）を認識する。なお、深度センサは、パターン照射方式のセンサであってもよい。

【0077】

図１２～図１３を用いて、本実施形態における演算装置３０による処理について説明する。図１２は、実施形態２に係る監視システムの演算装置による処理を説明するフローチャートである。なお、図１２において、実施形態１と共通する処理には同じ符号を付している。

【0078】

図１２に示すように、本実施形態では、演算装置３０は、撮影装置２０によって生成された撮影画像を取得した後（Ｓ１０）、まず、撮影画像内において姿勢推定された物体を検出する検出処理を行う（Ｓ５０）。詳細には、機械学習による人物検出モデルにより、撮影画像から人物と推定される物体を検出するとともに、時系列のフレーム毎に当該物体の複数の骨格点を抽出し、当該骨格点の時系列の座標変位を推定する。各骨格点の座標は、深度センサに基づく深度（距離）情報を含む３次元座標であってもよい。なお、この検出処理によって検出される物体は、実際の人であってもよいし、人ではない物体であってもよい。

【0079】

続いて、演算装置３０は、検出処理によって検出された物体の追跡処理を行う（Ｓ５１）。詳しくは、検出された物体が既に検出済みの物体である場合は、登録済みの当該ＩＤに検出された物体の位置情報を追加する。検出された物体が未だ検出されていない物体である場合は、新たにＩＤを付与し、そのＩＤに検出された物体の位置情報を追加する。

【0080】

次に、演算装置３０は、検出処理によって検出された物体が動体の候補又は不動体の候補のいずれであるかを判定する１次判定処理を行う（Ｓ５２）。詳しくは、演算装置３０は、撮影画像のフレーム間差分をとることによって、検出された物体が動体又は不動体のいずれであるかを判定し、それぞれ動体の候補又は不動体の候補とする。

【0081】

１次判定処理の結果が動体の候補である場合（Ｓ５３：動体）、演算装置３０は、実施形態１で説明した照合処理を行う（Ｓ３０）。すなわち、動体の候補を記憶装置１０に記憶された一又は複数の不動体と照合する。

【0082】

１次判定処理の結果が不動体の候補である場合（Ｓ５３：動体）、演算装置３０は、実施形態１で説明した判定処理を行う（Ｓ１１）。すなわち、不動体の候補が動体又は不動体のいずれであるかを判定する。このように、本実施形態では、演算装置３０は、１次判定処理と、その後の判定処理（２次判定処理）とにおいて、検出された物体が動体又は不動体のいずれであるかの判定を行う。

【0083】

また、演算装置３０は、判定処理の結果、動体であると判定された不動体の候補と（Ｓ１２：動体）、照合処理の結果、動体であると判定された動体の候補とを（Ｓ３１：動体）、それぞれ、記憶装置１０に動体の一つとして記憶（登録）する第２の記憶処理を行う（Ｓ５４）。

【0084】

具体的には、例えば、物体の追跡処理で決定されたＩＤに当該動体の活動量を人物活動量として記憶する。ここで、人物活動量は、１次判定処理又は照合処理で計算された画像差分量に基づく値である。人物活動量は、例えば５ＦＰＳで更新され、
人物活動量（更新後）＝人物活動量（更新前）＋画像差分量－活動量減衰定数
の式から算出される。活動量減衰定数は実験的に求めた定数である。演算装置３０は、１次判定処理において、この人物活動量を算出し、人物活動量が所定の閾値以上であれば、動体の候補であると判定し、当該閾値未満であれば不動体の候補であると判定する。

【0085】

演算装置３０は、ＦＩＦＯ方式で第２の記憶処理を行ってもよく、Ｓ５４にて動体を記憶した結果、記憶装置１０に記憶された動体の数（件数）が所定値に達した場合、記憶装置１０に記憶された動体のうち最も古いものを削除してもよい。他方、記憶装置１０に記憶された動体の数（件数）が所定値未満である場合は、削除せずにそのまま第２の記憶処理を終了してもよい。

【0086】

そして、演算装置３０は、Ｓ１１の判定処理（２次判定処理）において、不動体の候補を、記憶装置に記憶された一又は複数の動体と照合する第２の照合処理を行う。第２の照合処理の結果、一致する動体がない場合、演算装置３０は、不動体の候補を不動体であると判定し（Ｓ１２：不動体）、第２の照合処理の結果、一致する動体がある場合、演算装置３０は、不動体の候補を動体であると判定する（Ｓ１２：動体）。詳しくは、演算装置３０は、不動体の候補と同じＩＤをもつ物体が記憶装置１０に動体（人物活動量が所定の閾値以上である物体）として記憶されているか否かを確認し、そのような動体の履歴が存在する場合は一致する動体があると判定し、そのような動体の履歴が存在しない場合は一致する動体がないと判定する。

【0087】

また、本実施形態では、演算装置３０は、第２の記憶処理の後、動体の監視処理を行う（Ｓ５５）。

【0088】

演算装置３０は、図１３に示すフローに従って監視処理（Ｓ５５）を実行してもよい。図１３は、実施形態２に係る監視システムの演算装置による監視処理の具体例を説明するフローチャートである。

【0089】

この場合、演算装置３０は、まず、動体の３Ｄ座標の信頼性をチェックする（Ｓ６０）。詳細には、深度センサで取得された動体の３次元標情報に基づいて、当該物体が人として妥当であるか否かを判断する。例えば、当該動体が平面に存在する場合や、当該動体が想定し得ない姿勢を示している場合等は信頼できないと判定する。そして、動体の３Ｄ座標が信頼できる場合（Ｓ６１：Ｙｅｓ）、演算装置３０は、その動体の行動を撮影画像から検知し、その検知結果に基づいて被監視者が危険であるかを判断してもよい（Ｓ６２）。他方、動体の３Ｄ座標が信頼できない場合（Ｓ６１：Ｙｅｓ）、演算装置３０は、その動体の行動は検知せずに、その動体の監視のみを継続してもよい（Ｓ６３）。

【0090】

本実施形態によっても、実施形態１と同様に、人物誤検出率を低減することができる。

【0091】

以上、図面を参照しながら実施形態を説明したが、本開示は、上記実施形態に限定されるものではない。また、各実施形態の構成は、本開示の要旨を逸脱しない範囲において適宜組み合わされてもよいし、変更されてもよい。

【産業上の利用可能性】

【0092】

以上のように、本開示は、撮影画像を用いた監視システムの人物誤検出率を低減するのに有用な技術である。

【符号の説明】

【0093】

１００：監視システム
１０：記憶装置
２０：撮影装置
３０：演算装置
４１、４２、４３：面積領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】