特許 7180243 監視システムおよびカメラ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-21

(45)【発行日】2022-11-30

(54)【発明の名称】監視システムおよびカメラ

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221122BHJP

   G08B 25/04 20060101ALI20221122BHJP

   G08B 13/196 20060101ALI20221122BHJP

   G08B 25/00 20060101ALI20221122BHJP

   H04N 5/232 20060101ALI20221122BHJP

   G06T 7/00 20170101ALI20221122BHJP

   G06T 7/579 20170101ALI20221122BHJP

【ＦＩ】

H04N7/18 D

G08B25/04 F

G08B13/196

G08B25/00 510M

H04N5/232 290

G06T7/00 660B

G06T7/579

【請求項の数】 2

(21)【出願番号】P 2018181306

(22)【出願日】2018-09-27

(65)【公開番号】P2020053840

(43)【公開日】2020-04-02

【審査請求日】2021-03-03

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】松川 将磨

(72)【発明者】

【氏名】松田 直丈

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１８－１０６２８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／００９３６９７（ＵＳ，Ａ１）

【文献】特開２００８－１９９５４９（ＪＰ，Ａ）

【文献】特開２０１０－１０９７８３（ＪＰ，Ａ）

【文献】特開２０１２－０７９３４８（ＪＰ，Ａ）

【文献】特開２００２－０３２７４２（ＪＰ，Ａ）

【文献】特開２００６－１６５７２９（ＪＰ，Ａ）

【文献】特開２００１－１６５６３８（ＪＰ，Ａ）

【文献】特開２００１－０３４７８５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１９５３１６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９６

Ｇ０８Ｂ ２５／００

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

監視システムであって、
天井に設置されて前記天井から重力方向下側の空間を俯瞰し、撮像できる範囲を通過する人物の一連の動作を撮像した撮像画像を取得する撮像部と、
前記撮像画像に人物が写っているか否かを判定する判定部と、
前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた、撮像できる範囲を通過する人物の３Ｄモデルを作成する作成部と、
前記３Ｄモデルを表示する表示部と、を備え、
前記作成部は、異なる時間に取得された前記撮像画像のうち、前記撮像画像に写っていた人物の身体を多視点より撮像した画像から得られる情報を用いて前記３Ｄモデルを作成する、監視システム。

【請求項2】

天井に設置されるカメラであって、
前記天井から重力方向下側の空間を俯瞰し、撮像できる範囲を通過する人物の一連の動作を撮像した撮像画像を取得する撮像部と、
前記撮像画像に人物が写っているか否かを判定する判定部と、
前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた、撮像できる範囲を通過する人物の３Ｄモデルを作成する作成部と、
前記３Ｄモデルを表示する表示部に対して前記３Ｄモデルの情報を送る通信部と、を備え、
前記作成部は、異なる時間に取得された前記撮像画像のうち、前記撮像画像に写っていた人物の身体を多視点より撮像した画像から得られる情報を用いて前記３Ｄモデルを作成する、カメラ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、監視システムおよびカメラに関する。

【背景技術】

【0002】

オフィスやマンション等への侵入監視において、監視カメラが用いられている。このような監視カメラには、監視する空間に対して、斜め上方向から監視するものがある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－２２９０４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のような監視カメラが斜め上方向から空間を監視している場合には、撮影されている人物のうち監視カメラが配置されている側とは反対側の側面が写らないことから、その人物の特徴情報が十分に得られない可能性がある。このため、監視する空間を通過する人物の特徴情報を十分に得ることができる技術が望まれている。

【課題を解決するための手段】

【0005】

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
監視システムであって、
天井に設置されて前記天井から重力方向下側の空間を俯瞰し、撮像できる範囲を通過する人物の一連の動作を撮像した撮像画像を取得する撮像部と、
前記撮像画像に人物が写っているか否かを判定する判定部と、
前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた、撮像できる範囲を通過する人物の３Ｄモデルを作成する作成部と、
前記３Ｄモデルを表示する表示部と、を備える、監視システム。
天井に設置されるカメラであって、
前記天井から重力方向下側の空間を俯瞰し、撮像できる範囲を通過する人物の一連の動作を撮像した撮像画像を取得する撮像部と、
前記撮像画像に人物が写っているか否かを判定する判定部と、
前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた、撮像できる範囲を通過する人物の３Ｄモデルを作成する作成部と、
前記３Ｄモデルを表示する表示部に対して前記３Ｄモデルの情報を送る通信部と、を備え、
前記作成部は、異なる時間に取得された前記撮像画像のうち、前記撮像画像に写っていた人物の身体を多視点より撮像した画像から得られる情報を用いて前記３Ｄモデルを作成する、カメラ。

【0006】

（１）本発明の一形態によれば、監視システムが提供される。この監視システムは、天井に設置されて前記天井から重力方向下側の空間を俯瞰した撮像画像を取得する撮像部と、前記撮像画像に人物が写っているか否かを判定する判定部と、前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた人物の３Ｄモデルを作成する作成部と、を備える。この形態の監視システムによれば、撮像部が設置された天井から重力方向下側の空間を俯瞰した撮像画像が取得される。撮像画像からは写っていた人物の身体を多視点より撮像した情報が得られる。空間を俯瞰した撮像画像から得られるこのような情報を用いて人物の３Ｄモデルが作成されることから、その人物の特徴情報を十分に得ることができる。

【0007】

（２）上記形態における監視システムにおいて、前記作成部は、異なる時間に取得された前記撮像画像から得られる情報を用いて前記３Ｄモデルを作成してもよい。このような形態とすれば、３Ｄモデルを精度良く作成することができる。

【0008】

（３）本発明の他の形態によれば、カメラが提供される。このカメラは、天井に設置されるカメラであって、前記天井から重力方向下側の空間を俯瞰した撮像画像を取得する撮像部と、前記撮像画像に人物が写っているか否かを判定する判定部と、前記撮像画像に人物が写っていると前記判定部が判定した場合に、前記撮像画像から得られる情報を用いて前記撮像画像に写っていた人物の３Ｄモデルを作成する作成部と、前記３Ｄモデルを表示する表示部に対して前記３Ｄモデルの情報を送る通信部と、を備える。この形態のカメラによれば、カメラが設置された天井から重力方向下側の空間を俯瞰した撮像画像が取得される。撮像画像からは写っていた人物の身体を多視点より撮像した情報が得られる。空間を俯瞰した撮像画像から得られるこのような情報を用いて人物の３Ｄモデルが作成されることから、その人物の特徴情報を十分に得ることができる。

【0009】

本発明の形態は、本発明の形態は、カメラや監視システムの形態に限るものではなく、例えば、カメラや監視システムを管理する管理装置の他、監視システムや管理装置の機能をコンピュータに実現させるためのプログラムなどの種々の形態に適用することも可能である。また、本発明は、前述の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。

【図面の簡単な説明】

【0010】

【図1】監視システムについて示した説明図である。

【図2】人物を撮像部が撮像している状態を説明する説明図である。

【図3】人物の正面側の上半身が撮像部に撮像された状態を示す説明図である。

【図4】人物の頭頂部が撮像部に撮像された状態を示す説明図である。

【図5】人物の背面側の上半身が撮像部に撮像された状態を示す説明図である。

【図6】３Ｄモデルを表示した表示画像の一例を示す説明図である。

【図7】カメラについて示した説明図である。

【図8】監視システムについて示した説明図である。

【発明を実施するための形態】

【0011】

Ａ．第１実施形態：
図１は、本実施形態における監視システム１０について示した説明図である。監視システム１０は、セキュリティエリアＳＣに入るための扉ＤＲの周辺のエリアＡＲを監視する。監視システム１０は、撮像部１１０と、判定部１２０と、作成部１３０と、表示部１４０とを備える。

【0012】

撮像部１１０は、エリアＡＲの天井に設置されて天井から重力方向下側の空間を俯瞰した撮像画像を取得する。ここでいう天井とは、密閉された部屋のうち重力方向上側の面の部分という意味だけでなく、エリアＡＲの重力方向上側という意味も含む概念である。本実施形態では、撮像部１１０は、カラーフィルタを搭載した距離画像カメラ（デプスカメラ）である。他の実施形態では、撮像部１１０は、３Ｄモデルを作成するために必要な情報を得られる装置である限り、グレースケール画像のみのデプスカメラやステレオ測距方式を用いたステレオカメラであってもよい。また、撮像部１１０として、距離測定に赤外線が用いられる場合には、暗い場所においても安定して距離を測定することができる。本実施形態では、撮像部１１０は、エリアＡＲを常時撮像している。他の実施形態では、撮像部１１０は、エリアＡＲ内に動く物体が進入したときのみ撮像を行ってもよい。

【0013】

判定部１２０は、撮像画像に人物が写っているか否か判定する。判定部１２０は、予め設定された時間間隔毎に、その間隔の間において蓄積された撮像画像を用いて判定を行う。撮像画像は、監視システム１０が有するメモリに蓄積されている。

【0014】

作成部１３０は、撮像画像に人物が写っていると判定部１２０が判定した場合に、撮像画像から得られる情報を用いて撮像画像に写っていた人物の３Ｄモデルを作成する。ここでいう撮像画像から得られる情報には、対象とする人物の表面における凹凸情報、撮像部１１０を原点とした絶対値としての人物までの距離情報、輝度値やＲＧＢ値などが含まれる。

【0015】

表示部１４０は、作成部１３０が作成した３Ｄモデルを表示する。本実施形態では、表示部１４０は、監視システム１０を構成するパソコンの液晶ディスプレイである。他の実施形態では、表示部１４０は、スマートフォンもしくはエリアＡＲが存在する建物内の壁面に備えられた液晶ディスプレイであってもよい。また、表示部１４０は、ＡＲ（Augmented Reality）、ＶＲ（Virtual Reality）およびＭＲ（Mixed Reality）を利用して表示する構成であってもよい。

【0016】

図２は、エリアＡＲに進入した人物ＦＧを撮像部１１０が撮像している状態を説明する説明図である。図２において、人物ＦＧは、エリアＡＲに紙面右側から進入して紙面左側に配置された扉ＤＲ（図示しない）に向かっている。人物ＦＧ１～ＦＧ５は、紙面右側から紙面左側に移動する人物ＦＧの位置を表している。エリアＡＲの天井に配置されている撮像部１１０は、撮像部１１０が撮像できる範囲を通過する人物ＦＧの一連の動作を撮像する。撮像部１１０は、図２の矢印で示されているように、人物ＦＧ１～ＦＧ５の位置に応じて人物ＦＧの身体を撮像することから、各位置における人物ＦＧの特徴を撮像することができる。

【0017】

図３は、人物ＦＧ２の位置において、人物ＦＧの正面側の上半身が撮像部１１０に撮像された状態を示す説明図である。図４は、人物ＦＧ３の位置において、人物ＦＧの頭頂部が撮像部１１０に撮像された状態を示す説明図である。図５は、人物ＦＧ４の位置において、人物ＦＧの背面側の上半身が撮像部１１０に撮像された状態を示す説明図である。また、人物ＦＧ１の位置では、人物ＦＧの正面側の下半身が撮像部１１０に撮像される。人物ＦＧ５の位置では、人物ＦＧの背面側の下半身が撮像部１１０に撮像される。人物ＦＧ１～５の位置において撮像した撮像画像から得られた情報を用いて、作成部１３０は、人物ＦＧの３Ｄモデルを作成する。このため、人物ＦＧの３Ｄモデルを精度良く作成することができる。

【0018】

図６は、３Ｄモデルを表示した表示画像の一例を示す説明図である。図６に示された表示画像Ｖｉは、人物ＦＧの３Ｄモデルを示した画像である。表示画像Ｖｉは、表示部１４０に表示される。表示画像Ｖｉでは、５つの側面から見た人物ＦＧが表示されている。表示画像は、このような表示形式に限られず、例えば、表示部１４０がタッチパネルである場合には、表示画像に表示された１体の人物ＦＧの３Ｄモデルがタッチパネルに対する操作によって回転可能に表示されていてもよい。

【0019】

以上説明した第１実施形態によれば、撮像部１１０が設置された天井から重力方向下側の空間であるエリアＡＲを俯瞰した撮像画像が取得される。撮像画像からは写っていた人物ＦＧの身体を多視点より撮像した情報が得られる。エリアＡＲを俯瞰した撮像画像から得られるこのような情報を用いて人物ＦＧの３Ｄモデルが作成されることから、人物ＦＧの特徴情報を十分に得ることができる。監視システム１０では、人物ＦＧを３Ｄモデル化することによって、エリアＡＲを斜め上方向から撮像する場合には得られなかった視点で、人物ＦＧを眺めた時の様子を再現することができる。換言すれば、一視点から見た人物ＦＧだけでなく、様々な視点から見た人物ＦＧを識別することができる情報が得られる。このため、表示部１４０に表示された人物ＦＧの３Ｄモデルを見たユーザーが実際に人物ＦＧに遭遇した際に、その人物が人物ＦＧであると認識する可能性を高くすることができる。

【0020】

エリアＡＲを斜め上方向から撮像する形態の場合、撮影されている人物ＦＧのうち撮像部が配置されている側とは反対側の側面が写らないことによって、該側面の情報が欠けている３Ｄモデルが作成される可能性が高い。そのような形態と比べて、第１実施形態では、天井から重力方向下側に向けてエリアＡＲを撮像するため、人物ＦＧのうち撮像部１１０から見えない側面を減らしやすいことから、より情報量の多い３Ｄモデルを形成する可能性を高くすることができる。したがって、死角になりやすい人物ＦＧの背面および側面の情報が含まれた３Ｄモデルを形成する可能性を高くすることができる。

【0021】

情報量の多い３Ｄモデルを作成しようとした場合、エリアＡＲを斜め上方向から撮像する撮像部では、人物ＦＧにおいて写らない部分を減らすために、複数の位置に撮像部を配置してエリアＡＲを撮像する必要がある。一方、第１実施形態では、エリアＡＲを俯瞰する位置から撮像部１１０がエリアＡＲを撮像するため、斜め上方向から撮像する撮像部と比べて、１つの撮像部から得られる人物ＦＧの情報量が多いことから、より少ない数の撮像部１１０で人物ＦＧの情報を十分に取得することができる。したがって、監視システム１０のデバイスコストを低く抑えることができる。

【0022】

また、エリアＡＲを斜め上方向から撮像する撮像部と比べて、エリアＡＲを俯瞰する位置から撮像する撮像部１１０では、人物ＦＧの正面側および背面側を撮像しやすい。このため、監視システム１０では、人物ＦＧの正面側および背面側における情報量が不足しにくいため、正面側および背面側の情報量が多い３Ｄモデルを作成することができる。

【0023】

また、撮像部１１０は、人物ＦＧ１～ＦＧ５の位置に移動する人物ＦＧを撮像していることから、人物ＦＧの歩行動作などの動作の特徴を取得することができる。このような特徴情報を３Ｄモデルに適用することによって、人物ＦＧの動作を３Ｄモデルに再現させることができる。

【0024】

また、第１実施形態では、撮像画像から得られる情報に輝度値やＲＧＢ値などが含まれることから、作成部１３０は、色情報が付いた３Ｄモデルを作成できる。このため、作成された３Ｄモデルから人物ＦＧの身長や体格を視覚的に分かりやすく捉えることができる。また、色情報が付いた３Ｄモデルから、人物ＦＧの服装や装飾品の情報も詳しく知ることができる。

【0025】

また、第１実施形態では、撮像部１１０は、天井に設置されていることから、部屋の側面の壁などに設置される形態と比べて、配線がしやすい。具体的には、天井に設置された撮像部１１０に対して配線する場合には、天井裏の空間に配線を行えばよいが、部屋の側面の壁に設置された撮像部に対して配線する場合には、壁内に配線を埋め込む等の煩雑な作業が発生しやすいということである。このため、第１実施形態では、撮像部１１０の設置を簡易にすることができる。

【0026】

Ｂ．他の実施形態：
図７は、他の実施形態におけるカメラ１０ａについて示した説明図である。カメラ１０ａは、撮像部１１０と、判定部１２０と、作成部１３０と、通信部１５０と、を備える。撮像部１１０、判定部１２０および作成部１３０の機能は、第１実施形態の監視システム１０と同じである。換言すれば、カメラ１０ａは、監視システム１０が備えていた撮像部１１０、判定部１２０および作成部１３０の機能を、カメラ１０ａ内で実行するものである。

【0027】

通信部１５０は、作成部１３０が作成した３Ｄモデルの情報を、カメラ１０ａの外部に設けられた表示部に対して送る。ここでいう表示部は、デジタルサイネージ、スマートフォンもしくはパソコンの画面である。このような形態によっても、第１実施形態と同様の効果を奏することができる。

【0028】

上述した第１実施形態では、判定部１２０は、予め設定された時間間隔毎に、その間隔の間において蓄積された撮像画像を用いて判定を行っていたが、本発明はこれに限られない。例えば、判定部１２０は、予め設定された条件が満たされた場合にのみ判定を行ってもよい。

【0029】

予め設定された条件の例について、図８を用いて説明する。扉ＤＲは、認証操作により開錠される扉であるとする。認証操作を行い扉ＤＲを開錠してセキュリティエリアＳＣに進入する認証人物ＡＴがいる場合、認証人物ＡＴが開けた扉ＤＲが閉じる前に、認証操作を行っていない不審者ＰＲが認証人物ＡＴに続いてセキュリティエリアＳＣに進入する状況を、共連れと呼ぶ。判定部１２０は、共連れが発生したことを、予め設定された条件として設定されていた場合、共連れが発生する前の一定の時間に取得された撮像画像に不審者ＰＲが人物として写っているか否かを判定してもよい。

【0030】

本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0031】

１０…監視システム、１０ａ…カメラ、１１０…撮像部、１２０…判定部、１３０…作成部、１４０…表示部、１５０…通信部、ＡＲ…エリア、ＡＴ…認証人物、ＤＲ…扉、ＦＧ…人物、ＰＲ…不審者、ＳＣ…セキュリティエリア、Ｖｉ…表示画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】