特開 2023-121598 通知システムおよび通知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023121598

(43)【公開日】2023-08-31

(54)【発明の名称】通知システムおよび通知方法

(51)【国際特許分類】

   G08B 25/00 20060101AFI20230824BHJP

   G08B 25/04 20060101ALI20230824BHJP

   G08B 21/02 20060101ALI20230824BHJP

   G06T 7/00 20170101ALI20230824BHJP

   G06T 7/20 20170101ALI20230824BHJP

   G06T 7/70 20170101ALI20230824BHJP

   H04N 7/18 20060101ALI20230824BHJP

【ＦＩ】

G08B25/00 510M

G08B25/04 K

G08B21/02

G06T7/00 660A

G06T7/20 300B

G06T7/70 B

H04N7/18 D

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022025024

(22)【出願日】2022-02-21

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】田中 義照

(72)【発明者】

【氏名】岡田 康

(72)【発明者】

【氏名】堀内 孝治

(72)【発明者】

【氏名】吉原 毅

【テーマコード（参考）】

5C054

5C086

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CA05

5C054CC02

5C054EA05

5C054FC12

5C054FE09

5C054FE13

5C054FE14

5C054HA19

5C086AA22

5C086BA30

5C086CA28

5C086CB36

5C086DA40

5C086FA17

5C086FA18

5C087AA02

5C087AA03

5C087AA09

5C087AA10

5C087AA19

5C087BB02

5C087BB20

5C087DD03

5C087DD20

5C087DD23

5C087DD31

5C087DD49

5C087EE14

5C087EE18

5C087FF01

5C087FF02

5C087FF16

5C087GG02

5C087GG08

5C087GG66

5C087GG70

5C087GG83

5L096AA06

5L096BA02

5L096CA04

5L096DA01

5L096DA02

5L096DA03

5L096FA52

5L096FA67

5L096FA69

5L096FA77

5L096GA51

5L096HA02

(57)【要約】      （修正有）

【課題】カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知する通知システム及び通知方法を提供する。
【解決手段】監視カメラ１０と通信可能に接続されたサーバ２０及びサーバと通信可能に接続された所定の端末装置３０を備える通知システム１において、サーバは、監視カメラの撮像画像に基づいて、撮像領域内にいる人物の視線もしくは人物の顔の向きを検出する視線検出部２２Ｂ、撮像画像に基づく人物のストレス指数を算出するストレス指数算出部２２Ｃ、人物が見ている撮像領域内の対象領域を特定する対象領域特定部２２Ｄ、対象領域の特定に使用した人物のストレス指数から、対象領域のストレス度を推定する対象領域ストレス度推定部２２Ｅ及びストレス度を所定の端末に通知させる制御部を備える。制御部は、ストレス度が所定値を超える場合に所定の端末装置に通知を送信する。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像領域を撮像する監視カメラと通信可能に接続されたサーバと、
前記サーバと通信可能に接続された所定の端末と、を備え、
前記サーバは、
前記監視カメラの撮像画像に基づいて、前記撮像領域内にいる少なくとも１人の人物の視線もしくは前記人物の顔の向きを検出する視線検出部と、
前記監視カメラの前記撮像画像に基づいて、前記人物のストレス指数を算出するストレス指数算出部と、
前記人物の視線もしくは前記人物の顔の向きに基づいて、前記人物が見ている前記撮像領域内の対象領域を特定する対象領域特定部と、
前記対象領域の特定に使用した少なくとも１人の人物のストレス指数から、前記対象領域のストレス度を推定するストレス度推定部と、
前記ストレス度を前記所定の端末に通知させる制御部と、を備え、
前記制御部は、前記ストレス度が所定値を超える場合に前記所定の端末に前記通知を送信する、
通知システム。

【請求項2】

前記制御部は、所定の時間継続して前記対象領域の前記ストレス度が前記所定値を超え続ける場合に、前記所定の端末に前記通知を送信する、
請求項１に記載の通知システム。

【請求項3】

前記所定値は、第１の所定値と前記第１の所定値より小さい第２の所定値とであり、
前記制御部は、
前記ストレス度が前記第１の所定値以上の場合には前記所定の端末に前記通知を送信し、
前記ストレス度が前記第１の所定値未満でかつ前記第２の所定値以上である場合には、所定の時間継続して前記対象領域の前記ストレス度が前記第２の所定値を超え続ける場合に、前記所定の端末に前記通知を送信する、
請求項１に記載の通知システム。

【請求項4】

前記対象領域特定部は、前記ストレス指数が閾値を超える人物の人数が第１の人数を超える場合、前記ストレス指数が前記閾値を超える前記人物の視線もしくは前記人物の顔の向きから前記対象領域を特定する、
請求項１に記載の通知システム。

【請求項5】

前記対象領域特定部は、第２の人数を超える人物のそれぞれの視線もしくは前記第２の人数を超える前記人物のそれぞれの顔の向きに基づいて前記対象領域を特定する、
請求項１に記載の通知システム。

【請求項6】

前記対象領域特定部は、第２の人数を超える人物の中で前記ストレス指数の算出が可能であった人物の人数が第３の人数より多い場合、前記第３の人数より多い人物のそれぞれの視線もしくは前記第３の人数より多い人物のそれぞれの顔の向きから対象領域を特定する、
請求項１に記載の通知システム。

【請求項7】

前記対象領域特定部は、
第２の人数を超える人物のそれぞれの視線もしくは前記第２の人数を超える前記人物のそれぞれの顔の向きが交差する領域を前記対象領域の候補と選定し、
前記対象領域の候補の選定に使用した人物のストレス指数から推定されたストレス度が前記所定値を超える場合に前記対象領域の候補を前記対象領域と特定する、
請求項１に記載の通知システム。

【請求項8】

前記対象領域特定部は、第２の人数を超える人物のそれぞれの視線もしくは前記第２の人数を超える前記人物のそれぞれの顔の向きが交差する領域を前記対象領域の候補と選定し、
前記ストレス指数算出部は、前記第２の人数を超える前記人物の中で前記ストレス指数が検知された人物の人数が第３の人数以下の場合、前記ストレス指数が算出された前記人物のストレス指数のいずれかの値を前記ストレス指数が検知されなかった人物のストレス指数として使用し、
前記ストレス度推定部は、前記領域を見ている人物の前記ストレス指数から前記選定された対象領域のストレス度を推定し、
前記対象領域特定部は、前記ストレス度が前記所定値を超える場合に前記対象領域の候補を前記対象領域と特定する、
請求項１に記載の通知システム。

【請求項9】

前記通知の内容は、前記対象領域の場所、前記対象領域の前記ストレス度の値および前記対象領域の特定に使用した前記人物の人数である、
請求項１に記載の通知システム。

【請求項10】

前記制御部は、前記対象領域に近い位置に存在する警備員の端末を選択して前記通知を送信する、
請求項１に記載の通知システム。

【請求項11】

前記ストレス指数算出部は、顔の表情、前記人物の急な振り向きを伴う注視の動作または前記人物の急な視線の変化に伴う注視の動作のうち少なくとも一つから前記人物の前記ストレス指数を算出する、
請求項１に記載の通知システム。

【請求項12】

前記ストレス度推定部は、前記対象領域を特定に使用した前記人物の前記ストレス指数を合計して算出する、
請求項１に記載の通知システム。

【請求項13】

撮像領域を撮像する監視カメラと所定の端末との間でそれぞれ通信可能に接続されるサーバにより実行され、
前記監視カメラの撮像画像に基づいて、前記撮像領域内にいる少なくとも１人の人物の視線もしくは前記人物の顔の向きを検出するステップと、
前記監視カメラの前記撮像画像に基づいて、前記人物のストレス指数を算出するステップと、
前記人物の視線もしくは前記人物の顔の向きに基づいて、前記人物が見ている前記撮像領域内の対象領域を特定するステップと、
前記対象領域の特定に使用した少なくとも１人の人物のストレス指数から、前記対象領域のストレス度を推定するステップと、
前記ストレス度が所定値を超える場合に前記所定の端末に通知するステップと、を有する、
通知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、通知システムおよび通知方法に関する。

【背景技術】

【0002】

特許文献１には、撮像画像に基づいて、人の混雑度を推定する混雑解析部と、撮像画像に基づいて、人の属性を推定する属性解析部と、混雑度と人の属性とに基づいて、危険レベルを推定する危険レベル解析部と、各種情報を表示部に表示するよう制御する表示処理部を有する画像処理装置が開示されている。表示処理部は、危険レベルを示す画面を表示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２００７１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、カメラ（例えば、監視カメラ）からの撮像映像を、画像処理技術を用いて人の密度または移動速度を解析し人の混雑のレベルを判定する技術がある。このようなカメラは、人の混雑レベルの進行を把握することで、撮像領域で起こりうる事故または事件等の非常事態を未然に防ぐために用いられる。しかしながら、非常事態には様々なケースが考えられ、例えば必ずしも混雑度の高い領域ではない領域において、体調不良で倒れこむ人が発生する、異常音が鳴る、喧嘩が発生する、または交通事故が発生するなどである。このような非常事態は必ずしも人の多寡に依存せず不特定に発生し得る。

【0005】

特許文献１では、推定された人の混雑度と属性とに基づいて危険レベルを推定する技術が開示されているが、人の混雑度に紐づかない非常事態のケースに用いることは想定されていない。そのため、人物それぞれに近い場所で起こる可能性がある危険を推定できるものの、人物それぞれから離れた場所も含めた危険を推定できないという課題があった。

【0006】

本開示は、上述した従来の状況に鑑みて案出され、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知する通知システムおよび通知方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、撮像領域を撮像する監視カメラと通信可能に接続されたサーバと、前記サーバと通信可能に接続された所定の端末と、を備え、前記サーバは、前記監視カメラの撮像画像に基づいて、前記撮像領域内にいる少なくとも１人の人物の視線もしくは前記人物の顔の向きを検出する視線検出部と、前記監視カメラの前記撮像画像に基づいて、前記人物のストレス指数を算出するストレス指数算出部と、前記人物の視線もしくは前記人物の顔の向きに基づいて、前記人物が見ている前記撮像領域内の対象領域を特定する対象領域特定部と、前記対象領域の特定に使用した少なくとも１人の人物のストレス指数から、前記対象領域のストレス度を推定するストレス度推定部と、前記ストレス度を前記所定の端末に通知させる制御部と、を備え、前記制御部は、前記ストレス度が所定値を超える場合に前記所定の端末に前記通知を送信する、通知システムを提供する。

【0008】

また、本開示は、撮像領域を撮像する監視カメラと所定の端末との間でそれぞれ通信可能に接続されるサーバにより実行され、前記監視カメラの撮像画像に基づいて、前記撮像領域内にいる少なくとも１人の人物の視線もしくは前記人物の顔の向きを検出するステップと、前記監視カメラの前記撮像画像に基づいて、前記人物のストレス指数を算出するステップと、前記人物の視線もしくは前記人物の顔の向きに基づいて、前記人物が見ている前記撮像領域内の対象領域を特定するステップと、前記対象領域の特定に使用した少なくとも１人の人物のストレス指数から、前記対象領域のストレス度を推定するステップと、前記ストレス度が所定値を超える場合に前記所定の端末に通知するステップと、を有する、通知方法提供する。

【0009】

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知することができる。

【図面の簡単な説明】

【0011】

【図1】実施の形態１および２に係る特定された対象領域の概要の一例を示す図

【図2】実施の形態１に係る監視カメラおよびサーバのブロック図

【図3】実施の形態１に係る対象領域のストレスを通知するフローチャート

【図4】実施の形態１に係る対象領域を見ている人物のストレス値と対象領域のストレス度の関係を表す表

【図5】実施の形態１に係る対象領域の特定の場合分けを表す表

【図6】実施の形態１および２に係る地図上での対象領域の位置の一例を表す図

【図7】実施の形態２に係る監視カメラおよびサーバのブロック図

【図8】実施の形態２に係る対象領域のストレスを表示するフローチャート

【図9】実施の形態２に係る対象領域のストレスの継続時間を示す図

【図10】実施の形態２に係る撮像画像に対象領域のストレス度を重畳した画像を用いた表示例を表す図

【図11】実施の形態２に係る地図上に対象領域のストレス度を重畳した画像を用いた表示例を表す図

【発明を実施するための形態】

【0012】

以下、図面を適宜参照して、本開示に通知システムおよび通知方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

【0013】

（実施の形態１に至る経緯）
特許文献１には、撮像画像に基づいて、人の混雑度を推定する混雑解析部と、撮像画像に基づいて、人の属性を推定する属性解析部と、混雑度と人の属性とに基づいて、危険レベルを推定する危険レベル解析部と、各種情報を表示部に表示するよう制御する表示処理部を有する画像処理装置が開示されている。表示処理部は、危険レベルを示す画面を表示する。

【0014】

従来、カメラ（例えば、監視カメラ）からの撮像映像を、画像処理技術を用いて人の密度または移動速度を解析し人の混雑のレベルを判定する技術がある。このようなカメラは、人の混雑レベルの進行を把握することで、撮像領域で起こりうる事故または事件等の非常事態を未然に防ぐために用いられる。しかしながら、非常事態には様々なケースが考えられ、例えば必ずしも混雑度の高い領域ではない領域において、体調不良で倒れこむ人が発生する、異常音が鳴る、喧嘩が発生する、または交通事故が発生するなどである。このような非常事態は必ずしも人の多寡に依存せず不特定に発生し得る。

【0015】

特許文献１では、推定された人の混雑度と属性とに基づいて危険レベルを推定する技術が開示されているが、人の混雑度に紐づかない非常事態のケースに用いることは想定されていない。そのため、人物それぞれに近い場所で起こる可能性がある危険を推定できるものの、人物それぞれから離れた場所も含めた危険を推定できないという課題があった。

【0016】

そこで、以下の実施の形態１では、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知する通知システムおよび通知方法の例を説明する。

【0017】

（実施の形態１）
まず、図１を参照して、実施の形態１および２に係る特定された対象領域の概要の一例について説明する。図１は、実施の形態１および２に係る特定された対象領域の概要の一例を示す図である。

【0018】

図１は、監視カメラ１０と監視カメラ１０が撮像した撮像領域１００とを表す図である。監視カメラ１０は、例えば駅構内、商業施設またはオフィスのエントランス等の屋内もしくは、交差点または駅前広場等の屋外に設置される。なお、これらは一例であり、監視カメラ１０の設置場所はこれらの場所に限定されない。監視カメラ１０は、一例として設置場所で喧嘩、事故、人の渋滞または不審者の発生等の非常事態を監視する。監視カメラ１０が監視する対象として上述した例は一例であり限定されない。

【0019】

撮像領域１００は、監視カメラ１０が撮像する領域である。図１の例に係る撮像領域１００には、人物Ａ１、Ａ２およびＡ３が位置している。

【0020】

人物Ａ１、Ａ２およびＡ３は、監視カメラ１０の撮像映像に映る人物である。人物Ａ１、Ａ２およびＡ３から伸びる中央の矢印はそれぞれの視線の向きである。人物Ａ１、Ａ２およびＡ３の視線は交わっており、異なる場所から同一の方向を見ていることを表す。人物Ａ１、Ａ２およびＡ３から伸びる中央以外の２本の直線はそれぞれの視野を表す。

【0021】

次に、対象領域について説明する。対象領域とは、人物の視線の方向から非常事態（上述参照）が発生していると推測される領域のことである。監視カメラ１０は、撮像した撮像映像をサーバ２０（図２参照）に送信する。サーバ２０は、監視カメラ１０から取得した撮像映像を基に対象領域を特定する。対象領域の詳しい特定方法は、後述する。

【0022】

領域２００は、人物Ａ１、Ａ２およびＡ３の視線が交差する領域から特定された対象領域である。図１に係る撮像領域の例では、３人の人物が領域２００を見ており、領域２００で非常事態が起きていると推測される。このように、非常事態がまさに今起きている場合あるいはこれから非常事態が起きそうな場合には人の注目が集まり易い傾向があることを踏まえ、複数の人物（図１では３人を例示）の視線が交差している領域２００が対象領域と特定される。

【0023】

次に、図２を参照して、実施の形態１に係る監視カメラおよびサーバのブロック図について説明する。図２は、実施の形態１に係る監視カメラおよびサーバのブロック図である。通知システム１は、監視カメラ１０、サーバ２０および端末装置３０を有する。なお、監視カメラ１０とサーバ２０とは、１つの装置に組み込まれてもよい。

【0024】

監視カメラ１０は、設置場所を撮像するカメラであり、通信Ｉ／Ｆ１１、メモリ１２、撮像部１３およびプロセッサ１４を備える。

【0025】

撮像部１３は、少なくとも光学素子としてのレンズ（不図示）とイメージセンサ（不図示）とを有して構成される。レンズは、監視カメラ１０の撮像した領域の画角内からの対象物により反射された光を入射してイメージセンサの受光面（言い換えると、撮像面）に対象物の光学像を結像する。イメージセンサは、例えばＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像素子である。イメージセンサは、所定時間（例えば１／３０（秒））ごとに、レンズを介して撮像面に結像した光学像を電気信号に変換してメモリ１２に送る。例えば、所定時間が１／３０（秒）である場合、監視カメラ１０のフレームレートは３０ｆｐｓとなる。また、撮像部１３は、上述した所定時間ごとに、電気信号に所定の信号処理を施すことで画像データ（映像データ）を生成してもよい。なお、この画像データ（映像データ）を生成する処理は、撮像部１３の出力を保存しているメモリ１２から取得したプロセッサ１４により実行されてもよい。撮像部１３は、画像データ（映像データ）をプロセッサ１４に出力する。なお、図２では図示を省略しているが、撮像部１３は、画像データ（映像データ）を、通信Ｉ／Ｆ１１に直接出力してもよい。

【0026】

メモリ１２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを用いて構成され、監視カメラ１０の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、監視カメラ１０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、監視カメラ１０を制御するためのプログラムを予め記憶して保持する。言い換えると、撮像部１３は、ＲＯＭに記憶されているプログラムを実行することで、光学像の電気信号への変換を実行可能である。例えば、メモリ１２は、撮像部１３によって撮像された画像データを一時的に記憶してよい。また、メモリ１２は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、画像データ（映像データ）を記憶してよい。

【0027】

プロセッサ１４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）もしくはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。プロセッサ１４は、監視カメラ１０の全体的な動作を司るコントローラとして機能し、監視カメラ１０の各部の動作を統括するための制御処理、監視カメラ１０の各部との間のデータの入出力処理、データの演算処理およびデータの記憶処理を行う。プロセッサ１４は、メモリ１２に記憶されたプログラムに従って動作する。プロセッサ１４は、動作時にメモリ１２を使用し、プロセッサ１４が生成または取得したデータをメモリ１２に一時的に保存する。

【0028】

通信Ｉ／Ｆ１１は、サーバ２０の通信Ｉ／Ｆ２１との間で無線または有線で通信を行うネットワークインターフェース回路である。ここでＩ／Ｆは、インターフェースのことを表す。通信Ｉ／Ｆ１１とサーバ２０の通信Ｉ／Ｆ２１との通信は、ネットワーク（不図示）を介してもよい。通信Ｉ／Ｆ１１による通信方式は、例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。通信Ｉ／Ｆ１１は、撮像部１３により撮像された画像データ（映像データ）を通信Ｉ／Ｆ２１に送信する。

【0029】

サーバ２０は、監視カメラ１０の通信Ｉ／Ｆ１１から画像データ（映像データ）を取得する。サーバ２０は、通信Ｉ／Ｆ２１、プロセッサ２２およびメモリ２３を備える。サーバ２０は端末装置３０と通信可能に接続される。

【0030】

通信Ｉ／Ｆ２１は、監視カメラ１０の通信Ｉ／Ｆ１１および端末装置３０のそれぞれとの間で無線または有線で通信を行うネットワークインターフェース回路である。通信Ｉ／Ｆ２１と監視カメラ１０の通信Ｉ／Ｆ１１との通信、通信Ｉ／Ｆ２１と端末装置３０との通信は、ネットワーク（不図示）を介してもよい。通信Ｉ／Ｆ２１による通信方式は、例えば、ＷＡＮ、ＬＡＮ、ＬＴＥ、５Ｇ等の移動体通信、電力線通信、近距離無線通信（例えばＢｌｏｏｔｏｏｔｈ（登録商標）通信）、携帯電話用の通信等である。通信Ｉ／Ｆ２１は、プロセッサ２２の通知制御部２２Ｆで生成された通知を端末装置３０に送信する。通信Ｉ／Ｆ２１は、監視カメラ１０の通信Ｉ／Ｆ１１から取得した画像データ（映像データ）をプロセッサ２２に送信する。

【0031】

プロセッサ２２は、サーバ２０を統括的に制御し、例えばＣＰＵ、ＤＳＰ、ＧＰＵもしくはＦＰＧＡである。プロセッサ２２は、顔検出部２２Ａ、視線検出部２２Ｂ、ストレス指数算出部２２Ｃ、対象領域特定部２２Ｄ、対象領域ストレス度推定部２２Ｅおよび通知制御部２２Ｆを機能的に有する。プロセッサ２２は、メモリ２３のＲＯＭ（不図示）に記憶されたプログラムおよびデータを用いることで、顔検出部２２Ａ、視線検出部２２Ｂ、ストレス指数算出部２２Ｃ、対象領域特定部２２Ｄ、対象領域ストレス度推定部２２Ｅおよび通知制御部２２Ｆのそれぞれの機能を実現する。プロセッサ２２は、動作中にメモリ２３のＲＡＭ（不図示）を使用し、プロセッサ２２および各部が生成あるいは取得したデータもしくは情報をメモリ２３のＲＡＭに一時的に保存する。

【0032】

検出部の一例としての顔検出部２２Ａは、通信Ｉ／Ｆ２１から取得した画像データ（映像データ）を解析し、画像データ（映像データ）に映る少なくとも１人の人物の顔を検出する。顔検出部２２Ａは、解析された人物の顔から、顔の向き（つまり顔がどの方向を向いているか）を検出してもよい。顔検出部２２Ａは、画像データ（映像データ）を解析しバイタル情報を検出してもよい。例えば、バイタル情報とは、人物の心臓の規則的な収縮と光の吸収量との関係から検出される脈拍や、人物から放射される赤外線から検出される体温である。顔検出部２２Ａは、検出された少なくとも１人の人物の顔のデータ（以下、「顔データ」と称する。）を視線検出部２２Ｂに出力する。顔検出部２２Ａは、顔データをストレス指数算出部２２Ｃに出力してもよい。また、顔検出部２２Ａは、顔データをメモリ２３に一時的に保存してもよい。

【0033】

検出部の一例としての視線検出部２２Ｂは、顔検出部２２Ａから取得した顔データを基に、人物の視線を検出する。視線検出部２２Ｂは、例えば顔データから人物の目が検出できなかった場合、人物の顔の向きを検出してもよい。この場合、視線検出部２２Ｂは、顔の向きから視線方向を推測し検出する。つまり、視線検出部２２Ｂは、監視カメラ１０の撮像画像に基づいて、撮像領域内にいる少なくとも１人の人物の視線もしくは人物の顔の向きを検出する。視線検出部２２Ｂは、検出された視線のデータ（以下、「視線データ」と称する。）をストレス指数算出部２２Ｃに出力する。また、視線検出部２２Ｂは、視線データをメモリ２３に一時的に保存してもよい。

【0034】

処理部の一例としてのストレス指数算出部２２Ｃは、顔データもしくは視線データからストレスの指数（以下、「ストレス指数」と称する。）を算出する。ストレス指数とは、人物が発生した非常事態を見たもしくは異常音を聞いたなどの場合に、人物が感じたストレス（以下、「ストレス」と称する。）を数値化したものである。つまり、ストレス指数算出部２２Ｃは、監視カメラ１０の撮像画像に基づいて人物のストレス指数を算出する。ストレス指数算出部２２Ｃは、ストレスを顔データから検出した表情から算出する。ストレス指数算出部２２Ｃは、人物の急な振り向きを伴う注視の動作によりストレスを算出してもよい。ストレス指数算出部２２Ｃは、人物の急な視線の変化に伴う注視の動作によりストレスを算出してもよい。ストレス指数算出部２２Ｃは、ストレスをバイタル情報から算出してもよい。ストレス指数算出部２２Ｃは、算出されたストレス指数を対象領域特定部２２Ｄに出力する。また、ストレス指数算出部２２Ｃは、ストレス指数を示すデータをメモリ２３に一時的に保存してもよい。

【0035】

処理部の一例としての対象領域特定部２２Ｄは、対象領域を特定する。対象領域特定部２２Ｄは、人物の視線もしくは人物の顔の向きに基づいて、人物が見ている撮像領域内の対象領域を特定する。対象領域特定部２２Ｄは、一例として、複数の人物の視線方向およびストレス指数から対象領域を特定する。なお、対象領域の特定の方法はこれに限られず、図５で詳しく説明する。対象領域特定部２２Ｄは、特定された対象領域を対象領域ストレス度推定部２２Ｅに出力する。また、対象領域特定部２２Ｄは、対象領域を示すデータをメモリ２３に一時的に保存してもよい。

【0036】

処理部の一例としての対象領域ストレス度推定部２２Ｅは、対象領域の特定に使用した少なくとも１人の人物のストレス指数から、対象領域のストレス度を推定する。ストレス度とは、対象領域の特定に使用した人物のストレス指数のそれぞれを合計したものである。対象領域のストレス度の算出方法については、図４で詳しく説明する。なお、対象領域ストレス度推定部２２Ｅは、対象領域と人物との距離に応じてそれぞれの人物のストレス指数がストレス度に反映される割合を調整してもよい。例えば、対象領域ストレス度推定部２２Ｅは、対象領域との距離が所定の閾値未満の人物のストレス指数には第１の係数を乗じる。対象領域ストレス度推定部２２Ｅは、対象領域との距離が所定の閾値以上の人物のストレス指数には第１の係数より小さい第２の係数を乗じる。対象領域ストレス度推定部２２Ｅは、第１の係数または第２の係数を乗じたストレス指数を合計する。なお、距離に係る閾値は１つに関わらず複数設定されてもよい。対象領域ストレス度推定部２２Ｅは、算出されたストレス度を通知制御部２２Ｆに出力する。また、対象領域ストレス度推定部２２Ｅは、ストレス度を示すデータをメモリ２３に一時的に保存してもよい。

【0037】

制御部の一例としての通知制御部２２Ｆは、通知する情報（以下、「通知データ」と称する。）を生成し端末装置３０に通知させる。通知制御部２２Ｆは、例えば、対象領域ストレス度推定部２２Ｅから取得したストレス度が所定値を超える場合に端末装置３０に通知する。通知制御部２２Ｆが通知する場合はこれに限られず詳しくは図３のステップＳｔ１７の処理で説明する。所定値とは、ユーザによって予め定められたストレス度の閾値である。なお、通知制御部２２Ｆは、対象領域に地理的に近い位置に存在する警備員の端末を選択して通知してもよい。警備員とは、監視カメラ１０の撮像領域を警備する人である。通知データは、対象領域の場所、対象領域のストレス度、対象領域の特定に使用した人物の人数、ストレスの継続時間、撮像された画像データ（映像データ）で構成される情報、もしくはそれらの情報を確認できるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）等で示される開示先情報である。ストレスの継続時間とは、ストレス度が所定の閾値を継続的に超えていた時間のことである。なお、通知する対象は警備員に限られず、複数の撮像領域見ることが可能な中央監視室等の部屋にいる監視員等でもよい。

【0038】

メモリ２３は、例えばＲＡＭとＲＯＭとを用いて構成され、サーバ２０の動作に必要なプログラム、さらには、動作中に生成されたデータを一時的に保持する。ＲＡＭは、例えば、サーバ２０の動作中に使用されるワークメモリである。ＲＯＭは、例えば、サーバ２０を制御するためのプログラムを予め記憶して保持する。また、メモリ２３は、ＲＡＭおよびＲＯＭ以外にフラッシュメモリをさらに有してもよく、画像データ（映像データ）を記憶してよい。

【0039】

モバイル端末３１は、例えば、携帯電話機、スマートフォンあるいはタブレット端末である。モバイル端末３１は、通信Ｉ／Ｆ２１との間でデータ通信を行う。例えば、モバイル端末３１は、監視カメラ１０の撮像領域を警備する警備員等が所有する端末である。

【0040】

クライアント端末３２は、例えば、パーソナルコンピュータである。クライアント端末３２は、通信Ｉ／Ｆ２１との間でデータ通信を行う。例えば、クライアント端末３２は、監視カメラ１０の撮像領域監視する中央監視室等に設置された端末である。

【0041】

モバイル端末３１とクライアント端末３２とを合わせて端末装置３０と称する。つまり、端末装置３０は、通信Ｉ／Ｆ２１を通じてサーバ２０と通信可能に接続される。

【0042】

次に、図３を参照して、実施の形態１に係る対象領域のストレスを通知する処理を説明する。図３は、実施の形態１に係る対象領域のストレスを通知するフローチャートである。図３に係るフローチャートの各処理は、サーバ２０のプロセッサ２２により実行される。

【0043】

顔検出部２２Ａは、監視カメラ１０の通信Ｉ／Ｆ１１から画像データ（映像データ）を取得する。顔検出部２２Ａは、取得した画像データ（映像データ）から人物の顔を検出する（ステップＳｔ１１）。顔検出部２２Ａは、検出された顔データを視線検出部２２Ｂおよびストレス指数算出部２２Ｃに送信する。

【0044】

視線検出部２２Ｂは、顔検出部２２Ａから顔データを取得する。視線検出部２２Ｂは、全ての顔から視線およびストレス指数を検出できているか否かを判定する（ステップＳｔ１２）。視線検出部２２Ｂは、全ての顔から視線およびストレス指数を検出できていないと判定した場合（ステップＳｔ１２、ＹＥＳ）、顔検出部２２Ａから取得した顔データに基づいて、その顔データに対応する人物の視線の方向を検出する。

【0045】

ストレス指数算出部２２Ｃは、顔検出部２２Ａから顔データを取得する。ストレス指数算出部２２Ｃは、顔データからストレス指数を算出する（ステップＳｔ１４）。プロセッサ２２の処理は、ステップＳｔ１４の処理の後ステップＳｔ１２の処理に戻る。

【0046】

視線検出部２２Ｂは、全ての顔から視線およびストレス指数を検出できたと判定した場合（ステップＳｔ１２、ＮＯ）、検出された視線データおよびストレス指数を示すデータを対象領域特定部２２Ｄに送信する。対象領域特定部２２Ｄは、取得した視線データおよびストレス指数から対象領域を特定（決定）する（ステップＳｔ１５）。なお、対象領域の特定（決定）はこれに限られず、詳しくは図５で後述する。対象領域特定部２２Ｄは、特定された対象領域を示すデータを対象領域ストレス度推定部２２Ｅに送信する。

【0047】

対象領域ストレス度推定部２２Ｅは、対象領域の特定に使用した人物のストレス指数を合計してストレス度を推定する（ステップＳｔ１６）。対象領域ストレス度推定部２２Ｅは、通知制御部２２Ｆに推定されたストレス度を示すデータを送信する。

【0048】

通知制御部２２Ｆは、対象領域ストレス度推定部２２Ｅから対象領域のストレス度を示すデータを取得する。通知制御部２２Ｆは、取得したストレス度を示すデータから端末装置３０に通知データを通知するか否かを判定する（ステップＳｔ１７）。

【0049】

通知制御部２２Ｆは、ステップＳｔ１７の処理でストレス度が所定値を超える場合に通知すると判定し（ステップＳｔ１７、ＹＥＳ）、端末装置３０に通知データを送信する（ステップＳｔ１８）。ステップＳｔ１８の処理の後、図３に示すプロセッサ２２の処理は終了する。

【0050】

なお、通知制御部２２Ｆは、ステップＳｔ１７の処理で所定の時間継続して対象領域のストレス度が所定値を超え続ける場合に通知データを送信すると判定してもよい。また、所定値は、第１の所定値と第１の所定値より小さい第２の所定値の２つの所定値であってもよい。通知制御部２２Ｆは、ストレス度が第１の所定値以上の場合に通知すると判定してもよい。通知制御部２２Ｆは、ストレス度が第１の所定値未満でかつ第２の所定値以上である場合には、所定の時間継続して対象領域のストレス度が第２の所定値を超え続ける場合に通知データを送信すると判定してもよい。

【0051】

通知制御部２２Ｆは、ステップＳｔ１７の処理で通知しないと判定した場合（ステップＳｔ１７、ＮＯ）、図３に示すプロセッサ２２の処理は終了する。

【0052】

次に、図４を参照して、実施の形態１に係る撮像領域１００にいる人物のストレス指数と対象領域のストレス度との関係を説明する。図４は、実施の形態１に係る撮像領域にいる人のストレス指数と対象領域のストレス度との関係を表す表である。

【0053】

図４に係る表は、撮像領域１００にいる各人物に対して、ストレス指数の値と、閾値との比較と、対象領域のストレス度算出に採用するか否かと、算出された対象領域のストレス度とを表す。閾値は、一例として１．０とする。なお、閾値の値は１．０に限定されない。人物のストレス指数が閾値を超える場合、そのストレス指数は対象領域のストレス度の算出に用いるとする。以下、人物のストレス指数をストレス度の算出に用いることを、ストレス度算出に採用すると称する。

【0054】

人１は、ストレス指数が２．０であり閾値（例えば１．０）より大きいため、ストレス度算出に採用する。

【0055】

人２は、ストレス指数が０．０２であり閾値（例えば１．０）以下のため、ストレス度算出に採用しない。

【0056】

人３は、ストレス指数が０．５であり閾値（例えば１．０）以下のため、ストレス度算出に採用しない。

【0057】

人４は、ストレス指数が２．７であり閾値（例えば１．０）より大きいため、ストレス度算出に採用する。

【0058】

人５は、ストレス指数が１．１である。ここで、ストレス指数が固定値というのは、人物の動作に紐づけて予め定められた値である。ある動作は、例えば、人物が急な振り向きを伴う注視の動作である。なお、これは一例であり限られない。人５は、ストレス指数が閾値より大きいため、ストレス度算出に採用する。

【0059】

以上より、人１、人４および人５のストレス指数をストレス度算出に採用する。対象領域のストレス度は、人１、人４および人５のストレス指数を合計した値の５．８となる。

【0060】

このように、対象領域ストレス度推定部２２Ｅは、対象領域の特定に使用した人物のストレス指数から、対象領域に対するストレス度を推定する。図４では、ストレス指数が閾値より大きい人物を対象領域の特定に使用した。なお、これは一例であり他の例については図５で説明する。

【0061】

次に、図５を参照して、実施の形態１に係る対象領域の特定の場合分けを説明する。図５は、実施の形態１に係る対象領域の特定の場合分けを表す表である。

【0062】

図５に係る４つの項目は、それぞれ対象領域特定部２２Ｄが対象領域を特定する処理を行うための条件を表す。４つの項目のどの条件を用いて対象領域と特定するかは、予め設定され決められている。

【0063】

第１の人数、第２の人数および第３の人数は、ユーザによって予め定められた人数に係る閾値である。

【0064】

まず、１つ目の条件で対象領域を特定するケースについて説明する。対象領域特定部２２Ｄは、ストレス指数がストレス指数の閾値（例えば図４を参照して説明した「１．０」）を超える人物の人数が第１の人数を超えている場合、ストレス指数がストレス指数の閾値を超える人物の視線もしくは人物の顔の向きから対象領域を特定する。

【0065】

次に、２つ目の条件で対象領域を特定するケースについて説明する。対象領域特定部２２Ｄは、撮像領域１００内のある領域を第２の人数を超える人物が見ている場合、第２の人数を超える人物のそれぞれの視線もしくは第２の人数を超える人物のそれぞれの顔の向きに基づいて対象領域を特定（決定）する。

【0066】

次に、３つ目の条件で対象領域を特定するケースについて説明する。対象領域特定部２２Ｄは、撮像領域１００内のある領域を第２の人数を超える人物が見ていると判定する。その後、対象領域特定部２２Ｄは、第２の人数を超える人物の中でストレス指数の算出が可能であった人物の人数が第３の人数より多いと判定する。この場合、対象領域特定部２２Ｄは、第３の人数より多い人物のそれぞれの視線もしくは第３の人数より多い人物のそれぞれの顔の向きから対象領域を特定（決定）する。

【0067】

次に、４つ目の条件で対象領域を特定するケースについて説明する。対象領域特定部２２Ｄは、第２の人数を超える人物のそれぞれの視線もしくは第２の人物を超える人物のそれぞれの顔の向きが交差する領域を対象領域の候補と選定する。対象領域特定部２２Ｄは、対象領域の候補の選定に使用した人物のストレス指数から推定されたストレス度が所定値を超える場合に、対象領域の候補と選定された領域を対象領域と特定（決定）する。

【0068】

また、４つ目の条件で対象領域を特定するケースは以下であってもよい。対象領域特定部２２Ｄは、第２の人数を超える人物のそれぞれの視線もしくは第２の人物を超える人物のそれぞれの顔の向きが交差する領域を対象領域の候補と選定する。ストレス指数算出部２２Ｃは、第２の人数を超える人物の中でストレス指数が検知された人物の人数が第３の人数以下であると判定する。この場合、ストレス指数算出部２２Ｃは、ストレス指数が算出された人物のストレス指数のいずれかの値を代表値としてストレス指数が検知されなかった人物のストレス指数として使用する。なお、代表値は、最小値でもよいし、最大値でもよいし、全体の平均値でもよい。対象領域ストレス度推定部２２Ｅは、選定された対象領域を見ている人物のストレス指数からのストレス度を推定する。対象領域特定部２２Ｄは、推定されたストレス度が所定値を超える場合に対象領域の候補を対象領域と特定（決定）する。

【0069】

これにより、監視カメラ１０の設置場所に応じて適切な条件を用いることで、高精度に対象領域を特定することができる。

【0070】

次に、図６を参照して、実施の形態１および２に係る地図上での対象領域の位置の一例を説明する。図６は、実施の形態１および２に係る地図上での対象領域の位置の一例を表す図である。

【0071】

地図３００は、監視カメラ１０の設置場所を含む領域一帯の地図を表す。地図３００には、監視カメラ１０、物体７０、警備員５０、６０および領域２００を含む。物体７０は、柱または建物等である。領域２００は、対象領域である。

【0072】

対象領域が特定されると通知制御部２２Ｆの処理の下、サーバ２０から端末装置３０に通知データが送信される。地図３００の中の警備員５０、６０のうち、警備員５０の方が領域２００により近い位置に存在するため、警備員５０が有する端末に通知される。つまり、領域２００の位置は、地図３００に紐づけられているため、通知制御部２２Ｆは、端末装置３０から警備員の位置情報を取得し領域２００により近い位置の警備員を選択して通知することができる。なお、通知制御部２２Ｆは、領域２００により近い位置にいる警備員の端末装置３０だけでなく、地図３００が示す領域一帯に存在している一部あるいは全ての警備員の端末装置３０にも通知データを送信してもよい。

【0073】

これにより、通知システム１は、非常事態になり得る事象を検知した場合、より早く対応できる位置に存在する警備員に通知することができる。

【0074】

以上により、実施の形態１に係る通知システム１は、撮像領域を撮像する監視カメラ１０と通信可能に接続されたサーバ２－と、サーバ２０と通信可能に接続された端末装置３０と、を備える。サーバ２０は、監視カメラ１０の撮像画像に基づいて、撮像領域内にいる少なくとも１人の人物の視線もしくは人物の顔の向きを検出する視線検出部２２Ｂと、監視カメラ１０の撮像画像に基づいて、人物のストレス指数を算出するストレス指数算出部２２Ｃと、人物の視線もしくは人物の顔の向きに基づいて、人物が見ている撮像領域内の対象領域を特定する対象領域特定部２２Ｄと、対象領域の特定に使用した少なくとも１人の人物のストレス指数から、対象領域のストレス度を推定する対象領域ストレス度推定部２２Ｅと、ストレス度を端末装置３０に通知させる通知制御部２２Ｆと、を備える。通知制御部２２Ｆは、ストレス度が所定値を超える場合に端末装置３０に通知データを送信する。

【0075】

これにより、通知システム１は、監視カメラ１０の撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知することができる。

【0076】

また、実施の形態１に係る通知制御部２２Ｆは、所定の時間継続して対象領域のストレス度が所定値を超え続ける場合に、端末装置３０に通知データを送信する。これにより、通知システム１は、突発的で危険になり得ない事象の通知または誤検知を減らし高精度に通知を行うことができる。

【0077】

また、実施の形態１に係る通知システム１で、所定値は、第１の所定値と第１の所定値より小さい第２の所定値とであり、通知制御部２２Ｆは、ストレス度が第１の所定値以上の場合には端末装置３０に通知データを送信する。通知制御部２２Ｆは、ストレス度が第１の所定値未満でかつ第２の所定値以上である場合には、所定の時間継続して対象領域のストレス度が第２の所定値を超え続ける場合に、端末装置３０に通知データを送信する。これにより、通知システム１は、ストレス度が大きく危険が高いと推定され、ただちに通知を行うべき事象に関しては通知を行うことができる。また、通知システム１は、ストレス度が中程度である場合は、所定の時間継続してストレス度が所定値を超え続けている事象についてのみ通知することで突発的で危険になり得ない事象の通知または誤検知を減らし高精度に通知を行うことができる。つまり、通知システムは、ストレス度の大きさによって通知するタイミングを柔軟に変えることができ、より高精度な通知を行うことができる。

【0078】

また、実施の形態１に係る対象領域特定部２２Ｄは、ストレス指数が閾値を超える人物の人数が第１の人数を超える場合、ストレス指数が閾値を超える人物の視線もしくは人物の顔の向きから対象領域を特定する。これにより、通知システム１は、多くの人物がストレスを感じている領域を対象領域として特定することができる。

【0079】

また、実施の形態１に係る対象領域特定部２２Ｄは、第２の人数を超える人物のそれぞれの視線もしくは第２の人数を超える人物のそれぞれの顔の向きに基づいて対象領域を特定する。これにより、通知システム１は、多くの人物の視線が集まる領域を対象領域として特定することができる。通知システム１は、人物の表情の検知が困難でストレス指数が算出できない場合などでも対象領域を特定することができる。

【0080】

また、実施の形態１に係る対象領域特定部２２Ｄは、第２の人数を超える人物の中でストレス指数の算出が可能であった人物の人数が第３の人数より多い場合、第３の人数より多い人物のそれぞれの視線もしくは第３の人数より多い人物のそれぞれの顔の向きから対象領域を特定する。これにより、通知システム１は、多くの人物がストレス指数の算出が可能な場合に対象領域を特定するため、より高精度に危険が潜む事象を検知することができる。

【0081】

また、実施の形態１に係る対象領域特定部２２Ｄは、第２の人数を超える人物のそれぞれの視線もしくは第２の人数を超える人物のそれぞれの顔の向きが交差する領域を対象領域の候補と選定し、対象領域の候補の選定に使用した人物のストレス指数から推定されたストレス度が所定値を超える場合に対象領域の候補を対象領域と特定する。これにより、通知システム１は、多くの人物が見ていてかつストレス度の高い領域を対象領域と特定することができる。これにより、通知システム１は、危険度が高いと推定される事象を高精度に検知することができる。

【0082】

また、実施の形態１に係る対象領域特定部２２Ｄは、第２の人数を超える人物のそれぞれの視線もしくは第２の人数を超える人物のそれぞれの顔の向きが交差する領域を対象領域の候補と選定する。ストレス指数算出部２２Ｃは、前記第２の人数を超える人物の中でストレス指数が検知された人物の人数が第３の人数以下の場合、ストレス指数が算出された人物のストレス指数のいずれかの値をストレス指数が検知されなかった人物のストレス指数とする。対象領域ストレス度推定部２２Ｅは、領域を見ている人物のストレス指数から選定された対象領域のストレス度を推定する。対象領域特定部２２Ｄは、ストレス度が所定値を超える場合に対象領域の候補と選定された領域を対象領域と特定する。これにより、通知システム１は、多くの人物が見ているけれどもストレス指数が算出できた人物が少なかった場合でも、高精度に対象領域の特定を行うことができる。

【0083】

また、実施の形態１に係る通知データの内容は、対象領域の場所、対象領域のストレス度の値および対象領域の特定に使用した人物の人数である。これにより、通知システム１は、警備員に潜在的に非常事態になり得る様々な事象の情報を通知することができる。

【0084】

また、実施の形態１に係る通知制御部２２Ｆは、対象領域に近い位置に存在する警備員の端末装置３０を選択して通知データを送信する。これにより、通知システム１は、潜在的に非常事態になり得る様々な事象に迅速な対応を通知により警備員に促すことができる。

【0085】

また、実施の形態１に係るストレス指数算出部２２Ｃは、顔の表情、人物の急な振り向きを伴う注視の動作または人物の急な視線の変化に伴う注視の動作のうち少なくとも一つから人物のストレス指数を算出する。これにより、通知システム１は、人物の感じるストレスを検知することができる。これにより、通知システム１は、監視カメラ１０の撮像領域で発生する非常事態になり得る事象を、人物の感じるストレスから算出することができる。

【0086】

また、実施の形態１に係る対象領域ストレス度推定部２２Ｅは、対象領域を特定に使用した人物の前記ストレス指数を合計して算出する。これにより、通知システム１は、人物の感じるストレスから対象領域のストレス度を数値化して算出することができる。

【0087】

（実施の形態２に至る経緯）
特許文献１では、推定された人の混雑度と属性とに基づいて危険レベルを推定する技術が開示されているが、人の混雑度に紐づかない非常事態のケースに用いることは想定されていない。そのため、人物それぞれに近い場所で起こる可能性がある危険を推定できるものの、人物それぞれから離れた場所も含めた危険を推定できないという課題があった。

【0088】

そこで、以下の実施の形態２では、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して表示する表示システムおよび表示方法の例を説明する、なお、以下の説明に置いて、実施の形態１と同一の構成要素については同一の符合を用いることで、その説明を省略する。

【0089】

（実施の形態２）
図７を参照して、実施の形態２に係る監視カメラおよびサーバのブロック図について説明する。図７は、実施の形態２に係る監視カメラおよびサーバのブロック図である。表示システム２は、監視カメラ１０、サーバ２０および端末装置３０を有する。なお、監視カメラ１０とサーバ２０とは、１つの装置に組み込まれてもよい。以下、実施の形態１の図２で説明した内容と異なる部分のみ説明する。

【0090】

プロセッサ２２は、顔検出部２２Ａ、視線検出部２２Ｂ、ストレス指数算出部２２Ｃ、対象領域特定部２２Ｄ、対象領域ストレス度推定部２２Ｅおよび表示制御部２２Ｇを有する。

【0091】

処理部の一例としてのストレス指数算出部２２Ｃは、顔データから、「楽しい」または「驚き」等の感情を検出して数値として算出してもよい。

【0092】

制御部の一例として、表示制御部２２Ｇは、表示する情報（以下、「表示データ」と称する。）を生成し端末装置３０に表示させる。表示制御部２２Ｇは、例えば、対象領域ストレス度推定部２２Ｅから取得したストレス度が所定値を超える場合に端末装置３０に表示する。表示制御部２２Ｇが表示する場合はこれに限られず詳しくは図８のステップＳｔ１９の処理で説明する。

【0093】

次に、図８を参照して、実施の形態２に係る対象領域のストレスを表示する処理を説明する。図８は、実施の形態２に係る対象領域のストレスを表示するフローチャートを表す。図８に係るフローチャートの各処理は、サーバ２０のプロセッサ２２により実行される。ステップＳｔ１１からステップＳｔ１６までの各処理は、実施の形態１の図３と同一符合の処理と同じであるため説明を省略する。

【0094】

表示制御部２２Ｇは、対象領域ストレス度推定部２２Ｅから対象領域のストレス度を取得する。表示制御部２２Ｇは取得したストレス度から端末装置３０に表示するか否かを判定する（ステップＳｔ１９）。

【0095】

表示制御部２２Ｇは、ステップＳｔ１７の処理でストレス度が所定値を超える場合に表示すると判定し（ステップＳｔ１９、ＹＥＳ）、端末装置３０に表示データを送信する（ステップＳｔ２０）。

【0096】

なお、表示制御部２２Ｇは、ステップＳｔ１９の処理で所定の時間継続して対象領域のストレス度が所定値を超え続ける場合に表示すると判定してもよい。また、所定値は、第１の所定値と第１の所定値より小さい第２の所定値の２つの所定値であってもよい。表示制御部２２Ｇは、ストレス度が第１の所定値以上の場合に表示すると判定してもよい。表示制御部２２Ｇは、ストレス度が第１の所定値未満でかつ第２の所定値以上である場合には、所定の時間継続して対象領域のストレス度が第２の所定値を超え続ける場合に表示すると判定してもよい。

【0097】

表示制御部２２Ｇは、ステップＳｔ１９の処理で表示しないと判定した場合（ステップＳｔ１９、ＮＯ）、プロセッサ２２の処理は終了する。

【0098】

次に、図９を参照して、実施の形態２に係る対象領域のストレスの継続時間について説明する。図９は、実施の形態２に係る対象領域のストレスの継続時間を示す図である。

【0099】

図９に示したグラフは、横軸が時間ｔ、縦軸が対象領域のストレス度を表す。

【0100】

波形ＷＶ１は、ストレス度の経時変化の推移を表す。波形ＷＶ１は、時刻ｔ０から時刻ｔ１の間は所定値よりも小さいストレス度である。波形ＷＶ１は、時刻ｔ１から時刻ｔ２の間は所定値より大きいストレス度となる。波形ＷＶ１は、時刻ｔ２以降では所定値より小さなストレス度となる。

【0101】

波形ＷＶ１のストレス度が所定値を超える期間Ｃ１を対象領域のストレスが継続している時間と定義する（以下、「継続時間」と称する。）。

【0102】

次に、図１０を参照して、実施の形態２に係る撮像画像に対象領域のストレス度を重畳した画像を用いた表示例を説明する。図１０は、実施の形態２に係る撮像画像に対象領域のストレス度を重畳した画像を用いた表示例を表す図である。

【0103】

画面ＤＰ１は、端末装置３０に表示される画面の一例である。画面ＤＰ１は、画像ＩＭ１と、画像ＩＭ１に紐づけられた情報のリストＴＢ１と、画像ＩＭ１の場所を示す名称ＮＭとを含む。画面ＤＰ１は、表示制御部２２Ｇによって生成され端末装置３０に表示される。

【0104】

画像ＩＭ１は、表示制御部２２Ｇによって生成された画像である。表示制御部２２Ｇは、対象領域のストレス度を、対象領域を含む撮像画像に重畳させた画像ＩＭ１を生成し端末装置３０に表示させる。例えば、表示制御部２２Ｇは、撮像画像にストレス度を示すヒートマップを重畳した画像を生成してもよい。

【0105】

画像ＩＭ１について説明する。画像ＩＭ１は、監視カメラ１０によって撮像された人物Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６およびＰ７、バイクＢＡ、車ＣＡ、フレームＦ１、Ｆ２およびストレス度分布Ｈ１、Ｈ２を含む。ストレス度分布Ｈ１、Ｈ２は対象領域のストレス度の分布である。なお、画像ＩＭ１に含まれる物はこれらに限られない。

【0106】

画像ＩＭ１のフレームＦ１の対象領域では、車ＣＡとバイクＢＡの衝突事故が発生している。人物Ｐ５、Ｐ６およびＰ７がフレームＦ１の対象領域を見ている。人物Ｐ５のストレス指数および視線の向き、人物Ｐ６のストレス指数および視線の向きおよび人物Ｐ７のストレス指数および視線の向きから対象領域のストレス度が算出される。このストレス度が、画像ＩＭ１上にストレス度分布Ｈ１として重畳される。

【0107】

画像ＩＭ１のフレームＦ２の対象領域では、人物Ｐ１と人物Ｐ２とが会話している。例えば、上述した衝突事故を起こした運転手と警察官との会話などである。人物Ｐ３および人物Ｐ４がフレームＦ２の対象領域を見ている。人物Ｐ３のストレス指数および視線の向き、人物Ｐ４のストレス指数および視線の向きから対象領域のストレス度が算出される。このストレス度が、画像ＩＭ１上にストレス度分布Ｈ２として重畳される。

【0108】

リストＴＢ１は、対象領域のストレス度と、ストレスが発生した時刻（以下、「発生時刻」と称する。）と、継続時間と、対象領域の特定に使用した人物の人数と、ストレスが発生している間の対象領域を含む場所の映像データを再生するボタンＢＴ１とを含む。例えば、Ｎｏ．１の対象領域に関しては、ストレス度が２．６、発生時刻が１０：０５、継続時間が２０分および対象領域の特定に使用した人物の人数が３人である。リストＴＢ１は、対象領域に係る情報をストレス度が高い順番で上から並べてもよいし、発生時刻が早いものから順に並べてもよい。

【0109】

リストＴＢ１のＮｏ．１の項目が紐づけられた対象領域は、フレームＦ１の対象領域である。リストＴＢ１のＮｏ．２の項目が紐づけられた対象領域は、フレームＦ２の対象領域である。Ｎｏ．１のストレス度は２．６であり、Ｎｏ．２のストレス度は１．８である。そのため、画像ＩＭ１上に重畳されたヒートマップは、フレームＦ１の対象領域の方がフレームＦ２の対象領域よりも濃く表示される。

【0110】

リストＴＢ１は、ストレス度が所定値以上の対象領域に係る情報だけでなく、ストレス度が所定値以下の対象領域に係る情報についても含んでよい。例えば、所定値が１．０である場合、Ｎｏ．１およびＮｏ．２は所定値を超えるストレス度を有する対象領域である。一方、Ｎｏ．３、Ｎｏ．４およびＮｏ．５は所定値以下のストレス度を有する対象領域である。この場合、Ｎｏ．１およびＮｏ．２は濃く表示され、Ｎｏ．３、Ｎｏ．４およびＮｏ．５は薄く表示されてもよい。また、Ｎｏ．１およびＮｏ．２のリストＴＢ１の項目部分は背景色をつけるなどして目立たせてもよい。

【0111】

表示制御部２２Ｇは、リストＴＢ１に含まれる項目が選択されると、その選択に基づく信号を端末装置３０から取得し、画像ＩＭ１の中で選択された項目に紐づけられた対象領域の位置に印をつけた画像を生成し端末装置３０に表示させる。例えば、リストＴＢ１のＮｏ．１の項目が押下されると、画像ＩＭ１のフレームＦ１に黒い四角形の枠が重畳される。なお、リストＴＢ１のＮｏ．１の項目が押下された場合の印はこれに限られず円形の枠などでもよい。また、所定値を超えるストレス度を有する対象領域に関して、画像ＩＭ１にフレームＦ１、Ｆ２を重畳して表示させてもよい。この場合、例えば、リストＴＢ１の項目が選択された場合に重畳される枠の色よりも、選択された項目以外の所定値を超えるストレス度を有する対象領域を薄い色で重畳させておいてもよい。

【0112】

ボタンＢＴ１は、各対象領域を含む場所の映像データを再生するボタンである。ボタンＢＴ１が押下されると、その押下に基づく信号が端末装置３０からサーバ２０に送られ、サーバ２０からボタンＢＴ１に対応する時間分（例えば継続時間（分））の映像データがサーバ２０から端末装置３０に送られ、画像ＩＭ１の部分に映像データが端末装置３０において再生される。なお、ボタンＢＴ１が押下された場合、別のページに遷移して映像データが再生されてもよい。ボタンＢＴ１が押下されると、発生時刻よりも前から映像データの再生がされてもよい。例えば、リストＴＢ１のＮｏ．１では、発生時刻が１０：０５であるため、１分前の１０：０４からの映像データが再生される。なお、これは一例であり、１０分前からでもよいし、１時間前からでもよい。また、ボタンＢＴ１が押下されると、ストレスがなくなった時刻から適当な時間が経過した時刻までの映像データが再生されてもよい。例えば、リストＴＢ１のＮｏ．１では、発生時刻が１０：０５であり継続時間が２０分であるためストレスは１０：２５になくなっている。そのため、ボタンＢＴ１が押下された場合、ストレスがなくなった時刻の１分後の１０：２６までの映像データが再生されてもよい。なお、これは一例であり、１０分後まででもよいし、１時間後まででもよい。

【0113】

次に、図１１を参照して、実施の形態２に係る地図上に対象領域のストレス度を重畳した画像を用いた表示例を説明する。図１１は、実施の形態２に係る地図上に対象領域のストレス度を重畳した画像を用いた表示例を表す図である。図１１は、図１０の○○駅Ａ交差点付近の地図を表し、ストレス度分布Ｈ１、Ｈ２は図１０と同様の事象に基づくものを表す。

【0114】

画面ＤＰ２は、端末装置３０に表示される画面の一例である。画面ＤＰ２は、画像ＩＭ２と、画像ＩＭ２に紐づけられた情報のリストＴＢ２とを含む。画面ＤＰ２は、表示制御部２２Ｇによって生成され端末装置３０に表示される。

【0115】

画像ＩＭ２は、表示制御部２２Ｇによって生成された画像である。表示制御部２２Ｇは、ストレス度を、対象領域を含む地図に重畳させた画像ＩＭ２を生成し端末装置３０に表示させる。例えば、表示制御部２２Ｇは、撮像画像にストレス度を示すヒートマップを重畳した画像を生成してもよい。

【0116】

画像ＩＭ２について説明する。画像ＩＭ２は、監視カメラ１０の模式図、柱または建物等を示す物体７０およびフレームＦ１、Ｆ２を含む。

【0117】

リストＴＢ２は、ストレスが発生している場所と、対象領域のストレス度と、発生時刻と、継続時間と、対象領域の特定に使用した人物の人数と、ストレスが発生している間の対象領域を含む場所の映像データを再生するボタンＢＴ２とを含む。例えば、Ｎｏ．１の対象領域に関しては、ストレスが発生している場所が○○駅Ａ交差点であり、ストレス度が２．６、発生時刻が１０：０５、継続時間が２０分および対象領域の特定に使用した人物の人数が３人である。リストＴＢ２は、対象領域に係る情報をストレス度が高い順番で上から並べてもよいし、発生時刻が早いものから順に並べてもよいし、ストレスが発生している場所の名前順に並べてもよい。

【0118】

リストＴＢ２のＮｏ．１の項目が紐づけられた対象領域は、フレームＦ１の対象領域である。リストＴＢ２のＮｏ．２の項目が紐づけられた対象領域は、フレームＦ２の対象領域である。Ｎｏ．１のストレス度は２．６であり、Ｎｏ．２のストレス度は１．８である。そのため、画像ＩＭ１上に重畳されたヒートマップは、フレームＦ１の対象領域の方がフレームＦ２の対象領域よりも濃く表示される。

【0119】

リストＴＢ２は、ストレス度が所定値以上の対象領域に係る情報だけでなく、ストレス度が所定値以下の対象領域に係る情報についても含んでよい。例えば、所定値が１．０である場合、Ｎｏ．１およびＮｏ．２は所定値を超えるストレス度を有する対象領域である。一方、Ｎｏ．３、Ｎｏ．４およびＮｏ．５は所定値以下のストレス度を有する対象領域である。この場合、Ｎｏ．１およびＮｏ．２は濃く表示され、Ｎｏ．３、Ｎｏ．４およびＮｏ．５は薄く表示されてもよい。また、Ｎｏ．１およびＮｏ．２のリストＴＢ１の項目部分は背景色をつけるなどして目立たせてもよい。

【0120】

表示制御部２２Ｇは、リストＴＢ２に含まれる項目が選択されると、その選択に基づく信号を端末装置３０から取得し、画像ＩＭ２の中で選択された項目に紐づけられた対象領域の位置に印をつけた画像を生成し端末装置３０に表示させる。例えば、リストＴＢ２のＮｏ．１の項目が押下されると、画像ＩＭ２のフレームＦ１に黒い四角形の枠が重畳される。なお、リストＴＢ１のＮｏ．１の項目が押下された場合の印はこれに限られず円形の枠などでもよい。また、所定値を超えるストレス度を有する対象領域に関して、画像ＩＭ２にフレームＦ１、Ｆ２を重畳して表示させておいてもよい。この場合、例えば、リストＴＢ１の項目が選択された場合に重畳される枠の色よりも、選択された項目以外の所定値を超えるストレス度を有する対象領域を薄い色で重畳させておいてもよい。

【0121】

ボタンＢＴ２は、各対象領域を含む場所の映像データを再生するボタンである。ボタンＢＴ２は、図１０のボタンＢＴ１と同様の動作であるため説明を省略する。

【0122】

図１０の画面ＤＰ１および図１１の画面ＤＰ２は、端末装置３０に表示される画面である。画面ＤＰ１および画面ＤＰ２は、図８のステップＳｔ１０の処理に基づいて表示されるか判定される。なお、画面ＤＰ１および画面ＤＰ２は、中央監視室等に設置された端末にリアルタイムで表示されてもよい。この場合は、ストレス度に係る情報はリアルタイムで更新されてよい。これは、例えば、要人の警備、コンサートまたは競技が行われているスタジアム等の監視で用いられる。

【0123】

以上により、実施の形態２に係る表示システム２は、撮像領域を撮像する監視カメラ１０と通信可能に接続されたサーバ２０と通信可能に接続された端末装置３０と、を備える。サーバ２０は、監視カメラ１０の撮像画像に基づいて、撮像領域内にいる少なくとも１人の人物の視線もしくは人物の顔の向きを検出する視線検出部２２Ｂと、監視カメラ１０の撮像画像に基づいて、人物のストレス指数を算出するストレス指数算出部２２Ｃと、人物の視線もしくは人物の顔の向きから、人物が見ている撮像領域内の対象領域を特定する対象領域特定部２２Ｄと、対象領域の特定に使用した少なくとも１人の人物のストレス指数から、対象領域のストレス度を推定するストレス度推定部２２Ｅと、ストレス度を端末装置３０に表示させる表示制御部２２Ｇと、を備える。表示制御部２２Ｇは、対象領域を含む地図または撮像画像にストレス度を重畳させた画像ＩＭ１、ＩＭ２を生成し端末装置３０に表示させる。

【0124】

これにより、表示システム２は、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して表示することができる。

【0125】

また、実施の形態２に係る表示制御部２２Ｇは、ストレス度を示すヒートマップを重畳した画像ＩＭ１、ＩＭ２を生成し端末装置３０に表示させる。これにより、表示システム２は、ストレス度が高く非常事態になり得る事象を視覚的にわかりやすく表示することができる。

【0126】

また、実施の形態２に係る表示制御部２２Ｇは、ストレス度が所定値を超える場合に端末装置３０に画像ＩＭ１、ＩＭ２を送信する。これにより、表示システム２は、特定された対象領域の中でストレス度が高いものを選択的に端末装置３０に表示することができる。これにより、表示システム２は、警備員により危険が高いと推測される事象について優先的に知らせることができる。

【0127】

また、実施の形態２に係る表示制御部２２Ｇは、所定の時間継続して対象領域のストレス度が所定値を超え続ける場合に、端末装置３０に画像を送信する。これにより、表示システム２は、突発的で危険になり得ない事象の通知または誤検知を減らし高精度に通知を行うことができる。

【0128】

また、実施の形態２に係る表示システム２で、所定値は、第１の所定値と第１の所定値より小さい第２の所定値とである。表示制御部２２Ｇは、ストレス度が第１の所定値以上の場合には端末装置３０に画像ＩＭ１、ＩＭ２を送信する。表示制御部２２Ｇは、ストレス度が第１の所定値未満でかつ第２の所定値以上である場合には、所定の時間継続して対象領域のストレス度が第２の所定値を超え続ける場合に、端末装置３０に画像ＩＭ１、ＩＭ２を送信する。これにより、表示システム２は、ストレス度が大きく危険が高いと推定され、ただちに通知を行うべき事象に関しては画像ＩＭ１、ＩＭ２を端末装置３０に送信することができる。また、表示システム２は、ストレス度が中程度である場合は、所定の時間継続してストレス度が所定値を超え続けている事象についてのみ画像ＩＭ１、ＩＭ２を端末装置３０に送信する。これにより表示システム２は、突発的で危険になりえない事象を端末装置３０に表示することまたは誤検知を減らすことができる。つまり、表示システム２は、ストレス度の大きさによって端末装置３０に画像ＩＭ１、ＩＭ２を表示するタイミングを柔軟に変えることができる。

【0129】

また、実施の形態２に係る表示制御部２２Ｇは、画像ＩＭ１と、画像ＩＭ１と紐づけられた情報のリストＴＢ１とを含む画面ＤＰ１を生成し前記所定の端末に表示させる。また、実施の形態２に係る表示制御部２２Ｇは、画像ＩＭ２と、画像ＩＭ２と紐づけられた情報のリストＴＢ２とを含む画面ＤＰ２を生成し前記所定の端末に表示させる。これにより、表示システム２は、警備員等に潜在的に非常事態になり得る様々な事象の情報を知らせることができる。

【0130】

また、実施の形態２に係る表示制御部２２Ｇは、リストＴＢ１に含まれる項目が選択されると、画像ＩＭ１の中で選択された項目に紐づけられた対象領域の位置に印をつけた画像ＩＭ１を生成し端末装置３０に表示させる。また、実施の形態２に係る表示制御部２２Ｇは、リストＴＢ２に含まれる項目が選択されると、画像ＩＭ２の中で選択された項目に紐づけられた対象領域の位置に印をつけた画像ＩＭ２を生成し端末装置３０に表示させる。これにより、表示システム２は、リストＴＢ１の各項目と紐づいた対象領域が画像ＩＭ１上でどれなのかを視覚的にわかりやすく端末装置３０に表示することができる。なお、リストＴＢ２の各項目についても同様である。

【0131】

また、実施の形態２に係るリストＴＢ１は、ストレス度の値と、ストレスが発生した時刻と、ストレスが発生していた継続時間と、対象領域の特定に使用した人物の人数と、ストレスが発生している間の対象領域を含む場所の撮像映像を再生するボタンＢＴ１とを含む。また、実施の形態２に係るリストＴＢ２は、ストレス度の値と、ストレスが発生した時刻と、ストレスが発生していた継続時間と、対象領域の特定に使用した人物の人数と、ストレスが発生している間の対象領域を含む場所の撮像映像を再生するボタンＢＴ２とを含む。これにより、表示システム２は、監視カメラ１０の撮像領域の対象領域に係る情報を端末装置３０に表示することができる。

【0132】

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0133】

本開示の技術は、カメラの撮像領域内で、個々の人物からの距離の大小に関係なく潜在的に非常事態になり得る様々な事象を迅速に検知して通知する通知システムおよび通知方法として有用である。

【符号の説明】

【0134】

１０ 監視カメラ
１１，２１ 通信Ｉ／Ｆ
１２，２３ メモリ
１３ 撮像部
１４，２２ プロセッサ
２０ サーバ
２２Ａ 顔検出部
２２Ｂ 視線検出部
２２Ｃ ストレス指数算出部
２２Ｄ 対象領域特定部
２２Ｅ 対象領域ストレス度推定部
２２Ｆ 通知制御部
２２Ｇ 表示制御部
３０ 端末装置
３１ モバイル端末
３２ クライアント端末
５０，６０ 警備員
７０ 物体
１００ 撮像領域
２００ 領域
３００ 地図
Ａ１，Ａ２，Ａ３，Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５，Ｐ６，Ｐ７ 人物
ＷＶ１ 波形
ｔ０，ｔ１，ｔ２ 時刻
Ｃ１ 期間
ＤＰ１，ＤＰ２ 画面
ＩＭ１，ＩＭ２ 画像
Ｆ１，Ｆ２ フレーム
ＣＡ 車
ＢＡ バイク
ＮＭ 名称
Ｈ１，Ｈ２ ストレス度分布
ＴＢ１，ＴＢ２ リスト
ＢＴ１，ＢＴ２ ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】