特開 2024-102423 行動推定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102423

(43)【公開日】2024-07-31

(54)【発明の名称】行動推定システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240724BHJP

   H04N 7/18 20060101ALI20240724BHJP

   G08B 25/00 20060101ALI20240724BHJP

【ＦＩ】

G06T7/20 300Z

H04N7/18 D

H04N7/18 K

G08B25/00 510M

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023006281

(22)【出願日】2023-01-19

(71)【出願人】

【識別番号】518126409

【氏名又は名称】株式会社アジラ

(74)【代理人】

【識別番号】100176256

【弁理士】

【氏名又は名称】相田 隆敬

(72)【発明者】

【氏名】木村 大介

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054EA01

5C054EA03

5C054EA05

5C054FC01

5C054FC12

5C054FC13

5C054FE28

5C054FF06

5C054FF07

5C054GB01

5C054HA19

5C087AA09

5C087BB74

5C087DD03

5C087EE15

5C087FF01

5C087FF02

5C087FF04

5C087GG02

5C087GG06

5C087GG08

5C087GG20

5C087GG28

5C087GG66

5C087GG70

5C087GG83

5L096BA02

5L096CA04

5L096CA05

5L096DA03

5L096FA09

(57)【要約】

【課題】 行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムを提供する。
【解決手段】 検出用エッジサーバ２では、撮影された時系列画像Ｙを記憶すると共に、時系列画像Ｙに映った行動体Ｚの特徴点を検出し、特徴点情報を行動推定用クラウドサーバ３に送信する。行動推定用クラウドサーバ３では、複数の特徴点情報の変位が注目行動に相当する場合にアラート信号をユーザ端末４に送信する。ユーザ端末４は、対応する複数の時系列画像Ｙを要求するための映像要求信号を検出用エッジサーバ２に送信する。検出用エッジサーバ２は、記憶された時系列画像Ｙの中から要求された複数の時系列画像Ｙをユーザ端末４に送信し、複数の時系列画像Ｙはユーザ端末４で表示される。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、
クラウド上に設けられた行動推定用クラウドサーバと、
ユーザ端末と、
を備えた行動推定システムであって、
各検出用エッジサーバは、
前記撮影手段により撮影された時系列画像を取得する取得部と、
前記取得した各時系列画像を記憶するエッジ側記憶部と、
前記時系列画像に映った行動体の特徴点を検出する検出部と、
各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するエッジ側送信部と、
前記ユーザ端末から送信された信号を受信するエッジ側受信部と、
を備え、
前記行動推定用クラウドサーバは、
注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部と、
前記送信された複数の特徴点情報を受信するクラウド側受信部と、
前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定する判定部と、
前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するクラウド側送信部と、
を備え、
前記ユーザ端末は、
画像及び映像を表示可能な表示部と、
前記アラート信号を受信する端末側受信部と、
前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信する端末側送信部と、
を備え、
前記映像要求信号が前記エッジ側受信部で受信されると、前記エッジ側送信部が、前記エッジ側記憶部に記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、前記要求された複数の時系列画像は、前記端末側受信部で受信されると、前記表示部に表示されることを備えたことを特徴とする行動推定システム。

【請求項2】

前記ユーザ端末は、ユーザにより操作される、前記映像要求信号の送信を許可するための送信許可部を更に備えており、
前記端末側送信部は、前記送信許可部において送信を許可された場合に、前記映像要求信号を送信することを特徴とする請求項１に記載の行動推定システム。

【請求項3】

前記行動推定用クラウドサーバは、前記受信した複数の特徴点情報の変位が前記注目行動を相当すると判定された場合に、前記受信した複数の特徴点情報の変位を示す行動映像を生成する映像生成部を更に備え、
前記クラウド側送信部は、前記アラート信号に加えて前記行動映像を、ネットワーク通信を用いて前記ユーザ端末に送信し、
前記端末側受信部が前記行動映像を受信した場合に、前記表示部は、前記行動映像を表示することを特徴とする請求項１に記載の行動推定システム。

【請求項4】

前記クラウド側記憶部には、複数の前記注目行動に関して、各注目行動が生じた場合の前記特徴点情報の変位が記憶されており、
前記ユーザ端末は、前記複数の注目行動の中から必要とするものをユーザが設定可能な設定部を更に備えており、
前記判定部は、前記複数の特徴点情報の変位が前記設定された注目行動に相当するか否かを判定することを特徴とする請求項１に記載の行動推定システム。

【請求項5】

複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、クラウド上に設けられた行動推定用クラウドサーバと、ユーザ端末と、を有する行動推定システムで行われる方法であって、
各検出用エッジサーバで行われる方法は、
前記撮影手段により撮影された時系列画像を取得するステップと、
前記取得した各時系列画像を記憶するステップと、
前記時系列画像に映った行動体の特徴点を検出するステップと、
各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するステップと、
を備え、
前記行動推定用クラウドサーバで行われる方法は、
前記送信された複数の特徴点情報を受信するステップと、
注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部を参照して、前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定するステップと、
前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するステップと、
を備え、
前記ユーザ端末で行われる方法は、
前記アラート信号を受信するステップと、
前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信するステップと、
を備え、
前記検出用エッジサーバでは、前記映像要求信号が受信されると、前記記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、
前記ユーザ端末では、前記要求された複数の時系列画像が受信されると、前記ユーザ端末の表示部に表示されることを備えたことを特徴とする行動推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムに関する。

【背景技術】

【0002】

従来より、映像に映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を推定する装置が知られている。（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６５２５１７９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、行動推定に用いる学習内容やアルゴリズムというものは、日々改善されていくものであるところ、例えば、上記装置を様々な場所に設置している状況で、上記学習内容等を変更した場合には、装置ごとに学習内容等を変更する手間が生じてしまう。

【0005】

また、上記装置に対応するサーバをクラウド上に設け、各撮影手段から送信された映像を当該サーバで処理する構成とすれば、装置ごとに学習内容等を変更する手間は省けるが、その場合、ネットワークやクラウドストレージに大きな負荷がかかり、行動推定処理の著しい遅延や通信費用の著しい増大等の問題が生じてしまう。

【0006】

そこで、本発明は、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能な行動推定システムを提供することを目的としている。

【課題を解決するための手段】

【0007】

本発明は、複数の撮影手段にそれぞれ接続された複数の検出用エッジサーバと、クラウド上に設けられた行動推定用クラウドサーバと、ユーザ端末と、を備えた行動推定システムであって、各検出用エッジサーバは、前記撮影手段により撮影された時系列画像を取得する取得部と、前記取得した各時系列画像を記憶するエッジ側記憶部と、前記時系列画像に映った行動体の特徴点を検出する検出部と、各時系列画像から検出された特徴点に関する特徴点情報を、対応する時系列画像との紐づけ情報と共に、ネットワーク通信を用いて前記行動推定用クラウドサーバに送信するエッジ側送信部と、前記ユーザ端末から送信された信号を受信するエッジ側受信部と、を備え、前記行動推定用クラウドサーバは、注目行動が生じた場合の前記特徴点情報の変位を記憶したクラウド側記憶部と、前記送信された複数の特徴点情報を受信するクラウド側受信部と、前記複数の特徴点情報の変位が前記注目行動に相当するか否かを判定する判定部と、前記複数の特徴点情報の変位が前記注目行動に相当すると判定された場合に、前記複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いて前記ユーザ端末に送信するクラウド側送信部と、を備え、前記ユーザ端末は、画像及び映像を表示可能な表示部と、前記アラート信号を受信する端末側受信部と、前記アラート信号に含まれる紐づけ情報に対応する複数の時系列画像を要求するための映像要求信号を、ネットワーク通信を用いて前記検出用エッジサーバに送信する端末側送信部と、を備え、前記映像要求信号が前記エッジ側受信部で受信されると、前記エッジ側送信部が、前記エッジ側記憶部に記憶された時系列画像の中から前記要求された複数の時系列画像を前記ユーザ端末に送信し、前記要求された複数の時系列画像は、前記端末側受信部で受信されると、前記表示部に表示されることを備えたことを特徴とする行動推定システムを提供している。

【0008】

このような構成によれば、行動推定に用いる学習内容等はクラウド上に設けられた行動推定用クラウドサーバに集約されることとなるため、行動推定システムの設計者側で当該学習内容等を最新のものに容易に更新し、全ての検出用エッジサーバで取得された画像に対して行われる行動推定処理に、当該変更を一括で反映させることが可能となる。また、特徴点を検出するという重い処理は現場サイドの検出用エッジサーバ（物理サーバ）で行われ、検出された特徴点がネットワーク通信を用いて行動推定用クラウドサーバに送信され、行動を推定するという軽い処理は行動推定用クラウドサーバで行われるので、ネットワーク及びクラウドストレージの軽量化が実現され、その結果、迅速な行動推定処理が実現されると共に、通信費用の増大が抑制される。また、注目行動が生じた場合に、実際の映像がユーザ端末に表示されるので、ユーザが、「実際にどのような（どの程度の）問題が生じたか」を迅速かつ明確に把握することが可能となる。更に、顔を含む映像は注目行動が生じた場合にのみ、ユーザ端末に表示される（検出用エッジサーバの外側に出る）こととなるので、個人情報が漏えいする可能性が低減される。特に、検出用エッジサーバとユーザ端末の利用者を同一人物、又は、同一の組織に属する人物に限定しておけば、顔を含む個人情報を外部に提供することがなくなるので、個人情報保護法上の取り扱いという観点においても有利になる。

【0009】

また、本発明の別の観点によれば、上記行動推定システムに対応する行動推定方法を提供している。

【発明の効果】

【0010】

本発明の行動推定システムによれば、行動推定に用いる学習内容等を最新のものに容易に更新可能でありながら、様々な場所に設置された撮影手段により撮影された映像に映った行動体の行動を迅速かつ低負荷で推定することが可能となる。

【図面の簡単な説明】

【0011】

【図1】本発明の実施の形態による映像の説明図

【図2】本発明の実施の形態による行動推定システムの使用環境の説明図

【図3】本発明の実施の形態による行動推定システムのブロック図

【図4】本発明の実施の形態による行動推定システムのフローチャート

【図5】本発明の変形例による行動推定システムのブロック図

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態による行動推定システム１について、図１－図４を参照して説明する。

【0013】

行動推定システム１は、図１に示すように、撮影手段Ｘによって撮影された時系列画像Ｙ（図１では、映像を構成するフレーム）に映った行動体Ｚの行動を推定するためのものである。本実施の形態では、行動体Ｚとして人間を採用し、理解容易のため、行動体Ｚを骨格だけで簡易的に表示する。

【0014】

行動推定システム１は、図２及び図３に示すように、検出用エッジサーバ２と、行動推定用クラウドサーバ３と、ユーザ端末４と、を備えており、それぞれネットワーク通信を用いて通信可能な構成となっている。

【0015】

本実施の形態では、理解容易のために、複数の施設に撮影手段Ｘが１台ずつ設置されており、各撮影手段Ｘに検出用エッジサーバ２がそれぞれ設けられている例を用いて説明を行う。本実施の形態では、検出用エッジサーバ２は、物理サーバ（物理サーバ内に構築された仮想サーバを含む）である。各検出用エッジサーバ２には複数のユーザ端末４を対応付けることが可能であるが、本実施の形態では、各検出用エッジサーバ２に１台のユーザ端末４が対応付けられている例を用いて説明を行う。ユーザ端末４としては、スマートフォン等の携帯情報端末が考えられる。また、検出用エッジサーバ２とユーザ端末４の利用者は、同一人物、又は、同一の組織に属する人物として説明を行う。

【0016】

検出用エッジサーバ２は、取得部２１と、エッジ側記憶部２２と、検出部２３と、エッジ側送信部２４と、エッジ側受信部２５と、を備えている。

【0017】

取得部２１は、撮影手段Ｘにより撮影された時系列画像Ｙを取得する。

【0018】

エッジ側記憶部２２は、取得した各時系列画像Ｙ（映像を構成する各フレーム）を記憶する。

【0019】

検出部２３は、時系列画像Ｙに映った行動体Ｚの特徴点を検出する。

【0020】

特徴点としては、様々なものが考えられるが、本実施の形態では、特徴点として関節を検出する例を用いて説明を行う。

【0021】

特徴点として関節を検出する場合には、例えば、以下のような方法が考えられる。

【0022】

まず、記憶部（エッジ側記憶部２２であっても、他の記憶部であっても良い）に、“関節識別基準”と、“行動体識別基準”と、を記憶しておく。

【0023】

“関節識別基準”は、人間の複数の関節を識別するためのものであり、関節ごとに、それぞれを識別するための形状、方向、サイズ等を示したものである。

【0024】

“行動体識別基準”は、人間の様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節の可動域“、一の人間における”各関節間の距離“等を示したものである。

【0025】

上記“関節識別基準”に該当する複数の関節を検出した上で、“行動体識別基準”を参照して、一の行動体Ｚに含まれる複数の関節を特定することで、行動体Ｚそれぞれに含まれる関節を特定することが可能となる。

【0026】

なお、特徴点情報は、時系列の順番さえ特定しておけば、複数の時系列画像Ｙからまとめて検出しても良いし、時系列画像Ｙごとに個別に検出しても良い。

【0027】

エッジ側送信部２４は、各時系列画像Ｙから検出された特徴点に関する特徴点情報を、対応する時系列画像Ｙとの紐づけ情報と共に、ネットワーク通信を用いて行動推定用クラウドサーバ３に送信する。本実施の形態では、特徴点情報は、検出部２３により検出されたら即時送信され、検出用エッジサーバ２には残さないものとする。紐づけ情報としては、例えば、時系列画像の番号などが考えられる。

【0028】

エッジ側受信部２５は、行動推定用クラウドサーバ３やユーザ端末４から送信された信号を受信する。

【0029】

行動推定用クラウドサーバ３は、クラウド側記憶部３１と、クラウド側受信部３２と、判定部３３と、クラウド側送信部３４と、を備えている。

【0030】

クラウド側記憶部３１は、注目行動が生じた場合の特徴点情報の変位を記憶している。

【0031】

注目行動としては、例えば、転倒、殴る、蹴る等の行動が考えられ、１つに限らず複数の行動を記憶しても良い。また、クラウド側記憶部３１には、注目行動以外の行動（歩行、立ち止まる等）が生じた場合の特徴点情報の変位を記憶しておいても良い。

【0032】

クラウド側受信部３２は、上記送信された複数の特徴点情報を受信する。

【0033】

判定部３３は、受信された複数の特徴点情報の変位が注目行動に相当するか否かを判定する。

【0034】

例えば、複数の特徴点情報の変位が、注目行動の特徴点情報の変位と所定以上一致している場合に、「当該注目行動が行われた」と判定することが考えられる。

【0035】

ここで、クラウド側記憶部３１に記憶される情報、及び、判定部３３で行われる判定基準は、行動推定システム１の設計者により変更可能である。従って、当該情報や判定基準を適宜変更するだけで、全ての検出用エッジサーバ２から送信されてきた特徴点情報に対して最新の学習内容や判定基準（アルゴリズム）を反映させることが可能となる。

【0036】

なお、クラウドストレージを軽量化するために、複数の特徴点情報が受信されると注目行動に相当するか否かの判定は即時行い、複数の特徴点情報は残さないことが好ましい。

【0037】

クラウド側送信部３４は、複数の特徴点情報の変位が注目行動に相当すると判定された場合に、複数の特徴点情報に対応する紐づけ情報を含むアラート信号を、ネットワーク通信を用いてユーザ端末４に送信する。

【0038】

ユーザ端末４は、表示部４１と、端末側受信部４２と、端末側送信部４３と、を備えている。

【0039】

表示部４１は、画像及び映像を表示可能である。

【0040】

端末側受信部４２は、アラート信号を受信する。

【0041】

なお、ユーザ端末４は、端末側受信部４２がアラート信号を受信した際に、音声、振動、表示部４１への表示等によって、アラート信号を受信したことをユーザに報知することが好ましい。

【0042】

端末側送信部４３は、アラート信号に含まれる紐づけ情報に対応する複数の時系列画像Ｙ（映像）に対応する映像を要求するための映像要求信号を、ネットワーク通信を用いて検出用エッジサーバ２に送信する。本実施の形態では、端末側受信部４２によりアラート信号が受信されると、端末側送信部４３は、映像要求信号を自動的に送信するものとする。

【0043】

この映像要求信号は、エッジ側受信部２５で受信される。検出用エッジサーバ２では、映像要求信号を受信すると、エッジ側送信部２４が、エッジ側記憶部２２に記憶された時系列画像Ｙの中から要求された時系列画像Ｙ（映像）をユーザ端末４に送信する。送信された映像は、端末側受信部４２で受信され、表示部４１に表示される。

【0044】

このようにして、本実施の形態による行動推定システム１では、ユーザが管理する撮影手段Ｘで撮影された映像に注目行動が生じた場合に、ユーザが所持するユーザ端末４において、「実際にどのような（どの程度の）問題が生じたか」を迅速かつ明確に把握することが可能となる。

【0045】

続いて、図４のフローチャートを用いて、行動推定システム１による行動推定の流れについて説明する。

【0046】

まず、検出用エッジサーバ２において、時系列画像Ｙが取得されると（Ｓ１）、時系列画像Ｙに映った行動体Ｚの特徴点が検出される（Ｓ２）。

【0047】

続いて、Ｓ２で検出された特徴点に関する特徴点情報が、対応する時系列画像Ｙとの紐づけ情報と共に、ネットワーク通信を用いて行動推定用クラウドサーバ３に送信される（Ｓ３）。

【0048】

続いて、行動推定用クラウドサーバ３では、複数の特徴点情報が受信されると（Ｓ４）、複数の特徴点情報の変位が注目行動に相当するか否かが判定される（Ｓ５）。

【0049】

複数の特徴点情報の変位が注目行動に相当すると判定された場合（Ｓ５：ＹＥＳ）、複数の特徴点情報に対応する紐づけ情報を含むアラート信号が、ネットワーク通信を用いてユーザ端末４に送信される（Ｓ６）。

【0050】

続いて、ユーザ端末４では、アラート信号が受信されると（Ｓ７）、アラート信号に含まれる紐づけ情報に対応する複数の時系列画像Ｙ（映像）を要求するための映像要求信号が、ネットワーク通信を用いて検出用エッジサーバ２に送信される（Ｓ８）。

【0051】

続いて、検出用エッジサーバ２では、映像要求信号が受信されると（Ｓ９）、エッジ側記憶部２２に記憶された時系列画像Ｙの中から要求された複数の時系列画像Ｙ（映像）がユーザ端末４に送信される（Ｓ１０）。

【0052】

最後に、ユーザ端末４では、送信された複数の時系列画像Ｙ（映像）が受信されると（Ｓ１１）、受信された複数の時系列画像Ｙ（映像）が表示部４１に表示される（Ｓ１２）。

【0053】

以上説明したように、本実施の形態による行動推定システム１では、複数の検出用エッジサーバ２で検出された特徴点情報がネットワーク通信を用いて行動推定用クラウドサーバ３に送信され、行動推定用クラウドサーバ３において行動推定が行われる。

【0054】

このような構成によれば、行動推定に用いる学習内容等はクラウド上に設けられた行動推定用クラウドサーバ３に集約されることとなるため、行動推定システム１の設計者側で当該学習内容等を最新のものに容易に更新し、全ての検出用エッジサーバ２で取得された画像に対して行われる行動推定処理に、当該変更を一括で反映させることが可能となる。また、特徴点を検出するという重い処理は現場サイドの検出用エッジサーバ２（物理サーバ）で行われ、検出された特徴点がネットワーク通信を用いて行動推定用クラウドサーバ３に送信され、行動を推定するという軽い処理は行動推定用クラウドサーバ３で行われるので、ネットワーク及びクラウドストレージの軽量化が実現され、その結果、迅速な行動推定処理が実現されると共に、通信費用の増大が抑制される。また、注目行動が生じた場合に、実際の映像がユーザ端末４に表示されるので、ユーザが、「実際にどのような（どの程度の）問題が生じたか」を迅速かつ明確に把握することが可能となる。更に、顔を含む映像は注目行動が生じた場合にのみ、ユーザ端末４に表示される（検出用エッジサーバ２の外側に出る）こととなるので、個人情報が漏えいする可能性が低減される。特に、検出用エッジサーバ２とユーザ端末４の利用者を同一人物、又は、同一の組織に属する人物に限定しておけば、顔を含む個人情報を外部に提供することがなくなるので、個人情報保護法上の取り扱いという観点においても有利になる。

【0055】

尚、本発明の行動推定システムは、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。

【0056】

例えば、上記実施の形態では、アラート信号が受信されると（図４のＳ７）、映像要求信号が検出用エッジサーバ２に送信されたが（図４のＳ８）、図５に示すように、ユーザ端末４は、ユーザにより操作される、映像要求信号の送信を許可するための送信許可部４４を更に備え、端末側送信部４３は、送信許可部４４において送信を許可された場合に、映像要求信号を送信するようにしても良い。

【0057】

このような構成によれば、ユーザの許可があった場合にのみ顔を含む映像を表示させるという安全な運用が可能となると共に、映像送信に係るネットワークの負荷が更に低減される。

【0058】

更に、ユーザ端末４は、ユーザにより操作される、映像要求信号を自動的に要求するか否かを設定するための許可設定部を更に備え、許可設定部において映像要求信号を自動的に要求しないように設定された場合には、端末側送信部４３は、送信許可部４４において許可された場合に映像要求信号を送信するようにしても良い。

【0059】

また、図５に示すように、行動推定用クラウドサーバ３は、複数の特徴点情報の変位が注目行動に相当すると判断された場合に（図４のＳ５：ＹＥＳ）、複数の特徴点情報の変位を示す行動映像を生成する映像生成部３５を更に備え、クラウド側送信部３４は、アラート信号に加えて上記行動映像を、ネットワーク通信を用いてユーザ端末４に送信し、端末側受信部４２が行動映像を受信した場合に、表示部４１は、行動映像を表示させる構成であっても良い。

【0060】

このような構成によれば、顔を含む映像を表示させることなく、ユーザが新たに生成した行動映像により「どのような（どの程度の）問題が生じたか」を迅速に把握しやすくなる。そして、ユーザが「もう少し詳しく知りたい」場合に、送信許可部４４から映像の要求を行うようにすれば、本当に必要な場合にのみ顔を含む映像を表示させるという安全な運用が可能となると共に、映像送信に係るネットワークの負荷が更に低減される。

【0061】

また、特徴点情報の変位は、複数の注目行動のそれぞれについて、クラウド側記憶部３１に記憶しておくことが可能であるが、全ての注目行動に関するアラートをユーザが必要としているとは限らない。従って、クラウド側記憶部３１に、複数の注目行動に関して、各注目行動が生じた場合の特徴点情報の変位を記憶しておき、図５に示すように、ユーザ端末４に複数の注目行動の中から必要とするものをユーザが設定可能な設定部４５を備えても良い。この場合には、図４のＳ５において、複数の特徴点情報の変位が“設定された”注目行動に相当すると判定された場合（Ｓ５：ＹＥＳ）、複数の特徴点情報に対応する紐づけ情報を含むアラート信号が、ネットワーク通信を用いてユーザ端末４に送信される（Ｓ６）。

【0062】

このような構成によれば、ユーザが必要とする可能性のある多数の注目行動に対応可能としつつ、必要な注目行動が生じた場合にのみアラートが行われるので、ユーザが行動推定システム１をより効果的に活用することが可能となる。

【0063】

なお、変形例においても、ユーザ端末４は、端末側受信部４２がアラート信号を受信した際に、音声、振動、表示部４１への表示等によって、アラート信号を受信したことをユーザに報知することが好ましい。

【0064】

また、上記実施の形態では、検出用エッジサーバ２は、撮影手段Ｘに設けられていたが、撮影手段Ｘと一体であっても良い。更に、一台の検出用エッジサーバ２が、同じ敷地内に設置された複数の撮影手段Ｘについて共通して使用されても良い。

【0065】

また、上記実施の形態では複数の関節の動きに基づいて行動体の行動を検出したが、関節を検出することなく他の方法で行動体の行動を検出してもよい。

【0066】

また、本発明は、コントローラとしての取得部２１、検出部２３、エッジ側送信部２４、エッジ側受信部２５、クラウド側受信部３２、判定部３３、クラウド側送信部３４、表示部４１、端末側受信部４２、端末側送信部４３、送信許可部４４、及び、設定部４５が行う処理に相当するプログラム及び方法や、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体としては、ＣＤ－ＲＯＭ等が考えられるが、それに限定されるものではない。

【符号の説明】

【0067】

１ 行動推定システム
２ 検出用エッジサーバ
３ 行動推定用クラウドサーバ
４ ユーザ端末
２１ 取得部
２２ エッジ側記憶部
２３ 検出部
２４ エッジ側送信部
２５ エッジ側受信部
３１ クラウド側記憶部
３２ クラウド側受信部
３３ 判定部
３４ クラウド側送信部
３５ 映像生成部
４１ 表示部
４２ 端末側受信部
４３ 端末側送信部
４４ 送信許可部
４５ 設定部
Ｘ 撮影手段
Ｙ 時系列画像
Ｚ 行動体

【図1】

【図2】

【図3】

【図4】

【図5】