特許 7408731 行動検知方法、行動検知装置、行動検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】行動検知方法、行動検知装置、行動検知システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231225BHJP

   G06T 7/00 20170101ALI20231225BHJP

   H04N 7/18 20060101ALI20231225BHJP

【ＦＩ】

G06T7/20 300Z

G06T7/00 350B

H04N7/18 K

【請求項の数】 20

(21)【出願番号】P 2022109222

(22)【出願日】2022-07-06

【審査請求日】2022-07-06

【前置審査】

(73)【特許権者】

【識別番号】323012841

【氏名又は名称】東芝テリー株式会社

(74)【代理人】

【識別番号】110001737

【氏名又は名称】弁理士法人スズエ国際特許事務所

(72)【発明者】

【氏名】和田 亮

(72)【発明者】

【氏名】音山 弘幸

(72)【発明者】

【氏名】大村 明弘

(72)【発明者】

【氏名】柳原 悠紀

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０２０－０８６８１９（ＪＰ，Ａ）

【文献】特開２０２１－０７２４７４（ＪＰ，Ａ）

【文献】特開２０２１－１７４０５９（ＪＰ，Ａ）

【文献】特開２０２０－１３４９７１（ＪＰ，Ａ）

【文献】特開２０１８－０８４９５１（ＪＰ，Ａ）

【文献】特開２０１５－０１８４８５（ＪＰ，Ａ）

【文献】特開２０２０－１５４７３０（ＪＰ，Ａ）

【文献】特開２００７－３１２２７１（ＪＰ，Ａ）

【文献】特開２０１６－１４６５２７（ＪＰ，Ａ）

【文献】特開２０１４－０７２５９８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／１９４ － １３／１９６

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

画像データを処理するデータ処理器において、人物を頭上から撮像した画像データを用いて、前記人物の行動を識別する方法であって、
前記画像データから切り出した切出し画像データの中の前記人物の移動を追跡すること、
前記人物が所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記人物の行動を識別すること、を備える行動検知方法。

【請求項2】

画像データを処理するデータ処理器において、人物を頭上から撮像した画像データを用いて、前記人物の行動を識別する方法であって、
前記画像データから切り出した切出し画像データの中の前記人物の移動を追跡すること、
前記人物が所定の注目エリア内に進入したことを検知すること、
前記人物の移動を追跡した画像、前記所定の注目エリア内に進入したことを検知した画像の処理結果データをストレージに記憶すること、
前記人物が所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記人物の行動を識別すること、を備える行動検知方法。

【請求項3】

前記複数の関節点は、前記人物の肩の位置、肘の位置、手首の位置の少なくとも２つを含む、請求項１又は請求項２に記載の行動検知方法。

【請求項4】

前記複数の関節点は、前記人物の頭の位置、背中の位置の両方を含む、請求項１又は請求項２に記載の行動検知方法。

【請求項5】

画像データ処理器において、人物を頭上から撮像した画像データを用いて、前記人物の行動を識別する行動検知装置であって、
前記画像データから切り出した切出し画像データの中の前記人物の移動を追跡する追跡処理回路と、
前記人物が所定の注目エリア内に進入したことを検知する進入検知回路と、
前記進入検知回路が、前記人物が前記所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出する姿勢推定回路と、
前記実測変化パターンを予め学習している複数の学習済変化パターンと比較して、前記実測変化パターンが類似する学習済変化パターンを特定し、この特定した学習済変化パターンにもとづき前記人物の行動を識別する行動識別回路と、備える行動検知装置。

【請求項6】

画像データ処理器において、人物を頭上から撮像した画像データを用いて、前記人物の行動を識別する行動検知装置であって、
前記画像データから切り出した切出し画像データの中の前記人物の移動を追跡する追跡処理回路と、
前記人物が所定の注目エリア内に進入したことを検知する進入検知回路と、
前記人物の移動を追跡した画像、前記所定の注目エリア内に進入したことを検知した画像の処理結果データを記憶するストレージと、
前記進入検知回路が、前記人物が前記所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出する姿勢推定回路と、
前記実測変化パターンを予め学習している複数の学習済変化パターンと比較して、前記実測変化パターンが類似する学習済変化パターンを特定し、この特定した学習済変化パターンにもとづき前記人物の行動を識別する行動識別回路と、備える行動検知装置。

【請求項7】

前記複数の関節点は、前記人物の肩の位置、肘の位置、手首の位置の少なくとも２つを含む、請求項５又は請求項６に記載の行動検知装置。

【請求項8】

前記複数の関節点は、前記人物の頭の位置、背中の位置の両方を含む、請求項５又は請求項６に記載の行動検知装置。

【請求項9】

上部から見下ろし広角方位を撮像した画像データを送信するカメラと、前記画像データを受信するデータ処理器と、前記データ処理器の表示処理器が出力する表示データを受信する表示器と、を少なくとも有する行動検知システムであって、
前記データ処理器は、
前記画像データから切り出した切出し画像データの中の人物の移動を追跡する追跡回路と、
前記人物が所定の注目エリア内に進入したことを検知する進入検知回路と、
前記進入検知回路が、前記人物が前記所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出する姿勢推定回路と、
前記実測変化パターンを予め学習している複数の学習済変化パターンと比較して、前記実測変化パターンが類似する学習済変化パターンを特定し、この特定した学習済変化パターンにもとづき前記人物の行動を識別する行動識別回路と、を備え、
前記表示処理器は、前記人物が行動している画像データを前記表示器に送信する、
行動検知システム。

【請求項10】

上部から見下ろし広角方位を撮像した画像データを送信するカメラと、前記画像データを受信するデータ処理器と、前記データ処理器の表示処理器が出力する表示データを受信する表示器と、を少なくとも有する行動検知システムであって、
前記データ処理器は、
前記画像データから切り出した切出し画像データの中の人物の移動を追跡する追跡回路と、
前記人物が所定の注目エリア内に進入したことを検知する進入検知回路と、
前記人物の移動を追跡した画像、前記所定の注目エリア内に進入したことを検知した画像の処理結果データを記憶するストレージと、
前記進入検知回路が、前記人物が前記所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出する姿勢推定回路と、
前記実測変化パターンを予め学習している複数の学習済変化パターンと比較して、前記実測変化パターンが類似する学習済変化パターンを特定し、この特定した学習済変化パターンにもとづき前記人物の行動を識別する行動識別回路と、を備え、
前記表示処理器は、前記人物が行動している画像データを前記表示器に送信する、
行動検知システム。

【請求項11】

前記複数の関節点は、前記人物の肩の位置、肘の位置、手首の位置の少なくとも２つを含む、請求項９又は請求項１０に記載の行動検知システム。

【請求項12】

前記複数の関節点は、前記人物の頭の位置、背中の位置の両方を含む、請求項９又は請求項１０に記載の行動検知システム。

【請求項13】

広角方位が撮像された画像データを取り込むこと、
前記画像データから、予め設定されたエリアを切り出した切出し画像データを取得すること、
前記切出し画像データ内の移動物に追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡すること、
前記移動物が所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること、
前記実測変化パターンにより前記移動物の行動を特定するために、前記複数の関節点に基づく特定行動パターンを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別すること、を備える行動検知方法。

【請求項14】

前記移動物は、人物又はロボットである、請求項１３に記載の行動検知方法。

【請求項15】

前記移動物の移動を追跡する状態の画像及びその状態であることを示す前記追跡マークと、前記移動物が前記所定の注目エリア内に進入した状態の画像及びその状態であることを示す注目エリアマークと、前記移動物の行動を識別する際の状態の画像及びその状態であることを示す行動識別エリアマークとを表示器に出力することを、請求項１３に記載の行動検知方法。

【請求項16】

広角方位が撮像された画像データを取り込む画像バッファメモリと、
前記画像データから、予め設定されているエリアを切り出した切出し画像データを作成する切出し画像作成回路と、
時系列の前記切出し画像データを一時保持する切出し画像バッファと、
前記切出し画像バッファの前記切出し画像データを用いて、
前記切出し画像データ内の移動物を検知し、追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡する物体検知及び追跡処理回路と、
前記移動物が所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出するエリア進入及び姿勢推定回路と、
前記実測変化パターンにより前記移動物の行動を特定するために、前記複数の関節点に基づく特定行動パターンを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別する行動識別回路と、を備える行動検知装置。

【請求項17】

前記移動物は、人物又はロボットである、請求項１６に記載の行動検知装置。

【請求項18】

前記移動物の移動を追跡する状態の画像及びその状態であることを示す前記追跡マークと、前記移動物が前記所定の注目エリア内に進入した状態の画像及びその状態であることを示す注目エリアマークと、前記移動物の行動を識別する際の状態の画像及びその状態であることを示す行動識別エリアマークとを表示器に出力する、請求項１６に記載の行動検知装置。

【請求項19】

上部から見下ろし広角方位を撮像した画像データを送信するカメラと、前記画像データを受信する信号処理器と、前記信号処理器の表示処理回路が出力する表示データを受信する表示器と、を少なくとも有する行動検知システムであって、
前記信号処理器は、
前記画像データから、予め設定されているエリアを切り出した切出し画像データを作成する切出し画像作成回路と、
時系列の前記切出し画像データを一時保持する切出し画像バッファと、
前記切出し画像バッファの前記切出し画像データを用いて、
前記切出し画像データ内の移動物を検知し、予め設定している大きさの座標データの追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡する物体検知及び追跡処理回路と、
前記移動物が所定の注目エリア内に進入したことを検知した後に、前記所定の注目エリア内だけの前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出するエリア進入及び姿勢推定回路と、
前記実測変化パターンにより前記移動物の行動を特定するために、前記複数の関節点に基づく特定行動パターンを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別する行動識別回路と、
前記移動物に前記追跡マークを与え、前記移動物の移動を追跡する状態、前記移動物が前記所定の注目エリア内に進入した状態、前記移動物の行動を識別する際の状態の画像と、各状態であることを示す前記追跡マーク、前記所定の注目エリアのマーク、前記行動の識別エリアのマークを前記表示器に送信する表示処理回路と、を備える行動検知システム。

【請求項20】

前移動物は、人物又はロボットである、請求項１９に記載の行動検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、行動検知方法、行動検知装置、行動検知システムに関する。

【背景技術】

【0002】

最近では、様々な分野で監視システムが採用されている。監視システムは、一般的には、撮像カメラ、画像データ処理器、モニタ、そして記録装置で構成されている。監視システムの利用は、人手不足を補うため、犯罪防止のため、作業効率を改善するため等の目的があり、今後、その一層の活用が期待されている。

【0003】

例えば人物の行動を検知する監視システムがある。この監視システムは、撮像カメラが人物を真上から見下ろして人物画像を撮像する場合がある。この場合、人物の行動を正確に検知することが困難である。撮像カメラが人物を真上から撮像した場合、モニタ画像は、頭を真上からみた状態の画像となる。このため人物が左を向いた状態、右を向いた状態は、検知可能かもしれないが、その他の当該人物のさらなる行動（動き）を判定しにくい。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－２３６１８４号公報

【文献】特開２００５－１５７９０６号公報

【文献】特開２０１８－１３９１００号公報

【文献】特開２０１８－１２４９７２号公報

【文献】特表２０１４－５１４６５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

そこで実施形態においては、人物などの移動物の行動の検知精度をより向上することができる、行動検知方法、行動検知装置、行動検知システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

一実施形態によれば、移動物を頭上から撮像した画像データを用いて、前記移動物の行動を識別する方法であって、
前記画像データから切り出した切出し画像データの中の注目エリア内で前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること、
前記実測変化パターンにより前記移動物の行動を特定するために、前記複数の関節点に基づく特定行動パターンを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別すること、を備える行動検知方法が提供される。

【図面の簡単な説明】

【0007】

【図1】図１は本発明が適用されたシステムの一例を概略的に示す図である。

【図2】図２は図１の監視カメラ、データ処理器、表示器、警告器を示し、前記データ処理器の内部の処理アプリケーションのブロック構成例を示す図である。

【図3】図３は、図１のデータ処理器のハードウエアブロック構成例を示す図である。

【図4】図４は図３に示した画像処理回路と記憶装置と処理結果バッファメモリとの関係を説明した説明図である。

【0008】

【図5A】頭上からカメラにより人物を撮像した場合の人物の姿勢の一例を示す説明図である。

【図5B】頭上からカメラにより人物を撮像した場合の人物の姿勢の他の例を示す説明図である。

【図5C】頭上からカメラにより人物を撮像した場合の人物の姿勢のさらに他の例を示す説明図である。

【図6A】図６Ａは、図５Ｃの人物の右側から右腕の関節をみて、該関節の座標データの変化する様子を示す説明図である。

【図6B】図６Ｂは、図５Ｃの人物の右側から右腕の関節をみて、該関節の座標データの変化する様子を示す説明図である。

【図7A】図７Ａは、図６Ａ、図６Ｂそして図６Ｃで示した関節に対してさらに監視ポイントを増やす他の例を示す説明図である。

【図7B】図７Ｂは、図７Ａに示した人物がかがみこんだ場合に監視される監視ポイントの例を示す説明図である。

【図8】図８は、３６０°カメラの外観と、このカメラが撮像した画像の例を示す説明図である。

【図9】図９は、湾曲した画像の中で予め設定している通路の交差点を含むその周囲を切り出し・湾曲を補正（歪補正）した画像の例を示す説明図である。

【図10】図１０は、人物を画像の中から検出し、画像データ処理により、人物を囲む検知枠を説明する図である。

【図11】図１１は、人物を検出した後、当該人物を追跡しているときの画像と追跡枠を説明する図である。

【図12】図１２は、追跡している人物が注目エリアに進入した時の画像と注目エリア枠を説明する図である。

【図13】図１３は、図１３は、人物が行動識別エリア内に進入した状態を示す説明図である。

【図14】図１４は、行動識別エリア内での人物の行動が時系列のデータを用いて判定されるときの説明図である。

【図15】図１５は、本システムの要部を取り出して示す説明図である。

【発明を実施するための形態】

【0009】

以下、実施の形態について図面を参照して説明する。
図１は本発明が適用されたシステムの一例を概略的に示す図である。１１、１２は、例えば倉庫内の第１の交差点、第２の交差点の真上の天井に配置されている監視カメラである。監視カメラ１１、１２は、下方を向き、見下ろした方向の例えば３６０°の視野を撮影可能な広角方位（３６０°）カメラである。このカメラは、広角方位を撮像するためにその画像は湾曲した湾曲画像となる。このそれぞれの監視カメラ１１、１２は、例えば、交差点及びその周辺に近づき所定のエリアに進入する人物を撮影することができる。なお、使用するカメラは、３６０°カメラに限らず、広いエリアを撮像可能な広角の固定画角カメラでもよい。

【0010】

監視カメラ１１、１２で撮影した画像データは、データ処理器１００に送信される。送信方法は無線又は有線である。データ処理器１００は、監視カメラ１１、１２からの監視画像を、表示器２１、２２に送信することができる。データ処理器１００は、画像データを処理し、監視内容に応じて警告器３１、３２に警告信号を出力することができる。なお上記の表示器２１、２２は携帯端末であってもよい。

【0011】

図２は、上記監視カメラ１１と、データ処理器１００と、表示器２１、警告器３１を示している。特にデータ処理器１００の内部は、ソフトウエアＳＷによるデータ処理アプリケーション（以下アプリと称する）を、複数の専用処理アプリに分けて示している。なお、処理アプリは、処理ルーチン、処理ブロック、処理部等と称されてもよい。

【0012】

監視カメラ１１からの画像データは、ストリーム受信アプリ２０１で受信される。受信された画像データは、映像録画アプリ２０２に伝送されるとともに、キャプチャアプリ２０３に伝送される。キャプチャアプリ２０３は、画像データをフレーム毎に時系列で取り込む。そして、湾曲した画像の画像データを歪み補正した監視画像データに変換（デワープ）することができる。

【0013】

監視カメラ１１は、視野が広いのでカメラの視野内に、監視すべき対象や場所が複数存在する場合がある。そこで、キャプチャアプリ２０３は、例えば第１の監視エリア用の静止画像データと、第２の監視エリア用の静止画像データと容易に切り替えが可能なようにする。なおこの監視すべき対象数や場所数は、２つに限定されるものではない。以降は、1か所の監視エリアの画像処理について、説明する。

【0014】

またキャプチャアプリ２０３は、映像録画アプリ２０２からの画像データもフレーム毎に時系列で取り込むことができる。

【0015】

さらにまた映像録画アプリ２０２からの画像データは、例えば、次のように利用される。
監視カメラ１１は、視野が広いのでカメラの視野内で、想定していない事象が発生した場合等に後から別の監視エリアを解析したい場合がある。そこで過去の録画映像からの静止画像データを遡って取り込み処理することができるように設計される。そのために、上記映像録画アプリ２０２が設けられている。

【0016】

なお本明明細書では、上記の「監視エリア」の他に、後述する「注目エリア」、「行動識別エリア」などを区別している。
キャプチャアプリ２０３でキャプチャされた静止画像データは、切出し・補正処理アプリ２０４に伝送される。切出し・補正処理アプリ２０４は、静止画像データから予め設定しているエリア（監視場所として特定している監視エリア）の画像の切出し処理を行う。これにより、不要な画像を処理せず最小限の画像データに対する処理を実現して処理負荷を低減する。

【0017】

次に、補正処理では、各切出した画像データに対する縦（垂直）、横（水平）の比（アスペクト比）の補正、画像サイズのリサイズなどの処理が実行される。また、画素の輝度補正（明るさやコントラストの補正）や不要個所のマスク処理など、画素データの補完・編集処理技術が利用されてもよい。

【0018】

これにより、切出された各単位の画像データの画角やサイズ、データ量（ピクセル数等）が一定に整理され、次のステップの画像処理を容易にすることができる。つまり、システム設計者にとって、ソフトウエア設計、ハードウエア上のデータ制御設計、画像データ上の座標管理が容易となり、システム全体においてもデータ処理負荷が軽減される。

【0019】

上記の切出し及び補正処理を受けた、静止画像データは、順次、物体検知処理アプリ２０５へ送られる。物体検知処理アプリ２０５は、時系列に取り込んだ静止画像データを用いて、移動物ここでは例えば人物を検知する。例えば時間的に前後する複数のフレーム（時系列のフレーム）の差分情報から動きベクトルを検出して、移動する人物を検知する。あるいは、画像上の対象物のテクスチャなどの空間特徴から画像中の人物のみを検知する。このときは、後でも説明するが人物を囲む検知枠（赤色）を発生する。次に人物が移動や静止する場合には、検知した人物を囲み追跡する枠（以後、追跡枠と称する）を作成する。この追跡枠は、例えば青色であり、切出した静止画像データ上の座標データで管理される。追跡枠は、物体検知処理アプリ２０５が作成してもよいし、次の物体追跡処理アプリ２０６が作成してもよい。

【0020】

物体追跡処理アプリ２０６は、人物を追跡する。即ち、人物を囲む追跡枠（青色）は、人物が移動や静止すると、この移動や静止に応じて、追跡枠の座標データをも物体追跡処理アプリ２０６が更新する、このときの座標データの更新処理が人物を追跡することに相当する。

【0021】

追跡枠の座標データは、エリア進入検知処理アプリ２０７でモニタされる。エリア進入検知処理アプリ２０７は、予め設定している注目エリア、即ち追跡中の人物の行動を判断する必要がある注目エリア（例えば交差点に進入する手前周辺）に、当該人物が進入したか否の検知を行う。エリア進入検知処理アプリ２０７も、予め設定している注目エリアを座標データにより認識している。そして、追跡枠の座標データと注目エリアの座標データとを常時対比する。注目エリアへの進入の判定は、例えば注目エリア内に含まれる追跡枠内の画素数の割合で判定する。または、注目エリアの座標と追跡枠エリアの座標の交差面積を求めて判定しても良い。また注目エリアを示す為の注目エリア枠（例えば黄色）が用意されている。

【0022】

上記した、人物検知状態（検知枠の発生）、人物移動や静止の監視状態（追跡枠の発生）、注目エリアへの進入状態（注目エリア内の追跡枠の発生）は、各状態に応じて表示器上で異なる色に変化する。これにより、表示器を見て人物の状況を監視する立場のユーザ（管理者）は、人物の現在の状況を色の変化により把握することが容易である。特に複数の人物が監視されている場合は、上記の色の変化は有効である。

【0023】

エリア進入検知処理アプリ２０７が、注目エリアに追跡中の人物が進入したことを検知すると、姿勢推定処理アプリ２０８と行動識別処理２１１とにより当該人物の姿勢と行動の推定処理を開始する。また、一時停止検知処理アプリ２０９が当該人物の停止状況を検知する。

【0024】

一時停止検知処理アプリ２０９は、注目エリアに当該人物が進入した後、例えば人物の停止時間を計測する。この停止時間の計測によって、人物が何ら行動なしで通過した場合、或は、必要以上に長時間停止している場合などの停止状況を検知することができる。進入した人物行動が、当該現場（注目エリア内）で求められている適切な行動であるか否かについて、例えば、交差点に進入する前で行うべき行動、例えば「一時停止による確認」などの「適切な行動」が行われているかどうかの判定に利用することができる。

【0025】

上記の注目エリアを設ける理由は次の通りである。即ち、注目エリアに移動物が進入した後のデータ処理は、追跡の場合よりもデータ処理の負荷が大きくなる。そこで、切出し画像の全体エリアではなく、注目エリア内だけのデータ処理に集中し、他のエリアのためのデータ処理を省略するためでもある。

【0026】

姿勢推定処理アプリ２０８は、後でさらに詳しく述べるが、例えば次のような方法が採用されている。

【0027】

即ち、人物を真上から見下ろして撮像した画像データにおいて、本システムは、当該人物の肩、肘、手首のような所定の複数の関節を第１、第２、第３の基準点として設定する。

【0028】

なお、見下ろし画角において利用可能な関節点は、この３点に限定するものではなく、肩を第１、手首を第２の基準点として使用しても良い。さらに、左右の肩、肘、手首の関節点を対にして基準点として設定しても良い。左右の肩、肘、手首の関節点を基準点とした場合、人物の関節点の一部が隠ぺいされた場合などで補完することができる等、安定した動作が可能となる。
姿勢推定処理アプリ２０８は、注目エリア内の人物の画像特徴から、予め設定したこれら基準点の座標情報を取得する。

【0029】

行動識別処理アプリ２１１は、姿勢推定処理アプリ２０８から得られた時系列（所定時間分）の複数フレームの基準点の座標情報を用いて、注目エリア内の画像座標データ上で、例えば各基準点間の距離の変化及び又は各基準点の移動位置を識別する。このことは、例えば、識別した各基準点及び又は基準点間（距離）の「変化パターン」を見つけることである。

【0030】

そしてこの「変化パターン（実測変化パターンと称してもよい）」を予め学習している複数の学習データ（以後「学習済変化パターン」と称する）と比較し、実測変化パターンに最も類似する「学習済変化パターン」を特定する。そして「学習済変化パターン」が特定された場合、このときの「学習済変化パターン」は「姿勢推定変化パターン」として扱われる。

【0031】

なお変化パターンとしては、基準点間の距離だけの変化パターン（ＰＴ１）が用いられてもよいし、複数の基準点の座標データだけの変化パターン（ＰＴ２）でもよいし、両者を合わせた変化パターン（ＰＴ３）が用いられてもよい。両者を合わせた変化パターン（ＰＴ３）は、人物の行動をより詳しく検知できる可能性を含んでいる。したがって、注目エリア内で人物が行う行動の内容（単純行動、複雑行動）に応じて採用する変化パターンが変更されてもよい。本システムは、変化パターンを選択或は、ユーザの設定に応じて変更が可能な機能を含む。

【0032】

行動識別アプリ２１１は、前述した姿勢推定変化パターンの結果から、推定された人物行動が、当該現場（注目エリア内）で求められている適切な行動であるか否かを識別する。例えば、交差点に進入する前で行うべき人物の姿勢の変化に伴い判断できる行動、例えば「指差しによる確認」などの「適切な行動」が、左方向と右方向に向いて行われているかどうかである。このルールは、例えば、倉庫内で、制御システムにより自動運転されているロボットが交差点を自動的に走行する場合、人物は、交差点に進入するとき、交差点内を確認することが必要である。

【0033】

「適切な行動」とは、監視目的に応じて予めルールとして決められている行動であり、事前に学習しているデータベースとして記憶装置（図示せず）に記憶されている。具体的には、ルールとして決められている「人物行動」のルール上の変化パターン（ルールパターン）が、先の学習済変化パターン（データベース）として格納されている。ここで、ルールパターンが、先の姿勢推定変化パターンと一致する場合は、人物が予め決められた行動を実行したことであり、一致しない場合（類似する学習済変化パターンが存在しない場合）は、当該人物が予め決められた行動を実行していないことである。

【0034】

上記の行動識別処理アプリ２１１により、識別された行動識別データ（行動が正常であることの識別データ、行動が不完全である、或は行動が間違っていることの識別データ）は、表示・警告等の判定処理アプリ２１２に与えられる。またこの表示・警告等の判定処理アプリ２１２には、先の一時停止検知処理アプリ２０９からの検知データも与えられる。

【0035】

表示・警告等の判定処理アプリ２１２は、一時停止検知処理アプリ２０９からの通知および行動識別処理アプリ２１１からの通知が「適切な行動」を示す通知か否かにより警告制御を行い、警告器３１を警告信号により駆動する。これにより、管理者は、交差点で「適切な行動」が遂行されているか否かを把握することができる。また、警告判定処理により発生した警告信号は、発生場所、発生時間等とともに警告ログ２１３として記憶部に格納される。上記の警告器３１は、進入エリアの近くにも配置され、人物（作業者）に直接的に警告を与えてもよい。さらに警告器３１は、当該人物に対して、音声による警告とその後の対応をアドバイスしてもよい。これにより、現場では、自らの「不適切な行動」を正すことが可能となる。

【0036】

また、表示・警告等の判定処理アプリ２１２は、一時停止検知処理アプリ２０９と行動識別処理アプリ２１１から、行動識別データ（行動が正常であることの識別データと、行動が不完全であることの識別データ）を受取り、その行動識別データを表示処理アプリ２１６に与える。表示処理アプリ２１６は、該注目エリア内の人物の行動を表示データに変換し、表示器２１に出力する。

【0037】

上記行動識別データが、人物の行動が正常であることを示す場合、行動・警告等判定処理アプリ２１２は、表示処理アプリ２１６に、現在の人物は正常行動をしていることの制御信号を与える。逆に上記行動識別データが、人物の行動が異常であることを示す場合、行動・警告等判定処理アプリ２１２は、表示処理アプリ２１６に、現在の人物は異常行動であることの制御信号を与える。正常行動であることの制御信号を受取った表示処理アプリ２１６は、追跡している人物に対して画面上で例えば青い色の追跡枠を付する。逆に表示処理アプリ２１６は、異常行動であることの制御信号を受取った表示処理アプリ２１６は、追跡している人物に対して画面上で例えば点滅の赤い色の枠を付する。またこの時は、同時に行動・警告等判定処理アプリ２１２は、警告器３１に制御信号を送り、警告灯をフラッシングさせてもよい。なお、表示処理アプリ２１６による異常と正常などの識別表示形態は、種々の形態が可能であり、ユーザが任意に設定してもよい。

【0038】

上記表示処理アプリ２１６は、物体検知状態、物体追跡状態、エリア進入状態なども各時点の画像データを表示器３１に出力する。そして後述するような、追跡枠、注目エリア枠、行動識別エリア枠なども表示器２１に出力し、各枠に対する着色なども設定している。たとえば、上記の表示処理アプリ２１６は、追跡枠、注目エリア枠、行動識別エリア枠の色を異なる色とすることができる。

【0039】

上記のシステムにおいて、物体追跡処理部２０６から出力される追跡枠の座標データ、エリア進入検知処理アプリ２０７からの検知データ、姿勢推定処理アプリ２０８からの推定結果データ、一時停止検知処理アプリ２０９からの通知データ、行動識別処理アプリ２１１からの行動識別データは、データ蓄積処理部２１４に送られる。データ蓄積処理部２１４は、受け取った各データを処理結果ログ２１５として、記憶装置の所定のテーブルに日付、時間、場所などのデータとともに格納する。

【0040】

上記した各アプリの更新や修正・補正用のアプリは、インターネットを介して、外部のサービスセンターから提供可能である。そのために、図示していないが、データ処理器１００は、インターネット接続用の接続端子、さらには、システムコントローラ（システム制御アプリケーション）を備える。

【0041】

図３は、データ処理器１００のハードウエアブロックを示している。図２ではデータ処理器１００をデータ処理アプリの構成ブロックとして示した。

【0042】

視野方向の例えば３６０°の視野を撮影可能な監視カメラからの画像データは、入力端子４０１を介して画像バッファメモリ４０２に一旦蓄積される。この画像データは、例えば２９９２×２９９２ピクセルのデータである。なお画像バッファメモリ４０２に蓄積される画像データは、３６０°カメラからの画像データに限らず、広い視野を有する固定画角カメラからの画像データである場合もある。

【0043】

画像バッファメモリ４０２の画像データは、切出し画像作成回路４０３に送られて、切出し処理が行われる。切出し画像作成回路４０３では、所定のエリアを切り出すと共に、切出した画像のサイズを整理するためのリサイズ機能、画素数を補正する必要がある場合は、画素数を補償するための補正処理が行われる。なお、切り出し画像作成回路４０３において蓄積される画像データが３６０°カメラの画像の場合、湾曲した画像の画像データを通常使われる監視画像データに変換（デワープ）する。

【0044】

また、上記の切出し処理では、切出し画像作成回路４０３は、メモリ４０５が蓄積しているプリセット情報を使用する。プリセット情報は、２９９２×２９９２ピクセルのデータの中から監視すべき監視（切出し用）エリア（複数存在する場合もある）を決めるための座標データである。また切出し画像作成回路４０３は、使用するカメラによっては、切出した画像データの歪を補正して画角を整える、或は画素補完を行う必要がある。この画素補完の補完位置（個所）を示す画素補完位置情報もプリセット情報としてメモリ４０５に用意されている。プリセット情報は、監視場所や使用するカメラ、そのバージョンなど熟知している現場の管理者により、入力端子４０４を介して、例えばパーソナルコンピュータを介して入力されている。

【0045】

切出し画像作成回路４０３で、切出しされ、且つ、リサイズされた画像データ（６４０×４８０ピクセル）は、切出し画像バッファメモリ４０６に一旦格納される。

【0046】

切出し画像バッファメモリ４０６の画像データは、画像処理回路４１０に読み取られて次のように処理される。

【0047】

画像処理回路４１０は、物体検知処理回路４１１、物体追跡処理回路４１２、エリア進入検知処理回路４１３、姿勢推定処理回路４１４、行動識別処理回路４１５、一時停止検知処理回路４１６を含む。これらの回路は、全体が集積化された回路であってもよく、また、それぞれが独立した集積回路であってもよい。

【0048】

物体検知処理回路４１１は、図２で説明した物体検知処理アプリ２０５による画像データ処理と同様な機能を備えるので重複した処理の説明は省略する。物体検知処理回路４１１による処理結果のデータは、処理結果ログであり、逐次、データ蓄積回路４２１の制御動作に基づいて、処理結果バッファメモリ４２０を介してストレージ４２２に格納される。

【0049】

物体追跡処理回路４１２は、図２で説明した物体追跡処理アプリ２０６による画像データ処理と同様なデータ処理を実行するので重複した処理の説明は省略する。物体追跡処理回路４１２による処理結果のデータは、処理結果ログであり、逐次、データ蓄積回路４２１の制御動作に基づいて、処理結果バッファメモリ４２０を介してストレージ４２２に格納される。

【0050】

エリア進入検知処理回路４１３は、図２で説明したエリア進入検知処理アプリ２０７による画像データ処理と同様なデータ処理を実行するので重複した処理の説明は省略する。エリア進入検知処理回路４１３による処理結果のデータは、処理結果ログであり、逐次、データ蓄積回路４２１の制御動作に基づいて、処理結果バッファメモリ４２０を介してストレージ４２２に格納される。

【0051】

姿勢推定回路４１４は、図２で説明した姿勢推定処理アプリ２０８による画像データ処理と同様なデータ処理を実行するので重複した処理の説明は省略する。姿勢推定回路４１４による処理結果のデータは、処理結果ログであり、逐次、データ蓄積回路４２１の制御動作に基づいて、処理結果バッファメモリ４２０を介してストレージ４２２に格納される。

【0052】

行動識別回路４１５は、図２で説明した行動識別処理アプリ２１１による画像データ処理と同様なデータ処理を実行するので重複した処理の説明は省略する。行動識別回路４１５による処理結果のデータは、処理結果ログであり、逐次、データ蓄積回路４２１の制御動作に基づいて、処理結果バッファメモリ４２０を介してストレージ４２２に格納される。

【0053】

また行動識別回路４１５の処理結果のデータは、逐次、処理結果バッファメモリ４２０、表示処理回路４２４を介して、表示器３１に表示される。

【0054】

一時停止検知処理回路４１６は、図２で説明した一時停止検知処理アプリ２０９と同様なデータ処理を実行するので重複した処理の説明は省略する。

【0055】

上記した行動識別処理回路４１５と、警告制御回路４２３、表示処理回路４２４の関係も、図２で説明した、行動識別処理アプリ２１１と、行動・警告等の判定処理アプリ２１２、表示処理アプリ２１６の関係と同様な関係であり、同様な動作を行う。また、一時停止検知処理回路４１６と、警告制御回路４２３、表示処理回路４２４の関係も、図２で説明した、一時停止検知処理アプリ２０９と、行動・警告等の判定処理アプリ２１２、表示処理アプリ２１６の関係と同様な関係であり、同様な動作を行う。上記の表示処理回路４２４は、追跡枠、注目エリア枠、行動識別エリア枠の色を異なる色とすることができる。

【0056】

また、図２においては、姿勢推定処理、行動識別処理を行う際に、予め学習している学習データを用いることを説明した。この学習データは、記憶装置４１７に格納されており、必要に応じて読み出されて使用される。ハードウエアにおいては、記憶装置４１７は、例えば、本システムの販売会社、或は姿勢検知研究所から提供される場合がある。そのために、記憶装置４１７は、外部から接続装置４１８を介して画像処理回路４１０に接続可能であることが望ましい。

【0057】

これに対してプリセット情報は、本システムが使用される現場の情報である。このため現場の管理用パソコン或は端末から現場の監視位置、追跡位置などを熟知している現場の管理者又は現場のユーザが、メモリ４０５内にプリセット情報を設定することが望ましい。

【0058】

なお、上記した装置においても、各回路の制御アプリの更新や修正・補正用のアプリは、インターネットを介して、外部のサービスセンターから提供可能である。そのために、図示していないが、インターネット接続用の接続端子、さらには、システムコントローラ（システム制御アプリケーション）を備える。

【0059】

図４は、図３に示した画像処理回路４１０と記憶装置４１７と処理結果バッファメモリ４２０との関係を主として示している。

【0060】

画像処理回路４１０内の物体検知回路４１１は、人物や物を識別し、オブジェクト（Object）ＩＤを特定する、またこのオブジェクト（Object）ＩＤを処理結果バッファメモリ４２０の記憶領域４３１に記述する。また人物とそれ以外（物：例えば自動搬送車、ロボット等）を識別し、識別により特定した識別クラスを記憶領域４３２に記述する。この物体検知回路４１１の識別処理においては、記憶装置４１７内の事前学習データある、識別クラス（人物／それ以外）データ４１７a、識別尤度のデータベース４１７ｂが参照される。

【0061】

画像処理回路４１０内の物体追跡処理回路４１２、エリア進入検知回路４１３の動作は、先に説明した通りである。つまり、エリア進入検知を得るための注目エリアの座標データは、前述のプリセット情報に含まれており、現場の特有のデータが利用される。
姿勢推定回路４１４、行動識別回路４１５、一時停止検知回路４１６が参照する参照データは、各種姿勢座標のデータベース４１７ｃ、各種行動識別用のデータベース４１７ｄに配備されている。

【0062】

姿勢推定回路４１４は、人物の複数の関節を基準点として、注目エリア内の人物の画像特徴から座標情報を取得し、姿勢座標４３８に記述する。

【0063】

行動識別回路４１５は、上記した注目エリア内に進入した人物の動き（行動）を、時系列データを用いて推定する。この場合、時系列データは、人物の肩、肘、手首の位置を示す座標データの変化パターン（実測変化パターン）である。この座標データの変化と類似又は同一の複数の変化データは、記憶装置４１７内に事前に複数の学習済変化パターンとして格納されている。いずれかの学習済変化パターン（実測変化パターンに最も類似する学習済変化パターン）が検出された場合、人物の動き（行動）の推定が得られたと判断する。なおこのときの複数の類似するパターンは、人物の動き（行動）の推定が許容される範囲のデータである。

【0064】

この人物の動き（行動）の推定が得られたら、このさきの「最も類似する学習済変化パターン」は、「姿勢推定変化パターン」として、推定された人物行動（「姿勢推定変化パターン」）が、当該現場（注目エリア内）で求められている適切な行動であるか否かを識別する。例えば、交差点に進入する前で行うべき行動、例えば「指差しによる確認」などの「適切な行動」が、左方向と右方向に向いて行われているかどうかである。行動識別用回路４１５は、「姿勢推定変化パターン」が該当する注目エリア内の「ルールパターン」と一致するかどうかを判定している。

【0065】

上記の説明で姿勢推定処理回路４１４と行動識別処理回路４１５とを分けているが、これらは一体化されていてもよい。

【0066】

一時停止検知回路４１６は、人物が注目エリアに進入した直後、時間を計測する。人物が所定の行動（例えば一時停止、左右の確認、所定の作業など）を行うには、所定時間が必要であり、行動に応じた所定時間は注目エリア内に滞在する筈である。しかし、所定エリアで、不注意、或はルールの忘れ等で、所定の行動をしないで、注目エリアを通りすぎる場合もある。このような場合は、一時停止検知回路４１６は、警告用の信号を出力する。また、注目エリアに進入した人物が必要以上に滞在する場合ある。このようなケースとしては、人物に異常が生じた、あるいは、作業が手間取っているなどの問題が発生している場合がある。このときも一時停止検知回路４１６は、警告用の信号を出力する。

【0067】

処理結果バッファメモリ４２０は、表示データを得るための処理結果データ、警告信号を得るための処理結果データなどを一時的に格納するために利用される。また処理結果バッファメモリ４２０に一時格納されるデータは、データ蓄積回路４２１を介してストレージ４２２に格納される。

【0068】

記憶領域４３１のオブジェクトＩＤを先頭に、記憶領域４３２の識別クラス、記憶領域４３３の識別尤度、記憶領域４３４の矩形座標（ｘ、ｙ）、記憶領域４３５の矩形サイズ（ｗ、ｈ）、記憶領域４３６の追跡座標（ｘ、ｙ）・・・ｎ、記憶領域４３７の進入（注目）エリア番号、記憶領域４３８の姿勢座標（（ｘ、ｙ）・・・・６）、記憶領域４３９の特定（ルール）行動のあり／なし、の情報が１つのオブジェクトデータフレームとして設定される。そしてこのオブジェクトデータフレームが１つのまとまりとして、ストレージに記録される。尚図示していないが、このフレームには、記録時の日時データも付加される。

【0069】

図５Ａ、図５Ｂ、図５Ｃは、頭上からカメラにより人物５００を撮像した場合の人物の姿勢の例を示している。本システムでは、人物の行動を関節の複数点の座標データを利用する。関節としては、例えば、図の例で説明すると、左の手首Ｐ１，肘Ｐ２、肩Ｐ３と、右の肩Ｐ４，肘Ｐ５、手首Ｐ６が利用される。

【0070】

図５Ａは、左の腕の全体を左方向へ水平にまっすぐに伸ばした状態である。図５Ｂは、左の腕を左前方へ浮かせて突き出した状態であり、かつ肘Ｐ２の位置よりも手首Ｐ１が少し上に位置する状態である。図５Ｃは、左の腕と右の腕を前方へ平行に伸ばして突き出しほぼ水平に維持した状態である。このように、人物を真上からみて、腕の複数の関節の座標を追跡すると、人物の多くの行動を判定可能である。

【0071】

本システムは、画像データ上で、先に説明した人物の動き（行動）を推定する場合、複数の関節の座標データ（実測変化パターン）を利用している。また記憶装置４１７の学習データを生成する場合も複数の関節の座標データ（学習済変化パターン）を利用している。

【0072】

上記の例は、６つの関節の座標データを用いることを説明したが、姿勢の推定を行うための行動（動き）内容（作業パターン）によっては、肘、手首だけ座標データを利用してもよく、或は片腕のみの関節の座標データを利用してもよい。

【0073】

なお、図では、左の腕に着目しているが、右の腕でもよく、両腕の情報が採用されてもよいことは勿論である。

【0074】

図６Ａは、図５Ｃの人物５００の右側から右腕の関節をみて、該関節の座標データの変化する様子を示す説明図である。腕を水平にまっすぐに前方へ伸ばしている状態では、肩Ｐ４から肘Ｐ５までの距離Ｙ、肘Ｐ５から手首Ｐ６までの距離Ｘである。ここで今、人物が肘Ｐ５を下げて曲げたとすると、距離Ｙは、（Ｙ－α２）となり、距離Ｘは、（Ｘ-α１）に変化する。

【0075】

図６Ｂは、図５Ｃの人物５００の右側から右腕の関節をみて、該関節の座標データの変化する様子を示す説明図である。図６Ａと異なる点は、人物が腕を下の方向に降ろすとき、肘Ｐ５から手首Ｐ６を水平に保ちながら降ろしているところである。このような行動であると、距離Ｙは、（Ｙ－α３）であり、距離Ｘは、ほぼＸを維持していることである。

【0076】

上記のように、人物の種々の行動における関節の座標データの変化パターンを予め学習しておくことにより、上記した姿勢推定変化パターン、学習済変化パターンなどを取得することができる。

【0077】

図７Ａ、図７Ｂは、上記の関節に対してさらに監視ポイントを増やす例を示している。例えば、頭の略中央Ｐ７、背中のエッジであって左右の中心部Ｐ８を監視ポイントとして設定してもよい。この例であると、図７Ａの場合は、人物が立っているとＰ７とＰ８間の距離Ｚが短く、人物がしゃがみ込むとＰ７とＰ８間の距離Ｚが長くなる。

【0078】

上記のように監視ポイントを増やした場合、さらに人物の姿勢を豊富に検出することが可能である。

【0079】

図８は、先に説明した３６０°カメラ１１の外観と、このカメラ１１が撮像した画像の例を示す図である。この画像は表示器２１で見ることができる。３６０°カメラ１１は、魚眼レンズを有するために、画像５０１は湾曲した像（絵）となる。この例では、物流倉庫内の交差点エリアを天井から撮像した例を示している。また、本システムは、移動物の時間的変化を監視するので、複数の時系列のフレームを取り扱う。５０３、５０４は、物流倉庫内の通路である。

【0080】

図９は、湾曲した画像の中で予め設定している位置（例えば通路の交差点を含むその周囲）を切り出し・湾曲を補正（歪補正）した画像５０２の例である。ここでは、倉庫内の交差点付近に移動体（人物）５１１がみられる。

【0081】

図１０は、人物５０４を画像５０２の中から検出し、画像データ処理により、人物５０４を囲む検知枠５２１（例えば赤）を追加している。

【0082】

図１１は、人物５０４を検出した後、当該人物５０４を追跡しているときの画像である。追跡を行っているときの追跡枠５２２の色は例えば青である。

【0083】

図１２は、追跡している人物５０４が注目エリアに進入した時の画像の例である。このときは、注目エリア枠５２３が表示され、この枠５２３は、追跡枠５２２よりも大きく、色は例えば黄色である。

【0084】

上記した、人物検知状態（検知枠の発生）、人物移動の監視状態（追跡枠の発生）、注目エリアへの進入状態（注目エリア枠の発生）は、それぞれモニタ上の色を変化させることで、監視する立場のユーザは、人物の状態把握が容易である。

【0085】

図１３は、人物５１１が行動識別エリア枠５２５内に進入した状態である。ここで、人物５１１の姿勢検知が開始される。この姿勢検知には、複数のフレームにおけるデータが利用される。このデータは特に手首Ｐ１，肘Ｐ２、肩Ｐ３と、右の肩Ｐ４，肘Ｐ５、手首Ｐ６（６つの関節）の座標データの変化パターンである。

【0086】

図１４は、行動識別エリア枠５２５内での人物５１１の行動が判定されるときの説明図である。最初のフレームでは、人物の左腕が下がった状態である。次のフレームでは、品物の左腕が少し持ち上がった状態である。そして最後のフレームでは、人物の左腕がほぼ水平に上がり、例えば交差点において、「指差しによる確認」を行っていることを示している。上記のフレームは、人物が注目エリアに進入してから一定時間のフレーム数が採用される。

【0087】

図の例では、時系列の３つのフレームが示されているが、さらに多くのフレームが利用されてもよい。注目エリア内で、作業者が行うべく作業内容や、その学習変化パターンを学習するときの経験値に応じて、使用するフレーム数が指定される。

【0088】

実測変化パターンは、学習済変化パターンと比較され、類似する学習済変化パターンが特定される。すると学習済変化パターンに紐づけされている行動が決定され、該行動が識別される。

【0089】

上記したように、本システムは、画像データ上で、先に説明した人物の動き（行動）を推定する場合、複数の関節の座標データ（実測変化パターン）を利用している。また記憶装置４１７の学習データを生成する場合も複数の関節の座標データ（学習済変化パターン）を利用している。

【0090】

上記の例は、６つの関節の座標データを用いることを説明したが、推定しようとする行動の内容（作業パターン）によっては、肘、手首の座標データを利用してもよく、片腕のみの関節の座標データを利用してもよい。

【0091】

また行動識別エリア枠５２５の色或は模様も、先の検知枠、追跡枠、注目エリア枠の発生は、それぞれモニタ上の色の変化及び又はフラッシングを発生することで、表示器を監視している管理者にとって、有用である。即ち管理者は、上記色の変化により、現在人物がどのような状況に移行したかを容易に判断できるからである。上記説明では、人物一人の検知、追跡、行動識別を説明したが、同時に複数個所の人物が同時に画面上に表示されてもよい。さらに表示器が複数用意されて、それぞれの表示器に、１台のカメラで撮像した複数個所の注目エリアの人物が表示されてもよい。

【0092】

図１５は、本システムの要部を取り出して示す説明図である。３６０°カメラからの画像データは、キャプチャブロック６１１に取り込まれる。キャプチャブロック６１１は、湾曲した画像データを歪み補正して監視画像データに変換する。次に画像データは、前処理ブロック６１３に送られる。前処理ブロック６１３は、入力画像データの中から予め設定されているエリアを切出し・補正処理を実行する。切出し・補正処理は、図２において説明したように、切出した各単位の画像データの画角やサイズを一定に整え、次のステップの画像処理を容易にする。

【0093】

切出し及び補正処理を受けた、静止画像データは、順次、物体検知処理ブロック６１４へ送られる。物体検知処理ブロック６１４は、時系列に取り込んだ静止画像データを用いて、人物を検知する。人物の位置を示す座標データもここで生成される。

【0094】

人物の位置を示す座標データは、物体追跡ブロック６１５へ送られる。物体追跡ブロック６１５は、人物の座標データを参照して、人物を囲む追跡枠を生成する。人物が移動した場合、物体追跡ブロック６１５は、座標データを処理し、人物を囲む追跡枠も移動させる。

【0095】

人物が、予め設定している注目エリアへ進入すると、エリア進入検知ブロック６１６が反応する。エリア進入検知ブロック６１６は、追跡中の人物が、注目エリアへ進入したことを判定すると、進入結果情報を、姿勢推定・行動識別ブロック６１７、一時停止ブロック６１８へ出力する。一時停止ブロック６１８が注目エリア内の人物の一時停止状況を検出した場合、当該検出出力は、後処理ブロック６２０に入力される。

【0096】

姿勢推定・行動識別セクション６１７は、姿勢推定ブロック６１７a、行動識別ブロック６１7ｂを含む。

【0097】

姿勢推定ブロック６１７ａは、人物の肩、肘、手首のような所定の複数の関節を第１、第２、第３の基準点として設定する。そして注目エリア内の人物の画像特徴から、予め設定したこれら基準点の座標情報を取得する。

【0098】

行動識別ブロック６１７ｂは、時系列（所定時間分）の複数フレームを用いて、注目エリア内の各基準点及び又は基準点間（距離）の「変化パターン（実測変化パターン）」を見つける。そして、実測変化パターンに最も類似する「学習済変化パターン」をデータベースの中から特定する。さらに「学習済変化パターン」が特定された場合、このときの「学習済変化パターン」を「姿勢推定変化パターン」とする。

【0099】

行動識別ブロック６１７ｂは、姿勢推定パターンが予め紐づけされている行動識別パターンと同じ或は許容範囲で同じであるかどうかを判定する。その判定結果に応じて、当該人物が正常な行動をしているかどうかを識別し、その結果を後処理ブロック６２０に与える。

【0100】

後処理ブロック６２０は、当該人物が、正常な行動をしている場合は、図４のバッファメモリ４２０に格納しているデータを、データ蓄積回路４２１を介してストレージ４２１に格納する。しかし、当該人物が、正常な行動をしていないと判断した場合、後処理ブロック６２０は、表示器が警告表示し、警告器３１が点滅或は警告音を出力するように、制御を行う。

【0101】

上記の説明は、監視対象が、物流倉庫の交差点ならびにその周囲であった。しかし、本システムは種々の場所で利用することが可能である。

【0102】

例えば、部品組み立てなどの作業現場の各ブース、キャッシュレジスタのエリア、さらには、教習用・記録用としてシンクロ新体操、複数人数によるダンスやミュージカルの教習・記録用として活用可能である。

【0103】

また上記の説明では、人物の複数の関節点の座標データを取得することを説明したが、ロボットの腕の関節点であってもよい。また本システムは人物の行動を判断するのみならず、ロボット（人間型、動物型、昆虫型のロボットなど）や動物（基準点としては、頭部、首、背筋、臀部などが選択されることが望ましい）、昆虫等の移動物の行動を検知する場合にも採用が可能である。さらにまた、本システムでは、拡大顕微鏡からの撮像画像データが用いられてもよい。

【0104】

Ｓ１）上記した説明によれば、画像データを処理するデータ処理器における行動検知方法を提供する実施形態を含み、前記方法は、
人物を頭上から撮像した画像データを用いて、前記人物の行動を識別する方法であって、
前記画像データから切り出した切出し画像データの中の注目エリア内で前記人物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること（２０８）、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記人物の行動を識別すること（２０９）、を備える。

【0105】

Ｓ２）上記Ｓ１）において、前記複数の関節点は、前記人物の肩の位置、肘の位置、手首の位置の少なくとも２つを含む。
Ｓ３）上記Ｓ１）において、前記複数の関節点は、前記人物の左右の肩の各位置、左右の肘の各位置、左右手首の各位置の計６つの位置を含む。
Ｓ４）上記Ｓ２）又は３）において、前記人物の頭の位置、背中の位置の両方を含む。

【0106】

Ｓ５）上記Ｓ１）の方法を実行するアプリケーションが提供される。
Ｓ６）上記Ｓ１）の方法を実現するハードウエア回路が提供される。

【0107】

Ａ１）上記した説明によれば、画像データを処理するデータ処理器における行動検知方法を提供する実施形態を含み、前記方法は、
広角方位が撮像された画像データを取り込むこと（２０１，２０２，２０３）、
前記画像データから、予め設定されたエリアを切り出した切出し画像データを取得すること（２０４）、
前記切出し画像データ内の移動物に追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡すること（２０５、２０６）、
前記移動物が注目エリア内に進入したことを検知すること（２０７）、
前記注目エリア内で前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出すること（２０８）、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別すること（２０９）、を備える。

【0108】

Ａ２）上記Ａ１）において、前記複数の関節点は、人物又はロボットの関節点である。
Ａ３）上記Ａ１）において、前記移動物に前記追跡マークを与え、前記移動物の移動を追跡する状態、前記移動物が注目エリア内に進入した状態、前記移動物の行動を識別する際の状態の画像と、追跡マーク、注目エリアマーク、行動識別エリアマークの画像データを表示器に出力することを、を備える。

【0109】

Ａ４）上記Ａ３）において、前記追跡マーク、注目エリアマーク、行動識別エリアマークの色を異なる色とすること、を備える。
Ａ５）上記Ａ１）において、前記注目エリアに前記移動物が進入した場合、滞在時間をカウントすること、を備える。

【0110】

Ｂ１）上記した説明によれば、画像データを処理するデータ処理器における行動検知装置を提供する実施形態を含み、前記装置は、
広角方位が撮像された画像データを取り込む画像バッファメモリ（４０２）と、
前記画像データから、予め設定されているエリアを切り出した切出し画像データを作成する切出し画像作成回路（４０３）と、
時系列の前記切出し画像データを一時保持する切出し画像バッファ（４０６）と、
前記切出し画像バッファ（４０６）の前記切出し画像データを用いて、
前記切出し画像データ内の移動物を検知し、追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡する物体検知及び追跡処理回路と（４１１，４１２）、
前記移動物が注目エリア内に進入したことを検知し、前記注目エリア内で前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出するエリア進入及び姿勢推定回路（４１３、４１４）と、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別する行動識別回路（４１５）、を備える。

【0111】

Ｂ２）上記Ｂ１）において、前記複数の関節点は、人物又はロボットの関節点である。
Ｂ３）上記Ｂ１）において、前記移動物に前記追跡マークを与え、前記移動物の移動を追跡する状態、前記移動物が注目エリア内に進入した状態、前記移動物の行動を識別する際の状態の画像と、追跡マーク、注目エリアマーク、行動識別エリアマークの画像を表示器（２１）に出力する出力部を、を備える。
Ｂ４）上記Ｂ３）において、前記追跡マーク、注目エリアマーク、行動識別エリアマークの色を異なる色とする表示処理回路（４２４）、を備える。
Ｂ５）上記Ｂ１）において、前記注目エリアに前記移動物が進入した場合、滞在時間をカウントする一停止検知回路（４１６）を備える。
Ｂ６）上記Ｂ１）において、前記切出し画像データを作成する前記切出し画像作成回路（４０３）には、切出し画像データの切出し位置を与えるプリセット情報を記憶したメモリ（４０５）が接続されている。
Ｂ７）上記Ｂ１）において、前記姿勢推定回路（４１４）、前記行動識別回路（４１５）に対して、前記学習済変化パターンを与える記憶装置（４１７）を外部から接続可能である。

【0112】

Ｃ１）上記した説明によれば、画像データを処理するデータ処理器を含む行動検知システムを提供する実施形態を含み、前記システムは、
上部から見下ろし広角方位を撮像し、画像データを送信するカメラ（１１）と、前記画像データを受信するデータ処理器（１００）と、前記データ処理器（１００）の表示処理回路が出力する表示データを受信する表示器（２１）と、を少なくとも有する行動検知システムであって、
前記データ処理器（１００）内部は、
前記カメラからの前記画像データから、予め設定されているエリアを切り出した切出し画像データを作成する切出し画像作成回路（４０３）と、
時系列の前記切出し画像データを一時保持する切出し画像バッファ（４０６）と、
前記切出し画像バッファ（４０６）の前記切出し画像データを用いて、
前記切出し画像データ内の移動物を検知し、予め設定している大きさの座標データの追跡マークを与え、前記追跡マークを維持しながら、前記移動物の移動を追跡する物体検知及び追跡処理回路と（４１１，４１２）、
前記移動物が注目エリア内に進入したことを検知し、前記注目エリア内で前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出するエリア進入及び姿勢推定回路（４１３、４１４）と、
前記実測変化パターンにより前記人物の行動を特定するために、前記複数の関節点に基づく特定行動パターンのデータを予め学習している複数の学習済変化パターンと前記実測変化パターンとを比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別する行動識別回路（４１５）と、
前記移動物に前記追跡マークを与え、前記移動物の移動を追跡する状態、前記移動物が注目エリア内に進入した状態、前記移動物の行動を識別する際の状態の画像と、追跡マーク、注目エリアマーク、行動識別エリアマークの画像データを前記表示器（２１）に送信する表示処理回路（４２４）と、を備える。
Ｃ２）上記Ｃ１）において、前記複数の関節点は、人物、又はロボットの関節点である。
Ｃ３）上記Ｃ１）において、表示処理回路（４２４）は、前記追跡マーク、前記移動物の移動を追跡する状態、前記注目エリアマーク、前記行動識別エリアマークの画像データの色を異なる色に設定する。
Ｃ４）上記Ｃ１）において、前記３６０°カメラ（１１）と信号処理器（１００）とは、有線又は無線のいずれかで接続されている。
Ｃ５）上記Ｃ１）において、前記信号処理器（１００）と前記表示器とは、有線又は無線のいずれかで接続されている。
Ｃ６）上記Ｃ１）において、表示器（２１）は、携帯端末である。

【0113】

上記の実施形態において、検知枠５２１、追跡枠５２２、注目エリア枠５２３、行動識別エリア枠５２５を図示した。しかしこの部分は、必ずしも枠である必要はなく、何等かのマークであってもよい。要は、移動物が、どのような状況にあるかをユーザに識別させためのマーク（記号、数字、文字、色、など）が予め取り決めされていてもよい。さらにまた使用するカメラは３６０°カメラに限定されるものではなく、広い視野を撮影可能な固定画角のカメラが使用されてもよい。

【0114】

また、カメラは各種バージョン（解像度等）や種類が変更されてもプリセット情報を入力することで、切出し画像作成は、柔軟に切出し画像の画角（サイズ）、画素数、などを整備することが可能である。

【0115】

また、上記実施形態においては、センサとしてはカメラを説明しているが、人感センサ、温度センサ、音声センサ、赤外線センサなどを状況に応じて組み合わせて使用してもよいことは勿論である。

【0116】

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらにまた、請求項の各構成要素において、構成要素を分割して表現した場合、或いは複数を合わせて表現した場合、或いはこれらを組み合わせて表現した場合であっても本発明の範疇である。また、複数の実施形態を組み合わせてもよく、この組み合わせで構成される実施例も発明の範疇である。

【0117】

また、図面は、説明をより明確にするため、実際の態様に比べて、各部の幅、厚さ、形状等について模式的に表される場合がある。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。

【符号の説明】

【0118】

１１、１２・・・監視カメラ、２１、２２・・・表示器、３１、３３・・・警告器、
１００・・・データ処理器、２０１・・・ストリーム受信アプリ、２０２・・・映像録画アプリ、２０３・・・キャプチャアプリ、２０４・・・切出し・補正処理アプリ、２０５・・・物体検知処理アプリ、２０６・・・物体追跡処理アプリ、２０７・・・エリア進入検知処理アプリ、２０８・・・姿勢推定処理アプリ、２０９・・・一時停止検知処理アプリ、２１１・・・行動識別アプリ、２１２・・・表示・警告等の判定処理アプリ、２１６・・・表示処理アプリ、
４０２・・・画像バッファメモリ、４０３・・・切出し画像作成回路、４０５・・・メモリ、４０６・・・切出し画像バッファ、４１０・・・画像処理回路、４１１・・・物体検知処理回路、４１２・・・物体追跡処理回路、４１３・・・エリア進入検知処理回路、４１４・・・姿勢推定処理回路、４１５・・・行動識別処理回路、４１６・・・一時停止検知処理回路、４２０・・・処理結果バッファメモリ、４１７・・・記憶装置。

【要約】

【課題】頭上から撮像された画像データを用いて、人物を含む移動物の行動をより的確に検知することができる行動検知方法提供する。
【解決手段】キャプチャで、広角方位が撮像された画像データを取り込む。切出し補正処理で、前記画像データから所定エリアを切り出し、切出し画像データを得る。前記切出し画像データ内の移動物を追跡枠で囲み、追跡する。前記移動物が注目エリア内に進入したら、前記注目エリア内で前記移動物の複数の関節点の位置を座標データにより逐次把握し、前記複数の関節点に関する実測変化パターンを検出する。前記実測変化パターンを予め学習している複数の学習済変化パターンと比較し、類似又は同一の学習済変化パターンを特定し、特定した前記学習済変化パターンに基づいて前記移動物の行動を識別する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】