特許 7711768 画像処理システム、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-14

(45)【発行日】2025-07-23

(54)【発明の名称】画像処理システム、および画像処理方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250715BHJP

   G06T 7/20 20170101ALI20250715BHJP

【ＦＩ】

H04N7/18 K

G06T7/20 300Z

【請求項の数】 9

(21)【出願番号】P 2023565764

(86)(22)【出願日】2021-12-08

(86)【国際出願番号】 JP2021045065

(87)【国際公開番号】W WO2023105666

(87)【国際公開日】2023-06-15

【審査請求日】2024-05-30

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】吉田 登

(72)【発明者】

【氏名】川合 諒

(72)【発明者】

【氏名】劉 健全

(72)【発明者】

【氏名】尾形 一気

(72)【発明者】

【氏名】菅谷 直樹

(72)【発明者】

【氏名】戸澤 信之

【審査官】西島 篤宏

(56)【参考文献】

【文献】特開２０２１－０７７２９５（ＪＰ，Ａ）

【文献】特開２０１７－０６９７４８（ＪＰ，Ａ）

【文献】特開２００２－１８３２１６（ＪＰ，Ａ）

【文献】特開２０１８－１６０２１９（ＪＰ，Ａ）

【文献】特開２０２１－１３２２６７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムであって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる画像データを取得する画像データ取得手段を備え、
前記第２端末は、前記画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する解析手段と、
前記解析の結果に基づいて、人物の姿勢又は動作に起因する所定の事象の検出を行う検出手段と、
前記検出の結果である結果情報を出力する出力手段と、を備え、
前記第１端末は、前記画像データに、前記画像に含まれる人物の数が閾値未満の場合の前記画像の第１解像度を、前記画像に含まれる人物の数が閾値以上の場合の前記画像の第２解像度よりも低く設定する前処理を施した前処理データを前記第２端末に供給する、
画像処理システム。

【請求項2】

前記検出手段は、前記画像に同時に含まれる少なくとも二人の前記骨格データに基づいて所定の前記事象の検出を行う、
請求項１に記載の画像処理システム。

【請求項3】

前記第１端末または前記第２端末の少なくともいずれか一方は、人物の姿勢に関する所定の参照データを記憶する記憶手段をさらに備える、
請求項１または２に記載の画像処理システム。

【請求項4】

前記第１端末は、前記前処理として、前記画像のうち人物が含まれる人物画像を抽出した抽出画像データを生成し、前記抽出画像データを前記第２端末に供給する、
請求項１～３のいずれか一項に記載の画像処理システム。

【請求項5】

前記第１端末は、
前記画像データから第１人物画像を抽出した抽出画像データを生成する第１抽出手段と、
前記第１人物画像と第１参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する第１解析手段と、を備え、
前記第２端末は、
前記画像データから第２人物画像を抽出した抽出画像データを生成する第２抽出手段と、
前記第２人物画像と第２参照骨格データとが類似しているか否かを解析して第２解析結果情報を生成する第２解析手段と、を備え、
前記検出手段は、前記第１解析結果情報と前記第２解析結果情報とに基づいて、前記事象の検出を行う
請求項１～３のいずれか一項に記載の画像処理システム。

【請求項6】

前記第１端末が、
前記画像データから人物画像を抽出した抽出画像データを生成する第１抽出手段と、
前記人物画像と前記参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する解析手段と、を備え、
前記第２端末は、複数の前記第１端末から取得した複数の第１解析結果情報に基づいて、前記事象の検出を行う
請求項１～３のいずれか一項に記載の画像処理システム。

【請求項7】

互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムであって、
前記第１端末は、
所定の空間を撮影するカメラから前記空間の画像にかかる画像データを取得する画像データ取得手段と、
前記画像データから第１人物画像を抽出した抽出画像データを生成する第１抽出手段と、
前記第１人物画像に含まれる人物の身体の構造に関する骨格データと第１参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する第１解析手段と、を備え、
前記第２端末は、
前記画像データから第２人物画像を抽出した抽出画像データを生成する第２抽出手段と、
前記第２人物画像に含まれる人物の身体の構造に関する骨格データと第２参照骨格データとが類似しているか否かを解析して第２解析結果情報を生成する第２解析手段と、
前記第１解析結果情報と前記第２解析結果情報とに基づいて、人物の姿勢又は動作に起因する所定の事象の検出を行う検出手段と、
前記検出の結果である結果情報を出力する出力手段と、を備える、
画像処理システム。

【請求項8】

互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムが実行する画像処理方法であって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる画像データを取得し、
前記第２端末は、前記画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析し、
前記解析の結果に基づいて、人物の姿勢又は動作に起因する所定の事象の検出を行う検出を行い、
前記検出の結果である結果情報を出力し、
前記第１端末は、前記画像データに、前記画像に含まれる人物の数が閾値未満の場合の前記画像の第１解像度を、前記画像に含まれる人物の数が閾値以上の場合の前記画像の第２解像度よりも低く設定する前処理を施した前処理データを前記第２端末に供給する、
画像処理方法。

【請求項9】

互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムが実行する画像処理方法であって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる画像データを取得し、
前記画像データから第１人物画像を抽出した抽出画像データを生成し、
前記第１人物画像に含まれる人物の身体の構造に関する骨格データと第１参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成し、
前記第２端末は、前記画像データから第２人物画像を抽出した抽出画像データを生成し、
前記第２人物画像に含まれる人物の身体の構造に関する骨格データと第２参照骨格データとが類似しているか否かを解析して第２解析結果情報を生成し、
前記第１解析結果情報と前記第２解析結果情報とに基づいて、人物の姿勢又は動作に起因する所定の事象の検出を行い、
前記検出の結果である結果情報を出力する、
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理システム、画像処理方法、および非一時的なコンピュータ可読媒体に関する。

【背景技術】

【0002】

街などの広域空間に複数のカメラを設置してこの空間の監視を行う技術が開発されている。

【0003】

例えば特許文献１の技術は、カメラから入力される画像内の人物を追尾し、この人物の行動が非日常行動であるか否かを判定し、人物の行動が不審な特異行動か否かを判定し、これらの判定結果に基づいて人物の不審行動を検知する。

【0004】

特許文献２の技術は、検知エリア内に存在する物体の物体情報から検知エリア内に存在する物体を歩行者および車両に分類し、歩行者および車両が互いに同じ時刻に同一位置に移動する可能性があると判断した場合、それらを監視対象として設定する。

【0005】

特許文献３の技術は、受信した画像情報から、人物の顔画像のリストに含まれないが所定基準を満たす人物を検出すると所定基準を満たす人物の顔画像をリストに追加するとともに追加した顔画像の識別子を出力する。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１１－０３５５７１号公報

【文献】特開２０１４－１９４６８６号公報

【文献】特開２０１９－００９５２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述のような複数のカメラを設置して空間の監視を行う技術に関して、効率よく種々の事象に対応できる技術が期待されている。

【0008】

本開示の目的は、上述した課題に鑑み、複数のカメラが撮影した画像を効率よく処理できる画像処理システム等を提供することにある。

【課題を解決するための手段】

【0009】

本開示の一態様にかかる画像処理システムは、互いに通信可能に接続された第１端末と第２端末とを有する。第１端末は、所定の空間を撮影するカメラから空間の画像にかかる画像データを取得する画像データ取得手段を有する。第１端末または第２端末の少なくともいずれか一方は、画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する解析手段を有する。第２端末は、解析の結果に基づいて、所定の事象の検出を行う検出手段と、検出の結果である結果情報を出力する出力手段を有する。

【0010】

本開示の一態様にかかる画像処理方法は、互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムが以下の処理を実行する。第１端末は、所定の空間を撮影するカメラから空間の画像にかかる画像データを取得する。第１端末または第２端末の少なくともいずれか一方は、画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する。第２端末は、解析の結果に基づいて、所定の事象の検出を行い、検出の結果である結果情報を出力する。

【0011】

本開示の一態様にかかる非一時的なコンピュータ可読媒体は、互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムに以下の画像処理方法を実行させるプログラムである。第１端末は、所定の空間を撮影するカメラから空間の画像にかかる画像データを取得する。第１端末または第２端末の少なくともいずれか一方は、画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する。第２端末は、解析の結果に基づいて、所定の事象の検出を行い、検出の結果である結果情報を出力する。

【発明の効果】

【0012】

本開示により、複数のカメラが撮影した画像を効率よく処理できる画像処理システム等を提供できる。

【図面の簡単な説明】

【0013】

【図1】実施形態１にかかる画像処理システムの構成を示すブロック図である。

【図2】実施形態１にかかる画像処理方法の流れを示すフローチャートである。

【図3】実施形態２にかかる画像処理システムの全体構成を示す図である。

【図4】実施形態２にかかる画像処理システムの使用例を示す図である。

【図5】実施形態２にかかる撮影装置の構成を示すブロック図である。

【図6】実施形態２にかかる第１端末の構成を示すブロック図である。

【図7】実施形態２にかかる第２端末の構成を示すブロック図である。

【図8】画像データから抽出された骨格データを示す図である。

【図9】実施形態２にかかる登録動作データベースを説明するための図である。

【図10】実施形態２にかかる登録動作の第１の例を説明するための図である。

【図11】実施形態２にかかる登録動作の第２の例を説明するための図である。

【図12】実施形態３にかかる第２端末の構成を示すブロック図である。

【図13】実施形態３にかかる画像処理システムにおける検索処理を示す図である。

【図14】実施形態４にかかる第１端末の構成を示すブロック図である。

【図15】実施形態４にかかる登録動作データベースを説明するための図である。

【図16】実施形態４にかかる画像処理システムにおける検索処理を示す図である。

【図17】画像処理システムの構成のバリエーション示すブロック図である。

【図18】コンピュータのハードウェア構成を例示するブロック図である。

【発明を実施するための形態】

【0014】

以下、実施形態を通じて本開示を説明するが、請求の範囲にかかる開示を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

【0015】

＜実施形態１＞
まず、本開示の実施形態１について説明する。図１は、実施形態１にかかる画像処理システム１の構成を示すブロック図である。図１に示す画像処理システム１は、例えばカメラが撮影した画像に含まれる人物の姿勢や動作を解析し、その人物の姿勢や動作が予め設定された姿勢や動作に該当することを検出する。画像処理システム１は第１端末１０と第２端末２０とを有する。第１端末１０と第２端末２０とは互いに通信可能に接続されている。

【0016】

第１端末１０は、所定の空間を撮影するカメラから空間の画像にかかる画像データを取得する画像データ取得部１１を有する。第１端末１０は、画像データ取得部１１が取得した画像データを、第２端末２０に送信する。

【0017】

第２端末２０は第１端末１０と通信可能に接続しており、第１端末１０から画像データを受け取る。第２端末２０は、解析部２１、検出部２２および出力部２３を有している。また第２端末２０は、画像処理システム１を利用するユーザが利用する管理端末と通信可能に接続している。

【0018】

解析部２１は、画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する。ここで、骨格データとは、人物の姿勢または動作を検出するための、人物の身体の構造を示すデータであって、複数の擬似的な関節点や擬似的な骨格構造の組み合わせにより構成される。骨格データを抽出するための画像データは、１フレームの画像を含む画像データであってもよいし、動画として撮影された複数の異なる時刻にかかる複数の連続したフレームの画像を含むものであってもよい。なお、以降の説明において１フレーム分の画像を、フレーム画像または単にフレームと称する場合がある。

【0019】

画像処理システム１は、例えば解析部２１が、画像データにかかる画像に人物が含まれることを抽出し、抽出した人物の画像に対して擬似的な骨格の画像である骨格データを設定してもよい。画像処理システム１は、第１端末１０が取得した画像データの画像に含まれる人物の骨格データを外部から受け取ってもよい。

【0020】

人物の画像に対して設定される骨格データと対比するための所定の参照骨格データは、予め設定された参照用の画像データである。参照骨格データは、上述の骨格データと比較可能に構成された骨格データを含む。

【0021】

検出部２２は、解析部２１が解析した結果の信号を受け取り、受け取った信号から、所定の事象の検出を行う。解析の結果は、人物の画像にかかる骨格データと所定の参照骨格データとが一致したか否かを示す情報が含まれる。あるいは解析の結果は、参照骨格データが複数存在する場合には、人物の画像にかかる骨格データと所定の参照骨格データとが一致した場合に、どの参照骨格データと一致したかという情報を含み得る。

【0022】

所定の事象とは、人物の姿勢や動作に起因する事象である。すなわち所定の事象とは例えば人物の姿勢や動作それ自体を示すものであってもよい。この場合、所定の事象は例えば、立っている、歩いている、走っている、座っている、などである。所定の事象は、人物の姿勢や動作に紐づけられた抽象的な概念を示すものであってもよい。この場合、所定の事象は例えば、集まっている、逃げている、喧嘩をしている、などである。

【0023】

出力部２３は、検出の結果である結果情報を出力する。出力部２３が出力する先は、例えば上述の管理端末である。第２端末２０は、第２端末２０自体が図示しない表示装置を有しており、ユーザに対して所定の情報を出力するものであってもよい。

【0024】

次に、図２を参照して画像処理システム１の処理について説明する。図２は、実施形態１にかかる画像処理方法の流れを示すフローチャートである。図２に示すフローチャートは、例えば画像処理システム１が画像データを取得することにより開始される。

【0025】

まず、第１端末１０は、所定の空間を撮影するカメラから空間の画像にかかる画像データを取得する（ステップＳ１１）。

【0026】

次に、第２端末２０は、画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する（ステップＳ１２）。

【0027】

次に、第２端末２０は、解析の結果に基づいて、所定の事象の検出を行い（ステップＳ１３）、検出の結果である結果情報を出力する（ステップＳ１４）。

【0028】

以上、実施形態１について説明したが、画像処理システム１の構成は上述のものに限られない。画像処理システム１は、第１端末１０または第２端末２０の少なくともいずれか一方が、解析部２１を有していればよい。すなわち画像処理システム１は、第２端末２０に代えて第１端末１０が解析部２１を有していてもよい。

【0029】

画像処理システム１は、第１端末１０を複数有していてもよい。また第１端末１０は複数のカメラから複数の画像データを取得してもよい。この場合、画像処理システム１は、複数の第１端末１０がそれぞれ複数の画像データを取得し、取得した画像データを第２端末２０に供給する。第２端末２０は、それぞれのカメラが撮影した画像の画像データを、第１端末１０を介して受け取り、それぞれの画像に含まれる人物の姿勢や動作についての事象を検出する。画像処理システム１において、複数のカメラからの画像データを第１端末１０が取得し、さらに第２端末２０がこれらの画像を取得して解析を行うという構成は、例えば街や居住区などの多数の人が往来する所定の空間に採用され得る。

【0030】

尚、第１端末１０および第２端末２０は、図示しない構成としてプロセッサおよび記憶装置を有するものである。画像処理システム１が有する記憶装置は、例えばフラッシュメモリやＳＳＤ（Solid State Drive）などの不揮発性メモリを含む記憶装置を含む。この場合に、画像処理システム１が有する記憶装置は、上述の画像処理方法を実行するためのコンピュータプログラム（以降、単にプログラムとも称する）を記憶している。またプロセッサは、記憶装置からコンピュータプログラムをＤＲＡＭ（Dynamic Random Access Memory）等のバッファメモリへ読み込ませ、当該プログラムを実行する。

【0031】

画像処理システム１の第１端末１０および第２端末２０がそれぞれ有する各構成は、それぞれが専用のハードウェアで実現されていてもよい。また、各構成要素の一部または全部は、汎用または専用の回路（circuitry）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部または全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。また、プロセッサとして、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（field-programmable gate array）等を用いることができる。なお、ここに説明した構成に関する説明は、本開示において以下に説明するその他の装置またはシステムにおいても、適用され得る。

【0032】

また、画像処理システム１の各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。また、画像処理システム１の機能がＳａａＳ（Software as a Service）形式で提供されてもよい。

【0033】

本実施形態によれば、カメラが撮影した画像を効率よく処理できる画像処理システム等を提供できる。

【0034】

＜実施形態２＞
次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる画像処理システム２の全体構成を示す図である。画像処理システム２は、複数の第１端末１００（１００Ａ、１００Ｂ）と第２端末２００とを有している。第１端末１００Ａ、第１端末１００Ｂおよび第２端末２００は、ネットワークＮ１を介して互いに通信可能に接続している。第１端末１００Ａは、３つの撮影装置９０（撮影装置９０Ａ１、撮影装置９０Ａ２および撮影装置９０Ａ３）と通信可能に接続している。第１端末１００Ｂは２つの撮影装置９０（撮影装置９０Ｂ１および撮影装置９０Ｂ２）と通信可能に接続している。

【0035】

また画像処理システム１はネットワークＮ１を介して管理端末８０とも通信可能に接続している。管理端末８０は例えばスマートフォン、タブレット端末またはパーソナルコンピュータ等であって、第１端末１００または第２端末２００を管理する。また管理端末８０は所定の情報をユーザから受け付け、受け付けた情報を第１端末１００または第２端末２００に供給しうる。管理端末８０は、第１端末１００または第２端末２００が出力する所定の情報を受け取り、ユーザに通知しうる。

【0036】

図４は、実施形態２にかかる画像処理システムの使用例を示す図である。図４は車道および歩道を含む任意の市街地を示している。図４に示す市街地には、撮影装置９０Ａ、撮影装置９０Ｂ、撮影装置９０Ｃおよび第１端末１００Ａが設置されている。撮影装置９０Ａ、撮影装置９０Ｂおよび撮影装置９０Ｃは、所定の鉄柱の上部に設置されており、人の背の高さより高い位置から街路を俯瞰して撮影する。撮影装置９０Ａ、撮影装置９０Ｂおよび撮影装置９０Ｃは、それぞれが撮影した画像の画像データを、無線通信により第１端末１００Ａに送信する。

【0037】

第１端末１００Ａは、撮影装置９０Ａと同じ鉄柱の上部に設置されており、撮影装置９０Ａ、撮影装置９０Ｂおよび撮影装置９０Ｃのそれぞれが供給する画像データを受信する。また第１端末１００Ａは、受信した画像データに所定の処理を施し、処理を施したデータを第２端末２００に送信する。第２端末２００は、第１端末１００と離間して任意の場所に設置されており、第１端末１００Ａから送信されたデータを受信する。このような構成により、画像処理システム２は、所定の空間における人物の行動を監視できる。

【0038】

次に、図５を参照して、撮影装置９０の構成の例について説明する。図５は、実施形態２にかかる撮影装置９０の構成を示すブロック図である。撮影装置９０は主な構成として、撮影部９１、撮影制御部９２およびカメラ通信部９３を有している。撮影装置９０はカメラと称されてもよい。撮影装置９０は所定の期間ごとにこの画像を撮影し、撮影した画像のそれぞれにかかる画像データを生成し、第１端末１００に順次供給する。所定の期間とは例えば１５分の１秒、３０分の１秒または６０分の１秒等である。

【0039】

撮影部９１は、対物レンズやイメージセンサを含み、市街地の風景を撮影する。撮影部９１はパン、チルトまたはズームなどの機能を有していてもよい。撮影制御部９２は、撮影部９１の動作を制御する。また撮影制御部９２は、撮影部９１が撮影した画像にかかる画像データを生成する。画像データには、撮影の日時、位置情報、または撮影時の絞り、シャッタースピードなどの撮影条件が含まれ得る。また撮影制御部９２は、カメラ通信部９３を介して、画像データを送信する制御を行う。カメラ通信部９３は第１端末１００と通信するためのインタフェースを含む。カメラ通信部９３は、撮影制御部９２が生成した画像データを第１端末１００に送信する。

【0040】

次に、図６を参照して、第１端末１００について説明する。図６は、実施形態２にかかる第１端末１００の構成を示すブロック図である。第１端末１００は主な構成として、画像データ取得部１０１、前処理部１０２および第１通信部１０３を有している。

【0041】

画像データ取得部１０１は、第１通信部１０３を介して撮影装置９０から供給される画像データを順次取得する。

【0042】

前処理部１０２は、撮影装置９０から供給された画像データに対して所定の前処理を施して前処理データを生成する。所定の前処理は、例えば画像のコントラストやトーンなどの調整であってもよいし、画像を所定のサイズに拡大または縮小するものであってもよい。また所定の前処理は、画像を切り出しする処理であってもよい。所定の前処理は、人物が含まれる画像を抽出した抽出画像データを生成する処理であってもよい。

【0043】

所定の前処理は、画像の解像度の設定であってもよい。その場合例えば前処理部１０２は、画像に含まれる人物の数が閾値未満の場合の画像の解像度を第１解像度と設定し、画像に含まれる人物の数が閾値以上の場合の画像の解像度を第２解像度と設定する。そしてこの場合に前処理部１０２は例えば、第１解像度を第２解像度よりも低く設定して前処理を行う。第１端末１００は、このようにして前処理部１０２が処理を施した前処理データを、第２端末２００に供給する。

【0044】

第１通信部１０３は、撮影装置９０との通信を行うインタフェースである。第１通信部１０３はまた、第２端末２００との通信を行うインタフェースでもある。第１端末１００は第１通信部１０３を介して撮影装置９０から画像データを受信する。また第１端末１００は、第１通信部１０３を介して、前処理部１０２が生成した前処理データを第２端末２００に送信する。

【0045】

図７は、実施形態２にかかる第２端末２００の構成を示すブロック図である。第２端末２００は主な構成として、画像データ取得部２０１、抽出部２０２、解析部２０３、検出部２０４、出力部２０５、第２通信部２０６および記憶部２１０を有している。

【0046】

画像データ取得部２０１は、第２通信部２０６を介して第１端末１００から受け取った画像データを取得する。第２端末２００は、受け取った画像データを抽出部２０２に供給する。

【0047】

抽出部２０２は、画像データから骨格データを抽出する。より詳細には、抽出部２０２は、画像データに含まれるフレーム画像から人物の身体の画像領域（身体領域）を検出し、身体画像として抽出する（例えば、切り出す）。そして抽出部２０２は、機械学習を用いた骨格推定技術を用いて、身体画像において認識される人物の関節等の特徴に基づき人物の身体の少なくとも一部の骨格データを抽出する。骨格データは、関節等の特徴的な点である「キーポイント」と、キーポイント間のリンクを示す「ボーンリンク」とを含む情報である。抽出部２０２は、例えばＯｐｅｎＰｏｓｅ等の骨格推定技術を用いてよい。なお本開示において上述のボーンリンクを単に「ボーン」と称する場合もある。ボーンは擬似的な骨格を意味する。

【0048】

解析部２０３は、抽出された人物の骨格データから人物の姿勢に紐づく所定の姿勢または動作を検出する。解析部２０３は姿勢または動作を検出する際に、記憶部２１０が記憶している登録動作データベース２１１に登録されている登録動作を検索する。そして解析部２０３は、人物の骨格データと登録動作にかかる骨格データとが類似している場合に、この骨格データを所定の姿勢または動作と認識する。すなわち解析部２０３は、人物の骨格データと類似している登録動作を検出した場合に、この骨格データにかかる動作を、登録動作と紐づけて所定の姿勢または動作として認識する。

【0049】

上述の類否判定において、解析部２０３は、骨格データを構成する要素の形態の類似度を算出することにより姿勢または動作を検出する。骨格データは、その構成要素として、身体の姿勢を示すための擬似的な関節点または骨格構造が設定される。骨格データを構成する要素の形態とは例えば、あるキーポイントまたはボーンを基準とした場合の他のキーポイントやボーンの位置、距離、角度等の相対的な幾何学関係ということもできる。あるいは骨格データを構成する要素の形態とは例えば、複数のキーポイントやボーンが形成する１つのまとまった形態ということもできる。

【0050】

解析部２０３は、この構成要素同士の相対的な形態が、比較する２つの骨格データ同士で類似しているか否かを解析する。このとき、解析部２０３は、２つの骨格データ同士の類似度を算出する。類似度を算出する際には、解析部２０３は、例えば骨格データが有する構成要素から算出される特徴量により類似度を算出し得る。

【0051】

なお、解析部２０３の算出対象は、上記類似度に代えて、抽出した骨格データの一部と登録動作にかかる骨格データとの間の類似度、または抽出した骨格データと登録動作にかかる骨格データの一部との間の類似度、または抽出した骨格データの一部と登録動作にかかる骨格データの一部との間の類似度であってもよい。

【0052】

なお、解析部２０３は、上述した類似度を、骨格データを直接用いて算出してもよいし、間接的に用いて算出してもよい。例えば解析部２０３は、骨格データの少なくとも一部を、他の形式に変換し、変換したデータを用いて上述した類似度を算出してよい。この場合、類似度は、変換したデータ間の類似度そのものであってもよいし、変換したデータ間の類似度を用いて算出される値であってもよい。

【0053】

変換の手法は、骨格データにかかる画像サイズの正規化であっても良いし、骨格構造のなす角（すなわち、関節の曲がり具合）を用いた特徴量に変換することであっても良い。あるいは変換の手法は、予め学習された機械学習の学習済みモデルによって変換される３次元の姿勢であってもよい。

【0054】

なお、解析部２０３は、１つの画像データから抽出された骨格データから姿勢または動作を検出するものであってもよい。また、解析部２０３は、複数の異なる時刻に撮影された複数の画像データのそれぞれから抽出された骨格データから、人物の時系列に沿った作業動作を解析するものであってもよい。このような構成により、画像処理システム２は、検出の対象となる姿勢または動作の変化の状態に対応して柔軟に動作を解析できる。

【0055】

検出部２０４は、解析部２０３が解析した結果の信号を受け取り、受け取った信号から、所定の事象の検出を行う。すなわち本実施形態における検出部２０４は、実施形態１における検出部２２と同等の機能を有する。

【0056】

出力部２０５は、検出の結果である結果情報を出力する。出力部２０５が出力する先は、管理端末８０である。なお、第２端末２００は、第２端末２００自体が図示しない表示装置を有しており、ユーザに対して所定の情報を出力するものであってもよい。

【0057】

第２通信部２０６は、第１端末１００および管理端末８０との通信を行うための手段であって、例えばネットワークＮ１に接続するためのインタフェースを含む。

【0058】

記憶部２１０は、不揮発性メモリを含む記憶手段である。記憶部２１０は、登録動作データベース２１１を少なくとも記憶している。登録動作データベース２１１は、登録動作としての骨格データを含む。

【0059】

以上、画像処理システム２の構成について説明したが、実施形態２にかかる画像処理システム２は、上述の構成に限られない。例えば、画像処理システム２が有する抽出部２０２の一部または全部は、撮影装置９０が有していてもよい。この場合例えば、撮影装置９０は、撮影した画像を処理することにより、人物にかかる身体画像を抽出してもよい。あるいは撮影装置９０は、身体画像からさらに、身体画像において認識される人物の関節等の特徴に基づき人物の身体の少なくとも一部の骨格データを抽出してもよい。撮影装置９０がこのような機能を担う場合、撮影装置９０は少なくとも、骨格データを画像処理システム２に供給する。撮影装置９０は、骨格データに加えて、画像データを撮影装置９０に供給する。上述の構成例の他に、画像処理システム２は、撮影装置９０を含んでいても良い。

【0060】

次に、図８を参照して、人物の姿勢を検出する例について説明する。図８は、画像データから抽出された骨格データを示す図である。図８に示す画像は、撮影装置９０が撮影した画像から人物Ｐの身体を抽出した身体画像Ｆ１０である。画像処理システム１０において、抽出部２０２は、撮影装置９０が撮影した画像から身体画像Ｆ１０を切り出し、さらに骨格構造を設定する。

【0061】

抽出部２０２は、例えば、画像の中から人物Ｐのキーポイントとなり得る特徴点を抽出する。さらに抽出部２０２は、抽出した特徴点からキーポイントを検出する。キーポイントの検出をする場合、抽出部２０２は、例えばキーポイントの画像について機械学習した情報を参照する。

【0062】

図８に示す例では、抽出部２０２は、人物Ｐのキーポイントとして、頭Ａ１、首Ａ２、右肩Ａ３１、左肩Ａ３２、右肘Ａ４１、左肘Ａ４２、右手Ａ５１、左手Ａ５２、右腰Ａ６１、左腰Ａ６２、右膝Ａ７１、左膝Ａ７２、右足Ａ８１、左足Ａ８２を検出している。

【0063】

さらに、抽出部２０２は、作業者Ｐの擬似的な骨格構造として、これらのキーポイントを連結したボーンを以下に示すとおりに設定する。ボーンＢ１は、頭Ａ１と首Ａ２とを結ぶ。ボーンＢ２１は首Ａ２と右肩Ａ３１とを結び、ボーンＢ２２は、首Ａ２と左肩Ａ３２とを結ぶ。ボーンＢ３１は、右肩Ａ３１と右肘Ａ４１とを結び、ボーンＢ３２は、左肩Ａ３２と左肘Ａ４２とを結ぶ。ボーンＢ４１は、右肘Ａ４１と右手Ａ５１とを結び、ボーンＢ４２は、左肘Ａ４２と左手Ａ５２とを結ぶ。ボーンＢ５１は、首Ａ２と右腰Ａ６１とを結び、ボーンＢ５２は、首Ａ２と左腰Ａ６２とを結ぶ。ボーンＢ６１は、右腰Ａ６１と右膝Ａ７１とを結び、ボーンＢ６２は、左腰Ａ６２と左膝Ａ７２とを結ぶ。そしてボーンＢ７１は、右膝Ａ７１と右足Ａ８１とを結び、ボーンＢ７２は、左膝Ａ７２と左足Ａ８２とを結ぶ。抽出部２０２は、上述の骨格構造に関する骨格データを生成すると、生成した骨格データを、解析部１０３に供給する。

【0064】

次に、図９を参照して登録動作データベースの例について説明する。図９は、実施形態２にかかる登録動作データベースを説明するための図である。図９に示す表は、登録動作ＩＤ（identification, identifier）と、複数の関連ワードがそれぞれ対応づけられている。登録動作ＩＤ（または動作ＩＤ）が「Ｒ０１」の動作に関する関連ワードは、「走っている」、「急いでいる」等である。登録動作ＩＤが「Ｒ０２」の関連ワードは、「歩いている」、「ゆっくり」等であり、登録動作ＩＤが「Ｒ０３」の関連ワードは、「座り込んでいる」、「しゃがんでいる」等であり、登録動作ＩＤが「Ｒ０４」の関連ワードは、「座り込んでいる」、「うずくまっている」等である。

【0065】

上述のように、登録動作データベース２１１が含む登録動作に関するデータは、動作ごとに動作ＩＤと関連ワードとが紐づけられて記憶されている。それぞれの登録動作ＩＤは、１以上の骨格データに紐づいている。すなわち例えば動作ＩＤが「Ｒ０１」の登録動作は、走っている動作または急いでいる動作を示す骨格データを含む。

【0066】

図１０を参照して、登録動作にかかる骨格データについて説明する。図１０は、実施形態２にかかる登録動作の第１の例を説明するための図である。図１０は、登録動作データベース２１１に含まれる登録動作のうち、動作ＩＤが「Ｒ０１」の動作に関する骨格データを示している。図１０には骨格データＦ１１および骨格データＦ１２を含む複数の骨格データが左右方向に配置された状態で示されている。骨格データＦ１１は、骨格データＦ１２より左側に位置している。骨格データＦ１１は、走っている人物の一場面を捉えた姿勢である。骨格データＦ１２は、走っている人物の一場面であって、骨格データＦ１１とは異なる姿勢である。

【0067】

これは動作ＩＤが「Ｒ０１」の登録動作は、人物が骨格データＦ１１に対応する姿勢を取った後に、骨格データＦ１２の姿勢を取るということを意味している。なお、ここでは２つの骨格データについて説明したが、動作ＩＤが「Ｒ０１」の登録動作は、上述の骨格データ以外の骨格データを含んでいてもよい。

【0068】

図１１は、実施形態２にかかる登録動作の第２の例を説明するための図である。図１１は図９に示した動作ＩＤが「Ｒ０３」の動作に関する骨格データＦ３１を示している。動作ＩＤが「Ｒ０３」の登録動作は、座り込んでいる人物を示す１つの骨格データＦ３１のみが登録されている。

【0069】

上述のように、登録動作データベース２１１に含まれる登録動作は、１つの骨格データのみを含むものであってもよいし、２以上の骨格データを含むものであってもよい。第２端末２００の解析部２０３は、上述の骨格データを含む登録動作と、抽出部２０２から受け取った骨格データとを比較して、類似している登録動作が存在するか否かを判定する。

【0070】

以上、実施形態２について説明したが、実施形態２にかかる画像処理システム２は上述の構成に限られない。第１端末１００は、１以上の撮影装置９０と通信可能に接続していればよい。第１端末１００と撮影装置９０とはネットワークＮ１を介して接続していてもよい。画像処理システム２は、１以上の第１端末１００を有していればよい。画像処理システム２は１以上の撮影装置９０を含んでいてもよい。画像処理システム２は１以上の管理端末８０を含んでいてもよい。

【0071】

画像処理システム２において、複数のカメラからの画像データを第１端末１００が取得し、さらに第２端末２００がこれらの画像を取得して解析を行うという構成は、例えば街や居住区などの多数の人が往来する所定の空間に採用される。このような場合、複数の撮影装置９０と第１端末１００との通信や、第１端末１００と第２端末２００との通信は帯域幅が広いものが好ましい。例えばこれらの通信を実現するために、画像処理システム２は、転送レートが１０ギガビット毎秒程度の５Ｇ（第５世代移動通信システム）回線を採用してもよい。このような高速通信回線を利用することにより、画像処理システム２は高いフレームレートや高解像度を有する画像データを送受信して解析可能となる。

【0072】

以上のように、実施形態２によれば、複数のカメラが撮影した画像を効率よく処理できる画像処理システム等を提供できる。またこれにより、広域にわたって多数のカメラが設置されている場合であっても、本画像処理システム等は、広域の各地を撮像した画像を効率よく処理することができる。

【0073】

＜実施形態３＞
次に、実施形態３について説明する。実施形態３は、検索情報受付部２０７をさらに有する点が実施形態２と異なる。図１２は、実施形態３にかかる画像処理システム３のブロック図である。図１２に示す画像処理システム３は、撮影装置９０、管理端末８０およびネットワークＮ１を省略して示している。また図１２に示す第１端末１００は実施形態２と同様の構成であって、詳細は省略して示されている。画像処理システム３は、第２端末２２０を有している。第２端末２２０は、検索情報受付部２０７を有している点が、実施形態２に示した第２端末２００と異なる。

【0074】

検索情報受付部２０７は、人物の姿勢または行動に関する所定の検索情報を受け付ける。検索情報は例えば管理端末８０が第２端末２２０に供給する情報である。検索情報受付部２０７が検索情報を受け取ると、解析部２０３は、検索情報にかかる姿勢に対応した参照骨格データを設定し、参照骨格データと画像にかかる骨格データとが類似しているか否かを解析する。さらに検出部２０４は、解析の結果に基づいて、検索情報に対応する事象を検出する。そして出力部２０５は管理端末８０から受け取った検索情報に対応する検出結果を管理端末８０に供給する。

【0075】

図１３は、実施形態３にかかる画像処理システム３における検索処理を示す図である。図１３は、画像処理システム３に入力される情報と、入力されたデータに応じて画像処理システム３が出力するデータが示されている。

【0076】

画像処理システム３は、検索条件として、人物の姿勢または動作を示す検索データとこれに付帯する付帯データとを受け付ける。ここで、検索データは、検索にかかる姿勢または動作を示す検索ワード、身体画像データ、骨格データのいずれかを含む。

【0077】

この場合、検索ワードは例えば図９に示した登録動作データベース２１１の関連ワードに含まれるフレーズである。あるいは検索ワードは、登録動作データベース２１１の関連ワードに対応づけが可能なフレーズであってもよい。また検索条件としての身体画像は、登録動作データベース２１１に含まれる登録動作と比較可能な骨格データが抽出できる態様であることが好ましい。検索条件として骨格データもまた登録動作データベース２１１に含まれる登録動作と比較可能な骨格データが抽出できる態様であることが好ましい。検索条件としての付帯データは、検索対象となる撮影領域、撮影日時等が含まれる。これらの検索条件は管理端末８０から画像処理システム３に供給される。

【0078】

また画像処理システム３は、取得データとして撮影装置９０が撮影した画像データを取得する。なお画像データは、撮影に関連する付帯データが含まれる。付帯データは、例えば画像データにかかる画像の撮影場所、撮影した撮影装置９０のＩＤ、撮影日時などが含まれ得る。

【0079】

画像処理システム３は、検索情報受付部２０７が検索情報を受け付ける。画像処理システム３は受け付けた検索情報に応じた処理を行う。具体的には例えば検出部２０４は、所定の事象として検索情報により示された姿勢に対応する人物の画像を検出しうる。そして画像処理システム３は、検索条件に対応した検索結果として、画像データおよび画像データに付帯する付帯データを出力する。画像処理システム３は検索結果を、管理端末８０に供給する。

【0080】

上述の構成により、画像処理システム３は例えば、管理端末８０から「走っている」という検索ワードを受け付け、取得した画像データから人物が走っている動作の画像を含む画像データを管理端末８０に回答する。あるいは画像処理システム３は、検出した動作に付帯する情報として、「走っている」に該当する画像を撮影した場所や日時に関するデータを管理端末８０に回答する。

【0081】

以上、実施形態３について説明した。実施形態３によればユーザが設定する所望の検索条件に応じた検索を効率的に行うことができる。すなわち実施形態３によれば、カメラが撮影した画像を効率よく処理できる画像処理システム等を提供できる。

【0082】

＜実施形態４＞
次に、実施形態４について説明する。実施形態４は、第１端末１００に代えて第１端末１３０を有する点が、実施形態３にかかる画像処理システム３と異なる。図１４は、実施形態４にかかる画像処理システム４のブロック図である。図１４に示す画像処理システム４は、撮影装置９０、管理端末８０およびネットワークＮ１を省略して示している。また図１４に示す画像処理システム４は、２つの第１端末１３０（１３０Ａ、１３０Ｂ）のうち、１３０Ａのみ詳細を示し、１３０Ｂの構成は省略して示しているが、２つの第１端末１３０は同様の構成を有しているものとする。

【0083】

第１端末１３０は、抽出部１１２、解析部１１３、検出部１１４、出力部１１５および記憶部１２０を有する。なお、第１端末１３０が有する抽出部１１２、解析部１１３、検出部１１４、出力部１１５および記憶部１２０は、第２端末２００が有する抽出部２０２、解析部２０３、検出部２０４、出力部２０５および記憶部２１０と同様の機能を有している。そのためここでは詳述を省略する。なお、第１端末１３０が有する出力部１１５は、検出の結果に関するデータを第２端末２００または第２端末２２０に出力する。

【0084】

上述の構成により、本実施形態にかかる画像処理システム２は、第１端末１３０が第１解析手段である解析部１１３を有し、第２端末２２０は、第２解析手段である解析部２０３を有する。この場合、第１端末１３０の解析部１１３は、人物画像と第１参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する。第１検出手段である検出部１１４は、第１解析結果情報から、事象の検出を行う。また第２端末２２０の解析部２０３は、人物画像と第２参照骨格データとが類似しているか否かを解析して第２解析結果情報を生成する。第２検出手段である検出部２０４は、第１解析結果情報と第２解析結果情報とから、事象の検出を行う。このように画像処理システム４は、第１端末１３０と第２端末２２０とがそれぞれ骨格データを抽出し、さらに事象を検出する機能を有する。これにより画像処理システム４は、第１端末１３０と第２端末２２０との間で負荷を分散したり、参照する登録動作を分担したりできる。

【0085】

なお、画像処理システム４は、第１端末１３０が有する解析部１１３が第１解析結果情報を生成し、第２端末２２０が、複数の第１端末１３０から取得した複数の第１解析結果情報に基づいて、事象の検出を行うものであってもよい。このように、画像処理システム４は、第１端末１３０と第２端末２２０との機能分担を柔軟に行うことができる。

【0086】

次に、本実施形態における画像処理システム４が有する検索機能について説明する。本実施形態における検索情報受付部２０７は、人物の行動に起因する所定の事象を示す検索ワードを検索情報として受け付ける。人物の行動に起因する所定の事象とは、人物の姿勢や動作を直接的に示すものではない「ひったくり」「喧嘩」「集会」「路上パフォーマンス」「パニック」「暴動」などの抽象的な概念を含む。なお、人物の行動に起因する所定の事象とは、人物の姿勢や動作を直接的に示す意味を有する「歩く」「走る」などの検索ワードも含み得る。

【0087】

図１５は、実施形態４にかかる登録動作データベースを説明するための図である。ここに示す登録動作データベースは、複数の動作ＩＤと、これら複数の動作ＩＤに対応する事象を示すワードまたはフレーズが紐づけられている。具体的には例えば、動作ＩＤが「Ｒ０１」の骨格データと「Ｒ１１」の骨格データとは、「ひったくり」という事象に紐づいている。これは「ひったくり」という事象においては、所定期間内に、あるいは同時に並行して、複数の異なる姿勢または動作（例えば、「走る」を示す「Ｒ０１」と、「転倒」を示す「Ｒ１１」など）を行う人物が出現することを示している。同様に、図１５に示す登録動作データベースにおいて、動作ＩＤが「Ｒ０２」、「Ｒ１２」、「Ｒ２２」の骨格データは、「喧嘩」という事象と紐づいており、動作ＩＤが「Ｒ０３」、「Ｒ１３」の骨格データは「集会」という事象とが紐づいている。

【0088】

なお、図１５に示す登録動作データベースは、第１端末１３０が有していてもよいし、第２端末２２０が有していてもよい。第１端末１３０と第２端末２２０とは互いに分担して登録動作データベースを記憶していてもよいし、いずれか一方が有している登録動作データベースを他方が利用してもよい。

【0089】

次に、図１６を参照して、上述の登録動作データベースを利用する例について説明する。図１６は、実施形態４にかかる画像処理システムにおける検索処理を示す図である。図１６は、画像処理システム４に入力される情報と、入力されたデータに応じて画像処理システム４が出力するデータが示されている。

【0090】

画像処理システム４は、検索条件として、図１５に示す登録動作データベースに含まれる事象を示す検索ワードおよびその付帯データを受け付ける。これらの検索条件は管理端末８０から画像処理システム４に供給される。あるいは検索ワードは、図１５に示した登録動作データベースの事象に対応づけが可能なフレーズであってもよい。画像処理システム４は、取得データとして撮影装置９０が撮影した画像データおよびその付帯データを取得する。

【0091】

上述の構成により、画像処理システム４は例えば、管理端末８０から「ひったくり」という検索ワードを受け付け、取得した画像データから「ひったくり」に関連する動作の画像を含む画像データを管理端末８０に回答する。あるいは画像処理システム４は、検出した動作に付帯する情報として、「ひったくり」に該当する画像を撮影した場所や日時に関するデータを管理端末８０に回答する。このように、本実施形態における検索情報受付部２０７は、人物の行動に起因する所定の事象を示す検索ワードを検索情報として受け付ける。そして第１端末１３０の検出部１１４および第２端末２２０の検出部２０４は、事象として検索ワードに対応する人物の画像を検出する。上記構成により、画像処理システム４は、画像に同時に映る少なくとも二人の骨格データに基づいて特定される所定の事象を検出できる。よって、画像処理システム４は、転倒など単なる姿勢を検知するにとどまらず、ひったくりや喧嘩などの複雑な状況を検知できる。

【0092】

以上、実施形態４について説明した。実施形態４にかかる画像処理システム４は、第１端末１３０または第２端末２２０の少なくともいずれか一方が、人物の姿勢に関する所定の参照データを記憶する記憶手段を備えるものであってもよい。上述の構成において、第１端末１３０が取得した画像データから所定の事象の検出までを行い、第２端末２２０は画像データの解析を行わない場合には、第２端末２００は例えば、抽出部２０２、解析部２０３、検出部２０４を有さないものであってもよい。この場合、第２端末２２０は、第１端末１３０がそれぞれ検出した事象の結果を取得し、取得した結果を集計する機能を有し得る。以上のように、実施形態４によれば、カメラが撮影した画像を効率よく処理できる画像処理システム等を提供できる。またこれにより、広域にわたって多数のカメラが設置されている場合であっても、本画像処理システム等は、広域の各地を撮像した画像を効率よく処理することができる。

【0093】

＜実施形態の変形例＞
図１７は、画像処理システムの構成のバリエーションを示すブロック図である。図１７には画像処理システム５が示されている。画像処理システム５は、第１端末１３０、第２端末２２０および第３端末３００を有している。画像処理システム５において、第１端末１３０、第２端末２２０および第３端末３００は、それぞれＭＥＣ（Multi-access Edge Computing）と称される端末である。ここでは例えば第１端末１３０をＬ－ＭＥＣ（Ｌｏｗｅｒ－ＭＥＣ）、第２端末２２０をＭ-ＭＥＣ（Ｍｉｄｄｌｅ－ＭＥＣ）、第３端末３００をＵ－ＭＥＣ（Ｕｐｐｅｒ－ＭＥＣ）と称してもよい。

【0094】

第１端末１３０は複数の撮影装置９０から画像データを取得する。第１端末１３０は撮影装置９０から取得した画像データに対して所定の第１処理を施す。所定の第１処理とは、上述した前処理や、所定の骨格データを検出する処理である。第１端末１３０は、このような第１処理を施して、第２端末２２０に第１処理データを供給する。

【0095】

第２端末２２０は、複数の第１端末１３０から第１処理データを受け取り、受け取った複数の第１処理データを用いて第２処理を施す。第２処理とは、第１処理データを集計する処理や、第１処理データから所定の骨格データを検出する処理である。第２端末２２０は、このような第２処理を施して、第３端末３００に第２処理データを供給する。

【0096】

第３端末３００は、複数の第２端末２２０から第２処理データを受け取り、受け取った複数の第２処理データを用いて第３処理を施す。第３処理は、例えば第２処理データを集計する処理であってもよいし、第２処理データからさらに所定の骨格データを検出する処理であってもよい。第３端末３００は、所定の管理端末に通信可能に接続していてもよい。

【0097】

以上、実施形態の変形例について説明した。ここで説明した変形例は、上述の画像処理システムいずれにも適用できる。このようなカスケード状の処理構成を有する端末を分散配置することにより、画像処理システム５は、より遅延を抑制し、効率よく画像処理を行うことができる。またこのような分散システムまたはカスケード状のシステムにより、広域にわたって多数のカメラが設置されている場合であっても、本画像処理システム等は、広域の各地を撮像した画像を効率よく処理することができる。

【0098】

以上に本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。上述した実施形態の構成は、互いに組み合わせたり、一部の構成を他の構成に入れ替えたりしてもよい。また、上述した実施形態の構成は、趣旨を逸脱しない範囲内において種々の変更を加えてもよい。また、上述した各実施形態や変形例に開示される構成や処理を互いに組み合わせてもよい。

【0099】

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施の形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施の形態では、図示される工程の順番を本実施形態が実現する機能に支障のない範囲において変更することができる。また、上述の各実施の形態は、内容が相反しない範囲で組み合わせることができる。

【0100】

＜ハードウェア構成の例＞
以下、本開示における判定装置の各機能構成がハードウェアとソフトウェアとの組み合わせで実現される場合について説明する。

【0101】

図１８は、コンピュータのハードウェア構成を例示するブロック図である。本開示における判定装置は、図に示すハードウェア構成を含むコンピュータ５００により上述の機能を実現できる。コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のコンピュータであってもよいし、ＰＣなどの据え置き型のコンピュータであってもよい。コンピュータ５００は、各装置を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。コンピュータ５００は、所定のアプリケーションをインストールされることにより、所望の機能を実現できる。

【0102】

コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０（インタフェースはＩ／Ｆ（Interface）とも称される）およびネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、およびネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

【0103】

プロセッサ５０４は、ＣＰＵ、ＧＰＵまたはＦＰＧＡなどの種々のプロセッサである。メモリ５０６は、ＲＡＭ（Random Access Memory）などを用いて実現される主記憶装置である。

【0104】

ストレージデバイス５０８は、ハードディスク、ＳＳＤ、メモリカード、またはＲＯＭ（Read Only Memory）などを用いて実現される補助記憶装置である。ストレージデバイス５０８は、所望の機能を実現するためのプログラムが格納されている。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、各装置の各機能構成部を実現する。

【0105】

入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

【0106】

ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。

【0107】

以上、本開示におけるハードウェア構成の例を説明したが、上述の実施形態は、これに限定されるものではない。本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

【0108】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１またはそれ以上の機能をコンピュータに行わせるための命令群（またはソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体または実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体または実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）またはその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスクまたはその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体または通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体または通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0109】

上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムであって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる画像データを取得する画像データ取得手段を備え、
前記第１端末または前記第２端末の少なくともいずれか一方は、前記画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析する解析手段を備え、
前記第２端末は、前記解析の結果に基づいて、所定の事象の検出を行う検出手段と、
前記検出の結果である結果情報を出力する出力手段と、を備える、
画像処理システム。
（付記２）
前記検出手段は、前記画像に同時に含まれる少なくとも二人の前記骨格データに基づいて所定の前記事象の検出を行う、
付記１に記載の画像処理システム。
（付記３）
前記第１端末または前記第２端末の少なくともいずれか一方は、人物の姿勢に関する所定の参照データを記憶する記憶手段をさらに備える、
付記１または２に記載の画像処理システム。
（付記４）
前記第２端末が、前記解析手段を備え、
前記第１端末は、前記画像データに所定の前処理を施した前処理データを前記第２端末に供給する、
付記１～３のいずれか一項に記載の画像処理システム。
（付記５）
前記第１端末は、前記前処理として、前記画像のうち人物が含まれる人物画像を抽出した抽出画像データを生成し、前記抽出画像データを前記第２端末に供給する、
付記４に記載の画像処理システム。
（付記６）
前記第１端末は、前記前処理として、前記画像に含まれる人物の数が閾値未満の場合の前記画像の第１解像度を、前記画像に含まれる人物の数が閾値以上の場合の前記画像の第２解像度よりも低く設定して、前記第２端末に供給する、
付記４または５に記載の画像処理システム。
（付記７）
前記第１端末は、
前記画像データから第１人物画像を抽出した抽出画像データを生成する第１抽出手段と、
前記第１人物画像と第１参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する第１解析手段と、を備え、
前記第２端末は、
前記画像データから第２人物画像を抽出した抽出画像データを生成する第２抽出手段と、
前記第２人物画像と第２参照骨格データとが類似しているか否かを解析して第２解析結果情報を生成する第２解析手段と、を備え、
前記検出手段は、前記第１解析結果情報と前記第２解析結果情報とに基づいて、前記事象の検出を行う
付記１～３のいずれか一項に記載の画像処理システム。
（付記８）
前記第１端末が、
前記画像データから人物画像を抽出した抽出画像データを生成する第１抽出手段と、
前記人物画像と前記参照骨格データとが類似しているか否かを解析して第１解析結果情報を生成する解析手段と、を備え、
前記第２端末は、複数の前記第１端末から取得した複数の第１解析結果情報に基づいて、前記事象の検出を行う
付記１～３のいずれか一項に記載の画像処理システム。
（付記９）
前記第２端末は、人物の姿勢または行動に関する所定の検索情報を受け付ける検索情報受付部をさらに備え、
前記解析手段は、前記検索情報にかかる姿勢に対応した前記参照骨格データを設定し、前記参照骨格データと前記画像にかかる前記骨格データとが類似しているか否かを解析し、
前記検出手段は、前記解析の結果に基づいて、前記検索情報に対応する前記事象を検出する、
付記１～８のいずれか一項に記載の画像処理システム。
（付記１０）
前記検索情報受付部は、人物の姿勢を示す前記検索情報を受け付け、
前記検出手段は、前記事象として前記検索情報により示された姿勢に対応する人物の画像を検出する、
付記９に記載の画像処理システム。
（付記１１）
前記検索情報受付部は、人物の行動に起因する所定の事象を示す検索ワードを前記検索情報として受け付け、
前記検出手段は、前記事象として前記検索ワードに対応する人物の画像を検出する、
付記９に記載の画像処理システム。
（付記１２）
互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムが実行する画像処理方法であって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる前記画像データを取得し、
前記第１端末または前記第２端末の少なくともいずれか一方は、前記画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析し、
前記第２端末は、前記解析の結果に基づいて、所定の事象の検出を行い、
前記検出の結果である結果情報を出力する、
画像処理方法。
（付記１３）
互いに通信可能に接続された第１端末と第２端末とを有する画像処理システムに以下の画像処理方法を実行させるプログラムが格納された非一時的なコンピュータ可読媒体であって、
前記第１端末は、所定の空間を撮影するカメラから前記空間の画像にかかる前記画像データを取得し、
前記第１端末または前記第２端末の少なくともいずれか一方は、前記画像に含まれる人物の身体の構造に関する骨格データと所定の参照骨格データとが類似しているか否かを解析し、
前記第２端末は、前記解析の結果に基づいて、所定の事象の検出を行い、
前記検出の結果である結果情報を出力する、
非一時的なコンピュータ可読媒体。

【符号の説明】

【0110】

１、２、３、４、５ 画像処理システム
１０ 第１端末
１１ 画像データ取得部
２０ 第２端末
２１ 解析部
２２ 検出部
２３ 出力部
８０ 管理端末
９０ 撮影装置
９１ 撮影部
９２ 撮影制御部
９３ カメラ通信部
１００ 第１端末
１０１ 画像データ取得部
１０２ 前処理部
１０３ 第１通信部
１１２ 抽出部
１１３ 解析部
１１４ 検出部
１１５ 出力部
１２０ 記憶部
１２１ 登録動作データベース
１３０ 第１端末
２００ 第２端末
２０１ 画像データ取得部
２０２ 抽出部
２０３ 解析部
２０４ 検出部
２０５ 出力部
２０６ 第２通信部
２０７ 検索情報受付部
２１０ 記憶部
２２０ 第２端末
２１１ 登録動作データベース
３００ 第３端末
５００ コンピュータ
５０４ プロセッサ
５０６ メモリ
５０８ ストレージデバイス
５１０ 入出力インタフェース
５１２ ネットワークインタフェース
Ｎ１ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】